广坤妹妹1. PyTorch中的张量重塑基础
在深度学习框架PyTorch中，张量（Tensor）是最基本的数据结构。view()函数是PyTorch提供的一个强大工具，它允许我们重新组织张量的维度结构而不改变其底层数据。这个操作在实现复杂神经网络架构时尤为重要，特别是在处理像Transformer这样的现代模型时。
view()的核心特性可以总结为：
- 轻量级操作：仅改变张量的"视图"而不复制数据
- 内存共享：原始张量和重塑后的张量共享同一内存区域
- 维度灵活性：支持使用-1来自动计算某一维度的大小
让我们通过一个简单例子来理解view()的基本用法：
python复制import torch
# 创建一个包含12个元素的一维张量
x = torch.arange(12) # shape=(12,)
# 重塑为3行4列的二维张量
x_2d = x.view(3, 4) # shape=(3,4)
# 使用-1自动计算维度大小
x_auto = x.view(4, -1) # shape=(4,3)
注意：使用view()时必须确保新形状的元素总数与原张量一致。例如，12个元素的张量可以重塑为(3,4)或(2,6)，但不能重塑为(3,5)，因为3×5=15≠12。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 多头注意力机制中的张量重塑
2.1 多头注意力的维度需求
Transformer模型中的多头注意力机制需要将输入张量拆分为多个"头"进行并行计算。以BERT-base模型为例：
- 总隐藏维度(d_model)：768
- 注意力头数(num_heads)：12
- 单头维度(d_k)：64（因为768/12=64）
这种拆分使得模型能够同时从不同的表示子空间学习信息，是Transformer强大表达能力的关键。
2.2 使用view()实现维度拆分
在代码实现中，view()是将总隐藏维度拆分为多头结构的关键操作。让我们详细分析这个过程：
python复制# 假设输入querys的形状为[batch_size, seq_len, d_model] = [2,6,768]
querys = torch.randn(2, 6, 768)
# 使用view()拆分为多头结构
querys_heads = querys.view(2, 6, 12, 64) # [batch, seq_len, num_heads, d_k]
这个操作将原始的768维隐藏层拆分为12个64维的子空间，每个子空间对应一个注意力头。重要的是，这个操作没有实际复制数据，只是改变了我们对数据的"看法"。
2.3 维度转置与内存连续性
为了便于后续的矩阵运算，我们通常需要调整维度顺序：
python复制# 转置维度，将注意力头维度提前
querys_heads = querys_heads.transpose(1, 2) # [2,12,6,64]
这里出现了一个关键问题：transpose()操作会使张量在内存中变得不连续。这意味着虽然逻辑上张量是[2,12,6,64]，但物理内存中的元素排列顺序与这个逻辑视图不一致。
3. 内存连续性与contiguous()操作
3.1 什么是内存连续性？
张量在计算机内存中实际上是线性存储的一维数组