PyTorch张量类型转换与创建方法详解-代码聚汇网

PyTorch张量类型转换与创建方法详解

李晓舟·2026-08-11·阅读 23 GEO检测（免费）

PyTorch张量Tensor

|难度：普通|阅读约 11 分钟

1. PyTorch张量基础概念解析

在深度学习和科学计算领域，张量（Tensor）是最基础的数据结构。PyTorch中的张量类似于NumPy的多维数组，但具有GPU加速和自动微分等额外功能。理解张量类型及其转换机制，是掌握PyTorch框架的第一步。

张量类型主要由两个因素决定：数据类型（dtype）和设备位置（device）。数据类型决定了张量中元素的存储方式和计算精度，常见的有：

浮点型：torch.float32（默认）、torch.float64
整型：torch.int32、torch.int64
布尔型：torch.bool
复数型：torch.complex64、torch.complex128

注意：PyTorch默认使用torch.float32而非torch.float64，这是为了在精度和性能之间取得平衡。大多数深度学习模型使用float32就足够了。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 张量创建方法大全

2.1 从Python列表创建

最直接的创建方式是从Python列表转换：

python复制import torch

# 从列表创建int32类型张量
int_tensor = torch.tensor([1, 2, 3], dtype=torch.int32)

# 创建float32张量
float_tensor = torch.tensor([1.0, 2.0, 3.0], dtype=torch.float32)

2.2 特殊初始化方法

PyTorch提供了多种特殊初始化方法：

python复制# 创建全零张量
zeros = torch.zeros(3, 4)  # 3行4列

# 创建全一张量
ones = torch.ones(2, 3, dtype=torch.float64)

# 创建单位矩阵
eye = torch.eye(5)  # 5x5单位矩阵

# 随机初始化
rand = torch.rand(2, 2)  # 均匀分布[0,1)
randn = torch.randn(3, 3)  # 标准正态分布

2.3 从NumPy数组创建

PyTorch与NumPy可以无缝互操作：

python复制import numpy as np

np_array = np.array([[1, 2], [3, 4]])
tensor_from_np = torch.from_numpy(np_array)

3. 张量类型转换详解

3.1 使用type()方法转换

最直接的转换方式是使用type()方法：

python复制x = torch.randn(3, 3)
x_float64 = x.type(torch.float64)  # 转换为双精度
x_int32 = x.type(torch.int32)  # 转换为整型

3.2 使用to()方法转换

更推荐使用to()方法，它更灵活且可以同时转换设备和类型：

python复制x = torch.randn(2, 2)
x_cuda = x.to('cuda', dtype=torch.float16)  # 转换到GPU并使用半精度
x_cpu = x_cuda.to('cpu', dtype=torch.float32)  # 转回CPU并恢复单精度

3.3 快捷转换方法

PyTorch还提供了一系列快捷方法：

python复制x = torch.tensor([1.5, 2.7, 3.9])

x_int = x.int()  # 转换为int32
x_long = x.long()  # 转换为int64
x_float = x.float()  # 转换为float32
x_double = x.double()  # 转换为float64
x_half = x.half()  # 转换为float16

4. 类型转换的注意事项

4.1 精度损失问题

从高精度向低精度转换时可能丢失信息：

python复制x = torch.tensor([123456789], dtype=torch.int32)
x_short = x.short()  # 可能溢出

4.2 设备一致性

进行张量运算时，所有张量必须在同一设备和类型上：

python复制a = torch.randn(3, 3).cuda()
b = torch.randn(3, 3).cpu()
# c = a + b  # 会报错，设备不一致

4.3 自动类型提升

PyTorch会按一定规则自动提升类型：

python复制a = torch.tensor([1], dtype=torch.int32)
b = torch.tensor([1.0], dtype=torch.float32)
c = a + b  # c的类型会是float32

5. 实际应用场景

5.1 模型输入预处理

python复制def preprocess_image(image):
    # 假设image是NumPy数组，HWC格式，uint8类型
    tensor = torch.from_numpy(image).float()  # 转为float32
    tensor = tensor.permute(2, 0, 1)  # 转为CHW
    tensor = tensor / 255.0  # 归一化
    return tensor

5.2 混合精度训练

python复制model = ...  # 定义模型
optimizer = ...  # 定义优化器
scaler = torch.cuda.amp.GradScaler()  # 用于梯度缩放

for inputs, targets in dataloader:
    inputs = inputs.to('cuda', dtype=torch.float16)
    targets = targets.to('cuda')
    
    with torch.cuda.amp.autocast():
        outputs = model(inputs)
        loss = criterion(outputs, targets)
    
    scaler.scale(loss).backward()
    scaler.step(optimizer)
    scaler.update()

5.3 内存优化技巧

python复制# 训练时使用float16节省内存
train_data = train_data.half()

# 推理时根据需求选择精度
if memory_constrained:
    model = model.half()
else:
    model = model.float()

6. 常见问题排查

6.1 类型不匹配错误

错误信息示例：

code复制RuntimeError: expected scalar type Float but found Double

解决方案：

python复制# 统一所有张量类型
a = a.type_as(b)  # 将a转换为与b相同的类型

6.2 设备不匹配错误