本文深入探讨 PyTorch 中使用 `CrossEntropyLoss` 时常见的 `RuntimeError: expected scalar type Long but found Float` 错误。该错误通常源于目标标签（target）的数据类型不符合损失函数预期。文章将详细解释 `CrossEntropyLoss` 对目标标签 `torch.long` 类型的要求，并通过代码示例演示如何正确处理和转换标签数据，确保模型训练过程的顺利进行，避免因类型不匹配导致的运行时错误。
PyTorch CrossEntropyLoss 简介
torch.nn.CrossEntropyLoss 是 PyTorch 中用于多类别分类任务的常用损失函数。它结合了 LogSoftmax 和 NLLLoss，能够直接接收模型的原始预测输出（logits）和真实类别标签，计算分类损失。
CrossEntropyLoss 的核心功能是将模型输出的未经激活的预测值（通常称为 logits）与目标类别进行比较。它的输入参数要求如下：
- input (模型输出)：一个形状为 (N, C) 的张量，其中 N 是批次大小，C 是类别数量。对于图像分类，如果模型输出是 (N, C, H, W)，则需要先进行展平或调整维度以匹配 (N, C)。数据类型通常为 torch.float 或 torch.double。
- target (真实标签)：一个形状为 (N) 的张量，其中 N 是批次大小，每个元素表示对应样本的真实类别索引。请注意，此张量的数据类型必须是 torch.long (或 torch.int64)。
理解 RuntimeError: expected scalar type Long but found Float
当你在 PyTorch 中遇到 RuntimeError: expected scalar type Long but found Float 这样的错误，尤其是在调用 CrossEntropyLoss 时，这几乎总是意味着你提供给 criterion 的 target 标签张量的数据类型是 torch.float，而它期望的是 torch.long。
为什么 CrossEntropyLoss 期望 Long 类型？
CrossEntropyLoss 中的 target 张量代表的是样本的真实类别索引。例如，如果你的分类任务有 10 个类别，那么 target 张量中的值将是 0 到 9 之间的整数。这些整数是离散的类别标识符，而不是连续的浮点数值。在 PyTorch 中，整数类型的张量通常用 torch.long 或 torch.int64 表示。
将类别索引表示为浮点数（例如 0.0, 1.0, 2.0）虽然在数值上看起来是整数，但在数据类型层面，torch.float 意味着它是一个浮点型张量，可能会包含小数。CrossEntropyLoss 内部的实现会严格检查 target 的数据类型，以确保其处理的是有效的类别索引。当检测到 Float 类型时，它会抛出 RuntimeError。
错误代码分析与修正
让我们分析一个典型的错误示例：
功能列表：底层程序与前台页面分离的效果，对页面的修改无需改动任何程序代码。完善的标签系统，支持自定义标签，公用标签，快捷标签，动态标签，静态标签等等，支持标签内的vbs语法，原则上运用这些标签可以制作出任何想要的页面效果。兼容原来的栏目系统，可以很方便的插入一个栏目或者一个栏目组到页面的任何位置。底层模版解析程序具有非常高的效率，稳定性和容错性，即使模版中有错误的标签也不会影响页面的显示。所有的标
import torch import torch.nn as nn from torch.autograd import Variable # 模拟模型输出和标签 output = Variable(torch.randn(10, 120).float()) # 假设10个样本，120个类别 labels = Variable(torch.FloatTensor(10).uniform_(0, 120).long()) # 生成10个0-119的整数标签 criterion = nn.CrossEntropyLoss() # 错误发生的行 loss = criterion(output, labels.float()) # 错误：将labels转换为Float类型 # 运行时错误信息 # RuntimeError: expected scalar type Long but found Float
在上述代码中，labels 变量最初是通过 torch.FloatTensor(10).uniform_(0, 120).long() 创建的，这确保了它是一个 torch.long 类型的张量。然而，在计算损失时，loss = criterion(output, labels.float()) 这一行将 labels 显式地转换成了 torch.float 类型。这正是导致 RuntimeError 的直接原因。
修正方法：
正确的做法是直接将 torch.long 类型的 labels 传递给 CrossEntropyLoss，无需进行 float() 转换。
import torch
import torch.nn as nn
from torch.autograd import Variable
# 模拟模型输出和标签
output = Variable(torch.randn(10, 120).float()) # 假设10个样本，120个类别
labels = Variable(torch.FloatTensor(10).uniform_(0, 120).long()) # 生成10个0-119的整数标签
criterion = nn.CrossEntropyLoss()
# 正确的用法：直接传递Long类型的labels
loss = criterion(output, labels) # 修正：移除 .float()
print(f"Loss computed successfully: {loss.item()}")通过移除 labels.float()，我们确保了 target 张量以其正确的 torch.long 类型传递给 CrossEntropyLoss，从而解决了运行时错误。
处理分类标签的最佳实践
为了避免此类类型错误，以下是一些处理分类标签的最佳实践：
-
数据加载阶段确保类型正确： 在使用 torch.utils.data.Dataset 和 DataLoader 加载数据时，确保标签在加载后即为 torch.long 类型。例如，如果你的标签是从 NumPy 数组加载的，可以使用 torch.from_numpy(labels_array).long()。
import torch from torch.utils.data import Dataset, DataLoader import numpy as np class CustomDataset(Dataset): def __init__(self, num_samples=100, num_classes=10): self.data = torch.randn(num_samples, 3, 32, 32) # 模拟图像数据 # 确保标签是long类型 self.labels = torch.randint(0, num_classes, (num_samples,)).long() def __len__(self): return len(self.labels) def __getitem__(self, idx): return self.data[idx], self.labels[idx] # 示例使用 dataset = CustomDataset() dataloader = DataLoader(dataset, batch_size=4) for inputs, labels in dataloader: print(f"Labels type from DataLoader: {labels.dtype}") # 应输出 torch.int64 break -
显式类型转换： 如果标签在某些操作后可能丢失其 long 类型（例如，从其他框架导入数据），请在传递给损失函数之前显式地将其转换为 torch.long。
# 假设 labels 可能是 float 类型，但实际上是整数索引 labels_potentially_float = torch.tensor([0.0, 1.0, 2.0, 0.0]) # 在使用前转换为long labels_corrected = labels_potentially_float.long() print(f"Corrected labels type: {labels_corrected.dtype}") # 输出 torch.int64 避免不必要的类型转换： 一旦标签被正确设置为 torch.long 类型，就应避免在后续操作中将其转换为其他类型，除非有明确的理由（例如，进行浮点数运算，但这通常不适用于分类标签）。
注意事项
- 模型输出 (Logits) 的类型： CrossEntropyLoss 的 input (模型输出) 期望是浮点型（torch.float 或 torch.double）的 logits。这些 logits 是模型在 softmax 层之前输出的原始分数，不需要手动应用 softmax。CrossEntropyLoss 内部会处理 LogSoftmax 操作。
- 目标标签的形状： 对于标准的分类任务，target 张量的形状通常是 (N,)，即一维张量，其中每个元素是对应样本的类别索引。如果你的任务是像素级分类（如语义分割），target 张量的形状可能是 (N, H, W)，其中 H 和 W 是图像的高度和宽度，每个像素位置的值代表其类别索引。在这种情况下，input 的形状通常是 (N, C, H, W)。无论哪种情况，target 的数据类型始终应为 torch.long。
总结
RuntimeError: expected scalar type Long but found Float 是 PyTorch 中使用 CrossEntropyLoss 时一个明确的类型不匹配错误。解决此问题的关键在于理解 CrossEntropyLoss 对目标标签 target 的严格数据类型要求，即它必须是 torch.long (或 torch.int64)。通过在数据加载和预处理阶段确保标签的正确类型，并避免不必要的类型转换，可以有效预防和解决此类问题，确保 PyTorch 模型训练的顺畅进行。
