深度学习的
动态计算引擎

🖼️ 计算机视觉

典型应用：图像分类、目标检测、语义分割、姿态估计

代表模型：ResNet、YOLO、Mask R-CNN、ViT (Vision Transformer)

# 使用预训练模型进行图像分类
import torchvision.models as models
import torchvision.transforms as transforms

model = models.resnet50(pretrained=True)
model.eval()

transform = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406],
                       std=[0.229, 0.224, 0.225])
])

💬 自然语言处理

典型应用：文本分类、机器翻译、问答系统、文本生成

代表模型：BERT、GPT、T5、LLaMA

# 简单的 Transformer 层使用
import torch.nn as nn

encoder_layer = nn.TransformerEncoderLayer(
    d_model=512,
    nhead=8,
    dim_feedforward=2048,
    dropout=0.1
)

transformer = nn.TransformerEncoder(encoder_layer, num_layers=6)

🎵 音频处理

典型应用：语音识别、音乐生成、语音合成、说话人识别

工具库：torchaudio 提供音频 I/O、变换和特征提取

🤖 强化学习

典型应用：游戏 AI、机器人控制、自动驾驶决策

框架集成：与 OpenAI Gym、Stable-Baselines3 等完美配合

⚖️ PyTorch vs TensorFlow 2.x

🎯 选型建议

📊 PyTorch 2.0+ 重大更新

torch.compile() - 编译器革命

• ✅ 自动图优化：无需修改代码，即可获得 30-200% 的性能提升
• ✅ 兼容动态特性：保留 PyTorch 的灵活性
• ✅ 零成本抽象：一行代码启用优化

# PyTorch 2.0+ 编译加速
import torch

model = MyModel()
# 一行代码获得巨大性能提升！
optimized_model = torch.compile(model)

# 使用方式完全相同
output = optimized_model(input_data)

⚡ 性能优化

• 使用 DataLoader：多进程数据加载，设置 num_workers 和 pin_memory=True（通常 4-8 个 worker）
• 梯度累积：在显存有限时模拟大批量训练，有效 batch = batch_size × accumulation_steps
• 混合精度训练：使用 torch.cuda.amp 加速并节省显存（可提速 2-3 倍）
• 避免不必要的 CPU-GPU 同步：减少 .item() 和 .cpu() 调用
• 使用 torch.compile()：PyTorch 2.0+ 一行代码获得显著加速
• 合理设置 benchmark：torch.backends.cudnn.benchmark = True（输入尺寸固定时）

# 混合精度训练示例
from torch.cuda.amp import autocast, GradScaler

scaler = GradScaler()

for inputs, targets in dataloader:
    optimizer.zero_grad()
    
    with autocast():
        outputs = model(inputs)
        loss = criterion(outputs, targets)
    
    scaler.scale(loss).backward()
    scaler.step(optimizer)
    scaler.update()

🐛 调试技巧

• 检测 NaN：使用 torch.autograd.set_detect_anomaly(True)（会降低性能，仅用于调试）
• 可视化计算图：利用 TensorBoard 或 torchviz 库
• 梯度检查：使用 torch.autograd.gradcheck 验证自定义函数
• 模型摘要：使用 torchinfo 或 torchsummary 查看模型结构和参数量
• 断点调试：直接使用 VS Code、PyCharm 等 IDE 的断点功能
• 梯度监控：检查梯度范数，防止梯度爆炸/消失

💾 模型保存与加载

# 推荐做法：保存和加载 state_dict
# 保存
torch.save({
    'epoch': epoch,
    'model_state_dict': model.state_dict(),
    'optimizer_state_dict': optimizer.state_dict(),
    'loss': loss,
}, 'checkpoint.pth')

# 加载
checkpoint = torch.load('checkpoint.pth')
model.load_state_dict(checkpoint['model_state_dict'])
optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
epoch = checkpoint['epoch']
loss = checkpoint['loss']

❓ PyTorch vs TensorFlow，如何选择？

选择 PyTorch：如果你重视代码可读性、需要频繁调试、从事研究工作、快速原型开发、自定义深度高的项目。特别适合：NLP、大模型、学术研究。

选择 TensorFlow：如果你需要大规模生产部署（特别是移动端、浏览器和 TPU）、已有 TensorFlow 基础设施、传统 CV 应用。

💡 提示：2024 年的趋势显示，PyTorch 在研究和大模型领域已占据主导地位，而 TensorFlow 在移动端部署和 Google 生态中仍有优势。

❓ 如何解决显存不足（CUDA Out of Memory）问题？

这是最常见的问题！以下是系统化解决方案：

• 🔽 减小 batch size：最直接的方法，从大到小逐步尝试
• ♻️ 使用梯度累积：多个小 batch 等效于大 batch，不损失效果
• ⚡ 启用混合精度（FP16）：显存减半，速度加倍
• 📋 梯度检查点：用计算换空间，torch.utils.checkpoint
• 🗑️ 及时释放张量：del tensor; torch.cuda.empty_cache()
• 🔍 使用更小模型：考虑 DistilBERT 等轻量级变体
• 📊 梯度消除：冻结部分层，只训练必要部分

# 梯度累积示例：模拟大 batch
accumulation_steps = 4
optimizer.zero_grad()

for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()  # 累积梯度
    
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()  # 更新参数
        optimizer.zero_grad()  # 清空梯度

❓ 如何加速训练？

❓ 如何部署 PyTorch 模型？

• TorchScript：将模型序列化为独立于 Python 的格式
• ONNX：转换为开放格式，可在多种框架和硬件上运行
• TorchServe：Meta 官方的模型服务框架
• 移动端：使用 PyTorch Mobile 部署到 iOS/Android