中间表示

• A guide on good usage of non_blocking and pin_memory() in PyTorch
  • Introduction
    • What you will learn
    • Preamble
• Background
  • Memory management basics
  • CUDA and (non-)pageable memory
  • Asynchronous vs. Synchronous Operations with non_blocking=True (CUDA cudaMemcpyAsync)
• A PyTorch perspective
  • pin_memory()
• non_blocking=True
• Synergies
• Other copy directions (GPU -> CPU, CPU -> MPS)
• Practical recommendations
• Additional considerations
• Conclusion
• Additional resources
• 模型剪枝
  • 构建模型
  • 检查 Module
  • 剪枝 Module
  • 迭代剪枝
  • 序列化剪枝模型
  • 移除剪枝重参数化
  • 在模型中剪枝多个参数
  • 全局剪枝
  • 扩展 torch.nn.utils.prune 以支持自定义剪枝函数
• 参数化教程
  • 手工实现参数化
  • 参数化简介
  • 检查参数化 module
  • 参数化是一等公民（first-class citizens）
  • 缓存参数化的值
  • Concatenating 参数化
  • 初始化参数化
  • 移除参数化
• 使用 FX 构建简单的 CPU 性能分析器
  • 用符号跟踪捕获模型
  • 创建性能分析解释器
  • ResNet18的性能研究
  • record_function()
• 在pytorch中通道最后的内存格式
  • 什么是通道 Last
  • Memory 格式 API
  • Performance Gains
  • Converting existing models
  • Work to do
• Forward-mode 自动微分
  • Basic Usage
  • Usage with Modules
  • Using Modules stateless API (experimental)
  • Custom autograd Function
  • Functional API (beta)
  • Using the functional API with Modules
• (beta) Building a Convolution/Batch Norm fuser in FX
  • Fusing Convolution with Batch Norm
  • Fusing Convolution with Batch Norm
  • FX Fusion Pass
  • Testing out our Fusion Pass
  • Benchmarking our Fusion on ResNet18