torchao# PyTorch 原生架构优化：torchao 原生的 PyTorch 库 torchao，通过利用低比特数据类型、量化和稀疏性技术，使得模型运行速度更快且体积更小。torchao 是易于访问的工具包，其中包含的技术大多以容易阅读的 PyTorch 代码编写，涵盖推断和训练两个方面。 torchao 快速上手 推理 QAT 量化训练 训练 低精度计算和通信 LLaMa 3 70B 浮点 8 位预训练与 bfloat16 的性能和准确性对比 低比特优化器 集成 量化示例 PyTorch Export 量化 静态量化 校准阶段 量化阶段 自定义量化张量 什么是张量子类？ 使用模块替换进行量化 基于 __torch_dispatch__ 的张量子类实现量化 应该实现哪些算子？ 比较输出 量化概述 基础数据类型 量化原语算子 高效内核 量化张量（衍生数据类型） 布局和 TensorImpl 量化算法/流程 仅权重量化 动态激活和权重量化 静态激活量化与权重量化 插入观察者 如何定义观察者模块 如何向模型添加观察者模块 校准 量化
