TorchServe 是一种高性能、灵活且易于使用的工具，用于在生产环境中为 PyTorch 模型提供服务。
PyTorch on XLA DevicesPyTorch 在具有 torch_xla 软件包的 XLA 设备（如 TPU）上运行。本文档介绍如何在这些设备上运行模型。
TensorDicttensordict 是一个类似字典的类，它简化了对批量张量的操作，通过抽象定制的操作来增强代码的可读性、紧凑性和模块化，并通过叶子上的自动操作调度来减少错误。
TorchXTorchX 是 PyTorch 应用程序的通用作业启动器。 TorchX 旨在为培训/研究和支持提供快速迭代时间 用于 E2E 生产 ML 管道。
ExecuTorchExecuTorch 是一个 PyTorch 平台，它提供基础设施，可在从 AR/VR 可穿戴设备到标准设备上的 iOS 和 Android 移动部署等任何地方运行 PyTorch 程序。
Torchaudio 是一个使用 PyTorch 进行音频和信号处理的库。它提供 I/O、信号和数据处理功能、数据集、模型实现和应用程序组件。
TorchTune一个 PyTorch 原生库，专为微调大型语言模型 （LLM） 而设计。Torchtune 支持完整的微调工作流，并提供与流行的生产推理系统的兼容性。
TorchText此库是 PyTorch 项目的一部分。PyTorch 是一个开源机器学习框架。torchtext 包由数据处理实用程序和自然语言的常用数据集组成。
TorchVision此库是 PyTorch 项目的一部分。PyTorch 是一个开源机器学习框架。torchvision 软件包由常用的数据集、模型架构和计算机视觉的常见图像转换组成。
TorchArrowTorchArrow 是一个Torch 张量的 Python DataFrame 库，用于深度学习中的数据预处理。它支持多个执行运行时和 Arrow 作为通用格式。
TorchData一个包含常见模块化数据加载基元的 Beta 库，用于轻松构建灵活且高性能的数据管道。而且，还有一些功能仍处于原型阶段。
TorchRecTorchRec是一个PyTorch域库，旨在提供大规模推荐系统（RecSys）所需的常见稀疏性和并行性基元。它允许作者使用跨多个 GPU 分片的大型嵌入表来训练模型。
TorchRLtorchrl 是一个开源的、Python 优先的 PyTorch 强化学习库，专注于高模块化和良好的运行时性能，为成本函数、返回和数据处理提供低级和高级 RL 抽象和可重用函数。
TorchServe 已经在 Linux aarch64 上测试过一些示例。
在亚马逊Graviton 3实例（m7g.4x.large）上进行了测试。
目前从 PyPi 安装或从源代码安装都可以。
python ts_scripts/install_dependencies.py
pip install torchserve torch-model-archiver torch-workflow-archiver
您也可以为Graviton 3启用这些优化以获得更好的性能。更多详情请参阅此博客
export DNNL_DEFAULT_FPMATH_MODE=BF16
export LRU_CACHE_CAPACITY=1024
这个示例关于文本到语音合成已在Graviton 3上验证通过
CI
回归测试