TorchServe 是一种高性能、灵活且易于使用的工具，用于在生产环境中为 PyTorch 模型提供服务。
PyTorch on XLA DevicesPyTorch 在具有 torch_xla 软件包的 XLA 设备（如 TPU）上运行。本文档介绍如何在这些设备上运行模型。
TensorDicttensordict 是一个类似字典的类，它简化了对批量张量的操作，通过抽象定制的操作来增强代码的可读性、紧凑性和模块化，并通过叶子上的自动操作调度来减少错误。
TorchXTorchX 是 PyTorch 应用程序的通用作业启动器。 TorchX 旨在为培训/研究和支持提供快速迭代时间 用于 E2E 生产 ML 管道。
ExecuTorchExecuTorch 是一个 PyTorch 平台，它提供基础设施，可在从 AR/VR 可穿戴设备到标准设备上的 iOS 和 Android 移动部署等任何地方运行 PyTorch 程序。
Torchaudio 是一个使用 PyTorch 进行音频和信号处理的库。它提供 I/O、信号和数据处理功能、数据集、模型实现和应用程序组件。
TorchTune一个 PyTorch 原生库，专为微调大型语言模型 （LLM） 而设计。Torchtune 支持完整的微调工作流，并提供与流行的生产推理系统的兼容性。
TorchText此库是 PyTorch 项目的一部分。PyTorch 是一个开源机器学习框架。torchtext 包由数据处理实用程序和自然语言的常用数据集组成。
TorchVision此库是 PyTorch 项目的一部分。PyTorch 是一个开源机器学习框架。torchvision 软件包由常用的数据集、模型架构和计算机视觉的常见图像转换组成。
TorchArrowTorchArrow 是一个Torch 张量的 Python DataFrame 库，用于深度学习中的数据预处理。它支持多个执行运行时和 Arrow 作为通用格式。
TorchData一个包含常见模块化数据加载基元的 Beta 库，用于轻松构建灵活且高性能的数据管道。而且，还有一些功能仍处于原型阶段。
TorchRecTorchRec是一个PyTorch域库，旨在提供大规模推荐系统（RecSys）所需的常见稀疏性和并行性基元。它允许作者使用跨多个 GPU 分片的大型嵌入表来训练模型。
TorchRLtorchrl 是一个开源的、Python 优先的 PyTorch 强化学习库，专注于高模块化和良好的运行时性能，为成本函数、返回和数据处理提供低级和高级 RL 抽象和可重用函数。
工作流推理API默认在8080端口监听，并且仅能从本地主机访问。要更改默认设置，请参阅TorchServe配置。
TorchServe服务器支持以下API：
预测API - 从已部署的模型获取预测结果
要从工作流获取预测，请通过调用REST API来执行/wfpredict/{workflow_name}：
POST /wfpredict/{workflow_name}
curl -O https://raw.githubusercontent.com/pytorch/serve/master/docs/images/kitten_small.jpg
curl http://localhost:8080/wfpredict/myworkflow -T kitten_small.jpg
结果是一个JSON对象，返回工作流DAG叶子节点的响应字节。