目录

PyTorch模型快照

TorchServe 保留会话中的服务器运行时配置,因此即使一个 TorchServe 实例经历计划内的或非计划的服务停止,重启后也能恢复其状态。

Note: 当前快照不支持工作流。

TorchServe 的快照包括以下内容:

  • 服务器配置,包括:哪些模型在运行,这些模型的哪些版本,以及每个模型有多少个活跃的工作者。

  • 默认服务器配置在第一次启动 TorchServe 时使用。

截图是在以下时间点拍摄的 -

  • 服务器启动成功后,会将当前配置存储在一个带时间戳的快照文件中:./logs/config/-startup.cfg

  • 如果用户以改变服务器运行时配置的方式调用管理API,快照将保存到 ./logs/config/-snapshot.cfg

  • 当服务器被故意关闭时torchserve --stop, 捕获点被保存到 ./logs/configs/-shutdown.cfg

用户可以使用快照恢复TorchServe的状态如下:

  • 如果在启动TorchServe时未使用--ts-config-file标志提供配置文件,则会使用./logs/configs中的最后一个快照进行启动。

  • 如果未使用--ts-config-file标志提供配置文件,并且没有可用的快照,TorchServe将默认启动。

  • 用户重启服务器并指定此配置文件:torchserve --start --model-store <model store> --ts-config <known good config snapshot>

如果用户希望在不启用此恢复功能的情况下启动,用户可以使用以下命令启动服务器:

torchserve --start --model-store <model store> --no-config-snapshots

这防止服务器存储配置快照文件。

The snapshots are by default in {LOG_LOCATION}\config directory, where {LOG_LOCATION} is a system environment variable that can be used by TorchServe. If this variable is not set, the snapshot is stored in .\log\config directory

注意 :

  1. 在启动 TorchServe 时,如果从快照恢复,则忽略传递给 models 参数的模型。

  2. 对于Windows,如果未生成关机快照文件,则可以使用最后的快照文件。

文档

访问 PyTorch 的全面开发人员文档

查看文档

教程

获取面向初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并解答您的问题

查看资源