PyTorch模型快照¶
TorchServe 保留会话中的服务器运行时配置,因此即使一个 TorchServe 实例经历计划内的或非计划的服务停止,重启后也能恢复其状态。
Note: 当前快照不支持工作流。
TorchServe 的快照包括以下内容:
服务器配置,包括:哪些模型在运行,这些模型的哪些版本,以及每个模型有多少个活跃的工作者。
默认服务器配置在第一次启动 TorchServe 时使用。
截图是在以下时间点拍摄的 -
服务器启动成功后,会将当前配置存储在一个带时间戳的快照文件中:./logs/config/
-startup.cfg 如果用户以改变服务器运行时配置的方式调用管理API,快照将保存到 ./logs/config/
-snapshot.cfg 当服务器被故意关闭时
torchserve --stop, 捕获点被保存到 ./logs/configs/-shutdown.cfg
用户可以使用快照恢复TorchServe的状态如下:
如果在启动TorchServe时未使用
--ts-config-file标志提供配置文件,则会使用./logs/configs中的最后一个快照进行启动。如果未使用
--ts-config-file标志提供配置文件,并且没有可用的快照,TorchServe将默认启动。用户重启服务器并指定此配置文件:
torchserve --start --model-store <model store> --ts-config <known good config snapshot>
如果用户希望在不启用此恢复功能的情况下启动,用户可以使用以下命令启动服务器:
torchserve --start --model-store <model store> --no-config-snapshots
这防止服务器存储配置快照文件。
The snapshots are by default in {LOG_LOCATION}\config directory, where {LOG_LOCATION} is a system environment variable that can be used by TorchServe. If this variable is not set, the snapshot is stored in .\log\config directory
注意 :
在启动 TorchServe 时,如果从快照恢复,则忽略传递给 models 参数的模型。
对于Windows,如果未生成关机快照文件,则可以使用最后的快照文件。