故障排除指南

请参阅本节，了解在使用Torchserve部署Pytorch模型时常见的问题及其相应的故障排除步骤。

• 部署和配置问题

• 与快照相关的问题

• 与API相关的问题

• Model-archiver

部署和配置问题

“绑定到地址失败：http://127.0.0.1:8080”，端口8080/8081已占用。

通常情况下，端口号8080/8081已经被其他应用程序或服务使用，可以通过使用cmd ss -ntl | grep 8080进行验证。有两条方法可以解决这个问题：要么杀死使用端口8080/8081的进程，要么在8080和8081之外的端口上运行Torchserve。

参考 configuration.md 了解更多详情。

相关问题：[542]

“java.lang.NoSuchMethodError”当启动Torchserve时。473

这个错误通常发生在未安装或使用Java 17时。Torchserve需要Java 17，而较旧的Java版本不被支持。

相关问题：[#473]

无法发送大文件进行推理请求？

默认的最大请求大小和响应大小约为6.5 MB。因此，任何大于6.5 MB的文件无法上传。 要解决这个问题，请更新max_request_size和max_response_size在config.properties文件中，并使用此配置文件启动torchserve。

$ cat config.properties
max_request_size=<request size in bytes>
max_response_size=<response size in bytes>
$ torchserve --start --model-store model_store --ts-config /path/to/config.properties

您也可以使用环境变量来设置这些值。 详情请参阅configuration.md。 相关问题：[#335]

Snapshot 相关问题

如何禁用快照功能？

默认情况下，快照功能已启用。要禁用快照功能，请使用–ncs标志启动torchserve或使用–ts-config参数指定配置文件路径/to/config 相关问题:[#383, #512]

Torchserve在重启后因“InvalidSnapshotException”异常停止。

Torchserve 在重启时使用最后一个快照配置文件来恢复其模型及其工作数量的状态。当抛出 “InvalidSnapshotException” 时，模型存储与快照相比处于不一致状态。要解决此问题，可以删除快照配置文件或使用特定配置文件启动 torchserve，例如 –ts-config path/to/config。 详情请参阅 snapshot.md。

在哪里存储快照配置文件？

图片默认保存在{LOG_LOCATION}\config目录中，其中{LOG_LOCATION}是一个系统环境变量，TorchServe可以使用。如果这个变量未设置，则将图片保存在.\log\config目录中 参见snapshot.md以获取更多详细信息。

如何更改临时目录？

你可以将TEMP环境变量导出到指定路径。该路径将由TorchServe用于提取模型档案内容。 相关问题：[#654]

API相关的Issue

注册模型：以“冲突状态异常”错误代码409失败。

这给出了一个明确的信息，表明我们试图注册的模型与已存在的模型冲突。要解决这个问题，请在创建mar文件时更改模型版本或以不同的名称注册模型。 相关问题：[#500]

注册模型：以“DownloadModelException”异常失败，错误代码 400。

Torchserve 在这种情况下无法下载 mar 文件。要解决这个问题，请检查提供的 URL 是否可以公开访问。

注册模型：以“ModelNotFoundException”异常失败，并且错误代码为404。

在这种情况下，Torchserve无法在模型存储目录中找到给定的mar文件。要解决这个问题，请检查给定的mar文件是否存在于模型存储中。检查POST请求中的mar文件名称以注册模型。

推理请求：以“服务不可用异常”为错误代码503失败。

在这种情况下，模型已注册但没有为该模型启动工作者。使用缩放API以增加工作者的数量。您可以使用 curl -X GET"http://localhost:8081/models/<model_name>" 来验证工作者的数量。

Model-archiver

如何添加特定模型的自定义依赖项？

你可以使用--extra-files标志在创建mar文件时添加你的依赖文件。这些依赖文件可以是任何类型，如zip、egg、json等。你可能需要编写一个自定义处理器来根据需要使用这些文件。

相关问题：[#566]

如何解决特定模型的Python依赖项？

您可以使用“–requirements-file/ -r”标志在创建mar文件时提供一个requirements.txt。您可以参考waveglow 文本到语音合成器示例

• 波浪声波生成器创建脚本

• 波格洛处理器

相关问题：[#566] 参见Torch模型存档器CLI以获取更多详细信息。

我已在我的mar文件中添加了requirements.txt，但列出的包没有安装。

默认情况下，特定模型的自定义Python包功能是禁用的，通过将install_py_dep_per_model设置为true来启用此功能。 详情请参阅允许特定模型的自定义Python包。

后端工作进程中断或后端工作进程死亡错误。

这个问题大多发生在模型无法初始化时，这可能是由于处理程序初始化函数中的错误代码引起的。这种错误也会在缺少包或模块时出现。

相关问题：[#667, #537]