请求信封¶
许多模型服务系统提供请求体的签名。例如:
数据科学家使用这些多框架系统来管理部署多种不同模型,可能使用不同的语言和框架。这些平台在模型服务之上提供额外的分析功能,包括偏斜检测、解释和A/B测试。这些平台需要一个结构良好的签名,以便在不同框架之间标准化调用,并理解输入数据。然而,为了简化对许多框架的支持,这些平台将简单地将请求体传递给底层模型服务器。
Torchserve目前没有固定的请求体签名。包装器允许你自动将固定签名转换为扁平的Python列表,该签名是你的模型托管者所需的。
用法¶
当你编写一个处理器时,总是期望得到一个包含数据的纯Python列表,这些数据可以被放入
preprocess中。至关重要的是,你应该假设你的处理器代码在本地或你的模型协调器中看起来是一样的。当你在模型编排器后面部署Torchserve时,请确保在你的
service_envelope文件中设置相应的config.properties。例如,如果你使用的是Google Cloud AI平台,它具有JSON格式,你可以在config.properties文件中添加service_envelope=json。
贡献¶
在 ts/torch_handler/request_envelope 下添加新文件。每个文件只包含一个类。在 config.properties 中使用的键将是您编写类的 .py 文件的名称。