ts.model_service.model_service 模块
ModelService 定义了一个基础模型服务的API。
-
class ts.model_service.model_service.ModelService(model_name, model_dir, manifest, gpu=None)[source]
基础： object
模型服务封装了模型服务中使用的所有预处理、推理和后处理函数。它以灵活的方式定义，易于扩展以支持不同的框架。
-
handle(data, context)[source]
兼容的反向处理函数。
- Parameters:
-
- Returns:
-
-
abstract inference(data)[source]
用于运行预处理、推理和后处理函数的包装函数。
- Parameters:
数据 (对象列表) – 请求中的原始输入。
- Returns:
待发送的数据
- Return type:
发送给客户端的输出列表。
-
initialize(context)[source]
内部初始化ModelService。
- Parameters:
context – MMS上下文对象
- Returns:
-
-
abstract ping()[source]
ping 获取系统健康状态。
- Returns:
一条消息，“健康”：“健康！”，显示系统是健康的。
- Return type:
字符串
-
signature()[source]
模型服务的签名。
- Returns:
模型服务签名。
- Return type:
字典
-
class ts.model_service.model_service.SingleNodeService(model_name, model_dir, manifest, gpu=None)[source]
Bases: ModelService
单节点模型定义了用于加载单个模型的服务的抽象。
-
inference(data)[source]
用于运行预处理、推理和后处理函数的包装函数。
- Parameters:
数据 (对象列表) – 请求中的原始输入。
- Returns:
待发送的数据
- Return type:
发送给客户端的输出列表。