ts包

子包

• ts.metrics 包
  • 子模块
  • ts.metrics.dimension 模块
  • ts.metrics.metric 模块
  • ts.metrics.metric_collector 模块
  • ts.metrics.metric_encoder 模块
  • ts.metrics.metrics_store 模块
  • ts.metrics.process_memory_metric 模块
  • ts.metrics.system_metrics 模块
  • ts.metrics.unit 模块
  • 模块内容
• ts.model_service 包
  • 子模块
  • ts.model_service.model_service 模块
  • 模块内容
• ts.protocol 包
  • 子模块
  • ts.protocol.otf_message_handler 模块
  • 模块内容
• ts.torch_handler 包
  • 子包
    • ts.torch_handler.request_envelope 包
      • 子模块
      • ts.torch_handler.request_envelope.base 模块
      • ts.torch_handler.request_envelope.body 模块
      • ts.torch_handler.request_envelope.json 模块
      • ts.torch_handler.request_envelope.kserve 模块
      • ts.torch_handler.request_envelope.kservev2 模块
      • 模块内容
    • ts.torch_handler.unit_tests 包
      • 子包
      • 子模块
      • ts.torch_handler.unit_tests.test_base_handler 模块
      • ts.torch_handler.unit_tests.test_envelopes 模块
      • ts.torch_handler.unit_tests.test_image_classifier 模块
      • ts.torch_handler.unit_tests.test_image_segmenter 模块
      • ts.torch_handler.unit_tests.test_mnist_kf 模块
      • ts.torch_handler.unit_tests.test_object_detector 模块
      • 模块内容
  • 子模块
  • ts.torch_handler.base_handler 模块
  • ts.torch_handler.contractions 模块
  • ts.torch_handler.densenet_handler 模块
  • ts.torch_handler.image_classifier 模块
  • ts.torch_handler.image_segmenter 模块
  • ts.torch_handler.object_detector 模块
  • ts.torch_handler.text_classifier 模块
  • ts.torch_handler.text_handler 模块
  • ts.torch_handler.vision_handler 模块
  • 模块内容
• ts.utils 包
  • 子模块
  • ts.utils.timeit_decorator 模块
  • ts.utils.util 模块
  • 模块内容

子模块

ts.arg_parser 模块

这个模块解析通过torchserve命令行传递的参数。这是在运行时由模型服务器使用的。

class ts.arg_parser.ArgParser

基础： object

torchserve 和 torchserve-export 命令的解析器 TODO : 添加 readme URL

static extract_args(args=None)

static model_service_worker_args()

后端工作器的ArgumentParser。接受套接字名称和套接字类型。 返回：

static ts_parser()

torchserve服务启动参数解析器

ts.context 模块

请求中对象的上下文

class ts.context.Context(model_name, model_dir, manifest, batch_size, gpu, mms_version, limit_max_image_pixels=True, metrics=None, model_yaml_config=None)

基础： object

上下文存储与模型相关的工人信息 一些在加载时固定，一些由服务设置

get_all_request_header(idx: int) → Dict[str, str]

get_request_header(idx: int, key: str) → Optional[str]

get_request_id(idx: int = 0) → Optional[str]

get_response_content_type(idx: int) → Optional[str]

get_response_headers(idx: int) → Dict[str, str]

get_response_status(idx: int) → Tuple[int, str]

get_sequence_id(idx: int) → str

property metrics

property request_processor

set_all_response_status(code: int = 200, phrase: str = '') → None

设置单个请求的状态码 :参数 phrase: :参数 code: :返回值：

set_response_content_type(idx: int, value: str) → None

set_response_header(idx, key, value)

set_response_status(code: int = 200, phrase: str = '', idx: int = 0)

设置请求的HTTP状态码 :param phrase: :param idx: 发送到handle()方法的列表(data)中的索引数据 :param code: :return:

property system_properties

class ts.context.RequestProcessor(request_header: dict)

基础： object

请求处理器

add_response_property(key: str, value: str) → None

get_request_properties() → dict

get_request_property(key: str) → Optional[str]

get_response_header(key: str) → Optional[str]

get_response_headers() → dict

get_response_status_code() → int

get_response_status_phrase() → Optional[str]

report_status(code, reason_phrase=None) → None

ts.model_loader 模块

模型加载器。

class ts.model_loader.ModelLoader

基础： object

基础模型加载器类。

abstract load(model_name: str, model_dir: str, handler: Optional[str] = None, gpu_id: Optional[int] = None, batch_size: Optional[int] = None, envelope: Optional[str] = None, limit_max_image_pixels: Optional[bool] = True)

从文件加载模型。

Parameters:

• model_name –

• model_dir –

• handler –

• gpu_id –

• batch_size –

• 信封 –

• limit_max_image_pixels –

Returns:

模型

class ts.model_loader.ModelLoaderFactory

基础： object

static get_model_loader()

class ts.model_loader.TsModelLoader

Bases: ModelLoader

TorchServe 1.0 模型加载器

load(model_name: str, model_dir: str, handler: Optional[str] = None, gpu_id: Optional[int] = None, batch_size: Optional[int] = None, envelope: Optional[str] = None, limit_max_image_pixels: Optional[bool] = True, metrics_cache: Optional[MetricsCacheYamlImpl] = None) → Service

从文件加载TorchServe 1.0模型。

Parameters:

• model_name –

• model_dir –

• handler –

• gpu_id –

• batch_size –

• 信封 –

• limit_max_image_pixels –

• metrics_cache – MetricsCacheYamlImpl 对象

Returns:

ts.model_server 模块

文件定义模型服务器的入口点

ts.model_server.load_properties(file_path: str) → Dict[str, str]

将属性文件读入映射。

ts.model_server.start() → None

这是模型服务器的入口点

ts.model_service_worker 模块

模型服务工作者是MMS前端启动的工作者。 通信消息格式：二进制编码

class ts.model_service_worker.TorchModelServiceWorker(s_type: Optional[str] = None, s_name: Optional[str] = None, host_addr: Optional[str] = None, port_num: Optional[int] = None, metrics_config: Optional[str] = None, async_comm: Optional[bool] = False)

基础： object

后端工作者处理模型服务器的Python服务代码

handle_connection(cl_socket)

处理socket连接。

Parameters:

cl_socket –

Returns:

handle_connection_async(cl_socket)

处理socket连接。

Parameters:

cl_socket –

Returns:

load_model(load_model_request)

预期命令

“command” : “load”, string “modelPath” : “/path/to/model/file”, string “modelName” : “name”, string “gpu” : None if CPU else gpu_id, int “handler” : service handler entry point if provided, string “envelope” : name of wrapper/unwrapper of request data if provided, string “batchSize” : batch size, int “limitMaxImagePixels”: limit pillow image max_image_pixels, bool

}

Parameters:

load_model_request –

Returns:

run_server()

运行后端工作进程并监听套接字

ts.service 模块

自定义服务类定义

class ts.service.Service(model_name, model_dir, manifest, entry_point, gpu, batch_size, limit_max_image_pixels=True, metrics_cache=None)

基础： object

自定义入口点的包装器

property context

predict(batch)

PREDICT COMMAND = {

“命令”： “预测”， “批次”： [ 请求输入 ]

:参数 batch: 列表请求 返回：

static retrieve_data_for_inference(batch)

REQUEST_INPUT = {

“requestId” : “111-222-3333”， “parameters” : [ 参数 ]

}

PARAMETER = {

“name” : 参数名称 “contentType”: “http-content-types”, “value”: “val1”

}

Parameters:

批量 –

Returns:

set_cl_socket(cl_socket)

ts.service.emit_metrics(metrics)

在提供的字典中输出指标

Parameters:

• 指标 (一个包含所有) –

• 指标 –

• metric_name (当键是) –

• 对象 (值是一个指标) –

ts版本模块

这是当前版本的TorchServe

模块内容

这个模块做了以下事情： a. 启动模型服务器。 b. 根据配置的模型创建端点。 c. 暴露标准的“ping”和“api-description”端点。 d. 等待处理推理请求。