ts.metrics 包

子模块

ts.metrics.dimension 模块

模型服务器指标类

class ts.metrics.dimension.Dimension(name, value)

基础： object

定义键值对的维度类

to_dict()

返回一个字典

ts.metrics.metric 模块

模型服务器的指标类

class ts.metrics.metric.Metric(name, value, unit, dimensions, request_id=None, metric_method=None)

基础： object

生成指标类并将其打印到worker的stdout

reset()

将指标值重置为0

to_dict()

返回一个有序字典

update(value)

Metric类的更新函数

Parameters:

值 (整数, 浮点数) – 需要更新的度量标准

ts.metrics.metric_collector 模块

系统指标和进程指标脚本的单个起始点

ts.metrics.metric_encoder 模块

json dumps的编码器类

class ts.metrics.metric_encoder.MetricEncoder(*, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, sort_keys=False, indent=None, separators=None, default=None)

Bases: JSONEncoder

JSON编码Metric对象的编码器类

default(obj)

仅在对象类型为 Metric 时进行覆盖。

ts.metrics.metrics_store 模块

指标收集模块

class ts.metrics.metrics_store.MetricsStore(request_ids, model_name)

基础： object

已废弃 类用于创建和修改不同的指标，并将它们保存在字典中

add_counter(name, value, idx=None, dimensions=None)

添加计数器指标或增加现有计数器指标

Parameters:

• 名称 (字符串) – 指标名称

• 值 (整数) – 指标的值

• idx (int) – 请求批次中的请求ID索引

• 维度 (列表) – 度量的维度列表

add_error(name, value, dimensions=None)

添加错误指标 :参数 name: 指标名称 :类型 name: str :参数 value: 指标的值，在这种情况下是一个字符串 :类型 value: str :参数 dimensions: 指标的维度列表 :类型 dimensions: 列表

add_metric(name, value, unit, idx=None, dimensions=None)

添加一个通用的指标，同时包含自定义指标。

Parameters:

• 名称 (字符串) – 指标名称

• 值 (整数, 浮点数) – 指标值

• idx (int) – 请求批次中的请求ID索引

• 单元 (字符串) – 指标的单位

• 维度 (列表) – 度量的维度列表

add_percent(name, value, idx=None, dimensions=None)

添加一个基于百分比的指标

Parameters:

• 名称 (字符串) – 指标名称

• 值 (整数, 浮点数) – 指标值

• idx (int) – 请求批次中的请求ID索引

• 维度 (列表) – 度量的维度列表

add_size(name, value, idx=None, unit='MB', dimensions=None)

添加基于大小的指标

Parameters:

• 名称 (字符串) – 指标名称

• 值 (整数, 浮点数) – 指标值

• idx (int) – 请求批次中的请求ID索引

• 单元 (字符串) – 度量单位，默认为‘MB’，也支持‘kB’、‘GB’

• 维度 (列表) – 度量的维度列表

add_time(name, value, idx=None, unit='ms', dimensions=None)

添加一个基于时间的指标，例如延迟，默认单位是“ms”。

Parameters:

• 名称 (字符串) – 指标名称

• 值 (整数) – 指标的值

• idx (int) – 请求批次中的请求ID索引

• 单元 (字符串) – 度量单位，默认为 ms，也接受 s

• 维度 (列表) – 度量的维度列表

ts.metrics.process_memory_metric 模块

收集进程内存使用量指标在这里 传递一个JSON，包含pid和gpuID的集合

ts.metrics.process_memory_metric.check_process_mem_usage(stdin)

Returns:

mem_utilization

Return type:

浮点型

ts.metrics.process_memory_metric.get_cpu_usage(pid)

使用 psutil 获取 CPU 和内存信息 :param pid: str :return: int

ts.metrics.system_metrics 模块

用于收集前端系统指标的模块

ts.metrics.system_metrics.collect_all(mod, num_of_gpu)

收集所有系统指标。

Parameters:

• 模块 –

• num_of_gpu –

Returns:

ts.metrics.system_metrics.cpu_utilization()

ts.metrics.system_metrics.disk_available()

ts.metrics.system_metrics.disk_used()

ts.metrics.system_metrics.disk_utilization()

ts.metrics.system_metrics.gpu_utilization(num_of_gpu)

收集GPU指标。

Parameters:

num_of_gpu –

Returns:

ts.metrics.system_metrics.memory_available()

ts.metrics.system_metrics.memory_used()

ts.metrics.system_metrics.memory_utilization()

ts.metrics.unit 模块

模块用于定义单元映射

class ts.metrics.unit.Units

基础： object

定义元素的单位

模块内容

这是一个存放所有Python工作指标的文件夹。