yr.FunctionGroupOptions#
- class yr.FunctionGroupOptions(cpu: int | None = None, memory: int | None = None, resources: ~typing.Dict[str, float] = <factory>, scheduling_affinity_type: ~yr.config.SchedulingAffinityType | None = None, scheduling_affinity_each_bundle_size: int | None = None, timeout: int | None = None, concurrency: int | None = None, recover_retry_times: int = 0)#
基类:
object函数组的配置项。
属性:
实例并发度。 限制范围:[1,1000]。
需要使用的 cpu 大小。 单位:m(毫核),cpu 限制[300,16000]。
需要使用的内存大小。 单位:MB,memory 限制: [128,65536]。
恢复重试次数,用于在实例恢复失败时的重试。默认值为
0。每个 bundle 中的函数实例数。
bundle 内实例亲和类型。
超时时间(以秒为单位),有效值为
-1或在[0,0x7fffffff]内。自定义资源,目前支持
NPU/XX/YY,其中 XX 为插卡型号,如Ascend910B4, YY 为count,latency,或者stream。方法: