tongchenkeji 发表于：2023-11-5 17:34:480次点击 已关注取消关注 关注 私信 机器学习PAI最近合入的elastic grpc有啥特性？[阿里云机器学习PAI] 暂停朗读为您朗读 机器学习PAI最近合入的elastic grpc有啥特性？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 机器学习PAI# 人工智能平台 PAI1410# 机器学习深度学习1219
sun20AM 2023-11-28 3:00:26 2 阿里云机器学习PAI平台最近引入的elastic grpc主要特性包括支持异构硬件（如CPU和GPU）的模型加载，具备高吞吐率和低延迟的特点。此外，它还提供了大型负责规模的一键部署功能。同时，elastic grpc也支持HTTP/gRPC通信协议，能够提供二进制格式扩展来压缩发送请求的大小，实现Dynamic Batching功能以提升服务的吞吐，并且兼容KFServing的API标准。
小周sirAM 2023-11-28 3:00:26 3 Elastic gRPC 是一个由阿里巴巴开源的 gRPC 扩展框架，它可以支持 gRPC 协议上的弹性负载均衡、熔断、降级等功能。以下是 Elastic gRPC 的主要特性和功能： 弹性负载均衡：支持多种负载均衡策略，包括轮询、最少连接数、一致性哈希等，可以根据实际情况灵活选择。 熔断保护：当某个服务器出现异常或请求失败率超过阈值时，可以自动切断对该服务器的调用，并进行降级处理。 动态调整：可以根据系统的实时情况动态调整负载均衡策略和降级规则，以达到更好的系统稳定性。 监控和报警：可以收集服务器的各项指标，并通过 Prometheus 或 Grafana 等工具进行可视化监控和报警。 总之，Elastic gRPC 是一个强大的扩展框架，可以极大地增强 gRPC 协议的功能和灵活性。如果您正在使用 gRPC 构建分布式系统，可以考虑使用 Elastic gRPC 来增强系统的可靠性、可用性和稳定性。
我们近期会发布支持弹性ps 的功能，在k8s环境支持ps动态扩缩，此回答整理自钉群“DeepRec用户群”
阿里云机器学习PAI平台最近引入的elastic grpc主要特性包括支持异构硬件（如CPU和GPU）的模型加载，具备高吞吐率和低延迟的特点。此外，它还提供了大型负责规模的一键部署功能。同时，elastic grpc也支持HTTP/gRPC通信协议，能够提供二进制格式扩展来压缩发送请求的大小，实现Dynamic Batching功能以提升服务的吞吐，并且兼容KFServing的API标准。
Elastic gRPC 是一个由阿里巴巴开源的 gRPC 扩展框架，它可以支持 gRPC 协议上的弹性负载均衡、熔断、降级等功能。
以下是 Elastic gRPC 的主要特性和功能：
总之，Elastic gRPC 是一个强大的扩展框架，可以极大地增强 gRPC 协议的功能和灵活性。如果您正在使用 gRPC 构建分布式系统，可以考虑使用 Elastic gRPC 来增强系统的可靠性、可用性和稳定性。