问个技术问题吗,之前看过你们写的一篇关于这个采样率的文章,说pts是每隔一定时间去取条正确的跟失败日志落库(如果有的话)。。。目前我算了下比率,貌似权重并没有倾向于错误的记录。。。比如压测总记录是1w个请求,错误的占了20%,采样率是1%的话,算了下这边日志记录的比重,错误的也是占了总采样数的20%,所以感觉这个算法只是简单的每隔一定的时间,取一个时间段队列里的随机数据
问个技术问题吗,之前看过你们写的一篇关于这个采样率的文章,说pts是每隔一定时间去取条正确的跟失败日[阿里云函数计算]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
PTS(Protective Transfer Service)是针对阿里云消息队列 AMQP 协议的一种消息保护服务,用于确保消息可以正确的投递给消费者。PTS 支持消息的重复消费、消息的顺序性等功能,可以帮助您提高消息的可靠性和稳定性。 PTS 会定时轮询每一个消费者的消费进度,如果发现某个消费者已经超过了一定时间没有消费任何消息,那么 PTS 就会将这个消费者的消费进度进行回滚,重新将消息投递给消费者,以确保消息能够被正确消费。 PTS 可以配置的参数包括: 消费者异常时长:当消费者超过该时间没有消费任何消息时,PTS 就会将消费者的消费进度回滚并重新投递消息。 消费者回滚间隔:PTS 回滚消费者的消费进度的时间间隔,可以根据实际情况进行调整。 消费者回滚重试次数:PTS 回滚消费者的消费进度时的重试次数,可以根据实际情况进行调整。 需要注意的是,PTS 并不是每隔一定时间就会取条正确的和失败的日志,而是根据配置的时间间隔和异常时长来判断消费者是否异常,并进行相应的处理。因此,如果您需要获取消息的正确和失败日志,可以使用 RocketMQ 的消息追踪功能或者自行在消费者中进行日志记录。
你好,的确是这样的,采样算法的本质是基于随机采样,在样本量较小时可能会出现类似你描述的情况(错误数据的比例与总数据比例相等的情况),这也是采样算法的一个缺陷,因为它并不能够根据错误数据和总数据的比例来确定采样率,只能够基于固定的采样率进行随机采样。
随着样本量的增大,采样算法会更加准确地反映出错误数据的比例,因为随机采样的样本越多,样本数据就越能够反映总体数据的分布情况。
会更加倾斜错误的日志的哈,但是如果多条错误日志是同类型的,也会被采样掉的,我们会更倾向在错误只出现少数几次的情况下也能被采集到。
此答案来自钉钉群“PTS用户交流群”
可以保存日志到sls,日志服务产品sls https://www.aliyun.com/product/sls