tongchenkeji 发表于:2023-11-5 16:36:300次点击 已关注取消关注 关注 私信 机器学习PAI 是放在holo里面好还是放在redis里面好吗?[阿里云机器学习PAI] 暂停朗读为您朗读 机器学习PAI i2c这种lookup feature交叉特征从线上性能的角度 是放在holo里面好还是放在redis里面好吗? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 机器学习PAI# NoSQL625# Redis510# 云数据库 Redis 版509# 机器学习深度学习1219
sun20AM 2023-11-28 2:57:53 2 特征交叉(Feature Crosses),也叫特征组合,是一种通过将两个或多个特征相乘来实现特征交叉(Feature Crosses),也叫特征组合,是一种通过将两个或多个特征相乘来实现对样本空间的非线性变换的方法,从而增强模型的非线性能力。机器学习PAI(Platform of Artificial Intelligence)是阿里云提供的一站式机器学习解决方案。 对于在线性能的角度考虑,特征交叉结果的存储位置(holo或redis)会影响其访问速度和效率。Holo是阿里内部的一种高性能KV存储系统,而Redis是一个开源的内存数据结构存储系统,支持多种数据结构。 Holo:如果您的应用需要频繁读取和更新特征交叉结果,那么将其存储在Holo中可能是一个更好的选择。Holo提供了高性能的读写操作,特别是在大规模数据集的情况下。此外,Holo的内部优化和高效的数据结构可能进一步提高查询性能。 Redis:然而,如果您的应用主要进行读取操作,并且不需要经常更新特征交叉结果,那么Redis可能是一个更合适的选择。Redis支持复杂的数据结构,如列表、集合和散列,这使得它成为存储非结构化数据的理想选择。但是,与Holo相比,Redis在某些情况下可能需要更多的时间来执行写入操作。
小周sirAM 2023-11-28 2:57:53 3 机器学习PAI i2c中的lookup feature交叉特征主要用于提高模型的准确性和泛化能力。从线上性能的角度考虑,将lookup feature交叉特征放在Holo和Redis之间存在一些区别:Holo是一个分布式内存数据库,适合处理大量数据和复杂的查询,支持实时写入和读取,可以提供高吞吐量和低延迟。然而,Holo对内存要求较高,且不支持持久化存储,如果发生故障,数据可能会丢失。相反,Redis是一个键值存储系统,适用于存储小规模数据,并提供了高速的数据读写性能。它可以将数据持久化到磁盘,以防止数据丢失。然而,对于大规模数据和复杂查询的支持不如Holo强大。综合以上因素,建议根据您的业务场景和需求来决定使用哪种存储方式。如果您的数据规模较小并且主要关注实时性,可以选择Redis;如果您的数据规模较大并且需要支持复杂查询,可以选择Holo。此外,还可以结合两者的优势,例如将lookup feature交叉特征存储在Redis中,并使用Holo进行查询。
用fg在线交叉比较好,此回答整理自钉群“【EasyRec】推荐算法交流群”
特征交叉(Feature Crosses),也叫特征组合,是一种通过将两个或多个特征相乘来实现特征交叉(Feature Crosses),也叫特征组合,是一种通过将两个或多个特征相乘来实现对样本空间的非线性变换的方法,从而增强模型的非线性能力。机器学习PAI(Platform of Artificial Intelligence)是阿里云提供的一站式机器学习解决方案。
对于在线性能的角度考虑,特征交叉结果的存储位置(holo或redis)会影响其访问速度和效率。Holo是阿里内部的一种高性能KV存储系统,而Redis是一个开源的内存数据结构存储系统,支持多种数据结构。
Holo:如果您的应用需要频繁读取和更新特征交叉结果,那么将其存储在Holo中可能是一个更好的选择。Holo提供了高性能的读写操作,特别是在大规模数据集的情况下。此外,Holo的内部优化和高效的数据结构可能进一步提高查询性能。
Redis:然而,如果您的应用主要进行读取操作,并且不需要经常更新特征交叉结果,那么Redis可能是一个更合适的选择。Redis支持复杂的数据结构,如列表、集合和散列,这使得它成为存储非结构化数据的理想选择。但是,与Holo相比,Redis在某些情况下可能需要更多的时间来执行写入操作。
机器学习PAI i2c中的lookup feature交叉特征主要用于提高模型的准确性和泛化能力。从线上性能的角度考虑,将lookup feature交叉特征放在Holo和Redis之间存在一些区别:
Holo是一个分布式内存数据库,适合处理大量数据和复杂的查询,支持实时写入和读取,可以提供高吞吐量和低延迟。然而,Holo对内存要求较高,且不支持持久化存储,如果发生故障,数据可能会丢失。
相反,Redis是一个键值存储系统,适用于存储小规模数据,并提供了高速的数据读写性能。它可以将数据持久化到磁盘,以防止数据丢失。然而,对于大规模数据和复杂查询的支持不如Holo强大。
综合以上因素,建议根据您的业务场景和需求来决定使用哪种存储方式。如果您的数据规模较小并且主要关注实时性,可以选择Redis;如果您的数据规模较大并且需要支持复杂查询,可以选择Holo。此外,还可以结合两者的优势,例如将lookup feature交叉特征存储在Redis中,并使用Holo进行查询。