tongchenkeji 发表于:2023-8-7 20:42:150次点击 已关注取消关注 关注 私信 DataWorks数据分析电子表格超过5000条,保存报错了,可以优化么?[阿里云DataWorks] 暂停朗读为您朗读 DataWorks数据分析电子表格超过5000条,保存报错了,可以优化么? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 DataWorks# DataWorks3343# 大数据开发治理平台 DataWorks3946# 数据挖掘74
算精通AM 2023-11-27 21:16:34 1 有以下几点可以优化: 使用数据库取代电子表格:电子表格存在数据量限制,一般不适合存储超过5000条的数据。可以考虑使用DataWorks内置的数据库(如ODPS 或 SQL Server),存储和分析数据。 只在电子表格显示部分数据:电子表格只用来展示5000条左右数据,其他多余数据仍然存储在数据库中。需要时再查询部分数据显示在电子表格中。 分割表存储:将数据按时间排序后,分段存储在多个电子表格中。每个表格5000条左右。需要分析时聚合多个表格。 使用流计算:将原始大数据首先加载到流计算(如fluxDB)中存储,在电子表格中连接流计算查看实时的数据。 接入大数据分析平台:由专业的大数据分析和存储平台接入原始数据,DataWorks只负责数据分析展示。可以接入TDW、HoloView等。 综上,对于DataWorks电子表格报错的情况,最佳实践是: 不要依赖电子表格存储超5k的数据使用数据库来存储原始数据,电子表格只负责展示通过分段存储、流计算或大数据分析解决方案,实现实时大数据分析
有以下几点可以优化:
使用数据库取代电子表格:
电子表格存在数据量限制,一般不适合存储超过5000条的数据。可以考虑使用DataWorks内置的数据库(如ODPS 或 SQL Server),存储和分析数据。
只在电子表格显示部分数据:
电子表格只用来展示5000条左右数据,其他多余数据仍然存储在数据库中。需要时再查询部分数据显示在电子表格中。
分割表存储:
将数据按时间排序后,分段存储在多个电子表格中。每个表格5000条左右。需要分析时聚合多个表格。
使用流计算:
将原始大数据首先加载到流计算(如fluxDB)中存储,在电子表格中连接流计算查看实时的数据。
接入大数据分析平台:
由专业的大数据分析和存储平台接入原始数据,DataWorks只负责数据分析展示。可以接入TDW、HoloView等。
综上,对于DataWorks电子表格报错的情况,最佳实践是:
不要依赖电子表格存储超5k的数据
使用数据库来存储原始数据,电子表格只负责展示
通过分段存储、流计算或大数据分析解决方案,实现实时大数据分析
辛苦发一下完整截图 和报错文本+地域信息 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”