tongchenkeji 发表于:2023-10-29 20:28:480次点击 已关注取消关注 关注 私信 在这里请教个机器学习PAI有办法判断一个表的某个分区 写操作完成了吗?[阿里云机器学习PAI] 暂停朗读为您朗读 “在这里请教个机器学习PAI问题哈~dataworks上,有办法判断一个表的某个分区 写操作完成了吗?“ 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 机器学习PAI# DataWorks3343# 人工智能平台 PAI1410# 大数据开发治理平台 DataWorks3946# 机器学习深度学习1219
sun20AM 2023-11-28 3:08:35 1 问题1:在阿里云的DataWorks上,你可以通过查看Hive日志来判断一个表的某个分区的写操作是否已经完成。你可以登录到Hive客户端,然后执行以下命令: hive> show logs; 这将显示当前的Hive日志。你可以搜索日志中的关键字,如 "Created table"、"Added partition"、"Completed writing to" 等来判断分区的写操作是否已经完成。 问题2:要判断一个新分区是否在,你可以通过执行以下命令来实现: hive> SHOW PARTITIONS <table_name>; 这将列出指定表的所有分区。如果新分区已经存在,那么它将出现在这个列表中。
xin在这AM 2023-11-28 3:08:35 2 有很多办法,比如写完再写一个新分区,比如xxx.done,新分区里写一条空数据,判断新分区在不在就好了,可以用个pyodps节点判断下,此回答整理自钉群“【EasyRec】推荐算法交流群”
小周sirAM 2023-11-28 3:08:35 3 问题1:在这里请教个机器学习PAI问题哈~dataworks上,有办法判断一个表的某个分区 写操作完成了吗?问题2:这是怎么判断新分区在不在的啊?
问题1:在阿里云的DataWorks上,你可以通过查看Hive日志来判断一个表的某个分区的写操作是否已经完成。你可以登录到Hive客户端,然后执行以下命令:
这将显示当前的Hive日志。你可以搜索日志中的关键字,如 "Created table"、"Added partition"、"Completed writing to" 等来判断分区的写操作是否已经完成。
问题2:要判断一个新分区是否在,你可以通过执行以下命令来实现:
这将列出指定表的所有分区。如果新分区已经存在,那么它将出现在这个列表中。
有很多办法,比如写完再写一个新分区,比如xxx.done,新分区里写一条空数据,判断新分区在不在就好了,可以用个pyodps节点判断下,此回答整理自钉群“【EasyRec】推荐算法交流群”
问题1:在这里请教个机器学习PAI问题哈~dataworks上,有办法判断一个表的某个分区 写操作完成了吗?
问题2:这是怎么判断新分区在不在的啊?