在这里请教个机器学习PAI有办法判断一个表的某个分区 写操作完成了吗?[阿里云机器学习PAI]

“在这里请教个机器学习PAI问题哈~dataworks上,有办法判断一个表的某个分区 写操作完成了吗?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. 问题1:在阿里云的DataWorks上,你可以通过查看Hive日志来判断一个表的某个分区的写操作是否已经完成。你可以登录到Hive客户端,然后执行以下命令:

    hive> show logs;

    这将显示当前的Hive日志。你可以搜索日志中的关键字,如 "Created table"、"Added partition"、"Completed writing to" 等来判断分区的写操作是否已经完成。

    问题2:要判断一个新分区是否在,你可以通过执行以下命令来实现:

    hive> SHOW PARTITIONS <table_name>;

    这将列出指定表的所有分区。如果新分区已经存在,那么它将出现在这个列表中。

  2. 有很多办法,比如写完再写一个新分区,比如xxx.done,新分区里写一条空数据,判断新分区在不在就好了,可以用个pyodps节点判断下,此回答整理自钉群“【EasyRec】推荐算法交流群”

  3. 问题1:在这里请教个机器学习PAI问题哈~dataworks上,有办法判断一个表的某个分区 写操作完成了吗?
    问题2:这是怎么判断新分区在不在的啊?