tongchenkeji
发表于：0次点击

咨询一个大数据计算MaxCompute问题 这块maxcompute能做么？[阿里云MaxCompute]

咨询一个大数据计算MaxCompute问题 我这有一批1000w的数据 比如说做下清洗 由于某些数据存在问题 导致整个任务down掉 我的结果表最终没有写入进入数据 我想要使用maxcompute 来实现分批次的写入数据 比如我有1000w的数据 我每次filter均会有数据写入 比如没50条数据一个小批次 这块maxcompute能做么？

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
MaxCompute# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据1264
=====这是一个广告位，招租中，联系qq 78315851====
MaxCompute
大数据计算MaxCompute图片中的取值范围 最大到12288，可以全局设置吗？ 有没有什么限制？[阿里云MaxCompute]
MaxCompute
大数据计算MaxCompute可以循环遍历数据么？[阿里云MaxCompute]
2 条回复 A 作者 M 管理员

  1. 可以。写入数据时加过滤条件，此回答整理自钉群“MaxCompute开发者社区2群”

    已喜欢 已反对

  2. 是的，MaxCompute支持分批次写入数据。您可以使用INSERT INTO ... SELECT语句将数据分成小批次进行插入。以下是一个示例：

    -- 假设您的原始表名为source_table，目标表名为target_table，清洗条件为clean_condition-- 每次插入50条数据INSERT INTO target_tableSELECT * FROM source_tableWHERE clean_conditionLIMIT 50;

    您可以根据需要调整LIMIT子句中的值，以控制每次插入的数据量。在执行完一次插入操作后，可以再次执行相同的插入语句，直到所有数据都被处理完毕。

    已喜欢 已反对

  3. 是的，在MaxCompute中，可以使用窗口函数和分组操作来分批次处理数据，如下所示：

    CREATE TABLE your_table asSELECT *FROM (    SELECT columns,           ROW_NUMBER() OVER(ORDER BY order_column) as row_number    FROM your_input_table);INSERT INTO your_output_tableSELECT *FROM (    SELECT columns    FROM (        SELECT t.*        FROM your_table t,             (SELECT COUNT(*) over () as total_rows,                     SUM(row_number) over (ORDER BY row_number) as cur_total             FROM your_table             WHERE conditions) subquery        WHERE subquery.cur_total BETWEEN @start_index AND @end_index        )WHERE condition

    在上面的代码中，row_number表示每一行的编号，@start_index和@end_index表示本次处理的范围。您可以使用这个公式计算出每次处理的范围，并在循环中重复执行该语句。每次处理结束后，递增@start_index和@end_index。
    另外，在实现分批处理时，还需要注意数据量的合理性，以免造成内存溢出等问题。

    已喜欢 已反对