tongchenkeji
发表于：0次点击

大数据计算MaxCompute这个是什么错误？[阿里云MaxCompute]

大数据计算MaxCompute这个是什么错误？ Traceback (most recent call last):
File “/opt/taobao/tbdpapp/odpswrapper/odpswrapper.py”, line 180, in
main()
File “/opt/taobao/tbdpapp/odpswrapper/odpswrapper.py”, line 177, in main
execer.RunSql(sqls)
File “/opt/taobao/tbdpapp/odpswrapper/sqlExec.py”, line 462, in RunSql
self.runNormalSql(sqlString)
File “/opt/taobao/tbdpapp/odpswrapper/sqlExec.py”, line 443, in runNormalSql
self.RunCurrentSql(sqlString, False, 0)
File “/opt/taobao/tbdpapp/odpswrapper/sqlExec.py”, line 362, in RunCurrentSql
self.execCurSql(sql_seq, sql, sql_list_len, alifin_last_task_sql);
File “/opt/taobao/tbdpapp/odpswrapper/sqlExec.py”, line 338, in execCurSql
returncode = self.odps_exec(self.GetMetaChain(sql_seq, ncount) + sql, “run”)
File “/opt/taobao/tbdpapp/odpswrapper/sqlExec.py”, line 517, in odps_exec
p = Popen(cmdsql, stderr=PIPE)
File “/usr/lib64/python2.7/subprocess.py”, line 711, in init
errread, errwrite)
File “/usr/lib64/python2.7/subprocess.py”, line 1327, in _execute_child
raise child_exception
OSError: [Errno 7] Argument list too long

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
MaxCompute# MaxCompute2748# SQL1285# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据1264
=====这是一个广告位，招租中，联系qq 78315851====
MaxCompute
大数据计算MaxCompute有支持 scala2.12的吗？[阿里云MaxCompute]
MaxCompute
大数据计算MaxCompute加进去后 还是报错？[阿里云MaxCompute]
4 条回复 A 作者 M 管理员

  1. 这个错误是由于命令行参数过长导致的。在Python的subprocess模块中，如果传递给Popen函数的命令行参数超过了系统允许的最大长度（通常是2048个字符），就会抛出OSError: [Errno 7] Argument list too long的错误。

    为了解决这个问题，你可以尝试以下方法：

    1. 将较长的SQL语句拆分成多个较短的SQL语句，然后分别执行。
    2. 使用分号（；）将多个SQL语句连接起来，然后一次性执行。例如：sql_list = ["sql1", "sql2", "sql3"]; execer.RunSql(sql_list)。
    3. 如果可能的话，尝试优化你的SQL语句，减少其长度。
    已喜欢 已反对

  2. 这个错误是由于在执行命令时，参数列表过长导致的。你可以尝试将命令分解成多个较短的参数，或者使用分号（；）将多个命令连接起来。例如：

    cmdsql = "your_command; your_command2"p = Popen(cmdsql, stderr=PIPE)
    已喜欢 已反对

  3. 这个错误是由于在执行ODPS SQL命令时，参数列表过长导致的。你可以尝试以下方法解决这个问题：

    1. 检查你的SQL语句，确保没有过多的参数或者嵌套的子查询。如果有，尝试将它们分解成多个较小的SQL语句。

    2. 使用分页查询的方式，将大量数据分成多个较小的批次进行查询。例如，你可以使用LIMIT和OFFSET关键字来实现分页查询。

    3. 如果可能的话，尝试优化你的SQL语句，减少查询的数据量。例如，使用WHERE子句来过滤不需要的数据，或者使用JOIN操作来合并多个表。

    4. 如果问题仍然存在，可以考虑将你的大数据计算任务拆分成多个小任务，然后分别在不同的MaxCompute实例上运行。这样可以避免单个任务的参数列表过长导致的错误。

    已喜欢 已反对

  4. 似乎是由于SQL语句过长导致的。MaxCompute的SQL语句长度限制可能会因版本和具体需求的不同而有所不同，建议查阅MaxCompute的官方文档或咨询阿里云的技术支持团队。如果您的SQL语句过长，您可以考虑将其分割成多个较短的SQL语句，并使用事务来确保数据的一致性。

    已喜欢 已反对

  5. 看报错是因为代码太大了。不能超过128K，此回答整理自钉群“MaxCompute开发者社区2群”

    已喜欢 已反对