MaxCompute上使用pyodps连接云上数据库计算auc,数据量太大老是撑爆内存[阿里云MaxCompute]

问题描述

阿里云MaxCompute上,我使用pyodps连接云上数据库后(get_table.to_df()),想计算一下auc(使用sklearn中的roc_auc_score计算),但是数据量太大,老是把服务器内存撑爆(很奇怪为啥没在云上计算,而是占用服务器大量内存)

主要计算代码:

from opds import DataFrame

a_df = DataFrame(odps.get_table(‘temp_tb’))

roc_auc_score(y_ture = a_df.label,y_score = a_df.score)

这样计算是在本地计算的嘛?否则内存应该占用不多吧?不太懂,应该如何处理呢,求大佬教

期望结果

直接在云上计算,不占用大量本地内存

已尝试的方法

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====