问题描述
阿里云MaxCompute上,我使用pyodps连接云上数据库后(get_table.to_df()),想计算一下auc(使用sklearn中的roc_auc_score计算),但是数据量太大,老是把服务器内存撑爆(很奇怪为啥没在云上计算,而是占用服务器大量内存)
主要计算代码:
from opds import DataFrame
a_df = DataFrame(odps.get_table(‘temp_tb’))
roc_auc_score(y_ture = a_df.label,y_score = a_df.score)
这样计算是在本地计算的嘛?否则内存应该占用不多吧?不太懂,应该如何处理呢,求大佬教
期望结果
直接在云上计算,不占用大量本地内存