CorrelationBatchOp不是单线程的,但是我需要多次调用CorrelationBatchOp怎么弄呢?比如说有十几万个两两配对好文件,每两个调用一次CorrelationBatchOp计算相关性,那么调用十几万次的话,每一个都要等前面的算完了才算下一个也挺慢的,就算每次CorrelationBatchOp不是单线程的
我需要多次调用机器学习PAI的CorrelationBatchOp怎么弄呢?[阿里云]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
您可以利用Spring Batch的多线程处理功能来并行执行CorrelationBatchOp。在Spring Batch中,reader、processor和writer都可以设置为多线程处理。例如,可以将处理线程数配置为10。这样,即使每个配对文件都需要调用一次CorrelationBatchOp,也可以在多个线程中同时进行计算,从而提高整体的执行效率。
另外,需要注意的是,尽管CorrelationBatchOp不是单线程的,但在使用多线程时,可能需要确保数据之间的依赖关系得到妥善处理,以避免因为并行计算引起的数据不一致问题。
如果您是在PyTorch环境中,也可以考虑利用GPU资源进行并行计算。但具体实现方式会有所不同,需要根据具体情况进行调整。
可以看看向量最近邻
https://www.yuque.com/pinshu/alink_doc/vectornearestneighbortrainbatchop 或者写个多线程调用—此回答来自钉群“Alink开源–用户群”