各位有个问题请假一下,我部署的是flink on yarn session ,3台机器,启动时候-n 3,slot是1,提交了2个任务,为啥总是只能在master上运行,其他节点用不上?
各位有个问题请假一下,我部署的是flink on yarn session ,3台机器,启动时候-n[阿里云实时计算 Flink版]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
各位有个问题请假一下,我部署的是flink on yarn session ,3台机器,启动时候-n 3,slot是1,提交了2个任务,为啥总是只能在master上运行,其他节点用不上?
建议采用Yarm的pre-job模式启动多个作业,这样会有更好的隔离性。由于standalon session模式下启动多个作业会导致多个作业的Task共享一个JVM,可能会存在不稳定的问题,并且排查问题的时候,多个作业的日志混在一个TaskManager种,排查问题比较有难度
使用GoldenGate来进行读写分离,在线实时供给,这样就可以让传输的数据量降低,提高运行效率。