tongchenkeji 发表于：2022-11-13 16:01:390次点击 已关注取消关注 关注 私信 有人知道，这个在任务提交到flink集群的时候怎么做么？[阿里云实时计算 Flink版] 暂停朗读为您朗读 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 实时计算Flink版# 实时计算 Flink版3179# 流计算2236
余生吟清歌AM 2023-11-27 18:26:09 1 Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象的序列化及反序列化，任务在本地调试通过后，执行在分布式环境下也可能会出错。而将任务提交到集群进行调试还要走那些繁琐的流程太影响效率了。
2023一张嘴巴分三片AM 2023-11-27 18:26:09 2 https://nightlies.apache.org/flink/flink-docs-master/zh/docs/deployment/security/security-kerberos/ Kerberos 身份认证设置和配置
穿过生命散发芬芳AM 2023-11-27 18:26:09 3 需要下面三个文件： 1、KerberosServer的配置文件krb5.conf,让程序知道我应该哪个kdc去登录认证； [libdefaults]udp_preference_limit=1 renew_lifetime=3650dforwardable=truedefault_realm=CHINAUNICOMticket_lifetime=3650ddns_lookup_realm=falsedns_lookup_kdc=falsedefault_ccache_name=/tmp/krb5cc_%{uid} #default_tgs_enctypes = aes des3-cbc-sha1 rc4 des-cbc-md5 #default_tkt_enctypes = aes des3-cbc-sha1 rc4 des-cbc-md5[domain_realm] .CHINAUNICOM = CHINAUNICOM[logging]default=FILE:/var/log/krb5kdc.logadmin_server=FILE:/var/log/kadmind.log kdc = FILE:/var/log/krb5kdc.log[realms]CHINAUNICOM={ admin_server = master98.hadoop.ljskdc=master98.hadoop.ljs } 2、认证肯定需要指定认证方式这里需要一个jaas.conf文件，一般集群的conf目录下都有： KafkaClient{com.sun.security.auth.module.Krb5LoginModulerequireduseKeyTab=truekeyTab=”D:kafkaSSLkafka.service.keytab”storeKey=trueuseTicketCache=falseprincipal=”kafka/salver32.hadoop.unicom@CHINAUNICOM”serviceName=kafka;}; 3、就是用户的登录认证票据和认证文件。
Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象的序列化及反序列化，任务在本地调试通过后，执行在分布式环境下也可能会出错。而将任务提交到集群进行调试还要走那些繁琐的流程太影响效率了。
https://nightlies.apache.org/flink/flink-docs-master/zh/docs/deployment/security/security-kerberos/ Kerberos 身份认证设置和配置
需要下面三个文件： 1、KerberosServer的配置文件krb5.conf,让程序知道我应该哪个kdc去登录认证； [libdefaults]udp_preference_limit=1 renew_lifetime=3650dforwardable=truedefault_realm=CHINAUNICOMticket_lifetime=3650ddns_lookup_realm=falsedns_lookup_kdc=falsedefault_ccache_name=/tmp/krb5cc_%{uid} #default_tgs_enctypes = aes des3-cbc-sha1 rc4 des-cbc-md5 #default_tkt_enctypes = aes des3-cbc-sha1 rc4 des-cbc-md5[domain_realm] .CHINAUNICOM = CHINAUNICOM[logging]default=FILE:/var/log/krb5kdc.logadmin_server=FILE:/var/log/kadmind.log kdc = FILE:/var/log/krb5kdc.log[realms]CHINAUNICOM={ admin_server = master98.hadoop.ljskdc=master98.hadoop.ljs }
2、认证肯定需要指定认证方式这里需要一个jaas.conf文件，一般集群的conf目录下都有： KafkaClient{com.sun.security.auth.module.Krb5LoginModulerequireduseKeyTab=truekeyTab=”D:kafkaSSLkafka.service.keytab”storeKey=trueuseTicketCache=falseprincipal=”kafka/salver32.hadoop.unicom@CHINAUNICOM”serviceName=kafka;};
3、就是用户的登录认证票据和认证文件。