论坛 › spark › 向spark集群提交消费kafka应用时kafka鉴权配置问题

苏童 发表于 2019-1-30 13:54:34

向spark集群提交消费kafka应用时kafka鉴权配置问题

　　提交消费kafka应用里面包含sasl.jaas.config，通常需要配置文件。但是打成jar包后的应用，通过classload读不到jar包中配置文件。
　　需要初始化kafka时增加properties属性。
kafkaParams.put("sasl.jaas.config", "xxxx required\n"+
                " accessKey=\"xxxx\"\n"+
                " securityKey=\"xxxxx\";");　　换行，冒号，引号都不能少
　　注意kafka的依赖为：

　　
      org.apache.kafka
      kafka-clients
      1.0.0
   
　　同时要去掉spark-streaming-kafka中的kafka依赖
　　
      
          org.apache.spark
          spark-streaming-kafka-0-10_2.11
          2.3.1
         
         
         org.apache.kafka
         kafka-clients
         
         
      

查看完整版本: 向spark集群提交消费kafka应用时kafka鉴权配置问题