排查logstash3.4升级到5.0版本后kafka不兼容问题

创新互联服务项目包括姑苏网站建设、姑苏网站制作、姑苏网页制作以及姑苏网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，姑苏网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到姑苏省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

参考文档：

/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/CHANGELOG.md /usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/DEVELOPER.md /usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/README.md.md /usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/lib/logstash/inputs/kafka.rb /usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-output-kafka-5.0.4/lib/logstash/outputs/kafka.rb

缘由：

之前对ELKB环境从2.4版本升级到最新的5.0稳定版本，主要升级步骤可以参考http://jerrymin.blog.51cto.com/3002256/1870205，后来发现kafka集群运行报错，现在把排查过程记录如下，仅供参考

之前环境：

logstash3.4

logstash-input-kafka-2.0.9

logstash-output-kafka-2.0.5

kafka_2.10-0.8.2.2.tgz

升级后环境：

logstash6.0

logstash-input-kafka-2.0.9

logstash-output-kafka-2.0.5

报错信息：

[2016-11-16T14:35:44,739][ERROR][logstash.inputs.kafka    ] Unknown setting 'zk_connect' for kafka [2016-11-16T14:35:44,741][ERROR][logstash.inputs.kafka    ] Unknown setting 'topic_id' for kafka [2016-11-16T14:35:44,741][ERROR][logstash.inputs.kafka    ] Unknown setting 'reset_beginning' for kafka

实施步骤：

1，根据错误查看程序哪里报错

grep  "Unknown setting" /usr/share/logstash/ -R /usr/share/logstash/logstash-core/lib/logstash/config/mixin.rb:          self.logger.error("Unknown setting '#{name}' for #{@plugin_name}")

2，查看程序相关代码，发现需要查看plugins的config定义文件等

    def validate_check_invalid_parameter_names(params)       invalid_params = params.keys       # Filter out parameters that match regexp keys.       # These are defined in plugins like this:       #   config /foo.*/ => ...       @config.each_key do |config_key|         if config_key.is_a?(Regexp)           invalid_params.reject! { |k| k =~ config_key }         elsif config_key.is_a?(String)           invalid_params.reject! { |k| k == config_key }         end       end       if invalid_params.size > 0         invalid_params.each do |name|           self.logger.error("Unknown setting '#{name}' for #{@plugin_name}")         end         return false       end # if invalid_params.size > 0       return true     end # def validate_check_invalid_parameter_names

3，进入插件总目录查看具体信息

cd  /usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5

发现重点查看如下文件

grep config ./* -R |awk '{print $1}' |uniq  ./CHANGELOG.md: ./DEVELOPER.md:See ./lib/logstash/inputs/kafka.rb:# ./lib/logstash/inputs/kafka.rb: ./README.md:- Binary

1）首先看CHANGELOG.md，就有发现logstash-input-3.0.0.beta1开始就不在向后兼容，且剔除了jruby-kafka，注意这里有个坑2）会讲到，4.0.0版本说开始支持kafka 0.9，5.0.0又说开始

支持0.10切不向后兼容，这破坏性更新也是够了。看来问题找到了我的kafka版本是kafka_2.10-0.8.2.2.tgz，kafka版本不兼容导致的。

CHANGELOG.md部分文档如下：

## 5.0.4   - Update to Kafka version 0.10.0.1 for bug fixes ## 5.0.0   - Support for Kafka 0.10 which is not backward compatible with 0.9 broker. ## 4.0.0   - Republish all the gems under jruby.   - Update the plugin to the version 2.0 of the plugin api, this change is required for Logstash 5.0 compatibility. See https://github.com/elastic/logstash/issues/5141   - Support for Kafka 0.9 for LS 5.x ## 3.0.0.beta1  - Refactor to use new Java based consumer, bypassing jruby-kafka  - Breaking: Change configuration to match Kafka's configuration. This version is not backward compatible

2）之前我看DEVELOPER.md文档时,看配置语法都正确，还以为是却少依赖关系jruby-kafka library呢，这个再logstash3.x是在用的(另外对比logstash6.x发现5版本少了不少插件。另外

kafka版本写的是0.8.1.1，看来这个DEVELOPER.md没有及时更新（与后面kafka.rb文件不一致），谁要是看到了麻烦及时更新啊，虽是小问题但是也可能误导我等屁民。当然也有可能是我没

有全面看文档导致的。

DEVELOPER.md文档结尾如下：

Dependencies ==================== * Apache Kafka version 0.8.1.1 * jruby-kafka library

3）开始看README.md文档，特意看了下kafka的兼容性 看来logstas-input-kafka5.0.5和logstash-output-kafka5.0.4只能用kafka0.10了。如果你想用Kafka0.9还想用Logstash6.0,你的

logstash-input-kafka和logstash-output-kafka只能降级版本到4.0.0了，这里都说他是中间过渡版本了，所以还是随大流吧。

## Kafka Compatibility Here's a table that describes the compatibility matrix for Kafka Broker support. Please remember that it is good advice to upgrade brokers before consumers/producers  since brokers target backwards compatibility. The 0.9 broker will work with both the 0.8 consumer and 0.9 consumer APIs but not the other way around. | Kafka Broker Version | Logstash Version | Input Plugin | Output Plugin | Why? | |:---------------:|:------------------:|:--------------:|:---------------:|:------| | 0.8           | 2.0 - 2.x   | < 3.0.0 | <3.0.0 | Legacy, 0.8 is still popular | | 0.9           | 2.0 - 2.3.x   |   3.0.0 | 3.0.0  | Intermediate release before 0.10 that works with old Ruby Event API `[]`  | | 0.9          | 2.4, 5.0           |   4.0.0 | 4.0.0  | Intermediate release before 0.10 with new get/set API | | 0.10         | 2.4, 5.0           |   5.0.0 | 5.0.0  | Track latest Kafka release. Not compatible with 0.9 broker |

4）现在看来只能升级kafka版本了。最后我看了下jar-dependencies发现了kafka-clients-0.10.0.1.jar

ls /usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/vendor/jar-dependencies/runtime-jars/ kafka-clients-0.10.0.1.jar  log4j-1.2.17.jar  lz4-1.3.0.jar  slf4j-api-1.7.21.jar  slf4j-log4j12-1.7.21.jar  snappy-java-1.1.2.6.jar

5）还有一个文件没有看，怀着好奇心我看了一眼，发现之前都白费力气了，这里才是最有参考价值的的主参考文档啊，是捷径啊，隐藏的够深的，差点错过了，汗！

/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/lib/logstash/inputs/kafka.rb

kafka.rb部分文档如下：

# This input will read events from a Kafka topic. It uses the the newly designed # 0.10 version of consumer API provided by Kafka to read messages from the broker. # # Here's a compatibility matrix that shows the Kafka client versions that are compatible with each combination # of Logstash and the Kafka input plugin:  #  # [options="header"] # |========================================================== # |Kafka Client Version |Logstash Version |Plugin Version |Security Features |Why? # |0.8       |2.0.0 - 2.x.x   |<3.0.0 | |Legacy, 0.8 is still popular  # |0.9       |2.0.0 - 2.3.x   | 3.x.x |Basic Auth, SSL |Works with the old Ruby Event API (`event['product']['price'] = 10`)   # |0.9       |2.4.0 - 5.0.x   | 4.x.x |Basic Auth, SSL |Works with the new getter/setter APIs (`event.set('[product][price]', 10)`) # |0.10      |2.4.0 - 5.0.x   | 5.x.x |Basic Auth, SSL |Not compatible with the 0.9 broker  # |========================================================== #  # NOTE: We recommended that you use matching Kafka client and broker versions. During upgrades, you should # upgrade brokers before clients because brokers target backwards compatibility. For example, the 0.9 broker # is compatible with both the 0.8 consumer and 0.9 consumer APIs, but not the other way around.

6）升级kafka_2.10-0.8.2.2.tgz为kafka_2.11-0.10.0.1.tgz （我看kafka-clients-0.10.0.1.jar，所以没有用最新的kafka_2.11-0.10.1.0.tgz）

大概步骤

关闭老kafka

/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties

备份老配置文件

server.properties和zookeeper.properties

删除kafka

rm -rf /usr/local/kafka/

rm -rf /data/kafkalogs/*

安装配置新kafka

wget http://mirrors.hust.edu.cn/apache/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz

tar zxvf kafka_2.11-0.10.0.1.tgz -C /usr/local/

ln -s /usr/local/kafka_2.11-0.10.0.1 /usr/local/kafka

diff了下server.properties和zookeeper.properties变动不大可以直接使用

启动新kafka

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

7)注意几个关键配置需要修改

config :bootstrap_servers, :validate => :string, :default => "localhost:9092"

config :group_id, :validate => :string, :default => "logstash"

config :topics, :validate => :array, :default => ["logstash"]

config :consumer_threads, :validate => :number, :default => 1

除了上面的几个关键配置外，kafka的topic分片信息需要重新create一份，否则KafkaMonitor监控不出Active Topic Consumer图形，但实际是在工作中。

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

网页标题：排查logstash2.4升级到5.0版本后kafka不兼容问题-创新互联
文章源于：http://lszwz.com/article/dcepgi.html