Kafkaで開発で使うレベルであればチューニング不要だけど、プロダクションで使う場合にはいろいろチューニングが必要です。
早速引っかかったのはToo Many Open fileというエラー。
KafkaはTopic毎にファイル読み書きする処理があって、それなりの負荷をかけるとすぐエラーいなるのでOSの設定を変える必要あり。
OSの設定は参考のサイトの通りやればいい。 ポイントはsystemdのスクリプト内に記載するところ。
[Unit] Description=Apache Kafka Server Documentation=http://kafka.apache.org/documentation.html Requires=zookeeper.service After=zookeeper.service ConditionPathExists=/opt/kafka/bin [Service] Type=simple User=root Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64" ExecStart=/bin/sh -c "/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties" ExecStop=/opt/kafka/bin/kafka-server-stop.sh Restart=on-abnormal LimitNOFILE=128000 [Install] WantedBy=multi-user.target