/var/www/yatta47.log

/var/www/yatta47.log

やったのログ置場です。スクラップみたいな短編が多いかと。

ファイルオープンの数を変更する

f:id:yatta47:20210101223544p:plain

Kafkaで開発で使うレベルであればチューニング不要だけど、プロダクションで使う場合にはいろいろチューニングが必要です。

早速引っかかったのはToo Many Open fileというエラー。

KafkaはTopic毎にファイル読み書きする処理があって、それなりの負荷をかけるとすぐエラーいなるのでOSの設定を変える必要あり。

OSの設定は参考のサイトの通りやればいい。 ポイントはsystemdのスクリプト内に記載するところ。

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service
After=zookeeper.service
ConditionPathExists=/opt/kafka/bin

[Service]
Type=simple
User=root
Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64"
ExecStart=/bin/sh -c "/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties"
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal
LimitNOFILE=128000

[Install]
WantedBy=multi-user.target

参考

Ubuntu - change ulimit for kafka, do not ignore – log IT