/var/www/yatta47.log

/var/www/yatta47.log

やったのログ置場です。スクラップみたいな短編が多いかと。

kafka

ファイルオープンの数を変更する

Kafkaで開発で使うレベルであればチューニング不要だけど、プロダクションで使う場合にはいろいろチューニングが必要です。 早速引っかかったのはToo Many Open fileというエラー。 KafkaはTopic毎にファイル読み書きする処理があって、それなりの負荷をかけ…

KafkacatでSASLが有効になっているKafkaに対してアクセスする

Kafkaの動作確認をするときに重宝しているKafkacat。 そのKafkacatで、SASLがONになっている際のKafkaにアクセスするのはどうするのだろうと思い調べてみました。 SSLはOFFで、SASLはONという状態です。 SASLとは SASLとは Simple Authentication and Securi…

Kafkaのインストール

Kafkaのインストール手順を書いておく。 systemdのスクリプトを忘れてしまうのでそれの覚書。 Kafkaをダウンロード Kafkaの本体をダウンロードしてくる。 インストール時は2.12だった。最新版は以下のサイトからダウンロードするのが良いかと。 kafka.apache…

ConsumerのMessage受信時のシーケンス

Consumerのメッセージ受信時のシーケンスを起こしてみた。 Fetch Requestが0.1秒ごとに行われていて、そしてPUSH,ACKが複数送られているのかがわからない。 もうちょっとシーケンス見ていかないと理解できないですね。 [asin:B07H8D6CL9:detail]

Consumer接続時のシーケンス

KafkaのConsumer接続時のシーケンスもキャプチャから起こしてみた。結果は以下。 ちなみにProducer接続時のシーケンスはこちら。 フーム。Producerのシーケンスとほぼ全く一緒。broker自身はとくにコネクション貼る時はProducerなのかConsumerは意識しないの…

Amazon LinuxにGraphvizをインストール

VSCodeでPlantUMLを使いたくて、Amazon LinuxにGraphvizをインストールした。 $ sudo yum install graphviz graphviz-gd PlantUMLをVSCodeで使うために入れた。それ以外にもVSCodeのExtensionでMarkdown Preview EnhancedとPlantUMLを突っ込んだらとりあえず…

Producer接続時のシーケンス

KafkaのProducer起動時のシーケンスをキャプチャ取って起こしてみた。こんな感じになっていた。 PlantUML、Chromeの拡張機能を使ってみたけどもっと簡単に書けないものだろうか。 Apache Kafka 分散メッセージングシステムの構築と活用作者:株式会社NTTデー…

WiresharkでKafkaのパケットをフィルタリング

KafkaのキャプチャをWiresharkで見る方法。 編集→設定をクリック ProtocolからKafkaを選んで、Kafkaの通信をしているポート(大抵は9092)が指定してあるのを確認して、チェックボックスにチェックを入れる。 以上で終了。 以下の設定をしなくても見れたりす…

kafkacatインストール方法

KafkaのProducer/Consumerのクライアントとして便利なkafkacatのインストール方法。 環境はUbuntu18.04です。 $ sudo apt-get install kafkacat 以上。ちゃんと入りました。 $ kafkacat -V kafkacat - Apache Kafka producer and consumer tool https://gith…

Producer/Consumerの設定ポイント

本を読んでいるときに気になったProducer/Consumerに関してのメモ。 Producerの設定/考慮ポイント データ送信成功の判定(acks) acks=0、acks=1、acks=allの3パターンがある。デフォルトはacks=1。 送信リトライ 再送設定。リトライ可能な例外が発生した場…

topicの削除

sample-topicという名前のtopicを削除する。 root@cli:/# kafka-topics --delete --zookeeper zookeeper:32181 --topic sample-topic Topic sample-topic is marked for deletion. Note: This will have no impact if delete.topic.enable is not set to tru…

topicの作成/確認

topic作成 topicの作成。パーティションを3つ、レプリケーションを1つの設定。brokerが一つしかない場合はレプリカはひとつしか設定できない。 kafka-topics --bootstrap-server broker:9092 --create --topic sample-topic --partitions 3 replication-fact…