2020-02-01から1ヶ月間の記事一覧
Ubuntu18.04でPythonの仮想環境を作成する。 大まかな手順は ディレクトリを作る ディレクトリに移動 仮想環境を有効にする です。 venvが入っていない場合は以下でインストールします。 sudo apt-get install python3-venv まずはディレクトリを作成する。 …
dockerを使っているとHDDをいつの間にかかなり使っている場合がある。 その場合、不要なコンテナを削除していたのですが、実はpruneで一括削除できるとのこと。知らなったので覚書。 どんな状況か こんな状況。 $ docker ps -a CONTAINER ID IMAGE COMMAND C…
mitamaeというのをAnsibleの代わりに使っていきたいと思って調べてみた。 とりあえずUsageの通りにやってみた。 vagrant@kafka-server:~$ ./mitamae local recipe.rb INFO : Starting mitamae... INFO : Recipe: /home/vagrant/recipe.rb INFO : package[ngi…
いつの間にかGithubはPrivateリポジトリも作れるようになっていますよね。(結構前) ってことで、リポジトリを少し整理した。 Dockerファイルでよく使うファイルを置いたり、Vagrantファイルを置いたり。 考え方的に、「Githubで公開できるところまで整理す…
Consumerのメッセージ受信時のシーケンスを起こしてみた。 Fetch Requestが0.1秒ごとに行われていて、そしてPUSH,ACKが複数送られているのかがわからない。 もうちょっとシーケンス見ていかないと理解できないですね。 [asin:B07H8D6CL9:detail]
KafkaのConsumer接続時のシーケンスもキャプチャから起こしてみた。結果は以下。 ちなみにProducer接続時のシーケンスはこちら。 フーム。Producerのシーケンスとほぼ全く一緒。broker自身はとくにコネクション貼る時はProducerなのかConsumerは意識しないの…
VSCodeでPlantUMLを使いたくて、Amazon LinuxにGraphvizをインストールした。 $ sudo yum install graphviz graphviz-gd PlantUMLをVSCodeで使うために入れた。それ以外にもVSCodeのExtensionでMarkdown Preview EnhancedとPlantUMLを突っ込んだらとりあえず…
今度はメッセージ送信時のキャプチャを起こしてみた。こんな感じだった。 ふむ。シンプル。 Apache Kafka 分散メッセージングシステムの構築と活用作者:株式会社NTTデータ,佐々木 徹,岩崎 正剛,猿田 浩輔,都築 正宜,吉田 耕陽翔泳社Amazon
KafkaのProducer起動時のシーケンスをキャプチャ取って起こしてみた。こんな感じになっていた。 PlantUML、Chromeの拡張機能を使ってみたけどもっと簡単に書けないものだろうか。 Apache Kafka 分散メッセージングシステムの構築と活用作者:株式会社NTTデー…
KafkaのキャプチャをWiresharkで見る方法。 編集→設定をクリック ProtocolからKafkaを選んで、Kafkaの通信をしているポート(大抵は9092)が指定してあるのを確認して、チェックボックスにチェックを入れる。 以上で終了。 以下の設定をしなくても見れたりす…
KafkaのProducer/Consumerのクライアントとして便利なkafkacatのインストール方法。 環境はUbuntu18.04です。 $ sudo apt-get install kafkacat 以上。ちゃんと入りました。 $ kafkacat -V kafkacat - Apache Kafka producer and consumer tool https://gith…
本を読んでいるときに気になったProducer/Consumerに関してのメモ。 Producerの設定/考慮ポイント データ送信成功の判定(acks) acks=0、acks=1、acks=allの3パターンがある。デフォルトはacks=1。 送信リトライ 再送設定。リトライ可能な例外が発生した場…
sample-topicという名前のtopicを削除する。 root@cli:/# kafka-topics --delete --zookeeper zookeeper:32181 --topic sample-topic Topic sample-topic is marked for deletion. Note: This will have no impact if delete.topic.enable is not set to tru…
topic作成 topicの作成。パーティションを3つ、レプリケーションを1つの設定。brokerが一つしかない場合はレプリカはひとつしか設定できない。 kafka-topics --bootstrap-server broker:9092 --create --topic sample-topic --partitions 3 replication-fact…