Kafka Simulator v1.2 — コンシューマーとリバランス
コンシューマーグループ、割り当て戦略、静的メンバーシップ、そしてメンバーが消えたと判断する2つのタイムアウト。Kafka で最も誤解されがちな瞬間であるリバランスを、推測ではなく観察できるようにする10の新しいシナリオ。
私たちは考えを書き留め小さなオープンソースを作っています。その両方がここにあります。ぜひご覧ください——そして感想をお聞かせください。
コンシューマーグループ、割り当て戦略、静的メンバーシップ、そしてメンバーが消えたと判断する2つのタイムアウト。Kafka で最も誤解されがちな瞬間であるリバランスを、推測ではなく観察できるようにする10の新しいシナリオ。
Kafka シミュレータ v1.1 では、プロデューサーのバッチング、パーティショニング、圧縮、バックプレッシャー、リトライ、そして冪等性を扱う 10 個のシナリオを追加しました。
KIP-714により、KafkaクライアントはOTLP経由で自身のメトリクスをブローカーへプッシュできます。monedula-metrics-reporterは、ブローカーSPIメトリクスやYammerメトリクスに加えて、これらのメトリクスも転送するようになりました。
Kafka の最も重要な学びは、その遷移のなかにあります。ブローカーが落ちる前と後、ISR が縮小する前と後です。私たちは、クラスタを安全に壊し、なぜそのように反応するのかを正確に観察できるブラウザベースのシミュレータを作りました。
既存の Kafka 環境を ACL から Confluent RBAC へ移行することは、構文の変換ではなくリスク管理の取り組みです。本記事では、安全で監査可能、かつ再現性のある移行ワークフローと、そのために私たちが構築したツールを紹介します。
Apache Kafka の ACL を Confluent RBAC のロールバインディングに変換する、安全で監査可能なコマンドラインツール。計画にはチェックサムが付与され、何かを適用する前に実効アクセスが検証されます。
broker とクライアントのメトリクスを OTLP 経由で OpenTelemetry collector に送信する Kafka MetricsReporter プラグイン。非同期かつフェイルセーフ——collector の障害が Kafka をブロックすることは決してありません。