fluentd のベンチマークとってみたよ!
https://tagomoris.hatenablog.com/entry/20111117/1321526727
>現状だとほとんど何も考えずにデータ中継させても秒間1万メッセージ、100Mbpsくらいまでは処理できる。
>効率よくなるよう流す側も考えてやれば 300Mbps を超えるデータの転送に成功した。>fluentdのメッセージ処理自体は現状CPU1コアに処理できる分がおそらく最大で、
>今回使ったサーバだとだいたい18000msg/secくらいが限界値のように感じる。
BigQueryのstreaming insertでログが欠損する
https://qiita.com/shibacow/items/199a17f07c525d3dbb2d
>おお、全ての送信ログを保存した。
fluent-plugin-bigquery の設定
https://qiita.com/najeira/items/74799a67ac21c6b13415
オートスケール環境におけるFluentdのログ重複・欠損対策
https://qiita.com/akihiro-nagai/items/37683d3afe83f5df8b6f