/tags/logstash/ Recent content in logstash on Hugo -- gohugo.io en Sun, 18 Oct 2026 10:50:00 +0800 /posts/logstash-opensearch-403-backpressure/ Sun, 18 Oct 2026 10:50:00 +0800 /posts/logstash-opensearch-403-backpressure/ 开发环境 qa 和 stg 两个命名空间的服务日志，从某个时刻起不再进 OpenSearch。每个 Pod 里的 filebeat 都停在同一个状态：内存队列积着 4097 条事件，被 Logstash 确认的是 0 条。Logstash 最近 3000 行日志里有 2997 行是同一句： [2026-10-18T02:35:46,646][ERROR][logstash.outputs.opensearch][main][36ae13…] Encountered a retryable error (will retry with exponential backoff) {:code=>403, :url=>"http://opensearch-dev.example.com:80/_bulk", :content_length=>142026} 返回 403 的是挡在 OpenSearch 前面的 Cloudflare：它的 WAF 按内容拦下了其中两批日志。Logstash 的 OpenSearch 输出插件对非 200 的 _bulk 没有重试上限，被拦的批次原样重发、每次都被拦，后面的事件进不了 Logstash，背压沿着链路传回每一个 filebeat。第一条 403 的日志时间戳是 2026-10-16T21:44:08（UTC），发现时这条链路已经停了将近 29 小时。 文中的版本、配置和数字都来自这套开发环境：filebeat 8.6.1，Logstash 8.9.0（自带 logstash-output-opensearch 2.0.1），后端是巡检和存储审计记录的那台单节点 OpenSearch，Logstash 经 Cloudflare 访问它。域名换成了示意的 opensearch-dev.example.com，账号隐去。 日志从应用到 OpenSearch 经过的四段 flowchart TB subgraph POD["