背景#

非生产环境里有一台自建的 ClickHouse(单机,25.1),给测试环境的服务和几个 Kafka Connect sink 用。它的 HTTP 接口挂在 CDN 后面,源站安全组放行了 CDN 的回源网段。之前一次安全事件之后,这台机器被放进了一个隔离安全组,入站做过收紧。

集群里 Cilium Hubble 的网络流日志抓到了这台数据库主机连 Argo CD server Pod 的记录。数据库没有理由主动去连部署系统,顺着查下去,是有人在用 ClickHouse 的 url() 表函数,让数据库替自己向内网发 HTTP 请求,其中包括两次用有效口令登录 Argo CD 的 admin。

这次没有用到 ClickHouse 的漏洞:url() 是文档里写明的功能,拿到一个有相应权限的数据库账号,就能让数据库替你访问它所在网络里的 HTTP 地址。网络层的出站控制另有两篇(见文末),这篇只看 ClickHouse 自己这一层。

现象:Argo CD 日志里对不上人的 admin 登录#

Argo CD server 的日志里,有四次 admin 本地账号登录和这台主机的连接对得上:两次 Login successful,两次 Login failed,两次成功之间隔了五个多小时。第一次成功之后的十几分钟里,有八次列应用的调用,全部是 Unauthenticated。日志里没有来源地址:经 gRPC-gateway 转进来的请求,peer.address 一律是 127.0.0.1。

登录之后没有任何被认证的调用:没有新建、修改、同步应用,没有签发 API token,也没有新的账号、项目、仓库或集群配置。admin 口令随后被换掉了。

排查:把 query_log 和 Argo CD 日志按秒对齐#

连接的源头是数据库主机,所以先看数据库自己执行过什么。ClickHouse 默认会把查询记在 system.query_log 里:

SELECT event_time, type, exception_code, user, address, http_user_agent, query
FROM system.query_log
WHERE event_time >= now() - INTERVAL 3 DAY
  AND (query ILIKE '%url(%' OR query ILIKE '%remote(%')
  AND query NOT ILIKE '%FROM system.query_log%'
ORDER BY event_time

两天多里有一千多条匹配记录,全部是 default 用户、走 HTTP 接口,来源都是 CDN 的边缘地址,User-Agent 是同一个桌面浏览器字符串。表函数只用了 url(),没有 remote()。目标覆盖了内网的一大片:Prometheus、Argo CD 的 API、Spring Boot 的 actuator、Vault 的状态接口、Grafana 的数据源查询接口、EC2 元数据地址,还有几个 Kubernetes 集群的 API server 和一台生产数据库的公网地址。打元数据地址的那两次没有拿到凭据:这台主机要求 IMDSv2,CloudTrail 里它的实例角色只在主机自己的地址上用过。

把其中打 Argo CD 的几条拿出来,和 Argo CD 自己的日志放在一起:

query_log Argo CD 日志(同一秒、同一个 Pod)
对几个候选地址 GET /api/v1/session,像是在找 Argo CD 在哪 无
INSERT INTO FUNCTION url('…/api/v1/session', …),写入的是一段 {"username":"admin","password":…} Login successful
同样的 INSERT,换了口令 Login failed
八条 SELECT … FROM url('…/api/v1/applications', …) 八次 ApplicationService/List,全部 Unauthenticated
五个多小时后,又一组失败和成功 另一个 server Pod 上的 Login failed 和 Login successful

每一行都对到同一秒、同一个 Pod 的 IP。发请求的是 clickhouse-server 进程,调用方在 CDN 后面,Argo CD 和数据库主机的网络日志都看不到它:

sequenceDiagram participant X as 外部调用方 participant CDN as CDN 边缘 participant CH as ClickHouse participant A as Argo CD server X->>CDN: HTTP 请求,SQL 写在请求体里,用户 default CDN->>CH: 回源到 8123 CH->>A: POST /api/v1/session,body 是用户名和口令 A-->>CH: 200 或 401 CH-->>X: 成功时没有返回内容,失败时返回报错 Note over A: 日志里的来源只有 127.0.0.1

url() 怎么替调用方发请求:本地复现#

为了把机制看清楚,在本地搭了一个最小环境:一个 Docker 网络里放一个模拟内网管理接口的小服务 internal-api(登录接口加一个不要认证的配置接口,不映射端口),再放一个 ClickHouse,HTTP 口映射到宿主机的 18123。宿主机扮演外部调用方。同一套脚本在 25.1.8.25 和 26.3.63.123 上各跑了一遍,脚本和两份完整输出在 ./lab/ 里(run-lab.sh、mock_api.py 和两个版本的输出),下面贴的是 25.1 的输出,26.3 的结果一样,差别只在下文提到的权限名。

flowchart TB H["宿主机
扮演外部调用方"] -->|"HTTP 18123"| CH subgraph NET["Docker 网络 chlab(宿主机连不到这里的 8080)"] CH["ch:ClickHouse
8123 映射到宿主机"] -->|"url() 发出的请求"| API["internal-api
登录接口和配置接口"] end

实验看三件事:SELECT 怎么读、出错时调用方能拿回什么、INSERT 怎么写。

SELECT 发 GET,结果回到调用方#

宿主机直接连 internal-api 是连不上的:

curl -s -m 3 localhost:8080/internal/config || echo "[连不上]"
[连不上]

让 ClickHouse 去读,内容原样回到宿主机:

curl -s -u default:lab-default-pw localhost:18123/ --data-binary \
  "SELECT v FROM url('http://internal-api:8080/internal/config', 'RawBLOB', 'v String')"
{"db.url": "jdbc:mysql://db.internal:3306/app", "feature.x": "on"}

internal-api 那一侧看到的请求来自 ClickHouse 容器的地址,而且每次 SELECT 都是先发一个 HEAD,再发 GET:

REQ from=192.168.107.3 HEAD /internal/config headers={'User-Agent': 'ClickHouse/25.1.8.25 (official build)'} body=b''
REQ from=192.168.107.3 GET /internal/config headers={'User-Agent': 'ClickHouse/25.1.8.25 (official build)'} body=b''

User-Agent 默认带着 ClickHouse 的版本号,调用方可以用 headers() 改掉它。生产上看到的浏览器字符串就是这么来的,query_log 里这些请求头的值被记成 [HIDDEN]。

出错时,报错信息里带着对方的响应#

需要认证的接口返回 401,查询失败,但报错信息里带着对方的响应体:

Code: 86. DB::Exception: Received error from remote server http://internal-api:8080/api/v1/applications. HTTP status code: 401 'Unauthorized', body length: 28 bytes, body: '{"error": "Unauthenticated"}': (in file/uri http://internal-api:8080/api/v1/applications): While executing RawBLOBRowInputFormat: While executing URL. (RECEIVED_ERROR_FROM_REMOTE_IO_SERVER) (version 25.1.8.25 (official build))

所以就算请求被目标拒掉,调用方也能看到目标返回了什么,这正好用来判断某个端口上跑的是什么服务、要不要认证。

INSERT 发 POST:成功时什么都不回,失败时报错#

url() 的官方文档写得很直接:URL 指向的服务器要能接受 GET 或 POST,分别对应 SELECT 和 INSERT(文档站只有最新版,这句按当前版本核对)。把一段 JSON 写进 url(),就是一次带 body 的 POST:

curl -s -u default:lab-default-pw localhost:18123/ --data-binary \
  "INSERT INTO FUNCTION url('http://internal-api:8080/api/v1/session', 'RawBLOB', 'v String', headers('Content-Type'='application/json')) SELECT '{\"username\":\"admin\",\"password\":\"wrong-guess\"}'"

口令错的时候:

Code: 86. DB::HTTPException: Received error from remote server /api/v1/session. HTTP status code: 401 'Unauthorized', body length: 41 bytes, body: '{"error": "Invalid username or password"}'. (RECEIVED_ERROR_FROM_REMOTE_IO_SERVER) (version 25.1.8.25 (official build))

口令对的时候,HTTP 200,响应是空的。internal-api 那一侧收到的是一个 chunked 编码的 POST:

REQ from=192.168.107.3 POST /api/v1/session headers={'Transfer-Encoding': 'chunked', 'Content-Type': 'application/json'} body=b'{"username":"admin","password":"correct-horse"}'

登录接口返回的 token 没有回到调用方,但「有没有报错」已经告诉了他口令对不对。生产上 Argo CD 那两次成功登录之后,列应用的调用全是 Unauthenticated,和这个结果一致:调用方确认了口令,却拿不到会话 token。

生产的 query_log 里还有一条在 headers() 里写 'method'='POST' 的 SELECT。实验里它只是多带了一个名叫 method 的请求头,接口收到的仍然是 HEAD 和 GET。这一轮实验里,url() 发出的请求只见到 HEAD、GET、POST 三种方法。

网络隔离为什么没挡住#

从 CDN 到 Argo CD,路上有四处本来可以拦住它:

  • 入口:源站安全组放行的是 CDN 的全部回源网段。Cloudflare 讲 Authenticated Origin Pulls 的文档提到,全局证书只能证明请求来自 Cloudflare 的网络,证明不了来自你自己的账号;按网段放行能证明的更少。所以这扇门对所有用这家 CDN 的人都是开着的。
  • 主机出站:隔离安全组只收了入站。AWS 的文档写明新建的安全组「start with only an outbound rule that allows all traffic to leave the resource」,用 CLI 建组时没删这条,数据库就能连到内网任何地方。
  • 集群内:Cilium 的网络策略还在审计模式(audit mode),连接虽然被 Hubble 记成了审计事件,但策略没有执行拦截丢弃。
  • Argo CD 本身:本地 admin 账号开着,口令有效。

后来把这台主机的出站改成白名单,打进集群的请求立刻被拒了,二十多分钟后调用方转去打公网上的地址,因为公网的 80 和 443 还放行着。网络这一层只要留一个口子,url() 就能从那里出去,所以数据库自己这一层也得收住。

升级 ClickHouse 能不能解决#

升级有它自己的理由。ClickHouse 仓库的 SECURITY.md 里,还在提供安全修复的版本是 26.10、26.9、26.8 和 26.3,25.x 整条线都不在里面。安全公告里的 CVE-2026-116366(满足特定条件时,能连到服务器的人不需要凭据就能执行代码)在 2026-10-30 修复,修复只发在 26.3.62.3-lts、26.8.36.3-lts、26.9.27.3-stable 和 26.10.3.7-stable。公告既没列受影响的版本范围,也没说清「特定条件」是什么,停在 25.1 上的实例拿不到这个修复。

但升级挡不住这次的问题。本地实验在 26.3.63.123 上跑出来的结果和 25.1 一样:SELECT 照样能读到内网接口,INSERT 照样能静默登录。决定 url() 能访问哪些主机的是 RemoteHostFilter,master 分支的源码在没有配置 remote_url_allow_hosts 时直接返回放行,注释写的是「Allow everything by default」。

在 ClickHouse 这一层收口#

下面四处都在 25.1 和 26.3 上实测过。前三处管的是「谁能让数据库替他发请求、发到哪」,第四处管的是事后留下的记录。

remote_url_allow_hosts:只放行确实要访问的主机#

在服务器配置里列出允许访问的主机,名单之外的都会被拒:

<clickhouse>
  <remote_url_allow_hosts>
    <host>allowed.example</host>
  </remote_url_allow_hosts>
</clickhouse>
Code: 491. DB::Exception: URL "http://internal-api:8080/internal/config" is not allowed in configuration file, see <remote_url_allow_hosts>. (UNACCEPTABLE_URL) (version 25.1.8.25 (official build))

这台机器上的业务本来就不需要 url(),名单可以只放一个用不到的主机名。这一项不依赖账号权限,default 也一样被拒。

业务账号只给表的读写权限#

url() 这类访问外部数据源的能力,在 ClickHouse 的权限体系里归 SOURCES 这一组管,URL 是其中一项。业务账号只需要读写自己的表:

CREATE USER app_rw IDENTIFIED BY '…';
GRANT SELECT, INSERT ON app.* TO app_rw;

这个账号读写 app.events 正常,调用 url() 时被拒。两个版本报的权限名不一样:

-- 25.1.8.25
Code: 497. DB::Exception: app_rw: Not enough privileges. To execute this query, it's necessary to have the grant CREATE TEMPORARY TABLE, URL ON *.*. (ACCESS_DENIED)
-- 26.3.63.123
Code: 497. DB::Exception: app_rw: Not enough privileges. To execute this query, it's necessary to have the grant READ ON URL. (ACCESS_DENIED)

default 不能这样收。它定义在 users.xml 和 users.d/ 里,SQL 改不了,REVOKE URL ON *.* FROM default 在两个版本上都报 Cannot update user default in users_xml because this storage is readonly. (ACCESS_STORAGE_READONLY)。

default 只留给本机#

default 的权限改不了,就把它的来源收到本机:

<clickhouse>
  <users>
    <default>
      <networks replace="replace">
        <ip>::1</ip>
        <ip>127.0.0.1</ip>
      </networks>
    </default>
  </users>
</clickhouse>

从宿主机用正确的口令连,返回 HTTP 401(Code: 194);在容器里用 clickhouse-client 连,正常。

动手之前先查清楚谁在用 default:按 address 汇总 query_log 里 default 的查询就能看出来。这次那台机器上,default 还被 Grafana 的数据源用着,经隧道写入的 sink 很可能也用的是它。要先给它们各建一个只有所需权限的账号、切过去,再收 default,否则 sink 会写入失败。

query_log 要当成敏感数据#

headers() 里的值在 query_log 里会被换成 [HIDDEN],但写进 INSERT 的内容原样保留。实验里登录口令那条 INSERT 的开始和结束两行都带着明文口令:

rows_with_password	rows_with_hidden_headers
2	6

生产的 query_log 里也留下了调用方试过的口令。把 query_log 导出来取证时,导出文件要按凭据处理,别放进代码仓库或工单。

往上走一步:数据引擎外部出网的纵深防御#

ClickHouse 这一层的三处收口解决了单台实例被当作跳板的问题。但在更多实际场景里,分析引擎、联邦查询组件(Trino、PostgreSQL 的 FDW)或外部函数本身就需要对外交互,仅靠一台机器上的配置文件容易出现遗漏。类似的数据引擎在外部出网的治理上,通常会从数据库原生模型、网络出站代理、查询网关和入侵检测四个层面配合。

数据库原生:从默认放行到显式白名单与凭据解耦#

ClickHouse 在没有配置 remote_url_allow_hosts 时默认允许连接任意外部目标,属于「默认全通」的模型。

相比之下,很多现代云数据仓库在设计之初就转向了「默认全面禁止出网」(Default Deny)。以 Snowflake 的 External Network Access 为例,用户定义的函数(UDF)或存储过程要连外部 HTTP 接口,不能由写 SQL 的人直接在查询里指定任意 URL 或明文传密码,而是必须由管理员显式创建三层对象:先用 CREATE NETWORK RULE(MODE = EGRESS)指定允许的目标域名与端口(不能用通配符),再用 CREATE SECRET 托管鉴权 Token,最后通过 CREATE EXTERNAL ACCESS INTEGRATION 把网络规则与凭据绑定,授权给特定角色。

PostgreSQL 社区和主流云托管 RDS 对外部数据包装器(FDW)和 dblink 的管理也是类似思路:外部服务器对象(Server Object)的创建权限严格收缴在超级用户手中,普通业务只读账号即便执行 SQL,也无法让引擎去请求未登记的网络目标。

网络与出站:正向代理封堵私网,容器跳数阻断凭证窃取#

单机安全组最容易因为漏删默认出站规则导致 0.0.0.0/0 全通。在企业网络架构里,更底层的兜底往往放在网络出站边界:

  • 出站代理(Egress Proxy)封堵私网段:Stripe 开源的正向代理 Smokescreen 是防御此类 SSRF 的典型做法。所有允许访问公网的应用或数据引擎统一走正向代理,代理在完成 DNS 解析后强制检查目标 IP,直接拒绝所有 RFC 1918 私网网段、本地环回地址(127.0.0.1)以及链路本地地址(169.254.169.254),只放行处于白名单里的公网域名。这样就算应用层或数据库被注入了任意 URL,请求也无法向内网横向移动。
  • 云元数据服务跳数限制(Hop Limit):这次排查中虽然元数据接口因开启了 IMDSv2 没泄露凭据,但在容器化环境中,AWS 提供了更彻底的物理级防御:将 HttpPutResponseHopLimit 设为 1。容器网络走 bridge 网桥向外发包时会自动消耗一次 TTL,跳数归零后请求直接被宿主机网络栈丢弃,容器内发起的任何 HTTP 请求物理上都无法触碰到主机的元数据接口。
  • K8s 网络策略阻断东西向流量:在集群内通过 Cilium 或 Calico 配置针对数据库 Pod 的 Egress NetworkPolicy,禁止其访问非业务必需的 Pod 网段,只允许访问特定合规的外部 FQDN 域名。

查询前置:在网关层用 AST 拦截高危函数#

对多租户分析或对外提供自助查数的平台,直接把数据库端口暴露在外本身就不稳妥。

常见的做法是在前面搭一层代理或查询网关(例如 ContentSquare 开源的 chproxy)。chproxy 可以剥离危险的系统查询参数、进行用户映射并限制并发。而对于需要从根本上禁止分析人员或接口调用方触发网络请求的场景,企业通常会在网关层引入 SQL 语法树(AST)解析器:在请求到达 ClickHouse 执行之前,遍历 AST 语法树中的函数调用节点,直接拦截 url、remote、file、s3 等外部访问函数,命中黑名单直接返回拒绝。

威胁检测:query_log 与网络流日志的异常外联告警#

在安全运营与检测响应(SOC)层面,数据库节点具有非常强的行为基线:数据库通常是被动接收连接的组件,主动向外部或内网发起 TCP 连接属于低频且固定的行为。

  • query_log 规则告警:把 ClickHouse 的 system.query_log 接入日志平台,针对包含 url(、remote( 等函数且目标包含内网私有地址的查询配置实时告警。
  • 网络流日志(Hubble / Flow Logs)异常外联告警:利用 Cilium Hubble 的 eBPF 网络流事件或 VPC Flow Logs 监控以数据库为主机的连接。一旦发现数据库主动向部署系统(Argo CD)、集群控制面(Kubernetes API Server)或密钥仓库(Vault)发起 TCP 握手,立刻触发告警并拉闸隔离。

小结#

  • url() 让有权限的账号把数据库变成一个代理:SELECT 发 HEAD 加 GET,结果回到调用方;目标报错时,报错里也带着对方的响应;INSERT 发 POST,成功不回内容,失败报错,足够用来试口令。
  • 这次能走通,是因为入口按 CDN 网段放行、隔离组没收出站、集群网络策略只审计、Argo CD 的 admin 口令有效,四处都没拦住。
  • 升级到受支持的版本是另一件该做的事,但 26.3 上 url() 的行为和 25.1 一样,挡不住这类请求。
  • 数据库单机层:配 remote_url_allow_hosts;业务账号只给表的读写,不给 SOURCES;default 只留给本机,收之前先把它的使用方迁走;query_log 按凭据对待。
  • 往架构纵深走:在出网边界用正向代理(如 Smokescreen)或 Cilium FQDN 策略阻断私网与元数据段,容器侧设 Hop Limit = 1 物理断绝凭证窃取;查询入口前置网关,通过 AST 语法树直接封杀高危外部表函数;结合 Flow Logs 对数据库反常的主动外联建立即时告警。

相关文章#

参考资料#