跳转到主要内容

​
简介

ClickPipes 是一个托管式集成平台，让从多种数据源摄取数据变得像点几下按钮一样简单。ClickPipes 专为要求最严苛的工作负载而设计，其强大且可扩展的架构可确保始终如一的性能与可靠性。ClickPipes 既可用于长期流式摄取需求，也可用于一次性数据加载任务。 ClickPipes 既可以通过 ClickPipes UI 手动部署和管理，也可以通过 OpenAPI 和 Terraform 以编程方式进行部署和管理。

​
支持的数据源

更多连接器将陆续加入 ClickPipes，更多信息请联系我们。

​
静态 IP 列表

下表列出了 ClickPipes 用于连接您的外部服务的静态 NAT IP 地址。请将为您的 ClickHouse Cloud 服务提供支持的 ClickPipes 区域对应的 IP 地址添加到 IP allow list 中。对于对象存储管道，您还应将 ClickHouse 集群 IP 添加到 IP allow list 中。 下方 Google Cloud 表中列出的 Google Cloud 区域内的服务，只有在 2026 年 5 月 27 日或之后创建时，才会使用这些 Google Cloud IP。对于 2026 年 5 月 27 日之前在这些区域中创建的服务，则会继续使用下方列出的默认区域 IP。 对于其他服务，ClickPipes 流量会根据服务所在位置从默认区域发出：
  • eu-central-1：适用于所有未明确列出的 EU 区域，以及 Azure EU 区域和在 2026 年 5 月 27 日之前创建的 Google Cloud EU 服务。
  • eu-west-1：适用于 AWS eu-west-1 中所有在 2026 年 1 月 20 日或之后创建的服务 (在此日期之前创建的服务使用 eu-central-1 IP) 。
  • us-east-1：适用于 AWS us-east-1 中的所有服务。
  • ap-south-1：适用于 AWS ap-south-1 中所有在 2025 年 6 月 25 日或之后创建的服务 (在此日期之前创建的服务使用 us-east-2 IP) 。
  • ap-northeast-2：适用于 AWS ap-northeast-2 中所有在 2025 年 11 月 14 日或之后创建的服务 (在此日期之前创建的服务使用 us-east-2 IP) 。
  • af-south-1：适用于 AWS af-south-1 中所有在 2026 年 4 月 15 日或之后创建的服务 (在此日期之前创建的服务使用 us-east-2 IP) 。
  • ap-east-1：适用于 AWS ap-east-1 中所有在 2026 年 4 月 15 日或之后创建的服务 (在此日期之前创建的服务使用 us-east-2 IP) 。
  • ap-northeast-1：适用于 AWS ap-northeast-1 中所有在 2026 年 4 月 15 日或之后创建的服务 (在此日期之前创建的服务使用 us-east-2 IP) 。
  • ap-southeast-1：适用于 AWS ap-southeast-1 中所有在 2026 年 3 月 18 日或之后创建的服务 (在此日期之前创建的服务使用 us-east-2 IP) 。
  • ap-southeast-2：适用于 AWS ap-southeast-2 中所有在 2025 年 6 月 25 日或之后创建的服务 (在此日期之前创建的服务使用 us-east-2 IP) 。
  • ap-southeast-3：适用于 AWS ap-southeast-3 中所有在 2026 年 3 月 6 日或之后创建的服务 (在此日期之前创建的服务使用 us-east-2 IP) 。
  • ca-central-1：适用于 AWS ca-central-1 中所有在 2026 年 4 月 15 日或之后创建的服务 (在此日期之前创建的服务使用 us-east-2 IP) 。
  • eu-north-1：适用于 AWS eu-north-1 中所有在 2026 年 4 月 15 日或之后创建的服务 (在此日期之前创建的服务使用 eu-central-1 IP) 。
  • eu-west-2：适用于 AWS eu-west-2 中所有在 2026 年 4 月 15 日或之后创建的服务 (在此日期之前创建的服务使用 eu-central-1 IP) 。
  • il-central-1：适用于 AWS il-central-1 中所有在 2026 年 4 月 15 日或之后创建的服务 (在此日期之前创建的服务使用 us-east-2 IP) 。
  • sa-east-1：适用于 AWS sa-east-1 中所有在 2026 年 4 月 15 日或之后创建的服务 (在此日期之前创建的服务使用 us-east-2 IP) 。
  • us-west-2：适用于 AWS us-west-2 中所有在 2025 年 6 月 24 日或之后创建的服务 (在此日期之前创建的服务使用 us-east-2 IP) 。
  • us-east-2：适用于所有不符合上述规则的其他区域，包括 Azure 区域以及在 2026 年 5 月 27 日之前创建的 Google Cloud 服务。

​
AWS 静态 NAT IP 地址

​
Google Cloud 静态 NAT IP 地址

​
调整 ClickHouse 设置

ClickHouse Cloud 为大多数使用场景提供了合理的默认设置。不过，如果你需要为 ClickPipes 目标表调整某些 ClickHouse 设置，那么为 ClickPipes 配置一个专用角色是最灵活的解决方案。 步骤：
  1. 创建自定义角色 CREATE ROLE my_clickpipes_role SETTINGS ...。详情请参见 CREATE ROLE 语法。
  2. 在创建 ClickPipes 的过程中，在 Details and Settings 步骤将该自定义角色添加给 ClickPipes 用户。

​
调整 ClickPipes 高级设置

ClickPipes 提供了适用于大多数场景的合理默认设置。如果你的场景需要进一步微调，可以调整以下设置：

​
对象存储 ClickPipes

​
流式 ClickPipes

​
错误报告

ClickPipes 会根据摄取过程中遇到的错误类型，将错误分别存储在两个独立的表中。

​
记录错误

ClickPipes 会在目标表旁创建一张表，表名以后缀 <destination_table_name>_clickpipes_error 结尾。该表会包含因数据格式错误或 schema 不匹配而产生的所有错误，并保留完整的无效消息内容。该表的生存时间 (TTL)为 7 天。

​
系统错误

与 ClickPipe 运行相关的错误会存储在 system.clickpipes_log 表中。该表还会记录与你的 ClickPipe 运行有关的其他错误 (如网络、连接等) 。此表的 生存时间 (TTL) 为 7 天。 如果 ClickPipes 在 15 分钟后仍无法连接到数据源，或在 1 小时后仍无法连接到目标端，ClickPipes 实例将停止，并在系统错误表中记录相应的消息 (前提是 ClickHouse 实例可用) 。

​
监控

除了控制台内的监控外，ClickPipes 还会将指标暴露到一个兼容 Prometheus 的端点，以便抓取。这些指标会与其他 ClickHouse Cloud 服务指标一同发布，因此你可以将 ClickPipes 的监控集成到现有的可观测性技术栈中 (例如 Grafana、Datadog) 。有关可用指标的完整列表，请参阅 Monitoring ClickPipes。

​
FAQ

  • 什么是 ClickPipes？ ClickPipes 是 ClickHouse Cloud 的一项功能，可让您轻松将 ClickHouse 服务连接到外部数据源，尤其是 Kafka。借助 ClickPipes for Kafka，您可以持续、轻松地将数据加载到 ClickHouse 中，使其可用于实时分析。
  • ClickPipes 是否支持数据转换？ 是的，ClickPipes 通过提供 DDL 创建能力来支持基础数据转换。随后，您可以在数据加载到 ClickHouse Cloud 服务中的目标表时，借助 ClickHouse 的 materialized views 功能 对数据进行更高级的转换。
  • 使用 ClickPipes 会产生额外费用吗？ ClickPipes 按两个维度计费：Ingested Data 和 Compute。有关定价的完整详情，请参见此页面。运行 ClickPipes 还可能在目标 ClickHouse Cloud 服务上产生间接的计算和存储成本，这与任何摄取工作负载类似。
  • 使用 ClickPipes for Kafka 时，有办法处理错误或故障吗？ 可以。ClickPipes for Kafka 在从 Kafka 消费数据时，如果遇到任何运行问题 (包括网络问题、连接问题等) ，都会自动重试。如果出现格式错误的数据或无效的 schema，ClickPipes 会将该记录存储到 record_error 表中，并继续处理。
最后修改于 2026年6月12日