Saltar al contenido principal

​
Introducción

ClickPipes es una plataforma de integración gestionada que hace que la ingestión de datos desde una amplia variedad de fuentes sea tan sencilla como hacer clic en unos pocos botones. Diseñada para las cargas de trabajo más exigentes, la arquitectura robusta y escalable de ClickPipes garantiza un rendimiento y una fiabilidad constantes. ClickPipes puede utilizarse para necesidades de streaming a largo plazo o para una carga puntual de datos. ClickPipes puede implementarse y gestionarse manualmente mediante la UI de ClickPipes, así como de forma programática mediante OpenAPI y Terraform.

​
Fuentes de datos compatibles

Se irán añadiendo más conectores a ClickPipes. Puede obtener más información poniéndose en contacto con nosotros.

​
Lista de IP estáticas

Las siguientes tablas enumeran las direcciones IP NAT estáticas que ClickPipes usa para conectarse a sus servicios externos. Añada a su lista de IP permitidas las IP de la región de ClickPipes que da servicio a su servicio de ClickHouse Cloud. En el caso de las pipes de almacenamiento de objetos, también debe añadir las IP del clúster de ClickHouse a su lista de IP permitidas. Los servicios de las regiones de Google Cloud que se enumeran en la tabla de Google Cloud a continuación usan esas IP de Google Cloud solo si el servicio se creó el 27 de mayo de 2026 o después. Los servicios de esas regiones creados antes del 27 de mayo de 2026 siguen usando las IP predeterminadas de región que se indican a continuación. Para otros servicios, el tráfico de ClickPipes se originará desde una región predeterminada en función de la ubicación de su servicio:
  • eu-central-1: Para todas las regiones de la UE no enumeradas explícitamente, además de las regiones de Azure en la UE y los servicios de Google Cloud creados antes del 27 de mayo de 2026.
  • eu-west-1: Para todos los servicios de AWS eu-west-1 creados el 20 de enero de 2026 o después (los servicios creados antes de esta fecha usan IP de eu-central-1).
  • us-east-1: Para todos los servicios de AWS us-east-1.
  • ap-south-1: Para los servicios de AWS ap-south-1 creados el 25 de junio de 2025 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ap-northeast-2: Para los servicios de AWS ap-northeast-2 creados el 14 de noviembre de 2025 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • af-south-1: Para los servicios de AWS af-south-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ap-east-1: Para los servicios de AWS ap-east-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ap-northeast-1: Para los servicios de AWS ap-northeast-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ap-southeast-1: Para los servicios de AWS ap-southeast-1 creados el 18 de marzo de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ap-southeast-2: Para los servicios de AWS ap-southeast-2 creados el 25 de junio de 2025 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ap-southeast-3: Para los servicios de AWS ap-southeast-3 creados el 6 de marzo de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ca-central-1: Para los servicios de AWS ca-central-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • eu-north-1: Para los servicios de AWS eu-north-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de eu-central-1).
  • eu-west-2: Para los servicios de AWS eu-west-2 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de eu-central-1).
  • il-central-1: Para los servicios de AWS il-central-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • sa-east-1: Para los servicios de AWS sa-east-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • us-west-2: Para los servicios de AWS us-west-2 creados el 24 de junio de 2025 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • us-east-2: Para todas las demás regiones que no coincidan con ninguna de las reglas anteriores, incluidas las regiones de Azure y los servicios de Google Cloud creados antes del 27 de mayo de 2026.

​
Direcciones IP NAT estáticas de AWS

​
Direcciones IP NAT estáticas de Google Cloud

​
Ajustar los ajustes de ClickHouse

ClickHouse Cloud proporciona valores predeterminados adecuados para la mayoría de los casos de uso. Sin embargo, si necesita ajustar algunos ajustes de ClickHouse para las tablas de destino de ClickPipes, un rol dedicado para ClickPipes es la solución más flexible. Pasos:
  1. cree un rol personalizado CREATE ROLE my_clickpipes_role SETTINGS .... Consulte la sintaxis de CREATE ROLE para obtener más información.
  2. añada el rol personalizado al usuario de ClickPipes en el paso Details and Settings durante la creación de ClickPipes.

​
Ajustar la configuración avanzada de ClickPipes

ClickPipes proporciona valores predeterminados adecuados para la mayoría de los casos de uso. Si su caso de uso requiere un ajuste más preciso, puede modificar la siguiente configuración:

​
ClickPipes de almacenamiento de objetos

​
ClickPipes de streaming

​
Registro de errores

ClickPipes almacenará los errores en dos tablas distintas, según el tipo de error que se produzca durante el proceso de ingestión.

​
Registro de errores

ClickPipes creará una tabla junto a tu tabla de destino con el sufijo <destination_table_name>_clickpipes_error. Esta tabla contendrá cualquier error provocado por datos malformados o por un esquema incompatible, e incluirá el mensaje no válido completo. Esta tabla tiene un TTL de 7 días.

​
Errores del sistema

Los errores relacionados con el funcionamiento de ClickPipe se almacenarán en la tabla system.clickpipes_log. En ella se guardarán todos los demás errores relacionados con el funcionamiento de su ClickPipe (red, conectividad, etc.). Esta tabla tiene un TTL de 7 días. Si ClickPipes no puede conectarse a una fuente de datos después de 15 min o a un destino después de 1 h, la instancia de ClickPipes se detendrá y almacenará un mensaje correspondiente en la tabla de errores del sistema (siempre que la instancia de ClickHouse esté disponible).

​
Monitoreo

Además del monitoreo en la consola, ClickPipes expone métricas en un endpoint compatible con Prometheus para su scraping. Estas métricas se publican junto con otras métricas del servicio de ClickHouse Cloud y le permiten integrar el monitoreo de ClickPipes con su stack de observabilidad actual (por ejemplo, Grafana, Datadog). Consulte Monitoreo de ClickPipes para ver la lista completa de métricas disponibles.

​
Preguntas frecuentes

  • ¿Qué es ClickPipes? ClickPipes es una funcionalidad de ClickHouse Cloud que facilita la conexión de sus servicios de ClickHouse con fuentes de datos externas, en concreto Kafka. Con ClickPipes for Kafka, puede cargar datos de forma continua en ClickHouse y ponerlos a disposición para análisis en tiempo real.
  • ¿ClickPipes admite la transformación de datos? Sí, ClickPipes admite transformaciones básicas de datos al exponer la creación del DDL. Después, puede aplicar transformaciones más avanzadas a los datos a medida que se cargan en su tabla de destino en un servicio de ClickHouse Cloud, aprovechando la funcionalidad de vistas materializadas de ClickHouse.
  • ¿Usar ClickPipes implica un costo adicional? ClickPipes se factura en dos dimensiones: Ingested Data y Compute. Los detalles completos de los precios están disponibles en esta página. Ejecutar ClickPipes también puede generar un costo indirecto de cómputo y almacenamiento en el servicio de ClickHouse Cloud de destino, como ocurre con cualquier carga de trabajo de ingesta.
  • ¿Hay alguna forma de gestionar errores o fallos al usar ClickPipes for Kafka? Sí, ClickPipes for Kafka realizará reintentos automáticos en caso de fallos al consumir datos de Kafka debidos a cualquier problema operativo, incluidos problemas de red, de conectividad, etc. En caso de datos malformados o de un esquema no válido, ClickPipes almacenará el registro en la tabla record_error y continuará procesándolo.
Última modificación el 12 de junio de 2026