Apache Kafka es una plataforma distribuida de streaming de eventos de código abierto utilizada por miles de empresas para pipelines de datos de alto rendimiento, análisis en streaming, integración de datos y aplicaciones de misión crítica. ClickHouse ofrece múltiples opciones para leer desde y escribir en Kafka y otros brókeres compatibles con la API de Kafka (p. ej., Redpanda, Amazon MSK).
Elegir la opción adecuada para su caso de uso depende de varios factores, como el tipo de implementación de ClickHouse, la dirección del flujo de datos y los requisitos operativos.
Para ver una comparación más detallada de estas opciones, consulte Elegir una opción.
ClickPipes es una plataforma de integración gestionada que permite ingestar datos desde una amplia variedad de fuentes con solo unos clics. Al ser totalmente gestionada y estar diseñada específicamente para cargas de trabajo de producción, ClickPipes reduce significativamente los costos operativos y de infraestructura, eliminando la necesidad de herramientas externas de streaming de datos y ETL.
Esta es la opción recomendada si eres usuario de ClickHouse Cloud. ClickPipes es una solución totalmente gestionada y diseñada específicamente para ofrecer el mejor rendimiento en entornos Cloud.
Características principales
- Optimizado para ClickHouse Cloud, con un rendimiento ultrarrápido
- Escalabilidad horizontal y vertical para cargas de trabajo de alto rendimiento
- Tolerancia a fallos integrada con réplicas configurables y reintentos automáticos
- Implementación y gestión mediante la UI de ClickHouse Cloud, Open API o Terraform
- Seguridad de nivel empresarial con compatibilidad con autorización nativa de la nube (IAM) y conectividad privada (PrivateLink)
- Admite una amplia variedad de fuentes de datos, incluidas Confluent Cloud, Amazon MSK, Redpanda Cloud y Azure Event Hubs
- Admite los formatos de serialización más habituales (JSON, Avro, Protobuf)
Para empezar a usar ClickPipes for Kafka, consulta la documentación de referencia o ve a la pestaña Data Sources de la UI de ClickHouse Cloud.
Kafka Connect es un framework de código abierto que actúa como un concentrador de datos centralizado para integrar datos de forma sencilla entre Kafka y otros sistemas de datos. El conector ClickHouse Kafka Connect Sink ofrece una opción escalable y muy configurable para leer datos de Apache Kafka y otros brókers compatibles con la API de Kafka.
Esta es la opción recomendada si buscas una alta capacidad de configuración o si ya usas Kafka Connect.
Características principales
- Puede configurarse para admitir semántica exactly-once
- Admite los formatos de serialización más comunes (JSON, Avro, Protobuf)
- Se prueba continuamente con ClickHouse Cloud
Para empezar a usar ClickHouse Kafka Connect Sink, consulta la documentación de referencia.
El motor de tabla de Kafka puede usarse para leer datos de Apache Kafka y otros brókers compatibles con la API de Kafka, así como para escribir datos en ellos. Esta opción viene incluida con ClickHouse de código abierto y está disponible en todos los tipos de despliegue.
Esta es la opción recomendada si alojas ClickHouse por tu cuenta y necesitas una opción fácil de adoptar, o si necesitas escribir datos en Kafka.
Características principales
- Puede usarse para leer y escribir datos
- Se incluye con la versión de código abierto de ClickHouse
- Admite los formatos de serialización más comunes (JSON, Avro, Protobuf)
Para empezar a usar el motor de tabla de Kafka, consulta la documentación de referencia.
-
Confluent Cloud - Confluent Platform ofrece la opción de cargar y ejecutar ClickHouse Connector Sink en Confluent Cloud o usar HTTP Sink Connector para Confluent Platform, que integra Apache Kafka con una API mediante HTTP o HTTPS.
-
Vector - Vector es una canalización de datos independiente del proveedor. Gracias a su capacidad para leer desde Kafka y enviar eventos a ClickHouse, representa una opción de integración sólida.
-
JDBC Connect Sink - El conector JDBC Sink de Kafka Connect le permite exportar datos desde topics de Kafka a cualquier base de datos relacional con un driver JDBC.
-
Código personalizado - El código personalizado que utiliza Kafka y las bibliotecas cliente de ClickHouse puede ser adecuado cuando se requiere un procesamiento personalizado de eventos.
