Перейти к основному содержанию

​
Часто задаваемые вопросы о Kafka ClickPipes

​
Общие сведения

ClickPipes использует выделенную архитектуру и Kafka Consumer API для чтения данных из указанного топика, а затем вставляет эти данные в таблицу ClickHouse в выбранном сервисе ClickHouse Cloud.
Движок таблицы Kafka — это встроенная возможность ClickHouse, реализующая «pull-модель», при которой сервер ClickHouse сам подключается к Kafka, получает события и затем записывает их локально.ClickPipes — это отдельный облачный сервис, работающий независимо от сервиса ClickHouse. Он подключается к Kafka (или другим источникам данных) и отправляет события в связанный сервис ClickHouse Cloud. Такая разделённая архитектура обеспечивает более высокую операционную гибкость, чёткое разграничение ответственности, масштабируемую ингестию, устойчивую обработку сбоев, расширяемость и многое другое.
Чтобы использовать ClickPipes for Kafka, вам потребуется работающий брокер Kafka и сервис ClickHouse Cloud с включённым ClickPipes. Также необходимо убедиться, что ClickHouse Cloud может получить доступ к вашему брокеру Kafka. Для этого можно разрешить удалённые подключения на стороне Kafka и добавить исходящие IP-адреса ClickHouse Cloud в белый список в конфигурации Kafka. Либо можно использовать AWS PrivateLink, чтобы подключить ClickPipes for Kafka к вашим брокерам Kafka.
Нет, ClickPipes for Kafka предназначен для чтения данных из топиков Kafka, а не для записи в них. Для записи данных в топик Kafka потребуется отдельный Kafka producer.
Да, если брокеры входят в один и тот же кворум, их можно настроить вместе, разделив с помощью ,.
Да, ClickPipes для стриминга можно масштабировать как горизонтально, так и вертикально. Горизонтальное масштабирование добавляет больше реплик для увеличения пропускной способности, а вертикальное увеличивает ресурсы (CPU и оперативную память), выделенные каждой реплике, чтобы обрабатывать более интенсивные рабочие нагрузки. Это можно настроить при создании ClickPipe или позже в разделе Settings -> Advanced Settings -> Scaling.
Интерфейс обнаружения топиков в ClickPipes по умолчанию отображает до 1 500 топиков. Если в вашем кластере Kafka больше 1 500 топиков, часть из них может не отображаться в выпадающем списке. Чтобы убедиться, что нужный топик существует, проверьте это напрямую с помощью Kafka-клиента с теми же учётными данными. Если топик существует и вам нужно увеличить лимит отображаемых топиков сверх 1 500, обратитесь в ClickHouse Support.

​
Azure Event Hubs

Нет. ClickPipes требует, чтобы для пространства имен Event Hubs был включен Kafka-интерфейс. Это доступно только на уровнях выше basic. Подробнее см. в документации Azure Event Hubs.
Нет. ClickPipes поддерживает только реестры схем, API-совместимые с Confluent Schema Registry, а Azure Schema Registry к ним не относится. Если вам нужна поддержка этого реестра схем, свяжитесь с нашей командой.
Чтобы получать список топиков и читать события, политика общего доступа, передаваемая в ClickPipes, должна иметь как минимум право ‘Listen’.
Если ваш экземпляр ClickHouse находится в другом регионе или на другом континенте по сравнению с развертыванием Event Hubs, при онбординге ClickPipes могут возникать тайм-ауты, а при чтении данных из Event Hub — более высокая задержка. Мы рекомендуем развертывать ClickHouse Cloud и Azure Event Hubs в одном облачном регионе или в регионах, расположенных близко друг к другу, чтобы избежать снижения производительности.
Да. ClickPipes ожидает, что вы укажете номер порта для Kafka-интерфейса, и это должен быть :9093.
Да. Чтобы ограничить трафик к вашему экземпляру Event Hubs, добавьте задокументированные статические NAT IPs в .
Подходят оба варианта. Мы настоятельно рекомендуем использовать политику общего доступа на уровне пространства имен, чтобы получать выборки из нескольких Event Hubs.
Последнее изменение 12 июня 2026 г.