Обзор материалов

Обзор материалов документации ClickHouse Cloud по оптимизации запросов, стратегиям масштабирования, мониторингу и рекомендациям

Эта статья поможет вам получить обзор материалов, доступных в документации, и понять, как максимально эффективно использовать ClickHouse Cloud. Изучите материалы по следующим темам:

• Методы оптимизации запросов и настройка производительности
• Мониторинг
• Рекомендации по безопасности и возможности для соблюдения требований
• Оптимизация затрат и биллинг

Прежде чем переходить к более конкретным темам, рекомендуем начать с наших общих руководств по лучшим практикам ClickHouse, в которых рассматриваются основные рекомендации по использованию ClickHouse:

Страница	Описание
Выбор primary key	Как выбрать primary key, чтобы добиться максимальной производительности запросов и минимальных накладных расходов на хранение.
Выбор типов данных	Выберите оптимальные типы данных, чтобы сократить использование памяти, улучшить сжатие и ускорить запросы.
Использование materialized view	Используйте materialized view для предварительной агрегации данных и значительного ускорения аналитических запросов.
Минимизация и оптимизация JOIN	Рекомендации по эффективному использованию возможностей JOIN в ClickHouse.
Выбор ключа партиционирования	Выберите стратегию партиционирования, которая обеспечит эффективное отсечение данных и более быстрое выполнение запросов.
Выбор стратегии вставки	Оптимизируйте пропускную способность при вставке данных и снижайте потребление ресурсов с помощью правильно выбранных шаблонов вставки.
Индексы пропуска данных	Применяйте вторичные индексы стратегически, чтобы пропускать нерелевантные блоки данных и ускорять запросы с фильтрацией.
Как избежать мутаций	Проектируйте схемы и рабочие процессы так, чтобы исключить дорогостоящие операции UPDATE/DELETE и повысить производительность.
Избегайте OPTIMIZE FINAL	Избегайте узких мест в производительности, понимая, в каких случаях OPTIMIZE FINAL приносит больше вреда, чем пользы.
Используйте JSON там, где это уместно	Соблюдайте баланс между гибкостью и производительностью при работе с полуструктурированными данными JSON в ClickHouse.

​

Методы оптимизации запросов и настройка производительности

Тема	Описание
Руководство по оптимизации запросов	Начните с основ оптимизации запросов: здесь разбираются типичные сценарии и методы повышения производительности, которые помогают ускорить выполнение запросов.
Расширенное руководство по первичным индексам	Подробное описание уникальной для ClickHouse разреженной системы первичных индексов, её отличий от традиционных баз данных и рекомендаций по выбору оптимальной стратегии индексации.
Параллелизм запросов	Узнайте, как ClickHouse распараллеливает выполнение запросов с помощью линий обработки и настройки max_threads, а также как анализировать и оптимизировать параллельное выполнение.
Ключ партиционирования	Освойте выбор ключа партиционирования, чтобы заметно повысить производительность запросов за счёт эффективного отсечения сегментов данных и избежать типичных ошибок партиционирования.
Индексы пропуска данных	Грамотно применяйте вторичные индексы, чтобы пропускать нерелевантные блоки данных и ускорять запросы с фильтрацией по столбцам, не входящим в первичный ключ.
Оптимизация PREWHERE	Узнайте, как PREWHERE автоматически сокращает I/O, отфильтровывая данные до чтения ненужных столбцов, и как отслеживать эффективность этого механизма.
Пакетные вставки	Максимизируйте пропускную способность ингестии и снижайте накладные расходы на ресурсы за счёт эффективной пакетной вставки данных.
Асинхронные вставки	Повысьте производительность вставки, используя серверный батчинг, чтобы уменьшить сложность на стороне клиента и увеличить пропускную способность при частых вставках.
Избегайте мутаций	Проектируйте append-only-процессы, исключающие дорогостоящие операции UPDATE и DELETE без ущерба для точности данных и производительности.
Избегайте столбцов с типом Nullable	Снижайте накладные расходы на хранение и повышайте производительность запросов, используя значения по умолчанию вместо столбцов с типом Nullable там, где это возможно.
Избегайте OPTIMIZE FINAL	Узнайте, когда стоит и когда не стоит использовать OPTIMIZE TABLE FINAL
Анализатор	Используйте новый анализатор запросов ClickHouse, чтобы выявлять узкие места и оптимизировать планы выполнения запросов для повышения эффективности.
Профилирование запросов	Используйте выборочный профилировщик запросов, чтобы анализировать характер выполнения запросов, выявлять узкие места производительности и оптимизировать использование ресурсов.
Кэш запросов	Ускоряйте часто выполняемые запросы SELECT, включая и настраивая встроенное в ClickHouse кэширование результатов запросов.
Тестирование оборудования	Запускайте бенчмарки производительности ClickHouse на любом сервере без установки, чтобы оценить возможности оборудования. (Неприменимо к ClickHouse Cloud)

​

Мониторинг

Страница	Описание
Advanced dashboard	Используйте встроенную панель Advanced dashboard для мониторинга состояния и производительности сервиса
Интеграция с Prometheus	Используйте Prometheus для мониторинга сервисов Cloud
Возможности мониторинга Cloud	Ознакомьтесь со встроенными возможностями мониторинга и вариантами интеграции

​

Безопасность

Страница	Описание
Возможности безопасности ClickHouse Cloud	Подробное описание параметров безопасности и рекомендаций по защите организации и сервиса ClickHouse.
Руководства по управлению доступом в ClickHouse Cloud	В этом разделе собраны пошаговые руководства по управлению доступом в ClickHouse Cloud.
Настройка IP-фильтров	Руководство по созданию или изменению IP Access List.
Частные сети	ClickHouse Cloud позволяет подключать ваши сервисы к виртуальной сети в облаке. Инструкции по настройке для вашего провайдера см. в этих руководствах.
Маскирование данных	Узнайте, как маскировать данные в ClickHouse.
Шифрование данных	Узнайте, как включить Transparent Data Encryption, а также Customer Managed Encryption Keys.
Журналирование аудита	Руководства о том, как получать доступ к событиям аудита и просматривать их в консоли ClickHouse Cloud, а также примеры журналов и запросов, которые клиенты могут использовать при разработке своей программы безопасности BYOC
HIPAA онбординг	На этой странице описан процесс включения развертывания сервисов, соответствующих требованиям HIPAA, в ClickHouse Cloud.
PCI онбординг	На этой странице описан процесс включения развертывания сервисов, соответствующих требованиям PCI, в ClickHouse Cloud.

​

Оптимизация затрат и биллинг

Страница	Описание
Передача данных	Узнайте, как в ClickHouse Cloud учитывается объем входящего и исходящего трафика
Уведомления	Настройте уведомления для вашего сервиса ClickHouse Cloud. Например, когда использование кредитов превышает порог