> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-home-button.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
# Использование нативного и двоичных форматов в ClickHouse
> Страница с описанием использования нативного и двоичных форматов в ClickHouse
export const CloudNotSupportedBadge = () => {
return
Not supported in ClickHouse Cloud
;
};
ClickHouse поддерживает несколько двоичных форматов, которые обеспечивают более высокую производительность и более эффективное использование пространства. Двоичные форматы также не создают проблем с кодировкой символов, поскольку данные сохраняются в двоичном виде.
Для демонстрации мы будем использовать таблицу [some\_data](/ru/assets/some_data.sql) и [данные](/ru/assets/some_data.tsv); при желании вы можете воспроизвести это на своём экземпляре ClickHouse.
## Экспорт в собственном формате ClickHouse Native
Наиболее эффективный формат для экспорта и импорта данных между узлами ClickHouse — [Native](/ru/reference/formats/Native). Экспорт выполняется с помощью оператора `INTO OUTFILE`:
```sql theme={null}
SELECT * FROM some_data
INTO OUTFILE 'data.clickhouse' FORMAT Native
```
Это создаст файл [data.clickhouse](/ru/assets/data.clickhouse) в формате Native.
### Импорт из формата Native
Чтобы импортировать данные, можно использовать [file()](/ru/reference/functions/table-functions/file) для небольших файлов или в ознакомительных целях:
```sql theme={null}
DESCRIBE file('data.clickhouse', Native);
```
```response theme={null}
┌─name──┬─type───┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
│ path │ String │ │ │ │ │ │
│ month │ Date │ │ │ │ │ │
│ hits │ UInt32 │ │ │ │ │ │
└───────┴────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘
```
При использовании функции `file()` в ClickHouse Cloud команды нужно запускать в `clickhouse client` на той машине, где находится файл. Ещё один вариант — использовать [`clickhouse-local`](/ru/concepts/features/tools-and-utilities/clickhouse-local) для локальной работы с файлами.
В рабочей среде мы используем `FROM INFILE` для импорта данных:
```sql theme={null}
INSERT INTO sometable
FROM INFILE 'data.clickhouse'
FORMAT Native
```
### Сжатие в формате Native
При экспорте данных в формат Native (как и в большинство других форматов) также можно включить сжатие с помощью конструкции `COMPRESSION`:
```sql theme={null}
SELECT * FROM some_data
INTO OUTFILE 'data.clickhouse'
COMPRESSION 'lz4'
FORMAT Native
```
Мы использовали для экспорта сжатие LZ4. Его нужно будет указать и при импорте данных:
```sql theme={null}
INSERT INTO sometable
FROM INFILE 'data.clickhouse'
COMPRESSION 'lz4'
FORMAT Native
```
## Экспорт в RowBinary
Ещё один поддерживаемый бинарный формат — [RowBinary](/ru/reference/formats/RowBinary/RowBinary), который позволяет импортировать и экспортировать данные в виде строк в бинарном представлении:
```sql theme={null}
SELECT * FROM some_data
INTO OUTFILE 'data.binary' FORMAT RowBinary
```
В результате будет создан файл [data.binary](/ru/assets/data.binary) в бинарном формате строк.
### Просмотр файлов RowBinary
Для этого формата автоматическое определение схемы не поддерживается, поэтому перед загрузкой данных для их просмотра нужно явно задать схему:
```sql theme={null}
SELECT *
FROM file('data.binary', RowBinary, 'path String, month Date, hits UInt32')
LIMIT 5
```
```response theme={null}
┌─path───────────────────────────┬──────month─┬─hits─┐
│ Bangor_City_Forest │ 2015-07-01 │ 34 │
│ Alireza_Afzal │ 2017-02-01 │ 24 │
│ Akhaura-Laksam-Chittagong_Line │ 2015-09-01 │ 30 │
│ 1973_National_500 │ 2017-10-01 │ 80 │
│ Attachment │ 2017-09-01 │ 1356 │
└────────────────────────────────┴────────────┴──────┘
```
Рекомендуем использовать [RowBinaryWithNames](/ru/reference/formats/RowBinary/RowBinaryWithNames), который также добавляет строку заголовка со списком столбцов. [RowBinaryWithNamesAndTypes](/ru/reference/formats/RowBinary/RowBinaryWithNamesAndTypes) также добавляет дополнительную строку заголовка с типами столбцов.
### Импорт из файлов RowBinary
Чтобы загрузить данные из файла RowBinary, можно использовать конструкцию `FROM INFILE`:
```sql theme={null}
INSERT INTO sometable
FROM INFILE 'data.binary'
FORMAT RowBinary
```
## Импорт одного двоичного значения с помощью RawBLOB
Предположим, что нужно прочитать весь двоичный файл и сохранить его в поле таблицы.
В таком случае можно использовать [формат RawBLOB](/ru/reference/formats/RawBLOB). Этот формат можно использовать напрямую только с таблицей, содержащей один столбец:
```sql theme={null}
CREATE TABLE images(data String) ENGINE = Memory
```
Сохраним файл с изображением в таблицу `images`:
```bash theme={null}
cat image.jpg | clickhouse-client -q "INSERT INTO images FORMAT RawBLOB"
```
Мы можем проверить длину поля `data` — она будет равна исходному размеру файла:
```sql theme={null}
SELECT length(data) FROM images
```
```response theme={null}
┌─length(data)─┐
│ 6121 │
└──────────────┘
```
### Экспорт данных в формате RawBLOB
Этот формат также можно использовать для экспорта данных с помощью оператора `INTO OUTFILE`:
```sql theme={null}
SELECT * FROM images LIMIT 1
INTO OUTFILE 'out.jpg'
FORMAT RawBLOB
```
Обратите внимание, что нам пришлось использовать `LIMIT 1`, потому что экспорт более чем одного значения приведет к повреждению файла.
## MessagePack
ClickHouse поддерживает импорт и экспорт в формате [MessagePack](https://msgpack.org/) с использованием [MsgPack](/ru/reference/formats/MsgPack). Чтобы экспортировать данные в формате MessagePack:
```sql theme={null}
SELECT *
FROM some_data
INTO OUTFILE 'data.msgpk'
FORMAT MsgPack
```
Чтобы импортировать данные из файла [MessagePack](/ru/assets/data.msgpk):
```sql theme={null}
INSERT INTO sometable
FROM INFILE 'data.msgpk'
FORMAT MsgPack
```
## Protocol Buffers
Чтобы работать с [Protocol Buffers](/ru/reference/formats/Protobuf/Protobuf), сначала нужно определить [файл схемы](/ru/assets/schema.proto):
```protobuf theme={null}
syntax = "proto3";
message MessageType {
string path = 1;
date month = 2;
uint32 hits = 3;
};
```
Путь к этому файлу схемы (`schema.proto` в нашем случае) указывается в параметре `format_schema` в разделе Settings формата [Protobuf](/ru/reference/formats/Protobuf/Protobuf):
```sql theme={null}
SELECT * FROM some_data
INTO OUTFILE 'proto.bin'
FORMAT Protobuf
SETTINGS format_schema = 'schema:MessageType'
```
Это сохраняет данные в файл [proto.bin](/ru/assets/proto.bin). ClickHouse также поддерживает импорт данных Protobuf и вложенных сообщений. Для работы с одним сообщением Protocol Buffer можно использовать [ProtobufSingle](/ru/reference/formats/Protobuf/ProtobufSingle) (в этом случае разделители длины будут опущены).
## Cap'n Proto
ClickHouse также поддерживает ещё один популярный бинарный формат сериализации — [Cap'n Proto](https://capnproto.org/). Как и в случае с форматом `Protobuf`, в нашем примере нужно определить файл схемы ([`schema.capnp`](/ru/assets/schema.capnp)):
```response theme={null}
@0xec8ff1a10aa10dbe;
struct PathStats {
path @0 :Text;
month @1 :UInt32;
hits @2 :UInt32;
}
```
Теперь мы можем импортировать и экспортировать данные в формате [CapnProto](/ru/reference/formats/CapnProto) по этой схеме:
```sql theme={null}
SELECT
path,
CAST(month, 'UInt32') AS month,
hits
FROM some_data
INTO OUTFILE 'capnp.bin'
FORMAT CapnProto
SETTINGS format_schema = 'schema:PathStats'
```
Обратите внимание, что нам пришлось привести столбец `Date` к типу `UInt32`, чтобы [обеспечить соответствие типов](/ru/reference/formats/CapnProto#data_types-matching-capnproto).
## Другие форматы
ClickHouse поддерживает множество форматов — текстовых и двоичных — для самых разных сценариев и платформ. Подробнее о форматах и способах работы с ними читайте в следующих статьях:
* [Форматы CSV и TSV](/ru/guides/clickhouse/data-formats/csv-tsv)
* [Parquet](/ru/guides/clickhouse/data-formats/parquet)
* [Форматы JSON](/ru/guides/clickhouse/data-formats/json/intro)
* [Regex и Template](/ru/guides/clickhouse/data-formats/templates-regex)
* **Формат Native и двоичные форматы**
* [Форматы SQL](/ru/guides/clickhouse/data-formats/sql)
Также обратите внимание на [clickhouse-local](https://clickhouse.com/blog/extracting-converting-querying-local-files-with-sql-clickhouse-local) — переносимый полнофункциональный инструмент для работы с локальными и удалёнными файлами без запуска сервера ClickHouse.