BSONEachRowフォーマットは、区切りを挟まずに連続する Binary JSON (BSON) ドキュメントの並びとしてデータを解析します。
各行は単一のドキュメントとしてフォーマットされ、各カラムはカラム名をキーとする単一の BSON ドキュメントフィールドとしてフォーマットされます。
出力では、ClickHouse 型と BSON 型の間で次の対応が使用されます。
| ClickHouse 型 | BSON 型 |
|---|
| Bool | \x08 boolean |
| Int8/UInt8/Enum8 | \x10 int32 |
| Int16/UInt16/Enum16 | \x10 int32 |
| Int32 | \x10 int32 |
| UInt32 | \x12 int64 |
| Int64/UInt64 | \x12 int64 |
| Float32/Float64 | \x01 double |
| Date/Date32 | \x10 int32 |
| DateTime | \x12 int64 |
| DateTime64 | \x09 datetime |
| Decimal32 | \x10 int32 |
| Decimal64 | \x12 int64 |
| Decimal128 | \x05 binary, \x00 binary subtype, size = 16 |
| Decimal256 | \x05 binary, \x00 binary subtype, size = 32 |
| Int128/UInt128 | \x05 binary, \x00 binary subtype, size = 16 |
| Int256/UInt256 | \x05 binary, \x00 binary subtype, size = 32 |
| String/FixedString | \x05 binary, \x00 binary subtype、または setting output_format_bson_string_as_string が有効な場合は \x02 string |
| UUID | \x05 binary, \x04 uuid subtype, size = 16 |
| Array | \x04 array |
| Tuple | \x04 array |
| Named Tuple | \x03 document |
| Map | \x03 document |
| IPv4 | \x10 int32 |
| IPv6 | \x05 binary, \x00 binary subtype |
| BSON 型 | ClickHouse 型 |
|---|
\x01 double | Float32/Float64 |
\x02 string | String/FixedString |
\x03 document | Map/Named Tuple |
\x04 array | Array/Tuple |
\x05 binary, \x00 binary subtype | String/FixedString/IPv6 |
\x05 binary, \x02 old binary subtype | String/FixedString |
\x05 binary, \x03 old uuid subtype | UUID |
\x05 binary, \x04 uuid subtype | UUID |
\x07 ObjectId | String/FixedString |
\x08 boolean | Bool |
\x09 datetime | DateTime64 |
\x0A null value | NULL |
\x0D JavaScript code | String/FixedString |
\x0E symbol | String/FixedString |
\x10 int32 | Int32/UInt32/Decimal32/IPv4/Enum8/Enum16 |
\x12 int64 | Int64/UInt64/Decimal64/DateTime64 |
int32 値を ClickHouse に UInt8 として挿入できます。
Int128/UInt128/Int256/UInt256/Decimal128/Decimal256 のような大きな整数や Decimal は、\x00 binary subtype を持つ BSON Binary 値から解析できます。
この場合、このフォーマットはバイナリデータのサイズが想定される値のサイズと一致することを検証します。
このフォーマットは Big-Endian プラットフォームでは正しく動作しません。
football.bson という名前の BSON ファイルを使用します。
┌───────date─┬─season─┬─home_team─────────────┬─away_team───────────┬─home_team_goals─┬─away_team_goals─┐
1. │ 2022-04-30 │ 2021 │ Sutton United │ Bradford City │ 1 │ 4 │
2. │ 2022-04-30 │ 2021 │ Swindon Town │ Barrow │ 2 │ 1 │
3. │ 2022-04-30 │ 2021 │ Tranmere Rovers │ Oldham Athletic │ 2 │ 0 │
4. │ 2022-05-02 │ 2021 │ Port Vale │ Newport County │ 1 │ 2 │
5. │ 2022-05-02 │ 2021 │ Salford City │ Mansfield Town │ 2 │ 2 │
6. │ 2022-05-07 │ 2021 │ Barrow │ Northampton Town │ 1 │ 3 │
7. │ 2022-05-07 │ 2021 │ Bradford City │ Carlisle United │ 2 │ 0 │
8. │ 2022-05-07 │ 2021 │ Bristol Rovers │ Scunthorpe United │ 7 │ 0 │
9. │ 2022-05-07 │ 2021 │ Exeter City │ Port Vale │ 0 │ 1 │
10. │ 2022-05-07 │ 2021 │ Harrogate Town A.F.C. │ Sutton United │ 0 │ 2 │
11. │ 2022-05-07 │ 2021 │ Hartlepool United │ Colchester United │ 0 │ 2 │
12. │ 2022-05-07 │ 2021 │ Leyton Orient │ Tranmere Rovers │ 0 │ 1 │
13. │ 2022-05-07 │ 2021 │ Mansfield Town │ Forest Green Rovers │ 2 │ 2 │
14. │ 2022-05-07 │ 2021 │ Newport County │ Rochdale │ 0 │ 2 │
15. │ 2022-05-07 │ 2021 │ Oldham Athletic │ Crawley Town │ 3 │ 3 │
16. │ 2022-05-07 │ 2021 │ Stevenage Borough │ Salford City │ 4 │ 2 │
17. │ 2022-05-07 │ 2021 │ Walsall │ Swindon Town │ 0 │ 3 │
└────────────┴────────┴───────────────────────┴─────────────────────┴─────────────────┴─────────────────┘
INSERT INTO football FROM INFILE 'football.bson' FORMAT BSONEachRow;
BSONEachRowフォーマットを使用してデータを読み込みます。
SELECT *
FROM football INTO OUTFILE 'docs_data/bson/football.bson'
FORMAT BSONEachRow
BSON はバイナリ形式のため、ターミナル上では人間が読める形では表示されません。BSON ファイルを出力するには、INTO OUTFILE を使用します。
| 設定 | 説明 | デフォルト |
|---|
output_format_bson_string_as_string | String カラムでは、Binary の代わりに BSON String 型を使用します。 | false |
input_format_bson_skip_fields_with_unsupported_types_in_schema_inference | BSONEachRow フォーマットのスキーマ推論時に、未対応の型を持つカラムをスキップできるようにします。 | false |
