散文網 » 生活 »日常 » 從 Git 到 Databend Fuse Engine 存儲引擎

從 Git 到 Databend Fuse Engine 存儲引擎

2022-05-11 17:44 作者:Databend 0人讀過 | 我要投稿

Databend 是一個使用 Rust 研發(fā)、開源的、完全面向云架構的新式數倉，致力于提供極速的彈性擴展能力，打造按需、按量的 Data Cloud 產品體驗。開源地址：https://github.com/datafuselabs/databend ?

前言

這篇來介紹下 Databend 底座：Fuse Engine，一個動力澎湃的列式存儲引擎，Databend Fuse Engine 在設計之初社區(qū)給它的定位是：動力要澎湃，架構要簡單，可靠性要高。在正式介紹之前，我們先看一組“挑戰(zhàn)數據”，Databend Fuse Engine + AWS S3，一個事務在 ~1.5 小時寫入了 22.89 TB 原始數據：

mysql> INSERT INTO ontime_new SELECT * FROM ontime_new;
Query OK, 0 rows affected (1 hour 34 min 36.82 sec)
Read 31619274180 rows, 22.89 TB in 5675.207 sec., 5.57 million rows/sec., 4.03 GB/sec.

同時，在功能上要滿足：

分布式事務：支持多個計算節(jié)點同時讀、寫同一份數據（存算分離架構首先要解決的問題）
快照隔離：不同版本數據之間互不影響，方便做 Table Zero-Copy
回溯能力：可切換到任意一個版本，方便做 Time Travel
數據合并：合并后生成新版本數據
簡單、健壯：關系通過文件來描述，基于這些文件即可恢復出整個數據系統

從這些需求出發(fā)，你會發(fā)現 Fuse Engine 跟 Git “形似”（Git-inspired），在介紹 Fuse Engine 設計之前，我們先來看看 Git 底層是如何工作的。

Git工作機制

?解決了分布式環(huán)境下的數據版本管理（data version control）問題，它有隔離（branch）、提交（commit）、回溯（checkout），以及合并（merge）功能，基于 Git 語義完全可以打造出一個分布式存儲引擎。市面上也出現一些基于 Git-like 思想而構建的產品，比如 Nessie - Transactional Catalog for Data Lakes 和 lakeFS 。

為了更好的探索 Git 底層工作機制，我們選擇從數據庫角度出發(fā)，使用 Git 語義來完成一系列“數據”操作。

1.首先，準備一個數據文件 cloud.txt，內容為:

2022/05/06,?Databend,?Cloud

2.把?cloud.txt?數據寫到 Git 系統：

git?commit?-m?"Add?olap.txt"

3.Git 為我們生成一個快照，Commit ID 為：7d972c7ba9213c2a2b15422d4f31a8cbc9815f71

git log
commit 7d972c7ba9213c2a2b15422d4f31a8cbc9815f71 (HEAD)
Author: BohuTANG <overred.shuttler@gmail.com>
Date: ? Fri May 6 16:44:21 2022 +0800

? ?Add cloud.txt

4.再準備一個新文件 warehouse.txt

2022/05/07,?Databend,?Warehouse

5.把?warehouse.txt?數據寫到 Git 系統

git?commit?-m?"Add?warehouse.txt"

6.Git 為我們生成一個新的快照，Commit ID 為：15af34e4d16082034e1faeaddd0332b3836f1424

commit 15af34e4d16082034e1faeaddd0332b3836f1424 (HEAD)
Author: BohuTANG <overred.shuttler@gmail.com>
Date: ? Fri May 6 17:41:43 2022 +0800

? ?Add warehouse.txt

commit 7d972c7ba9213c2a2b15422d4f31a8cbc9815f71
Author: BohuTANG <overred.shuttler@gmail.com>
Date: ? Fri May 6 16:44:21 2022 +0800

? ?Add cloud.txt

到此為止，Git 已經為我們維護了 2 個版本的數據：

ID?15af34e4d16082034e1faeaddd0332b3836f1424，版本2
ID?7d972c7ba9213c2a2b15422d4f31a8cbc9815f71，版本1

我們可以根據 Commit ID 進行版本間的任意切換，也就是實現了 Time Travel 和 Table Zero-Copy 功能，那么 Git 底層是如何做到的呢？方式也比較簡單，它通過引入 3 類對象文件來進行關系描述：

Commit 文件，用于描述 tree 對象信息
Tree 文件，用于描述 blob 對象信息
Blob 文件，用于描述文件信息

HEAD 文件

首先，我們需要知道一個 HEAD ?指針：

cat .git/HEAD
15af34e4d16082034e1faeaddd0332b3836f1424

Commit 文件

Commit 文件會記錄跟 commit 相關的一些元數據信息，比如當前 tree 以及 parent，還有提交人等，文件路徑：

.git/objects/15/af34e4d16082034e1faeaddd0332b3836f1424

文件內容：

git cat-file -p 15af34e4d16082034e1faeaddd0332b3836f1424

tree 576c63e580846fa6df2337c1f074c8d840e0b70a
parent 7d972c7ba9213c2a2b15422d4f31a8cbc9815f71
author BohuTANG <overred.shuttler@gmail.com> 1651830103 +0800
committer BohuTANG <overred.shuttler@gmail.com> 1651830103 +0800

Add warehouse.txt

Tree 文件

Tree 文件記錄當前版本下所有的數據文件，文件路徑：

.git/objects/57/6c63e580846fa6df2337c1f074c8d840e0b70a

文件內容：

git cat-file -p 576c63e580846fa6df2337c1f074c8d840e0b70a

100644 blob 688de5069f9e873c7e7bd15aa67c6c33e0594dde cloud.txt
100644 blob bdea812b9602ed3c6662a2231b3f1e7b52dc1ccb warehouse.txt

Blob 文件

Blob 文件是原始數據文件，同樣可以通過?git cat-file?命令來查看文件內容（如果使用 Git 來管理代碼，Blob 就是我們的代碼文件）。

git cat-file -p 688de5069f9e873c7e7bd15aa67c6c33e0594dde
2022/05/06, Databend, Cloud

git cat-file -p bdea812b9602ed3c6662a2231b3f1e7b52dc1ccb
2022/05/07, Databend, Warehouse

Fuse Engine

Databend Fuse Engine 在設計上，跟 Git 非常類似，它引入 3 個描述文件：

Snapshot 文件，用于描述 Segment 對象信息
Segment 文件，用于描述 Block 對象信息
Block 文件，用于描述 Parquet 文件信息

我們繼續(xù)在 Fuse Engine 里進行一把剛才在 Git 進行的操作。

1.首先創(chuàng)建一個表:

CREATE?TABLE?git(file?VARCHAR,?content?VARCHAR);

2.把?cloud.txt?數據寫到 Fuse Engine

INSERT?INTO?git?VALUES('cloud.txt',?'2022/05/06,?Databend,?Cloud');

3.Fuse 為我們生成一個新的 Snapshot?ID? 6450690b09c449939a83268c49c12bb2

CALL system$fuse_snapshot('default', 'git');
*************************** 1. row ***************************
? ? ? ? snapshot_id: 6450690b09c449939a83268c49c12bb2
? snapshot_location: 53/133/_ss/6450690b09c449939a83268c49c12bb2_v1.json
? ? ?format_version: 1
previous_snapshot_id: NULL
? ? ? segment_count: 1
? ? ? ? block_count: 1
? ? ? ? ? row_count: 1
?bytes_uncompressed: 68
? ?bytes_compressed: 351

4.把?warehouse.txt??數據寫到 Fuse Engine

INSERT?INTO?git?VALUES('warehouse.txt',?'2022/05/07,?Databend,?Warehouse');

5.Fuse Engine 為我們生成一個新的 Snapshot ID? efe2687fd1fc48f8b414b5df2cec1e19，并指向前一個 Snapshot ID? 6450690b09c449939a83268c49c12bb2

CALL system$fuse_snapshot('default', 'git');
*************************** 1. row ***************************
? ? ? ? snapshot_id: efe2687fd1fc48f8b414b5df2cec1e19
? snapshot_location: 53/133/_ss/efe2687fd1fc48f8b414b5df2cec1e19_v1.json
? ? ?format_version: 1
previous_snapshot_id: 6450690b09c449939a83268c49c12bb2
? ? ? segment_count: 2
? ? ? ? block_count: 2
? ? ? ? ? row_count: 2
*************************** 2. row ***************************
? ? ? ? snapshot_id: 6450690b09c449939a83268c49c12bb2
? snapshot_location: 53/133/_ss/6450690b09c449939a83268c49c12bb2_v1.json
? ? ?format_version: 1
previous_snapshot_id: NULL
? ? ? segment_count: 1
? ? ? ? block_count: 1
? ? ? ? ? row_count: 1

目前為止，Fuse Engine 為我們生成了 2 個版本的數據：

ID?efe2687fd1fc48f8b414b5df2cec1e19，版本2
ID?6450690b09c449939a83268c49c12bb2，版本1

是不是跟 Git 非常類似？

HEAD

跟 Git 一樣，Fuse Engine 也需要一個 HEAD 作為入口，查看 Fuse Engine 的 HEAD：

SHOW CREATE TABLE git\G;
*************************** 1. row ***************************
? ? ? Table: git
Create Table: CREATE TABLE `git` (
?`file` VARCHAR,
?`content` VARCHAR
) ENGINE=FUSE SNAPSHOT_LOCATION='53/133/_ss/efe2687fd1fc48f8b414b5df2cec1e19_v1.json'

SNAPSHOT_LOCATION 就是 HEAD，默認指向最新的快照 efe2687fd1fc48f8b414b5df2cec1e19，那我們如何切到 ID 為 6450690b09c449939a83268c49c12bb2 的快照數據呢？

很簡單，先查看當前表的 Snapshot 信息：

CALL system$fuse_snapshot('default', 'git')\G;
*************************** 1. row ***************************
? ? ? ? snapshot_id: efe2687fd1fc48f8b414b5df2cec1e19
? snapshot_location: 53/133/_ss/efe2687fd1fc48f8b414b5df2cec1e19_v1.json
? ? ?format_version: 1
previous_snapshot_id: 6450690b09c449939a83268c49c12bb2
? ? ? segment_count: 2
? ? ? ? block_count: 2
? ? ? ? ? row_count: 2
*************************** 2. row ***************************
? ? ? ? snapshot_id: 6450690b09c449939a83268c49c12bb2
? snapshot_location: 53/133/_ss/6450690b09c449939a83268c49c12bb2_v1.json
? ? ?format_version: 1
previous_snapshot_id: NULL
? ? ? segment_count: 1
? ? ? ? block_count: 1
? ? ? ? ? row_count: 1

然后創(chuàng)建一個新表（git_v1）并把 SNAPSHOT_LOCATION 指向相應的? Snapshot 文件：

CREATE TABLE git_v1(`file` VARCHAR, `content` VARCHAR) SNAPSHOT_LOCATION='53/133/_ss/6450690b09c449939a83268c49c12bb2_v1.json';

SELECT * FROM git_v1;
+-----------+-----------------------------+
| file ? ? ?| content ? ? ? ? ? ? ? ? ? ? |
+-----------+-----------------------------+
| cloud.txt | 2022/05/06, Databend, Cloud |
+-----------+-----------------------------+

Snapshot 文件

用于存儲 Segment 信息，文件路徑：

53/133/_ss/efe2687fd1fc48f8b414b5df2cec1e19_v1.json

文件內容：

{
? "format_version":1,
? "snapshot_id":"efe2687f-d1fc-48f8-b414-b5df2cec1e19",
? "prev_snapshot_id":[
? ? ?"6450690b-09c4-4993-9a83-268c49c12bb2",
? ? ?1
? ],
?
? "segments":[
? ? ?[
? ? ? ? "53/133/_sg/df56e911eb26446b9f8fac5acc65a580_v1.json"
? ? ?],
? ? ?[
? ? ? ? "53/133/_sg/d0bff902b98846469480b23c2a8f93d7_v1.json"
? ? ?]
? ]
? ... ...
}

Segment 文件

用于存儲 Block 相關信息，文件路徑：?

{
? "format_version":1,
? "blocks":[
? ? ?{
? ? ? ? "row_count":1,
? ? ? ? "block_size":76,
? ? ? ? "file_size":360,
? ? ? ? "location":[
? ? ? ? ? ?"53/133/_b/ba4a60013e27479e856f739aefeadfaf_v0.parquet",
? ? ? ? ? ?0
? ? ? ? ],
? ? ? ? "compression":"Lz4Raw"
? ? ?}
? ]
? ... ...
}

Block 文件

Fuse Engine 底層數據使用 Parquet 格式，每個文件內部有多個 Block 組成。

小結

Databend Fuse Engine 在早期設計（2021 年 10 月）時候，需求很明確，但方案選型還是經歷過一段小曲折。當時，Databend 社區(qū)調研了市面上大量的 Table Format 方案（比如 Iceberg 等），當時面臨的挑戰(zhàn)是基于現有方案還是自己造一套？最終選擇研發(fā)一套簡潔的、適合自己的 Storage Engine，但數據存儲格式選擇 Parquet 標準。在 Fuse Engine 里，我們把 Parquet Footer 單獨存放，以減少不必要的 Seek 操作，另外增加了一套更加靈活的索引機制，比如 Aggregation，Join 等都可以有自己的索引來進行加速。

歡迎體驗 Fuse Engine，掛上對象存儲，讓你體驗不一樣的大數據分析 https://databend.rs/doc/deploy?Databend?

開源地址：https://github.com/datafuselabs/databend

關于Databend

Databend 是一款開源、彈性、低成本，基于對象存儲也可以做實時分析的新式數倉。期待您的關注，一起探索云原生數倉解決方案，打造新一代開源 Data Cloud。

Databend 文檔：https://databend.rs/
twitter：https://twitter.com/Datafuse_Labs
Slack：https://datafusecloud.slack.com/
Wechat：Databend
GitHub ：https://github.com/datafuselabs/databend

標簽：