タダです.

今年に入って DuckDB というワードを X やブログ記事を見かける体感が自分の中であり,この期に試してみたいと思っていくつかの記事で試した内容をまとめます.この記事では DuckDB の概要とローカルで実行する準備をします.

DuckDB とは
DuckDB のインストール/AWS
まとめ

DuckDB とは

DuckDB はオープンソースの列指向データベースエンジンで,ローカル環境での分析やクラウドデータの簡単な処理に使用されているのがユースケースです.他には外部データの直接読み込み(S3 や Parquet,CSV など)をサポートしているので,ALB や CloudTrail 等の S3 に入っているログを分析することをやってみたいと思っています.

duckdb.org

github.com

DuckDB のインストール/AWS

そんなわけで DuckDB CLI をインストールしてみます.

$ brew install duckdb
$ duckdb -version
v1.1.3 19864453f7

duckdb コマンドを使って AWS のエクステンションを使用して AWS SDK を叩く前準備を行います.一旦,S3 の CSV ファイルを読み込んでみました.中身が空なのでこれでいいのか..ってなりつつなんですが,他にも試して次以降の記事で書いていきます.

2 ❯ duckdb
[2]  - 10871 continued  duckdb help
D INSTALL aws;
D LOAD aws;
D INSTALL httpfs;
D LOAD httpfs;
D CREATE SECRET (
    TYPE S3,
    KEY_ID 'AKIAIOSFODNN7EXAMPLE',
    SECRET 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY',
    REGION 'ap-northeast-1'
);
┌─────────┐
│ Success │
│ boolean │
├─────────┤
│ true    │
└─────────┘
D SELECT * FROM read_csv('s3://hoge-bucket/hoge.csv',delim=' ', header=false, ignore_errors=true);
┌─────────┬─────────┐
│ column0 │ column1 │
│ varchar │ varchar │
├─────────┴─────────┤
│      0 rows       │
└───────────────────┘