こんばんは 
id:masutaka26 です。
本日、Looker User Meetup Online #8 で『BigQuery経由で使うGoogleスプレッドシートのスキーマ管理』の話をしてきました。Looker User Meetup は 5 回目の参加、発表は初めてです。
いくつかネタはあったのですが、今回のテーマは「Lookerまでのデータデリバリー、みんなどうしてる？」ということもあり、この 2 年で確立した方法を紹介することとなりました。
bq CLI ではなく、terraform で管理している方もいらっしゃいました。terraform の更新に追随するのはそれなりに大変だと思いますが、これならスキーマ定義と、実際のスキーマの差異検知は出来そうですね。
「dbt seed」を使っている方もいらっしゃるようでした。今回 2 つの発表があった dbt ですが、全く触ったことがありません。😇
あと、P24 で「BigQueryは一番左のシートしか参照できない」と書きましたが、誤りでした。範囲にでシート名も指定すれば出来ることを確認しました。P10 で華麗に「シート範囲」を無視してますね。💦
P18 の Gist との差分は以下になります。
diff --git a/define.json b/define.json index 9429e16..11d391c 100644 --- a/define.json +++ b/define.json @@ -1,7 +1,8 @@ { "autodetect": false, "googleSheetsOptions": { - "skipLeadingRows": 1 + "skipLeadingRows": 1, + "range": "マスターデータ!A:E" }, "ignoreUnknownValues": false, "maxBadRecords": 0,
一人開発の弊害ではありますが、こうやってアウトプットすることでこそ得られるフィードバックとも言えます。ある意味期待通りです。😄
次回以降も需要があれば発表したいと思います。
