BigQuery Scriptingを使ってクエリをループ実行してみる
WHERE句にある絞り込み条件について、同じクエリを流用しながら、条件を変えつつforループのように実行したい場合。
UNIONや都度テーブル作成してもいいが、Resources exceeded during query execution・・・みたいに、クエリが複雑だったりデータ数が多くて、メモリが少ないと怒られたりする場合には便利そう。
Python使わなくてもBigQueryだけで済むのは嬉しい。
例として、以下のクエリのWHERE句にあるReferenceDTの条件を、2019/12/29および2019/12/30の場合でそれぞれデータ取得して、ガッチャンコ＆格納する。
これをBigQuery Scriptingを使ってループさせた場合が、以下のクエリ。