導入事例:夜間コピーが失敗した翌日、与信モデルは古いデータで審査していた ― Emulus Consulting の Snowflake → Databricks 移行

目次
導入事例:夜間コピーが失敗した翌日、与信モデルは古いデータで審査していた ― Emulus Consulting の Snowflake → Databricks 移行
― 与信モデルが「昨日のデータ」で動いていた ― dbt はそのままに、データと機械学習を一つの場所へ
概要
- 提供:Innovational Office Solution(Pulse Convert)+ Databricks Lakebridge
- お客様:Emulus Consulting
- 移行対象:dbt モデル 740 本、Snowflake SQL スクリプト 310 本、ストアドプロシージャ 95 本、タスク 120 本、データ 26 TB
- 自動変換精度:初期段階で 87% を自動変換(70%~90% の範囲)。残りは専門家の調整とリスク管理部門の確認で完了
- お問い合わせ:Admin@innovationalofficesolution.com
- 無料PoC:AnyBI to Power BI & AnyETL to Fabric ページ
背景:同じデータが、二つの基盤にあった
Emulus Consulting が支援する後払い決済サービスの事業者は、月間約 1,800 万件の決済を扱っています。データの変換はアナリティクスエンジニアのチームが dbt と Snowflake で行い、与信スコアリングと不正検知の機械学習モデルはデータサイエンスチームが Databricks で開発していました。
両者をつないでいたのは、毎晩 Snowflake の Gold テーブルを Databricks にコピーするパイプラインです。この仕組みには、いくつかの問題がありました。
- 同じデータが二か所にあり、ストレージとコンピュートが二重にかかる
- 加盟店属性の列を一つ追加するたびに、両方の基盤で変更が必要
- そして、コピーが失敗した日には、与信モデルが前日のデータで審査を続けてしまう
ある月、コピーの失敗に気づくまで丸1日かかり、その間に不正利用の新しいパターンを検知できない、という事態が起きました。損失は限定的でしたが、リスク管理部門は「モデルが使うデータの鮮度と出どころを、常に証明できる状態にしてほしい」と求めました。Databricks から Snowflake を読み取り専用で参照する方法もありましたが、機械学習の重い処理を恒常的に回すには向いていません。お客様は、変換処理ごと Databricks に移し、データを一か所にまとめることを決めました。
dbt の開発スタイルは変えない
アナリティクスエンジニアのチームにとって、dbt のモデル・テスト・ドキュメントの運用は大切な資産です。移行で開発スタイルを変えないことが前提でした。
Databricks の無料移行ツール Lakebridge は、Morpheus トランスパイラーで Snowflake SQL を Databricks SQL に変換でき、dbt プロジェクトの接続先の切り替え(リポインティング)にも対応しています。Morpheus には、変換結果の確かさを示す明確なルールがあります。
| 出力の状態 | 意味 | 対応 |
|---|---|---|
| エラーも警告もない | 変換元と同じ結果になることが保証される | そのまま適用 |
| 警告あり | 同等性を確認できなかったが、正しい可能性はある | 該当箇所をレビューし、データで検証 |
| エラーあり | 同じ結果にできないことが分かっている | 手作業で修正 |
なお、ORDER BY のないクエリでは行の並び順が変わることがあり、突合で「見かけ上の差異」が出る原因になります。
Emulus は、dbt モデルと SQL は Morpheus で変換し、警告・エラーの出た箇所、JavaScript のストアドプロシージャ、タスクの依存関係を本アクセラレーターが担当しました。
移行の進め方
STEP 1|利用状況と依存関係の把握
Snowflake の QUERY_HISTORY、dbt の manifest とリネージを組み合わせ、どのモデルがどのダッシュボードと機械学習モデルにつながっているかを可視化しました。740 本のうち 16% のモデルは下流で使われていませんでした。
STEP 2|dbt のリポインティング
dbt プロジェクトのアダプターを Snowflake から Databricks に切り替え、モデルの SQL を Morpheus で変換しました。740 本のうち 612 本は、エラーも警告もない状態で変換されています。
STEP 3|難所の AI 変換
- VARIANT と FLATTEN を使った加盟店 API の JSON 処理 → Databricks の VARIANT 型 / from_json / explode
- JavaScript のストアドプロシージャ → PySpark / Databricks SQL スクリプト
- タスク・タスクツリー → Lakeflow Jobs
- ストリーム → Delta の変更データフィード
- Time Travel を使った過去時点の再現クエリ → Delta の Time Travel
全体の初期自動変換精度は 87% でした。
STEP 4|データとガバナンス
データを Parquet で出力して Delta テーブルに取り込み、Snowflake のロールを Unity Catalog の権限に、マスキングポリシーを列マスクに置き換えました。カード番号の下4桁や氏名などの列は、データサイエンティストにはマスクされた状態で提供しています。
STEP 5|突合(PulseQA)
dbt のテストに加え、テーブルごとの件数・合計値・ハッシュ値を自動比較しました。ORDER BY のないクエリは並び順に依存しない方法で比較しています。さらに、与信モデルと不正検知モデルのスコア分布を新旧のデータで比較し、リスク管理部門の承認を得てから切り替えました。
Snowflake と Databricks の対応表
| Snowflake | Databricks |
|---|---|
| データベース / スキーマ | Unity Catalog のカタログ / スキーマ |
| 仮想ウェアハウス | SQL ウェアハウス / コンピュート |
| Snowflake SQL | Databricks SQL(Morpheus) |
| dbt-snowflake | dbt-databricks(リポインティング) |
| ストアドプロシージャ(JS / SQL) | PySpark / SQL スクリプト |
| タスク | Lakeflow Jobs |
| ストリーム | Delta 変更データフィード |
| VARIANT / FLATTEN | VARIANT / from_json / explode |
| Time Travel | Delta Time Travel |
| マスキング・行アクセスポリシー | Unity Catalog の列マスク・行フィルター |
| Snowpark | PySpark |
成果
- dbt モデル 740 本、SQL スクリプト 310 本を初期自動変換精度 87% で移行(612 本は Morpheus の同等性保証付き、プロジェクト期間 14 週間)
- 夜間の Snowflake → Databricks コピーを廃止し、与信・不正検知モデルは常に最新のデータで稼働
- Delta の Time Travel により、モデルが学習・推論に使ったデータの時点をいつでも再現可能に
- 不正検知の新パターンへの対応:データ反映まで最大 24 時間 → 1 時間以内
- ストレージとコンピュートの二重コストを解消し、データ基盤の費用を 31% 削減
dbt プロジェクトで試してください
dbt モデルまたは Snowflake のプロシージャ5本で、Databricks 版のコードと突合レポートを無料でお見せします。
- 無料PoC:innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>無料PoC(Pulse Convert)
- Webサイト:innovationalofficesolution.com
- メール:Admin@innovationalofficesolution.com
Snowflake から Databricks レイクハウスへの移行
既存の dbt ワークフローはそのままに、データマートとリアルタイム機械学習を一つのレイクハウスへ統合。古いデータによる与信審査リスクを解消します。