導入事例:夜間コピーが失敗した翌日、与信モデルは古いデータで審査していた ― Emulus Consulting の Snowflake → Databricks 移行

17 Nov 202610 Min Readviews 0comments 0
Snowflake から Databricks への移行 — Pulse Convert

導入事例:夜間コピーが失敗した翌日、与信モデルは古いデータで審査していた ― Emulus Consulting の Snowflake → Databricks 移行

― 与信モデルが「昨日のデータ」で動いていた ― dbt はそのままに、データと機械学習を一つの場所へ

概要

  • 提供:Innovational Office Solution(Pulse Convert)+ Databricks Lakebridge
  • お客様:Emulus Consulting
  • 移行対象:dbt モデル 740 本、Snowflake SQL スクリプト 310 本、ストアドプロシージャ 95 本、タスク 120 本、データ 26 TB
  • 自動変換精度:初期段階で 87% を自動変換(70%~90% の範囲)。残りは専門家の調整とリスク管理部門の確認で完了
  • お問い合わせ:Admin@innovationalofficesolution.com
  • 無料PoC:AnyBI to Power BI & AnyETL to Fabric ページ

背景:同じデータが、二つの基盤にあった

Emulus Consulting が支援する後払い決済サービスの事業者は、月間約 1,800 万件の決済を扱っています。データの変換はアナリティクスエンジニアのチームが dbt と Snowflake で行い、与信スコアリングと不正検知の機械学習モデルはデータサイエンスチームが Databricks で開発していました。

両者をつないでいたのは、毎晩 Snowflake の Gold テーブルを Databricks にコピーするパイプラインです。この仕組みには、いくつかの問題がありました。

  • 同じデータが二か所にあり、ストレージとコンピュートが二重にかかる
  • 加盟店属性の列を一つ追加するたびに、両方の基盤で変更が必要
  • そして、コピーが失敗した日には、与信モデルが前日のデータで審査を続けてしまう

ある月、コピーの失敗に気づくまで丸1日かかり、その間に不正利用の新しいパターンを検知できない、という事態が起きました。損失は限定的でしたが、リスク管理部門は「モデルが使うデータの鮮度と出どころを、常に証明できる状態にしてほしい」と求めました。Databricks から Snowflake を読み取り専用で参照する方法もありましたが、機械学習の重い処理を恒常的に回すには向いていません。お客様は、変換処理ごと Databricks に移し、データを一か所にまとめることを決めました。

dbt の開発スタイルは変えない

アナリティクスエンジニアのチームにとって、dbt のモデル・テスト・ドキュメントの運用は大切な資産です。移行で開発スタイルを変えないことが前提でした。

Databricks の無料移行ツール Lakebridge は、Morpheus トランスパイラーで Snowflake SQL を Databricks SQL に変換でき、dbt プロジェクトの接続先の切り替え(リポインティング)にも対応しています。Morpheus には、変換結果の確かさを示す明確なルールがあります。

出力の状態意味対応
エラーも警告もない変換元と同じ結果になることが保証されるそのまま適用
警告あり同等性を確認できなかったが、正しい可能性はある該当箇所をレビューし、データで検証
エラーあり同じ結果にできないことが分かっている手作業で修正

なお、ORDER BY のないクエリでは行の並び順が変わることがあり、突合で「見かけ上の差異」が出る原因になります。

Emulus は、dbt モデルと SQL は Morpheus で変換し、警告・エラーの出た箇所、JavaScript のストアドプロシージャ、タスクの依存関係を本アクセラレーターが担当しました。

移行の進め方

STEP 1|利用状況と依存関係の把握

Snowflake の QUERY_HISTORY、dbt の manifest とリネージを組み合わせ、どのモデルがどのダッシュボードと機械学習モデルにつながっているかを可視化しました。740 本のうち 16% のモデルは下流で使われていませんでした。

STEP 2|dbt のリポインティング

dbt プロジェクトのアダプターを Snowflake から Databricks に切り替え、モデルの SQL を Morpheus で変換しました。740 本のうち 612 本は、エラーも警告もない状態で変換されています。

STEP 3|難所の AI 変換

  • VARIANT と FLATTEN を使った加盟店 API の JSON 処理 → Databricks の VARIANT 型 / from_json / explode
  • JavaScript のストアドプロシージャ → PySpark / Databricks SQL スクリプト
  • タスク・タスクツリー → Lakeflow Jobs
  • ストリーム → Delta の変更データフィード
  • Time Travel を使った過去時点の再現クエリ → Delta の Time Travel

全体の初期自動変換精度は 87% でした。

STEP 4|データとガバナンス

データを Parquet で出力して Delta テーブルに取り込み、Snowflake のロールを Unity Catalog の権限に、マスキングポリシーを列マスクに置き換えました。カード番号の下4桁や氏名などの列は、データサイエンティストにはマスクされた状態で提供しています。

STEP 5|突合(PulseQA)

dbt のテストに加え、テーブルごとの件数・合計値・ハッシュ値を自動比較しました。ORDER BY のないクエリは並び順に依存しない方法で比較しています。さらに、与信モデルと不正検知モデルのスコア分布を新旧のデータで比較し、リスク管理部門の承認を得てから切り替えました。

Snowflake と Databricks の対応表

SnowflakeDatabricks
データベース / スキーマUnity Catalog のカタログ / スキーマ
仮想ウェアハウスSQL ウェアハウス / コンピュート
Snowflake SQLDatabricks SQL(Morpheus)
dbt-snowflakedbt-databricks(リポインティング)
ストアドプロシージャ(JS / SQL)PySpark / SQL スクリプト
タスクLakeflow Jobs
ストリームDelta 変更データフィード
VARIANT / FLATTENVARIANT / from_json / explode
Time TravelDelta Time Travel
マスキング・行アクセスポリシーUnity Catalog の列マスク・行フィルター
SnowparkPySpark

成果

  • dbt モデル 740 本、SQL スクリプト 310 本を初期自動変換精度 87% で移行(612 本は Morpheus の同等性保証付き、プロジェクト期間 14 週間)
  • 夜間の Snowflake → Databricks コピーを廃止し、与信・不正検知モデルは常に最新のデータで稼働
  • Delta の Time Travel により、モデルが学習・推論に使ったデータの時点をいつでも再現可能に
  • 不正検知の新パターンへの対応:データ反映まで最大 24 時間 → 1 時間以内
  • ストレージとコンピュートの二重コストを解消し、データ基盤の費用を 31% 削減

dbt プロジェクトで試してください

dbt モデルまたは Snowflake のプロシージャ5本で、Databricks 版のコードと突合レポートを無料でお見せします。

無料PoC(概念実証)
Microsoft Solution Partner

Snowflake から Databricks レイクハウスへの移行

既存の dbt ワークフローはそのままに、データマートとリアルタイム機械学習を一つのレイクハウスへ統合。古いデータによる与信審査リスクを解消します。

初期自動変換精度 70%~90%主要な dbt モデル 5 本で無料 PoCdbt-databricks アダプターへのシームレスな移行Delta Lake と Unity Catalog による厳格な金融監査対応
提供:Office Solution AI Labs(マイクロソフト認定 Data & AI ソリューションパートナー)
#日本語#Snowflake#Databricks#dbt#Fintech#与信モデル#レイクハウス#ケーススタディ

Contact Us

Advance Analytics of next generation

We are an authorized implementation partner of Snowflake, Databricks, Amazon, Automation Anywhere, Denodo, DataDog, New Relic, and Elastic.

Copyrights © 2026 Office Solution AI Labs