Informatica から Databricks への移行事例

目次
導入事例:ETL を「運ぶ仕組み」から「価値を生む基盤」へ ― Emulus Consulting の Informatica → Databricks 移行
― 「コスト削減だけのDX」から抜け出す ― ETL をレイクハウスに移し、データとAIを同じ場所へ
ハイライト
- 提供:Innovational Office Solution
- お客様:Emulus Consulting
- 移行対象:PowerCenter マッピング 280 本、ワークフロー 95 本、ターゲットテーブル 210 本
- 自動変換精度:70%~90%(残りは専門家のチューニングと業務検証)
- お問い合わせ:Admin@innovationalofficesolution.com
- 無料PoC:AnyBI to Power BI & AnyETL to Fabric ページ
日本のDXが抱える「成果の偏り」
情報処理推進機構(IPA)が2025年6月に公表した「DX動向2025」を紹介した論考によると、日本企業の DX への取り組み状況そのものは米国・ドイツと比べて遜色ない水準まで進んだ一方、成果の中身には大きな差があります。米独では売上・利益の増加や顧客満足度の向上に効果が出ているのに対し、日本では成果がコスト削減に偏っているという指摘です。
ETL 基盤はその縮図です。多くの企業で Informatica は「基幹システムから DWH へデータを正しく運ぶ」役割を見事に果たしてきました。しかし、運ばれたデータを機械学習や生成 AI に活用しようとすると、ETL 基盤・DWH・分析環境・AI 環境がそれぞれ別のサイロになっており、データを何度もコピーしなければなりません。
Emulus Consulting が Databricks を選んだのは、単なる ETL の置き換えではなく、データエンジニアリング・SQL 分析・機械学習・AI を1つのレイクハウス上で扱い、「コスト削減の先」に進むためでした。
加えて、PowerCenter 10.5 の標準サポートは2026年3月31日に終了し、延長サポートも2027年3月31日で終わります。移行の「理由」と「期限」が同時にそろったことが、プロジェクト始動の決め手となりました。
Q&A:なぜ Databricks の無料ツールだけで済ませなかったのか
Q. Databricks には無料の移行ツール「Lakebridge」があるのでは?
A. はい。Databricks は2025年6月に、評価・コード変換・検証を行う無料ツール Lakebridge を発表しており、移行作業の最大80%を自動化できるとしています。Emulus のプロジェクトでも有力な選択肢として検討しました。
Q. では、Innovational Office Solution の役割は?
A. 変換ツールが出力したコードを「本番で使える状態」にするまでの工程です。具体的には、①全リポジトリの依存関係と業務重要度に基づく移行ウェーブ設計、②ツールで変換しきれない複雑なマッピング(動的ルックアップ、Update Strategy の多分岐、マップレットの入れ子など)の AI 変換と専門家レビュー、③旧環境と新環境のデータを業務 KPI レベルで突合する PulseQA、④Unity Catalog を前提とした権限・リネージ設計です。ツールの選択はお客様の状況に合わせて行い、特定ツールへのロックインを前提にはしていません。
お客様の環境と課題
データ戦略・デジタルコンサルティング企業である Emulus Consulting の ETL 環境には、次の特徴がありました。
- 複数の基幹システム(ERP、販売管理、Web ログ)から 280 本のマッピングでデータを集約
- ルックアップの多用と、Update Strategy による SCD(緩やかに変化するディメンション)Type 2 処理
- データサイエンスチームは別環境で CSV を受け取り分析しており、鮮度とガバナンスに課題
- ETL のスケールアップにはサーバー追加とライセンス追加が必要
移行の5フェーズ
Phase 1 アセスメント
PowerCenter リポジトリの XML を全量解析し、マッピングごとに複雑度スコアを付与。実行履歴と照合して 32% の不要資産を除外し、依存関係に沿った移行ウェーブを設計しました。
Phase 2 コード変換
AI 移行エンジンでマッピングを PySpark / Spark SQL に変換。SCD Type 2 は Delta Lake の MERGE INTO に、ルックアップはブロードキャスト結合に置き換えました。初期自動変換精度は 70%~90% です。
Phase 3 オーケストレーション
ワークフロー・ワークレット・セッションの依存関係を Databricks のジョブ(Lakeflow Jobs)のタスク依存に変換。パラメーターファイルはジョブパラメーターとウィジェットに移しました。
Phase 4 レイクハウスとガバナンス
Bronze / Silver / Gold のメダリオン構成で Delta テーブルを整備し、Unity Catalog でカタログ・スキーマ・テーブル単位の権限とリネージを一元管理。データサイエンスチームは CSV を受け取るのではなく、Gold 層を直接参照できるようになりました。
Phase 5 突合と切り替え(PulseQA)
PowerCenter と Databricks を並行稼働させ、ターゲットごとに件数・合計値・ハッシュ値で差分を自動検出。SCD Type 2 の履歴レコードも有効期間単位で一致を確認しました。
Informatica と Databricks の対応表
| Informatica PowerCenter | Databricks |
|---|
| マッピング | PySpark / Spark SQL ノートブック |
|---|
| Source Qualifier | spark.read / Lakeflow Connect |
|---|
| Expression / Filter / Aggregator | DataFrame 変換 / SQL |
|---|
| Lookup(キャッシュ) | ブロードキャスト結合 |
|---|
| Update Strategy / SCD Type 2 | Delta Lake MERGE INTO |
|---|
| Joiner / Union / Router | join / unionByName / 条件付き書き込み |
|---|
| マップレット | 共通モジュール / Python 関数 |
|---|
| ワークフロー・セッション | Lakeflow Jobs(タスク依存) |
|---|
| パラメーターファイル | ジョブパラメーター / ウィジェット |
|---|
| リポジトリ(メタデータ) | Unity Catalog(権限・リネージ) |
|---|
| ターゲット DWH | Delta テーブル / Databricks SQL |
|---|
成果
- マッピング 280 本を 70%~90% の初期自動変換精度で移行
- 移行期間:8 週間(手作業見積もり 12 か月)
- バッチ処理時間:6 時間 → 30 分
- ETL ライセンス・サーバー費用の削減により TCO 52% 低減
- データサイエンスチームのデータ取得リードタイム:5 日 → 当日(Gold 層を直接参照)
- 移行後 3 か月で、6 件の機械学習/AI ユースケースを本番化
コスト削減の、その先へ
御社の PowerCenter マッピング5本を、Databricks 上で動くコードと突合レポートに変換して無料でお見せします。
- 無料PoC:無料PoC(Pulse Convert)
- Webサイト:innovationalofficesolution.com
- メール:Admin@innovationalofficesolution.com
Informatica PowerCenter を Databricks へ移行
レガシー ETL を Delta Lake と PySpark ノートブック、Lakeflow Jobs へ移行。データと AI モデルを同じレイクハウスに統合し、高精度なデータ分析環境を実現します。