導入事例:イベント初日の売上が、翌日まで分からない ― Emulus Consulting の Redshift → Fabric 移行

目次
導入事例:イベント初日の売上が、翌日まで分からない ― Emulus Consulting の Redshift → Fabric 移行
― ゲームは AWS、経営は Microsoft 365 ― S3 ショートカットで初週から分析を始め、Redshift を段階的に卒業
概要
- 提供:Innovational Office Solution(Pulse Convert)
- お客様:Emulus Consulting
- 移行対象:Redshift のテーブル 1,050 本(38 TB)、ビュー 430 本、ストアドプロシージャ 260 本、Spectrum 外部テーブル 75 本、AWS Glue ジョブ 140 本
- 自動変換精度:初期段階で 86% を自動変換(70%~90% の範囲)。残りは専門家の調整と業務部門の確認で完了
- お問い合わせ:Admin@innovationalofficesolution.com
- 無料PoC:AnyBI to Power BI & AnyETL to Fabric ページ
背景:二つのクラウドにまたがるデータ
Emulus Consulting が支援するモバイルゲーム会社は、主力タイトル3本を運営しています。ゲームサーバーとログ基盤は創業以来 AWS 上にあり、プレイログは Amazon S3 に、分析用の DWH は Amazon Redshift に置かれていました。
一方、会社が大きくなるにつれ、経営管理・経理・人事は Microsoft 365 で動くようになり、KPI レポートも Power BI に集約されました。その結果、次のような構造になっていました。
- プレイログは S3、集計は Redshift、ETL は AWS Glue、レポートは Power BI
- Power BI の更新のたびに Redshift から AWS の外へデータを転送し、転送費が発生
- AWS と Microsoft の二つの請求書がどちらもドル建てで、為替によって毎月の円換算額が変わる
- Redshift の分散キー・ソートキーの調整が、データエンジニア1人の専任業務になっていた
最も現場を悩ませていたのは、ガチャの新キャラクターを出すイベントの初日でした。売上と課金ユーザー数をすぐ見たいのに、Power BI の更新は1日2回。イベントの手応えが分かるのは翌朝でした。
お客様は、ゲームのサービス基盤は AWS に残し、分析基盤を Microsoft Fabric に集約することを決めました。
段階移行を可能にした S3 ショートカット
すべてのデータを初日にコピーする必要はありませんでした。OneLake の Amazon S3 ショートカットを使うと、S3 バケットのデータをコピーや変換なしに、読み取り専用で Fabric の Lakehouse から参照できます。さらに S3 ショートカットにはキャッシュ機能があり、一度読み込んだファイルはワークスペースのキャッシュに24時間保持されます(アクセスのたびに保持期間がリセットされます)。同じデータを何度も AWS から転送することがなくなり、データ転送費を大きく抑えられます。
| フェーズ | 内容 | ねらい |
|---|---|---|
| 1. ショートカットで開始 | S3 のプレイログを OneLake のショートカットで参照 | 初週から Fabric で分析を開始 |
| 2. Redshift のテーブル移行 | UNLOAD で Parquet に出力し、Fabric Warehouse に COPY INTO | DWH を一か所に集約 |
| 3. ETL の移行 | Glue ジョブとストアドプロシージャを変換 | AWS 側の分析サービスを停止 |
| 4. Redshift の停止 | 並行稼働と突合の後に停止 | 分析基盤を一本化 |
変換の中身
DDL と設計
Redshift は PostgreSQL 系の SQL、Fabric Warehouse は T-SQL です。AI 移行エンジンは次の作業を自動化しました。
- DISTSTYLE・DISTKEY・SORTKEY の指定を除去(Fabric Warehouse では最適化が自動で行われるため不要)
- データ型の変換(VARCHAR(MAX) の上限、TIMESTAMPTZ、SUPER 型の半構造化データなど)
- IDENTITY 列と既定値の調整
SQL とストアドプロシージャ
- PostgreSQL 系の構文(:: によるキャスト、ILIKE、LISTAGG、日付関数の違い)→ T-SQL
- PL/pgSQL のストアドプロシージャ → T-SQL のプロシージャ、または PySpark ノートブック
- Spectrum 外部テーブル → S3 ショートカット上の Lakehouse テーブル
ETL
- AWS Glue の PySpark ジョブ → Fabric の Spark ノートブック(GlueContext・DynamicFrame を標準の Spark に置き換え)
- Glue のトリガー・ワークフロー → Data Factory パイプライン
初期自動変換精度は 86% でした。
突合で見つかった「日付のずれ」
並行稼働中、PulseQA の自動突合で「日別売上」がわずかに合わない日が見つかりました。原因はタイムゾーンです。Redshift ではイベント時刻を UTC で保持し、レポート側で日本時間に変換していましたが、一部のビューでは変換前の UTC の日付で集計されていました。日本時間の0時から9時までの課金が前日に計上されていたのです。Fabric 側では日本時間の日付列を Silver 層で一度だけ作り、全レポートがそれを使うように統一しました。結果として、旧レポートの不具合も一緒に解消されています。
Redshift / AWS と Microsoft Fabric の対応表
| AWS | Microsoft Fabric |
|---|---|
| Amazon Redshift | Fabric Warehouse |
| DISTKEY / SORTKEY | 不要(自動最適化) |
| S3 のデータレイク | OneLake + S3 ショートカット(キャッシュ付き) |
| Redshift Spectrum | ショートカット上の Lakehouse テーブル |
| UNLOAD / COPY | Parquet 出力 → COPY INTO |
| PL/pgSQL プロシージャ | T-SQL プロシージャ / PySpark |
| AWS Glue ジョブ | Fabric Spark ノートブック |
| Glue Data Catalog | Lakehouse カタログ |
| Glue ワークフロー・トリガー | Data Factory パイプライン |
| IAM ロール | ワークスペースロール / Microsoft Entra ID |
成果
- テーブル 1,050 本、プロシージャ 260 本を初期自動変換精度 86% で移行(プロジェクト期間 15 週間)
- S3 ショートカットにより、移行開始の初週から Fabric で分析を開始
- Power BI 更新に伴う AWS からのデータ転送費を 71% 削減
- イベントの売上・課金ユーザー数の更新間隔:1日2回 → 15 分ごと
- 分析基盤のクラウド費用を Fabric 容量に一本化し、合計で 34% 削減
- 分散キー・ソートキーの調整業務がなくなり、専任エンジニアを分析業務へ配置転換
Redshift の5本から試してください
Redshift のストアドプロシージャまたは Glue ジョブ5本で、Fabric 版のコードと突合結果を無料でお見せします。
- 無料PoC:innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>無料PoC(Pulse Convert)
- Webサイト:innovationalofficesolution.com
- メール:Admin@innovationalofficesolution.com
Amazon Redshift から Microsoft Fabric への移行
ゲーム基盤は AWS、分析は Fabric。OneLake の S3 ショートカットとキャッシュ機能を活用し、大規模コピー不要で段階的に Redshift から Fabric へ移行します。