導入事例:「誰もパッチを当てていないクラスター」― Emulus Consulting の Hive → Fabric Lakehouse 移行

目次
導入事例:「誰もパッチを当てていないクラスター」― Emulus Consulting の Hive → Fabric Lakehouse 移行
― サポートの切れた Hadoop で動き続けた EC のアクセスログ ― 1日 9 億行のクリックストリームを OneLake へ
概要
- 提供:Innovational Office Solution(Pulse Convert)
- お客様:Emulus Consulting
- 移行対象:HDFS 上のデータ 640 TB、Hive テーブル 2,300 本、HiveQL スクリプト 1,450 本、Java UDF 42 個、Sqoop ジョブ 190 本、Oozie ワークフロー 280 本
- 自動変換精度:初期段階で 85% を自動変換(70%~90% の範囲)。残りは専門家の調整と業務部門の確認で完了
- お問い合わせ:Admin@innovationalofficesolution.com
- 無料PoC:AnyBI to Power BI & AnyETL to Fabric ページ
背景:ビッグデータブームの「置き土産」
Emulus Consulting が支援する EC 事業者は、2016年に「ビッグデータ基盤」として Hadoop クラスターを構築しました。サイトとアプリのアクセスログは1日約 9 億行。Hive のテーブルに蓄積し、夜間の HiveQL で商品別の閲覧数、カゴ落ち率、レコメンドの効果を集計してきました。
クラスターは今も動いていました。問題は、その土台がとうの昔にサポート外になっていたことです。
| 基盤 | サポート終了 |
|---|---|
| Cloudera CDH 6.2 / 6.3 | 2022年3月(限定サポートは2022年9月30日まで) |
| Hortonworks HDP 3.1 | 2021年12月(限定サポートは2022年6月30日まで) |
| Azure HDInsight 4.0 / 5.0 | 2025年3月31日にサポート終了・廃止 |
この EC 事業者のクラスターは CDH 6.3 でした。つまり何年もの間、セキュリティパッチが当たっていない状態です。HDFS の冗長化や HiveServer2 の切り替えを支える ZooKeeper も古い版のままでした。クラスターの面倒を見てきたエンジニアは2人。そのうち1人が退職を控えていたことが、移行を決める直接のきっかけになりました。
選択肢の比較
| 選択肢 | 期間の目安 | 評価 |
|---|---|---|
| Cloudera の新しいプラットフォームへ更新 | 数四半期 | スタック全体の入れ替えになり、クラスター運用も残る |
| オープンソースの Apache 版を自前で運用 | 1年以上 | ベンダー依存はなくなるが、統合とテストをすべて自社で抱える |
| Microsoft Fabric Lakehouse | 数か月 | クラスター運用がなくなり、Spark・SQL・Power BI が一体になる |
社内ではすでに Microsoft 365 と Power BI が使われていました。Fabric の Spark エンジンは HiveQL と書き方の近い Spark SQL を使えるため、分析担当者の学び直しも少なく済みます。お客様は Fabric を選びました。
移行の進め方
STEP 1|メタストアと利用状況の解析
Hive メタストアから、データベース、テーブル、パーティション、ファイル形式(ORC・Parquet・テキスト)、外部テーブルか管理テーブルかを抽出しました。HiveServer2 と YARN のログを照合すると、2,300 本のうち 38% のテーブルは1年以上参照されていませんでした。これらは移行せずアーカイブにしています。
STEP 2|データの移行
- HDFS から OneLake へ、パーティション単位で並列にコピー
- ORC とテキストのテーブルは Delta テーブルに変換。日付パーティションは維持し、細かすぎるパーティションは統合
- 直近 13 か月分を先に移し、それ以前のアクセスログは後追いで移行
640 TB のうちアクティブな 410 TB を約 4 週間で移し終えました。
STEP 3|AI によるコード変換
- HiveQL → Spark SQL(INSERT OVERWRITE PARTITION、動的パーティション、LATERAL VIEW explode を Delta 向けに調整)
- Java の Hive UDF → PySpark 関数、または Spark SQL の組み込み関数
- Sqoop による基幹 DB からの取り込み → Data Factory のコピーアクティビティ / Copy job
- Oozie のワークフロー・コーディネーター → Data Factory パイプラインとスケジュール
初期自動変換精度は 85% でした。
STEP 4|Lakehouse の設計
Bronze に生のアクセスログ、Silver にボット除外やセッション分割を施したデータ、Gold に商品別・カテゴリー別・流入元別の指標を置きました。Spark で作ったテーブルは Lakehouse の Tables 領域に配置し、SQL 分析エンドポイントからも参照できるようにしています。Power BI のレポートは Gold 層に Direct Lake で接続しました。
STEP 5|突合(PulseQA)
テーブル・パーティション単位の件数と主要列の合計、レポート上の KPI(PV、セッション数、CVR、カゴ落ち率)を新旧で自動比較しました。Hive と Spark ではタイムスタンプのタイムゾーンの扱いが異なる場合があるため、日本時間の0時をまたぐアクセスの日付振り分けを重点的に検証しています。
Hadoop / Hive と Microsoft Fabric の対応表
| Hadoop / Hive | Microsoft Fabric |
|---|---|
| HDFS | OneLake |
| Hive メタストア | Lakehouse のカタログ |
| Hive 管理テーブル・外部テーブル | Delta テーブル / ショートカット |
| ORC / テキストファイル | Delta(Parquet) |
| HiveQL | Spark SQL |
| Hive UDF(Java) | PySpark 関数 / 組み込み関数 |
| Sqoop | コピーアクティビティ / Copy job |
| Oozie ワークフロー・コーディネーター | Data Factory パイプライン+スケジュール |
| YARN・クラスター運用 | Fabric 容量(SaaS) |
| Ranger による権限管理 | ワークスペースロール / OneLake のセキュリティ |
成果
- HiveQL 1,450 本、Oozie ワークフロー 280 本を初期自動変換精度 85% で移行(プロジェクト期間 18 週間)
- サポート切れのソフトウェアによるセキュリティリスクを解消
- 前日のアクセス集計が見られる時刻:午前 9 時 → 午前 6 時
- クラスターのサーバー 46 台を撤去。ハードウェア・電力・データセンター費用を含む TCO を 52% 削減
- クラスター運用にかかっていたエンジニアの工数を、レコメンド改善の分析に振り向け
クラスターの診断から始めませんか
HiveQL スクリプトまたは Oozie ワークフロー5本で、Fabric 版のコードと突合レポートを無料でお見せします。
- 無料PoC:innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>無料PoC(Pulse Convert)
- Webサイト:innovationalofficesolution.com
- メール:Admin@innovationalofficesolution.com
Hive / Hadoop から Fabric Lakehouse への移行
EOL を迎えた Hadoop クラスターから脱却。1日 9 億行の EC クリックストリームと HiveQL を、サーバーレスな Fabric Lakehouse へ移行します。