導入事例:「誰もパッチを当てていないクラスター」― Emulus Consulting の Hive → Fabric Lakehouse 移行

17 Nov 202610 Min Readviews 0comments 0
Hive から Microsoft Fabric Lakehouse への移行 — Pulse Convert

導入事例:「誰もパッチを当てていないクラスター」― Emulus Consulting の Hive → Fabric Lakehouse 移行

― サポートの切れた Hadoop で動き続けた EC のアクセスログ ― 1日 9 億行のクリックストリームを OneLake へ

概要

  • 提供:Innovational Office Solution(Pulse Convert)
  • お客様:Emulus Consulting
  • 移行対象:HDFS 上のデータ 640 TB、Hive テーブル 2,300 本、HiveQL スクリプト 1,450 本、Java UDF 42 個、Sqoop ジョブ 190 本、Oozie ワークフロー 280 本
  • 自動変換精度:初期段階で 85% を自動変換(70%~90% の範囲)。残りは専門家の調整と業務部門の確認で完了
  • お問い合わせ:Admin@innovationalofficesolution.com
  • 無料PoC:AnyBI to Power BI & AnyETL to Fabric ページ

背景:ビッグデータブームの「置き土産」

Emulus Consulting が支援する EC 事業者は、2016年に「ビッグデータ基盤」として Hadoop クラスターを構築しました。サイトとアプリのアクセスログは1日約 9 億行。Hive のテーブルに蓄積し、夜間の HiveQL で商品別の閲覧数、カゴ落ち率、レコメンドの効果を集計してきました。

クラスターは今も動いていました。問題は、その土台がとうの昔にサポート外になっていたことです。

基盤サポート終了
Cloudera CDH 6.2 / 6.32022年3月(限定サポートは2022年9月30日まで)
Hortonworks HDP 3.12021年12月(限定サポートは2022年6月30日まで)
Azure HDInsight 4.0 / 5.02025年3月31日にサポート終了・廃止

この EC 事業者のクラスターは CDH 6.3 でした。つまり何年もの間、セキュリティパッチが当たっていない状態です。HDFS の冗長化や HiveServer2 の切り替えを支える ZooKeeper も古い版のままでした。クラスターの面倒を見てきたエンジニアは2人。そのうち1人が退職を控えていたことが、移行を決める直接のきっかけになりました。

選択肢の比較

選択肢期間の目安評価
Cloudera の新しいプラットフォームへ更新数四半期スタック全体の入れ替えになり、クラスター運用も残る
オープンソースの Apache 版を自前で運用1年以上ベンダー依存はなくなるが、統合とテストをすべて自社で抱える
Microsoft Fabric Lakehouse数か月クラスター運用がなくなり、Spark・SQL・Power BI が一体になる

社内ではすでに Microsoft 365 と Power BI が使われていました。Fabric の Spark エンジンは HiveQL と書き方の近い Spark SQL を使えるため、分析担当者の学び直しも少なく済みます。お客様は Fabric を選びました。

移行の進め方

STEP 1|メタストアと利用状況の解析

Hive メタストアから、データベース、テーブル、パーティション、ファイル形式(ORC・Parquet・テキスト)、外部テーブルか管理テーブルかを抽出しました。HiveServer2 と YARN のログを照合すると、2,300 本のうち 38% のテーブルは1年以上参照されていませんでした。これらは移行せずアーカイブにしています。

STEP 2|データの移行

  • HDFS から OneLake へ、パーティション単位で並列にコピー
  • ORC とテキストのテーブルは Delta テーブルに変換。日付パーティションは維持し、細かすぎるパーティションは統合
  • 直近 13 か月分を先に移し、それ以前のアクセスログは後追いで移行

640 TB のうちアクティブな 410 TB を約 4 週間で移し終えました。

STEP 3|AI によるコード変換

  • HiveQL → Spark SQL(INSERT OVERWRITE PARTITION、動的パーティション、LATERAL VIEW explode を Delta 向けに調整)
  • Java の Hive UDF → PySpark 関数、または Spark SQL の組み込み関数
  • Sqoop による基幹 DB からの取り込み → Data Factory のコピーアクティビティ / Copy job
  • Oozie のワークフロー・コーディネーター → Data Factory パイプラインとスケジュール

初期自動変換精度は 85% でした。

STEP 4|Lakehouse の設計

Bronze に生のアクセスログ、Silver にボット除外やセッション分割を施したデータ、Gold に商品別・カテゴリー別・流入元別の指標を置きました。Spark で作ったテーブルは Lakehouse の Tables 領域に配置し、SQL 分析エンドポイントからも参照できるようにしています。Power BI のレポートは Gold 層に Direct Lake で接続しました。

STEP 5|突合(PulseQA)

テーブル・パーティション単位の件数と主要列の合計、レポート上の KPI(PV、セッション数、CVR、カゴ落ち率)を新旧で自動比較しました。Hive と Spark ではタイムスタンプのタイムゾーンの扱いが異なる場合があるため、日本時間の0時をまたぐアクセスの日付振り分けを重点的に検証しています。

Hadoop / Hive と Microsoft Fabric の対応表

Hadoop / HiveMicrosoft Fabric
HDFSOneLake
Hive メタストアLakehouse のカタログ
Hive 管理テーブル・外部テーブルDelta テーブル / ショートカット
ORC / テキストファイルDelta(Parquet)
HiveQLSpark SQL
Hive UDF(Java)PySpark 関数 / 組み込み関数
Sqoopコピーアクティビティ / Copy job
Oozie ワークフロー・コーディネーターData Factory パイプライン+スケジュール
YARN・クラスター運用Fabric 容量(SaaS)
Ranger による権限管理ワークスペースロール / OneLake のセキュリティ

成果

  • HiveQL 1,450 本、Oozie ワークフロー 280 本を初期自動変換精度 85% で移行(プロジェクト期間 18 週間)
  • サポート切れのソフトウェアによるセキュリティリスクを解消
  • 前日のアクセス集計が見られる時刻:午前 9 時 → 午前 6 時
  • クラスターのサーバー 46 台を撤去。ハードウェア・電力・データセンター費用を含む TCO を 52% 削減
  • クラスター運用にかかっていたエンジニアの工数を、レコメンド改善の分析に振り向け

クラスターの診断から始めませんか

HiveQL スクリプトまたは Oozie ワークフロー5本で、Fabric 版のコードと突合レポートを無料でお見せします。

無料PoC(概念実証)
Microsoft Solution Partner

Hive / Hadoop から Fabric Lakehouse への移行

EOL を迎えた Hadoop クラスターから脱却。1日 9 億行の EC クリックストリームと HiveQL を、サーバーレスな Fabric Lakehouse へ移行します。

初期自動変換精度 70%~90%クラスター診断と 5 本のスクリプトで無料 PoCORC / Parquet から Delta Lake への高速移行インフラ運用コスト 60% 削減の実績
提供:Office Solution AI Labs(マイクロソフト認定 Data & AI ソリューションパートナー)
#日本語#Hive#Hadoop#Microsoft Fabric#Lakehouse#クリックストリーム#マイグレーション#ケーススタディ

Contact Us

Advance Analytics of next generation

We are an authorized implementation partner of Snowflake, Databricks, Amazon, Automation Anywhere, Denodo, DataDog, New Relic, and Elastic.

Copyrights © 2026 Office Solution AI Labs