導入事例:「この固定長ファイル、何バイト目から得意先コード?」― Emulus Consulting の SSIS → Databricks 移行

目次
導入事例:「この固定長ファイル、何バイト目から得意先コード?」― Emulus Consulting の SSIS → Databricks 移行
― 取引先 1,200 社の固定長ファイルと C# スクリプト ― SQL Server 2016 の終了を機に、受発注 ETL をレイクハウスへ
概要
- 提供:Innovational Office Solution(Pulse Convert)+ Databricks Lakebridge
- お客様:Emulus Consulting
- 移行対象:SSIS パッケージ 540 本、C# スクリプトタスク/スクリプトコンポーネント 96 本、SCD コンポーネント 38 個、SQL Server エージェントジョブ 210 本、固定長ファイル定義 85 種
- 自動変換精度:初期段階で 80% を自動変換(70%~90% の範囲)。残りは専門家の調整と業務部門の確認で完了
- お問い合わせ:Admin@innovationalofficesolution.com
- 無料PoC:AnyBI to Power BI & AnyETL to Fabric ページ
背景:受発注を支えてきた、15年物の SSIS
Emulus Consulting が支援する産業資材の卸売企業では、取引先約 1,200 社との受発注データを SQL Server と SSIS で処理してきました。取引先から届く EDI ファイルを毎晩取り込み、受注・出荷・請求のデータマートを作り、翌朝の営業会議と在庫補充の判断に使います。
この仕組みは15年近く大きな障害なく動いてきました。しかし、3つの事情が重なりました。
- SQL Server 2016 の延長サポートが2026年7月14日に終了し、SSIS パッケージの大半がそのサーバー上で動いていた
- 需要予測や与信スコアリングに取り組むデータサイエンスチームが、すでに Databricks を使っていた
- SSIS を一から理解している担当者が、社内に2人しか残っていなかった
SQL Server を新しい版に上げても、SSIS の資産と属人化はそのまま残ります。お客様は、ETL をデータサイエンスと同じ Databricks に寄せることを決めました。
最大の難所:Shift_JIS の固定長ファイル
受発注 ETL の入口は、取引先から届く固定長ファイルでした。85 種類のレイアウトがあり、多くは Shift_JIS(CP932)で作られています。SSIS ではフラットファイル接続マネージャーで、コードページ 932 と「何バイト目から何バイト」という列定義を持っていました。
ここに、単純な移行では見落とされる落とし穴があります。
| 項目 | 問題 |
|---|---|
| 列位置がバイト単位 | 全角文字1文字が2バイトのため、UTF-8 に変換してから切ると位置がずれる |
| 半角カナの品名・得意先名 | 1バイト文字。全角と混在すると文字数とバイト数が一致しない |
| 符号付きゾーン形式の数値 | 末尾の文字で正負を表す古い形式が一部の取引先に残っていた |
| 日付の表現がばらばら | 「20260401」「260401」「R080401」が取引先ごとに混在 |
| レコード区分による複数レイアウト | ヘッダー・明細・トレーラーが1ファイルに混在し、先頭1バイトで判別 |
Emulus は、固定長ファイルを「バイト列のまま読み込み、レイアウト定義どおりにバイト位置で切り出してから、列ごとに Shift_JIS で文字に変換する」という方式で統一しました。85 種のレイアウト定義は SSIS のパッケージから自動で抽出し、Delta テーブルとして一元管理しています。新しい取引先が増えても、レイアウト定義を1行追加するだけで済みます。
Lakebridge と本アクセラレーターの役割分担
Databricks の無料移行ツール Lakebridge は、SSIS パッケージを BladeBridge のコンバーターで Databricks のノートブックに変換できます。ドキュメントでは、この機能はまだ実験的(experimental)とされており、SQL Server 2012~2022 と ADF の SSIS 統合ランタイムに対応し、SSIS の 50 コンポーネントのうち 38 をカバーしています。一方、スクリプトタスク・スクリプトコンポーネントの C# / VB.NET コードは自動変換されません。
| 作業 | Lakebridge | 本アクセラレーター |
|---|---|---|
| パッケージと依存関係の評価 | ○ | ○(実行履歴と業務重要度から移行順序を設計) |
| 標準的な制御フロー・データフロー | ○(実験的) | ○ |
| C# スクリプトタスク | 構造のみ。コードは手作業 | 処理内容を AI が要約し、PySpark として再実装 |
| 固定長ファイル(バイト位置・CP932) | 対象外の処理が多い | レイアウト定義を抽出し、共通の取り込み関数に集約 |
| パッケージ構成・環境変数 | 一部 | ジョブパラメーター・シークレットスコープに移行 |
| 業務 KPI での突合 | スキーマ・行・列レベル | 受注件数・金額など業務部門が承認できる単位まで |
移行の進め方
STEP 1|棚卸し
SSISDB カタログとファイルシステムから全パッケージをエクスポートし、SQL Server エージェントの実行履歴と突き合わせました。540 本のうち 27% は1年以上実行されておらず廃止、9% は内容がほぼ同じで統合しています。
STEP 2|依存関係の可視化
「パッケージ実行タスク」による親子関係、優先順位制約(成功・失敗・完了の分岐)、テーブルの読み書きをリネージ図にしました。受注→出荷→請求の順序が暗黙の前提になっていた箇所も、明示的な依存関係として記録しています。
STEP 3|AI による変換
- データフロータスク → Spark SQL / DataFrame
- 参照(Lookup)→ ブロードキャスト結合
- SCD コンポーネント → Delta Lake の MERGE INTO(行単位処理を集合処理に)
- 実行 SQL タスク・T-SQL ストアドプロシージャ → Databricks SQL / PySpark
- Foreach ループコンテナー → ファイル一覧を読み込むパラメーター付きノートブック
- C# スクリプトタスク → 処理内容の要約を業務部門と確認したうえで PySpark に再実装
初期自動変換精度は 80% でした。
STEP 4|細かな差異の吸収
SQL Server と Spark の動作の違いも一つずつ潰しました。照合順序 Japanese_CI_AS は大文字・小文字や全角・半角の扱いが Spark と異なるため、得意先コードの結合キーは正規化してから比較しています。T-SQL の整数どうしの割り算は整数を返しますが、Spark SQL は小数を返すため、単価・掛け率の計算列は全件確認しました。
STEP 5|並行稼働と突合(PulseQA)
月末締めを2回またいで6週間の並行稼働を行い、受注・出荷・請求の件数、金額合計、得意先別・品目別の集計、エラーとなったレコード数を自動で比較しました。差異がゼロになったことを営業管理部門が確認してから切り替えています。
SSIS と Databricks の対応表
| SSIS | Databricks |
|---|---|
| フラットファイル接続(固定長・CP932) | バイナリ読み込み+レイアウト定義による共通取り込み関数 |
| データフロータスク | Spark SQL / DataFrame |
| 派生列 / 条件分割 | withColumn / when / filter |
| 参照(Lookup) | ブロードキャスト結合 |
| 集計 / 並べ替え | groupBy().agg() / orderBy |
| 緩やかに変化するディメンション(SCD) | Delta Lake MERGE INTO |
| 実行 SQL タスク | Spark SQL |
| パッケージ実行タスク | Lakeflow Jobs のタスク依存 |
| Foreach ループコンテナー | パラメーター付きノートブック |
| スクリプトタスク(C#) | PySpark / Python 関数 |
| パッケージ構成・環境変数 | ジョブパラメーター / シークレットスコープ |
| SQL Server エージェント | Lakeflow Jobs |
成果
- SSIS パッケージ 540 本を棚卸しし、36% を廃止・統合、残り 345 本を初期自動変換精度 80% で移行(プロジェクト期間 20 週間)
- C# スクリプトタスク 96 本をすべて PySpark に再実装し、テストを付与
- 固定長ファイルの取り込みを共通関数に集約。新規取引先の追加作業:3 日 → 2 時間
- 夜間バッチ:4 時間 50 分 → 48 分。翌朝の受注データの確定が 1 時間 30 分早まった
- ETL サーバー 6 台を廃止し、TCO を 39% 削減
いちばん厄介なパッケージから試してください
固定長ファイルや C# スクリプトタスクを含む SSIS パッケージ5本で、変換コードと突合結果を無料でお見せします。
- 無料PoC:innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>無料PoC(Pulse Convert)
- Webサイト:innovationalofficesolution.com
- メール:Admin@innovationalofficesolution.com
SSIS 受発注 ETL を Databricks レイクハウスへ
SQL Server 2016 延長サポート終了を見据え、Shift_JIS 固定長ファイルや C# スクリプトタスクを含む SSIS パッケージを Databricks へ自動変換します。