導入事例:コードを書き換えるのは簡単。「同じ答え」を証明するのが本番 ― Emulus Consulting の SAS → Databricks 移行

目次
導入事例:コードを書き換えるのは簡単。「同じ答え」を証明するのが本番 ― Emulus Consulting の SAS → Databricks 移行
― 損害率分析を支えた 1,100 本の SAS プログラム ― 「結果が同じ」ことを証明しながら PySpark へ
概要
- 提供:Innovational Office Solution(Pulse Convert)
- お客様:Emulus Consulting
- 移行対象:SAS プログラム 1,100 本、マクロ 260 本、PROC FORMAT 定義 340 個、バッチジョブ 180 本、SAS データセット 9.6 TB
- 自動変換精度:初期段階で 77% を自動変換(70%~90% の範囲)。統計モデルはモデル検証部門と個別に判断
- お問い合わせ:Admin@innovationalofficesolution.com
- 無料PoC:AnyBI to Power BI & AnyETL to Fabric ページ
背景:20年間、損害率を計算してきた SAS
Emulus Consulting が支援する損害保険会社では、自動車保険と火災保険の損害率分析、保険料率の検証、支払備金の基礎データ作成に、20年近く SAS を使ってきました。プログラムは何度も監査を受け、数字の信頼性は社内でも高く評価されています。
それでも移行を決めた理由は、主に次の3つでした。
- 人材:新しく配属されるデータサイエンティストは Python と SQL が中心で、SAS のマクロを読める担当者は数名に限られていた
- データの置き場所:契約・事故・支払のデータはすでに Databricks に集まっていたが、SAS で分析するたびに SAS サーバーへ複製していた
- 計算資源:自然災害が続いた年度には分析の量が急増し、SAS サーバーの処理待ちが数日に及ぶことがあった
一方で、保険会社にとって数字の一致は絶対条件です。損害率が小数点以下でずれただけでも、料率の検証や当局への説明に影響します。「移行後も同じ答えが出る」ことを、モデル検証部門が承認できる形で示すことが、このプロジェクトの中心課題でした。
移行方針:全部を書き換えない
| 区分 | 本数 | 方針 |
|---|---|---|
| データ準備(DATA ステップ、PROC SQL、SORT、MERGE) | 720 | PySpark / Spark SQL へ全面移行 |
| 集計・帳票(PROC MEANS、FREQ、TABULATE、REPORT) | 250 | Spark SQL と AI/BI ダッシュボードへ |
| 統計モデル(PROC GLM、LOGISTIC、GENMOD など) | 70 | モデルごとにモデル検証部門と判断。料率モデルは段階的に移行 |
| 廃止 | 60 | 3年以上実行されていないもの |
なお、Databricks の無料移行ツール Lakebridge の公式な変換ガイドには、変換元として SAS は掲載されていません。SAS のコード変換には、専用の構文解析と変換の仕組みが必要です。本アクセラレーターはそこを担います。
結果を静かに変えてしまう、6つの違い
コードの書き換えより時間をかけたのが、SAS と Spark の「動作の違い」の洗い出しです。
| 違い | SAS | Spark | 対応 |
|---|---|---|---|
| 数値の欠損値の比較 | 欠損は最小値扱い。`if x < 0` が真になる | NULL との比較は NULL。行が落ちる | 閾値判定 1,450 か所を一つずつ書き換え |
| MERGE(BY) | 多対多でもデカルト積にならない | JOIN は多対多でデカルト積 | 結合キーの一意性を事前に検査 |
| BY グループの順序 | 並べ替え済みが前提。FIRST. / LAST. で判定 | 順序の保証なし | 並べ替え条件をウィンドウ関数で明示 |
| 日付 | 1960年1月1日からの日数 | 日付型 | 取り込み時に変換し、境界日を全件確認 |
| 数値精度 | 8 バイト浮動小数点 | DECIMAL を指定可能 | 保険料・支払額は DECIMAL で精度を明示 |
| 文字コード | データセットが Shift_JIS(ENCODING=) | UTF-8 | 契約者名・事故場所の外字を変換表で管理 |
特に欠損値の違いは影響が大きく、「事故日が未入力の契約を損害率の分母から除外する」といった条件で、件数がわずかにずれる原因になりました。
移行の進め方
STEP 1|マクロを先に展開する
SAS のマクロは、実行時に別のコードを生成します。そのままでは変換できないため、まずマクロを展開して「実際に実行されているコード」を取り出し、それを変換の対象にしました。
STEP 2|AI による変換
- DATA ステップ(SET / WHERE / IF)→ DataFrame の filter / withColumn
- FIRST. / LAST. / RETAIN / LAG → ウィンドウ関数
- ARRAY と DO ループ → 列のリスト処理 / stack / explode
- PROC SQL → Spark SQL
- PROC SORT NODUPKEY → dropDuplicates(並べ替え条件を明示)
- PROC FORMAT → 対応表の Delta テーブル
- マクロ → Python 関数、パラメーター付きノートブック、ジョブパラメーター
初期自動変換精度は 77% でした。
STEP 3|検証資料の作成(PulseQA)
プログラムごとに、次の項目を自動で比較し、検証資料として保存しました。
- 件数、主キーの差分、列ごとの合計値
- 欠損値・NULL の件数
- 主要変数の分布(平均、分位点)
- 損害率・頻度・単価を、保険種目・年度・地域の単位で比較
モデル検証部門は、この資料をもとにプログラム単位で承認を行い、承認済みのものから本番に切り替えました。
SAS と Databricks の対応表
| SAS | Databricks |
|---|---|
| DATA ステップ | PySpark DataFrame / ノートブック |
| FIRST. / LAST. / RETAIN / LAG | ウィンドウ関数 |
| MERGE(BY) | join / Delta MERGE |
| PROC SQL | Spark SQL |
| PROC MEANS / FREQ / TRANSPOSE | groupBy().agg() / crosstab / pivot |
| PROC FORMAT | 対応表の Delta テーブル |
| マクロ | Python 関数 / パラメーター付きノートブック |
| SAS データセット(.sas7bdat) | Delta テーブル |
| LIBNAME | Unity Catalog のカタログ・スキーマ |
| バッチジョブ | Lakeflow Jobs |
| ODS 出力 | AI/BI ダッシュボード |
成果
- SAS プログラム 1,100 本のうち 970 本を初期自動変換精度 77% で移行(プロジェクト期間 26 週間)
- 欠損値の比較条件 1,450 か所を書き換え、損害率の差異ゼロを確認
- 月次の損害率データ作成:14 時間 → 1 時間 40 分
- 大規模災害時の追加分析の処理待ち:最大 3 日 → 当日中
- SAS サーバーとライセンスを含む TCO を 44% 削減
- 全プログラムの検証資料を整備し、モデル検証部門の承認のもとで切り替え
最も複雑な5本で試してください
マクロと BY グループ処理を含む SAS プログラム5本で、PySpark のコードと検証資料を無料でお見せします。
- 無料PoC:innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>無料PoC(Pulse Convert)
- Webサイト:innovationalofficesolution.com
- メール:Admin@innovationalofficesolution.com
SAS から Databricks PySpark への移行
保険の損害率分析を支えてきた SAS プログラムとマクロを、計算結果の一致を数学的に証明しながら PySpark へ移行。高額なライセンス費を最適化します。