導入事例:コードを書き換えるのは簡単。「同じ答え」を証明するのが本番 ― Emulus Consulting の SAS → Databricks 移行

17 Nov 202610 Min Readviews 0comments 0
SAS から Databricks へ ― 移行アクセラレーター — Pulse Convert

導入事例:コードを書き換えるのは簡単。「同じ答え」を証明するのが本番 ― Emulus Consulting の SAS → Databricks 移行

― 損害率分析を支えた 1,100 本の SAS プログラム ― 「結果が同じ」ことを証明しながら PySpark へ

概要

  • 提供:Innovational Office Solution(Pulse Convert)
  • お客様:Emulus Consulting
  • 移行対象:SAS プログラム 1,100 本、マクロ 260 本、PROC FORMAT 定義 340 個、バッチジョブ 180 本、SAS データセット 9.6 TB
  • 自動変換精度:初期段階で 77% を自動変換(70%~90% の範囲)。統計モデルはモデル検証部門と個別に判断
  • お問い合わせ:Admin@innovationalofficesolution.com
  • 無料PoC:AnyBI to Power BI & AnyETL to Fabric ページ

背景:20年間、損害率を計算してきた SAS

Emulus Consulting が支援する損害保険会社では、自動車保険と火災保険の損害率分析、保険料率の検証、支払備金の基礎データ作成に、20年近く SAS を使ってきました。プログラムは何度も監査を受け、数字の信頼性は社内でも高く評価されています。

それでも移行を決めた理由は、主に次の3つでした。

  1. 人材:新しく配属されるデータサイエンティストは Python と SQL が中心で、SAS のマクロを読める担当者は数名に限られていた
  2. データの置き場所:契約・事故・支払のデータはすでに Databricks に集まっていたが、SAS で分析するたびに SAS サーバーへ複製していた
  3. 計算資源:自然災害が続いた年度には分析の量が急増し、SAS サーバーの処理待ちが数日に及ぶことがあった

一方で、保険会社にとって数字の一致は絶対条件です。損害率が小数点以下でずれただけでも、料率の検証や当局への説明に影響します。「移行後も同じ答えが出る」ことを、モデル検証部門が承認できる形で示すことが、このプロジェクトの中心課題でした。

移行方針:全部を書き換えない

区分本数方針
データ準備(DATA ステップ、PROC SQL、SORT、MERGE)720PySpark / Spark SQL へ全面移行
集計・帳票(PROC MEANS、FREQ、TABULATE、REPORT)250Spark SQL と AI/BI ダッシュボードへ
統計モデル(PROC GLM、LOGISTIC、GENMOD など)70モデルごとにモデル検証部門と判断。料率モデルは段階的に移行
廃止603年以上実行されていないもの

なお、Databricks の無料移行ツール Lakebridge の公式な変換ガイドには、変換元として SAS は掲載されていません。SAS のコード変換には、専用の構文解析と変換の仕組みが必要です。本アクセラレーターはそこを担います。

結果を静かに変えてしまう、6つの違い

コードの書き換えより時間をかけたのが、SAS と Spark の「動作の違い」の洗い出しです。

違いSASSpark対応
数値の欠損値の比較欠損は最小値扱い。`if x < 0` が真になるNULL との比較は NULL。行が落ちる閾値判定 1,450 か所を一つずつ書き換え
MERGE(BY)多対多でもデカルト積にならないJOIN は多対多でデカルト積結合キーの一意性を事前に検査
BY グループの順序並べ替え済みが前提。FIRST. / LAST. で判定順序の保証なし並べ替え条件をウィンドウ関数で明示
日付1960年1月1日からの日数日付型取り込み時に変換し、境界日を全件確認
数値精度8 バイト浮動小数点DECIMAL を指定可能保険料・支払額は DECIMAL で精度を明示
文字コードデータセットが Shift_JIS(ENCODING=)UTF-8契約者名・事故場所の外字を変換表で管理

特に欠損値の違いは影響が大きく、「事故日が未入力の契約を損害率の分母から除外する」といった条件で、件数がわずかにずれる原因になりました。

移行の進め方

STEP 1|マクロを先に展開する

SAS のマクロは、実行時に別のコードを生成します。そのままでは変換できないため、まずマクロを展開して「実際に実行されているコード」を取り出し、それを変換の対象にしました。

STEP 2|AI による変換

  • DATA ステップ(SET / WHERE / IF)→ DataFrame の filter / withColumn
  • FIRST. / LAST. / RETAIN / LAG → ウィンドウ関数
  • ARRAY と DO ループ → 列のリスト処理 / stack / explode
  • PROC SQL → Spark SQL
  • PROC SORT NODUPKEY → dropDuplicates(並べ替え条件を明示)
  • PROC FORMAT → 対応表の Delta テーブル
  • マクロ → Python 関数、パラメーター付きノートブック、ジョブパラメーター

初期自動変換精度は 77% でした。

STEP 3|検証資料の作成(PulseQA)

プログラムごとに、次の項目を自動で比較し、検証資料として保存しました。

  • 件数、主キーの差分、列ごとの合計値
  • 欠損値・NULL の件数
  • 主要変数の分布(平均、分位点)
  • 損害率・頻度・単価を、保険種目・年度・地域の単位で比較

モデル検証部門は、この資料をもとにプログラム単位で承認を行い、承認済みのものから本番に切り替えました。

SAS と Databricks の対応表

SASDatabricks
DATA ステップPySpark DataFrame / ノートブック
FIRST. / LAST. / RETAIN / LAGウィンドウ関数
MERGE(BY)join / Delta MERGE
PROC SQLSpark SQL
PROC MEANS / FREQ / TRANSPOSEgroupBy().agg() / crosstab / pivot
PROC FORMAT対応表の Delta テーブル
マクロPython 関数 / パラメーター付きノートブック
SAS データセット(.sas7bdat)Delta テーブル
LIBNAMEUnity Catalog のカタログ・スキーマ
バッチジョブLakeflow Jobs
ODS 出力AI/BI ダッシュボード

成果

  • SAS プログラム 1,100 本のうち 970 本を初期自動変換精度 77% で移行(プロジェクト期間 26 週間)
  • 欠損値の比較条件 1,450 か所を書き換え、損害率の差異ゼロを確認
  • 月次の損害率データ作成:14 時間 → 1 時間 40 分
  • 大規模災害時の追加分析の処理待ち:最大 3 日 → 当日中
  • SAS サーバーとライセンスを含む TCO を 44% 削減
  • 全プログラムの検証資料を整備し、モデル検証部門の承認のもとで切り替え

最も複雑な5本で試してください

マクロと BY グループ処理を含む SAS プログラム5本で、PySpark のコードと検証資料を無料でお見せします。

無料PoC(概念実証)
Microsoft Solution Partner

SAS から Databricks PySpark への移行

保険の損害率分析を支えてきた SAS プログラムとマクロを、計算結果の一致を数学的に証明しながら PySpark へ移行。高額なライセンス費を最適化します。

初期自動変換精度 70%~90%最も複雑な SAS プログラム 5 本で無料 PoC丸め誤差・欠損値・浮動小数点差異の徹底検証PulseQA による厳密な突合レポート提供
提供:Office Solution AI Labs(マイクロソフト認定 Data & AI ソリューションパートナー)
#日本語#SAS#Databricks#PySpark#保険#損害率分析#マイグレーション#ケーススタディ

Contact Us

Advance Analytics of next generation

We are an authorized implementation partner of Snowflake, Databricks, Amazon, Automation Anywhere, Denodo, DataDog, New Relic, and Elastic.

Copyrights © 2026 Office Solution AI Labs