imodels で解釈可能な予測モデルを scikit-learn 流に試す

パッケージの役割

imodels は、解釈可能な予測モデルを適合させるための Python パッケージで、ブラックボックスモデルをルール集合、ルールリスト、ツリー、または代数的モデルに置き換えたい利用者を対象としている。リポジトリの説明は、簡潔で透明性が高く正確な予測モデリングを目的とし、すべてのモデルが scikit-learn と互換性を持つとしている。コアの例では、小さな臨床データセットで決定木分類器を訓練し、その出力はそのまま表示され、各リーフノードの予測値が示される。このパッケージは説明手法をアドオンとして追加するのではなく、解釈可能なモデル自体が予測器となる。

モデルファミリーと実装

README のモデルリストは、ルール集合、ルールリスト、ツリー、代数的モデルに分類される。ルール集合には RuleFit、SkopeRules、FPSkope、SLIPPER、Bayesian Rule Set が含まれ、ルールリストには Bayesian Rule List、Greedy Rule List、Fast-and-frugal tree、OneR が含まれ、ツリーには CART、C4.5、TAO、FIGS が含まれ、代数的モデルには SLIM と Tree GAM が含まれる。すべてのモデルが新しい実装というわけではない。README は、コードが sklearn-expertsys、rulefit、skope-rules、BOA などの先行プロジェクトから多くを借用しており、imodels はそれらの主要部分を抽出、統合、保守していると明言している。

API 規約とタスク対応

モデルは標準の sklearn 推定器 API に従う。fit は推定器を返し、predict はラベルを返し、predict_proba は行の合計が 1 になる確率行列を返し、DataFrame 入力は feature_names_in_ を設定し、モデルはクローン可能で、パイプラインやグリッドサーチ内でも動作する。README にはタスク対応マトリクスがあり、一部のモデルは二値分類のみだが、FIGSClassifier、GreedyTreeClassifier、HSTreeClassifier、TaoTreeClassifier、BoostedRulesClassifier、SLIMClassifier、C45TreeClassifier、DecisionTreeCCPClassifier は多クラスに対応する。ルール集合とルールリストのモデルは、多クラスのターゲットが与えられるとエラーを発生させる。

FIGS と階層的縮小

README の「Our favorite models」の節では、2 つの独自手法が説明されている。FIGS（Fast Interpretable Greedy-Tree Sums）は、複数のツリーを同時に成長させて総和を取ることで CART を一般化し、全ツリーの分割数の合計を事前に指定したしきい値で制限する。README は、実世界のデータセットでの実験により、FIGS が少数の分割（例えば 20 未満）に制限した場合に最先端の予測性能を達成すると主張している。階層的縮小は、任意の決定木やランダムフォレストなどの木ベースのアンサンブルに作用する後処理の正則化手法で、木構造を変更せず、各ノードの予測を祖先のサンプル平均に向かって単一の正則化パラメータで縮小する。README は、個々の決定木とアンサンブルの予測性能を大幅に向上させる実験結果を報告している。

ルールの検査とツリーのプロット

ルールベースのモデルはすべて、get_rules() を通じて同じ方法でルールを公開し、1 ルールにつき 1 行の pandas DataFrame を返す。常に存在する列は、ルールの条件を示す文字列の rule と、そのルールが予測する値の prediction の 2 つである。モデルはその上に独自の列を追加する。RuleFit では coef、support、importance、複数のツリーで構成されるモデルでは tree、ブーストアンサンブルでは weight などである。FIGS のような加法的モデルでは、prediction はそのツリーの寄与であり、一致するルールの寄与を合計するとモデルの出力になる。木ベースのモデルは dtreeviz で描画でき、shadow_tree 関数は任意の imodels ツリーモデルから dtreeviz が必要とする ShadowDecTree を構築する。dtreeviz は依存関係ではなく、呼び出されたときだけインポートされる。

カテゴリ特徴量と前処理

ほとんどのモデルは数値入力を想定しているため、カテゴリ列は sklearn.preprocessing.OneHotEncoder などで事前にエンコードする必要がある。例外は FIGS で、categorical_features 引数に列名を渡すと内部でワンホットエンコードし、predict のときもそれを記憶している。README はまた、ルールモデルが二値化を必要とする数値列のための離散化器にも言及している。SLIMClassifier と SLIMRegressor では、係数が整数であるため、尺度が大きく異なる特徴量は四捨五入でゼロに潰れる。README は適合前に X を標準化するようアドバイスしている。

インストールとライセンス

インストールは pip install imodels で、README はトラブルシューティング用ドキュメントへのリンクを提供している。リポジトリは MIT ライセンスで配布されており、その条文は著作権表示と許可表示を含めることを条件に、ソフトウェアの複製、変更、統合、公開、再許諾、販売の権利を認めている。ソフトウェアは「現状のまま」提供され、いかなる種類の保証もない。ライセンス条文はセキュリティ、サポート、保守については何も述べておらず、リポジトリのメタデータもそれらを扱っていない。

試すなら pip で imodels を入れ、README の最小例を scikit-learn の train、predict、score の流れに置き換えて確認する。推定器ごとに必要な依存関係や扱える特徴量は同じとは限らないため、クラス名だけで互換性を判断しないことが大切だ。モデルの説明可能性も、係数やルールが出力されることと、対象データで妥当な判断理由になることは別である。

編集部の結論

imodels は、異なる研究伝統の解釈可能モデルをひとつの API に統合し、FIGS や階層的縮小といった独自手法を追加し、ルールの検査、カテゴリ特徴量の処理、ツリーのプロットのためのユーティリティを提供する。MIT ライセンスは自由な使用と改変を認めるが、保証や保守の約束はない。リポジトリのドキュメントは、バージョン付きリリース、利用者数、本番環境での展開については触れていない。

公式情報源

1. Official documentation
2. Official README
3. Project repository
4. Release notes