microsoft/SynapseML：README に基づく導入ガイド

microsoft/SynapseML の README はプロジェクトを「Simple and Distributed Machine Learning」と説明しています。ここではリポジトリで確認できる事実だけを整理します。star 数やバッジは注目度の手掛かりであり、品質の証明ではありません。「Synapse Machine Learning」には次の説明があります。SynapseML (previously known as MMLSpark), is an open-source library that simplifies the creation of massively scalable machine learning (ML) pipelines.。これは範囲の説明であり、本番検証の結果ではありません。

README の「Papers」にある内容から、用途が合うかを先に判断できます。Flexible and Scalable Deep Learning with SynapseML。目的が違うなら、人気だけで採用する理由にはなりません。プロジェクト名やコマンドは原文のまま残し、一次資料へ戻って用語を確認できるようにしています。 README には次の確認可能な項目もあります。MMLSpark: Unifying Machine Learning Ecosystems at Massive Scales。初回テストの材料にはなりますが、実際の環境での確認を省略する理由にはなりません。

動作の説明は「Synapse Machine Learning」など複数の箇所に分かれています。確認できる情報は次の通りです。SynapseML requires Scala 2.12, Spark 3.4+, and Python 3.8+.。書かれていない構成、性能、セキュリティを推測で補いません。導入時はディレクトリ、設定ファイル、release 履歴を確認してください。

初回導入は README の入口から始めます。確認できるコマンドは次の通りです。 %%configure -f { "name": "synapseml", "conf": { "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:<THE_SYNAPSEML_VERSION_YOU_WANT>", "spark.jars.repositories": "https://mmlspark.blob.core.windows.net/maven", "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind", "spark.yarn.user.classpath.first": "true", "spark.sql.parqu 実行可能なコマンドがない場合は手順を作らず、「Features」で依存関係、待受ポート、初回設定を確認します。

日常運用は公式文書の範囲に限ります。「Synapse Machine Learning」には| Topics | Links | | :------ | :----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------とあります。設定、環境変数、権限、データ保存先は明記されたものだけを扱います。未記載の既定値は隔離環境で確認し、戻せる設定を保存してください。 同じ資料にはWatch our keynote demos at [the Spark+AI Summit 2019], [the Spark+AI European Summit 2018], [the Spark+AI Summit 2018] and [SynapseML at the Spark Summit].ともあります。