Sparkとは？スパーク
Sparkとは、分散した不変のデータ集合（RDD）への変換を積み上げる形で処理を記述し、中間結果を可能な限り主記憶に保持したまま実行する分散処理基盤。変換の依存関係を有向グラフとして先に組み立て、結果が要求された時点でまとめて最適化して走らせるため、無駄な読み込みが省かれる。
最終更新：2026-10-06
情報処理安全確保支援士を最短で暗記・合格する →背景
工程ごとにディスクへ書き戻す実行方式では、同じデータを何十回も読み直す機械学習やグラフ処理は入出力にばかり時間を使っていた。主記憶が安くなり1台に数百GB積めるようになった時期に、中間結果をメモリへ置いたまま次の変換へ渡す方式が現実的になった。条件を変えながら何度も試すログの相関分析でも、この差がそのまま待ち時間の差になる。
具体例
Apache SparkはSQL・機械学習ライブラリ（MLlib）・ストリーム処理を同じ基盤の上に載せており、Databricksがマネージドサービスとして提供している。認証ログから利用者ごとの行動特徴を繰り返し計算し、外れ値を探すような用途で効く。
試験での引っ掛け
Hadoopの置き換えではない。HDFS上のデータを読み、YARNやKubernetesの資源管理に載って動くもので、分散ファイルシステムまで自前で持つわけではない。中間結果をディスクに置くかメモリに置くかがMapReduceとの違いで、そこから反復処理の速度差が生まれる。
関連用語
出典・参考
公式シラバスの3 技術要素 ＞ 5. データベース応用 ＞ (2) 分散データベースに掲載されている用語です。
解説は資格暗記が独自に作成しています。過去問の出典は各問題に記載のとおりです。