Sparkとは?スパーク
Sparkとは、分散した不変のデータ集合(RDD)に対する変換を積み重ねる形で処理を記述し、可能な限り主記憶上で実行する分散処理基盤。
最終更新:2026-10-06
応用情報を最短で暗記・合格する →具体例
機械学習のように同じデータへ何度も繰り返しアクセスする処理で効果が大きい。
試験での引っ掛け
MapReduceとの違いは中間結果をどこに置くか。工程ごとにディスクへ書くのがMapReduce、主記憶に保持して次の変換へ渡すのがSpark——だから反復処理で差が付く。またSparkはHadoopの置き換えではなく、HDFSやYARNの上でも動く(分散ファイルシステムまで自前で持つわけではない)。
関連用語
出典・参考
公式シラバスの3 技術要素 > 5. データベース応用 > (2) 分散データベースに掲載されている用語です。
解説は資格暗記が独自に作成しています。過去問の出典は各問題に記載のとおりです。