MapReduceとは?まっぷりでゅーす
MapReduceとは、大量データを多数のノードへ分割し、各ノードでキーと値の組を生成するMap処理、同じキーを集約するReduce処理の2段に分けて並列実行する分散処理モデル。開発者は分割・再実行・ノード障害への対処を意識せずに済む。
最終更新:2026-10-06
この語が出る過去問を解く →具体例
数TBのアクセスログからURL別アクセス数を集計する場合、Mapで各行を(URL, 1)に変換し、シャッフルで同じURLを同一ノードへ集め、Reduceで合計する。100ノードなら理論上100分の1の時間で終わり、途中でノードが落ちてもそのタスクだけ再実行される。
試験での引っ掛け
中間結果をディスクに書くため反復計算(機械学習の学習ループなど)には遅く、そこはインメモリ処理系が担う。またReduce前のシャッフルでネットワーク転送が集中するので、ノードを増やせば必ず線形に速くなるわけではない。
関連用語
出た過去問
出典:平成29年度 秋期 応用情報技術者試験 午前 問19(IPA)解説で登場
Hadoopの説明はどれか。
正解:大規模なデータを分散処理するためのソフトウェアライブラリ
要点:Hadoopは大規模データを分散処理する基盤
Hadoopは大量のデータを多数のサーバに分散して蓄積・処理するためのオープンソースのソフトウェアライブラリ群である。分散ファイルシステムHDFSと、MapReduceに代表される分散処理の枠組みを中核とする。
出典・参考
解説は資格暗記が独自に作成しています。過去問の出典は各問題に記載のとおりです。