ビッグデータ処理基盤（Hadoop・MapReduce）とは？びっぐでーたしょりきばん
ビッグデータ処理基盤（Hadoop・MapReduce）とは、大量データを多数の安価なサーバへ分散して蓄積・処理する仕組みで、HDFSがデータを複製しながら分割保持し、MapReduceが各ノードでの処理（Map）と集約（Reduce）の2段階で並列計算する。ノード故障を前提に、複製配置と失敗タスクの再実行で信頼性を確保する点が特徴。
最終更新：2026-10-06
この語が出る過去問を解く →背景
データ量に単体サーバの性能向上で追いつく時代は、高価な大型機を買い替え続ける形でしか拡張できなかった。安価な汎用機を並べる方向へ振ると、今度は故障が日常になり1台落ちるたびにジョブが失敗する。複製配置と自動再実行を基盤側が持つことで、壊れる前提のまま台数で性能を伸ばせるようにした。
具体例
シラバスでは分散処理フレームワークとしてApache HadoopとApache Sparkが併記される。1TBのアクセスログをURL別に集計するなら、各ノードが担当ブロックから（URL,1）を出力し、同じURLを1ノードへ集めて合算する。Sparkは中間結果をメモリに保持して反復処理を速くする。
試験での引っ掛け
台数を増やせば必ず速くなるという思い込みが狙われる。Map結果をネットワーク越しに集めるシャッフル段が支配的になると台数効果は頭打ちになる。またバッチ向きであり、1レコード単位の低遅延応答には向かない点がRDBやNoSQLとの対比で問われる。
関連用語
出た過去問
出典：平成29年度 秋期 応用情報技術者試験 午前 問19（IPA）
Hadoopの説明はどれか。
正解：大規模なデータを分散処理するためのソフトウェアライブラリ
要点：Hadoopは大規模データを分散処理する基盤
Hadoopは大量のデータを多数のサーバに分散して蓄積・処理するためのオープンソースのソフトウェアライブラリ群である。分散ファイルシステムHDFSと、MapReduceに代表される分散処理の枠組みを中核とする。
出典・参考
解説は資格暗記が独自に作成しています。過去問の出典は各問題に記載のとおりです。