ベンチマークテストとは？

ベンチマークテストの意味

標準的な処理内容（ベンチマークプログラム）を複数の機器やシステムに同一条件で実行させ、処理性能を数値化して比較する評価方法。

ベンチマークテストの具体例

複数のパソコンに同じ画像処理プログラムを実行させ、処理完了までの時間を比較することで、どの機種の性能が高いかを客観的に評価できる。

ベンチマークテストは試験でどう引っ掛けられる？

目的は性能の「比較」であって、不具合を見つけるテストではない。同一条件で同じ処理を流すことが前提で、条件が違えば数値は比べられない。自社の業務を模した処理で見積もるのはシミュレーションであり別の手法。

ベンチマークテストと関連する用語

• スループット

ベンチマークテストが出た過去問

• システムの性能を評価する指標と方法に関する次の記述中のa〜cに入れる字句の適切な組合せはどれか。利用者が処理依頼を行ってから結果の出力が終了するまでの時間を［ …

  正解：a：ターンアラウンド　b：スループット　c：ベンチマークテスト

  要点：所要時間はターンアラウンド、処理量はスループット

  ターンアラウンドタイムは依頼から結果の出力が終わるまでの時間、スループットは単位時間当たりに処理できる仕事量を表す。実際に代表的なプログラムを走らせて性能を測る評価方法がベンチマークテストであり、模擬モデルで挙動を再現するシミュレーションとは区別する。

  出典：平成22年度 秋期 ITパスポート試験 問86（IPA）

• コンピュータシステムの性能評価を中立的な立場で行うために、各種ベンチマークテストの開発や評価結果を公開することを目的として設立された団体はどれか。

  正解：SPEC

  要点：中立的なベンチマークを開発・公開する団体がSPEC

  SPECは、コンピュータの性能を客観的に比較できるよう、標準的なベンチマークプログラムを開発し、測定結果を公開している非営利の団体である。特定のメーカに偏らない中立的な指標を提供することを目的としている。

  出典：平成24年度 秋期 ITパスポート試験 問75（IPA）

• ベンチマークテストに関する記述として，適切なものはどれか。

  正解：標準的な処理を設定して実際にコンピュータ上で動作させて，処理に掛かった時間などの情報を取得して性能を評価する。

  要点：ベンチマークは標準処理を実機で動かして性能を測る

  ベンチマークテストは、標準的な処理内容をあらかじめ定め、実際のシステム上で実行して処理時間やスループットを測定し、性能を客観的に比較・評価する方法である。実機で測る点が、モデルによる予測（シミュレーション）との違いである。

  出典：平成29年度 春期 ITパスポート試験 問77（IPA）

• システムの性能評価におけるベンチマークテストに関する記述として、適切なものはどれか。

  正解：標準的な処理を設定し、それを実行する評価用プログラムを、評価対象のシステム上で実際に実行させて性能を評価する。

  要点：ベンチマークは標準プログラムを実機で動かして性能を実測する

  ベンチマークテストは、標準的な処理を行う評価用プログラムを実際の対象システム上で走らせ、その処理時間などを測って性能を比較する手法である。実測値を得るので机上計算やモデル化と違い実際の構成の影響を含めて評価できる。同一のプログラムを使うことで異なるシステム同士の比較が可能になる。

  出典：令和8年度 秋期 ITパスポート試験 問62（IPA）