AI性能評価、業界団体が回答速度測る新たなベンチマーク追加

AI性能評価、業界団体が回答速度測る新たなベンチマーク追加
人工知能(AI)の能力を測定・比較するためのベンチマークを開発する業界コンソーシアムMLコモンズは27日、最高級ハードウエアがAIアプリケーションを実行し、ユーザーに応答する速度を評価する新たなテストと結果を公表した。資料写真(2024年 ロイター/Dado Ruvic)
[サンフランシスコ 27日 ロイター] - 人工知能(AI)の能力を測定・比較するためのベンチマークを開発する業界コンソーシアムMLコモンズは27日、最高級ハードウエアがAIアプリケーションを実行し、ユーザーに応答する速度を評価する新たなテストと結果を公表した。
MLコモンズが新たに追加した2つのベンチマークは、AI半導体とシステムがAIモデルから応答を生成する速度を測定する。「チャットGPT」などのAIアプリがユーザーの質問にどれだけ速く答えを出せるかが分かる。
追加したベンチマークの一つは大規模言語モデルの応答の速さを測る「Llama 2」で、メタ・プラットフォームズ(META.O), opens new tabが開発した。もう一つは画像生成の「MLPerf」で、スタビリティーAIの「ステーブル・ディフュージョンXL」をベースとしている。
アルファベット(GOOGL.O), opens new tab傘下のグーグル、スーパーマイクロ(SMCI.O), opens new tabなどが構築したエヌビディア(NVDA.O), opens new tabの半導体「H100」を搭載したサーバーは、両方の新ベンチマークを大きく上回った。
インテル(INTC.O), opens new tabも自社のアクセラレーター半導体「ガウディ2」をベースにしたデザインを提出した。同社は良好な結果としている。

私たちの行動規範:トムソン・ロイター「信頼の原則」, opens new tab