GPT-6がSVGお絵描き対決で辛勝 1350枚検証

生成AIの性能測定に新たな物差しが登場した。 モデルにSVGで絵を描かせ、別のモデルに当てさせる「お絵描き当てゲーム」形式の評価である。 虎嗅網 の 硅星人 の報道では、1350枚の描画と11961回の回答を経てGPT-6 Astraが75.5点で首位に立ったと伝えている。

発想の起点は開発者Simon Willisonによる恒例の検証だ。 2024年から続く「自転車に乗るペリカン」をSVGで描かせる試みである。 冗談から始まった企画は、推論や描画、抽象概念の理解を総合的に見る手法として定着した。 今回の評価はその発想を拡張し、人が採点せずモデル同士に判定させる点に特徴がある。

描画と回答を分離した独自評価設計

第1期の参加は8モデルと参照用1モデルである。 海外勢はGPT-6 Astra、Gemini 3.8 Flash、Claude Fable 5.1の3種だ。 中国勢はKimi K3、Qwen3.8-Max、GLM-5.3-Flash、MiniMax-M3、DeepSeek-V4-Flash-Vision-Expの5種である。 参照用としてGemma 4 26Bを用意し、順位付けと得点計算の対象外とした。

手順は2段階で構成される。 各単語を9モデルがSVGで1枚ずつ描き、PNGに変換して9モデルに回答させる。 回答側は符号を閲覧できず、注釈や要素名による誘導も禁止だ。 絵の中の文字要素は禁止で、タイムアウトや打ち切りは反則扱いとした。 すべて既定のAPI設定で呼び出した点も条件の公平さを支えている。

得点は作画と回答を半分ずつ配分した。 作画得点は自分の絵が他モデルに当てられた割合だ。 回答得点は他モデルの絵を当てた割合である。 判定は単語集と照合規則による自動処理で、美的評価や第三者モデルによる審査は介在しない。 単語単位で2000回の再標本化を行い、95%信頼区間を算出した。

単語集は150語で内訳が明確だ。 通常語70語、動作場面20語、流行ネタ10語、AI自己言及10語、常識破り10語に非公開の基準語30語を加えた。 非公開語は時期をまたぐ比較用で、公開語への最適化を抑える狙いがある。 評価設計の透明性と再現性を両立させる工夫と評価できる。

1350枚の絵と11961回の回答を経て、GPT-6 Astraが75.5点で僅差の勝利を収めた

上位3モデルが接戦となった総合結果

総合首位はGPT-6 Astraの75.5点だった。 2位はGemini 3.8 Flashの74.6点、3位はClaude Fable 5.1の74.3点である。 3者の信頼区間は重なり、統計上の差は小さい。 第1集団はこの3種で形成される。

中国勢は僅差で追走した。 Kimi K3が71.7点、Qwen3.8-Maxが71.3点、GLM-5.3-Flashが68.9点だった。 MiniMax-M3は61.9点、DeepSeekは60.9点である。 参照用のGemmaは総合38.2点で、通常語の回答は半数ほど正解したが、描画の被認識率は約2割にとどまった。

描く力と当てる力は一致しない。 AstraとClaudeは描画が得意で、作画得点は79.8点と79.1点で上位2位だった。 Geminiは回答得点76.1点で1位だが、作画得点は5位である。 GLMは作画74.7点に対して回答63.1点で、両者の開きが8モデルの中で最大だった。 単一の総合点では見えない特性の違いが浮かぶ。

評価手法の多様化は業界全体の関心事だ。 MIT Tech Review「Innovators Under 35」2026年版、選出手続き詳細公開でも選出過程の透明化が論点となった。 今回の自動照合と信頼区間の明示は、その流れに沿う試みと見ることができる。

常識破りと言葉遊びで露呈した弱点

通常語では8モデルがいずれも70点台から80点台後半を確保した。 対照的に常識破り分野の最高点は34点、最低点は21点である。 参照用のGemmaが描いた常識破りの絵は1枚も認識されなかった。

具体例が弱点の構造を示す。 「猫が人間のトイレ掃除をする」は正解ゼロだった。 「ネズミが猫を追いかける」は多くが誤答に流れた。 「特種兵旅行」は例外なく迷彩服の兵士として描かれた。 流行語の字面に引きずられ、旅行という行為が捨象された形だ。

GLMが描いた「魚が人を釣る」は象徴的な場面だ。 船に座った魚が人間を釣り上げる構図で、7モデルのうち4つが正解し、3つが釣りと答えた。 絵が少しでも曖昧だと既定の解釈に戻る傾向が強い。 描く側と当てる側の双方が常識の偏りに引き寄せられる。

思考量と費用が成績に結びつかない逆説

長く考えれば良い絵になるわけではなかった。 Astraの作画時思考トークン中央値はわずか232で、所要時間は41秒だった。 それでも作画得点は1位である。 DeepSeekとQwenはそれぞれ1万9000トークンと1万8000トークンを費やしたが成績は下位に沈んだ。

費用対効果も直線的ではない。 Geminiは約82元で74.6点を獲得した。 最も高額なClaudeは約304元をかけても成績は同等だった。 GLMは回答タイムアウト40回を誤答扱いとされ、実質的に考え過ぎが損失になった。 思考の量や支出と得点のあいだに安定した正の相関は見られなかった。

要素数と自己認識に残るモデルの課題

要素を詰め込んでも正解率は上がらない。 要素最少区分と最多区分の正解率差はわずか4.4ポイントだった。 DeepSeekは222個の要素で「耳を塞いで鈴を盗む」を描き、7モデルすべてが不正解だった。 同じ故事成語をGeminiが簡素な要素で描くと7モデルすべてが正解した。 Astraの「リンゴ」はわずか8要素で7モデルに当てられた。

自己回答の結果も示唆に富む。 Astra、Gemini、Claudeの自己回答正解率は約83%だった。 MiniMaxの自己回答は53.3%で、他人に当ててもらうより13ポイント低い。 DeepSeekの自己回答は49.3%で、やはり10ポイント近く低い。 一部のモデルは出力への一貫した理解を欠く可能性がある。 描き手と回答手の影響を補正しても順位は変わらなかった。

本記事は 虎嗅網 に基づく（All Rights Reserved）。日本国著作権法32条の公正な引用に依拠する。

編集部の見解

短期的には、描画と回答を分けた評価が他の評価設計に波及すると見る。単一指標の順位争いではなく、生成と理解の分離が標準になる可能性がある。国内モデルの健闘は調達判断の選択肢を広げ、検証需要を押し上げると見る。

長期的には、常識破りの弱さが実用上の焦点になると見る。図解や教育用途では例外表現の正確さが価値を左右する。簡素な描画の有効性は生成コストの抑制にもつながり、設計思想の転換を促す可能性がある。

残る問いは何を正解とみなすかだ。自動照合は公平だが、創造性の評価には限界がある。人の判断をどこで介在させるべきか、再現性との両立が問われているのではないだろうか。

参考

• 「 我们做了个“你画我猜Benchmark” ：1350张图后，GPT-6险胜 」, by 硅星人 — 虎嗅网, 2026-09-05T11:44:39.000Z (ARR)
• 元記事URL: https://www.huxiu.com/article/4888835.html?f=rss