"Gemini 3 Pro’s Hallucination Rate in the evaluation is 88%, the same as Gemini 2.5 Pro and Gemini 2.5 Flash. This suggests Gemini 3 Pro made substantial gains in knowledge but not as material gains in its tendency to hallucinate."
Was the model rushed or did they place all their chips on scaling go brrrr!!
Gemini 3 Pro just took the #1 spot in our new AA-Omniscience Index — but it is a nuanced story
AA-Omniscience is our new knowledge and hallucination eval. Gemini 3 Pro’s leadership is driven by its high Accuracy (percentage correct); the model scored a massive 14 points higher than the next highest accuracy model, Grok 4. Gemini 3 Pro’s Hallucination Rate in the evaluation is 88%, the same as Gemini 2.5 Pro and Gemini 2.5 Flash. This suggests Gemini 3 Pro made substantial gains in knowledge but not as material gains in its tendency to hallucinate.
We measure Hallucination Rate based on how often the model answers incorrectly when it should have refused, defined as the proportion of wrong answers out of all non-correct attempts. In AA-Omniscience, we found there was little correlation between Accuracy and Hallucination Rate.
Additionally, we found there is a high correlation between the size of open weights models and Accuracy (but not Hallucination Rate). As such, Gemini 3 Pro’s very high Accuracy suggests it is a very large model.
See below for further details regarding AA-Omniscience 👇
64,24 rb
87
Konten pada halaman ini disediakan oleh pihak ketiga. Kecuali dinyatakan lain, OKX bukanlah penulis artikel yang dikutip dan tidak mengklaim hak cipta atas materi tersebut. Konten ini disediakan hanya untuk tujuan informasi dan tidak mewakili pandangan OKX. Konten ini tidak dimaksudkan sebagai dukungan dalam bentuk apa pun dan tidak dapat dianggap sebagai nasihat investasi atau ajakan untuk membeli atau menjual aset digital. Sejauh AI generatif digunakan untuk menyediakan ringkasan atau informasi lainnya, konten yang dihasilkan AI mungkin tidak akurat atau tidak konsisten. Silakan baca artikel yang terkait untuk informasi lebih lanjut. OKX tidak bertanggung jawab atas konten yang dihosting di situs pihak ketiga. Kepemilikan aset digital, termasuk stablecoin dan NFT, melibatkan risiko tinggi dan dapat berfluktuasi secara signifikan. Anda perlu mempertimbangkan dengan hati-hati apakah trading atau menyimpan aset digital sesuai untuk Anda dengan mempertimbangkan kondisi keuangan Anda.