Журнал / Тесты
Запись 05 · замеры
Тесты Claude Fable 5.1: цифры Anthropic и независимые замеры
Anthropic опубликовала для Fable 5.1 девять тестов, а Artificial Analysis, LMArena и ARC Prize измерили модель сами. Цифры местами расходятся. Ниже — откуда берётся разница и что из этих замеров следует на практике.
Что заявил разработчик
| Тест | Fable 5.1 | Fable 5 | Прирост |
|---|---|---|---|
| Terminal-Bench 4.0 | 55,8 % | 42,0 % | +13,8 |
| Terminal-Bench-Science 0.1 | 52,6 % | 24,7 % | +27,9 |
| GDPval-AA v2, Эло | 1853 | 1723 | +130 |
| OSWorld 2.0, partial | 77,9 % | 72,9 % | +5,0 |
| OSWorld 2.0, strict | 41,7 % | 36,1 % | +5,6 |
| Humanity's Last Exam, без инструментов | 60,9 % | 57,8 % | +3,1 |
| Humanity's Last Exam, с инструментами | 65,0 % | 63,8 % | +1,2 |
| AutomationBench | 31,4 % | 17,1 % | +14,3 |
| CursorBench 3.2.0 | 73,4 % | 70,5 % | +2,9 |
В той же таблице Opus 5 набирает 52,3 % на Terminal-Bench 4.0 и 1824 на GDPval-AA, а Mythos 5.1 на Terminal-Bench 4.0 — 60,9 %. Сам вендор делает три оговорки. На OSWorld 2.0 задачи, где срабатывали ограничители, засчитаны Fable как ноль, поэтому реальные значения, вероятно, выше; к тому же набор задач отличается от прошлых выпусков, и сравнивать с более ранними цифрами OSWorld 2.0 нельзя. У Terminal-Bench-Science стандартная ошибка — от 3,5 до 4,5 пункта на модель. Разрыв Mythos и Fable на Terminal-Bench объясняется прежними, менее точными киберограничителями.
Чего в материалах нет: SWE-bench Verified, GPQA Diamond, AIME, MMLU-Pro, LiveCodeBench, ARC-AGI и MMMU. Anthropic перешла на свой набор тестов и старые для этого поколения не публикует. Поэтому сопоставлять Fable 5.1 с моделями других вендоров честнее по независимым площадкам — их цифры ниже, а полная таблица со всеми моделями рядом есть в разделе тестов нейросетей на sortai.ru.
Один тест — два значения
Через три недели, в анонсе Opus 5.5, Anthropic снова привела Fable 5.1 — но уже на новых версиях тестов. Цифры другие, и это не ошибка: сравнивать можно только результаты одной версии.
| Тест | 1 сентября | 22 сентября |
|---|---|---|
| GDPval-AA, Эло | 1853 (v2) | 1735 (v2.1) |
| CursorBench | 73,4 % (3.2.0) | 51,8 % (4.0) |
| OSWorld, partial | 77,9 % (2.0) | 80,7 % (2.1) |
| Humanity's Last Exam, с инструментами | 65,0 % | 65,6 % |
| Terminal-Bench 4.0 | 55,8 % | 55,8 % |
| FrontierCode v1.1 | — | 50,3 % |
| Chartography, с инструментами | — | 88,4 % |
В той таблице Opus 5.5 выше Fable 5.1 во всех девяти строках. Anthropic там же оговаривает, что на таком уровне разница в баллах плохо предсказывает разницу в реальной работе и что в её собственных задачах разрыв между двумя моделями меньше, чем в таблице.
Независимые замеры
| Площадка | Показатель | Fable 5.1 |
|---|---|---|
| Artificial Analysis | Intelligence Index v5.0 | 49 (17-е из 52) |
| Artificial Analysis | Terminal-Bench 4.0 | 52,0 % |
| Artificial Analysis | GPQA Diamond | 93,7 % |
| Artificial Analysis | Humanity's Last Exam | 59,1 % |
| Artificial Analysis | τ³-Banking | 47,2 % |
| LMArena, текст | Эло со style control, срез 22 октября | 1503 |
| ARC Prize | ARC-AGI-2 | 90,0 % |
| ARC Prize | ARC-AGI-3 | нет замера |
| swebench.com | SWE-bench Verified | нет замера |
Независимый Terminal-Bench у Fable 5.1 на 3,8 пункта ниже вендорского. Такой зазор обычен для повторных прогонов: обвязка и условия зачёта у каждой площадки свои. По сводному индексу Artificial Analysis Fable 5.1 стоит ниже Opus 5.5 (58,4) и GPT-6 Astra (56,9) — и это сходится с позицией самой Anthropic, которая советует начинать с Opus. На текстовой арене LMArena у Fable 5.1 1503 балла Эло, у Opus 5.5 — 1509: разница в шесть пунктов для арены невелика.
Скорость и цена задачи
Artificial Analysis меряет и эксплуатационные показатели. На максимальном усилии через API Anthropic Fable 5.1 выдаёт 64,3 токена в секунду, а до первого токена ответа проходит около 134 секунд: модель сначала думает и только потом начинает писать. На прогон всего индекса у неё ушло 160 млн выходных токенов, одна задача в среднем обошлась в 12,99 доллара. У Opus 5.5 там же — 220 млн токенов и 10,04 доллара за задачу: Fable пишет меньше, но каждый её токен в 2,5 раза дороже.
Как читать эти цифры
- Вендорские таблицы удобны для сравнения версий внутри линейки, но не между вендорами: у Anthropic свои тесты и свои условия прогона.
- Одинаковое название теста ещё не значит одинаковую версию: GDPval-AA v2 и v2.1, CursorBench 3.2.0 и 4.0 дают несопоставимые числа.
- Высокий балл на тестах знаний — GPQA Diamond 93,7 % — говорит о кругозоре, а не о том, как модель ведёт многочасовую задачу. Для профиля Fable показательнее агентные тесты: Terminal-Bench, AutomationBench, OSWorld.
- Лучший тест — свой: несколько типичных задач, прогнанных на Fable 5.1 и Opus 5.5 с высоким усилием. Именно так и предлагает выбирать Anthropic.
Вопросы к записи
Какой результат у Fable 5.1 на Terminal-Bench?
55,8 % на Terminal-Bench 4.0 по данным Anthropic и 52,0 % в замере Artificial Analysis.
Где Fable 5.1 в рейтинге Artificial Analysis?
49 баллов индекса Intelligence Index v5.0 и 17-е место из 52 моделей на 29 октября 2026 года.
Есть ли у Fable 5.1 результат SWE-bench Verified?
Нет. Anthropic этот тест для Fable 5.1 не публиковала, а на лидерборде swebench.com модели нет. Цифры SWE-bench Verified для Fable 5.1, которые встречаются в сети, — не от разработчика.
Почему Mythos 5.1 выше в тестах, если это та же модель?
У Mythos другие ограничители. На Terminal-Bench 4.0 часть задач у Fable 5.1 обрывали прежние, менее точные киберограничители; Anthropic ожидает, что разрыв будет сокращаться.