Claude解約した翌日にFable 5.1が来たけど再契約は見送りました
Claudeを9月1日に解約しまして、その理由については下記の記事にまとめました。簡単に言えばコスパの問題です。
その翌日にFable 5.1がやってきたんですけど、個人的にはこれで「Fable 5.1が来たから再契約しなきゃ！」という感じにはならず。
その辺りを含めて、Fable 5.1について調べたこともまとめつつ、色々書き留めておきます。
Fable 5.1の特徴をざっくりと
まず最初に、Fable 5.1と他のモデルを比較したベンチマークを載せておきます。
| ベンチマーク | Fable 5.1 | Fable 5 | GPT-5.6 Sol | Fable 5比 | Sol比 |
|---|---|---|---|---|---|
| Terminal-Bench-Science 0.1 | 52.6% | 24.7% | 22.4% | +27.9pt | +30.2pt |
| Terminal-Bench 4.0 | 55.8% | 42.0% | 37.3% | +13.8pt | +18.5pt |
| GDPval-AA v2 | 1,853 | 1,723 | 1,711 | +130 Elo | +142 Elo |
| OSWorld 2.0（Partial／部分達成） | 77.9% | 72.9% | — | +5.0pt | — |
| OSWorld 2.0（Strict／完全達成） | 41.7% | 36.1% | — | +5.6pt | — |
| Humanity’s Last Exam（ツールなし） | 60.9% | 57.8% | — | +3.1pt | — |
| Humanity’s Last Exam（ツールあり） | 65.0% | 63.8% | — | +1.2pt | — |
| AutomationBench | 31.4% | 17.1% | 19.6% | +14.3pt | +11.8pt |
| CursorBench 3.2.0 | 73.4% | 70.5% | 67.2% | +2.9pt | +6.2pt |
あと、各ベンチマークが何を指すのかわかりにくかったので、噛み砕いた解説をCodexに作ってもらいました。
| ベンチマーク | 何を試す？ | 人間の仕事に例えると |
|---|---|---|
| Terminal-Bench-Science | 科学研究を最後まで進める力 | 研究助手 |
| Terminal-Bench | ターミナルで問題を解決する力 | エンジニア・サーバー管理者 |
| GDPval-AA | 実務資料を完成させる力 | コンサル、事務職、専門職 |
| OSWorld 2.0 | パソコンを画面操作して仕事を終える力 | PCオペレーター |
| Humanity’s Last Exam | 超難問に答える知識・推論力 | 博士レベルの試験受験者 |
| AutomationBench | 複数の業務サービスを連携させる力 | 業務自動化担当者 |
| CursorBench | 実際の大きなコードを修正する力 | ソフトウェアエンジニア |
| Artificial Analysis Index | 上記の複数能力を混ぜた総合点 | 十種競技の総合得点 |
この表を見ると、GPT-5.6 SOLとFable 5が同等レベルだった中で、Fable 5.1の性能は上がっています。
さらにキャッシュ読み込みの価格が4分の1程度に抑えられてます。作業において同一ファイルを読み込むことが多いのであれば、トークン消費量はかなり節約されるはずです。
再契約をするほどでもないと判断するポイント
Fable 5と比較して5.1で良くなっていることがわかったとて、今再契約しようという感覚にならないポイントを挙げておきます。
一つはこれまでと変わらず、5時間制限がCodexではかからないこと。つまりFableの性能が上がったところで、Claude Codeの使い勝手の面でマイナス面を感じているため、Codexを使ったらいいなという判断になってしまいます。
また、GPT-5.6 SOLの性能に満足していて、仕事が滞りなくできています。5時間制限以外にもCodexで十分だと思っているためChatGPT Proにだけ課金しておけば良いなと。
さらに付け加えるなら、Codexなら画像生成もできますし、片方契約するならChatGPTだなと思ってるので、Claudeだけを契約しようとは思ってません。
もちろん両方契約して両方使うのが良いとは思うものの、Claudeのために2万円弱支払う気持ちにならないくらいの感覚です。
最後に
GPTの次のモデルであるAstraがそろそろ来ると言われているので、Claudeとしては牽制の意味合いもあってFable 5.1をリリースしたのかなという感じもします。
Astraがどのくらいの性能になるのかもまだ未知数ですが、そちらの方がワクワク感はあるので、当面はChatGPT一本で行きたいと思います。
