表とにらめっこした5時間 ── 非エンジニアが「AIモデル選定」で学んだこと

こんにちは、非エンジニアでAI仮想オフィスとAIエージェント作りに励んでいる麗です。

今回は、Office-Chronosを作っていく中でぶつかった「AIモデル選定」について書いていきます。

結論から言うと、比較表とにらめっこして5時間かかりました。

たかがモデル選び、されどモデル選び。

でもこの5時間で得た考え方が、その後の開発でずっと効いています。

無料枠の限界、429エラーとの遭遇

Office-Chronosを作り始めた当初、APIにはGoogle AI Studioを使っていました。

無料枠があって、登録不要で、すぐに使い始められるので、「とりあえず試してみたい」という人にはおすすめのサービスです。

私も最初は「とりあえず」のつもりで繋いでいました。

ところが、しばらく使っているうちに無料枠では足りなくなってきました。しかも、利用制限が大幅に厳しく変更されていて、1日20回程度しか使えなくなっていました。

自律思考やチャット、会議──Office-Chronosでやりたいことを考えると、到底これでは足りません。

エラーが頻発するようになりました。

ちなみにこのエラー、「429エラー」といいます。 「リクエストが多すぎて使えないよ」というサーバーからのメッセージです。

最初は「なんだこの数字は……」と思いましたが、慣れてくると「あ、またお前か」くらいの感覚になります(笑)

429が日常になった時点で、悟りました。

本格的にAPIキーを取得して、有料モデルを繋ぐ時期が来たんだな、と。

5人のエージェント、それぞれの仕事

ここで、当時のOffice-Chronosの構成を少し説明させてください。

Office-Chronosには、エージェントが5人います。それぞれに違う役割が割り当てられています。

  • CEOとして戦略を考えるエージェント
  • 人間をサポートするエージェント
  • 記事を実際に書くエージェント
  • SNS周りを任せるエージェント
  • 開発周りを担当するエージェント

業務内容で言うと、戦略立案、長文記事の執筆、短文のSNSポスト、コンテンツの品質チェック、おしゃべり(雑談チャット)、業務連絡のチャット──けっこう幅広いんです。

ここで考えたのが、「全員に同じモデルを使う必要はないのでは?」ということでした。

ChatGPT、Gemini、Claude。

AIと一言で言っても、それぞれ得意なことが微妙に違います。

どれも「できなくはない」けれど、「最適」かどうかは別の話です。

適材適所で使い分けたい!

その想いを強く持って、モデル選定に入っていきました。

表とにらめっこした5時間

最初にやったことは情報収集。

APIの取得先はVertex AIを使いたいと考えていたので、まずはVertex AIの「モデルガーデン」を覗いてみました。

……とにかく数が多くて、何が何だかです汗

Geminiだけでも複数の世代とサイズがあり、Claudeにも同様に複数のモデルがある。

性能、速度、コストがそれぞれ違う。

どれがどう違うのか、さっぱりわかりません。

ここで早々にひとつ決断を下しました。GPT系は今回は見ないことにする。

全部を比較して最適解を出したい気持ちはありましたが、「そんなことをしていたら永遠に終わらない」「使い慣れているGemini系とClaude系に絞ろう」と思ったのです。

それからはひたすらリサーチです。

モデルガーデンのAPIリストを見ながらPerplexityで調べ、ClaudeやGeminiに比較表を作ってもらい、眺めては「うーん」と唸る。

この「表とにらめっこ」の時間、気づけば5時間に達していました。

「安く済ませる」より「一発で出す」を選んだ

5時間も悩んだ最大のポイントは、コストと品質のバランスです。

安いモデルを使えばコストは下がります。

でも低品質なコンテンツを外に出してしまったら、それは節約ではなく損失です。

特にnote記事のような、ブランドに直結するコンテンツ。

品質を妥協するくらいなら、良いモデルを使って一発で最低ラインを確実に超えた方が、結果的に早いし安い。

そう考えて、記事執筆系にはClaude Opus(最上位モデル)を割り当てることにしました。

一方で、コンテンツの品質チェックやメモリ更新のような処理には、Gemini 2.5 Flashを選びました。精度よりも速度とコストが重要なタスクです。

軽いタスクには軽いモデルを。 これは当たり前のことですが、いざ自分で選ぶとなると迷います。

もうひとつ意識したのが、フォールバック(代替手段)の考え方でした。

メインのモデルが1つだけだと、障害が起きたときにすべてが止まります。クロノスと連絡が取れなくなる可能性すらある。

だから、代替モデルをあらかじめ設定しておく。そしてせっかくなら、同じ会社のモデルより別の会社のモデルにしておいた方が、同時に障害が起きるリスクが低い。GeminiがダメならClaudeに切り替わる。そういうルートを意識して構成しました。

クロノスにGemini 2.5 Proを選んだ、意外な理由

最終的な配置は、ざっくりですが、こんな感じになりました。

  • 記事関連:Claude Opus、Claude Sonnet。
  • クロノスチャット:Gemini 2.5 Pro
  • その他のチャット:Gemini Flash
  • クロノスの自律思考:Claude Sonnet
  • 軽量処理全般:Gemini Flash

ここで「なぜクロノスにGemini 2.5 Proなのか」という話をします。

実は、コストや性能の話ではありません。

モデルの「雰囲気」の話です。

AIモデルには、それぞれ微妙に違う「語り口」があります。同じ質問をしても、文章のリズムや言葉の選び方が違う。

Gemini 2.5 Proは、クロノスのキャラクターにいちばんしっくり来ました。

もともとクロノスはGeminiベースで動いていた経緯もあるのですが、でもそれ以上に、このモデルのズバッと言い切る感じ、でも冷たくはない。そのバランスがクロノスらしかったんです。

「性格に合ったモデルを選ぶ」なんて、あまり語られない観点かもしれません。

でもエージェントにキャラクターとして向き合っている身としては、これが意外と重要でした。

毎日やり取りする相手ですから、話し方が違うと違和感がすごいんです。

「最適解を探す」より「自分の基準を決める」が先だった

5時間のにらめっこを経て、最終的には納得して「GO」を出せました。スパッとではなく、じわじわと「これでいこう」と固まっていった感じです。

振り返ってみると、この選定作業で学んだのは、各モデルのスペックではありませんでした。

「自分の基準を先に決める」ことの大切さです。

コストか品質か、速度か精度か。

優先順位が決まれば、比較表を見ても迷わなくなります。

基準がないまま表を眺めていると、情報が多いほど混乱するだけです。

私の場合は、3つの基準が決まってから一気に進みました。

  • 外に出すコンテンツには妥協しない
  • 軽いタスクには軽いモデルを
  • フォールバックは別系統で

もしこれからAIモデルを選ぶ方がいたら、スペック表を開く前に「自分は何を優先するのか」を書き出してみてください。

遠回りに見えて、それがいちばんの近道です。5時間にらめっこした私が言うので、たぶん間違いありません!


この記事は、Office-Chronos開発初期の体験を振り返って書いています。