前回の記事では、AI仮想オフィス「Office-Chronos」を完成させた私が、次のステップとしてAIエージェントの構築に挑み、「プロンプト地獄」にハマった話を書きました。
30時間以上をプロンプト設計に費やし、1つ直せば別が壊れるジェンガのような格闘を繰り返した末に、ようやくエージェントが動き始めた。
でも、それは「終わり」じゃなく「始まり」だったのです。
後編では、プロンプト地獄から何を学び、その後どう付き合っているのかを書いていきます。
動いた。でも「完璧」じゃなかった
3時間ごとにスケジューラーが回り、ニュースを拾い、KPIを読み、記事の下書きを生成する。朝と夕方にはレポートが届く。
エージェントは確かに動いていました。
でも、動き始めてから気づくことが山ほどあったんです。
たとえば、生成される記事の品質にムラがある。
あるときは「おっ、これいいじゃん」と思えるものが出てくるのに、次の回では「何を言いたいのかわからない」ものが出てくる。同じプロンプトなのに。
ニュース分析でも、的確にトレンドを拾えている日もあれば、まったく見当違いのニュースを「重要」と判断している日もある。
この「ムラ」が、地味にきつかった。
完全に壊れているならプロンプトを直せばいい。でも「たまにうまくいく、たまにダメ」だと、どこを直せばいいのかがわからない。問題の原因が見えにくいんです。
プロンプトは「生き物」だった
このムラと格闘するうちに、ある感覚が芽生えてきました。
プロンプトって、書いて終わりのものじゃない。生き物みたいなものだ。
一度書いたら完成、ではない。動かしてみて、結果を見て、直して、また動かす。その繰り返しがずっと続く。
考えてみれば当然なんです。エージェントが扱う情報は日々変わる。ニュースの傾向も変わるし、KPIの数値も変動する。同じプロンプトでも、入ってくるデータが違えば出力も変わる。
だから、プロンプトも環境に合わせて育てていく必要がある。
「完成」という概念がそもそもない。あるのは「今のところ、これが一番マシ」という状態だけ。
これに気づいたとき、気持ちがだいぶ楽になりました。
完璧を目指して苦しんでいたけれど、そもそも完璧なんて存在しなかった。「今日のベスト」を出し続けるしかないんだ、と。
地獄から持ち帰った「3つの武器」
プロンプト地獄は、ただ辛かっただけではありませんでした。あの格闘の中で、運用を楽にするための考え方が3つ見えてきたんです。
1つ目。ログから学ぶ。
エージェントが生成したものを「良かったもの」と「ダメだったもの」に分けて蓄積していく。感覚で「なんか違う」と判断するんじゃなくて、具体的に「この生成は○○だからダメだった」と記録する。
10例ずつくらい溜まると、パターンが見えてきます。「長い前置きが入ると質が落ちる」とか「データの渡し方を変えると論理の飛びが減る」とか。
勘じゃなくデータで判断する。これだけで、プロンプト修正の精度がだいぶ上がりました。
2つ目。プロンプトをモジュール化する。
前編で書いたように、エージェントのプロンプトは複数が連鎖しています。だからこそ、それぞれを独立したモジュールとして管理する。
要約用、戦略提案用、ツール呼び出し用。それぞれを分けて、個別に調整できるようにする。
こうしておくと、問題が起きたときに「どのモジュールが原因か」が特定しやすくなる。ジェンガ状態だったものが、少しずつ安定した構造に変わっていきました。
3つ目。数値で判断する。
「なんとなく良くなった気がする」では、改善が続きません。
論理的におかしな出力がどれくらいの頻度で出るか。1回の提案にどれくらいのトークン（AIが処理するデータの単位）を使っているか。ツールの呼び出しが成功する割合はどれくらいか。
こうした数字を追いかけるようにしたことで、「直すべきか、このままでいいか」の判断が感覚頼みじゃなくなりました。
この3つは、プログラミングの知識がなくても実践できます。必要なのは「記録する習慣」と「パターンを見つけようとする目」だけ。
誰も言わない「AIエージェントの本当のコスト」
エージェントを運用し始めて、もう一つ見えてきたことがあります。
AIエージェントのコストは、API料金だけじゃない。
表のコストは分かりやすい。私の場合、APIの利用料は月に5,000円から8,000円くらい。これは想定の範囲内でした。
でも、裏のコストが想像以上に大きかった。
プロンプト設計に数十時間。そしてエージェントが動き始めた後も、週に1〜2時間は微調整に使っている。ログを確認して、出力を評価して、プロンプトを少し書き換えて、また様子を見る。
この「運用メンテナンス」の時間は、エージェントが動いている限りずっと続きます。
SNSで見かける「AIで自動化！」という言葉の裏には、この見えないコストがある。自動化は「タダ」じゃない。初期投資としてのプロンプト設計と、永遠に続くメンテナンスが必ずセットでついてくる。
これを知った上で始めるのと、知らずに始めるのとでは、壁にぶつかったときの心の持ちようがまるで違います。
私は知らずに始めた側でした。だからこそ、こうして書いています。
それでも、作ってよかった
ここまで読むと「大変すぎるからやめたほうがいい」という話に聞こえるかもしれません。
でも、そうじゃないんです。
プロンプト地獄を経て、週に数時間のメンテナンスを続けて。それでも、AIエージェントを作ってよかったと思っています。
なぜか。
- 寝て起きたら記事が出来上がっているという体験
- AIエージェントを子供のように育てる体験
- AIの裏側を知り、学ぶ体験
これらのことを一度体験したら、やめられなくなってしまったのです。
プロンプトをなおす時間は、「つまらない」と感じることも少なくはありませんでした。しかし、数十時間のプロンプトの格闘を終えたことで、AIの仕組みが見えてくるようになったのです。
ここで得た体験はわたしにとっての大きな学びとなりました。上辺丈のAI論に流されない、そんな自分に慣れた気がします。
これからエージェントを作る人へ
最後に、これからAIエージェントに挑戦しようとしている人に向けて。
私の経験から言えることは、とてもシンプルです。
プロンプト設計には時間がかかる。それは普通のことだ。
10時間、15時間、あるいはもっとかかるかもしれない。でも、それは失敗じゃない。エージェントを作るとは、そういうことです。
そして、最初から完璧を目指さないこと。
私のエージェントも、最初はドラフトチェックが手動のまま試運転を始めました。全部を自動化してから動かすのではなく、動かしながら直していく。「完璧」より「動いて改善」。このスタンスでなければ、プロンプト地獄に心が折れていたと思います。
もう一つ。いきなりエージェントから始めないこと。
まずは単発の生成から。「記事を書いて」「このデータを要約して」というシンプルなやり取りで、AIとのコミュニケーションに慣れる。そこからプロンプトの書き方を覚え、少しずつ複雑なことをやっていく。
私もいきなりエージェントを作ったわけではありません。Office-Chronosという仮想オフィスを作り、クラウド環境の構築で鍛えられ、AIとの付き合い方を学んだ上で、ようやくエージェントに辿り着いた。
順番があるんです。
そして最後に、これだけは伝えたい。
非エンジニアでも、AIエージェントは作れます。
ただし、簡単ではない。プロンプト地獄は来る。15時間かかるかもしれない。完成後もメンテナンスは続く。
でも、その先には「自分の代わりに動いてくれる存在」がいる世界が待っています。
プロンプト地獄は確かに辛い。でも、抜けた先の景色は、入る前には想像もできなかったものでした。
この記事は、約2ヶ月前の体験を振り返って書いています。 前編：AIエージェントを作ったら「プロンプト地獄」が待っていた
