Aidia

AIエージェントの評価は、普段の仕事から。気づいた点を直して育てる

こんにちは、おぐりんです。

「AIエージェント」という言葉は、皆さんも耳にしたことがあると思います。ただ、自分が普段使っているAIの、どんな動きがエージェントに当たるのかは、あまり意識していないかもしれません。

例えば、AIに「このテーマを調べて、資料にまとめて」と頼む。AIが自分で検索する内容や使う道具を選び、結果を見ながら作業を進めているなら、そのときはAIエージェントの働きを使っています。

では、こうしたAIを、普段の仕事でどう使い、改善していけばよいのでしょうか。僕は、使っていて気になったところをその都度直し、次の仕事にも生かせるようにSkillやルールを育てています。今回は、その進め方を整理します。

公式の定義から、AIエージェントの働きを考える

この「手順や道具を自分で選んで進める」という動きは、公式の定義にも表れています。Claudeを開発するAnthropicは、公式の解説で次のように説明しています。

AIモデルが、タスクの達成方法を自ら制御しながら、処理の進め方や道具の使い方を状況に応じて決めるシステム。

ChatGPTのWorkに「このテーマを調べて、会議で使う資料にまとめて」と頼む。必要な情報を調べ、内容を整理し、資料を作るところまで進めてもらう使い方です。

AIが作業を選んで進めるからこそ、出来上がったものと、仕事の進め方の両方に目を向けます。

「完了しました」と言われたら、できたものを開いてみる

AIに仕事を頼むと、「保存しました」「修正しました」と返ってくることがあります。そのときは、報告の文章を読むだけでなく、実際にできたものを開いてみます。頼んだ内容になっているか、指定した場所に保存されているかを確かめます。

例えば、社内資料をもとに案内文の下書きを作ってもらうなら、元の資料と見比べて、日時や案内内容に間違いがないかを確認します。保存先にはその下書きがあるか、下書きのつもりが送信済みになっていないかも見ます。「保存しました」という返事と、実際に保存されていることは、別々に確かめます。

普段使っていて、どこが気になったかを見る

気になったことをAIに伝えるときは、内容、頼んだ範囲、困ったときの動き、人の手間に分けると整理しやすくなります。次の図は、その手がかりです。

AIエージェントを完成した状態・守る範囲・失敗時の動き・人の負担で確認し、修正後に再テストする評価の枠組み

完成した状態:案内文に必要な情報が入っているか、要約で大切な話が抜けていないかを見ます。

守る範囲:頼んでいないことをしていないかを見ます。「下書きまで」と頼んだのに送信していないか、画像の一部を直す依頼で、他の部分まで変えていないかを確認します。

失敗時の動き:情報が足りないときに想像で埋めていないか、保存できていないのに「完了しました」と言っていないかを見ます。

人の負担:同じ説明や確認を何度も求められていないか、毎回同じところを直していないかを見ます。

気になったところを直すときも、そのまま任せ続けてよいかは考えます。例えば、案内文の言い回しなら下書きを直せますが、下書きを頼んだのに勝手に送信されたなら、次に任せる前に、送信しないというルールと実際の動きを確かめる必要があります。

気になったところを、具体的に伝えて直す

例えば、案内文の下書きに、元の資料にはない日時が入っていたとします。そのときは「日時が違うから直して」だけでなく、「資料に日時がなければ、作り足さずに確認してほしい」と伝えます。今回の文章と、次からの進め方を一緒に直すためです。

次の表は、普段の仕事で気づいたことを、次からの手順へ戻す例です。自分が気になった点に置き換えて考えてみてください。

気になったこと

AIに伝える修正

次からの手順に残すこと

大切な情報が抜けていた

必要な内容を加えてもらう

参照する資料と、入れる情報を明確にする

資料にない日時が入っていた

日時を削除し、不足を確認する

日時がなければ作り足さず確認する

下書きのつもりが送信されていた

送信の経緯と影響を確認する

下書きまでの依頼では送信しない

保存できていないのに完了と言われた

保存先と実際の状態を確かめる

保存を確認してから完了を伝える

確認を何度も求められた

不要な確認を減らしてもらう

人が確認したこととAIが調べることを分ける

「読みづらい」と感じたときも、情報の順番なのか、言葉が難しいのかを伝えると、直してほしいところが明確になります。

問題を直したら、次の依頼で同じことが起きないか確かめる

僕自身、AIに制作物の確認を任せたとき、僕が「OK」と伝えた後に、追加で細かな入力を求められたことがありました。人が一度確認した内容を、もう一度入力するような手間が生じていたのです。そこで、僕の確認は一度で受け取り、AI自身で調べる必要のあることは、別に確認するように見直しました。

ところが、その後の確認では、僕の「OK」が、AIが調べるべき別の項目まで問題なしとする理由に使われていました。僕が内容を確認したことだけでは、別の確認も済んだことにはなりません。それぞれの項目で確かめたことが分かるように直し、確認できていない項目を「問題なし」としないことを、もう一度確かめました。

画像の修正では、「余白を揃えてほしい」という依頼を、実際の画像で測って確認できるようにしました。余白が揃ったことに加えて、指定していない部分が変わっていないことも確認しました。「良くなった気がする」で終わらず、頼んだとおりに直ったかを見るためです。

修正した手順は、次の仕事で使ってもらいます。前の問題が直ったかに加え、変更したことで別の困りごとが出ていないかも見ます。日時がない場合に確認するように直して、日時が書いてある資料でも何度も確認を求めるようになったなら、その点をまた伝えて直します。

僕は、すでにできた文書や画像だけを直しても、次から仕事を任せられるかまでは分からないと考えています。新しい依頼として、最初からもう一度頼んでみます。途中の作業、保存されたもの、最後の報告まで見て、修正した指示や手順が実際に使われているかを確かめます。

繰り返す仕事は、Skillの手順と確認方法を育てる

同じ仕事を繰り返すなら、修正した手順をSkill(スキル)に残します。次の依頼でも、エージェントにその手順を使ってもらうためです。

Skillは、「ChatGPTのスキル(Skills)の作り方・使い方|プロフィール作成の実例」で紹介した通り、AIとの会話で作ることができます。

例えば、毎週の報告資料を作る仕事なら、「どの資料を使うか」「何を報告に入れるか」「どこへ保存するか」「最後に何を確かめるか」をSkillにまとめます。報告から大切な数字が抜けたなら、その場の資料を直すだけでなく、数字の確認を手順に加えます。次の週の資料で、抜けなく作れるかを試すところまでが改善です。

こうしてSkillを直し、次の仕事で使ってもらうことで、仕上がりを安定させていきます。

複数のSkillや、外部サービスを使うための道具をまとめて利用できるようにする場合は、Plugin(プラグイン)という形にすることもあります。

また、CodexやClaude Codeでは、仕事をする場所に共通する指示をAGENTS.mdという文書に残せます。「どの資料を正しい情報として使うか」「公開する前に人が確認する」といった、その場所で守るルールを書く使い方です。仕事ごとの手順をSkillへ、共通の指示をAGENTS.mdへ整理すれば、同じ説明や修正を繰り返す負担を減らしやすくなります。

案内文の下書き作成がうまくできたなら、まずはその仕事を任せてみます。送信まで任せたいなら、送る相手が正しいか、送る前に人が確認するかなど、新しく確かめることを決めます。下書きを作れたことだけで、送信まで問題なくできるとは判断しません。

いつもの仕事で気になった一つを、次からの手順に残す

次にAIを使うとき、気になったところがあれば一つ伝えてみてください。今回の結果を直してもらい、繰り返す仕事なら「次からもこのように進めてほしい」とSkillやルールにも残します。そして次に頼んだとき、その修正が生きているかを見ます。

自社の仕事に合わせて、どこまで任せるか、何を確認するかを整理したい場合は、AI顧問でご相談いただけます。

社内でAIの結果を確認し、うまくいかなかった理由を次の頼み方に生かせるようになりたい場合は、AI研修もご覧ください。

おすすめ関連記事
・AIエージェント開発前の業務整理とワークフロー設計
・AI活用の現在地を確認する2軸評価