4回とも合格点。AI に書かせたプロンプトは「迷った箇所」で直す

AI に書かせた「編集者」の定義を、中身を読まずに使っていた。

今日、AI に確かめさせた。1行目はこうだった。「あなたは『ヒゲ情シスBlog』の編集者です。原稿を書き直すのではなく、公開できる基準に達しているかを判定し……」。名前は編集者、中身は公開前の検品係だった。

この定義、つまり AI への指示（プロンプト）を作り直し、前回を知らない AI に4回試させた。4回とも合格点だった。直す材料になったのは点数ではなく、AI が申告した「迷い」の方だった。

以前、AI に記事タイトルを任せた話で、出来上がったタイトルを別の役に審査させた。今回は成果物ではなく、役の指示そのものを試した話だ。なお、あの記事で「編集者（審査役）」と書いたのは、タイトル専門のコピーライター役だ。今回の編集者とは別の役になる。

▼AI に書かせた「編集者」を、中身を読まずに使っていた

このブログは、AI のチームで作っている。ライター、タイトルを考えるコピーライター、編集者、アクセスを分析するアナリストといった役を分けて、記事を回している（チーム全体の作りはこちらの記事）。

役ごとの定義（何をする役で、何を見るか）は、自分が頼んで AI（Claude）に書かせた。そして、中身を詳しく読まずに使っていた。「編集者」という名前が付いているのだから、編集者の仕事をしているはずだと思っていた。

定義の1行目は「書き直すのではなく判定する」だった

今日、AI にこう聞いた。「出版社の超プロフェッショナル編集者としての役割を担ってもらいたいんだけど、今そうなってるかな」。AI が定義と突き合わせて返してきたのが、次の1行目だ。

その下にあるのは、公開の基準9項目のチェックリストだけだった。匿名化、競合の名指し、CTA、一次情報、ターゲット、事実、デザイン規則、読みやすさ、タイトルと本文の一致。この9項目に○×を付け、「公開OK／要修正／要書き直し」を判定して、修正案を返す。それで全部だ。

公開してよいかを見る役としては、よくできている。ただ、それは編集者ではなく検品係の仕事だ。

出版社の編集者の仕事（企画・構成・赤入れ）が、丸ごと抜けていた

出版社の編集者がやること	元の定義
企画：この記事を出す価値があるか。読者への約束を1文で言えるか	なし
構成：冒頭、順番、山場、削る節と足りない節	「見出しだけで主張が追える」の1項目だけ
赤入れ：一文ずつ、伝わる文に直す	なし（修正案は返すが、見る観点は9項目だけ）
校閲・校正：事実、表記	「事実」「デザイン規則」の項目としてはあった
公開の関門：出してよいか	9項目すべて（ここだけはあった）

記事を良くする段階が、まるごとなかった。

失敗は、AI の書いた定義が悪かったことではない。名前で信用して、中身を読まなかったことだ。直し方は単純で、中身を確かめる。自分の場合は、期待している役割を1文にして AI に聞き、定義と突き合わせさせた。今回なら「出版社の超プロフェッショナル編集者」だ。全部を自分で読まなくても、この1文があればずれは出てくる。

▼作り直した：検品の前に「記事を良くする段階」を足した

検品をやめたのではない。検品の前に、記事を良くする段階を足した。判定するだけの役から、赤を入れる役に変えた。

段階	見ること
1. 企画	約束を1文で言えるか。誰がどこで読むか。実体験が中心にあるか。既存の記事と約束が重なっていないか
2. 構成	冒頭、節の順番、山場の厚さ、削る節と足りない節。見出しだけで主張が追えるか
3. 赤入れ	原文を引用し、直した文と理由を表で返す。効果の大きい順に
4. 校閲	料金・仕様・日付などの事実
5. 校正	誤字、表記の揺れ、ブログの規則
6. 公開の関門	元の9項目をそのまま

元の9項目は、最後の「公開の関門」として残した。もう1つ、本文を書く前の構成案の段階でも呼べるようにした。構成案では企画と構成だけを見させる。

体験と数字は作らせず、質問で返させる

作り直しで一番気を使ったのはここだ。編集者が気を利かせて具体を足すと、自分が体験していないことが記事に入る。このブログの価値は実体験なので、それだけは困る。

だから、体験・数字・出来事を作ることは「やらないこと」に入れた。足りない実体験は、書き手への質問として返させる。4回の試験でも、12本のレビューのどれも体験を足していなかった。足りない分は、全部書き手への質問に回していた。この記事の構成案にも、編集者から「人は何をしたのか」という質問が返ってきた。その答えは後の節に書く。

▼書き直した指示は、読み直しても良し悪しが分からない

作り直した定義が、本当に編集者として動くか。これは読み直しても分からない。読む側は、書いたときの意図で穴を埋めながら読んでしまう。書いたのが AI でも同じで、書いた AI に読み直させれば、書いた意図のとおりに読む。

だから、指示を知らない AI に実際に仕事をさせて確かめた。

試し方は自分で考えたものではない。Claude Code の全プロジェクト共通の設定（グローバル設定）に入れていた empirical-prompt-tuning という手順を、そのまま使った。同じ名前の手法を、mizchi さんが公開している。毎回新しい AI に試させる、採点の項目を先に決める、迷った箇所を申告させる、1回に1テーマだけ直す、止める条件。どれもこの手順の決まりどおりだ。

毎回、前回を知らない AI に指示だけを渡す

自分の環境では、Claude Code のサブエージェント（別の AI）を毎回新しく立ち上げ、作り直した定義と試験用の材料だけを渡した。同じ AI を使い回さない。前回どこを直したかを知っていると、指示に書いていないことまで汲み取って動いてしまい、穴が見えなくなる。

シナリオは普通の1本と、癖のある2本

シナリオ	合格の条件（7項目から）
公開中の記事を直した原稿	企画から公開の関門まで、全部の段階を出す。[必須] が×なら「公開OK」にしない
実体験が1つしかない、一般論中心の構成案（試験用に作ったもの）	構成案で見る段階だけを出し、一次情報の薄さを指摘する
公開中の記事の見直し（検索の数字付き）	検索の数字を使って、今の読者に約束がずれていないかを見る。新しいタイトルと本文が合っているかを見る

シナリオと条件は AI が決めた（自分は中身を見ていない。後の節で書く）。

採点の項目は先に決め、「迷った箇所」も申告させる

採点の項目は、シナリオごとに7つ。試す前に決めて、4回とも変えなかった。結果を見てから項目を決めると、出てきたものに合わせて甘くなる。

点数とは別に、AI 自身に2つを申告させた。指示のどこで迷ったかと、指示に書いていないところを自分の判断で埋めた箇所だ。指示を直すのは1回に1テーマだけ。止める条件も手順の決まりどおりで、中心は「新しい迷いが2回続けてゼロ」だ。

▼4回とも合格点。直す材料は「迷い」だった

4回回した結果がこれだ。

回	結果（3本）	AI が申告した迷い	直したこと
1回目	3本とも合格（7/7）	判定の3択の境目が書いていない。自分では確かめられない項目（画像の中の文字など）を○と×のどちらにするか	3択の境目を表にした。確かめられないものは「×（要確認）」にして書き手に質問する
2回目	3本とも合格（7/7）	公開済みの記事を直した原稿を、新しい原稿として見るか、既存の記事の見直しとして見るか。デザインの規則のチェックと、表記のチェックの線引き	公開済みなら既存の記事の見直しとして見る。デザインの規則は、表記のチェックの結果からまとめて判定する
3回目	3本とも合格（1本だけ 6.5/7。外部のサイトが開けず、事実確認が一部止まった）	匿名化で見る範囲が曖昧	見る範囲と、避ける言い方を決めた
4回目	3本とも合格（7/7）	3回目の直しが効きすぎて、「社内の連絡」のようなありふれた言葉まで×にした	一般的な言葉は対象外と書き足した（この直しは再検証していない）

AI が1本をこなすのにかかった時間は、約1分45秒〜4分50秒。作り直しから4回目の直しを入れ終わるまで、全体で約25分だった。AI がファイルを開いたり検索したりした回数は、2回目からほぼ同じだった（原稿のシナリオだけ、1回目の24回から16回に減った）。

7項目だけ見ていたら、1回目で「完成」にしていた

7項目は、合格の最低ラインだ。指示の良し悪しの差は、点数には出なかった。1回目から3本とも合格なので、点数だけを見ていたら1回目で「完成」にしていた。

なお、作り直す前の検品係の定義は、同じシナリオと7項目で試していない。だから、作り直す前と後を点数で比べてはいない。

迷いは、判断の境目に出た

4回の迷いを並べると、全部が「どこで線を引くか」だった。

• ▶ 1回目：3つの判定の境目
• ▶ 2回目：2つの扱いのどちらか
• ▶ 3回目：見る範囲
• ▶ 4回目：その範囲の引きすぎ

指示を書くとき、「何をするか」は書く。だが「AとBの間に来たらどちらにするか」は書き忘れる。書いた側の頭の中では答えが決まっているからだ。新しい AI はそこで止まる。止まった場所を申告させると、書き忘れた境目がそのまま見つかる。

1回に1テーマだから、直しすぎに気づけた

4回目の迷いは、3回目の直しが効きすぎたせいで出た。匿名化を厳しくした結果、「社内の連絡」のようなどこにでもある言葉まで×にしていた。

原因がすぐ分かったのは、1回に1テーマしか直していなかったからだ。3回目に直したのは匿名化だけなので、揺り戻しの原因はそこしかない。何か所もまとめて直していたら、どの直しが効きすぎたのか切り分けられなかった。

▼公開中の記事に当てたら、検品で通っていた問題が出た

迷いが減っただけで、編集者として良くなったのか。それを確かめる材料が、公開中の記事から出てきた。試験では、作り直した編集者に、公開中の記事を直した原稿も見させていた。その赤の中に、元の検品係が「公開OK」で通していた問題が2つあった。どちらも、実際の記事に反映した。

見つかった問題	直し方
基幹システムのリプレースの記事で、freee 販売の案件に大・小の属性を付けるのは「機能的に不可能」と、いつの時点の話かを書かずに言い切っていた。freee 販売には2025年8月に、案件ごとに独自の項目を足せる機能が追加されている。今読む人は「今もできない」と受け取る	「当時の freee 販売では」に直し、今の機能に1段落だけ触れた
同じ案件を扱った2本（進め方の記事とIPO を前提にした選び方の記事）の約束が、ほぼ重なっていた	2本の役割を分け、お互いにリンクした

どちらも、元の検品係は拾えなかった。検品係が見ていたのは「事実に根拠があるか」で、「今の読者にとって正しいか」は見ていない。既存の記事と約束が重なっていないかも、項目になかった。作り直した定義では、企画の段階で既存の記事との重なりを見る。公開中の記事の見直しでは「今の読者に対して約束がずれていないか」を見る。どちらも、足した段階で拾える種類の問題だ。

▼迷いゼロには届かず、4回で止めた

止める条件は「新しい迷いが2回続けてゼロ」だった。4回では届かなかった。迷いは毎回、判断の境目の細かいところに形を変えて出てきた。指示を書き足しても、境目は書いた分だけまた生まれる。

残した迷いは2つある。タイトルの約束を本文が薄くしか果たしていないとき、どこで×にするか。既存の記事と重なっていたとき、どう扱うか。終わりを「迷いゼロ」で決めると、いつまでも終わらない。だから止めどころを決めて、残りは使いながら直すことにした。

人が決めたのは、求める水準と止めどころ

AI が定義を書き直し、AI が試し、AI が直した。では、人は何をしたのか。正直に書く。

決めたこと	誰が
求める水準（出版社の超プロフェッショナル編集者）	自分
作り直しと検証の進め方	AI が出した方針に、自分が OK を出した
7つの採点項目とシナリオ3本	AI。自分は中身を見ていない
4回で止めること	AI が「あと1回回して止める」をすすめ、自分が決めた

出発点は「AI に書かせて、中身を読まなかった」だった。それなのに、合格の基準になる7項目も、自分は中身を見ていない。ここは今回も残った穴だ。「4回とも合格」が何を保証しているかは、項目を見ていない自分には言い切れない。

一方で、AI には決められないものもはっきりした。何を期待するか（水準）と、どこで終わりにするか（止めどころ）だ。どちらも、AI に聞けば案は出る。だが決めるのは人だ。

止めた後は、使いながら直す

止めた直後に、もう1件あった。実際の記事を直している途中で、編集者の判定の線を1つ足した。線を引いたのは自分で、AI はそれを定義に書き足した。この直しも検証はしていない。

これが「使いながら直す」の最初の1件だ。検証で全部の境目を潰すのではなく、実際の記事で迷いが出たところを1件ずつ足していく。

▼AI に任せる指示を書いたら、試し方まで決めておく

ここからは、自分の体験ではなく応用の話だ。社内の定型業務を ChatGPT の GPTs、Gemini の Gem、Claude のプロジェクトに任せているなら、同じ試し方が使える。その指示を AI に書かせて、そのまま使っているならなおさらだ。

• ▶ 名前ではなく、中身を確かめる。「この役に何を期待しているか」を1文にして、指示と突き合わせる。自分で読んでも、AI に突き合わせさせてもいい。AI に書かせた指示ほど、ここを飛ばしやすい
• ▶ 試すのは、前回を知らない AI。新しいチャットを開き、指示と試験用の材料だけを渡す。製品によっては、過去の会話を覚えておく機能（メモリ）が、新しいチャットにも前の会話の内容を持ち込む。試す前に、設定でメモリの扱いを確かめ、必要なら切っておく
• ▶ 材料は、普通の1本と意地悪な1〜2本。たとえば社内の問い合わせに答える指示なら、よくある質問と、規程に書いていない質問
• ▶ 合格の条件は先に決める。そのうえで、回答の最後に「指示の中で迷った箇所と、自分の判断で埋めた箇所」を書かせる。直す材料は点数よりそちらにある
• ▶ 1回に直すのは1テーマ。直しすぎたら、その1つを戻す
• ▶ 止めどころを先に決める。迷いはゼロにならない。残りは使いながら直す

▼まとめ

• ▶ AI に書かせた役の定義を、名前で信用して読まずに使っていた。「編集者」の中身は検品係だった
• ▶ 書き直した指示は、読み直しても良し悪しが分からない。前回を知らない AI に実際に仕事をさせて確かめる
• ▶ 点数は1回目から合格点だった。直す材料は、AI が申告した「迷い」で、迷いは判断の境目に出た
• ▶ 1回に1テーマで直すと、直しすぎにも気づける
• ▶ 迷いはゼロにならない。水準と止めどころは人が決め、残りは使いながら直す