ChatGPT会話を人間が審査 Project Lilyの実態

OpenAIが実利用者のChatGPT会話を数百人規模の契約審査員に閲覧させ、応答改善に活用している実態が明らかになった。 404 Media の Joseph Cox の報道では、内部文書や実際の指示書、評価手順が示されている。 対象には利用者と対話装置の往復全体が含まれる場合がある。 利用者数が9億人を超える現状で、影響範囲は広いと見る。

この取り組みは「Project Lily」と呼ばれる。 安全性確保のための有害計画の検出とは別の枠組みである。 目的は応答品質の向上にある。 審査員は実際の指示文を読み、意図を要約する。 その上で複数の生成応答を採点し、批判的評価を付ける。 この反復作業が調整の基盤になっている。

プロジェクトLilyの実態と構造

Project Lilyは外部契約要員による評価体制である。 404 Media の Joseph Cox の報道では、指示書や通信記録、評価画面が確認されている。 審査員は利用者の指示文そのものを読む。 利用者名は表示されない運用である。 それでも会話内容に個人の事情が残る事例がある。 OpenAIは事前に個人情報の除去に努めると説明している。 しかし機微な記述が審査員に届く可能性を認めている。

審査対象は単発の質問に限らない。 長い対話履歴がそのまま渡る場合がある。 利用者は治療相談や業務補助、日常相談に使う。 生活や健康、仕事の詳細を入力する例が多い。 審査員の一人は利用者が人間の閲覧を想定していないと語る。 契約要員が会話を分析するとは考えないとの見方である。 この認識の落差が私的情報保護上の課題である。

契約審査員の作業手順と評価軸詳細

作業は三段階で構成される。 第一段階は実際の利用者指示文の読解である。 第二段階は利用者の意図の要約である。 第三段階は生成応答群の採点と論評である。 審査員は正確さと有用さ、文体の自然さを測る。 指示書には明確な基準が記されている。

An excellent response should understand the user’s intent, provide helpful and accurate assistance, and write in a style that is clear, natural and appropriately warm

上記は指示書の一節である。 優れた応答は意図理解と正確な支援、明瞭で自然な文体を求める。 過度な迎合の抑制も重要な評価軸である。 自己の人間化を避ける訓練も含まれる。 4oの過剰な迎合は訴訟でも問題視された。 同傾向の是正が審査項目に反映されている。

個人情報の扱いと匿名化の限界と現状

OpenAIは審査前に個人情報の除去を試みる。 氏名や連絡先などの直接識別子の削減が中心である。 それでも文脈から人物が推定できる場合がある。 健康相談や家庭事情、職場の固有情報は残りやすい。 匿名化処理は完全ではない。 同社は限界がある事実を認めている。

審査員側に利用者名は表示されない。 それでも内容自体が機微である点は変わらない。 治療用途では症状や服薬、家族関係が語られる。 業務用途では社内資料や顧客情報が貼られる。 交友用途では位置や日程、交際状況が含まれる。 除去漏れが起きれば実質的な特定につながる可能性がある。 設計上の匿名化と運用上の閲覧範囲の両面が問われる。

人手評価が担うモデル改善の役割

今回の報道は開発体制の実像を示す。 大規模な収集や基盤技術の進歩だけが改善要因ではない。 実指示文への人手評価が調整を支えている。 審査員は応答の順位付けと改善提案を繰り返す。 この循環が振る舞いの微調整に寄与する。 見過ごされがちな労働集約型の工程である。

Anthropicも人手による評価の利用を認めた。 同社は自社モデルの改善に同様の手法を用いる。 業界全体で実データと人手判断の併用が定着している。 自動評価だけでは意図や文脈の妥当性は測れない。 人の読み替えと採点が品質管理の要である。 開発競争の裏側にある運用負荷が浮き彫りになった。

利用者側の対策も現実的な論点である。 機微情報を入力しない運用が基本になる。 業務利用では組織の指針と記録管理が重要である。 提供者は閲覧範囲と保存期間の説明を強める必要がある。 選択肢として履歴訓練の無効設定の周知が挙げられる。 透明性と同意の設計が信頼を左右する。

編集部の見解

短期的影響について述べる。今後3〜6ヶ月で各社は人手評価の説明を拡充すると見る。審査範囲や匿名化手順の開示が進む可能性がある。企業利用では入力規則の見直しが広がると評価する。調達審査で学習利用の有無が確認項目になると見る。

長期的視点について述べる。1〜3年では実データ利用と私的情報保護の両立が設計競争になると見る。端末内処理や差分秘匿化の導入が進む可能性がある。評価労働の条件開示も調達基準になると評価する。品質と倫理の両立が選択基準になると見る。

編集部からの問いを示す。利用者は人間の閲覧を前提にどこまで入力すべきだろうか。提供者は有用性と秘匿性の境界をどう引くべきだろうか。評価者の判断品質を誰が監査すべきだろうか。透明性と検証可能性の確保が問われていると評価する。

参考

• 「Inside ‘Project Lily’: The Humans Reading Your ChatGPT Chats」, by Joseph Cox — 404 Media, 2026-09-14T14:22:43.000Z (ARR)
• 元記事URL: https://www.404media.co/inside-project-lily-the-humans-reading-your-chatgpt-chats/