はじめに

はじめまして、EdTech LabのYumaです。この度、初めてのブログ投稿をさせていただきます。よろしくお願いします。私は日々の業務でプロンプトエンジニアリングに携わることが多く、これまでの経験から得た知見やコツを、このブログなどで、どんどん発信していきたいと思います。

人工知能技術の発展により、Large Language Model (LLM)の活用が広がっています。その中で、プロンプトエンジニアリングの重要性が増していますが、効率的なプロンプト開発には体系的なアプローチが必要です。本記事では、以下の4つの主要なアプローチについて、実践的な知見を共有していきます：

効果的な開発フローの構築
LLMによる評価基準の設定・改善
LLMによるプロンプトの改善
出力フォーマットの最適化

これらのアプローチを適切に組み合わせることで、より効率的で質の高いプロンプト開発を実現しましょう。

効果的な開発フローの構築

プロンプト開発の成功には、体系的なアプローチが不可欠です。一般的なソフトウェア開発と同様のフローを基本としながら、LLMの特性を活かした独自の要素を組み込むことにより、開発生産性が向上します。

具体的な開発フローは以下の段階で進めていきます：

特筆すべき点として、開発の初期段階では機械的評価とLLMによる自動評価を活用することで、効率的にプロンプトの質を高めることができます。開発後期では人間による評価を導入し、細かな調整を加えて最終的な仕上げを行います。改善プロセスにおいては、LLMが提案を行い、人間が監修するという協調的なアプローチを取ることで、より質の高い成果物を生み出すことができます。

LLMによる評価基準の設定・改善

効果的な評価基準の設定は、プロンプト開発の成否を左右する重要な要素です。評価において考慮すべき主要な観点は以下の通りです：

アウトプットのフォーマット適合性
タスクの完成度
タスクの正確性

特に注目すべきは、数値化可能な基準の設定です。これにより、プロンプトの比較が容易になり、改善プロセスの自動化も可能になります。評価方法としては、以下の3つのアプローチを組み合わせることで、多角的な検証が可能になります：

機械的評価：定量的な指標による評価
LLMによる自動評価：別のLLMを用いて評価基準への達成度を判定
人間による評価：質的な観点からの評価

例えば、架空のエンジニアプロフィールをJSON形式で生成するタスクを考えてみましょう：

期待される出力例：

[
    {
        "name": "山田太郎",
        "age": 28,
        "occupation": "ソフトウェアエンジニア",
        "skills": ["Python", "JavaScript", "Docker"],
        "experience": "3年"
    },
    {
        "name": "鈴木花子",
        "age": 32,
        "occupation": "フロントエンドエンジニア",
        "skills": ["React", "TypeScript", "HTML/CSS"],
        "experience": "5年"
    },
    {
        "name": "佐藤健一",
        "age": 25,
        "occupation": "データエンジニア",
        "skills": ["Python", "SQL", "AWS"],
        "experience": "2年"
    }
]

このタスクの評価基準は以下のように設定できます：

フォーマット適合性：
- 有効なJSON形式であるか
- 必須キー（name, age, occupation, skills, experience）が含まれているか
- データ型が正しいか（ageは数値、skillsは配列など）
タスクの完成度：
- プロフィール情報の多様性
- スキルセットの現実的な組み合わせ
- 経験年数と年齢の整合性
正確性：
- 職種とスキルの適切な対応
- 日本の一般的な就労年齢との整合性
- 技術スタックの現実性

これらの基準に対して：

機械的評価：JSONフォーマットの検証、年齢範囲チェック、必須フィールドの確認
LLMによる自動評価：スキルセットの妥当性、職種との整合性チェック
人間による評価：プロフィールの現実味、技術スタックの時代適合性

さらに、評価基準の設定においてもLLMのアシストを活用するのが効果的です。実際の開発では、人間が想定していなかった重要な評価観点をLLMが提案してくれることも少なくありません。また、評価を行うLLMからは判断の理由も併せて取得することで、より深い洞察を得ることができます。

LLMによるプロンプトの改善

私の経験の限りでは、最も効果的なプロンプト開発アプローチは「人間によるベースプロンプトの作成」と「LLMによる改善」を組み合わせる方法です。この手法では、人間とLLMの創造性と分析能力を最大限に活用できます。特筆すべきは、このアプローチによって予想を超える効果のあるプロンプトが多く生まれることです。実際、LLMは人間が思いつかないような斬新な改善案を提案することがあり、それによってプロンプトの品質が大幅に向上することもあります。

開発プロセスにおいては、評価基準に基づいて別のLLMを活用することで、時間とリソースを大幅に節約することができます。また、評価結果をLLMにフィードバックすることで、プロンプトの改善も可能です。さらに、課題の洗い出しや改善方針の検討においても、LLMのアシストを受けることで、より効率的な開発サイクルを実現できます。

LLMをプロンプト開発の様々な段階で活用することで、高品質かつ効率的な開発プロセスを構築することができます。

ベースプロンプトの作成戦略

ベースプロンプトの作成は、やはり人間が担当するのが最も効果的です。LLMで生成するのも一つの手ですが、「ベースプロンプトを生成する」自体も複雑なタスクであり、生成用のプロンプト自体も必要となるため、かえって工程が複雑化してしまい、本末転倒になってしまいます。

ただし、LLMをアシスタントとして活用することは非常に効果的です。例えば、レッスンアセスメントを生成するタスクでは、アセスメントの基準やガイドラインをLLMで洗い出し、それをプロンプトに組み込むことで、より質の高い結果を得ることができます。

出力フォーマットの最適化

プロンプトの改善プロセスでは、フォーマットの最適化が特に効果的です。タスクの完成度や正確性の向上には、明確なゴール設定と詳細な評価基準が重要であり、これらの基準が詳細で明確であるほど、改善の効果が高まります。まだ、数学の問題を解くのように、単に答えを示すだけでなく、その過程を明確に示すアプローチが重要です。

出力フォーマットの設計において、数学の授業で解答を示すように、単純な結論だけでなく、「なぜそうなるのか」「どのように考えたのか」という推論プロセスも含めた詳細な構造を採用することで、より高い精度を達成できます。これにより：

モデルによる自己チェックが可能になる（各ステップの妥当性を確認できる）
論理的な矛盾を発見しやすくなる（推論の流れの中で不整合を特定できる）
結果の検証が容易になる（プロセスを追跡することで検証が可能）
エラーの原因特定や改善点の把握が明確になる（どのステップで問題が発生したかを特定できる）

このように、数学の問題を解くように段階的なアプローチを取ることで、より正確で信頼性の高い結果を得ることができます。

具体例として、こんなタスクがありました

タスク：会話形式での質問回答判定システム

目的：
- 生徒が質問に対して会話形式で答えを出す
- 回答が正解かどうかを判定する

特徴：
- 各質問には正解となる特定の単語が設定されている
- 生徒は会話を通じて回答する
- システムは回答の正誤を判定する

このタスクで、同じPromptを使用し、出力フォーマットだけを変えて、3段階のJSONフォーマットで精度の違いを検証してみました。

// 出力形式1（基本）
{
    "is_correct": true/false
}
// 出力形式2（理由付き）
{
    "is_correct": true/false,
    "reason": "判断理由の説明"
}
// 出力形式3（詳細分析）
{
    "correct_word": "正解の単語",
    "answered_word": "答えた単語",
    "is_correct": true/false,
    "reason": "判断理由の説明"
}

検証の結果、出力形式3が最も精度が高いことが判明しました。その理由については推測となりますが、主に以下の要因が考えられます。

文章から抽出した単語を明示的に表示
- 解釈の正確性を直接確認可能
- 正解の単語と答えた単語の抽出から意味比較まで段階的検証が可能
エラー分析の容易さ
- モデル自身による判断プロセスの確認が可能
- 自己検証機能の向上

さらに、評価プロセスにおいて別のLLMを活用し、判断理由を明示的に出力させることで、問題点を的確に特定し、ピンポイントでの改善が可能になります。

おわりに

本記事では、LLMを活用したプロンプト開発について、人間の創造性とLLMの分析能力を組み合わせた効果的なアプローチを紹介しました。今後もLLM技術は発展を続けていくことが予想され、それに伴いプロンプトエンジニアリングの手法も進化していくでしょう。各プロジェクトの特性に応じて、本記事で紹介した手法を適切にカスタマイズすることで、より効果的なプロンプト開発が実現できると考えています。