Anthropic发布的视频AI prompt engineering: A deep dive中，来自Anthropic的四位提示工程（Prompt Engineering）专家，Amanda Askell (Alignment Finetuning), Alex Albert (Developer Relations), David Hershey (Applied AI)和Zack Witten (Prompt Engineering)围坐在一起，对Prompt Engineering进行了全面而深入的讨论，尤其是强调了提示的设计、迭代优化以及在不同应用场景中的实际表现。
提示工程Prompt Engineering通过编写或调整输入（提示），使AI模型能够产生符合期望的输出。提示工程并不只是简单的语言指令，而是一个需要“工程思维”的过程，涉及反复试验和调优，类似于编程。在这个过程中，提示的设计需要经过细致的构思、试验和修改，以逐渐接近理想的模型行为。
- 工程思维：提示工程之所以被称为“工程”，是因为它不仅仅是输入一句话让模型回答这么简单，还包括对整个系统进行优化和集成。在许多企业应用场景中，提示不仅要能解决单个任务，还需要适应整个系统的运行需求，这就要求工程师在提示设计时兼顾多方面因素。
- 不断优化和试验：与普通对话不同，提示工程强调系统化的实验。每次修改提示都是为了测试其在不同情况下的表现。这就像编程一样，需要通过多次迭代，找到最优的解决方案。
- 试错与迭代：提示工程的核心在于反复试验（trial and error）。不像与人对话一样，AI模型有一个“重启”按钮，工程师可以通过清除之前的上下文并从头开始，不断调整提示，找到最合适的表达方式。
- 沟通的清晰性：一个好的提示工程师必须擅长用简单明了的语言与模型沟通。设计提示的过程中，清晰表达任务或问题是首要任务，类似于在与人对话时，需要让对方充分理解问题的核心。
1. 如何设计有效的提示
- 构造明确的任务描述：一个好提示的核心是清楚地描述任务。例如，如果提示模型提取某种特定信息，工程师必须确保提示中的每个细节都明确无误，避免模型的误解。
- 考虑特殊情况：提示设计不仅要覆盖常规情况，还需要预想到可能的异常情况，并针对这些情况提供额外的指导。例如，当提示要求提取特定数据时，工程师还要考虑到数据缺失或格式异常时模型该如何处理。
- 避免过度抽象：一些工程师在提示设计中可能会过于追求抽象化，这往往导致提示复杂且不易理解。实际上，更有效的方式是保持提示的简单和直接，用明确的语言告诉模型应该做什么。
2. 成为优秀Prompt Engineer的条件
- 清晰的表达能力：优秀的提示工程师需要具备极强的沟通能力，能够用简单的语言传达复杂的任务。这不仅仅是为了让人类理解，也是为了让AI模型准确捕捉任务的核心。
- 迭代和修正的能力：提示工程师在工作中需要不断进行迭代。在每次与模型交互后，工程师必须仔细分析模型的输出，并找出其中的错误或不明确之处，进而修正提示，直到输出符合预期。
- 预判模型的误解：提示设计不仅要解决标准任务，还需要考虑模型可能出错的情况。一个优秀的提示工程师会提前思考这些问题，并通过提示提供应对策略。例如，如果提示要求模型从数据中提取以“G”开头的名字，工程师还需要考虑当数据中没有这样的名字时，模型该如何处理。
3. 模型响应和输出的分析
- 阅读输出：提示工程师在与模型交互时，不仅要关注模型的最终输出，还要仔细阅读输出的每个步骤，以了解模型的思维过程。这类似于机器学习中的“查看数据”，工程师需要通过分析模型的每个输出，找出模型的理解偏差或错误。
- 逐步推理：在设计提示时，工程师可以通过让模型“逐步思考”（chain of thought）来提高复杂任务的准确性。例如，在处理数学问题时，提示可以要求模型逐步列出每个解题步骤，而不是直接给出最终答案。通过这种方式，可以提高模型在复杂任务中的表现。
4. 提示工程中的实际应用
- 企业应用中的提示设计：在企业环境中，提示的设计更强调稳定性和一致性。提示需要处理大量用户输入，并确保输出的可靠性。与研究不同，企业应用中的提示往往包含更多的示例和更细致的指引，以确保模型在多种场景下都能表现良好。
- 研究中的提示设计：在研究环境中，提示的设计更注重探索模型的多样性。工程师可能会故意设计一些非常不同的示例，以测试模型的灵活性和适应性。这种方法有助于发现模型的潜在能力和局限性。
8. Prompt Engineering的未来发展
- 内置能力的提升：随着AI模型的不断进化，许多过去需要通过提示工程来实现的功能，现在已经可以通过模型的训练直接内置。例如，过去处理数学问题时，提示需要明确要求模型逐步思考；但现在模型可以通过训练自动执行这些步骤。
- 提示工程的持续发展：虽然模型变得越来越智能，能够自动处理许多任务，但提示工程仍然是一个重要的领域。随着技术的进步，工程师将继续优化提示设计，使之与更强大的模型相匹配，并进一步提高模型在复杂场景中的表现。
9. 提示工程中的陷阱与误区
- 过度依赖提示的“捷径”：一些提示工程师可能会过度依赖提示设计中的一些技巧或捷径，例如试图通过过于简化的提示达到复杂的效果。实际上，提示设计更应该注重直观和清晰，而不是追求复杂或抽象的表达。
- 忽视模型输出中的细节：提示工程师往往会忽略模型输出中的细微差别。例如，某些提示可能要求模型“逐步思考”，但如果不仔细检查模型的每一步推理，工程师可能无法发现模型输出中的潜在问题。