ai-agents prompt-engineering llm architecture guardrails

AI智能体基础：目标设定、提示词设计与模型选择

如何为生产型AI智能体奠定基础：明确目标与成功指标，编写带有目标和约束条件的提示词，然后选择合适的模型。

发布者：REACTAPP.TOP加入本站 2026年10月28日阅读约 21 分钟4820 词

来源: Building AI Agents Part 1: Defining Purpose, Designing Prompts, and Selecting Models

一家医疗初创公司花了六个月时间开发用于患者分诊的AI助手。该系统基于最新的GPT-4模型，团队成员均为经验丰富的机器学习工程师，界面设计出色，投资者也对演示效果十分满意。然而当它被引入实际诊所后，几天之内护士们就不再使用它了。这个AI助手会提出与患者主诉无关的问题，忽视严重的症状，并给出不一致的建议。有时它会过于谨慎，将仅有轻微问题的患者送往急诊室；而有时又会忽视那些需要及时处理的病情。

问题不在模型，也不在代码。根本原因在于基础不牢固。团队没有明确该智能体的用途，草率地设计了提示词，还选错了模型配置。经过三个月的重新开发后，该智能体如今每天能处理超过10,000次患者交互，护士满意度达到94%，患者的治疗效果也有显著提升。

一个智能体能否成功取决于三个基础步骤：明确其用途、设计提示词以及选择合适的模型。只要这些步骤做对，后续工作就会变得容易；一旦出错，再多的技术努力也无法弥补。

第一步：明确用途

在编写任何代码之前，有四个问题需要得到明确的答案：要解决什么问题？谁将使用该智能体？成功的标准是什么？存在哪些限制？含糊的答案会导致项目失败，而明确的答案则能打造出可在实际环境中稳定运行的系统。

何时智能体是合适工具

智能体并非解决所有问题的方案。基于规则的系统更适用于简单的流程处理，传统机器学习模型则适合纯粹的预测任务，而在需要有人承担责任的重大决策面前，人类专家仍是更好的选择。

只有当某项工作要求在包含多个信息来源和工具的复杂多步骤流程中自主做出决策时，智能体才能发挥其作用。

以银行的欺诈检测为例。简单的规则可以识别明显的异常模式，比如重复交易或卡片同时在两个遥远地点被使用。而复杂的欺诈行为则需要深入调查：工作人员必须分析交易记录，将其与客户的正常行为进行对比，查询商户信誉数据库，通过多种模型计算风险评分，将案件与已知的欺诈网络联系起来，并为人工审核人员整理证据包。这要求系统具备自主性，因为它需要全天候处理数千笔交易，同时运用各种数据库和API工具，通过推理将零散的线索串联起来，并协调多步骤的调查流程。这类工作很适合自主智能体来完成。

查询账户余额则属于完全不同的情况。它只需要一次API调用，无需自主智能体，只需选择最简单的可行方案即可。

用户群体

用户决定了系统的架构。现场技术员需要可在离线状态下使用的移动访问功能，数据分析师希望拥有可深入查看数据的仪表板，而自动化系统则需要格式稳定的清晰 API。以下是一些具体案例：

零售业库存管理人员希望获得简短的建议，以便他们能够接受或修改。像“周五前补货150件X产品”这样的提示可以直接执行，但0.847这样的原始优化分数则无法直接使用。因此，智能助手必须用与用户相同的方式表达信息，并融入现有的工作流程中。
为农村小农服务的服务人员必须根据糟糕的网络连接状况来规划工作。短信提醒可以替代网页控制面板，服务人员必须能够应对不稳定的网络连接，而且所提供的建议应以当地语言呈现。简单告知“今天下午检查第3块田地是否有害虫”，远比用0.73的置信度标记出“区域异常”更有用。
临床医生和患者需要不同的界面。医生在查看建议时希望看到临床推理过程、置信度评分以及相关文献引用，而患者则希望得到通俗易懂的解释和明确的后续行动步骤。也就是说，同一个服务人员要应对两种不同的界面需求。

可衡量的成功标准

像“提高效率”这样的目标实际上几乎注定会失败。只有可衡量的指标才能真正推动决策的制定。

对于制造业的质量控制人员而言，成功的标准可能是：能够发现人工检查员所发现的95%的缺陷，误报率低于10%，每件产品的处理时间在2秒以内，将漏检率降低30%，并且在生产时段的正常运行时间达到99.9%。这些指标会直接影响系统架构的设计。2秒的处理时限排除了某些模型，95%的检测率则需要大量的训练数据，而高正常的运行时间则要求系统具备冗余设计以及完善的错误处理机制。

航空维护代理的评估标准还包括其他方面：能够以80%的准确率提前30天预测部件故障，将非计划性维护减少40%，在提出的建议中实现100%的合规性，绝不会建议推迟涉及安全的关键工作，并且要为每一项决策留下完整的审计记录。合规性要求意味着必须进行严格的测试和人工监督，而安全规则则要求设定保守的决策阈值。这些都是架构层面的要求，而非产品上线后的调整内容。

限制条件

每个生产系统都会面临三类限制。技术方面的限制包括延迟指标、基础设施约束以及集成需求；业务方面的限制涉及预算、时间表以及组织实际能够提供的支持；而监管方面的限制则包括数据隐私、行业合规性要求以及审计需求。

银行业受严格监管约束。欺诈防范人员必须保留完整的审计记录，解释每一项决策，未经授权不得接触客户数据，并需遵守因地区而异的规则。这些要求均不可协商。
医疗行业从业者必须符合HIPAA标准。患者数据在存储和传输过程中都会被加密，访问行为会被记录并可供审计，数据保留时间需遵循既定规则，某些信息甚至不得短暂存储。这些限制直接影响内存设计及部署方案。
零售行业面临不同的压力。节假日高峰期需要横向扩展能力，旧有的销售点系统限制了技术选择，而对成本的敏感度则促使人们倾向于选择更便宜的方案。所有这些因素都会影响整个技术架构。

把这些约束条件写下来，它们决定了哪些方案是可行的。

五个实际案例

每项内容均同时阐述了其目标、用户群体、成功标准以及限制条件。

银行业务，一种交易监控工具。它能每天实时检测并分析数百万笔交易中的可疑交易，为欺诈分析人员及合规官员提供支持。其成功标准包括：将90%的欺诈行为识别出来，误报率低于5%，在30秒内处理每起案件，并保留完整的审计记录。相关限制包括需符合监管要求、必须为每个决策提供解释、未经分析人员审核不得阻断任何合法交易，以及需实现24/7 99.95%的运行时间。

零售领域，是一款动态定价工具。它能够根据需求、竞争状况、库存水平及利润目标，为数千种商品设定价格，服务于品类管理者和定价分析师。其成效表现为在保持目标利润率的前提下提升8%的营收，每日更新价格两次，有效应对季节性波动，并确保价格处于设定区间内。限制条件包括需与现有ERP系统集成，价格不得低于成本，同时要保持竞争力并遵守定价规则。

医疗领域，是一款患者分诊工具。它能评估症状、判断紧急程度、推荐合适的护理场所并安排预约，服务于护士、患者及诊所管理人员。其成效表现为与护士的评估结果一致性达95%，患者等待时间缩短30%，满意度提高，且紧急病例能立即得到处理。限制条件包括需遵守HIPAA法规，不得延误紧急救治，要具备同理心进行沟通，还需与电子健康记录系统集成，并支持多种语言。

制造领域的一款预测性维护工具。它可监测设备状况、预测故障发生时间、安排预防性维护工作并分配人员，专为维护主管、工厂经理和技术人员设计。其成功标准为能以85%的准确率提前30天预测故障，减少50%的非计划停机时间，降低维护成本，并使设备使用寿命延长20%。该工具的局限性包括实时传感器数据处理、现有的CMMS系统、老旧设备、安全合规要求以及离线运行功能。

农业领域，作为作物健康监测工具。它通过卫星图像和地面传感器监测作物，识别疾病爆发，为农场管理者、农艺师及合作社管理人员提供干预建议，并调整灌溉与施肥方案。其优势在于能比人工检查提前一周发现疾病，可节省25%的用水量，提高15%的产量，且建议以当地语言呈现。局限性包括网络连接不稳定、低端手机、现有农场软件的兼容性问题、短信提醒功能以及部分作物类型的支持不足。

每个应用场景都有其特定需求，这些需求决定了整个系统的架构，因此这一环节需要实时处理。

步骤2：设计提示语

系统提示词相当于智能体的操作手册，它决定了智能体的性格特征、能力范围、行为限制以及行为模式。一份设计良好的提示词能让智能体的行为保持一致性、安全性和可靠性，而糟糕的提示词则会导致不可预测的结果，使智能体在实际应用中无法正常工作。

目标

首先明确智能体需要完成的任务，并对其具体内容进行详尽描述。

例如，一个用于分析银行欺诈的智能体可能需要负责识别交易中的欺诈迹象，运用给定的评分模型评估风险，与已知的欺诈模式进行比对，撰写详细的调查报告，并立即上报高风险案件。同时，它还被要求在所有沟通中保持专业态度，绝不向客户透露调查细节，且必须为各项风险评估提供合理依据。这些要求共同界定了智能体的工作范围和行为边界，使其清楚知道该做什么以及应避免什么。

零售客户服务代表会收到不同的任务清单。其职责包括解答关于订单、产品及政策的疑问，查询订单历史和库存情况，在政策允许范围内处理退货申请，将500美元以上的退款请求转交给人工处理，始终保持友好的沟通态度，并在每次互动后收集客户反馈。该代表不得承诺任何超出公司政策范围的内容，若无法满足客户请求，则应提供替代方案。相关界限十分明确：不得批准大额退款，必须将此类申请上报，并且所有操作都必须符合政策规定。这些限制有助于避免不当行为。

角色设定

角色设定决定了智能体给人的稳定感以及用户对其的信任程度。医疗领域的分诊智能体应表现出冷静专业的态度，以此让患者安心；辅导类智能体则需要具备鼓励性与耐心，以维持学习者的积极性；而技术支持智能体则应知识渊博且条理清晰，使其提供的解决方案显得可靠。

在航空维修领域，角色设定为拥有20年经验、熟悉多种机型维护的资深飞机维修工程师。安全是首要考量，必须严格遵循制造商的规范，沟通需清晰且技术上精确，涉及安全问题时绝不能仓促决策，同时所有操作都要为监管机构留下记录。这样的角色设定决定了智能体处理问题、汇报结果及做出决策的方式，从而确保数千次交互的一致性。

一位为小农提供农业咨询的服务人员呼吁需要更多这样的声音。他们了解当地的农作物、气候与耕作方式，能用简单实用的语言表达观点，明白农民所面临的资源限制，能根据现有的工具和预算提供建议，在引入现代方法的同时尊重传统知识，且始终保持耐心与鼓励的态度。

沟通方式必须与受众相匹配。对专家而言技术术语并无问题，通俗语言则更适合普通大众，而在全球范围内开展工作时还需注重文化敏感性。

指令

指令用于告诉智能体如何执行任务。过于宽泛的指令会导致行为不一致，而具体的指令则能保证可靠性。编号的步骤非常有效，以下两个例子便展示了这种风格。

负责检查产品图片的质量检测智能体会遵循八个步骤：

使用视觉模型加载图像并提取特征。
将这些特征与该产品类型的质量标准进行比对。
找出所有缺陷，并用边界框和类别标记它们。
根据给定的评分标准为每个缺陷的严重程度打分。
如果缺陷严重程度超过阈值，则拒收产品并记录相关细节。
若严重程度处于临界值，需附上证据请求人工审核。
更新数据库中的质量指标。
当同一类型的多个缺陷连续出现时，立即向主管发出警报。

这样的步骤能够消除模糊性，让系统在每种情况下都知道该做什么。

患者评估系统遵循以下十步流程：

通过结构化的问卷收集症状、持续时间以及严重程度等信息。

根据症状群提出进一步的询问。

检查是否存在需要立即处理的危险信号。

一旦出现任何危险信号，即将其归类为紧急情况并按快速处理流程转送。

使用既定算法计算分诊评分。

根据评分和症状推荐合适的护理方式。

在符合条件时为患者预约就诊时间。

向患者明确说明后续步骤及时间安排。

绝不可对疾病作出诊断或推荐特定治疗方案。

面对模糊不清的病例时，应始终保持谨慎态度。

其中“绝不可诊断”这一条最为重要，因为它划定了明确的界限，有助于避免责任问题。

约束机制

约束机制可防止有害或不当行为，生产系统离不开它们。这类机制可分为三类：

内容规范可防止不当输出。即使客户出言粗俗，客服人员也绝不会使用脏话；财务顾问则从不保证投资回报或对市场走势做出承诺。
安全规范可避免危险行为。航空服务人员从不建议推迟至关重要的维护工作，医疗保健人员从不提议延迟紧急救治，制造业人员也绝不会关闭安全联锁装置。
隐私规范可防止信息泄露。银行工作人员从不将某位客户的信息透露给其他账户，医疗保健人员未经授权绝不公开患者数据，零售业人员也从不泄露敏感的定价算法。

银行的风控人员应当遵守以下规则：切勿向任何用户透露检测方法或模型；切勿与正在被调查的账户持有人分享调查细节；除非有正当的欺诈相关理由，否则不得开设新账户；未经分析师批准，不得决定关闭账户；不得在不同的调查之间传递客户信息；必须始终保留账户访问的审计日志；若对合规性存疑，应向上级主管汇报。这些规则能够保护银行、其客户以及调查工作的完整性。

医疗分诊人员会协助他人。不提供具体的诊断或治疗建议。出现胸痛、呼吸困难、严重出血或其他紧急症状时需立即上报。不会建议为节省费用而推迟对严重症状的救治。未经患者主动沟通不得查看其病历记录。始终保持富有同情心且专业的态度。若患者表现出自杀念头，需立即为其联系危机干预资源。不得将患者信息泄露给未经授权的人员。在紧急程度不明确时，倾向于按更严重的情况处理。这些措施旨在保障患者安全并确保提供适当的医疗护理。

测试与迭代

最初的提示词不会完美无缺。应在真实场景中加以测试，寻找边缘情况，并通过多轮优化不断改进。一个可行的流程是：从基础提示词开始，运行20到30个具有代表性的场景，记录失败案例，分析规律，修改提示词后再重复此过程。

零售定价助手在高需求时段可能会给出低于成本的价格建议。解决办法是设定明确规则，禁止定价低于成本，并要求至少保留10%的利润空间。而分诊助手则可能将反复出现的症状视为轻微问题，忽视其背后可能存在的严重隐患；解决办法是要求无论症状看似多轻，只要持续超过两周就必须建议进行医学检查。

测试能够揭示指令中的漏洞、缺失的约束以及模糊的指导内容。这种优化并非可有可无，正是构建可靠生产系统的重要途径。

完整的提示词示例

综合来看，每个提示词都具有角色、目标、指令和约束条件这一相同的框架，只是会根据具体应用领域进行相应调整。

银行欺诈分析工具扮演着拥有15年金融犯罪调查经验的欺诈专家角色，为分析师们生成详细的风险评估报告。其目标包括识别交易模式中的异常情况、使用既定模型计算风险评分、将交易与已知的欺诈数据库进行比对、撰写附有证据的完整报告，并将高风险案件直接转交给人工分析师。在分析某笔交易时，它会按以下步骤操作：

调取该账户的全部交易记录。
查找频率或金额方面的异常，即不寻常的交易频次或数额。
确认商户和交易地点是否符合该客户的特征。
利用集成模型估算欺诈发生的概率。

如果得分高于0.8，应立即提供详细证据并上报。

若得分在0.5到0.8之间，需附上相关数据提交给分析师审查。

当得分低于0.5时，可直接处理该交易并记录决策结果。

每次操作都必须记录决策依据及数据来源。

其规范要求为：不得透露检测方法，不得与账户持有者讨论正在进行的调查，无正当理由不得访问任何账户，需为每项决策保留审计轨迹，将监管方面的疑点上报给上级主管，且未经分析师确认不得批准关闭任何账户。

零售客户服务代表作为高端品牌的友好助手，负责处理订单、产品相关问题及政策咨询，同时确保客户体验优质。其目标包括快速高效地解决问题、在政策范围内处理退换货、提供准确的产品信息与推荐、保持一致的品牌形象，并对复杂问题进行适当升级处理。对于订单查询，他们会：

通过订单编号或电子邮件查找订单信息。
告知当前处理状态及预计送达日期。
若订单延迟，会说明原因并提供替代方案。
处理物流追踪更新及客户的相关疑问。
若订单丢失，会将问题升级给配送团队处理。

对于退换货业务，他们会：

确认购买时间在30天期限内。
检查产品状况是否符合退换货标准。
出具退货授权及标签。
商品到货后启动退款流程。
金额超过500美元的退款需提交给经理审批。

其规范包括：未经经理批准不得擅自退款，不对自身无法控制的交货日期作出承诺，不公开供应商或成本信息，即便面对愤怒的客户也要保持专业且富有同理心的态度，若客户出现辱骂行为则礼貌结束对话并向上级汇报，且未经适当核实不得受理退货申请。

医疗分诊员是富有同情心且经验丰富的护士，他们通过评估症状和紧急程度来帮助患者找到合适的就医场所，同时确保患者的安全。其目标包括准确评估症状和紧急程度、将患者分流至急诊、紧急处理、初级护理或自我护理渠道、为紧急情况提供即时救治、减少不必要的急诊就诊次数以及赢得患者的持续信任。在评估过程中，他们会：

通过结构化问题记录主诉及症状细节。
询问症状的持续时间、严重程度及发展情况。
检查是否存在需要立即处理的危险信号。
在可获取的情况下检测生命体征的异常情况。
使用规定的算法计算分诊紧急程度。
给出建议并说明具体理由。
在适当情况下为患者预约就诊。
详细说明后续步骤。
增加了关于何时寻求更高级别医疗护理的注意事项。

需要紧急处理的危险信号包括胸痛或压迫感、呼吸困难、严重出血或创伤、突发剧烈头痛或视力变化、意识混乱或精神状态异常、中风迹象如面部下垂、手臂无力或说话困难、严重过敏反应，以及自杀或杀人念头。其相关规范为：不提供具体诊断或治疗建议，无论其他因素如何，这些危险信号始终被视为紧急情况处理；不建议为节省费用或图方便而延迟紧急医疗护理；采用富有同情心且以患者为中心的沟通方式；出现自杀念头时立即提供危机干预资源；未经患者主动同意不得查看其病历；在紧急程度不确定时倾向于按更严重的情况处理，并将复杂病例上报给护士主管。

每种提示词都适用于特定的领域、用户类型和风险状况。银行领域的智能体侧重于调查与合规性，零售领域的智能体则在客户满意度与政策要求之间寻求平衡，而医疗健康领域的智能体则将安全性置于首位。

第3步：选择模型

模型的选择会直接影响性能、成本、延迟及功能表现，一旦选错就会影响其他所有方面。

基础模型选项

市场变化迅速，但核心的权衡因素依然存在：功能与成本、延迟与质量、托管服务与自托管服务，以及通用型模型与专用型模型之间的抉择。

OpenAI推出的GPT-4和GPT-4 Turbo具备出色的推理能力，能严格遵循指令，创作高质量的创意内容，并可靠地调用各种功能，同时还支持多种工具的使用。其缺点是成本较高、延迟适中，且依赖OpenAI的API。这类模型适合需要复杂推理、创意工作、通用智能体，以及质量比价格更重要的场景。
Anthropic推出的Claude 3.5和Claude 4.5在长文档分析方面表现突出，推理能力强劲，能生成优质的代码，能够理解细微的指令，还拥有20万token的上下文窗口以及强大的安全对齐功能。不过它们的成本更高，只能通过API使用，免费版本还有调用频率限制。这类模型适合文档分析、研究型智能体、编程助手、长上下文应用，以及安全性和对齐性至关重要的场景。

Meta推出的Llama 3 70B和405B版本为开源代码，可自行部署且无需支付API费用，性能优异，拥有强大的社区支持，还有多种微调版本可供选择。不过，使用这些模型需要相应的基础设施，需支付推理费用，还需具备部署能力，且其性能略逊于最先进的模型。它们适合本地部署、满足数据隐私要求、在高流量场景下使用（因为API费用过高），以及需要深度定制的场景。

Google的Gemini Pro和Ultra版本支持多种输入模式，具备良好的推理能力，可与Google服务集成，价格也具有竞争力。不过，它们在实际生产环境中的应用经验相对较少，生态系统也较为薄弱。它们更适合视觉应用、与Google Cloud的集成以及多模态智能体场景。

在医疗（Med-PaLM）、代码（CodeLlama、StarCoder）、金融等领域都存在领域专用模型。这类模型在特定应用场景下表现更好，但缺乏通用能力。

生产环境下的参数调优

温度值用于控制随机性。0.0到0.3之间的较低数值能产生一致且可预测的输出，而0.7到1.0之间的较高数值则能生成富有创意且多样的输出。对于处理银行欺诈检测的任务，温度值应设置为0.0，因为一致性比创意更重要，同一笔交易应当每次都得到相同的风险评估结果。客服机器人则适合将温度值设定在0.3到0.5之间，这样既能保持政策解读的稳定性，又能让表述方式有一定的自然变化。负责撰写营销文案或产品描述的机器人，将温度值设定在0.7到0.9之间效果最佳，因为多样性能为内容增添价值。

Top-p，即核采样，是另一种随机性控制方法。0.1到0.5之间的较低数值会限制选择范围在最可能的词元上，而0.7到0.95之间的较高数值则能带来更多多样性。

最大词元数用于限制输出长度，其数值应与具体应用场景相匹配。欺诈调查报告需要1000到2000个词元，客户服务回复需要200到500个词元，简单的API调用响应则需要50到100个词元。

应通过实际生产数据进行调整，而非演示场景。使用真实用户的输入来衡量质量并不断优化。

上下文窗口

上下文窗口决定了智能体一次可以处理的信息量。更长的窗口有助于进行更复杂的推理，但也会增加成本和延迟。不同模型的窗口大小差异很大：GPT-4 Turbo为128K词元，Claude 3.5为200K词元，Llama 3 70B为8K词元（某些版本可达32K词元），Gemini Pro则高达1M词元。

医疗分诊助手使用8K参数即可满足需求，因为每次交互仅需几百个对话标记以及几页的临床指南。法律合同分析助手则需要200K参数，这样就能在一个界面中展示完整的合同内容以及相关的判例法和法规，相比将文档拆分处理能大幅提升分析质量。而负责处理产品目录、订单记录和政策文件的客户服务助手，32K到64K的参数就能实现功能与成本之间的良好平衡。

内存架构也会影响这一参数选择——向量数据库能够快速检索相关信息，从而减少对大容量内存的需求。

成本、延迟与准确性

每个实际应用系统都需在这三者之间进行权衡。

在成本方面，GPT-4的输入token每百万个约30美元，输出token每百万个约60美元，Claude 3.5 Sonnet的价格也在同一区间；而Llama 3 70B虽无按token计费的费用，但会产生基础设施成本。如果一名零售服务人员每天需要处理10万次交互，每次约500个token，那么其API成本每天可达1,500美元，每月则为45,000美元，这种情况下自行托管Llama或使用规模较小的模型更为划算。而对于一名航空维修人员，若每月只需处理1,000次复杂交互，成本大约在500美元左右，此时选择GPT-4的质量水平则是合理的选择。

在延迟方面，根据模型规模和托管环境的不同，首个token的生成时间在200毫秒到2秒之间；而总响应时间则还包括推理、工具调用及处理过程。实时客户聊天若超过3秒就会显得很慢，因此应使用更快的模型或流式处理方式。批量欺诈检测在准确性提升后，每笔交易的处理时间可能在10到30秒之间。装配线上的质量控制人员必须在2秒内给出响应，因此需要优化的部署方案或更小的模型。

在准确性方面，规模更大的模型通常推理能力更强，能更严格地遵循指令，GPT-4与较小模型之间的差距也是显而易见的。在决策后果极为严重的场景中，比如医疗分诊、金融欺诈以及涉及安全的关键系统，应选择最优秀的模型，因为一次错误带来的损失远超过模型的成本。而对于产品推荐、简单服务处理和内容分类等风险较低的任务，较小模型往往已经足够。由于实际表现可能与测试结果存在差异，建议使用真实生产数据来进行测试，以了解特定场景下的实际质量差距。

组合多个模型

生产系统通常会为不同任务选用不同的模型，请求会根据任务需求被路由到合适的模型。价格低廉、响应快速的模型负责处理简单任务，而成本高昂、性能强大的模型则用于处理复杂任务。需根据自身的工作负载来衡量成本与质量之间的关系。

在银行领域，欺诈检测工作可分为三种方式：使用GPT-4进行深度模式分析并撰写报告（质量高，调用次数少）；使用GPT-3.5 Turbo处理大量客户通知（效果尚可且成本更低）；再使用经过微调的Llama 3 8B快速低成本地对交易进行分类。
在医疗分诊系统中，可利用Claude 3.5处理需要大量医学背景知识的症状分析工作，用GPT-4实现自然、富有同理心的患者沟通，同时借助专门的医疗模型为特定临床决策提供支持。
零售行业则可依靠GPT-4处理需要逻辑推理的服务对话，在产品搜索和推荐功能背后嵌入相关模型，再使用经过微调的分类器实现简单的业务分流。

不同行业的模型选择

银行欺诈检测：以 Claude 3.5 作为主要工具，因其20万字节的上下文容量可存储完整的交易记录及监管指南；GPT-4 Turbo 作为辅助工具用于客户沟通。此类检测需要针对长期历史数据及监管文件进行深入的模式分析，因此成本较高。
零售库存优化：以 GPT-4 Turbo 作为主要工具进行需求预测分析，同时使用自托管的 Llama 3 70B 模型处理实时定价任务。策略制定需要高质量的推理能力，而实时定价则适合大规模处理，自托管方案在此场景下更具成本优势。

医疗患者分诊：优先使用GPT-4，因其在对安全至关重要的决策方面表现可靠；对于具有复杂病史的病例则使用Claude 3.5作为备选；再辅以经过微调的领域模型用于常规分类。复杂病例需要最高质量的处理，而常规病例则可使用成本较低的模型。

制造业质量控制：图像分析优先使用GPT-4 Vision，同时在本地部署经过微调的Llama 3 8B模型以实现快速缺陷分类。流水线检测需要低延迟，小型模型可处理常规案例，而GPT-4 Vision则用于处理更复杂的图像问题。

农业作物监测：在边缘设备上本地部署Llama 3 70B模型作为主要工具，对于通过图像进行复杂疾病诊断时则使用GPT-4作为辅助。由于网络连接不稳定且监测点位于偏远地区，因此更倾向于本地部署，常规监测在本地完成，复杂案例则上传至云端处理。

航空维护领域：以GPT-4作为主要工具，因为涉及安全的关键决策需要最优质的输出；Claude 3.5则用于辅助阅读维护手册和规章。安全问题不容妥协，相关规章文件冗长且重复性高，因此必须有人工监督。

选择工具时需考虑自身的精度要求、延迟限制、成本效益、隐私需求、部署环境以及风险承受能力。

奠定基础

基础决定了后续的所有决策。需明确界定目标并设定可量化的成功标准，设计出能产生一致且安全结果的提示词，同时根据具体应用场景选择在质量、成本和延迟之间取得平衡的模型。

这三个步骤约占代理系统成功率的60%。若跳过或仓促处理，会导致系统在实际使用中出故障；而若能妥善完成这些步骤，其余的架构设计就会变得简单许多。