斯坦福大学最新大模型ChatGPT提示优化框架TextGrad-大模型知识库|大模型训练|开箱即用的企业大模型应用平台|智能体开发

文章编号：4773 / 分类：AI资讯 / 更新时间：2024-06-16 09:36:03 / 浏览：次

斯坦福大学最新ChatGPT提示优化框 loading="lazy">

53AI知识库

学习大模型的前沿技术与行业应用场景

原文：Automatic "Differentiation" via Text 地址：https://arxiv.org/abs/2406.07496 代码：https://github.com/zou-group/textgrad 出版：arXiv 机构: 斯坦福大学

考虑一个由两部分组成的问答系统:第一部分是一个大语言模型,根据给定的提示(Prompt)和问题(Question)生成答案(Prediction);第二部分是另一个大语言模型,根据评估指令(Evaluation Instruction)和第一部分的答案给出评分(Evaluation)。现在的挑战是,如何自动调整第一部分的提示,让整个系统的最终评分尽可能高。

TEXTGRAD的核心思想是将复合AI系统表示为一个计算图,其中的变量可以是任意的非结构化数据(如代码、分子式、自然语言文本等),边上的函数可以是任意复杂的不可微算子(如语言模型、数值模拟器等)。当给定一个下游目标时,TEXTGRAD会自动地通过语言模型产生的文本反馈(称为"文本梯度")来指导各个变量的优化方向。就像PyTorch等深度学习框架通过链式法则自动地计算导数一样,TEXTGRAD也能够利用文本梯度的"链式传播"来实现端到端的优化。具体来说,对于图中的每条边(即每个子函数),框架会提示语言模型分析其输入变量、输出变量和已有的输出梯度,进而"反向传播"出输入变量的梯度。通过逐步迭代优化各个变量,TEXTGRAD最终使整个系统的输出在给定的目标函数上取得进展。值得一提的是,这个框架具有很强的灵活性和通用性,可以无缝集成各种外部工具如代码解释器、分子对接模拟器,也可以在多种应用场景下开箱即用,充分利用语言模型在不同领域的知识。

About Me：码农事业进行中，兴趣领域：大模型、RAG、因果发现/推理、推荐系统、图网络、服务计算、知识挖掘、时序数据处理等。

53AI，大模型落地应用首选服务商

定位：开箱即用的大模型落地应用平台

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

微软技术社区：做RAG？向量搜索还不够

全球首个开源AIGC数字人模型免费使用，手机端可跑！

如何让AI基于超长文档进行问答？

翻车了？这才是真正的SD3！

Omost！让AI大模型代写AI绘画提示词

《构建和评估高级RAG》: RAG评估要素和方法

【AI大模型应用开发】AI+知识图谱极简入门：手把手带你体验LangChain实现知识图谱创建和查询（附代码和源码分析）

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）杨小姐 186 6662 7370

上海：上海市浦东新区金新路58号1602室戴先生 186 1639 7587

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）杨小姐 186 6662 7370

上海：上海市浦东新区金新路58号1602室戴先生 186 1639 7587

与创始人交个朋友

-->广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）杨小姐 186 6662 7370

上海：上海市浦东新区金新路58号1602室戴先生 186 1639 7587

-->