文章编号：5056 / 分类：AI资讯 / 更新时间：2024-06-16 10:27:46 / 浏览：次

53AI知识库

学习大模型的前沿技术与行业应用场景

当我们尝试使用向量数据库构建我们自己的知识库（比如做RAG知识增强时），或是当我们尝试微调我们的模型时，使用问答对比直接传入大块的文本更加合适。

那我们应该怎样通过长文本生成相关的问答对呢？我们怎样让这些生成的问答对是结构化的，能够被存储到具有特定数据结构的变量（比如在一个list里存入大量结构一致的dict）里呢？这个案例使用Agently框架给出了一种简单的实现思路。

关键问题1：如何进行文本内容的读取

文本内容通常分成本地文档和在线文档，对于本地文档而言，我们可以直接使用Python内置的`open()`函数来读取文档内容。对于PDF格式的文档，可以使用PyPDF2等工具库完成文本提取后，再进行读取。

import PyPDF2document_piece = []with open("./README.pdf", "rb") as file: reader = PyPDF2.PdfReader(file)for page in reader.pages: document_piece.append(page.extract_text())

而对于在线文档而言，我们则需要进行请求下载。通常我们可以使用requests网络请求库下载文本内容，这也是我们本次案例中展示的方案。如果你希望下载的文档在Github中，你可以通过`https://raw.githubusercontent.com/<账户名>/<项目名>/<分支名>/<文件名>`的格式下载到对应的文档。

关键问题2：如何对长文本进行切块，便于语言模型Agent处理

切块需要考虑的最关键问题是怎么控制文本块的长度既能符合语言模型Agent的上下文窗口长度要求，又尽可能保留完整的表达不被切断？

在本示例中，因为读取的是markdown文档，我们采用了识别通过`#`开头的内容，来判断是否已经获取相对完整的段落文本信息的方案。首先，我们通过markdown文档标准换行符`\n\n`来获取每一行的文本信息，然后我们再通过逐行遍历的方式，将每段`#`开头的内容里的多行拼装到一起。

这个过程对应的是第一段处理：

chunks = document_content.split("\n\n")paragraphs = []paragraph_num = -1for chunk in chunks: if chunk.startswith("#"): paragraphs.append(chunk + "\n\n") paragraph_num += 1else: paragraphs[paragraph_num] += chunk + "\n\n"

然后我们需要将多个段落尽可能地拼装起来，以减少语言模型Agent的处理次数。在这个过程中，我们通过判断多个段落拼装是否会超过`piece_length_control`的长度限制的方式，来确定是否可以将多个段落进行拼装。

这个过程对应的是第二段处理：

关键问题3：如何快捷生成结构化数据，存放问答对并建立和文本块的映射

这个部分就是Agently框架的强项了，使用Agently框架，能够使用工程化的语言便捷直观地进行任务表达：• 我们需要把文本块输入给语言模型Agent进行处理，就在`.input()`中像传入参数一样传入`{ "text": text_piece }`• 我们需要获得一个`{ "question": ..., "answer": ... }`结构的问答对list，就在`.output()`中表达我们想要的数据结构：

[{"question": ("String", "Question you may ask about {text}"),"answer": ("String", "Your answer to {question} according {text}"),}]

  并通过`("<类型说明>", "<输出项补充>")`的方式，进一步补充定义对输出项的要求• 我们需要对执行过程做进一步的指导，就在`.instruct()`中传入自己的指导意见（你也可以尝试传入一个list，并在list中加入提示"output language: Chinese"，看看会  有什么效果）

为了防止我们请求频率过高，触发接口请求频率限制，可以通过修改`sleep_time`的值来控制请求频率。

最后我们就得到了示例部分中的这部分代码：

本案例Colab格式文档：https://github.com/Maplemx/Agently/blob/main/playground/long_text_to_qa_pairs.ipynb （含完整运行输出记录）

如果您喜欢我们的项目，请去我们的Github项目中点亮⭐️

53AI，大模型落地应用首选服务商

定位：开箱即用的大模型落地应用平台

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

微软技术社区：做RAG？向量搜索还不够

全球首个开源AIGC数字人模型免费使用，手机端可跑！

如何让AI基于超长文档进行问答？

翻车了？这才是真正的SD3！

Omost！让AI大模型代写AI绘画提示词

《构建和评估高级RAG》: RAG评估要素和方法

【AI大模型应用开发】AI+知识图谱极简入门：手把手带你体验LangChain实现知识图谱创建和查询（附代码和源码分析）

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐   186 6662 7370

上海：上海市浦东新区金新路58号1602室    戴先生   186 1639 7587

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐   186 6662 7370

上海：上海市浦东新区金新路58号1602室    戴先生   186 1639 7587

与创始人交个朋友

-->广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐   186 6662 7370

上海：上海市浦东新区金新路58号1602室    戴先生   186 1639 7587

-->

自动秒收录 | 电影导航 | 网络推广 | ChatGPT中文版 | AI绘画 | AI文生图 | 网站地图 | 网站目录