文章编号：4814 / 分类：AI资讯 / 更新时间：2024-06-16 09:39:50 / 浏览：次

loading="lazy">

53AI知识库

学习大模型的前沿技术与行业应用场景

https://platform.openai.com/docs/guides/embeddingshttps://platform.openai.com/docs/api-reference/embeddings

具体使用也很简单，我们假设有100段要被搜索的文字，那么我们每一段文字都调用一次 Embeddings 接口，每调用一次就得到一组向量，100段文字就得到了100组向量。

curl https://api.openai.com/v1/embeddings \ -H "Authorization: Bearer $OPENAI_API_KEY" \ -H "Content-Type: application/json" \ -d '{     "input": "这里是要被搜索的文字", "model": "text-embedding-ada-002"   }'

input 中放入文字，model 目前能用的只有一个，就是 text-embedding-ada-002 ，Embeddings 模型价格也很便宜，23年时opean ai价格是 $0.0001 / 1K tokens ，而且各大AI公司大模型"价格战"热火朝天，全模型矩阵降价。

返回的结果格式如下：

{ "object": "list", "data": [ { "object": "embedding", "embedding": [ 0.0023064255, -0.009327292, .... (1536 floats

total for ada-002) -0.0028842222, ], "index": 0 } ], "model": "text-embedding-ada-002", "usage": { "prompt_tokens": 8, "total_tokens": 8 }}

data 数组中的第一个数据里的 embedding 数组就是我们得到的向量数组，这个数组长度是1536，也就是目前 OpenAI 的向量维度是 1536 维。得到向量之后，最简单的我们可以把向量数组存储为一个一个的文本文件，也即是纯文本保存。

更复杂一点的，可以存储到专门的向量数据库里，OpenAI 官方推荐了一些：

1.Chroma：Chroma 是一个开源的嵌入式存储库。它主要用于存储和检索向量嵌入。

2.Elasticsearch：Elasticsearch 是一个非常受欢迎的搜索/分析引擎，同时也是一个向量数据库。它可以用于全文搜索、结构化搜索和分析，并且支持向量数据的存储和相似性搜索。

3.Milvus：Milvus 是为可扩展的相似性搜索而构建的向量数据库。它提供了高效的大规模向量检索能力。

4.Pinecone：Pinecone 是一个完全托管的向量数据库，用户无需关心底层的维护和管理，可以专注于其应用的开发。

5.Qdrant：Qdrant 是一个向量搜索引擎，专门为高效的向量检索而设计。

6.Redis：虽然 Redis 主要是一个内存数据结构存储，但它也可以作为一个向量数据库来使用，存储和检索向量数据。

7.Typesense：Typesense 是一个快速的开源向量搜索工具，它提供了简单易用的 API 来进行向量数据的存储和检索。

8.Weaviate：Weaviate 是一个开源的向量搜索引擎，它支持语义搜索和自然语言查询。

9.Zilliz：Zilliz 是一个数据基础设施，由 Milvus 提供支持。它提供了一系列的数据解决方案，包括向量搜索和分析。

这些向量数据库在不同的应用场景中都有其独特的优势，大家可以根据自己的需求选择合适的数据库进行使用。但是不建议一上来还没搞懂原理就用这些向量数据库，可以先直接存为文本文件形式，每次要搜索时，把向量数组载入内存中进行搜索。

搜索第一步，先把用户输入的内容也调用 Embeddings 接口得到一个搜索向量数组，我们命名为向量数组A。

搜索第二步，把所有待搜索的向量数组都载入内存，来一个循环，我们把循环到的每一个待搜索向量数组命名为Bn，第1个就是B0，第2个就是B1，……，第100个就是B99。

用A与B0到B99都进行一次余弦相似度计算，然后得到余弦距离B0到B99，再从小到大排序，取出前10作为搜索结果，余弦距离越小表示越相似。



4. Fine-Tuning：深入学习与长期记忆

Fine-Tuning是一种对大模型进行微调的技术，传统的机器学习模型需要通过大量数据进行训练，而Fine-Tuning则利用了在庞大数据集上训练好的大型深度学习模型。用我们自己的理解方式来叙述微调的含义：在原有模型的基础上，通过补充一些数据，用这些补充的数据对原有模型进行训练，训练的过程对原有模型的部分参数进行调整，从而使模型能在某些特定的场景下表现更优。

通过针对特定任务或领域进行进一步训练，使模型能够长期记住并活学活用这些知识。与前面提到的方法不同，Fine-Tuning能够使AI在特定领域表现得更加专业和准确。在预训练模型的基础上进行额外训练，使其适应特定任务或领域。这一过程包括选择预训练模型，准备目标任务的数据，调整模型结构，进行微调训练，以及评估和部署。

核心特性：

应用场景：这种技术适用于需要高准确度和专业知识的领域，如医学诊断、法律咨询等。通过Fine-Tuning，AI可以提供更加专业、可靠的建议和服务。

网上关于Fine-Tuning的介绍和入门例子还是比较多的，不过大多都是python语言的，github上也有很多学习的开源项目，大家也可以参考一下。

https://github.com/topzcb/starcoder

https://github.com/topzcb/peft

https://github.com/topzcb/fine-tuning

总结

大模型技术架构从纯Prompt的简单对话，到Agent + Function Calling的主动交互，再到RAG的高效检索，最终到Fine-Tuning的深入学习，每一种架构都有其独特的优势和应用场景。理解这些技术架构的特点和适用范围，有助于我们更好地利用人工智能技术来解决实际问题，提升工作和生活的效率，并推动AI技术的发展和应用。

既然大模型现在这么火热，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？“俗话说站在风口，猪都能飞起来”可以说大模型这对于我们来说就是一个机会，一个可以改变自身的机会，就看我们能不能抓住了。

紧密跟踪科技前沿成果和产业动向，有幸受邀参加微软AI Day，众多业内人士聚集在北京国际饭店宴会厅，在当前经济形势下，或许只有AI有这么大的影响力和热度。

在会上还演示了部分功能，还是挺有特色，避免做广告嫌疑，好用不好用，感兴趣的同学自己试用就知道，反正我也没体验过。

AI大模型学习资料，前沿技术讨论，业务需求分析，算力资源合作，行业解决方案等，跟踪前沿技术，共赢AI+新时代！对以上内容感兴趣的同学，可扫码添加微信hunksty，以便拉进AI学习交流资源共享群。     

53AI，大模型落地应用首选服务商

定位：开箱即用的大模型落地应用平台

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

微软技术社区：做RAG？向量搜索还不够

全球首个开源AIGC数字人模型免费使用，手机端可跑！

如何让AI基于超长文档进行问答？

翻车了？这才是真正的SD3！

Omost！让AI大模型代写AI绘画提示词

《构建和评估高级RAG》: RAG评估要素和方法

【AI大模型应用开发】AI+知识图谱极简入门：手把手带你体验LangChain实现知识图谱创建和查询（附代码和源码分析）

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐   186 6662 7370

上海：上海市浦东新区金新路58号1602室    戴先生   186 1639 7587

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐   186 6662 7370

上海：上海市浦东新区金新路58号1602室    戴先生   186 1639 7587

与创始人交个朋友

-->广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐   186 6662 7370

上海：上海市浦东新区金新路58号1602室    戴先生   186 1639 7587

-->

自动秒收录 | 电影导航 | 网络推广 | ChatGPT中文版 | AI绘画 | AI文生图 | 网站地图 | 网站目录