人气排行榜
超简单在本地部署Llama3的方案-大模型知识库|大模型训练|开箱即用的企业大模型应用平台|智能体开发
53AI知识库
学习大模型的前沿技术与行业应用场景
4月19日，Meta发布了开源Llama3大模型。这是AI界的又一大善举，不少AI创业公司又迎来了重大突破。
这次发布的llama3有2个版本，8B和70B。8B的版本，在测评中，打败了前不久刚发布的Gemma7B版本，而70B版本则打败了Gemini Pro1.5，和Claude3。
llama的400B版本还在训练中，估计发布后要挑战老大哥GPT-4了。现在压力给到OpenAI和Google了。
8B的版本，可以在普通显卡上运行，我测试的量化版本占用显存不到10GB。
今天我就手把手的带大家用最简单的方案在本地部署Llama3-7B。只需要下载安装2个软件就可以运行，都是开箱即用。
一、安装OllamaOllama是专门为本地化运行大模型设计的软件，可以运行大多数开源大模型，如llama,gemma，qwen等
首先去官网下载Ollama软件：https://ollama.com/
Ollama已经有windows版本了，可以选择自己的系统版本下载，下载成功后运行安装即可。
Ollama有两个配置可以选择配置。
OLLAMA_MODELS OLLAMA模型的下载路径，默认是在C盘的，如果要改变，可以设置这个环境变量。
OLLAMA_HOST OLLAMA模型以服务方式运行的时候，即提供API，默认是只能被localhost访问的，设置这个为0.0.0.0，可以被网络访问。
桌面我的电脑右键->属性->高级系统设置->环境变量->系统变量->新建
添加上面二个配置和对应的值。例如：
保存后，需要重启系统生效。
接下来是下载模型。
在Ollama官方的Models栏目中，找到我们要的模型。
这里我们选择llama3，打开后，再选择8b版本。
右边有一个命令： ollama run llama3:8b，
然后在cmd命令行中运行这个命令，就会下载模型了。下载需要一些时间，耐心等候。
等下载成功后，我们在命令行里运行：ollama list 可以看到模型。
这时候，如果运行ollama run llama3:8b 就可以在命令行中使用llama3了。
在命令行中使用可能有诸多不便，我们可以再安装一个客户端来使用。客户端软件有非常多。这里我介绍一个安装使用最简单的。
首先在chatbox官网下载软件 https://chatboxai.app/zh
下载完成后运行安装，按提示步骤安装即可。
安装完成后，打开软件，在设置中配置以下信息：
API域名：http://localhost:11434 如果是本机安装的填这个localhost就可以，11434是Ollama服务运行的端口号。
模型下拉里选择llama3:8b。然后保存即可。
接下来就可以愉快地和llama3玩耍啦。
llama3整体的推理，逻辑能力都不错。美中不足的是对中文不太友好。但是比llama2已经好了很多。
LLAMA3的训练语料大概只有5%是非英文内容。
它能够看懂中文，但大部份的回答都会用英文回答，除非你要求它用中文回答。但是当用中文回答时，逻辑明显就不如英文。例如，我问一个鸡兔同笼的问题：
一群兔子和鸡，共有20个头，50只脚。有几只兔子，几只鸡？
英文的回答是正确的
而中文的回答就是错误的
此外我们也发现，现在同样参数量级的大模型，一代比一代更强了。这最主要的原因是数据。llama3用了15T的token训练，数据量是llama2的7倍，是gemma的2倍。除了数据，模型的架构、代码工程也都会逐渐改进提升。未来模型的能力还有很大的提升空间。
最牛逼的是Meta为了训练llama3，堆了近5万张H100卡。一张H100卡大概值一辆su7，关键国内还买不到，只能靠黄牛背回来。希望我们早日突破科技封锁吧。
53AI，大模型落地应用首选服务商
定位：开箱即用的大模型落地应用平台
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
微软技术社区：做RAG？向量搜索还不够
如何让AI基于超长文档进行问答？
翻车了？这才是真正的SD3！
Omost！让AI大模型代写AI绘画提示词
《构建和评估高级RAG》: RAG评估要素和方法
【AI大模型应用开发】AI+知识图谱极简入门：手把手带你体验LangChain实现知识图谱创建和查询（附代码和源码分析）
广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐 186 6662 7370
上海：上海市浦东新区金新路58号1602室 戴先生 186 1639 7587
广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐 186 6662 7370
上海：上海市浦东新区金新路58号1602室 戴先生 186 1639 7587
与创始人交个朋友
-->广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐 186 6662 7370上海：上海市浦东新区金新路58号1602室 戴先生 186 1639 7587
-->自动秒收录 | 电影导航 | 网络推广 | ChatGPT中文版 | AI绘画 | AI文生图 | 网站地图 | 网站目录