人气排行榜
实测：本地跑llama3:70B需要什么配置-大模型知识库|大模型训练|开箱即用的企业大模型应用平台|智能体开发
Llama3:70B需要什么配置-大模型知识库|大模型训练|开箱即用的企业大模型应用平台|智能体开发" loading="lazy"> 
53AI知识库
学习大模型的前沿技术与行业应用场景
前几天发布的开源大语言模型Llama 3 70B的能力通过测试结果的展示已经达到了一个全新的高度，甚至可以与Claude 3 Sonnet和Gemini 1.5 Pro等一众顶级模型相媲美，甚至在某些方面已经超过了去年发布的两款GPT-4。这一突破使得Llama 3一举成为当前顶流的大语言模型之一。
展示一波LLM排名
这么帅还不要钱，就问你想不想要
也许从此强大的模型不再只是厂商云端的特权，现在每个人都可以在本地部署Llama 3。无论是8B还是70B的版本，用户都可以选择最适合自己需求的版本进行部署。当然，对于70B版本，可能需要更多的本地硬件资源支持。
然而这都不是很大的问题，这对于广大的白嫖党来说无疑是一个巨大的福利。以前，想要在本地运行类似GPT-4级别的模型几乎是不可能的，因为它们需要庞大的计算资源和专业的设备。但是现在，随着Llama 3的出现，即使是个人用户也可以轻松地在自己的设备上运行这些强大的模型，进行各种有趣的实验和研究。
llama3 8B版本实测可以在大多数普通配置的个人PC上运行，即使没有显卡，只要不是很拉胯的CPU跑起来也还算能用的样子。
今天主要是来测试一下本地PC跑70B模型到底需要多少资源。
首先使用ollama下载70b模型，不知道ollama的请自行百度，这里有个小细节_-->>ollama默认缓存目录在C盘当前用户目录下，几个大模型就能爆了你的C盘，所以务必修改环境变量OLLAMA_MODELS将缓存路径放到一个又大又快的盘上。
打开命令行，运行命令 ollama run llama3:70b
几分钟以后下载完毕，出现>>>提示符的时候就可以正常的跟70B模型交互了
下面放两张图，对比模型加载前后系统硬件占用情况的对比：
24G显存+64G内存就可以跑得起来70B模型，虽说对普通办公和家用电脑有点门槛，但完全不是问题了。
接下来测试几个基础问题
看来不能完全相信他
值得表扬的是不乱飙英文，8B模型虽然更轻量速度更快，但中文方面还是一言难尽
虽然这段代码很简单，但当时我提这个需求的时候第一时间想到的就是Nmap，如果他完全自己编码啪啦啪啦一大推，即使实现了需求也会略显痴呆，懂得调用合适的工具看起来不是很傻。
目前看来70B模型用作本地化Agent的底座模型真的是再适合不过，性价比王者
接下来好玩的事情就变得多起来了。
53AI，大模型落地应用首选服务商
定位：开箱即用的大模型落地应用平台
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
微软技术社区：做RAG？向量搜索还不够
全球首个开源AIGC数字人模型免费使用，手机端可跑！
如何让AI基于超长文档进行问答？
翻车了？这才是真正的SD3！
Omost！让AI大模型代写AI绘画提示词
《构建和评估高级RAG》: RAG评估要素和方法
【AI大模型应用开发】AI+知识图谱极简入门：手把手带你体验LangChain实现知识图谱创建和查询（附代码和源码分析）
广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐 186 6662 7370
上海：上海市浦东新区金新路58号1602室 戴先生 186 1639 7587
广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐 186 6662 7370
上海：上海市浦东新区金新路58号1602室 戴先生 186 1639 7587
与创始人交个朋友
-->广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐 186 6662 7370上海：上海市浦东新区金新路58号1602室 戴先生 186 1639 7587
-->自动秒收录 | 电影导航 | 网络推广 | ChatGPT中文版 | AI绘画 | AI文生图 | 网站地图 | 网站目录