文章编号：4886 / 分类：AI资讯 / 更新时间：2024-06-16 09:56:10 / 浏览：次

53AI知识库

学习大模型的前沿技术与行业应用场景

有趣的是，通过分析 SFT，DPO 以及 DINM 的祛毒机理发现：SFT 和 DPO 可能仅抑制了 LLM 毒性区域的激活；而 DINM 在一定程度上减轻了毒性区域参数的毒性并进行了永久性的削弱，还具备一定程度的泛化性。

▲ 图2 SafeEdit 数据集构建流程

，对应着一个安全回复

和一个不安全回复

，分别把

、

输入最初的基座 LLM，追踪他们前向传播过程中在各层的 Hidden State。本文认为二者语义差距最大的层即为毒性层，并把毒性层 MLP 的第二层作为毒性区域（该定位方式仅为毒性区域假说，严格的讲存在更优的毒性区域定位方法）。

DINM 取得了较好的祛毒能力和泛化性。

（2）量化了经过 DINM、SFT、DPO 这三种方法祛毒后模型毒性区域的毒性大小，以及进入该毒性区域的信息流。如图 4 所示，SFT 和 DPO 几乎没有改变（0.49% 和 0.6%）毒性区域的毒性大小，反而是流入该毒性区域的信息流发生了较大的偏移。与之相反，DINM 没有改变流入该毒性区域的信息流，而是使毒性区域的毒性降低了 2.72%。

53AI，大模型落地应用首选服务商

定位：开箱即用的大模型落地应用平台

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

微软技术社区：做RAG？向量搜索还不够

全球首个开源AIGC数字人模型免费使用，手机端可跑！

如何让AI基于超长文档进行问答？

翻车了？这才是真正的SD3！

Omost！让AI大模型代写AI绘画提示词

《构建和评估高级RAG》: RAG评估要素和方法

【AI大模型应用开发】AI+知识图谱极简入门：手把手带你体验LangChain实现知识图谱创建和查询（附代码和源码分析）

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐   186 6662 7370

上海：上海市浦东新区金新路58号1602室    戴先生   186 1639 7587

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐   186 6662 7370

上海：上海市浦东新区金新路58号1602室    戴先生   186 1639 7587

与创始人交个朋友

-->广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 杨小姐   186 6662 7370

上海：上海市浦东新区金新路58号1602室    戴先生   186 1639 7587

-->

自动秒收录 | 电影导航 | 网络推广 | ChatGPT中文版 | AI绘画 | AI文生图 | 网站地图 | 网站目录