【人工智能】大语言模型的外在幻觉 | Lilian Weng | OpenAI安全团队负责人 | 万字博客长文 | 详细梳理24篇研究成果 | 如何理解、检测到克服外在幻觉 

作为LLM的高频使用者和agent的开发者，还是非常期望这个幻觉问题能解决。这里的幻觉指的不仅仅是给出事实错误的信息。在很多论文里把幻觉理解为“用似乎可信的语言表达荒谬（nonsensical）的内容。幻觉问题可以说是自主agent的天敌。如果这个问题没有解决，自主agent可能只能停留在demo阶段，真正的实用性将很难提高。可惜的是，我个人对幻觉问题的解决并不抱有很大的希望。理由可以从LLM的底层原理推知。LLM都是按照优化的机器，也就是说LLM能表现得像人一样说话是因为他是根据字面连贯性去optimize的。我们期望LLM能够从高质量的训练文本中无意识地习得底层的逻辑，从而表现出推理、规划等自主性。但是，，除非我们能保证我们的语言只要具有字面连贯性就必然有逻辑连贯性。问题就变成是否存在一门系统性的逻辑语言能够保证这个特性？比如数理逻辑？如果我们能让LLM先学会抽象的逻辑语言,然后学习大量具体的文本知识，并能够在生成句子的时候将主谓宾等成分映射到逻辑语言的要素，这样是否可以从实质上解决幻觉问题？简单的说就是拿逻辑语言做骨架，用具体的文本信息附着在这副骨架上形成字面和逻辑都连贯、“有血有肉”的句子。

大飛閱讀論文的水準太高了，可以分享怎麼好好的閱讀一篇文獻嗎？

非常好的内容，感谢

這恰巧是現今機器學習的優點，訓練過擬和就會只給出絕對事實，那就是google，不是機器學習了。 另外一方面，寫真畫與印象派畫，後者是幻覺；新聞與哈利波特，後者是幻覺。所以幻覺恰巧是AI最像人類具有的創造力的展現

@00:40 很重要的地方（標記一下🫡

第一沙發！

00:23 “Lilian Weng，中文名叫Weng lilian”，差点一口水喷屏幕上😂

纯llm底层网络模型决定了幻觉不可避免，就像小孩子在背书回答问题，但是不存在理解，只是暴力背诵。理解还是得靠类似agent的机制。

Thank you 大 飞 🍀 😀 👍 😍 🍮 😇 🀄 😎 🌸 🧧

對我來說這篇論文，就像是義大利麵就應該拌 42 號混泥土，因為這個螺絲釘的長度很容易直接影響到挖掘機的扭矩，不管這秦始皇的切面是否具有放射性川普的 N 次方是否有沈澱物都不會影響到沃爾瑪跟維爾康在南極匯合，分開來都是看的懂的名詞，但據在一起完全不明白😂

Lilian Weng 在 GPT-4o 某支官方展示有露臉 ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-kkIAeMqASaY.html

吹鼓手

llama3.1什么时候出

人脑出现的问题，Ai都会出现

我不觉得研究降低幻觉会有什么前途。 Lilian Weng 的思维深度不够。

哪有那么麻烦。 只要在每个回答的结尾付上一个disclaimer： 请用人脑过一遍。 😂

up的这个路子不对。 1. up好像不理解论文。 与其这样“全面概括”，还不如放开谈谈读后感。 那样，即便错了，读者毕竟可以有点收获。 2. 来源水平可以吗？ 不客气地说，“她算老几”？ 在她那里花这么多时间值得吗？ 看看其他大佬们？ 你看她的，不是因为她是个华人吧？ 那就太不对了。反正都是看英文，华人与否，没关系嘛！ 3. 英语和中文词汇的对应（“翻译”），问题还是很大的。 如果是读后感的形式，会好多了。 这种“概括”，比读英文还难懂。 真的。 你不明白生活在英语世界的人听国内人用中文说科技前沿的艰难程度！ 这也是“出口转内销”。 但是，如果是读后感的方式，就好多了，因为有“感觉”的上下文，就可以意会，而且，up说读后感，可以中英夹杂，就不会这样呆板地用全程用中文。 对了，我不反对中文翻译，但是，我反对并且十分反感“在科技前沿行政规定武断地中文翻译“。 在科技前沿，新词汇最好还是中英夹杂，试探性地用汉字翻译。慢慢地在使用中稳定下来。 有人说，“我不懂英文”。我说，这是一个严重的政治文化现象！ 为什么？！ 如今的现代的高度发达的中国，为什么懂英语的人这么少？！ 要改变这个状况，在华人内部自己就要多用英文。 中英文词汇夹杂，就是一个办法。 关键是，不要相信那套“中国文明古国上下五千年，所以华人不应该用英语“，你相信那套，干嘛上 yt ？！ 要把拼音和简单的英语作为我们有一定文化的华人的核心的文化素质。否则，那就是一个无知不可救药的混蛋。😢。