GPT 모델은 랜덤한 지식에 접근할 수 없다. (ACL 2024) 

@@user-dz8me4sp8m 정보 접근의 다양성과 가능성을 분석하는 게 굉장히 중요하겠군요. 프롬프트도 정보 접근을 위해 제공하는 거니, LLM의 정보 접근 방향 그래프를 분석할 필요가 있는 거 같아요.

너무 좋은 인사이트입니다

공감해 주셔서 감사합니다 😆😆

Access를 시켜주셨군요..!

@@datgreen1448 헐?! GPT-4o도 반복학습을 하면 점점 엉망이 되는군요. 높은 성능 모델도 메모리접근은 쉽지 않은가 보군요..!

AI 모델이 잘못하는 지식은 필수적으로 더하거나 (RAG), 혹은 다시 상기하거나 (Replay) 할 필요가 있겠군요. 특징을 알면 GPT-4o를 더 현명하게 쓸 수 있는 거 같아요. 경험 공유해주셔서 감사합니다!

으아앗 말씀해주셔서 감사해요! 추가했습니다! 논문 전달드려요~ Beyond Memorization: The Challenge of Random Memory Access in Language Models arxiv.org/abs/2403.07805

Sequental 한 한계를 활용해서 이를 개선하는 generation 방법은 흥미로운 것 같습니다. 다양한 Random memory에 찍먹하는 ADHD는 흥미로울 것 같고, 창의력을 유발하는데 도움이 될 거 같군요. Sequential하다는 것은 기존 맥락만 이야기 하는 거니!

I needed a click, so we put a click 🎧

낭만있네 멋지다 이 댓글

@@richardphillipsfeynman8851 감사합니다 🙋‍♂️

@@hyunsikkim2853 한국인 지식에 도움이 되는 AI 연구로 선정하고 있습니다..! 찾는 게 쉽지 않아서,, 지나가다 흥미로운 게 있으면 추천해주세요! 😁

@@dalaymann 다음에 또 와요.. 😏

저의 모토인 이성과 감성으로 말씀드리자면,, 먼저 저는 하루에 논문을 10개 정도 읽습니다. 그 중에 내가 아는 부분은 재확인하고, 모르는 부분은 수두룩하지만, 오늘 명확하게 공부하는 거를 정해요. 나머지는 버리거나 다음에 공부하기로 마음 먹습니다. 그렇게 하나 둘씩 격파해나갑니다. 물론 코드도 알고리즘을 이해하고, 학습을 이해하는데 필수적인 것 같아요. 논문으로 지식을 쌓고 직접 이론을 세워서 검증하면 더 많은 것을 얻을 수 있습니다. 저는 휴식할 때 지브리를 듣지만, 공부나 연구할 때는 의도적으로 슬픈 음악을 듣습니다. 제 감정을 가장 밑바닥으로 보내고 슬픈 상태가 되면 1) 공부의 집중력이 높아지고, 2) 포기하고 싶어도 과거의 슬픔을 이겨내기 위해서 노력을 지속해야 한다는 마음가짐으로 오늘 공부를 더 합니다.. 저는 노력이 전부라고 생각하지 않고 가장 효과적으로 배우는 게 답이라고 생각해요. 그 길이 정석이 아니여도 상관없고 스스로가 가장 AI를 잘 이해하는 방법을 찾아야 하는 것 같아요. 많은 도움이 되셨길 바랍니다!

@@bumjini 자신의 소중한, 배우는 방법에 대한 공유 감사합니다. 👍

안녕하세요, 질문 감사합니다 :) 1. 일반적으로는 특정 도메인에 대한 지식을 늘리는 거지 암기하는 거랑 다르지 않나요? 논문에서는 fine-tuning, pretraining에 대한 구분보다 일반적인 Sequence학습시 순차적으로 학습하기에, 생성도 순차적으로 한다는 부분만 강조하였습니다. 도메인 지식을 암기하는 것도 과정에 따라서 다르겠지만, 순차적으로 학습하는 경우, 해당 논문과 비슷한 결과를 보일 것 같습니다. 2. RAG 가 더 낫다. 맞습니다. 모델 파라미터에 넣는 것보다 외부 정보, 외부 텍스트로 두는 게 명시적입니다. 다만, RAG도 추출물을 LLM이 시퀀셜하게 처리하고, 이후 생성되는 부분은 앞에 조건이 붙기에 나오는 것이므로, 논문의 주장 (순차적인 생성)과 유사하게 뒷 부분이 생성될 수 있습니다. 앞에가 없으면 나오지 않으니까요.

@@MrNezlee DB를 활용은 실용적인 방법인 것 같습니다! LLM 자체만으로 한계를 명확하게 측정하고 불완전한 부분을 채워줄 수 있을 거 같군요

@@user-jl1yg4qj9v 외국 사이트는 LessWrong이나 AI alignment forum, Reddit을 알고 있습니다. 한국에서 토론이 활발한 곳은 저도 찾는 중이에요 ㅠㅠ www.lesswrong.com/posts/ngEvKav9w57XrGQnb/cognitive-emulation-a-naive-ai-safety-proposal

@@user-jl1yg4qj9v 지식의 재구성이라는 개념은 독창적인 것 같군요. 모델 내부의 정보 저장에 대한 연구들은 일부 진행되었지만, “원칙”을 명확하게 정의하기 힘든 거 같아요. 정보가 섞이는 데, 그 과정을 모르는 것처럼요. Key로 접근하고 Memory를 가져오는 건 연구자들이 어느정도 동의한 것 같습니다. 다만 일차원적 지식 (프랑스의 수도는 파리) 말고 고차원적 지식의 비밀은 아직인 것 같아요!

@@himchan-han 사람은 random access는 되는데, 복원된 정보가 엉망진창일 가능성도 높겠군요 🤯

@@user-yt1os4ic9u 인간은 더 많은 방향에서 정보를 접근할 거 같아요. 일단은 뉴런의 구조는 3차원이니까요?!

@@bumjini 와 뉴런의 구조가 3차원이라니 신기한 발상이라고 생각했는데, 생각해보면 인간의 뉴런은 매우매우 복잡한 구조인거 같네요. 다차원 벡터보다 더 복잡한 구조라고 볼 수도 있을것 같아요! glia 포함? ;)