ChatGPT의 핵심개념인 '생성형 AI'를 쉽게 이해시켜드립니다ㅣ서울대 AI박사 (LLM, NLP) 

👨‍💻 대기업/네카라쿠배 현직자, 서울대 AI 대학원 선생님과 함께 나만의 (AI, 데이터) 포폴을 만들어보세요! 🙋< 24.07.31부터 시작하는 7주 온라인 포폴 스터디 신청하기 > docs.google.com/forms/d/1Dxzwebv1i38B4rjPKEpRPgwjDMvo3JKsfDgjA4YtoNY/viewform?edit_requested=true 🗓 시작/진행 일정 * 총 7주, 14시간 과정 (매주 1회 2시간 수업) ✅ A 주제 : 영화 데이터 활용 컨텐츠 추천시스템 입문 스터디 07.31 (수) - 오후 8시 시작 ✅ B 주제 - 자연어 처리 기술을 이용한 나만의 한국어 GPT 만들기 08.03 (토) - 오후 4시 시작 ✅ C 주제 - 딥러닝 활용한 얼굴 인식 개인화 서비스 만들기 08.01 (목) - 오후 8시 시작 ✅ D 주제 - 대기업 현직자와 함께하는 데이터 엔지니어링 A to Z 08.05 (월) - 오후 7시 30분 시작 ✅ E 주제 - 딥러닝을 이용한 유통/이커머스 고객 행동 예측 입문 08.04 (일) - 오후 3시 시작 ✅ F 주제 - 딥러닝 활용 신용카드 이상거래 감지 프로그램 08.03 (토) - 오전 10시 시작

< 대규모 언어 모델 LLMs(Large Language Models) > 방대한 양의 데이터로부터 인간의 언어와 유사한 텍스트를 이해하고 만들어내는 기술 ChatGPT의 답변 Q. What is large language models(LLMs)? A. Large Language Models(LLMs) refer to a subset of deep learning models specifically designed and trained to understand and generate human-like text based on massive amounts of data. These models have achieved state-of-the-art performance on a wide variety of natural language processing (NLP) tasks, ranging from text completion and translation to question-answering and summarization. (1) 언어 처리 : Language Models (2) 언어들을 처리할 때 방대한 양의 학습 데이터를 사용했다 (많은 양의 리소스 사용) : Large Language Model (3) Tasks related to human languages (Translation, Fixing typos, question-answer, summary, ...) : 번역, 오타 수정, 질의응답, 요약, 대화 생성 < NLP vs LLM 차이? > (1) NLP (Natural Language Processing) : Covers general language analysis (2) LLM (Large-Language Model) : Subset of NLP, Based on "Large" dataset (NLP의 한 분야이자, 매우 큰 dataset 사용) < LLM 구성 > Large Language Model에서 어떤 언어 모델을 학습 시, 주로 인터넷에 있는 소스들을 많이 사용 - 실제 ChatGPT가 학습할 때 사용한 리소스들이 언테넷에 있는 문서들, 대화들을 다 끌어모아서 그 구조를 학습 < Large Language Models의 언어 처리 과정 > (1) Architecture of LLMs - 인풋 (질문)과 아웃풋 (대답 생성) 두 개의 레이어로 구성 * self-attention: 기본적인 딥러닝 모델 (예) 이미지 분류, 글자 분류 등의 분류 모델)은 데이터의 특징만 뽑아냄 그런데 언어는 시간에 따라서 인과 관계 있음, 언어마다 특수함, 관계성을 찾아내는 것. 문장 내에서 단어와 단어 사이의 연관관계(상관관계)를 보는 것. 언어의 구조에 대한 이해. 어떻게 하면 조금 더 자연스럽게 말을 할 수 있는지를 컴퓨터가 학습할 수 있음 (2) Dataset - Vast amounts of text data from the internet - Learns language structure - Laerns general knowledge & facts about world - 인터넷상의 모든 데이터를 포함 - 논문 등 전문적인 것부터 일반적인 인터넷 댓글처럼 문법이 틀릴 수도 있는 혹은 어순이 안맞을 수 있는 데이터도 포함 결국 언어에 대한 구조를 배울 뿐만 아니라, 널리 알려진 지식까지도 다 알아서 습득할 수 있음 * Word Embedding: 단어를 컴퓨터와 소통을 위해 숫자로 변환. 이 때 연관성이 높은 단어를 그룹화 - self-Attention을 활용한 언어모델을 사용하면 비슷한 것들은 비슷한 숫자로 매핑이 됨 (3) Training & Fine-Tuniing - LLMs are trained on a general corpus of data - Fine-tuning must be done to do specific tasks - Medical diagnosis - Programming Languages - Legal texts - Pre-trained Models: GPT-3, GPT-4, BERT, ... 결국 어떤 특정한 태스크 (분류, 예측 등)를 목적으로 학습하는 것이 아니라, 언어 모델 자체를 학습하는 것 => 일반화됨 고차원의 특정한 문제 해결을 위해 "LLM을 파인튜닝(내가 가진 데이터로 조금 더 학습시킴)" LLM 자체가 이런 파인튜닝을 잘 할 수 있도록 설계가 되어 있음 < LLM에서 해결해야 할 문제 > (1) 인터넷 상의 방대한 양의 자료를 가져와서 학습 -> 혐오, 증오 발언 등에 노출 위험 가짜뉴스 생성, 갈등 유발 정보를 걸러내야 함.현재 LLM 모델에서 연구하는 분야 중 하나 (2) 굉장히 무겁게 설계된 LLM => 유지비용 많이 듬. 리소스 관리 문제 (3) 비주류 언어에 대한 개발

- LLMs (large language Model) : 많은 양의 데이터를 학습한 모델이 언어를 처리하느 것. - NLP : LLm의 한 종류. 굉장히 큰 데이터를 쓴다 - LLM의 처리 과정 - input - output (1) Self attention : 여기서 말하는 it이 무엇인지 (2) 배경지식 학습 (3) 워드 embedding : 연관성이 있는 애들끼리 비슷한 숫자로 매핑

▶메타코드M 오픈채팅방 초대받기 (IT 뉴스/ 참여 Event) docs.google.com/forms/d/1k4ufvVdJMhJZKFccVxAzsl_bJyTuTuDXjjsOsZP2MXA/edit

LLM에 대해 간결하고 정확히 알려주시네요. 감사합니다

self attention, word embeding 등 LLM을 구성하는 세부기법에 대해서도 가볍게 들을 수 있어서 좋았습니다.

개념이 잘 정리된 것 같습니다. 강추~

2:45 self attention 이 상당히 중요한 개념이네요 유명한 논문중에 there is all you need attention이라는 제목을 본거 같은데 임베딩 구조같은것도 설명해주시고 짧지만 중요한 내용들이 다 포함되어서 좋은거 같아요 개인 문서학습에 필수적이라 강의를 열어주셔도 수요가 있을것ㄱㅏㅌ아요!

감사합니다^^

인공지능이 무엇인지에 이어서 생성형 AI까지 이해하게 되었네요. LLM이 어떤 구조로 이루어져 있는지도 알 수 있어서 좋았습니다. 생성형AI로 어떤 일들을 할 수 있을지 참 기대되네요~

리소스 관리도 Mlops의 영역이 될 수 있나요?

❤

2:04 는 RAG 설명한 다이어그램이라 수정이 필요할듯하네요

fine-tunning에 대해 궁금한 점이 있는데 참고할 만한 자료가 있을까요?

생성형 AI는 아티클 요약이나 번역 시놉시스 생성은 물론이고 이커머스 게시판에서 사용자들 후기에 댓글 답안까지 만드는등 다양하게 쓰이더군요. 그게 Self attention이나 Word Embedding 파인 튜닝 등을 통해 가능한거네요. 이렇게 AI가 언어구조를 만드는걸 보니 새삼 비트겐슈타인 철학의 세계는 언어의 한계라는 말이 생각납니다. 다만 큰 데이타셋과 처리 시설이 필요하고 그만큼 리소스도 엄청나게 잡아먹어서 전기 소모도 어마어마하고 환경에도 악영향이라 들은듯 합니다. 아무튼 AI가 어떤 세상을 만들지 더 궁금해집니다.

5:00