LLM 모델 기반 서비스 실전 가이드 - 이태영 (케라스 코리아 운영진) I 모두의연구소 K-디지털플랫폼 모두팝 

이태영님 영상 잘봤습니다! 리허설도 감사했습니다!❤

유쾌한 강의 잘 보았습니다. 01:26 목차 02:17 1장 서비스 포인트 탐색 - Chat GPT 기술을 통한 서비스 범위 확인 04:27 '모르는 것' 2종류 - 탐색을 통한 구체화 04:45 Retrieval vs Search (과정 중시 vs 결과 중심) 06:24 서비스 프로세스 확인 07:02 도메인별 서비스 적용 시 07:51 입력값 처리에 대한 관점 09:22 검색과의 연계는 필수적 (RAG) 10:33 세부 아키텍처 구성 (ChatGPT vs 통합검색엔진) 11:32 Context Window Size : Input Size (MS LongNet 트랜스포머) 12:12 Knowledge Base : Fine-tuning 방식 / RAG 방식 구축 개념도 12:34 2장 사용성 강화를 위한 연구 - Prompt Engineering (Input) 13:35 출현 배경 Instruct GPT (튜닝 방식의 방법론) 13:54 Instruction Tuning 13:13 Prompt Engineering 15:04 Prompt의 구성 요소 16:18 LLM Ops 16:56 Prompt Engineering 17:08 Prompt Engineering 단점과 보완책 17:21 Prompt Engineering의 명령문 형식 17:45 Chat GPT 서비스 아키텍처 19:43 3장 공모전 참여 - 정말 사용자가 원하는 것은 무엇일까? 20:00 실제 도메인 적용을 위한 고려사항 22:13 상황별 적절한 Gen AI 활용 23:21 LLM의 고도화 - PEFT 24:30 기업에서 sLLM 도입 시 문제점 25:08 PEFT 테크닉 - 어댑터 튜닝 25:23 LoRA (비용 문제로 LLM 적용 부적합) 26:31 QLoRA (LoRA가 안 되면 QLoRA도 안 됨) 26:50 PEFT 장단점 비교 27:09 4장 LLM EcoSystem - 학습의 깊이를 더하자! 실전 구성형 아키텍처 검토 27:43 LLM 적용 아키텍처 (실제 도메인 적용을 위한 고려사항) 28:11 RAG 기반 아키텍처 (수시 업데이트 문서로부터 정보 탐색) 29:06 LLM App Stack (오케스트레이션을 통한 앱 스택) 29:20 LLM EcoSystem (Azure) 30:25 Azure Open AI Landing Zone (보안 적용) 32:10 Azure Open AI Landing Zone 구성에 대하여 32:41 5장 활용 방안에 대한 연구 - LLM 모델의 평가 방법 (Ouptput) 33:10 평가 및 성능 향상에 대한 고찰 - Data 기반의 성능 향상 34:33 평가 및 성능 향상에 대한 고찰 - 실용적인 패턴 35:23 성능 측정을 위해 36:10 BaseLine Metric의 세분화 36:50 정밀하고 세밀한 성능 평가 방법의 필요 38:02 G-Eval 38:05 답변의 정교화를 위한 연구 (RAG, FID, RETRO) 39:12 Base Model의 중요성 (Big vs Small) 40:15 Re-Ranker 적용 41:15 RAG Evaluation 42:18 Sim CSE & DPR 소개 42:28 LLMs + Android 43:49 LLM 서비스의 Key Point 44:46 Summary 45:57 사전 질의 내역 46:38 사전질문(1) 프롬프트 증가 시 토큰 문제 47:46 사전질문(2) AI 할루시네이션 줄이는 방법 48:50 현장질문(1) 구글의 SSA 평가지표 50:42 현장질문(2) Context의 증가와 Complexity 52:10 현장질문(3) Re-Rank의 주체는 사람인지? 53:03 현장질문(4) Evaluation에 대해, cos method보다 divergence가 공정하지 않나 54:33 온라인질문(1) 한국어 LLM 모델 학습에 대한 질문 56:54 현장질문(5) 본선 진출 사례 공유 58:36 현장질문(6) 추천 알고리즘에 대하여

고생 많이 하셨네요. 좋은 경험 공유 감사합니다.😊