'한국 기술'하면 '국뽕'이라고 보시는 많이 계셔서 개인적으로 아쉽다고 생각했습니다. 그래서 한국의 세계 1%급 기술을 보여드리고자 카이스트에 찾아갔고, 총 다섯 편 올라갈 예정입니다. 2편 부터는 주연님과 함께합니다! 더 쉽고 재밌을 거에요! 아는 사람들은 다 아는 '대한민국 반도체의 전설'부터 어마어마한 분들이 나올 예정이고요. 서포카 입시 준비하시는 분들부터 주식하시는 분들, 반도체 현업자 분들께도 큰 도움이 되길 바랍니다! 인스타 팔로우도 많이 해주셈... 에스오디 인스타: @softdragon 주연 인스타: @zuyoni 광고주 문의: heisenberg.kr/
NVIDIA의 칩이 비싼 이유는 모든 상황/SW에서 다 사용할수 있도록, 대용량의 외부 메모리, 그 외부 메모리를 빠르게 읽어올수 있는 HBM interface, 그리고 내부의 캐쉬로 intermediate data를 share할수 있는 모든 기능을 다 가지고 있기 때문이죠. 그 부분을 특정 상황에 맞춰서 최적화 해서 HBM이 필요하지 않게 하거나 (그 말은 대용량의 데이터를 처리하지 않겠다는 말이겠죠?), 아니면 데이터 재사용을 늘리거나 (이것도 LLM의 파라메터를 제약할테고), 특정 알고리즘에서 가속을 하겠다는 말일 겁니다. 그런식으로 Application specific AI chip들이 많이 나오고, 두루 두루 사용될때에야 말로, AI가 대중화 되었다고 할수 있겠죠. 지금은 그 정도까지 상태는 아닌것 같고, 알고리즘도 계속 변하고, 새로운 어프로치 (예를 들면 파라메터 양자화 같은) 가 계속 나오니, CUDA를 계속 사용하게 되는것 같네요. 둘다 필요한거지, NVIDIA를 능가한다는 건, 그냥 주식 띄우기 과장 광고 같군요.
공대 인원 늘려봐야 답이 안됩니다. 근본적으로 기업에서 공돌이들을 워낙 소모품 취급하는지라... 보통 20년 정도 프로젝트에 갈아넣어 죽도록 부려먹고 40대 중후반되면 퇴물처리 하는게 현실입니다. 비싼 등록금에 힘들게 공부해서 결국 그렇게 토사구팽 됩니다. 그래서 공대를 안가려고 하는 겁니다.
1번이 바로 좌파의 종특이죠. 심지어 인천공항 건설할 때도 지반침하, 농무, 철새 도래지 파괴 등 어처구니 없는 논리를 대며 기존 전문가들 비웃고 생 난리치면서 반대. 정작 짓고 나니 전 세계 1위 공항... 그러자 갑자기 태세전환하면서 민영화 반대 어쩌고 저쩌고... 에휴. 청계천도 지금 제일 많이 이용한다죠.
많은 사람들이 ‘엔비디아를 능가하는’ 이라는 수식어구에 사로잡혀 학습(training)에 주안점을 둔 엔비디아의 GPU와 견줄 수나 있겠나, 하는 의견을 내비치는 것 같습니다. 그러나, 영상에도 언급되었고 제목에 ‘초가성비’라는 표현이 있듯 하이퍼엑셀 사의 LPU는 추론(Inference) 도메인에 주안점을 둔 반도체입니다. Power-hungry하지만 엄청난 대역폭에 많은 분들이 언급하시는 CUDA라는 SDK까지 가진 엔비디아에 학습 도메인에서의 싸움은 교수님께서 말씀하셨듯, ‘필패’입니다. 다만, 현재 나와있는 LLM 모델들이 충분히 성숙되면 가성비(low power) 좋고 굳이 대역폭이 넓지 않아도 (= HBM이 없어도) 빠른 속도를 가진 추론용 칩들을, LLM 서비스를 제공하는 인더스트리에선 엄청나게 사들일 것이라는 전망이 존재한다고 볼 수 있겠죠.
도전은 멋진 것이고 성공을 기원합니다 냉소적이고 비관적인 댓글을 다시는 분들이 많은데요, 아이폰이 나왔을 때 이찬진씨가 극찬을 하면서 아이폰은 많은 것을 바꿀 것이고 한국에 들어오기를 기대한다는 글을 썼었는데, 당시의 잘나가던 컴퓨터 커뮤니티에서도 그 글에 냉소적인 댓글을 달았던 사실이 있었습니다. 지금은 그 원본 글은 사라지고 펌글 몇 개가 아카이브로 남아 있는 것 같습니다만 - 응원과 함께 지켜보는 것이 좋지 않을까 생각하고 제가 AI쪽을 잘 아는 것은 아니지만 생각보다 시장이 큰 것 같습니다. 느낌 상 CPU가 들어가는 제품에는 다 AI칩이 들어갈 것 같구요. 혹시 아나요. 긍정적으로 보다가 공부하게 되고 그러다 좋은 주식을 하나 건지게 될지 :)
설명글에 "엔비디아 반도체보다 성능은 50%, 가격은 2배 낮춘" 엔비디아 반도체보다 성능이 50% 밖에 안되면, 가격은 1/2보다 더 싸야하는거 아닌가요? 첨단산업에서는 원래 조금의 차이가 큰가격의 차이를 만드는데... 남들 100km/h로 달리는 차를 100만원에 파는데 50Km/h로 달리는 차를 50만원에 판다고 자랑하는 건가요?
엔디비아보다 뛰어나다 말로만 하지 말고 실물이 필요한데 무리임... 무슨 소리인가 들어 봤는데 엔디비아도 ai반도체에 사용할 삼성전자와 하이닉스 고대역 메모리 납품 받으려고 기다리는 중이고 하이닉스가 먼저 엔디비아 시험에 통과 한 것으로 알고 있음.. 결론 기술 격차 줄이기 힘듬.. 게다가 엔디비아가 발표한 ai 신기술 발표내용이 많이 겹치네요...
짐 켈러의 칩도 사양을 보면 성능이 아직 엔비디아보다 못하고 대신 전력소비량이 1/10 이더군요. 물론 앞으로 비약적으로 발전시키겠다고 인터뷰했고 그렇게 계속 발전할테지만요. 중요한건 새로운 시장의 가능성이 보인만큼 한국에도 기회가 있다는 겁니다. 오늘 인터뷰, 유익하네욤~
전부터 에스오디님 영상을 보면서 감동 또는 실망등 우리나라의 기술에 앞선 시선의 한계에 안타까움을 많이 가지고 있습니다. 물론 배움이 없는터라 기술의 해석에 대한 비판은 잘 하지 못하고 그게 바른지 그른지 또한 잘 판단하지 못하는 저입니다. 하지만 저는 조금만 비교를 하는 듯한 질문또는 억양은 줄었으면 좋겠습니다. 이건 네티즌분들도 부디...매번 국뽕 어쩌구 저쩌구 보다 노력하는 과학자 또는 기술자를 응원해주셨으면 좋겠습니다.물론 저보다 더 잘아시고 다른 의미에서 말씀하셨을수도 있다는 생각합니다만 솔직히 비교가 항상 일상인 한국에서 조금만더 기술 그자체에대한 문제점 현실성, 그리고 나아가야할 방향을 조금만 더 비중을 둬서 질문해주셨으면 좋겠습니다. 언제나 응원하는 팬으로서...항상 화이팅!
카이스트를 지원해서 미래 먹거리를 마련 해야 한다. 자신의 부를 위해 성적순 대로 의대로 진학하는 외곡된 풍토의 한국에서 공학도들을 적극 지원해서 꿈을 실현시켜 인생을 행복하고 부를 축적하도록 조건을 마련해야 한국의 미래가 열린다. 정부는 의대증원 2배로 늘려 필수의료 분야에도 의사들이 배출되도록 해야 한다.
이분이 취재한거 영상 여러개 봤는데...! ^ ^ 기대치만 높고 알멩이가 하나도 없는게 태반입니다... 우리나라 연구자여서 칭찬하고 싶어도... 세계무대에서 인정받거나 , 삼성이나 SK 하이닉스 처럼 세계무대에서 돌파구를 여는 업체가 하나도 없죠...! 이게 칭찬만 할수 없는 부분입니다.. 0.0 이 연구자분들이 HBM를 쓰지말자고 자기입으로 까고 있지만.. 실상은 엔비디아의 굴지의 글로벌 회사는 삼성이나 SK하이닉스의 HBM을 쓰고 있죠...! 0.0 이런상황에서 LPDDR 얘기하는게 무슨소용있나요? 개념은 좋은데.. ㅋㅋㅋㅋ 결국 세계적인 회사가 쓰지 않는다면 그냥 그것으로 끝난겁니다.. 한국인으로써의 자부심이나 응원도 어느정도 세계인적 글로벌 회사들한테 인정받고 삼성이나 SK하이닉스처럼 써줘야 인정받는거지..! HBM 까데기 하는 벤처회사가 LPDDR 운운한들.. 비웃음만 살것입니다... 성공하고 LPDDR 이든.. ai 든 말하는게 순서입니다... 다른영상을 봐도.. 기대는 큰데... 성공한 케이스가 많이 없죠...! 0.0 서울대 , 카이스트 나오면 뭐합니까? 결국 세계적으로 쓰이는건 삼성에서 만든 기술... SK하이닉스에서 만든 기술로 결국 끝나는데...
다 좋은데 사실 현업가면 병렬처리하는것만해도 존나 빡셈 ㅋㅋ 그래픽 카드 한장 쓰면서 알렉스넷 돌리다가 한장 더사서 꼽고 돌렸더니 성능이 떨어지길래 ㅅㅂ 뭐지? 하고 봤는데 병렬 병렬 처리를 해야 했던거임 ㅋㅋㄹㅃㅃ 방법도 꽤 많은걸로 아는데 존나 로우 레벨까지는 건드리지도 못함 ㅋㅋ;
제가 보기에도 이미 CUDA기반으로 완전 통일 되어져버린 시장에서 안정성과 범용성을 NVIDIA급으로 시장에서 인정받으려면 시간과 장기간의 투자가 필요한데 사실상 그게 우리나라에서 가능하다고 보여지지는 않네요. 엔비디아도 사실 매우 오랜 시간 이에 투자해서 전체 시장을 장악한거라서 그저 우리나라가 만들 기술이 있다라고 하더라도 그걸 전세계 시장에서 점유율을 얼마나 가져 올 수 있으며 완전 대체가 가능한 수준이기는 한 것인지는 실 사용자들이 판단할 문제이지 그저 영상하나 이렇게 띡 보고 나서 판단이 가능하다고 보여지지는 않습니다. 이런게 있고 안될수도 있지만 시도중이다라고 이야기해야지 이게 완벽하게 엔비디아의 H100등보다 훨씬 났고 바로 판매가 가능하다는 식으로 보이는 것은 매우 위험한 발상 같네요.
