반도체는 사실 설계와, 구현보다도, 그 구현이 제대로 되었는지 확인하는게 훨씬 어렵습니다. 칩플렛 방식으로 연결을 하면, 연결하는 과정 자체는 단순하지만, 이후, 수많은 신호선들이 제대로 붙었는지 확인하는 과정이 필요합니다. 이때 반도체 연결은 기존 구리선 연결과는 달라요. ns단위의 신호가 지나 다니기 때문에, 단순히 연결되었는지 확인하는 것은 의미가 없고, capacitance, inductance를 다 만족시켜야 합니다. 그리고 그걸 확인할수 있어야 하죠. 그 확인할수 있는 회로 자체가 연결과정보다 훨씬 복잡합니다. 그리고 반도체에서 병렬 연결을 하게 되면, 그 병렬 연결된 신호들 간에는 동기화가 되지 않습니다. 반도체 신호 전달은 클럭을 사용해서 동기화로 보내게 되는데, 동기화로 1클럭이면 될 전달이, 칩플렛 연결에서는 별도의 동기화 과정을 거쳐야 하기 때문에 복잡해지고, 느려지고 문제가 많이 생기죠. 블랙웰에서 다 칩을 붙여서, 서로간의 메모리 참조는 가능해지지만, 고성능을 위해서는 비교적 메시지 전달에만 집중하게 되겠죠. 칩플렛 사이로 데이터를 많이 전달하게 되면 연결된 메모리를 사용하는 것보다 느려집니다. 다만 NVIDIA칩 자체가, DRAM을 사용해서 대용량 데이터를 단방향으로 가져오는데 최적화 되어 있어서, 알고리즘 따라 실제 효율 저하는 크지 않을수도 있겠죠.
AI모델이 너무 크기 때문에, 결국 개별칩을 얼마나 잘 만드냐는 의미없고 그걸 자랑하는 회사들은 다 스캠이라는 것. 커스텀HBM을 붙이고 이더넷 서버 통신기술까지 붙여서 거대한 데이터센터가 하나의 AI반도체로서 작동하기 때문에 그러한 수준에 도달하지 못하는 칩기술 기업은 다 사기라는것. . 스캠반도체 회사를 구분할 수 있는 팁을 주시네요.ㅋ
설명이 좀 알맞지가 않네요........... DRAM 은 원래 CPU를 위한 메모리 였어요.. 그걸 GPU가 갔다 썼는데... Tesla가 나오면서 엄청난 대역폭이 필요한거죠. GDDR 메모리는 적당치 않죠.. 그래서 고대역폭 메모리 HBM에 탄생한 것이고 필요한것이죠. 그리고 HBM메모리는 GPU가 직접사용하는 메모리입니다 OS가 관여하지 않는 메모리이구요. 이말은 OS의 명령 시퀀스가 길어서 Latency가 길죠. GPU를 위한 전용 메모리, 고대역폭 메모리 HBM이 필요한거죠. 그리고 수십대의 GPU서버 를 클러스터로 묶으면. 수십 수백대의 내부 인터커넥션양이 방대해집니다.. 절대적으로 NVLink와 인피니벤드와 HBM이 필요해진 것이죠. 이더넷이나 일반메모리를 써버리면 느려서 속도가 나오지 않는 비효율 머신이 되버리는거죠. 그리고 HBM 내부에 연산 칩을 넣고 싶어해요. 그래서 삼성이 유리 한 것이죠. NVIDIA 가 인수한 멜라녹스 가 인피니벤드를 만드는 회사 입니다. 브로드컴은 사용하지 않는데..
맞는말인데 뭔소리하노. 그 단순한 gpu를 하나로 잘엮어서 방대한 계산을 하는거임. Cpu가 gpu보다 훨씬 복잡한 로직이 필요함.엔비디안 수년의 노하우로 이gpu를 잘엮어 최대의 성능을 뽑아내기때문에 우월한거임. 이것도 기술이 발전되면 극복될 과정임. @@GreenUSA000
