엔비디아만 있는 게 아니다! AI 인프라, AI 칩의 오늘은?

엔비디아의 행보를 지켜보고 있던 AI 인프라 업계의 숨은 강자들이 속속들이 등장하고 있습니다. GTC가 신호탄이 된 것 같습니다. 물론, 엄밀히 말하면 ‘숨은’ 강자라기 보다는 엔비디아라는 엄청난 선두 주자로 인하여 잠시 ‘숨겨진’ 것에 가깝겠지만요. 인텔, FCC 등에서 차세대 ‘AI 칩’을 내놓고 있고, AI의 도입 방식에 따라 인프라를 도입하고, 합리적으로 운용할 수 있도록 용도에 따른 ‘AI 칩’을 내놓고 있습니다.

이런 양상은 AI 인프라 전문기업의 입장에서 반갑기도 한데요. RA:X의 테스트 인사이트로 공개했던 사례처럼, 무조건 가장 최고 사양의 GPU를 가지고 AI를 운영한다고 하더라도, 꼭 좋은 인프라 효율을 얻을 수는 없기 때문입니다.

👉 RA:X 서비스 개발자의 인사이트: 혼합 정밀도와 GPU 성능 비교

그래서 오늘은, 우리의 합리적인 인프라 구축, 운용을 도와줄, AI 인프라 업계의 다양한 도전, 신제품 소식들을 준비했습니다. 서론이 길었지만, AI 인프라의 선두 주자인 엔비디아만 알고 계셨던 분들에게 신선한 이야기가 될 거예요.

 

 

 

[ 엔비디아에 맞서는 인텔 AI 칩 ‘가우디 3’ ]

GAUDI 3 (출처 : https://www.intel.com/content/www/us/en/products/details/processors/ai-accelerators/gaudi3.html)

현지 시각 4월 9일, ‘인텔 비전 2024’가 열렸습니다. 엔비디아가 GTC에서 신제품과 향후 방향을 공개하듯, 인텔은 ‘인텔 비전 2024’에서 신제품을 공개하는데요. 이번에 공개한 제품은 바로 ‘가우디 3(Gaudi 3)’입니다. 2023년 12월에 가우디 3에 대한 언급이 잠깐 있었는데요. 드디어 실물을 볼 수 있게 됐습니다. 실제 제품은 3분기부터 볼 수 있다고 하네요.

가우디 3(Gaudi 3)은 인텔에서 자체 개발한 최신 인공지능(AI) 칩입니다. 엔비디아 'H100'에 ‘라마2’를 얹어 놓은 상황과 비교하자면, 훈련 시간이 1.7배 더 빠르다고 합니다. 특히 7B 모델, 13B 모델에서 성능 차이를 확인할 수 있고요. 여전히 많이 쓰이고 있는 GPT-3를 기준으로 하면 175B 모델에서도 훈련 시간이 더 빨라지는 것을 체감할 수 있다고 합니다. 추론 처리량으로 엔비디아의 H100과 비교하면, '라마 7B', '라마 70B', ‘팰컨 180B' 모델에서 1.5배 빠르다고 합니다. H200과 비교하면 1.3배 정도의 차이가 있고요. 추론 전력 효율까지 H100보다 평균 2.3배 더 높다고 하네요.

 

가우디 2(Gaudi 2) 대비 4배 더 많은 BF16용 AI 컴퓨팅 성능, 1.5배 향상된 HBM 메모리 대역폭을 제공하기에 경쟁사와 비교해도, 자사 제품과 비교해도 큰 성과가 있는 신제품이라는 것이 인텔의 의견인데요. TPC 코어는 64개로 2개의 다이 모듈에 분산되어 있는데, AI 모델이 데이터를 처리하는 동안의 계산 속도를 높이도록 최적화되어 있습니다. MME 코어 역시 8개로 다이 모듈에 분산되어 있고요. 이미지 인식 모델의 기반이 되는 컨볼루셔널 레이어를 실행하는 데에 중점을 두고 있습니다. AI 모델이 계산에 필요한 데이터에 빠르게 액세스할 수 있게 해주는 128GB의 온보드 HBM2e 메모리를 지원하는 제품입니다.

가우디 3은 단일 서버에 8개 설치할 수 있는데요. 각 칩에는 인접한 가우디 3과 데이터를 교환하는 데 사용되는 21개의 이더넷 링크가 포함돼 있습니다. 서버 외부의 칩과 상호 작용할 수 있는 이더넷 링크가 3개 더 제공된다고 하네요. 엔비디아는 인피니밴드를 중심으로 하는데, 인텔은 이더넷을 사용하여 좀 더 개방적이라 볼 수 있습니다. 쿠다(CUDA) 중심인 엔비디아의 생태계를 염두에 두고 반대되는 방향의 정책을 마련한 것 같기도 하네요,

 

 

 

[ 2025년 AI 시장은 AMD가 잡을까? ‘2세대 버설 시리즈’ 발표 ]

AMD VERSAL AI EDGE 2세대 (출처: https://www.amd.com/en.html)

AMD도 두 가지 ‘버설 시리즈 2세대 (Versal Series Gen 2)’ 칩을 발표했습니다. 이 제품은 우리가 생각하는 AI 도입 서비스 중에서도 주로 스마트 자동차 하위 시스템 같은, 엣지 AI 장치에 적용하도록 설계된 SoC(System on Chip)입니다. 조기 액세스 문서 및 평가 키트는 지금도 이용해 볼 수 있습니다.

2세대 버설 AI 엣지 시리즈는 AI 기반 임베디드 시스템 가속화에서 전처리, AI 추론 및 후처리 단계에 맞춰 최적의 프로세서 조합을 통합해 내놓은 것인데요. (사실상 거의 전 과정 아닌지!) 실시간 전처리를 위한 FPGA 로직 패브릭, 효율적인 AI 추론을 위한 벡터 프로세서 어레이, 후처리를 위한 Arm CPU 코어를 갖추고 있습니다. 이 단일 칩에서 전반적으로 적용할 수 있는 솔루션을 제공하기 때문에 멀티 칩이 필요하지 않다는 점이 큰 장점입니다.

앞서 이야기한 스마트 자동차를 예로 들면, 여러 개의 칩을 자동차에 추가하는 것이 부담일 수 있겠지요. 이는 다양한 방식의 온디바이스 AI에도 그대로 적용될 이야기일 거예요. 그러므로. 좀 더 일상에 AI를 도입하는 데에 최적화된 AI 칩이라고 생각하셔도 좋을 것 같습니다.

그럼, 이 새로운 AI 칩에 맞춰 시스템도 바뀌어야 하는 것 아니냐는 우려가 있을 수 있겠습니다. 실시간 전처리에 필요하다고 설명했던 ‘FPGA 로직 패브릭’을 고성능 임베디드 Arm CPU와 결합하였기 때문에 기존의 임베디드 시스템이어도 적합하게 적용할 수가 있다고 합니다. 1세대에 비해 최대 10배 더 많은 스칼라 컴퓨팅을 갖추었기에 운전, 비행 등에 쓰이는 애플리케이션, UHD 비디오 스트리밍, 산업용 PC 등 실시간 고용량 송출 과정이 필요한 서비스에 유용할 것으로 보입니다.

 

 

 

[ CPU, GPU, NPU의 워크로드를 한 번에? 심지어 오픈 소스? ]

CPU와 GPU, NPU에서 담당하는 워크로드를 한꺼번에 처리할 수 있다면 믿으시겠나요? 무려 오픈 소스인, ‘종결판’ 칩이 나올 수도 있다는 이야기까지 나오고 있는, 새로운 설계에 대한 이야기입니다. 바로 ‘리스크 파이브(RISC-V)’입니다.

4월 4일 현지 언론을 통하여 공개된 바에 따르면, 스타트업 X-실리콘(XSi)의 개방형 반도체 설계 자산(IP)인 ‘리스크 파이브’를 활용, CPU와 GPU 기능을 단일 칩에 결합한 새로운 'C-GPU' 아키텍처를 만들었다고 하는데요. 쉽게 말하면, ‘C-GPU’는 이름에서 알 수 있듯 CPU와 GPU의 기능을 단일 코어 아키텍처에 결합한 설계입니다. 인공지능(AI), 고성능 컴퓨팅(HPC)은 물론 2D 및 3D 그래픽 애플리케이션을 처리하도록 설계되었습니다.

AI 인프라에 있어 빠질 수 없는 ‘저전력’도 고려했습니다. 저전력으로 단일 프로세서 솔루션을 운용할 수 있도록 GPU 가속과 RISC-V 벡터 CPU 코어를 결합했다고 하는데요. 게다가 실시간 데이터 처리 및 동적 그래픽 렌더링까지 커버할 수 있는 '나노타일(NanoTile)' 아키텍처를 사용했습니다. 저전력으로 성능까지 챙겼다는 이야기죠.

 

RISC-V는 로봇과 가상현실(VR), 자동차, 사물인터넷(IoT) 등 다양한 시장을 지원할 수 있을 만큼 유연하고 확장성이 있는 개방형 표준 설계입니다. 이 말인즉, 다중 코어 설계로 결합할 수 있는 것이기 때문에, 제조업체가 필요에 따라 이 개방형 설계를 활용하여 C-GPU의 처리 능력을 확장할 수 있다는 것인데요. 사실상 ‘만능 프로세서’가 되지 않겠느냐는 의견도 있습니다.

물론 설계대로 실제 제품이 작동할지는 아직 알려지지 않았습니다. 그래서 실제 도입 및 테스트를 거쳐 정확한 내용이 나와봐야겠습니다만, 무척 흥미로운 이야기임에는 분명하지요? 이론적으로는 동일한 코어에서 CPU 및 GPU 코드를 처리할 수 있기 때문에 CPU 메모리 공간과 GPU 메모리 공간 사이 데이터 복사 없이 낮은 메모리 점유, 나은 효율성을 제공할 수 있다고 합니다.

아무래도 새로운 패러다임을 제시한다고 하는 설계 방식이다 보니, 별도의 CPU 코어와 GPU 코어가 있는 인텔이나 AMD의 디자인과 다른 모습의 AI 칩이 만들어지게 되는데요. 굳이 비교하자면 애플의 'M2'나 'M3' 등에 가까운 외형일 수 있겠습니다.

참고로 리스크 파이브(RISC-V)는 오픈 소스입니다. 이 새로운 방식의 설계를 로열티 없이 누구나 쓸 수 있다니, 다양한 전문가들이 모이면, 우리가 생각하지 못했던 확장성을 보여주는 새로운 AI 칩을 보게 될지도 모르겠습니다.

 

 

 

AI로 가치를 실현하고 사회를 AI롭게 만들기 위해서는, AI 인프라 구축 단계부터 다양한 선택권이 주어져야 할 거예요. 인프라 단계부터 각자 상황에 맞게 HW 요소를 선택하여 인프라를 구축할 수 있으면, 향후 AI를 개발하고 학습하는 과정을 합리적으로 가져갈 수 있을 테니까요. 마침 엔비디아에서는 이번 GTC 2024에서 ‘플랫폼’이라는 새로운 방향성으로 향후 사업 방향을 공개했는데요. 이 분야까지 진출하여, 엔비디아와 함께 선택의 다양성을 만들어줄 누군가가 나타날까요? 오늘 살펴본 동향들을 보면, 그리 멀지 않은 이야기이지 않을까 기대해 봅니다. 그럼, 다음 주에 뵙겠습니다!