Tech & Product/AI, 더 쉽게
|
2023. 10. 19.
GPU를 이렇게 쓴다고? MIG 모드와 효율적인 분할 사용!
안녕하세요, 에디터 SA입니다. AI 개발과 학습에 있어 꼭 필요한 것이 있습니다. 바로 ‘GPU’인데요. 이 GPU에 대해서, 소신 발언을 해볼까 합니다. GPU는… 비쌉니다.🤑 모두 알고 계시고, 공감하실 이야기일 거예요. GPU 중 특히 AI 개발에 필요한 고사양의 GPU는 더욱 비싸고, 요새는 구하기도 어렵습니다. 혹시 담당하는 프로젝트가 AI 개발에 관련된 것이라면, 제일 먼저 부딪히게 될 문제가 바로 이 ‘GPU’일 가능성이 높습니다. GPU를 어찌저찌 구하는 데 성공했다면? 다음 문제가 기다리고 있습니다. 데이터센터를 구축하기 위해 A100과 밴드 같은 적절한 하드웨어를 마련했다고 가정해 보겠습니다. 일단 개발하고 있는 AI 모델이 하나이면, GPU 하나에 AI 모델 하나를 할당하는 단순한 ..
