Tech & Product/AI, 더 깊게
|
2022. 3. 4.
GPU의 효율을 극대화 하는 솔루션 - Coaster
최근 AI 관련 산업이 늘면서 데이터 학습, 추론, 서비스 등 GPU를 많은 곳에서 사용하고 있습니다. 많은 수요와 동시에 GPU의 가격도 천정부지로 오르고 있어 고가의 GPU를 효율적으로 사용하고자 하는 수요도 늘고 있습니다. 국내 MLOps 솔루션 회사인 주식회사 텐의 Coaster를 소개해드리고자 합니다. Coaster란? Ten에서 개발한 솔루션으로 서버의 리소스(CPU, GPU, RAM 등)를 필요한 만큼 나눠 독립된 컨테이너 환경으로 제공하는 솔루션 오늘은 Coaster 솔루션의 여러 기능 중 GPU 효율성 향상을 초점으로 진행한 실험 결과를 공유해 드리고자 합니다. GPU 장비가 고가이다 보니, 하나의 GPU에 여러 서비스를 올리거나 다수의 개발자가 동시에 개발/테스트를 진행하는 경우가 있습..