본문 바로가기
AI Feed

전체 글

Tech & Product/AI, 더 쉽게  |  2025. 7. 4. GPU가 부족한 게 아니라, 운영이 잘못된 걸지도 모릅니다 “GPU가 부족해서 늘 학습 작업이 밀려요”▼정말 GPU가 부족한 걸까요, 아니면 리소스 운영 방식이 문제일까요?많은 AI 운영팀에서 공통적으로 겪는 문제들이 있습니다.• GPU는 남아있는데도 대기열은 계속 늘어나고• 프로젝트마다 자원이 충돌하고• 어디에서 낭비가 일어나는지 파악이 어렵습니다그런데 자세히 보면,하드웨어 스펙보다 더 중요한 건‘운영 전략’이라는 걸 알 수 있습니다. ✅ GPU를 더 똑똑하게 쓰는3가지 운영 전략 ➊ 사용자/팀 단위 자원 할당 정책 수립누구에게, 얼마만큼, 언제까지→ 이 기준 없이 GPU를 운용하면 ‘점유’는 되지만 ‘활용’되진 않습니다.💡 자원 사용권한을 사용자·팀·프로젝트 단위로 나누고,사용 종료 시 자동 회수되도록 설정하세요. ➋ 우선순위 기반 스케줄링실시간 요청 ..
카테고리 없음  |  2025. 6. 27. GPU부터 사기 전에, AI 인프라 먼저 점검해야 할 것들 “GPU 도입만 하면 AI 인프라 구축이 끝날 줄 알았어요.”→ 하지만 생각보다 성능은 안 나왔고, GPU는 놀고 있었습니다.이 이야기는 많은 AI 도입 기업들이 공통적으로 겪는 현실입니다. AI 인프라는 고가의 투자 자산입니다.하지만 단순히 장비만 확보한다고 해서 AI 서비스가 원활하게 돌아가진 않습니다.실제로는 도입 이후에 더 많은 질문들이 쏟아집니다.• GPU가 부족한데 리소스는 분명 남아 있다?• 프로젝트마다 GPU 설정이 다르고 충돌이 잦다?• 사용 현황을 모르는 상태에서 예산만 늘어난다? AI 인프라 도입 전,꼭 확인해야 할 체크리스트 5가지 ➊ 워크로드를 정확히 파악하고 있나요?AI 인프라는 쓰임새가 다릅니다.• 학습이 중심인가요? 추론이 많은가요?• 단일 모델인가요? 멀티 사용자 환경..
Tech & Product/AI, 더 쉽게  |  2025. 6. 20. AI 인프라 오케스트레이션이 필요한 3가지 상황 GPU 자원, 아직도 고정 할당하고 계신가요?🧩 이런 상황, 실무에서 익숙하지 않으신가요?“GPU는 많은데 작업 대기열은 왜 줄지 않죠?”“AI 모델은 커지는데 GPU는 여전히 제자리예요.”“프로젝트가 끝나도 리소스 회수는 없어요…”이처럼 GPU 자원을 "전용처럼 고정 사용"하고 있다면,지금이 바로 AI 인프라 오케스트레이션을 고려할 시점입니다. 🔍 AI 인프라 오케스트레이션이란?**AI 인프라 오케스트레이션(AI Infrastructure Orchestration)**은AI 모델 학습 및 추론과 같은 워크로드 실행을 위한 GPU, CPU, 스토리지 등 인프라 자원을 자동으로 할당·최적화·관리하는 기술입니다.✅ 주요 기능자원 프로비저닝 및 할당→ GPU, CPU 등 자원을 필요 시점에 동적으로 배정..
Tech & Product/AI, 더 쉽게  |  2025. 6. 13. "GPU 클러스터, 정말 필요한가?" 도입 전 꼭 확인해야 할 5가지 조건 왜 지금, GPU 클러스터일까?모델이 거대해지고, AI 연산량이 폭증하면서많은 기업이 "GPU 클러스터" 도입을 검토하고 있습니다.하지만 도입 이후에도 GPU 자원은 놀고 있는 경우가 많고,비싼 인프라가 제 역할을 못 하는 상황이 반복됩니다.문제는 GPU 클러스터가 아니라,"그 자원을 얼마나 유연하고 효율적으로 운영할 수 있는가"입니다. 클러스터 도입 전 꼭 확인해야 할 5가지➊ 단일 GPU 서버로 감당할 수 없는 연산량인가?대규모 모델 학습, 고해상도 비디오 처리, 분산 추론 등하루 이상 걸리는 학습이 늘고 있다면✔ "복수 서버 기반의 연산 환경"이 필요할 수 있습니다.➋ 고연산 병렬 작업이 실시간으로 처리되어야 하는가?• 팀 구성원들이 동시에 모델을 실험• 테스트/서빙/학습이 모두 병..
Tech & Product/AI, 더 쉽게  |  2025. 6. 5. AI 워크로드 운영을 자동화하는 AI Pub(에이아이펍)의 5가지 활용 전략 GPU 인프라, 더 똑똑하게 운영하려면?많은 기업이 AI 모델을 학습시키기 위해 고가의 GPU 자원을 확보하지만,운영 효율은 생각보다 낮은 경우가 많습니다.학습 스케줄이 겹치거나, GPU가 유휴 상태로 방치되는 일이 반복되기 때문입니다.이러한 문제를 해결하기 위해 주식회사 텐(TEN)은 AI 워크로드에 최적화된 인프라 스케줄링 플랫폼, AI Pub을 제공합니다. AIPub의 주요 기능 5가지1. GPU 자원 분할 및 통합 스케줄링• 하나의 GPU를 100개 단위로 쪼개 여러 작업자가 동시 사용• 반대로, 대규모 학습이 필요한 경우 여러 GPU를 하나로 통합해 사용• AI Pub의 대표 기능: GPU 스케줄링 + 가상화2. 학습 워크로드 자동 스케줄링• 학습 job 등록 → AI Pub이 리소스 상황을..
Tech & Product/AI, 더 쉽게  |  2025. 5. 27. GPU 자원 최적화 방법 – AI 인프라 비용 절감 전략 고성능 GPU를 확보했다고 해서 AI 인프라가 효율적으로 운영되는 것은 아닙니다.많은 기업들이 GPU 자원 활용률 저하로 고민하고 있으며, 이는 곧 운영 비용 증가로 이어집니다.이 글에서는 GPU 자원을 최적화해 효율을 높이는 방법을 소개합니다. GPU 자원이 낭비되는 이유특정 부서나 프로젝트에 자원이 독점됨프로젝트 종료 후에도 자원 회수 미진수동 할당/관리 체계로 인한 병목 현상리소스 상태 모니터링 부재이러한 구조는 GPU의 유휴 상태를 초래하고, 결과적으로 리소스 낭비를 가속화합니다. GPU 최적화를 위한 3가지 실천 전략1. GPU 할당 자동화 시스템우선순위 기반 스케줄링을 통해 자원을 실시간으로 배분하고 회수함으로써,유휴 GPU 없이 전사적으로 균형 있게 사용할 수 있습니다.2. GPU 가상화..
Tech & Product/AI, 더 쉽게  |  2024. 12. 26. 변화무쌍했던 2024년! 돌아 보니 AI 산업에 아주 중요한 일들이! 2024년은 AI 산업에서 여러 기념비적인 사건들이 일어난 해로 기록될 것 같습니다. 똑같은 이야기를 2023년을 마무리하며 했던 것 같지만, 2024년도 못지않게 중요한 일들이 가득했으니까요. 새로운 AI 모델과 컴퓨팅 기술의 출시는 물론, 기업 합병과 혁신적인 연구 결과들이 주목을 받으며 산업 전반에 걸쳐 큰 영향을 미쳤습니다. 오픈AI가 AI 선도 기업이라고 여겨졌던 2023년과 달리, 신흥 강자들이 등장하기도 했는데요.그간 AI 관련 소식들을 AI 피드에서 모아 모아 전해드렸으니, 몇몇 기업들, GPU 및 컴퓨팅 제품들의 모습을 떠올리실 수 있을 거예요. 2024년을 마무리하며, 이번 AI 피드 [AI, 더 쉽게]에서는 한 해를 마무리하며 돌아볼 주요 AI 사건들에 대해 짚어보고자 합니다.    ..
Tech & Product/AI, 더 쉽게  |  2024. 12. 12. 아는 사람은 다 안다는 AI피드, 인기 많은 AI 콘텐츠 5가지는? 안녕하세요, 에디터 SA입니다. 여러분은 AI 피드를 언제부터, 또 어떻게 찾아주셨나요? AI 피드는 AI 인프라 전문 기업 TEN이, AI 정보 채널의 필요성을 깨닫고 누구보다 빠르게 운영하기 시작한 AI 전문 채널입니다. 때는 2023년, AI가 화제의 중심에 자리 잡고 있는데도 관련된 정보를 읽기 쉽고 재미있게 잘 정리한 채널을 찾기가 쉽지 않았거든요. AI가 일상을 이롭게 만들기를 바라면서 다양한 시도를 해오고 있었던 TEN은, 일단 여러분에게 있어 AI가 그리 어렵지 않고, 무섭지 않은 존재임을 알려드릴 필요가 있다고 생각했습니다.그렇게, AI와 함께 AI 피드도 덩달아 많은 관심을 받게 된 지 어언 1년이 넘는 시간이 흘렀습니다. 그동안 여러분께서 도움이 된다고 느끼고, 그 관심을 열렬히 표현..
Tech & Product/AI, 더 쉽게  |  2024. 11. 28. LMM, 지금 뭐해? AGI를 바라보는 LMM의 오늘 AI 피드의 [AI, 더 쉽게]나 [AI 뉴스룸]에서 LLM은 단골 소재입니다. 정확도를 포함한 성능 개선은 물론이고 새로운 기능을 추가하거나 용도에 맞게 변형되는 등 다양한 방면에서 발전하고 있어, 주기적으로 관련 소식을 알고 계실 필요가 있기 때문이에요. 그러다 보니, LMM의 근황에 관해 알려드린 적은 비교적 적었던 것 같습니다.LMM은 멀티모달모델로 불립니다. 처음에는 LMM이 어색하게 느껴지던 때도 있었습니다. AI, 하면 ChatGPT를 떠올리는 사람들이 워낙 많기 때문에, 챗봇의 연장선에서 이해하는 경우도 많이 있었어요. 하지만 지금은 AI에 대해 조금만 찾아보아도 바로 접할 수 있는 기본 개념이 되었습니다. 그리고 현재, LMM도 LLM과 구분되는 명확한 방향성을 가지고 변화하고 있습니다...

티스토리툴바