본문 바로가기

AI Feed

전체 글

AI 인프라, GPU만 알고 계신가요? 여러분은 ‘AI’ 하면 무엇이 떠오르시나요? 여전히 ChatGPT인가요? 최근에는 애플 인텔리전스 때문에 애플이나 시리를 먼저 이야기하실 분도 있을 것 같습니다. 세계 주식 시장과 산업 구조에 관심이 있으신 분들은 ‘엔비디아’를 얘기하시는 분들도 있겠네요. ‘엔비디아’의 주력 제품인 ‘GPU’까지 이야기하시는 분들이 있다면, AI에 대해 그래도 조금은 알고 계신 분이라 할 수 있겠습니다. 예를 들면, AI 피드에 자주 찾아오시는 분들이요.GPU는 ‘AI 인프라’라 하면 떠오르는 가장 1순위 키워드일 것입니다. 아무래도 매년 상, 하반기에 걸쳐 꾸준히 AI 데이터센터를 위한 GPU 신제품을 발표하는 엔비디아 덕이 가장 크겠지만요. 그래도 조금은, TEN의 노력도 있다고 생각합니다. AI 피드에서 AI 소식..
아아, NIM이여, 당신은 누구신가요? 엔비디아가 GTC 2024에서 혁신적인 신제품과 패러다임을 제시한 지 벌써 3개월 여의 시간이 지났습니다. 당시 발표된 제품들은 빠르면 올해 말, 늦어도 내년에는 만나볼 수 있을 것으로 예상되는데요. 엔비디아가 자신 있게 내놓는 GPU나 데이터센터 구축과 무관하게 우리가 먼저 접할 수 있는 것이 있습니다. 바로 NIM입니다.NIM을 기억하실지 모르겠습니다. 엔비디아의 CEO 젠슨 황이 제품 소개와 함께 언급했던, 엔비디아의 새로운 방향성, 바로 ‘플랫폼’에 대한 이야기를 하며 소개했던 것이 ‘NIM’인데요. 한국에서는 ‘당신’을 의미하는 ‘님’과 발음이 같아서 일종의 밈으로 쓰이는 경우도 종종 보았던 것 같습니다. 오늘 AI 피드에서는 엔비디아가 지금까지 사용해 왔던 성공 전략이 모두 녹아 있는 ‘NIM..
엄청 큰 AI 모델은 수많은 데이터를 어떻게 학습하고 처리할까요? 안녕하세요, 에디터 SA입니다. 인공지능(AI) 모델의 학습 및 운영 효율성을 높이기 위한 다양한 기술을, AI 피드에서 많이 설명해 왔었는데요. 오늘은 모델 페럴리즘과 데이터 페럴리즘에 대해 이야기해 보려 합니다. 모델 페럴리즘(Model Parallelism)과 데이터 페럴리즘(Data Parallelism)은 AI 학습과 운영 효율성을 높이는 데에 주로 쓰이는 기술이자 접근 방식입니다. 두 접근 방식은 대규모 모델과 데이터 세트를 효과적으로 다루기 위한 방법인데요. 모델의 크기와 데이터 세트의 특성에 따라 적절한 방식을 선택함으로써 학습 효율성을 크게 향상시킬 수 있습니다.   [ 대규모 모델의 분산 학습에는 모델 페럴리즘 ]모델 페럴리즘은 대규모 신경망 모델을 여러 장치에 걸쳐 분산하여 학습하는 ..
알음알음 많이 쓰인다는 업무용 AI 툴, 나만 모르고 있었나? 안녕하세요, 에디터 SA입니다. 여러분은 평소 어떤 AI를 접하고 있나요? ChatGPT를 통해 AI에 접근하기가 한결 수월해진 이후부터, 우리는 AI를 일상의 크고 작은 부분에 적용할 수 있게 되었습니다. 개발자처럼 맞춤 서비스를 개발하거나 AI 모델 및 기존 AI 서비스를 개량하는 적극적인 방식이 아니더라도요. AI 서비스 사용자의 입장으로서, AI를 점차 우리와 가깝게, 우리에게 유용하게 쓸 수 있는 방법을 찾아가고 있는데요.에디터 SA는 AI 인프라 전문 기업의 구성원으로서, AI를 업무 적재적소에 활용하기 위해 많은 도구를 찾아보았습니다. 기존에 사용하던 오피스 툴들이 일부 기능들에 AI를 적용하였다는 이야기를 들으면 꼭 활용해 보려 해보기도 하고, 유용하다고 소문난 도구들도 한 번씩 사용해 보..
AI를 믿었는데 어떻게 이럴 수가! AI가 거짓말을 해요! 최근 에디터 SA의 경험담을 이야기해 보려고 합니다. 2024년 하반기, 선선한 날씨를 기회 삼아 AI 컨퍼런스나 행사를 다녀오면 좋을 것 같아 정보를 찾아보고 있었는데요. 괜찮은 행사 정보가 잘 나오지 않더라고요. 그도 그럴 것이, 행사 정보를 검색하던 때는 7월이었습니다. 아직 구체적인 하반기 행사 정보를 찾아보기 힘든 시기였어요.고민 끝에, AI의 도움을 받아 보기로 했습니다. AI 검색의 도움을 받으면, 정리된 행사 정보를 한눈에 볼 수 있겠지? 생각했어요. 혹시나 AI가 출처 없는 정보를 생성할 것을 우려해서, 출처도 모두 달아달라는 스크립트를 작성해, ChatGPT에 보내 보았습니다. 그렇게 4개의 개최 예정 행사 정보를 손쉽게 모을 수 있었어요. 행사의 기조연설을 하는 연설자들도 매우 유명한..
AI를 도입하려면, 쿠버네티스를 꼭 알아야 한다고요? 여러분, 혹시 ‘쿠버네티스’ 아시나요? AI를 개발하고 운영하는 과정에서 쿠버네티스를 활용하시는 분들이 꽤 계신 것으로 알고 있는데요. 모르시는 분들도 제법 계신다는 이야기를 듣기도 해서, 문득 궁금해지더라고요. AI 피드를 계속 찾아주시는 분들은 ‘쿠버네티스’를 알고 계시는지 말이에요. AI 피드에서 이미 쿠버네티스에 관해 간단히 소개해 드린 적 있답니다. 쿠버네티스 툴도 함께 소개해 드렸었지요.👉 쿠버네티스, 오픈소스 도구로 더 알차게 쓰는 법!AI 개발과 운영 과정에서 쿠버네티스(Kubernetes)를 활용하는 것은 많은 이점을 제공하는데요. 쿠버네티스를 아예 모르시는 분들도 있다는 현장의 이야기를 전해 들은바, AI 인프라 전문기업으로서 TEN이 직접 쿠버네티스에 관해 설명하는 시간을 만들면 좋..
LLM을 더 정확하게, 믿음직스럽게! RAGOps 최근 AI 피드에서는, AI 기술의 발달과 패러다임의 변화를 반영하여 새롭게 정의한 프레임워크, 프로세스 등을 소개해 드리고 있습니다. MLOps의 연장선에서 새롭게 접할 수 있는 개념으로 GenAIOps와 LLMOps를 소개해 드렸는데요. 혹시, 아직 보지 못하셨거나 가물가물하신 분들도 있을 것 같아 잠시 소개해 봅니다.👉 생성형 AI 도입에 맞는 MLOps? 더 세분화해서 GenAIOps! 👉 LLM 기반 개발을 생각하세요? 그럼 LLMOps를 기억하세요!이번 [AI, 더 쉽게]는 앞서 소개한 GenAIOps, LLMOps처럼 MLOps에서 출발하지만, 새로운 개념에 관해 이야기해 보려 하는데요. 바로 RAGOps입니다. GenAIOps나 LLMOps는 그 이름에서부터 개념에 대한 짐작이 가능했는..
AI Pub 개발자가 소개하는: OpenLDAP 실습하기 안녕하세요, 에디터 TN입니다. LDAP(Lightweight Directory Access Protocol)은 디렉터리 서비스에 접근하기 위한 경량화된 프로토콜로, 꽤 오래전 공개되었지만, 지금까지도 널리 사용되고 있습니다. LDAP 중 LDAPv1이 1993년에 RFC(Request for Comments) 1487로 제정되었고, 1997년에 발표된 LDAPv3은 2006년에 RFC 4511로 업데이트되었습니다. 관련한 내용을 [AI, 더 깊게]의 5월 콘텐츠로 준비하여 설명하여 드린 적이 있었습니다.👉 AI Pub 개발자가 소개하는: 가볍고 빠른 프로토콜 LDAP7월의 [AI, 더 깊게] 에서는 5월에 이야기한 LDAP의 이론에서 더 나아가 예제까지 다뤄보려 합니다. OpenLDAP을 사용하여 L..
LLM 기반 개발을 생각하세요? 그럼 LLMOps를 기억하세요! AI의 패러다임이 LLM에서 LMM으로 옮겨가고 있지만, 우리가 일상에서 접할 수 있는 AI 서비스와 그로 인한 혁신을 생각하면, 여전히 LLM의 역할은 굳건합니다. LLM은 모델들은 대화형 AI, 자동 번역, 텍스트 생성 등 다양한 응용 프로그램에서 사용되고 있는데요. 최근 갤럭시 S24 이하 모델들에 OneUI 업데이트가 진행되고 나서 제공되는 일부 기능들이 바로 ‘LLM’을 바탕으로 하고 있다고 생각하시면 됩니다.이러한 LLM의 성공적인 배포 및 운영을 위해서는 특별한 관리와 운영 프로세스가 필요한데요. 우리가 알고 있는 MLOps, 그리고 지난주 AI 피드에서 이야기한 GenAIOps와도 다른 개념입니다. GenAIOps는 프레임워크라고 보아야 하고, 이번에 소개해 드릴 개념은 ‘프로세스’입니다...