본문 바로가기
AI Feed

Tech & Product/AI, 더 깊게

Tech & Product/AI, 더 깊게  |  2024. 4. 1. RA:X 서비스 개발자의 인사이트: 혼합 정밀도와 GPU 성능 비교 안녕하세요. 저는 TEN에서 RA:X(랙스) 서비스를 담당하는 개발자 정수현입니다. RA:X(랙스)는 AI 인프라 전문 기업 TEN에서 작년 11월에 공개한 AI 인프라 구축 컨설팅 서비스입니다. 고객의 니즈와 상황을 고려한 테스트 데이터를 기반으로 AI 인프라 구성을 제안하는, 합리적인 컨설팅을 제공하고 있습니다. 왜 RA:X(랙스)가 세상에 공개되었는지 궁금해하시는 분들도 있을 것 같습니다. 지금은 AI 인프라 구축에 있어 각 HW 벤더들이 추천하는 것, 그리고 그 벤더들의 파트너사를 통한 추가 HW 요소들을 중심으로 구매 후 구축하는 경우가 많은데요. 이런 경우에는 구체적인 참고 데이터가 없더라도 어쨌든 우수한 사양으로 인프라를 구축하는 방향을 선택하시게 될 겁니다. 그런데 그 결과, 책임은 인프라..
Tech & Product/AI, 더 깊게  |  2024. 2. 23. AI Pub 프론트엔드 개발자가 소개하는: 웹 테스트 자동화 프레임워크 안녕하세요. TEN에서 프론트엔드 개발을 담당하는 오목눈이입니다.개발을 진행하다 보면 원하는 기능이 제대로 구현되었는지 검증하기 위하여 TC를 작성하고 다양한 상황에서 오류가 발생하지는 않는지 QA를 진행하게 되는데요. 좋은 품질의 웹을 개발하기 위해서는 테스트가 반드시 필요합니다. AI 인프라를 관리하는 MLOps 솔루션을 서비스하는 TEN에서 웹 테스트를 다룬다고 하니 의아해하실 분들도 있겠습니다. 회사 홈페이지에 관한 이야기 아닌가, 생각하실 분들도 있을 것 같습니다.TEN에서 서비스하는 AI Pub은 쿠버네티스의 기능을 확장해서, AI 개발, 학습과 서비스 배포 후 운영 시 인프라 관리에 대한 다양한 제반 관리 기능을 제공합니다. 그리고 이 기능들을 쉽게 활용할 수 있도록 Web UI로 접근..
Tech & Product/AI, 더 깊게  |  2024. 1. 31. RA:X 담당 개발자가 소개하는: 인피니밴드(Infiniband) 안녕하세요. TEN에서 RA:X 서비스를 담당하는 개발자 정수현입니다.RA:X는 TEN의 AI 인프라 구축 노하우를 더한 테스트 기반의 AI 인프라 구축 컨설팅 서비스입니다. 서비스명은 간단히 '랙스' 라고 불러주시면 됩니다. 보통 AI 인프라를 구축하는 과정에서 예산을 우선하다 보니, 실제 활용도, 성능에 대한 부분을 미처 고려하지 못하고 하드웨어를 구입하는 경우가 생깁니다. TEN은 AI 인프라를 더 효율적으로 구축할 방법이 필요하다고 생각했고, 인프라 전체의 가치를 볼 수 있도록 하는 가이드라인을 만들게 됐습니다. 그 결과 RA:X는 사용자가 활용할 AI 모델, 데이터 샘플을 참고해 테스트를 거쳐, 성능 측정치에 맞춘 인프라를 구축할 수 있도록 하고 하드웨어 구입에 대한 가이드라인을 제시합니다...
Tech & Product/AI, 더 깊게  |  2022. 5. 20. 주식회사 텐, Coaster Auth 오픈소스 공개 Coaster Auth는 Java Spring 스택 기반의 IAM(Identity and Access Management) 오픈 소스 소프트웨어입니다. 주요 기능 :OAuth 2.0 authorization serverOpenID Connect identity providerKubernetes 배포 유틸리티kube-apiserver OIDC 설정 유틸리티 오픈소스 공개 페이지 이동 : https://github.com/ten1010-io/coaster-auth GitHub - ten1010-io/coaster-auth: Coaster AuthCoaster Auth. Contribute to ten1010-io/coaster-auth development by cre..
Tech & Product/AI, 더 깊게  |  2022. 4. 1. JSON Patch REST API를 개발할 때 CRUD중 create, read, delete의 dto 설계는 비교적 간단하나 update는 다양한 방법이 가능하기 때문에 고민되는 부분입니다. 이 때 사용할 수 있는 JSON Patch를 소개합니다. JSON Patch JSON Patch는 json의 수정을 표현합니다. 따라서 REST API 설계시 PATCH 메소드와 함께 사용하면 update 기능을 구현할 수 있습니다. 예제 JSON Document { "a": "a", "b": "b" } JSON Patch [ { "op": "add", "path": "/c", "value": "c" }, { "op": "remove", "path": "/a" } ] 결과 { "b": "b", "c": "c" } 지원하는 Opera..
Tech & Product/AI, 더 깊게  |  2022. 3. 15. Docker의 등장 배경과 구조 Docker 등장 배경 chroot chroot는 ‘root 디렉토리(/)'를 변경하는 기능입니다. 프로세스의 root 디렉토리를 변경하여 해당 프로세스가 chroot로 설정한 root 디렉토리 밖의 파일이나 디렉토리에 접근하는 것을 제한합니다. 하지만 chroot는 파일이나 디렉토리에 대한 접근 권한만 제어하기 때문에 완전한 가상화가 아니었고 설정 방법도 복잡하여 여러 가지 제약이 있었습니다. LXC 이후 cgroups와 namespace기술을 이용한 컨테이너 기술의 시초인 LXC(Linux Container)라는 시스템 레벨의 가상화가 탄생하였고, OS 자체를 가상화하는 VM과는 다르게 해당 기술은 호스트 OS의 커널을 공유하고 단순히 하나의 격리 되어 있는 프로세스로써 동작하기 때문에 컨테이너라고 ..
Tech & Product/AI, 더 깊게  |  2022. 3. 4. GPU의 효율을 극대화 하는 솔루션 - Coaster 최근 AI 관련 산업이 늘면서 데이터 학습, 추론, 서비스 등 GPU를 많은 곳에서 사용하고 있습니다. 많은 수요와 동시에 GPU의 가격도 천정부지로 오르고 있어 고가의 GPU를 효율적으로 사용하고자 하는 수요도 늘고 있습니다. 국내 MLOps 솔루션 회사인 주식회사 텐의 Coaster를 소개해드리고자 합니다. Coaster란? Ten에서 개발한 솔루션으로 서버의 리소스(CPU, GPU, RAM 등)를 필요한 만큼 나눠 독립된 컨테이너 환경으로 제공하는 솔루션 오늘은 Coaster 솔루션의 여러 기능 중 GPU 효율성 향상을 초점으로 진행한 실험 결과를 공유해 드리고자 합니다. GPU 장비가 고가이다 보니, 하나의 GPU에 여러 서비스를 올리거나 다수의 개발자가 동시에 개발/테스트를 진행하는 경우가 있습..
Tech & Product/AI, 더 깊게  |  2022. 2. 23. 글로벌 MLOps 및 ML 도구 분야의 플레이어들 2/2 2달여 사이에 MLOps 대 유행이 시작이라도 된 것인지 MLOps 솔루션 사업을 공표한 국내 스타트업들이 부쩍 눈에 띄는 것 같습니다. 지난번에 이어 ‘글로벌 MLOps 플레이어’들에 대해 알아보겠습니다. 지난 글에서는 MLOps 도구가 지원하는 ML 생애주기 별 기능을 설명했습니다. 지난글 보기↗ 이번 글에서는 글로벌 플레이어들이 그들의 제품으로 ML 생애주기 별로 어떠한 태스크를 지원하는 지 정리해 보고자 합니다. 주로 2013년 ~ 2014년에 창업한 이들은 최근 몇 년간 막대한 펀딩을 유치한 것으로도 유명한데요, 우리보다 약 4~5년은 앞서 사업을 시작한 이들의 발자취를 통해 우리나라 MLOps 스타트업의 미래를 가늠해 볼 수도 있을 것 같습니다. MLOps 춘추 전국 시대라는 표현에 걸맞게 2..
Tech & Product/AI, 더 깊게  |  2022. 2. 11. GIL(Global Interpreter Lock) 이번 글에 설명하는 내용은 다양한 파이썬 인터프리터 구현체 중 가장 오래되고 많이 사용하는 c 언어로 구현된 Cpython을 바탕으로 한 내용입니다. 1. GIL 이란? Global Interpreter Lock In CPython, the global interpreter lock, or GIL, is a mutex that protects access to Python objects, preventing multiple threads from executing Python bytecodes at once. 파이썬 위키 에서는 GIL을 파이썬 객체에 대한 접근을 보호하는 mutex이며, 여러 스레드가 파이썬 바이트코드를 한번에 실행하는 것을 방지한다라고 설명합니다. 공식문서를 보면 항상 느끼는 거지만 ..

티스토리툴바