📌 노정석 & 신정규 Backend.AI:GO 론칭 및 에이전트 코딩 이야기 (00:00)
🔹 소개
Lablup의 신정규 대표가 Backend.AI:GO 제품을 론칭했다. 이 제품은 40일 동안 개발되었으며, 약 100만 줄의 코드로 구성되어 있다. 노정석은 개인적으로 이 제품을 사용해 본 결과 매우 만족스러워하며, 신정규 대표를 모시고 개발 과정과 이후 Lablup의 변화에 대한 이야기를 나눈다.
🔹 Backend.AI:GO 소개
Backend.AI는 AI 인프라 운영체제로, 10년 넘게 개발되어 왔다. 일반적으로 GPU 100개 이상을 사용하는 환경에 적합하여 개인이 사용하기 어려웠다. Backend.AI:GO는 이러한 문제를 해결하기 위해 개발되었으며, 클라우드 장애 시에도 자체적으로 AI를 구동할 수 있도록 돕는다.
- Continuum 라우터: 2025년 3월에 공개된 라우터로, AI가 다운되었을 때 자체적으로 돌아갈 수 있게 한다.
- GTC NVIDIA 행사: 해당 라우터는 GTC에서 공개되어 좋은 반응을 얻었다.
- OpenRouter: Continuum 라우터는 너무 커져서 OpenRouter와 비슷한 서비스 구축 레벨까지 확장되었다.
- 스마트 라우팅: Continuum 라우터에서 스마트 라우팅 기능만 분리하여 속도를 높이는 데 집중했다.
- 재해 대응 기능: converter 기능, circuit breaking 기능, 모델 자동 전환 기능 등을 제공한다.
- 웹 UI 필요성: 사용자에게 설명하기 어렵다는 판단 하에 웹 UI를 추가하기로 결정했다.
- 머신 러닝 플랫폼: Lablup 창업 초기에 머신 러닝 플랫폼을 개발하며 터미널 기반으로 설명했던 경험을 바탕으로, 시각적인 UI의 중요성을 깨달았다.
Backend.AI:GO는 AI 인프라 운영체제인 Backend.AI의 기능을 개인 사용자도 쉽게 사용할 수 있도록 만든 제품이다.
🔹 Backend.AI:GO 시연
Backend.AI:GO는 Hugging Face에서 모델을 검색하고 다운로드하여 사용할 수 있는 기능을 제공한다.
- 모델 정보: 각 모델에 대한 설명, 아키텍처 정보, 양자화 정보, 파라미터 정보 등을 제공한다.
- 트랜스포머 블록 구조: multi-query attention 등의 정보 제공.
- GPU 지원: NVIDIA GPU 또는 AMD GPU를 사용하여 모델을 실행할 수 있다.
- 클라우드 모델 연결: OpenAI, Gemini, Anthropic, Ollama, LM Studio 등의 클라우드 모델을 연결하여 사용할 수 있다.
- 라우터 UI: 연결된 모델들의 지연 시간 등을 확인할 수 있다.
- 분산 컴퓨팅: 여러 대의 컴퓨터에 Backend.AI:GO를 설치하여 자원을 공유하고 분산 처리할 수 있다.
- 번역 기능: Lablup에서 자체 번역기를 개발하여 통합했다.
- 다양한 테마: Windows XP 테마, 글래스 테마 등 다양한 테마를 제공한다.
Backend.AI:GO는 다양한 모델을 쉽게 사용하고, 여러 컴퓨터의 자원을 공유하며, 번역 기능 등 다양한 편의 기능을 제공하는 도구이다.
🔹 Backend.AI:GO 개발 과정 및 소요 비용
Backend.AI:GO는 신정규 대표가 개인적으로 필요하다고 느껴 개발한 도구이다.
- 개발 동기: Continuum 라우터 웹 UI 개발 필요성, llama.cpp 자동화, DeepL 구독료 절감, 그림 그리기 기능 필요 등
- 개발 기간: 40일
- 사용 토큰: Claude Code Max를 8개 PC에서 돌려 총 130억 토큰 사용
- 첫 공개: CES (Consumer Electronics Show)에서 첫 공개
- 제품화 이유: 내부 공유 결과 반응이 좋아 Backend.AI 홍보용 제품으로 결정
- 개발 방식: 이슈 트래커에 등록된 내용을 바탕으로 자동 개발 harness를 돌리고, 사람이 UX 수정 및 피드백 진행
Backend.AI:GO는 개인적인 필요에 의해 개발되었지만, 내부 공유 결과 홍보용 제품으로 발전하게 되었다.
📌 에이전트 코딩과 변화 (01:16)
🔹 에이전트 코딩 경험과 교훈
신정규 대표는 Backend.AI:GO를 개발하면서 에이전트 코딩에 대한 새로운 경험과 교훈을 얻었다.
- IT 회사의 경쟁력: 토큰 사용량과 IT 회사의 경쟁력은 직결될 수 있다.
- 개발 병목 현상: 개발 속도가 빨라지면서 merge queue가 병목 현상으로 나타났지만, AI가 자체적으로 해결
- 토큰 절약의 중요성: AI 코딩 시대에는 토큰을 덜 사용하는 것이 핵심 경쟁력이 된다.
- 개발 속도 향상 방법: 토큰 자체를 덜 생성하거나, 초고속 inference를 사용하는 방법이 있다.
- 고속 inference 시장: ChatGPT보다 5~10배 빠른 초고속 inference가 중요해질 것이다.
- adaptive thinking budget: 성능이 필요한 부분에만 thinking을 많이 하게 하고, 단순 작업에는 thinking을 줄이는 방식이 필요하다.
AI 코딩 시대에는 토큰을 효율적으로 사용하고, 개발 속도를 높이는 것이 중요하다.
🔹 에이전트 코딩의 빛과 그림자
신정규 대표는 에이전트 코딩을 통해 얻는 즐거움과 함께 삶의 변화를 경험했다.
- 도파민 효과: 에이전트 코딩은 빠른 속도로 결과를 얻을 수 있어 인간에게 즐거움을 제공한다.
- 삶의 피폐화: AI에 대한 의존성이 높아지면서 인지 부하가 줄지 않고 삶이 피폐해질 수 있다.
- 프로덕트 수명 단축: 빠르게 만들어진 소프트웨어는 유지 의지가 약하고, 비슷한 프로덕트가 많아져 수명이 짧아질 수 있다.
- 댓글과 도파민: 블로그 댓글이 Twitter로 이동하면서 블로그 운영자들이 동기를 잃은 것과 유사한 현상이 발생할 수 있다.
- 인스턴트 앱 등장: 필요할 때 만들고 버리는 인스턴트 앱이 등장하고, 소프트웨어 종류가 다시 줄어들 수 있다.
- 앱 사용량 집중: 스마트폰 앱처럼 소수의 앱이 대부분의 사용량을 차지하는 현상이 나타날 수 있다.
- 소셜 기반 앱, 생활 밀착형 앱: 오랫동안 유지되는 앱들은 소셜 기능이나 생활 밀착형 기능을 제공한다.
에이전트 코딩은 즐거움을 주지만, 의존성 증가, 프로덕트 수명 단축 등 부정적인 영향도 고려해야 한다.
🔹 소프트웨어 개발 패러다임 변화
신정규 대표는 소프트웨어 개발 패러다임이 크게 변화하고 있다고 강조한다.
- 과거의 변화: 천공 카드 -> 키보드 코딩, 패키지 소프트웨어 -> 웹 서비스
- 현재의 변화: 코드 작성 -> 의미 전달, developer -> DevOps, 백엔드/프론트엔드 분리
- 코드의 가치 하락: AI가 코드 생성을 담당하게 되면서 코드의 가치가 낮아지고, developer의 역할 변화가 필요하다.
- 소프트웨어의 정의 변화: 코드가 아닌 AI 코어 엔진이 소프트웨어의 핵심 가치가 된다.
- 모델 중심 소프트웨어: AI 코어 엔진(80%), 결정론적 로직 코드(10%), UI/UX(10%)로 구성된 소프트웨어가 등장한다.
- 컴퓨터 공학 교육 변화: 모델, 모델 개발 방법, 모델 역사를 배우는 방향으로 변화한다.
- 데이터 구조, 알고리즘, OS, 네트워크: 중요성이 감소할 것이다.
AI 시대에는 코드보다 AI 모델이 중요해지고, 소프트웨어 개발자의 역할도 변화할 것이다.
🔹 가속도의 시대
신정규 대표는 현재 우리가 가속도가 증가하는 시대에 살고 있다고 강조한다.
- 가속 구간: 특정 속도 구간이 아닌 가속 구간에 위치하고 있어 변화의 속도가 더욱 빠르다.
- 연산량 증가: 모델 개발에 사용되는 연산량은 해마다 10배씩 증가했지만, 물리적 한계에 도달하고 있다.
- inference, agent swarm: training 대신 inference에 더 많은 리소스를 사용하거나, agent swarm을 늘리는 방식으로 가속을 유지한다.
- 아폴로 계획: 과거 아폴로 계획처럼 현재 AI 기술 발전도 빠른 속도로 진행되고 있다.
- Gemini 계획: 현재는 사람을 띄워 올리는 단계이며, 앞으로 더 많은 발전이 있을 것이다.
AI 기술은 현재 가속도가 붙고 있으며, 앞으로 더 많은 변화가 있을 것이다.
🔹 모두가 힘든 시대, 어떻게 해야 할까
신정규 대표는 모두가 힘든 시대에 개개인이 어떻게 대처해야 할지에 대한 조언을 제시한다.
- CFO의 변화: Claude Code를 배우고 업무 효율성을 높임
- 콘텐츠 담당자의 변화: Claude Code를 활용하여 자동화 harness를 구축
- 소프트웨어 중요성 증가: AI를 활용하여 가속 곡선에 올라타는 것이 중요
- 자신만의 harness 구축: 남이 만들어 놓은 skill을 복사하는 것이 아니라, 자신만의 harness를 구축해야 가속을 경험할 수 있다.
- 내 일 줄이기: 새로운 것을 배우는 것보다, 현재 처리하는 일을 위탁하는 방식으로 접근하는 것이 효율적이다.
- 진짜 파도는 이제부터: IT를 벗어난 사람들이 AI를 사용하기 시작하면 더 큰 충격이 올 것이다.
자신만의 자동화 시스템을 구축하고, AI를 활용하여 업무 효율성을 높이는 것이 중요하다.
📌 Backend.AI:GO를 활용한 자동화 예시 (40:00)
🔹 자동화 과정 시연
신정규 대표는 Backend.AI:GO를 사용하여 설 축하 메시지 작성 과정을 자동화하는 과정을 시연한다.
- 목표 설정: 노정석, 최승준의 유튜브 채널에 대한 설 뉴스레터 작성
- 사전 조사: 유튜브 채널 정보 탐색, 필요한 내용 파악
- CLAUDE.md 생성: 프로젝트의 soul document를 생성하여 기본 정보, 폴더 구조, 필요한 동작 등을 기록
- PROGRESS.md, PLAN.md: 작업 진행 상황과 계획을 관리하는 파일
- 에이전트 역할 분담: 여러 에이전트에게 역할을 분담하여 작업 효율성 향상
- command, skill 활용: command를 사용하여 여러 서브 에이전트들을 병렬 또는 순차적으로 실행
- 스펙 정의: 스펙을 미리 짜는 것이 아니라, 대화 과정을 통해 컨텍스트를 함께 만들어 나감
- 비판적 검토: 다양한 각도에서 스스로 비판하도록 유도하여 결과물의 완성도를 높임
- 결과물 검토 및 개선: 결과물을 직접 수정하는 대신, 결과물을 만드는 에이전트를 개선하는 데 집중
Backend.AI:GO를 활용하여 작업 과정을 자동화하고, 결과물의 완성도를 높이는 방법을 보여준다.
🔹 자동화 시스템 운영
신정규 대표는 Backend.AI:GO를 활용한 자동화 시스템 운영 방식에 대해 설명한다.
- 코드 작성 단위: 파일 단위로 작업을 분담
- 병렬 처리: 번역 작업 등 동일한 작업을 여러 에이전트에게 분담하여 병렬 처리 (최대 50개)
- Backend.AI:GO 프로젝트 적용: Backend.AI:GO 개발에도 동일한 자동화 시스템 적용
- 이슈 트래커 활용: GitHub 이슈 트래커에 등록된 이슈를 자동으로 검증하고, 구현 방법을 결정하고, 큐에 추가
- cron 활용: cron을 사용하여 주기적으로 자동화 시스템 실행 (15분마다)
- 사람의 역할: 이슈 검토, 보고서 확인, 기술적 결정 검토, 학습 내용 지정
Backend.AI:GO를 활용하여 자동화 시스템을 구축하고, 효율적으로 운영하는 방법을 제시한다.
🔹 자동화 시스템 도입 후 변화
신정규 대표는 자동화 시스템 도입 후 조직 내 변화에 대해 이야기한다.
- 개인별 차이: 개인별로 적응 속도에 차이가 있지만, 대부분 긍정적으로 적응
- 2개월 주기 변화: AI 기술 변화가 빠르기 때문에 2개월마다 상황이 바뀔 수 있음
- HWP 문서 자동 분석: CTO가 HWP 문서 전체를 disassemble하여 사내에서 HWP 문서 사용 X
자동화 시스템 도입 후 개인별로 적응 속도에 차이가 있지만, 조직 전체적으로 긍정적인 변화가 나타나고 있다.
📌 Lablup의 미래 전략 (63:45)
🔹 회사의 가치 재정립
신정규 대표는 Lablup의 가치를 재정립하고 미래 전략을 수립했다.
- AI를 위한 인터페이스 집중: 사람이 아닌 AI가 가장 잘 다룰 수 있는 도구를 만드는 데 집중
- AI 모델 중심: Backend.AI의 코어를 AI 모델로 변경
- AI 자원 관리 모델: AI 자원을 효율적으로 관리하고 특정 업무를 처리할 수 있는 모델 개발
- 모델 런타임 통합: Backend.AI 엔터프라이즈에 AI 모델 런타임을 통합
Lablup은 AI를 위한 인터페이스를 만들고, AI 모델을 중심으로 회사의 가치를 재정립하고 있다.
🔹 사이버 포뮬러 비유
신정규 대표는 AI 기술 발전을 사이버 포뮬러 애니메이션에 비유한다.
- Claude Code: 사람과 함께 공진화하는 AI (아스라다)
- Codex: 사람을 믿지 않고 스스로 해결하는 AI (오가)
- 호승심을 가진 AI: 목적 의식을 가지고 사람과 협력하여 최고의 결과를 만들어내는 AI
AI 기술은 사람과 함께 공진화하거나, 스스로 해결하는 방향으로 발전하고 있다.
🔹 회사로서의 슬픔과 기회
신정규 대표는 회사가 쌓아온 자산이 무의미해지는 것에 대한 슬픔과 함께 새로운 기회를 이야기한다.
- 빠른 적응: 스타트업은 판이 뒤집힐 때 궤도 수정이 빠르다는 장점
- 브랜드 가치: 안정기에 접어들면 브랜드 가치와 트랙 레코드가 핵심 경쟁력이 될 것
- 암묵지 활용: edge case 경험, 노하우 등 암묵지를 활용하여 경쟁 우위 확보
- 불안정한 환경에 대한 해결 능력: 불안정한 하드웨어, 소프트웨어를 안정적으로 운영하는 솔루션 제공
Lablup은 빠른 적응력, 브랜드 가치, 암묵지 활용 등을 통해 AI 시대에 새로운 기회를 만들어가고 있다.
🔹 스타트업에게 가장 안 좋은 것
신정규 대표는 스타트업에게 가장 안 좋은 것은 정체이며, 아이템 복제가 쉬운 시대에 차별성을 확보하는 것이 중요하다고 강조한다.
- NotebookLM 복제 사례: Facebook에서 NotebookLM을 4일 만에 복제
- 복제 저항성: 타임 갭, 암묵지 갭 등을 활용하여 복제 저항성을 확보
- 물레방아론: 낙차가 큰 곳에 물레방아를 설치하고, 상황 변화에 따라 유연하게 대처
스타트업은 차별성을 확보하고, 상황 변화에 유연하게 대처해야 성공할 수 있다.
🔹 컴퓨터 공학과 무용론에 대한 반박
신정규 대표는 컴퓨터 공학과 무용론에 대해 반박하며, 컴퓨터 공학과의 중요성을 강조한다.
- 신생 학문: 컴퓨터 공학과는 신생 학문으로, 변화에 대한 적응력이 빠르다.
- 로직 사고 능력: 컴퓨터 공학과에서는 로직을 세우는 방법, 사고 구조를 배우는 데 집중한다.
- 지식 외주화 시대: 지식을 외주화할 수 있는 시대에는 로직 사고 능력이 더욱 중요해진다.
컴퓨터 공학과는 로직 사고 능력을 키우는 데 중요한 역할을 하며, 앞으로도 그 중요성은 더욱 커질 것이다.