📌 AI 시대의 변화: 하네스 엔지니어링의 등장 (00:12)
🔹 프롬프트 엔지니어링에서 하네스 엔지니어링으로
AI 기술이 발전하면서 프롬프트 엔지니어링, 컨텍스트 엔지니어링을 넘어 하네스 엔지니어링이라는 새로운 시스템이 주목받고 있다. 하네스 엔지니어링은 AI 사용 방식뿐만 아니라 반도체 하드웨어 아키텍처에도 영향을 미치는 중요한 개념이다.
- 소프트웨어 AI 사용성은 프롬프트 엔지니어링, 컨텍스트 엔지니어링, 하네스 엔지니어링으로 구조가 변화하고 있다.
- 하드웨어도 이러한 변화에 맞춰 분화 및 확장되고 있다.
하네스 엔지니어링은 AI 모델의 성능을 극대화하기 위한 시스템 구성 방식이며, 소프트웨어와 하드웨어 모두에 영향을 미친다.
🔹 엔트로픽과 오픈 AI의 하네스 엔지니어링 강조
엔트로픽은 블로그 글을 통해 하네스 엔지니어링의 중요성을 강조했으며, 오픈 AI 또한 2026년 2월에 하네스 엔지니어링을 전면에 내세웠다.
📌 컨텍스트 엔지니어링의 중요성 (01:36)
🔹 프롬프트 엔지니어링의 한계
기존의 프롬프트 엔지니어링은 AI 에이전트에게 원하는 행동을 이끌어내기 위한 맥락 구성에 한계가 있었다.
- AI 에이전트에게 필요한 정보를 적절한 타이밍과 형태로 제공해야 원하는 결과를 얻을 수 있다.
- 단순히 많은 정보를 제공하는 것(때려 넣는 것)은 효과적이지 않다.
🔹 컨텍스트 윈도우 활용
AI 모델이 인지 가능한 범위 내에서 컨텍스트를 큐레이션하여 제공해야 한다.
- AI 모델은 리소스의 한계로 인해 컨텍스트 윈도우 내에서만 정보를 처리할 수 있다.
- 컨텍스트 윈도우를 효율적으로 활용하는 것이 중요하다.
컨텍스트 엔지니어링은 AI 모델에게 필요한 정보를 맥락에 맞게 제공하여 성능을 향상시키는 방법이다.
🔹 롱 러닝 에이전트와 세션 관리
여러 컨텍스트 창을 넘나드는 문제를 해결하기 위해 롱 러닝 에이전트 개념이 등장했다.
- 롱 러닝 에이전트는 여러 세션을 거치면서 점진적으로 개선되는 AI 에이전트를 의미한다.
- 세션 간의 흐름을 효과적으로 관리하는 것이 중요하다.
- 작업을 나누어 중간 상태를 저장하고 다음 세션에서 이어서 작업을 수행하는 방식이 필요하다.
📌 하네스 설계의 핵심 요소 (03:28)
🔹 제너레이터, 이밸루에이터, 플래너
제너레이터, 이밸루에이터, 플래너 세 가지 에이전트를 구성하여 하네스를 설계하는 것이 AI 에이전트 코딩 성능의 핵심이다.
- 프론트엔드 디자인 작업 시, 정교한 하네스 설계를 통해 AI의 결과물 품질을 향상시킬 수 있다.
- 각 기능을 정의하고 에이전트 간의 협업을 통해 더 높은 수준의 결과물을 얻을 수 있다.
🔹 하네스 디자인 예시
사쿠라 페스티벌(벚꽃 축제) 이미지 생성 예시에서, 하네스 디자인을 통해 피드백을 반복적으로 적용한 결과 더 감성적인 결과물을 얻을 수 있었다. 거장들의 작품 또한 하네스를 통해 액자를 보는 듯한 생동감을 더할 수 있었다.
하네스 엔지니어링은 AI 모델을 에이전트처럼 행동하도록 만들어주는 시스템이며, 모델 바깥의 실행 시스템을 의미한다.
🔹 에이전트 성능 평가 기준
에이전트 성능 평가는 단순히 AI 모델의 성능뿐만 아니라 하네스의 구성 능력까지 포함해야 한다.
- 프롬프트 엔지니어링은 단순히 말을 잘 거는 것에 그쳤다.
- 컨텍스트 엔지니어링은 에이전트가 컨텍스트를 저장하고 외부 메모리를 다루는 데 중점을 둔다.
- 하네스 엔지니어링은 AI 에이전트들이 서로 다른 세션을 넘나들고 툴을 활용하며 실패를 복구하는 전체 실행 구조를 구축하는 데 초점을 맞춘다.
📌 하네스 엔지니어링의 실제 작동 예시 (06:40)
🔹 클로드 오프스 4.5 활용
클로드 오프스 4.5를 사용하여 2D 레트로 게임 제작 도구를 만드는 예시를 통해 하네스의 효과를 설명한다.
- 하네스 없이 솔로로 AI를 사용했을 때는 빠르게 결과물을 얻을 수 있지만, 품질이 낮다.
- 풀 하네스를 사용하여 피드백을 반복적으로 적용한 결과, 더 많은 시간과 비용이 소요되지만 훨씬 더 정교하고 품질 좋은 결과물을 얻을 수 있다.
하네스 엔지니어링은 AI의 작업 방식을 설계하는 단계이며, AI가 잘하는 부분을 쪼개서 활용하는 것이 핵심이다.
📌 엔비디아 다이나모 (07:41)
🔹 에이전트 무리 지원을 위한 하드웨어 플랫폼
엔비디아의 다이나모는 에이전트 무리를 지원하는 소프트웨어 플랫폼이다.
- AI 팩토리와 같은 데이터 센터에서 여러 AI 에이전트가 각자 역할을 수행할 때, 다이나모는 전체 시스템을 운영하는 역할을 한다.
- 멀티노드 환경에서 모델을 서빙하고 GPU 자원 및 추론 요청을 오케스트레이션하여 에이전트 시스템이 데이터 센터 규모에서 원활하게 작동하도록 지원한다.
다이나모는 AI 에이전트 시스템을 데이터 센터 규모에서 운영하기 위한 인프라 측면의 소프트웨어 스택이다.
🔹 소프트웨어와 하드웨어의 분화 및 오케스트레이션
AI 모델들을 콘텍스트별로 쪼개고 공유하면서 각자의 역할을 수행하도록 하는 것처럼, AI 하드웨어도 쪼개져 있다.
- 엔비디아는 루빈 CPX, 그레이스 LPX 등을 통해 메모리 계층을 나누고 각 역할에 맞게 하드웨어를 구성한다.
- 블루필드 DPU를 통해 스토리지 계층을 별도로 구성한다.
🔹 스페큘러티브 디코딩
스페큘러티브 디코딩은 하드웨어 역할 분리의 상징적인 사례이다.
- 작은 모델(드래프트 모델)이 먼저 후보 토큰들을 생성하고, 큰 모델(타겟 모델)이 이를 병렬로 검증하는 구조이다.
- 추론 역할을 분리하여 효율성을 높이는 방식이다.
하드웨어와 서빙 시스템도 역할을 나누고 조율하는 방식으로 발전하고 있으며, 이는 엔트로픽의 멀티 에이전트 하네스 구조와 유사하다.
📌 AI 모델 산업의 변화 예측 (10:39)
🔹 모델 평가 지표의 변화
단순 벤치마크 점수보다 장기적인 컨텍스트 저장 능력, 툴 사용 안정성, 에이전트 간 핸드오프 기능, 피드백 반영 능력 등 하네스 자체를 평가하는 지표가 중요해질 것이다.
🔹 경쟁 포인트의 변화
모델 점수 경쟁에서 에이전트에 얼마나 잘 적합하게 만들 수 있는지 경쟁으로 이동할 것이다.
- 긴 작업을 더 잘 완수하고 업무 생산성을 높이는 것이 중요해진다.
🔹 산업 융합
AI 모델, 서비스, 반도체 인프라 각 분야가 융합되어 모델 서빙, 스케일링, 시스템 지원 등이 확장될 것이다.
🔹 SaaS 경쟁력 변화
API 호출을 잘 지원하고 권한 구조가 명확하여 AI가 API를 잘 활용할 수 있는 소프트웨어 기업이 경쟁력을 가질 것이다.
🔹 서비스 기업의 가치 이동
서비스 기업의 가치가 업무 하네스 설계로 이동할 것이다.
- 업무 분해, 툴 연결, 검수 등의 설계 역량이 중요해진다.
오픈 AI와 엔트로픽은 에이전트 퍼스트, 롱 러닝 하네스 등을 강조하며, 반도체 업계는 GPU 계산량뿐만 아니라 메모리, 네트워크, 라우팅 등을 분할하여 처리하는 형태로 발전하고 있다.
🔹 추론 방식의 변화
추론은 단순히 대답하는 역할에서 긴 장기 세션 운영 문제로 변화하고 있다.
- 긴 컨텍스트에서 반복적인 추론을 할 때 어떤 인프라가 더 효율적인지, 긴 세션을 안정적으로 운영할 수 있는 데이터 센터를 어떻게 구축할 것인지가 중요해진다.
- GPU뿐만 아니라 메모리, 스토리지 오케스트레이션 소프트웨어의 중요성이 커지고 있다.
메모리, 컴퓨팅, 서빙 소프트웨어를 하나로 묶는 노력이 필요하며, 엔비디아 다이나모는 이러한 변화에 대한 대응이다.