Pathway, 뇌 영감 BDH 아키텍처로 AI 추론 효율성 및 확장성 개선

Pathway는 기존 대규모 언어 모델(LLM)의 트랜스포머 아키텍처가 가진 한계를 극복하기 위해 뇌에서 영감을 받은 BDH(Dragon Hatchling) 아키텍처를 개발한다. 이 새로운 아키텍처는 중간 텍스트 흔적(chain-of-thought)을 생성하는 대신 잠재 공간(latent space)에서 추론을 수행하며, 예시로부터 학습하고 솔루션을 개선한다. BDH는 희소하고 국소적인 상호작용을 통해 통신하고 시냅스 같은 연결에 상태를 유지하는 뉴런 그래프로 구성되어, 모델 상태가 테스트 시 가중치 업데이트 없이 컨텍스트 내에서 적응하도록 설계되었다. 특히 BDH-CQ는 BDH를 기반으로 구축된 추론 시스템으로, 시각적 문제 해결을 위한 인컨텍스트 학습 및 잠재 반복 추론 기능을 확장한다.

기존 AI 시스템은 모델 규모, 훈련 데이터, 컨텍스트 길이, 추론 시간 계산을 늘려 복잡한 작업을 처리해왔다. LLM은 AI 분야에 큰 변화를 가져왔지만, 일반 지능과 장기간에 걸친 일관된 추론 능력에 대한 근본적인 질문은 여전히 남아있다. 지난 10년간 거의 정적으로 유지된 트랜스포머 아키텍처는 훈련 및 추론 과정에서 중요한 비효율성을 보인다. 트랜스포머는 긴 상호작용 중 망각하는 경향이 있고, 세션 간 지식을 유지하지 못하며, 새로운 지식을 습득하려면 재훈련이 필요하다. 이러한 한계는 아키텍처 설계 자체에 기인하며, 계산 효율성과 자연 지능 원칙에 더 잘 부합하는 대안적 접근 방식의 필요성을 제기한다.

트랜스포머 아키텍처는 훈련 시 훈련 데이터 이상의 체계적인 일반화에 어려움을 겪으며, 특히 긴 chain-of-thought 추론 작업에서 대규모 데이터와 계산 노력이 필요하다. 밀집된 계산 패턴과 전체 역전파 요구사항은 모델 크기에 따라 기하급수적으로 증가하는 계산 비용을 초래한다. 또한, 뉴런 활성화와 같은 미시적 규모의 역학과 모델 응답과 같은 거시적 행동 간의 명확한 연결이 부족하다. 추론 시에는 어텐션 메커니즘의 확장성 제한, 밀집된 활성화 패턴으로 인한 과도한 계산 및 메모리 대역폭 사용, 고정된 컨텍스트 창 및 증가하는 KV-캐시로 인한 시퀀스 길이 처리 제한 등의 비효율성을 겪는다. 트랜스포머 상태의 폐쇄성은 모델의 추론 과정을 해석하거나 모니터링하기 어렵게 만들어, 생산 환경 및 규제 산업에서 신뢰성과 안전성 문제를 야기한다.

BDH 아키텍처는 모델이 생각하는 방식을 근본적으로 변화시키는 것을 목표로 한다. 이 모델은 헤비안 학습(Hebbian learning) 원리인 "함께 발화하는 뉴런은 함께 연결된다"를 사용하여 어텐션 메커니즘을 구현한다. 이 접근 방식은 단일 뉴런 차원(n)으로 확장되어 트랜스포머 배포 시 발생하는 컴퓨팅 리소스 분산 복잡성을 줄인다. BDH의 상호작용은 뇌와 유사하게 희소하고 국소적으로 정의되며, 뉴런 간 연결은 메모리 및 추론 기능을 인코딩한다. 희소한 활성화 프로필(일반적으로 주어진 시간에 뉴런의 5%만 활성화)은 효율적인 계산을 지원하여 추론 단계당 필요한 계산량을 줄이고 생산 환경에서 성능 향상을 이끈다. BDH는 고정된 고차원 상태에서 작동하는 선형 메커니즘을 통해 어텐션을 구현하여, 트랜스포머 모델의 긴 컨텍스트에 대한 복잡성 증가 없이 더 긴 시퀀스를 효율적으로 처리한다. 모델의 상태는 뉴런 쌍 간의 시냅스 연결에 직접 매핑되어 추론 과정에 대한 가시성을 제공하고 모델의 의사 결정을 해석하기 쉽게 만든다.

Pathway는 BDH 아키텍처 개발을 위해 Amazon SageMaker HyperPod를 활용한다. Amazon SageMaker HyperPod는 수백 또는 수천 개의 GPU에 걸쳐 분산 훈련 또는 추론이 필요한 LLM 및 파운데이션 모델(FM) 훈련을 위한 인프라 솔루션이다. 이는 자동화된 클러스터 프로비저닝, 최적화된 네트워킹 패브릭, 사용자 정의 가능한 소프트웨어 스택을 갖춘 완전 관리형 고성능 ML 훈련 환경을 제공한다. Pathway는 Amazon Managed Service for Prometheus 및 Amazon Managed Grafana 대시보드와 같은 고급 모니터링 도구와의 통합을 통해 훈련 인프라에 대한 포괄적인 관찰 가능성을 확보한다. 이를 통해 복잡한 분산 훈련 패턴을 시각화하고, GPU 활용도 및 메모리 패턴을 모니터링하며, 병렬 훈련 접근 방식의 노드 간 통신 효율성을 추적한다. Pathway는 Amazon EC2 p5en.48xlarge 인스턴스를 사용했으며, 이 인스턴스는 인스턴스당 최대 3200Gbps의 네트워크 성능과 NVIDIA H200 GPU로 구동된다. 모든 인스턴스는 Amazon Elastic Fabric Adapter (EFA)를 사용하여 상호 연결되었고 Amazon EC2 UltraCluster에서 작동하여 GPU 간 네트워크 거리를 줄이고 지연 시간을 낮췄다.

BDH-CQ는 ARC-AGI 벤치마크에서 29.5% pass@2를 달성했으며, 작업당 0.0007달러의 비용이 들었다. 2026년 8월 기준으로 BDH-CQ는 ARC-AGI-1 벤치마크에서 비용-정확도 파레토 프론티어를 새롭게 설정했다. ARC-AGI는 알려지지 않은 시각적 규칙을 설명하는 소수의 전후 예시를 AI 시스템에 제시하고, 시스템이 해당 규칙을 추론하여 새로운 그리드에 적용하는 능력을 평가한다. BDH-CQ는 반복적인 계산을 재귀적 잠재 상태 내에서 수행하고 후보 답변만을 디코딩한다. 이는 chain-of-thought 방식으로 작업을 외부화하여 지연 시간과 추론 비용을 증가시키는 트랜스포머와 대조된다. BDH-CQ는 예시를 처리하는 동안 모델의 내부 메모리를 업데이트하며, 긴 언어화된 추론 흔적 없이 새로운 문제를 해결한다. ARC-AGI가 탐색하는 패턴은 사이버 보안 사고 조사, 운송 네트워크 조정, 실시간 산업 운영 대응, 장기 실행 워크플로우 전반에 걸친 자율 에이전트 운영과 같이 정보와 제약 조건이 변경될 때 시스템이 안정적으로 추론해야 하는 실제 문제와 유사하다. BDH-CQ의 새로운 접근 방식은 이러한 애플리케이션을 더 저렴하고, 더 반응적이며, 더 신뢰할 수 있게 만들 수 있음을 보여준다.

Pathway의 BDH 아키텍처는 개발자에게 복잡한 인프라 설정 및 관리 부담을 줄여 시장 출시 시간을 단축하는 이점을 제공한다. Amazon SageMaker HyperPod의 자동 스케일링 기능은 비용 효율성을 높이고, 특수 네트워킹 아키텍처는 GPU 클러스터 전반에 걸쳐 거의 선형적인 스케일링을 달성하여 모델 성능을 향상시킨다. ML 팀은 인프라 문제 대신 모델 개발에 집중할 수 있으며, 기존 인프라 접근 방식에 비해 더 빠른 훈련 시간과 낮은 비용을 달성할 수 있다. BDH-CQ는 인컨텍스트 학습에서 뛰어나며, 잠재 상태에 대한 반복 계산은 효율적인 병렬 가설 탐색을 지원한다. 이 모델은 고정된 메모리 비용으로 임의의 수의 데모를 처리할 수 있는 추론 효율성을 제공한다. BDH 아키텍처를 탐색하고 구현하기 위한 상세 기술 문서 및 샘플 구현은 Pathway의 리포지토리를 통해 접근 가능하며, 구현은 표준 PyTorch 워크플로우를 지원하고 기존 ML 파이프라인에 통합될 수 있다.