OpenAI 첫 자체 칩 '할라페뇨', 엔비디아 블랙웰·루빈 추론 벤치마크서 앞질러
OpenAI가 자체 개발한 첫 번째 추론 전용 칩 '할라페뇨(Jalapeño)'의 벤치마크 결과를 Hot Chips 컨퍼런스에서 공개했다. 엔비디아의 최신 가속기 블랙웰(Blackwell)과 루빈(Rubin) 플랫폼을 와트당 처리량과 토큰 지연 시간 두 지표 모두에서 능가하는 성과를 기록한 것으로 알려짐.
할라페뇨가 기록한 수치
OpenAI 발표에 따르면, 할라페뇨는 피크 처리량 기준 와트당 AI 연산량에서 최고 상용 시스템 대비 1.5~1.9배를 기록했다. 엔드투엔드 지연 시간은 1.7~3.6배 낮았으며, 대화형(interactive) 워크로드에서는 2.1~4.1배 높은 성능을 보였다. 동일한 디코딩 속도 조건에서는 킬로와트당 토큰 처리량이 최고 사용 가능 가속기 대비 54~104배에 달하는 수치도 나왔다.
테스트에 사용된 모델은 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 세 가지다. GPT-OSS에서는 사용자 1인당 초당 약 1,400 토큰, DeepSeek R1에서는 단일 동시 요청 기준 700 토큰 이상을 처리했다.
검증 방식과 공정성 논란
수치는 SemiAnalysis의 공개 벤치마크 'InferenceX'를 활용했으며, SemiAnalysis가 일부 실행을 현장 실험실에서 직접 검증했다. 주목할 점은 할라페뇨가 멀티토큰 예측(multi-token prediction)이나 스펙큘레이티브 디코딩(speculative decoding) 같은 최적화 기법을 전혀 사용하지 않은 상태에서 이 결과를 냈다는 것이다. 반면 일부 비교 대상 시스템은 해당 최적화를 적용했다. SemiAnalysis CEO 딜런 파텔은 "통상 1세대 칩은 경쟁력이 없기 마련인데, OpenAI는 블랙웰은 물론 루빈까지 이겼다"고 평가했다.
다만 한계도 존재한다. 엔비디아와 AMD는 DeepSeek V4 Pro, Kimi K3 같은 더 큰 모델에서의 결과를 이미 공개했지만, 할라페뇨는 아직 해당 모델을 테스트하지 않았다. 루빈 시스템은 이미 고객사에 출하 중인 반면, 할라페뇨는 아직 엔지니어링 샘플 단계를 넘지 못한 것으로 전해진다. 토큰당 총 소유 비용(TCO)에서는 루빈과 거의 동등한 수준이다.
9개월 만에 완성…CUDA 해자(moat)의 균열
OpenAI는 칩 설계를 브로드컴(Broadcom)과 공동으로 진행했다. 2024년 중반에 설계를 시작해 2025년 11월 양산 공정에 투입됐으며, 전체 사이클은 약 16개월이지만 최초 설계부터 최종 청사진까지는 단 9개월이 걸렸다. 개발 과정에서 OpenAI 자사 AI 모델을 적극 활용했는데, 구형 모델은 칩 설계에, 신형 모델은 프로그래밍과 최적화 가속에 사용됐다.
SemiAnalysis는 이를 두고 "OpenAI가 자사 실리콘 위에서 새 모델을 이렇게 빠르게 올릴 수 있다면, 엔비디아의 CUDA 해자는 사실상 무너진 것일 수 있다"고 분석했다. OpenAI CFO 사라 프라이어(Sarah Friar)는 할라페뇨가 데이터 센터·칩·모델·개발자 플랫폼을 아우르는 더 넓은 컴퓨팅 전략의 일환이라고 밝혔다. 1세대 자체 칩이 경쟁 최신 제품과 대등하거나 앞선다는 사실은, AI 인프라 주도권 경쟁이 소프트웨어 생태계가 아닌 하드웨어 설계 속도 싸움으로 빠르게 전환되고 있음을 시사한다.
원문: THE DECODER →