직접액체냉각(DLC: Direct Liquid Cooling)을 적용한 국산 서버가 최초로 MLPerf Inference v6.1에 등재되며 국산 서버의 국제경쟁력 확보가 본격화된다.

 

매니코어소프트는 지난 9월22일 엔비디아, 구글, 마이크로소프트 애저, AMD, 인텔, 델, HPE, 시스코 등 글로벌기업이 참가하는 국제 AI 성능평가 ‘MLPerf Inference v6.1’에 자사 AI 서버 ‘DeepGadget(딥가젯) dg5W’가 등재됐다고 밝혔다.

 

AI서버의 핵심부품인 GPU는 발열량이 많아 냉각시스템에 성능이 좌우된다. GPU 열관리를 위해 수랭식 도입이 확산되는 가운데 유체를 서버에 접촉시키는 수랭식 냉각이 GPU 서버성능을 저하시킨다는 우려가 남는다. 수랭식 서버의 성능검증이 업계 과제로 떠오르면서 국산 기술의 전망을 확인할 계기가 마련됐다. 

 

이번 평가는 과학기술정보통신부, 정보통신산업진흥원(NIPA)이 지원하는 ‘친환경·고효율 AI 데이터센터(DC) 테스트베드 조성 및 실증 지원’ 사업 일환으로 한국정보통신기술협회(TTA)와 공동 수행했다. 이번 평가에서 시험 및 성능 최적화, 국제 심사 대응은 국가 공인 시험인증기관인 TTA가 맡았다. 

 

dg5W는 NVIDIA RTX PRO 6000 Blackwell Server Edition 96GB GPU 4장, AMD EPYC 9124 프로세서, 512GB DDR5 메모리로 구성됐다. 소프트웨어는 TensorRT 10.14.1.48, CUDA 13.1 기반이며 FP4 정밀도를 적용했다. 또한 워크스테이션 형태로 구축돼 일반적인 사무실과 연구실에서 별도 서버실 마련 없이 사용 가능하다. 

 

 

MLPerf는 머신러닝 성능을 측정하는 대표적인 시험체계로 전 세계 125개 이상 산·학·연 참여로 구성된 AI 엔지니어링 컨소시엄 ‘MLCommons’이 이끈다.

 

시험 참가기관은 모두 동일한 AI 모델과 정확도 기준으로 성능을 측정하고 결과는 상호검증을 거쳐 공개된다. 이번 v6.1에는 30개 기관이 참가해 역대 최다 참가수를 갱신하며 활발한 기술개발 동향이 포착됐다.

 

MLPerf는 시험 조건과 함께 정확도 기준을 지키면서 지연시간 조건까지 맞춰야 결과 등재 및 공개가 가능하다. 이를 위해 시험기관은 시험 환경과 추론 엔진 설정을 반복해 조정해야 한다. 이번 시험에서 TTA는 dg5W의 AI시스템 환경을 구축해 성능을 측정하고 데이터 병렬화 구성과 추론 백엔드 엔진을 조정해 지연시간 기준 내 처리량을 제고했다.

 

 

국산 AI 서버, 글로벌 AI 생태계 중심 MLPerf서 자리매김

국산 AI 서버가 MLPerf Inference에 등재된 것은 2023년 9월 v3.1 라운드 이후 두 번째다. 

 

매니코어소프트에 따르면 dg5W가 등재된 부문은 △Closed Division △Datacenter △Available 등이다. 이중 Closed Division은 시스템간 결과를 직접 비교할 수 있도록 평가조건을 통일한 부문이며 Available은 현재 구매할 수 있는 상용 제품만 제출하는 항목이다.

 

평가는 오프라인(Offline)과 서버(Server) 등 두 가지 조건에서 진행됐다. 오프라인은 지연시간 제한 없이 시스템 최대 처리량을 측정한다. 서버는 이용자 요청이 연속으로 유입되는 환경을 구성해 전체 요청의 99%가 첫 응답까지 걸리는 시간(TTFT)을 2초 이내, 토큰당 생성 시간(TPOT) 100ms 이내를 충족해야 유효한 결과로 인정한다. 

 

‘토큰’은 생성형 AI가 답변을 만들 때 처리하는 최소 텍스트 단위다. dg5W는 메타 언어모델 Llama 3.1 8B 평가에서 초당 2만4,500여개 토큰을 처리했다. 

 

연속 요청이 들어오는 실서비스 조건(Server)에서는 응답 지연시간 기준을 충족하면서 시스코 서버 성능을 앞섰다. 또한 실제 서비스 조건에서도 서버가 낼 수 있는 최대 성능의 99.99%를 그대로 발휘했다. 동일 GPU를 적용한 타 서버 3종은 97.2~98.3% 성능을 기록했다. 이를 통해 국내 자체 기술로 설계한 고성능 AI 서버가 글로벌 제조사 서버와 동일 기준으로 평가받아 두 가지 실서비스 환경 조건지표에서 기록한 최고 수치가 공식화됐다.

 

 

실서비스 환경 기준 성능 99.99%… GPU 자원 대비 처리량 우위

dg5W의 오프라인 처리량은 초당 24,511.8토큰이다. 서버 조건 기준 지연시간은 TTFT 약 1.51초, TPOT 약 85ms였으며 초당 요청 190여건을 처리했다. 효율 추산을 위해 해당 속도를 단순 환산하면 매일 약 1,640만건 요청, 약 21억개 토큰을 서버 한 대로 처리 가능하다.

 

이번 라운드에서 Llama 3.1 8B 평가에 엔비디아 블랙웰 세대(NVIDIA RTX PRO 6000 Blackwell Server Edition) GPU로 결과를 제출한 시스템은 총 4종으로, HPE와 시스코가 3종을 제출했고 국산 서버는 dg5W가 유일하다.

 

dg5W는 GPU 4장을 탑재한 시스코 서버 대비 서버 조건에서 0.05% 높고 오프라인 조건에서 1.61% 낮다. GPU 1장당 서버 처리량은 dg5W 6,128토큰, 시스코 4장 서버 6,125토큰이며 제출된 4종 시스템은 6,125~6,190토큰 범위의 처리량을 기록했다. 시스템별 차이는 실서비스 서버 조건에서 동일 성능을 유지하는 정도에서 나타났다.

 

오프라인 처리량 대비 서버 처리량의 비율은 시스템이 가진 최대 성능을 실서비스 조건에서 얼마나 그대로 쓸 수 있는지를 나타낸다. dg5W의 이 비율은 99.99%(24,510.5÷24,511.8)로 각각 시스코 4장 서버 98.33%, 시스코 8장 서버 97.47%, HPE 서버 97.17% 가운데 가장 높은 효율을 기록했다.

 

GPU 메모리 속도를 기준으로 비교한 처리량에서도 dg5W가 높게 나타났다. AI 서버의 처리량은 GPU가 메모리에서 데이터를 읽는 속도로 좌우된다. dg5W에 탑재된 RTX PRO 6000 Blackwell은 초당 약 1.6TB를 읽는다. 초당 약 8TB를 읽는 B300·MI355X의 20% 속도다. 

 

서버 제조사별 공개 사양을 기준으로 각 GPU의 처리량을 이 속도로 나눠 같은 기준에서 비교하면 초당 1TB 데이터 작업 시 처리한 토큰 수는 dg5W가 3,830여개, B300은 2,450~2,720여개, MI355X는 2,310~2,360여개, H200은 1,540여개다. 

 

dg5W의 메모리 속도는 B300의 20%이지만 GPU 장당 처리량은 B300의 약 28%로 추산된다. 이에 따라 Llama 3.1 8B와 같은 중소형 언어모델을 서비스할 때는 최상위 GPU가 아닌 IT장비로도 GPU 자원 대비 높은 처리량을 얻을 수 있다.

 

 

DLC 적용 PCIe GPU 설계… 수랭식 성능 검증 완수

dg5W는 GPU 4장을 DLC방식으로 냉각한다. 비교 대상인 HPE·시스코 등 서버 3종은 모두 공랭식 냉각이 적용됐다. dg5W이 공랭식 서버와 같은 수준의 작업량을 처리함으로써 수랭식 전환으로 GPU 성능 손실 없는 운영방안을 검증한 셈이다. 

 

일반 서버의 확장 슬롯(PCIe)에 꽂는 카드형 GPU가 탑재된 수랭식 서버가 MLPerf Inference 공식 결과를 받은 것은 글로벌 제조사를 포함해 dg5W가 처음이다. 매니코어소프트에 따르면 국산 서버의 DLC 등재로도 최초 사례다.

 

엔비디아와 버티브의 공동 분석에 따르면 공랭식 DC에 DLC시스템을 약 75% 비중으로 도입할 경우 서버 팬 전력은 최대 80%, 총 전력은 10.2% 절감된다. 

 

한주연 TTA AI인프라검증 팀장은 “이번 결과는 국내 제조사의 하드웨어 기술과 국내 시험기관의 검증 역량이 맞물려 나온 성과”라며 “NIPA 실증 지원 사업을 통해 국산 AI인프라가 국제 무대에서 객관적으로 평가받을 수 있는 기반을 넓혀가겠다”고 말했다.

 

박정호 매니코어소프트 대표는 “고성능 GPU는 해외에서 들여오더라도 그 성능을 온전히 끌어내는 AI 서버는 국내 기술로 설계할 수 있다는 것을 공개 검증 절차로 확인받았다”라며 “국내에서 설계한 서버가 글로벌 제조사 서버와 같은 모델과 같은 기준으로 평가받아 실서비스 조건에서는 같은 GPU 4장을 쓴 글로벌 제조사 서버보다 높은 수치를 기록했다”고 말했다. 

 

이어 “지연시간 기준을 지키면서도 최대 성능의 99.99%를 유지한 것은 GPU 성능을 실제 서비스에서 그대로 쓸 수 있다는 의미”라며 “앞으로도 공개 벤치마크를 통해 국산 AI인프라의 성능을 검증받겠다”고 덧붙였다.