KAIST, AI 추론속도 엔비디아 GPU보다 2배 빠른 반도체기술 개발

KAIST는 전기및전자공학부 정명수 교수 연구팀이 그래프 신경망 기반 인공지능의 추론 속도를 획기적으로 높일 수 있는 AI 반도체 기술 '오토GNN'을 세계 최초로 개발했다고 5일 밝혔다.

연구팀은 데이터 분석 서비스 지연의 주된 원인이 AI 추론 이전 단계인 그래프 전처리(Graph Preprocessing) 과정에 있음을 밝혀냈다.

기존 GPU는 복잡한 데이터 관계 구조를 정리하는 연산에 한계가 있어 병목 현상이 발생했다고 연구팀은 설명했다.

이를 해소하기 위해 반도체 내부 회로를 데이터 연결 방식에 맞춰 반도체가 스스로 가장 효율적인 구조로 바꾸는 적응형 AI 가속기 기술을 설계했다.

또 데이터 양이나 형태에 따라 최적의 모듈을 구성하도록 구현해 어떤 상황에서도 안정적인 성능을 유지하도록 했다.

이렇게 개발된 오토GNN은 엔비디아의 고성능 GPU(RTX 3090) 대비 2.1배 빠른 처리 속도를 기록했으며, 일반 CPU 대비 9배 빠르고 에너지 소모는 3.3배 적었다고 연구팀은 설명했다.

.. 후략 ..

KAIST, AI 추론속도 엔비디아 GPU보다 2배 빠른 반도체기술 개발 | 연합뉴스