삼성전자 “AI 응답 속도 10배 끌어올리겠다”

삼성전자 미주총괄법인(DSA) 김인동 메모리 상품기획 담당 상무는 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 ‘AI 인프라 서밋’ 발표에서 “앞으로 에이전트형 AI를 위해 이를 초당 1000토큰으로 10배 끌어올리는 양자 도약을 목표로 하고 있다”고 밝혔다.

토큰은 AI가 문장을 읽고 답변을 만들 때 처리하는 기본 단위다. 초당 처리하는 토큰이 많을수록 이용자가 답변을 받아보는 속도도 빨라진다.

김 상무는 “현재 대화형 AI 시스템의 응답속도는 이용자당 초당 100토큰 수준”이라며 “이를 개선하기 위해 AI 가속기 옆에 HBM을 나란히 배치하는 2.5D 방식에서 벗어나 가속기 상단에 HBM을 직접 얹는 수직 적층형 zHBM이 유일한 돌파구”라고 강조했다.

AI 가속기는 AI가 요구하는 대규모 연산을 빠르게 처리하는 반도체다. HBM은 이 가속기가 연산에 필요한 데이터를 빠르게 받아볼 수 있도록 공급하는 고성능 메모리다. 현재는 AI 가속기와 HBM을 연결판 위에 나란히 놓고 있지만 이를 위와 아래로 쌓아 물리적 거리를 줄이겠다는 계산이다. 삼성전자에 따르면 zHBM은 HBM5와 비교해 최대 8배 성능과 3배 이상의 전력 효율을 구현할 수 있다.

그는 “호텔 객실 내에 1층 로비로 직행하는 전용 엘리베이터를 두는 것”이라며 “데이터 이동 거리와 지연 시간을 극단적으로 줄일 수 있다”고 덧붙였다.

다만 발열 문제는 숙제로 꼽힌다. AI 가속기는 대규모 연산을 처리하면서 많은 열을 뿜어내는데 그 위에 HBM을 올리면 발열이 직접 메모리로 전해질 수 있기 때문이다. 이에 대해 삼성전자는 AI 가속기 고객사들과 초기 설계 단계부터 맞춤형으로 협력하는 공동 설계 체계를 구축해 문제를 해결하겠다는 방침이다.

.. 후략 ..

삼성전자 “AI 응답 속도 10배 끌어올리겠다”