중국 회사가 만든 아주 똑똑한 AI ‘키미 K3’가 화제예요. “이렇게 똑똑하고 효율 좋은 AI가 나왔으니, 값비싼 컴퓨터 장비는 이제 덜 팔리는 것 아니냐”는 걱정이 나왔죠. 그런데 뉴스는 정반대라고 말해요 — 삼성전자·SK하이닉스가 만드는 ‘HBM’이라는 메모리에는 오히려 좋은 소식이라고요. 왜 그럴까요? 글로만 읽지 말고, 아래 그림을 직접 만지면서 하나씩 풀어봐요.
AI는 사실 ‘숫자 덩어리’예요
AI는 마법이 아니라, 엄청나게 많은 숫자를 외워둔 거예요. 이 숫자 하나하나를 파라미터라고 불러요. 키미 K3가 외운 숫자는 무려 2조 8000억 개. 컴퓨터가 이 숫자들을 쓰려면 메모리라는 저장 공간에 잠깐 올려둬야 하는데, 숫자가 많을수록 자리를 많이 차지하겠죠?
파라미터 = AI가 외운 숫자. 메모리 = 그 숫자를 잠깐 올려두는 책상. 숫자가 많으면 큰 책상이 필요해요.
자세히 적을수록 칸(공간)을 더 써요 — 숫자를 몇 자리까지 적느냐의 차이예요.
핵심은 곱셈이에요: 숫자 하나가 쓰는 공간 × 숫자 개수(2조 8000억) = 전체 메모리. 그래서 숫자가 많으면 메모리가 어마어마해집니다. ‘간단히’로 적으면 약 1.4TB인데, 기사 속 전문가(세미애널리시스)가 말한 “1.5TB 이상 필요”와 거의 같아요.
담는 것보다 ‘빨리 나르는 것’이 문제
그런데 자리(용량)만 문제가 아니에요. 그 많은 숫자를 계산기(GPU)까지 얼마나 빨리 날라주느냐가 더 큰 벽이에요. 아무리 계산기가 빨라도 재료가 늦게 오면 멍하니 기다리게 되니까요. 그래서 메모리 칩을 위로 쌓아 데이터가 다니는 길을 아주 넓힌 게 바로 HBM이에요.
HBM = 데이터가 다니는 ‘넓은 고속도로’. 보통 메모리가 좁은 골목이라면, HBM은 차선이 수십 배 많은 길이라 한 번에 훨씬 많이 나릅니다.
길 너비: 1024차선 (한 덩어리당) · 그림은 줄여서 표현
1초에 나르는 양
HBM은 메모리 칩을 블록처럼 위로 쌓아 길을 아주 넓혔어요. 그래서 같은 시간에 약 24배 많이 나릅니다.
아무리 좋은 계산기라도, 재료(숫자)가 느리게 도착하면 놀게 돼요. 그래서 “얼마나 담느냐”만큼 “얼마나 빨리 나르느냐”가 중요합니다. 좁은 길(보통 메모리)로는 막히니까, 넓은 길인 HBM이 필요한 거예요.
한 단어에 전문가 8명만 부른다
키미 K3는 매번 머리 전체를 쓰지 않아요. 필요한 전문가 몇 명만 골라 부르는 MoE라는 똑똑한 방식을 써요. 전문가는 무려 896명이나 있는데, 단어 하나를 처리할 때 딱 8명만 일합니다. 문제는 이 전문가들을 여러 컴퓨터에 나눠 두는 방식이에요. 버튼을 눌러 차이를 보세요.
큰 병원에 의사(전문가)가 아주 많지만, 환자 한 명엔 필요한 몇 명만 모이죠. 그 의사들이 여러 건물에 흩어져 있으면, 모일 때마다 서로 오가야 해서 바빠져요.
전문가 896명 중, 단어마다 딱 8명만 골라 일해요. 아래 상자 8개가 컴퓨터(GPU), 작은 칸이 전문가예요.
전문가를 여러 컴퓨터에 흩어 두면, 한 단어를 처리할 때마다 여러 컴퓨터가 서로 데이터를 주고받아야 해요. 그래서 “효율적이라 장비가 덜 들겠지” 생각과 달리, 컴퓨터끼리 오가는 데이터가 확 늘어 더 빠른 메모리가 오히려 필요해집니다. 이게 기사가 말한 반전이에요.
아낀 곳도 있어요 — 요점만 기억
물론 키미 K3도 메모리를 아끼는 장치가 있어요. 대화가 길어지면 보통 AI는 지나온 말을 전부 들고 있어 무거워지는데, 키미 K3는 요점만 요약해서기억해요(선형 어텐션·KDA). 대화 길이를 밀어보면 차이가 보여요.
지나온 말을 하나도 안 버리고 통째로 들고 있어요 → 길수록 계속 무거워짐
핵심만 요약해 정해진 크기로 들고 있어요 → 길어져도 거의 그대로
보통 AI는 대화가 길어지면 지나온 말을 전부 들고 있어서 점점 무거워져요. 키미 K3는 요점만 요약해 기억하는 방법(선형 어텐션·KDA)으로 이 부담을 줄였어요. 한쪽은 아꼈다는 뜻이죠 — 그런데도 왜 전체 메모리는 늘어날까요? 다음이 답이에요.
메모리에도 ‘책상·서랍·창고’가 있어요
이 모든 건 여러 층의 메모리 위에서 돌아가요. 지금 쓸 건 빠른 HBM, 곧 쓸 건 보통 메모리, 쌓아둘 건 저장장치. 모델이 커지면 어느 한 곳이 아니라 세 곳 모두 더 필요해집니다.
빠른 메모리는 비싸고 작고, 느린 메모리는 싸고 커요. 그래서 AI는 지금 쓸 건 책상 위(HBM), 곧 쓸 건 서랍(D램), 쌓아둘 건 창고(SSD)에 나눠 둡니다. 모델이 커지면 세 곳 모두 더 필요해져요.
그래서 왜 ‘호재’일까 — 마지막 반전
효율이 좋아지면 장비가 덜 필요할 것 같지만, 역사는 반대였어요. 싸고 좋아지면 사람들은 더 많이, 더 자주 씁니다. 슬라이더로 성능을 올려보면, ‘한 번 쓸 때’ 부담은 줄어도 ‘전체 사용량’은 오히려 치솟아요.
색칠된 넓이 = 세로 × 가로 = 전체 메모리 수요
효율이 좋아지면 세로(한 번 부담)는 줄어요. 그런데 사람들이 훨씬 더 많이 써서 가로(횟수)가 그보다 빨리 늘어납니다. 그 결과 색칠된 넓이(전체 수요)는 오히려 커져요. 200년 전 “석탄 기관이 효율적이 되자 석탄을 더 많이 쓴” 일과 똑같아요(제번스 역설). 그래서 효율 좋은 키미 K3가 퍼질수록 HBM은 더 필요해지는 겁니다.
정리하면 — 키미 K3처럼 똑똑한 AI가 널리 퍼질수록 AI를 쓰는 일이 폭발적으로 늘고, 그 계산은 전부 더 많은 HBM과 더 넓은 길을 요구해요. 효율은 절약이 아니라 확산의 방아쇠였던 거죠. 그래서 삼성·SK하이닉스의 HBM에 좋은 소식이라는 겁니다. 뉴스 한 줄 뒤에 이런 과학이 숨어 있었어요.