어떤 정보에 가치를 부여 하는 것은 무엇일까요.

여러가지가 있겠지만 구글이라는 기술 기업의 위치가 '터보퀀트'를 쇼크라 표현하는 설레발의 근원 일 듯 합니다.

KV cache 양자화가 갑자기 예상 못하던 상황에서 튀어 나온 소식이 아닌데,

왜 시장은 반응할까...라는 의문을 갖는다면,

지난 제 글에 달린 댓글 내용처럼 핑계를 찾은 것에 불과하지만, 그 영향은 실제로 발생하고 있으니,

투자자의 자세로는 받아 들여야 할 것입니다.

일단 한국의 반도체는 마이크론과 나름 방향성을 같이 가고 있습니다.

완전한 일치는 아닐지라도 나름 영향이 적지 않은 비교군이라고 할까요.

현재 마이크론을 필두로 한 미장의 반도체가 그리 좋은 모습이 아닙니다.

아이러니 한 측면이 SK하이닉스의 미장 데뷔 소식이 부정적 영향을 주고,

그로 인한 마이크론의 주가 하락이 다시 국장으로 튀는 형국입니다.

이 외에도 조정이 나올 위치였던 점도 있겠습니다. KV cache는 핑계라는 말을 하고 있는 것입니다.

기존에 이미 KV cache 관련 4비트 양자화 논문이 많았고,

아무래도 추측이긴 하나 일정 부분 프런티어 모델을 서비스 중인 AI기업들은

내부적으로 이미 적용하고 있을 것으로 추정 되고 있습니다.

다른 점은 전에도 언급하였지만 방법을 조금 달리 하여

3.5비트로 줄이고, 그럼에도 정확도를 유지했다는 점입니다.

그런데 이것도 말장난 비슷한 것이 기존 4비트의 정확도 역시 높았기 때문입니다.

즉, 추가적으로 3.5비트로 줄였음에도 정확도가 유지 되었다는 그 자체에 의의를 둘 수 있고,

짧게 정리하면... 더 줄였는데 성능은 오히려 더 나은... 라고 볼 수 있겠습니다.

양자화 기술은 AI초기부터 꽤 활발하게 연구가 진행 되었습니다.

그래서 초기에는 Q5 은 되어야 양자화 이전과 거의 비슷한... 손실이 거의 없는 수준이었고,

사양이 받쳐주면 8비트로 돌렸습니다.

그런데 빠른 발전 덕에 이제 4비트가 정확도를 상당히 높게 유지하면서,

용량은 대폭 줄이는 절충점이자 기준점이 되었고,

아예 전용 성능을 강화한 하드웨어도 나오는 중입니다.

해외 유명 기술 인플루언서의 실험에 의하면,

자신의 시스템에서 대략 20%의 메모리 절감 효과가 있었다고 합니다.

모델의 가중치가 아닌 KV cache 에 한정에, 하드웨어 성능도 영향이 있어서,

언론에서 주목하는 6배 효율은...전체 시스템이 아닌 컨텍스트의 일부에 한하는데,

마치 엄청나게 메모리 수요가 줄어들 것으로 잘 못 해석하거나

일부러 그렇게 해석하는 경우가 있어 보입니다.

더군다나 이 정도 효과를 보려면 컨텍스트 길이가 긴 작업이어야 효율을 말할 수 있으므로,

다수의 구독자를 대상으로 하는 서비스에서 짧게 짧게 이용하는 숫자가 더 많음을 감안하면,

실제 효과는 20%라고 보기 어렵고, 정확한 통계를 내기 어렵지만 오히려 10% 이내라고 보는 것이 타당하지 않나 싶습니다.

본래 라이트 유저가 훨씬 많아 보다 더 좁혀 생각할 수 있겠지만,

헤비하게 쓰는 유저가 전체 평균을 올리는 점을 감안하면 그 중간 어림 어딘가가 약 10%정도 아닌가 추정해 보는 것입니다.

어찌 되었던 전체 시스템의 부하를

전혀 양자화가 되지 않은 시스템을 기준으로

그것도 KV(키-밸류) cache 한정 효율 개선인 것을

6배 더 절약한다는 표현 때문에... 엄청난 충격인 것처럼 이야기 되는...

이 상황이 좀.. 그렇긴 합니다만, 기술적인 이해도가 있다고 하는 미국 애널리스트조차

그리 잘 알지 못한 채로 발언하는 모습들을 볼 수 있을 정도니,

이 여파가 며칠 가는 것은 어쩔 수 없는 것 같습니다.

물론 본질은 이란 전쟁으로부터 촉발된 불확실성에 대한 경계심리가

주요 원인이겠지만, 그 와중에 KV cache 압축 효율 관련 논문이

지난해 발표 되고, 올해 정식 게제가 되었던 것을 끌고 와서

미장 국장 모두 눌리고 있으니... 참..

안 그래도 이 효율성 제고를 위한 연구가 여러 곳에서 진행 중인 상황에

관심을 받게 되는 것 자체는 단순히 누군가의 의도라고 보기는 어렵겠습니다.

엔비디아 역시 콜드데이터를 압축해 보관하겠다고 한 것이 며칠 되지 않았고,

주로 한중일 연구진에서 이 KV cache 관련 연구 논문은 활발하게 진행 되어,

여러 논문이 이미 공개 되고 있어 있습니다.

한국에도 있었다는 얘깁니다.

이해를 돕기 위해 비유를 하자면,

기존에 이미 여러 이미지 생성 AI가 있었지만,

나노바나나가 일관성 문제를 얼추 해결한 채 첫 등장하자,

시장이 반응했던 것과 비슷하게 보면 적절할 것 같습니다.

아무래도 로컬 LLM에는 보다 빠르게 실험적 성격의 기능 구현이 될 것 같지만,

대규모 서비스에 실제 적용 되기까지는 기약이 없는데다가

아무래도 시간이 꽤 걸릴 듯 합니다.

다수를 상대로 하는 대규모 서비스의 경우 고려해야 할 부분들이 적지 않아서 그렇습니다.

앞서 말한대로 내부 적으로 이미 적용해 있을 4비트에서,

3.5비트로 줄이는 것으로 보고 있으며,

그렇게 아주 드라마틱한 변화라거나 충격이라 보는 것은 무리인 것 같습니다.

다만, 이제 슬슬 기존의 여러 논문이 이어지던 시점에

앞서의 비유처럼 나노바나나1이 등장한 셈으로 보면,

일회성 이슈는 아닌 듯 합니다.

물론 이후에는 일반 투자자가 굳이 관심 가지지 않을 기업 뉴스로

다뤄질 이슈가 되겠지만요.

터보퀀트 두번째

0개의 댓글

0개의 댓글