GMKtec Launches EVO-X2 Mini PC with Ryzen AI Max+ 395 & AMD CEO Lisa Su's Autograph

이준용 14:35

Deepseek를 추론하려면, 5080은 Model Offloading을 해야 합니다. 그 말은 CPU메모리에 있는 모델을 GPU메모리로 옮기고 연산하고 나머지 모델을 또 옮기고 연산하고를 반복해야 한다는 겁니다. 매우 비효율적이고 느리죠
128GB의 Unified 메모리가 있다면, 모델을 메모리 복사 없이 그냥 연산할 수 있는 것이죠. 그래서 둘을 비교하더라구요.

하셀호프 14:37

그러니까 200 주면 deepseek 돌릴수 있다는 말인가요

이준용 14:58

동작은 잘 하겠습니다만, 만족스러운 속도는 아닐수도 있습니다.

박문형 15:11

컴퓨터쪽은 비슷합니다만 하드웨어 장비 가격이 다가 아닙니다..

본인이 공짜로 노가다 해서 OS설치, 필요한 프로그램을 돌릴 환경구축,프로그램 구동및 튜닝까지 전부 할수 있다면 모를까??

그냥 단순히 이 하드웨어 사면 저 프로그램 돌아가요 라는 것은 말이 안됩니다..

AI 쪽에서 어느정도 검증되고 결과를 내어주는 엔비디아도 하드웨어 가격말고 뒤로 숨어 있는 전용 소프웨어 라이브러리 등이 상용으로 존재 하는데 이 가격이 보통 하나의 프로잭트를 하려면 하드웨어의 2배 넘는 돈이 들어 갈수도 있습니다.. 이런 전용 프로그램 없이는 프로잭트를 하지도 못하고 이것들을 그래도 알고 있는 개발자도 필요합니다..

송주환 14:43

on-die dram도 아니고, 그냥 LPDDRX입니다.
단일 5090과 비교하는 것은 공정하지도, 정확하지도 않은 비교이지만, 아무래도 엔비디아의 project digits에 대응하는 제품으로 포지셔닝 하려는 것 같습니다.
물론, CPU 내장 NPU 성능은 아무래도 좋은 문제이고, CUDA 지원도 안 되며, 네트워크 연결성도 부족하지만 뭐..

MOONL 14:50

동작은 하겠는데.. 문제는 token/second 아닐까요?
5080보다 빠른건 모델 IO 문제 인데..
저라면 차라리 DGX spark 사겠습니다.

이준용 15:00

DGX spark는 ARM이라....
같은 값이면 Apple M4 Pro나 M3 Ultra..
혹은 그냥 5090 1장 달려있는 PC 마련할 것 같습니다.

하셀호프 15:04

5090 1장 약 400인데요
evo-x2 2개를 묶을 수도 있나요

이준용 15:09

https://www.gmktec.com/products/amd-ryzen%E2%84%A2-ai-max-395-evo-x2-ai-mini-pc?srsltid=AfmBOoqc89aVQ3TWP-qJs4G_qNum95ZSbYafuFemaEusXQ0oEbf9vvfG&variant=08fe234f-8cf0-4230-8c9b-5d184e97ba30
Deepseek 돌릴만한 128GB 모델은 1999 달러입니다. 2,732,952원 + 513,794원 하면 거의 330 만원정도 하구요.
이러면 생각하신 가성비는 안나올겁니다.

MOONL 15:43

추론만 생각하면 말씀하신 Mac이 좋지만, 학습도 하는 범용으로 보면 CUDA가 있는 Spark가 좋습니다.
5090도 충분히 좋지만.. 간단한 학습 테스트와 추론이 가능한, 그리고 vram이 128이라는 엄청난 자율성이 있는 Spark가 눈이 가더라고요..

dateno1 17:05

애플 실리콘에서 돌려보면 생각보다 느려요

저렴하게 대용량 비됴램처럼 써먹을 순 있지만, 내장 그래픽의 성능이 문제인건지 토큰 체크해보면 기어다녀요