쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
(우선 취미용임을 밝힙니다)
최근에 딥러닝에 매우 큰 관심을 갖게 되었고, 특히 sentence similarity 비교에 관심이 생겼습니다.
하여... faiss 를 통해 대략 1.5만개의 문서들을 불러들여와 embedding 파일들을 120기가 정도를 만들었는데 속도에 매우 불만입니다. (980 pro 위에 저장되어 있습니다)
원래는 milvus라는 local vector database 로 이 embeddings들을 다룰라했는데 제 3990x가 avx512를 지원을 안 하는 것도 있고(그래서인지 create_index 기능이 작동하지 않는 것 같습니다) milvus가 docker 중심으로 돌아가는 판국이라 마음에 안 들었습니다. 우분투 standalone도 써먹기 별로고... (제가 못 다루는 것도 있지만.. 3990x 워크스테이션에는 윈도우가 깔려있습니다)
따라서 차선책으로 faiss를 통해 embeddings 파일들을 생성해 나중에 쿼리를 입력했을 때 불러오자! 라는 식으로 진행했는데
불러오는데 수십초 걸리네요.
.....
그래서 어찌어찌 상상의 흐름이 램디스크쪽으로 흘러가게 됐는데
이런 식으로 100기가 정도씩을 램 디스크로 사용하시는 분들의 사용례를 들어보고 싶습니다.
찾아보니 2cpu에서는 primocache가 대세인 것 같은데, 설정 등을 어떻게들 하시는지 자세하게 예기해주시면
정말정말 감사할 것 같습니다 ^^
, ذ
sentence similarity 缺 ã AI ̰,
120Ⱑ 1.5, 1 ϴ 8MB Ͽ
milvus local vector database index Ͻô°
̷ index ssd ũ ص, ε ¥ 120Ⱑ ü д´ٸ, Ƹ Ҹ ȳð
, ssdٴ ũ ϰ, index ؼ, ʿ д°Ͱ ϸ ̴ ̳ϳ
Ǵ ķ ̷ ;ϴ.
ϴ... ǰ̶ 鿩 docker ؾ߰ڽϴ .
ũ NVMe û ص ʿѰ ƴ϶ ӵ ε غԴϴ
ֵ ƹ ũ ε ִ°ŭ
ƴϸ 4 ž߰
̹ 4 Ϸ EPYC EPYC Ȯ ռ 丮 Ʈ ں ٶ ֽϴ..
( 鵵 ؿԾϴ..)
̹ 4뿡 NVME VROC ɰ Ʈ ̼ 밡 ˴ϴ..
Ϸ ýδ ȵǰ (̺ ) ּ ý Ѵٴ Դϴ..
RAID Խǿ ø ϺκԴϴ..
Intel Server System M50FCP2UR TPS
https://cdrdv2-public.intel.com/710132/Intel_Server_System_M50FCP2UR_TPS_Rev1_1.pdf
ũ µ 76 ø 丮 ֽϴ..
ð 귯 ְ..
ٵ AMD EPYC 4 ǰ ǰ Ƶ 丮 ؼ Ư ̰
NVME ̺ RAID մϴ.. (OS Ʈ ̵ ؾ߰..)
Ư ִ° ƴ 'ܼ Ѵ' մϴ
ְ, RAID ֽϴ ( ̿ ǰ ũ Ƽ ġ ̰ )
δ ǻ ̼ ̻Ѱ °ͰƼ ʽϴ ( 忡 ° Ѱܵ, ٰ ǰ پ ɿ ( L4 Cache ̼ ʿ, AVX512 ̼ ʿ)ҲƼ Ҿմϴ)
ǰ (AMD EPYC 4) Ȯߴµ ̳ ѿ RAID ¿ ü ˻ ȵ˴ϴ..
U.2 Nvme Ű Ϸ OS ġ OS ϴ Ʈ ̵ ۿ Դϴ..
AMD EPYC ý ϸ ϵ ̵尡 ʿϸ ̵ ī带 ž մϴ..
׳ 128 Lane dz Ȯ强 ϴ ̳
imdisk 200G ũ , ű stable diffusion 丮 ° īؼ , մϴ.
⺻ VRAM ư°Ű, ũ ʴ Ʈ ũ ǿ
ε RDBMS м ʹ ٸϴ. ̶ м ߵǰ κ ÷ ε մϴ.
Ͱ 뵵 κ θ ̺̳ θDB ̿ϱ մϴ.(̷ Ͷ )
мϴ κ ̳ ijܿ ġѼ ؿ. dz ʿ ҷ̰ ϴ° ̱ Դϴ.
NVME ö ִٰ ҷ Ұ̴ϴ. ϵ .
ũž 128G ΰ 70-80G ij ְ 256G 200G RAID 丮 бij뵵 ġѼ ϰ ֽϴ. ӵ ѻ纮 Ұǵ Ʈ غ ˴ϴ.
Ϻ α鿡 ȭ ..
ý Ʈ ϴ. ϴ α.
ƴϸ ⺻ . Ͽư ý Ҿϴ.
4~5 µ ʾ ˴ϴ.
Primo Ramdisk ߽ϴ.
ý ȿ ƿ.
Ư ϵ̺긦 ü ýۿ ϴ.
SSD ־
ؾ ϴ..
AVX 512̸.. Ϸ ڴµ.
¼ AMD ̴.
400GB¥ ϳ 缭 ~ OSδ 뷮 ߶ 800GB/1.6B¥ ٽ 缭 µ ܼ ̵ ƴ϶ M.2 SSDϰ 뷮 I/O ӵ ü Ůϴ.