WRX80E 보드 TR CPU 사용중입니다.
일단 보드 DS상 윈도우만 가능하다고 나와있으며 아수스 공급사 쪽에 물어보니 우분투는 안된다는 답변 받았습니다.
하지만 해외 자료를 통해 가능하다는 부분 확인하여 설치 시도 했습니다.
여러 문제 겪으면서 결국 우분투 22.04 GUI버전으로 진행중입니다.
cli 버전은 lvm 오류 발생하여 부팅 실패합니다
1030 장착 이유 - > H100에 포트 없음, 내장그래픽(보드) 사용시 장치 로드 문제로 부팅실패
lspci 에서 1030 , h100, h100 인식되지만 nvidia-smi에서는 h100을 감지하지 못합니다.
어떤식으로 접근해야할까요 감이 안잡힙니다
반갑습니다
22.04gui에서 lvm활용하여 설치했습니다
쓰레드리퍼를 사용하는 시스템이나 보드에서 GPU카드 호환리스트 확인하시고 없으면 쓰레드리퍼에서는 답이 없다고 볼 수 있습니다..
아수수나 쓰레드리퍼에서 답이 진짜 없다면 그렇게 기획한 사람이 책임지고 뒤집어 써야 합니다..
아마 AMD EPYC 시스템으로 가셔야 할 겁니다...
GPU 서버 조립하는 것은 모라고 할 것이 아니지만 문제가 생기면 제조사의 확실한 기술 지원이 없으면 답이 안나옵니다..
개인적으로는 GPU서버는 완성품이나 베어본으로 가는 것이 맞고 제조사에서 나온 GPU카드 호환 리스트를 꼭 지켜야 한다고 생각합니다..
그리고 가끔 조립 잘못이나 실수로 보드나 GPU 카드 불나는 경우가 있는데 GPU쪽 부품의 돈단위가 크기에 불 나는 사고 나면 회사로써도 난감하고
조립한 사람도 난감합니다..
최소 몇천만원에서 억단위의 돈이 한순간에 날라갑니다..
https://www.2cpu.co.kr/QnA/959469
하지만 wsl에서는 엔비디아 드라이버가 로드되지 않습니다..
엔비디아 DGX 시스템에 들어가는 DGX OS라고 있는데 이것이 우분투 기반이라고 들었습니다..
https://sogkyc.tistory.com/12
https://docs.nvidia.com/dgx/dgx-os-6-user-guide/introduction.html
개인적으로 생각하기에는 엔비디아 GPU 서버에서 가장 기본이 되는 OS는 우분투가 아닐까 합니다..
5975WX 입니다
https://www.supermicro.com/Aplus/support/resources/OS/OS_Comp_H12_TR_PRO_UP-1.cfm
수퍼마이크로에서 테스트한 자료가 있네요..
제 기억에는 슈퍼마이크로가 OS 종류 버젼 호환테스트는 재일 많이 하는 것으로 알고 있습니다..
그냥 참조 자료로 생각하시면 되고 실제로는 제조사마다 모델에 따라 바이오스 버젼에 따라 약간의 차이가 있을수 있습니다..
아마 H100 2개의 PCI BAR 영역 할당 관련된 오류이지 않을까 싶습니다. 어디까지나 추정입니다.
자세한건 dmesg 전부를 봐야 알 수 있을 것 같네요.
제가 댓글로 드릴 수 있는 정보는 여기까지구요. 같은 시스템을 사용해본적이 없어서 더 도와 드리기는 어려울 것 같습니다.
바이오스 설정 만져야 할게 있지 않을 까요 ????
바이오스 설정
Above 4G Decoding / Resizable BAR
설정 위치: Advanced → PCI Subsystem Settings
Above 4G Decoding → Enabled
Re-Size BAR Support → Disabled (H100은 Resizable BAR 사용 안 함)
이유: 2장의 H100은 MMIO 공간을 엄청 많이 쓰기 때문에 반드시 Enabled 해야 함.
안 하면 ................
부팅 실패하거나 GPU가 안 잡힘.
다만 Above 4G는 꽤 큰 영향 주니 반드시 켜주세요
일단 H100을 1개만 꽃은후 해보면 답 나옵니다 (만일 이쪽 문제라면 개수 줄이는 순간 인식될껍니다)
인터넷에서 여러 문제가 보고되어 있습니다.(https://dhlee-study.tistory.com/12)
제가 보기에는 윈도우를 설치하고 WSL로 가시는게 낫지 안을까 합니다.
제가 알기로는 WSL에서도 따로 드라이버 잡아야 한다고 알고 있습니다.
만약 윈도우에서 인식이 잘 된다면 HW 인식 문제는 해결될 것이고 WSL에서 드라이버가 인식되면 되는 것이라 이게 가장 안정적인 방법 같습니다.
https://docs.nvidia.com/cuda/wsl-user-guide/index.html
예전에는 WSL에서 Nvidia docker가 안되서 선택지에 없었는데 요즘은 거의 Linux 수준으로 좋아져서 이렇게도 많이 사용한다고 들었습니다.
linux 공식 지원 안하는 보드로 괜히 씨름 해서 해결해도 또 다른 문제가 많이 생기는거 같더라고요..
혹시 "WSL넘어가면 드라이버가 안잡힙니다"가 WSL로 올린 Ubuntu에서 드라이버를 설치해도 안잡힌다는 말씀이신가요???
이정도면.. H100을 의심해 봐야 하지 안을까요?
결론은 PCIe 결착이 재대로 안되었더라고요..
GPU에 파워 연결이 잘 되었고 PCIe에 장착이 잘 되었는지도 한 번 살펴봐 주세요.
제 경우는 저거랑은 다른 문제였습니다만, 안정화를 위해서 일부 카드를 PCI-e 3.0으로 내리고 리눅스의 경우 pci-e 관련 커널 플래그를 설정해 줘야만 했습니다. (제 경우 pci=nommconf 등이 필요했습니다.)
그냥
리눅스를 지원하지 않습니다.
그래서.. 유저들의 몫이죠..
애먹었던 기억이 나네요.
이것저것 수정하고 손 봐야 되요..
그래서 연구실이나 중소 기업 같은 곳은 저거를 사서 시도하는데..
공식 지원을 안해줘서 속을 많이 썩는거 같습니다.
이것 저것 가격 따지면 저거로 조립하는거랑 Lenovo 웍스 사는 거랑 가격 차이가 1~2백만원 차이 나더라고요..
문제는 웍스의 파워랑 충분하지 않은 PCIe 슬롯인데..
우분투 공식 지원해주는 것으로 만족해야 하더라고요..
아무래도 HEDT 보드랍시고 서버만큼 깐깐하게 검증을 하지 않은 느낌입니다.
서버실이 없는 상황에서는 눈물이 ㅠㅠㅠㅠㅠ