어른이 07-03

LVM을 사용하지않고 설치해서 부팅해도 에러가 올라오나요?

뉴진스 07-03

22.04cli에서 lvm에러 발생했는데 lvm사용하지 않는 시도 없이
22.04gui에서 lvm활용하여 설치했습니다

어른이 07-03

LVM 없이 서버에디션으로 설치해보죠... 굳이 데스크탑 모드가 필요하신건가요?

뉴진스 07-03

일단 h100이 드라이버에 잡히냐 마냐 문제라서 보류중입니다

어른이 07-04

제가 해봤는데 잘 되네요

뉴진스 07-04

저랑 동일 보드이신가요? LVM 없이 해보겠습니다

어른이 07-04

ASUS WRX 보드랑 ASRock WRX보드를 많이 만져봤는데 저는 잘 작동했습니다.

박문형 07-03

아수스에서 테스트하고 답변을 주는 것이 원칙입니다..

쓰레드리퍼를 사용하는 시스템이나 보드에서 GPU카드 호환리스트 확인하시고 없으면 쓰레드리퍼에서는 답이 없다고 볼 수 있습니다..

아수수나 쓰레드리퍼에서 답이 진짜 없다면 그렇게 기획한 사람이 책임지고 뒤집어 써야 합니다..

아마 AMD EPYC 시스템으로 가셔야 할 겁니다...

GPU 서버 조립하는 것은 모라고 할 것이 아니지만 문제가 생기면 제조사의 확실한 기술 지원이 없으면 답이 안나옵니다..

개인적으로는 GPU서버는 완성품이나 베어본으로 가는 것이 맞고 제조사에서 나온 GPU카드 호환 리스트를 꼭 지켜야 한다고 생각합니다..

그리고 가끔 조립 잘못이나 실수로 보드나 GPU 카드 불나는 경우가 있는데 GPU쪽 부품의 돈단위가 크기에 불 나는 사고 나면 회사로써도 난감하고

조립한 사람도 난감합니다..

최소 몇천만원에서 억단위의 돈이 한순간에 날라갑니다..

https://www.2cpu.co.kr/QnA/959469

뉴진스 07-03

견적을 낸건 저희쪽이 아니긴한데, 진행을 하고 있어서요...

김호규 07-03

데이터센터 드라이버 설치하셔도 그럴까요?

뉴진스 07-03

Data Center Driver for Linux x64 드라이버 wget해와서 설치해도 동일하게 H100은 잡히지않네요

뉴진스 07-03

아참, 추가로 윈도우11-64bit에서는 1030 / h100 모두 nvidia-smi 잡힙니다
하지만 wsl에서는 엔비디아 드라이버가 로드되지 않습니다..

이준용 07-03

엔디비아 드라이버 버전을 고쳐보세요

뉴진스 07-03

apt install 은 535 550 570 진행해보았고 지금 막 wget 으로 하나 시도해봤습니다..

박문형 07-03

CPU하고 보드하고 모델이 정확히 무엇인가요??




엔비디아 DGX 시스템에 들어가는 DGX OS라고 있는데 이것이 우분투 기반이라고 들었습니다..

https://sogkyc.tistory.com/12

https://docs.nvidia.com/dgx/dgx-os-6-user-guide/introduction.html

개인적으로 생각하기에는 엔비디아 GPU 서버에서 가장 기본이 되는 OS는 우분투가 아닐까 합니다..

뉴진스 07-03

ASUS PRO WS WRX80E-SAGE-SE WIFI II
5975WX 입니다

박문형 07-03

https://www.supermicro.com/Aplus/support/resources/OS/OS_Comp_WRX80.cfm

https://www.supermicro.com/Aplus/support/resources/OS/OS_Comp_H12_TR_PRO_UP-1.cfm

수퍼마이크로에서 테스트한 자료가 있네요..

제 기억에는 슈퍼마이크로가 OS 종류 버젼 호환테스트는 재일 많이 하는 것으로 알고 있습니다..

그냥 참조 자료로 생각하시면 되고 실제로는 제조사마다 모델에 따라 바이오스 버젼에 따라 약간의 차이가 있을수 있습니다..

식아이닉스 07-03

엔디비아 드라이버 로드 시도 시 2개 장치에 오류가 발생한 것으로 보이네요.
아마 H100 2개의 PCI BAR 영역 할당 관련된 오류이지 않을까 싶습니다. 어디까지나 추정입니다.
자세한건 dmesg 전부를 봐야 알 수 있을 것 같네요.
제가 댓글로 드릴 수 있는 정보는 여기까지구요. 같은 시스템을 사용해본적이 없어서 더 도와 드리기는 어려울 것 같습니다.

뉴진스 07-03

grep nvidia 외에도 살펴보는게 좋을까요?

식아이닉스 07-03

당연히 살펴보셔야합니다.

dateno1 07-03

만일 그쪽 문제면 H100 1개 + 1030만 달고 시험해봐야할꺼같네요 (아무리 VGA가 돼지라지만, 보통 2개정돈 버팀)

제온프로 07-03

드라이버는 어떻게든 535 쑈브 보세요.
바이오스 설정 만져야 할게 있지 않을 까요 ????

바이오스 설정

Above 4G Decoding / Resizable BAR
설정 위치: Advanced → PCI Subsystem Settings

Above 4G Decoding → Enabled
Re-Size BAR Support → Disabled (H100은 Resizable BAR 사용 안 함)

이유: 2장의 H100은 MMIO 공간을 엄청 많이 쓰기 때문에 반드시 Enabled 해야 함.
안 하면 ................
부팅 실패하거나 GPU가 안 잡힘.

뉴진스 07-03

re-size bar도 enabled 한것 같긴하네요 내일 봐야겠습니다 지금 원격지인데 내장연결을 안해 그런지 바이오스를 볼 수 없네요..

dateno1 07-03

켜놔도 안 되는 장치는 안 쓰다보니 별 상관은 없습니다

다만 Above 4G는 꽤 큰 영향 주니 반드시 켜주세요

일단 H100을 1개만 꽃은후 해보면 답 나옵니다 (만일 이쪽 문제라면 개수 줄이는 순간 인식될껍니다)

MOONL 07-03

이 보드 일전에 저도 관심 있어서 알아봤는데.. 우분투로 할 경우 여러 문제가 있는거 같더라고요.
인터넷에서 여러 문제가 보고되어 있습니다.(https://dhlee-study.tistory.com/12)
제가 보기에는 윈도우를 설치하고 WSL로 가시는게 낫지 안을까 합니다.

뉴진스 07-04

윈도에서 드라이버 설치하고 wsl넘어가면 드라이버가 안잡힙니다..

MOONL 07-04

윈도우 에서는 GPU가 잘 인식 되시나요?
제가 알기로는 WSL에서도 따로 드라이버 잡아야 한다고 알고 있습니다.
만약 윈도우에서 인식이 잘 된다면 HW 인식 문제는 해결될 것이고 WSL에서 드라이버가 인식되면 되는 것이라 이게 가장 안정적인 방법 같습니다.
https://docs.nvidia.com/cuda/wsl-user-guide/index.html
예전에는 WSL에서 Nvidia docker가 안되서 선택지에 없었는데 요즘은 거의 Linux 수준으로 좋아져서 이렇게도 많이 사용한다고 들었습니다.
linux 공식 지원 안하는 보드로 괜히 씨름 해서 해결해도 또 다른 문제가 많이 생기는거 같더라고요..

혹시 "WSL넘어가면 드라이버가 안잡힙니다"가 WSL로 올린 Ubuntu에서 드라이버를 설치해도 안잡힌다는 말씀이신가요???
이정도면.. H100을 의심해 봐야 하지 안을까요?

MOONL 07-04

아 참고로 저도 RTX 5090이 보드에서 lspci는 뜨는데 nvidia-smi로 인식이 안되서 애먹었습니다.
결론은 PCIe 결착이 재대로 안되었더라고요..
GPU에 파워 연결이 잘 되었고 PCIe에 장착이 잘 되었는지도 한 번 살펴봐 주세요.

piloteer 07-04

저 보드 PCI-e 관련해서 문제가 좀 많습니다. 저도 속 좀 썩었습니다.

제 경우는 저거랑은 다른 문제였습니다만, 안정화를 위해서 일부 카드를 PCI-e 3.0으로 내리고 리눅스의 경우 pci-e 관련 커널 플래그를 설정해 줘야만 했습니다. (제 경우 pci=nommconf 등이 필요했습니다.)

박문형 07-04

ASUS 저 쓰레드리퍼 보드 씨리즈는 국내에서 많이 팔리고 인기 있는 일종의 표준 같은 보드라고 생각했는데 은근히 문제가 많은가 보네요??

제온프로 07-04

표준 절대 아니구요..

그냥

리눅스를 지원하지 않습니다.

그래서.. 유저들의 몫이죠..
애먹었던 기억이 나네요.
이것저것 수정하고 손 봐야 되요..

MOONL 07-04

시중에서 구할 수 있는 쓰레드리퍼 Pro를 지원하는 메인보드는 저거 밖에 없습니다.
그래서 연구실이나 중소 기업 같은 곳은 저거를 사서 시도하는데..
공식 지원을 안해줘서 속을 많이 썩는거 같습니다.
이것 저것 가격 따지면 저거로 조립하는거랑 Lenovo 웍스 사는 거랑 가격 차이가 1~2백만원 차이 나더라고요..
문제는 웍스의 파워랑 충분하지 않은 PCIe 슬롯인데..
우분투 공식 지원해주는 것으로 만족해야 하더라고요..

piloteer 07-04

돈만 있으면 그냥 에픽 서버 쓰는 게 낫더랍니다. 제가 만져본 보드들이 그렇게 다양하지 않아서 편향된 경험일 수도 있지만, 저는 쓰레드리퍼 웍스들은 자꾸 속을 태우는데 에픽 서버들은 괜찮더라고요...

아무래도 HEDT 보드랍시고 서버만큼 깐깐하게 검증을 하지 않은 느낌입니다.

MOONL 07-04

에픽서버 ㅠㅠㅠ 너무 좋죠 ㅠㅠㅠ
서버실이 없는 상황에서는 눈물이 ㅠㅠㅠㅠㅠ