안녕하세요 pilsu-ni 입니다.
노트북에서 돌리던,,, 아나콘다에서 파이썬(Keras) 프로그램을 CPU의존적이라 DUAL CPU 컴터에서 돌려보고 있습니다.
혹시나 했었는데,,,, CPU 한넘만 뺑이치네요.
쓰레드 개수를 확인해 보면 모든 CPU를 모두 인식하는걸 알수 있는데, 아나콘다에서 파이썬을 이용한 디바이스목록(??)을 확인 명령어를 사용해 보아도 1개의 CPU로만 표시되네요.
혹시, 테스트해 볼만한 아이디어나, 방법 알고계신분들의 답변 부탁드립니다.
감사합니다.
ps. esxi 설치해서,,, all core 할당하는게,,, 성능은 다소 줄어들겠지만 모든 CPU를 사용하는 방법이겠다는 생각까지 해보고 있습니다 ㅡㅡ;;;
2021-01-29 추가내용
* CPU코어 수를 64개로(HT 포함) 지정하니 64개 코어가 모두 작동을 하네요. ^^
OS 버전별로 코어 이슈가 있다는건 알고 있었지만,,, 깜박하고 전혀 생각하지 못했던 내용이였습니다.
* 약간 부족한점이라면, 한쪽 코어에 가중치가 몰리는 듯 합니다 ^^ (CPU0 - 20% 대라면 CPU1 - 10% 대네요)
2021-01-30 추가내용
* 특정 CPU에 부하가 몰리는게 아니라, 랜덤하게 한넘한테 부하를 많이 주네요.
그 프로그램이 어떻게 돌아가시는 것을 원하시는지요??
CPU 2개를 번갈아 가면서 실행되는듯 해서,,,, 다른거 하나더 실행했는데,,, 둘다 한넘만 갈구네요 ㅡㅡ;;;
인터넷 돌아다니는 소스를 조금씩 수정해 가면서 사용해 보고 있는데요... 딱히, 명령줄도 길지 않아, 프로그램 코드의 특수성은 없다고 판단하고 있습니다.
기타 전처리,,, 등을 제외하면 결과적으론 8라인 정도 밖에 안되서요...
나머지는 전처리, 후처리라 ^^
멀티 쓰레드라고 해도 동일 CPU 내의 레지스터나 케시를 사용하는 것은 쉽지만
다른 CPU의 레지스터나 케시를 사용하려면 불가능 하겠죠.
CPU 한넘만 갈구기에 프로그램 하나더 실행하니, 2개다 활성화 되었으나,,, 지금은 한놈만 갈구네요...(매번 바뀌는 듯)
빌드 할 때 멀티 CPU 를 쓰는 옵션이 있는지 확인해보세요.
p.s. 이런게 있네요. 텐서 플로우 문제가 아니고 구동시키는 방법 문제 같은데요.
https://stackoverflow.com/questions/45985641/can-tensorflow-run-with-multiple-cpus-no-gpus
디바이스를 확인하는 명령어를 사용해 보니 CPU를 1개로 인식하더라구요...
열심히 구글링을 더 해봐서 방법이 찾아지면 좋겠네요 ^^
64비트 운영체제에서 64쓰레드가 넘어가는 경우 프로그램에서 지원을 하지 않으면 64쓰레드가 넘어가는 쓰레드가 포함된 cpu전체가 놀게 됩니다.
운영체제에서 잘 인식되고 작동하는거야 운영체제는 64쓰레드 넘어가면 나머지는 가상화로 돌려버리거든요.
예를들어,
18코어/36쓰레드x 2EA 로 18+18코어/36+36쓰레드일 경우 64비트 운영체제에서 64쓰레드를 초과하는 나머지 쓰레드는 윈도우에서 가상화를 통해 사용하게 되고 이로인한 3% 정도의 성능하락이 존재합니다.
문제는 개별 프로그램에서 개발사가 이를 지원하게 프로그램을 짜지 않았을 경우인데 이 경우 64쓰레드가 넘어가는 부분만 따로 컨트롤을 해주지를 못하니 작업분배를 못해줘서 cpu1개가 통으로 놀게 되는 겁니다.
해결 방법은
1. 바이오스에서 총합64쓰레드 이내로 코어를 강제로 off하고 사용
2. 하이퍼쓰레딩을 꺼서 64쓰레드 이내로 줄임(대신 HT off로 인한 멀티성능 25%하락은 감수해야 합니다)
하셔야 합니다.
제가 아는한 프리미어cs/3dsmax+vray / 엔시스 등 영상편집/수치해석 프로그램 태반이 저런 증상을 겪습니다.
비유하자면 계란 한판이 64개가 들어가고, 이 판에 계란이 몇개든(비어있든 꽉 차있든) 그 한판씩 담아서 처리하는 것인데
운영체제에서는 이를 초과해서 들어오면 아예 그 옆으로 한판을 더 놓고 처리하는 것이고 개별 프로그램은 그걸 못하다 보니 문제가 생기는 겁니다.
고민좀... 해 봐야 겠습니다.
답변 감사합니다.
이번턴 끝나면 다음턴에서 확인해봐야 겠습니다 ^^