안녕Ȣ16;세요. 1068;1452;1068; 1204;에 2cpu 가1077;한 초보 1077;니다.
그 ᇼ1;안 눈ᔚ1;만 Ȣ16;다가 (유1061;한 내용들 많1060; 0176;ǽ12;습니다. 감사합니다!), 솔1649;7176; 말씀드리면 1060;,172; 너무 Ƽ17;금해서 1656;문1012; 드리고1088; 가1077;했습니다.
1228;가 E5-26xx V4 시스템 1473;고에 대한 ,163;1012; 알고 나서.. 한번 써보고 dz10;1008; ,163;1012; 못참고 1312;립1012; 했lj16;데요.
- cpu: E5-2680v4 듀얼
- mainboard: Huananzhi X99-F8D Plus (실1228;론 C612 서버용 ᒤ1;셋)
(1473;국1228; 메1064;보드 사면 안.108;다고 많1060;들 말리시lj16;데도 샀다가 1060; 고생1012;;;)
- memory: Hynix HMA42GR7MFR4N-TF DDR4-2133(@2400) 16GB x8 쿼드
듀얼 cpu 구성1064;데, 양1901; CPU가 각각1032; remote RAM 1217;근시 latency/bandwidth가 1060;상합니다.
성능 측1221;1008; PerformanceTest 11.0 버1204; > advanced > Memory... 에서 한,148;데요.
| latency (random range) |  NUMA node 0  |  NUMA node 1  |
| NUMA allocation node 0 | 55.58ns | 55.58ns |
| NUMA allocation node 1 | 81.58ns | 80.88ns |
| block write speed |  NUMA node 0  |  NUMA node 1  |
| NUMA allocation node 0 | 3785MB/s | 3813MB/s |
| NUMA allocation node 1 | 2119MB/s | 2069MB/s |
cpu0, cpu11060; 각각 다른 CPU에 붙1008; (remote) memory 1217;근할ǐ12;lj16; QPI 통과 delay가 생기lj16; ,148; 알,192;lj16;데,
보시다시피 NUMA node 0 (cpu0) 1901;Ȣ16;고 NUMA node 1 (cpu1) 1901;Ȣ16;고 서/196; 대칭1060; .104;lj16; 결과가 아니라, 무1312;,148; cpu1 1901; 메모리 1217;근할ǐ12;만 latency, bandwidth 모.160; 큰 폭1004;/196; 나빠1665;니다.
.160; 소Ȓ11;1032; cpu를 서/196; 교환해봐도, 메모리를 서/196; 교환해봐도 결과가 같습니다.
그래서 1200;lj16; 메1064;보드를 1032;심(소Ȓ11; 불량? PCB 1076;피Nj12;스 문1228;?)Ȣ16;고 Aliexpress 셀러를 1665;요Ȣ16;,172;;; 괴ǘ13;혔습니다. ^^;
1. 셀러측에서 처1020;에lj16; 듀얼 cpu를 사용Ȣ16;면 무1312;,148; 6140;포먼스가 떨Ǻ12;1652;다고 우기더니
(네, 보드에 cpu Ȣ16;나만 1109;착했1012; ǐ12;, 45ns --> .160; 개 다 1109;착 후 55ns/196; 1060;0120; 떨Ǻ12;1648;긴 했습니다.)
2. 1228;가 왜 한1901;(cpu1)만 더 떨Ǻ12;1648;lj12;냐? 했더니,
CPU 별 서/196; 다른 PCI-E 슬ǘ15;1060; 연결.104;서 그/111;다lj16; 1060;상한 소리를 Ȣ16;다가,
(CPU에 연결.108; PCI-E 디0148;1060;스가 IMC에도 영향1012; 1452;나요? 참고/196;, m.2lj16; 0번 CPU 고1221;, 그래픽카드lj16; 0/1번 Ǻ12;lj12;1901; cpu에 연결해도 문1228; ᇼ1;1068;합니다.)
3. 1228;가 그,163; ǐ12;문에 1200;/111;,172; 큰 메모리 1217;근 속도 차1060;가 DŽ16; 수가 1080;lj12;냐?했더니,
(아마도 셀러가 너무 귀찮고 1676;1613;나서) 1648;네 메1064;보드 디1088;1064; 한계라고 환불해1452;,192;ᇨ1;니다.
근데 사실 ᇼ1;1068; CPU1064; 시스템1032; passmark/cinebench መ1;1032; 1216;수를 ,160;색해서 비교해보면, 1228; 메1064;보드가 다른 X99/C612 메1064;보드/워크스테1060;션보다 1216;수가 많1060; 떨Ǻ12;1648;,144;나 Ȣ16;1648;lj16; 않,144;든요.
(ASUS, 슈6140;마1060;크/196;, HP, ... Dell만 다른 벤더보다 1328; 눈에 Ǖ16;,172; 1339;더군요.)
그러면 1200;런 비대칭 속도가 1221;상1064;,148;1648;? 그/111;다면 Ǻ12;1704;서 그런1648;? 여1204;7176; 설명1060; 고팠구요. 다른 xeon e5-26xx v4시스템에서도 1060;/111;,172; cpu0/cpu1 양1901; 메모리 1216;수가 비대칭1004;/196; 나오lj16;1648; Ƽ17;금Ȣ16;네요.
그래서 1060;번엔 다시 passmark에 물Ǻ12;보았습니다.
1200;lj16; 내심 "passmark가 advanced > memory test 1096;못Ȣ16;lj16;,144; 아니야?"라lj16; 1032;도도 1080;었lj16;데...
Ȣ16;1648;만 passmark 관리1088;가 테스트 결과가 확실7176; 1328; 1060;상해보1060;네? 한 ,163; 외에lj16;, 아무도 댓글1012; 달아1452;1648; 않네요. ㅠㅠ 아마도 1060;1232; 구닥다리 e5-26xx v4 듀얼 구성따위 놀아보lj16; 사람1060; 별/196; 없기 ǐ12;문1060;,192;1648;요.
앞서 퀘1060;사1316;에도 1656;문1012; 해봤1648;만, ( 2cpulj16; 1060;메1068; 1064;1613; 통과Ȣ16;기까1648; 시간1060; 1328; ,152;/160;네요 ^^;) 역시 NJ13;1060; 없었습니다.
Passmark1032; PerformanceTest 11.0 버1204; > advanced > Memory... 에서
cpu 0/1 -- mem 0/1 4가1648; ᅆ1;우에 대해서 latency랑 bandwidth 테스트 1328; ǥ12;ᓠ1;드/140;도 .112;까요? 
테스트 0169;법1008; 아래 스샷 참1312;Ȣ16;셔도 .104;시고, 위1032; passmark 1901; 링크에도 설명1060; 1080;습니다. 오래 ,152;리1648; 않습니다.
1. Passmark PerformanceTest 11.0 설치 후 실행, 탑다운 메뉴1032; Advanced > Memory ...
2. latency test를 numa node 0 / 1 , numa allocation node를 0 / 1 , 총 4가1648; 1312;합에 대해 수행Ȣ16;여 Ȣ16;단 random range latency 비교.
3. block write에 대해서 마찬가1648;/196;, numa node 0 / 1 , numa allocation node를 0 / 1 , 총 4가1648; 1312;합에 대해 수행Ȣ16;여 새 창에 표시.104;lj16; bandwidth 비교.
ᕬ1;시 보유Ȣ16;고 계신 dual xeon e5-26xx v4 시스템도 mem0, mem11032; 성능1060; 크,172; 다른,148; 아닌1648; Ƽ17;금Ȣ16;1648; 않1004;세요? ^^;
1060;1232; 1652;1676;1652;1676; 더 1060;상 물Ǻ12;볼 곳도 없네요. ㅠㅠ
입출력 담당도 두 CPU 중에 한 CPU가 먼저 받아줄 것이며.
두 cpu 메모리 접근 속도가 차이가 난다에 별로 놀랍지는 않습니다.
CPU의 순차대기와 OS 커널의 간섭은 어쩔 수 없는 거 아닌가요 ??
그래서 요즘은 RDMA 를 사용하죠.
IP v6 를 기반으로 DRMA를 구현하여...... 직접 억세스 하고 싶습니다.
그 CPU 와 OS커널의 간섭이나 Delay 없이 다른 서버의 메모리에 접근하고 싶습니다.
RDMA 를 통해서..
다른 것들도 직업 억세스 하자는 움직임.
RDMA over NVMe
RDMA over NFS
RDMA over GPU
그리고 중국보드에 두 cpu의 접근속도 차이가 난다..는 질문은 무리 입니다.
메인보드가 싼거.. 당연히 기술적으로 부족하죠..
그게 완변하고 HP보드나 Dell보드와 비슷하다면 돈을 많이 받겠죠..
연산시에 정확하고 완벽한 동작은 IBM이 잘 합니다...
Lenovo 기계쪽을 보세요..
Thinkstation P900,P910,P920
X3650 M5
반대편 시퓨에 있는 PCIe는 딜레이 극악하게 늘어지고, 심지어는 같은 시퓨내에서도 코어에 따라 램 접근 속도차 납니다
그리고 멀티데스킹이므로 다른 요인도 배제 힘듭니다
보드 블럭다이어그램 보면 알 수 있습니다만
일반적인 듀얼마더보드의 구조상 첫번째 CPU에 부하가 더 걸리기에 첫번째 CPU의 온도도 더 높고 메모리 속도도 더 높습니다..
단 두 CPU의 차이는 그리 크게 차이나지는 않습니다.. (아마 많아야 10~15% 정도가 아닐까 추측해봅니다)
E5-2600V3/V4 가 나온지가 꽤 오래되어 단종된지도 꽤 되어서 재대로 된 보드 찾기가 쉽지 않습니다만
개인적으로는 중국 내수용보드는 보드라고 생각하지도 않고 사용하지도 않습니다..
개인적으로 좋아하는 보드는 미국향발 보드 (인텔, 슈퍼마이크로, TYAN) 정도 입니다..
Cpu mark 총점은 30,800점으로 ASUS, 슈마, HP 테스트 값들에 뒤쳐지지 않는데, 딱 저 테스트만 이상하게 나와요. ㅜㅜ
요새는 아무래도 대조군을 찾기는 힘들겠죠.
똑같은 프로그램 돌려서 결과값이 중국산 보드와 비슷하다면 문제는 없다라고 할 수 있지만
그렇지 않다면 중국산 보드는 어딘가 문제가 있겠지요..
그러나 그런 테스트를 돈들여서 한다는 것도 엔드유져에게는 쉽지 않고 내가 보기에는 이래저래서 문제다라고
중국 보드 제조사에 이야기 해도 그 문제를 해결해줄지는 모르는 문제입니다..
그나저나 부하가 걸린 쪽이 아마도 클럭이 높게 유지되고 있어서? 더 반응이 빠른가보군요. 또 유용한 정보를 배워가네요. 감사합니다. ㅎㅎ
제가 댓글에 적은 속도가 빠르다는 것은 부하를 100% 주었을때 메모리 동작도 동작할 수 있는 최대로 동작한다는 의미로
보시면 될 것 같습니다..
cpu는 2620 v4 입니다.
PerformanceTest 11.0의 advanced memory test는 NUMA node 테스트를 제대로 수행하지 못하는 것이었을까요?
한달 묵은 체증이 내려가는거 같습니다. 정말 감사합니다!!
=======================================================================================================================================
Intel(R) Memory Latency Checker - v3.11
Measuring idle latencies for random access (in ns)...
Numa node
Numa node 0 1
0 91.8 125.6
1 128.6 90.4
Measuring Peak Injection Memory Bandwidths for the system
Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
Using all the threads from each core if Hyper-threading is enabled
Using traffic with the following read-write ratios
ALL Reads : 126783.9
3:1 Reads-Writes : 122172.0
2:1 Reads-Writes : 121868.1
1:1 Reads-Writes : 114215.6
Stream-triad like: 107334.5
Measuring Memory Bandwidths between nodes within system
Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
Using all the threads from each core if Hyper-threading is enabled
Using Read-only traffic type
Numa node
Numa node 0 1
0 64761.6 16684.5
1 16725.6 64444.8
Measuring Loaded Latencies for the system
Using all the threads from each core if Hyper-threading is enabled
Using Read-only traffic type
Inject Latency Bandwidth
Delay (ns) MB/sec
==========================
00000 210.29 128318.6
00002 210.81 128501.7
00008 211.57 128222.4
00015 211.70 128083.5
00050 199.87 127241.8
00100 183.51 125596.4
00200 121.22 92607.0
00300 110.09 63446.0
00400 104.28 48124.2
00500 100.70 38986.3
00700 97.13 28266.5
01000 97.98 19979.7
01300 93.68 15644.0
01700 92.60 12166.5
02500 91.72 8513.3
03500 91.03 6294.2
05000 91.36 4614.1
09000 91.05 2881.8
20000 90.88 1685.7
Measuring cache-to-cache transfer latency (in ns)...
Using small pages for allocating buffers
Local Socket L2->L2 HIT latency 39.7
Local Socket L2->L2 HITM latency 43.4
Remote Socket L2->L2 HITM latency (data address homed in writer socket)
Reader Numa Node
Writer Numa Node 0 1
0 - 97.9
1 98.5 -
Remote Socket L2->L2 HITM latency (data address homed in reader socket)
Reader Numa Node
Writer Numa Node 0 1
0 - 98.2
1 97.6 -
=======================================================================================================================================
제 생각에는 performanceTest 11.0의 advanced > memory ... 테스트가 cache hit 영향을 배제하지 못한게 아닐까? 싶은데 모르죠. ㅎㅎ
여하튼 multi processor 시스템에서 PerformanceTest 결과는 틀릴 수도 있다 정도로 참조하시면 될 것 같습니다.
UEFI 모드로 돌리면 메모리 속도 벤치마크 테스트 항목도 있을 것입니다..
근데 memtest86도 numa node 별 별도로 테스트 결과가 나오나요?
보통 시스템 1대 전체에 대한 것에 대해 나옵니다..
memtest86을 구글링하면 사용 방법이나 동작하는 많은 사진들을 볼 수 있을 것입니다..