안녕Ȣ16;세요. 항상 많1008; ǥ16;들께 도움1012; 0155;고 1080;lj16; sisc081077;니다.

최근 무ǥ16; 수/161;글1012; 올리lj16;,172; 0128;리고 1080;lj16;데요... 다른,172; 아니라 0128;린 숙1228;(?)를 Ȣ16;다 맴돌고 1080;Ǻ12;서 그/111;습니다 ㅠㅠ

1060;Ȣ16;1032; 글1008; 약간1032; 1221;보 나눔 0143; 푸념...과 1312;Ǻ16;1012; 구Ȣ16;lj16; 내용1060; .104;,192;습니다.

1060;1204;에 아래와 같1008; ,163;1012; 무ǥ16;0155;1008; 1201;1060; 1080;습니다.

https://www.2cpu.co.kr/ha/58988

1064;텔1060; 버린 고속 1064;터6168;1060;스, OmniPath라lj16; 100gbps대1025; 네트워크 시스템1060; .104;,192;습니다.

1064;피니0180;드와 유사Ȣ16;다lj16; 1060;야기들1060; 1080;더군요.

1200;lj16; 아래1032; 링크를 기0152;1004;/196; 설1221;1012; 1652;행Ȣ16;였습니다.

https://forum.level1techs.com/t/proxmox-with-intel-omni-path-fabric-how-to-cautionary-tale/198762

안타깝,172;도 윈도우용 드라1060;버lj16; 1316;1116;Ȣ16;lj16; Ǐ19; Ȣ16;나 현1116;lj16; 구할 수 없lj16; 상황1077;니다.

그러면 다용도/196; Ǹ16;기 위해 가상화 시스템1012; 구성Ȣ16;lj16; 편1060; 0148;람1649;Ȣ16;다 생각Ȣ16;였습니다.

ip 할NJ17;1060; 가능Ȣ16;다면 Proxmox 내에서 가상 1060;더넷1004;/196; 연결1060; 가능할 가능성1060; 1080;기 ǐ12;문1077;니다.

설치 0169;법1008; 다1020;과 같습니다.

1. Proxmox Shell에서 다1020;1032; 명/161;Ǻ12; 실행

- apt-get update

- apt-get install opa-fm opa-fastfabric opa-basic-tools opa-address-resolution

2. System -> Network에서 ibp/196; 시1089;Ȣ16;lj16; 항목1060; 1080;lj16;1648; 확1064;

3. OmniPath에서 사용할 IP 셋ᔚ1;

- ibp 항목1012; 더블클릭Ȣ16;면 열립니다.

- 원Ȣ16;시lj16; IP를 사용Ȣ16;시.104;, 공유기에서 서비스Ȣ16;lj16; 대역1008; 피해야 합니다.

- MTUlj16; 1201;NJ17;7176;... 1200;도 다양Ȣ16;,172; 시도1473;에 1080;습니다. Advanced를 누르면 나타납니다.

- Autostart도 켜1452;세요.

4. 1116;ǥ12;ᔚ1;

- 상기 항목1008; 클러스터를 구성할 2대1032; 컴퓨터 모.160;에서 시행해 1452;세요.

5. 클러스터 생성

먼1200;, ibp가 켜1652; ,163;1012; 확1064;합니다.

그리고 Datacenter -> Cluster/196; 들Ǻ12;가서 Create Cluster를 클릭합니다.

원Ȣ16;lj16; 1060;름1012; 1077;/141; 후 Create를 눌러 1333;료합니다.

TASK OK가 뜨면 성공1077;니다.

그리고 Join Information1012; 클릭해서

Copy Information1012; 클릭합니다.

.160; 번1704; PC/196; 1060;ᇼ1;Ȣ16;고

Datacenter -> Cluster/196; 들Ǻ12;가서Join Cluster를 클릭합니다.

Information에 붙여넣고 클러스터 서버 PC1032; Password를 1077;/141; 후 Cluster Networklj16; 아까 설1221;한 OmniPath/196; 1648;1221;Ȣ16;고 Join 버튼1012; 누릅니다.

완료 후에 permission denied가 뜹니다만, 안심Ȣ16;시고 새/196;고침1012; 누릅니다.

다시 /196;그1064; 후에 아래와 같1060; 뜨면 완성1077;니다.

=================================================================================================================================

상기와 같1060; 설1221;Ȣ16;면 1060;1228; 사용할 1456;비lj16; 다 .104;었습니다.

그/100; 1060;1228; 테스트를 1652;행해 보아야,192;1424;. /112;6140;런스에서lj16; 뭔가 다른 0169;법1004;/196; 테스트를 1652;행Ȣ16;고 1080;습니다만...

IP를 할NJ17;했1094;아요. iperf3를 설치합니다.

apt-get install iperf3

그리고 아래와 같1060; 테스트를 1652;행합니다.

iperf3 -c [ip]

===============================================================

root@test2:~# iperf3 -c 10.1.1.11

Connecting to host 10.1.1.11, port 5201

[  5] local 10.1.1.12 port 54840 connected to 10.1.1.11 port 5201

[ ID] Interval           Transfer     Bitrate         Retr  Cwnd

[  5]   0.00-1.00   sec  1.52 GBytes  13.1 Gbits/sec    0   1.39 MBytes       

[  5]   1.00-2.00   sec  1.50 GBytes  12.9 Gbits/sec    0   1.39 MBytes       

[  5]   2.00-3.00   sec  1.53 GBytes  13.1 Gbits/sec    0   1.61 MBytes       

[  5]   3.00-4.00   sec  1.64 GBytes  14.1 Gbits/sec    0   1.61 MBytes       

[  5]   4.00-5.00   sec  1.70 GBytes  14.6 Gbits/sec    0   3.05 MBytes       

[  5]   5.00-6.00   sec  1.90 GBytes  16.4 Gbits/sec    0   3.05 MBytes       

[  5]   6.00-7.00   sec  1.81 GBytes  15.6 Gbits/sec    0   3.05 MBytes       

[  5]   7.00-8.00   sec  1.62 GBytes  13.9 Gbits/sec    0   3.05 MBytes       

[  5]   8.00-9.00   sec  1.80 GBytes  15.4 Gbits/sec    0   3.05 MBytes       

[  5]   9.00-10.00  sec  1.54 GBytes  13.3 Gbits/sec    0   3.05 MBytes       

- - - - - - - - - - - - - - - - - - - - - - - - -

[ ID] Interval           Transfer     Bitrate         Retr

[  5]   0.00-10.00  sec  16.6 GBytes  14.2 Gbits/sec    0             sender

[  5]   0.00-10.00  sec  16.6 GBytes  14.2 Gbits/sec                  receiver

iperf Done.

===============================================================

1020;------- 속도가 1096; 안 나Ꮢ1;니다.

구글링1012; 합니다.

https://www.reddit.com/r/networking/comments/gd1hce/what_does_it_take_to_fill_up_100gbase/

매우 많1008; 1204;문가 ǥ16;들1032; 1208;규를 헤치며 찾아낸 -PᏒ1;션...

iperf -c [ip] -P 16

===============================================================

[ ID] Interval           Transfer     Bitrate         Retr

[  5]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec    0             sender

[  5]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec                  receiver

[  7]   0.00-10.00  sec  1.22 GBytes  1.05 Gbits/sec    0             sender

[  7]   0.00-10.00  sec  1.22 GBytes  1.05 Gbits/sec                  receiver

[  9]   0.00-10.00  sec   644 MBytes   540 Mbits/sec    0             sender

[  9]   0.00-10.00  sec   642 MBytes   538 Mbits/sec                  receiver

[ 11]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec    0             sender

[ 11]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec                  receiver

[ 13]   0.00-10.00  sec   893 MBytes   749 Mbits/sec    0             sender

[ 13]   0.00-10.00  sec   891 MBytes   747 Mbits/sec                  receiver

[ 15]   0.00-10.00  sec   517 MBytes   434 Mbits/sec    0             sender

[ 15]   0.00-10.00  sec   515 MBytes   432 Mbits/sec                  receiver

[ 17]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 17]   0.00-10.00  sec  1.26 GBytes  1.08 Gbits/sec                  receiver

[ 19]   0.00-10.00  sec  1.04 GBytes   897 Mbits/sec    0             sender

[ 19]   0.00-10.00  sec  1.04 GBytes   895 Mbits/sec                  receiver

[ 21]   0.00-10.00  sec   915 MBytes   768 Mbits/sec    0             sender

[ 21]   0.00-10.00  sec   912 MBytes   765 Mbits/sec                  receiver

[ 23]   0.00-10.00  sec   530 MBytes   445 Mbits/sec    0             sender

[ 23]   0.00-10.00  sec   527 MBytes   442 Mbits/sec                  receiver

[ 25]   0.00-10.00  sec   629 MBytes   528 Mbits/sec    0             sender

[ 25]   0.00-10.00  sec   628 MBytes   527 Mbits/sec                  receiver

[ 27]   0.00-10.00  sec   570 MBytes   478 Mbits/sec    0             sender

[ 27]   0.00-10.00  sec   567 MBytes   476 Mbits/sec                  receiver

[ 29]   0.00-10.00  sec   950 MBytes   797 Mbits/sec    0             sender

[ 29]   0.00-10.00  sec   948 MBytes   795 Mbits/sec                  receiver

[ 31]   0.00-10.00  sec   702 MBytes   589 Mbits/sec    0             sender

[ 31]   0.00-10.00  sec   699 MBytes   586 Mbits/sec                  receiver

[ 33]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec    0             sender

[ 33]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec                  receiver

[ 35]   0.00-10.00  sec   871 MBytes   730 Mbits/sec    0             sender

[ 35]   0.00-10.00  sec   867 MBytes   728 Mbits/sec                  receiver

[SUM]   0.00-10.00  sec  16.9 GBytes  14.5 Gbits/sec    0             sender

[SUM]   0.00-10.00  sec  16.9 GBytes  14.5 Gbits/sec                  receiver

iperf Done.

===============================================================

1004;1020;, 1060;,163;도 아닙니다.

아까 디폴트 Ꮢ1;션1004;/196; 넘Ǻ12;간 클러스터 마1060;그/112;1060;션 Ꮢ1;션도 만1256;봅니다.

insecure/196; Ȣ16;/140;면 

nano /etc/pve/datacenter.cfg

를 터0120;널에 쳐서 수ᇼ1;1004;/196; 변ᅆ1;해 1452;Ǻ12;야 합니다.

===============================================================

[ ID] Interval           Transfer     Bitrate         Retr

[  5]   0.00-10.00  sec  1.28 GBytes  1.10 Gbits/sec    0             sender

[  5]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[  7]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[  7]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[  9]   0.00-10.00  sec   701 MBytes   588 Mbits/sec    0             sender

[  9]   0.00-10.00  sec   697 MBytes   585 Mbits/sec                  receiver

[ 11]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 11]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 13]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 13]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 15]   0.00-10.00  sec   575 MBytes   483 Mbits/sec    0             sender

[ 15]   0.00-10.00  sec   572 MBytes   480 Mbits/sec                  receiver

[ 17]   0.00-10.00  sec   634 MBytes   532 Mbits/sec    0             sender

[ 17]   0.00-10.00  sec   630 MBytes   528 Mbits/sec                  receiver

[ 19]   0.00-10.00  sec   732 MBytes   614 Mbits/sec    0             sender

[ 19]   0.00-10.00  sec   729 MBytes   611 Mbits/sec                  receiver

[ 21]   0.00-10.00  sec   676 MBytes   567 Mbits/sec    0             sender

[ 21]   0.00-10.00  sec   672 MBytes   564 Mbits/sec                  receiver

[ 23]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 23]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 25]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 25]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 27]   0.00-10.00  sec   609 MBytes   511 Mbits/sec    0             sender

[ 27]   0.00-10.00  sec   605 MBytes   508 Mbits/sec                  receiver

[ 29]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 29]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 31]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 31]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 33]   0.00-10.00  sec   538 MBytes   451 Mbits/sec    0             sender

[ 33]   0.00-10.00  sec   535 MBytes   449 Mbits/sec                  receiver

[ 35]   0.00-10.00  sec   769 MBytes   645 Mbits/sec    0             sender

[ 35]   0.00-10.00  sec   766 MBytes   642 Mbits/sec                  receiver

[SUM]   0.00-10.00  sec  15.3 GBytes  13.1 Gbits/sec    0             sender

[SUM]   0.00-10.00  sec  15.2 GBytes  13.1 Gbits/sec                  receiver

iperf Done.

===============================================================

1020;, 역시 아닙니다.

...Ǻ12;1788;1424; ㅠㅠ