OmniPath 구성기 [1]

sisc08   
   조회 1924   추천 0    

 안녕하세요. 항상 많은 분들께 도움을 받고 있는 sisc08입니다.

최근 무분 수령글을 올리는게 밀리고 있는데요... 다른게 아니라 밀린 숙제(?)를 하다 맴돌고 있어서 그렇습니다 ㅠㅠ

이하의 글은 약간의 정보 나눔 및 푸념...과 조언을 구하는 내용이 되겠습니다.


이전에 아래와 같은 것을 무분받은 적이 있습니다.

https://www.2cpu.co.kr/ha/58988

인텔이 버린 고속 인터페이스, OmniPath라는 100gbps대응 네트워크 시스템이 되겠습니다.

인피니밴드와 유사하다는 이야기들이 있더군요.


저는 아래의 링크를 기반으로 설정을 진행하였습니다.

https://forum.level1techs.com/t/proxmox-with-intel-omni-path-fabric-how-to-cautionary-tale/198762

안타깝게도 윈도우용 드라이버는 존재하는 듯 하나 현재는 구할 수 없는 상황입니다.

그러면 다용도로 쓰기 위해 가상화 시스템을 구성하는 편이 바람직하다 생각하였습니다.

ip 할당이 가능하다면 Proxmox 내에서 가상 이더넷으로 연결이 가능할 가능성이 있기 때문입니다.


설치 방법은 다음과 같습니다.


1. Proxmox Shell에서 다음의 명령어 실행

- apt-get update

- apt-get install opa-fm opa-fastfabric opa-basic-tools opa-address-resolution


2. System -> Network에서 ibp로 시작하는 항목이 있는지 확인




3. OmniPath에서 사용할 IP 셋팅

- ibp 항목을 더블클릭하면 열립니다.

- 원하시는 IP를 사용하시되, 공유기에서 서비스하는 대역은 피해야 합니다.

- MTU는 적당히... 저도 다양하게 시도중에 있습니다. Advanced를 누르면 나타납니다.

- Autostart도 켜주세요.



4. 재부팅

- 상기 항목은 클러스터를 구성할 2대의 컴퓨터 모두에서 시행해 주세요.



5. 클러스터 생성


먼저, ibp가 켜진 것을 확인합니다.

그리고 Datacenter -> Cluster로 들어가서 Create Cluster를 클릭합니다.





원하는 이름을 입력 후 Create를 눌러 종료합니다.



TASK OK가 뜨면 성공입니다.

그리고 Join Information을 클릭해서



Copy Information을 클릭합니다.

두 번째 PC로 이동하고

Datacenter -> Cluster로 들어가서Join Cluster를 클릭합니다.


Information에 붙여넣고 클러스터 서버 PC의 Password를 입력 후 Cluster Network는 아까 설정한 OmniPath로 지정하고 Join 버튼을 누릅니다.



완료 후에 permission denied가 뜹니다만, 안심하시고 새로고침을 누릅니다.

다시 로그인 후에 아래와 같이 뜨면 완성입니다.






=================================================================================================================================


상기와 같이 설정하면 이제 사용할 준비는 다 되었습니다.

그럼 이제 테스트를 진행해 보아야겠죠. 레퍼런스에서는 뭔가 다른 방법으로 테스트를 진행하고 있습니다만...

IP를 할당했잖아요. iperf3를 설치합니다.

apt-get install iperf3

그리고 아래와 같이 테스트를 진행합니다.

iperf3 -c [ip]


===============================================================


root@test2:~# iperf3 -c 10.1.1.11

Connecting to host 10.1.1.11, port 5201

[  5] local 10.1.1.12 port 54840 connected to 10.1.1.11 port 5201

[ ID] Interval           Transfer     Bitrate         Retr  Cwnd

[  5]   0.00-1.00   sec  1.52 GBytes  13.1 Gbits/sec    0   1.39 MBytes       

[  5]   1.00-2.00   sec  1.50 GBytes  12.9 Gbits/sec    0   1.39 MBytes       

[  5]   2.00-3.00   sec  1.53 GBytes  13.1 Gbits/sec    0   1.61 MBytes       

[  5]   3.00-4.00   sec  1.64 GBytes  14.1 Gbits/sec    0   1.61 MBytes       

[  5]   4.00-5.00   sec  1.70 GBytes  14.6 Gbits/sec    0   3.05 MBytes       

[  5]   5.00-6.00   sec  1.90 GBytes  16.4 Gbits/sec    0   3.05 MBytes       

[  5]   6.00-7.00   sec  1.81 GBytes  15.6 Gbits/sec    0   3.05 MBytes       

[  5]   7.00-8.00   sec  1.62 GBytes  13.9 Gbits/sec    0   3.05 MBytes       

[  5]   8.00-9.00   sec  1.80 GBytes  15.4 Gbits/sec    0   3.05 MBytes       

[  5]   9.00-10.00  sec  1.54 GBytes  13.3 Gbits/sec    0   3.05 MBytes       

- - - - - - - - - - - - - - - - - - - - - - - - -

[ ID] Interval           Transfer     Bitrate         Retr

[  5]   0.00-10.00  sec  16.6 GBytes  14.2 Gbits/sec    0             sender

[  5]   0.00-10.00  sec  16.6 GBytes  14.2 Gbits/sec                  receiver


iperf Done.


===============================================================


음------- 속도가 잘 안 나옵니다.

구글링을 합니다.


https://www.reddit.com/r/networking/comments/gd1hce/what_does_it_take_to_fill_up_100gbase/


매우 많은 전문가 분들의 절규를 헤치며 찾아낸 -P옵션...


iperf -c [ip] -P 16


===============================================================


[ ID] Interval           Transfer     Bitrate         Retr

[  5]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec    0             sender

[  5]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec                  receiver

[  7]   0.00-10.00  sec  1.22 GBytes  1.05 Gbits/sec    0             sender

[  7]   0.00-10.00  sec  1.22 GBytes  1.05 Gbits/sec                  receiver

[  9]   0.00-10.00  sec   644 MBytes   540 Mbits/sec    0             sender

[  9]   0.00-10.00  sec   642 MBytes   538 Mbits/sec                  receiver

[ 11]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec    0             sender

[ 11]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec                  receiver

[ 13]   0.00-10.00  sec   893 MBytes   749 Mbits/sec    0             sender

[ 13]   0.00-10.00  sec   891 MBytes   747 Mbits/sec                  receiver

[ 15]   0.00-10.00  sec   517 MBytes   434 Mbits/sec    0             sender

[ 15]   0.00-10.00  sec   515 MBytes   432 Mbits/sec                  receiver

[ 17]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 17]   0.00-10.00  sec  1.26 GBytes  1.08 Gbits/sec                  receiver

[ 19]   0.00-10.00  sec  1.04 GBytes   897 Mbits/sec    0             sender

[ 19]   0.00-10.00  sec  1.04 GBytes   895 Mbits/sec                  receiver

[ 21]   0.00-10.00  sec   915 MBytes   768 Mbits/sec    0             sender

[ 21]   0.00-10.00  sec   912 MBytes   765 Mbits/sec                  receiver

[ 23]   0.00-10.00  sec   530 MBytes   445 Mbits/sec    0             sender

[ 23]   0.00-10.00  sec   527 MBytes   442 Mbits/sec                  receiver

[ 25]   0.00-10.00  sec   629 MBytes   528 Mbits/sec    0             sender

[ 25]   0.00-10.00  sec   628 MBytes   527 Mbits/sec                  receiver

[ 27]   0.00-10.00  sec   570 MBytes   478 Mbits/sec    0             sender

[ 27]   0.00-10.00  sec   567 MBytes   476 Mbits/sec                  receiver

[ 29]   0.00-10.00  sec   950 MBytes   797 Mbits/sec    0             sender

[ 29]   0.00-10.00  sec   948 MBytes   795 Mbits/sec                  receiver

[ 31]   0.00-10.00  sec   702 MBytes   589 Mbits/sec    0             sender

[ 31]   0.00-10.00  sec   699 MBytes   586 Mbits/sec                  receiver

[ 33]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec    0             sender

[ 33]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec                  receiver

[ 35]   0.00-10.00  sec   871 MBytes   730 Mbits/sec    0             sender

[ 35]   0.00-10.00  sec   867 MBytes   728 Mbits/sec                  receiver

[SUM]   0.00-10.00  sec  16.9 GBytes  14.5 Gbits/sec    0             sender

[SUM]   0.00-10.00  sec  16.9 GBytes  14.5 Gbits/sec                  receiver


iperf Done.


===============================================================


으음, 이것도 아닙니다.

아까 디폴트 옵션으로 넘어간 클러스터 마이그레이션 옵션도 만져봅니다.





insecure로 하려면 

nano /etc/pve/datacenter.cfg

를 터미널에 쳐서 수동으로 변경해 주어야 합니다.


===============================================================


[ ID] Interval           Transfer     Bitrate         Retr

[  5]   0.00-10.00  sec  1.28 GBytes  1.10 Gbits/sec    0             sender

[  5]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[  7]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[  7]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[  9]   0.00-10.00  sec   701 MBytes   588 Mbits/sec    0             sender

[  9]   0.00-10.00  sec   697 MBytes   585 Mbits/sec                  receiver

[ 11]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 11]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 13]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 13]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 15]   0.00-10.00  sec   575 MBytes   483 Mbits/sec    0             sender

[ 15]   0.00-10.00  sec   572 MBytes   480 Mbits/sec                  receiver

[ 17]   0.00-10.00  sec   634 MBytes   532 Mbits/sec    0             sender

[ 17]   0.00-10.00  sec   630 MBytes   528 Mbits/sec                  receiver

[ 19]   0.00-10.00  sec   732 MBytes   614 Mbits/sec    0             sender

[ 19]   0.00-10.00  sec   729 MBytes   611 Mbits/sec                  receiver

[ 21]   0.00-10.00  sec   676 MBytes   567 Mbits/sec    0             sender

[ 21]   0.00-10.00  sec   672 MBytes   564 Mbits/sec                  receiver

[ 23]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 23]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 25]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 25]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 27]   0.00-10.00  sec   609 MBytes   511 Mbits/sec    0             sender

[ 27]   0.00-10.00  sec   605 MBytes   508 Mbits/sec                  receiver

[ 29]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 29]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 31]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 31]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 33]   0.00-10.00  sec   538 MBytes   451 Mbits/sec    0             sender

[ 33]   0.00-10.00  sec   535 MBytes   449 Mbits/sec                  receiver

[ 35]   0.00-10.00  sec   769 MBytes   645 Mbits/sec    0             sender

[ 35]   0.00-10.00  sec   766 MBytes   642 Mbits/sec                  receiver

[SUM]   0.00-10.00  sec  15.3 GBytes  13.1 Gbits/sec    0             sender

[SUM]   0.00-10.00  sec  15.2 GBytes  13.1 Gbits/sec                  receiver


iperf Done.


===============================================================


음, 역시 아닙니다.


...어쩌죠 ㅠㅠ

dateno1 03-19
저넘을 아직 쓸 수 있는 방법이 있다는걸 생각도 못했네요

역시 안 되는 하드웨어가 거의 없는 커널이네요
     
sisc08 03-19
다행히 작동시키는 데 까지는 성공하였습니다.
조언을...부탁드립니다 ㅠㅠ
     
SiCMOS 03-25
SLES/RHEL용 드라이버는 아직 나옵니다 ㅎ
SiCMOS 03-25
OPA 사업부가 CORNELIS로 분사한 이후 모든 소프트웨어는 코넬리스에서 다운로드 가능합니다만 여기에 윈도우 드라이버는 없네요.
데비안/우분투용으로 나오는 정식 드라이버는 없습니다. SLES/RHEL 기반 커널만 드라이버가 지원됩니다.

그리고... RDMA 전용 어댑터이고 - IP는 IPoIB 모드로만 사용이 가능한 하드웨어이기 때문에 모든 네트워크 스택은 CPU가 처리합니다. 그래서 IP를 올려 쓰시면 느립니다.


제목Page 1/103
05-20   254   닉네임
05-15   753   윤탱이
05-09   1563   고래1006
04-24   3645   새하얀구름
04-20   3584   자근자근
04-15   4076   김승현1
04-13   3824   카이제린
04-08   4092   김승현1
04-06   2503   백마구루마
04-04   3079   데카오스
03-30   2502   고기꿉자
03-29   2487   dpp0548
03-27   2109   네에엥트트…
03-26   1884   백마구루마
03-23   2100   율은커
03-20   2037   파이트복서
03-19   1925   sisc08
03-17   2050   돈대신몸으로
03-15   1911   Miru
03-14   1793   우주소년