김강호 05-19

현행 상세 구성이 어떻게 되는데요?

cloudng 05-19

아래 드립니다.

송주환 05-19

직급과 직책이 어떻게 되시나요

cloudng 05-19

저희는 직급이 따로 있지는 않고요 연구원입니다.

송주환 05-19

대학교 연구실 연구원이 연산 클러스터에 대한 오너쉽을 기질 수 있는 환경인가요? 중고장비 쓰고, 비용 효율화하고 다 좋은데, 문제가 생겼을 때 책임을 질 수 있는 자리에 앉아 있어야 이야기가 됩니다.

cloudng 05-19

저희 연구실 내에만 활용을 하는 클러스터입니다. 저희가 미션 크리티컬하지는 않아서 좋은 방법이 있다면 참조를 하려 합니다.
대상은 저장장치가 없이 각자 노는 PXE 부팅의 compute 노드들이여서 고장나면 고치면 되는 수준이고요, 스토리지는 당연히 돈 아끼지 않고 유지하려 합니다.

박문형 05-19

지금 사용하시는 장비의 모델명과 CPU 모델명 그리고 메모리 용량 그 외 OS 종류 버젼 , 대략 사용하는 프로그램이 몇개의 코어까지  메모리는 얼마까지 지원하는지

에 대한 정보는 있어야 할 듯합니다..



https://theretroweb.com/motherboards/s/dell-poweredge-2100

링크는 팬티엄프로 프로세서를 사용하는 DELL PowerEdge 서버입니다..

DELL PowerEdge 서버는 오래되기도 했고 모델명이 수도 없이 많습니다..


옛날에 서버는 대략 3년마다 세대가 바뀌고 5년정도 되면 꽤 오래 사용한 것으로 판단 바꾸게 됩니다..

서버제조사들의 무상 AS 기간이나 유상 AS기간도 3년 5년 정도입니다..

학교에 따라서는 10년 이상 같은 서버를 굴리는 경우도 있지만 어짜피 하드디스크나 파워 등의 불량이 발생하기에 유지 보수를 계속해야 하던지

해서 바꿔 버려야 합니다.. (보통 무지 오래 사용하는 서버는 프로그램의 한계 때문에 어쩔수 없는 경우가 많습니다..)



요즘 최신 서버의 추세는 투자된 돈에 비해서 인텔보다는 AMD가 성능이 좋다고 인기 몰이중입니다..


개인적으로 보기에는 중고서버에서는 인텔 스케일러블 제온 프로세서 1/2세대가 그나마 작업용으로 사용할 수 있는 가성비 있는 서버의 가장 밑이라고 생각됩니다..

AMD EPYC은 3세대 이상되어야 성능이 인텔과 경쟁이 됩니다..

cloudng 05-19

브로드웰 하나와 캐스케이드 하나에 나머지 스카이레이크입니다

Master: Intel(R) Xeon(R) Bronze 3104 CPU x2
스토리지: 상동
Node(PXE 부팅): Intel(R) Xeon(R) Silver 4114 CPU x2 4개(각 1080ti 1개, 1080ti 2개, 3090 3개, 1080ti 1개), Intel(R) Xeon(R) CPU E5-2630 v4 x2 1개(3090 1개), Intel(R) Xeon(R) Silver 4214R x2 CPU 1개(3090 1개)입니다

김강호 05-19

각 모델별 테크니컬 시트 참조하셔서 조합하시면 될거 같습니다.

cloudng 05-19

서버 구성으로는 R440, R7920, T7910, T7920 등이 있고, Ubuntu 22.04 사용 중입니다. 스토리지는 MD1400입니다. 별도로 다른 Gigabyte 등의 서버들은 상관 없이 독립 관리 예정입니다.
당시 견적서를 찾느라 시간이 걸렸습니다.

프로그램은 거의 코어 있는 대로 다 쓸 수 있고, 메모리는 경우에 따라 768GB(실제 소요 500GB대)까지도 사용합니다.

송주환 05-19

Homogeneous한 환경을 만드는 게 우선입니다. 그리고 제가 보기에는 이 프로젝트의 목표가 명확하지 않습니다. 어떠한 비용을 지불하고서라도 클러스터의 연산 성능을 높이는 게 목적은 아닐 것입니다.
그렇다 해서 최대한 저렴하게 연산 성능을 증가시키고, 관리 편의성을 바닥에 쳐박아 버리는 것도 마찬가지로 목표는 아닐 것입니다.

결국, 주어진 비용과 여러 목표 사이에 절충점을 찾아야 하는데, 그걸 판단하기에는 데이터가 너무 적네요. 가장 근본적인 질문인, ‘어떤 문제를 해결하고자 하는가?‘ 부터 생각해봐야 할 것입니다.

cloudng 05-19

아래 박문형 선생님께서 말씀 주신 부분이 제가 찾던 답이었습니다. 감사합니다.

송주환 00:07

박문형님과 주고받은 문답을 토대로 보충을 해드리겠습니다.
먼저, 서버 유지보수 업체들에게 너무 많은 것을 기대하고 계십니다. 현재 보유하고 있는 장비를 그대로 유지하면서, '중고 파트 사용'을 전제로 유지보수 계약을 맺는 것을 목표로 하고 계신 것 같은데, 현실적으로 어렵습니다.

왜 그런지 설명해드리면, 우선 장비 댓수가 너무 적습니다. 연산 노드가 총 6대인데, 유지보수 요율 월 X만원 식으로 계약하기에는 사이즈가 너무 작습니다. 물론 대당 단가를 올릴 수는 있지만 그래도 문제는 여전합니다. 서버 장비의 모델이 파편화되어 있기 때문입니다.

워런티가 존재하지 않는 구형 서버의 파트를 교체해야 하면, 유지보수 업체들은 주로 파트룸이라는 별도 업체를 통해 파트를 공급받습니다. 그런데 파트 공급 가격이 일반적으로 저렴하지가 않습니다. 일정 이상 노후화된 장비의 경우 파트룸에서도 프리미엄 가격을 붙여서 공급하기 때문입니다. 그게 그 업체들의 비즈니스 모델입니다.
또는 유지보수 업체가 선제적으로 시스템을 재고로 보유하고 있다, 필요할 때마다 해체해서 쓰는 방법도 있겠지만, 마찬가지로 규모가 너무 작고 서버 모델이 파편화되어 있기 때문에 어렵습니다.

결국, 현 상황에서 중고 서버를 구매 또는 업그레이드 해서 사용하면서 서버 유지보수 업체의 도움을 받기는 어렵습니다.
그렇기 때문에 서버 모델을 통일하고, 일관성 있는 환경을 갖춘 뒤 직접 파트를 보유하고 관리해야 할 것입니다.
그런데, 이렇게 되면 원래 목표와는 상당히 동떨어진 결과가 되지요. 애초에 목표 설정이 잘못되었다는 뜻입니다.

+ 제가 본 대부분의 HPC 시스템은 네트워크가 성능 병목 지점이었습니다. HPC 클러스터를 이야기하면서 네트워크 구성을 알려주지 않는 것은 이상합니다. 왜 'CPU 코어가 늘어나면 그에 비례해 성능이 향상될 것이다' 라는 결론을 내렸는지에 대한 근거 자료가 필요해 보입니다.

cloudng 00:12

네트워크는 Mikrotik 이번에 구매했고, 원래 1G급 쓰다가 10G급 사용할 예정입니다.
저희가 CPU 워크로드에 매우 집중이 되어서 스토리지는 큰 특이 사항이 없는 편입니다.
지금도 쓰레드 4800%인 프로세스가 굴러가고 있습니다.

그리고 저희가 Dell 워크스테이션이 별도로 같은 건물 다른 위치에 5대가 더 있습니다.

송주환 00:15

MPI나 UCX로 노드간 통신을 수행하지 않으시는지요?

cloudng 00:16

해당 사항 없습니다. 저희 사용자 분들이 MPI를 쓸 정도로 전문적인 분들은 아니셔서요.
한 node에 SSH하셔서 Conda 사용하시는 정도입니다.

말씀하신 부분은 잘 이해했습니다. 다른 의견들 더 기다려보겠습니다.
상세한 답변 감사드립니다.

송주환 00:17

HPC 클러스터인데, 노드별로 연산을 수행한다니 재미있는 구조네요.
흥미로운 질문을 올려 주셔서 감사합니다.

cloudng 00:19

저는 원래 취미 수준인데, 전문으로 하시는 분들께 많이 배웠습니다. 감사합니다.

박문형 05-19

DELL 에서 아직 무상 AS 가 남아 있던지 유지보수 계약이 남아 있어서 DELL 쪽을 계속 사용해야 한다면 DELL 과 상담하셔야 합니다..

클러스터에서 보통 마스터 서버는 부하가 많이 몰리기에 노드 서버보다 성능 좋은 CPU를 넣는 것이 보통인데 어찌 재일 성능 낮은 CPU가 들어갔네요..

https://www.2cpu.co.kr/lec/4777

인텔 스카이레이크 제온 1세대와 2세대는 내부 코어가 달라서  인식하는 최대 메모리가 많이 차이가 납니다..

우선 가지고 있는 시스템에서 메모리와 CPU만 교체하는 방법으로 업그레이드를 한다면

 Intel(R) Xeon(R) CPU E5-2630 v4 x2 2개 (3090 1개) <=== 이 서버는 빼버리던지 다른 용도로 돌리시고

그 외 시스템들은 바이오스와 BMC등의 펌웨어를 가장 최신으로 업데이트 한후 인텔 스케일러블 2세대에서 6씨리즈나 8씨리즈로 바꾸고 (62xx /82xx)

DDR4 Reg ECC 메모리 모듈 기준 개당 64GB 이상 메모리를 구해서 메모리 슬롯의 절반의 갯수만 채우면 됩니다..

https://www.2cpu.co.kr/lec/4518

보통 메모리 콘트롤러가 CPU에 들어 있는 X86  CPU에서 CPU에서 직접 나오는 메모리 체널의 메모리 슬롯을 전부 채우면 메모리는 최상의 성능을 나타냅니다..

대략 이정도로 하면 시스템 안바꾸고 최대한의 가성비 서버를 구축 가능할 것입니다..

문제는 가격 좋은 중고 부품이여야 하는데 학교에서 중고부품 구매가 처리 가능하느냐가 문제이고

중고 부품은 불량이 꽤 있다고 봐야 하기에 부품을 구해도 정확히 테스트 하는 것이 문제이며

인텔 스케일러블 프로세서는 크기가 커서 장작하다가 보드 찍어 먹어서 고장나는 문제가 있을수 있습니다..

(서버제조사든 보드제조사든 고객의 과실에 대한 파손은 AS가 안되며 AS거부사항 입니다..)

그리고 CPU를 교환하려고 할 때 DELL 서버에서 그 CPU 모델에 맞는 전용 히트씽크나 고용량 파워 그 외 부품등을 요구할 수가 있기에

가지고 계신 DELL 시스템의 셋팅에 대한 많은 지식과 경험 같은 것이 필요합니다..

해당 DELL 시스템 모델에 대한 유지보수 메뉴얼을 구해서 완벽히 익혀야 합니다..

그리고 CPU모델을 정함에 있어서도 DELL 메뉴얼이나 스팩 자료에 나오는 호환성이 보장되는 CPU를 구해야 합니다..

DELL은 그런 전용 부품을 요구하는 경우가 적지만 HPE는 CPU 바꾸면 쿨러 늘리고 히트씽크 바꾸고 파워도 바꾸고 해야 하는 경우가 꽤 많습니다..

cloudng 05-19

현재 전략이 하드웨어 비용 줄인 후에 이 과정들을 소화해 드릴 분께 인건비에 투자하는 주의여서요, 만약 이 안으로 진행하게 된다면 선생님께도 연락을 드리겠습니다. 감사합니다.
저희 현재 통합유지보수 업체가 중고 취급을 아예 안 해서요, 지금 당장은 아니지만 장기적으로 봤을 때(1-2년 또는 그 즈음 뒤에) 계약 끝나고 이 일을 맡으실 업체를 찾으려 했습니다.

김강호 05-19

음... 원래 그런 작업은 잘 받지 않습니다.
업그레이드 작업을 받더라도 단산되지 않은 이상 어지간해서 벤더사에서 공급된 정식 파츠로 하려고 하지 중고 파츠로 하려고 하진 않습니다.

중고로 뭘 하시려면 직접 하는 걸 전제로 까셔야 합니다.

cloudng 05-19

그렇군요... 여기에 중고 취급하시는 업체가 많으셔서 가능성을 느끼긴 했습니다.

박문형 05-19

연락 주시면 이야기는 가능합니다.. (저는 소프트웨어 모르고 하드웨어 스팩이나 조금 볼 정도입니다..조립서버만 하였습니다..)

저는 옛날에 기술지원할 때  대학교에 클러스터 1U 서버 납품했었는데

맨 처음에 E5-26xx /V2 시스템으로 5대인가 10대인가 납품 했었습니다..

좀 시간이 지나서 5대 정도 더 가지고 갔죠..

잘 사용하고 2~3년쯤 지나니까 다시  1U 서버를 달라는데 그 때는 E5-26xx V1/V2 시스템이 단종이라 E5-26xx V3/V4 시스템으로 견적 내고

5대 정도 가지고 갔지요..

문제가 발생하였습니다..

OS를 CentOS 6.x 대를 사용하였는데  E5-26xx V3/V4 시스템에서 에러가 난다는 것이였습니다..

클러스터니까 OS는 통일해야 하고 문제에 대한 원인은 찾아야 하고

제조사에 문의해서 답변을 받은 것은 E5-26xx V3/V4 시스템에서는  CentOS 6.x 대를 설치하면 설치시 에러가 나타나고 (로그 뒤지면 나오게 되고)

재대로 사용도 못하며 CentOS 7.x 대를 사용하라는 것이였습니다..

그 때 테스트 된 것이 CentOS 7.2 인가 그랬었고 고객에게 통보하고 결과를 지켜 보았습니다..

결국은 OS를 다 갈아 엎었는데 그 클러스터에는 상용 라이브러리 같은 것이 있었는지 그것도 돈 들여서 다 갈아 엎었다고 합니다..

결론은 CPU가 세대가 바뀌면 지원하는(호환에 문제 없는) OS는 많이 바뀔수 있다는 것입니다..

머 그래서 V1/V2 시스템이 15대 정도 V3/V4 시스템이 15대 정도로 최종 사용되었고 전체 구축되는데에는 5년 이상 걸린 듯합니다..

https://www.supermicro.com/en/support/faqs/os

OS호환성 자료는 저는 슈퍼마이크로것을 재일로 칩니다..

cloudng 05-19

네, 감사합니다, 선생님. 잘 참고하겠습니다.

박문형 00:48

방향이 다른 것이지만 Mikrotik 을 구매하셨다면 어떤 모델을 구입하셨고 어떤 이유로 Mikrotik 을 선택하셨나요??

DELL 시스템이 잔뜩 있는 곳이면 DELL 스위치허브가 같이 딸려 들어가는게 정상적인데요..