dateno1 06-01

버전이 바뀌었다고 라이센스 구조자체가 바뀌는것자첸 가끔 보이지만, TrueNAS까지 그러는군요

Inbusiness 06-01

TureNAS Scale 출시 후 SCST에서 iSER 지원 자체는 공식 지원이었기에 iSER Target이 자동으로 활성화된 상태였는데, TrueNAS Enterprise 공식 지원으로 표기되면서 기본 활성화 여부를 iSCSI 설정에서 체크박스로 바꾸었더군요.
ESOS 테스트 시 필요한 boot config 는 모두 확인하였기에 어디를 고치면 될지는 알고 있지만 업데이트 시 초기화 되는일이 다반사이기에 깔끔하게 손 털기로 하였습니다…ㅎ

maronet 06-01

새 버전에 엔터프라이즈 라이센스라는 항목은 봤는데, 이전에는 무료였었군요 ;;
RDMA는 이래저래 개인이 한번 써보기 어려운 것 같습니다.

Inbusiness 06-01

이게 단순하게 target 설정뿐만 아니라 ESXi, Hyper-V initiator 설정도 필요하고, 특히 switch 설정이 제일 중요한데 ixSystem에서 너무 까탈스럽게 구는 것 같더군요.

문제는 쓸만한 경량 target system이 무료로 구현된게 ESOS 한가지인데 동일한 SCST 기반에 NVMe Target도 지원하고 있어 한가지만 해결되면 넘어갈까 하고 있습니다.

maronet 06-02

구글에서 ESOS 검색해보니 제일 위에 inbusiness님께서 올리신 글이 제일 위에 턱!
덕분에 재미난거 알게된 것 같습니다.

Inbusiness 06-03

전 아무것도 아는게 없 ...... 쿨럭;

epowergate 06-04

이게 iXSystem이 까탈 스러운게 아니구요
SCST가 그지 같아서 그런 겁니다.
코드가 너무 불안해서 기술 지원하는데 시간/비용이 많이 소요됩니다.
사용자 환경도 너무 다양하고, 기업 사용자가 사용하다 장애가 발생하기라도 하면 기업용SW 기업 입장에서 피해가 너무 큽니다.

개인적인 생각은 아예 처음부터 SRP/iSER등을 지원하지 않는게 좋았을텐데 어찌어찌하여 기능에 추가된게 잘못이 아닌가 합니다.

참고로 SRP/iSER는 SCST에서 개발한게 아니고 오래전 Mellanox의 코드를 기반으로 합니다.
그런데 이미 15년 이상 전에 Mellanox 공식적으로 SRP 지원을 중단했고, iSER를 개발/공개했던 NetApp 개발자들은 공식적으로 지원을 해본적이 없기 때문에 SCST의 iSER 지원은 이미 공중에 떠있는 기술입니다.

위 글에 "SCST에서 iSER 지원 자체는 공식 지원이었기에 ..."는 틀린 정보입니다.
SCST는 TrueNAS를 공식 지원한 적이 없습니다.  TrueNAS뿐 아니라 어떠한 스토리지도 공식 지원하지 않습니다.

Inbusiness 06-04

관점의 차이인 것 같습니다.
SCST release note에 iSER가 추가되었다고 기재되어 있기에 그렇게 적었습니다...ㅎㅎ

SRP 자체는 공식적으로 표준화 된적이 없었습니다.
굉장히 원시적인 프로토콜(해외 반응입니다)이며 실제 접속과 전송부분만 구현되어 있습니다.
대표적인게 SRP Initiator가 설치된 ESXi host reboot이 진행되어도 SRP Target쪽에서는 그걸 모릅니다.
그래서 유지보수를 위해 모든 ESXi 시스템 종료 후 다시 시작할 때 VM auto-start가 제대로 동작하지 않았었습니다.
* ESXi host에서 SRP Target 재접속 시 데이터스토어를 인식하는데 시간이 오래 걸려서 발생하는 문제입니다.

SRP는 InfiniHost(ConnectX-1 이전 모델) 제품을 이용하여 VMware Infrastruture 3 시절부터 사용했었는데 정말 RDMA 성능이 어떤 것인지 잘 느꼈고 vSphere 6.5 시절까지 잘 사용하였습니다.

하지만 VMware에서 driver digital sign 방식을 바꾸면서 Infiniband 지원을 제거한 뒤 대안으로 집어넣은 것이 iSER입니다.

SRP와 달리 iSER는 공식적으로 표준화가 이루어졌고 (솔직히 iSCSI와 전부 동일하고 데이터 전송만 RDMA를 사용합니다)
기존의 SRP Target의 불편함이 모두 해결되었고 40Gb급 TCP/IP iSCSI Target 연결 시 4개의 세션(왜냐하면 10Gb * 4 lane 구성이기에 그렇습니다)을 연결 후 ESXi host쪽에서 Round Robin으로 튜닝해줘야 40Gb/s급 성능이 나오지만 iSER의 경우 1개의 세션만으로 40Gb/s 급 성능과 Latency, 프로세서 점유율면에서 월등히 나은 성능을 보여주기에 storage path 관리 또한 매우 편합니다.

개인적으로 SCST는 매우 오래된 제품이고 좀 답답한 면이 없지않아 있지만 현 시점에서 무료 이용이 가능한 RDMA 지원 Target이기에 테스트 랩 용도로 사용하고 있습니다.

그리고 SCST에서 TrueNAS를 지원하는게 아니라 TrueNAS Core에서 TrueNAS Scale로 넘어가면서 Target이 바뀌어서 SCST를 사용합니다.
선택은 ixSystem에서 한 것입니다.

가장 간단하게 확인이 가능한 부분이 Target QD가 바뀌었습니다.
TrueNAS Core (FreeBSD iSCSI Target default QD=128) -> TrueNAS Scale (SCST Target default QD=113)

epowergate 06-05

SRP는 SCSI => SCSI3 => FC Protocol을 VAPI와 나중에 CM으로 구현한 기술입니다.
Mellanox에서 만든 표준 맞습니다.  처음에 SNIA INCITS에서 발표되었고 나중에 OpenConnect와 SNIA에서 2번인가 revise되었습니다.

Initiator가 close되어도 Target에서 모르는 건 당연합니다.
이건 FC도 마찬가지 입니다.
다만 구현할때 번더들이 표준 프로토콜은 확장하면서 제품 수준에서 알게 할 뿐입니다.

SRP 좋습니다. 
간단하고, 빠르고, 관리하기 쉽고.
다만 Enterprise 환경에서 사용은 어렵습니다.
당장 Protocol 상에 통신 포함한 다양한 환경에서의 error check기능이 없거든요.

TrueNAS Core는 BSD기반이었기 때문에 SCST 등의 사용이 불가능 했구요
Scale은 Linux 기반이기 때문에 SCST등의 적용이 가능했습니다.
물론 iXSystem에서 결정한 내용인데, ... 개인적으로 (그리고 몇몇 내부 개발자들도) 큰 실수 했다라고 생각합니다.

사담이지만 (안물안궁)
개인적으로 SRP Version 0.1 개발팀에 있었습니다.
그래서 SRP는 좀 압니다.
개인적으로 몇몇 스토리지 업체들이 SCST를 사용하려할때 지원/포팅을 몇년 해본적이 있습니다.
그래서 SCST는 좀 압니다.
개인적으로 ixSystems의 ZFS 개발팀 (FreeBSD Kernel 팀)과 몇 년정도 함께 일해 본 경험이 있습니다.
그래서 ixSystem에 대해서 좀 압니다.
TrueNAS는 써본적이 없습니다.
ㄱ래서 TrueNAS는 잘 모릅니다.

Inbusiness 06-07

그러셨군요...하하
말씀하신대로 SRP, iSER 모두 Mellanox 주도하에 개발이 된게 맞습니다.

SRP도 조금씩 버전이 올라가면서 살짝(!) ... 아주 살짝(!) 에러 체크와 관련된 부분이 추가되긴 했습니다만 많이 불편한 건 사실입니다.
* 하도 오래전 일인지라 SAN Disk에 있던 러시아 친구가 release note를 올렸었던 걸로 기억하고 있습니다.

SRP는 Infiniband상에서 구동되기에 SRP 프로토콜 자체는 간단하게 구현하고 관련된 환경 설정과 오류 관리는 Infiniband Subnet Manager에서 모든 걸 제어하는 방향으로 컨셉이 잡혀있습니다.

이 부분은 제가 아직도 사골국(?)을 끓이고 있는 Mellanox SX6036 계열 Infiniband 스위치에 탑재된 Subnet Manager 옵션을 뒤져보면 메뉴얼에 없는 옵션이 굉장히 많이 탑재되어 있습니다. Ethernet PFC처럼 SRP 프로토콜 우선 순위까지 지정이 가능하며 디버깅을 위한 기타 기능들이 충실히 들어있습니다.

말씀하신대로 SRP 프로토콜은 굉장히 심플하게 구현된 고성능 스토리지용 프로토콜이지만 시대의 흐름에 따라 Oracle ExaScale을 마지막으로 안타깝게 사장된 녀석 같아 저도 매우 아쉬움을 느끼고 있습니다.

마지막으로 사족을 달자면 iSCSI, FC Target의 경우 Host Initiator가 reboot되면 Target쪽에서는 Initiator가 사라진 걸 인지합니다만 SRP는 그러지 않기에 Hypervisor host reboot 상황 시 위에 기재한 애매한 상황이 발생합니다...^^

이 또한 프로토콜 표준안 자체만 생각하면 Target쪽에서 인식 못한다면 말씀이 맞습니다.
그저 구현 후 운영하는 측면에서 접근했던 걸 말씀드렸던 부분입니다.

귀한 시간을 내어 소중한 의견을 주셔서 정말 감사합니다.

maronet 06-05

두분의 대화를 읽을 수 있다는 것만으로도 감사합니다!

Inbusiness 06-07

심도있는 세미나 글도 아닌데 그렇게 말씀하여 주셔서 감사합니다.