[VMWare] vSAN의 표준적인 형태에대한 정보를 아시는분 계신가요?

IPA1000   
   조회 1256   추천 0    

 Nested 환경에서 이리저리 만져보다가 물리환경에서 vSAN을 구성하여 사용하고싶어져서

서버를 한대 더 만드는중인데 문득 궁금한점이 들었습니다.

캐시티어로는 인텔 옵테인 SSD를 사용할 예정인데 


1. 일반적으로 All Flash 환경에서 캐시 1GB당 캐퍼시티를 얼마정도로 잡는지가 궁금하네요..

2. 또한 물리호스트 1대당 캐퍼시티티어용 스토리지가 몇장정도 들어가는게 보통인지도 궁금합니다.

3. 그리고 캐시티어에 들어갈 SSD의 모델이나 용량은 무조건 동일해야하는지도 궁금합니다.

4. 마찬가지로 캐퍼시티티어에 들어갈 스토리지의 모델과 용량또한 무조건 동일해야하는지 궁금합니다.

5. 마지막질문은 좀 황당할 수 있는데 램이나 옵테인메모리를 캐시티어에 할당할 수 있는 기능이 있는지 궁금합니다.



epowergate 08-24
vSAN을 사용자들을 보면 IT 분야에서 가장 장애에 너그러운 사람들이 아닌가 싶습니다.
그렇게 문제가 많고 대형장애가 발생해도 꿋꿋하게 사용하는거 보면 대단하다는 느낌입니다.
VMWARE 기술지원팀/협력사들의 뱃집도 좋은것 같습니다.  어쩌라구!!!

다른건 메뉴얼 찾아보시구요, 무조건 지켜야 하는 내용은
1. 무조건 VMWARE HCL에 있는 장비, 파트만 사용해야 합니다
2. 사용하는 모든 파트는 무조건 동일해야 합니다.  SSD의 경우 F/W 버전까지 맞추셔야 합니다
    Network NIC도 동일하게 맞추시고, 메모리용량도 맞추세요
3. 매뉴얼에 없지만 이런 것도 되겠지 하는건 무조건 하지마세요
     
IPA1000 08-24
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 아 ㅋㅋㅋㅋㅋㅋㅋㅋ 답변에서 극도의 분노가 느껴져서 너무 웃었네요

알겠습니다 반드시 HCL 보증장비들만을 사용하여 모든 파츠를 NIC나 F/W버전까지 엄격하게 통일하여 구성하도록 하겠습니다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ


추가적으로 한가지만 더 여쭙고싶은데 보통 All Flash환경에서 캐시/캐퍼시티의 비율은 어떻게되나요? 아니면 하이브리드 환경에서의 비율이라도 궁금합니다!
          
epowergate 08-24
좀 짜증나는 자료이긴 한데 기본 3개 이상이라고 되어 있습니다.
국내 기술지원 협력사의 추천은 7+1로 알고 있습니다. (오래전에 그랬습니다)
https://www.vmware.com/resources/compatibility/pdf/vi_vsan_profile.pdf
               
IPA1000 08-24
정말 감사합니다! 좋은 하루 되세요 ^^
               
maronet 08-25
첨언하자면 FTT 3으로 운영할 때가 7(최소)+1(권장)이 권장사항입니다.
스토리지 운영정책 따라 정하면 됩니다.
          
maronet 08-25
궁금해하시는 내용은 메뉴얼에 다 설명되어 있습니다.
https://storagehub.vmware.com/
https://docs.vmware.com/kr/VMware-vSAN/index.html
          
김골뱅 09-11
조금 첨언하자면, vSAN 구성시 HCL 이 연관되는 파트는, I/O controller / SSD / HDD 입니다. 이중 I/O Controller 에 대한 조건이 가장 엄격하고, SSD 의 F/W 의 경우는 Miinimum 버전이상 이면 됩니다. 단 NVMe 는 명시되어있는 F/W버전과 일치해야 합니다.

NIC 까지는 강제하지 않습니다.
김골뱅 09-11
1. vSAN 6.5 이전버전까지는 hybrid / all flash 모두 capacity 용량의 10% 가 권장사항입니다. 여기서 capacity 용량은 FTT 가 적용되기 이전의 VMDK 의 용량 합산을 의미합니다. 즉 1TB x 7개 니까 권장은 cache size 권장은 10% 인 700GB 로 계산. 이런식이 아닙니다. VMDK 용량의 합산이 3TB 면 (FTT 적용 이전 즉 FTT=0) 300GB 가 권장입니다.

6.5 이후의 AF 구성에서는 read/write 또는 io type 별로 권장이 좀 다른데 https://blogs.vmware.com/virtualblocks/2017/01/18/designing-vsan-disk-groups-cache-ratio-revisited/ 여길 참고 하시면 됩니다.

2. 물리 호스트당 몇개를 넣을것이냐의 의사결정은 DG(Disk Group) 를 몇개로 구성하느냐에 따라 다릅니다. 보통 권장은 2DG 구성이구요, 이때에는 DG 당 Cache 디스크는 1개, Capacity 디스크는 7장 까지 들어갑니다. 2DG 면 Capacity 디스크가 14개가 들어갈 수 있다라고 보시면 되구요. 기술적으로는 호스트 1대당 DG 를 5개까지 구성할 수 있습니다.

단적인 예로
1DG -  1x 1.2TB SSD cache + 6 x 2TB SSD Capacity 보다
2DG - 2x 600GB SSD cache + 6 x 2TB SSD Capacity  가 성능상으론 더 좋습니다.예를 단순하게 든것이니 참고만 하세요.

3. 동일하지 않아도 되는데 동일하게 하시는게 권장입니다. 사이즈가 다르게 들어가면 노드별로 캐시히트율이나 플러싱이 필요한 때가 각각 달라질 수 있어서 성능이 불균형하게 나올 수 있습니다.

4. 동일하지 않아도 되는데 동일하게 하시는게 관리상 편합니다. VMDK 의 사이즈나 Storage Policy 에 따라 VMDK 를 구성하는  Component 들의 숫자가 정해지는데, 이것도 다른 사이즈들을 배치하게 되면 개별 디스크의 Usage 가 좀 불균형하게 늘어날 수 있습니다.

5. 요건 안됩니다. Intel Optane SSD 자체를 캐시티어 용으로 쓸순 있지만, 말씀하신 방식은 안됩니다.
     
IPA1000 09-12
너무나도 상세한 답변에 깊은 감사를 드립니다.. 매우 큰 도움이 되었습니다.

죄송하지만 한가지 질문만 더 드려도 괜찮을까요?

현재 VCG에 올라와있는 장비들로 vSAN을 구성하는중인데 HBA에 물려있는 12G SAS SSD들이 전부 Remote상태로 잡힙니다.. 그래서 구성이 안되네요..

정확한 상태를 묘사하자면 호스트로 접속할시 normal, degraded라고 나오고 VCSA로 접속하면 Remote로 잡히는데 Mark as Local을 하면 자꾸 실패를하네요..

HBA의 두 포트중 한개만 사용을 하는중인데 이게 문제가 될 수 있는 것인지 아니면 SAS 12G가 뭔가 제대로 지원이 안된다던가 선문제라던가 그럴 수 있을까요?

ssh로도 이것저것 해봤는데 답이 나오질 않네요 ㅠㅠ 선은 분명 sff8643 to SAS인데 고견을 여쭙고싶습니다..
     
IPA1000 09-12
원인을 찾았습니다! Storage Array Type Policy가 AA로잡히는 문제였네요 ㅠㅠ SATP에 스스디들을 추가해준뒤 재부팅하니까 로컬로 제대로 인식이 되네요.. 이제 vSAN 구성하러 가봐야겠습니다 ^^
          
김골뱅 09-12
어떤 I/O Controller 를 사용하시는지 모르겠으나, Pass-through 로 잡아야 하는 컨트롤러가 있고 RAID0 로 구성해야만 하는 컨트롤러가 있으니 잘 보시구요 (VCG 에 적혀있습니다. 대체로는 Pass-through 가 Certified 되는 편입니다.) 만약 HPE 서버라면 보통 HBA Mode 로 돌리셔야 합니다.
               
IPA1000 09-13
ㅎㅎ 여건이 안돼서 동일한 IO컨트롤러를 사용하진 못했고 한쪽엔 AOC-S3008L-L8E를, 한쪽엔 LSI9361-8i를 사용했습니다. 전자는 HBA라서 그냥 고대로 붙였고 후자는 각 디스크를 JBOD로 잡아서 사용했습니다. VCG에서 어떤식으로 구성해야하는지도 찾을수 있었군요. 많이 배웁니다. 감사합니다.
                    
김골뱅 09-13
네. vSAN 의 경우 VCG 가 굉장히 엄격합니다. https://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsanio 요 항목에서 잘 찾아보셔야 합니다. 물론 운영이 아니라 랩 환경이라면 크게 신경쓰실 필요는 없겠습니다만..
                         
IPA1000 09-13
지금은 랩단계고 서비스를 준비하고있긴하지만 당연히 상용은 아니고 취미로 운영하게 될 것 같네요. FTT=1과 R5를위해 생활비를 쥐어짜내며 3번째 호스트를 준비중입니다....




제목Page 4/99
2015-12   14398   백메가
2014-05   3101169   정은준1
09-08   1115   MikroTik이진
09-06   2180   스린
09-05   1294   MikroTik이진
08-24   1257   IPA1000
08-24   1262   낄낄맨
08-16   1729   Sgtsteam
08-10   1747   방랑자7
08-09   1555   방랑자7
08-09   1858   빡시다
08-04   1536   유적발굴
08-04   1536   전진
08-03   1308   유적발굴
07-28   2041   moonsooter
07-25   1533   sdlfkjwer
07-24   1886   퓨어라이프
07-23   1568   하나님
07-14   2006   엠브리오
07-13   2477   삼선동고니
07-08   1896   우럭매운탕
07-08   1701   메가날백