°¡»óÈ­ + ³×Æ®¿öÅ© °ü·Ã ¹®Àǵ帳´Ï´Ù

   Á¶È¸ 3952   Ãßõ 0    

현재 Proxmox 가상화 사용해서, 여러 VM을 돌리고 있습니다.


Proxmox 노드는 총 8대, 그 위에 DB를 돌리기도하고 웹을 돌리기도 합니다.


각 노드마다 ZFS를 연결해서 사용하고 있는데 몇몇 문제가 많더군요.




ZFS 사양은 NVMe(ZLOG, L2ARC) + SSD(L2ARC) + HDD(RAIDZ1 == RAID5)로 연결해서 사용하고 있는데...


1. 전체 DB를 colscan하거나 하면, 결국 속도는 HDD에 Bounce됨. --> 각 노드간 최대 Bounce되는 속도가 차이남.


2. 최종적으로는 모든 Data가 HDD에 적히게 되는데... HDD에서 Read / Write가 Mixed되면서 속도가 너무 느림. (각 노드마다 hdd를 많이 붙여야.. Bounce 되는 성능을 높일 수 있음)


3. 노드의 사양(HDD 베이가 몇개인가)에 따라, 각 노드별 최대 용량이 정해져있음.



그래서, ZFS가 아닌 다른 방법을 찾고 있습니다.


1. 하나의 서버를 NAS처럼 사용하는 방식. 모든 HDD를 RAID 묶어서 Bounce되는 속도 / 용량을 올리기. (nas 는 40G, Node는 10G로 사용)

- NAS로 쓸 경우, ZFS를 통해 L2ARC, ZIL 사용 예정. 


2. Ceph 스토리지를 구축하는 방법 (모두다 10G로 연결되는 방법)


어떤 것이 좋을까요?


우문현답 감사합ㄴ디ㅏ.

¹Ú¹®Çü 2021-09
Àú´Â À߸ð¸£Áö¸¸

Ȥ½Ã NASÀåºñ°¡ ÇÊ¿äÇÑ °ÍÀÌ¸é ¾È½áº¸¼Ì´Ù¸é

https://www.truenas.com/

°ËÅäÇغ¸¼¼¿ä..
proxmox ³ëµå°¡ 8´ë¸é ¾î¸¶¾î¸¶ ÇϽðڳ׿ä.

Á¦ °æ¿ì´Â ½ºÅ丮Áö ¼­¹ö¿Í ¹é¾÷¼­¹ö´Â os´Ü¸¸ ssd ±¸¼ºÈÄ ±×³É ½ºÅ丮Áö ¼­¹ö´Â raid10, ¹é¾÷¼­¹ö´Â raid5 ·Î ¿î¿µÁß ÀÔ´Ï´Ù.

¼­ºñ½ºÇÏ´Â ¼­¹ö¸¸ hdd¸¦ zfs ·Î ±¸¼ºÇؼ­ »ç¿ëÁßÀε¥, Àú¹ø¿¡ ¹é¾÷¼Óµµ¸¦ ³ôÀÌ°íÀÚ 10g ´Þ°íµµ ÃøÁ¤ÇغÃÁö¸¸, hdd ¼Óµµ¶§¹®¿¡ ±×´Ú Å«È¿°ú¸¦ ¸øºÃ½À´Ï´Ù.

±×·±µ¥ ´ë¿ªÆøÀ» 2¹è·Î ´Ã¸®°í³ª´Ï,4~6°³ÀÇ vm ÀÌ µ¿½Ã¿¡ ¹é¾÷À» Çصµ ¹ö¹÷ÀÓÀº Á» ÁÙ¾îµç°Í °°½À´Ï´Ù.

ÄÚµùº¸¸ó´Ôµµ ÀÏ´Ü ´ë¿ªÆøÀ» Çѹø ´Ã·Áº¸½Ã¸é ¾î¶³±î¿ä
epowergate 2021-09
Ceph´Â °ü¸®ÇÒ ÀڽŠÀÖÀ»¶§¸¸ »ç¿ëÇϼ¼¿ä
sayanova 2021-09
8°³ ³ëµå Á¤µµ¸é ceph»ç¿ëÀº ÃæºÐÈ÷ °¡´ÉÇϱä ÇÕ´Ï´Ù. 10G·Î ¾÷±×·¹À̵å´Â ¹«¾ùÀ» ÅÃÇϵç Çʼö·Î º¸ÀÌ°í¿ä. ´Ù¸¸ Àú´Â ÄÄÇ»Æà ³ëµå¿Í ½ºÅ丮Áö ³ëµå´Â ºÐ¸®ÇÏ´Â°Ô ¸Â´Ù°í º¸±â ¶§¹®¿¡ zfs¸¦ Ãßõµå¸± °Í °°½À´Ï´Ù. ¹°·Ð ceph°¡ ³ª»Ú´Ù´Â °ÍÀº ¾Æ´ÏÁö¸¸¿ä. nÀåÀÇ Çϵåµð½ºÅ© Ceph OSD¿Í 1 NVME ºí·ç½ºÅä¾î¸é ÈǸ¢ÇÑ Ceph ½Ã½ºÅÛÀÌ ´ç¿¬È÷ °¡´ÉÇÏ°ÚÁö¸¸, °¡»óÈ­¸¦ À§ÇÑ ÄÄÇ»Æà ¸®¼Ò½º¸¦ ¸¹ÀÌ »¯Áö´Â ¾ÊÀ»±î ¿ì·Áµµ µË´Ï´Ù. ZFS ¼Ö·ç¼ÇÀº À§¿¡¼­ ÃßõÇØÁֽŠTruenas¸¦ »ç¿ëÇÏ½Ã¸é µÉ °Í °°½À´Ï´Ù.

±×·±µ¥ ÇöÀç »óŸ¦ º¸¸é °¢ ³ëµåº°·Î zfs¸¦ ±¸ÃàÇϼ̴ٰí Çϼ̴µ¥, raidz¸¦ ÇÏ¸é ·£´ý io¼öÄ¡°¡ Çϵå 1°³ºÐ·®¹Û¿¡ ³ª¿ÀÁö ¾Ê´Â ±¸Á¶ÀÔ´Ï´Ù. ÀÌ°Ç L2ARC¿Í SLOG¸¦ È°¿ëÇÑ´Ù Çصµ Å©°Ô ´Ù¸£Áö ¾ÊÀ»°Ì´Ï´Ù. °á±¹ ¸ÞÀÎ ½ºÅ丮Áö´Â raidz°í, ÀÌ´Â ¼øÂ÷¼Óµµ°¡ Àß ³ª¿À±â À§ÇÑ ±¸¼ºÀ̱⠶§¹®¿¡ °¡»ó¸Ó½ÅÀ» À§ÇÑ ºí·Ï½ºÅ丮Áö¸¦ À§Çؼ­´Â Ãßõµå¸®Áö ¾Ê½À´Ï´Ù. zfs¿¡¼­ °¡»ó¸Ó½ÅÀ» À§ÇÑ ºí·Ï½ºÅ丮Áö¸¦ À§Çؼ­´Â striped mirrorÀÇ È°¿ëÀÌ [ÇʼöÀû]ÀÔ´Ï´Ù. ´Ù¸¸ ÀÌ °æ¿ì Áß¾ÓÁýÀûÀûÀÎ ½Ã½ºÅÛÀ» ±¸ÃàÇÏ´Â°Ô ´ç¿¬È÷ ¼º´ÉÀÌ Àß ³ª¿À°ÚÁö¿ä. Çϵ尡 ÃÑ ¸îÀåÀÎÁö´Â ¸ð¸£°ÚÁö¸¸ ´ë·« ³ëµå´ç 5ÀåÀ̶ó°í °¡Á¤½Ã, ÃÑ 40ÀåÀÇ µð½ºÅ©¸¦ ÇϳªÀÇ zfs ½Ã½ºÅÛ¿¡¼­ striped mirror·Î ±¸¼ºÇϸé Àб⿡¼­´Â Çϵå 40ÀåºÐÀÇ ·£´ý Àб⠼º´É, ¾²±â¿¡¼­´Â 20Àå ºÐÀÇ ·£´ý ¾²±â ¼º´ÉÀÌ È°¿ë °¡´ÉÇϰڳ׿ä.

 L2ARC´Â ÃæºÐÇÑ ¾çÀÇ È°¼ºµ¥ÀÌÅÍ°¡ ÀÖÁö ¾ÊÀ¸¸é Å«Àǹ̰¡ ¾ø½À´Ï´Ù. ±×¸®°í ±×°Ô ARC, Áï ·¥ÀÏ °æ¿ì ´õ ³´½À´Ï´Ù. 32GÁ¤µµÀÇ ARC¸¦ °¡Áø »óÅ¿¡¼­ L2ARC¸¦ ¸¸µå¼Ì´Ù¸é, L2ARC ÆäÀÌ¡À» À§ÇÑ ·¥ ¿ë·®¸¸ Àâ¾Æ¸ÔÀ» »ÓÀÌ°í ½ÇÁúÀûÀÎ È°¿ëÀÌ µÇÁö ¾ÊÀ¸½Ç°Ì´Ï´Ù. Àú°°À¸¸é ÀÌÁ¤µµ ±Ô¸ð¿¡¼± ZFS ½Ã½ºÅÛÀÌ ·¥ 256±â°¡¸¦ ³ÑÁö ¾Ê´Â´Ù¸é L2ARCÀÇ »ç¿ëÀ» °í·ÁÇÏÁö ¾ÊÀ» °Í °°½À´Ï´Ù. ¸¸¾à ±¸ÃàÇÏ½Å´Ù¸é ·¥ ¿ë·®ÀÇ 4~8¹è Á¤µµÀÇ ¿ë·®¸¸ °¡Áö¸é µÇ°í, ±× ÀÌ»óÀº º¸Åë ARC¸¦ À§ÇÑ ¿ë·®ÀÌ Áö³ªÄ¡°Ô ÁÙ¾îµå´Â °á°ú¸¦ °¡Áö°í ¿É´Ï´Ù.

SLOG´Â ÀÌ¿ÕÀÌ¸é ¿ÉÅ×ÀαÞÀÇ NVME ȤÀº RMS-200/8G³ª NV-1616°°Àº ¹èÅ͸® ¹é¾÷ RAMµå¶óÀ̺ê NVME(º¸Åë À̺£ÀÌ¿¡¼­ 200´Þ·¯ ³»·Î ±¸ÇÒ ¼ö ÀÖÀ½)¸¦ Ãßõµå¸³´Ï´Ù. Xeon Scalable ÀÌ»óÀÇ ½Ã½ºÅÛÀ̶ó¸é NVDIMMµµ Àְڳ׿ä. SLOG 8ÀåÀ» ³ª´²¼­ º¸À¯ÇÏ´Â °Íº¸´Ù, SLOG¿¡ Áß¿äÇÑ ·£´ý¾²±â ´É·Â°ú ÀúÁö¿¬À» µ¿½Ã¿¡ °®Ãá µð½ºÅ© Çϳª¸¦ È®½ÇÈ÷ º¸À¯ÇÏ´Â °ÍÀÌ ÁÁ½À´Ï´Ù. ¿ë·®Àº Å©°Ô Áß¿äÇÏÁö ¾Ê½À´Ï´Ù. SLOG´Â ¾îÂ÷ÇÇ 5ÃÊ°£ÀÇ ±â·Ï½Ã°£À» °®Ãß¸é µÇ±â ¶§¹®¿¡(À̰͵µ ³»ºÎ ¿É¼ÇÀ» ÅëÇØ ¿ë·®ÀÌ ºÎÁ·ÇÒ °æ¿ì 1ÃÊ µîÀ¸·Î Á¶ÀýÇÏ½Ç ¼ö ÀÖ½À´Ï´Ù. ¿ë·®ÀÌ Å« SLOGÀÇ °æ¿ì ´õ ³ôÀº ¼öÄ¡¸¦ ¼³Á¤ÇÑ´Ù¸é ¾²±â ÆÛÆ÷¸Õ½º°¡ ¿Ã¶ó°¥ °Ì´Ï´Ù), ¸¸¾à 10G LACPÀÇ °æ¿ì 2GB/s*5s=¾à 10±â°¡ Á¤µµÀÇ ¿ë·®¸¸ ÇÊ¿äÇϱ⠶§¹®ÀÔ´Ï´Ù. ¿ä»÷ SLOG°¡ ±úÁ®µµ Ç® Àüü°¡ Áװųª ÇÏÁö´Â ¾ÊÀ¸´Ï, SLOG´Â ¹Ì·¯¸µÇÏ½Ç ÇÊ¿ä°¡ ¾ø½À´Ï´Ù. Ç® ´ç ´Ü 1°³¸¸ °¡Áö°í ÀÖÀ¸½Ã¸é µË´Ï´Ù.

Á¾ÇÕÀûÀ¸·Î, Á¦ »ý°¢À» ¸»¾¸µå¸®°Ú½À´Ï´Ù. ÇöÀç °¡Áö°í ÀÖ´Â ½ºÅ丮Áö ÀÚ¿øÀÌ ³ëµåº° Çϵå nÀå, NVME L2ARC ¹× SLOG¶ó°í °¡Á¤½Ã, 8°³ÀÇ ³ëµå¿¡ ÀÖ´Â L2ARC¿ë NVME·Î ´ë½Å Proxmox¸¦ À§ÇÑ block storage¿ë zfsÇ®À» ¸¸µé°í(NVME´Â ºí·Ï½ºÅ丮Áö¸¦ À§ÇÑ ÃæºÐÇÑ ·£´ýIO¸¦ °¡Áö°í Àֱ⠶§¹®¿¡ striped mirror¸¦ ±»ÀÌ ÇÏ½Ç ÇÊ¿ä´Â ¾øÀ» °Í °°½À´Ï´Ù.), ÇÏµå ¿ª½Ã ÀüºÎ ¸ð¾Æ x* 8disk raidz2ÀÇ Ç®(raid60À» »ý°¢Çϸé ÆíÇÏ½Ç °Ì´Ï´Ù)¸¦ ¸¸µå½Ã´Â°Ô ÁÁÀº °Í °°½À´Ï´Ù. ÀÌ·¸°Ô º°µµÀÇ Ç® 2°³¸¦ È°¿ëÇÏ½Ç °æ¿ì VM¿¡¼­ OS¿µ¿ªÀº NVME Ç®¿¡¼­ ISCSI·Î Á¦°øÀ» ÇÏ°í, °¢Á¾ °øÀ¯ µ¥ÀÌÅ͸¦ Çϵåµð½ºÅ© Ç®¿¡¼­ SMBµîÀ¸·Î »Ñ¸± ¼ö ÀÖÀ» °Í °°½À´Ï´Ù. È°¿ë¹æ¾È¿¡ µû¶ó¼± Çϵåµð½ºÅ©ÀÇ striped mirror·Î db µ¥ÀÌÅͺ£À̽ºÀÇ ±¸ÃàÀ» µû·Î ÇÏ´Â ¹æ¹ýµµ ÀÖÀ» °Í °°°í¿ä. TrueNAS¿¡¼­´Â Jail, ȤÀº Container(Debian ±â¹Ý SCLAE)À» ÅëÇØ ÀÚü DB¼­¹ö¸¦ ±¸ÃàÇÏ½Ç ¼öµµ ÀÖ½À´Ï´Ù. ±×¸®°í DBÀÇ °æ¿ì¿¡¼­´Â º¸Åë striped mirror¸¦ °®Ãß½Ã´Â°Ô ÁÁ½À´Ï´Ù. ÀÌ °æ¿ì PoolÀÌ 2°³°¡ µÇ¹Ç·Î SLOG´Â 2ÀåÀÌ ÇÊ¿äÇÒ °Í °°½À´Ï´Ù.

³×Æ®¿öÅ·Àº ¾îÂ÷ÇÇ ¾÷µ¥ÀÌÆ®¸¦ ¸¶À½¸ÔÀ¸¼Ì´Ù¸é zfs¿¡¼­ÀÇ ¾÷·Îµå 40G*2 LACP, ±×¸®°í Proxmox ³ëµå·ÎÀÇ 10G*2 LACP¸¦ Ãßõµå¸³´Ï´Ù. ¾îÂ÷ÇÇ Ceph¸¦ ½áµµ ZFS¸¦ ½áµµ ³×Æ®¿öÅ©°¡ º´¸ñÀÌ µÉ °Í °°½À´Ï´Ù. ÀÌÁ¤µµ¸é Mikrorik CRS328-24S+-4Q°°Àº ½ºÀ§Ä¡·Î Ä¿¹ö°¡ °¡´ÉÇÒ °Í °°³×¿ä.
     
¿Í... ½ÉµµÀÖ´Â ´äº¯ °¨»çÇÕ´Ï´Ù.

¸»¾¸ÇØÁֽŠ³»¿ë ÂÊÀ¸·Î ¸¹ÀÌ »ý°¢À» Çغ¸°Ú½À´Ï´Ù.

Âü... ÀÛÀº ¼Ò±Ô¸ð·Î ÇÒ¶§´Â 100MB 200MB°¡ Âü Å©°Ô ´À²¸Á³´Âµ¥, ÀÌÁ¦´Â 100GB, 200GB... ´õ ³ª¾Æ°¡¼­´Â TB±îÁö ½±°Ô½±°Ô ¸»ÀÌ ³ª¿À´Â°É º¸´Ï... ½Å±âÇÏ³×¿ä ¤¾¤¾

¸»¾¸ÇØÁֽŠ³»¿ë ¸¶À½¿¡ »õ±â°í, ±¸ÇöÇغ¸°Ú½À´Ï´Ù.

°¨»çÇÕ´Ï´Ù.


Á¦¸ñPage 6406/102
°Ô½Ã¹°ÀÌ ¾ø½À´Ï´Ù.