안녕하세요.
레이드컨트롤러 사양 읽는 방법을 여쭤보려고 합니다.
현재 레이드카드 제품을 비교 고려하는 과정입니다.
비교하는 모델은 DELL PERC H330카드 , DELL PERC H730카드입니다. (사실 제품명은 중요한것이 아닙니다.)
홈페이지에서 찾아본 간략한 스펙은 맨 아래와 같습니다.
현재 카드자체의 가격차이도 있지만 호환되는 렉서버가 달라서 신중히 따져봐야하는 상황입니다.
제가 볼수있는 스펙상황은 버퍼크기는 330이 좋고, 최대장치수량은 730이 좋습니다.
홈페이지 상의 광고문구도 신경이 쓰입니다.
PowerEdge RAID Controller H330
? Eight internal ports
? Ideal for file, web, database and email servers
? Trusted Dell PERC reliability with minimal maintenance effort
PowerEdge RAID Controller H730
? Eight internal ports
? 72-bit DDR3 interface drives 1GB non-volatile cache memory
? Unsurpassed performance and enterprise-class reliability
제가 구입해서 사용하려고 하는 목적은 HPC계산클러스터+lustre파일시스템으로 구축하려고 합니다.
web, email 서버로 사용하는 것이 아니고 대용량의 파일을 여러 노드에서 한꺼번에 쓰는 일이 많아서,
IO에 병목을 피하기 위해서 lustre파일시스템을 설치하는데 (실제로 NAS서버에서 그런 경험을 하였습니다.)
그에 상응하지않는 RAID컨트롤러때문에 발목잡히는 일이 있지는 않을까 하는게 고민의 내용입니다.
제가 생각하는 제가 사용하는 시스템은 대역폭보다는 파일개수에 더 큰 병목을 받습니다.
현재와 같은 상황에서 레이드카드 고려시 스펙 중 어떤 부분을 중점있게 봐야하는지 조언 부탁드립니다.
혹시몰라 링크를 첨부합니다.
330
| ||||||||||||||||||||||||||||||||||
730
|
http://i.dell.com/sites/doccontent/shared-content/data-sheets/en/Documents/Dell-PowerEdge-RAID-Controller-H330.pdf
ij½¬¾ø°í Raid 0, 1, 5 Áö¿ø
12Gb/s SAS HBA
H730Àº SAS3108 ±â¹ÝÀÇ ½ÅÇü Raid Ä«µå°í¿ä (Nvcacheµµ 2Gb)
Çϵå¿þ¾î Raid Ä«µå¸¦ ¿øÇϽøé H730À¸·Î °¡¼Å¾ß Çϸç
LustreÆÄÀϽýºÅÛÀ» ¼³Ä¡ÇÒ Á¤µµÀÇ IO¿¡ º´¸ñÀ» °æÇèÇÑÀûÀÌ ¾ø¾î Á¤È®ÇÑ ¼³¸íÀº ÈûµéÁö¸¸
H730 RAID Card ¶ó¸é ÄÁÆ®·Ñ·¯ ¶§¹®¿¡ ¹ß¸ñÀâÈ÷´Â ÀÏÀº ¾øÀ»²¨ °°½À´Ï´Ù.
±×·¸´Ù¸é ¿Ø¸¸ÇÑ raid controller ´Ù ÁÁÀ»°Ì´Ï´Ù.
MDS´Â ÀÛÀº ÆÄÀϵéÀÌ ¸¹±â¶§¹®¿¡ cache°¡ Å©¸é ÁÁ¾Æº¸ÀÌÁö¸¸ lustre´Â file system ¼öÁØÀÇ mds HA¸¦ Áö¿øÇÏÁö ¾Ê±â¶§¹®¿¡ ¹«Ã´ Á¶½ÉÇØ¾ß ÇÕ´Ï´Ù. ¼³¸¶ drbd¸¦ »ç¿ëÇÏ´Â°Ç ¾Æ´Ï°ÚÁÒ???
MDS ¼¹ö¸¸ÀÌ¶óµµ LSI-Sync controller¸¦ »ç¿ëÇϽô°ÍÀ» °ËÅäÇØ º¸¼Åµµ ÁÁÀ»°Ì´Ï´Ù.
Àúµµ ¹è¿ö°©´Ï´Ù ^^;
ÁÁÀº RAIDÄÁÆ®·Ñ·¯¸¦ »ç¿ëÇؾßÇÒ ¼øÀ§°¡ MDS > OSS > Mater = Compute °¡ ¸Â½À´Ï±î?
¾÷ü¿¡ ¹®ÀÇÇϱâ Àü¿¡ Àúµµ Á» ¾Ë¾Æ¾ß ÇÒ °Í °°¾Æ¼ ¹®Àǵ帳´Ï´Ù.
°ßÀû¹®ÀÇÇÏ¿© ¹ÞÀº ¾÷ü¸¶´Ù lustre±¸¼ºÀÌ Á¶±Ý¾¿ ´Þ¶ó ¹» ¾Ë¾Æº¸·Á°í ÇÏ´õ¶óµµ
ÇöÀç ¹è°æÁö½ÄÀÌ ºÎÁ·ÇÑ »óÅ¿¡¼ ü°¨ÇÏ´Â ÁøÀÔÀ庮ÀÌ ³ô½À´Ï´Ù.(¾÷ü¸¦ ¾ÆÁ÷ Á¤ÇÏÁö¸øÇÑ »óȲ¿¡¼ ÀÚ¼¼È÷ ¹¯±âµµ Èûµë)
Á¦°¡ ÀÌÇØÇÑ ¹Ù¸¦ ºÁÁÖ¼ÌÀ¸¸é ÇÕ´Ï´Ù.
MDS : ¸ÞŸµ¥ÀÌÅͼ¹ö - ÆÄÀÏÀÇ °´Ã¼Á¤º¸¸¦ ÀúÀåÇÏ´Â ¼¹ö.
OSS : ¿ÀºêÁ§Æ®½ºÅ丮Áö¼¹ö - º¸ÅëÀÇ ½ºÅ丮ÁöÀÌÁö¸¸ IO¸¦ °üÀåÇÏ´Â CPU°¡ ÇÊ¿äÇÔ.
MDT : ¸ÞŸµ¥ÀÌÅÍŸ°Ù - ¸¶½ºÅͳëµå.
OST : ¿ÀºêÁ§Æ®½ºÅ丮ÁöŸ°Ù - ÄÄÇ»Æóëµå.
BMT 1´Þ¾¿ ÆÛÁö°Ô °É¾î¼ ¿¡·¯°¡³ªÁö ¸»°í Ç®ÆÛÆ÷¸Õ½º°¡ ³ª¾ÆÇÕ´Ï´Ù¸¸
±×°ÍÀ» ¼öÄ¡ÈÇؼ À̾߱â ÇØÁÙ¼ö ÀÖ´Â »ç¶÷Àº ±¹³» ¸î»ç¶÷ ¾ÈµË´Ï´Ù.
°³ÀÎÀûÀ¸·Î ±¹³» 1È£ Lustre Certified Engineer (2006³âÀΰ¡...) ÀÔ´Ï´Ù. Lustre´Â ¸ð¸£½Ã¸é Á¤¸» »ç¿ëÇÏ¸é ¾ÊµË´Ï´Ù. ¹Ï°í NFS·Î °¡½ÉÀÌ...
ÇöÀç óÇØÁø »óȲÀº NFS·Î º¯°æÇÒ ¼ö ¾ø´Â »óȲÀÔ´Ï´Ù.
Á¤È®È÷ Á¦°¡ »ç¿ëÇغ» °ÍÀº NAS·Î ±¸¼ºµÇ¾îÀÖ´Â RAID6½ºÅ丮Áö¸¦ 16°³ °è»ê³ëµå°¡ IOÀÛ¾÷À» Çϴ Ŭ·¯½ºÅÍÀÔ´Ï´Ù.
Á¦°¡ Lustre¸¦ °í·ÁÇÏ´Â ÀÌÀ¯´Â ÀÌÀü¿¡ HPC±¸¼º¿¡¼ NAS·Î ±¸¼ºÇغ» °á°ú Å« º´¸ñÀÌ ÀϾ½À´Ï´Ù.
Á¦°¡ º»°ÍÀº IOÆÄÀÏ°³¼ö°¡ ´Ã¾î³²¿¡ µû¶ó JFSÆÄÀϽýºÅÛÀÇ °æ¿ì ±²ÀåÈ÷ ´À·ÁÁö´Â º´¸ñÀÌ ¹ß»ýÇÕ´Ï´Ù.
(ÂüÁ¶ : https://mindplusplus.files.wordpress.com/2011/02/stepwise-threads1.png )
±×¶§ Lustre¸¦ ÀÌ¿ëÇÏ¸é ¿©·¯ ÆÄÀÏÀ» IOÇÏ´õ¶óµµ ´À·ÁÁö´Â Çö»óÀÌ ¹ß»ýÇÏÁö ¾Ê´Â´Ù°í ÆÇ´ÜÇÏ¿© ±¸¼ºÀ» ÇÏ·Á°íÇÕ´Ï´Ù.
±×·¯ÇÑ Çö»ó¸¸ ÀϾÁö¾Ê´Â´Ù¸é NFS,NAS,Lustreµî ¼¼¼¼ÇÑ ¼ÓµµÂ÷ÀÌ´Â Áß¿äÇÏÁö¾Ê½À´Ï´Ù.
½º½º·Î ±¸¼ºÇÏ´Â °ÍÀº ¾Æ´Ï±â¶§¹®¿¡ ±¸¼º»óÀÇ ¾î·Á¿òÀº Â÷Ä¡ÇÏ°í,
»ç¿ëÇÒ¶§µµ Lustre¿¡ ´ëÇؼ ¸ð¸£¸é »ç¿ëÇϱ⠾î·Á¿î ºÎºÐÀÌ »ý±â´Â °ÍÀ̸é,
¹è¿ö¼¶óµµ ÇؾßÇÏ´Â »óȲÀÔ´Ï´Ù. (°è¾àÇϴ ȸ»çÀÇ ´ã´ç¿£Áö´Ï¾îºÐ°ú 2cpu¿Í ±¸±ÛÀÇ ÈûÀ¸·Î)
°á·ÐÀûÀ¸·Î RaidÄÁÆ®·Ñ·¯ÀÇ Áß¿äµµ´Â MDS, OSS¿¡ ÀÖ´Ù´Â Á¡À» ¾Ë°ÔµÇ¾î °¨»çµå¸³´Ï´Ù.
¹Ú¹®Çü´Ô ¸»´ë·Î ±¸¼ºÀÌ ³¡³´ÙÀ½¿¡ ¾Ë ¼ö ÀÖ´Â ÃÑüÀûÀÎ »óȲÀÌ°í,
ÇØ´ç º´¸ñÇö»óÀÌ ½ÇÁ¦ ÀϾÁö ¾î¶³Áö ¿©ºÎµµ ¸ð¸£´Â »óȲ¿¡¼ ¾È°³¼ÓÀ» ´õµëÀû°Å¸®¸é¼ °É¾î°¡´Â ½ÉÁ¤ÀÌÁö¸¸
´äº¯ °¨»çµå¸³´Ï´Ù.
IO°¡ ±æ±â¶§¹®¿¡ ÀϾ ¼öµµ ÀÖ°í RPC request°¡ ³Ê¹« ÀÚÁֿͼ ÀϾ ¼öµµ ÀÖ½À´Ï´Ù.
OSDÀÇ ¼ö·®À» ´Ã·Á¼ ÇØ°áÀÌ µÇ´Â °æ¿ì´Â IO°¡ ±æ±â ¶§¹®¿¡ ¹ß»ýÇÏ´Â º´¸ñÀ» ÇØ°áÇϴ°ű¸¿ä RPC request°¡ ¸¹¾Æ¼ ¹ß»ýÇÏ´Â ÀÌÀ¯´Â OSD¸¦ ´Ã·Á¼ ÇØ°áµÇÁö ¾Ê½À´Ï´Ù.
¼ÒÀ§ ÀÛÀº IO°¡ ¸¹¾Æ¼ ¹ß»ýÇÏ´Â °æ¿ì°¡ ÇØ°áÇϱ⠾î·Á¿î °æ¿ìÀε¥ À̶§´Â Lustreµµ º° ´Ù¸¥ ¹æ¹ýÀÌ ¾ø½À´Ï´Ù.
ÈçÈ÷ ¸»ÇÏ´Â MDS¿¡ º´¸ñÀÌ ÀÖ¾î¼ ¹ß»ýÇÏ´Â ¹®Á¦Àε¥ Lustre´Â EXT4¿Í 99.9999% µ¿ÀÏÇÑ File SystemÀ» MDS¿ë ÆÄÀϽýºÅÛÀ¸·Î »ç¿ëÇÕ´Ï´Ù. ´Ù½Ã¸»Çϸé NFS¸¦ EXT4·Î ¼³Á¤ÇÑ ½Ã½ºÅÛ¿¡¼ ÇØ°áÇÏÁö ¸øÇÏ´Â IO´Â Lustreµµ ÇØ°áÇÏÁö ¸øÇÕ´Ï´Ù.
LUSTRE¸¦ ¾Æ´Â »ç¶÷ÀÌ »ç¿ëÇؾßÇÑ´Ù´Â ¸»Àº ±¸¼ºÀ» ÇÒ ÁÙ ¾Æ´À³Ä°¡ ¾Æ´Õ´Ï´Ù.
¿¹¸¦µé¾î¼ ½ÃÀÛÀ¸·Î´Â Lustre¸¦ Client±îÁö kernel build ¹× moduleÀ» »ç¿ëÇϴµ¥ ¿©·¯´ëÀÇ ¼¹öÁß¿¡ 1´ë°¡ IOÁß¿¡ ¸ØÃ߰ųª Çϸé Àüü ½Ã½ºÅÛÀÌ hangÀÌ °É¸±¼ö ÀÖ½À´Ï´Ù. ÀÌ·¸°Ô µÇ¸é ¾î¶»ÇؾßÇÏ´ÂÁö ³°¨ÇØ ÁöÁö¿ä.
¿À·¡Àü¿¡ ÀúÈñ °í°´Áß¿¡¼ lustre¸¦ »ç¿ëÇÏ´Ù°¡ »õº®¿¡ kernel upgrade¸¦ Çß½À´Ï´Ù. ¸®ºÎÆÃÀ» ÇÏ´Ï±î ´ç¿¬È÷ ºÎÆÃÀÌ ½ÇÆÐÇÏ°ÚÁÒ. ±×¶§ °í°´ÀÌ 300´ë Á¤µµ ¼¹ö¸¦ ¿î¿µÇß¾ú´Âµ¥ 300´ë ¼¹ö°¡ ¸ðµÎ ¸ØÃß´Ï±î ¸¹ÀÌ ´çȲÇß°ÚÁÒ.
´Ù¸¥ÀÌÀ¯´Â Lustre¸¦ storageÀÔ´Ï´Ù. MDS/OSD¿¡ Á¶±ÝÀÌ¶óµµ ¹®Á¦°¡ ¹ß»ýÇϸé Àüü fileÀ» ¼Õ½ÇÇÒ ¼ö ÀÖ½À´Ï´Ù. º¹±¸µµ ºÒ°¡´ÉÇÕ´Ï´Ù. ¾ÆÁÖ ÀÚÁÖÀÖ´Â ÀÏÀÔ´Ï´Ù. ¸î³âÀü¿¡ ¹¹ ´ëÇÐ ¹°¸®Çаú ´ëÇпø¿¡¼ lustre µ¥ÀÌÅÍ°¡ ³¯¾Æ°¡¸é¼ 3³âÄ¡ ½ÇÇè°á°ú¸¦ ¸ðµÎ ³¯¸°ÀûÀÌ ÀÖ½À´Ï´Ù. ¹Ú»ç°úÁ¤ ´ëÇпø»ý 2¸íÀº Çб³¸¦ 1³â ´õ ´Ù³æ½À´Ï´Ù.
2CPU+ÆǸÅÇϴ ȸ»çÀÇ ¿£Áö´Ï¾î+googleÀ» ¹Ï°í Çصµ °á±¹Àº ´Ô²²¼ ÇØ°áÇØ¾ß ÇÕ´Ï´Ù. ƯÈ÷ ÆǸÅÇϴ ȸ»çÀÇ ¿£Áö´Ï¾î°¡ ÇÒ ¼ö ÀÖ´ÂÀÏÀº ¼³Ä¡/°Ë¼ö ±îÁöÀϲ¨°í ÇâÈÄ Àå¾ÖÇØ°áÀº ¾Æ¸¶µµ ¾î·Á¿ï °Ì´Ï´Ù. (°³ÀÎÀûÀÎ »ý°¢)
¹æ±Ý »ý°¢ÀÌ ³µ´Âµ¥ ´õ ÁÁÀº ¹æ¹ýÀº Xyratex³ª DDN µî¿¡¼ ÆǸÅÇÏ´Â Lustre Appliance¸¦ »ç¿ëÇÏ´Â °Ì´Ï´Ù. ´©±º°¡°¡ Ã¥ÀÓÁö°í ¹®Á¦ ÇØ°á¿¡ ³ª¼³¼ö Àִ°͸¸À¸·Îµµ ¾È½ÉÀÌÁÒ.
Àú´Â ¿©±â±îÁö.