LLM Á÷Á¢ µ¹·Áº¸½ÅºÐµé °Ë»ö Á¦´ë·Î µÇ³ª¿ä?

dateno1   
   Á¶È¸ 839   Ãßõ 0    

쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다 

물리적으로 LLM을 돌리는 서버랑 웹서버는 별도의 머신으로 같은 서브넷에 있습니다


LLM은 간단하게 LM Studio 설치후 검색으로 model 찾아서 돌렸습니다


vram이 16G다보니 그닥 높은건 못 고르고, 7/8B정도 시험해본 상태입니다


웹서버는 Docker로 open webui를 설치해서 연동시켰고, 설정의 검색에서 duckduckgo를 설정했습니다


기본적으로 로컬에서 처리 가능한것 물어보면 정상입니다


오늘 날짜를 물어보면 제대로 돌려주는것보면 인터넷에 접근도 문제 없어보입니다


문젠 간단하게 내일 날짜를 물어보거나 환율같은것 물어봐도 웹 검색으로 하면 답변이 안 뜨고 멈추어버립니다

스샷처럼 검색은 시도하는데 저런식으로 결과가 안 뜹니다


어디를 확인해봐야 할까요?


엉뚱한 소리하거나하면 model크기나 처리능의 문제를 의심해보겠는데, 저런식으로 아에 아무것도 안 떠버리니 곤란하네요


deepseek만 문제인가해서 llama도 시험해봤지만 동일한 증세입니다




추신 : 이미지 업로드후 택스트 추출해달라고 해도 똑같은 증세네요


맨날 삽질만 하고 삽니다

http://www.2cpu.co.kr/hardware_2014/44147
컴 케이스 작다고 불타거나 하지 않아요

ªÀº±Û Àϼö·Ï ½ÅÁßÇϰÔ.
https://github.com/lmstudio-ai/lmstudio-js/issues/204 ¸¦ º¸´Ï Áö±ÝÀº ÇØ´ç ±â´ÉÀÌ ¾ø¾î¼­ ¾ÈµÇ´Â °Í °°½À´Ï´Ù
https://sillytavernai.com/ ÃßõÇÕ´Ï´Ù
     
dateno1 05-01
LM Studio·Î Á÷Á¢ µ¹¸°°Í ¾Æ´Õ´Ï´Ù (½º¼¦ÀÇ UIºÎÅÍ ¾ÖÃÊ¿¡ LM Studio°¡ ¾Æ´Ô)

°Å±â´Ù ÀÎÅÍ³Ý °Ë»ö¸¸ ±×·¯´Â°Ô ¾Æ´Ï¶ó À̹ÌÁö°°Àº°Í ´Ù·ç¶ó°í ½ÃÄѵµ ¸ØÃß¾î¹ö¸®´Ï ³×Æ®¿öÅ©³ª °Ë»ö ¿£Áø ó¸®Å¿µµ ¾Æ´ÏÁÒ

¾Æ¸¶ ¹é¿£µåÀÎ LM Studio°¡ ÀÌ»óÇѰɷΠº¸À̴µ¥ (´Ù¸¥ Ŭ¶ó ½áºÁµµ Á» ÀÌ»óÇÔ), ÀÏ´Ü ½Ã°£³ª´Â´ë·Î Á¤¼®´ë·Î Python ¼³Ä¡ºÎÅÍ ½ÃÀÛÇØ¼­ ¼öµ¿À¸·Î ´Ù »ðÁúÇØº¼ ÀÛÁ¤ÀÔ´Ï´Ù
¿ÀǼҽº ¸ðµ¨ÀÌ ÀÎÅÍ³Ý °Ë»öµµ ÇØÁÖ³ª¿ä??
º¤ÅÍ µðºñ°¡ ¾øÀ¸¸é ºÒ°¡ ÇÏÁö ¾Ê³ª¿ä?
     
dateno1 05-01
WebUI·Î´Â µÇ´Â°Í°°¾Æ¿ä

°Ë»ö¿£Áø API¿¬µ¿½ÃŰ´õ±º¿ä

Âü°í·Î ºÒ°¡´ÉÇÏ´Ù°í Àú·¸°Ô ¸ØÃß´ÂÀÏ ¾ø½À´Ï´Ù

¿¹¸¦ µé¾î °Ë»ö ¾È µÇ´Â LM Studio¸¦ Ŭ¶ó·Î ¿À´Ã ³¯Â¥ ¹°À¸¸é ½Ç½Ã°£ Á¤º¸¸¦ ¸ø ¾òÀ¸´Ï ¾î¼±¸ÇÏ´Â ´äº¯ÀÌ µ¹¾Æ¿ÀÁö Àú·¯Áø ¾ÊÀ½
Deepseek r1Àº Ãß·Ð ¸ðµ¨·Î À̹ÌÁö´Â Áö¿øÇÏÁö ¾Ê½À´Ï´Ù
     
dateno1 05-01
»ý¼ºÀº ¾È µÇ´Â°Í ¾Ë°í Àִµ¥, 󸮵µ ¸øÇϳª¿ä?

Âü°í·Î llama¿¡°Ô ½ÃÄѵµ ¶È°°³×¿ä

Ȥ½Ã ÀÔ·ÂÀ¸·Î À̹ÌÁö ¹ÞÀ» ¼ö ÀÖ´Â model Ãßõ ÀÖÀ»±î¿ä?


QnA
Á¦¸ñPage 2/144
06-30   391   stone92±è°æ¹Î
06-27   693   makeyz
06-26   616   ¹Ì´ã
06-26   500   ´Ï¾Ó¸¶
06-26   688   ½ÅÀº¿Ö
06-25   538   ±è´ÞÈ£
06-24   1036   ½ÅÀº¿Ö
06-24   425   ´ºÁø½º
06-22   745   ¾Ç¸¶¶ó³×
06-21   775   Á¦¿ÂÇÁ·Î
06-20   474   GoverZG
06-20   607   Sakura24
06-19   569   SugarCube
06-18   666   Sakura24
06-17   487   Sakura24
06-16   653   ÃѾËź»ç³ªÀÌ
06-16   658   Sakura24
06-16   649   Setila
06-16   568   GoverZG
06-15   734   ±èÀ¯°â