LLM Á÷Á¢ µ¹·Áº¸½ÅºÐµé °Ë»ö Á¦´ë·Î µÇ³ª¿ä?

dateno1   
   Á¶È¸ 535   Ãßõ 0    

쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다 

물리적으로 LLM을 돌리는 서버랑 웹서버는 별도의 머신으로 같은 서브넷에 있습니다


LLM은 간단하게 LM Studio 설치후 검색으로 model 찾아서 돌렸습니다


vram이 16G다보니 그닥 높은건 못 고르고, 7/8B정도 시험해본 상태입니다


웹서버는 Docker로 open webui를 설치해서 연동시켰고, 설정의 검색에서 duckduckgo를 설정했습니다


기본적으로 로컬에서 처리 가능한것 물어보면 정상입니다


오늘 날짜를 물어보면 제대로 돌려주는것보면 인터넷에 접근도 문제 없어보입니다


문젠 간단하게 내일 날짜를 물어보거나 환율같은것 물어봐도 웹 검색으로 하면 답변이 안 뜨고 멈추어버립니다

스샷처럼 검색은 시도하는데 저런식으로 결과가 안 뜹니다


어디를 확인해봐야 할까요?


엉뚱한 소리하거나하면 model크기나 처리능의 문제를 의심해보겠는데, 저런식으로 아에 아무것도 안 떠버리니 곤란하네요


deepseek만 문제인가해서 llama도 시험해봤지만 동일한 증세입니다




추신 : 이미지 업로드후 택스트 추출해달라고 해도 똑같은 증세네요


맨날 삽질만 하고 삽니다

http://www.2cpu.co.kr/hardware_2014/44147
컴 케이스 작다고 불타거나 하지 않아요

ªÀº±Û Àϼö·Ï ½ÅÁßÇϰÔ.
https://github.com/lmstudio-ai/lmstudio-js/issues/204 ¸¦ º¸´Ï Áö±ÝÀº ÇØ´ç ±â´ÉÀÌ ¾ø¾î¼­ ¾ÈµÇ´Â °Í °°½À´Ï´Ù
https://sillytavernai.com/ ÃßõÇÕ´Ï´Ù
     
dateno1 05-01
LM Studio·Î Á÷Á¢ µ¹¸°°Í ¾Æ´Õ´Ï´Ù (½º¼¦ÀÇ UIºÎÅÍ ¾ÖÃÊ¿¡ LM Studio°¡ ¾Æ´Ô)

°Å±â´Ù ÀÎÅÍ³Ý °Ë»ö¸¸ ±×·¯´Â°Ô ¾Æ´Ï¶ó À̹ÌÁö°°Àº°Í ´Ù·ç¶ó°í ½ÃÄѵµ ¸ØÃß¾î¹ö¸®´Ï ³×Æ®¿öÅ©³ª °Ë»ö ¿£Áø ó¸®Å¿µµ ¾Æ´ÏÁÒ

¾Æ¸¶ ¹é¿£µåÀÎ LM Studio°¡ ÀÌ»óÇѰɷΠº¸À̴µ¥ (´Ù¸¥ Ŭ¶ó ½áºÁµµ Á» ÀÌ»óÇÔ), ÀÏ´Ü ½Ã°£³ª´Â´ë·Î Á¤¼®´ë·Î Python ¼³Ä¡ºÎÅÍ ½ÃÀÛÇØ¼­ ¼öµ¿À¸·Î ´Ù »ðÁúÇØº¼ ÀÛÁ¤ÀÔ´Ï´Ù
¿ÀǼҽº ¸ðµ¨ÀÌ ÀÎÅÍ³Ý °Ë»öµµ ÇØÁÖ³ª¿ä??
º¤ÅÍ µðºñ°¡ ¾øÀ¸¸é ºÒ°¡ ÇÏÁö ¾Ê³ª¿ä?
     
dateno1 05-01
WebUI·Î´Â µÇ´Â°Í°°¾Æ¿ä

°Ë»ö¿£Áø API¿¬µ¿½ÃŰ´õ±º¿ä

Âü°í·Î ºÒ°¡´ÉÇÏ´Ù°í Àú·¸°Ô ¸ØÃß´ÂÀÏ ¾ø½À´Ï´Ù

¿¹¸¦ µé¾î °Ë»ö ¾È µÇ´Â LM Studio¸¦ Ŭ¶ó·Î ¿À´Ã ³¯Â¥ ¹°À¸¸é ½Ç½Ã°£ Á¤º¸¸¦ ¸ø ¾òÀ¸´Ï ¾î¼±¸ÇÏ´Â ´äº¯ÀÌ µ¹¾Æ¿ÀÁö Àú·¯Áø ¾ÊÀ½
Deepseek r1Àº Ãß·Ð ¸ðµ¨·Î À̹ÌÁö´Â Áö¿øÇÏÁö ¾Ê½À´Ï´Ù
     
dateno1 05-01
»ý¼ºÀº ¾È µÇ´Â°Í ¾Ë°í Àִµ¥, 󸮵µ ¸øÇϳª¿ä?

Âü°í·Î llama¿¡°Ô ½ÃÄѵµ ¶È°°³×¿ä

Ȥ½Ã ÀÔ·ÂÀ¸·Î À̹ÌÁö ¹ÞÀ» ¼ö ÀÖ´Â model Ãßõ ÀÖÀ»±î¿ä?


QnA
Á¦¸ñPage 641/5743
2015-12   1838427   ¹é¸Þ°¡
2014-05   5323003   Á¤ÀºÁØ1
2022-01   1996   °ø¹é±â
2022-01   3405   powpowe
2022-01   1567   NANDROID
2022-01   2793   AMDºô·±
2022-01   2453   ¹Ì¼ö¸Ç
2022-01   2526   inquisitive
2022-01   6002   timeleaf
2022-01   5942   Noman
2022-01   5417   InezFAmerson
2022-01   9065   NGC
2022-01   1700   jake
2022-01   4190   °ø¹é±â
2022-01   2058   lenux8
2022-01   3199   Á¤ÀºÁØ1
2022-01   2950   Sikieiki
2022-01   3771   ¼¾Å¸½Ó¹Ù
2022-01   2200   ¶¥ºÎÀÚ
2022-01   2075   JandD
2022-01   2672   ¸ð¾îÄð
2022-01   3217   Whitesun