쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
물리적으로 LLM을 돌리는 서버랑 웹서버는 별도의 머신으로 같은 서브넷에 있습니다
LLM은 간단하게 LM Studio 설치후 검색으로 model 찾아서 돌렸습니다
vram이 16G다보니 그닥 높은건 못 고르고, 7/8B정도 시험해본 상태입니다
웹서버는 Docker로 open webui를 설치해서 연동시켰고, 설정의 검색에서 duckduckgo를 설정했습니다
기본적으로 로컬에서 처리 가능한것 물어보면 정상입니다
오늘 날짜를 물어보면 제대로 돌려주는것보면 인터넷에 접근도 문제 없어보입니다
문젠 간단하게 내일 날짜를 물어보거나 환율같은것 물어봐도 웹 검색으로 하면 답변이 안 뜨고 멈추어버립니다
스샷처럼 검색은 시도하는데 저런식으로 결과가 안 뜹니다
어디를 확인해봐야 할까요?
엉뚱한 소리하거나하면 model크기나 처리능의 문제를 의심해보겠는데, 저런식으로 아에 아무것도 안 떠버리니 곤란하네요
deepseek만 문제인가해서 llama도 시험해봤지만 동일한 증세입니다
추신 : 이미지 업로드후 택스트 추출해달라고 해도 똑같은 증세네요
맨날 삽질만 하고 삽니다
http://www.2cpu.co.kr/hardware_2014/44147
컴 케이스 작다고 불타거나 하지 않아요
https://sillytavernai.com/ ÃßõÇÕ´Ï´Ù
°Å±â´Ù ÀÎÅÍ³Ý °Ë»ö¸¸ ±×·¯´Â°Ô ¾Æ´Ï¶ó À̹ÌÁö°°Àº°Í ´Ù·ç¶ó°í ½ÃÄѵµ ¸ØÃß¾î¹ö¸®´Ï ³×Æ®¿öÅ©³ª °Ë»ö ¿£Áø ó¸®Å¿µµ ¾Æ´ÏÁÒ
¾Æ¸¶ ¹é¿£µåÀÎ LM Studio°¡ ÀÌ»óÇѰɷΠº¸À̴µ¥ (´Ù¸¥ Ŭ¶ó ½áºÁµµ Á» ÀÌ»óÇÔ), ÀÏ´Ü ½Ã°£³ª´Â´ë·Î Á¤¼®´ë·Î Python ¼³Ä¡ºÎÅÍ ½ÃÀÛÇØ¼ ¼öµ¿À¸·Î ´Ù »ðÁúÇØº¼ ÀÛÁ¤ÀÔ´Ï´Ù
º¤ÅÍ µðºñ°¡ ¾øÀ¸¸é ºÒ°¡ ÇÏÁö ¾Ê³ª¿ä?