쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
물리적으로 LLM을 돌리는 서버랑 웹서버는 별도의 머신으로 같은 서브넷에 있습니다
LLM은 간단하게 LM Studio 설치후 검색으로 model 찾아서 돌렸습니다
vram이 16G다보니 그닥 높은건 못 고르고, 7/8B정도 시험해본 상태입니다
웹서버는 Docker로 open webui를 설치해서 연동시켰고, 설정의 검색에서 duckduckgo를 설정했습니다
기본적으로 로컬에서 처리 가능한것 물어보면 정상입니다
오늘 날짜를 물어보면 제대로 돌려주는것보면 인터넷에 접근도 문제 없어보입니다
문젠 간단하게 내일 날짜를 물어보거나 환율같은것 물어봐도 웹 검색으로 하면 답변이 안 뜨고 멈추어버립니다
스샷처럼 검색은 시도하는데 저런식으로 결과가 안 뜹니다
어디를 확인해봐야 할까요?
엉뚱한 소리하거나하면 model크기나 처리능의 문제를 의심해보겠는데, 저런식으로 아에 아무것도 안 떠버리니 곤란하네요
deepseek만 문제인가해서 llama도 시험해봤지만 동일한 증세입니다
추신 : 이미지 업로드후 택스트 추출해달라고 해도 똑같은 증세네요
맨날 삽질만 하고 삽니다
http://www.2cpu.co.kr/hardware_2014/44147
컴 케이스 작다고 불타거나 하지 않아요
https://sillytavernai.com/ 추천합니다
거기다 인터넷 검색만 그러는게 아니라 이미지같은것 다루라고 시켜도 멈추어버리니 네트워크나 검색 엔진 처리탓도 아니죠
아마 백엔드인 LM Studio가 이상한걸로 보이는데 (다른 클라 써봐도 좀 이상함), 일단 시간나는대로 정석대로 Python 설치부터 시작해서 수동으로 다 삽질해볼 작정입니다
벡터 디비가 없으면 불가 하지 않나요?
검색엔진 API연동시키더군요
참고로 불가능하다고 저렇게 멈추는일 없습니다
예를 들어 검색 안 되는 LM Studio를 클라로 오늘 날짜 물으면 실시간 정보를 못 얻으니 어쩌구하는 답변이 돌아오지 저러진 않음
참고로 llama에게 시켜도 똑같네요
혹시 입력으로 이미지 받을 수 있는 model 추천 있을까요?