구차니일하기 싫어(!) openclaw로 설치하는 직원을 따라 하나 만들어 보았습니다.
머.. 챗봇이라고 하긴 그런것 같고 어떻게 발전시켜 나갈지 고민이 필요합니다
회사 노트북에 설치하고
telegram으로 말을 보내면 그걸 받아서 로컬 LLM인 gemma에서 던지고 답변을 받아 보내줍니다.
그냥 LLM을 이용한 챗봇 정도라고 보면 될 것 같네요.
나중에 검색 키워드가 들어가면 웹에서 검색한 내용을 llm 으로 던져서 요약하게 하면 되려나 싶긴 합니다.
(로컬 파일에 대한 접근은 어떻게 할 지 모르겠네요. 고민해봐야겠습니다)
플랫폼
linux / ubuntu 22.04
Intel(R) Core(TM) i7-10510U
16GB 메모리
저장공간은.. gemma3:1b 800MB 이상.. 대충 2GB 정도?
ollama, gemma3 설치 (그래픽 카드가 없어 cpu 만으로 돌리고 16GB 메모리에서 돌릴만한 녀석으로 선정)
curl -fsSL https://ollama.com/install.sh | sh
ollama run gemma3:1b
python 라이브러리 설치
pip3 install ollama
pip3 install python-telegram-bot
telegram bot 생성 및 토큰 얻기
https://midoriiroplace.tistory.com/62 링크 내용 참조
python 소스코드
import ollama from telegram import Update from telegram.ext import filters, MessageHandler, ApplicationBuilder, ContextTypes, CommandHandler APIKEY='{{사용자 토큰}}' async def echo(update: Update, context: ContextTypes.DEFAULT_TYPE): response = ollama.chat(model="gemma3:1b", messages=[{'role':'user','content':update.message.text}]) await context.bot.send_message(chat_id=update.effective_chat.id, text=response['message']['content'] ) if __name__ == '__main__': application = ApplicationBuilder().토큰(APIKEY).build()
echo_handler = MessageHandler(filters.TEXT & (~filters.COMMAND), echo) application.add_handler(echo_handler) application.run_polling() |
참고내용
https://dev-astra.tistory.com/490
https://midoriiroplace.tistory.com/62 fatherbot 으로 텔레그램 봇 만들기(토큰 획득)
https://midoriiroplace.tistory.com/63 python으로 메시지 보내기 (chatid 획득)
https://midoriiroplace.tistory.com/70
https://naradora78.tistory.com/39 구버전 api 라서 현재 사용불가
K/V Cache 모델에 따라 다르지만 민감한넘은 적어도 5~6bit정도 줘야하고, 컨텍스트도 8k정돈 잡아야 그나마 써먹을꺼고, 여기 모델 사이즈 7~9B정도 돌리고, OS도 올리고, UI도 돌릴려면 24G로도 힘들어요 (점점 모델들이 커져서 소형 버전 모델의 헛소리가 심해지는것같아요)
시퓨라 속도떔에 작은 모델 올릴려면 3(.5)나 4보단 2가 나을 수 도 있습니다
모델 받은것 정보 확인해서 혹시 4bit가 아니라면 변환해서 사이즈 줄이시는걸 추천합니다 (눈에 띄게 빨라짐)
그런데 세차장 헛소리는 GPT의 전유물 아니었나요? (잼민이는 제대로 타고 가라고 하던데요)
듀얼 그래픽 카드일 경우 어떻게 작동할지 이런게 궁금해서요 ㅎㅎ