[AI] RAG QA챗봇 쉽게 구축하기 - AnythingLLM

AnythingLLM을 활용하면 문서, GitHub, 유튜브를 기반으로 한 RAG QA 챗봇을 손쉽게 구현할 수 있습니다. 시작하기 전에 AnythingLLM을 다운로드하고 설치해야 합니다.

• 다운로드: https://useanything.com/download

macOS에서 프로그램 실행 시 오류가 발생한다면, 아래의 명령어를 입력해 보세요

attr -cr /Applications/AnythingLLM.app

---

다음은 유튜브 기반으로 구축한 RAG QA 챗봇의 예시입니다.

AnythingLLM 설정하기

1. LLM 모델 선택

Setting > LLM Preference 에서 AI 모델을 선택합니다. 저는 Ollama의 한국어로 학습된 모델 beomi/Llama-3-Open-Ko-8B을 사용합니다. AnythingLLM에서 제공하는 Llama3 8B 모델을 사용해도 좋습니다.

컴퓨터 사양이 부족해 로컬 LLM을 실행하기 어렵다면, Google Gemini, Groq의 llama3-70b-8192 또는 HuggingFace 같은 무료 AI 서비스를 이용하는 것이 좋습니다.

2. 워크스페이스에서 문서 업로드 버튼 클릭

3. 문서 업로드

다양한 문서(text, pdf, csv, spreadsheets, audio files 등), GitHub 주소, 유튜브 스크립트 등을 업로드할 수 있습니다. 여기서는 유튜브 스크립트를 업로드하는 방법을 소개합니다. Data Connectors 탭에서 Youtube Transcript를 선택한 후 유튜브 링크를 입력하고, Collection transcript 버튼을 클릭합니다.

4. 문서 임베딩

Documents 탭으로 돌아와 방금 업로드한 유튜브를 선택한 후, Move to Workspace 버튼을 클릭합니다.

이후 Save and Embed 버튼을 클릭하여 임베딩을 시작합니다.

5. 챗봇과 대화

이제 유튜브 내용에 관해 질문하면 챗봇이 해당 유튜브 스크립트를 기반으로 답변합니다.

마치며

AnythingLLM 앱을 이용하면 RAG 시스템을 매우 쉽게 구축할 수 있습니다. 다만, 무료로 제공되는 임베딩 모델들은 한국어 지원이 부족해 원하는 성능을 내기 어려울 수 있습니다. 좋은 성능의 RAG 챗봇을 구현하고자 한다면, OpenAI의 text-embedding-3-small 또는 text-embedding-3-large 모델을 사용하는 것이 좋습니다.

AI 관련 글

• [AI] 라마3 한국어 pretrained 모델 사용 경험
• [AI] Joplin 노트에 GPT-4를 무료로 활용하는 방법
• [AI] Ollama 관련 UI 클라이언트 프로그램 소개
• [개발] Gemini 1.5 Pro으로 문서 요약
• 옵시디언 노트 기반 RAG 시스템 구축하기 4 (마지막)
• [AI] Meta Llama 3 8B AI모델 사용 경험
• [AI] 한국어 로컬 LLM 비교
• [개발] 옵시디언 노트 기반 RAG 시스템 구축하기 3
• [개발] 옵시디언 노트 기반 RAG 시스템 구축하기 2
• [개발] 옵시디언 노트 기반 RAG 시스템 구축하기 1
• 옵시디언 RAG 시스템 구축하기 2
• [개발로그] 옵시디언 노트 기반 RAG 시스템 구축하기 1
• [GPT] 옵시디언 노트를 기반으로 AI에게 질문하기
• 빙 AI 챗봇 사용하여 스팀잇 유저 분석하기
• (ChatGPT) OpenAI로 블로그 자동화하기 - 2
• (ChatGPT) OpenAI로 블로그 자동화하기

_{Posted using Obsidian Steemit plugin}