AutoRAG에서 Ollama 사용하기

참고: https://docs.auto-rag.com/local_model.html#add-more-llm-models

---

AutoRAG에 Ollama LLM 모델을 추가할 수 있습니다.

1. llama_index에서 ollama 패키지를 설치합니다.

pip install llama_index.llms.ollama

2. autorag.generator_models에 새로운 모델 키 ollama를 추가합니다.

import autorag
from llama_index.llms.ollama import Ollama

autorag.generator_models["ollama"] = Ollama

새로운 LLM 모델을 추가할 때는 인스턴스가 아닌 클래스 자체를 추가해야 합니다. 반드시 LlamaIndex LLM의 인터페이스를 사용해야 합니다.

3. config.yml에서 module_type은 llama_index_llm를 사용하고 llm에는 ollama를 입력합니다.

nodes:
  - node_line_name: node_line_1
    nodes:
      - node_type: generator
        modules:
          - module_type: llama_index_llm
            llm: ollama
            model: [llama3, qwen, mistral]
            temperature: [0, 0.5, 1.0]
            api_base: http://localhost:11434
            request_timeout: 3000
            batch: 8

_{Posted using Obsidian Steemit plugin}