Tabla de Contenidos

TALLER 馃 IA LOCAL-SIN NUBE

Ya tengo LInux

Instalaci贸n LInux sobre Windows

  1. Crear MV con VirtualBox
    1. Hardware
      1. RAM 8192 | CPU 8 |Alamacenamiento 40Gb
      2. Modificaciones
        1. RED: Adicionar Red Solo anfitrion
        2. PANTALLA: Memoria de v铆deo: 128Mb | Controlador gr谩fico VBoxSVGA
    2. Realizar instalaci贸n.
    3. Post instalaci贸n
      1. Instalar terminator: 
        sudo apt update && sudo apt install terminator -y

Instalaci贸n OLLAMA

  1. Instalaci贸n
    1. curl -fsSL https://ollama.com/install.sh | sh
  2. Descargar MLL
    1. ollama pull llama3.2:3b
  3. Verificaci贸n
    1. ollama run llama3.2:3b
    2. Salir CTRL + D

Instalaci贸n Open Web UI

  1. Crear carpeta
    1. mkdir owui && cd owui/
  2. Dentro de owui/ crear el archivos compose.yml
    1. compose.yml
      services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    network_mode: host
    volumes:
      - open-webui:/app/backend/data
    extra_hosts:
      - "host.docker.internal:host-gateway"
    environment:
      - OLLAMA_BASE_URL=http://localhost:11434
 
volumes:
  open-webui:
    name: open-webui
  3. Descarga y ejecuaci贸n
    1. docker compose up -d
  4. Verificaci贸n http://localhost:8080

OPTIMANDO MLL

  1. Abrir una terminal y crear la carpeta ollama/
    1. mkdir ollama && cd ollama/
  2. Crear el archivo llama3.2-rapido.OpenIT
    1. llama3.2-rapido.OpenIT
      FROM llama3.2:3b
 
# Optimizaciones para hardware limitado (8 CPUs, 4GB RAM)
PARAMETER num_ctx 1024
PARAMETER num_batch 256
PARAMETER temperature 0.2
PARAMETER top_k 30
PARAMETER top_p 0.85
PARAMETER repeat_penalty 1.15
PARAMETER repeat_last_n 64
PARAMETER num_predict 200
PARAMETER seed 42
 
SYSTEM """
Eres un asistente t茅cnico que responde en espa帽ol.
S茅 breve, directo y exacto.
Cuando des comandos, entr茅galos en bloques listos para copiar.
Si falta contexto, pregunta antes de asumir.
"""
  3. Generar el nuevo MLL modificado.
    1. ollama create llama3.2:3b-OIT-rapido -f llama3.2-rapido.OpenIT
  4. Verificar
    1. Preguntas:
Pregunta 1 Hola
Pregunta 2 驴Qu茅 modelo eres?
  1. En los modelos
    1. ollama run --verbose llama3.2:3b
    2. ollama run --verbose llama3.2:3b-OIT-rapido