DokuWikiOpenIT

Esta página es de solo lectura. Puedes ver la fuente pero no puedes cambiarla. Pregunta a tu administrador si crees que esto es incorrecto.
====== TALLER 🧠 IA LOCAL-SIN NUBE  ======
===== Ya tengo LInux =====
  * Instalar docker: <code bash>sudo apt update && sudo apt install docker</code>
     
===== Instalación LInux sobre Windows =====
  - Crear MV con VirtualBox
    - Hardware 
      - RAM 8192 | CPU 8 |Alamacenamiento 40Gb
      - Modificaciones
        - RED: Adicionar Red Solo anfitrion
        - PANTALLA: Memoria de vídeo: 128Mb | Controlador gráfico VBoxSVGA
    - Realizar instalación.
    - Post instalación
      - Instalar terminator: <code bash>sudo apt update && sudo apt install terminator -y</code>

===== Instalación OLLAMA =====
  - Instalación
    - <code bash>curl -fsSL https://ollama.com/install.sh | sh</code>
  - Descargar MLL
    - <code bash>ollama pull llama3.2:3b</code>
  - Verificación
    - <code bash>ollama run llama3.2:3b</code>
    - Salir CTRL + D

===== Instalación Open Web UI =====
  - Crear carpeta
    - <code bash>mkdir owui && cd owui/</code>
  - Dentro de owui/ crear el archivos compose.yml
    - <file yamal compose.yml>
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    network_mode: host
    volumes:
      - open-webui:/app/backend/data
    extra_hosts:
      - "host.docker.internal:host-gateway"
    environment:
      - OLLAMA_BASE_URL=http://localhost:11434

volumes:
  open-webui:
    name: open-webui
</file>
  - Descarga y ejecuación
    - <code bash>docker compose up -d</code>
  - Verificación http://localhost:8080

===== OPTIMANDO MLL =====
  - Abrir una terminal y crear la carpeta ollama/
    - <code bash>mkdir ollama && cd ollama/</code>
  - Crear el archivo llama3.2-rapido.OpenIT 
    - <file txt llama3.2-rapido.OpenIT>
FROM llama3.2:3b

# Optimizaciones para hardware limitado (8 CPUs, 4GB RAM)
PARAMETER num_ctx 1024
PARAMETER num_batch 256
PARAMETER temperature 0.2
PARAMETER top_k 30
PARAMETER top_p 0.85
PARAMETER repeat_penalty 1.15
PARAMETER repeat_last_n 64
PARAMETER num_predict 200
PARAMETER seed 42

SYSTEM """
Eres un asistente técnico que responde en español.
Sé breve, directo y exacto.
Cuando des comandos, entrégalos en bloques listos para copiar.
Si falta contexto, pregunta antes de asumir.
"""
</file>
  - Generar el nuevo MLL modificado.
    - <code bash>ollama create llama3.2:3b-OIT-rapido -f llama3.2-rapido.OpenIT</code>
  - Verificar
    - Preguntas:

| Pregunta 1 | Hola |
| Pregunta 2 | ¿Qué modelo eres? |

  - En los modelos
    - <code bash>ollama run --verbose llama3.2:3b</code>
    - <code bash>ollama run --verbose llama3.2:3b-OIT-rapido</code>