====== TALLER 馃 IA LOCAL-SIN NUBE ======
===== Ya tengo LInux =====
* Instalar docker: sudo apt update && sudo apt install docker
===== Instalaci贸n LInux sobre Windows =====
- Crear MV con VirtualBox
- Hardware
- RAM 8192 | CPU 8 |Alamacenamiento 40Gb
- Modificaciones
- RED: Adicionar Red Solo anfitrion
- PANTALLA: Memoria de v铆deo: 128Mb | Controlador gr谩fico VBoxSVGA
- Realizar instalaci贸n.
- Post instalaci贸n
- Instalar terminator: sudo apt update && sudo apt install terminator -y
===== Instalaci贸n OLLAMA =====
- Instalaci贸n
- curl -fsSL https://ollama.com/install.sh | sh
- Descargar MLL
- ollama pull llama3.2:3b
- Verificaci贸n
- ollama run llama3.2:3b
- Salir CTRL + D
===== Instalaci贸n Open Web UI =====
- Crear carpeta
- mkdir owui && cd owui/
- Dentro de owui/ crear el archivos compose.yml
-
services:
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
restart: always
network_mode: host
volumes:
- open-webui:/app/backend/data
extra_hosts:
- "host.docker.internal:host-gateway"
environment:
- OLLAMA_BASE_URL=http://localhost:11434
volumes:
open-webui:
name: open-webui
- Descarga y ejecuaci贸n
- docker compose up -d
- Verificaci贸n http://localhost:8080
===== OPTIMANDO MLL =====
- Abrir una terminal y crear la carpeta ollama/
- mkdir ollama && cd ollama/
- Crear el archivo llama3.2-rapido.OpenIT
-
FROM llama3.2:3b
# Optimizaciones para hardware limitado (8 CPUs, 4GB RAM)
PARAMETER num_ctx 1024
PARAMETER num_batch 256
PARAMETER temperature 0.2
PARAMETER top_k 30
PARAMETER top_p 0.85
PARAMETER repeat_penalty 1.15
PARAMETER repeat_last_n 64
PARAMETER num_predict 200
PARAMETER seed 42
SYSTEM """
Eres un asistente t茅cnico que responde en espa帽ol.
S茅 breve, directo y exacto.
Cuando des comandos, entr茅galos en bloques listos para copiar.
Si falta contexto, pregunta antes de asumir.
"""
- Generar el nuevo MLL modificado.
- ollama create llama3.2:3b-OIT-rapido -f llama3.2-rapido.OpenIT
- Verificar
- Preguntas:
| Pregunta 1 | Hola |
| Pregunta 2 | 驴Qu茅 modelo eres? |
- En los modelos
- ollama run --verbose llama3.2:3b
- ollama run --verbose llama3.2:3b-OIT-rapido