TALLER 🧠 IA LOCAL-SIN NUBE

Ya tengo LInux

Instalar docker:

sudo apt update && sudo apt install docker

Instalación LInux sobre Windows

Crear MV con VirtualBox
1. Hardware
  1. RAM 8192 | CPU 8 |Alamacenamiento 40Gb
  2. Modificaciones
    1. RED: Adicionar Red Solo anfitrion
    2. PANTALLA: Memoria de vídeo: 128Mb | Controlador gráfico VBoxSVGA
2. Realizar instalación.
3. Post instalación
  1. Instalar terminator:
```
sudo apt update && sudo apt install terminator -y
```

Instalación OLLAMA

Instalación

curl -fsSL https://ollama.com/install.sh | sh

Descargar MLL
1. ```
ollama pull llama3.2:3b
```
Verificación
1. ```
ollama run llama3.2:3b
```
2. Salir CTRL + D

Instalación Open Web UI

Crear carpeta
1. ```
mkdir owui && cd owui/
```

Dentro de owui/ crear el archivos compose.yml

compose.yml

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    network_mode: host
    volumes:
      - open-webui:/app/backend/data
    extra_hosts:
      - "host.docker.internal:host-gateway"
    environment:
      - OLLAMA_BASE_URL=http://localhost:11434
 
volumes:
  open-webui:
    name: open-webui

Descarga y ejecuación
1. ```
docker compose up -d
```
Verificación http://localhost:8080

OPTIMANDO MLL

Abrir una terminal y crear la carpeta ollama/
1. ```
mkdir ollama && cd ollama/
```

Crear el archivo llama3.2-rapido.OpenIT

llama3.2-rapido.OpenIT

FROM llama3.2:3b
 
# Optimizaciones para hardware limitado (8 CPUs, 4GB RAM)
PARAMETER num_ctx 1024
PARAMETER num_batch 256
PARAMETER temperature 0.2
PARAMETER top_k 30
PARAMETER top_p 0.85
PARAMETER repeat_penalty 1.15
PARAMETER repeat_last_n 64
PARAMETER num_predict 200
PARAMETER seed 42
 
SYSTEM """
Eres un asistente técnico que responde en español.
Sé breve, directo y exacto.
Cuando des comandos, entrégalos en bloques listos para copiar.
Si falta contexto, pregunta antes de asumir.
"""

Generar el nuevo MLL modificado.

ollama create llama3.2:3b-OIT-rapido -f llama3.2-rapido.OpenIT

Verificar
1. Preguntas:

Pregunta 1	Hola
Pregunta 2	¿Qué modelo eres?

En los modelos

```
ollama run --verbose llama3.2:3b
```

ollama run --verbose llama3.2:3b-OIT-rapido