====== TALLER 馃 IA LOCAL-SIN NUBE ====== ===== Ya tengo LInux ===== * Instalar docker: sudo apt update && sudo apt install docker ===== Instalaci贸n LInux sobre Windows ===== - Crear MV con VirtualBox - Hardware - RAM 8192 | CPU 8 |Alamacenamiento 40Gb - Modificaciones - RED: Adicionar Red Solo anfitrion - PANTALLA: Memoria de v铆deo: 128Mb | Controlador gr谩fico VBoxSVGA - Realizar instalaci贸n. - Post instalaci贸n - Instalar terminator: sudo apt update && sudo apt install terminator -y ===== Instalaci贸n OLLAMA ===== - Instalaci贸n - curl -fsSL https://ollama.com/install.sh | sh - Descargar MLL - ollama pull llama3.2:3b - Verificaci贸n - ollama run llama3.2:3b - Salir CTRL + D ===== Instalaci贸n Open Web UI ===== - Crear carpeta - mkdir owui && cd owui/ - Dentro de owui/ crear el archivos compose.yml - services: open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui restart: always network_mode: host volumes: - open-webui:/app/backend/data extra_hosts: - "host.docker.internal:host-gateway" environment: - OLLAMA_BASE_URL=http://localhost:11434 volumes: open-webui: name: open-webui - Descarga y ejecuaci贸n - docker compose up -d - Verificaci贸n http://localhost:8080 ===== OPTIMANDO MLL ===== - Abrir una terminal y crear la carpeta ollama/ - mkdir ollama && cd ollama/ - Crear el archivo llama3.2-rapido.OpenIT - FROM llama3.2:3b # Optimizaciones para hardware limitado (8 CPUs, 4GB RAM) PARAMETER num_ctx 1024 PARAMETER num_batch 256 PARAMETER temperature 0.2 PARAMETER top_k 30 PARAMETER top_p 0.85 PARAMETER repeat_penalty 1.15 PARAMETER repeat_last_n 64 PARAMETER num_predict 200 PARAMETER seed 42 SYSTEM """ Eres un asistente t茅cnico que responde en espa帽ol. S茅 breve, directo y exacto. Cuando des comandos, entr茅galos en bloques listos para copiar. Si falta contexto, pregunta antes de asumir. """ - Generar el nuevo MLL modificado. - ollama create llama3.2:3b-OIT-rapido -f llama3.2-rapido.OpenIT - Verificar - Preguntas: | Pregunta 1 | Hola | | Pregunta 2 | 驴Qu茅 modelo eres? | - En los modelos - ollama run --verbose llama3.2:3b - ollama run --verbose llama3.2:3b-OIT-rapido