Diferencias

Muestra las diferencias entre dos versiones de la página.

--- lia20260525 [2026/05/26 00:29] – jared
+++ lia20260525 [2026/05/26 01:39] (actual) – jared
@@ Línea 8: / Línea 8: @@
   * Dejar descargando el image OpenWebUI
     * <code bash>docker pull openwebui/open-webui:latest </code>
+===== Docker Model Runner (DMR) =====
+  * Instalación Ubuntu/Debian
+    * <code bash>sudo apt-get update
+sudo apt-get install docker-model-plugin
+</code>
+  * Verifica la instalación:
+    * <code bash>docker model version</code>
+==== Maquina virtual o sin GPU ====
+  * Para asegurar que DMR use solo CPU y no intente acceder a GPUs:
+    * <code bash>docker model install-runner --gpu none</code>
+  * Listar modelos
+    * <code bash>docker model search ai</code>
+  * Descargar modelo
+    * <code bash>docker model pull ai/smollm2</code>
+  * Ejecutar el Modelo
+    * <code bash>docker model run ai/smollm2 "Escribe una función en Python que calcule el factorial de un número"</code>
+==== Maquina con GPU ====
+  * nvidia tools
+    * <code bash>
+# Agregar el repositorio y la clave GPG de NVIDIA
+curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
+    sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
+curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
+    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
+    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
+# Instalar el toolkit
+sudo apt update
+sudo apt install -y nvidia-container-toolkit
+</code>
+  * Configurar
+    * <code bash># Configurar el runtime de NVIDIA
+sudo nvidia-ctk runtime configure --runtime=docker
+# Reiniciar Docker para aplicar los cambios
+sudo systemctl restart docker
+docker model install-runner --backend vllm --gpu cuda
+docker model status
+</code>
+  * Verificación
+    * <code bash>docker run --rm --gpus all nvidia/cuda:12.2.2-base-ubuntu22.04 nvidia-smi</code>
+  * Descargar modelo:
+    * <code bash>docker model pull ai/mistral
+docker model install-runner --gpu auto
+docker model run ai/mistral "Escribe una función en Python que calcule el factorial de un número"
+</code>
+===== OpenWeb UI + (DMR) =====
+  * Ejecución simple
+    * <code bash>docker run -d -p 3000:8080 --name open-webui openwebui/open-webui</code>
+      * Verificar si ya levanto el contenedor este demorara porque tiene que descargar 30 files:
+        * <code bash>docker logs -f open-webui</code>
+    * Ingresar al IP http://192.168.56.103:3000
+    * Cambio manual al servidor http://172.17.0.1:12434
+  * Al finalizar detener y borrar el contenedor
+    * <code bash>
+docker ps
+docker stop open-webui
+docker rm open-webui
+</code>
+  * Con docker compose
+    * Crear al carpeta openwebui
+      * <code bash> mkdir openwebui && cd openwebui</code>
+    * Crear el archivo docker-compose.yml
+      * <code bash>nano docker-compose.yml</code>
+    * Copiar el contenido de: <file yml docker-compose.yml>
+services:
+  open-webui:
+    image: openwebui/open-webui:latest
+    container_name: open-webui
+    restart: unless-stopped
+    ports:
+      - "3000:8080"
+    volumes:
+      - open-webui-data:/app/backend/data
+    environment:
+      - DMR_BASE_URL=http://172.17.0.1:12434
+      - OLLAMA_BASE_URL=http://172.17.0.1:12434
+      - HF_HUB_OFFLINE=1                          # ← Impide descargas externas
+      - HF_TOKEN=                                  # ← Vacío para no autenticar
+    extra_hosts:
+      - "host.docker.internal:host-gateway"
+    networks:
+      - dmr-network
+networks:
+  dmr-network:
+    driver: bridge
+volumes:
+  open-webui-data:
+</file>
+    * Ejecutar:
+      * <code bash>docker compose up -d</code>
+    * Ingresamos directo al http://192.168.56.103:3000
+    * Logs <code bash>docker compose logs </code>
+    * Borrado completo: <code bash>docker compose down -v</code>