====== Linux + IA 2025/05/25 ======
===== Docker =====
  * Scrip de instalación:
    * <code bash>wget -c https://nextcloud.openit.dev/s/6rBskz35qHgkDAN/download/docker-install.sh
chmod u+x docker-install.sh
sudo ./docker-install.sh
</code>
  * Dejar descargando el image OpenWebUI
    * <code bash>docker pull openwebui/open-webui:latest </code>

===== Docker Model Runner (DMR) =====
  * Instalación Ubuntu/Debian
    * <code bash>sudo apt-get update
sudo apt-get install docker-model-plugin
</code>
  * Verifica la instalación:
    * <code bash>docker model version</code>

==== Maquina virtual o sin GPU ====
  * Para asegurar que DMR use solo CPU y no intente acceder a GPUs:
    * <code bash>docker model install-runner --gpu none</code>
  * Listar modelos
    * <code bash>docker model search ai</code>
  * Descargar modelo
    * <code bash>docker model pull ai/smollm2</code>
  * Ejecutar el Modelo
    * <code bash>docker model run ai/smollm2 "Escribe una función en Python que calcule el factorial de un número"</code>

==== Maquina con GPU ====
  * nvidia tools
    * <code bash>
# Agregar el repositorio y la clave GPG de NVIDIA
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
    sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# Instalar el toolkit
sudo apt update
sudo apt install -y nvidia-container-toolkit
</code>
  * Configurar
    * <code bash># Configurar el runtime de NVIDIA
sudo nvidia-ctk runtime configure --runtime=docker

# Reiniciar Docker para aplicar los cambios
sudo systemctl restart docker
docker model install-runner --backend vllm --gpu cuda
docker model status
</code>
  * Verificación
    * <code bash>docker run --rm --gpus all nvidia/cuda:12.2.2-base-ubuntu22.04 nvidia-smi</code>
  * Descargar modelo:
    * <code bash>docker model pull ai/mistral
docker model install-runner --gpu auto
docker model run ai/mistral "Escribe una función en Python que calcule el factorial de un número"
</code>

===== OpenWeb UI + (DMR) =====
  * Ejecución simple
    * <code bash>docker run -d -p 3000:8080 --name open-webui openwebui/open-webui</code>
      * Verificar si ya levanto el contenedor este demorara porque tiene que descargar 30 files: 
        * <code bash>docker logs -f open-webui</code>
    * Ingresar al IP http://192.168.56.103:3000
    * Cambio manual al servidor http://172.17.0.1:12434
  * Al finalizar detener y borrar el contenedor
    * <code bash>
docker ps
docker stop open-webui
docker rm open-webui
</code>
  * Con docker compose
    * Crear al carpeta openwebui
      * <code bash> mkdir openwebui && cd openwebui</code>
    * Crear el archivo docker-compose.yml
      * <code bash>nano docker-compose.yml</code>
    * Copiar el contenido de: <file yml docker-compose.yml>
services:
  open-webui:
    image: openwebui/open-webui:latest
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "3000:8080"
    volumes:
      - open-webui-data:/app/backend/data
    environment:
      - DMR_BASE_URL=http://172.17.0.1:12434
      - OLLAMA_BASE_URL=http://172.17.0.1:12434
      - HF_HUB_OFFLINE=1                          # ← Impide descargas externas
      - HF_TOKEN=                                  # ← Vacío para no autenticar
    extra_hosts:
      - "host.docker.internal:host-gateway"
    networks:
      - dmr-network

networks:
  dmr-network:
    driver: bridge

volumes:
  open-webui-data:
</file>
    * Ejecutar:
      * <code bash>docker compose up -d</code>
    * Ingresamos directo al http://192.168.56.103:3000
    * Logs <code bash>docker compose logs </code>
    * Borrado completo: <code bash>docker compose down -v</code>