Linux + IA 2025/05/25

Docker

Scrip de instalación:

wget -c https://nextcloud.openit.dev/s/6rBskz35qHgkDAN/download/docker-install.sh
chmod u+x docker-install.sh
sudo ./docker-install.sh

Dejar descargando el image OpenWebUI

docker pull openwebui/open-webui:latest

Docker Model Runner (DMR)

Instalación Ubuntu/Debian

sudo apt-get update
sudo apt-get install docker-model-plugin

Verifica la instalación:
- ```
docker model version
```

Maquina virtual o sin GPU

Para asegurar que DMR use solo CPU y no intente acceder a GPUs:
- ```
docker model install-runner --gpu none
```
Listar modelos
- ```
docker model search ai
```
Descargar modelo
- ```
docker model pull ai/smollm2
```

Ejecutar el Modelo

docker model run ai/smollm2 "Escribe una función en Python que calcule el factorial de un número"

Maquina con GPU

nvidia tools

# Agregar el repositorio y la clave GPG de NVIDIA
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
    sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
 
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
 
# Instalar el toolkit
sudo apt update
sudo apt install -y nvidia-container-toolkit

Configurar

# Configurar el runtime de NVIDIA
sudo nvidia-ctk runtime configure --runtime=docker
 
# Reiniciar Docker para aplicar los cambios
sudo systemctl restart docker
docker model install-runner --backend vllm --gpu cuda
docker model status

Verificación

docker run --rm --gpus all nvidia/cuda:12.2.2-base-ubuntu22.04 nvidia-smi

Descargar modelo:

docker model pull ai/mistral
docker model install-runner --gpu auto
docker model run ai/mistral "Escribe una función en Python que calcule el factorial de un número"