Linux + IA 2025/05/27

GGUF

Descargar:

wget -c https://nextcloud.openit.dev/s/4dRA4KdJb7rqDqw/download/Llama-3.2-3B-Instruct-Q4_K_M.gguf

Descarga

wget -c https://github.com/ggml-org/llama.cpp/releases/download/b9351/llama-b9351-bin-ubuntu-x64.tar.gz

Crear carpeta build/ y dentro pasar la carpeta llama-b9351 renombrandola bin/
- ```
mkdir  build && mv llama-b9351/ build/bin/
```
Agregar PATH
- ```
nano .bashrc
```
- Agregar al final
  - ```
  export PATH="$HOME/build/bin:$PATH"
```
- Aplicar los parametros en la sesión
  - ```
  source .bashrc
```
Verificación
- ```
llama-cli --version
```