====== Linux + IA 2025/05/27 ======
===== GGUF =====
  * Crear carpeta gguf
    * <code bash>mkdir gguf && cd gguf</code>
  * Descargar:
    * <code bash>wget -c https://nextcloud.openit.dev/s/4dRA4KdJb7rqDqw/download/Llama-3.2-3B-Instruct-Q4_K_M.gguf</code>


===== LLAMA.CPP =====
  * SITO https://github.com/ggml-org/llama.cpp
  * Se debe estar en la carpeta %HOME
    * <code bash>cd</code>
  * Descarga
    * <code bash>wget -c https://github.com/ggml-org/llama.cpp/releases/download/b9351/llama-b9351-bin-ubuntu-x64.tar.gz</code>
    * <code bash>wget -c https://github.com/ggml-org/llama.cpp/releases/download/b9371/llama-b9371-bin-ubuntu-x64.tar.gz
tar -xvzf llama-b9371-bin-ubuntu-x64.tar.gz
</code>
  * Crear carpeta build/ y dentro pasar la carpeta llama-b9351  renombrandola bin/
    * <code bash>mkdir  build && mv llama-b9371/ build/bin/</code>
  * Agregar PATH
    * <code bash>nano .bashrc</code>
    * Agregar al final
      * <code txt>export PATH="$HOME/build/bin:$PATH"</code>
    * Aplicar los parametros en la sesión
      * <code bash>source .bashrc</code>
  * Verificación
    * <code bash>llama-cli --version</code>
  * Ejecutandolo como servidor
    * <code bash>llama-server   -m gguf/Llama-3.2-3B-Instruct-Q4_K_M.gguf   --host 0.0.0.0   --port 11435   -c 2048   -t 4</code>
  * Script de inicialización
    * <file bash start-llama.sh>
#!/bin/bash

# Cambiar esta ruta cuando quieras otro modelo
MODEL="$HOME/gguf/Llama-3.2-3B-Instruct-Q4_K_M.gguf"

nohup llama-server \
    --jinja \
    -m "$MODEL" \
    --host 127.0.0.1 \
    --port 11435 \
    -c 8192 \
    -t 4 \
    > /tmp/llama-server.log 2>&1 &

echo $! > /tmp/llama-server.pid
echo "Servidor iniciado. PID: $(cat /tmp/llama-server.pid)"
</file>
    * Permisos y ejecutar
      * <code bash>chmod u+x start-llama.sh
./start-llama.sh
</code>
  * Script finalización
    * <file bash stop-llama.sh>
#!/bin/bash

if [ -f /tmp/llama-server.pid ]; then
    kill $(cat /tmp/llama-server.pid)
    rm /tmp/llama-server.pid
    echo "Servidor detenido"
else
    pkill -f llama-server
    echo "Servidor detenido"
fi
</file>
    * Permisos y ejecutar
      * <code bash>chmod u+x stop-llama.sh
./stop-llama.sh
</code>
===== AGENTE  =====
  * Instalación
    * <code bash>pipx install git+https://github.com/OpenInterpreter/open-interpreter.git</code>
  * Uso con ollama
    * <code bash>interpreter --local</code>
  * Uso con llama.cpp
    * <code bash>interpreter --api_base "http://127.0.0.1:11435/v1" --api_key "dummy"</code>