Diferencias

Muestra las diferencias entre dos versiones de la página.

--- lia20260527 [2026/05/28 00:39] – jared
+++ lia20260527 [2026/05/28 01:15] (actual) – jared
@@ Línea 9: / Línea 9: @@
 ===== LLAMA.CPP =====
   * SITO https://github.com/ggml-org/llama.cpp
+  * Se debe estar en la carpeta %HOME
+    * <code bash>cd</code>
   * Descarga
     * <code bash>wget -c https://github.com/ggml-org/llama.cpp/releases/download/b9351/llama-b9351-bin-ubuntu-x64.tar.gz</code>
@@ Línea 24: / Línea 26: @@
   * Verificación
     * <code bash>llama-cli --version</code>
+  * Ejecutandolo como servidor
+    * <code bash>llama-server   -m gguf/Llama-3.2-3B-Instruct-Q4_K_M.gguf   --host 0.0.0.0   --port 11435   -c 2048   -t 4</code>
+  * Script de inicialización
+    * <file bash start-llama.sh>
+#!/bin/bash
+# Cambiar esta ruta cuando quieras otro modelo
+MODEL="$HOME/gguf/Llama-3.2-3B-Instruct-Q4_K_M.gguf"
+nohup llama-server \
+    --jinja \
+    -m "$MODEL" \
+    --host 127.0.0.1 \
+    --port 11435 \
+    -c 8192 \
+    -t 4 \
+    > /tmp/llama-server.log 2>&1 &
+echo $! > /tmp/llama-server.pid
+echo "Servidor iniciado. PID: $(cat /tmp/llama-server.pid)"
+</file>
+    * Permisos y ejecutar
+      * <code bash>chmod u+x start-llama.sh
+./start-llama.sh
+</code>
+  * Script finalización
+    * <file bash stop-llama.sh>
+#!/bin/bash
+if [ -f /tmp/llama-server.pid ]; then
+    kill $(cat /tmp/llama-server.pid)
+    rm /tmp/llama-server.pid
+    echo "Servidor detenido"
+else
+    pkill -f llama-server
+    echo "Servidor detenido"
+fi
+</file>
+    * Permisos y ejecutar
+      * <code bash>chmod u+x stop-llama.sh
+./stop-llama.sh
+</code>
+===== AGENTE  =====
+  * Instalación
+    * <code bash>pipx install git+https://github.com/OpenInterpreter/open-interpreter.git</code>
+  * Uso con ollama
+    * <code bash>interpreter --local</code>
+  * Uso con llama.cpp
+    * <code bash>interpreter --api_base "http://127.0.0.1:11435/v1" --api_key "dummy"</code>