Diferencias

Muestra las diferencias entre dos versiones de la página.

--- lia20260529 [2026/05/30 00:26] – jared
+++ lia20260529 [2026/05/30 02:05] (actual) – jared
@@ Línea 46: / Línea 46: @@
       * Detener el modelo para despues ejecutarlo con llama.cpp
         * <code bash>ollama stop llamaubuntu24:latest</code>
+===== Personalizando llama.cpp =====
+  * No se puede utilizar un GGUF modificado ya que no toma en cuenta las modificaciones.
+  * La forma correcta es pasarle en un prompt inicial las limitaciones
+    * <code bash>llama-cli -m Llama-3.2-3B-Instruct-Q4_K_M.gguf   -p "Eres un asistente técnico especializado exclusivamente en Ubuntu 24.04 LTS."   -n 512 -cnv</code>
+* Para que sea persistente se deben realizar las siguientes modificaciones.
+  * En el mismo lugar del script start-llama.sh crear el archivo
+    * nano template.json
+    * <file json template.json>
+{
+  "system_message": "Eres un asistente técnico especializado exclusivamente en Ubuntu 24.04 LTS. Da respuestas prácticas, directas y con pasos concretos. Sin explicaciones. Si un comando puede ser destructivo, advierte antes de usarlo.
+  "
+}
+</file>
+  * Copiar el archivo
+    * cp start-llama.sh start-llama-ubuntu.sh
+  * Editarlo
+    * <file bash start-llama-ubuntu.sh>
+#!/bin/bash
+# Cambiar esta ruta cuando quieras otro modelo
+MODEL="$HOME/gguf/Llama-3.2-3B-Instruct-Q4_K_M.gguf"
+nohup llama-server \
+    --jinja \
+    -m "$MODEL" \
+    --chat-template "custom" \
+    --chat-template-file ./template.json \
+    --host 127.0.0.1 \
+    --port 11435 \
+    -c 8192 \
+    -t 4 \
+    > /tmp/llama-server.log 2>&1 &
+echo $! > /tmp/llama-server.pid
+echo "Servidor iniciado. PID: $(cat /tmp/llama-server.pid)"
+</file>
+===== Nvidia llama.cpp =====
+  * Requerimiento previo:
+    * Tener configurado correctamente los drivers de Nvidia.
+    * Y tener actualizado el sistema.
+    * Verificación ejecutar <code bash>nvidia-smi</code>
+    * <code bash>sudo apt install -y nvidia-cuda-toolkit
+nvcc --version</code>
+  * Compilación
+    * <code bash>git clone https://github.com/ggerganov/llama.cpp
+cd llama.cpp
+cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES="86" -DCMAKE_BUILD_TYPE=Release
+cmake --build build --config Release -j$(nproc)
+</code>
+  * Adicionar PATH
+    * <code bash>nano .bashrc</code>
+    * Adicionar al final <code bash>export PATH="$HOME/llama.cpp/build/bin:$PATH"</code>
+    * <code bash>source .bashrc</code>
+  * Primera consulta
+    * <code bash>llama-cli --version
+llama-cli -m gguf/Llama-3.2-3B-Instruct-Q4_K_M.gguf --gpu-layers -1 -p "Hola" -n 50
+</code>
+==== OpenCode ====
+  * Ejecutar con ollama
+    * <code bash>ollama launch opencode</code>