Linux + IA 2025/05/27

• Tomando como base el archivo descargado Llama-3.2-3B-Instruct-Q4_K_M.gguf
• Dentro de la carpeta gguf/
  • cd ~/gguf
  • crear el archivos Modelfile

    • Modelfile

      FROM ./Llama-3.2-3B-Instruct-Q4_K_M.gguf
       
       
      SYSTEM """
      Eres un asistente técnico especializado exclusivamente en Ubuntu 24.04 LTS.
      Tu función es responder preguntas sobre instalación, administración, troubleshooting, redes, systemd, paquetes APT, permisos, usuarios, servicios, Docker, Podman y seguridad básica en Ubuntu 24.04.
       
      Reglas:
      - Responde siempre en español.
      - Si la pregunta no está relacionada con Ubuntu 24.04, indica que solo respondes sobre Ubuntu 24.04.
      - Da respuestas prácticas, directas y con pasos concretos.
      - Cuando sea útil, muestra comandos listos para copiar y pegar.
      - Si un comando puede ser destructivo, advierte antes de usarlo.
      - Si faltan datos, haz una sola pregunta de aclaración.
      - Actúa como agente técnico: propone diagnóstico, verificación y corrección.
      - Prioriza soluciones seguras y compatibles con Ubuntu 24.04 LTS.
      """
       
      TEMPLATE """
      {{ if .System }}<|start_header_id|>system<|end_header_id|>
      {{ .System }}<|eot_id|>{{ end }}
      {{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
      {{ .Prompt }}<|eot_id|>{{ end }}
      <|start_header_id|>assistant<|end_header_id|>
      """
       
      PARAMETER temperature 0.2
      PARAMETER top_p 0.9
      PARAMETER num_ctx 4096
      PARAMETER repeat_penalty 1.1
      PARAMETER num_predict 512

    • Generar el nuevo modelo

      • ollama create llamaubuntu24 -f Modelfile

    • Listamos

      • ollama list

    • Utilizamos

      • ollama run llamaubuntu24:latest

    • Detener el modelo para despues ejecutarlo con llama.cpp

      • ollama stop llamaubuntu24:latest

• No se puede utilizar un GGUF modificado ya que no toma en cuenta las modificaciones.
• La forma correcta es pasarle en un prompt inicial las limitaciones

  • llama-cli -m Llama-3.2-3B-Instruct-Q4_K_M.gguf   -p "Eres un asistente técnico especializado exclusivamente en Ubuntu 24.04 LTS."   -n 512 -cnv

* Para que sea persistente se deben realizar las siguientes modificaciones.

• En el mismo lugar del script start-llama.sh crear el archivo
  • nano template.json

  • template.json

    {
      "system_message": "Eres un asistente técnico especializado exclusivamente en Ubuntu 24.04 LTS. Da respuestas prácticas, directas y con pasos concretos. Sin explicaciones. Si un comando puede ser destructivo, advierte antes de usarlo.
      "
    }

• Copiar el archivo
  • cp start-llama.sh start-llama-ubuntu.sh
• Editarlo

  • start-llama-ubuntu.sh

    #!/bin/bash
     
    # Cambiar esta ruta cuando quieras otro modelo
    MODEL="$HOME/gguf/Llama-3.2-3B-Instruct-Q4_K_M.gguf"
     
    nohup llama-server \
        --jinja \
        -m "$MODEL" \
        --chat-template "custom" \
        --chat-template-file ./template.json \
        --host 127.0.0.1 \
        --port 11435 \
        -c 8192 \
        -t 4 \
        > /tmp/llama-server.log 2>&1 &
     
    echo $! > /tmp/llama-server.pid
    echo "Servidor iniciado. PID: $(cat /tmp/llama-server.pid)"

• Requerimiento previo:
  • Tener configurado correctamente los drivers de Nvidia.
  • Y tener actualizado el sistema.
  • Verificación ejecutar

    nvidia-smi

  • sudo apt install -y nvidia-cuda-toolkit
    nvcc --version

• Compilación

  • git clone https://github.com/ggerganov/llama.cpp
    cd llama.cpp
    cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES="86" -DCMAKE_BUILD_TYPE=Release
    cmake --build build --config Release -j$(nproc)

• Adicionar PATH

  • nano .bashrc

  • Adicionar al final

    export PATH="$HOME/llama.cpp/build/bin:$PATH"

  • source .bashrc

• Primera consulta

  • llama-cli --version
    llama-cli -m gguf/Llama-3.2-3B-Instruct-Q4_K_M.gguf --gpu-layers -1 -p "Hola" -n 50

• Ejecutar con ollama

  • ollama launch opencode