Herramientas de usuario

Herramientas del sitio


lsf-20260824

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anteriorRevisión previa
Próxima revisión
Revisión previa
lsf-20260824 [2026/08/25 00:31] – [IA Local] jaredlsf-20260824 [2026/08/25 01:23] (actual) – [Ejecuntado llama.cpp] jared
Línea 3: Línea 3:
   * Sitio donde esta los ultimos compilados: https://github.com/ggml-org/llama.cpp/releases   * Sitio donde esta los ultimos compilados: https://github.com/ggml-org/llama.cpp/releases
   * Descargarlo:<code bash> wget https://github.com/ggerganov/llama.cpp/releases/download/b4610/llama-b4610-bin-ubuntu-x64.zip</code>   * Descargarlo:<code bash> wget https://github.com/ggerganov/llama.cpp/releases/download/b4610/llama-b4610-bin-ubuntu-x64.zip</code>
 +  * Otro tar.gz
 +    * <code bash>wget -c https://github.com/ggml-org/llama.cpp/releases/download/b10615/llama-b10615-bin-ubuntu-x64.tar.gz</code>
   * Descomprimir:   * Descomprimir:
     * <code bash>unzip llama-b4610-bin-ubuntu-x64.zip</code>     * <code bash>unzip llama-b4610-bin-ubuntu-x64.zip</code>
 +  * Descargando GGUF Gemma
 +    * <code bash>wget -O Gemma-2-2B-IT-Platinum-Q4_K_M.gguf \
 +  https://huggingface.co/CelesteImperia/Gemma-2-2B-IT-GGUF/resolve/main/Gemma-2-2B-IT-Platinum-Q4_K_M.gguf?download=true</code>
 +  * qwen
 +    * <code bash>wget -O qwen2.5-0.5b-instruct-q4_k_m.gguf \
 +  "https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct-GGUF/resolve/main/qwen2.5-0.5b-instruct-q4_k_m.gguf"</code>
 +===== Ejecuntado llama.cpp =====
 +  * llama-cli, OJO tiene que estar dentro de la carpeta precompilada.
 +    * <code bash>./llama-cli -m ../qwen2.5-0.5b-instruct-q4_k_m.gguf --ctx-size 2048 --temp 0.7 --repeat-penalty 1.1 -n -1 -p "que modelo eres"</code>
 +    * 
lsf-20260824.1787617889.txt.gz · Última modificación: por jared