Skip to main content

LLM Local Com Pouca VRam - llama.ccp + turbo quant 2 com Bonsai 2 27B

Updated 3 min readMarkdown

Como sempre, e de forma recorrente na minha vida, me interessei por um assunto e usei minhas horas vagas nos finais de semana para experimentar, descobrir e desvendar.

Há tempos venho me interessando por rodar IA localmente — Qwen, Bonsai, Wan, DeepSeek, GPT, Laya etc. —, porém não estava contente em fazer isso no meu computador principal, que, aliás, é bem capaz de executar esses modelos. Sou chato e cuidadoso com ele, além de receoso de torrar minha querida GPU (ainda mais com os preços atuais do mercado).

Surgiu para mim a oportunidade de adquirir uma RTX 3070 de 8 GB e, junto dela, uma placa-mãe com chipset A520, um Ryzen 5700G e 16 GB de RAM, tudo por um preço bacana.

O desafio aqui é evidente: fazer 8 GB de VRAM renderem sem precisar fazer offload dos modelos.

Testei alguns modelos. Entre eles, os que mais gostei foram o Qwen 2.5 Coder 7B, o Qwen3.5 9B Q4 e o Ternary Bonsai 2 27B, todos com o mesmo problema: contexto reduzido.

llama.cpp com TurboQuant

Instalei a última versão do Debian Server em um SSD, utilizei uma versão pré-compilada do llama.cpp e baixei alguns modelos.

Evidentemente, não consegui trabalhar com contextos maiores que 8k em alguns modelos e 4k em outros modelos quantizados. A pouca VRAM estava me limitando. Então, pesquisando, descobri alguns forks bem interessantes:

Projeto / Fork Repositório GitHub Contribuição para o projeto Papel
PrismML prismml-eng/llama.cpp Base do llama.cpp modificada para suportar modelos ternários, incluindo o Bonsai 27B com quantização PTQ1_0. Base principal
TurboQuant amesianx/turboquant Referência para os algoritmos de quantização e compressão do KV cache. Referência algorítmica
TurboQuant PrismML CUDA jarkevithwlad/turboquant-prismml-cuda Integração do TurboQuant com o PrismML, incluindo implementação CUDA para KV cache quantizado. Referência de implementação
Adaptive KV Streaming RaymondHuang210129/llama.cpp-adaptive-kv-streaming Arquitetura de paginação do KV cache, transferência entre RAM e VRAM, prefetch assíncrono e gerenciamento adaptativo da memória da GPU. Referência para evolução futura

Com a ajuda do GPT Astra, juntei alguns forks que implementavam o TurboQuant no llama.cpp da PrismML para conseguir rodar o Bonsai 2 com TurboQuant, resultando nesta branch.

Como resultado, consegui chegar a 90k de contexto com o Ternary Bonsai 2 27B.

./bin/llama-server \
  -m /opt/models/bonsai2-heretic/Ternary-Bonsai-2-27B-Uncensored-Heretic-PTQ1_0.gguf \
  --host 0.0.0.0 \
  --port 8081 \
  -ngl 99 \
  -c 90112 \
  -np 1 \
  --jinja \
  --flash-attn on \
  --cache-type-k turbo2 \
  --cache-type-v turbo2 \
  --reasoning auto \
  --min-p 0 \
  --mmproj /opt/models/bonsai2-heretic/mmproj-Q8_0.gguf \
  --no-mmproj-offload

Não é perfeito. Perde-se um pouco mais de tempo no prefill, porém isso abre caminho para usos mais extensos da LLM.

Cache K/V Consultas por bloco Prefill % da velocidade do Q4_1
Q4_1/Q4_1 Caminho convencional 870,36 tokens/s 100%
TURBO2/TURBO2 8 360,66 tokens/s 41,4%
TURBO2/TURBO2 4 418,57 tokens/s 48,1%

Testes realizados usando o llama-bench.

Observação: Ainda não testei usando 2 consultas por bloco.

Sandbox, Pi Agent, Zed e VS Code

Criei um sandbox com Docker + Pi Agent para realizar vários experimentos de forma isolada.

Obtive bons resultados com os 90k de contexto. A compactação funcionou como esperado e a qualidade do trabalho foi muito boa.

Na IDE Zed, utilizei uma extensão com suporte a ACP e, no VS Code, usei a extensão Pendant.

No comments yet. Be the first to comment.