LLM Local Com Pouca VRam - llama.ccp + turbo quant 2 com Bonsai 2 27B
Como sempre, e de forma recorrente na minha vida, me interessei por um assunto e usei minhas horas vagas nos finais de semana para experimentar, descobrir e desvendar.
Há tempos venho me interessando por rodar IA localmente — Qwen, Bonsai, Wan, DeepSeek, GPT, Laya etc. —, porém não estava contente em fazer isso no meu computador principal, que, aliás, é bem capaz de executar esses modelos. Sou chato e cuidadoso com ele, além de receoso de torrar minha querida GPU (ainda mais com os preços atuais do mercado).
Surgiu para mim a oportunidade de adquirir uma RTX 3070 de 8 GB e, junto dela, uma placa-mãe com chipset A520, um Ryzen 5700G e 16 GB de RAM, tudo por um preço bacana.
O desafio aqui é evidente: fazer 8 GB de VRAM renderem sem precisar fazer offload dos modelos.
Testei alguns modelos. Entre eles, os que mais gostei foram o Qwen 2.5 Coder 7B, o Qwen3.5 9B Q4 e o Ternary Bonsai 2 27B, todos com o mesmo problema: contexto reduzido.
llama.cpp com TurboQuant
Instalei a última versão do Debian Server em um SSD, utilizei uma versão pré-compilada do llama.cpp e baixei alguns modelos.
Evidentemente, não consegui trabalhar com contextos maiores que 8k em alguns modelos e 4k em outros modelos quantizados. A pouca VRAM estava me limitando. Então, pesquisando, descobri alguns forks bem interessantes:
| Projeto / Fork | Repositório GitHub | Contribuição para o projeto | Papel |
|---|---|---|---|
| PrismML | prismml-eng/llama.cpp | Base do llama.cpp modificada para suportar modelos ternários, incluindo o Bonsai 27B com quantização PTQ1_0. |
Base principal |
| TurboQuant | amesianx/turboquant | Referência para os algoritmos de quantização e compressão do KV cache. | Referência algorítmica |
| TurboQuant PrismML CUDA | jarkevithwlad/turboquant-prismml-cuda | Integração do TurboQuant com o PrismML, incluindo implementação CUDA para KV cache quantizado. | Referência de implementação |
| Adaptive KV Streaming | RaymondHuang210129/llama.cpp-adaptive-kv-streaming | Arquitetura de paginação do KV cache, transferência entre RAM e VRAM, prefetch assíncrono e gerenciamento adaptativo da memória da GPU. | Referência para evolução futura |
Com a ajuda do GPT Astra, juntei alguns forks que implementavam o TurboQuant no llama.cpp da PrismML para conseguir rodar o Bonsai 2 com TurboQuant, resultando nesta branch.
Como resultado, consegui chegar a 90k de contexto com o Ternary Bonsai 2 27B.
./bin/llama-server \
-m /opt/models/bonsai2-heretic/Ternary-Bonsai-2-27B-Uncensored-Heretic-PTQ1_0.gguf \
--host 0.0.0.0 \
--port 8081 \
-ngl 99 \
-c 90112 \
-np 1 \
--jinja \
--flash-attn on \
--cache-type-k turbo2 \
--cache-type-v turbo2 \
--reasoning auto \
--min-p 0 \
--mmproj /opt/models/bonsai2-heretic/mmproj-Q8_0.gguf \
--no-mmproj-offload
Não é perfeito. Perde-se um pouco mais de tempo no prefill, porém isso abre caminho para usos mais extensos da LLM.
| Cache K/V | Consultas por bloco | Prefill | % da velocidade do Q4_1 |
|---|---|---|---|
| Q4_1/Q4_1 | Caminho convencional | 870,36 tokens/s | 100% |
| TURBO2/TURBO2 | 8 | 360,66 tokens/s | 41,4% |
| TURBO2/TURBO2 | 4 | 418,57 tokens/s | 48,1% |
Testes realizados usando o llama-bench.
Observação: Ainda não testei usando 2 consultas por bloco.
Sandbox, Pi Agent, Zed e VS Code
Criei um sandbox com Docker + Pi Agent para realizar vários experimentos de forma isolada.
Obtive bons resultados com os 90k de contexto. A compactação funcionou como esperado e a qualidade do trabalho foi muito boa.
Na IDE Zed, utilizei uma extensão com suporte a ACP e, no VS Code, usei a extensão Pendant.
Comments
Join the discussionNo comments yet. Be the first to comment.



