Hydra
- Eigen hardware
- Zonder cloud
- LLM's
eigen AI-server, zonder de cloud
Voor jouw organisatie: AI op je eigen hardware: je data blijft binnen, en je hangt niet af van de prijzen en voorwaarden van een cloudaanbieder.
Draait de LLM's voor mijn andere projecten op eigen hardware, ruim 3 keer zo snel als de bekende open-source motor op dezelfde kaarten, en traint er spraakmodellen op. Een taakplanner zet GPU-werk in de rij en een kaart die vrij is pakt het vanzelf op.
Techniek: Een AMD EPYC 7443 met 24 kernen en 256 GB geheugen, twee RTX 3090's op 250 W en een Radeon RX 6600 XT voor de Mac-VM's; Proxmox draait de virtuele machines.
ruim 3x zo snel als llama.cpp
Meer over HydraSluiten
Wat het doet
Eigen modellen op eigen hardware, ruim 3 keer zo snel
Hydra draait, traint en test de modellen voor mijn andere projecten lokaal, zonder de cloud. Het grote taalmodel draait op mijn eigen inference-opzet, op een open-source engine met eigen aanpassingen, waaronder een eigen GPU-kernel (3 tot 7% sneller). Dat is ruim 3 keer zo snel als llama.cpp met de beste instellingen, de bekende open-source motor waar tools als Ollama en LM Studio op voortbouwen. Proxmox verdeelt de machine in virtuele machines; een taakplanner zet GPU-werk in de rij, en een kaart die vrij is pakt het volgende werk vanzelf op.
- voor één gesprek met Qwen 3.8 Flash Next (125 miljard parameters), bij korte tekst en lange code; tot 209 als het antwoord uit de prompt overneemt
- 136 tokens/s
- zo snel als llama.cpp met de beste instellingen, de motor onder Ollama en LM Studio, op dezelfde twee kaarten
- ruim 3x
- samen bij vier gesprekken tegelijk
- ongeveer 200 tokens/s
- bij het inlezen van een prompt (tot 2.600); bij 30.000 tokens komt het eerste woord na ongeveer 12 s
- 2.500 tokens/s
Eigen meting, 6 november 2026, op mijn eigen server, gewone instellingen.
Eén gesprek, tokens per seconde: llama.cpp tegen mijn eigen inference-opzet
Korte prompt
- llama.cpp
- llama.cpp, n-gram
- Open-source engine
- + eigen kernel
Code-prompt van 30.000 tokens
- llama.cpp
- llama.cpp, n-gram
- Open-source engine
- + eigen kernel
Antwoord dat uit de prompt overneemt
- llama.cpp
- llama.cpp, n-gram
- Open-source engine
- + eigen kernel
Eigen meting, 6 november 2026, op mijn eigen server, gewone instellingen; mediaan van 512 gegenereerde tokens per prompt, ruis tussen runs ongeveer 6%. llama.cpp met de beste verdeling over beide kaarten, en met n-gram-speculatie. Open-source engine: met mijn eigen aanpassingen; + eigen kernel: daarbij een eigen GPU-kernel, 3 tot 7% sneller, met even goede antwoorden. Tegen llama.cpp met de beste instellingen is dat ongeveer 3,4x bij korte tekst, 4,5x bij lange code en 2,2x als het antwoord uit de prompt overneemt. Meerdere gesprekken tegelijk: totale tokens per seconde
Zonder bundelen
- 1 gesprek
- 2 gesprekken
- 4 gesprekken
Gebundeld, tot 4 tegelijk
- 1 gesprek
- 2 gesprekken
- 4 gesprekken
Eigen meting, 6 november 2026, op mijn eigen server, gewone instellingen. Gebundeld bij vier gesprekken: de beste van drie runs (192, 197 en 206), meestal ongeveer 200. Bundelen maakt van meer gebruikers meer doorvoer: bij vier gesprekken ongeveer 50 tokens per seconde per gesprek. Tokens per seconde: ongeveer woorden per seconde, ruim sneller dan je leest. Wat waar draait
Proxmox: de virtuele machines
- AMD EPYC 744324 kernen, 256 GB werkgeheugentaakplanner, virtuele machines en de experts die minder vaak nodig zijn
- RTX 3090begrensd op 250 Weerste deel van de lagen, plus de meestgebruikte experts
- RTX 3090begrensd op 250 Wtweede deel van de lagen, plus de meestgebruikte experts
- Radeon RX 6600 XTvoor de Mac-VM'sbeeld voor de virtuele Macs
Schematisch. De lagen van het taalmodel zijn verdeeld over de twee 3090's; de meestgebruikte experts staan op de GPU's, de rest in het werkgeheugen, en 99,1 tot 99,8% van het werk raakt de GPU's. De machine
Wat erin zit
- Moederbord
- ASRock Rack ROMED8-2T, twee 10 Gb-poorten
- Processor
- AMD EPYC 7443, 24 kernen, Noctua NH-U14S
- Geheugen
- 8 × 32 GB ECC DDR4-2666, alle 8 kanalen
- GPU's
- 2 × RTX 3090, elk begrensd op 250 W
- Mac-VM's
- AMD Radeon RX 6600 XT
- Voeding
- be quiet! Dark Power Pro 13, 1600 W
- Virtualisatie
- Proxmox VE
- Beheer
- volledig op afstand, als een echte server
- Netwerk
- 10 Gb
Een kleiner model, twee keer
Twee programmeerassistenten tegelijk
Voor het programmeerwerk draait er een 27B-model (Qwen 3.8 27B) op elke 3090 apart: twee gesprekken tegelijk, elk met tot ongeveer 237.000 tokens context. Gemeten op echt programmeerwerk tussen 22 oktober en 6 november 2026.
- per kaart bij langere antwoorden (mediaan); korte antwoorden ongeveer 110
- 70 tokens/s
- als het antwoord veel uit de prompt overneemt
- tot 309 tokens/s
- echt programmeerwerk in ruim twee weken
- ruim 6.000 verzoeken
Live logboek van de programmeerdienst, ruim 6.000 verzoeken, 22 oktober tot 6 november 2026.
Ook om te trainen
37 adapters voor spraakherkenning in één campagne
Op Hydra train ik ook modellen bij. Voor de Nederlandse spraakherkenning van Scribe trainde een campagne in augustus 2026 37 adapters (bijgetrainde aanvullingen op een model): voor Whisper turbo en small, voor Parakeet, en één proef met Whisper large-v3. Wat dat opleverde, en waarom de app nog de gewone Whisper gebruikt, staat bij Scribe.