Hardware

Was hier dokumentiert ist

Wirken läuft auf Standard-Hardware. Die vier Konfigurationen unten sind Referenzaufbauten für alle, die eine hardwareseitige Antwort auf die Frage „Worauf soll ich Wirken laufen lassen?" suchen. Keine davon ist eine Produktlinie. Alle vier sind Stücklisten. Sie oder Ihr Lieferant können dieselben Teile kaufen und dieselbe Maschine bauen.

Spule

Spule ist Wirken auf einem Raspberry Pi 5: Vermittlung, Adapter, Audit-Protokoll und WebChat auf der lokalen Maschine, LLM über TLS, keine Inferenz-Gewichte lokal. Wirken ist eine einzelne statische Binärdatei, gegen musl gelinkt; der aarch64-Build installiert über denselben Einzeiler-Installer ohne darunterliegende Laufzeitumgebung. Der Cortex-A76 enthält die ARMv8-Kryptografieerweiterungen, sodass das SHA-256-Hashing der Audit-Kette Hardware-Instruktionen nutzt. Spule hat gegenüber Fern weniger Kapazität für gleichzeitige Kanäle und aufbewahrte Historie.

Diese Teile werden als ein Kit geliefert, das BerryBase Raspberry Pi 5 NVMe Starterkit, für rund 229 €.

Fern

Fern beherbergt die Vermittlung, die Adapter, das Audit-Protokoll und die WebChat-Oberfläche und erreicht das LLM über TLS. Die lokale Maschine hält niemals Inferenz-Gewichte. Fern passt sauber zur Haltung der vertraulichen Inferenz: Die einzige ausgehende Inferenzverbindung ist ein attestierter HTTPS-Pfad, der sich auf der Netzwerkebene auf das Ziel pinnen lässt.

Heim

Heim ist die Aggregationsmaschine. Sie betreibt die Inferenz auf der Maschine selbst: Embedding-Generierung und die Librarian-Seite von Zirkel, dem Recherche-Aggregator von Wirken, sowie die Scoring-Durchläufe von Lyrik, dem Skill für statische Analyse. Es gibt keine ausgehende LLM-Verbindung.

RAIV

RAIV, ein redundantes Array preiswerter Grafikkarten, ist ein Inferenz-Server für Open-Weight-Modelle, keine Wirken-Maschine. Sieben gebrauchte Rechenzentrums-GPUs mit je 32 GB bilden zwei gespiegelte Gruppen zu je drei Karten plus eine Reservekarte. Eine Gruppe hält ein Modell der 100B-Klasse in Vier-Bit-Quantisierung mit Platz für Kontext. Jede Gruppe betreibt einen eigenen llama-server-Prozess, und nginx oder Caddy davor prüft auf beiden /health und schaltet um: Fällt in einer Gruppe eine Karte aus, bedient die andere Gruppe, die Reservekarte ersetzt die ausgefallene, und eine laufende Unterhaltung geht verloren. Wirken erreicht RAIV von einer Maschine der Fern- oder Heim-Klasse über das Netzwerk als OpenAI-kompatiblen Endpunkt. Aktuelle Ollama-Versionen lassen die gfx906-Unterstützung weg, die diese Karten brauchen; der Stack ist daher llama.cpp auf ROCm. Jede Karte ist auf etwa 150 W begrenzt, weil die Generierung an der Speicherbandbreite hängt, nicht an der Rechenleistung.

Die Teile kosten zusammen rund 3.530 €, die GPUs gebraucht zu je etwa 220 €. Bauanleitung: Introducing RAIV.

Wie diese Seite zu verwenden ist

Dies sind Stücklisten. Beschaffen Sie die Teile und bauen Sie die Maschine, oder reichen Sie die Liste an einen Integrator weiter, der das tut. Die Wirken-Binärdatei kennt den Unterschied zwischen einem Referenzaufbau und einer vergleichbaren Maschine, die Sie selbst zusammengestellt haben, nicht; sie fragt das Betriebssystem nach einem Vault-Schlüssel, einem Unix Domain Socket und einer Netzwerkschnittstelle, und Spule, Fern und Heim liefern das auf die gleiche Weise wie jeder andere Linux- oder macOS-Host. RAIV betreibt kein Wirken; Wirken erreicht es als Inferenz-Endpunkt. Wenn Sie ein strengeres Sicherheitsziel als diese Referenzen verfolgen, sind die Komponenten, die für einen Wirken-Einsatz zählen, dieselben Komponenten, die eine gehärtete Workstation ohnehin richtig macht: vollständige Festplattenverschlüsselung, ein echter TPM, Secure Boot und ein Schlüsselbund des Betriebssystems, dem Sie den Vault-Schlüssel anvertrauen.