Lokale LLMs 2026: Qwen 3 statt Llama 4 für DSGVO-Workflows in Lübecker Kanzleien

Inhalt in Kürze

• Qwen 3 (Alibaba) und die Nachfolger 3.5 und 3.6 laufen auf Kanzlei-Hardware und stehen unter der freien Lizenz Apache 2.0. Llama 4 (Meta) scheidet für Lübecker Kanzleien aus: Die Lizenz schließt Unternehmen mit Sitz in der EU aus.
• Hardware: Mac Studio M5 Max (ab 2.999 Euro) oder PC mit RTX 5090 für Modelle bis 35 Milliarden Parameter, Mac Studio M5 Ultra (ab 6.599 Euro) für größere Modelle.
• DSGVO-Vorteil: Nichts verlässt die Kanzlei — Paragraf 203 StGB und DSGVO Artikel 32 strukturell sauber erfüllt, ohne Abhängigkeit von Cloud-Verträgen.
• Ollama als Runtime macht den Betrieb für KMU-Kanzleien praktikabel — ein Befehl lädt das Modell, REST-API für Anbindung an Outlook, beA-Umfeld und PDF-Workflows.
• Lokal: hagel IT baut lokale KI-Setups für Kanzleien in der Lübecker Altstadt, am Holstentor und im Umland mit 75 Minuten Anfahrt aus Hamburg.

Im April 2025 erschienen innerhalb von vier Wochen Llama 4 und Qwen 3 — offene Sprachmodelle, die auf eigener Hardware laufen und Antworten liefern, die zwei Jahre vorher ChatGPT vorbehalten waren. Seitdem hat Alibaba mit Qwen 3.5 und 3.6 nachgelegt. Bei Llama 4 steckt der Haken im Kleingedruckten: Die Lizenz schließt Unternehmen mit Sitz in der EU aus. Das ändert die DSGVO-Diskussion trotzdem fundamental. Vorher hieß es: “Wir wollen KI nutzen, dürfen aber Mandantendaten nicht zu OpenAI schicken — also lassen wir es.” 2026 heißt es: “Wir holen uns das Modell ins Haus.” Dieser Artikel zeigt, wie das in einer Lübecker Kanzlei konkret aussieht.

Lokale LLMs 2026: Was Llama 4 und Qwen 3 für Anwaltskanzleien bedeuten

Lokale LLMs sind keine neue Idee — aber 2026 sind sie zum ersten Mal in einem Reifegrad, der für produktive Kanzleiarbeit ausreicht. Drei Faktoren sind zusammengekommen:

Llama 4 von Meta (April 2025) gibt es in zwei frei herunterladbaren Varianten: Scout und Maverick, beide mit Mixture-of-Experts-Architektur. In Ollama belegt Scout 67 GB, Maverick 245 GB. Eine 70-Milliarden-Variante wie bei Llama 3 gibt es nicht, die angekündigte Großvariante Behemoth ist nicht frei verfügbar. Meta veröffentlicht die Modelle unter der Llama-Community-Lizenz. Entscheidend für Kanzleien ist die Nutzungsrichtlinie zu Llama 4: Für die multimodalen Llama-4-Modelle räumt Meta Unternehmen mit Hauptsitz in der EU die Nutzungsrechte nicht ein. Ausgenommen sind nur Endnutzer fertiger Produkte. Eine Kanzlei, die Llama 4 selbst auf eigener Hardware betreibt, fällt nach unserem Verständnis nicht darunter.

Qwen 3 von Alibaba (2025) ist in mehreren Benchmarks bei Logik, Mathematik und mehrsprachigen Aufgaben besser als Llama 4 — bei vergleichbarer Größe. Qwen 3 hat allerdings einen chinesischen Ursprung, was für viele Kanzleien zumindest eine bewusste Entscheidung erfordert. Die Modelle sind unter Apache 2.0 lizenziert und stehen auf Hugging Face frei zur Verfügung — kommerzielle Nutzung ohne Einschränkungen. Im Februar 2026 folgte Qwen 3.5 (von 0,8 bis 397 Milliarden Parametern), im April 2026 Qwen 3.6 mit 27 und 35 Milliarden Parametern, ebenfalls unter Apache 2.0. Qwen 3.6 27B belegt in der Ollama-Bibliothek rund 18 GB und läuft damit auf einem gut ausgestatteten Arbeitsplatzrechner.

Wer kein Modell chinesischer Herkunft einsetzen möchte, hat zwei Alternativen unter derselben Lizenz: gpt-oss von OpenAI (20 und 120 Milliarden Parameter, August 2025) und Mistral Small 3.2 (24 Milliarden Parameter, Juni 2025) vom Pariser Anbieter Mistral AI.

Ollama als Runtime (2024 erstmals breit verfügbar, im Oktober 2026 in Version 0.40) hat den Betrieb für Nicht-Spezialisten möglich gemacht. Sie installieren Ollama, geben ein Kommando wie ollama pull qwen3.6:27b ein, und das Modell ist sofort über eine REST-API ansprechbar. Was vor drei Jahren noch Python-Skripte und Stunden Konfiguration brauchte, ist heute eine Sache von Minuten.

Für eine breitere Einordnung im KMU-Kontext lohnt unser Pillar-Artikel KI im Mittelstand 2026, der das Spannungsfeld zwischen Cloud-KI und lokalen Modellen ausführlich beschreibt.

Hardware-Anforderungen 2026: Was Sie wirklich brauchen

Die Hardware-Frage hängt vom Modell ab. Seit September 2026 gibt es den Mac Studio mit M5 Max und M5 Ultra, die Preise nennt Notebookcheck zur Vorstellung am 25. August 2026. Hier die Kategorien:

Kleine Setups (bis rund 10 Milliarden Parameter, etwa Qwen 3.5 9B):

• Aktueller Mac oder Windows-PC mit mindestens 16 GB Arbeitsspeicher beziehungsweise Grafikspeicher
• Eignet sich für Mail-Drafting, einfache Vertragszusammenfassungen, Recherche-Skizzen
• Antwortqualität gut für Standardaufgaben, bei komplexen Vertragsanalysen merklich schwächer

Mittlere Setups (27 bis 35 Milliarden Parameter, etwa Qwen 3.6, Mistral Small 3.2 oder gpt-oss 20B):

• Workstation mit Nvidia RTX 5090 (32 GB Grafikspeicher)
• Mac Studio M5 Max (ab 2.999 Euro mit 36 GB, für mehrere gleichzeitige Nutzer besser 64 oder 128 GB)
• Eignet sich für anspruchsvolle Vertragsanalysen, juristische Argumentation, mehrsprachige Mandate
• Antwortqualität auf Niveau von Cloud-Modellen der Vorjahres-Generation

Große Setups (über 100 Milliarden Parameter, etwa Qwen 3.5 122B oder gpt-oss 120B):

• Mac Studio M5 Ultra (ab 6.599 Euro mit 96 GB; 256 GB kosten 4.400 Euro Aufpreis)
• High-End-Server-GPUs (Nvidia H100/H200) — für KMU außerhalb des Sinnvollen
• Eignet sich für die anspruchsvollsten Aufgaben, lohnt sich nur für größere Kanzleien (30+ Berufsträger)

Für eine Lübecker Kanzlei mit fünf bis fünfzehn Anwälten empfehlen wir einen Mac Studio mit M5 Max oder M5 Ultra und einem Modell der Qwen-3.6-Klasse — das Gerät läuft leise im Serverraum und ist energieeffizient.

Ollama als Runtime: Der einfachste Weg in die lokale KI

Ollama ist 2026 der Standard für lokale LLM-Bereitstellung in KMU. Drei Gründe:

Einfachheit. Installation dauert fünf Minuten auf macOS, Linux oder Windows. Modelle werden mit einem Befehl heruntergeladen (ollama pull qwen3.6:27b) und sind sofort verfügbar. Es gibt keine Konfigurationsdateien, keine Python-Umgebung, keine Dependencies-Hölle.

Multi-Modell-Betrieb. Sie können parallel mehrere Modelle bereithalten und je nach Use Case wechseln. Für eine Lübecker Kanzlei bieten sich drei Modelle an: Qwen 3.6 27B für Standardaufgaben, Mistral Small 3.2 oder gpt-oss als zweite Meinung aus anderer Herkunft und ein kleines Modell wie Qwen 3.5 9B für schnelle Antworten ohne hohen Anspruch.

REST-API. Ollama stellt sofort eine HTTP-API bereit, mit der jedes Frontend, jede Browser-Erweiterung und jedes Outlook-Add-In sprechen kann. Anbindung an die Kanzleisoftware ist damit eine reine Integrationsfrage, kein KI-Problem.

Wir nutzen Ollama in Kombination mit OpenWebUI (Browser-Frontend mit Chat-Verlauf, Multi-Nutzer-Verwaltung und PDF-Upload) und einem Outlook-Add-In, das Mail-Drafting direkt im Postfach erlaubt. Das Setup ist nach unserem Standardvorgehen in zwei bis drei Tagen produktiv.

Weiterführende technische Details zu Ollama finden Sie in der offiziellen Dokumentation und auf Hugging Face für Modell-Varianten und Quantisierungen.

Vier produktive Use Cases für Lübecker Kanzleien

Was lokal funktioniert — und was nicht:

1. Mandanten-Mail-Drafting

Der Anwalt skizziert in zwei Sätzen, was er einem Mandanten schreiben will. Das LLM formuliert daraus eine vollständige E-Mail im Kanzlei-Ton. Der Anwalt liest gegen, kürzt, sendet. Zeitersparnis pro E-Mail: zwei bis acht Minuten, je nach Komplexität. Bei 15 Mandanten-Mails pro Tag und Anwalt ergibt das schnell 45-60 Minuten am Tag.

Wichtig: Das Modell schreibt keine fertigen E-Mails an Mandanten — es schreibt Entwürfe, die der Anwalt prüft. Verantwortung bleibt beim Berufsträger. Der LLM-Drafting-Workflow ist im Grunde genommen das, was Microsoft Copilot in der Cloud anbietet — nur dass nichts die Kanzlei verlässt.

2. Vertragsanalyse mit PDF-Upload

Der Anwalt zieht eine 40-seitige Vertrags-PDF in ein Browser-Frontend, stellt drei Fragen: “Welche Risikoklauseln sind enthalten?”, “Welche Fristen muss ich beachten?”, “Wo weicht der Vertrag vom Standard ab?”. Das LLM antwortet in einer strukturierten Übersicht — als Startpunkt für die juristische Detailprüfung.

Die Qualität leidet nicht, solange der Anwalt alle Stellen selbst prüft, die das LLM markiert hat — er findet sie nur schneller.

3. Recherche-Vorbereitung

Der Anwalt skizziert einen Sachverhalt in fünf Sätzen. Das LLM strukturiert mögliche Anspruchsgrundlagen, nennt verwandte Themen und schlägt Suchwege vor. Wichtig: Das LLM ersetzt keine juristische Recherche mit Stand-der-Rechtsprechung-Anspruch — dafür sind die internen Wissensstände nicht aktuell genug. Aber als Startpunkt, um Recherchezeit zu fokussieren, ist es exzellent.

Welche IT-Bausteine wir für Kanzleien zusammenstellen — von Aktenablage bis Verschlüsselung — zeigen wir auf unserer Service-Seite IT-Systeme für Anwaltskanzleien.

4. Standardschriftsätze

Mahnungen, Fristverlängerungen, Abtretungserklärungen, Bestätigungsschreiben — alles wiederkehrende Schriftsätze, die aus Vorlagen und Mandanten-Stammdaten erzeugt werden können. Das LLM bekommt die Vorlage plus die Mandanten-Daten und liefert einen vollständigen Entwurf. Der Anwalt prüft, signiert, sendet.

Das ist nicht das spektakulärste Anwendungsgebiet. Es lohnt sich vor allem in Kanzleien mit hohem Aufkommen wiederkehrender Schriftsätze (Mahnverfahren, Insolvenzverwaltung, Familienrecht).

Wir starten jede Zusammenarbeit mit einer Cyber-Risikoanalyse gemeinsam mit der Geschäftsführung. Nicht um Angst zu machen, sondern um ehrlich zu sehen, wo Sie stehen — und was als Erstes passieren muss.

Jens HagelGründer, hagel IT-Services GmbH

Bei lokalen LLM-Projekten ist der erste Schritt nicht der Hardware-Kauf, sondern eine Risiko- und Datenflussanalyse: Welche Daten gehen heute schon in welche Cloud-Tools? Wo ist das problematisch? Welche Workflows würden vom lokalen LLM am meisten profitieren?

DSGVO und Paragraf 203 StGB: Warum lokal strukturell sauber ist

Der Hauptgrund, warum lokale LLMs für Anwaltskanzleien 2026 attraktiv sind, ist die strukturelle DSGVO-Situation:

Keine Auftragsverarbeitung nach außen. Wenn das LLM auf der Hardware in der Kanzlei läuft, gibt es keinen externen Auftragsverarbeiter. Sie schließen keine AVV mit OpenAI, Anthropic oder Microsoft — Sie haben einfach keine. Das vereinfacht die Datenschutz-Folgenabschätzung erheblich.

Paragraf 203 StGB strukturell erfüllt. Berufsgeheimnisse werden im LLM verarbeitet, aber das LLM verlässt die Kanzlei nicht. Damit liegt keine “Offenbarung” im Sinne von Paragraf 203 vor — das LLM ist juristisch ein Werkzeug, vergleichbar mit einem Textverarbeitungs-Programm, nicht mit einem Dritten.

Audit-tauglich. Alle Anfragen lassen sich lokal protokollieren. Wer hat wann was gefragt, welche Antwort kam, welche Daten waren involviert. Bei externen Datenschutz-Prüfungen liefert das einen lückenlosen Nachweis.

Was Sie selbst regeln müssen: Zugangskontrolle zur KI-Station (Authentifizierung pro Nutzer, idealerweise Single-Sign-On mit Microsoft Entra ID), Netzwerk-Segmentierung (KI-Station in eigenem VLAN, kein Internet-Ausgang nötig), Backup-Konzept (das LLM selbst ist groß, die Konfiguration und die Logs sind klein). Unsere ausführliche DSGVO-Praxis für KMU deckt diese Aspekte tief ab.

Das BSI hat schon 2021 einen Kriterienkatalog für KI-Cloud-Dienste veröffentlicht — die BSI-AI-Cloud-Service-Compliance-Kriterien (AIC4) gelten zwar primär für Cloud-Services, lassen sich aber sinngemäß auch auf lokale Setups anwenden. Wir orientieren uns in unseren Projekten an diesen Vorgaben.

Lübeck-Spezifika: Altstadt, Holstentor-Nähe und Kanzlei-Cluster

In Lübeck unterscheiden sich die Anforderungen je nach Lage und Kanzleityp.

Lübecker Altstadt (UNESCO-Welterbe): Viele klassische Kanzleien mit zwei bis acht Berufsträgern, gewachsene Mandantenstämme aus dem Lübecker Mittelstand und der Hansestadt-Wirtschaft. Hier ist die Datenschutz-Sensibilität besonders hoch — Mandanten sind oft prominente lokale Akteure, deren Mandate vertraulich bleiben müssen. Lokale LLMs treffen genau diesen Nerv.

Holstentor-Nähe und Innenstadt: Wirtschaftskanzleien mit internationalen Mandaten, oft mehrsprachig (deutsch, englisch, skandinavische Sprachen wegen Ostsee-Nähe). Qwen 3.6 ist hier wegen seiner mehrsprachigen Stärken eine naheliegende Modellwahl — für anspruchsvolle Vertragsanalysen auf einem Mac Studio M5 Ultra auch in größeren Varianten.

Travemünde und Lübecker Umland: Familien- und Erbrechts-Kanzleien, Notariate, gemischte Praxen. Hier ist die Hardware-Frage besonders relevant, wenn kein zentraler Serverraum existiert — dann bieten sich Mac-Studio-Setups an, die leise im Sekretariat oder einem Backoffice-Raum stehen.

Unsere Übersicht zum Standort Lübeck und die spezialisierte IT-Beratung Lübeck bieten den passenden Eingangspunkt für Kanzleien, die zunächst die generelle IT-Aufstellung sortieren wollen.

Das Zitat stammt aus einem Maschinenbau-Mandanten, gilt aber sinngemäß für Anwaltskanzleien genauso: Die Verantwortung für Mandantengeheimnis und IT-Sicherheit liegt beim Anwalt, das technische Know-how liegt bei der IT — beides muss zusammenarbeiten.

Kostenrechnung: Lokal vs. Cloud-KI im 3-Jahres-Vergleich

Eine ehrliche Kostenrechnung für eine Lübecker Kanzlei mit zehn Anwälten und Mitarbeitern:

Die Cloud-Preise: Microsoft 365 Copilot als Zusatz zu Business Standard oder Premium kostete im Juni 2026 laut Dr. Windows 18,20 Euro pro Nutzer und Monat, seit Juli 2026 gilt ein Listenpreis von 21 US-Dollar. Ein Claude-Team-Standardplatz kostet laut Anthropic-Preisliste 20 US-Dollar im Monat bei jährlicher Zahlung. Die Hardwarepreise stammen von Apple (Stand August 2026).

Über den reinen Preis gewinnt damit die Cloud. Für lokale LLMs spricht etwas anderes: Mandantendaten verlassen die Kanzlei nicht, es gibt keinen Auftragsverarbeiter und keine Abhängigkeit von Preisrunden der Anbieter.

Was die Cloud-Variante punktuell vorne hat: Geschwindigkeit (kein Setup nötig), Skalierbarkeit (mehr Nutzer ohne Hardware-Kauf), aktuellste Modelle (Cloud-Anbieter pushen die neuesten Versionen sofort). Für viele KMU-Kanzleien überwiegen jedoch die lokalen Vorteile — und in einem hybriden Setup (Cloud für allgemeine Aufgaben, lokal für sensible Mandantendaten) bekommt man das Beste aus beiden Welten.

Häufige Fehler beim Aufbau lokaler LLMs

• Hardware zu klein gewählt. Wer mit kleinen Modellen einsteigt und nach drei Wochen merkt, dass die Qualität für anspruchsvolle Vertragsanalysen nicht reicht, hat 5.000 Euro für eine Workstation ausgegeben, die später als Reserve-PC läuft. Lieber gleich passend dimensionieren — wir helfen im Workshop bei der Hardware-Entscheidung.
• Modelle nicht aktuell halten. Qwen ist innerhalb eines Jahres von Version 3 über 3.5 (Februar 2026) auf 3.6 (April 2026) gesprungen. Wer ein Modell einmal lädt und nie wieder aktualisiert, verschenkt diese Fortschritte. Die Update-Routine gehört in den Wartungsvertrag.
• Keine Zugriffsrechte definiert. Wenn jeder in der Kanzlei das LLM mit jedem Mandanten füttert, gibt es nach drei Monaten Compliance-Fragen. Wir definieren in jedem Projekt: Wer darf welches Modell mit welchen Daten ansprechen, wer kann die Logs einsehen.
• Audit-Logs vergessen. Ohne Protokoll lässt sich später nicht nachvollziehen, was das LLM wann gemacht hat. Wir konfigurieren Ollama mit eingeschalteten Request-Logs und einer 12-Monats-Aufbewahrung.
• Mitarbeiter nicht geschult. Ein Anwalt, der nicht weiß, wie er das LLM produktiv nutzt, ignoriert es. Zwei Stunden Schulung pro Anwalt plus eine Stunde "Power-User-Tipps" nach vier Wochen sind die richtige Dosis.

So starten wir mit Ihrer Lübecker Kanzlei

Wir bauen lokale KI-Setups für Lübecker Anwaltskanzleien in einem festen Vorgehen — Workshop in der Kanzlei, Hardware-Empfehlung, Installation, Anbindung an Outlook und PDF-Workflows, Schulung. Wir kommen vor Ort in die Altstadt, ans Holstentor, nach Travemünde oder ins Lübecker Umland — Anfahrt aus unserem Hamburger Büro Spaldingstraße rund 75 Minuten.

Das 15-Minuten-Erstgespräch ist kostenlos und ohne Vertriebsdruck. In diesen 15 Minuten klären wir, ob ein lokales LLM für Ihre Kanzlei der richtige Hebel ist — oder ob in Ihrem Fall eine DSGVO-konforme Cloud-KI (Microsoft Copilot mit EU-Data-Boundary) das passendere Werkzeug wäre. Wir empfehlen nur das, was wirklich passt. Mehr zum spezifischen Kanzlei-Kontext finden Sie auf IT-Dienstleister für Rechtsanwälte & Kanzleien und im Vergleichs-Artikel KI-Agents Claude vs. OpenAI.

Fazit: 2026 ist das Jahr, in dem lokale KI für Kanzleien produktiv wird

Offene Modelle wie Qwen 3.6 und Werkzeuge wie Ollama haben 2026 zusammen eine Schwelle überschritten: Lokale LLMs sind keine Bastel-Lösung mehr, sondern produktive Option für Kanzleien, die Mandantengeheimnis ernst nehmen und gleichzeitig die Effizienzvorteile von KI nicht aufgeben wollen.

Wer jetzt einsteigt, lernt mit Modellen, die in den nächsten Jahren nur besser werden — und baut eine KI-Infrastruktur auf, die unabhängig von Cloud-Anbietern, Preisrunden und CLOUD-Act-Diskussionen ist. Das ist nicht “KI aus Mode”, sondern eine Investition mit Substanz für jede Kanzlei, die in zehn Jahren noch existieren will.

Veröffentlicht am 23. Oktober 2026. Autor: Jens Hagel, Gründer hagel IT-Services GmbH. Quellen: Meta AI — Llama-Dokumentation, Meta — Llama 4 Acceptable Use Policy, Hugging Face — Qwen-Modelle, Ollama Modell-Bibliothek, Notebookcheck — Mac Studio M5, BSI AI-Cloud-Service-Compliance-Kriterien, eigene Projekt-Erfahrungen 2025-2026.