Datensouveränität ist mehr als nur ein Buzzword. Wenn Daten der Treibstoff des 21. Jahrhunderts sind, dann ist die Cloud-Infrastruktur der Motor der Maschine. Die Abhängigkeit von Drittanbietern erhöht das Risiko, die Kontrolle über die eigenen Daten zu verlieren – sei es durch regulatorische Unsicherheiten, technische Änderungen des Anbieters oder potenzielle Ausfälle. Für Unternehmen kann dies nicht nur rechtliche und sicherheitstechnische Folgen haben, sondern auch direkte geschäftliche Risiken mit sich bringen, von steigenden Kosten bis hin zum Verlust strategischer Unabhängigkeit.
Was ist eine private KI-Cloud?
Eine private KI-Cloud ist nach unserem Verständnis eine Cloud-Infrastruktur, bei der nur Sie als Schlüsselinhaber Zugriff auf die Daten haben. Das bedeutet, dass zwischen Ihnen und Ihren Daten keine dritte Person steht, die den Zugriff hindern oder steuern kann. Weder Behörden noch Drittparteien können auf Ihre Daten zugreifen, soweit sie nicht eine 256 AES-Verschlüsselung knacken können. Gleichzeitig haben Sie über das Internet von überall über eine öffentlich abrufbare Webseite Zugriff auf Ihre Daten und KI-Dienste.
Im Gegensatz zu öffentlichen Cloud-Diensten wie ChatGPT, Google Cloud oder Microsoft Azure, bei denen Ihre Daten auf fremden Servern gespeichert werden und die Anbieter potenziell Zugriff haben, behalten Sie bei einer privaten KI-Cloud die vollständige Kontrolle über Ihre Daten und die verwendeten KI-Modelle.
Warum eine private KI-Cloud?
Die Hauptvorteile einer privaten KI-Cloud sind:
- Volle Datensouveränität: Sie behalten die vollständige Kontrolle über Ihre Daten.
- Datenschutz und Datensicherheit: Sensible Informationen verlassen nicht Ihre Infrastruktur.
- Compliance: Einfachere Einhaltung von Datenschutzbestimmungen wie der DSGVO.
- Unabhängigkeit: Keine Abhängigkeit von externen Anbietern und deren Preisänderungen.
- Anpassbarkeit: Maßgeschneiderte Lösungen für Ihre spezifischen Anforderungen.
Anwendungsfälle
Die private KI-Cloud kann für verschiedene Anwendungsfälle genutzt werden:
- Cloud Storage: Ähnlich wie Dropbox oder OneDrive, aber ohne Zugriff durch Drittparteien.
- Spracherkennung und Transkription: Umwandlung von Sprache in Text für Meetings, Interviews oder Diktate.
- Textgenerierung und -analyse: Erstellung von Berichten, Zusammenfassungen oder Analysen.
- Dokumentenverarbeitung: Extraktion von Informationen aus Dokumenten.
- Lokale KI-Assistenten: Chatbots oder Assistenten, die auf Ihre spezifischen Bedürfnisse zugeschnitten sind.
Unsere Reise zur eigenen KI-Cloud
In den frühen Tagen von Simpliant investierten wir in das beste Spracherkennungsmodell auf dem Markt. Die Lizenzkosten lagen bei rund 1.400 € plus ein Mikrofon mit High-End-Aufnahmefähigkeiten für etwa 350 € pro Arbeitsplatz. Diese Investition lohnte sich, weil sie unser Verfassen von Prüfberichten, Memos und rechtlichen Analysen erheblich beschleunigte.
Als ChatGPT aufkam, insbesondere die ChatGPT-App für das Handy, waren wir begeistert von der überragenden Qualität der Spracherkennungsfunktion. Mit dem regulären Mikrofon eines iPhones war es bei weitem genauer und schneller als die teure Lösung, die wir zuvor benutzt hatten.
Für unseren Anwendungsfall war es jedoch kein praktisches tägliches Arbeitswerkzeug, da wir die volle Kontrolle über unsere Daten benötigten.
Technischer Aufbau
In unserem Aufbau befinden sich die Daten auf einem Computer, der bei uns im Büro steht. Das ist natürlich nur eine Möglichkeit. Sie könnten Ihren Computer auch bei einem Hosting-Provider unterbringen (Co-Hosting) oder einen virtuellen Computer auf einer Hosting-Plattform betreiben.
Hardware-Anforderungen
Um auf Ihrem Computer KI-Anwendungen mit ausreichender Leistung laufen zu lassen, benötigen Sie:
- Leistungsstarke Grafikkarte: Eine GPU mit genügend VRAM, wie z.B. eine NVIDIA GeForce RTX 4070 oder besser.
- Ausreichend RAM: Mindestens 16 GB, idealerweise 32 GB oder mehr.
- Schneller Prozessor: Ein moderner Multi-Core-Prozessor.
- Ausreichend Speicherplatz: SSD-Speicher für schnellen Zugriff auf Daten und Modelle.
Software-Komponenten
Unsere Lösung basiert auf folgenden Software-Komponenten:
- Betriebssystem: Linux Ubuntu Server
- KI-Modelle:
- Whisper für Spracherkennung
- Llama 8B und Qwen 2.5 als lokale LLMs
- Container-Technologie: Docker für einfache Bereitstellung und Skalierung.
- Backend: Flask-App für die API-Schnittstelle.
- Authentifizierung: Eigene Authentifizierungslösung für sicheren Zugriff.
Zugriff und Verschlüsselung
In unserem Aufbau funktioniert der Datenzugriff über einen Virtual Private Server (VPS) bei einem Drittanbieter. Dieser bietet den sogenannten Access Layer und ist über eine öffentliche IP oder eine öffentliche Webseite über das Internet erreichbar.
Die Verbindung zwischen dem VPS und dem lokalen Computer erfolgt über ein Virtual Private Network (VPN). Dies bedeutet, dass eine verschlüsselte Verbindung zwischen dem VPS und dem lokalen Computer bzw. Server hergestellt wird. Wir nutzen hierfür WireGuard.
Sicherheitsmaßnahmen
Sie sollten Ihren VPS mit grundlegenden Sicherheitsmaßnahmen härten:
- Installation einer Firewall
- Installation von Fail2Ban
- Änderung Ihres SSH-Ports
- Deaktivierung des Passwortzugriffs
- Änderung des Root-Nutzers
Darüber hinaus können Sie Ihre Domain schützen, indem Sie Drittanbieter-Services wie Cloudflare nutzen, um Ihre Domain gegen DDoS-Angriffe zu schützen. Vom Cloudflare-Tunnel raten wir allerdings ab, da dann Cloudflare Zugriff auf Ihre Daten hat.
Ihr Access Layer sollte durch ein Service wie Authentik geschützt werden. Hierbei sollten Sie darauf achten, dass ein Zugriff nur mit Zwei-Faktor-Authentifizierung möglich ist. Darüber hinaus können Sie IP-Adressen blocken, die nicht Ihrer Länderregion angehören.
Netzwerkisolation
Idealerweise sollte Ihre private KI-Cloud isoliert von Ihren anderen Geräten in einem Virtual LAN laufen. Dies geht durch ein physisches Gerät mit WLAN-Funktion, wie z.B. einen Router oder einen Switch.
Implementierungsschritte
- Hardware vorbereiten
Stellen Sie sicher, dass Ihr Computer die notwendigen Hardware-Anforderungen erfüllt, insbesondere eine leistungsstarke GPU für KI-Workloads.
- Betriebssystem installieren
Installieren Sie ein Linux-basiertes Betriebssystem wie Ubuntu Server für maximale Kontrolle und Sicherheit.
- KI-Modelle einrichten
Installieren Sie die gewünschten KI-Modelle wie Whisper für Spracherkennung und Llama oder Qwen für Textgenerierung.
- Netzwerk konfigurieren
Richten Sie einen VPS ein und konfigurieren Sie WireGuard für eine sichere VPN-Verbindung zwischen Ihrem lokalen Server und dem VPS.
- Sicherheitsmaßnahmen implementieren
Härten Sie Ihren VPS und Ihren lokalen Server mit den oben genannten Sicherheitsmaßnahmen.
- Benutzeroberfläche entwickeln
Entwickeln Sie eine benutzerfreundliche Oberfläche für den Zugriff auf Ihre KI-Dienste, entweder als Web-App oder als native Anwendung.
- Backup-Strategie implementieren
Richten Sie regelmäßige Backups ein, um Datenverlust zu vermeiden. Idealerweise können Sie über kostenlose Dienste wie Proxmox virtuelle Maschinen erstellen, auf denen Ihre Dienste laufen. Die virtuellen Maschinen können Sie spiegeln, kopieren und hierfür Backup-Routinen erstellen.
Vorteile im Detail
Volle Datensouveränität: Sie haben die vollständige Kontrolle über Ihre Daten und müssen keine Verträge mit Drittparteien abschließen, abgesehen vom Auftragsverarbeitungsvertrag mit Ihrem VPS-Hosting-Provider.
Datenschutz und Datensicherheit: Ihre sensiblen Daten verlassen nicht Ihre Infrastruktur, was besonders wichtig ist für Unternehmen, die mit vertraulichen Informationen arbeiten.
Compliance: Einfachere Einhaltung von Datenschutzbestimmungen wie der DSGVO, da Sie genau wissen, wo Ihre Daten gespeichert sind und wer darauf Zugriff hat.
Unabhängigkeit: Keine Abhängigkeit von externen Anbietern und deren Preisänderungen oder Service-Einstellungen.
Anpassbarkeit: Sie können die KI-Modelle und -Dienste genau an Ihre Bedürfnisse anpassen.
Herausforderungen und Einschränkungen
Technische Komplexität: Der Aufbau und die Wartung einer privaten KI-Cloud erfordern technisches Know-how.
Initiale Kosten: Die Anschaffung der notwendigen Hardware und die Einrichtung können initial kostspielig sein.
Wartungsaufwand: Ihre private KI-Cloud sollte idealerweise Redundanzen haben, d.h. Sie sollten idealerweise zwei Computer an zwei unterschiedlichen Standorten mit unterschiedlichen Internetverbindungen haben sowie verschiedene Zugangspunkte über VPS.
Stromverbrauch: Leistungsstarke Hardware für KI-Workloads verbraucht entsprechend viel Strom.
Begrenzte Rechenleistung: Im Vergleich zu großen Cloud-Anbietern ist die verfügbare Rechenleistung begrenzt.
Fazit und Ausblick
Das Sammeln von Daten und die strategische Planung der KI-Implementierung in Ihrem Unternehmen werden entscheidend sein, um in den kommenden Jahren einen Wettbewerbsvorteil zu erlangen. Insbesondere sind wir der Meinung, dass es nicht nur auf die Kapazitäten der großen Sprachmodelle als Basis ankommt, sondern auf die Daten, die Sie generieren und intelligent basierend auf Ihrem spezifischen Geschäftsmodell integrieren.
Um ein hohes Maß an Datensicherheit, Schutz des geistigen Eigentums, Datenschutz und Compliance aufrechtzuerhalten, während Sie niedrige Kosten haben und nicht auf Big-Tech-Monopolisten angewiesen sind, könnte dies die entscheidendste Zeit für Ihr Unternehmen sein, in KI zu investieren.
Wir nutzen unsere private KI-Cloud täglich, um Texte zu transkribieren und KI auf sichere und rechtlich konforme Weise zu verwenden.
Interessiert an einer eigenen privaten KI-Lösung?
Gemeinsam mit unseren Technologiepartnern bieten wir schlüsselfertige On-Premise-AI-Cloud-Lösungen, die exakt auf Ihre Anforderungen zugeschnitten sind – ob in Ihrem eigenen Rechenzentrum oder in einer Public-Cloud-Umgebung.
Als Kanzlei und Beratung stellen wir sicher, dass alle regulatorischen Anforderungen, insbesondere die DSGVO, vollständig erfüllt werden. Kontaktieren Sie uns für eine unverbindliche Beratung!