Parselmund: Der AI immer den einen Prompt voraus
Slack-Bot AI Parselmund
Der Hype findet kein Ende. AI hier und AI da und AI Skynet und AI Job weg. Auch Vizbeth konnte sich dem Tamtam nicht entziehen und hat Ende 2023 ein Projekt zur Unterstützung von Redakteuren bei der Generierung von Artikelideen mithilfe von KI entwickelt. Der Kern des Projekts ist der Slack-Bot “Parselmund”, der nahtlos in bestehende Slack-Workspaces und -Kanäle integriert werden kann. Anstatt auf Cloud-basierte KI-Dienste zurückzugreifen, musste ein lokales Mistral-7b-Modell (mit Finetuning für die deutsche Sprache) eingesetzt werden, um die Anforderungen des Unternehmens an Datensicherheit und Unabhängigkeit von externen Anbietern zu erfüllen.
Technische Details
Der von Vizbeth entwickelte Slack-Bot “AI Parselmund” bietet eine Reihe leistungsstarker Funktionen, darunter die Generierung von Artikelideen, die Verwaltung von Prompts, die Bewertung von Prompts und Artikeln sowie eine Web-Scraping-Funktionalität zum Parsen von Artikeln als Quelle für die Generierung. Die Architektur basiert auf Python, FastAPI als Schnittstelle zwischen Datenbank, Vektordatenbank SurrealDB und Slack sowie der Slack-Bolt-Integration. PostgreSQL bzw. Supabase dient als Datenbank zur Speicherung von Prompts, Artikelideen, Bewertungen, Benutzerdaten und Quellen.
Das Bewertungssystem für Prompts und Artikelideen basiert auf einer einfachen Skala von 1 bis 5 (1 = schlecht, 5 = gut). Bewertet werden jeweils Prompt, Quellen und generierte Artikelideen als Paket, das als “Story” bezeichnet wird. Berechtigte Nutzer können im Chatbot die fünf besten “Stories” anzeigen lassen.
Die Benutzeroberfläche des Slack-Bots ermöglicht eine intuitive Interaktion über verschiedene Befehle wie /new_story zum Erstellen neuer “Stories”, /stories zur Anzeige der besten “Stories”, /edit_story zum Bearbeiten bestehender “Stories” und /del_story zum Löschen von “Stories”. Eine innovative Funktion ist die Möglichkeit für Nutzer, auf bestehende Prompts und Quellen anderer Nutzer innerhalb des Unternehmens zuzugreifen, diese zu verändern und daraus neue Artikelideen zu generieren.
Herausforderungen und innovative Lösungen
Während der Entwicklung des Projekts musste das Team von Vizbeth einige Herausforderungen meistern. Zu Beginn waren die GPU-Ressourcen auf ein 8-GB-VRAM-Modell beschränkt, was die Leistung beeinträchtigte. Daher mussten mehrere Modelle und quantisierte Varianten evaluiert werden, bis die Hardware aufgerüstet wurde.
Eine weitere Herausforderung stellte das Monitoring und die Darstellung der “Stories” dar. Anfänglich wurde eine Redis-Datenbank für die Aufzeichnung verwendet, aber es fehlte eine benutzerfreundliche Oberfläche zur Anzeige der Daten. Derzeit erfolgt die Umstellung auf die Open-Source-Lösung Helicone für das LLM-Monitoring, um eine bessere Überwachung und Analyse der Chatbot- und KI-Bot-Interaktionen sowie der Nutzeraktivitäten zu ermöglichen.
Skalierbarkeit und Leistung
Obwohl die Redaktion mit etwa sieben Redakteuren relativ klein war, wurde die API vollständig asynchron ausgelegt, um paralleles Arbeiten mit dem Chatbot zu ermöglichen. Nach der Aufrüstung der GPU-Hardware wurde die Rechenleistung über Proxmox auf mehrere virtuelle Systeme verteilt, wodurch ein schnelles und paralleles Arbeiten möglich ist. Datenbank und Chatbot sind derzeit kaum ausgelastet und erfordern keine spezielle Skalierungsstrategie.
Monitoring und Analyse
Neben der Bewertungsskala für “Stories” gibt es keine weiteren klassischen Metriken. Die Leistungsfähigkeit der KI wird nicht durch Benchmarking beurteilt, sondern durch eine semantische Analyse der Prompts, Quellen und KI-Ausgaben durch die Redakteure. Neben den “Stories” (Prompt, Quellen, KI-Output) werden auch Spezifikationen der LLM wie Modell, Kontext-Fenster und Geschwindigkeit (Token/s) gespeichert.
Zusammenfassung und Beurteilung
Das Projekt “Slack-Bot AI Parselmund” von Vizbeth hat erfolgreich gezeigt, wie KI-gestützte Chatbots in den Redaktionsalltag integriert werden können, um den Ideenfindungsprozess für Artikel zu unterstützen und zu beschleunigen. Trotz einiger technischer Herausforderungen, wie begrenzter GPU-Ressourcen und Schwierigkeiten beim Monitoring, konnte das Entwicklungsteam innovative Lösungen finden und den Bot kontinuierlich verbessern.
Die Zusammenarbeit mit dem Kunden war insgesamt sehr angenehm. Die Redakteure zeigten sich motiviert und offen für die neue Technologie, auch wenn die Kommunikation bezüglich der KI-Aspekte zunächst eine Herausforderung darstellte. Durch mehrere dedizierte Meetings zur Erklärung und Veranschaulichung der KI-Technologie konnten den Redakteuren jedoch Ängste und Bedenken genommen werden. Sie wurden ermutigt, sich aktiv mit eigenen Ideen in die Entwicklung einzubringen, was den Projektverlauf positiv beeinflusste.
Insgesamt hat das Projekt “Slack-Bot AI Parselmund” das Potenzial von KI im Redaktionsumfeld unter Beweis gestellt und eine solide Grundlage für zukünftige Weiterentwicklungen und Verbesserungen geschaffen.