Fragen an ein vertragliches Dokument stellen? BERT macht es möglich und kombiniert dabei Natural Language Processing mit Machine Learning
Quelle: https://pixabay.com/de/illustrations/k%C3%BCnstliche-intelligenz-gehirn-hirn-3382507/
Was ist BERT?
BERT steht für Bidirectional Encoder Representations from Transformers und ist ein Sprachmodell, das aufgrund seiner Bidirektionalität eine höhere Kontexterkennung in Texten erzielt als vergleichbare unidirektionelle Modelle.
Im Google AI Blog (https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html) wird BERT als „State-of-the-Art Pre-training for Natural Language Processing“ bezeichnet und die Wichtigkeit und Notwendigkeit des bidirektionalen Kontextzusammenhangs hervorgehoben. Vor allem Zusammenhangsfehler bei Wörtern, die eine gewisse Mehrdeutigkeit aufweisen in Form von Homonymie und Polysemie, können durch ebendiese Betrachtung des NLP verringert werden.
Warum BERT?
Auf der Basis einer studentischen Bachelorarbeit am OEV digital campus 360 sollte der Natural Language Processing Dienst BERT in einem möglichen Use Case auf die Probe gestellt werden. Ziel war es, Fragen an ein Dokument stellen zu können, und diese „auf einen Klick“ automatisch beantwortet zu bekommen. Im Rahmen eines Hackathons wurden die Funktionalitäten des Sprachmodells eingesetzt, in eine Website implementiert und das automatisierte Beantworten von vertraglichen Fragen getestet.
Wie funktioniert BERT?
Die Nutzenden des Services laden ein Dokument im dafür vorgesehenen Upload-Feld auf einer Webseite hoch. Dies kann in Form einer Bild- (.png, .jpg) oder PDF-Datei erfolgen. Nach erfolgreichem Upload des Dokuments wird dessen Qualität bewertet. Verfügt die Datei über eine ausreichende Qualität, wird der Text mittels AWS Textextract extrahiert und aus seinem bisherigen Format in eine einfache Textdatei umgewandelt. Sowohl der Dokumenttext als auch die später eingehenden Fragen der Nutzenden werden in die englische Sprache übersetzt, da bisher nur nachtrainierte BERT-Versionen zur Beantwortung von Fragen existieren, die auf dem englischen BERT-Modell basieren.
Zur Erstellung des Sprachmodells verwendet BERT sogenannte Transformer. Dabei werden Wörter nicht aufeinanderfolgend von links nach rechts oder von rechts nach links betrachtet. Vielmehr werden einzelne Wörter mittels maschinellen Lernens in einen Kontext gebracht, indem ganze Wortsequenzen analysiert werden.
Das BERT Sprachmodell könnte auf Basis einer Datenbank, mit Kontext-Prognose-Paaren auch selbst trainiert werden. Im Rahmens des Hackathons fand jedoch ein bereits optimiertes BERT Modell aus der “Huggingface Transfomers Library”mittels der nachtrainierten Version “SQUAD” Verwendung – ein speziell auf Frage-Antworten spezialisiertes Modell.
Auf der oben erwähnten Website befindet sich neben der Möglichkeit des Dokumentenuploads eine Suchleiste. Nutzende können hier dann final nach dem Upload Fragen an das Dokument stellen, die über ein AWS API-Gateway an die AWS Lambda weitergeleitet und über einen AWS SageMaker-Endpunkt beantwortet werden. Nach erfolgter Rückübersetzung in die deutsche Sprache kann die Antwort auf die Frage angezeigt werden.