Der Einsatz von ChatGPT im Prüfungswesen

| Autor/in:Marcus Herold
ai blog

Einleitung

Künstliche Intelligenz (KI) transformiert zahlreiche Branchen und Anwendungen, und der Bereich Audit bildet da keine Ausnahme. Mit KI können große Datenmengen analysiert, Muster erkannt und Aufgaben automatisiert werden, die früher manuell erledigt werden mussten. Ein spezielles KI-Tool, das die Art und Weise, wie Prüfungen durchgeführt werden, verändert, ist Chat-GPT. Aber was genau ist Chat-GPT und wie kann es im Prüfungswesen eingesetzt werden?

Was ist Chat-GPT?

Chat-GPT ist ein textbasiertes KI-Modell, das von OpenAI entwickelt wurde. Es basiert auf der GPT (Generative Pretraining Transformer) Technologie, die darauf spezialisiert ist, Muster in Daten zu erkennen und darauf basierend menschenähnliche Textantworten zu generieren. Chat-GPT kann komplexe Aufgaben erledigen, die von der Verarbeitung natürlicher Sprache über die Beantwortung von Fragen bis hin zur Erstellung von Berichten reichen.

Wichtige Begrifflichkeiten im Zusammenhang mit ChatGPT

In der nachfolgenden Tabelle werden einige wichtige Begrifflichkeiten im Zusammenhang mit ChatGPT erläutert.

Begriff

Erläuterung

Bemerkungen

Prompt

Dies ist die Eingabe, die man an GPT gibt, um eine Antwort zu generieren. Bei ChatGPT entspricht dies der Frage oder Aussage, die man an den Bot sendet.

Tatsächlich gibt es einen neuen Beruf, den des Prompt-Writers, der sehr hoch dotiert ist. Der Umgang mit der KI und das Stellen der richtigen Fragen ist ein sehr wichtiger Aspekt, sonst können die generierten Texte ungenau und ungeeignet sein.

Halluzinieren

In diesem Kontext bedeutet “halluzinieren”, dass das Modell Informationen generiert, die nicht in seiner Trainingsdaten vorhanden waren. GPT hat keinen Zugang zu Realzeitinformationen und kann daher manchmal Daten “halluzinieren”, die ungenau oder falsch sind.

Ein in der näheren Vergangenheit berühmtes Beispiel:

ChatGPT erfindet Gerichtsakten
 https://www.golem.de/news/halluzination-chatgpt-erfindet-gerichtsakten-2305-174509.html

 

Plugins

ChatGPT-Plugins dienen als nützliche Add-Ons innerhalb der ChatGPT-Schnittstelle.

 

Diese erweitern die Möglichkeiten von ChatGPT, indem sie Zugang zum Internet, zu Diensten von Drittanbietern und zu neuen Funktionen ermöglichen, wodurch seine Leistungsfähigkeit und Vielseitigkeit um ein Vielfaches erhöht wird.

Derzeit gibt es über 600 Plugins (Stand: 05.07.2023).

 

Meine Favoriten:

·        Wolfram

·        AskYourPDF

·        Zapier

Transformer

Ein Transformer ist eine Art neuronales Netzwerkmodell, das für viele Anwendungen im Bereich des maschinellen Lernens verwendet wird. GPT basiert auf der Transformer-Architektur.

 

Sequenzlänge

Die Länge der Eingabe- und Ausgabedaten, die ein Modell verarbeiten kann, oft gemessen in Token. Bei GPT-3.5 beträgt die maximale Sequenzlänge 4.096 Token, bei GPT-4 32.768 Token.

 

Mögliche Einsatzgebiete von ChatGPT im Prüfungswesen

In folgenden Bereichen ist eine Unterstützung des Prüfers denkbar:

  • Datenanalyse und -interpretation:
    ChatGPT kann dazu verwendet werden, große Mengen von Daten zu analysieren und Muster oder Anomalien zu identifizieren (durch z.B. Erstellung von Python- oder R-Programmcode). Dies kann besonders nützlich sein, um Betrug oder andere Unregelmäßigkeiten aufzudecken. Darüber hinaus kann es komplexe Daten in leicht verständliche Informationen umwandeln.
  • Berichterstattung:
    Es kann dabei helfen, Auditberichte zu erstellen und zu analysieren. Es kann komplexe Informationen in einer leicht verständlichen Sprache darstellen und dabei helfen, Schlüsselerkenntnisse hervorzuheben.
  • Dokumentenprüfung:
    Mit dem Plugin “AskYourPDF” kann es PDF-Dokumente durchsuchen und analysieren. Dies kann nützlich sein, um spezifische Informationen in Audit-Dokumenten schnell zu finden.
  • Schulung und Beratung:
    Es kann als interaktives Schulungs- und Beratungstool für Auditoren dienen. Die KI kann Fragen beantworten, Best Practices erläutern und Ratschläge geben.

Anwendungsbeispiele

Nun folgende einige Beispiele, um die Leistungsfähigkeit von ChatGPT aufzuzeigen.

  • Generierung von SQL-Code, um datenanalytische Handlungen in SAP durchzuführen:

Prompt:

In welcher SAP-Tabelle werden die Belegköpfe der Finanzbuchhaltung und in welchem Feld dieser Tabelle die Belegart gespeichert. Erstelle mir ein SQL-Statement für SAP indem die Belege der Finanzbuchhaltung nach Belegart gruppiert und deren Häufigkeiten ermittelt werden.

ChatGPT:

Eine sehr kompetente Antwort. Aber nun wird der Vorschlag von ChatGPT in einem SAP-System in der SQL-Konsole über die Transaktion DBACOCKPIT geprüft:

Das Ergebnis von SAP: 

Genau das, was gewünscht war – der SQL-Befehl war korrekt!


Nun wird die Schwierigkeit erhöht, zwei Tabellen sollen miteinander verbunden werden.

Prompt:

Mit einem SQL-Statement soll ermitteln werden, welche Kreditoren keine Bankverbindungen haben. In welcher Tabelle stehen die allgemeinen Daten der Kreditoren und in welcher Tabelle die Bankverbindungen? In der Ausgabe soll der Kreditorenname und zur Kontrolle die leere Bankverbindung angezeigt werden. Bitte das SQL-Statement erläutern.


ChatGPT:

Man bekommt nicht nur das SQL-Statement geliefert, sondern es wird auch Zeile für Zeile erläutert. Dieses Beispiel zeigt, dass ChatGPT auch sehr gut zur Ausbildung eingesetzt werden kann.

Aber Vertrauen ist gut – Kontrolle ist besser:

Das Ergebnis von SAP:

Und wieder erhalten wir ein perfektes Ergebnis!

Einsatz von Plugins

Ein Plugin ist eine Art Erweiterung oder Zusatz, die man ChatGPT hinzufügen kann, um es noch leistungsfähiger zu machen. Zum Beispiel könnte ein Plugin es ermöglichen, dass ChatGPT auf das Internet zugreifen und Informationen von Webseiten abrufen kann, oder es könnte ChatGPT die Fähigkeit geben, Code auszuführen oder Sprachen zu lernen.

Kurz gesagt, ein Plugin ist wie ein zusätzliches Feature oder eine spezielle Fähigkeit, die man zu ChatGPT hinzufügen kann, um es noch leistungsfähiger und vielseitiger zu machen.

Mit Plugins kann man nur unter ChatGPT 4, der kostenpflichtigen Version, arbeiten.

Code Interpreter

Die neueste Funktion im OpenAI ChatGPT, speziell entwickelt für das GPT-4 Modell, ist der sogenannte Code-Interpreter. Dieser ermöglicht die Ausführung von Python-Code in einer aktiven und sicheren Umgebung. Diese Funktion eröffnet nicht nur Programmierern, sondern auch allgemeinen Nutzern eine Vielzahl an Möglichkeiten zur Bewältigung verschiedenster Aufgaben.

Beispielsweise erlaubt der Code-Interpreter, dass eine PDF-Datei mittels OCR konvertiert, eine Videodatei zugeschnitten oder deren Format geändert wird. Ebenso können mathematische Probleme gelöst, Daten analysiert und visualisiert sowie Diagramme und Grafiken erstellt werden. Darüber hinaus besteht die Möglichkeit, mit dem Code-Interpreter lokale Dateien in verschiedenen Formaten direkt in ChatGPT zu laden.

Im Grunde genommen wird durch den Code-Interpreter ein direkter Zugang zu einem virtuellen Computer mit Rechenleistung und Speicherplatz im Chatbot bereitgestellt. Dabei können nahezu alle gewünschten Aktionen einfach durch natürliche Sprache ausgeführt werden. Allerdings sollte beachtet werden, dass es nicht möglich ist, eigenständig Python-Bibliotheken zu installieren. Dieser geschützte Bereich ist bereits mit über 300 vorinstallierten Bibliotheken und Paketen ausgestattet und ist durch eine Firewall abgesichert.

Weitere Informationsangebote von uns zu diesem Thema

Zum Thema „ChatGPT im Prüfungswesen“ stellen wir folgende Veranstaltungen bzw. Beiträge bereit: