From 52c5c0b1bbedb967a5c59fbd85cfc65c69467058 Mon Sep 17 00:00:00 2001 From: Philipp Horstenkamp Date: Sat, 9 Dec 2023 22:12:03 +0100 Subject: [PATCH] Chat GPT refactoring --- pal-vorstellung.tex | 13 ++++++------- 1 file changed, 6 insertions(+), 7 deletions(-) diff --git a/pal-vorstellung.tex b/pal-vorstellung.tex index 254904a..17bd1a7 100644 --- a/pal-vorstellung.tex +++ b/pal-vorstellung.tex @@ -63,13 +63,12 @@ \maketitle \begin{abstract} -Eines der Probleme welches bei der nutzung von LLMs auftritt ist eine reduktion der ausführung von mathematischen operationen. -Sie entwickeln das gleiche problem wie der Menschliche verstand das das Berechnen von Mathematischen ergebnissen mit Flüchtigkeitsfehlern. -Eine mögliche lösung dafür ist die formulierung von Mathematischen problemstellungen in einfachem Programmcode welcher dann wie ein ``Taschenrechner'' analog verwendet wird -um die Mathematischen operationen als Arithmetisch logische berechnung durchzuführen und nicht als Sprachmodel welches versucht die reihenfolge der nächst wahrscheinlichen Tokens zu generieren. -So können die stärken des Aufgabenmodels mit den stärken von direkt ausgeführten Mathematischen operationen kombiniert werden um Ergebnisse zu erzielen welche Mathematisch sauberer sind. -Dieses prinzip ist in dem Paper „PAL: Programing aided langauge model“ ~\cite{gao2023pal} vorgestellt worden. -Hier wird es zusammengefasst. +Eines der Herausforderungen bei der Nutzung von Large Language Models (LLMs) ist die eingeschränkte Fähigkeit, mathematische Operationen präzise auszuführen. +Ähnlich wie der menschliche Verstand neigen sie dazu, mathematische Ergebnisse mit Flüchtigkeitsfehlern zu berechnen. +Eine Lösung hierfür bietet die Umwandlung von mathematischen Problemstellungen in einfachen Programmcode. +Dieser Ansatz nutzt die Rechenkapazität analog zu einem Taschenrechner, um arithmetisch-logische Berechnungen durchzuführen, statt auf die Generierung der nächstwahrscheinlichen Tokens durch das Sprachmodell zu vertrauen. +Durch diese Methode lassen sich die Stärken des Aufgabenmodells mit denen der direkten Ausführung mathematischer Operationen verbinden, um mathematisch präzisere Ergebnisse zu erzielen. +Dieses Prinzip wird im Paper „PAL: Programming Aided Language Model“ ~\cite{gao2023pal} vorgestellt und auf aktuelle Implementierung eingegangen. \end{abstract} \begin{IEEEkeywords}