From dcc645528f9e6b2405d21a1811b33823c7e56e64 Mon Sep 17 00:00:00 2001 From: Philipp Horstenkamp Date: Sun, 10 Dec 2023 18:53:51 +0100 Subject: [PATCH 1/3] Small fix --- pal-vorstellung.tex | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pal-vorstellung.tex b/pal-vorstellung.tex index d28e2ac..1ee8920 100644 --- a/pal-vorstellung.tex +++ b/pal-vorstellung.tex @@ -461,6 +461,6 @@ Neben den Wirklich beeindruckenden ergebnissen die PAL vorweisen kann ist aber b welche unabhängig voneinander in Verschiedenen Tools vorgenomen wurde ein Zeichen davon wie Zielführen die Nutzung von PAL oder der Interpretierung von Python code Ausführungen zur Laufzeit ist. -Dabei ist aber klar zu sehen das oft weit über das Prompt-Engineering hinausgegangen wurde sondern aktuelle LLMs ohne spezielle Aufforderung interpretierbaren code generieren. +Es wird jedoch deutlich, dass oft weit über das Prompt-Engineering hinausgegangen wird und aktuelle LLMs auch ohne spezielle Aufforderung interpretierbaren Code generieren. \printbibliography \end{document} From b58e6a4e601d711e1430f8424c3c2ef9e799a609 Mon Sep 17 00:00:00 2001 From: Philipp Horstenkamp Date: Sun, 10 Dec 2023 18:58:43 +0100 Subject: [PATCH 2/3] Added a note that chatgpt was used. --- pal-vorstellung.tex | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/pal-vorstellung.tex b/pal-vorstellung.tex index 1ee8920..07a8257 100644 --- a/pal-vorstellung.tex +++ b/pal-vorstellung.tex @@ -462,5 +462,6 @@ Neben den Wirklich beeindruckenden ergebnissen die PAL vorweisen kann ist aber b von Python code Ausführungen zur Laufzeit ist. Es wird jedoch deutlich, dass oft weit über das Prompt-Engineering hinausgegangen wird und aktuelle LLMs auch ohne spezielle Aufforderung interpretierbaren Code generieren. -\printbibliography + +\printbibliography\footnote{Zum Verbessern von Rechtschreibung, Grammatik und als allgemeine Korrekturinstanz wurde ChatGPT4 verwendet.} \end{document} From 69d325f93cb07cc7cff24b2c3d4c1b047fddb750 Mon Sep 17 00:00:00 2001 From: Philipp Horstenkamp Date: Sun, 10 Dec 2023 19:01:31 +0100 Subject: [PATCH 3/3] Further typo fixes. --- pal-vorstellung.tex | 12 ++++++------ 1 file changed, 6 insertions(+), 6 deletions(-) diff --git a/pal-vorstellung.tex b/pal-vorstellung.tex index 07a8257..9136f3c 100644 --- a/pal-vorstellung.tex +++ b/pal-vorstellung.tex @@ -220,12 +220,12 @@ ddef solution(): \subsection{Abstraktes Denken} In diesem Abschnitt wurden verschiedene Probleme gelöst, die sich auf die räumliche Beziehung und Attribute von Objekten beziehen. -Ein Beispiel dafür sind Probleme wie: "Ein grauer Esel, ein brauner Hund, eine graue Katze und ein roter Hahn stehen aufeinander. -Welche Farbe hat das Tier unter dem Hund?" Des Weiteren wurden Aufgaben zu verschobenen und gefilterten Daten bearbeitet. + Ein Beispiel dafür sind Probleme wie: „Ein grauer Esel, ein brauner Hund, eine graue Katze und ein roter Hahn stehen aufeinander. +Welche Farbe hat das Tier unter dem Hund?“ Des Weiteren wurden Aufgaben zu verschobenen und gefilterten Daten bearbeitet. Im Beispiel gibt es tabellarische Daten über Pinguine, die nach Attributen gefiltert und anschließend gezählt werden müssen. Dies wird anhand eines Beispieldatensatzes über Pinguine demonstriert. -Zuletzt wurden Probleme bezüglich des Verständnisses von Datum und Zeitabständen behandelt, wie zum Beispiel: "Peters Reise sollte 5 Stunden dauern. -Er hat aber doppelt so lange gebraucht wie geplant. Wenn er um 23 Uhr angekommen ist, wann wollte er ankommen?" +Zuletzt wurden Probleme bezüglich des Verständnisses von Datum und Zeitabständen behandelt, wie zum Beispiel: „Peters Reise sollte 5 Stunden dauern. +Er hat aber doppelt so lange gebraucht wie geplant. Wenn er um 23 Uhr angekommen ist, wann wollte er ankommen?“ Für alle drei Problemstellungen gibt es jeweils separate Prompts im Stil von Codebeispiel \ref{list:math-prompt-example}. @@ -414,7 +414,7 @@ Es scheint, dass dort weniger Wert auf die Gestaltung von Prompts gelegt wird un aussagekräftigen Datensatz GSM-HARD gezogen werden, stattdessen werden andere Datensätze verwendet. Dies macht die Vergleichbarkeit schwierig. -Neue Techniken wie die "Automatic Model Selection with Large Language Models for Reasoning" kombinieren CoT und PAL und +Neue Techniken wie die „Automatic Model Selection with Large Language Models for Reasoning“ kombinieren CoT und PAL und überlassen die Entscheidung über die Korrektheit beider Ergebnisse einem LLM, wodurch die Qualität der Ergebnisse für GSM8K auf $96,5\%$ gesteigert werden konnte, eine Verbesserung um $34\%$~\cite{zhao2023automatic}. @@ -427,7 +427,7 @@ Eine vergleichbare Integration von Programmiersprachen findet in Tools wie Binde Moderne Python-Libraries wie PandasAI~\cite{Venturi} setzen diesen Ansatz ein, um Datenabfragen und -operationen zu bearbeiten, und gehen dabei über Zero-shot-Prompts vor. -Alternative Ansätze wie "Automatic Multi-Step Reasoning and Tool-Use for Large Language Models"~\cite{paranjape2023art} +Alternative Ansätze wie „Automatic Multi-Step Reasoning and Tool-Use for Large Language Models“~\cite{paranjape2023art} frieren das LLM während der Codeausführung ein und fügen die Ergebnisse direkt in den Text ein, bevor die Ausführung des LLMs basierend auf diesen Ergebnissen fortgesetzt wird.