From fa9c9eb756433d6e3c54932ba424f74de4074159 Mon Sep 17 00:00:00 2001 From: Philipp Horstenkamp Date: Thu, 7 Dec 2023 00:39:15 +0100 Subject: [PATCH] Added lots of text. --- PAL Example Expanded.drawio | 6 +++--- pal-vorstellung.tex | 31 ++++++++++++++++++++++++++++--- 2 files changed, 31 insertions(+), 6 deletions(-) diff --git a/PAL Example Expanded.drawio b/PAL Example Expanded.drawio index 2f59c43..5ce8150 100644 --- a/PAL Example Expanded.drawio +++ b/PAL Example Expanded.drawio @@ -1,6 +1,6 @@ - + - + @@ -31,7 +31,7 @@ - + diff --git a/pal-vorstellung.tex b/pal-vorstellung.tex index 37b8e9c..ae6f4f8 100644 --- a/pal-vorstellung.tex +++ b/pal-vorstellung.tex @@ -71,11 +71,36 @@ Hier ein vergleich wie dies in Chain-of-Thought ~\cite{CoT} vs. PAL~\cite{gao202 \centering \includegraphics[width=\textwidth]{PAL Example Expanded.drawio.pdf} \caption{CoT\cite{CoT} vs. PAL\cite{gao2023pal} vs. ChatGPT4\cite{ChatGPTexample} nach\cite{gao2023pal}} - \label{fig:pal_vs_chatgpg} + \label{fig:cot-pal-chatgpg} \end{figure*} -\section{Hintergrund: Few-shot-prompting} -Few +\section{Hintergrund}\label{sec:Few-shot-prompting} + + +\subsection{Few-shot Prompting} +Eine der erstaunlichen fähigkeiten von LLMs ist das sie mit wenigen beispielen welche zeigen wie man ein Problem +einer bestimmten art lösen könnte diese Lösungen oft auf andere probleme übertragen können ~\cite{few-shot2}~\cite{few-shot1}. + +Beide können wie in der den ersten beiden Eingabe / Ausgabe combination in \ref{fig:cot-pal-chatgpg} aus nur wenigen beispielen bestehen. +Wichtig dabei ist das sich die lösungen auch stilistisch sehr stark an den gegebenen beispielen Orientieren. +Dies ist eine Technik um ein LLM zu nutzen und keine modifikation am LLM selber. +Few-shot Prompting gehört daher zum Gebiet des Prompting, nicht der LLM erstellung. + +\subsection{Chain of Thought (CoT)} + +Eine der Weit verbreiteten Techniken, um mehr aus LLMs herauszuholen ist diese Anzuregen ihre Antwort schrittweise aufzubauen. +Die Few-shot Variante dazu ist das die Beispiele, die Zwischenschritte sowohl inhaltlich ausformulieren als auch die nötigen mathematische Operationen gliedert. +So wird das LLM angeregt sowohl den Gedankengang welcher zum ergebnis fürt durchzuführen und nicht einfach zu einem Ergebnis wie z. B. 42 zu kommen, weil 42 oft als Beispiel genutzt wird. +Diese Technik wird im Allgemeinen Chain of Thought genannt ~\cite{CoT} paper dargelegt. + +\section{Program-aided Language Models} + +Die natürliche Fortsetzung von CoT ist das Model anzuregen Mathematische und +logische probleme als programmcode zu formatieren welcher die eigentliche Mathematische operation ausführt. +Dies entfernt die Stärkste schwachstelle welche Zeitgenössische LLMs gegenüber Mathematisch/Lögischen operationen haben. +Solange der Programmcode so aufgebaut ist das er den Gedankengang der Problemlösung aufbaut werden so die +stärken von Chain of Thought Prompts genutzt und die Schwächen für mathematische Operation + % https://chat.openai.com/share/3a78d9db-9caa-4745-a417-0ef229bd7728 \printbibliography