Reworked the background.
Some checks failed
Latex Build / LatexBuild (push) Failing after 15m31s

Again!
This commit is contained in:
Philipp Horstenkamp 2023-12-10 16:47:48 +01:00
parent 9733b7620d
commit bc6aa3200b
Signed by: Philipp
GPG Key ID: DD53EAC36AFB61B4

View File

@ -112,7 +112,7 @@ Dabei ist es wichtig zu Wissen, dass die verwendeten Beispiele in Prompts maßge
Das im Januar 2023 vorgestellte PAL-Verfahren oder eine Variante davon ist nun ein integrierter Teil von beispielsweise ChatGPT oder LangChain~\cite{langchain}. Das im Januar 2023 vorgestellte PAL-Verfahren oder eine Variante davon ist nun ein integrierter Teil von beispielsweise ChatGPT oder LangChain~\cite{langchain}.
Ob dies eine Parallelentwicklung ist oder auf PAL basiert lässt sich zumindest bei OpenAI nur schwer sagen. Ob dies eine Parallelentwicklung ist oder auf PAL basiert lässt sich zumindest bei OpenAI nur schwer sagen.
In Abbildung \ref{fig:cot-pal-chatgpg} findet man ein Vergleich, wie das Lösen von Mathematischen Problemen in Chain-of-Thought~\cite{CoT}, PAL~\cite{gao2023pal} und dem aktuellen ChatGPT4~\cite{ChatGPTexample} aussehen kann. In Abbildung \ref{fig:cot-pal-chatgpg} findet man ein Vergleich, wie das Lösen von mathematischen Problemen in Chain-of-Thought~\cite{CoT}, PAL~\cite{gao2023pal} und dem aktuellen ChatGPT4~\cite{ChatGPTexample} aussehen kann.
\begin{figure*}[htbp] \begin{figure*}[htbp]
\centering \centering
@ -125,25 +125,27 @@ In Abbildung \ref{fig:cot-pal-chatgpg} findet man ein Vergleich, wie das Lösen
\subsection{Few-shot Prompting} \subsection{Few-shot Prompting}
Eine der erstaunlichen Fähigkeiten von Large Language Models (LLMs) besteht darin, Eine der erstaunlichen Fähigkeiten von Large Language Models (LLMs) besteht darin,
dass sie anhand weniger Beispiele, die zeigen, dass sie anhand weniger Beispiele, die zeigen, wie man eine Problemstellung einer bestimmten Art lösen könnte,
wie man eine Problemstellung einer bestimmten Art lösen könnte,
diese Lösungsansätze oft auf andere Probleme übertragen können~\cite{few-shot2}~\cite{few-shot1}. diese Lösungsansätze oft auf andere Probleme übertragen können~\cite{few-shot2}~\cite{few-shot1}.
Beide Ansätze können, wie in den ersten beiden Eingabe-/Ausgabe-Kombinationen in \ref{fig:cot-pal-chatgpg} gezeigt, Dies geschieht of nur mit einer wirklich geringen Anzahl an Beispielen.
aus nur wenigen Beispielen bestehen. Typischerweise ist dies eine Anzahl im kleineren Einstelligen bereich.
Wichtig dabei ist, dass sich die Lösungen auch stilistisch sehr stark an den gegebenen Beispielen orientieren. Wichtig dabei ist, dass sich die Lösungen auch stilistisch sehr stark an den gegebenen Beispielen orientieren.
Dies ist eine Technik zur Nutzung eines LLMs und keine Modifikation am LLM selbst. Dies ist eine Technik zur Nutzung eines LLMs im Englischen auch genant Prompting und keine Modifikation am LLM selbst.
Few-shot Prompting gehört daher zum Gebiet des Promptings und nicht der Erstellung von LLMs. Alternative zu Few-Shot Prompts gibt es Zero-Shot Prompts.
Im Gegensatz zu Few-Shot Prompts stehen Zero-Shot Prompts.
Bei diesen wird lediglich eine Beschreibung des Lösungsansatzes oder eine Formatierungsanweisung gegeben. Bei diesen wird lediglich eine Beschreibung des Lösungsansatzes oder eine Formatierungsanweisung gegeben.
\subsection{Chain of Thought (CoT)} \subsection{Chain of Thought (CoT)}
Eine der weit verbreiteten Techniken, um mehr aus LLMs herauszuholen, ist, diese anzuregen, ihre Antwort schrittweise aufzubauen. Eine der weit verbreiteten Techniken, um mehr aus LLMs herauszuholen, ist, diese anzuregen, ihre Antwort schrittweise aufzubauen.
Die Few-shot-Variante dazu besteht darin, Dies geschieht oft über eine Few-shot-Variante namens Chain of Though (CoT)~\cite{CoT} welche LLM durch Beispielhafte Lösungswege
dass die Beispiele die Zwischenschritte sowohl inhaltlich ausformulieren als auch die notwendigen mathematischen Operationen strukturieren. mit zwischenschritten dazu anregt,
Dadurch wird das LLM angeregt, sowohl den Gedankengang, der zum Ergebnis führt, durchzuführen, als auch nicht einfach zu einem Ergebnis wie z. B. „42“ zu gelangen, weil „42“ oft als Beispiel genutzt wird. das Lösungswege mit sauber ausgeführten Zwischenschritten inhaltlich ausformuliert werden und die notwendigen mathematischen Operationen strukturieren niedergeschrieben werden.
Diese Technik wird allgemein als „Chain of Thought“ bezeichnet und im entsprechenden Paper~\cite{CoT} dargelegt. Dies verbessert sowohl den Lösungsansatz und Schreibt die mthematischen Operationen sauber nieder.
Was deren lösung dann weniger Abstrakt werden lässt.
Dadurch wird das LLM angeregt, sowohl den Gedankengang, der zum Ergebnis führt, durchzuführen,
als auch nicht einfach zu einem Ergebnis wie z. B. „42“ zu gelangen, weil „42“ oft als Beispiel genutzt wird.
Chain of Thought kann nicht nur für Mathematische Problemstellungen verwendet werden.
\section{Program-aided Language Models} \section{Program-aided Language Models}