Philipp/Konferenzseminar-ML-PAL
Philipp/Konferenzseminar-ML-PAL
1
0
Fork 0
Code Issues Pull Requests 1 Actions Packages Projects Releases Wiki Activity

Added lots of text.

Browse Source
This commit is contained in:
Philipp Horstenkamp 2023-12-07 00:39:15 +01:00
parent d7ed24015f
commit fa9c9eb756
Signed by: Philipp
GPG Key ID: DD53EAC36AFB61B4
2 changed files with 31 additions and 6 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

6
PAL Example Expanded.drawio
View File

@ -1,6 +1,6 @@
<mxfile host="Electron" modified="2023-11-18T03:05:32.571Z" agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) draw.io/21.7.5 Chrome/114.0.5735.289 Electron/25.8.1 Safari/537.36" etag="J9GrhhPs_eTHDoNvrM24" version="21.7.5" type="device"> <mxfile host="Electron" modified="2023-11-18T18:08:40.966Z" agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) draw.io/21.7.5 Chrome/114.0.5735.289 Electron/25.8.1 Safari/537.36" etag="bgGioe3vAgUXMqkOKeQ4" version="21.7.5" type="device">
<diagram name="Seite-1" id="3Sw_KYT27iZ8JMehEK1P"> <diagram name="Seite-1" id="3Sw_KYT27iZ8JMehEK1P">
<mxGraphModel dx="1247" dy="734" grid="1" gridSize="10" guides="1" tooltips="1" connect="1" arrows="1" fold="1" page="1" pageScale="1" pageWidth="827" pageHeight="1169" math="0" shadow="0"> <mxGraphModel dx="1456" dy="734" grid="1" gridSize="10" guides="1" tooltips="1" connect="1" arrows="1" fold="1" page="1" pageScale="1" pageWidth="827" pageHeight="1169" math="0" shadow="0">
<root> <root>
<mxCell id="0" /> <mxCell id="0" />
<mxCell id="1" parent="0" /> <mxCell id="1" parent="0" />
@ -31,7 +31,7 @@
<mxCell id="7yxbpYrR7u7Zo4rXAfb2-9" value="Eingabe" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" vertex="1" parent="1"> <mxCell id="7yxbpYrR7u7Zo4rXAfb2-9" value="Eingabe" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" vertex="1" parent="1">
<mxGeometry x="330" y="280" width="50" height="20" as="geometry" /> <mxGeometry x="330" y="280" width="50" height="20" as="geometry" />
</mxCell> </mxCell>
<mxCell id="7yxbpYrR7u7Zo4rXAfb2-10" value="&lt;b&gt;Q&lt;/b&gt;: The bakers at the Beverly Hills Bakery baked 200 loaves of bread on Monday morning. They sold 93 loaves in the morning and 39 loaves in the afternoon. A&amp;nbsp; grocery&amp;nbsp;store returned 6 unsold loaves. How many loaves of bread did they have left?" style="rounded=1;whiteSpace=wrap;html=1;align=left;spacingTop=0;spacingLeft=10;" vertex="1" parent="1"> <mxCell id="7yxbpYrR7u7Zo4rXAfb2-10" value="&lt;b&gt;Q&lt;/b&gt;: The bakers at the Beverly Hills Bakery baked 200 loaves of bread on Monday morning. They sold 93 loaves in the morning and 39 loaves in the afternoon. A grocery&amp;nbsp;store returned 6 unsold loaves. How many loaves of bread did they have left?" style="rounded=1;whiteSpace=wrap;html=1;align=left;spacingTop=0;spacingLeft=10;" vertex="1" parent="1">
<mxGeometry x="560" y="290" width="250" height="300" as="geometry" /> <mxGeometry x="560" y="290" width="250" height="300" as="geometry" />
</mxCell> </mxCell>
<mxCell id="7yxbpYrR7u7Zo4rXAfb2-11" value="Eingabe" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" vertex="1" parent="1"> <mxCell id="7yxbpYrR7u7Zo4rXAfb2-11" value="Eingabe" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" vertex="1" parent="1">

31
pal-vorstellung.tex
View File

@ -71,11 +71,36 @@ Hier ein vergleich wie dies in Chain-of-Thought ~\cite{CoT} vs. PAL~\cite{gao202
\centering \centering
\includegraphics[width=\textwidth]{PAL Example Expanded.drawio.pdf} \includegraphics[width=\textwidth]{PAL Example Expanded.drawio.pdf}
\caption{CoT\cite{CoT} vs. PAL\cite{gao2023pal} vs. ChatGPT4\cite{ChatGPTexample} nach\cite{gao2023pal}} \caption{CoT\cite{CoT} vs. PAL\cite{gao2023pal} vs. ChatGPT4\cite{ChatGPTexample} nach\cite{gao2023pal}}
\label{fig:pal_vs_chatgpg} \label{fig:cot-pal-chatgpg}
\end{figure*} \end{figure*}
\section{Hintergrund: Few-shot-prompting} \section{Hintergrund}\label{sec:Few-shot-prompting}
Few
\subsection{Few-shot Prompting}
Eine der erstaunlichen fähigkeiten von LLMs ist das sie mit wenigen beispielen welche zeigen wie man ein Problem
einer bestimmten art lösen könnte diese Lösungen oft auf andere probleme übertragen können ~\cite{few-shot2}~\cite{few-shot1}.
Beide können wie in der den ersten beiden Eingabe / Ausgabe combination in \ref{fig:cot-pal-chatgpg} aus nur wenigen beispielen bestehen.
Wichtig dabei ist das sich die lösungen auch stilistisch sehr stark an den gegebenen beispielen Orientieren.
Dies ist eine Technik um ein LLM zu nutzen und keine modifikation am LLM selber.
Few-shot Prompting gehört daher zum Gebiet des Prompting, nicht der LLM erstellung.
\subsection{Chain of Thought (CoT)}
Eine der Weit verbreiteten Techniken, um mehr aus LLMs herauszuholen ist diese Anzuregen ihre Antwort schrittweise aufzubauen.
Die Few-shot Variante dazu ist das die Beispiele, die Zwischenschritte sowohl inhaltlich ausformulieren als auch die nötigen mathematische Operationen gliedert.
So wird das LLM angeregt sowohl den Gedankengang welcher zum ergebnis fürt durchzuführen und nicht einfach zu einem Ergebnis wie z. B. 42 zu kommen, weil 42 oft als Beispiel genutzt wird.
Diese Technik wird im Allgemeinen Chain of Thought genannt ~\cite{CoT} paper dargelegt.
\section{Program-aided Language Models}
Die natürliche Fortsetzung von CoT ist das Model anzuregen Mathematische und
logische probleme als programmcode zu formatieren welcher die eigentliche Mathematische operation ausführt.
Dies entfernt die Stärkste schwachstelle welche Zeitgenössische LLMs gegenüber Mathematisch/Lögischen operationen haben.
Solange der Programmcode so aufgebaut ist das er den Gedankengang der Problemlösung aufbaut werden so die
stärken von Chain of Thought Prompts genutzt und die Schwächen für mathematische Operation
% https://chat.openai.com/share/3a78d9db-9caa-4745-a417-0ef229bd7728 % https://chat.openai.com/share/3a78d9db-9caa-4745-a417-0ef229bd7728
\printbibliography \printbibliography