Philipp/Konferenzseminar-ML-PAL
Philipp/Konferenzseminar-ML-PAL
1
0
Fork 0
Code Issues Pull Requests 1 Actions Packages Projects Releases Wiki Activity

Reworked Analyse

Browse Source
This commit is contained in:
Philipp Horstenkamp 2023-12-10 18:15:19 +01:00
parent e260566fd8
commit 0fd957d0da
Signed by: Philipp
GPG Key ID: DD53EAC36AFB61B4
1 changed files with 7 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

12
pal-vorstellung.tex
View File

@ -351,12 +351,14 @@ PAL & 95,1 & 93,3 & 76,2 & 90,6 & 96,7 \\
Neben den oben beschriebenen Experimenten wurden weitere Fragestellungen untersucht. Hier sind die Ergebnisse:
\begin{itemize}
\item PAL funktioniert auch auf schwächeren Large Language Models (LLMs). Die Vorteile skalieren etwa mit der Qualität des Modells.
\item Experimente, die Modelle vergleichen, welche sowohl Code als auch Text generieren, zeigen, dass diese nur eine Mindestqualität erfüllen müssen. Funktionieren tut es mit beiden.
\item Experimente, bei denen Python-Syntax als Strukturierungshilfe für Chain of Thought (CoT) genutzt wurde, zeigten nur eine geringe Verbesserung gegenüber der direkten Berechnung.
\item PAL funktioniert auch auf schwächeren LLMs. Die Vorteile skalieren etwa mit der Qualität des Modells.
\item Experimente, die Modelle vergleichen, welche sowohl Code als auch Text generieren, zeigen,
dass diese nur eine Mindestqualität erfüllen müssen. Funktionieren tut es mit beiden.
\item Experimente, bei denen Python-Syntax als Strukturierungshilfe für CoT genutzt wurde,
zeigten nur eine geringe Verbesserung gegenüber der direkten Berechnung.
\item Experimente zur Quantifizierung, ob und inwieweit Kommentare und gute Variablennamen eine Rolle spielen, zeigen, dass:
\begin{enumerate}
\item Kommentare die Qualität von PAL leicht verbessern.
\item Code-Kommentare die Qualität von PAL leicht verbessern.
\item Werden Variablennamen und Kommentare weggelassen, erhält man Ergebnisse, welche die Qualität von CoT-Prompts oft nicht erreichen.
\end{enumerate}
\item Steigende LLM Qualität verringert das durch PAL erschließbare Verbesserungspotential (Abbildung\ref{fig:diff-llm}).
@ -376,7 +378,7 @@ Neben den oben beschriebenen Experimenten wurden weitere Fragestellungen untersu
nodes near coords align={vertical},
ymin=0,ymax=80,
enlarge x limits=0.2,
ylabel={Prozentsatz},
ylabel={Lösungsqualität $[\%]$},
legend style={at={(0.5,-0.15)},
anchor=north,legend columns=-1},
width=\columnwidth,