diff --git a/pal-vorstellung.tex b/pal-vorstellung.tex index aeffe17..f346b49 100644 --- a/pal-vorstellung.tex +++ b/pal-vorstellung.tex @@ -351,12 +351,14 @@ PAL & 95,1 & 93,3 & 76,2 & 90,6 & 96,7 \\ Neben den oben beschriebenen Experimenten wurden weitere Fragestellungen untersucht. Hier sind die Ergebnisse: \begin{itemize} - \item PAL funktioniert auch auf schwächeren Large Language Models (LLMs). Die Vorteile skalieren etwa mit der Qualität des Modells. - \item Experimente, die Modelle vergleichen, welche sowohl Code als auch Text generieren, zeigen, dass diese nur eine Mindestqualität erfüllen müssen. Funktionieren tut es mit beiden. - \item Experimente, bei denen Python-Syntax als Strukturierungshilfe für Chain of Thought (CoT) genutzt wurde, zeigten nur eine geringe Verbesserung gegenüber der direkten Berechnung. + \item PAL funktioniert auch auf schwächeren LLMs. Die Vorteile skalieren etwa mit der Qualität des Modells. + \item Experimente, die Modelle vergleichen, welche sowohl Code als auch Text generieren, zeigen, + dass diese nur eine Mindestqualität erfüllen müssen. Funktionieren tut es mit beiden. + \item Experimente, bei denen Python-Syntax als Strukturierungshilfe für CoT genutzt wurde, + zeigten nur eine geringe Verbesserung gegenüber der direkten Berechnung. \item Experimente zur Quantifizierung, ob und inwieweit Kommentare und gute Variablennamen eine Rolle spielen, zeigen, dass: \begin{enumerate} - \item Kommentare die Qualität von PAL leicht verbessern. + \item Code-Kommentare die Qualität von PAL leicht verbessern. \item Werden Variablennamen und Kommentare weggelassen, erhält man Ergebnisse, welche die Qualität von CoT-Prompts oft nicht erreichen. \end{enumerate} \item Steigende LLM Qualität verringert das durch PAL erschließbare Verbesserungspotential (Abbildung\ref{fig:diff-llm}). @@ -376,7 +378,7 @@ Neben den oben beschriebenen Experimenten wurden weitere Fragestellungen untersu nodes near coords align={vertical}, ymin=0,ymax=80, enlarge x limits=0.2, - ylabel={Prozentsatz}, + ylabel={Lösungsqualität $[\%]$}, legend style={at={(0.5,-0.15)}, anchor=north,legend columns=-1}, width=\columnwidth,