diff --git a/pal-vorstellung.tex b/pal-vorstellung.tex index 20ee72b..05396a5 100644 --- a/pal-vorstellung.tex +++ b/pal-vorstellung.tex @@ -16,7 +16,7 @@ \lstset{basicstyle=\footnotesize\ttfamily, breaklines=true, keepspaces=true, columns=fixed, numberstyle=\tiny, keywordstyle=\color{blue}} \usepackage{tikz} \usetikzlibrary{positioning,fit,calc,backgrounds} - +\usepackage{tabularray} \renewcommand{\lstlistingname}{Codebeispiel} @@ -211,7 +211,37 @@ def soloution() return sum(vegetables_to_count.values()) \end{lstlisting} -\section{} +\section{Ergebnisse} + +\begin{table*} +\centering +\resizebox{\linewidth}{!}{% +\begin{tabular}{ll|cccccccc} +\hline +Algorithm & LLM & GSM8K & GSM-HARD & SVAMP & ASDIV & SINGLEEQ & SINGLEOP & ADDSUB & MULTIARITH \\ +\hline +DIRECT & Codex & 19.7 & 5.0 & 69.9 & 74.0 & 86.8 & 93.1 & 90.9 & 44.0 \\ +CoT & UL2-20B & 4.1 & - & 12.6 & 16.9 & - & - & 18.2 & 10.7 \\ +CoT & LAMBDA-137B & 17.1 & - & 39.9 & 49.0 & - & - & 52.9 & 51.8 \\ +CoT & Codex & 65.6 & 23.1 & 74.8 & 76.9 & 89.1 & 91.9 & 86.0 & 95.9 \\ +CoT & PaLM-540B & 56.9 & - & 79.0 & 73.9 & 92.3 & 94.1 & 91.9 & 94.7 \\ +CoT & Minerva 540B & 58.8 & - & - & - & - & - & - & - \\ +PAL & & 72.0 & 61.2 & 79.4 & 79.6 & 96.1 & 94.6 & 92.5 & 99.2 \\ +\hline +\end{tabular} +} +\caption{Model performance on various tasks} +\label{tab:model_performance} +\end{table*} + +\subsection{Ergebnisse der mathematischen Aufgaben} + + +\subsection{Ergebnisse der Aufgaben zum Abstrakten Denken} + + +\subsection{Ergebnisse zu Algorithmischen Aufgaben} + \section{Ausblick}