{"id":4580,"date":"2021-01-27T08:00:00","date_gmt":"2021-01-27T08:00:00","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/iq-test-ki\/"},"modified":"2025-11-12T14:55:08","modified_gmt":"2025-11-12T14:55:08","slug":"iq-test-ki","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/iq-test-ki\/","title":{"rendered":"IQ-Test f\u00fcr KI: Die ARC Challenge"},"content":{"rendered":"\n

K\u00fcnstliche Intelligenzen, wie man sie aus Science-Fiction Filmen kennt, sind meist Generelle K\u00fcnstliche Intelligenzen<\/i>. Sie sind in der Lage jedwede Aufgabe durch eine Kombination von gesammeltem Wissen und logischem Denken zu l\u00f6sen, auch und besonders dann, wenn die Aufgabe noch nie vorher gel\u00f6st wurde. Eine solche K\u00fcnstliche Intelligenz zu entwickeln wird daher vermehrt als Heiliger Gral der KI<\/i> bezeichnet.<\/p>\n\n\n\n

Aktuell werden Verfahren des Maschinellen Lernens benutzt, um speziell definierte Aufgaben aus einer Sammlung von Beispielen zu lernen. Beispiele hierf\u00fcr sind die Gesichtserkennung auf Bildern oder das \u00dcbersetzen von Text zwischen zwei Sprachen. Sobald das Verfahren trainiert wurde, beherrscht es, anders als Menschen, im Allgemeinen allerdings nicht die Abstraktionsleistung verwandte Probleme zu l\u00f6sen. So kann ein Modell zur Gesichtserkennung nicht ohne weiteres eine Person mit einer Mund-Nasen-Bedeckung identifizieren, solange es nicht auf solchen Beispielen trainiert wurde.<\/p>\n\n\n\n

In seinem Artikel On the Measure of Intelligence<\/i><\/a> beschreibt Fran\u00e7ois Chollet die Notwendigkeit f\u00fcr einen Benchmark, welcher akkurat die generelle Intelligenz von KI quantifizieren kann. Dies k\u00e4me einem IQ-Test f\u00fcr KI gleich. Als Resultat seiner \u00dcberlegungen ver\u00f6ffentlichte er den Abstraction and Reasoning Corpus<\/i><\/a>.<\/p>\n\n\n\n

Der Abstraction and Reasoning Corpus<\/span><\/h2>\n\n\n\n

Der Abstraction and Reasoning Corpus (ARC) <\/i>besteht aus vielen verschiedenen Aufgaben in Form von Bilddaten. Jedes Bild besteht aus einem rechteckigen Gitter beliebiger Gr\u00f6\u00dfe (zwischen 1×1 und 30×30 Pixel), dessen Zellen mit einer von neun Farben gef\u00fcllt ist. Aus zwei bis vier Trainingsbeispielen mit L\u00f6sung soll die KI die Logik der jeweiligen Aufgabe erlernen, um sie dann auf ein bis zwei weitere Beispielbilder ohne vorgegebene L\u00f6sungen anzuwenden. Typische Aufgaben ben\u00f6tigen ein Verst\u00e4ndnis von Geometrie und logischem Denken. So m\u00fcssen beispielsweise Formen einer speziellen Farbe verschoben, ausgeschnitten, dupliziert oder fortgef\u00fchrt werden (siehe nachstehende Abbildung). Solche Aufgaben sind typischerweise f\u00fcr Menschen leicht und schnell verst\u00e4ndlich.<\/p>\n\n\n\n

\"-
\u00a9 ML2R
Eine Beispielaufgabe aus dem ARC. Es soll aus jedem Bild der oberen Reihe die Form mit der kleinsten Fl\u00e4che ausgeschnitten werden. Der KI werden die ersten drei Paare zum Training zur Verf\u00fcgung gestellt. Anhand des letzten Bildes wird evaluiert, ob die KI die Logik der Aufgabe gelernt hat.<\/figcaption><\/figure>\n\n\n\n

Die Schwierigkeit bei diesem Datensatz besteht zum einen darin, dass es sehr viele verschiedene Aufgaben mit grundlegend verschiedener Logik gibt. Um die 400 Aufgaben werden im Trainingsdatensatz bereitgestellt, welche alle von dem gleichen Ansatz gel\u00f6st werden m\u00fcssen. Eine zus\u00e4tzliche Schwierigkeit entsteht dadurch, dass sich nicht nur die Bildgr\u00f6\u00dfen zwischen den Aufgaben ver\u00e4ndern k\u00f6nnen, sondern auch innerhalb der Aufgabe verschiedene Gr\u00f6\u00dfen auftreten k\u00f6nnen. Teilweise ist sogar die Ausgabegr\u00f6\u00dfe nicht gleich der Eingabegr\u00f6\u00dfe, wenn beispielsweise bestimmte Formen aus der Eingabe ausgeschnitten werden sollen. Viele maschinelle Lernverfahren erwarten allerdings feste Ein- und Ausgabedimensionen der Daten.<\/p>\n\n\n\n

Um den Datensatz zu testen, veranstaltete Fran\u00e7ois Chollet eine \u00f6ffentliche Challenge auf der Data Science Plattform Kaggle<\/a>. Registrierte Gruppen erhielten den Datensatz und konnten berechnete L\u00f6sungen zur Evaluation an Kaggle schicken. Auf einer \u00f6ffentlichen Rangliste wurde daraufhin die Anzahl der korrekt gel\u00f6sten Aufgaben jedes Teams aufgef\u00fchrt. Mit unserem im Nachfolgenden beschriebenen Ansatz erreichten wir zum Abschluss der Challenge eine Platzierung unter den besten 30 von \u00fcber 900 teilnehmenden Gruppen.<\/p>\n\n\n\n

L\u00f6sungsansatz mittels grammatikalischer Evolution<\/h2>\n\n\n\n

Zun\u00e4chst verfolgen wir den Ansatz, Operationen auf Gitterbildern als dom\u00e4nenspezifische Sprache zu definieren. Zus\u00e4tzlich zu den Bildern definieren wir hierbei ein Schichtobjekt, welches aus einer Liste von mehreren Bildern besteht. Dieser Ansatz findet sich auch h\u00e4ufig in Bildverarbeitungssoftware, wie Adobe Photoshop oder GIMP, wieder. Die Grammatik der dom\u00e4nenspezifischen Sprache besteht aus vier verschiedenen Operationstypen:<\/p>\n\n\n\n