“Deep learning” verhilft Computerprogrammen dazu, vielschichtig aus Beispielen zu lernen
Allan George Hanbury übernahm 2018 die neue Stiftungsprofessur “Data Intelligence” an der TU Wien, eine Forschungskooperation zwischen TU Wien, TU Berlin, Deutscher Telekom und T-Mobile Austria.
Herr Hanbury, Künstliche Intelligenz findet sich heute in vielen Computerprogrammen, etwa in Bilderkennungssoftware. Damit das funktioniert, wird “Deep Learning” eingesetzt. Worum geht es dabei?
Alan Hanbury: Deep Learning ist ein Teilbereich der Künstlichen Intelligenz, eigentlich eine bestimmte Methodologie des Lernens, genauer des “Machine Learning”. Dieses dient wiederum dazu, dass ein System bestimmte Muster mittels verschiedener Algorithmen lernen kann. Wir alle haben in unseren E-Mailprogrammen Spamfilter. Mithilfe des “Supervised Machine Learning” kann das Programm erkennen, ob eine E-Mail Spam ist oder nicht. Das kann es, weil der Algorithmus anhand bereits bekannter Trainingsdaten und Klassifizierungen gelernt hat, selbst zu klassifizieren. Beim “Unsupervised Machine Learning” dagegen stehen dem Algorithmus nur Daten zur Verfügung, aber keine vorgegebene Klassifikation. Um beim Beispiel der E-Mails zu bleiben: Das System weiß hier noch nicht, ob es sich um Spam handelt, und der Algorithmus versucht eine Struktur herauszufinden, etwa thematisch zu clustern. Deep Learning bezeichnet eigentlich eine Gruppe von Algorithmen für “Machine Learning”.
Wurde das menschliche Gehirn als Ausgangsmodell verwendet?
Hanbury: Das Gehirn bot einen Anreiz im Sinne der miteinander kommunizierenden Neuronen. Aber im Fall von Machine Learning handelt es sich eigentlich um ein mathematisches Modell eines neuronalen Netzes, das aus Eingangs-und Ausgangsneuronen besteht. Dazwischen befinden sich mehrere Schichten von Zwischenneuronen. Die Eingangsneuronen lassen sich nun durch Lernen mit verschiedenen Intensitäten über die Zwischenneuronen mit den Ausgangsneuronen verknüpfen. Je mehr Neuronen und Schichten existieren, desto komplexere Sachverhalte lassen sich abbilden. Noch zu Beginn der 1990er Jahre hatten wir sehr wenig Datenmaterial und eine geringe Rechnerleistung. Wir haben mit nur zwei bis drei Schichten gearbeitet. Heute ist das anders – durch das Internet, die großen Speichermöglichkeiten und Rechnerleistungen. Auch ist es leichter, bereits klassifizierte Trainingsdaten zu bekommen. Deshalb können wir mit mehreren Schichten arbeiten. Und hier sprechen wir von Deep Learning, wenn es sich um ein neuronales Netz mit vielen Schichten handelt.
Wo finden sich Anwendungen?
Hanbury: Etwa in der Erkennung von Objekten auf Fotos. Das System erkennt automatisch, ob ein Hund oder eine Katze zu sehen ist. Früher gab es Trainingsdaten für nur zwanzig Objekte, denn der Arbeitsaufwand zur Erstellung war enorm. Über lange Zeit haben wir mit diesen wenigen Objekten herumgespielt. Das Internet hat hier Wesentliches verändert. Damit kam das Crowdsourcing auf, durch das man effizient eine große Datenmenge manuell klassifizieren kann. Daraus entstand das “Imagenet”, eine Datenbank von Bildern, die für Forschungsprojekte eingesetzt wird. Jedes Bild wird einem Substantiv zugeordnet, dabei gibt es über zwanzigtausend Klassen. So entstand ein Trainingssatz, der Deep Learning ermöglichte. Die Entwicklung von Methoden für die automatische Erkennung von Objekten auf Bildern war ein internationales Projekt, an dem viele Forschende und Unternehmen mitgearbeitet haben. Es gab erstmals die Möglichkeit, ein vielschichtiges Netzwerk anhand riesiger Datenmengen zu trainieren. Schließlich kamen noch die Grafikprozessoren ins Spiel, die man seit den 2010er Jahren auch für Deep Learning einsetzt. Damit waren entscheidende Verbesserungen in vielen Anwendungsbereichen möglich.
Weitere Anwendungsbereiche?
Hanbury: Ein wichtiger Bereich, der sehr von Deep Learning profitiert, ist die Medizin. Da kann man durch Deep-Learning-Systeme heute bestimmte Strukturen in Röntgenbildern besser erkennen als mit dem freien Auge, was eine genauere Diagnose ermöglicht. Ein anderer wichtiger Bereich ist die Textanalyse, bei der das System den Inhalt eines Dokuments anhand der Themen “verstehen” kann.
Hat Deep Learning eigentlich irgendwo eine Grenze?
Hanbury: Theoretisch nicht. Aber man muss im Auge behalten, dass Deep-Learning-Netzwerke eigentlich ziemlich dumm sind, denn sie sind nur für eine Aufgabe trainiert. Ein Netzwerk, das Objekte in Fotos erkennt, kann nur das und nichts anderes. Es kann zum Beispiel nichts mit einem Röntgenbild anfangen. In ihrem jeweiligen Bereich sind diese Netzwerke wirklich gut, aber nicht darüber hinaus. Es wird zwar bereits an einem “Transfer Learning” gearbeitet und geforscht, aber eine Art generalisierter Intelligenz zu erzeugen ist noch nicht gelungen. Es ist auch leicht, ein Deep-Learning-Netzwerk zu verwirren, etwa im Bildbereich. Es ist schon bei bestimmten Bildern demonstriert worden: Wenn etwa nur ein paar wenige Pixel verändert werden, kann das System das abgebildete Objekt nicht mehr identifizieren. Das Problem ist, dass wir nicht wissen, was in dieser riesigen Anzahl von Neuronen und Schichten genau vor sich geht. Wir wissen nicht, was genau das Ding eigentlich lernt. Denn es ist ein sehr komplexes mathematisches System, das versucht, Charakteristiken im Bild so effizient wie möglich zu identifizieren. Wenn man dann zufällig genau das verändert hat, was für das System zur Identifikation wesentlich ist, sieht es etwas anderes. Wir wissen eben nicht, auf welcher Basis so ein Netzwerk seine Entscheidungen trifft. Wir können aufgrund der Komplexität und der vielen Schichten im neuronalen Netzwerk den Informationsfluss innerhalb des Systems nicht nachvollziehen.
Was braucht generalisierte Intelligenz?
Hanbury: Generalisierte Intelligenz benötigt mehr Forschung und Kooperation mit den Neurowissenschaften. Sehr vielversprechend ist das “Human-Brain-Projekt” der Europäischen Kommission, welches das gesamte Wissen über das menschliche Gehirn zusammenfassen und mittels computerbasierten Modellen und Simulationen nachbilden soll. Mit der Ratte ist die Simulation eines Gehirnteils schon gelungen. Das geht dann in Richtung einer richtigen Künstlichen Intelligenz.
Das, was wir heute so bezeichnen, ist also noch gar nicht so intelligent?
Hanbury: Es ist intelligent in der Lösung von speziellen Aufgaben, wie eben in der Medizin, in der Bild-oder in der Spracherkennung.
An welchen Projekten forschen Sie an der Technischen Universität Wien?
Hanbury: Wir arbeiten viel mit Textanalyse, zum Beispiel im Bereich von Patenten. Die Patentämter stehen unter großem Druck, weil immer mehr Patente angemeldet werden, aber der Aufwand der Recherche und Klassifikation kaum mehr mit Personal zu bewältigen ist. Wir arbeiten an speziellen Suchmaschinen für diesen Bereich. Ein anderes Projekt betrifft die “Chatbots”, also die Interaktion zwischen Kunden und Unternehmen online, in automatisierter Form. Da gibt es genügend zu verbessern, bis man als Kunde vernünftige Antworten des Systems erhält und zufrieden sein kann. Oft sind die Algorithmen dahinter sehr einfach, das Resultat ist dann entsprechend unbefriedigend. Überhaupt bekommen wir viele Anfragen aus der Wirtschaft -es ergeben sich daraus interessante Forschungsthemen und auch immer wieder spannende Grundlagenforschungsthemen.
Gibt es eigentlich irgendwelche Gefahren bei Deep Learning?
Hanbury: Wenn es um Künstliche Intelligenz geht, fürchten sich manche vor der Herrschaft von “Skynet” und “Terminatoren”, aber davon sind wir weit entfernt. Fürchten sollten wir uns eher davor, unsere Daten unverantwortlich im Internet zur Verfügung zu stellen. Es ist schwierig zu schätzen, wie viel unsere Daten wert sind, doch sie haben einen Wert.