Aus dem Forschungslabor Folge 40
Neuron auf Zeit
Veröffentlicht in Ausgabe 04/2022 - RUBRIKEN
In unseren Gehirnen sorgen etwa 86 Milliarden Nervenzellen dafür, dass wir verglichen mit dem übrigen Tierreich außergewöhnliche geistige Leistungen vollbringen können. Diese Neuronen sind durch Synapsen miteinander verbunden und kommunizieren durch elektrische und chemische Signalübertragung in einem riesigen Netzwerk miteinander.
Schon seit Jahrzehnten entwerfen Forschende künstliche neuronale Netze, die wie das menschliche Vorbild "lernen" können, indem sich die Verbindungen zwischen einzelnen Neuronen unterschiedlich stark ausbilden. Welche Neuronen mit welchen besonders gut kommunizieren, hängt von der jeweiligen Aufgabenstellung ab, für die das neuronale Netz trainiert wurde. Es kann nach dem Training zum Beispiel Objekte erkennen, Bilder in bestimmte Klassen einteilen oder selbstständig Texte erstellen.
KI verbraucht viel Energie
Heutige neuronale Netze haben laut Dr. Serhiy Yanchuk, Leiter der Arbeitsgruppe "Angewandte Dynamische Systeme" an der TU Berlin, zwei Beschränkungen: Zum einen der hohe Stromverbrauch von neuronalen Netzen, die in Supercomputern simuliert werden. So zeigte eine Studie der Universität von Kopenhagen, dass nur ein einziger Trainingszyklus so viel Strom verbrauchen kann, dass dies dem CO2-Äquivalent von 700.000 mit dem Auto gefahrenen Kilometern entspricht. Auf der anderen Seite gibt es auch Grenzen in Bezug auf die Anzahl von Hardwareneuronen und die Verbindungen zwischen ihnen. Während es in Supercomputern bereits möglich ist, Milliarden von Neuronen zu programmieren, erreichen die jüngsten Hardware-Implementierungen bisher nur eine Anzahl von einigen Tausend künstlichen Nervenzellen.
In unseren Gehirnen sorgen etwa 86 Milliarden Nervenzellen dafür, dass wir verglichen mit dem übrigen Tierreich außergewöhnliche geistige Leistungen vollbringen können. Diese Neuronen sind durch Synapsen miteinander verbunden und kommunizieren durch elektrische und chemische Signalübertragung in einem riesigen Netzwerk miteinander.
Schon seit Jahrzehnten entwerfen Forschende künstliche neuronale Netze, die wie das menschliche Vorbild "lernen" können, indem sich die Verbindungen zwischen einzelnen Neuronen unterschiedlich stark ausbilden. Welche Neuronen mit welchen besonders gut kommunizieren, hängt von der jeweiligen Aufgabenstellung ab, für die das neuronale Netz trainiert wurde. Es kann nach dem Training zum Beispiel Objekte erkennen, Bilder in bestimmte Klassen einteilen oder selbstständig Texte erstellen.
KI verbraucht viel Energie
Heutige neuronale Netze haben laut Dr. Serhiy Yanchuk, Leiter der Arbeitsgruppe "Angewandte Dynamische Systeme" an der TU Berlin, zwei Beschränkungen: Zum einen der hohe Stromverbrauch von neuronalen Netzen, die in Supercomputern simuliert werden. So zeigte eine Studie der Universität von Kopenhagen, dass nur ein einziger Trainingszyklus so viel Strom verbrauchen kann, dass dies dem CO2-Äquivalent von 700.000 mit dem Auto gefahrenen Kilometern entspricht. Auf der anderen Seite gibt es auch Grenzen in Bezug auf die Anzahl von Hardwareneuronen und die Verbindungen zwischen ihnen. Während es in Supercomputern bereits möglich ist, Milliarden von Neuronen zu programmieren, erreichen die jüngsten Hardware-Implementierungen bisher nur eine Anzahl von einigen Tausend künstlichen Nervenzellen.
Ein Neuron für alles
Die Lösung für diese beiden Herausforderungen könnte nach der Idee der TU-Forscher darin liegen, nur ein einzelnes Neuron zu verwenden, das durch zeitverzögertes Ansteuern und Auslesen (In- und Output) nacheinander die Rollen aller Neuronen im neuronalen Netz einnimmt. Spezielle Verzögerungsleitungen nehmen dafür den Zustand des Neurons auf, modulieren ihn in geeigneter Weise und senden das daraus resultierende verzögerte Signal zurück.
Die normalerweise räumliche Distanz zwischen zwei Neuronen im Netzwerk wird bei diesem Konzept also durch eine zeitliche Verschiebung ersetzt. Und die für das Training erforderliche Möglichkeit, die Stärke der einzelnen neuronalen Verbindungen zu beeinflussen, lässt sich hier durch eine zusätzliche Manipulation der Zeitverzögerungen erreichen.
Dass es die Hardware-Implementierung erleichtert, wenn nur noch ein Neuron wirklich physisch gefertigt werden muss, liegt auf der Hand. Dass ihre Methode auch den Energieverbrauch von künstlichen neuronalen Netzen senken könnte, schließen die Forscher aus Ergebnissen anderer Wissenschaftler, die auf dem Gebiet des sogenannten Time-Delay Reservoir Computing arbeiten. Dabei wird irgendein physisches System (das "Reservoir") mit einem Eingangssignal belegt und das Ausgangssignal über eine Feedback-Schleife wieder als Eingangssignal eingespielt. Bei Berechnungen ergeben sich so häufig eine gute Performance und ein geringerer Energieverbrauch als mit herkömmlicher Software.
Auf ins Kontinuum
Neben den konkreten praktischen Verbesserungen von KI-Systemen könnten die weitere Untersuchung der neuen "zeitgefalteten" neuronalen Netzwerke auch noch zusätzliche Einsichten bringen. Werde nämlich die Zeitverzögerung, die zwischen zwei zeitlich direkt "benachbarten" Neuronen liegt, immer kleiner, ließen sich theoretisch unendlich viele Neuronen erzeugen. Das wäre eine ganz neue Eigenschaft der zeitgefalteten Netze, die im Prinzip einen Übergang von diskreten, einzelnen Knoten in den Netzen zu einer Art Kontinuum möglich macht. Was sich daraus ergibt, ist allerdings noch völlig offen, so die Wissenschaftler.