von Jürgen Jost

Komplexe Systeme und Strukturen finden sich bekanntlich in vielen Bereichen und bilden das Objekt wissenschaftlicher Forschungen in verschiedenen Fachdisziplinen; zu nennen wären beispielsweise die Biologie (Evolution, Genom, Immunsystem, ökologische Lebensgemeinschaften,...), die Sozial- und Wirtschaftswissenschaften und natürlich die Kognitionswissenschaften im weitesten Sinne, die sich mit der Struktur und Entwicklung des (menschlichen) Gehirns und seinem Partner und Konkurrenten, dem Computer, beschäftigen. Gleichzeitig stellen Computersimulationen, also meist drastisch vereinfachte Modelle, in denen nur weniger Zustände fähige "Agenten" unter wechselseitiger Kopplung und Beeinflussung nach festgelegten Regeln, jedoch meist mit Einschluss einer Zufallskomponente, ihre Zustände adaptieren, ein wichtiges Hilfsmittel zur Entdeckung und Analyse von auch zum Verständnis "echter" komplexer Systeme wichtigen dynamischen Mechanismen dar. In den Kognitionswissenschaften hat sich hierbei der Ansatz der sog. neuronalen Netze als Alternative zu dem traditionellen Forschungsparadigma der Künstlichen Intelligenz herausgestellt. Im Gegensatz zu Letzterem, das vielleicht durch die sequentielle Abarbeitung explizit gegebener Regeln charakterisiert werden kann, beruhen neuronale Netze auf der parallelen Anwendung impliziter und zumeist sich adaptierender Regeln, und auch andere Informationen sind nicht explizit wie in einem Computergedächtnis gespeichert, sondern über das ganze Netz verteilt repräsentiert. Während die traditionellen Verfahren der Künstlichen Intelligenz sich, wie nach der vorstehenden Beschreibung nicht anders zu erwarten, besonders gut für Probleme eignen, die mittels explizit formulierbarer logischer Regeln gelöst werden können, konnten mit Simulationen durch neuronale Netze manche automatisch und teilweise unbewußt ablaufenden Tätigkeiten des menschlichen Gehirns besser verstanden werden. Wir werden auf diesen Gegensatz zurückkommen.

Nun hat es nicht an Versuchen gefehlt, Theorien zu entwickeln, die fächerübergreifend grundlegende Strukturen und Mechanismen komplexer Systeme verstehen können, von der Katastrophentheorie über die Chaosforschung bis zur selbstorganisierten Kritikalität, wobei allerdings häufig der Anspruch wesentlich weiter ging als der jeweils unzweifelhaft erwiesene Beitrag zum Verständnis konkreter Phänomene. Eine Sonderrolle nimmt hierbei die Theorie der autopoietischen Systeme ein, die zunächst ausgehend von neurobiologischen Erkenntnissen von Maturana und Varela (vgl. [9] für einen Überblick) begründet und dann auch in anderen Wissenschaften weiterentwickelt wurde, insbesondere von Luhmann [8] in der Soziologie. Ausgangspunkt ist hier, dass einerseits ein komplexes System nur in Wechselwirkung mit seiner - typischerweise noch komplexeren - Umwelt verstanden werden kann und insbesondere für seine dynamische Kontinuität die ständige Zufuhr von Energie oder Information aus dieser Umwelt benötigt und dass andererseits aber in der Analyse sorgfältig zwischen dem Kenntnisstand eines externen Beobachters, dem die Umwelt auf andere Weise als dem System zugänglich ist, und der Binnenperspektive des Systems, welche, da das System zwar von seiner Umwelt abhängig, durch diese aber nicht vollständig determiniert ist, sich umgekehrt einem solchen externen Beobachter nicht direkt erschließt, unterschieden werden muss und das System nur aus letzterer heraus vollständig verstanden werden kann. Diese Theorie ist bisher allerdings eher verbal formuliert worden, und zur Analyse mancher konkreter Systeme scheint eine systematischere und formalere Begrifflichkeit erforderlich zu sein. Gleichzeitig werden explizite mathematische Methoden benötigt. Hiermit befasst sich das vorgestellte Projekt.

Der Ansatzpunkt in [7] ist zunächst die Entwicklung geeigneter informationstheoretischer Grundbegriffe, was unser besonderes Interesse an kognitiven Strukturen widerspiegelt. Diese Begriffe werden aber trotzdem derart formuliert, dass sie auch auf andere komplexe Systeme anwendbar sind. Grundlegend für die Untersuchung komplexer Systeme ist natürlich der Begriff der Komplexität selbst. Um aber den oben angesprochenen wichtigen Unterschied zwischen der externen und der Binnenperspektive berücksichtigen und das für den Aufbau komplexer Strukturen grundlegende Wechselspiel gegenläufiger Tendenzen einbeziehen zu können, wird zwischen der externen und der internen Komplexität unterschieden. Erstere bezieht sich auf den Input, den das System von seiner Umwelt erhält, und auf dessen Interpretation in einem festen internen Modell. Externe Komplexität ist Datenkomplexität und repräsentiert für das System Information über die Umwelt. Schon Jaynes [3] hat in seiner informationstheoretischen Interpretation der statistischen Mechanik herausgestellt, dass die Modellierung von Daten durch eine Wahrscheinlichkeitsverteilung auf dem Prinzip maximaler Unwissenheit beruhen solle, in dem Sinne, dass eine Wahrscheinlichkeitsverteilung gewählt werden solle, die möglichst wenig nicht in den Daten gegebene Strukturen enthält. In der Thermodynamik führt dieses Prinzip auf die Gibbsverteilungen. Uns führt dies allgemeiner zum Prinzip der Maximierung der externen Komplexität. Weil sich dieser Prozess in einem Wechselspiel zwischen dem internen Modell und den externen Daten vollzieht und in einer Interpretation der Daten durch das Modell resultiert, sind hierbei Rückkopplungen zwischen verschiedenen Systemschichten oder Untersystemen von großer Bedeutung. Umgekehrt beschreibt die interne Komplexität die Modellierung gegebener Beobachtungen innerhalb des Systems. Interne Komplexität ist Modellkomplexität und repräsentiert für das System Unsicherheit über die Außenwelt. Dies führt zum Prinzip der Minimierung der internen Komplexität. Im Gegensatz zur externen Komplexität lässt sich die interne aber noch in zwei Komponenten zerlegen, ähnlich wie bei Rissanen [10] die algorithmische Komplexität aufgespalten wird in die Beschreibungslänge des Modells selbst und diejenige der Daten bei gegebenem Modell, was ihn zum Prinzip der Minimalen Beschreibungslänge führt, oder wie bei Gell-Mann und Lloyd [2] die totale Information in die effektive Komplexität, welche die Regularitäten der Daten beschreibt, und die Shannonsche Information, welche in [2] die nicht systematisch beschreibbaren, zufälligen Aspekte repräsentiert, zerlegt wird.

Aus diesen Überlegungen ergeben sich eine Reihe wichtiger Konsequenzen. Zunächst involvieren die beiden Prozesse - Maximierung der externen und Minimierung der internen Komplexität - unterschiedliche unabhängige Variablen und sind daher partiell entkoppelbar und können insbesondere auf unterschiedlichen Zeitskalen stattfinden. Bei neuronalen Netzen können diese als die zeitgleiche Verarbeitung von Inputsignalen und als langsamer stattfindender Lernprozess durch Adaptation von Systemparametern identifiziert werden, siehe [6]. Die Herausbildung teilweise unabhängiger und teilweise gekoppelter zeitlicher und räumlicher Skalen ist wohl überhaupt ein wichtiges Charakteristikum komplexer Systeme. Weiterhin ermöglicht allgemein der Ansatz, die Entwicklung eines Systems als eines Optimierungsproblems einerseits in Wechselwirkung mit einer externen Umwelt und andererseits durch Kooperation und Konkurrenz interner Agenten zu verstehen, den Einsatz des Instrumentariums der Variationsrechnung, eines sehr weit entwickelten und an unserem Institut gut vertretenen Gebietes der Mathematik. Schliesslich führt ein derartiger informationstheoretischer Gesichtspunkt auch zu neuen Ansätzen zur Konstruktion neuronaler Netze. In eine ähnliche Richtung zielt der von Ay in seiner Dissertation [1] entwickelte Ansatz einer neuen Lerntheorie, welche aus gegebenen Daten möglichst viel pragmatische Struktur zu gewinnen versucht, in einem informationstheoretisch präzisierten Sinne. Wichtig ist jedenfalls die Erkenntnis, dass zum Aufbau von Bedeutung ein kognitives System nicht etwa versuchen soll, eine möglichst getreue Wiedergabe von Inputsignalen herzustellen, sondern stattdessen diese in Beziehung zu einem internen Modell setzen und umgekehrt das Modell anhand der empfangenen Information weiterbilden muss.

In dem Projekt wird systematisch der Gesichtspunkt verfolgt, dass sich komplexe Strukturen nur aus einem Wechselspiel gegenläufiger Tendenzen entwickeln können, aus der gleichzeitig, aber auf verschiedenen Skalen oder Hierarchieebenen stattfindenden Kooperation und Konkurrenz partiell unabhängiger und partiell integrierter Agenten oder Elemente, aus der Kombination von sequentiellen und parallelen Mechanismen, aus Vorwärtsverarbeitung und Rückkopplung zwischen verschiedenen Hierarchieebenen und Interaktionen innerhalb gleicher Ebenen etc. Formal müssen diese Effekte durch geeignete Begriffe quantitativ erfassbar gemacht werden, beispielsweise durch die sogenannte wechselseitige Information, die Integration und Differenzierung auf verschiedenen Skalen zueinander in Beziehung setzt. Diesem Zweck dienen auch die Begriffe der strukturellen und der funktionalen Komplexität. Im Gegensatz zur oben erläuterten internen und externen Komplexität beziehen sich diese allerdings nicht mehr auf den Standpunkt des Systems, das seine Umwelt zu erfassen sucht, sondern dienen der Beschreibung eines Systems durch einen externen Beobachter. Die strukturelle Komplexität erfasst die Korrelationen innerhalb eines Systems auf verschiedenen Stufen der Integration oder Skalen, während die funktionale Komplexität die Fähigkeit eines Systems zur Klassifikation von Inputsignalen bewertet.

Dies bringt uns zu einem weiteren mathematischen Gebiet, das systematisch zum Studium komplexer Systeme eingesetzt werden kann, nämlich der Theorie dynamischer Systeme. Hierbei wird, je nach Problemlage, der Input, den ein System von seiner Umwelt empfängt, entweder als Anfangszustand für oder als Stör- oder Kontrollterm von einer inneren Dynamik verstanden, welche ein kontinuierliches Spektrum von Inputs in eine diskret strukturierte Menge von asymptotischen oder finalen Zuständen überführt, den Attraktoren der Dynamik. Wichtig ist hierbei, dass zwischen den verschiedenen Attraktoren systematische strukturelle Beziehungen bestehen, die ihren mathematischen Ausdruck in der Existenz instabiler Gleichgewichtszustände finden und beispielsweise in den Theorien von Conley und Floer (siehe [5] für einen Überblick; dieses Gebiet bildet auch einen wichtigen Forschungsschwerpunkt unseres Institutes) eingehend untersucht worden sind. Dies liefert erstens wesentliche Einschränkungen, denen jede Dynamik bei gegebenen Rahmenbedingungen genügen muss, und führt daher zu wichtigen qualitativen Aussagen über dynamische Systeme und ist zweitens auch ein konkretes Hilfsmittel zur Analyse des internen Klassifikationsschemas externer Daten in einem System.

Zur Veranschaulichung kann zunächst die Bahn eines Teilchens in einem Potentialgebirge herangezogen werden. Wie in Abb.1 zu sehen, bewegt sich das Teilchen nach unten, eingeschränkt durch den Graphen der Potentialfunktion, bis es in einem lokalen Minimum zur Ruhe kommt.

Abbildung 1

Den jeweiligen Einzugsbereich eines derartigen Minimums wollen wir hier als vom System kodiertes Muster ansehen (dies ist der Grundgedanke des Hopfieldnetzes, eines der am meisten studierten neuronalen Netzwerke; genauer würde hier die Anfangsposition des Teilchens dem Input des Netzes entsprechen, und das lokale Minimum, in dem es schließlich zur Ruhe kommt, wäre das vom Netz wiedererkannte Muster). Wie aus der Zeichnung zu ersehen, liegt zwischen je zwei lokalen Minima ein lokales Maximum, und ist der Graph wie gezeichnet nach oben geöffnet, so ist die Anzahl der lokalen Minima genau um 1 größer als die Anzahl der lokalen Maxima. Diese Differenz ist das einfachste Beispiel einer algebraischen Invarianten, die allgemeine Aussagen über eine ganze Klasse dynamischer Systeme macht, unabhängig von konkreten Details. Bei höherdimensionalen Systemen ist die Situation zwar komplizierter, weil es mehr Möglichkeiten gibt, aber andererseits ermöglichen algebraische Invarianten hier gerade auch weniger offensichtliche qualitative Aussagen. Neben diesen Invarianten sind aber auch variable Größen wie intrinsische Skalen von Bedeutung, d.h. bei welcher Größenordnung oder Feinauflösung das dynamische Verhalten am reichhaltigsten ist. Der in [4] entwickelte Komplexitätsbegriff ermöglicht beispielsweise die Bestimmung eines solchen Skalenfaktors. Weiterhin kann man auch eine weitere zeitliche Skala einführen, auf welcher Parameter, von denen die zugrundegelegte Funktion abhängt, variieren können. Beispielsweise kann es zum Einschleifen oder Verfestigen häufig realisierter dynamischer Abläufe kommen, wie bei Lernregeln für neuronale Netze. Daduch könnten sich z.B. lokale Maxima in Nebenminima verwandeln, unter Erzeugung zweier neuer lokaler Maxima, wie in Abb.2 zu sehen.

Abbildung 2

In einem neuronalen Netz ließe sich dies als die explizite Herausbildung eines implizit schon vorhandenen gemeinsamen Oberbegriffs für zwei verwandte Muster interpretieren.

Nun sind Gradientendynamiken des gerade skizzierten Typs allerdings sehr speziell, und allgemeinere dynamische Systeme können auch beispielsweise periodische oder chaotische Attraktoren als Gleichgewichtszustände aufweisen. Wenn ein solcher Gleichgewichtszustand wiederum als ein im System gespeichertes Muster interpretiert wird, so ist nun dieses Muster nicht mehr in einem einzelnen Minimalpunkt lokalisierbar, sondern nur noch über einen ganzen Attraktor verteilt repräsentiert. In der Abbildungssequenz 3a-e zeigen wir die von zwei Parametern und abhängige Dynamik eines einfachen Systems gekoppelter Differentialgleichungen (derartige Modelle werden beispielsweise in der Populationsdynamik verwandt)

bei wachsenden Werten dieser Parameter.

Abbildung 3a

Abbildung 3b

Abbildung 3c

Abbildung 3d

Abbildung 3e

Aus den Gleichgewichtsbahnen um den Fixpunkt bei x=0 werden dann in diesen hineinlaufende Spiralen, während die ursprünglich vorhandenen Bahnen zwischen den Fixpunkten bei x=-1 und x=1 verschwinden. Wenn man das System für die Parameterwerte 0 (s. Abb.3a) als parameterfreies System auffasst, so lässt sich die Abbildungssequenz als Entfaltung einer dynamischen Struktur in Abhängigkeit von durch die Parameter repräsentierten neuen Freiheitsgraden auffassen. Das System erschließt sich sozusagen neue Dimensionen des qualitativen Verhaltens. Auf diesem allgemeinen Niveau ist dies nur als Metapher zu verstehen, aber Anwendungen in konkreten Situationen erlauben häufig ein genaues qualitatives Verständnis des wesentlichen dynamischen Ablaufs. Das Wechselspiel zwischen abstrakter Begrifflichkeit und konkret einsetzbaren Methoden macht dieses Projekt besonders reizvoll.

Das Projekt soll in Zusammenarbeit mit dem Santa Fe Institute for the Sciences of Complexity, New Mexico, USA, und der an der Universität Jena angesiedelten, von O. Breidbach geleiteten und unter Beteiligung unseres Institutes aufgebauten Forschungsstelle "Dynamische Systeme" weiterentwickelt werden. Konkrete Kooperationen bestehen mit Wissenschaftlern verschiedener Fachrichtungen, beispielsweise der Archäologie, der Evolutionsbiologie und der Neurowissenschaften.

Literatur

[1] N. Ay, Aspekte einer Theorie pragmatischer Informationsstrukturierung, Promotionsschrift, Leipzig, 2000
[2] M. Gell-Mann u. S. Lloyd, Information measures, effective complexity, and total information, Complexity 2, 44-52 (1996)
[3] E. Jaynes, Information theory and statistical mechanics, Phys.Rev.106, 620-630 (1957)
[4] J. Jost, On the notion of complexity, Theory Bioscienc.117, 161-171 (1998)
[5] J. Jost, Dynamische Systeme. Ein Überblick, erscheint als Vorabdruck in der Vorlesungsreihe des MPI für Mathematik in den Naturwissenschaften
[6] J. Jost, Mathematical aspects of neural networks, erscheint als Koproduktion von International Press und American Math.Soc.
[7] J. Jost, Conceptual foundations of a theory of cognitive and other complex systems, Manuskript in Vorbereitung
[8] N. Luhmann, Soziale Systeme, Suhrkamp, Frankfurt/M., 1984
[9] H. Maturana u. F. Varela, The tree of knowledge, Shambala, Boston, London, 1992
[10] J. Rissanen, Stochastic complexity in statistical inquiry, World Scientific, Singapore, 1989