Die zweite Konfiguration (s. Abbildung 24) hat wieder zwei Eingänge, jetzt aber zwei Hidden-Layer mit jeweils drei Neuronen. Die Aktivierungsfunktion wird umgestellt von Tanh auf ReLU (s. Abbildungen der Funktionen in Kap. 6.2). Das Netzwerk lernt jetzt besser. Nach 776 Episoden ist der Fehler (loss function) bei den Trainingsdaten 0.006 und bei den Testdaten 0.002.

 Abbildung 24 (*Q24): Simulation eines Feed-Forward-Netzwerkes mit zwei Hidden-Layern und der Aktivierungsfunktion ReLU

- 26 -