Ψ Die Informatikseite

Menü

Lernen in Jordan & Elmannetzen

Beim Lernen tritt das Problem auf, dass Backpropagation in eine Endlosschleife gerät, da wir endlos im Netz zurückpropagieren müssen. Wir können das auf zwei Arten verhindern:
  • Unfolding in Time: Wir gehen die Endlosschleife nur eine bestimmte Zeit und propagieren nur eine bestimmte Zeit den Fehler zurück. Nach ungefähr $10$ Unfolding-In-Time-Schritten ist es sowieso sinnlos weiter zu propagieren, da wir an die Rechengenauigkeit unseres Rechners angekommen sind19.
  • Teacher forcing: Bei Jordannetzen können wir während des Lernens die Rückkopplung einfach abschalten (open loop). Beim Abfragen (auch bei der Erzeugnung des nächsten Outputs) des Netzes schalten wir sie wieder ein (closed loop oder rekurrent). Bei der Erzeugnung des nächsten Outputs setzen wir die Kontextneurone auf den gewünschten Output des Schrittes davor20.