Man könnte nun über „Versuch und Irrtum“ viele weitere Geraden mit verschiedenen m und b einzeichnen und hoffen, dass sich irgendwann ein Minimum der Kostenfunktion ergibt. Oder man nimmt ein professionelles Verfahren, wie das Gradientenabstiegsverfahren.

Gradientenabstiegsverfahren

Das Gradientenabstiegsverfahren kann man am einfachsten erklären, wenn man eine neue Darstellung wählt, nämlich für jede Gerade wird genau ein Punkt in einem m-b-Diagramm eingetragen und an diesen wird seine Kostenzahl geschrieben. Für die beiden Geraden würde sich das Bild in Abbildung 32 ergeben.

Abbildung 32: m-b-Darstellung von zwei verschiedenen Geraden bzw. Kostenfunktionen

Aber wo und wie findet sich ein Minimum? Man könnte wieder versuchen, tausende von Punkten zu ermitteln und dann Punkte mit gleichen Kosten zu einer sog. Höhenlinie zu verbinden. Auf diese Weise würde man eine sog. Höhenkarte (s. Abbildung 33) erhalten. Große Werte bedeuten große Höhen, kleine Werte bedeuten kleine Höhen. Ziel ist es nun ein Tal zu finden.

In der Realität ist es aber zu aufwändig eine vollständige Höhenkarte zu zeichnen. Daher nimmt man irgendeine Kostenfunktion, sprich Gerade, und hat dann einen Punkt in einer unbekannten Höhenkarte, sprich Landschaft. Nun wird um diesen Punkt herum geguckt, wo es am steilsten bergab geht (mathematisch: wo die Ableitungen in m- und b-Richtung negativ am größten sind). Und in dieser Richtung wird eine neue m-b-Kombination ausprobiert (sprich: deutlich in diese Richtung "gesprungen", s. Abbildung 33). Je steiler es bergab geht, je weiter wird gesprungen, wird es flacher, werden die Sprünge weniger weit. Geht es nach einem Sprung rund um den Landepunkt nicht bergab, hat man das Minimum, sprich das Tal gefunden. Wenn man Pech hat, ist es aber nur ein lokales Minimum.

- 34 -