In der Statistik gilt als Regel, dass die Summe der quadrierten Fehler e² (SSE für sum of squared errors), d.h. die Summe der quadrierten senkrechten Abstände zwischen den auf der Y-Achse gemessenen Datenpunkten Y und den auf der Regressionslinie gelegenen (erwarteten) Punkten auf der Regressionslinie, möglichst klein sein sollten.

Mathematisch lässt sich das folgendermassen ausdrücken:

Man spricht in diesem Sinne vom (normalen) Verfahren der kleinsten Quadrate (kurz: OLS, für ordinary least squares).

Erzeugen Sie im folgenden Beispiel eine Regressionslinie (indem Sie per Mausklick zwei Punkte bestimmen), und probieren Sie, von Hand einen best fit zu erreichen, indem Sie die Steigung (slope) und den Schnittpunkt der Geraden mit der Y-Achse (intercept) verändern, und zwar so, dass sich die Summe der quadrierten Fehler minimiert. Lassen Sie sich dann den best fit anzeigen.