Regressionsbäume anhand des CART-Algorithmus und diverse fortgeschrittene Methoden (PDF)

Bachelorarbeit aus dem Jahr 2015 im Fachbereich BWL - Sonstiges, Note: 1,0, Universität Augsburg, Sprache: Deutsch, Abstract: Die folgende Arbeit beschäftigt sich mit Verfahren aus der Gruppe der Entscheidungsbäume, die eine weite Verbreitung bei der Lösung von Regressionsproblemen finden. Gemeint sind zum einen, die Regressionsbäume nach dem CART (Classification And Regression Trees)-Algorithmus, welche von Breiman et al. (1984) erarbeitet wurden.

Im Folgenden ist aus Vereinfachungsgründen von CART die Rede. Auf diesem Verfahren aufbauend, werden zusätzlich noch das Bagging, Random Forests und das Gradient-Boosting, als fortgeschrittene Methoden vorgestellt.

Grundsätzlich ist zu erwähnen, dass es eine ganze Reihe von Algorithmen gibt, die sich an die Baumstruktur anlehnen. Diese Methoden basieren auf rekursiver Partitionierung der Lernstichprobe in Untermengen entlang des Baumes. Bei CART wird zuerst ein weitverzweigter, komplexer Regressionsbaum erstellt und anschliessend gemäss eines Optimalitätskriteriums gekürzt. Hierdurch entsteht ein statistisches Modell, das Strukturen und Zusammenhänge in den Daten erlernen soll, weshalb man es der Gruppe der statistischen Lernmethoden zuordnet.

Im Anschluss kann das Modell dazu genutzt werden, um Vorhersagen für weitere Beobachtungen zu machen, welche nicht zum Erstellen genutzt wurden. Die Genauigkeit dieser Vorhersagen lässt sich auf unterschiedliche Weisen messen. Dadurch dass sich das Modell graphisch gut darstellen lässt, wird die Interpretation der Ergebnisse erleichtert - um nur einen der Vorteile von CART zu nennen.

Es sei zu beachten, dass sich dieses Verfahren sowohl separat, als auch als Implementierung bei anderen Methoden anwenden lässt, bei denen es gilt einen Datensatz gemäss der Höhe der Responsevariablen aufzuteilen. Dies ist z.B. bei den drei behandelten fortgeschrittenen Methoden der Fall.

Fraglich ist, wann es sich empfiehlt auf CART zurückzugreifen und welchen Mehrnutzen man im Vergleich zur klassischen Regressionsanalyse dadurch erhält. Des Weiteren soll geklärt werden, welche Schwachstellen dieses Verfahren hat und ob diese, durch Bagging, Random Forests oder Boosting gemindert oder sogar ganz bewältigt werden können.

Der Leser soll zudem nachvollziehen können, weshalb sich diese Methoden einer grossen Beliebtheit erfreuen und eine weite Verbreitung gefunden haben.