Markoffsche Entscheidungsprozesse, Fachbücher von Manfred Schäl

Der vorliegende Text befasst sich mit der Kontrolle von Markoff-Ketten. Es wird insbesondere eine einheitliche Darstellung für die folgenden drei Problemkreise angestrebt: stochastische dynamische Optimierung, Glücksspiele und optimales Stoppen. Im ersten Teil werden die Grundlagen aus der Theorie der Markoff-Ketten bereitgestellt. Dieser Band ist eine überarbeitete Fassung einer Vorlesungsausarbeitung, die als Nr. 33 in der Vorlesungsreihe des Sonderforschungsbereiches 72 am Institut für Angewandte Mathematik der Universität Bonn erschienen ist. Durch die Beschränkung auf abzählbare Zustandsräume genügen zum Verständnis des überwiegenden Teils des Textes die Kenntnisse aus einer einführenden Wahrscheinlichkeitstheorie-Vorlesung. Lediglich für die Modellbildung werden Masse auf Produkträumen mit abzählbar vielen Faktoren benötigt. In 18 wird darüber hinaus der Hauptgrenzwertsatz für Martingale benutzt. Gleichungen, Aussagen und Sätze werden hierarchisch durchnummeriert. Die als Bemerkungen formulierten Aussagen werden in dem jeweils folgenden Stoff nicht benötigt. Eine Reihe von Aussagen wird nicht bewiesen. Ihre Beweise werden als Übungsaufgaben gestellt. Am Ende des Vorworts werden die Abhängigkeiten der Paragraphen dargestellt. Dabei werden nur die gezeigt, die sich für das logische Verständnis ergeben, und nicht die, die sich lediglich aus Gründen der Motivation ergeben. Wird das Schwergewicht auf Markoff-Ketten gelegt, so können 1-7, 9-11, 14, 16 gelesen werden. Steht die dynamische Optimierung im Vordergrund, so genügen 9-15. Ist man vor allem an Glücksspielmodellen interessiert, so empfehlen sich 1, 9-11, 18, 19. Die in Paragraph 17 dargestellte Verallgemeinerung von VI 8 kann auch bereits nach 16.19 verstanden werden, wenn man wie in 8 keine laufenden Einschrittgewinne berücksichtigt.