Markov beslutningsteori ( forår 2008 - 10 ECTS )
Rammer for udbud
-
Uddannelsessprog:
(se under Undervisnings- og arbejdsform)
-
Niveau:
Overbygningskursus.
-
Semester/kvarter:
3. + 4. kvarter (Foråret 2008).
-
Timer per uge:
4
-
Deltagerbegrænsning:
-
Undervisningssted:
Århus
-
Hovedområde:
Det Naturvidenskabelige Fakultet
-
Udbud ID:
7079
Formål
Kurset præsenterer algoritmiske aspekter af Markov beslutningsteori. Med
udgangspunkt i forskellige realistiske eksempler illustreres denne teoris
righoldige anvendelser.
Indhold
Kurset indledes med en kort præsentation af fornyelsesprocesser og
processer med afkast samt af markovkæder. Herefter følger en grundig
gennemgang af teorien om markov beslutningsprocesser, og der præsenteres
forskellige anvendelser af denne teori. Yderligere anvendelser
diskuteres ud fra deltagernes projektrapporter.
Læringsmål
Når kurset er færdigt forventes den studerende at kunne:
(a) anvende poissonprocessen og dens udvidelser
(b) forstå og anvende basal fornyelsesteori og teorien om fornyelsesprocesser med afkast
(c) forstå og anvende markovkæder med endeligt tilstandsrum og diskret eller kontinuert tid
(d) formulere og løse Markov og semi-Markov beslutningsprocesser for realistiske problemstillinger med endeligt tilstandsrum og endeligt handlingsrum, når målet er at minimere enten de langsigtede gennemsnitlige omkostninger per tidsenhed eller den forventede nutidsværdi af fremtidige omkostninger
(e) forstå basale sætninger om negativ og positiv stokastisk dynamisk programmering
(f) udlede strukturegenskaber for og inddrage probabilistiske begrænsninger i Markov og semi-Markov beslutningsprocesser.
Faglige forudsætninger
Matematisk Programmering, Sandsynlighedsteori 1 (eller Matematisk
Modellering 1 og 2) og Sandsynlighedsteori 2 (eller
Sandsynlighedsteori). Det er acceptabelt, at sidstnævnte fag følges
samtidigt med Markov Beslutningsteori.
Underviser
Søren Glud Johansen.
Undervisnings- og arbejdsform
Projektkursus med 4 timers forelæsninger om ugen i 3.~kvarter. 4.~kvarter
bruges til arbejde med projekter, som præsenteres og diskuteres ved
kvarterets afslutning.
.
Litteratur
H.C. Tijms, A First Course in Stochastic Models, John Wiley & Sons,
2003 (Chapters 1, 2, 3, 4, 6 and 7)
S.M. Ross, Introduction to Stochastic Dynamic Programming,
Academic Press, 1983 (Chapters 2, 3, 4 and 5)
Diverse artikler og tekniske rapporter.
Eksamensterminer
Eksamen: 4. kvarter.
Reeksamen: Efter aftale med faglærer.
Udbyder
Institut for Matematiske Fag.
Tilmelding til undervisning
Informationskontoret, Institut for Matematiske Fag.
Studieordning og bedømmelse
-
Hj.opg. + Mdt., bedømt efter 7-skala med ekstern censur
Det er et krav for at bestå kurset, at man deltager aktivt i
timerne og udarbejder en projektrapport. Baseret på rapporten
afholdes mundtlig eksamen med ekstern censur og evaluering efter
7-trinsskalaen. Rapporten kan v\ae re et bachelorprojekt.
