Vorlesung: Einführung in die Informations- und Lerntheorie
(WS 08/09)

Die "klassische Informationstheorie" beschäftigt sich mit der Frage, welche Information benötigt wird, damit der Empfänger aus dem bekannten Universum aller möglichen Botschaften die richtige Botschaft auswählt. Einen anderen Ansatz erhalten wir, wenn das Maß an Information nur in Abhängigkeit der individuellen Botschaft, also nicht in Relation zu einem gegebenen Universum von möglichen Botschaften, definiert wird. Diesen Weg geht die "algorithmische Informationstheorie". In der Praxis hat man häufig folgendes Problem zu lösen: Gegeben einen String, möchte man die darin enthaltene relevante Information extrahieren. Hierzu benötigt man eine Antwort auf folgende fundamentale Frage: Was muss man a priori über unbekannte funktionale Abhängigkeiten wissen, um diese aufgrund von Beobachtungen schätzen zu können? Damit beschäftigt sich u.a. die "statistische Lerntheorie". Ziel der Vorlesung ist es, eine Einführung in die Informationstheorie und in die Lerntheorie zu geben.

Bereich:

A/C, A2 (Vorlesung mit Übungen, 8 LP) 

Termin:

Di, Do 9-11 HS 1 

Übungen:

Sie können sich ab sofort hier zu den Übungen anmelden.

Skript:

Nachprüfungen:

Die Nachprüfungstermine stehen fest. Sie finden in der 14. Kalenderwoche statt. Um Ihren genauen Prüfungstermin zu erhalten, kontaktieren Sie bitte Matthias Kretschmer.

Übungsblätter

Weiterführende Literatur

  • Kolmogorov Complexity and its Applications: lecture notes by Alexander Shen. pdf/ps.gz