Zur Seitenansicht
 

Titelaufnahme

Titel
Flexible and robust music tracking / submitted by Andreas Arzt
Weitere Titel
Flexible und robuste Musikverfolgungsalgorithmen
VerfasserArzt, Andreas
Begutachter / BegutachterinWidmer, Gerhard ; Müller, Meinard
ErschienenLinz, November 2016
Umfangxii, 134 Seiten : Illustrationen
HochschulschriftUniversität Linz, Univ., Dissertation, 2016
Anmerkung
Zusammenfassung in deutscher Sprache
Abweichender Titel laut Übersetzung des Verfassers/der Verfasserin
SpracheEnglisch
Bibl. ReferenzOeBB
DokumenttypDissertation
Schlagwörter (DE)künstliche Intelligenz / Musik / Musikverfolgung / Wahrnehmung / Musikidentifikation / Musikverarbeitung / Audioverarbeitung / Datenbanken
Schlagwörter (EN)artificial intelligence / music / music tracking / score following / music alignment / perception / music identification / music processing / audio processing / databases
Schlagwörter (GND)Künstliche Intelligenz / Musik / Objektverfolgung / Identifikation / Wahrnehmung
URNurn:nbn:at:at-ubl:1-12580 Persistent Identifier (URN)
Zugriffsbeschränkung
 Das Werk ist gemäß den "Hinweisen für BenützerInnen" verfügbar
Dateien
Flexible and robust music tracking [29.03 mb]
Links
Nachweis
Klassifikation
Zusammenfassung (Deutsch)

Computer sind aus der Musik nicht mehr wegzudenken und spielen eine wichtige Rolle während des Kompositionsprozesses, der Produktion und auch während Konzerten live auf der Bühne. Diese Dissertation beschäftigt sich mit einem spezifischen Problem der Musikverarbeitung, dem Score Following, auch bekannt als Music Tracking, also dem Verfolgen von Musik. Dabei "hört" sozusagen ein Musikverfolgungsalgorithmus einem Livekonzert zu, vergleicht das aufgenommene Audiosignal mit einer abstrakten Repräsentation des Notentextes, und "liest" in diesem mit. Das heißt, der Algorithmus kennt zu jedem Zeitpunkt die aktuelle Stelle der Musiker im Notentext. Mithilfe dieser Information lassen sich Applikationen realisieren, die zum Beispiel Visualisierungen automatisch zur Musik synchronisieren, den Notentext automatisch umblättern, oder eine synchronisierte Begleitstimme einspielen. Der Fokus dieser Dissertation liegt auf flexiblen und robusten Musikverfolgungsalgorithmen für Klassische Musik. Die wichtigsten Beiträge dieser Dissertation sind (1) verbesserte Algorithmen, Features und Tempomodelle, die die Robustheit und Genauigkeit des Verfolgungsalgorithmus erhöhen, (2) ein robuster Multi-Agenten Musikverfolgungsalgorithmus, der auch komplexe Orchestermusik zuverlässig verfolgen kann und (3) Algorithmen, die blitzschnell Musikstücke identifizieren und als Basis für einen Musikverfolgungsalgorithmus dienen, der flexibles Verfolgen auf Basis einer großen Datenbank an Notentexten realisiert. Zusätzlich zu quantitativen Experimenten auf vielfältigen Datensammlungen wurden die vorgestellten Algorithmen auch auf wissenschaftlichen Konferenzen und Galas live vor Publikum präsentiert. Der Höhepunkt dieser Dissertation ist aber unzweifelhaft die Demonstration des Musikverfolgungsalgorithmus im Concertgebouw in Amsterdam. Der Algorithmus verfolgte dort eine Aufführung der Alpensinfonie von Richard Strauss und wurde verwendet, um für das Publikum Informationen -- den Notentext, künstlerische Videos und informativen Text -- zur Musik synchronisiert anzuzeigen.

Zusammenfassung (Englisch)

Computers nowadays are prevalent in all areas of music, from the compositional process to music production, be it in the studio or live on stage. The thesis is concerned with a specific problem in music processing, namely score following, also known as real-time music tracking. Casually speaking, a music tracking algorithm "listens" to a live performance of music, compares the incoming audio signal to a representation of the score, and "reads" along, i.e. at any given moment it knows the exact position of the musician(s) in the sheet music. This information enables a wide range of applications, e.g. visualisations synchronised to live music, automatic page-turning of the score, and automatic accompaniment. The focus of the thesis is on robust and flexible music tracking algorithms for Western classical music which overcome the limitations of other existing algorithms. The main contributions of the thesis are (1) improved algorithms, features, and tempo models, increasing the robustness and accuracy of music tracking, (2) a very robust multi-agent music tracking approach which enables robust tracking e.g. of complex orchestral music, and (3) fast music identification algorithms which enable flexible any-time music tracking that is not limited to tracking a single, predefined piece, but works flexibly on a (large) database of sheet music. In addition to quantitative experiments on diverse datasets, the algorithms described in this thesis were tested in real-world settings -- live in front of an audience. This includes demonstrations at scientific conferences and galas, but also the culminating point of this thesis: a live demonstration of robust music tracking technology at the Concertgebouw in Amsterdam. There, our system tracked a live performance of the Alpensinfonie by Richard Strauss and was used to show synchronised visualisations -- the sheet music with automatic page turning, artistic videos, and textual information provided by a musicologist -- to the audience.