Mathematical Models for the Discovery of Musical Patterns and Structures, and for Performances Analysis
Modèles mathématiques pour la découverte de motifs musicaux et de structures musicales, et pour l'analyse de performances musicales
Résumé
This manuscript focuses on the application of mathematical theories to music. In particular, we explore three closely related musical components: pattern, structure and performance, which can be associated with the following questions: How to discover musical patterns? How are these patterns organized within the musical structure? And finally, how are these patterns interpreted during musical performance?
First, this manuscript deals with the musical pattern discovery task. Previous works identify two different approaches: the sequential and the multidimensional approaches. We propose a method for developing the multidimensional approach. In particular, we demonstrate that the theory of mathematical morphology fits into this context. This makes it possible to obtain mathematical results for the discovery of musical patterns, and to provide answers to some of the open questions in the field.
In the second part, we focus on the musical segmentation task, and propose to generate hierarchical segmentations. We develop a method based on homogeneity and novelty, and one based on repetition, which are the main features to be studied in order to discover the segmentation of a piece. The homogeneity-based method uses morphological filters to detect blocks on the diagonal of the self-similarity matrix, while the repetition-based method discovers almost repetitions without overlaps to obtain the hierarchical segmentations of a musical piece.
The third part is dedicated to the computational models for musical performances. We focus on the MazurkaBL dataset, which contains annotations of over 2000 recorded performances of 46 Chopin Mazurkas. To analyze this dataset, we propose to represent a musical performance in a 2-simplex, allowing us to characterize and interpret the expressivity of a performance. Then, we show that the theory of unbalanced optimal transport provides a tolerance to compare musical perfor- mances in order to identify similarities and differences between interpretations of the same piece.
Finally, we conclude this manuscript with a section presenting a scientific outreach activity on the links between mathematics and music, and a discussion of the application of mathematical theories to music.
Ce manuscrit se focalise sur l’application de théories mathématiques à la musique. En particulier, nous étudions trois composantes musicales étroitement liées : les motifs, la structure et la performance, qui peuvent être associées aux problématiques suivantes. Comment découvrir les motifs musicaux ? Comment ces motifs sont-ils organisés au sein de la structure musicale ? Et enfin, comment ces motifs sont-ils interprétés lors de la performance musicale ?
La première partie est consacrée à la tâche de découverte de motifs musicaux. Les travaux antérieurs permettent de distinguer deux approches : l’approche séquentielle et l’approche multidimensionnelle. Nous proposons une méthode pour développer l’approche multidimensionnelle. En particulier, nous montrons que la théorie de la morphologie mathématique s’inscrit très bien dans ce contexte. Cela per- met d’obtenir des résultats mathématiques pour découvrir des motifs musicaux, et d’apporter des réponses à certaines questions ouvertes dans ce domaine.
En seconde partie, nous nous intéressons à la tâche de segmentation musicale en proposant de générer des segmentations hiérarchiques. Nous y développons deux méthodes, l’une basée sur l’homogénéité et la nouveauté, et l’autre sur la répétition, qui sont les principales caractéristiques à étudier pour découvrir la segmentation d’une pièce. La méthode basée sur l’homogénéité utilise les filtres morphologiques pour détecter les blocs sur la diagonale de la matrice d’auto-similarité. Alors que la méthode basée sur la répétition identifie les répétitions sans intersection pour obtenir les segmentations hiérarchiques d’une pièce.
La troisième partie est dédiée à l’analyse de la performance musicale avec des outils informatiques. Nous nous focalisons sur la base de données MazurkaBL qui contient les annotations de plus de 2000 performances de 46 Mazurkas de Chopin. Pour analyser cette base de données, nous proposons de représenter une performance musicale dans un 2-simplexe, ce qui permet de caractériser et d’interpréter l’expressivité musicale d’une performance. Nous montrons, ensuite, comment la théorie du transport optimal non-équilibré permet de comparer des performances musicales afin d’identifier les similitudes et les différences entre les interprétations d’une même pièce.
Nous concluons ce manuscrit par un chapitre présentant une activité de médiation scientifique basée sur les liens entre les mathématiques et la musique, suivi d’une discussion sur l’application de théories mathématiques à la musique.
Origine : Version validée par le jury (STAR)