❮ Volver

Digitalización de Obras históricas mediante Reconocimiento adaptativo de Música en Imágenes

DOReMI

Objetivos

El proyecto se centra en la integración de técnicas de adaptación de dominio (DA) en sistemas de reconocimiento óptico de música (OMR) con el propósito de digitalizar partituras musicales de manera generalizada y práctica, sin restricciones sobre su tipo, estilo o formato y sin requerir conjuntos de datos etiquetados específicos. Busca desarrollar y evaluar métodos que permitan adaptarse a variaciones en las partituras, aprovechando conjuntos de datos existentes y ampliando su corpus con datos sintéticos y semisintéticos. La metodología propuesta abordará el análisis de documentos musicales a través de aprendizaje automático y redes neuronales profundas, integrando técnicas de DA en detección de objetos, redes convolucionales recurrentes y binarización.

Equipo

El equipo de investigación junto con el equipo de trabajo está formado por un total de seis investigadores de la Universidad de Alicante:

Antonio Javier Gallego
Antonio Javier Gallego

Investigador Principal

Antonio Pertusa
Antonio Pertusa

Equipo de investigación

Carlos Pérez Sancho
Carlos Pérez Sancho

Equipo de investigación

Jose Javier Valero Más
Jose Javier Valero Más

Equipo de trabajo

María Alfaro Contreras
María Alfaro Contreras

Equipo de trabajo

Miguel Mirón Alarcón
Miguel Mirón Alarcón

Equipo de trabajo

Francisco J. Castellanos
Francisco J. Castellanos

Investigador contratado

Publicaciones

A continuación se detalla la lista de publicaciones en revistas y conferencias obtenidas como resultado de este proyecto:

  1. Multilabel Prototype Generation for Data Reduction in k-Nearest Neighbour classification

    Jose J. Valero-Mas, Antonio Javier Gallego, Pablo Alonso-Jiménez, and Xavier Serra

    Pattern Recognition, 2023

    [Enlace al artículo] [Enlace al código] [Enlace a los datos]

  2. Kurcuma: a Kitchen Utensil Recognition Collection for Unsupervised Domain Adaptation

    Adrian Rosello, Jose J. Valero-Mas, Antonio Javier Gallego, Javier Sáez-Pérez, and Jorge Calvo-Zaragoza

    Pattern Analysis and Applications, 2022

    [Enlace al artículo] [Enlace a la base de datos]

  3. An Overview of Ensemble and Feature Learning in Few-Shot Image Classification using Siamese Networks

    Jose J. Valero-Mas, Antonio Javier Gallego, and Juan Ramón Rico-Juan

    Multimedia Tools and Applications, 2023

    [Enlace al artículo]

  4. Addressing class imbalance in Multilabel Prototype Generation for k -Nearest Neighbor classification

    Carlos Penarrubia, Jose J. Valero-Mas, Antonio Javier Gallego, and Jorge Calvo-Zaragoza

    11th Iberian Conference on Pattern Recognition and Image Analysis (IbPRIA), 2023

    [Enlace al artículo] [Enlace al código] [Diapositivas]

  5. Test-Time Augmentation for Document Image Binarization

    Adrian Rosello, Francisco J. Castellanos, Juan P. Martinez-Esteso, Antonio Javier Gallego, and Jorge Calvo-Zaragoza

    11th Iberian Conference on Pattern Recognition and Image Analysis (IbPRIA), 2023

    [Enlace al artículo] [Póster]

  6. A Few-shot Neural Approach for Layout Analysis of Music Score Images

    Francisco J. Castellanos, Antonio Javier Gallego, and Ichiro Fujinaga

    24th International Society for Music Information Retrieval Conference (ISMIR), 2023

    [Enlace al artículo] [Diapositivas] [Póster] [Vídeo]

  7. A Preliminary Study of Few-shot Learning for Layout Analysis of Music Scores

    Francisco J. Castellanos, Antonio Javier Gallego, and Ichiro Fujinaga

    5th International Workshop on Reading Music Systems (WORMS), 2023

    [Enlace al artículo] [Diapositivas]

  8. A region-based approach for layout analysis of music score images in scarce data scenarios

    Francisco J. Castellanos, Juan P. Martinez-Esteso, Alejandro Galán-Cuenca, and Antonio Javier Gallego

    18th IAPR International Conference on Document Analysis and Recognition (ICDAR), 2024

    [Enlace al código] [Póster]

  9. Efficient Multi-task Progressive Learning for Semantic Segmentation and Disparity Estimation

    Hanz Cuevas-Velasquez, Alejandro Galán-Cuenca, Robert B. Fisher, Antonio Javier Gallego

    Pattern Recognition, 2024

    [Enlace al artículo]

  10. Can Patch Selection Heuristics Enhance Layout Analysis of Music Scores?

    Francisco J. Castellanos, Juan P. Martinez-Esteso, Alejandro Galán-Cuenca, and Antonio Javier Gallego.

    15th International Workshop on Machine Learning and Music, European Conference on Machine Learning, 2024

    [Póster] [Diapositivas]

Demo y Recursos

En los siguientes enlaces puedes encontrar una demo del sistema de layout analysis desarrollado para la digitalización de partituras:


Bases de datos elaborada como referencia para las propuestas de adaptación al dominio:

Financiación y entidades colaboradoras

Este trabajo ha sido financiado por el Ministerio de Ciencia e Innovación de España a través del proyecto de investigación TED2021-132103A-I00, financiado por MCIN/AEI/10.13039/501100011033. El proyecto se ha desarrollado en el Instituto Universitario de Investigación en Informática (IUII) de la Universidad de Alicante (UA). Este proyecto ha sido acogido dentro del grupo de investigación Pattern Recognition and Artificial Intelligence Group (PRAIg) del Departamento de Lenguajes y Sistemas Informáticos (DLSI).