Recuperação de informação musical como ferramenta para análise sonora: uma inicialização

Music information retrieval as a tool for sound analysis: an initialization

Boratto, T. H. A. Programa de Pós-Graduação em Modelagem Computacional, Universidade Federal de Juiz de Fora, Juiz de Fora, MG, Brasil, tales.boratto@engenharia.ufjf.br

Costa, R. A. V. Ciência da Computação, Universidade Federal Fluminense, Niterói, RJ, Brasil, romulo_vieira96@yahoo.com.br

Oliveira, J. P. M. Ciência da Computação, Universidade Federal de São João Del-rei, São João Del-rei, MG, Brasil, joaopedromoliveira1996@gmail.com

Schiavoni, F. L. Ciência da Computação, Universidade Federal de São João Del-rei, São João Del-rei, MG, Brasil, ls@ufsj.edu.br

Resumo

A representação do som no domínio digital condensa toda a informação necessária para caracterizá-lo, desde os aspectos temporais até aos relacionados com a atuação de um instrumentista. Contudo, muita desta informação não está disponível explicitamente e este é um fator que dificulta determinadas investigações na área. Por esta razão, os estudos e trabalhos que se concentram na recuperação de informação de áudio tornaram-se cada vez mais relevantes, providenciando melhores parâmetros de análise para categoria de sinais. Assim, este artigo tem como objetivo realizar uma inicialização ao tema, contextualizando a área de Recuperação de Informação Musical (MIR), apresentando os principais conceitos, ferramentas já implementadas, bases de dados disponíveis e, finalmente, as tendências, desafios e possibilidades futuras para a área.

Palavras-chaves:

MIR

Descritores de Áudio

Acústica.

Abstract

The sound's representation in the digital domain condenses all the information needed to characterize it, from temporal aspects to those related to the performance of an instrumentalist. However, much of this information is not available explicitly, and this is a factor that hinders certain research in the area. For this reason, studies and works that focus on audio information retrieval have become increasingly relevant, providing better analysis parameters for this category of signals. Thus, this paper aims to perform an initialization to the subject, contextu- alizing the area of Music Information Retrieval (MIR), presenting the main concepts, tools already implemented, databases available, and, finally, the tendencies, challenges, and future possibilities for the area.

Keywords:

MIR

Audio Descriptors

Acoustics.

Referências

[1] Müller, Meinard. Fundamentals of Music Pro cessing. Springer International Publishing, 2015. doi:10.1007/978-3-319-21945-5. Disponível em: https://doi.org/10.1007/978-3-319-21945-5.

[2] Downie, J. Stephen. Music information retrieval (Chapter 7). Em Annual Review of Information Science and Technology 37, págs. 295–340. Infor mation Today, Medford, NJ, 2003. Disponível em: http://music-ir.org/downie_mir_arist37.pd.

[3] Burgoyne, John; Fujinaga, Ichiro e Downie, J. Music Information Retrieval, págs. 213 228. 11 2015. ISBN 9781118680599. doi:10.1002/9781118680605.ch15.

[4] Schedl, Markus; Gómez, Emilia e Urbano, Ju lián. Music information retrieval: Recent de velopments and applications. Foundations and Trends in Information Retrieval, 8:127–261, 01 2014. doi:10.1561/1500000042.

[5] Simurra, Ivan Eiji. A utilização descritores de áudio à análise e composição musical assistidas por com putador: um estudo de caso na obra labori ruinae, 2016.

[6] Simurra, Ivan Eiji. Análise musical assistida por descritores de Áudio: um estudo de caso da obra reflexões de jônatas manzolli, 2015.

[7] Vieira, Rômulo; Araújo, João Teixeira; Paulo; Ba tista, Edimilson e Schiavoni, Flávio. Automatic clas sification of instruments from supervised methods of machine learning. Em Proceedings of the 18th Brazilian Symposium on Computer Music, págs. 28 34, Recife- PE- Brasil, Outubro 2021. Sociedade Brasileira de Computação.

[8] Knees, Peter e Schedl, Markus. Music retrieval and recommendation: A tutorial overview. Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval, 2015.

[9] Logan, Beth. Mel frequency cepstral coefficients for music modeling. Proc. 1st Int. Symposium Music Information Retrieval, 11 2000.

[10] T. Ganchev, N. Fakotakis, G. Kokkinakis. Compara tive evaluation of various mfcc implementations on the speaker verification. 10th International Confe rence on Speech and Computer (SPECOM 2005), 1: 191–194, 2005.

[11] T. Ganchev, N. Fakotakis e G. Kokkinakis. Compa rative evaluation of various mfcc implementations on the speaker verification task. 10th International Con ference on Speech and Computer (SPECOM 2005), 2005.

[12] Alan V. Oppenheim; Ronald W. Schafer e John R. Buck. Discrete-Time Signal Processing. 2nd eda ed. Prentice Hall, 1999. Prentice-Hall Signal Processing Series. ISBN 9780137549207; 0137549202.

[13] MATLAB. Extract cepstral features from audio segment. Disponível em: https://www.mathwo rks.com/help/audio/ref/cepstralfeatureextractor system-object.html. Last accessed 25 may 2022.

[14] McFee, Brian; Raffel, Colin; Liang, Dawen; Ellis, Daniel PW; McVicar, Matt; Battenberg, Eric e Nieto, Oriol. librosa: Audio and music signal analysis in python. Em Proceedings of the 14th python in science conference, volume 8, págs. 18–25. Citeseer, 2015.

[15] Böck, Sebastian; Korzeniowski, Filip; Schlüter, Jan; Krebs, Florian e Widmer, Gerhard. Madmom: A new python audio and music signal processing li brary. Em Proceedings of the 24th ACM internati onal conference on Multimedia, págs. 1174–1178, 2016.

[16] Brossier, Paul M. The aubio library at mirex 2006. Synthesis, 2006.

[17] Bogdanov, Dmitry; Wack, Nicolas; Gómez, Emilia; Gulati, Sankalp; Herrera, Perfecto; Mayor, Oscar; Roma, Gerard; Salamon, Justin; Zapata, José e Serra, Xavier. Essentia: an open-source library for sound and music analysis. Em Proceedings of the 21st ACMinternational conference on Multimedia, págs. 855–858, 2013.

[18] Bogdanov, Dmitry; Wack, Nicolas; Gómez Gutiér rez, Emilia; Gulati, Sankalp; Boyer, Herrera; Mayor, Oscar; Roma Trepat, Gerard; Salamon, Justin; Za pata González, José Ricardo; Serra, Xavier et al. Essentia: An audio analysis library for music infor mation retrieval. Em Britto A, Gouyon F, Dixon S, editors. 14th Conference of the International Soci ety for Music Information Retrieval (ISMIR); 2013 Nov 4-8; Curitiba, Brazil.[place unknown]: ISMIR; 2013. p. 493-8. International Society for Music Information Retrieval (ISMIR), 2013.

[19] Tzanetakis, George e Cook, Perry. Marsyas: A framework for audio analysis. Organised sound, 4 (3):169–175, 2000.

[20] Lartillot, Olivier; Toiviainen, Petri e Eerola, Tuo mas. A matlab toolbox for music information re trieval. Em Preisach, Christine; Burkhardt, Hans; Schmidt-Thieme, Lars e Decker, Reinhold, editores, Data Analysis, Machine Learning and Applications, págs. 261–268, Berlin, Heidelberg, 2008. Springer Berlin Heidelberg. ISBN 978-3-540-78246-9.

[21] Mathieu, Benoit; Essid, Slim; Fillon, Thomas; Prado, Jacques e Richard, Gaël. Yaafe, an easy to use and efficient audio feature extraction software. EmISMIR, págs. 441–446. Citeseer, 2010.

[22] Rawlinson, Hugh; Segal, Nevo e Fiala, Jakub. Meyda: an audio feature extraction library for the web audio api. Em The 1st web audio conference (WAC). Paris, Fr, 2015.

[23] Cannam, Chris; Landone, Christian e Sandler, Mark. Sonic visualiser: An open source application for vi ewing, analysing, and annotating music audio files. EmProceedings of the 18th ACM international con ference on Multimedia, págs. 1467–1468, 2010.

[24] Vinet, Hugues; Herrera, Perfecto e Pachet, Fran cois. The CUIDADO Project. Em International Conference on Music Information Retrieval, págs. 197–203, Paris, France, Outubro 2002. Disponível em: https://hal.archives-ouvertes.fr/hal-01250799. cote interne IRCAM: Vinet02b.

[25] Bertin-Mahieux, Thierry; Ellis, Daniel; Whitman, Brian e Lamere, Paul. The million song dataset. págs. 591–596, 01 2011.

[26] Orio, Nicola; Rizo, David; Miotto, Riccardo; Schedl, Markus; Montecchio, Nicola e Lartillot, Olivier. Mu siclef: a benchmark activity in multimodal music information retrieval. págs. 603–608, 01 2011.

[27] Zalkow, Frank; Balke, Stefan; Arifi-Müller, Vlora e Müller, Meinard. Mtd: A multimodal dataset of musical themes for mir research. Transactions of the International Society for Music Information Retrie val, 3:180–192, 10 2020. doi:10.5334/tismir.68.

[28] Bittner, Rachel; Salamon, Justin; Tierney, Mike; Mauch, Matthias; Cannam, Chris e Bello, Juan. Me dleydb: A multitrack dataset for annotation-intensive mir research. 10 2014.

[29] Li, Tao; Ogihara, Mitsunori; Shao, Bo e Ding dingWang. Machine Learning Approaches for Music Information Retrieval. 01 2009. ISBN 978-953 7619-55-4.

[30] Geron, Aurelien. Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow. 2nda ed. O’reilly, 2019. 978-1-492-03264-9. ISBN 9781492032649; 1492032646. Disponível em: libgen.li/file.php?md5=40ca3f6e08498377145 117d8b48bfd1b.

[31] Mouawad, Pauline; Dubnov, Tammuz e Dubnov, Sh lomo. Robust detection of COVID-19 in cough sounds. 2(1), Janeiro 2021. doi:10.1007/s42979 020-00422-6. Disponível em: https://doi.org/10.1 007/s42979-020-00422-6.