Classificação de padrões sonoros ocorrendo em simultâneo com operação estacionária utilizando rede neural convolucional

Classification of sound patterns occurring simultaneously with stationary operation using convolutional neural network.

Silva, L. C. Laboratório de Vibrações e Acústica, Universidade Federal de Santa Catarina, Florianópolis, SC, Brasil
Lenzi, A. Laboratório de Vibrações e Acústica, Universidade Federal de Santa Catarina, Florianópolis, SC, Brasil, arcanjo.lenzi@ufsc.br
Doi, R. M. Nidec Global Appliance, Joinville, Brasil, ricardo.m.doi@nidec-ga.com
Junior, O. S. Nidec Global Appliance, Joinville, Brasil, otavio.santini@nidec-ga.com

Resumo

Muitos estudos e aplicações de redes neurais estão surgindo, muitas para classificação de sinais sonoros. Esses modelos são treinados de forma empírica, pois as redes neurais são consideradas caixas pretas. Alguns parâmetros são alterados e a validação permite inferir acerca da qualidade dos resultados dos modelos. Este trabalho avalia a influência da relação de energia entre sinais sonoros ocorrendo simultaneamente utilizando a rede neural convolucional. Buscou-se identificar qual é o mínimo de energia sonora necessária para uma correta classificação. Foram realizadas medições de pressão sonora do funcionamento estacionário de uma máquina. Sinais de batida metálica e gotejamento foram adicionados para simular a ocorrência de fenômenos anomalos. Antes da sobreposição, foi aplicada uma redução de energia a esses fenômenos. Isso possibilitou analisar a acurácia do modelo quando a anomalia apresenta uma menor energia sonora em relação à operação estacionária. A rede neural conseguiu identificar e classificar os padrões sonoros ocorrendo em simultâneo com o sinal estacionário gerado pela operação da máquina. Para o modelo categorizar com uma acurácia maior que 90%, a relação de energia entre a operação estacionária e os fenômenos de interesse pode ser até 20 dB global. Caso contrário, a melhor acurácia obtida foi 86%. Portanto, para classificar fenômenos simultâneos com a operação estacionária, os sinais sonoros necessitaram ter uma relação de energia sonora de pelo menos 20 dB. Um trabalho futuro é verificar se mais amostras possibilitariam uma maior redução de relação de energia a qual a rede treinada consiga classificar corretamente os fenômenos. Dessa forma, é possível aperfeiçoar os modelos e responder à pergunta: quais as limitações dos modelos de inteligência artificial na classificação de padrões sonoros de ocorrência em simultânea a sinais estacionários como funcionamento de máquinas e ruído?

Palavras-chaves:  
Aprendizado profundo
,
Classificação de padrões
,
Análise de sinais
,
Relação sinal ruído.

Abstract

Numerous neural network studies and applications are emerging, with many focusing on the classification of sound signals. As neural networks are regarded black boxes, these models are trained empirically. Some parameters are altered, and the validation enables inferences regarding the quality of the models' outputs. Using a convolutional neural network, this study intends to assess the impact of the energy relationship between simultaneously occuring sound signals. We aimed to determine the minimal sound energy required for accurate classification. The sound pressure of a machine's stationary operation has been measured. The addition of metallic tapping and dripping signals simulates the occurrence of abnormal occurrences. Before the superposition, these events were subjected to an energy reduction. This enabled an analysis of the model's accuracy when the anomaly has a lower sound energy than stationary operation. The neural network was able to identify and classify the sound patterns that occurred simultaneously with the machine's stationary signal. For the model to classify with higher than 90 percent accuracy, the energy ratio between the stationary operation and the phenomenon of interest can be as high as 20 dB. Otherwise, the highest accuracy achieved was 86%. In order to identify events concurrently with stationary operation, the sound signals required a minimum sound energy ratio of 20 dB. Future research will determine if a larger sample size would result in a lower energy ratio at which the trained network can accurately label the phenomena. This allows us to develop the models and answer the question: what are the constraints of artificial intelligence models when identifying sound patterns that occur simultaneously with stationary signals, such as machine activity and noise?

Keywords:  
Deep Learning
,
Pattern Classification
,
Signal Analysis
,
Signal to Noise Ratio.

Referências

[1] Yang, Ruo-Yu e Rai, Rahul. Machine auscultation: enabling machine diagnostics using convolutional neu ral networks and large-scale machine audio data. Ad vances in Manufacturing, 7(2):174–187, 2019.
[2] Purohit, Harsh; Tanabe, Ryo; Ichige, Kenji; Endo, Takashi; Nikaido, Yuki; Suefusa, Kaori e Kawaguchi, Yohei. Mimii dataset: Sound dataset for malfunctio ning industrial machine investigation and inspection. arXiv preprint arXiv:1909.09347, 2019.
[3] Alías, Francesc; Socoró, Joan Claudi e Sevillano, Xa vier. A review of physical and perceptual feature extraction techniques for speech, music and environ mental sounds. Applied Sciences, 6(5):143, 2016.
[4] Purwins, Hendrik; Li, Bo; Virtanen, Tuomas; Schlüter, Jan; Chang, Shuo-Yiin e Sainath, Tara. Deep learning for audio signal processing. IEEE Journal of Selected Topics in Signal Processing, 13(2):206–219, 2019. doi: 10.1109/JSTSP.2019.2908700.
[5] Ciaburro, Giuseppe e Venkateswaran, Balaji. Neural Networks with R: Smart models using CNN, RNN, deep learning, and artificial intelligence principles. Packt Publishing Ltd, 2017.
[6] Sewak, Mohit; Karim, Md Rezaul e Pujari, Pradeep. Practical convolutional neural networks: implement advanced deep learning models using Python. Packt Publishing Ltd, 2018.
[7] Garg, Utkarsh; Agarwal, Sachin; Gupta, Shubham; Dutt, Ravi e Singh, Dinesh. Prediction of emotions from the audio speech signals using mfcc, mel and chroma. Em 2020 12th International Conference on Computational Intelligence and Communication Networks (CICN), págs. 87–91. IEEE, 2020.
[8] Pandey, Sandeep Kumar; Shekhawat, Hanu mant Singh e Prasanna, SR Mahadeva. Deep learning techniques for speech emotion recognition: A review. Em 2019 29th International Conference Radioelektronika (RADIOELEKTRONIKA), págs. 1–6. IEEE, 2019.
[9] Zhang, Jingwen. Music feature extraction and classi- fication algorithm based on deep learning. Scientific Programming, 2021, 2021.
[10] Amlathe, Prakhar. Standard machine learning tech niques in audio beehive monitoring: Classification of audio samples with logistic regression, K-nearest neighbor, random forest and support vector machine. Tese de doutorado, Utah State University, 2018.
[11] Fayek, Haytham. Speech processing for machine learning: Filter banks, mel-frequency cepstral co efficients (mfccs) and what’s in-between. https: //haythamfayek.com/2016/04/21/speech-processing for-machine-learning.html, Abril 2016. Acessado em 08 de Agosto 2019.
[12] Brownlee, J. Imbalanced Classification with Python: Better Metrics, Balance Skewed Classes, Cost-Sensitive Learning. Machine Learning Mas tery. Disponível em: https://books.google.com.br/bo oks?id=jaXJDwAAQBAJ.
[13] Becker, Nikolas; Junginger, Pauline; Martinez, Lu kas; Krupka, Daniel e Beining, Leonie. Ai at work mitigating safety and discriminatory risk with tech nical standards. arXiv preprint arXiv:2108.11844, 2021.
Publicado em:
01/09/2022