- (55) 99986-2990
- presidencia@acustica.org.br
- secretaria@acustica.org.br
- tesouraria@acustica.org.br
Generating a high-resolution binaural room impulse responses (BRIRs) for a given position requires a significant amount of computational resources, making it impractical for acoustic virtual reality in real-time environments. The main problem is the thousands of coefficients that high-resolution BRIRS possess, even in low-reverberant environments. In this sense, this work introduces a novel methodology for the generation of high-resolution BRIRS from receiver positional information with a computational cost suitable for real-time applications using a deep learning approach. The methodology consists of 1) generating a dataset with enough high-precision BRIRS distributed over a given scenario; 2) training variational autoencoder to obtain a dimensionally reduced BRIRS from the encoder; 3) training a neural network using the position of the acoustic receiver and the distance to the sound source as inputs and the reduced BRIRS as outputs; 4) apply the decoder of the variational autoencoder to reconstruct BRIRs with full spectral information; 5) the reconstructed BRIR for the receptor position is convolved by segments with an anechoic sound signal to produce the sensation of spatial acoustic effect. In this preliminary work, the methodology has been applied until the learning of reduced BRIRS. Also, segments of RIRs were used instead of the complete BRIRS for sake of technical viability. To test the results, the mean square error between the RIRS simulated by the acoustic software and the RIRs generated by the model were compared. Finally, computational cost to generate the RIR has been analyzed with respect to the total number of operations.
Generar una respuestas impulsiva biauricular de sala (RIBSS) de alta definición para una posición determinada requiere una cantidad significativa de recursos computacionales, siendo poco práctico para realidad virtual acústica. El principal problema son los miles de coeficientes que poseen las RIBSs de alta resolución, incluso en entornos de baja reverberación. En este sentido, este trabajo presenta una metodología para la generación de RIBSS de alta resolución a partir de información posicional del receptor acústico a un costo computacional adecuado para entornos en tiempo real utilizando un enfoque de aprendizaje profundo. La metodología consiste en: 1) generar un conjunto de datos con suficientes RIBSS de alta resolución distribuidos en un escenario virtual definido; 2) entrenar el autoencoder variacional para obtener RIBSS reducidas en dimensión a partir del codificador; 3) entrenar una red neuronal probabilística utilizando la posición del receptor acústico y la distancia euclidiana a la fuente de sonido como entradas; y las RIBSs reducidas como salidas; 4) aplicar el decodificador del autoencoder variacional para reconstruir RIBSS con la información espectral completa; 5) la RIBS reconstruida para la posición del receptor se convoluciona por segmentos con una señal sonora anecoica para producir la sensación acústica espacial. En este trabajo preliminar, se implementó la metodología hasta la obtención de las RIBSS reducidas al entrenar el autoencoder variacional. En aras de la viabilidad técnica y tecnológica, se utilizaron segmentos de respuestas impulsivas de sala (RISS) en lugar de RIBSs. Para evaluar el sistema se comparo el error cuadrático medio entre las RISS simuladas por un software acústico y las RISS generadas por el modelo. Finalmente, se realizó un análisis de costo computacional de la generación de RISS.
