Proposta de projeto

Desenvolvimento de instrumentos musicais sinestésicos e sua aplicação para a análise de dados

Motivação

Atualmente no mundo científico e tecnológico existe o desafio de trabalhar com dados de grande complexidade e quantidade, de forma que é necessário explorar novas formas para processamentos desses dados. Por esse motivo, a abordagem de converter um estímulo de um tipo sensorial para outro tem sido bastante empregada por cientistas e engenheiros [1], empregando uma técnica de sinestesia. Sinestesia é um fenômeno no qual o estímulo a um sentido leva a experiências sensoriais em sentidos diferentes, tais como a sentir o gosto com o olfato ou a visão com o tato, por exemplo[2].

Os instrumentos musicais sinestésicos surgem como uma opção para complementar as atuais ferramentas utilizadas na curadoria e análise de dados pois sua proposta é fazer com que dados obtidos por sensores (que somos capazes de sentir, ver ou cheirar) sejam ouvidos. Essa abordagem tem potencial para permitir, inclusive, a audição de parâmetros que não podemos sentir como dados sobre radiação ultravioleta ou mesmo variações no valor do ouro.

Dessa forma pode-se facilitar a interpretação de dados que habitualmente são representados através de gráficos, permitindo, esperamos, que se avalie parâmetros com mais facilidade. Ao mesmo tempo, possibilita a interpretação desses dados por pessoas com deficiências visuais. Além disso, essa abordagem abre espaço para explorações artísticas, por permitir criações musicais baseadas em dados, abrindo novos caminhos para a ciência cidadã.

Objetivo

O projeto tem como objetivo a obtenção de um protóripo de software capaz de demonstrar o potencial da criação de instrumentos musicais sinestésicos e iniciar a exploração de seu potencial para a análise de dados científicos.

Deseja-se realizar isso através da execução de sons a partir de dados ambientais (referentes a temperatura, luminosidade, velocidade do vento e intensidade de chuva) de forma que seja possível comparar de forma sonora os parâmetros coletados em períodos e locais com características diferentes. A variação das características gerais dos dados obtidos por estações meteorológicas deverá implicar em variação perceptível na execução dos sons.

Metodologia

Seleção de dados de estação meteorológica do INMET[3] em períodos com condições com diferenças significativas entre as medidas. Para processamento desses dados, desenvolvimento em linguagem de programação Python e possível utilização do software “Pure Data”[4]. A seleção de possíveis amostras de áudio para execução terá um certo senso estético e será realizada buscando amostras de áudio que permitam a cópia e distribuição das mesmas. Em seguida, será atribuída a variação dos dados das estações meteorológicas à variação de parâmetros da execução das amostras de áudio. Feito isso, realizamos a comparação de diferentes combinações entre variação nos dados e variação na amostra de áudio.

Como parte da metodologia, a documentação do projeto será realizada em repositório online e será atribuído ao código e à documentação licenças permissivas, tais como GPL e Creative Commons, de forma a permitir e incentivar a adoção e prosseguimento do trabalho desenvolvido.

Referências

“Synesthesia in Science and Technology: More than Making the Unseen Visible”, SUSLICK, Kenneth S. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3606019/
“Sinestesia”, Wikipedia - maio de 2017. Disponível em: https://pt.wikipedia.org/wiki/Sinestesia
“Estação Meteorológica de Observação de Superfície Automática”, disponível em: http://www.inmet.gov.br/portal/index.php?r=estacoes/estacoesautomaticas
“Pure Data” Disponível em: https://puredata.info/