Aplikacja do słuchania obrazów z kosmosu

Hackathon NASA International Space Apps Challenge odbył się w Stalowej Woli 7-8 października 2023 r. O projekcie przygotowanym w ramach tego wydarzenia przez studentów PW pisze uczelnia w swoim komunikacie prasowym.

Dzięki tzw. sonifikacji NASA umożliwia odbiorcom, również osobom niewidomym i niedowidzącym, „słuchanie” obrazów astronomicznych uzyskanych dzięki teleskopowi Hubble’a czy Obserwatorium Rentgenowskiemu Chandra i poznawanie ich zawartości.

W ciągu ostatnich kilku lat agencja przekształcała na nuty i dźwięki dwuwymiarowe dane astronomiczne. Zaawansowane narzędzia pozwalają już na wytwarzanie obrazów 3D i to właśnie ich sonifikacją zajęli się podczas hackathonu NASA International Space Apps Challenge reprezentanci PW.

W ramach zadania „Immersed in the sounds of space” Maciej Leszek i Piotr Wojciechowski – studenci inżynierii internetu rzeczy, Jakub Budrewicz – absolwent informatyki, a obecnie student elektroniki (wszyscy z Wydziału Elektroniki i Technik Informacyjnych PW), wraz z Michałem Oręziakiem z Wojskowej Akademii Technicznej zaprojektowali metodę tworzenia sonifikacji zbiorów danych kosmicznych 3D, która pomoże odbiorcom lepiej je zrozumieć i docenić ich piękno.

"Nasze rozwiązanie opiera się głównie na emocjach wywoływanych przez dźwięki. Stworzyliśmy aplikację AstroSonix, która umożliwia użytkownikowi, również osobom z niepełnosprawnościami, doświadczyć sonifikacji obrazów wykonanych przez teleskopy kosmiczne, naziemne oraz satelity" – wyjaśnia cytowany na stronie PW Maciej Leszek.

Do analizy emocji towarzyszących wizualizacji studenci wykorzystali duże modele językowe. Za pomocą specjalnie tworzonych heurystyk - czytamy w komunikacie uczelni - dokonywana jest parametryzacja obrazu i konwersja na parametry ścieżek dźwiękowych. Łącząc dane z obu podejść aplikacja generuje ścieżkę dźwiękową, korzystając z otwartych modeli machine learning. Dzięki temu każdy może bezpłatnie stworzyć sonifikację, korzystając ze swojego telefonu czy laptopa.

Drużyna JeansMasters zajęła szóste miejsce, rywalizując z 71 zespołami. – Presja czasu była czymś, czego wcześniej nie doświadczyłem. W ciągu 30-godzinnego hackathonu spaliśmy tylko 30 minut – opowiada Maciej Leszek.

Rozwiązanie mogłyby również wykorzystywać planetaria, muzea czy galerie sztuki, aby uatrakcyjnić gościom ich wizytę.

"Dzięki interaktywnemu połączeniu obrazu oraz dźwięku odwiedzający mieliby możliwość spróbowania nowego połączenia zmysłów wzroku oraz słuchu, dzięki czemu ich odczucia powinny być pełniejsze, wywoływać dodatkowe emocje" – mówi Maciej Leszek.

Nauka w Polsce

lt/ agt/