Projekty

Rozpoznawanie imienia realizowane jest za pomocą głębokiej konwolucyjnej sieci neuronowej.

Na platformie umieszczona jest konstrukcja zawierająca dwa mikrofony zainstalowane w odpowiedniej odległości od siebie, co pozwala na wykrywanie kierunku padania dźwięku oraz Raspberry Pi przetwarzające informacje z mikrofonów.

Co każde sto milisekund, nagranie o długości jednej sekundy jest wysyłane do wcześniej załadowanego modelu sieci, który oblicza dopasowanie. Jeżeli osiągnie ono satysfakcjonującą nas wartość, dane są przekazywane dalej do funkcji wyznaczającej przesunięcie sygnału pomiędzy kanałami przy użyciu algorytmu korelacji.

Wyznaczanie kierunku dźwięku realizowanie jest podstawie przesunięcia czasowego w dotarciu sygnału dźwiękowego do obu mikrofonów. Same obliczenia opierają się w głównej mierze na zależnościach trygonometrycznych.

Sama platforma sterowana jest przy pomocy Arduino Due oraz zawiera kilka elementów pomocniczych takich jak diody sygnalizujące stan programu, bądź encodery mierzące obrót kół.

Cały algorytm przebiega w następujący sposób: na platformie Raspberry Pi działa sieć neuronowa, wykrywająca pojawienie się słowa “Kraken”. Następnie wyznaczanie jest przesunięcie czasowe pomiędzy sygnałem na obu mikrofonach. Przesunięcie to trafia do programu, który wyznacza kąt o jaki należy przesunąć się od obecnej osi pojazdu. Informacja ta przekazywana jest z Raspberry Pi do Arduino Due, które odpowiednio steruje pracą silników, tak by obrócić pojazd w stronę źródła dźwięku.