먼저 stm32mp1의 adc를 소리센서에 연결하여 double dma buffer으로 받은다음 끊임없이 측정이 가능하도록 circular 버퍼를 만들었습니다. 실시간으로 window + fft + mel filterbank + noise reduction + log scale을 적용하여 RPMSG 통신을 이용해서 A7코어의 qt앱에서 음성 처리 결과가 표시하도록 만들었습니다. 

참고로 tensorflow의 frontend 소스파일을 기반으로 일부 수정하였습니다. 기존 fft는 arm에 최적화된 cmsis dsp fft 함수로 대체하였습니다. 

감사합니다.

아래 영상은 Coldplay의 A Sky full of Stars를 재생한뒤 stm32mp157 dk2보드에서 표시된 화면을 보여주고 있습니다. 참고로 short time fft를 적용할때maximum resolution을 위해 음성 데이터를 upscale하였기 때문에 주변에 아무소리가 없어도 알수없는(?) 잡음이 표시가 됩니다.

사실 m4코어에서 간단한 음성인식까지 넣을 예정이었습니다. 하지만 2주라는 짧은 시간과 각종 버그들 때문에 아쉽게도 넣지 못하였습니다. 

특히 m4코어가 sram이 128 + 128kb인데 높은 성능에 비해 적은 저장공간으로 인해 많은 난항을 겪기도 했습니다. 정말 이부분은 아쉬웠습니다.

마지막까지 정말 열심히 달렸네요... 모두들 좋은 성과가 있길 바라며 지금까지 도와주신 유저 여러분들과 이런 좋은 기회를 제공해주신 관계자 여러분들께 정말로 감사드립니다.

이상입니다!

아 첨부파일은 구글 드라이브로 대체합니다 ㅠㅠ

https://drive.google.com/file/d/17tibnEjQeORM7fnJ3XLG0kvKYikADjqh/view?usp=sharing