110年

現今的智慧音箱越來越受歡迎，很多家庭都擁有一台，而智慧音箱大多是受語音控制的，這樣對於瘖啞人士以及吵雜的場合來說十分的不方便。為了解決此問題，本作品可利用手勢辨識進行智慧音箱的控制，而手勢辨識若是透過攝像頭來進行的話會衍生出一些隱私問題。因此本作品擁有三大功能：第一，為了解決上述問題，本作品利用毫米波雷達來進行手勢辨識及音箱控制，我們透過毫米波雷達來偵測使用者在比手勢時產生出的點雲資訊，利用點雲的速度以及三軸座標值當作輸入，經過預處理後提取出手部產生的點雲之時間特徵資訊，再利用循環神經網路模型進行訓練以及預測；第二，為了解決手勢辨識的方向性問題，我們使用了麥克風陣列搭配 Arduino 板的馬達控制來進行音源辨位轉向。使用者在對著音箱拍手後， 音箱會自動轉向使用者所在之方位，以利使用者進行手勢操作；第三，本作品也擁有一般的智慧音箱功能，透過語音辨識函式庫、文字轉語音應用程式介面、YouTube API 等來進行語音控制及問答，我們的音箱擁有播放音樂、查詢及新增代辦事項、詢問天氣與時間、倒數計時器、更改喚醒詞等功能。