TWI402784B

TWI402784B - Music detection system based on motion detection, its control method, computer program products and computer readable recording media

Info

Publication number: TWI402784B
Application number: TW98131489A
Authority: TW
Original assignee: Univ Nat Central
Priority date: 2009-09-18
Filing date: 2009-09-18
Publication date: 2013-07-21
Also published as: TW201112186A

Description

以動作偵測為基礎之音樂創作玩樂系統、其控制方法、電腦程式產品與電腦可讀取記錄媒體

本發明之利用動作偵測之音樂創作玩樂系統係關於一種藉由偵測孩童的身體動作而創造不同的音樂表現、致使引起孩童對音樂興趣的系統。其係藉由偵測孩童所做出的身體姿勢而彈奏音符、以孩童的移動方向調整音量大小，或是藉由孩童的動作速度，改變播放音樂速度的音樂創作玩樂系統、其控制方法、電腦程式產品及電腦可讀取紀錄媒體。

音樂是源生於大自然的旋律與節奏，與人類的潛能激發有密切的關係，因此在教育上，音樂扮演不可或缺的角色。從孩童一出生起，就對周圍的聲音有極高的興趣，相關研究並指出讓孩童越早接觸音樂，對於孩童的語言、創造力、協調性與社交能力，都有顯著的幫助。從而越早開發孩童的音樂細胞，對孩童的創造思考力將有極高的幫助。

針對此種啟發上的需要，尤其針對學齡前兒童，市面上已經開發有各種音樂玩具。其中，有隨意由孩童揮動敲打的玩耍型者，如鈴鼔、砂鈴等，只要有動作就可以發出聲音；也有讓孩童感受實際操作樂器的演奏型者，如各式各樣縮小尺寸的樂器、笛子、喇叭等。亦有各式各樣的音樂鈴、音樂盒，以及利用電子音樂所作成的音樂玩具。此類林林總總都是利用其發出聲響的音樂功能，並搭配鮮豔的外觀色彩，或是令人莞爾的動作，以期能吸引孩童們的注意。以專利文獻1為例，僅單純地以開關控制音樂的播放，並附加旋轉吊飾以增加趣味性。從而，企圖藉由讓孩童把玩這些音樂玩具的過程中，發揮啟發的功效，並帶給孩童歡娛的感受。

(專利文獻1)中華民國專利公告號第D107524號

然而，習知技術中的音樂玩具有幾個主要缺點。其一，玩具的操作條件過於呆板，除了隨意的敲敲打打外，大都採用鍵盤式或按鍵式的操作方式，因此在感受音樂之前，建立特定動作、特定按鍵與音樂聲響間的聯繫，變成孩童必須經歷的前提挑戰。相形之下，主角變成是動作的練習，音樂與大腦間的啟發反而變成次要的配角。其次，每當提起音樂的潛能激發，大多數人所聯想到的多會與古典音樂有關，而特別強調該等音樂的節奏、旋律對於大腦的刺激效果，也因此多數具有優美樂音的玩具，是以古典音樂為背景。但是這樣的以單純的開關操作進行啟停聆聽，欠缺孩童學習後的回饋機制，而無法進一步激發音樂與身體的聯繫。另外，就悠揚的樂聲來說，不論在節奏或旋律上，均須有相當的努力後才能有所成就，僅作為孩童之一玩樂手段時，既有的音樂玩具難以達到悅耳的程度，久而久之就會因挫折而失去興趣。一旦失去耐心，再細緻的設計亦無法發揮其功效。

本發明提供一種利用動作偵測之音樂創作玩樂系統，其目的在於藉由偵測孩童的身體動作而創造不同的音樂表現，從而可以幫助孩童創造屬於自己喜愛的音樂，並且藉此開發孩童的創造力。亦即，本發明之以動作擷取為基礎之音樂創作系統，不但允許孩童透過身體的擺動創造屬於自己的音樂，並且可以透過身體的移動的快慢，來改變自己喜愛的音樂。此種透過直覺的方式，可以讓孩童暸解學習音樂，增加孩童學習音樂的興趣，使孩童可以對音樂能夠樂在其中。不必要求孩童一定要聆聽某種音樂、練習特定樂器，或是學習音樂的樂理，而同樣的能達到利用音樂的啟發效果。亦即，孩童只要擺出他們喜好的動作，本發明之利用動作偵測之音樂創作玩樂系統，就可以幫助孩童與音樂進行互動。

本發明第1觀點之利用動作偵測之音樂創作玩樂系統，其係偵測孩童的身體動作姿勢為基礎之音樂創作系統，使孩童可以透過身體的擺動而創造屬於自己的音樂。上述之利用動作偵測之音樂創作玩樂系統，包括以下各裝置：影像輸入裝置，對使用者動作的影像進行攝影；基礎姿勢記憶裝置，記憶多個基礎姿勢；姿勢辨識裝置，將上述影像輸入裝置所攝影的影像、與記憶於上述基礎姿勢記憶裝置的各個基礎姿勢進行比對，而辨識出上述輸入影像所屬的基本姿勢；音樂對應裝置，根據上述姿勢辨識裝置所辨識出之基本姿勢的種類與持續時間，以決定所要輸出之相對應的音符與時間長度；以及音樂輸出裝置，輸出由上述音樂對應裝置所決定的音符與時間長度而組成之音樂。

依照本發明之利用動作偵測之音樂創作玩樂系統，係一種肢體虛擬樂器系統，孩童只要擺出他們喜好的動作，音樂創作玩樂系統就可以發出音符的聲音。而該音樂創作玩樂系統係由使用者先自行在基礎姿勢記憶裝置中設定自己喜愛的多個基礎姿勢，並將每個基礎姿勢對應至一個音符，代表不一樣的音階高低，而儲存於音樂對應裝置中。而於操作進行中時，只需要透過影像輸入裝置，將使用者動作的影像數位化後進行攝影，並由姿勢辨識裝置辨識出上述輸入影像所屬的基本姿勢，而當使用者停留在某個基本姿勢，則代表每個音符的拍子長度。再由音樂輸出裝置以預先設定的虛擬樂器，依照使用者所做出的基本姿勢，而使該音樂創作玩樂系統會發出與此樂器相對應的音樂。

本發明第2觀點之利用動作偵測之音樂創作玩樂系統，其係更包括：基礎姿勢設定裝置，於上述基礎姿勢記憶裝置設定並記憶基礎姿勢；以及音樂設定裝置，於上述音樂對應裝置中，設定基本姿勢與音符間的對應關係。藉由上述之基礎姿勢設定裝置與音樂設定裝置，利用本發明之音樂創作玩樂系統的使用者，可以依照自己的喜好，設定或變更基礎姿勢，與每個基礎姿勢所對應之音符。

本發明第3觀點之利用動作偵測之音樂創作玩樂系統，其係更包括：姿勢對應裝置，對應於上述姿勢辨識裝置所辨識出之基本姿勢的種類與持續時間，以決定所要輸出之相對應的姿勢與時間長度；以及動作輸出裝置，輸出由上述姿勢對應裝置所決定的姿勢與時間長度而組成之動作。亦即，本發明的利用動作偵測之音樂創作玩樂系統，亦可以賦予該音樂創作玩樂系統進行動作反應的能力。例如，在採用人型機器人造型外觀時，可以在上述的音樂創作過程中，利用上述姿勢對應裝置與動作輸出裝置使人型機器人模仿使用者所做出的基本姿勢，或是特定的對應動作。藉由這樣的互動過程，而增加整個過程的趣味性與互動感。

本發明第4觀點之利用動作偵測之音樂創作玩樂系統，其係偵測孩童的身體動作速度為基礎之音樂玩樂系統，使孩童可以透過身體的擺動而與自己熟悉的音樂進行互動。上述之利用動作偵測之音樂創作玩樂系統，包括以下各裝置：影像輸入裝置，對使用者動作的影像進行攝影；基礎姿勢記憶裝置，記憶多個基礎姿勢；姿勢辨識裝置，將上述影像輸入裝置所攝影的影像、與記憶於上述基礎姿勢記憶裝置的各個基礎姿勢進行比對，而辨識出上述輸入影像所屬的基本姿勢，同時並辨識上述使用者的左右移動；音樂記憶裝置，記憶所要播放的樂曲；音樂調整裝置，根據上述姿勢辨識裝置所辨識的基本姿勢之變化速度，改變利用上述音樂輸出裝置播放上述音樂記憶裝置所記憶之音樂的速度或音調；以及音量調整裝置，對應於上述姿勢辨識裝置所辨識出的使用者移動，而改變利用上述音樂輸出裝置的輸出音量。

依照本發明之利用動作偵測之音樂創作玩樂系統，係一種肢體虛擬樂器系統，孩童可以透過身體移動動作與快慢，該音樂創作玩樂系統就可改變自己喜愛音樂的播放音量、速度與音調。其中，播放速度與音調的調整，係利用音樂調整裝置根據孩童身體動作的速度而調整。孩童身體動作速度的取得仍可以利用上述的姿勢辨識裝置，藉由計算各個不同基本姿勢間的變化速度，而能間接推知孩童的動作速度。在此處，由於並不需要準確的辨識出基礎姿勢與音符間的對應關係，所在意者乃在於基礎姿勢的變化，因此可以增加基礎姿勢的數量，而可以偵測小幅動作的變化速度快慢。

至於播放音樂的音量則以使用者身體位置的移動為偵測重點，例如以向右跨一步為增加音量，而向左跨一步為降低音量。此外，上述之音量調整裝置亦可應用於上述本發明第1觀點之利用動作偵測之音樂創作玩樂系統中，而使其亦具備有音量調整之功能。

本發明第5觀點之利用動作偵測之音樂創作玩樂系統，其係更包括：音樂錄音裝置，將所欲播放之音樂，記憶於上述音樂記憶裝置。藉由上述之音樂錄音裝置，本發明之音樂創作玩樂系統的使用者，可以依照自己的喜好，選擇所要播放的音樂，而於玩樂前預先進行上述之音樂錄音操作。

本發明第6觀點之利用動作偵測之音樂創作玩樂系統，其係更包括：多個位置感測器，安裝於上述使用者身上，用以感測該使用者身體的姿勢位置；以及姿勢測量裝置，接收上述多個位置感測器所傳送的身體姿勢位置資訊。亦即，本發明的利用動作偵測之音樂創作玩樂系統所採用的姿勢偵測手段，不但可以使用上述之藉由影像而辨識使用者姿勢的方式，而無須搭配任何的感測器即可進行姿勢辨識；亦可採用如先前技術之方式，使用位置感測器而偵測感測器所在四肢之絕對位置，或是動作改變的相對位置。

本發明第7觀點之利用動作偵測之音樂創作玩樂系統，其係更包括：多個動作感測器，安裝於上述使用者身上，用以感測該使用者身體的動作變化；以及動作測量裝置，接收上述多個動作感測器所傳送的身體動作速度資訊。亦即，本發明的利用動作偵測之音樂創作玩樂系統所採用的動作偵測手段，不但可以使用上述之藉由影像而計算使用者動作速度的方式，而無須搭配任何的感測器即可取得動作速度；亦可採用如先前技術之方式，使用動作感測器，例如陀螺儀，可以直接感測動作感測器所在四肢之動作變化。

本發明第8觀點之利用動作偵測之音樂創作玩樂系統，其係更包括：語音輸入裝置，對上述使用者以聲音所輸入的語音進行錄音；語音辨識裝置，對上述語音輸入裝置所錄音的語音進行語音辨識；以及語音對應裝置，對應於上述語音辨識裝置所辨識出之語音，將所預設的反應，利用上述動作輸出裝置做出特定之動作，或是或是使上述音樂創作玩樂系統執行特定之操作。依照本發明第8觀點之利用動作偵測之音樂創作玩樂系統，可以即時地判斷辨識孩童的說話內容，擷取出關鍵辭彙，藉由預先設定與該辭彙對應之反應，利用動作偵測之音樂創作玩樂系統或是做出相對應的動作，或是執行對應於該詞彙的命令內容。

本發明第9觀點之利用動作偵測之音樂創作玩樂系統的控制方法，其係使上述之系統所包括的各裝置進行下列步驟：由影像輸入裝置對使用者動作的影像進行攝影；由基礎姿勢記憶裝置記憶多個基礎姿勢；由姿勢辨識裝置將上述影像輸入裝置所攝影的影像、與記憶於上述基礎姿勢記憶裝置的各個基礎姿勢進行比對，而辨識出上述輸入影像所屬的基本姿勢；由音樂對應裝置，根據上述姿勢辨識裝置所辨識出之基本姿勢的種類與持續時間，以決定所要輸出之相對應的音符與時間長度；以及音樂輸出裝置，輸出由上述音樂對應裝置所決定的音符與時間長度而組成之音樂。

同時亦可以更包括下列步驟：由安裝於上述使用者身上多個位置感測器，感測該使用者身體的姿勢位置；由姿勢測量裝置接收上述多個位置感測器所傳送的身體姿勢位置資訊；由基礎姿勢設定裝置於上述基礎姿勢記憶裝置設定並記憶基礎姿勢；音樂設定裝置，於上述音樂對應裝置中，設定基本姿勢與音符間的對應關係；由上述姿勢辨識裝置辨識上述使用者的左右移動；由音量調整裝置對應於上述姿勢辨識裝置所辨識出的使用者移動，改變利用上述音樂輸出裝置的輸出音量；由姿勢對應裝置對應於上述姿勢辨識裝置所辨識出之基本姿勢的種類與持續時間，以決定所要輸出之相對應的姿勢與時間長度；由動作輸出裝置輸出由上述姿勢對應裝置所決定的姿勢與時間長度而組成之動作；由語音輸入裝置對上述使用者以聲音所輸入的語音進行錄音；由語音辨識裝置對上述語音輸入裝置所錄音的語音進行語音辨識；以及由語音對應裝置對應於上述語音辨識裝置所辨識出之語音，將所預設的反應，利用上述動作輸出裝置做出特定之動作，或是使上述音樂創作玩樂系統執行特定之操作。

本發明第10觀點之利用動作偵測之音樂創作玩樂系統的控制方法，其係使上述之系統所包括的各裝置進行下列步驟：由影像輸入裝置對使用者動作的影像進行攝影；由基礎姿勢記憶裝置記憶多個基礎姿勢；由姿勢辨識裝置將上述影像輸入裝置所攝影的影像、與記憶於上述基礎姿勢記憶裝置的各個基礎姿勢進行比對，而辨識出上述輸入影像所屬的基本姿勢，同時並辨識上述使用者的左右移動；由音樂記憶裝置記憶所要播放的樂曲；由音樂調整裝置根據上述姿勢辨識裝置所辨識的基本姿勢之變化速度，改變利用上述音樂輸出裝置播放上述音樂記憶裝置所記憶之音樂的速度或音調；以及由音量調整裝置，對應於上述姿勢辨識裝置所辨識出的使用者移動，而改變利用上述音樂輸出裝置的輸出音量。

同時亦可以更包括下列步驟：由安裝於上述使用者身上的多個位置感測器，感測該使用者身體的姿勢位置；由姿勢測量裝置接收上述多個位置感測器所傳送的身體姿勢位置資訊；由安裝於上述使用者身上的多個動作感測器，感測該使用者身體的動作變化；由動作測量裝置接收上述多個動作感測器所傳送的身體動作速度資訊；由音樂錄音裝置將所欲播放之音樂記憶於上述音樂記憶裝置；由語音輸入裝置對使用者以聲音所輸入的語音進行錄音；以及由語音辨識裝置對上述語音輸入裝置所錄音的語音進行語音辨識。

本發明之第11觀點之電腦程式產品程式，其構成為可對利用動作偵測之音樂創作玩樂系統進行上述第9觀點或第10觀點的控制方法。

本發明之第12觀點之電腦可讀取記錄媒體，其記憶上述利用動作偵測之音樂創作玩樂系統之程式。其中，該程式可記錄於光碟、軟碟、硬碟、光磁碟、數位影音光碟、磁帶、半導體記憶體等電腦可讀取之資訊記錄媒體中。

根據本發明之利用動作偵測之音樂創作玩樂系統，可以提供一種能藉由偵測孩童的身體動作而創造不同的音樂表現，如藉由偵測孩童所做出的身體姿勢而彈奏音符、以孩童的移動方向調整音量大小，或是藉由孩童的動作速度，改變播放音樂速度彈奏音符、或是改變播放音樂速度等，進而引起孩童對音樂興趣，並具有啟發創造思考力之效果。

以下說明本發明之實施形態。以下為便於理解，對本發明試作成功之利用動作偵測之音樂創作玩樂系統之實施形態加以說明，但以下說明之實施形態僅係用以說明，並非用以限制本案發明之範圍。因此，發明所屬技術領域者可採用將該等各元件或者全部元件替換為與其均等者之實施形態，該等實施形態亦屬於本發明之範圍。

作為一例，參照圖1之本實施形態之利用動作偵測之音樂創作玩樂系統與孩童的相互關係，該音樂創作玩樂系統係具有人型機器人之外形，並用於如下之情境：(1)於音樂創作時，孩童在上述機器人面前做出一連串的動作，而該音樂創作玩樂系統則播放對應於該動作的音樂，並使上述機器人做出對應之動作，而使孩童可以透過身體的擺動而創造屬於自己的音樂；(2)於音樂玩樂時，於該音樂創作玩樂系統開始播放所預錄的音樂時，孩童於機器人面前，做出一連串的動作，以改變播放音樂的音量與速度，使孩童可以透過身體的擺動而與自己熟悉的音樂進行互動。

(利用動作偵測之音樂創作玩樂系統之構成)

圖2係表示實現本發明實施形態之利用動作偵測之音樂創作玩樂系統之概要構成之模式圖。以下，參照本圖進行說明。

利用動作偵測之音樂創作玩樂系統100包括CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、微音器104、CCD照相機(Charge-coupled Device Camera，電荷耦合裝置照相機)105、關節驅動裝置106、聲音輸出裝置107、介面108、及個人電腦109。

當開啟利用動作偵測之音樂創作玩樂系統100之電源，並執行利用動作偵測之音樂創作玩樂系統程式，則可實現本實施形態之利用動作偵測之音樂創作玩樂系統。

CPU 101控制利用動作偵測之音樂創作玩樂系統100之整體動作而與各構成元件連接，並進行控制信號及資料之傳輸。

於ROM 102中記錄電源開啟後立即執行之IPL(Initial Program Loader)，於執行上述IPL時，並將ROM 102中所記錄之利用動作偵測之音樂創作玩樂系統程式讀取至RAM 103中，並由CPU 101開始執行。又，於ROM 102中，記錄著利用動作偵測之音樂創作玩樂系統100之整體動作控制所需之作業系統的程式及各種資料。

RAM 103係用以暫時記憶資料及程式者，其保存自ROM 102中所讀取之程式及資料、與其他輸入輸出裝置(微音器104、CCD照相機105、關節驅動裝置106、聲音輸出裝置107)進行控制或處理時所必須的資料。

微音器104用以對使用者之聲音命令進行錄音。藉由CPU 101或微音器104所具備之聲音處理器(未圖示)，將所擷取之類比聲音資料轉換數位聲音資料，並對該資料進行加工處理後，將其記錄至RAM 103中。

CCD照相機105用以對使用者之姿勢動作進行攝影。藉由CPU 101或CCD照相機105所具備之影像處理器(未圖示)，將所擷取之影像資料進行加工處理後，將其記錄至RAM 103中。

關節驅動裝置106係依照利用動作偵測之音樂創作玩樂系統所採用的外形，而使其在使用過程中進行對應動作的驅動裝置。例如在本實施例中，係採用人型機器人之外形，則該關節驅動裝置106則用以對安裝於人型機器人關節上的伺服馬達(未圖示)進行驅動控制。為能使該機器人模仿孩童的動作，在機器人的各主要關節上，安裝有伺服馬達，使其能進行屈曲轉動。身體上的主要關節至少包括有頸部(1個)、左右手(各3個)、左右腳(各5個)等17處。並可視實際的需要進行增減，例如增加腰部旋轉或是彎曲的關節，則可做出轉身或是彎腰的動作。於實際進行模仿動作時，則依照來自CPU 101的命令，分別驅動控制各個關節的伺服馬達，使其能成為特定的彎曲角度，而達成姿勢控制的目的。

聲音輸出裝置107將經處理後的數位聲音資料轉換為類比聲音信號，並自與上述聲音輸出裝置107連接之揚聲器(未圖示)輸出。又，於CPU 101之控制下，亦可以生成利用動作偵測之音樂創作玩樂系統100於操作中應產生之效果音及樂曲資料，並使與此對應之聲音自揚聲器中輸出。

介面108係具有網路連線之功能；而經由介面108而連接之個人電腦109，係用以對利用動作偵測之音樂創作玩樂系統100進行必要之安裝、維護及更新。例如，將利用動作偵測之音樂創作玩樂系統程式下載至上述的ROM 102中，或是更新已記載於ROM 102中的基礎姿勢等資訊。於個人電腦109中，亦可以透過介面108的連線，而對利用動作偵測之音樂創作玩樂系統100進行位置效正、故障檢視與排除等維護功能。在利用動作偵測之音樂創作玩樂系統利用動作偵測之音樂創作玩樂系統100正常使用時，則不一定要與個人電腦109進行連線。

又，本實施形態之利用動作偵測之音樂創作玩樂系統100中，除上述之CPU101、ROM102、RAM103外，亦可使用具有資料處理與儲存功能的微處理器(Micro Proessor)架構，作為利用動作偵測之音樂創作玩樂系統100的核心控制裝置。

(利用動作偵測之音樂創作玩樂系統之實施形態)

圖3係本實施形態之利用動作偵測之音樂創作玩樂系統之功能方塊圖。利用動作偵測之音樂創作玩樂系統100之功能包括下列裝置：影像輸入裝置201、音樂錄音裝置202、語音輸入裝置203、基礎姿勢記憶裝置211、姿勢辨識裝置212、音樂對應裝置213、姿勢對應裝置214、基礎姿勢設定裝置215、音樂設定裝置216、音樂記憶裝置221、音量調整裝置222、音樂調整裝置223、語音辨識裝置231、語音對應裝置232、音樂輸出裝置251、以及動作輸出裝置252。

首先，本實施形態之利用動作偵測之音樂創作玩樂系統允許孩童透過身體的擺動創造屬於自己的音樂。當孩童於本發明之本實施形態之利用動作偵測之音樂創作玩樂系統前面，揮舞手足而做出各種動作姿勢時，則利用影像輸入裝置201對使用者的影像進行攝影。由於在後續的處理中，均是藉由數位邏輯的演算法進行，因此影像輸入裝置201於記錄相關之資訊後，必須以既定之數位格式輸出至下一個處理程序。

再者，上述CCD照相機105可發揮此種影像輸入裝置201之功能。

於影像的處理流程中，上述影像輸入裝置201已取得數位化後之姿勢影像。然後利用姿勢辨識裝置212，從該姿勢影像取得身體姿勢的特徵，例如：透過影像輪廓的比對，而辨識出與該姿勢最接近的基礎姿勢。所謂的「基礎姿勢」，如圖4(a)-(g)所示，係指利用基礎姿勢設定裝置215，將多個彼此具有鮮明不同的姿勢，設定並記憶於基礎姿勢記憶裝置211中。在本實施例中，並進一步考慮使該多個基礎姿勢可由機器人滑順地達成，以便由機器人模仿使用者的動作姿勢。是以，姿勢辨識裝置212係將所取得的姿勢影像，利用類似剪影之方式而與記錄在上述基礎姿勢記憶裝置211中的基礎姿勢進行比對，藉以辨識該姿勢影像係屬於哪一個基礎姿勢。而上述的基本姿勢並不限定由一個人組成，亦可以由兩人或多人以特定姿勢所組成的畫面，作為一基本姿勢而進行。

另外，由於姿勢辨識裝置212所要辨識者是身體姿勢的特徵，而並非攝影後的影像本身，因此使用者姿勢的特徵並不一定要由影像輸入裝置202取得，亦可以採用多個位置感測器與姿勢測量裝置的組合。該多個位置感測器係裝設在使用者身上的特定位置處，並利用該姿勢測量裝置接收上述多個位置感測器所傳送的身體姿勢位置資訊，藉此亦同樣能得到適合姿勢辨識裝置212所能處理的身體姿勢特徵。

再者，上述ROM 102可發揮此種基礎姿勢記憶裝置211之功能。而上述RAM 103及CPU 101可發揮此種姿勢辨識裝置212之功能。而上述ROM 102、介面108及個人電腦109可發揮此種基礎姿勢設定裝置215之功能。

藉由音樂對應裝置213，依照上述姿勢辨識裝置212所辨識出之基本姿勢的種類與持續時間，以決定所要輸出之相對應的音符與時間長度。更詳細的說，使用者可預先透過音樂設定裝置216，於上述音樂對應裝置213中，設定基本姿勢與音符間的對應關係，而當上述姿勢辨識裝置212辨識出使用者所做出之基本姿勢後，即能透過該對應關係得知使用者所欲發出之音符。進而利用上述基本姿勢的種類與持續時間，得到對應之音符種類與音符長短，從而能組成特定之音樂。隨後則由音樂輸出裝置251，輸出由上述音樂對應裝置213所組成之音樂。

再者，上述RAM 103及CPU 101可發揮此種音樂對應裝置213之功能。而上述ROM 102、介面108及個人電腦109可發揮此種音樂設定裝置216之功能。而上述聲音輸出裝置107可發揮此種音樂輸出裝置251之功能。

本發明之利用動作偵測之音樂創作玩樂系統100的實施形態，在設計上係採用人形機器人的外形，並具備有姿勢對應裝置214與動作輸出裝置252。其中，姿勢對應裝置214係對應於上述姿勢辨識裝置212所辨識出之基本姿勢的種類與持續時間，以決定所要輸出之相對應的姿勢與時間長度；而動作輸出裝置252係輸出由上述姿勢對應裝置所決定的姿勢與時間長度而組成之動作。其目的在於藉由音樂創作玩樂系統100的動作反應，而在孩童做出一連串的動作、而使該音樂創作玩樂系統100播放對應於該動作的音樂之過程中，讓孩童更感受到互動性與趣味性。由於本實施例具有人形機器人之外觀，因此可以使該人形機器人，直接模仿使用者所做出之基本姿勢。但是，並不以此為限，亦可以採用其他的動物造型，例如以狗的造型，並適時作出搖尾巴的動作，而更能提升整體對孩童的吸引力。

再者，上述RAM 103及CPU 101可發揮此種姿勢對應裝置214之功能。而上述關節驅動裝置106與其所驅動的伺服馬達可發揮此種動作輸出裝置252之功能。

本實施形態之利用動作偵測之音樂創作玩樂系統亦可作為一音樂播放裝置，允許孩童透過身體的移動的快慢，來改變自己喜愛的音樂。孩童可以利用音樂錄音裝置202，將所欲播放之音樂，預先記憶於上述音樂記憶裝置221。此處之音樂錄音裝置202可透過微音器而直接收錄現場的音樂，或是下載音樂檔案(wav檔、mp3檔等)。本發明之音樂創作玩樂系統不同於先前技術中的音樂播放裝置，孩童可藉由一連串的動作，以改變播放音樂的音量與速度或音調。亦即，藉由音量調整裝置222而對應於孩童所做出的身體位置左右移動，改變利用上述音樂輸出裝置251播放上述音樂記憶裝置222所記憶之音樂的音量；以及，藉由音樂調整裝置223而對應於孩童所做出姿勢的變化速度，改變利用上述音樂輸出裝置251播放上述音樂記憶裝置222所記憶之音樂的速度或音調。不同於前述對於基本姿勢的姿勢辨識，此處的「動作」所強調的是時間上的變化，即動作的速度。而此種速度變化快慢的偵測，亦可以採用多個動作感測器與動作測量裝置的組合。該多個動作感測器係裝設在使用者身上的特定位置處，並利用該動作測量裝置接收上述多個動作感測器所傳送的動作變化的速度資訊。然而，亦可根據上述姿勢辨識裝置221所辨識出的基本姿勢，藉由計算該等基本姿勢的變化速度，而得到動作變化的速度資訊。但是於本實施例中，藉由利用姿勢辨識裝置221進一步計算出孩童的姿勢變化速度特徵，如此即不用另外增設動作感測器或動作測量裝置。此外，上述音樂調整裝置223亦能依照上述姿勢辨識裝置221所辨識出之身體位置，於上述創作音樂之操作中，改變不同之音調。

再者，上述微音器104或ROM 102、介面108及個人電腦109可發揮此種音樂錄音裝置202之功能。而上述RAM 103可發揮此種音樂記憶裝置221之功能。而上述RAM 103及CPU 101可發揮此種音量調整裝置222之功能。而上述RAM 103及CPU 101可發揮此種音樂調整裝置223之功能。

另外，由於本發明之利用動作偵測之音樂創作玩樂系統100實施形態的主要功能，可大致區分為創作音樂與播放音樂。因此對於本音樂創作玩樂系統100的操作，至少需要「創作開始」、「播放開始」與「結束」三種不同命令。本實施型態更具備有：語音輸入裝置203，對上述使用者以聲音所輸入的語音進行錄音；語音辨識裝置231，對上述語音輸入裝置203所錄音的語音進行語音辨識；以及語音對應裝置232，對應於上述語音辨識裝置231所辨識出之語音，將所預設的反應，利用上述動作輸出裝置252做出特定之動作，或使本音樂創作玩樂系統100執行特定之操作。因此，可以利用孩童的不同表達，以「演奏開始」代替「創作開始」的命令、以「放音樂」代替的「播放開始」的命令、以「不玩了！」代替「結束」的命令。同時，以可以使上述之機器人做出特定之動作，讓孩童確知該機器人已經收到對應的命令。

再者，上述微音器104亦可發揮此種語音輸入裝置203之功能。上述RAM 103及CPU 101可發揮此種語音辨識裝置231、語音對應裝置232之功能。

(以本實施型態之音樂創作玩樂系統之應用於創作音樂)

以下配合圖式，用以說明本實施型態之音樂創作玩樂系統之應用於創作音樂的流程。

於音樂創作玩樂系統100中，如圖5(a)所示，孩童可以自行設計7個姿勢作為基礎姿勢，而利用上述基礎姿勢設定裝置215將該多個基礎姿勢記憶於上述基礎姿勢記憶裝置中211中。再利用上述音樂設定裝置216，使該多個基礎姿勢，分別對應到Do、Re、Mi、Fa、So、La、Si等七個音符。

孩童可以對音樂創作玩樂系統100說出：「演奏開始」時，透過上述語音輸入裝置203而記錄之語音，將由語音辨識裝置231進行語音辨識，進而藉由語音對應裝置232而使音樂創作玩樂系統100執行「創作開始」的命令。如圖5(b)所示，當孩童在音樂創作玩樂系統100前方開始跳舞時，或是做一連串的動作時，由上述姿勢辨識裝置212進行基本姿勢的種類與持續時間的辨識，同時取得孩童身體位置的移動資訊。其中，基本姿勢的種類與持續時間將藉由音樂對應裝置213轉換成對應的音符與時間長度；而身體位置的移動資訊則藉由音量調整裝置222改變輸出的音量大小。於此創作音樂的流程中，亦可以使身體位置代表不同的音調，比如C大調或D大調，而利用上述音樂調整裝置進行音調之調整。從而，能由音樂輸出裝置251輸出所組成之音樂。最後孩童可用「不玩了!」而執行「結束」的命令。

依照本實施型態之音樂創作玩樂系統，孩童不用學習困難的音樂指法與樂理，可以用最熟悉的動作，依照自己喜歡的方式創作屬於自己的音樂，讓音樂的創作可以更有樂趣。不但可以單獨創作音樂，也可以多人一起參與創作音樂，利用競爭與合作的方式，一起比賽創作音樂，看哪一個團隊的音樂，動作最漂亮，音樂最美妙，整體效果最好，達到共享共樂而認識音樂的目的。

(以本實施型態之音樂創作玩樂系統之應用於播放音樂)

以下配合圖式，用以說明本實施型態之音樂創作玩樂系統之應用於播放音樂的流程。

於音樂創作玩樂系統100中，孩童可利用音樂錄音裝置202將所喜歡的音樂記憶於音樂記憶裝置221中。然後，可用「放音樂」而執行「播放開始」的命令，則於音樂創作玩樂系統100將由音樂輸出裝置251開始播放所記憶的音樂。此時，如圖6所示，當孩童在音樂創作玩樂系統100前方作出一連串的動作時，藉由上述姿勢辨識裝置212進行計算，而取得身體位置的左右移動、以及組成動作的姿勢變化速度，並進而利用音量調整裝置222與音樂調整裝置223，改變播出音樂的音量與速度或音調。

本實施型態之音樂創作玩樂系統應用於播放音樂的功能，尤其適合於嬰兒床用的音樂鈴。嬰兒天生喜歡製造一些聲音，也容易被聲音所吸引，隨著嬰兒的動作透過系統可以發出各種聲音，讓嬰兒發現如果在作其他動作的時候，會有不同的聲音出現，可以培養嬰兒對音樂的敏感力，並且藉著探索音樂培養對音樂的喜好。利用本實施型態的音樂創作玩樂系統，可以在播放音樂時，即時偵測嬰兒的動作。當嬰兒身體動得較快時，就加快音樂的播放速度；而當嬰兒身體動得較慢時，則放慢音樂的播放速度；並且嬰兒的位置也可以改變音樂的大小聲。若配合前述的創作音樂功能，也可以將嬰兒姿勢變成音符，而將嬰兒的一連串動作變成由一連串音符所組成的一首音樂。當嬰兒作任何動作發現音樂會變得不一樣時，嬰兒就會被吸引，透過音樂的改變，來吸引嬰兒的注意力。此外，透過本系統的影像輸入裝置，亦可提供父母遠距觀察嬰兒的一種方法。

(產業上之可利用性)

本發明提供一種利用動作偵測之音樂創作玩樂系統，係一種藉由偵測孩童的身體動作而創造不同的音樂表現，亦即，藉由偵測孩童所做出的身體姿勢而彈奏音符、以孩童的移動方向調整音量大小，或是以孩童的動作速度，改變播放音樂速度的音樂創作玩樂系統，致使引起孩童對音樂興趣的系統，對孩童的創造思考力將有極高的幫助。

100．．．音樂創作玩樂系統

101．．．CPU

102．．．ROM

103．．．RAM

104．．．微音器

105．．．CCD照相機

106．．．關節驅動裝置

107．．．聲音輸出裝置

108．．．介面

109．．．個人電腦

201．．．影像輸入裝置

202．．．音樂錄音裝置

203．．．語音輸入裝置

211．．．基礎姿勢記憶裝置

212．．．姿勢辨識裝置

213．．．音樂對應裝置

214．．．姿勢對應裝置

215．．．基礎姿勢設定裝置

216．．．音樂設定裝置

221．．．音樂記憶裝置

222．．．音量調整裝置

223．．．音樂調整裝置

231‧‧‧語音辨識裝置

232‧‧‧語音對應裝置

251‧‧‧音樂輸出裝置

252‧‧‧動作輸出裝置

圖1係本發明實施形態之利用動作偵測之音樂創作玩樂系統與孩童的相互關係圖。

圖2係表示實現本發明實施形態之利用動作偵測之音樂創作玩樂系統之概要構成之模式圖。

圖3係本實施形態之利用動作偵測之音樂創作玩樂系統之功能方塊圖。

圖4(a)-(g)係表示基礎姿勢實例之圖。

圖5(a)-(b)係本實施型態之音樂創作玩樂系統之應用於創作音樂的示意圖。

圖6本實施型態之音樂創作玩樂系統之應用於播放音樂的示意圖。