TWI450132B - A portrait recognition device, an operation judgment method, and a computer program - Google Patents

Description

畫像辨識裝置及操作判定方法以及電腦程式

本發明係關於畫像辨識裝置及操作判定方法，更詳細說明，係關於從藉由視訊攝像機等所攝影之畫像來進行測定對象之動作的判定之畫像辨識裝置及操作判定方法。

近年來，作為電腦或電子機器與人類之間的介面、亦即是人機介面，係被提案有各種之機器、手法，特別是在遊戲機或是操作嚮導機器等之中，係成為被提案有藉由攝像機來對操作者之全體或是一部份作攝影，並因應於該畫像而判斷操作者之意志並動作的技術。例如，在日本特開2004-78977號公報中，係提案有一種技術，其係具備有對於藉由CCD攝像機所攝像之畫像中的物體之形狀、動作作辨識的主電腦、和將經由主電腦所辨識出之物體的形狀、動作作顯示之顯示器，若是將CCD攝像機朝向使用者，並經由手的擺動等來賦予指示，則所賦予之手的擺動係被顯示在顯示器之顯示畫面上，並能夠藉由手之擺動而以箭頭游標之圖符來對被顯示於畫面上之假想按鍵等作選擇，而不需要滑鼠等之輸入裝置，便成為能夠進行非常簡便之機器操作。

進而，在最近，亦係被提案有一種輸入系統，其係從對手指之動作或是形狀作了攝像的畫像，來將其作為某種之姿勢而作辨識，並將其作為操作輸入。例如，若是參考圖14，則係展示有一種輸入裝置，其係能夠使用在採用姿勢所致之畫面操作的演示機(presentation)、或是並不需要觸控面板之非接觸資訊站(kiosk)終端中。面向著大畫面之操作者，若是朝向通常係被設置在(A)之位置處的攝像機，而進行各種之操作，則該內容係被放映在大畫面上。從如此這般而被攝像之畫像中，來將操作者之形狀、動作藉由在本技術領域中所被週知之方法而抽出，並與例如被預先所制定並被儲存在資料庫中之模式作比較，藉由此，而判定操作者之形狀、動作之意義，並使用在機器之控制中。

另一方面，作為操作者之畫像的讀取技術，係如圖15中所示一般，藉由對應於三維又或是立體之攝像機來作操作者作攝影，並成為亦能夠將立體畫像作再現，而被使用在安全檢查等之用途中。藉由再現立體畫像，能夠對操作者之動作作立體性之把握，而如圖16中所示一般地，對於操作者之特別是手的前後方向動作亦能夠辨識出來，故而，姿勢之多樣性係增大。又，若是複數之操作者被作為畫像而抽出，就算是多人數，亦由於其係為立體畫像，而能夠得知前後關係，並能夠僅將最前方之操作者的動作抽出並使用在操作之輸入中。

然而，先前技術之姿勢操作，係並未被確立有所謂事實上的標準一般之某種的標準姿勢，除了藉由食指所進行之XY座標的游標操作以外，使用者係並無法直接的辨識出能夠藉由何種動作而得到何種之效果。雖然係存在有像是「點擊」、「雙擊」、「拖曳」等之藉由判定點擊操作係在幾秒間之等待時間中而將座標固定一事來進行指示者，但是，亦多有由於所設定之等待時間過長等所造成的對於便利操作的阻礙。故而，係有著尚未存在有能夠使點擊或是決定(雙擊等)等之操作成為易於判斷且方便進行的現實性之手法的問題。

又，先前技術之姿勢檢測裝置，係與觸控面板之類的操作者能夠直接碰觸之輸入裝置相異，而難以獲知操作者之明確的意志。亦即是，係存在著：就算操作者進行有某些之動作，亦難以判定其係為有意圖進行輸入的動作，或者僅單純是由於操作者之習慣所產生的動作。其結果，例如係成為必須要將單純的姿勢以不自然且顯眼的方式來進行，否則便無法作辨識，又或是成為必須要進行針對姿勢之事先的確認，或是無法使用複雜的姿勢等之問題。

本發明，係為有鑑於此種問題而進行者，其目的，係在於提供一種：藉由在辨識出操作者係進行著與某種之輸入有所關連之操作的狀態之同時，而使該操作對於裝置而動作，來使確實的操作判定成為可能之畫像辨識裝置及操作判定方法。其結果，成為不需要記住操作尚未成為熟練之特殊的姿勢，只要藉由使身體全體或是一部份作動作，便能夠將其判定為確實地表示有操作者之意志的操作。

為了達成此種目的，申請專利範圍第1項中所記載之發明，係為一種畫像辨識裝置，其特徵為，具備有：三維攝像手段，係讀取操作者之至少一部份的像，並產生立體畫像資料；和操作面形成基準，係以使操作者能夠對特定之空間上的假想操作面作把握的方式而被設置，並可被該操作者所認知，而被預先配置在攝像手段之攝像範圍內；和操作判定手段，係經由以三維攝像手段所讀出之操作面形成基準，來形成假想操作面，並將對於該被形成之假想操作面的操作者之動作，以三維攝像手段來作讀取，而根據操作者之一部分與假想操作面間之位置關係，來判定該動作是否為操作；和訊號輸出手段，係若判定動作係為操作，則輸出特定之訊號。

申請專利範圍第2項中所記載之發明，係在申請專利範圍第1項所記載之畫像辨識裝置中，具備有以下特徵：假想操作面，係為從操作面形成基準起而投射於上方的面。

申請專利範圍第3項中所記載之發明，係在申請專利範圍第2項所記載之畫像辨識裝置中，具備有以下特徵：係在操作面形成基準之操作者側處，進而具備有對操作者之動作作限制的動作限制手段。

申請專利範圍第4項中所記載之發明，係在申請專利範圍第1項所記載之畫像辨識裝置中，具備有以下特徵：假想操作面，係為從操作面形成基準之與操作者相反側的特定位置起而投射於上方的面。

申請專利範圍第5項中所記載之發明，係在申請專利範圍第1項至第4項中任一項所記載之畫像辨識裝置中，具備有以下特徵：操作判定手段，係當操作者之一部分為較假想操作面而更靠三維攝像手段側時，判定其係為操作。

申請專利範圍第6項中所記載之發明，係在申請專利範圍第1項至第4項中任一項所記載之畫像辨識裝置中，具備有以下特徵：操作判定手段，係藉由操作者之一部分的較假想操作面而更靠三維攝像手段側之部分的形狀又或是動作，判定其係為被進行有何者的操作。

申請專利範圍第7項中所記載之發明，係在申請專利範圍第6項所記載之畫像辨識裝置中，具備有以下特徵：操作判定手段，係對預先記錄有與操作者之一部分的形狀又或是動作附加有對應的操作內容之記憶手段作檢索，並將對應於相合致之形狀又或是動作的操作，判定為所輸入之操作。

申請專利範圍第8項中所記載之發明，係在申請專利範圍第1項至第7項中任一項所記載之畫像辨識裝置中，具備有以下特徵：操作面形成基準，係為被顯示在乘載操作者之地面上。

申請專利範圍第9項中所記載之發明，係在申請專利範圍第1項乃至第7項中之任一項所記載之畫像辨識裝置中，具備有以下特徵：係更進而具備有被配置在操作者與三維攝像手段之間的立體物，操作面形成基準，係為立體物之特定的外緣。

申請專利範圍第10項中所記載之發明，係在申請專利範圍第9項所記載之畫像辨識裝置中，具備有以下特徵：立體物，係為桌子。

申請專利範圍第11項中所記載之發明，係在申請專利範圍第1項至第10項中任一項所記載之畫像辨識裝置中，具備有以下特徵：操作面形成基準，係以使對所讀取之畫像所進行之抽出成為容易的方式，而在被三維攝像手段所攝像之特定的面上具備有標記。

申請專利範圍第12項中所記載之發明，係在申請專利範圍第1項乃至第11項中之任一項所記載之畫像辨識裝置中，具備有以下特徵：係更進而具備有與操作者相對面而被配置之畫像顯示手段，操作判定手段，係以能夠使操作者辨識出操作之判定結果的方式，而在畫像顯示手段中顯示現階段之操作判定結果。

申請專利範圍第13項中所記載之發明，係為一種操作判定方法，其係為經由畫像辨識裝置，而辨識操作者之畫像並判定操作內容的操作判定方法，其特徵為，具備有：三維攝像步驟，係讀取以使操作者能夠對特定之空間上的假想操作面作把握的方式而被設置，並可被該操作者所認知，而被預先配置在特定之攝像手段之攝像範圍內的操作面形成基準、以及該特定之攝像手段的攝像範圍內之操作者之至少一部份的像，並產生立體畫像資料；和操作判定步驟，係經由在三維攝像步驟中所讀出之操作面形成基準，來形成假想操作面，並根據操作者之一部分與假想操作面間之位置關係，來判定經由三維攝像手段所讀取之對於該被形成之假想操作面的操作者之動作是否為操作；和訊號輸出步驟，係若判定動作係為操作，則輸出特定之訊號。

申請專利範圍第14項中所記載之發明，係為一種程式，係為使畫像辨識裝置實行對操作者之畫像作辨識並判定操作內容之操作判定方法的程式，其特徵為：該操作判定方法，係具備有：三維攝像步驟，係讀取以使操作者能夠對特定之空間上的假想操作面作把握的方式而被設置，並可被該操作者可認知，而被預先配置在特定之攝像手段之攝像範圍內的操作面形成基準、以及該特定之攝像手段的攝像範圍內之操作者之至少一部份的像，並產生立體畫像資料；和操作判定步驟，係經由在三維攝像步驟中所讀出之操作面形成基準，來形成假想操作面，並根據操作者之一部分與假想操作面間之位置關係，來判定經由三維攝像手段所讀取之對於該被形成之假想操作面的操作者之動作是否為操作；和訊號輸出步驟，係若判定動作係為操作，則輸出特定之訊號。

申請專利範圍第15項中所記載之發明，係為一種畫像辨識裝置，其特徵為，具備有：三維攝像手段，係讀取操作者之至少一部份的像，並產生立體畫像資料；和操作判定手段，係以三維攝像手段之攝像範圍內的預先制訂之位置以及大小，而形成成為操作者之操作基準的假想操作面，並將對於該當被形成之假想操作面的操作者之動作，以三維攝像手段來作讀取，而根據相對於假想操作面之操作者的部位之位置關係，來判定該動作是否為操作；和畫像顯示手段，係從藉由操作判定手段所辨識出之相對於假想操作面的在三維攝像手段之相反側處的操作者之一部分與假想操作面間之位置關係，來計算出該當距離，並將因應於該距離而作變化之標示作顯示，而展示所欲進行判定之操作，而可由操作者所視認；和訊號輸出手段，係若判定動作係為操作，則輸出特定之訊號。

申請專利範圍第16項中所記載之發明，係在申請專利範圍第15項所記載之畫像辨識裝置中，具備有以下特徵：標示，係隨著操作者之部位的與假想操作面間之距離的拉近而變小。

申請專利範圍第17項中所記載之發明，係在申請專利範圍第15項所記載之畫像辨識裝置中，具備有以下特徵：標示，係隨著操作者之部位的與假想操作面間之距離的拉近而使色相變化。

申請專利範圍第18項中所記載之發明，係在申請專利範圍第15項所記載之畫像辨識裝置中，具備有以下特徵：標示，係隨著操作者之部位的與假想操作面間之距離的拉近而使透明度變低。

申請專利範圍第19項中所記載之發明，係在申請專利範圍第15項所記載之畫像辨識裝置中，具備有以下特徵：係隨著操作者之部位的與假想操作面間之距離的拉近，而使標示與被顯示在畫像顯示手段中之操作對象畫像間的對比變大。

申請專利範圍第20項中所記載之發明，係在申請專利範圍第15項所記載之畫像辨識裝置中，具備有以下特徵：標示，係隨著操作者之部位的與假想操作面間之距離的拉近而使形狀變化。

申請專利範圍第21項中所記載之發明，係在申請專利範圍第15項乃至第20項中之任一項所記載之畫像辨識裝置中，具備有以下特徵：操作者之部位係存在有複數，標示，係對應於複數的操作者之部分的各個，而被作複數顯示。

以下，一邊參照圖面一邊針對本發明的實施形態加以詳細說明。

(第1實施形態)

圖1，係揭示將身為本實施形態之操作面形成基準的標記101在地面上作顯示之操作輸入系統的其中一例之圖。本實施形態之標記101，係被配置在操作者與監視器111之間，操作者102，係認知到從此標記101起而超出於顯示畫面側之部分的移動，形狀係成為操作判定之對象一事，並能夠進行對於操作輸入系統之操作。在監視器111中，係被顯示有用以進行本系統所作為目的之各種的應用程式之各種影像，除此之外，在畫面之角隅處，係被顯示有後述一般之用以對操作輸入作支援、亦即是例如成為對象之操作者102的部位等，而使操作者102能夠對於在現階段之可作為操作而進行判定的動作作辨識。操作者102之動作，係藉由視訊攝像機201而被作攝影，所攝影之影像，係藉由電腦110而被作處理，並判定操作者102之超出標記101的部分之姿勢係代表何種之操作。電腦110，係從由視訊攝像機201所得到之資料來作成操作者102之立體畫像，同時，計算出藉由標記101所形成之假想操作面的位置，並以假想操作面作為基準，來決定操作者102之手指等是否超出至視訊攝像機201側，而將該部分作為操作之對象，以判定操作內容。

在本實施形態，為了取得畫像，將視訊攝像機201安裝於監視器111上部來攝影，但是，只要可取得必須之畫像，則不限於此，亦可使用紅外線攝像機等之在本技術領域所知之任一攝影手段，設置場所亦可選擇監視器之附近任一處。於此，在本實施形態中，作為視訊攝像機201，係使用三維(或3D)攝像機，藉此，包含操作者及操作面基準，可作成立體畫像。又，亦可融合紅外線攝像機與視訊攝像機來使用。亦即，例如將後述之遞迴性(recursiveness)反射材料作為標誌來使用時，能夠藉由將紅外線攝像機專用在操作面形成基準的校準，並將操作者的動作利用通常的視訊攝像機來捕捉之方法，來使用兩種類的攝像機。

進而，於本實施形態的系統係安裝有未圖示之揚聲器等之聲音輸出裝置，而亦可利用聲音來對操作者傳達關於顯示內容或操作的資訊。藉由設置此種功能，不僅於顯示器可利用畫像來顯示操作內容，針對指示事項及結果，亦可利用同時播放聲音來得知操作面基準，故即使是有視覺障礙的操作者，亦成為可進行操作。

圖5，係為用以對標記101的作用作具體說明之圖。標記101，係為操作者102用以對假想操作面作辨識之操作面形成基準，使用者102，係如圖6中所示一般，對於在被標示於地面上之標記101的上方係假想性的存在有操作面一事作捕捉，並例如在欲進行操作的情況時，可將標記101做為基準，並將手601朝向前方突出而展示姿勢等。標記101之寬幅，係亦成為操作面之寬幅。又，輔助標記501，係為對標記101之前後作區別的標記，使用輔助標記501，亦可確定操作區域，或是作為3維透視法之計算要素等，其形狀或是方向，亦係為隨意，且亦可設為使其表示適合於測定之區域。在此種具備有標記101之操作輸入系統中，如圖7所示一般，在標記101之上部，係被假想性地形成有操作面701，操作者102，係從標記101來對假想性之操作面701作想定，並藉由將手601突出、或是與監視器111運動地來以將畫面上之一部分與操作面701視為觸控面板並作觸控的方式而移動手601等，而能夠容易地進行輸入操作。又，由於係可藉由在假想操作畫面區域(位置於線段之垂直上方向)之使用者作出了任意之姿勢後而朝向線段之前方來推出(決定)的動作而決定操作動作、或是在先決定了操作之後再進行推出之類的方式，來作為判斷基準，因此，使用者係易於作認知，且操作性亦係成為接近於先前技術之觸控面板操作者。另一方面，在操作之多樣性上，相較於先前技術之觸控面板，係壓倒性的增加(雙手操作、連續行動、複數手指等)。

在本實施形態中，雖係如圖5乃至圖8中所示一般，而展示將假想操作面形成於標記之正上方的情況，但是，所謂標記之上方，係並不一定需要為正上方。亦即是，身為操作面形成基準之標記，係為視認可能，而操作者，係對標記作視覺辨認，並將此作為基準，而對假想操作面所存在之位置作概略推測，並進行操作。故而，假想操作面雖係有必要形成在標記之上方，但是，關於對操作者而言之前後的位置關係，係會有因應於操作者或是系統全體之狀況而產生變化的可能性。一般而言，如圖44中所示一般，在例如將標記4401配置在地面等處之情況等中，從操作者102之眼睛的位置來看，由於係可考慮操作者多係站在接近於標記4401之正上方的位置處，因此，亦可想見，亦會有將假想操作面701形成在稍微朝向標記4401之與操作者102相反側而偏移之位置處，而能夠使手腕較有空間移動，而能夠進行較自然之操作的情形。另一方面，當如同後述之第2實施形態一般的於圖21中所示之在桌子的邊緣處貼附標記1902的情況時，由於操作者之動作會因為與貼附有標記之側相反側的邊緣而受到限制，亦即是操作者係無法使身體朝向較此邊緣而更前方地接近操作面，因此，亦能夠以使其成為易於操作的方式，來對桌子的寬幅作適當設定。於此情況，可以想見，係以將假想操作面形成於標記之正上方的情況，能夠使操作者更容易地對假想操作面作辨識。

如同本實施形態一般之操作面基準，由於係能夠在所擷取之畫面上，而將測定用標記以廣範圍且適度並同時地作分散配置，因此，係成為能夠進行信賴性非常高之測定。進而，與此種效果同時的，亦能夠與可保證標記係恆常存在於攝像機之攝影範圍內的校準系統作併用，而能夠實現省空間‧多功能之裝置，基本上，在初次設置的校準後，係不必要在每一次中重新作再測定。

標記101，係如此這般地藉由視訊攝像機201而被作攝影，並成為操作面形成基準，為了使此事成為容易，標記之材料，係可使用在本技術領域中所熟知之各種的物質，但是，通常係依據所使用之攝像機來選擇適當之物。例如，在通常之攝像機的情況時，係需要從背景色彩而成為顯眼之具備特徵的顏色，而當使用紅外線攝像機時，則可以使用遞迴性反射材料等。另一方面，雷射光，由於對於黑色部分等之反射較少的顏色、材料係難以對反射光作測定，因此，當使用雷射光時，藉由不使用標記或是遞迴性反射材料等而採用黑色之棒條(bar)等，由於被照射有雷射光之部分係並不會被反射而在畫面上產生欠缺，因此，亦可如此這般地來檢測出棒條的位置。

標記，係可藉由如此這般地將適切之材料貼附在地面上來作使用，但是，係並不被限定於此，亦可將其直接塗布在地面上，或是使用在本技術領域中所熟知之任意的附著方法。又，在上述之說明中，作為操作面形成基準，雖係設為使用標記101，但是，係並不被限定於此，而可將任意之構件或是構造作為立體測定基準來使用。例如，標記係亦可不為如圖1中所示之形狀，而可設為各種形狀之圖形，而亦可在數個點處設置複數之具備有一定面積的標記。

圖2係模式揭示本實施形態之畫像辨識裝置的電腦110之構造的區塊圖。於電腦110處，係連接有：被安裝於監視器701之上部等，並對操作者102及標記101等作攝影的視訊攝像機201，而所攝影之畫像係被電腦110擷取。藉由攝影所得之畫像，係於CPU210中進行身為本實施形態之特徵之畫像的抽出、位置的計算等，根據計算出之位置，決定身體的一部份是否從操作面而超出於視訊攝像機側。電腦110，一般來說係具備有CPU210，並在RAM212上執行記憶於ROM211等中之程式，將依據從畫像辨識裝置輸入之畫像的處理結果，輸出至監視器111等。在本實施形態中，監視器111，主要係輸出藉由操作者欲體驗之各種的應用程式所提供之各種映像者，但是，亦顯示如同後述一般之成為操作輸入之支援的資訊。

圖3，係揭示在本實施形態之電腦110的CPU210內所處理之程式的功能模組之一例的區塊圖。如圖3所示一般，在本系統中之處理，係藉由畫像讀取部301、畫像抽出部302、畫像位置算出部303以及操作判定部304而被實行。另外，在本實施形態中，係藉由4個模組，來實行從受取來自攝像機201之畫像起直到進行資料的輸出為止之處理，但是，係並不被限定於此，亦可使用其他模組，或者以更少的模組來進行處理。

(本實施形態之處理)

在本實施形態中，係如圖8中所示一般，以藉由視訊攝像機201所攝影之標記101為基準，來決定同樣地被作了攝影之操作者102的位置，並假想在標記101之上方處係被形成有操作面701，而進行計算出假想性的操作面701與操作者102之間的位置關係之處理。在本實施形態中，若是以進行此種處理作為前提，並想定在本技術領域中所熟知之初期設定、例如重新設置本實施形態之畫像辨識裝置的情況，則作為事前準備，係有必要將所利用之視訊攝像機201的利用透鏡之歪曲、標記102與透鏡間之距離等的資訊輸入至裝置中。進而，對臨限值設定等預先作調整。若是結束了系統之初期設定，則係成為進行本實施形態之處理，但是，針對此處理，係參考圖4，並於以下作說明。

圖4，係為本實施形態之處理的流程圖。首先，在畫像讀取部301中，將藉由視訊攝像機201所攝影之資料作讀取(S401)，並由該資料，來藉由畫像抽出部302，而對標記101，例如當彩色畫像的情況時，將預先作為標記而決定了的色區域抽出，而僅將標記101之畫像抽出(S402)。具體而言，在本實施形態中，係對於彩色NTSC訊號之亮度訊號Y與色差訊號U、V之各個，而設定上下之臨限值，並將滿足所有之臨限值的像素抽出，但是，係並不被限定於此，而可以使用在本技術領域中所熟知之任意的方法。如此這般，若是對標記101之位置作了3維性的把握，則係計算出假想性之操作面係成為何種狀態，並將其記憶在資料庫中。

於此，操作面之形狀，若是參考圖8等，則係成為從地面起而垂直立起之長方形，但是，係並不被限定於此，藉由標記101之形狀或是配置方式等，能夠形成各種之形狀、大小的操作面。例如，圖8中所示之標記101，由於係為平行於監視器111之面的一定長度之直線，因此，假想性之操作面，係成為如同操作面701一般，但是，亦可將標記設為於斜方向而具有一定之角度的直線，於該情況，形狀雖係為與圖8中所示之操作面701相同，但是，方向係成為被放置在與監視器111具有一定之角度的斜方向上者。於此情況，由於操作者102亦係能夠對於藉由標記而被斜方向配置的操作面係被假想性的形成一事作捕捉，故而，只要意識到該操作面並進行操作即可。又，亦可立體性地配置輔助標記，而設為對於地面亦具備有一定之角度的斜面之操作面，或是設為曲面之操作面。另外，本實施形態，雖係針對將藉由標記等所形成之假想性的操作面做為基準而進行處理的情況來作了說明，但是，如同只要是同業者則能夠理解一般，在實際之計算處理中，就算是不從操作面來計算操作者的位置亦可。此係因為，假想性之操作面，最終仍僅是為了使操作者能夠意識到其之存在並進行操作輸入者。

若是結束了顏色抽出，則進而對輔助標記501亦進行相同之處理並作抽出，而後，藉由畫像位置算出部303，對抽出之標誌部份作黑白之兩值化，並計算出構成從視訊攝像機201所攝影之畫像而抽出之標記的橫縱之邊的像素數。將取得之畫像的橫縱之邊的長度或傾斜，與作為基準的畫像比較，算出攝像空間的歪斜或標度。在本實施形態，計算出歪斜或標度時，亦可於其他至少4處以上設置標記來作為基準。例如，只要有4處以上的基準點，則可連結作為線段，並進行校準。

此種準備之結果，係實際地抽出操作者102之畫像(S403)，操作判定部304，係使用對於操作輸入系統之標記101的從視訊攝像機201所視而言為站在深側之操作者102與標記101間的相對關係(S404)，若是操作者102之一部分對於操作面之視訊攝像機所視而言為來至前方，則判定操作係開始(S405)，並根據各部的形狀(手張開或伸出兩根手指等)或動作，來判定其形狀、動作係為預先所想定之何者的操作(S406)。於此，何種形狀、動作係對應何種操作一事，係能夠由系統來獨自決定，亦可利用在本技術領域所知之任一手法來決定。所判定之結果，係作為存在有該種操作之輸入一事，而在電腦110中被作實行(S407)，而當原本手便並未從假想操作面而伸出至前方的情況時，則判定係並未被進行有操作，並結束(S408)。操作內容的判定，係並不被限定於在此所說明之手法，而亦可使用在本實施形態中所熟知之任一方法。又，雖然亦省略了具體的判定方法，但是，一般來說，係將預先訂定之姿勢等的操作者之身體的形狀，動作，與其所代表之操作內容，儲存於資料庫等中，並在畫像抽出後，對該資料庫進行存取，來判定操作內容。此時，當然的，亦可藉由在本技術領域所知之手法，來利用畫像辨識技術或人工智慧等而提高判定精度。

於此，係對操作者之像與操作面形成基準之畫像作對比，並根據身為歪斜對應資訊之預先所計算出的畫像之歪斜或是標度，來判定操作者之各部位的位置或是體態。於此，雖並未詳述，但是，同樣的，操作者之像，亦係藉由在本技術領域中所熟知之任一的方法來作抽出。例如，可考慮例如預先將操作者之背面作為特徵，以使操作者之像易於被抽出等。

又，在本實施形態中，假想操作面之形成，雖係在對操作者之動作作辨識時而進行，但是，此係在例如將系統全體設為小規模者，並相較而言較為頻繁地對操作面形成基準與攝像機間之位置作改變的情況中係為有效，然而，當如同博物館展示一般之只要作一次設定便不會太頻繁地對位置關係作變更的情況時，亦可預先將假想操作面抽出，並藉由任意之方法來將其數值化並作記憶，而在操作者進行輸入時，從最初起便不進行抽出地來對操作作判定。藉由採用此種處理，能夠省略形成假想操作面之處理，作為全體，能夠進行效率更佳之處理。

(操作輸入之支援)

如同以上所說明一般，僅需單純地設置3維視訊攝像機以及如同標記101一般之操作面形成基準，操作者即可在空間上感覺‧想定到如同觸控面板一般之操作面，並藉由對於此操作面進行各種之操作，而成為能夠進行使用身體之全部又或是一部份的操作輸入，但是，藉由進而對於假想性之操作面來將操作者之影像顯示在監視器111處等來對操作輸入作支援，而能夠更容易地對本實施形態之系統作活用。

圖9，係揭示將成為此種操作輸入之支援的導引顯示於監視器111中之一例的圖。例如，當藉由指標來對被顯示在監視器111之中心部處的畫像之某一部分作指示的情況時，操作者係可藉由將手指突出並與被顯示在假想性之操作面上的畫像作重合，來對所期望之場所作指示，但是，藉由將此種指示之模樣如同於圖9中所示之指標901一般地來作顯示，操作者係可一面對現在所進行之操作作辨識並作確認，一面實行接下來的操作。以此例來說，例如，指標901，係成為若是手指從操作面而突出，則會被顯示在畫面上，並當手指抽回時消失、或是被附加有濃淡地作顯示，而由首之動作與被顯示在監視器111中之指標的模樣，操作者係能夠以自然的方式來實行本實施形態之輸入方法。同樣的，係可將把操作者本身之模樣藉由如同圖6乃至圖8中所示之形態來作了顯示的操作畫面902，在監視器111之右上角處作小畫面顯示，而顯示現在係進行著何種之動作、且在系統中係被判定為何種之操作，又，係可展示將手之動作作了圖表化後之折線圖903，並使操作者本身意識到手之前後移動係成為了何種之狀況等，藉由此，能夠期待更為正確之操作。又，雖並未圖示，但是，亦可將在系統中能夠使用之姿勢顯示在導引中，並以促使操作者仿效其而進行操作輸入的方式來進行支援。

以上，若是使用本實施形態，則操作者係並不需要預先記住姿勢或是對姿勢作決定，而能夠藉由其之動作來進行系統之操作，除此之外，由於係可得知操作者之姿勢或是各部位、例如手的動作，因此，亦可利用在使用有身體全體之遊戲中，而實現所謂的混合實境感(Mixed Reality，MX)。

(第2實施形態)

本實施形態，基本上係與上述之第1實施形態的系統構成為相同，但是，係為根據更具體之使用狀況者。亦即是，在本實施形態中，係遵循第1實施形態之系統以及處理，而在一定之立體物、例如在圖21中所示的桌狀之立體物1901上，附加標記1902、1903並作為操作面形成基準，藉由此，而形成假想操作面701，並對於此而藉由例如手指601等來進行操作，經由此而使輸入操作成為可能。在本實施形態中，作為立體物之例，以下，係使用客廳之桌子，並想定為坐在家庭內等之沙發等處並進行操作的情況，而作說明，但是，係並不被限定於此，而亦可使用如演講台、置物台、或者是如圖17中所示之棒條1702一般的阻擋物等之各種用途者。於此，監視器111，係想定為在家庭之客廳等所放置的大畫面電視。

又，當使用如圖21中所示一般之附有標記的置物台的情況時，係如同後述之圖23所示一般，例如亦可使用標記1903，並僅將操作者102之上半身作為對象區域2301，而僅將從假想操作面701而超出至前方的部分之動作作為操作來進行判定。藉由採用此種構成，當操作者係將如圖21所示一般之置物台作為身體之支撐並進行輸入操作時，就算是下半身、特別是腳從假想操作面而超出至前方，亦能夠設為僅將上半身之動作作為操作而辨識。

於此，參考圖38以及圖39，針對在本實施形態中之標記與假想操作面間的關係作說明。在本實施形態中，基本上，係在桌子或是台等之邊緣處附加標記，而操作者係對於被形成在標記之上方的假想操作面而作接觸或是使手作移動，來使系統辨識出其係為輸入操作。此時，桌子或是台之未被附加有標記的邊緣，係對操作者之動作作限制，並對於適度伸出之手的自然地接觸於假想操作面一事作支援。若是參考圖37來對此概念作說明，則在身為操作面形成手段之標記3801之上方，係被形成有假想操作面701，另一方面，操作者102，係藉由某種之動作限制手段3802，而成為從假想操作面而保持有一定的距離，並能夠藉由自然地伸出至前方的手601來對假想操作面進行操作。在本實施形態中，假想操作面701，雖係被形成在標記3801之正上方，但是，亦可如在第1實施形態中所述一般地來使其以標記3801為基準並作前後移動。例如，動作限制手段3802由於基本上係為固定，因此，依存於操作者102之體形，若是在標記3801之正上方被形成有假想操作面，則亦會有變得過於前方或是過於後方，而使得使用感變差的情況。於此情況，亦可使每一操作者使假想操作面之被形成的位置從標記3801來前後移動。

圖39，係為揭示作為此種動作限制手段而使用有導引棒條的情況之一例的圖。導引棒條3902，為了防止在此種操作板上進行動作時的不安定，通常係作為扶手，或是成為能夠將身體靠上，但是，在進行本實施形態之操作輸入時，係作為動作限制手段而起作用，並成為用以得到在使用假想操作面時之良好操作感的助力。

若是參考圖10，則在本實施形態中，操作者102係在就座的狀態下，對大畫面電視進行操作，但是，操作面形成基準，係成為在桌子1001上所設定之標記1002以及輔助標記1003、1004，操作者102，係藉由此些之標記，而大致的想定操作面701係為被形成於標記1002之上方者，並對該操作面進行各種之存取，而使所期望之操作成為可能。如上述一般，例如，將大畫面電視111之畫面與操作面701重合，並在畫面上顯示頻道之配列，而能夠藉由在操作面701上以手指601來作指示，來切換至所期望之頻道。

於此，輔助標記1003，係為對操作面之傾斜作制訂者，若是參考圖10，則由於其係被設置在桌腳處，因此，係大致垂直於桌子1001之上面，而假想操作面亦係在桌子1001之上面垂直地被形成。故而，當使輔助標記1003具有與垂直相異之角度而作設置的情況時，操作面係成為並非為實施形態之垂直，而係被傾斜地形成。又，輔助標記1004，係為用以進行前後之判斷以及透視計算者。藉由使用此種本實施形態，當在家庭中放鬆享受電視之視聽時，就算是在欲對電視進行操作卻找不到遙控器時，亦不需要去尋找遙控器，便成為能夠進行遠端操作。

(第3實施形態)

本實施形態，基本上係與上述之第1實施形態的系統構成為相同，但是，係為根據更具體之使用狀況，並將與第2實施形態相異之系統作為對象。亦即是，在本實施形態中，與第2實施形態相異，而係想定例如於圖11中所示一般，躺在醫院內等的床等之上並進行操作的情況。於此，監視器111，係想定為被放置在病房中之電視等。

在本實施形態中，操作者102係在從床上而稍微起身的狀態下，對電視進行操作，但是，操作面形成基準，係成為在床用桌1102上所設定之標記1101以及輔助標記1103，操作者102，係藉由此些之標記，而大致的想定操作面701係為被形成於標記1001之上方者，並對該操作面進行各種之存取，而使所期望之操作成為可能。具體而言，係如圖21中所示一般，將手指從標記1101而朝向電視111側突出，來使系統辨識到其係為操作中，但是，在本實施形態中，係藉由手指601之形狀來表示操作內容。亦即是，如圖13中所示一般，藉由朝向電視而以右手之手指1301來表示「1」，並以左手之手指1302來表示「2」，在本實施形態之操作輸入系統中，係判定其係為切換至「21」頻道之指示。如此這般，能夠藉由在操作面701上以手指601來作指示，而切換至所期望之頻道，並藉由阻擋物，而成為易於辨識假想操作區域。係可藉由是否較判定線(長邊)而更超出至前方或是並未超出一事，來對使用者之欲進行操作‧不欲進行操作的意思作確認，並可藉由在判定線之內側進行特定姿勢與姿勢之中間動作部分，並在姿勢決定後從判定線而伸出至攝像機側，而避免在先前技術中會成為問題點的曖昧判定或是錯誤。

(第4實施形態)

本實施形態，係為藉由在上述第1實施形態中更進而組入輔助性之輸入手法，而提供一種更容易直覺性的對操作作辨識之裝置者。亦即是，於上述之第1實施形態的畫像辨識裝置處，連接地板墊片感測器，並一面藉由地板墊片來指示動作模式，一面經由使用三次元攝像裝置的畫像辨識裝置而更確實地辨識姿勢等之操作者的操作。具體來說，若是例如於圖17中所示一般而踩踏地板墊片1701上的L或R時，則進入操作模式，並將操作者的動作作為姿勢而執行辨識處理，而在除此之外的情況時，操作者的動作係作為對象外，而並不進行處理。於此情況，假想操作面係以棒條1702、1703作為基準而被形成。

圖18，係為模式揭示本實施形態之畫像辨識裝置的電腦110之構造的區塊圖。於電腦110處，係連接有：被安裝於監視器上部等處，並對操作者及附加於棒條1702、1703處之標記等作攝影之視訊攝像機，而所攝影之畫像，係被電腦110所擷取。藉由攝影所得到之畫像，係於CPU210中進行身為本實施形態之特徵之畫像的抽出、位置的計算等，根據計算出之位置，決定身體的一部份是否從操作面而超出於視訊攝像機側。電腦110係一般來說具備CPU210，在RAM212上執行記憶於ROM211等之程式，將依據從畫像辨識裝置輸入之畫像的處理結果，輸出至監視器等。在本實施形態中，監視器，主要係輸出藉由操作者欲體驗之各種的應用程式所提供之各種映像者，但是，亦顯示如同後述一般之成為操作輸入之支援的資訊。若參照圖18，則更進而地，本實施形態的操作輸入裝置，係於表面張貼有地板墊片感測器1701，並例如在藉由腳踩踏而施加壓力在顯示”L”或”R”的區域時，輸出因應其位置的訊號。如此這般，在以腳操作的情況時，因為操作者有成為不安定之可能性，故而，棒條1702係因為在如此狀況中亦能夠以手來握住並有效地使姿勢穩定，故為有效。

本實施形態之地板墊片感測器，係亦可使用在本技術領域中所熟知之任意的技術。例如，就算是使用壓力感測器，或是利用使用靜電之感測器等之其他技術，只要是可輸出表示腳置放位置的訊號者，則可使用任一種技術。所輸出之訊號，係於CPU1802中，藉由資訊輸入而被作處理，亦即是，被轉換成“R”或“L”等之資料，而被轉換後之資料，係經由介面1803，而被送訊至電腦110。電腦110，係將從地板墊片感測器而來之資料與對於上述之假想操作面所進行之動作融合，而實行對操作者所欲進行之操作作特定的處理。亦即是，例如若是將一面踩踏”R”一面進行之動作作為代表操作者，則操作者係僅在欲使用某種操作時，踩踏“R”即可，當欲使電腦110將其辨識為操作時，係一邊踩踏“R”，一邊表示預先訂定之姿勢，藉由此，電腦110係可從操作者的動作中，適切特定出對於系統之操作，並加以處理。

在圖17中，係揭示了棒條1702、1703，但是，例如亦可在如圖19所示一般之桌子狀的立體物處附加標記，並作為操作面形成基準。此時，與圖17所示相同，配置有主要藉由腳指示之代表“R”或“L”的區域1710。如此這般，代表“R”等的區域1710，係可寫入、印刷或貼上薄片於地板墊片及地面處，此外，亦可如圖20中所示一般，在棒條支持部1703等上安裝身為用以投影圖案的投影手段之LED聚光燈或液晶投影機等，而若是投影於地板墊片感測器上，則投影燈2002可於地板墊片上形成輸入文字等之圖案。亦即是，若是在棒條支持部1703處設置投影用單元，並進行傾斜投影，則由於係不會***作者的腳2001所阻礙，故可避免因為影子而無法將地板墊片感測器圖案正常投影之事態。若是如此這般地投影圖案，則係能夠因應於輸入資料而將操作者易於理解之圖案動態地形成。另外，在圖19所示之例中，由於係能夠藉由踩踏被顯示在地面上之圖案1710，來告知操作之開始，因此，就算是不使用本實施形態之假想操作面，亦能夠藉由姿勢來進行各種之輸入。

(第5實施形態)

在本實施形態中，作為基本之概念，係與上述之第1實施形態一致，但是，係使用藉由相異之手法而得到同樣之效果的發明。亦即是，本實施形態，亦係為使操作者將假想性地被形成於空間上之假想操作面作為基準，並以設想該處係存在有如同觸控面板一般之輸入機器的方式來進行操作，藉由此，而對該操作內容確實地作判定，但是，與第1實施形態相異，係為並不使用操作者能夠認知之操作面形成基準、例如圖1之標記101等，而進行操作之判定者。因此，在本實施形態中，係藉由將如同在上述第4實施形態中所使用一般之輔助性之輸入手法作組入，而提供一種操作者能夠對於自己之操作係在系統上被作了何種之認識一事更容易直覺性的辨識之裝置。

基本上，本實施形態之原理，係為配合相對於假想操作面之操作者的部位、例如手或是手指之位置的移動，來在監視器111上以影像來顯示操作者係欲進行何種之操作，藉由此，來對操作者作誘導，並使確實之操作輸入成為可能。具體而言，如圖22中所示一般，由於係並不存在有在第1實施形態中一般之標記101，因此，操作者基本上係並無法辨識出在何處被形成有假想操作面。因此，係藉由並不使用標記等之基準面而利用操作者之直覺，而使操作者能夠在一定之範圍內而認識到假想操作面之存在，並以其為基準而進行操作，藉由此，而成為能夠在系統側處對該操作作判定。

針對此點，若是參考圖23～24並作說明，則在本實施形態中，當能夠預先使操作者在一定之站立位置處來進行操作的情況時，係在預先所設定之適合於在該站立位置處而對假想操作面進行操作之位置、或是與操作者之站立位置作了配合之適宜適當的位置處，來形成假想操作面701。同樣的，如圖23中所示一般，設定操作者102之適當的操作範圍2301。如上述一般，在監視器111處，係藉由以各種之形態來顯示出現在係欲進行何種之操作，而使操作者成為能夠對自己之操作作辨識。

若是參考圖24來對此種形態的其中之一進行說明，則當操作者欲對於系統而進行某種之操作的情況時，在本例中，藉由對於監視器111而使手腕2401前後移動，由於手或是手指601之位置係改變，因此，若是將該模樣顯示在監視器111上，則作為系統，係進行例如若是突出之手指601來到了一定之位置處，則於此時在監視器111之畫面上所被指示之項目係被實行等的一定之處理。在圖24之例中，係成為經由相對於假想操作面701之手指601的位置(深度)，來使圖符之大小改變，若是越接近假想操作面，則圖符係變得越小，故對於操作者而言，係成為能夠認識到藉由自己之操作而被對準至一定之場所處一事。而後，在圖符變為最小之位置處，操作係確定，並被實行有因應了該操作之處理。

圖25，係展示藉由以上之操作的結果，圖符係在監視器111之畫面2501上作何種之變化。若是參考圖25，則在監視器111之畫面2501中，例如係被顯示有電視節目表，並假設欲進行關於某一節目之操作。在此種狀態下，例如，當操作者欲對「設定變更」之選單鍵作選擇的情況時，操作者係欲如同上述一般地朝向監視器111而將手指601突出並作選擇。在本實施形態中，操作者雖並未對假想操作面係存在於何處一事正確地作認識，但是，若是手指601對於假想操作面而接近至一定之距離，則在畫面2501中，係被顯示有圖符2503。此圖符，由於手指之位置係仍為遙遠，因此，係被顯示有於圖24中所示之圖符中的存在於右方之較大者。若是操作者進而將手腕2401伸長，則此圖符係一面朝向選擇項目「設定變更」接近一面變小，並當縮小為一定之大小的圖符2502時，被判定為圖符所指示之位置的項目係被作了選擇。

如此這般，在圖25之例中，係藉由因應於手指601之位置來使被顯示在畫面2501中之圖符的大小作改變，而使操作者能夠對於自己之動作係在系統中被作何種之認識一事作把握，並能夠辨識出假想操作面之大概的位置，而直覺地進行選單之選擇等的操作。於此，包含有手指601、手腕2401之操作者全體以及各部位之位置或是大小，係與第1實施形態相同的，能夠藉由使用3維攝像機來作抽出。藉由此，畫面內之物體，由於係能夠亦包含深度地被作把握，因此，能夠根據此些之資訊，來計算出與假想操作面間之距離或是位置關係。但是，在本實施形態中所使用之3維攝像機或是位置的抽出、距離的算出等，由於係可使用在本技術領域中所被熟知之任意的方法，因此，於此係省略其說明。

在本例中被顯示於畫面中的圖符，係為圓形，並配合於操作者之動作而改變大小，但是，係並不被限定於此，而能夠如圖26中所示一般地使用各種形態之圖符，並使其作各種之變化。亦即是，若是參考圖26，則(1)係為手指形態之圖符，並與上述之圖25的例子相同地，成為若是越接近假想操作面則會變得越小。(2)雖是圓形並成為會逐漸地變小，但是，當輸入或者是選擇確定時，則會變化為特別之形狀，而代表其係為確定。於此圖符或是其他之圖符的情況中，亦可代替形狀或者是大小之變化，又或是配合於形狀或者是大小之變化，而使圖符之顏色作改變。例如，藉由藍→綠→黃→紅等一般之從冷色系而變化為暖色系，能夠使操作者直覺地認識到操作係被對準並被確定。(3)係為X一般之形狀，並當距離遠時，不僅是較大，且亦被附加有模糊化，並隨著接近，而在使圖符之大小縮小的同時，使模糊化消失並成為清晰的形狀。(4)的情況中，圖符全體之大小係並不會變化，而是成為在中間所被描繪之圖形處產生有形狀變化，以對被對準之模樣作辨識。於此情況，亦能夠使圖形之顏色改變。圖26中所示之(5)的情況，亦係為使形狀作改變者。於圖26中，係因應於手指之移動而使圖符之形狀或是顏色改變，並在超過了假想操作面的一瞬間，如同欄2601中所示一般地使其變化為各種之形狀或是顏色，或是使其作閃爍，而能夠使操作者辨識到其係作為操作而被判定。又，雖並未圖示，但是，作為其他之圖符的變化，像是最初係為透明，並隨著手指越接近於假想操作面而變得越不透明一般之變化，亦係為有效。

於此，在圖符之變化形態中，特別是在並不太使形狀改變而使顏色或是濃淡作變化的情況時，係如圖27中所示一般，圖符係並不太移動，而若是手指601接近，則顏色係會成為暖色系或是變濃，而能夠確定輸入。

又，在以上之例中，為了確認操作之判定狀況，係使圖符顯示，並因應於操作者之動作而使顏色或是形狀作了改變，但是，例如，當如同圖28、29中所示一般之原本便如同選單一般地而預先對指示位置作了固定者的情況時，則就算是不特地顯示圖符，亦能夠藉由手指601所指示之位置係最為接近選單之何者的項目鍵一事來作決定，並因應於手指601之移動、特別是因應於手指之從操作面所離開之距離，來將項目鍵之塗色又或是塗色之濃度作改變，並藉由此來辨識假想操作面之位置，而能夠使操作輸入變得容易。圖28，係為展示隨著手指601之接近而使該被作了選擇之鍵的顏色從冷色系而改變為暖色系之例的圖。作為此例之顏色的選擇，例如若是設為(2)藍、(3)綠、(4)黃、(5)紅，則操作者係能夠直覺地認識到若是變為紅則操作係被確定。同樣的，圖29，係為展示使鍵之塗色的濃度作改變之例子的圖。

同樣的，作為選單之選擇例，亦有如同圖43中所示一般之例子，若是對其作說明，則例如若是圖24之手指601伸出至超過了假想操作面701之位置處，則在畫面上係被顯示有選單4301，並展示出因應於該手指601之X-Y方向之位置而使項目4302被作了選擇。而後，若是藉由將手指601作上下左右移動，來使選單之選擇項目移動並在特定之項目處作一定時間之靜止，則係進行因應了被選擇之項目的處理。又，亦可設為：在選擇被實行之前，若是手指601被移動至較假想操作面701為更後方，則係將選單消去。

進而，參考圖42，對另外之輸入操作的例子作說明。圖42，係揭示輸入使藉由本實施形態而被顯示在畫面上之圖形作移動的指示之其中一例的顯示畫面之圖。指示係藉由使操作者之手或是手指接觸假想操作面並移動而進行。首先，若是將手指等接近畫面，則圖符係從畫面4211之圖符4201起而縮小為畫面4212之圖符4202，來對接近假想操作面一事作顯示。而後，若是接觸假想操作面，則係如同畫面4213的圖符4203一般地例如使顏色改變並放置，在此狀態下，若是使手指等朝向上方而移動，則係藉由顯示有畫面4214之伸縮條4204等並展示移動方向，而使操作者能夠對自己的操作作確認。又，若是使手指朝向右方移動，則係能夠顯示畫面4215之伸縮條4205。如此這般，能夠使因應於手指等之到達假想操作面後的上下左右之拖曳距離而伸縮的伸縮條(於上圖中係為箭頭)出現(圖符4203之位置係為固定，直到手指等從假想操作面而離開為止)，並因應於伸縮距離而使移動距離改變，且因應於伸出角度來使在3D空間內之移動方向改變(箭頭前端係追隨於手腕前端或是指尖之移動而移動)。

以上，針對如圖22、23所示一般之操作者與監視器係為大略相同之高度、亦即是假想操作面係在操作者之水平方向前面而被形成為略垂直的情況，而對本實施形態之原理作了說明，但是，此原理，係不會被此種操作者與監視器間之位置關係或是形狀所影響，而能夠採用各種之配置或構成。例如，亦可應用在如同在第2～4實施形態中所說明一般的從沙發或是床上所進行之操作，且當然亦可使用置物台。

進而，在如同圖30中所示一般之將監視器111安裝在操作者102的斜上方處的情況時，亦可藉由將假想操作面形成為傾斜，並將操作區域2301亦與其配合地形成為傾斜，而與上述之情況同樣的，操作者102，係如同圖30中所示一般地藉由抬頭注視監視器111並將手指作前後移動，而能夠進行操作。於此情況，由於3維攝像機201亦與監視器111一同傾斜，因此，基本上，與上述之被配置在水平位置處的情況係並沒有太大的差異，但是，就算是將攝像機設置在其他之位置處，藉由以在本技術領域中所熟知之任意的方法來進行位置修正等，而能夠計算出操作者之部位與假想操作面間之位置關係，並能夠判定操作。

又，經由如同第4實施形態一般的在本實施形態之畫像辨識裝置處連接地板墊片感測器，並一面藉由地板墊片來指示動作模式，一面使用三次元攝像裝置的畫像辨識裝置，而更確實地辨識姿勢等之操作者的操作。具體來說，若是例如於圖17中所示一般而踩踏地板墊片1701上的L或R時，則進入操作模式，並將操作者的動作作為姿勢而執行辨識處理，而在除此之外的情況時，操作者的動作係作為對象外，而並不進行處理。於此情況，假想操作面係以棒條1702、1703作為基準而被形成。

(第6實施形態)

本實施形態，係可將上述之第1乃至第5實施形態中的任一實施形態作為基本而使用，但是，特別是在第1以及第5實施形態中作實施一事係為有效。本實施形態，基本上，係可使用與上述實施形態相同構成、配置之系統。操作者之部位的檢測或是與假想操作面間之位置關係的算出，亦為相同。亦即是，若是將第4實施形態作為基本，則操作者係例如以標記作為基準並辨識出假想操作面之位置，而對於該假想操作面進行各種之動作，經由此，而被判定為一定之操作。又，當將第5實施形態作為基本的情況時，係並不使用標記等之基準，而藉由監視器畫面之圖符等的移動來使操作者一面辨識出自己的動作係被判定為何種之操作一面進行動作，並藉由此來使操作被判定，但是，在任一之實施形態中，雖並非被如此限定，但是，均係僅針對藉由操作者之一個的部位來對系統作存取之例子而作了說明。在本實施形態中，係如圖31中所示一般，操作者，係並不僅是使用1個的部位，而是使用複數之部位，例如使用兩手或是複數之手指等，來同時進行系統存取。

在先前技術中，將本實施形態所欲處理的所謂多點觸控作為輸入系統而使用一事，係並非容易。例如，不論是藉由何者之手法，先前技術之觸控面板，係藉由面板上的各點而檢測出接觸，但是，若是同時存在有複數之接觸，則關於檢測出係在哪一點上檢測到了接觸一事，係無法進行。本實施形態，由於係如同上述一般地使用3維攝像機，而能夠對操作者之各部位分別作立體性的辨識，因此，係能夠例如以假想操作面為基準並將檢測出接觸於假想操作面的複數之部位的位置同時且正確地檢測出來。故而，在本實施形態中，係如圖31中所示一般，藉由使用2根之手腕或是複數之手指同時地在假想操作面上作操作，作為系統，係能夠指示複數之位置、或是將複數之鍵同時壓下。

又，作為如此這般之使用有複數部位的操作，係有使用複數手指之直覺性的姿勢、例如係可藉由將畫像之一部分作抓取並拉出伸入的動作，來進行擴大動作。藉由採用此種構成，不需要對預先於各系統中所制定之特殊的姿勢作學習，便成為能夠進行複雜之操作輸入。例如，參考圖32乃至35，對於藉由多點觸控來實行將被顯示在監視器111上的畫像作伸張之操作為例而進行說明。

若是參考圖32，則操作者102係以假想操作面701作為基準，而將左手3101以及右手3102朝向監視器突出。藉由以從假想操作面701所突出之手指3201以及3202來對操作者102所欲操作之畫像的投射於假想操作面上之畫像影像3202作指示，在監視器111上，係被顯示有如同藉由雙指而將對象畫像之邊緣作了捕捉一般的顯示，而藉由將手指3201以及3202擴廣，對象畫像係藉由手腕之例如從圖33中所示一般之狀態而張開為如圖34中所示一般之狀態，而被伸張。另外，於圖32中所示之假想影像3203，係相對於假想操作面701而被描繪為若干傾斜，但是，此係代表操作者102係亦可藉由例如將手指3202突出於監視器111側來將對象畫像朝向深度方向而伸張、移動。

亦即是，將從橫方向所示之圖32之操作模樣從正面而視之者，係為圖33及圖34，最初所被顯示之畫像的在假想操作面上之假想影像3203，係藉由此操作，而使邊緣從圖33中之手指3201以及3202的位置而被移動至圖34中所示一般之手指3401以及3402之位置處，並如同畫像影像3403一般地被伸張。對因應了以上之操作後的監視器111上之畫像的模樣作展示的圖，係為圖35。如圖35中所示一般，在監視器111中，係顯示著在最初之狀態(1)中，畫像3503之邊緣3501以及3502係藉由手指3201以及3202而被指示，而後，若是藉由操作者而使手腕張開，則逐漸的經由狀態(2)而被伸張為最終之狀態(3)的畫像3503。如此這般，藉由使用本實施形態之多點觸控，不僅是可單純地進行選單鍵或是圖符之壓下，而亦可將被顯示在監視器上之畫像捉住或是使其伸張。

又，在圖36以及圖37中，展示使用多點觸控之其他例子。若是參考圖36，則經由將複數之手指3601超越假想操作面701並伸出至前方，而被判定為將例如杯子等之畫像影像3602作抓取一般之操作，藉由此，而能夠實行其後之藉由手腕的移動來使杯子移動等之處理。將此模樣從正面來作觀察之圖，係為圖37。另外，假想操作面701，係可為將監視器111作完全之投影，亦可設為投影一部份。

以上，若是使用本實施形態，則由於係可在上述之第1乃至第5實施形態中，同時使用複數之部位，因此，複雜之操作或是複數之同時操作係成為可能，而能夠提供更有效之輸入環境。

(第7實施形態)

本實施形態係使用與上述第1實施形態乃至第4實施形態相同之構成，但是，在具備有供以複數之操作者的各人來分別使用之操作面形成基準一點上，係為相異。作為複數之操作者同時進行操作輸入的例子，例如，係如同對戰型遊戲一般，各別之操作者的操作係會相互作用，並被進行有電腦之處理或是畫面顯示。另一方面，寫入其他之處理的操作者，例如亦有將畫面分割為操作者之數量而進行處理一般之形態。不論如何，均有必要對於何者之操作者係進行了何種之操作一事作明確的判別。在本實施形態中，係在操作面形成基準上附加ID識別功能，例如藉由作顏色區分，或是使其具有相異之形狀，或是附加條碼等之符號，又或是，當可單純地以左右、上下，前後等之位置關係來作識別時，係藉由該位置關係等，來判別操作面形成基準，並將使用該基準而輸入之操作，與其他之操作面形成基準所致者分開作處理。

施加於操作面形成基準處之ID識別功能，係可為能夠藉由如同上述一般之本實施形態的用以進行操作解析之3維攝像機而進行識別者，亦可為其他之方法，例如係可藉由以無線標籤一般之物來判別位置關係並與3維攝像機之影像作對照的方法來達成，但是，係並不被限定於此。

圖40，係為揭示此種使用有複數之操作面形成基準的系統之一例的圖。於此例中，係在被附加於桌子4005之上面的標記4001以及4002處形成假想操作面，並藉由使使用者4003以及4004對於該被形成之假想操作面而分別使手等移動，來使該動作被辨識為操作，並判別操作者4003以及4004之操作，而進行其後之處理。另外，在本例中，所謂標記4001與4002，係設為可藉由其之顏色來作識別。同樣的，圖41，係為揭示此種使用有複數之操作面形成基準的系統之另外一例的圖。藉由標記4101以及4102，而能夠分別將操作者4103以及4104之操作分開處理。在此例中，標記之識別，係設為以顏色或是形狀來作識別者。

如上述一般，在本實施形態中，係藉由將複數之操作面形成基準以可各自作識別的方式來使用，而使複數之操作者的各別之操作輸入成為可能，但是，除了標記或者是操作者之識別以外，係使用有第1實施形態乃至第4實施形態之裝置或是方法。另外，圖40、41中，均係為2名之操作者，但是，本實施形態，係亦可適用於更多之操作者。

101．．．標記

102．．．操作者

110．．．電腦

111．．．監視器

201．．．視訊攝像機

210．．．CPU

211．．．ROM

212．．．RAM

301．．．畫像讀取部

302．．．畫像抽出部

303．．．畫像位置算出部

304．．．操作判定部

501．．．輔助標記

601．．．手

701．．．操作面

901．．．指標

902．．．操作畫面

903．．．折線圖表

1001．．．桌子

1002．．．標記

1003．．．輔助標記

1004．．．輔助標記

1101．．．標記

1102．．．床用桌

1103．．．輔助標記

1301．．．右手手指

1302．．．左手手指

1701．．．地板墊片

1702．．．棒條

1703．．．棒條

1710．．．圖案

1802．．．CPU

1803．．．介面

1901．．．立體物

1902．．．標記

1903．．．標記

2001．．．操作者之腳

2002．．．投影燈

2301．．．對象區域

2401．．．手腕

2501．．．畫面

2502．．．圖符

2503．．．圖符

3101．．．左手

3102．．．右手

3201．．．手指

3202．．．手指

3203．．．畫像影像

3401．．．手指

3402．．．手指

3403．．．畫像影像

3501．．．邊緣

3502．．．邊緣

3503．．．畫像

3601．．．手指

3602．．．畫像影像

3801．．．標記

3802．．．動作限制手段

3902．．．阻擋棒條

4001．．．標記

4002．．．標記

4003．．．操作者

4004．．．操作者

4005．．．桌子

4101．．．標記

4102．．．標記

4103．．．操作者

4104．．．操作者

4201．．．圖符

4202．．．圖符

4203．．．圖符

4204．．．伸縮條

4205．．．伸縮條

4211．．．畫面

4212．．．畫面

4213．．．畫面

4214．．．畫面

4215．．．畫面

4301．．．選單

4302．．．項目

4401．．．標記

4402．．．位置

[圖1]圖1係揭示將身為本實施形態之操作面形成基準的標記在地面上作顯示之操作輸入系統的其中一例之圖。

[圖2]圖2係模式性揭示本實施形態之操作輸入系統的與電腦間之關係的區塊圖。

[圖3]圖3係揭示在本實施形態之電腦的CPU內處理之程式的功能模組之其中一例的區塊圖。

[圖4]圖4係為本實施形態之處理的流程圖。

[圖5]圖5係為用以對本實施形態之標記的作用作具體說明之圖。

[圖6]圖6係為揭示本發明之其中一種實施形態的藉由操作面形成基準所形成之假想操作面的模樣之圖。

[圖7]圖7係為揭示本發明之其中一種實施形態的藉由操作面形成基準所形成之假想操作面的模樣之圖。

[圖8]圖8係為揭示本發明之其中一種實施形態的藉由操作面形成基準所形成之假想操作面的模樣之圖。

[圖9]圖9係揭示本發明之其中一種實施形態的操作輸入支援之具體的顯示之其中一例的圖。

[圖10]圖10係為揭示本發明之另外一種實施形態的藉由操作面形成基準所形成之假想操作面的模樣之圖。

[圖11]圖11係為揭示本發明之又另外一種實施形態的藉由操作面形成基準所形成之假想操作面的模樣之圖。

[圖12]圖12係揭示本發明之又另外一種實施形態的操作輸入方法之具體操作的其中一例之圖。

[圖13]圖13係揭示本發明之又另外一種實施形態的操作輸入方法之具體操作的其中一例之圖。

[圖14]圖14係為對於先前技術之使用有大畫面的姿勢所致之輸入系統作說明之圖。

[圖15]圖15，係為展示先前技術之使用有3D攝像機的操作者之畫像取入方法的圖。

[圖16]圖16，係為展示先前技術之使用有3D攝像機的取入有複數之操作者的畫像之情況時的畫像之其中一例的圖。

[圖17]圖17係揭示本發明之又另外一種實施形態的具體之操作裝置的其中一例之圖。

[圖18]圖18係模式性揭示本發明之又另外一種實施形態之操作輸入系統的與電腦間之關係的區塊圖。

[圖19]圖19係揭示本發明之又另外一種實施形態的其他具體操作裝置之一例的圖。

[圖20]圖20係揭示本發明之又另外一種實施形態的具體之操作裝置的操作指示區域之圖案投影法的其中一例之圖。

[圖21]圖21係揭示本發明之又另外一種實施形態的操作輸入方法之具體操作的其中一例之圖。

[圖22]圖22係揭示本發明之其中一種實施形態的使用有假想操作面之操作輸入系統的其中一例之圖。

[圖23]圖23係揭示本發明之其中一種實施形態的假想操作面以及操作區域之模樣的圖。

[圖24]圖24係揭示本發明之其中一種實施形態的操作者之動作與被顯示在畫面中之圖符間的關係之圖。

[圖25]圖25係揭示本發明之其中一種實施形態的操作輸入畫面之具體的顯示之其中一例的圖。

[圖26]圖26係揭示本發明之其中一種實施形態的在操作輸入畫面中而可作使用的各種之圖符的例子之圖。

[圖27]圖27係揭示本發明之其中一種實施形態的操作者之動作與被顯示在畫面中之圖符間的關係之圖。

[圖28]圖28係揭示本發明之其中一種實施形態的操作輸入畫面之選單按鍵的顏色之作變化的模樣之圖。

[圖29]圖29係揭示本發明之其中一種實施形態的操作輸入畫面之選單按鍵的濃淡之作變化的模樣之圖。

[圖30]圖30係揭示本發明之其中一種實施形態的變形例之假想操作面以及操作者之操作之模樣的圖。

[圖31]圖31係揭示本發明之其中一種實施形態的複數點擊中之假想操作面以及操作者之操作之模樣的圖。

[圖32]圖32係揭示本發明之其中一種實施形態的複數點擊中之假想操作面以及投影畫像之影像的橫方向圖。

[圖33]圖33係揭示本發明之其中一種實施形態的複數點擊中之假想操作面以及投影畫像之影像的正面圖。

[圖34]圖34係揭示本發明之其中一種實施形態的複數點擊中之假想操作面以及投影畫像之影像的正面圖。

[圖35]圖35係揭示本發明之其中一種實施形態的藉由複數點擊操作而在畫面上所顯示之畫像的作變化之模樣的圖。

[圖36]圖36係揭示本發明之其中一種實施形態的複數點擊中之假想操作面以及投影畫像之影像的橫方向圖。

[圖37]圖37係揭示本發明之其中一種實施形態的複數點擊中之假想操作面以及投影畫像之影像的正面圖。

[圖38]圖38係揭示本發明之其中一種實施形態的假想操作面與侵入防止阻擋物間之關係的圖。

[圖39]圖39係揭示本發明之又另外一種實施形態的具體之操作裝置的操作指示區域之圖案投影法的其中一例之圖。

[圖40]圖40係為揭示本發明之其中一種實施形態的藉由複數之操作面形成基準所形成的複數之假想操作面的模樣之圖。

[圖41]圖41係為揭示本發明之其中一種實施形態的藉由複數之操作面形成基準所形成的複數之假想操作面的模樣之圖。

[圖42]圖42係揭示輸入使藉由本實施形態而被顯示在畫面上之圖形作移動的指示之其中一例的顯示畫面之圖。

[圖43]圖43係揭示本發明之其中一種實施形態的操作者之動作與被顯示在畫面中之選單間的關係之圖。

[圖44]圖44係揭示本發明之當不具備有侵入防止阻擋物的情況時之其中一種實施形態的假想操作面與標記間之關係的圖。

101．．．標記

102．．．使用者

601．．．手

701．．．操作面

Claims (22)

1. 一種畫像辨識裝置，其特徵為，具備有：三維攝像手段，係讀取操作者之至少一部份的像，並產生立體畫像資料；和操作面形成基準，係以使前述操作者能夠對特定之空間上的假想操作面作把握的方式而被設置，並可被該操作者所認知；和操作判定手段，係經由前述操作面形成基準，來形成前述假想操作面，並將對於該被形成之假想操作面的操作者之動作，以前述三維攝像手段來作讀取，而根據前述操作者之一部分與前述假想操作面間之位置關係，來判定該動作是否為操作；和訊號輸出手段，係若判定前述動作係為操作，則輸出特定之訊號。
2. 如申請專利範圍第1項所記載之畫像辨識裝置，其中，前述假想操作面，係為從前述操作面形成基準起而投射於上方的面。
3. 如申請專利範圍第2項所記載之畫像辨識裝置，其中，係在前述操作面形成基準之操作者側處，進而具備有對操作者之動作作限制的動作限制手段。
4. 如申請專利範圍第1項所記載之畫像辨識裝置，其中，前述假想操作面，係為從前述操作面形成基準之與操作者相反側的特定之位置起而投射於上方的面。
5. 如申請專利範圍第1項所記載之畫像辨識裝置， 其中，前述操作判定手段，係當前述操作者之一部分為較前述假想操作面而更靠前述三維攝像手段側時，判定其係為操作。
6. 如申請專利範圍第1項所記載之畫像辨識裝置，其中，前述操作判定手段，係藉由前述操作者之一部分的較前述假想操作面而更靠前述三維攝像手段側之部分的形狀又或是動作，判定其係為被進行有何者的操作。
7. 如申請專利範圍第6項所記載之畫像辨識裝置，其中，前述操作判定手段，係對預先記錄有與操作者之一部分的形狀又或是動作附加有對應的操作內容之記憶手段作檢索，並將對應於相合致之形狀又或是動作的操作，判定為所輸入之操作。
8. 如申請專利範圍第1項所記載之畫像辨識裝置，其中，前述操作面形成基準，係為被顯示在乘載操作者之地面上。
9. 如申請專利範圍第1項所記載之畫像辨識裝置，其中，係更進而具備有被配置在操作者與前述三維攝像手段之間的立體物，前述操作面形成基準，係為前述立體物之特定的外緣。
10. 如申請專利範圍第9項所記載之畫像辨識裝置，其中，前述立體物，係為桌子。
11. 如申請專利範圍第1項所記載之畫像辨識裝置，其中，前述操作面形成基準，係以使對所讀取之畫像所進行之抽出成為容易的方式，而在被前述三維攝像手段所攝 像之特定的面上具備有標記。
12. 如申請專利範圍第1項所記載之畫像辨識裝置，其中，係更進而具備有與操作者相對面而被配置之畫像顯示手段，前述操作判定手段，係以能夠使操作者辨識出操作之判定結果的方式，而在前述畫像顯示手段中顯示現階段之操作判定結果。
13. 如申請專利範圍第1項所記載之畫像辨識裝置，其中，前述操作面形成基準，係預先配置於前述攝像手段的攝像範圍內；前述假想操作面，係藉由以前述三維攝像手段所讀出之前述操作面形成基準來形成。
14. 一種操作判定方法，係為經由畫像辨識裝置，而辨識操作者之畫像並判定操作內容的操作判定方法，其特徵為，具備有：三維攝像步驟，係讀取以使前述操作者能夠對特定之空間上的假想操作面作把握的方式而被設置，並可被該操作者所認知的操作面形成基準、以及該特定之攝像手段的攝像範圍內之操作者之至少一部份的像，並產生立體畫像資料；和操作判定步驟，係經由前述操作面形成基準，來形成前述假想操作面，並根據前述操作者之一部分與前述假想操作面間之位置關係，來判定經由前述三維攝像手段所讀取之對於該被形成之假想操作面的操作者之動作是否為操作；和 訊號輸出步驟，係若判定前述動作係為操作，則輸出特定之訊號。
15. 一種電腦程式，係為使畫像辨識裝置實行對操作者之畫像作辨識並判定操作內容之操作判定方法的電腦程式，其特徵為：該操作判定方法，係具備有：三維攝像步驟，係讀取以使前述操作者能夠對特定之空間上的假想操作面作把握的方式而被設置，並可被該操作者所認知的操作面形成基準、以及該特定之攝像手段的攝像範圍內之操作者之至少一部份的像，並產生立體畫像資料；和操作判定步驟，係經由前述操作面形成基準，來形成前述假想操作面，並根據前述操作者之一部分與前述假想操作面間之位置關係，來判定經由前述三維攝像手段所讀取之對於該被形成之假想操作面的操作者之動作是否為操作；和訊號輸出步驟，係若判定前述動作係為操作，則輸出特定之訊號。
16. 一種畫像辨識裝置，其特徵為，具備有：三維攝像手段，係讀取操作者之至少一部份的像，並產生立體畫像資料；和操作判定手段，係以前述三維攝像手段之攝像範圍內的預先制訂之位置以及大小，而形成成為操作者之操作基準的假想操作面，並將對於該當被形成之假想操作面的操 作者之動作，以前述三維攝像手段來作讀取，而根據相對於前述假想操作面之前述操作者的部位之位置關係，來判定該動作是否為操作；和畫像顯示手段，係從藉由前述操作判定手段所辨識出之相對於前述假想操作面的在前述三維攝像手段之相反側處的前述操作者之一部分與前述假想操作面間之位置關係，來計算出前述操作者之一部分與前述假想操作面的距離，並將因應於該距離而作變化之標示作顯示，而展示所欲進行判定之操作，而可由前述操作者所視認；和訊號輸出手段，係若判定前述動作係為操作，則輸出特定之訊號。
17. 如申請專利範圍第16項所記載之畫像辨識裝置，其中，前述標示，係隨著前述操作者之部位的與前述假想操作面間之距離的拉近而變小。
18. 如申請專利範圍第16項所記載之畫像辨識裝置，其中，前述標示，係隨著前述操作者之部位的與前述假想操作面間之距離的拉近而使色相變化。
19. 如申請專利範圍第16項所記載之畫像辨識裝置，其中，前述標示，係隨著前述操作者之部位的與前述假想操作面間之距離的拉近而使透明度變低。
20. 如申請專利範圍第16項所記載之畫像辨識裝置，其中，係隨著前述操作者之部位的與前述假想操作面間之距離的拉近，而使前述標示與被顯示在前述畫像顯示手段中之操作對象畫像間的對比變大。
21. 如申請專利範圍第16項所記載之畫像辨識裝置，其中，前述標示，係隨著前述操作者之部位的與前述假想操作面間之距離的拉近而使形狀變化。
22. 如申請專利範圍第16項所記載之畫像辨識裝置，其中，前述操作者之部位係存在有複數，前述標示，係對應於前述複數的操作者之部分的各個，而被作複數顯示。