TW202015430A - 顯示控制系統、顯示控制方法、及顯示控制程序 - Google Patents

Abstract

本發明提供一種顯示控制系統、顯示控制方法、及顯示控制程序，可虛擬地附加品項到實空間像。顯示控制系統具備：取得部，取得實空間的三維位置資訊；設定部，以前述三維位置選定接受前述實空間的品項的目標部的位置，將前述目標部設定在該位置；以及顯示控制部，將對應前述目標部的目標物件附加於以前述三維位置資訊所選定的前述目標部的位置，同時將對應前述品項的品項物件附加於根據表示使前述品項向前述目標物件移動的使用者動作的使用者動作資訊所選定的品項的品項位置。

Description

顯示控制系統、顯示控制方法、及顯示控制程序

本發明是關於一種顯示控制系統、顯示控制方法、及顯示控制程序。

專利文獻1等，記載了發送內容的伺服器。

[先前技術文獻] [專利文獻] [專利文獻1]日本特許第5530557號公報

根據本發明的一態樣，提供一種顯示控制系統，具備：取得部，取得實空間的三維位置資訊；設定部，以前述三維位置選定接受前述實空間的品項的目標部的位置，將前述目標部設定在該位置；以及顯示控制部，將對應前述目標部的目標物件附加於在相當於前述實空間的實空間像的以前述三維位置資訊所選定的前述目標部的位置，同時將對應前述品項的品項物件附加於在前述實空間像的根據表示使前述品項向前述目標物件移動的使用者動作的使用者動作資訊所選定的品項的品項位置。

根據本發明的其他態樣，提供一種顯示控制方法，取得部取得實空間的三維位置資訊，設定部以前述三維位置選定接受前述實空間的品項的目標部的位置，將前述目標部設定在該位置，顯示控制部將對應前述目標部的目標物件附加於在相當於前述實空間的實空間像的以前述三維位置資訊所選定的前述目標部的位置，同時將對應前述品項的品項物件附加於在前述實空間像的根據表示使前述品項向前述目標物件移動的使用者動作的使用者動作資訊所選定的品項的品項位置。

根據本發明的其他態樣，提供一種顯示控制程序，在電子計算機中，設定部以實空間的三維位置選定接受前述實空間的品項的目標部的位置，將前述目標部設定在該位置，顯示控制部將對應前述目標部的目標物件附加於在相當於前述實空間的實空間像的以前述三維位置資訊所選定的前述目標部的位置，同時將對應前述品項的品項物件附加於在前述實空間像的根據表示使前述品項向前述目標物件移動的使用者動作的使用者動作資訊所選定的品項的品項位置。

以下，用第一～十七圖，參照圖式來說明適用本發明的直播系統。 〔第一實施形態〕 〔直播系統的概要〕 如第一圖所示，直播系統1具備：攝影棚10，發送者X拍攝發送影像；伺服器40，以即時串流發送在攝影棚10所取得的發送影像；以及使用者A、B、C的使用者終端50、70、80，視聽以伺服器40發送的發送影像。伺服器40與使用者終端50、70、80經由網路2連接。此外，使用者終端的數量並非受限於此處所示的三台，也可以是一台，也可以是數十台、數百台。

在攝影棚10內的實空間，例如，拍攝做為被攝體的發送者X。此拍攝也可以由攝影師等第三人來拍攝，也可以自拍。在攝影棚10拍攝的發送者X的人數，雖然在此為一人，但也可以是複數人。又，發送者X是並非名人或公眾人物的普通人、演藝人員（偶像、演員、藝人、模特兒、配音員、音樂家、運動員等）、想成為演藝人員的業餘愛好者、專業人士或業餘樂隊等團體，以及該團體的成員等。做為一例，發送者X是進行表演的表演者，實際上存在於攝影棚10的人物。又，發送者X也可以是在實空間像中以成為自己分身的角色，即虛擬化身來顯示。發送者X是接受使用者A、B、C所提供的品項的受領人。又，被攝體除了發送者X，也可以是公共設施。做為公共設施，例如神社寺院等祭祀設施、銅像石像（人像、動物像、佛像等）紀念碑等。又，做為被攝體為發送者X時使用的攝影棚10，也可以為例如攝影棚或伴唱機室，也可以是發送者X自己房間。又，也可以是田徑運動、足球、棒球等體育場等戶外，也可以是體育館或音樂廳等室內設施。又，攝影棚10也可以是音樂會場或活動場地，在此情況下，發送者X所在的攝影棚10，是與使用者A、B、C實際所在的場所分離的場所。又，做為一例，在代替發送者X的被攝體為祭祀設施或紀念碑等時，在這些設施前設定香油錢箱或捐款箱的目標部時，使用者A、B、C可以對遠離自己所在場所的祭祀設施或紀念碑等虛擬地投入香油錢。

攝影棚10具備：麥克風11、RGB攝影機12、深度攝影機13、攝影棚監視器14、揚聲器15、觸覺裝置16、控制裝置17、以及智慧裝置等發送者終端18。又，發送者X被桌6上的照明9照射。

麥克風11收集發送者X的會話或環境聲音。麥克風11收集配合發送者X的伴唱機資料的歌聲等。RGB攝影機12配置在攝影棚10，是拍攝在攝影棚10的實空間的第一攝影機。RGB攝影機12為例如具有動畫攝影功能的數位攝影機，又為例如視訊攝影機。RGB攝影機12具備CCD或CMOS等攝影元件，檢測可見光等光，輸出以三色（紅、綠、藍）的顏色訊號所構成的顯示資料。做為一例，RGB攝影機12拍攝攝影棚10或發送者X。做為RGB攝影機12所拍攝的實空間像的影像，通過伺服器40，做為觀賞用資料顯示在發送者終端18、攝影棚監視器14或使用者終端50、70、80等顯示面。又，做為一例，RGB攝影機12所拍攝的影像，做為發送者X的確認用顯示資料，顯示在發送者終端18或攝影棚監視器14。RGB攝影機12在攝影棚10內可以具備一台，也可以具備複數台。使用複數台RGB攝影機12時，設置在複數處，使各台拍攝方向不同。藉此，可在攝影棚10各處，例如桌6下或椅子下等拍攝。在此情況下，複數個RGB攝影機12，被設置成一個RGB攝影機12的拍攝範圍的外周部與鄰接於此拍攝範圍的拍攝範圍的外周部重疊，即在拍攝範圍之間無空隙。

做為一例，深度攝影機13，在直播系統1中，是用來取得三維位置資訊的第二攝影機。例如深度攝影機13是紅外線攝影機。紅外線攝影機具備：投射紅外線的投射部以及檢測紅外線的紅外線檢測部。深度攝影機13從投射部所投射的紅外線脈衝反射回來的時間，取得在實空間的深度資訊等三維位置資訊。深度攝影機13取得從本身到被攝體為止的距離的深度資訊等，做為一例，取得與發送者X間的距離的深度資訊等的取得部。又，發送者X的位置或使用者投放品項時的目標部的位置，做為一例，可以深度攝影機13的檢測部為原點的三維座標系等來來選定。此外，RGB攝影機12與深度攝影機13可以是一體的裝置，也可以是不同的裝置。深度攝影機13在攝影棚內可以具備一台，也可以具備複數台。在使用複數台深度攝影機13時，設置在複數處，使各台拍攝方向不同，可檢測攝影棚10的三維座標系各處。例如也可以取得桌6下或椅子下等三維位置資訊等。在此情況下，複數個深度攝影機13被設置成一個深度攝影機13的拍攝範圍的外周部與鄰接於此拍攝範圍的拍攝範圍的外周部重疊，即在拍攝範圍之間無空隙。

攝影棚監視器14是配置在實空間的攝影棚10，顯示影像的顯示裝置，做為一例，主要是設置在攝影棚10的牆壁或桌6等成可由發送者X視覺確認的顯示裝置。攝影棚監視器14為例如相對於智慧裝置為大型的。又，攝影棚監視器14為例如平面顯示器，為CRT、LCD、有機EL顯示裝置。然後，攝影棚監視器14為例如在發送前的準備時，顯示RGB攝影機12所拍攝的實況影像（不包含後述的品項物件3或目標物件5）。又，攝影棚監視器14為例如經由伺服器40顯示發送的直播影像（包含後述的品項物件3或目標物件5）。揚聲器15發出麥克風14收集的發送者X的聲音資料或控制裝置17播放的樂曲資料等。此外，揚聲器15發出使用者終端50、70、80所傳送的包含使用者A、B、C的聲音的聲音資料。藉此，發送者X可聽到使用者A、B、C的反應。

觸覺裝置16是配戴於發送者X，藉由對發送者X的機械刺激賦予皮膚感覺回饋的機器。觸覺裝置16為例如驅動偏心馬達致動器、線性共振致動器、壓電致動器等產生物理振動，通過振動對配戴者的發送者X回饋力覺、觸覺及壓覺中至少一種感覺。做為一例，觸覺裝置16通過對皮膚的電刺激模式，對發送者X回饋力覺、觸覺及壓覺中至少一種感覺。

再者，除了觸覺裝置16之外，也可以具備回饋嗅覺的嗅覺回饋裝置。做為一例，回饋嗅覺的裝置可構成為在頭戴顯示裝置或智慧眼鏡等頭掛耳機，配戴收容了香水或做為香氣源的薄片等的一個或複數個匣，從噴霧口向鼻子下方噴出微量香氣。

控制裝置17連接於麥克風11、RGB攝影機12、深度攝影機13、攝影棚監視器14、揚聲器15以及觸覺裝置16等各種機器，輸出入資料，並進行與伺服器40通訊的通訊裝置。又，控制裝置17是CD、DVD、BD、半導體記憶體等記錄媒體的播放裝置，播放這些記錄媒體所記錄的樂曲資料或影像資料等。再者，控制裝置17播放通過網路發送的樂曲資料或影像資料等。做為一例，控制裝置17播放伴唱機資料（伴奏資料）。控制裝置17混合來自麥克風11的聲音資料、來自RGB攝影機12的影像資料等，播放實況影像，並將來自深度攝影機13的三維位置資訊傳送到伺服器40。做為一例，控制裝置17以特定動畫壓縮方式編碼發送用的實況影像，傳送到伺服器40。又，控制裝置17接受並解碼來自伺服器40的直播影像4。

發送者終端18為例如智慧裝置，具有可單手把持程度的大小，具備：配備觸控面板的顯示部、麥克風、揚聲器、攝影部、通訊部、非揮發性記憶體等記憶部等。在此，做為一例，顯示與攝影棚監視器14相同的影像。做為一例，發送者終端18顯示從伺服器40所發送的直播影像4。

具備如此結構的發送者終端18，可代用選自上述控制裝置17、麥克風11、RGB攝影機12、攝影棚監視器14及揚聲器15的至少一個功能。再者，發送者終端18也具備深度攝影機時，可代用深度攝影機13的功能。如此，藉由以發送者終端18代用攝影棚10所具備的機器功能，即使在專用的攝影棚10發送者X不攝影，在伴唱機攝影棚、自己家裡或戶外等也可以輕鬆地拍攝發送用實況影像。發送者終端18做為RGB攝影機12來使用時，可藉由將發送者終端18固定於三腳架來防手震並拍攝實況影像。在此情況下，發送者終端18可以不經由控制裝置17，進行與伺服器40的資料交換。

伺服器40是管理直播系統1的裝置，管理直播的同時，管理進行直播的發送者X或視聽直播影像4的使用者。又，管理使用者對發送者X提供的品項。做為一例，伺服器40對使用者終端50、70、80發送直播影像4。做為一例，伺服器40對RGB攝影機12拍攝的實況影像，加上從使用者對發送者X提供的品項所對應的品項物件3，來產生直播影像4，發送至使用者終端50、70、80。又，做為一例，對實況影像，設定使用者對發送者X提供的品項時的目標部。在第一圖的目標部，發送者X的一部分的手掌構成的容器成為目標物件5，但發送者X本身也可以成為目標物件5。又，發送者X的頭部也可以設定成目標物件5。又，目標物件5也可以是發送者X手持的桶、杯、垃圾箱、裝飾箱等，也可以是發送者X前的桌6上所置的香油錢箱等。當目標部是存在於攝影棚10的實物體時，目標部是該實物體的圖像為目標物件5。再者，當目標部是不實際存在於攝影棚10的虛擬體時，目標部是表示虛擬體的圖像為目標物件5。目標部的目標位置，即目標物件5被顯示的顯示位置，是以基於深度攝影機13所檢測的深度資訊的三維位置資訊來選定。目標位置做為一例，是以深度攝影機13的檢測部為原點的三維座標系等來選定。做為一例，因為目標部是放入品項的放入物，所以目標位置也要配合它，來定義關於具有用來收容品項的體積或容積的立體空間部。做為一例，伺服器40對於RGB攝影機12所拍攝的實況影像，賦予目標物件5並產生直播影像4，發送到使用者終端50、70、80。又，做為一例，伺服器40產生品項物件3投入目標物件5的直播影像4。

參加直播系統1的使用者A、B、C，為例如對發送者X有興趣者，對於發送者X的粉絲等支援者，居住在遠離攝影棚10的場所，可使用使用者終端50、70、80來視聽直播影像4。使用者A、B、C是對發送者X投入品項者（品項提供者、送禮物者）。使用者A的使用者終端50，做為一例，具備：桌上型或膝上型個人電腦50a以及連接個人電腦50a的做為穿戴式終端或智慧裝置終端的智慧手錶60。個人電腦50a為桌上型時，使用者終端50具備：具有桌上型螢幕的個人電腦50a以及連接個人電腦50a的智慧手錶60。又，個人電腦50a為膝上型時，使用者終端50具備：具有顯示部的膝上型個人電腦50a以及連接膝上型個人電腦50a的智慧手錶60。做為一例，使用者終端50的使用者A在慣用手配戴智慧手錶60，智慧手錶60以有線或無線連接個人電腦50a。智慧手錶60具備加速度感測器或陀螺儀感測器等檢測部，做為一例，當使用者A進行投入物的動作時，做為使用者動作資訊，檢測其加速度或角度（姿勢）或角速度。

此外，個人電腦50a也可以有線或無線連接頭戴顯示裝置（HMD）。HMD也可以具備做為個人電腦50a的結構。做為HMD，列舉光學穿透型頭戴顯示裝置、影像穿透型頭戴顯示裝置、非透光型頭戴顯示裝置等。在光學穿透型頭戴顯示裝置的情況下，可進行藉由AR（擴增實境）的顯示。影像穿透型頭戴顯示裝置或非透光型頭戴顯示裝置的情況下，可進行藉由VR（虛擬實境）的顯示。個人電腦50a也可以是如連接電腦的智慧眼鏡等眼鏡型資訊處理終端。

又，使用者B的使用者終端70，做為一例，是智慧手機或平板電腦等智慧裝置終端，可攜帶的小型資訊處理終端。智慧手機為例如在顯示面具備觸控面板。又，使用者終端70具備加速度感測器或陀螺儀感測器等檢測部。使用者終端70為例如當使用者B進行投物動作時，做為使用者動作資訊，檢測其加速度、角度或角速度，傳送到伺服器40。又，取代使用者B進行投物動作，在顯示直播影像4的顯示面以手指或觸控筆，追隨顯示的目標物件5的方向進行滑動操作，使用者終端70將座標資料等操作資料傳送到伺服器40。由於使用者終端70是可攜帶的小型資訊處理終端，所以使用者終端70的使用者B在任何地方都可以視聽發送者X的直播影像4。

使用者C的使用者終端80，具備智慧裝置終端70a與智慧手錶60。在此情況下，智慧裝置終端70a擔負著如使用者A的膝上型個人電腦50a的功能。藉此，使用者C以配戴智慧手錶60的慣用手進行投物動作時，可視覺確認另一隻手持握的智慧裝置終端70a的顯示部所顯示的影像。又，將智慧裝置終端70a置於桌等，固定於三腳架的狀態下，可進行投物的動作。藉此，可看到智慧裝置終端70a的顯示部所顯示的影像並以配戴智慧手錶60的慣用手進行投擲動作等。使用者終端80也可以不使用智慧手錶60，藉由在顯示面追隨目標物件5的方向的滑動操作，來傳送使用者動作資訊至伺服器40。

在使用者終端50、70、80，可視聽直播影像4，並對在此時實際投射的發送者X贈送品項。做為一例，在使用者終端50、70、80的顯示面，顯示有直播影像4與可對發送者X的贈送禮物的品項的一覽物件，使用者A、B、C可從一覽物件中的品項選擇一個品項。然後，在使用者終端50、70、80的顯示面，顯示有被選擇的品項物件3。做為品項，在第一圖為寶石，但也可以是花束、頭帶等裝飾品、硬幣等，而在以使用者終端50、70、80視聽時，該品項也可以是演出發送者X動作的效果，發送者X所處場所的背景圖像等。

之後，使用者終端50的使用者A，在配戴智慧手錶60的狀態下，進行揮手，瞄準目標物件5來投物的動作。使用者終端70的使用者B，在持有使用者終端70的狀態下，進行揮手，瞄準目標物件5來投物的動作。使用者終端80的使用者C，在配戴智慧手錶60的狀態下，進行揮手，瞄準目標物件5來投物的動作。因此，使用者終端50、70、80將做為檢測結果的使用者動作資訊的加速度資料、角度（姿勢）資料、角速度資料等操作資料傳送到伺服器40。又，在使用者終端70、80，在顯示直播影像4的顯示面使用手指或觸控筆，進行瞄準顯示的目標物件並追蹤的滑動操作，將該座標資料等操作資料做為使用者資訊傳送到伺服器40。

伺服器40對實況影像附加從使用者終端50、70、80傳送的品項的品項物件3，使該狀態可由使用者終端50、70、80及攝影棚監視器14、發送者終端18視覺確認。品項物件3的顯示位置（品項位置）是根據做為從使用者終端50、70、80傳送的使用者動作資訊的加速度資料、角度資料、角速度資料等操作資料，被伺服器40算出。此外，做為從使用者終端50、70、80傳送的使用者動作資訊的加速度資料、角度資料、角速度資料等，也可以具備至少加速度資料。這是因為藉由加速度資料，可算出被投擲的品項的飛行距離等。又，品項物件3的顯示位置（品項位置），在顯示直播影像4的顯示面進行追隨目標物件5的方向的滑動操作時，根據該座標資料等被伺服器40算出。

做為一例，使用者A、B、C進行弱投擲品項的動作或操作時，顯示品項物件3的品項位置變成在遠離目標部或發送者X前方的位置。使用者A、B、C在此後進行更強力投擲品項的動作或操作時，顯示品項物件3的品項位置變成在相對靠近目標部或發送者X前方的位置。再者，品項被使用者A、B、C過於強力地投擲的情況下，顯示品項物件3的品項位置，變成品項在目標部或發送者X的後方牆壁彈回後，相對於目標部或發送者X的前方或後方的位置。再者，使用者A、B、C在相對於目標部或發送者X的右側或左側進行投擲品項的動作或操作時，顯示品項物件3的品項位置對應使用者A、B、C投擲品項的方向，變成相對於目標部或發送者X的右側或左側的位置。此外，在檢測使用者A、B、C進行的投擲動作時，預先設定正面方向，對於已設定的正面方向檢測右側或左側為較佳。特別是使用者B使用做為智慧手機的使用者終端70時，因為終端並未固定，所以進行預先決定正面方向的設定處理為較佳。發送者X藉由顯示這些狀況在發送者終端18或攝影棚監視器14，實際上可視覺確認不在攝影棚10的使用者A、B、C往自己的方向投擲品項。又，對發送者X或目標部投擲品項的狀況，在使用者終端50、70、80也顯示在直播影像4之中。藉此，使用者A、B、C可確認在發送者X或目標部的方向是否正確投擲品項。

此外，視聽相同直播影像4的複數個使用者A、B、C對發送者X投擲品項時，也會顯示其他人投擲的品項。藉此，可在使用者間競爭對發送者X投擲品項的數量。

伺服器40在品項物件3的位置對目標物件5的目標位置重疊時，在直播影像4中顯示品項物件3進入目標物件5的狀態。又，做為一例，伺服器40在目標部是發送者X實際持有的實物體的桶、杯、垃圾箱、裝飾箱等時，發送者X移動手臂或手腕，目標位置也配合該活動變化。實物體的桶、杯、垃圾箱、裝飾箱等置於桌6，只移動手臂或手腕時，目標部成為桌6上的桶、杯、垃圾箱、裝飾箱等。再者，做為一例，目標部為虛擬體時，伺服器40設定應顯示虛擬物件的位置為目標位置，在直播影像4之中的該目標位置顯示目標物件5。然後，發送者X被設定成手持虛擬物時，使品項物件3配合發送者X的手臂與手腕的活動來移動。伺服器40在發送者X持有目標部的放入物等情況下，驅動觸覺裝置16，配戴觸覺裝置16的發送者X感受到品項的重量程度。也就是說，伺服器40驅動觸覺裝置16成發送者X感到放入兩個品項至放入物比放入一個品項至放入物更重。又，伺服器40在放入物中品項滾動時，驅動觸覺裝置16成品項滾動時的振動傳至發送者X。

攝影棚10的深度攝影機13為例如經常地算出在攝影棚10的各處的深度資訊等三維位置資訊。深度攝影機13為例如提取發送者X的人物區域，區分人物區域與非人物區域。深度攝影機13為例如將發送者X的各25處的骨架位置做為骨架資料來取得，進一步算出各骨架位置的深度資訊。做為骨架位置，例如包含有左右手、頭部、脖子、左右肩、左右肘、左右膝、左右腳等骨架位置。此外，取得的骨架位置的數量並非限定為25處。又，深度攝影機13算出在攝影棚10的牆壁、桌6或地面等間的距離。再者，深度攝影機13算出與目標部（實物體的杯或桶或發送者X以手掌構成的容器等）的距離。在此，深度資訊為例如從深度攝影機13的前方的物鏡或感測面到與測量對象位置（攝影棚10的牆壁各處或地板各處）的距離。又，深度資訊為例如深度攝影機13從深度攝影機13的前方的物鏡或感測面到成為被攝體的發送者X的骨架位置為止的距離。

再做為一例，深度資訊是從深度攝影機13的前方的物鏡或感測面到成為目標部的杯等實物體為止的距離。再做為一例，深度資訊是從深度攝影機13的前方的物鏡或感測面到成為目標部的發送者的手掌為止的距離。再者，深度資訊是存在於目標部的複數個點為止的距離。如此，深度攝影機13藉由詳細地測量到目標部的各點的為止的距離，可選定成為目標部的杯或手掌等實物體的形狀或方向或品項進入的開口。然後，目標部的點數量越多，可越正確地選定目標部的的形狀或方向或品項進入的開口等。

當顯示品項的品項位置與顯示目標物件5的目標位置以特定比例重疊時，伺服器40判斷品項已進入目標部。在此的特定比例變得越大，則品項越容易進入目標部，變得越小則品項越難進入目標部。伺服器40對應目標部進入物的特性（大小、形狀、表面粗糙度等）及品項的特性（大小、形狀、表面粗糙度等），在直播影像4顯示品項進入了進物的狀態。此外，當目標部是存在於實空間的實物體時，目標部的特性是根據存在於實空間的成為目標部的進入物的特性。此時的目標部的特性為例如事前以感測器測量的測量值。品項離開目標時，品項在目標部放置的桌6或牆壁彈跳，或者在桌6或牆壁滾動。伺服器40配合接觸品項的場所（桌6或牆壁）的特性，在直播影像4中顯示品項物件3滾動彈跳的狀態。再者，當品項從進入物溢出、脫落時，配合接觸品項的場所（桌6或牆壁或地板）的特性，在直播影像4中顯示品項物件3滾動彈跳的狀態。做為一例，球在硬且平坦的地板滾動時，球會滾得遠，當球在地毯等表面粗糙的地板滾動時，在直播影像4顯示成球不太滾動。

在品項未進入進入物時，或品項從進入物溢出、脫落時，例如在攝影棚10品項不在拍攝坐在桌6前的發送者X的RGB攝影機12的視角（拍攝範圍）內的狀況為多。又，當發送者X拾取如此品項時，即使在如此情況下，發送者X或進入物也有不在拍攝坐在桌6前的發送者X的RGB攝影機12的視角（拍攝範圍）的狀況。相同於深度攝影機13使用複數台，在具有攝影棚10整體的三維位置資訊時，伺服器40是根據做為以使用者終端50、70、80檢測的檢測結果的加速度資料、角度資料、角速度資料等或活動操作的座標資料等操作資料來決定的三維位置資訊，來保持品項位置。因此，做為一例，當發送者X使RGB攝影機12移動成拍攝品項滾動目的地時，滾動的品項物件3被附加於直播影像4中。又，當不使RGB攝影機12移動時，即使發送者X或進入物曾不在RGB攝影機12的視角內並再度進入視角時，從該時間點目標物件5或品項物件3仍被顯示在直播影像4中。又，品項從進入物溢出、脫落時，在此程度上，目標部的進入物變輕。伺服器40驅動觸覺裝置16成進入物減掉品項的重量，使進入物變輕。

此外，也有品項或進入物不在深度攝影機13的檢測範圍內的狀況。在此情況下。伺服器40保持脫離檢測範圍前的目標部的目標位置或品項位置，回歸深度攝影機13的檢測範圍內時，目標位置或品項位置更新為回歸位置。又，伺服器40配合回歸深度攝影機13的檢測範圍時的進入物或品項的狀態來驅動觸覺裝置16。

〔深度攝影機13〕 深度攝影機13做為一例，具備：投射脈衝調變的紅外線的投影機等投射部；以及紅外線攝影機等紅外線檢測部，從投射的紅外線脈衝反射回來為止的時間來算出深度資訊（Time of Flight (TOF）方式）。深度攝影機13做為一例，經常地算出在攝影棚10個處的深度資訊等三維位置資訊。

又，深度攝影機13提取發送者X的人物區域，區分人物區域與非人物區域。做為一例，在相同場所（例如攝影棚10），根據人物投影前後的差分值來計算人物區域。此外，做為一例，將檢測的紅外線量超過閾值的區域判斷為人物區域。

再者，深度攝影機13檢測骨架位置。深度攝影機13取得在人物區域各處的深度資訊，根據深度與形狀特徵量，算出人物區域顯示的人物的實空間上的部位（左右手、頭部、脖子、左右肩、左右肘、左右膝、左右腳等），將在各部位的中心位置做為骨架位置來算出。深度攝影機13藉由使用記憶於記憶部的特徵量辭典，將從人物區域所決定的特徵量與該特徵量辭典登記的各部位的特徵量對照，算出在人物區域的各部位。又，深度攝影機13檢測人物的凹凸（手掌形狀、衣服皺褶等凹凸、髮型凹凸等）。

此外，深度攝影機13將紅外線檢測部的檢測結果輸出至其他裝置（控制裝置17、伺服器40、使用者終端50、70、80、設置在攝影棚10的控制裝置17等），其他裝置也可以進行算出深度資訊、提取人物區域、區分人物區域與非人物區域、檢測人物區域、檢測骨架位置、選定在人物區域的各部位等處理。

又，雖然如以上的動態捕捉處理，是不對發送者X賦予標識來進行，但也可以對發送者X賦予標識來來進行。再者，在算出深度資訊時，也可以是讀取投影的紅外線圖案，從圖案的歪曲獲得深度資訊的方式（Light Coding方式）。

再者，深度資訊也可以從雙目攝影機、複數台攝影機的視差資訊來算出。此外，深度資訊也可以藉由圖像識別以RGB攝影機12所取得的影像，用攝影測量技術等圖像分析來算出。在此情況下，因為RGB攝影機12是做為檢測部來運作，所以不需要深度攝影機13。

再者，深度資訊也可以由併用如上方式來算出。 〔控制裝置17〕 如第二圖所示，控制攝影棚10的各機器的控制裝置17，具備攝影棚10各部間的介面（以下簡稱為「IF」），具備：RGB攝影機IF21、深度攝影機IF22、觸覺裝置IF23、音響裝置IF24、顯示IF25、網路IF26、通訊IF27以及控制部28。

RGB攝影機IF21控制RGB攝影機12，並輸入RGB攝影機12所拍攝的影像。深度攝影機IF22控制深度攝影機13，輸入來自深度攝影機13的三維位置資訊。觸覺裝置IF23控制觸覺裝置16。也就是說，觸覺裝置16具備致動器16a，觸覺裝置IF23驅動致動器16a。音響裝置IF24除了揚聲器15，也可以連接耳機、頭戴式耳機等聲音輸出機器。又，音響裝置IF24連接於麥克風11等聲音輸入機器。顯示IF25，做為一例，連接於攝影棚監視器14。網路IF26，做為一例，經由網路2以有線或無線與伺服器40通訊。通訊IF27，做為一例，以有線或無線與發送者終端18通訊。

控制部28，做為一例，是CPU、ROM、RAM，將RGB攝影機12所拍攝的影像或麥克風11收集的聲音資料混合的實況影像（不包含品項物件3或目標物件5）或三維位置資訊等通過網路IF26傳送到伺服器40。又，控制部28通過顯示IF25將直播影像顯示於攝影棚監視器14，通過通訊IF27顯示於發送者終端18的顯示部。再者，控制部28通過網路IF26接收來自伺服器40發送的直播影像4（不包含品項物件3或目標物件5），通過顯示IF25顯示於攝影棚監視器14。又，控制部28通過通訊IF27顯示於發送者終端18的顯示部。

〔發送者終端18〕 發送者終端18是發送者X管理的裝置，是智慧手機或平板電腦等智慧裝置終端。發送者終端18具備：顯示部31、揚聲器32、操作部33、網路IF34、資料記憶部35、主記憶體36以及控制部37。顯示部31是液晶顯示面板或有機EL面板，操作部33是設於顯示部31的觸控面板。網路IF34進行與控制裝置17的資料交換。資料記憶部35是非揮發記憶體，記憶用來視聽直播影像4的程序等。主記憶體36為例如RAM，暫時記憶發送中的直播影像4或控制程序等。控制部37為例如CPU，控制發送者終端18的所有動作。做為一例，控制部37在準備直播時，在實況影像中從指定目標部的資料或目標部的物件一覽中對伺服器40傳送一或複數個選擇資料。又，播放直播影像4時，控制部37將伺服器40發送的直播影像4顯示在顯示部31，從揚聲器32放出聲音或樂曲。

〔伺服器40〕 伺服器40是管理直播系統1的裝置，具備：實況資料庫41、特性資料庫42、資料記憶部43、網路IF44、主記憶體45以及控制部46。

做為管理部的實況資料庫41，對每一實況，即對每一發送者，賦予關聯於登記在本系統的使用者的使用者ID，管理各使用者的品項。具體來說，在實況資料庫41，對每一即時，賦予關聯於各使用者ID，並管理品項ID與有無接受品項。品項ID是唯一指定使用者購入的品項的ID，在各實況中，是唯一指定使用者對發送者X贈送的品項的ID。有無接受品項是管理使用者贈送的品項是否進入做為目標物的進入物。

實況資料庫41還將可參加直播的所有使用者賦予關聯於使用者ID來管理。參加各實況的使用者是從登記的所有使用者中選擇。又，實況資料庫41做為一例，將各品項價格賦予關聯於品項ID來管理。

特性資料庫42管理目標物為實物體時的目標部特性參數、虛擬體的品項特性參數、存在於攝影棚10的實空間目標部以外的實物體（桌6或牆壁等）的特性參數、目標部為虛擬體時的目標部的特性參數。其一例表示在第三圖。在第三圖中，測量值是用感測器測量的值，設定值是發送者X、使用者A、B、C或服務提供者設定的值，計算值是用測量值或設定值算出的值。具體來說，特性資料庫42管理形狀、位置、傾斜、速度、加速度、質量、硬度、表面粗糙度、溫度、氣味等參數。

例如，目標部為實物體時，攝影棚10準備做為複數個目標部的桶、杯、垃圾箱、裝飾箱、香油錢箱等。在此情況下，在特性資料庫42儲存有預先準備在攝影棚10的做為目標部的實物體的特性參數。又，目標部為虛擬體時，在特性資料庫42儲存有關於發送者X可選擇的複數個虛擬體的物件的特性參數。例如，準備做為目標部的虛擬體的桶、杯、垃圾箱、裝飾箱、香油錢箱。在此情況下，在特性資料庫42儲存有做為虛擬體的桶、杯、垃圾箱、裝飾箱、香油錢箱的特性參數。因為虛擬體的目標部並非實物體，所以提高娛樂性，也可以設定與實物體不同的參數。

目標部或目標部以外的物為實物體時，因為實際上該物存在，所以形狀或傾斜或位置等參數是以感測器事前測量該物的測量值，目標部或品項移動時的速度或加速度做為實際測量值。做為一例，若實物體移動，則顯示成目標物件5也配合測量值來移動。又，若實物體物理地變形，則目標物件5也配合測量值來來變形。做為一例，做為實物體，手掌被設定成做為目標部的進入物時，以手掌構成的容器為目標物件5。目標物件5對應手掌移動或手掌打開狀況，以手掌構成的容器被移動，或以手掌構成的容器被變形。做為一例，實物體的垃圾箱被設定成目標部時，目標物件5是設定以垃圾箱的內側面的底面所包圍的空間部為收納部，以手持的垃圾箱或放置的垃圾箱被移動時，會配合它來移動。當然，也可以藉由根據實際的測量值計算的計算值，使實物體移動、變形。又，關於溫度或表面粗糙度的參數也可以設定成與實物體不同的值。做為一例，目標物的進入物或桌6的表面溫度，根據熱顯像測量為15℃，也可以設定成實際不同的溫度（例如36℃（體溫程度））。藉此，做為一例，在品項為巧克力時，目標部的進入物或桌6為30℃時比15℃時融化更容易，表現為巧克力容易融化或已融化的狀態，可提高娛樂性。又，品項的表面粗糙度或地板或桌6的表面粗糙度比實際的表面粗糙度高時，品項會表現得比實際上難以滾動，或難以彈跳，當比實際的表面粗糙度低時，表現得比實際上容易滾動，且高彈跳。此外，表面粗糙度做為一例，也可以用深度攝影機13測量其凹凸來設定。實物體的杯或垃圾箱等進入物也可以使表面粗糙度等參數在該進入物的外側面與內側面不同。此外，目標部做為一例，在一個直播影像4中並非只有一個，也可以設定成複數個。

品項為虛擬體，做為品項物件3來顯示。因為品項並非存在於攝影棚10的實空間，所以形狀、傾斜、位置或速度等參數是做為來自已設定的初始值的計算值。又，具備嗅覺回饋裝置時，在特性資料庫42設定有關於氣味的特性參數。藉此，做為一例，當品項為食物時，可以對應食物的氣味對發送者X回饋。

資料記憶部43是硬碟或非揮發性記憶體，記憶構成用來發送直播影像4的程序、品項物件3或目標物件5的圖像資料等。做為一例，構成品項物件3或目標部為虛擬體時的目標物件5的圖像資料為三維動畫資料或圖像資料，可以配合方向顯示。

網路IF44進行與控制裝置17、發送者終端18、或使用者終端50、70、80間的資料交換。主記憶體45為例如RAM，暫時記憶發送中的直播影像4或控制程序等。

控制部46為例如CPU，控制伺服器40的所有動作。做為一例，控制部46做為發送部來運作，該發送部通過網路IF44對控制裝置17、發送者終端18，或使用者終端50、70、80來發送直播影像4。

控制部46為例如，做為設定目標部位置的設定部來運作，根據來自深度攝影機13的三維位置資訊來設定RGB攝影機12所拍攝的影像上，附加目標物件5於該位置，產生直播影像4。又，控制部46做為顯示控制部來運作，該顯示控制部根據來自使用者終端50、70、80的使用者動作資訊，指定影像上的品項位置，產生附加品項物件3於該位置的直播影像4。再者，做為顯示控制部的控制部46，判斷品項物件3的品項位置重疊於目標物件5的目標位置，當品項位置與目標位置重疊時，產生如品項物件3進入目標物件5的直播影像4。當品項物件3級目標物件5接觸時，配合特性參數進行變形。控制部46也做為觸覺控制部來運作，該觸覺控制部配合相對於目標部的品項狀態來控制發送者X所配戴的觸覺裝置16。

控制部46為例如做為期間管理部來運作，該期間管理部管理將目標部做為品項的進入物來運作的第一特別期間。做為一例，控制部46變更參數設定成第一特別期間以外，目標部不能做為進入物來運作。在此情況下，做為一例，在第一特別期間以外，即使品項碰到目標部，品項物件3被顯示成進不去目標物件5而彈回。

又，控制部46為例如做為期間管理部來運作，該期間管理部管理對使用者A、B、C賦予特別恩典的第二特別期間。做為一例，控制部46在第二特別期間時，做為特別恩典，變更設定參數成目標部的形狀等變大，使品項變得容易進入目標部的進入物。

又，做為一例，設定變更參數成目標部的大小變化，當目標部變小時品項進入，獲得比第二特別期間以外時的基準得分更高的得分（特別恩典）。此外，也可以是當目標部變大時品項進入，變成比第二特別期間以外時的基準得分更低的得分。

做為一例，第一特別期間與第二特別期間也可以是時間軸上同一期間，也可以是第二特別期間存在於在第一特別期間中。又，控制部46也可以只管理第一特別期間或第二特別期間的一期間，也可以管理此外的特別期間。

可以在目標部之中收容複數個品項。控制部46在第一個品項進入目標部時，顯示成配合目標部的進入物的特性，在進入物中彈跳滾動地進入。控制部46持續顯示相當於已進入進入物的品項的品項物件3，進一步在新品項進入時，配合品項或目標部的進入物的特性來顯示與原本品項衝突的狀態。做為一例，顯示成藉由新品項與原本的品項衝突，兩品項在進入物中活動。控制部46為例如持續顯示品項物件3已進入做為進入物的目標物件5之中的狀態。然後，控制部46為例如在第一特別期間或第二特別期間結束時，對應來自使用者終端50、70、80的操作訊號，除去進入目標物件5的品項物件3，重設品項的顯示。

此外，伺服器40也可以不經由控制裝置17來直接控制設置在攝影棚10的麥克風11、RGB攝影機12、深度攝影機13、攝影棚監視器14、揚聲器15及觸覺裝置16等。

又，伺服器40也可以與使用者終端50、70、80合作進行如以上處理的一部分。例如，將RGB攝影機12所取得的實況影像、深度攝影機13所取得的三維位置資訊等傳送到使用者終端50、70、80。使用者終端50、70、80也可以檢測使用者A、B、C的動作，根據實況影像、三維位置資訊使用者A、B、C的動作的檢測結果，將目標物件5顯示在使用者終端50、70、80、攝影棚監視器14以及發送者終端18。

〔使用者終端50〕 如第四圖所示，使用者終端50為例如使用者A管理的裝置，具備桌上型或膝上型的個人電腦50a與智慧手錶60。做為一例，膝上型的個人電腦50a具備：音響裝置IF51、顯示IF52、網路IF53、通訊IF54、資料記憶部55、操作IF56、主記憶體57以及控制部58。音響裝置IF51連接於揚聲器、耳機以及頭戴式耳機等聲音輸出機器或麥克風等聲音輸入機器。顯示IF52為例如連接於液晶顯示裝置等顯示裝置所構成的顯示部59。

網路IF53為例如經由網路2與伺服器40通訊。通訊IF54為例如與智慧手錶60通訊。通訊IF54與智慧手錶60以無線LAN或有線LAN連接，從智慧手錶60輸入做為使用者資訊的加速度資料、角度資料、角速度資料等。資料記憶部55是非揮發性記憶體，為例如硬碟或快閃記憶體。資料記憶部55儲存直播影像4的播放程序或智慧手錶60的通訊控制程序等。操作IF56連接餘鍵盤或滑鼠等操作裝置。又，在連接於顯示IF52的顯示部59設有觸控面板時，連接於該觸控面板。主記憶體57為例如RAM，暫時記憶發送中的直播影像4或控制程序等。控制部58為例如CPU，控制使用者終端50所有動作。做為一例，控制部58從品項的物件一覽中對伺服器40傳送一或複數個品項選擇資料。再者，控制部58為例如對伺服器40傳送智慧手錶60所檢測的做為使用者資訊的加速度資料、角度資料、角速度資料等操作資料。

智慧手錶60為例如配戴在使用者A的慣用手的腕部等的手錶型資訊處理終端。智慧手錶60具備：感測器61、通訊IF62、資料記憶部63、主記憶體64、振動器65以及控制部66。感測器61為例如加速度感測器或陀螺儀感測器。通訊IF62為例如將感測器61所檢測的加速度資料或智慧手錶60的角度資料或角速度資料傳送到個人電腦50a。感測器61為例如使用者A進行了投物動作時，檢測做為關於其手腕擺動的使用者動作資訊的加速度資料、角度資料、角速度資料等操作資料。資料記憶部63為非揮發記憶體，為例如硬碟或快閃記憶體。資料記憶部63儲存驅動感測器61的驅動程序或個人電腦50a的通訊控制程序等。控制部66為例如CPU，控制智慧手錶60的所有動作。做為一例，控制部66在品項進入目標時或落下時驅動振動器65，以感覺通知使用者B。

此外，連接於使用者終端50的終端也可以不是智慧手錶60，而是具備加速度感測器或陀螺儀感測器的智慧手機等小型可攜帶資訊處理終端。

〔使用者終端70〕 使用者終端70為例如使用者B管理的裝置，是智慧手機或平板電腦等智慧裝置終端。使用者終端70為例如具備：音響裝置IF71、顯示IF72、操作IF73、感測器74、網路IF75、資料記憶部76、主記憶體77、控制部78、顯示部79以及振動器79a。音響裝置IF71連接於內藏揚聲器或耳機等聲音輸出機器或內藏麥克風等聲音輸入機器。音響裝置IF71為例如從揚聲器或耳機等聲音輸出機器放出直播影像4的聲音資料。顯示IF72連接於內藏的液晶面板、有機EL面板等小型的顯示部79。在顯示部79設有觸控面板，操作IF73連接於觸控面板。感測器74為例如加速度感測器或陀螺儀感測器。網路IF75為例如經由網路2與伺服器40通訊。網路IF75為例如使用者進行了投物動作時，對伺服器40傳送做為檢測器74所檢測的使用者動作資訊的關於手腕揮動的加速度資料、角度資料、角速度資料的操作資料。又，在顯示直播影像4的顯示面使用手指或觸控筆，追隨顯示的目標物件5的方向進行滑動操作時，做為使用者動作資訊，將該座標資料等操作資料傳送到伺服器40。資料記憶部76為非揮發性記憶體，為例如快閃記憶體。資料記憶部76儲存直播影像4的播放程序等。主記憶體77為例如RAM，暫時記憶直播影像4或控制程序等。

控制部78為例如CPU，控制使用者終端70的所有動作。做為一例，控制部78在播放直播影像4時，從品項的物件一覽中對伺服器40傳送一或複數個選擇資料。再者，控制部78為例如使用者持有使用者終端70來進行投物動作或操作時，做為使用者資訊，對伺服器40傳送該手腕揮動的加速度資料、角度資料、角速度資料或滑動操作的座標資料等操作資料。

此外，使用者C的智慧裝置終端70a是與使用者終端70一樣的終端，故省略其細節。 〔直播準備處理〕 以下，說明直播系統1的作用。

〔將目標部設定為實物體的進入物的情況〕 在實況影像發送之前，首先，控制裝置17及發送者終端18登入伺服器40，做為直播準備，做為可進行目標部設定的狀態。發送者X將發送者終端18或控制裝置17做為操作終端來使用，從發送者終端18或控制裝置17傳送用於直播的攝影開始操作訊號至伺服器40。在攝影棚10，深度攝影機13取得在攝影棚10各處的深度資訊，同時算出人物區域，接著，可在人物區域算出骨架位置，算出在各骨架位置的深度資訊。之後，在深度攝影機13執行動態捕捉處理。

如第五（a）及五（b）圖所示，當伺服器40接受攝影開始操作訊號時，取得來自RGB攝影機12的實況影像或來自深度攝影機13的三維位置資訊，產生實況影像4a。然後，伺服器40通過網路2對控制裝置17或發送者終端18發送實況影像4a。在攝影棚監視器14顯示通過控制裝置17的實況影像4a。又，在發送者終端18，不經由控制裝置17，或通過控制裝置17，顯示經由網路2接收的實況影像4a。實況影像4a是未發送至使用者終端50、70、80的影像，且發送者X為了設定目標部等而可視聽的影像，是不包含品項物件3或目標物件5的影像。

發送者X接下來進行設定目標部的操作。在第五（a）及五（b）圖，做為目標部，表示在攝影棚10做為實物體的杯5a置於桌6上的例。杯5a是使用者A、B、C投入品項時的做為目標的進入物，是被投擲的品項所進入的進入物。在步驟S1中，伺服器40在實況影像中附加目標部指定開始按鈕，顯示在發送者終端18及攝影棚監視器14的顯示面。在此，當發送者X在發送者終端18的顯示面，以手指或觸控筆接觸顯示有目標部指定開始按鈕的區域時，發送者終端18對伺服器40傳送目標部指定開始訊號。

在步驟S2中，伺服器40接收目標部指定開始訊號，成為目標部指定模式。又，目標部指定開始按鈕也可以在連接於控制裝置17的攝影棚監視器14看到並使用連接於控制裝置17的滑鼠等操作部來點擊，從控制裝置17傳送目標部指定開始訊號至伺服器40。然後，伺服器40通知可在發送者終端18或攝影棚監視器14的顯示面指定目標部。

在步驟S3中，伺服器40在實況影像4a中附加確定目標部的確定按鈕，顯示在發送者終端18及攝影棚監視器14的顯示面。然後，在發送者終端18，指定目標部的區域（指定區域）做為目標位置。指定區域是藉由以手指或觸控筆吹隨發送者X顯示於發送者終端18的顯示面的杯5a的物件輪廓來指定。當指定區域被發送者X指定，則發送者終端18對伺服器40傳送表示指定區域的指定區域資料，在步驟S4中，伺服器40接收指定區域資料。此外，指定區域也可以是在攝影棚監視器14看到並使用連接於控制裝置17的滑鼠等操作部來指定，從控制裝置17傳送指定區域資料至伺服器40。

在步驟S5中，伺服器40從RGB攝影機12所拍攝的實況影像4a中來決定表示指定區域資料的指定區域，檢測並辨識杯5a。又，伺服器40取得對應指定區域的三維位置資訊，將在攝影棚10內的指定區域做為目標物件5來辨識。伺服器40將檢測到的杯5a的區域設定為目標位置。做為一例，將杯5a內側的空間部（品項進入的部分）設定為目標位置。做為一例，將杯5a的內面及底面所包圍的空間部設定為目標位置。再者，伺服器40辨識攝影棚10內的麥克風所收集的聲音，將目標物件5定義為「杯」。杯5a內側的空間部（品項進入的部分）的定義可為例如向深度攝影機13，使杯5a左右及上下旋轉360度等，以深度攝影機13檢測杯5a的外側面、內側面及底面等所有面，以三維位置資訊決定杯5a所有的面。

此外，做為使伺服器40辨識目標部的方法，也可以從做為目標部的實物體的杯5a未進入在RGB攝影機12的視角（拍攝範圍）及深度攝影機13的檢測範圍內的狀態（未顯示的狀態）與拍到杯5a的狀態（已顯示的狀態）的差異來辨識目標部。做為一例，可從實物體的杯5a未置於桌6上的狀態（未顯示的狀態）與杯5a已置於桌6上的狀態（已顯示的狀態）的差異來辨識目標部。再做為一例，也可以使發送者X手持杯5a，向深度攝影機13的方向伸出杯5a，從發送者X的任何部位將杯5a靠近深度攝影機13，檢測運動向量等，將杯5a做為目標部來辨識。再者，伺服器40也可以辨識發送者X以聲音發出「杯」的聲音，參照網路存在的圖像辭典，從實況影像4a提取杯的圖像，將此設定為目標部。

在步驟S6中，伺服器40在發送者終端18中，判斷是否進行指定區域的再指定操作。具體來說，伺服器40再度判斷是否接收來自發送者終端18的指定區域資料。然後，伺服器40在指定區域的再指定時，重複從步驟S4的處理。

當發送者X在發送者終端18的顯示面中，以手指或觸控筆接觸確定目標部的確定按鈕被顯示的區域時，發送者終端18對伺服器40發送確定目標部的確定訊號。在步驟S7中，當伺服器40接受確定訊號時，在步驟S8中，確定在實況影像4a的目標部。也就是說，伺服器40將杯5a做為目標物件5來設定。也就是說，目標物件5（杯5a）所表現的目標部是根據特性資料庫42的登錄內容（形狀、位置、傾斜、速度、加速度、質量、硬度、表面粗糙度、溫度、氣味等參數），做為進入物來定義。

此外，以上例說明了在實況影像4a中存在一個實物體的杯的情況，但在實況影像4a中也可以存在可做為目標部的複數個實物體的杯。在此情況下，各杯在特性資料庫42設定有參數。然後，也可以在目標指定模式中，從實況影像4a中存在的複數個杯中選擇一個杯。杯的選擇可以藉由追隨、接觸以手指或觸控筆選擇的杯來進行。或者是在利用聲音辨識的情況下，也可以解釋「最右邊的杯」、「中央的杯」等表現，來選定該杯。

伺服器40以深度攝影機13追蹤發送者X的各骨架位置、該骨架位置的深度資訊以及杯5a的三維位置。又，伺服器40以RGB攝影機12檢測杯5a。因此，當發送者X以手持杯5a來使其移動時，目標位置也配合移動。做為一例，發送者X置於桌6使手移動時，杯5a被放置的位置成為目標位置。伺服器40當從使用者A、B、C所投擲的品項的品項位置與顯示目標物件5的目標位置重疊時，可顯示在使用者終端50、70、80成品項物件3已進入目標物件5的進入物。

〔以姿態將目標部設定成發送者的一部分的情況〕 如第六（a）及六（b）圖所示，在步驟S11中，伺服器40在實況影像4a中附加目標部指定開始按鈕，顯示在發送者終端18及攝影棚監視器14的顯示面。在步驟S12中，伺服器40接收目標部指定開始訊號，成為目標部指定模式。在步驟S13中，伺服器40在實況影像4a中附加確定目標部的確定按鈕，顯示在發送者終端18及攝影棚監視器14的顯示面。

在以姿態將目標部設定成發送者的一部分的情況，伺服器40在程序內對姿勢與目標部賦予對應來管理。做為一例，伺服器40是發送者X以左手、右手或兩手，以石頭、剪刀、布為順序時，將目標部定義成兩手掌，以剪刀、石頭、布為順序時，將目標部定義為發送者X的頭部。伺服器40以深度攝影機13追蹤發送者X的各骨架位置（例如手掌的骨架位置）與該骨架位置的深度資訊（例如手掌的深度資訊）。又，伺服器40藉由RGB攝影機12檢測手掌。在步驟S14中，伺服器40根據這些資訊來檢測發送者X進行的姿勢。

在步驟S15中，伺服器40將檢測到的姿勢所賦予關聯的位置做為目標部來辨識。做為一例，當檢測到「石頭、剪刀、布」的姿勢時，辨識兩手掌為目標部。又，伺服器40藉由控制裝置17的麥克風11或發送者終端18的麥克風所收集的聲音資料、例如指定目標部的「石頭、剪刀、布」的聲音資料，辨識兩手掌為目標部。也就是說，兩手掌成為目標物件5。伺服器40將檢測到的兩手掌設定程目標位置。做為一例，將兩手掌所包圍的空間部（品項進入的部分）設定成目標位置。

此外，做為辨識在伺服器40用於設定目標部的姿勢的方法為例如也可以從進行姿勢的兩手掌未置於桌6上的狀態（未顯示的狀態）與進行姿勢的手掌置於桌6上的狀態（已顯示的狀態）的差異來辨識。再者，做為一例，發送者X也可以將進行姿勢的兩手掌向深度攝影機13的方向伸出，使兩手掌靠近深度攝影機13來進行姿勢，使伺服器40確實地辨識姿勢。

在步驟S16中，伺服器40在發送者終端18中，判斷是否進行目標部的再指定操作。具體來說，伺服器40再度判斷是否進行姿勢。然後，伺服器40在目標部的再指定時，重複從步驟S14的處理。

當發送者X在發送者終端18的顯示面中，以手指或觸控筆接觸確定目標部的確定按鈕被顯示的區域時，發送者終端18對伺服器40發送確定目標部的確定訊號。在步驟S17中，當伺服器40接受確定訊號時，在步驟S18中，確定在實況影像4a的目標部。也就是說，伺服器40將以姿勢賦予關聯的部分做為目標物件5來設定。做為一例，「石頭、剪刀、布」的姿勢時，將兩手掌設定成目標部。也就是說，目標物件5（兩手掌）所表現的目標部是根據特性資料庫42的登錄內容（形狀、位置、傾斜、速度、加速度、質量、硬度、表面粗糙度、溫度、氣味等參數），做為進入物來定義。

藉此，因為伺服器40追蹤兩手掌，所以即使發送者X揮動兩手掌，目標部也會配合移動。伺服器40當從使用者A、B、C所投擲的品項的品項位置與兩手掌的目標位置重疊時，可顯示在使用者終端50、70、80成品項已進入目標物件5（兩手掌）。做為一例，發送者X使兩手掌移動，目標位置也配合改變，在兩手掌移動的前面目標位置，投擲的品項位置重疊時，顯示在使用者終端50、70、80成品項已進入目標物件5（兩手掌）。

〔目標部做為虛擬體的情況〕 如第七圖及第八（a）～（c）圖所示，在步驟S21中，伺服器40在實況影像4a中附加目標部指定開始按鈕，顯示在發送者終端18及攝影棚監視器14的顯示面。在步驟S22中，伺服器40接收目標部指定開始訊號，成為目標部指定模式。又，發送者X通過發送者終端18等，將從目標部非實物體的虛擬體中選擇的選擇資料傳送到伺服器40。

如第八（a）圖所示，在步驟S23中，伺服器40在實況影像4a中附加用來選擇成為目標部的虛擬體的目標物件5的一覽物件7，顯示在發送者終端18及攝影棚監視器14的顯示面。在一覽物件7，顯示複數個候補物件，該複數個候補物件構成選擇候補群，該選擇候補群是用來將不存在於攝影棚10的虛擬體做為目標物件5來顯示。在一覽物件7，做為選擇候補物件，顯示有桶的物件、杯的物件、垃圾箱的物件、裝飾箱的物件以及香油錢箱的物件。又，除此之外，也可以在左右上下捲動一覽物件7，來顯示除此之外的目標物件5以便選擇。又，做為目標物件5，是使用者自製的物件，也可以是使用者對伺服器40上傳之物。在此，桶、杯、垃圾箱、裝飾箱以及香油錢箱都是不存在於攝影棚10的虛擬體，關於各虛擬體是在特性資料庫42登錄有特性參數。虛擬物的目標物件5為例如三維資料。

在發送者終端18，當發送者X以手指或觸控筆接觸想要的物件時，在步驟S24，發送者終端18對伺服器40傳送物件的選擇資料。當伺服器40接收選擇資料時，選擇做為選擇資料表示的選擇目標部的物件來做為目標物件5。然後，在步驟S25，伺服器40在實況影像4a中附加確定目標部的確定按鈕，顯示在發送者終端18及攝影棚監視器14的顯示面。總的來說，如第八（b）圖所示，伺服器40強調（例如擴大）顯示已選擇的虛擬體的目標物件5。此外，也可以僅顯示已選擇的虛擬體的目標物件5。

在步驟S25的狀態，只設定顯示在目標部的目標物件5，並未設定顯示目標物件5的目標位置。因此，伺服器40顯示轉換到用來設定目標位置的處理的說明。對此，發送者X，做為一例，進行設定顯示目標物件5的目標位置的姿勢。做為一例，在此的姿勢是向著深度攝影機13的方向伸出顯示目標物件5的兩手掌的動作。伺服器40藉由深度攝影機13追隨發送者X的各骨架位置（例如手掌骨架位置）與該骨架位置的深度資訊（例如手掌深度位置）。又，伺服器40藉由RGB攝影機12檢測兩手掌。在步驟S26，伺服器40根據這些資料檢測發送者X進行的姿勢。然後，在步驟S27，伺服器40對於從深度攝影機13來看位於最前面的手掌附加目標物件5（參照第八（c）圖）。在步驟S28，伺服器40將目標物件5的位置設定成目標位置。做為一例，目標位置是發送者X持有桶5b的手掌位置，但在此是發送者X手持桶5b的位置。做為一例，伺服器40將附加的桶5b的外形所包圍的區域設定成目標位置。做為一例，將桶5b內側的空間部（品項進入的部分）設定成目標位置。桶5b的空間部（品項進入的部分）也可以在特性資料庫42預先定義。藉此，目標位置從發送者X的手掌所持的桶5b的開口部到品項進入其中時，可判斷品項已進入目標部，又，因為品項僅碰到桶5b的外側面，所以品項不會進入，無法更正確地重現實際的品項與桶的關係。

此外，目標位置並非進行如步驟S6的設定處理，也可以預先決定成桌6上的特定位置等。在此情況下，當選擇目標物件5時，已選擇的目標物件5被附加至預先決定的目標位置。然後，即使手掌與桶5b分離，目標部仍為桶5b，品項會瞄準桶5b投擲。

在步驟S29，伺服器40在發送者終端18判斷是否進行目標位置的再指定操作。具體來說，伺服器40再度判斷是否進行姿勢。然後，伺服器40在目標部的再指定時，重複從步驟S26的處理。

當發送者X在發送者終端18的顯示面中，以手指或觸控筆接觸確定目標部的確定按鈕被顯示的區域時，發送者終端18對伺服器40發送確定目標部的確定訊號。在步驟S30，當伺服器40接受確定訊號時，在步驟S31，確定在實況影像4a的目標部。也就是說，目標物件5（桶5b）所表現的目標部是根據特性資料庫42的登錄內容（形狀、位置、傾斜、速度、加速度、質量、硬度、表面粗糙度、溫度、氣味等參數），做為進入物來定義。

因此，當發送者X揮動手來手持並使桶5b移動，桶5b的目標位置也配合移動。又，將桶5b置於桌6，手也可以離開桶5b。在此情況下，桌6上的桶5b的目標物件5的位置成為目標位置。如此，即使當桶5b的位置變化，移動目的地的目標位置品項的品項位置也重疊時，品項已進入目標物件5的進入物。

〔直播處理〕 如第九（a）圖所示，當目標部的設定結束時，在步驟S41，伺服器40進入可發送在實況影像4a附加有目標物件5的直播影像4的狀態。又，做為一例，當伺服器40從發送者終端18接收發送開始訊號時，在使用者終端50、70、80進入可視聽直播影像4的狀態。此外，在以下說明中，說明使用者B（使用者終端70）視聽直播影像4的情況。

在使用者終端70，顯示直播中的發送者X一覽。做為一例，一覽顯示由發送者的臉部照片或肖像畫圖像等所構成的發送者物件。當使用者終端70選擇想要的發送者的發送者物件時，會對伺服器40傳送發送者選擇資料。在步驟S42，當伺服器40接收來自使用者終端70的發送者選擇資料時，在做為發送者選擇資料的發送源的使用者終端70，可視聽表示發送者選擇資料的發送者的直播影像4。在使用者終端70中，可視聽已選擇的發送者X的直播影像4。

在步驟S43，伺服器40判斷是否進入特別期間。特別期間為例如上述第一特別期間或第二特別期間。第一特別期間是以目標物件5所示的目標部做為進入物來運作的期間。第一特別期間也可以是從發送者X開始直播到直播結束為止的期間。又，第一特別期間也可以是使用者B開始視聽經過第一期間（例如一分鐘）後開始，持續第二期間（例如十分鐘間），在經過第二期間時結束。又，第一特別期間也可以是發送者X進行成為開始第一特別期間的信號的開始姿勢（例如舉手），在伺服器40檢測此姿勢時開始，在再次舉手的結束姿勢時結束（參照第九（b）圖）。又，即使在第一特別期間以外，品項碰到目標部，也可以顯示成品項物件3未進入目標物件5而彈回。做為一例，在第一特別期間開始時，開始、結束目標物件5的顯示時，也可以結束目標物件的顯示。

又，第二特別期間是對使用者B賦予特別恩典的期間。例如，當使用者終端70開始視聽已選擇的發送者X的直播影像4時，任何時候目標物件5所示的目標部做為進入物來運作。其中，當進入第二特別期間時，伺服器40變更設定參數，使做為目標部的目標物件5的形狀（入口形狀等）等變大，做為使用者特別恩典，品項容易進入目標物件5的進入物。又，也可以使目標部的大小（入口形狀等）變大或變小，來變更大小。在此情況下，當目標物件5變大時，使品項進入時的得分比基準得分更低，當目標物件5變小時，做為使用者特別恩典，使品項進入時的得分比基準得分更高。做為一例，在通常2分的情況，當目標物件5變大時品項進入，為低得分（1分），當目標物件5變小時品項進入為高得分（3分）。大小變化的目標物件5，目標物並非實物體，做為虛擬體為較佳。又，即使是實物體，若該實物體為例如折疊式杯或桶時，也可以由發送者X的作業使大小變化。做為再一例，即使目標物為實物體而其形狀不變化，也可以只在第二特別期間中變化品項的「進入容易程度」。在此情況下，也可以在實物體的目標物上等告知「進入容易程度」已變化的內容顯示或附加第二特別期間的內容顯示。

此外，第一特別期間或第二特別期間等的特別期間，做為一例，是在與伴唱機等樂曲連動時，間奏期間或樂曲與樂曲間等。又，也可以是第二特別期間在第一特別期間中。藉此，使用者可以購買更多品項，在第一特別期間或第二特別期間享受投擲品項。又，第一特別期間與第二特別期間也可以是在時間軸上同一期間。又，控制部46也可以只管理第一特別期間或第二特別期間的任一期間，也可以管理除此之外的特別期間。

又，特別期間也可以是限定在該特別期間所賦予的（可買的）品項數，在所有品項賣掉時，或所有品項進入目標部時結束。品項的賦予數也可以由發送者X決定，也可以由服務提供者決定。又，品項的賦予數也可以根據已選擇的目標物件5的種類，即容量來決定。也就是說，目標物件5的進入物已被品項充滿時，可結束特別期間。關於目標物件5的進入物是否被品項充滿的判斷基準將於後述。

然後，伺服器40在進入特別期間時，進入步驟S44。在步驟S44，伺服器40開始接受來自以使用者終端70視聽發送者X的直播影像4的使用者B的禮物，即品項的處理。此外，關於步驟S44的禮物處理將後述。在步驟S45，伺服器40判斷特別期間是否結束，當特別期間結束時，進入步驟S46。在步驟S46，伺服器對於視聽直播影像4的使用者B的使用者終端70傳送特別期間的結束通知。

使用者B在特別期間結束後，可以全刪除顯示成進入目標物件5的品項物件3。在此情況下，使用者B以手指或觸控筆接觸顯示在使用者終端70的顯示面的品項全刪除按鈕，使用者終端70對伺服器40傳送品項全刪除訊號。在步驟S47，當伺服器40接收品項全刪除訊號時，在步驟S48，執行從目標物件5刪除品項物件3的處理。當不進行品項全刪除操作時，步驟S48的處理被省略，到直播影像4的視聽結束為止，品項物件3被持續顯示。

當使用者B結束直播影像4的視聽時，也可以用手指或觸控筆接觸使用者終端70的顯示面所顯示的結束按鈕，當操作結束按鈕時，使用者B切斷與伺服器40的連接。或是關閉顯示視窗。又，發送者X在直播結束時，在發送者終端18進行發送結束操作。然後，發送者終端18對伺服器40傳送發送結束訊號。在步驟S49，當伺服器40接收發送結束訊號時，進行該直播結束處理。

〔禮物處理〕 在禮物處理中，使用者B首先對發送者X選擇要贈送品項。之後，進行以使用者終端70選擇的品項瞄準顯示在使用者終端70的目標物件5並投擲的動作或操作，對發送者X贈送品項。

如第十（a）圖所示，在步驟S51，伺服器40在使用者終端70的顯示面，在直播影像4中，顯示將可選擇品項一覽顯示的品項選擇物件8（參照第十（b）圖）。做為一例，在第十（b）圖中，在品項選擇物件8，從左開始的順序一列地列舉花束的品項物件、附加演出發送者X動作的效果的品項物件、貓耳髮箍的品項物件、直播影像4的背景圖像的品項物件以及寶石的品項物件來做為品項候選候補群。又，除此之外，也可以在左右上下捲動品項選擇物件8，來顯示除此之外的品項物件（巧克力等）以便選擇。又，做為品項，也可以是使用者使用者自製的品項，也可以是使用者對伺服器40上傳之物。

品項選擇物件8所列舉的品項，是營運者方準備的複數個品項。準備的品項也可以在每次實況不同，也可以在所有實況相同。又，也可以在複數個實況重複部分的品項。在伺服器40的資料庫，對各品項價格與品項ID賦予關聯並管理。伺服器40為例如保存動畫資料、圖像資料、聲音資料或樂曲資料等來做為對品項ID賦予關聯並顯示該品項的品項資料。品項資料為例如三維資料。

各品項為付費，對應品項決定金額，對品項ID賦予關聯於價格。做為一例，品項ID「A」的花束品項為200日圓。品項ID「B」的附加效果品項為300日圓。品項ID「C」的貓耳髮箍品項為500日圓。品項ID「D」的背景圖像品項為1000日圓。品項ID「E」的寶石品項「E」為2000日圓。做為一例，第二圖的實況資料庫41所示的使用者A以200日圓購買品項ID「A」的花束，使用者B以500日圓購買品項ID「C」的貓耳髮箍，使用者C以300日圓購買品項ID「B」的效果。如此，使用者A、B、C可經由使用者終端50、70、80，藉由購買這些品項，對發送者X贈送品項。藉此，發送者X及營運者可獲得從使用者A、B、C贈送的品項所對應的收益。不論發送者X是否接受品項（品項進入目標物的進入物），使用者A、B、C贈送的所有品項成為發送者X及其營運者的收益。在品項之中，也可以存在免費品項。又，在一個實況中，一個使用者也可以購買一個品項，也可以購買複數個品項，在實況資料庫41，管理每個發送者的各使用者已購買的品項與購買金額的總額。

當使用者B以使用者終端70從品項選擇物件8的一覽中選擇一個品項時，使用者終端70對伺服器40傳送包含使用者ID與已選擇品項的品項ID的品項選擇資料，來做為使用者已選擇的選擇品項。在步驟S52，伺服器40根據品項選擇資料來進行品項的選擇處理，將已選擇的品項物件3顯示在使用者終端70。在第十（c）圖，做為一例，伺服器40選擇顯示寶石品項的物件，表示顯示在使用者終端70的顯示面的狀態。此外，在第十（c）圖中，目標物件5根據上述〔以姿態將目標部設定成發送者的一部分的情況（參照第六（a）及六（b）圖）〕的順序所設定的發送者X的兩手掌所構成的容器。

之後，使用者終端70的使用者，進入可操作使用者終端70並對在攝影棚10的發送者X贈送品項的狀態。具體來說，使用者終端70的使用者B以手持使用者終端70並進行投物的動作，可進行對發送者X投擲已選擇品項的模擬體驗。又，可藉由對顯示直播影像4的顯示面使用手指或觸控筆，進行追隨顯示的目標物件5的方向的滑動操作，對發送者X贈送品項。（參照第十一（a）圖）使用者A、B、C可自由調整品項飛越方式，可調整品項飛翔方向或飛翔距離，可使品項進入目標部變容易，可提高娛樂性。另一方面，發送者X可聽到從揚聲器15放出的使用者A、B、C的聲音，知道使用者A、B、C的反應。藉此，發送者X可使兩手掌移動。發送者X藉由使兩手掌移動，也讓使用者A、B、C投擲的品項難以進入兩手掌，可促使使用者A、B、C購買更多品項。此外，在第十一（a）～十一（c）圖中，目標物件5根據上述〔以姿態將目標部設定成發送者的一部分的情況（參照第六（a）及六（b）圖）〕的順序所設定的發送者X的兩手掌所構成的容器。

在步驟S53，伺服器40判斷使用者B已進行投擲動作，在以滑動操作進行投擲品項的操作的情況下，伺服器40接收座標資料等操作資料，在其移動量超出閾值時等，判斷已進行投擲動作。做為一例，當進行觸控面板的滑動操作時的起點與終點的距離等超出閾值時，判斷進行投擲動作。

又，在進行以手投物的動作時，伺服器40從使用者終端50、80接收在每一單位時間傳送的做為使用者動作資訊的加速度資料、角度資料、角速度資料等操作資料。伺服器40記憶用來判斷使用者B以進行投擲動作的閾值，當超過閾值時，判斷以使用者終端70進行投擲動作。做為一例，伺服器40為了確定投擲動作，記憶加速度資料、角度資料、角速度資料等閾值。伺服器40在加速度資料、角度資料、角速度資料等超過閾值時，判斷已進行投擲動作。

在步驟S54，伺服器40分析使用者動作（投擲動作）來算出品項位置。當進行觸控面板的活動操作時，伺服器40從進行滑動操作時的起點座標與終點座標或速度來算出投擲的品項方向、軌跡或落下位置的品項位置。又，進行以手投物的動作時，伺服器40根據從使用者終端70傳送的關於手腕揮動的加速度資料、角度資料、角速度資料等操作資料，分析使用者手腕揮動方向或速度等。藉此，伺服器40算出在攝影棚10的實空間及直播影像4的已投擲品項被投擲時的軌跡或落下位置的品項位置。然後，伺服器40從算出的三維位置資訊所確定的直播影像4的位置，附加品項物件3。

在步驟S55，伺服器40根據分析結果將寶石的品項物件3顯示在使用者終端70的顯示面。藉此，如第十一（b）及十一（c）圖所示，在使用者終端70的顯示面，即時顯示品項物件3向著發送者X來。又，在攝影棚10的攝影棚監視器14或發送者終端18即時顯示同樣的品項物件3。在品項物件3顯示於使用者終端70的顯示面或攝影棚監視器14或發送者終端18時，顯示本來應位於攝影棚10的實空間的品項位置。也就是說，藉由以攝影棚10的實空間的品項位置來確定，即使變更RGB攝影機12的方向，品項物件3也被顯示在以該RGB攝影機12的方向所取得的影像中的適當位置。又，當品項位置在RGB攝影機12的拍攝範圍外時，不會顯示落下的品項物件3。又，在品項物件3的附近，顯示投擲該品項的使用者ID，使發送者X可視覺確認是誰提供的品項。

在視聽相同直播影像4的使用者對發送者X投擲品項時，也顯示他人投擲的品項。藉此，可在使用者間競爭對發送者X投擲品項的數量。

又，發送者X意圖地使目標物件5移動，品項的品項物件3變得難以進入目標部的目標物件5，也可以促使使用者購買更多品項來使用。

品項物件3也可以至少在最終顯示目標位置或落下位置，也可以不顯示飛翔到目標位置或落下位置為止的途中狀態或軌跡等。

〔品項物件顯示處理〕 如第十二圖所示，在步驟S61，伺服器40判斷使用者B投擲的品項的品項位置是否與目標位置重疊。也就是說，伺服器40判斷品項物件3是否與目標物件5重疊（品項是否進入目標部的進入物），在重疊時，進入步驟S62，在不重疊時，進入C的步驟S91（參照第十五（a）圖）。

在此，品項物件3的範圍及目標物件5的範圍為例如根據三維位置資訊、使用者動作資訊以及品項種類來決定。做為一例，是遵照特性資料庫42所設定的參數。做為一例，品項物件3的範圍是代表的一點或複數點。又，品項物件5的範圍是具有用來收容品項的體積或容積的立體空間部。做為一例，目標物件5的範圍，在杯或桶等進入物時，是內側面的底面所包圍的空間部。又，目標物件5的範圍是在目標物件5中代表的一點或複數點。品項物件3與目標物件5是否重疊的判斷，相較於品項物件3及/或目標物件5的一點是否重疊，複數點中的一點或區域是否重疊較容易進行。做為一例，品項從目標部的入口進入，只有在目標位置與品項位置重疊時，判斷品項已進入目標部。做為一例，即使品項未從目標部的入口進入，當目標位置與品項位置重疊時，判斷品項已進入目標部。

在步驟S62，伺服器配合品項的特性參數與目標部的特性參數，將品項進入目標部的以手掌構成的容器後的狀態附加於直播影像4。做為一例，品項的寶石進入目標部的以手掌構成的容器時，對手掌施加一些衝擊。伺服器40將寶石最初碰到手掌的狀態附加於直播影像4中。在使用者終端70，寶石的品項物件3到達以手掌構成的容器的目標物件5為止的狀態被顯示在直播影像4中，藉此，使用者B可視覺確認自己投擲的禮物已到達發送者X。

然而，對發送者X，並非實物體的寶石到達以手掌構成的容器。發送者X只能藉由視聽顯示在發送者終端18或攝影棚監視器14的直播影像4，知道來自使用者B的品項已進入以手掌構成的容器。因此，在步驟S63，伺服器40應以寶石碰到手掌的衝擊感覺賦予發送者X，驅動發送者X配戴的觸覺裝置16，使發送者X可辨識寶石已碰到以手掌構成的容器。此時，觸覺裝置16對發送者X施加的振動，是根據品項的特性參數（重量或形狀等）或手掌的參數（大小、表面粗糙度或柔軟度等）來賦予。做為一例，越重的品項，通過觸覺裝置16，感覺上回饋越強的振動給發送者X。

通常，寶石最初碰到以手掌構成的容器後，在以手掌構成的容器中略微滾動、靜止。在步驟S64，伺服器40根據品項的特性參數或手掌的特性參數，將在以手掌構成的容器中滾動、靜止的狀態附加於直播影像4中。在使用者終端70，寶石的品項物件3到達以手掌構成的容器的目標物件5為止的狀態被顯示在直播影像4中，藉此，使用者B可視覺確認自己投擲的禮物被發送者X接受。伺服器40為例如計時品項物件3對於目標物件5的接觸時間，在閾值以上時在目標物件5內持續顯示品項物件3。接觸時間未滿閾值時為例如進入容器的物體彈跳並飛出容器的情況等。

總結來說，在步驟S65，伺服器40應以感覺賦予配合在以手掌構成的容器中滾動、靜止狀態的衝擊，根據品項的特性參數與手掌的參數驅動發送者X配戴的觸覺裝置16，使發送者X可以感覺辨識在以手掌構成的容器中滾動、靜止的狀況。

此外，對發送者X贈送的禮物過多時，會變得無法進入做為進入物的目標部。品項進入目標部的量是根據特性資料庫42的目標部設定。伺服器40也可以在品項充滿目標部時（溢出時）重設接受的品項，即目標部成為空的狀態。品項是否充滿目標部的判斷，做為一例，是在品項接觸目標物件5的進入物的空間部（進入物的內側面及底面）在特定時間以上，且進入進入物的品項體積總和在進入物容積以下的閾值以上時。又，做為一例，品項接觸目標物件5的進入物的空間部（進入物的內側面及底面）在特定時間以上，且進入物的內側面及底面與品項的接觸面機總和在進入物的內面積以下的閾值以上時。這些狀態可說是品項對於進入物幾乎充滿的狀態。

品項全是虛擬體，在目標部則有實物體與虛擬體。當品項碰到目標部時，因衝擊導致形狀變化，以特定力相互排斥，彼此互相影響。因此，當目標物是實物體時，虛擬體的品項隨著實物體的特性參數變形並排斥。又，當目標部與品項都是虛擬體時，隨著彼此的特性參數變形並排斥。也就是說，品項或目標部的變形量或品項的排斥並飛越彈跳的量等，隨著彼此的特性參數來算出。然後，對應該結果，品項物件3或目標物件5被顯示，觸覺裝置16被進一步驅動。

再者，品項也會碰到桌6或地板等目標部以外之物，因衝擊導致形狀變化，以特定力相互排斥。因此，當桌6或地板等目標部以外之物為實物體時，虛擬體的品項隨著實物體的特性參數變形並排斥。又，當桌6或地板等目標部以外之物為虛擬體時，虛擬體的品項隨著彼此的特性參數變形並排斥。也就是說，品項的變形量或品項的排斥並飛越彈跳的量等，隨著彼此的特性參數來算出。然後，對應該結果，品項物件3、桌6或地板等虛擬體被顯示，觸覺裝置16被進一步驅動。

然而，發送者X在攝影棚內也可能有離開座位的情況（參照第十二（b）圖）。然後，持有品項的發送者X的以手掌構成的容器所保持的品項或目標部可能有離開RGB攝影機12（拍攝範圍）並出鏡的情況。因此，在步驟S66，伺服器40判斷品項位置及目標位置是否在幀內。然後，當在幀外時，在步驟S67，品項物件3及目標物件5不顯示於使用者終端70（第十二（c）圖）。又，當未離開幀時，進入步驟S68，在幀內，在移動目的地的位置持續顯示品項物件3及目標物件5於使用者終端70。

在品項物件3及目標物件5於幀外的情況，發送者X有可能使RGB攝影機12移動，變更拍攝方向，使幀外的品項及目標部在幀內。在如此情況下，在步驟S69，伺服器40再次判斷品項位置及目標位置是否在幀內。然後，當在幀內時，在步驟S70，再次顯示品項物件3及目標物件5於使用者終端70。又，伺服器40在品項位置及目標位置不進入在幀內時，在步驟S71，持續品項物件3及目標物件5的非顯示狀態。

又，在以發送者X的手掌構成的容器（目標部）已經保持有一個以上的寶石（品項）的狀態下，當新的寶石（品項）被投入時，伺服器40使新的品項物件3碰到以手掌構成的容器的目標物件5內所存在的品項物件3，似乎從以手掌構成的容器溢出，或有可能溢出。因此，如第十三（a）圖所示，在步驟S81，伺服器40在以發送者X的手掌構成的容器（目標部）已經保持有一個以上的寶石（品項）的狀態下，當新的寶石（品項）被投入時，使新的品項物件3碰到以手掌構成的容器的目標物件5內所存在的品項物件3，兩者被彈開，似乎從以手掌構成的容器溢出的狀態被附加到直播影像4中，顯示於使用者終端70或發送者終端18（參照第十三（b）及十三（c）圖）。此外，在第十三（b）及十三（c）圖中，似乎溢出的品項物件以3a表示。又，在步驟S82，伺服器40應賦予以品項彼此相撞的衝擊或在以手掌構成的容器內滾動的感覺，發送者X配戴的觸覺裝置16根據品項的特性參數或手掌的參數來驅動，使發送者X可辨識在以手掌構成的容器中滾動、靜止的感覺。

在步驟S83，伺服器40根據投入品項的使用者終端70的操作資料、品項的特性參數以及手掌的參數來判斷寶石的品項物件3是否從目標物件5的以手掌構成的容器溢出。然後，伺服器40在溢出的情況下，進入步驟S84，在未溢出的情況下，重複從步驟S81的處理。

當品項從以手掌構成的容器溢出時，品項根據品項的特性參數、地板或桌6的特性參數等，在桌6上滾動（參照第十四（a）圖）、從桌6落下並在地板上滾動。伺服器40將從品項在桌6滾動的狀態到從桌6落下在地板滾動的一連串狀態附加於直播影像4中，顯示於使用者終端70或發送者終端18。此外，在第十四（a）圖中，滾動的品項物件以3a表示。

在步驟S84，伺服器40判斷品項滾動的結果、品項位置是否在幀內。然後，在幀外時，在步驟S85，品項物件3不被顯示於使用者終端70。又，不在幀外時，進入步驟S86，在幀內，根據品項的特性參數、地板或桌6的特性參數等，在移動目的地的位置持續顯示品項物件3於使用者終端70。

品項物件3在幀外的情況下，發送者X有可能使RGB攝影機12移動，變更拍攝方向，使幀外的品項在幀內。當品項在幀內時，在步驟S87，再度將品項物件3a顯示於使用者終端70（第十四（b）～十四（d）圖）。此外，伺服器40在品項位置不進入幀內時，品項物件3a持續非顯示狀態。

此外，做為直播準備，藉由取得在攝影棚10的所有三維位置資訊，即使品項物件3從桌6掉落，在桌6下等通常看不到的位置滾動，也可以確定其位置。

然而，使用者B投擲的品項也可能偏離目標部。也就是說，寶石的品項物件3有可能不進入以手掌構成的容器的目標物件5（參照第十二（a）的C、在步驟S61的NO情況、第十五（b）圖）。在如此情況下，如第十五（a）圖所示，在步驟S91，伺服器40判斷品項位置是否在幀內，在幀外時，在步驟S92，品項物件3不顯示於使用者終端70。又，當不在幀外時，進入步驟S86，在幀內，根據品項的特性參數、地板或桌6的特性參數等，在移動目的地的位置持續顯示品項物件3於使用者終端70。

品項物件3在幀外的情況下，發送者X有可能使RGB攝影機12移動，變更拍攝方向，使幀外的品項在幀內。當品項在幀內時，在步驟S94，再度將品項物件3a顯示於使用者終端70。此外，伺服器40在品項位置不進入幀內時，品項物件3a持續非顯示狀態。

此外，做為一例，當深度攝影機13的檢測範圍比RGB攝影機12的拍攝範圍更寬廣時，品項位置或目標位置有可能離開RGB攝影機12的拍攝範圍，也離開深度攝影機13的檢測範圍。在此情況下，伺服器40保持離開檢測範圍前的目標部的目標位置貨品項位置，當回歸深度攝影機13的檢測範圍時，將目標位置貨品項位置更新為回歸位置。又，伺服器40配合在回歸深度攝影機13的檢測範圍時的進入物或品項的狀態，驅動觸覺裝置16。

根據上述直播系統1，可獲得以下列舉的效果。 （1）在直播系統1，做為使用者的需求，例如使用者A、B、C從想要發送者X接受品項的心情，會盡可能購買許多品項投入目標部的進入物。然後，品項進入發送者X的進入物也會傳達給發送者X，使用者A、B、C可以看到發送者X的反應。因此，使用者A、B、C會盡可能購買許多品項，對發送者X投擲。另一方面，發送者X也可以實際感受到品項被贈送，促使使用者A、B、C購買更多品項。藉此，可增加對於直播系統1的發送者或使用者A、B、C的參加人數，可活化直播系統1。

（2）使用者A、B、C可使用使用者終端50、70、80，對於在攝影棚10的發送者X所設定的目標部投入品項。然後品項的品項位置與目標部的目標位置重疊時，品項會進入目標部的進入物。藉此，使用者A、B、C對於在遠離場所的發送者X可以藉由虛擬地投入品項至目標部的進入物，來贈送品項。藉此，直播系統1可提高娛樂性。

（3）使用者A、B、C對發送者X進行對攝影棚10投擲品項的動作來贈送禮物時，從使用者終端50、70、80傳送關於手臂揮動的加速度資料、角度資料、角速度資料等操作資料。又，傳送活動操作時的座標等。因此，使用者A、B、C可自由調整品項的飛越狀況，可調整品項飛翔方向或飛翔距離，可使品項容易地進入目標部，可提高娛樂性。

（4）發送者X可藉由自己活動，使成為目標部的進入物移動。發送者X藉由使成為目標部的進入物移動，也可以讓使用者A、B、C投擲的品項難以進入目標部的進入物，可以促使使用者A、B、C購買更多品項。

（5）品項物件3與目標物件5重疊時，此狀況可做為品項已進入目標部。藉此，在視覺上，可通知使用者A、B、C或發送者X品項已進入目標部。

（6）藉由在第一特別期間限於對發送者贈送禮物的期間，可在第一特別期間集中購買品項來贈送給發送者X。 （7）發送者X也可以用自己的手掌構成投入品項的目標部所成的進入物。又，發送者X也可以進行手持杯或桶等實物體。藉此，發送者X選擇目標部的自由度提高，又，因為成為目標部的進入物是實物體的進入物，所以使用者A、B、C容易通過直播影像4把握。

（8）放置目標部的進入物的位置，即目標位置，除了發送者X的部分手掌或手持的實物體的杯等，可以設定為發送者X的座位的桌上等稍微遠離的位置等。也就是說，可提高設定目標位置的位置自由度。

（9）目標部並非受限於實物體，也可以是不實際存在於攝影棚10的虛擬物，可提高選擇目標部的自由度，可提高娛樂性。

（10）目標部可從候補群中選擇。因為設定的目標部種類被限制，所以可極詳細地設定目標部的特性參數。又，發送者X也可以自由從候補中選擇目標部。

（11）關聯於攝影棚10的發送者而設定的目標部的目標位置可由深度攝影機13檢測的三維位置資訊來確定。 （12）目標部的特性參數是藉由做為接近實物體的值，可提高真實性，藉由做為與實物體不同的特性參數，目標部成為虛擬的，可提高娛樂性。

（13）品項的特性參數做為接近實物體的值，可提高真實性，藉由做為與實物體不同的特性參數，品項成為虛擬的，可提高娛樂性。

（14）由於發送者配戴觸覺裝置16，可配合發送者賦予感覺回饋。例如，通過觸覺裝置16，可感受到品項進入目標部、進入物中滾動、品項從進入物溢出而變輕等。

〔第二實施形態〕 第十六圖表示本發明的第二實施型態。第二實施型態的顯示控制系統，被攝體為戶外的神社寺院等祭祀設施的犬像。然後，在犬像前的香油錢箱是目標部。目標部的香油錢箱並非存在於犬像前的實物體，是參拜造訪的使用者D、E使用頭戴顯示裝置（HMD）或智慧裝置等使用者終端來識別的虛擬體。在此，使用者D配戴HMD110，使用者E持有智慧裝置的使用者終端140。使用者D、E實際前往並靠近犬像。做為一例，使用者D、E所處場所靠近犬像，是靠近被攝體至可投入香油錢程度的場所。但是，當祭祀設施等有大量人潮前往參拜時，將香油錢瞄準香油錢箱並投入會變得困難。使用者D、E啟動HMD110或使用者終端140的應用程式時，通過HMD110或使用者終端140，可視覺確認犬像前的香油錢箱的目標物件5，可對目標物件5投入虛擬品項的香油錢。又，設定目標物件5的位置，像許願池一樣，使用者也可以頻繁地投入硬幣的位置。又，設定目標物件5的位置，也可以是在文化財產或遺跡等公益設施前等，募集為了維持管理或修繕修復的捐款的捐款箱。又，目標物件5也可以是被攝體的犬像本身。此外，做為使用者終端，除此之外也可以是如智慧眼鏡等的眼鏡型資訊處理終端。

如第十七圖所示，使用者D的使用者終端的HMD110具備：顯示部112，位於配戴在頭部的配戴部所設有的使用者D的眼前；控制單元115，內藏於配戴部，控制整個HMD110；揚聲器116；以及操作部117。控制單元115具備：網路IF118、資料記憶部119、主記憶體120以及控制部121。資料記憶部119對於虛擬的香油錢箱的目標物件5，儲存為了投入虛擬的香油錢等品項並附加於品項物件3的應用程式，控制部121根據該程式控制整體動作。

顯示部112為例如使用透光型顯示面板等的光學穿透型時，將目標物件5附加於透光型顯示面板上。又例如不使用透光型顯示面板，也可以使用直接在網膜上成像目標物件5的網膜投影型顯示裝置。又，當影像穿透型或非透光型時，將目標物件5附加於投影到顯示元件的實空間的影像。具體來說，HMD110在顯示部112顯示做為香油錢的品項物件3。HMD110具備RGB攝影機113與深度攝影機114。HMD110從RGB攝影機113的實空間影像檢測犬像，同時藉由深度攝影機114取得犬像位置的三維位置資訊，在顯示部112，附加目標物件5於犬像前。深度攝影機114在檢測範圍內經常地取得使用者D的各處的三維位置資訊。HMD110投入香油錢時，在顯示部112，附加香油錢的品項物件3於投香油錢動作的手掌。然後，使用者D進行投香油錢的動作時，用深度攝影機114追蹤投香油錢動作的手掌等來檢測位置變化，根據檢測到的使用者動作資訊，在顯示部112，附加飛越的香油錢的品項物件3。

HMD110在品項物件3的品項位置與目標物件5的目標位置重疊時，判斷香油錢已進入香油錢箱。當品項位置與目標位置不重疊時，HMD110判斷香油錢未進入香油錢箱。品項的課金也可以在品項位置與目標位置重疊，香油錢進入香油錢箱時進行。又，香油錢進入香油錢箱為止，也可以不追加課金進行反覆投香油錢。顯示目標物件5的目標位置也可以與香油錢箱的大小完全一致，也可以不完全一致。例如香油錢箱放置的目標位置設定成比香油錢箱的目標物件的大小略大。藉此，即使香油錢的品項物件3與目標物件5有部分不重疊時，香油錢也可以進入香油錢箱。第一實施形態的品項課金是以營利為目的，但在第二實施形態的項目課金為非營利，是根據使用者的善意或宗教心來進行者。因此，品項物件3設定成對目標物件5容易進入者為較佳。犬像本身設定成目標物件5時，也可以在香油錢的品項物件3碰撞到目標物件5時，判斷奉獻成功。

又，使用者E的使用者終端140，是具有與上述的使用者終端70相同結構的智慧裝置，但更具備RGB攝影機113與深度攝影機114。使用者E以使用者終端140的RGB攝影機113拍攝犬像並顯示實空間影像於顯示部。然後，使用者終端140從RGB攝影機113的實空間影像檢測犬像，同時以深度攝影機114取得犬像位置的三維位置資訊，附加目標物件5於犬像前。當投入香油錢時，使用者E沿著往目標物件5的方向進行滑動操作。藉此，使用者終端140根據基於滑動操作的使用者動作資訊，附加品項物件3。也就是說，使用者終端140在顯示部，顯示香油錢的品項物件3往香油錢箱的目標物件5的方向飛去的狀態。然後，使用者終端140在品項物件3的品項位置與目標物件5的目標位置重疊時，判斷香油錢已進入香油錢箱。又，在品項位置與目標位置不重疊時，判斷香油錢未進入香油錢箱。香油錢是否進入香油錢箱的判斷，與HMD110的情況一樣。

顯示控制系統更具備管理香油錢箱的伺服器130。HMD110在購入香油錢時，或香油錢進入香油錢箱時，將課金訊號送到伺服器130。伺服器130賦予關聯於使用者ID並管理課金金額，對應課金訊號算出各使用者ID的課金金額。香油錢最後被支付到營運祭祀設施的宗教法人等團體。

根據上述顯示控制系統，可獲得以下列舉的效果。 （1）使用者D、E即使實際上不去犬像前，也可以從遠離一些距離的位置將香油錢投入香油錢箱。因此，可實現參拜時間的縮短。

（2）僅以使用者管理的使用者終端，設定目標物件5，將品項瞄準並投入目標物件5。也就是說，可以省略在第一實施形態的攝影棚10的設備（麥克風11、RGB攝影機12、深度攝影機13、攝影棚監視器14、揚聲器15、控制裝置17、發送者終端18等）。

（3）在顯示控制系統，管理人虛擬設置不需要的香油錢箱，只投入虛擬硬幣。也就是說，實際上並不是香油錢投入香油錢箱。因此，可防止香油錢箱內的香油錢被不明智者拿走。又，可防止偽造硬幣被使用。因此，可降低犬像前進行非營利的募款活動的營運成本，使活動可持續。

（4）因為實際上並沒有將香油錢投入香油錢箱，所以不需要對實際的香油錢箱進行香油錢的回收作業。此外，上述直播系統，也可以適當變更並實施如下。

・在第一實施形態中，發送者X配戴的觸覺裝置16也可以省略。品項是否已進入發送者X的目標部是因為可在攝影棚監視器14或發送者終端18視覺確認。

・在第一實施形態中的特性資料庫42，在第二實施形態也可以適用。又，在第一實施形態及第二實施形態中，特性資料庫42也可以省略。又，特性資料庫42所管理的特性參數，也可以只管理目標部特性參數及品項特性參數的至少一特性參數。

・在第一實施形態中，發送者X的活動追蹤或設定目標物件5的目標部（實物體的杯子、桶、發送者X的手掌等）追蹤，是以深度攝影機13進行三維位置資訊來追蹤，但也可以省略深度攝影機13，僅用RGB攝影機12來進行。做為一例，目標部的檢測，可利用深度學習的AI來提高從影像檢測目標部的檢測精確度。

再者，關於在動態捕捉處理中的動態（骨架及各骨架的活動＝動作）檢測識別處理，也可以將來自RGB攝影機12的影像應用於根據深度學習等的動作學習結果的識別處理來實施。

・使用者的特定動作（例如投入品項的動作或往何方向、以多少強度投入），並非受限於根據智慧手錶60的檢測部或智慧裝置終端70a的檢測部進行的檢測結果來判斷（檢測）。也可以是例如根據以攝影機取得的影像，算出幀間差分或運動向量來判斷。

・在第一實施形態中，也可以不設第一特別期間或第二特別特別期間等特別期間。在此情況下，以使用者終端視聽直播影像的時間之間，品項可進入目標部。又，在第二實施形態中，也可以設特別期間。

・做為目標部，也可以只是預先設定的一種實物體（例如僅做為實物體的杯子，僅做為實物體的桶）。又，做為目標部，也可以只是預先設定的一種虛擬體（例如僅做為虛擬體的杯子，僅做為實物體的桶）。再者，即使做為品項，也可以只是預先設定的一種品項（例如僅做為銅板，僅做為寶石）。又，在第二實施型態，決定對於目標部的香油錢箱投入香油錢的狀況。因此，目標部也可以預先設定成香油錢箱，品項也可以預先設定成銅板（使用者D、E不能選擇品項的種類）。

・又，特別期間並非受限於直播中。做為一例，在年初參拜期間，神社等祭祀設施擁擠。因此，在擁擠時，也可以使做為目標部的香油錢箱變大。

・在第一實施形態中，使用者終端可視聽的影像並非受限於直播。做為一例，當伺服器40在發送者X發送拍攝過的影像（附加目標物件5的影像）的時刻時，做為在使用者終端可視聽的狀態，在發送時刻以後，使用者以使用者終端存取，使得能以使用者視聽發送影像。然後，使用者可以使用者終端投入品項至目標部。在此情況下，處於發送結束時刻，停止發送。

・在第一實施形態中，伺服器40也可以分散在邊緣伺服器。

・顯示控制程序通過網路，或通過光碟或半導體記憶體等可搬性記錄媒體，載入至電腦。

1:直播系統 2:網路 3、3a:品項物件 4:直播影像 4a:實況影像 5:目標物件 5a:杯 5b:桶 6:桌 7:一覽物件 8:品項選擇物件 9:照明 10:攝影棚 11:麥克風 12、113:RGB攝影機 13、114:深度攝影機 14:攝影棚監視器 15、32、116:揚聲器 16:觸覺裝置 16a:致動器 17:控制裝置 18:發送者終端 21:RGB攝影機IF 22:深度攝影機IF 23:觸覺裝置IF 24、51、71:音響裝置IF 25、52、72:顯示IF 26、34、44、53、75、118:網路IF 27、54、62:通訊IF 28、37、46、58、66、78、121:控制部 36、45、57、64、77、120:主記憶體 31、59、73、112:顯示部 33、117:操作部 35、43、55、63、76、119:資料記憶部 40、130:伺服器 41:實況資料庫 42:特性資料庫 50、70、80、140:使用者終端 50a:個人電腦 56、73:操作IF 59、79:顯示部 60:智慧手錶 61、74:感測器 65、79a:振動器 70a:智慧裝置終端 110:HMD 115:控制單元 A、B、C、D、E:使用者 X:發送者 S1~S94:步驟

[第一圖]表示第一實施形態的直播系統的整體結構圖。 [第二圖]是攝影棚所具備的控制裝置及發送終端與伺服器的方塊圖。 [第三圖]表示特性資料庫的圖。 [第四圖]是伺服器與使用者終端的方塊圖。 [第五圖]是（a）設定杯子做為目標部時的處理流程圖，（b）表示將杯子設定為目標部時的發送者終端的顯示畫面的圖。 [第六圖]（a）以姿態設定目標部時的處理流程圖，（b）表示以姿態設定目標部時的發送者終端的顯示畫面的圖。 [第七圖]是將目標部做為虛擬體的物件時的處理流程圖。 [第八圖]是（a）表示選擇目標物件時的發送者終端的顯示畫面的圖，（b）表示在目標物件選擇桶子的狀態的發送者終端的顯示畫面的圖，（c）表示發送者以手持做為目標物件的桶子的狀態的發送者終端的顯示畫面的圖。 [第九圖]是（a）直播處理的流程圖，（b）表示特別期間開始時的使用者終端的顯示畫面的圖。 [第十圖]是（a）呈獻處理的流程圖，（b）表示一覽顯示可選擇的品項的品項選擇物件的使用者終端的顯示畫面的圖，（c）表示顯示已選擇的品項的使用者終端的顯示畫面的圖。 [第十一圖]是（a）表示使用者對使用者終端的顯示面滑動操作的狀態的圖，（b）表示品項物件向目標物件飛去狀態的使用者終端及發送者終端的顯示畫面的圖，（c）表示品項物件到達目標物件的狀態的使用者終端及發送者終端的顯示畫面的圖。 [第十二圖]是（a）表示品項物件顯示處理的流程圖，（b）表示發送者離席狀態的使用者終端及發送者終端的顯示畫面的圖，（c）表示品項物件及目標物件出鏡狀態的使用者終端及發送者終端的顯示畫面的圖。 [第十三圖]是第十二（a）圖的延續，表示品項從目標部掉落時的處理的流程圖，（b）表示複數個品項被以手掌構成的容器所保持的狀態的使用者終端及發送者終端的顯示畫面的圖，（c）表示品項從以手掌構成的容器掉落的狀態的使用者終端及發送者終端的顯示畫面的圖。 [第十四圖]是第十三（a）圖的延續，表示在桌上品項滾動的狀態的使用者終端及發送者終端的顯示畫面的圖，（b）表示品項從桌掉落的狀態的使用者終端及發送者終端的顯示畫面的圖，（c）表示品項在地板滾動的狀態的使用者終端及發送者終端的顯示畫面的圖，（d）表示品項在地板上靜止的狀態的使用者終端及發送者終端的顯示畫面的圖。 [第十五圖]是（a）表示品項未進入目標部時的處理的流程圖，（b）表示品項離開目標部的狀態的使用者終端及發送者終端的顯示畫面的圖。 [第十六圖]表示第二實施形態的顯示控制系統的圖。 [第十七圖]是在第二實施形態的頭戴顯示裝置的方塊圖。

2:網路

3:品項物件

4:直播影像

5:目標物件

6:桌

9:照明

10:攝影棚

11:麥克風

12:RGB攝影機

13:深度攝影機

14:攝影棚監視器

15:揚聲器

16:觸覺裝置

17:控制裝置

18:發送者終端

40:伺服器

50、70、80:使用者終端

50a:個人電腦

70a:智慧裝置終端

A、B、C:使用者

X:發送者

Claims (16)

1. 一種顯示控制系統，具備： 取得部，取得實空間的三維位置資訊； 設定部，以前述三維位置選定接受前述實空間的品項的目標部的位置，將前述目標部設定在該位置；以及 顯示控制部，將對應前述目標部的目標物件附加於在影像的前述目標部的位置，同時將對應前述品項的品項物件附加於在前述影像的根據表示使前述品項向前述目標物移動的使用者動作的使用者動作資訊所選定的品項的品項位置。
2. 如申請專利範圍第1項所述的顯示控制系統，其中前述顯示控制系統更具備：發送部，發送存在被攝體的前述實空間的前述影像； 對前述影像，附加前述目標物件及前述品項物件。
3. 如申請專利範圍第2項所述的顯示控制系統，其中前述顯示控制部，隨著前述被攝體的移動來使前述目標物件移動。
4. 如申請專利範圍第1或2項所述的顯示控制系統，其中前述目標部為前述品項的放入物； 前述顯示控制部，在前述品項位置與前述目標部的位置重疊時，使前述品項物件顯示成進入前述目標物件。
5. 如申請專利範圍第1或2項所述的顯示控制系統，更具備：期間管理部，管理前述目標部接受前述品項的特別期間； 前述顯示控制部，在前述特別期間，前述品項位置與前述目標部的位置重疊時，使前述品項物件顯示成進入前述目標物件。
6. 如申請專利範圍第1或2項所述的顯示控制系統，其中前述目標部是存在於前述實空間的實物體； 前述目標部的位置被設定成在前述實空間的前述實物體的位置； 前述目標物件是對應前述實物體的物件。
7. 如申請專利範圍第1或2項所述的顯示控制系統，其中前述目標部是不存在於前述實空間的虛擬體； 前述目標部的位置被設定成在前述實空間； 前述目標物件是對應前述虛擬體的物件。
8. 如申請專利範圍第2項所述的顯示控制系統，其中前述目標部是被攝體或被攝體的一部分； 前述目標部的位置被設定成被攝體或被攝體的一部分。
9. 如申請專利範圍第1或2項所述的顯示控制系統，其中前述設定部將從前述目標部的選擇候補群中所選擇的選擇目標部設定成前述目標部； 前述顯示控制部相對於前述影像，附加對應前述目標部的前述目標物件。
10. 如申請專利範圍第1項所述的顯示控制系統，其中前述取得部是根據深度攝影機所檢測的深度資訊來取得前述三維位置資訊。
11. 如申請專利範圍第2項所述的顯示控制系統，其中前述取得部是根據RGB攝影機所攝影的影像來取得前述三維位置資訊。
12. 如申請專利範圍第1項所述的顯示控制系統，具備：特性資料庫，管理表示前述目標部的特性的目標部特性參數； 前述顯示控制部根據前述目標部特性參數，對前述影像附加前述目標物件。
13. 如申請專利範圍第1項所述的顯示控制系統，具備：特性資料庫，管理表示前述品項的特性的品項特性參數； 前述顯示控制部根據前述品項特性參數，對前述影像附加前述品項物件。
14. 如申請專利範圍第2項所述的顯示控制系統，具備：觸覺控制部，控制配戴在前述被攝體的人物的觸覺裝置； 前述觸覺控制部，根據表示前述目標物的特性的目標部特性參數及表示前述品項的特性的品項特性參數的至少一參數，來控制前述觸覺裝置。
15. 一種顯示控制方法，其中取得部取得實空間的三維位置資訊，設定部以前述三維位置選定接受前述實空間的品項的目標部的位置，將前述目標部設定在該位置，顯示控制部將對應前述目標部的目標物件附加於在相當於前述實空間的影像的以前述三維位置資訊所選定的前述目標部的位置，同時將對應前述品項的品項物件附加於在前述影像的根據表示使前述品項向前述目標物件移動的使用者動作的使用者動作資訊所選定的品項的品項位置。
16. 一種顯示控制程序，在電子計算機中，設定部以實空間的三維位置選定接受前述實空間的品項的目標部的位置，將前述目標部設定在該位置，顯示控制部將對應前述目標部的目標物件附加於在相當於前述實空間的實空間像的以前述三維位置資訊所選定的前述目標部的位置，同時將對應前述品項的品項物件附加於在前述實空間像的根據表示使前述品項向前述目標物件移動的使用者動作的使用者動作資訊所選定的品項的品項位置。

Images