TW201346640A - 影像處理裝置及電腦程式產品 - Google Patents

影像處理裝置及電腦程式產品 Download PDF

Info

Publication number
TW201346640A
TW201346640A TW102101633A TW102101633A TW201346640A TW 201346640 A TW201346640 A TW 201346640A TW 102101633 A TW102101633 A TW 102101633A TW 102101633 A TW102101633 A TW 102101633A TW 201346640 A TW201346640 A TW 201346640A
Authority
TW
Taiwan
Prior art keywords
virtual object
information processing
processing device
matrix
unit
Prior art date
Application number
TW102101633A
Other languages
English (en)
Inventor
Shunichi Kasahara
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201346640A publication Critical patent/TW201346640A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

一種資訊處理裝置及非暫態電腦可讀媒體合作來提供一具有電路的控制單元，配置以接收資訊處理裝置之一偵測姿勢的指示，並將一虛擬物件附加於具有關於資訊處理裝置之偵測姿勢的姿勢之一參考環境。

Description

影像處理裝置及電腦程式產品
本揭露關於一種影像處理裝置，及一種電腦程式產品。
近年來，稱為強化實境(AR)的技術已經引起了關注，其中對使用者呈現具有重疊於其上之額外資訊的真實世界。在AR技術中呈現給使用者的資訊亦稱為註解，且能使用為如文字、圖像、或動畫之各種形式的虛擬物件來顯現。在現有的AR技術中，AR應用程式的開發者主要扮演將虛擬物件佈置在AR空間中的角色。開發者決定虛擬物件應佈置在AR空間中的哪個位置和哪個姿勢。於是決定的虛擬物件之佈置係與給定的環境(例如，在真實空間中的特定空間、地點、真實物件、或真實物件之集合)相關聯地被儲存作為資料。因此，實現AR應用程式，其中當終端使用者使用影像裝置來擷取環境之影像時，關聯於環境的虛擬物件重疊在所擷取的影像上。
專利文獻1於下顯示用於在佈置虛擬物件前之階段中 模型化真實空間的技術之實例。專利文獻2於下顯示使用具有計算將虛擬物件重疊在所擷取之影像上所需的影像裝置之位置和姿勢的目的之天然標記的技術之實例。
[引用列表] [非專利文獻] [NPL 1]
A. van den Hengel, R.Hill, B.Ward和A.Dick，「In Situ Image-based Modeling」(在2009年針對混合和強化實境的第八屆IEEE國際研討會)
[NPL 2]
W.Daniel, G.Reitmayr, A.Mulloni, T.Drummond，和D.Schmalstieg,「Pose Tracking from Natural Features on Mobile Phones」(在2008年針對混合和強化實境的第七屆IEEE國際研討會)
然而，基於現有的AR技術，具有專門知識的AR應用程式之開發者以外的開發者已很難將虛擬物件適當地佈置在AR空間中。反之，若不具專門知識的一般使用者將虛擬物件自由且很容易地佈置在AR空間中並檢視和共享虛擬物件變得可能，則AR應用的範圍會增加而因此更多使用者將能夠享受AR技術的優點。
因此，根據本揭露之技術提出了一種藉其能將虛擬物 件自由且很容易地佈置在AR空間中的機制。
一種資訊處理裝置及非暫態電腦可讀媒體合作來提供一具有電路的控制單元，配置以接收資訊處理裝置之一偵測姿勢的指示，並將一虛擬物件附加於具有關於資訊處理裝置之偵測姿勢的姿勢之一參考環境。
根據本揭露之技術提出了一種藉其能將虛擬物件自由且很容易地佈置在AR空間中的機制。
1‧‧‧環境
11‧‧‧桌子
12‧‧‧書
13‧‧‧咖啡杯
100‧‧‧影像處理裝置
CS0‧‧‧座標系統
CS1‧‧‧座標系統
M0‧‧‧單位矩陣
Mrecog‧‧‧環境辨識矩陣
Marrange‧‧‧物件佈置矩陣
Toffset‧‧‧前偏移矩陣
Ttouch‧‧‧操作偏移矩陣
V01‧‧‧虛擬物件
V02‧‧‧虛擬物件
Im1‧‧‧輸出影像
102‧‧‧影像單元
104‧‧‧感測單元
106‧‧‧輸入單元
108‧‧‧儲存單元
110‧‧‧顯示單元
112‧‧‧通訊單元
116‧‧‧匯流排
118‧‧‧控制單元
120‧‧‧影像取得單元
130‧‧‧辨識單元
140‧‧‧計算單元
150‧‧‧物件佈置單元
160‧‧‧物件DB
180‧‧‧操作控制單元
190‧‧‧顯示控制單元
V11‧‧‧虛擬物件
V12‧‧‧虛擬物件
V13‧‧‧虛擬物件
V0‧‧‧虛擬物件
Mrel‧‧‧相對佈置矩陣
CS3‧‧‧座標系統
S110-S170‧‧‧步驟
S151-S159‧‧‧步驟
V21‧‧‧虛擬物件
V22‧‧‧虛擬物件
V23‧‧‧虛擬物件
V24‧‧‧虛擬物件
V31‧‧‧虛擬物件
V32‧‧‧虛擬物件
V33‧‧‧虛擬物件
V34‧‧‧虛擬物件
V35‧‧‧虛擬物件
V36‧‧‧虛擬物件
4‧‧‧環境
200‧‧‧管理伺服器
300a‧‧‧終端裝置
300b‧‧‧終端裝置
CS4‧‧‧座標系統
CS5‧‧‧座標系統
5a‧‧‧環境
15a‧‧‧書
5b‧‧‧環境
15b‧‧‧書
210‧‧‧通訊單元
220‧‧‧控制單元
250‧‧‧儲存單元
230‧‧‧使用者管理單元
240‧‧‧物件管理單元
252‧‧‧物件佈置資料
254‧‧‧物件資料
300‧‧‧終端裝置
325‧‧‧資料取得單元
350‧‧‧物件佈置單元
355‧‧‧註冊單元
360‧‧‧物件DB
380‧‧‧操作控制單元
390‧‧‧顯示控制單元
VA1‧‧‧虛擬物件
S210-S265‧‧‧步驟
第1圖係顯示能應用根據本揭露之技術的環境之實例的說明圖。
第2圖係繪示根據本揭露之技術的基本原理之第一說明圖。
第3圖係繪示根據本揭露之技術的基本原理之第二說明圖。
第4圖係繪示根據本揭露之技術的基本原理之第三說明圖。
第5圖係繪示根據本揭露之技術的基本原理之第四說明圖。
第6A圖係顯示根據示範情境來佈置虛擬物件的視圖之第一說明圖。
第6B圖係顯示根據示範情境來佈置虛擬物件的視圖 之第二說明圖。
第7圖係繪示物件佈置資料之基本配置實例的說明圖。
第8圖係繪示根據本揭露之技術的基本原理之第五說明圖。
第9圖係顯示根據第一實施例之影像處理裝置的示範硬體配置之方塊圖。
第10圖係顯示根據第一實施例之影像處理裝置的示範配置之方塊圖。
第11圖係顯示根據第一操作情境將新的虛擬物件佈置在參考環境中的視圖之說明圖。
第12圖係顯示根據第二操作情境來移動所佈置之虛擬物件的視圖之說明圖。
第13圖係繪示切換參考環境的說明圖。
第14圖係顯示根據第一實施例之影像處理的示範流程之流程圖。
第15圖係顯示第14圖示範性所示之物件佈置程序的示範詳細流程之流程圖。
第16圖係繪示決定虛擬物件之參考平面的說明圖。
第17圖係繪示根據與虛擬物件之距離所執行的顯示之說明圖。
第18圖係繪示用於虛擬物件之排列顯示的說明圖。
第19圖係繪示物件佈置矩陣之連續儲存的說明圖。
第20圖係繪示根據第二實施例之影像處理系統的第 一說明圖。
第21A圖係繪示根據第二實施例之影像處理系統的第二說明圖。
第21B圖係繪示根據第二實施例之影像處理系統的第三說明圖。
第22圖係顯示根據第二實施例之管理伺服器的示範配置之方塊圖。
第23圖係繪示物件佈置資料之實例的說明圖。
第24圖係繪示物件資料之實例的說明圖。
第25圖係顯示根據第二實施例之終端裝置的示範配置之方塊圖。
第26圖係顯示根據第二實施例之虛擬物件的顯示之第一實例的說明圖。
第27圖係顯示根據第二實施例之虛擬物件的顯示之第二實例的說明圖。
第28圖係顯示根據第二實施例之啟動通訊應用程式的說明圖。
第29圖係顯示在根據第二實施例之裝置之間執行的程序之示範流程的順序圖。
在下文中，將參考附圖來詳細說明本揭露之實施例。請注意在本說明書和附圖中，具有本質上相同功能和結構的結構元件係以相同參考數字來表示，並省略這些結構元 件的重覆說明。
將依下列順序來說明。
1.基本原理
1-1.概要
1-2.基本參數
1-3.參數之儲存
1-4.虛擬物件之顯示
2.第一實施例
2-1.硬體配置
2-2.功能配置
2-3.操作情境
2-4.程序流程
2-5.顯示之變化
2-6.應用之實例
3.第二實施例
3-1.系統概要
3-2.伺服器之配置
3-3.終端之配置
3-4.程序流程
4.結語
<1.基本原理>
首先，將參考第1至8圖來說明根據本揭露之技術的基本原理。
(1-1.概要)
第1圖係顯示能應用根據本揭露之技術的環境之實例的說明圖。參考第1圖，顯示環境1和擷取環境1之影像的影像處理裝置100。在第1圖之實例中，環境1包括桌子11、書12、和咖啡杯13。影像處理裝置100通常包括影像單元(未顯示)和顯示單元110。影像處理裝置100的影像單元擷取一系列組成環境1之視頻的影像。影像處理裝置100接著使用作為輸入影像之已擷取影像來執行影像處理，並將虛擬物件佈置在三維空間中。影像處理裝置100的顯示單元110顯示具有虛擬物件重疊於其上的輸出影像。此虛擬物件可接著由具有檢視能力(例如，相機)和接收有關附加至參考環境之虛擬物件的儲存資訊之介面的其他處理裝置檢視。
影像處理裝置100將虛擬物件佈置在給定的參考環境中。亦即，虛擬物件的位置和姿勢被定義在關聯於參考環境的座標系統(以下稱為參考座標系統)中。在下列說明中，包括桌子11、書12、和咖啡杯13的環境1係為參考環境。實際上，參考環境可以是任何室內或室外環境。作為另一環境，真實物件所特有之具有座標系統的單一真實物件可被處理成參考環境。在這種情況下，真實物件所特有的座標系統係為參考座標系統。
第1圖顯示平板PC作為影像處理裝置100之實例。然而，影像處理裝置100不以此為限。影像處理裝置100 可以是例如筆記型PC、口袋PC、智慧型手機、遊戲終端、PND(可攜式導航裝置)、內容播放器、或數位家用電器。
(1-2.基本參數)
在根據本揭露之技術中，佈置在參考環境中的虛擬物件之位置和姿勢係透過使用幾個參數的計算來決定。最基本的參數係為環境辨識矩陣。
(1)環境辨識矩陣
環境辨識矩陣係為一種表示參考環境之位置和姿勢相對於終端之位置和姿勢的矩陣，其在參考環境中已擷取輸入影像。環境辨識矩陣通常可以是一種表示在三維空間(例如，4×4的齊次轉換矩陣)中平行位移、旋轉和縮放(放大/縮小)的座標轉換矩陣。
參考第2圖，顯示關聯於參考環境1的參考座標系統CS1和影像處理裝置100的裝置特定座標系統CS0。裝置特定座標系統CS0能由例如顯示單元110之螢幕的二維座標軸和深度座標軸來配置。參考座標系統CS1相對於影像處理裝置100之裝置特定座標系統CS0的相對位置和姿勢能藉由利用已知的影像辨識技術使用輸入影像來辨識。本文所利用的影像辨識技術可以是例如SfM(運動中探知結構)法、SLAM(同步定位與地圖建置)法、或上述專利文獻1或2中所述之方法。替代地，亦可利用使用紅外線 感測器的簡單環境技術。
本文中，假設影像處理裝置100之裝置特定座標系統CS0的位置和姿勢係以單位矩陣M0來表示。接著，變得可能將參考環境1中的給定位置和姿勢辨識為從矩陣M0的座標轉換(平行位移、旋轉、和縮放)。因此一組位置和姿勢能以單一座標轉換矩陣來表示。上述環境辨識矩陣係為這類座標轉換矩陣之其一者。環境辨識矩陣Mrecog表示參考座標系統CS1相對於影像處理裝置100(例如，單位矩陣M0)之位置和姿勢的位置和姿勢。
(2)物件佈置矩陣
在上述前提下，環境辨識矩陣Mrecog的反矩陣Mrecog -1係為表示影像處理裝置100相對於參考座標系統CS1之位置和姿勢的位置和姿勢。在根據本揭露之技術中，虛擬物件被佈置在為基於環境辨識矩陣的反矩陣Mrecog -1之位置和姿勢的參考環境中。第3圖示意地顯示以環境辨識矩陣Mrecog的反矩陣Mrecog -1來表示的座標轉換。
物件佈置矩陣Marrange係為一種表示所佈置的虛擬物件之位置和姿勢的矩陣。例如，物件佈置矩陣Marrange可等於環境辨識矩陣的反矩陣Mrecog -1，如在下列公式中。在這種情況下，在當佈置虛擬物件的時間點上，虛擬物件被佈置在與影像處理裝置100之位置和姿勢相同的位置和姿勢之處。
[數學式1]M arrange =M recog -1 (1)
然而，當虛擬物件的位置和姿勢不完全匹配影像處理裝置100的位置和姿勢時，可使用如接下來所描述的偏移矩陣。
(3)偏移矩陣
第4圖示意地顯示藉由包括計算中的前偏移矩陣Toffset所決定的物件佈置矩陣Marrange作為偏移矩陣的實例。前偏移矩陣Toffset係為一種表示從輸入影像之影像方向(深度方向)上的影像處理裝置100平行位移一預定距離的座標轉換矩陣。當前偏移矩陣Toffset包括在計算中時，能依下列公式來計算物件佈置矩陣Marrange。
[數學式2]M arrange =M recog -1．T offset (2)
當虛擬物件藉由包括計算中的前偏移矩陣Toffset被佈置在影像處理裝置100前面時，使用者變得可能在不移動影像處理裝置100的情況下快速檢視螢幕上所佈置的虛擬物件。
第5圖示意地顯示藉由包括計算中的操作偏移矩陣Ttouch所決定的物件佈置矩陣Marrange作為偏移矩陣的實例。操作偏移矩陣Ttouch係根據影像處理裝置100之螢幕上的使用者輸入位置來決定。當操作偏移矩陣Ttouch包括在計算中時，能依下列公式來計算物件佈置矩陣Marrange。
[數學式3]M arrange =M recog -1．T touch ．T offset (3)
當操作偏移矩陣Ttouch包括在如上述之計算中時，使用者變得可能藉由在螢幕上的所欲之位置執行操作(觸碰或點擊)而不是移動影像處理裝置100來精細地調整虛擬物件之佈置。
(1-3.參數之儲存)
當根據上述原理來決定虛擬物件之佈置時，便與參考環境相關聯地儲存物件佈置矩陣Marrange。
例如，參考第6A至6B圖中的情境，首先，在時間t1時將虛擬物件V01佈置在參考環境1中。虛擬物件V01的位置和姿勢係以物件佈置矩陣Marrange(t1)來表示(參見第6A圖)。然後，在時間t2時將虛擬物件V02佈置在參考環境1中。虛擬物件V02的位置和姿勢係以物件佈置矩陣Marrange(t2)來表示(參見第6B圖)。
因此，例如，能形成如第7圖示範性所示之物件佈置資料。在第7圖之實例中，物件佈置資料包括「參考環境」、「物件ID」、「佈置」、和「時間」的四個資料項目。「參考環境」係為一種識別於其中佈置每個虛擬物件之環境的識別符。「物件ID」係為一種唯一識別每個虛擬物件的識別符。「佈置」係為一種儲存每個虛擬物件之物件佈置矩陣的資料項目。「時間」表示佈置每個虛擬物件的時間。每個虛擬物件能使用上述物件佈置資料來顯 示。
(1-4.虛擬物件之顯示)
假設終端與參考環境之間的位置關係在佈置虛擬物件之後改變的情況。當終端移動或參考環境移動、或在這兩種情況下時，能推測這種情況。在本說明書中，除非明確聲明「平行位移」之詞，否則「移動」之詞能包括平行位移和旋轉兩者。在上述情況下，虛擬物件係顯示在以所儲存之物件佈置矩陣Marrange和在最近時間點上所辨識之環境辨識矩陣Mrecog來表示的位置和姿勢之影像處理裝置100的螢幕上。例如，虛擬物件V01在第6B圖所示之時間t2從影像處理裝置100所看去的方式能表示為下列的座標轉換，其相當於物件佈置矩陣Marrange(t1)與在時間t2之環境辨識矩陣Mrecog(t2)的乘積。
[數學式4]M recog (t2)．M arrange (t1) (4)
第8圖示意地顯示以公式(4)來表示的座標轉換。在第8圖之輸出影像Im1中，虛擬物件V01被顯示在以物件佈置矩陣Marrange(t1)和環境辨識矩陣Mrecog(t2)來表示的位置和姿勢。
根據本章節所述之原理地藉由移動並操作如影像處理裝置100的終端，使用者能夠將虛擬物件佈置在參考環境中的所欲之位置和姿勢。此外，由於與參考座標系統相關聯地儲存物件佈置矩陣，因此即便終端與參考環境之間的 位置關係改變，仍能顯示虛擬物件以致於維持相對於參考環境之虛擬物件的相對位置和姿勢。根據上述原理，直覺使用者介面被設置具有佈置虛擬物件的目的並仿若附加黏性至參考環境般地佈置虛擬物件。
在下文中，將基於上述原理來具體說明根據本揭露之技術的兩個示範實施例。
<2.第一實施例>
在第一實施例中，虛擬物件係由第1圖示範性所示之影像處理裝置100配置。所佈置的虛擬物件係顯示在影像處理裝置100的螢幕上。
(2-1.硬體配置)
第9圖係繪示根據第一實施例之影像處理裝置100的示範硬體配置之方塊圖。參考第9圖，影像處理裝置100包括影像單元102、感測單元104、輸入單元106、儲存單元108、顯示單元110、通訊單元112、匯流排116、及控制單元118。
(1)影像單元
影像單元102係為擷取影像的相機模組。影像單元102使用如CCD(電荷耦合裝置)或CMOS(互補金屬氧化物半導體)的影像感測器來擷取真實空間的影像以產生所擷取的影像。影像單元102所產生的一系列擷取影像組成了 視頻。請注意影像單元102不必是影像處理裝置100的一部分。例如，以有線或無線連接影像處理裝置100的影像裝置可被處理成影像單元102。此外，影像單元102可包括為每個像素測量影像單元102與攝影主題間之距離的深度感測器。從深度感測器輸出的深度資料能用來辨識環境。
(2)感測單元
感測單元104能包括如定位感測器、加速度感測器、及陀螺儀感測器的各種感測器。感測單元104所得之測量結果可用於各種應用，例如輔助辨識環境、取得地理位置上的資料、或偵測使用者輸入。請注意可從影像處理裝置100的配置中省略感測單元104。
(3)輸入單元
輸入單元106係為用於使用者操作影像處理裝置100或將資訊輸入至影像處理裝置100的輸入裝置。輸入單元106可包括例如偵測使用者在顯示單元110之螢幕上之觸碰的觸控感測器。替代地(或額外地)，輸入單元106可包括如滑鼠或觸控墊的指向裝置。再者，輸入單元106可包括其他類型的輸入裝置，例如鍵盤、小鍵盤、按鈕、或開關。
(4)儲存單元
儲存單元108包括如半導體記憶體或硬碟的儲存媒 體，且儲存用於程序的程式和資料以被影像處理裝置100執行。儲存在儲存單元108中的資料可包括例如關於擷取之影像的資料、感測資料、及下述資料庫(DB)中的資料。請注意本說明中所述之一部分程式和資料亦可從外部資料來源(例如，資料伺服器、網路儲存器、或外部記憶體)取得而沒有儲存在儲存單元108中。
(5)顯示單元
顯示單元110係為包括如LCD(液晶顯示器)、OLED(有機發光二極體)、或CRT(陰極射線管)的顯示器。顯示單元110係用來顯示影像處理裝置100所產生的輸出影像。請注意顯示單元110也不必是影像處理裝置100的一部分。例如，以有線或無線連接影像處理裝置100的顯示裝置可被處理成顯示單元110。
(6)通訊單元
通訊單元112係為在影像處理裝置100與另一裝置間起媒介作用的通訊介面。通訊單元112支援已知的無線通訊協定或有線通訊協定，並建立與另一裝置的通訊連線。
(7)匯流排
匯流排116相互連接影像單元102、感測單元104、輸入單元106、儲存單元108、顯示單元110、通訊單元112、及控制單元118。
(8)控制單元
控制單元118相當於如CPU(中央處理單元)或DSP(數位信號處理器)的處理器。控制單元118造成下述之影像處理裝置100的各種功能以藉由執行儲存在儲存單元108或另一儲存媒體中的程式來操作。
(2-2.功能配置)
第10圖係顯示由第9圖所示之影像處理裝置100的儲存單元108和控制單元118所實作之邏輯功能的示範配置之方塊圖。參考第10圖，影像處理單元100包括影像取得單元120、辨識單元130、計算單元140、物件佈置單元150、物件DB 160、操作控制單元180、及顯示控制單元190。
(1)影像取得單元
影像取得單元120取得由影像單元102產生的所擷取影像作為輸入影像。影像取得單元120所取得的輸入影像可以是部分組成真實空間之視頻的個別訊框。影像取得單元120將取得的輸入影像輸出至辨識單元130和顯示控制單元190。
(2)辨識單元
辨識單元130使用從影像取得單元120取得的輸入影 像來辨識表示參考環境之位置和姿勢的上述環境辨識矩陣。辨識單元130能利用如SfM法或SLAM法的已知影像辨識技術來辨識環境辨識矩陣。替代地或額外地，辨識單元130可基於來自設置在影像單元102中的深度感測器之深度資料來辨識環境辨識矩陣。作為另一種選擇，辨識單元130可基於來自如紅外線距離測量系統或運動擷取系統的環境辨識系統之輸出資料來辨識環境辨識矩陣。
例如，當利用SLAM法時，辨識單元130基於延伸的卡爾曼過濾器之原理來更新終端的位置、姿勢、速度、和角速度、以及包括針對每個訊框之輸入影像中的一或更多特徵點之位置的狀態變數。因此，參考環境相對於終端之位置和姿勢的位置和姿勢能使用來自單眼相機的輸入影像來辨識。辨識單元130使用對應從終端之位置和姿勢的座標轉換之環境辨識矩陣Mrecog來表示參考環境之所辨識的位置和姿勢。請注意SLAM法的細節係在「Real-Time Simultaneous Localization and Mapping with a Single Camera」(Andrew J.Davison，2003年第九屆IEEE計算機視覺國際會議，第2卷，第1403-1410頁)中被說明。
辨識單元130將所辨識的環境辨識矩陣Mrecog輸出至計算單元140和物件佈置單元150。
(3)計算單元
計算單元140計算從辨識單元130輸入之環境辨識矩陣的反矩陣Mrecog -1。例如，環境辨識矩陣Mrecog係為4×4 的齊次轉換矩陣。由此，環境辨識矩陣的反矩陣Mrecog -1也是4×4的齊次轉換矩陣且滿足Mrecog．Mrecog -1=M0(單位矩陣)。環境辨識矩陣的反矩陣Mrecog -1表示從參考座標系統之位置和姿勢到終端之位置和姿勢的座標轉換。計算單元140將環境辨識矩陣之所計算的反矩陣Mrecog -1輸出至物件佈置單元150。
(4)物件佈置單元
物件佈置單元150基於環境辨識矩陣的反矩陣Mrecog -1將具有位置和姿勢的虛擬物件佈置在參考環境中。所佈置之虛擬物件的位置和姿勢係以上述物件佈置矩陣Marrange來表示。在附圖中，主要描繪矩形的虛擬物件以簡單地顯示虛擬物件的位置和姿勢。然而，物件佈置單元150所佈置的虛擬物件可具有任何形狀。此外，虛擬物件可以是呈現任何資訊類型的物件。
物件佈置單元150可例如佈置虛擬物件，使得虛擬物件在位於以根據上述公式(1)之環境辨識矩陣的反矩陣Mrecog -1來表示的位置和姿勢處重疊在終端的位置和姿勢上。此外，物件佈置單元150可使用上述前偏移矩陣和操作偏移矩陣之其一或兩者來佈置虛擬物件在從終端之位置和姿勢的位置偏移之處。
當使用前偏移矩陣Toffset時，物件佈置單元150能佈置虛擬物件在根據上述公式(2)之輸入影像的影像方向上從以環境辨識矩陣的反矩陣Mrecog -1來表示之位置的位置 偏移之處。替代地，當使用操作偏移矩陣Ttouch時，物件佈置單元150能佈置虛擬物件在沿著根據上述公式(3)之螢幕上根據使用者輸入位置之螢幕的方向上一位置偏移量之處。
物件佈置單元150將佈置在參考環境中的虛擬物件之物件佈置矩陣Marrange(和另一參數)輸出至顯示控制單元190。此外，當操作控制單元180偵測到預定使用者輸入時，物件佈置單元150將物件佈置矩陣Marrange與參考環境相關聯地儲存在物件DB 160中。於下將進一步說明關於虛擬物件之佈置的使用者介面之各種實例。
(5)物件DB
物件DB 160係為已在其中儲存物件佈置單元150所佈置之虛擬物件的物件佈置矩陣的資料庫。物件DB 160能儲存具有如第7圖示範性所示之結構的物件佈置資料。在物件DB 160中，物件佈置矩陣係與其中一個參考環境相關聯。接著，當顯示控制單元190執行顯示虛擬物件的程序時，便從物件DB 160讀取物件佈置資料。
(6)操作控制單元
操作控制單元180提供使用者介面以允許使用者操作在影像處理裝置100中執行的AR應用程式。例如，操作控制單元180透過顯示控制單元190來將提示AR應用程式之操作的指示顯示在螢幕上。然後，操作控制單元180 透過輸入單元106來偵測各種使用者輸入。
第一使用者輸入可以是試驗性地佈置並顯示虛擬物件的觸發器，而第二使用者輸入可以是用以決定虛擬物件之佈置並儲存物件佈置矩陣的觸發器。第一和第二使用者輸入能被定義，使得第一和第二使用者輸入分別對應一系列操作之開始和結束。例如，一系列操作能相當於例如觸碰或拖曳。通常，偵測觸碰或拖曳的開始為按壓事件，而偵測觸碰或拖曳的結束為釋放事件。根據上述使用者介面，使用者能夠僅藉由在檢視並觸碰(或拖曳)螢幕時執行移動終端之簡單、直覺的操作，自由調整虛擬物件的佈置到所欲之位置和姿勢。
當偵測到上述使用者輸入時，操作控制單元180將指示所偵測到之使用者輸入的類型和輸入位置之輸入資訊輸出至物件佈置單元150。請注意使用者輸入的類型並不以上述實例為限。例如，按壓預定按鍵或按鈕、辨識觸控手勢、辨識面部表情、辨識音頻命令、或頭戴顯示器的辨識視線可被定義為使用者輸入。
(7)顯示控制單元
顯示控制單元190藉由根據物件佈置單元150的佈置將虛擬物件重疊在輸入影像上來產生輸出影像。之後，顯示控制單元190在顯示單元110的螢幕上顯示所產生之輸出影像。如參考第8圖所描述，虛擬物件係重疊在以虛擬物件之物件佈置矩陣和在顯示之時所辨識出的環境辨識矩 陣來表示之位置和姿勢的輸入影像上。例如，由顯示控制單元190顯示虛擬物件的觸發器可偵測上述第一使用者輸入。替代地，由顯示控制單元190顯示虛擬物件的觸發器可從另一裝置接收物件佈置資料、辨識輸入影像中的一些圖型、或之類。
(2-3.操作情境)
接下來，將參考第11至13圖來說明關於對虛擬物件操作的兩種操作情境。在第一操作情境中，新的虛擬物件被佈置在參考環境中。在第二操作情境中，所佈置的虛擬物件係透過使用者之操作來移動。
(1)新的虛擬物件之佈置
第11圖顯示根據第一操作情境將新的虛擬物件佈置在參考環境中的視圖。
首先，在時間t10，影像處理裝置100位於桌子11的上方且是稍微傾斜的姿勢。在此時間點上，沒有偵測到任何使用者輸入。
接著，在時間t11，偵測按壓事件為第一使用者輸入。然後，物件佈置單元150在影像處理裝置100前面佈置虛擬物件V11。顯示控制單元190在螢幕上顯示所佈置的虛擬物件V11。
在時間t12，使用者在繼續按壓的同時將影像處理裝置100向右旋轉。物件佈置單元150在影像處理裝置100 前面佈置具有從虛擬物件V11的姿勢旋轉之姿勢的虛擬物件V12。亦即，當使用者之操作繼續時，虛擬物件的佈置按照終端的位置和姿勢。
然後，在時間t13，偵測釋放事件為第二使用者輸入。物件佈置單元150在影像處理裝置100前面佈置虛擬物件V13，並將虛擬物件V13的物件佈置矩陣儲存在物件DB 160中。顯示控制單元190在螢幕上顯示具有預定佈置的虛擬物件V13。透過從時間t11至t13的一系列操作，使用者能夠在參考環境中自由佈置新的虛擬物件。
之後，在時間t14，影像處理裝置100比在時間t13的位置更向左移動。辨識單元130使用在時間t14的輸入影像來辨識新的環境辨識矩陣。接著，顯示控制單元190在以在時間t13所決定之虛擬物件V13的物件佈置矩陣和最近辨識之環境辨識矩陣來表示之位置和姿勢的螢幕上顯示虛擬物件V13。
(2)虛擬物件之移動
如上所述，根據第一操作情境，當使用者操作繼續時，虛擬物件的佈置會按照終端的位置和姿勢。針對所佈置的虛擬物件，這類下列操作能透過下述機制來實現。
第12圖顯示根據第二操作情境來移動所佈置之虛擬物件的視圖。
在時間t20，偵測到按壓事件。例如，顯示控制單元190識別根據按壓位置所操作的虛擬物件V0，並取得虛擬 物件V0的物件佈置矩陣Marrange(V0)。接著，顯示控制單元190計算相對佈置矩陣Mrel，其係為在時間t20之環境辨識矩陣Mrecog(t20)與物件佈置矩陣Marrange(V0)的乘積。在釋放事件被偵測出且用來顯示連續操作的虛擬物件V0之前，維持於此所計算的相對佈置矩陣Mrel。
在時間t21，使用者在繼續按壓的同時將影像處理裝置100向右旋轉。顯示控制單元190在螢幕上顯示虛擬物件V0，使得使用在時間t20所計算的相對佈置矩陣Mrel來維持虛擬物件V0相對於影像處理裝置100的相對位置和姿勢。
之後，在時間t22偵測到釋放事件。辨識單元130使用在時間t22的輸入影像來辨識新的環境辨識矩陣Mrecog(t22)。然後，物件佈置單元150計算新的物件佈置矩陣M’arrange(V0)，其係為新的環境辨識矩陣之反矩陣Mrecog -1(t22)與相對佈置矩陣Mrel的乘積。接著，物件佈置單元150將新的物件佈置矩陣M’arrange(V0)儲存在物件DB 160中。
透過上述從t20至t22的一系列操作，使用者能夠在三維空間中自由移動所佈置的虛擬物件，使得所佈置的虛擬物件被拖曳。請注意由本文所述之使用者介面操作的虛擬物件數並不限於一個，且複數個虛擬物件可透過一系列操作而集體移動。
(3)參考環境之切換
使用上述相對佈置矩陣Mrel，也有可能以與不同環境相關聯的虛擬物件來切換參考環境。
第13圖係繪示切換參考環境的說明圖。
在時間t30，偵測到按壓事件。例如，顯示控制單元190識別根據按壓位置所操作的虛擬物件V0，並取得虛擬物件V0的物件佈置矩陣Marrange(V0)。本文中，假設物件佈置矩陣Marrange(V0)與具有參考座標系統CS2的參考環境En2相關聯。然後，顯示控制單元190計算相對佈置矩陣Mrel，其係為在時間t30之環境辨識矩陣Mrecog(t30)與物件佈置矩陣Marrange(V0)的乘積。
在時間t31，使用者在繼續按壓的同時正移動影像處理裝置100。顯示控制單元190在螢幕上顯示虛擬物件V0，使得使用在時間t30所計算的相對佈置矩陣Mrel來維持虛擬物件V0相對於影像處理裝置100的相對位置和姿勢。
之後，在時間t32偵測到釋放事件。辨識單元130辨識表示出現在時間t32的輸入影像中之新的環境En3的位置和姿勢之新的環境辨識矩陣Mrecog(t32)。環境En3具有特有的座標系統CS3。然後，物件佈置單元150計算新的物件佈置矩陣M’arrange(V0)，其係為新的環境辨識矩陣之反矩陣Mrecog -1(t32)與相對佈置矩陣Mrel的乘積。接著，物件佈置單元150將新的物件佈置矩陣M’arrange(V0)與新的環境En3相關聯地儲存在物件DB 160中。
透過上述從t30至t32的一系列操作，使用者能夠仿 若所佈置的虛擬物件被拖曳且從一個環境落到另一個環境或仿若被更換黏性般地自由移動所佈置的虛擬物件。
(2-4.程序流程)
第14圖係顯示根據第一實施例之影像處理裝置100所執行之影像處理的示範流程之流程圖。
參考第14圖，首先，影像取得單元120取得由影像單元102產生的擷取影像作為輸入影像(步驟S110)。接著，影像取得單元120將取得的輸入影像輸出至辨識單元130和顯示控制單元190。
接下來，辨識單元130使用從影像取得單元120輸入的輸入影像來辨識表示參考環境之位置和姿勢的環境辨識矩陣Mrecog(步驟S120)。然後，辨識單元130將所辨識的環境辨識矩陣Mrecog輸出至計算單元140、物件佈置單元150、及顯示控制單元190。
之後，若已被佈置在參考環境中的虛擬物件存在，則顯示控制單元190從物件DB 160取得關於佈置之虛擬物件的物件佈置資料(步驟S125)。然後，顯示控制單元190為每個待顯示的虛擬物件計算相對佈置矩陣Mrel，其係為環境辨識矩陣Mrecog與物件佈置矩陣Marrange的乘積(步驟S130)。
接著，第14圖之影像處理根據操作狀態而分支。首先，若使用者開始一預定操作或若預定操作正在繼續，則程序繼續進行至步驟S150(S135)。替代地，若偵測到 迄今繼續之操作的結束，則程序繼續進行至步驟S160(步驟S140)。否則，程序繼續進行至步驟S170。
在步驟S150中，執行參考第15圖而詳細說明的物件佈置程序。
在步驟S160中，執行參考第15圖而詳細說明的物件佈置程序。之後，針對待操作之虛擬物件新決定或更新的物件佈置矩陣係儲存在物件DB 160中(步驟S165)。
然後，顯示控制單元190產生具有待操作之虛擬物件和待顯示之其他虛擬物件重疊於其上的輸出影像，並在顯示單元110之螢幕上顯示所產生的輸出影像(步驟170)。
第15圖係顯示對應於第14圖之步驟S150和S160之物件佈置程序的示範詳細流程之流程圖。
第15圖之物件佈置流程依據待操作的虛擬物件是否是現有(所佈置)的物件而分支(步驟S151)。若待操作的虛擬物件不是現有的物件，則程序繼續進行至步驟S157。同時，若待操作的虛擬物件是現有的物件，則程序繼續進行至步驟S152。
在步驟S152中，物件佈置流程更依據是否已對待操作的虛擬物件計算相對佈置矩陣Mrel而分支。若尚未計算出相對佈置矩陣Mrel，則程序繼續進行至步驟S153。同時，若已計算出相對佈置矩陣Mrel，則程序繼續進行至步驟S155。
若待操作的虛擬物件是現有的物件且已計算出相對佈 置矩陣Mrel，則顯示控制單元190首先取得待操作之虛擬物件的物件佈置矩陣Marrange(步驟S153)。接著，顯示控制單元190基於在此時間點上的環境辨識矩陣Mrecog和取得的物件佈置矩陣Marrange來計算相對佈置矩陣Mrel(步驟S154)。
若待操作的虛擬物件是現有的物件且已計算出相對佈置矩陣Mrel，則顯示控制單元190首先判斷是否已偵測到操作的結束(步驟S155)。接著，若偵測到操作的結束，則顯示控制單元190基於在此時間點上的相對佈置矩陣Mrel和環境辨識矩陣Mrecog來重新計算待操作之虛擬物件的物件佈置矩陣Marrange(步驟S156)。
若待佈置新的虛擬物件，則計算單元140計算從辨識單元130輸入的環境辨識矩陣之反矩陣Mrecog -1(步驟S157)。此外，物件佈置單元150決定前偏移矩陣Toffset和操作偏移矩陣Ttouch(步驟S158)。請注意當不使用上述偏移矩陣時，可省略步驟158中的程序。然後，物件佈置單元150基於環境辨識矩陣的反矩陣Mrecog -1、前偏移矩陣Toffset、和操作偏移矩陣Ttouch來決定最近待佈置之虛擬物件的物件佈置矩陣Marrange。
(2-5.顯示之變化)
在根據本揭露之技術中，虛擬物件能顯示在各種配置中。在本章節中，將說明虛擬物件的各種顯示變化。
(1)參考平面之決定
例如，虛擬物件可具有一預定參考平面。當虛擬物件具有卡狀的平面形狀時，虛擬物件的一個平面會被定義為參考平面且虛擬物件的其它平面會被定義為非參考平面。當虛擬物件具有立體形狀時，虛擬物件的參考平面能由從參考平面向外延伸的法線向量識別。如上所述，當虛擬物件具有參考平面時，顯示控制單元190可依據虛擬物件的參考平面是否出現在影像處理裝置100的螢幕中來改變虛擬物件之顯示。
例如，參考第16圖之實例，兩個虛擬物件V11和V12出現在影像處理裝置100的螢幕中。出現在影像處理裝置100之螢幕中的虛擬物件V11之平面係為非參考平面。出現在影像處理裝置100之螢幕中的虛擬物件V12之平面係為參考平面。因此，顯示控制單元190能例如將如虛擬物件V12之形狀、規模、透明度、顏色、清晰度、和邊緣厚度之顯示屬性設定成與虛擬物件V11不同的值。此外，顯示控制單元190可依據參考平面是否出現來改變虛擬物件V11和V12之各者所指示的資訊。
透過上述顯示控制，使用者能夠很容易地掌握所顯示之虛擬物件的方向。
(2)根據距離之顯示
顯示控制單元190可根據影像處理裝置100與虛擬物件之間的距離來改變虛擬物件之顯示。
例如，參考第17圖之實例，四個虛擬物件V21、V22、V23、和V24出現在影像處理裝置100的螢幕中。其中，虛擬物件V21和V24位於較虛擬物件V22和V23距影像處理裝置100更遠之處。在這種情況下，顯示控制單元190會加強虛擬物件V22和V23的任何顯示屬性，如此使用者能更清楚地辨識出虛擬物件V22和V23。此外，顯示控制單元190可在虛擬物件V22和V23上顯示更詳細的資訊。
透過上述顯示控制，在一些虛擬物件顯示在螢幕上的情況下，有可能增加使用者更感興趣(亦即，使用者使他/她的終端更接近)之虛擬物件(或其顯示資訊)的可見度。
(3)排列顯示
當滿足預定條件時，顯示控制單元190可重新整理複數個待顯示的虛擬物件，使得複數個虛擬物件之間以預定空間來排列。
例如，參考第18圖之實例，六個虛擬物件V31至V36出現在影像處理裝置100的螢幕中。然而，當上述虛擬物件根據其佈置而顯示時，虛擬物件會擠在螢幕內，且虛擬物件的可見度會減少。由此，例如，當偵測到預定使用者輸入時，顯示控制單元190排列虛擬物件。在第18圖之實例中，重新整理位於較接近影像處理裝置100之處的四個虛擬物件V32、V33、V35、和V36，使得它們之間以預定 空間來排列。例如，針對重新整理虛擬物件而不是使用者輸入的預定條件可能是螢幕內的虛擬物件數應大於預定臨界值。
透過上述顯示控制，在一些虛擬物件顯示在螢幕上的情況下，有可能增加每個虛擬物件所指示之資訊的可見度。
(2-6.應用之實例)
根據本揭露之技術能不只能應用於到目前為止所描述的AR應用程式，還可應用於各種應用程式。在本章節中，將說明兩個應用之實例。
(1)軌跡/動畫之儲存
例如，當偵測到指示儲存之開始的使用者輸入時，物件佈置單元150針對複數個影像將虛擬物件之物件佈置矩陣與參考環境相關聯地連續儲存在物件DB 160中。因此，變得可能容易產生沿著移動影像處理裝置100之軌跡的虛擬物件之軌跡或移動虛擬物件之動畫。
例如，藉由根據已連續儲存的複數個物件佈置矩陣將虛擬物件之複數個實例重疊在單一輸入影像上，顯示控制單元190在輸入影像中之環境中顯示虛擬物件的軌跡。替代地，藉由根據已連續儲存的複數個物件佈置矩陣之各者將虛擬物件之實例連續重疊在的一系列輸入影像之各者上，顯示控制單元190可顯示虛擬物件的移動動畫。
參考第19圖之實例，虛擬物件V0之四個實例的物件佈置矩陣Marrange(t41)至Marrange(t44)係沿著從時間t41至時間t44之影像處理裝置100的移動軌跡，與參考環境En1相關聯地被儲存。當虛擬物件V0之四個實例重疊在單一訊框時，便顯示虛擬物件V0的軌跡。同時，當虛擬物件V0之四個實例重疊在位於個別時序的不同訊框時，便顯示虛擬物件V0的移動動畫。
顯示控制單元190可在與已儲存在不同時間點上之物件佈置矩陣不同的時間點之間，***表示虛擬物件之姿態和姿勢的額外物件佈置矩陣。因此，能從少量件的物件佈置資料產生具有較高瞬時清晰度的軌跡或動畫。此外，例如，若採用使用三維樣條曲線或貝齊爾曲線的曲線內插法作為本文之內插法，則能執行平滑內插。
(2)影像位置和影像姿勢之儲存
當根據本揭露之技術安裝在影像裝置上時，能與攝影主題之環境相關聯地記錄影像的歷史。例如，假設影像處理裝置100係為數位相機或具有影像功能的終端。在這種情況下，輸入影像係為一張攝影主題的相片。為了記錄當擷取攝影主題時的影像位置和影像姿勢，物件佈置單元150將上述物件佈置矩陣註冊在資料庫中。之後，當根據註冊的物件佈置矩陣將虛擬物件顯示在相同環境中的終端之螢幕上時，使用者能夠知道擷取相片所在的影像位置和影像姿勢。用以註冊物件佈置矩陣的觸發器可以是例如對 應於用以擷取影像之指令的使用者輸入(例如，按下快門按鈕)。根據上述配置，當偵測到用以擷取影像的指令時，物件佈置矩陣被自動註冊在資料庫中。由此，有可能註冊影像位置和影像姿勢而不會對拍攝相片的使用者強加額外負載。
<3.第二實施例>
在第二實施例中，各具有約與上述影像處理裝置100相同配置的複數個終端裝置300共享佈置在AR空間中的虛擬物件。
(3-1.系統概要)
參考第20圖，顯示組成根據第二實施例之影像處理系統的管理伺服器200、終端裝置300a、和終端裝置300b。請注意在本說明書中，終端裝置300a和終端裝置300b被統稱為終端裝置300，除非它們應被彼此區分。
終端裝置300將虛擬物件佈置在給定的參考環境中。在第20圖之實例中，顯示對應於包括桌子11之單一空間的環境4作為參考環境。然而，應用根據本揭露之技術的參考環境並不以此為限。例如，即便終端裝置300a所存在的空間不同於終端裝置300b所存在的空間，但若兩個空間存在共用的特徵點群或物件，或若存在會被視為相同的校正座標系統，則有可能將對應於空間的複數個環境處理成單一共同參考環境。替代地，在單一空間中的不同時 間所辨識之環境可被處理成單一共同參考環境。
例如，參考第21A圖，終端裝置300a和書15a存在於環境5a中。參考第21B圖，終端裝置300b和書15b存在於環境5b中。書15a和書15b具有共同特徵點群。因此，終端裝置300a和300b能使用這類特徵點群來辨識單一共同參考座標系統CS5而藉此共享關聯於參考座標系統CS5的虛擬物件。
管理伺服器200係為管理關於共享之虛擬物件之資料的資訊處理裝置。管理伺服器200可以是與終端裝置300分開設置的裝置或終端裝置300的一部分。
(3-2.伺服器之配置)
第22圖係顯示管理伺服器200的示範配置之方塊圖。參考第22圖，管理伺服器200包括通訊單元210、控制單元220、及儲存單元250。
通訊單元210係為在管理伺服器200與另一裝置間起媒介作用的通訊介面。通訊單元210係為支援給定的無線通訊協定或有線通訊協定，並建立與另一裝置之通訊連線的通訊介面。
控制單元220相當於如CPU或DSP的處理器。控制單元220藉由執行儲存在儲存單元250或另一儲存媒體中的程式來操作管理伺服器200的功能。使用者管理單元230和物件管理單元240係為管理伺服器200的示範功能模組。
使用者管理單元230係為管理參與共享虛擬物件之使用者的功能模組。使用者管理單元230控制例如鑑別使用者、分組使用者、提供使用者資訊給終端裝置300、等等。
物件管理單元240係為管理關於共享之虛擬物件之資料的功能模組。例如，物件管理單元240透過通訊單元210從已將虛擬物件佈置在參考環境中的終端裝置300接收資料註冊請求。資料註冊請求包括關於待共享之虛擬物件的物件佈置資料。物件管理單元240亦可從終端裝置300接收指示虛擬物件之形狀的物件資料和虛擬物件所指示之資訊。物件管理單元240反應於上述資料註冊請求而將物件佈置資料和物件資料存入儲存單元250中。此外，物件管理單元240反應於來自終端裝置300的資料分配請求或週期性地透過通訊單元210將所註冊的物件佈置資料(和物件資料)分配給終端裝置300。
儲存單元250包括如半導體記憶體或硬碟的儲存媒體，並為待由管理伺服器200執行的程序儲存程式和資料。儲存在儲存單元250中的資料包括物件佈置資料252和物件資料254。
第23圖顯示物件佈置資料252之實例。在第23圖之實例中，物件佈置資料252包括「參考環境」、「物件ID」、「創造者ID」、和「佈置」的四個資料項目。「參考環境」係為識別於其中佈置每個虛擬物件之環境的識別符。「物件ID」係為唯一識別每個虛擬物件的識別 符。「創造者ID」係為識別已佈置每個虛擬物件之裝置或使用者的識別符。「佈置」係為儲存每個虛擬物件之物件佈置矩陣的資料項目。
第24圖顯示物件資料254之實例。在第24圖之實例中，物件資料254包括「物件ID」、「顯示屬性資料」、「使用者資料」、「狀態」、和「裝置資料」的五個資料項目。「物件ID」係為唯一識別每個虛擬物件的識別符。「顯示屬性資料」係為定義每個虛擬物件之顯示屬性，且用來在終端裝置300中顯示虛擬物件的資料。「使用者資料」、「狀態」、和「裝置資料」係為關聯於已佈置每個虛擬物件之終端的關聯資訊之實例。例如，「使用者資料」能包括終端之使用者的識別資訊、名稱、面部照片或之類。「狀態」能包括終端之使用者的存在資訊、操作狀態資訊、或之類。「裝置資料」能包括終端之識別資訊、名稱、外觀資料或之類。
物件管理單元240可將第24圖所示之至少部分的關聯資訊分配給終端裝置300，並將所分配之關聯資訊與虛擬物件一起顯示在終端裝置300上。
(3-3.終端之配置)
終端裝置300的硬體配置可類似於第9圖示範性所示之影像處理裝置100的硬體配置。第25圖係顯示終端裝置300之邏輯功能的示範配置之方塊圖。參考第25圖，終端裝置300包括影像取得單元120、資料取得單元 325、辨識單元130、計算單元140、物件佈置單元350、註冊單元355、物件DB 360、操作控制單元380、及顯示控制單元390。
(1)資料取得單元
資料取得單元325週期性地或反應於來自使用者之指令而將資料分配請求傳送至管理伺服器200。接著，資料取得單元325取得關於待與另一終端共享的虛擬物件之物件佈置資料和物件資料。
資料取得單元325所取得的物件佈置資料包括另一終端所佈置之虛擬物件的物件佈置矩陣。物件佈置矩陣係為基於另一終端所辨識的環境辨識矩陣之反矩陣而決定的矩陣，且表示在參考環境中之其他終端所佈置的虛擬物件之位置和姿勢。此外，資料取得單元325所取得的物件資料包括如第24圖示範性所示之關聯資訊，其係與已佈置虛擬物件的終端相關聯。資料取得單元325將物件佈置資料和物件資料儲存在物件DB 360中。
(2)物件佈置單元
如同影像處理裝置100之物件佈置單元150，物件佈置單元350將具有基於辨識單元130所辨識之環境辨識矩陣的反矩陣之位置和姿勢的虛擬物件佈置在參考環境中。所佈置之虛擬物件的位置和姿勢係以物件佈置矩陣來表示。
例如，物件佈置單元350可佈置虛擬物件在環境辨識矩陣的反矩陣Mrecog -1所表示之位置和姿勢，使得虛擬物件的位置和姿勢重疊終端的位置和姿勢。替代地，物件佈置單元350可使用上述前偏移矩陣和操作偏移矩陣之其一或兩者來佈置虛擬物件在從終端之位置和姿勢偏移的位置之處。
物件佈置單元350將佈置在參考環境中的虛擬物件之物件佈置矩陣輸出至顯示控制單元390。此外，當操作控制單元380偵測一預定使用者輸入時，物件佈置單元350與參考環境相關聯地將物件佈置矩陣儲存在物件DB 360中並將其輸出至註冊單元355。
(3)註冊單元
當從物件佈置單元350接收物件佈置矩陣時，註冊單元355透過通訊單元112將資料註冊請求傳送至管理伺服器200。資料註冊請求連同物件佈置矩陣可包括定義虛擬物件之顯示屬性和上述各種關聯資訊的顯示屬性資料。
(4)物件DB
如同影像處理裝置100的物件DB 160，物件DB 360係為儲存物件佈置單元350所佈置的虛擬物件之物件佈置矩陣的資料庫。再者，物件DB 360儲存資料取得單元325從管理伺服器200收到的物件佈置資料和物件資料。當顯示控制單元390執行顯示虛擬物件的程序時，便讀取 儲存在物件DB 360中的資料。
(5)操作控制單元
如同影像處理裝置100的操作控制單元180，操作控制單元380提供使用者介面以允許使用者操作終端裝置300所執行的AR應用程式。例如，操作控制單元380允許使用者透過從觸碰或拖曳之開始到結束的一系列操作，來自由調整虛擬物件的佈置到所欲之位置和姿勢。當偵測到使用者輸入時，操作控制單元380將指示所偵測到之使用者輸入的類型和輸入位置之輸入資訊輸出至物件佈置單元350。
(6)顯示控制單元
顯示控制單元390藉由根據儲存在物件DB 360中之物件佈置資料將虛擬物件重疊在輸入影像上來產生輸出影像。之後，顯示控制單元390在顯示單元110的螢幕上顯示所產生之輸出影像。
在本實施例中顯示的虛擬物件包括另一終端在參考環境中所佈置的虛擬物件。另一裝置在參考環境中所佈置的虛擬物件具有基於表示出現在其他終端之輸入影像中的參考環境之位置和姿勢的第一環境辨識矩陣之反矩陣而決定的物件佈置矩陣。同時，辨識單元130辨識表示出現在影像取得單元130所取得之輸入影像中的參考環境之位置和姿勢的第二環境辨識矩陣。在這種情況下，根據關於第8 圖所描述的方法，顯示控制單元390將虛擬物件重疊在第二環境辨識矩陣和另一終端所佈置之虛擬物件的物件佈置矩陣之位置和姿勢的輸入影像上。
如同根據第一實施例之顯示控制單元190，當虛擬物件具有一參考平面時，顯示控制單元390可根據虛擬物件的參考平面是否出現在影像處理裝置100的螢幕中來改變虛擬物件之顯示。此外，顯示控制單元390可根據終端裝置300與虛擬物件之間的距離來改變虛擬物件之顯示。另外，當滿足預定條件時，顯示控制單元390可重新整理複數個待顯示的虛擬物件，使得虛擬物件之間以預定空間來排列。
此外，在本實施例中，顯示控制單元390可根據已佈置虛擬物件的終端是否位於對應於虛擬物件的位置來改變虛擬物件之顯示。
例如，假設使用當作用於識別影像中之終端的指示之虛擬物件。當已佈置虛擬物件的終端存在於所佈置之虛擬物件周圍時，便能在真實空間中看到終端。因此，不一定需要顯示關於終端(或其使用者)的詳細資訊(例如，使用者資料、狀態、和裝置資料)。反之，當已佈置虛擬物件的終端不存在於所佈置之虛擬物件周圍時，若顯示關於終端(或其使用者)的進一步詳細資訊將會是有利的。
參考第26圖，終端裝置300a所佈置的虛擬物件VA1被顯示在終端裝置300b的螢幕上。終端裝置300a存在於虛擬物件VA1周圍。在這種情況下，顯示控制單元390僅 將有關終端裝置300a之使用者的簡單資訊(第26圖之實例中的使用者ID「Ua」)增加至虛擬物件VA1。
同時，參考第27圖，終端裝置300a所佈置的虛擬物件VA1被再次顯示在終端裝置300b的螢幕上。終端裝置300a不存在於虛擬物件VA1周圍。終端裝置300a可存在於與終端裝置300b不同的空間(但具有共同參考環境的空間)中，或終端裝置300a可以是過去已存在於與終端裝置300b相同之空間中的終端裝置。在這種情況下，顯示控制單元390將有關終端裝置300a之使用者的詳細資訊(第27圖之實例中的使用者IR、空間、和面部照片)增加至虛擬物件VA1。因此，終端裝置300b的使用者能夠知道看不見之終端裝置300a的使用者之細節。
當偵測到指定如第26或27圖示範性所示之虛擬物件的使用者輸入時，顯示控制單元390開始使用與已佈置虛擬物件之終端通訊的應用程式。於此所啟動的應用程式可以是如郵件處理器、即時通信、社群媒體工具、或內容共享應用程式的任何應用程式。在第28圖之實例中，當終端裝置300b的使用者輕敲虛擬物件VA1時，便開始即時通信以開始與終端裝置300a通訊。根據上述配置，有可能透過虛擬物件來輕易地執行使用者之間的通訊。
(3-4.程序流程)
第29圖係顯示在根據第二實施例之裝置之間執行的程序之示範流程的順序圖。
參考第29圖，首先，將資料分配請求從終端裝置300a傳送至管理伺服器200，且從管理伺服器200回傳回應(步驟S210)。在此時間點上，在參考環境中沒有佈置任何虛擬物件。因此，終端裝置300a不接收物件佈置資料。同樣地，將資料分配請求從終端裝置300b傳送至管理伺服器200，且從管理伺服器200回傳回應(步驟S215)。
接著，透過關於第14和15圖所描述的影像處理，終端裝置300a將虛擬物件佈置在參考環境中(步驟S220)。然後，終端裝置300a將資料註冊請求傳送至管理伺服器200(步驟S225)。資料註冊請求包括所佈置之虛擬物件的物件佈置矩陣。
當收到資料註冊請求時，管理伺服器200將物件佈置矩陣和其他資料註冊在資料庫中(步驟S230)。然後，管理伺服器200通知終端裝置300a完成註冊(步驟S235)。
之後，將資料分配請求再次從終端裝置300a傳送至管理伺服器200，且從管理伺服器200回傳回應(步驟S240)。此外，也將資料分配請求從終端裝置300b傳送至管理伺服器200，且從管理伺服器200回傳回應(步驟S245)。在此時間點上，終端裝置300a所佈置的虛擬物件被註冊在管理伺服器200的資料庫中。因此，能將物件佈置資料從管理伺服器200分配給終端裝置300b。
終端裝置300a所佈置的虛擬物件被顯示在終端裝置 300a中(步驟S250)。此外，虛擬物件使用從管理伺服器200收到的物件佈置資料，也被顯示在終端裝置300b上(步驟S255)。在此時間點上，終端裝置300a存在於所顯示之虛擬物件周圍。因此，只會將簡單資訊增加至位於終端裝置300b的虛擬物件。
之後，假設終端裝置300a已移至終端裝置300b之螢幕外的地方。終端裝置300b持續地與管理伺服器200通訊(步驟S260)並顯示虛擬物件(步驟S265)。在此時間點上，終端裝置300a不存在於所顯示之虛擬物件周圍。因此，能將終端裝置300a上的詳細資訊增加至位於終端裝置300b的虛擬物件。
<4.結語>
到目前為止，已詳細說明了根據本揭露之技術的兩個實施例。根據上述實施例，辨識出表示參考環境相對於參考環境中之終端之位置和姿勢的位置和姿勢之環境辨識矩陣，且虛擬物件被佈置在為基於所辨識之環境辨識矩陣的反矩陣之位置和姿勢的參考環境中。因此，使用者能夠藉由在三維空間中移動終端，來輕易地且自由地將虛擬物件佈置在AR空間中。此外，由於虛擬物件的佈置與參考環境相關聯，因此能輕易地在能辨識共同環境之終端間共享佈置在AR空間中的虛擬物件。
此外，當虛擬物件的佈置在影像之影像方向上從環境辨識矩陣之反矩陣所表示的位置偏移時，使用者能夠快速 地辨識螢幕上所佈置的虛擬物件。藉此，當看到虛擬物件時，使用者能夠調整虛擬物件的佈置。
此外，當虛擬物件的佈置根據螢幕上之使用者輸入位置在沿著螢幕的方向上從環境辨識矩陣之反矩陣所表示的位置偏移時，有可能在不移動終端的情況下自由調整虛擬物件的佈置。
虛擬物件的佈置係以物件佈置矩陣來表示，且虛擬物件會顯示在位於物件佈置矩陣和最新環境辨識矩陣所表示之位置和姿勢的螢幕上。因此，即便終端與參考環境之間的位置關係改變，仍能顯示虛擬物件以致於維持虛擬物件相對於參考環境的相對位置和姿勢。由此，如同像黏性般地將虛擬物件附加至AR空間之虛擬物件的佈置變得可能。
請注意由本說明書中所述之每個裝置執行的一系列控制程序能使用軟體、硬體、或以上之組合之任一者來實作。組成軟體的程式被事先儲存在設置在每個裝置內或外部的儲存媒體中。接著，例如，每個程式在執行過程中被讀入RAM(隨機存取記憶體)且由如同CPU的處理器執行。
此外，每個裝置之一部分的邏輯功能可實作在存在於具有位於遠端位置之資產的雲端計算環境中的裝置上而不是實作在裝置上。在這種情況下，在邏輯功能之間交換的資訊透過第9圖示範性所示之通訊單元112來在裝置之間傳送或接收。
雖然已參考附圖說明了本揭露之較佳實施例，但本揭露並不以此為限。本領域之熟知技術者將清楚明白只要是落在所附之申請專利範圍或其等效範圍內的各種修改或變化都是可能的。應了解上述修改或變化亦落在本揭露之技術範圍內。
另外，本技術亦可配置如下。
一種資訊處理裝置，具有一具有電路的控制單元，配置以接收資訊處理裝置之一偵測姿勢的一指示，以及將一虛擬物件附加於具有關於資訊處理裝置之偵測姿勢的姿勢之一參考環境。
資訊處理裝置亦可包括一顯示控制單元，配置以根據從虛擬物件到影像處理裝置的距離來改變虛擬物件的顯示屬性。
資訊處理裝置的一種態樣係為當距離比一預定較長距離短時，顯示控制單元加強一顯示屬性至一較大程度。
資訊處理裝置亦可包括一顯示控制單元，重新整理虛擬物件與另一虛擬物件的一顯示，如此在其間設置一預定顯示空間，所述之顯示控制單元反應於被滿足的一預定條件來重新整理顯示。
資訊處理裝置亦可包括一物件佈置單元，配置以針對有關參考環境之複數個影像連續地儲存虛擬物件的物件佈置矩陣。
資訊處理裝置的一種態樣係為在虛擬物件沿著當影像處理裝置移動時的軌跡移動時，控制單元產生虛擬物件的 軌跡或虛擬物件的活動。
資訊處理裝置亦可包括一通訊介面，提供與參考環境相關聯之虛擬物件的資訊給註冊虛擬物件之資訊的一物件管理單元。
資訊處理裝置的一種態樣係為所述之通訊介面傳送所述之資訊給實作成在一遠端位置之一雲端資源的物件管理單元。
資訊處理裝置的一種態樣係為虛擬物件的所述之資訊可用來以另一資訊處理裝置取得，如此當另一資訊處理裝置檢視虛擬物件所附加至的參考環境時，另一資訊處理裝置能共享虛擬物件並顯示虛擬物件。
資訊處理裝置亦可包括一顯示控制器，使關聯於在參考環境內之另一資訊處理裝置的使用者ID被顯示。
資訊處理裝置亦可包括一顯示控制器，使關聯於參考環境之目前未出現在參考環境中的另一資訊處理裝置的使用者ID被顯示。
資訊處理裝置的一種態樣係為另一資訊處理裝置係位在過去的參考環境中或從參考環境外的位置遠端地檢視參考環境。
資訊處理裝置的一種態樣係為使用者ID包括有關關聯於使用者ID之使用者的個人資訊。
資訊處理裝置亦可包括一通訊介面，透過通訊介面來共享與關聯於使用者ID的使用者之社群媒體通訊。
資訊處理裝置亦可包括一使用者介面，具有一觸控操 作，配置以反應於觸控操作來觸發控制單元以附加虛擬物件。
資訊處理裝置亦可包括一使用者介面，具有一輕敲和握持操作，配置以反應於輕敲和握持操作來觸發控制單元以在參考環境中移動虛擬物件。
資訊處理裝置亦可包括一辨識單元，基於影像辨識來偵測偵測姿勢，所述之偵測姿勢係基於為一真實物件之部分的一參考平面。
資訊處理裝置的一種態樣係為控制單元佈置虛擬物件使得虛擬物件重疊在一位置上以及在一預定位置之資訊處理裝置的姿勢。
資訊處理裝置亦可包括一顯示螢幕；及一物件佈置單元，根據在顯示螢幕上之一使用者特定輸入位置來佈置虛擬物件在沿著顯示螢幕之方向上一位置偏移量之處。
資訊處理裝置亦可包括一通訊介面，從一遠端裝置接收遠端裝置之一偵測姿勢的一指示以及遠端裝置所提供的一虛擬物件；及電路，配置以將虛擬物件附加於具有關於遠端裝置之偵測姿勢的姿勢之遠端裝置的一參考環境。
一種具有電腦可讀指令的非暫態電腦可讀媒體，電腦可讀指令當被處理電路執行時執行一方法，方法包括接收一資訊處理裝置之一偵測姿勢的一指示；及 將一虛擬物件附加於具有關於資訊處理裝置之偵測姿勢的姿勢之一參考環境。
一種具有電腦可讀指令的非暫態電腦可讀媒體，電腦可讀指令當被處理電路執行時執行一方法，所述之方法包括從一遠端裝置接收遠端裝置之一偵測姿勢的一指示以及遠端裝置所提供的一虛擬物件；及以電路將虛擬物件附加於具有關於遠端裝置之偵測姿勢的姿勢之遠端裝置的一參考環境。
一種影像處理裝置，包括一辨識單元，配置以辨識表示相對於已擷取一影像的終端之位置和姿勢之出現在影像中之環境的位置和姿勢的環境辨識矩陣；一計算單元，配置以計算環境辨識矩陣的反矩陣；及一物件佈置單元，配置以將具有為基於環境辨識矩陣的反矩陣的位置和姿勢之虛擬物件佈置在環境中。
資訊處理裝置的一種態樣係為物件佈置單元將表示所佈置的虛擬物件之位置和姿勢的物件佈置矩陣與環境相關聯地儲存在儲存媒體中。
資訊處理裝置的一種態樣係為物件佈置單元佈置虛擬物件在影像之影像方向上從環境辨識矩陣之反矩陣所表示之位置的位置偏移之處。
資訊處理裝置亦可包括一顯示控制單元，配置以當物件佈置矩陣儲存在第一時間點上且環境辨識矩陣在第一時間點之後的第二時間點上被最近辨識時，將虛擬物件顯示 在位於以物件佈置矩陣和在最近所辨識之環境辨識矩陣來表示的位置和姿勢之終端的螢幕上。
資訊處理裝置的一種態樣係為物件佈置單元佈置虛擬物件在沿著根據螢幕上之使用者輸入位置之螢幕的方向上一位置偏移量之處。
資訊處理裝置的一種態樣係為當偵測到第一使用者輸入時，顯示控制單元將控制單元顯示在終端的螢幕上，及當偵測到第一使用者輸入之後的第二使用者輸入時，物件佈置單元將顯示控制單元所顯示之虛擬物件的物件佈置矩陣與環境相關聯地儲存在儲存媒體中。
資訊處理裝置的一種態樣係為第一使用者輸入和第二使用者輸入分別對應一系列操作的開始和結束。
資訊處理裝置的一種態樣係為顯示控制單元控制虛擬物件的顯示，使得在偵測到第一使用者輸入之後直到偵測到第二使用者輸入為止的期間維持虛擬物件相對於在偵測到第一使用者輸入之時間點上的終端之相對位置和姿勢。
資訊處理裝置的一種態樣係為當從在偵測到第二使用者輸入之時間點上的影像辨識新的環境時，物件佈置單元將表示所顯示之虛擬物件的位置和姿勢之新的物件佈置矩陣與環境相關聯地儲存在儲存媒體中。
資訊處理裝置的一種態樣係為當偵測到第三使用者輸入時，物件佈置單元針對複數個影像將物件佈置矩陣與環境相關聯地連續儲存在儲存媒體中。
資訊處理裝置的一種態樣係為顯示控制單元使用連續儲存的物件佈置矩陣將虛擬物件的軌跡顯示在環境中。
資訊處理裝置的一種態樣係為顯示控制單元使用連續儲存的物件佈置矩陣顯示虛擬物件在環境中移動的動畫。
資訊處理裝置的一種態樣係為顯示控制單元在與儲存在不同時間點上之物件佈置矩陣不同的時間點之間***虛擬物件的位置和姿勢。
資訊處理裝置的一種態樣係為終端係為一影像裝置，虛擬物件被佈置在環境中以記錄影像的影像位置和影像姿勢。
資訊處理裝置的一種態樣係為當偵測到對應於用以擷取影像之指令的第四使用者輸入時，物件佈置單元將物件佈置矩陣儲存在儲存媒體中。
資訊處理裝置的一種態樣係為虛擬物件具有一預定參考平面，且顯示控制單元根據虛擬物件的參考平面是否出現在終端的螢幕上來改變虛擬物件之顯示。
資訊處理裝置的一種態樣係為顯示控制單元根據終端與虛擬物件之間的距離來改變虛擬物件之顯示。
資訊處理裝置的一種態樣係為當存在各具有物件佈置矩陣的複數個虛擬物件時，若滿足預定條件，則顯示控制單元重新整理複數個虛擬物件，使得虛擬物件之間以預定空間來排列。
資訊處理裝置的一種態樣係為辨識單元、計算單元、或物件佈置單元之至少一者係藉由存在於雲端計算環境上 的裝置而不是影像處理裝置來實作。
一種影像處理方法，包括辨識表示出現在影像中的環境之位置和姿勢相對於已擷取影像的終端之位置和姿勢的環境辨識矩陣；計算環境辨識矩陣的反矩陣；及將具有為基於環境辨識矩陣的反矩陣之位置和姿勢的虛擬物件佈置在環境中。
一種程式，使得一電腦當作一辨識單元，配置以辨識表示出現在影像中的環境之位置和姿勢相對於已擷取影像的終端之位置和姿勢的環境辨識矩陣；一計算單元，配置以計算環境辨識矩陣的反矩陣；及一物件佈置單元，配置以將具有為基於環境辨識矩陣的反矩陣之位置和姿勢的虛擬物件佈置在環境中。
100‧‧‧影像處理裝置
120‧‧‧影像取得單元
130‧‧‧辨識單元
140‧‧‧計算單元
150‧‧‧物件佈置單元
160‧‧‧物件DB
180‧‧‧操作控制單元
190‧‧‧顯示控制單元

Claims (20)

  1. 一種資訊處理裝置，包含：一具有電路的控制單元，配置以接收該資訊處理裝置之一偵測姿勢的一指示，以及將一虛擬物件附加於具有關於該資訊處理裝置之該偵測姿勢的姿勢之一參考環境。
  2. 如申請專利範圍第1項所述之資訊處理裝置，更包含：一顯示控制單元，配置以根據從該虛擬物件到該影像處理裝置的一距離來改變該虛擬物件的顯示屬性。
  3. 如申請專利範圍第2項所述之資訊處理裝置，其中當該距離比一預定較長距離短時，該顯示控制單元加強一顯示屬性至一較大程度。
  4. 如申請專利範圍第1項所述之資訊處理裝置，更包含：一顯示控制單元，重新整理該虛擬物件與另一虛擬物件的一顯示，如此在其間設置一預定顯示空間，該顯示控制單元反應於被滿足的一預定條件來重新整理該顯示。
  5. 如申請專利範圍第1項所述之資訊處理裝置，更包含：一物件佈置單元，配置以針對有關該參考環境之複數個影像連續地儲存該虛擬物件的物件佈置矩陣。
  6. 如申請專利範圍第5項所述之資訊處理裝置，其中在該虛擬物件沿著當該影像處理裝置移動時的軌跡移 動時，該控制單元產生該虛擬物件的軌跡或該虛擬物件的動畫。
  7. 如申請專利範圍第1項所述之資訊處理裝置，更包含：一通訊介面，提供與該參考環境相關聯之該虛擬物件的資訊給註冊該虛擬物件之資訊的一物件管理單元。
  8. 如申請專利範圍第7項所述之資訊處理裝置，其中該通訊介面傳送該資訊給實作成在一遠端位置之一雲端資源的該物件管理單元。
  9. 如申請專利範圍第7項所述之資訊處理裝置，其中該虛擬物件的該資訊可用來以另一資訊處理裝置取得，如此當該另一資訊處理裝置檢視該虛擬物件所附加至的該參考環境時，該另一資訊處理裝置能共享該虛擬物件並顯示該虛擬物件。
  10. 如申請專利範圍第1項所述之資訊處理裝置，更包含：一顯示控制器，使關聯於在該參考環境內之另一資訊處理裝置的一使用者ID被顯示。
  11. 如申請專利範圍第1項所述之資訊處理裝置，更包含：一顯示控制器，使關聯於該參考環境之目前未出現在該參考環境中的另一資訊處理裝置的一使用者ID被顯示。
  12. 如申請專利範圍第11項所述之資訊處理裝置，其 中該另一資訊處理裝置係位在過去的該參考環境中或從該參考環境外的位置遠端地檢視該參考環境。
  13. 如申請專利範圍第11項所述之資訊處理裝置，更包含：一通訊介面，透過該通訊介面來共享與關聯於該使用者ID的一使用者之社群媒體通訊。
  14. 如申請專利範圍第1項所述之資訊處理裝置，更包含：一使用者介面，具有一觸控操作，配置以反應於該觸控操作來觸發該控制單元以附加該虛擬物件。
  15. 如申請專利範圍第1項所述之資訊處理裝置，更包含：一辨識單元，基於影像辨識來偵測該偵測姿勢，該偵測姿勢係基於為一真實物件之部分的一參考平面。
  16. 如申請專利範圍第1項所述之資訊處理裝置，其中該控制單元佈置該虛擬物件使得該虛擬物件重疊在一位置上以及在一預定位置之該資訊處理裝置的姿勢。
  17. 如申請專利範圍第1項所述之資訊處理裝置，更包含：一顯示螢幕；及一物件佈置單元，根據在該顯示螢幕上之一使用者特定輸入位置來佈置該虛擬物件在沿著該顯示螢幕之方向上 一位置偏移量之處。
  18. 一種資訊處理裝置，包含：一通訊介面，從一遠端裝置接收該遠端裝置之一偵測姿勢的一指示以及該遠端裝置所提供的一虛擬物件；及電路，配置以將該虛擬物件附加於具有關於該遠端裝置之該偵測姿勢的姿勢之該遠端裝置的一參考環境。
  19. 一種具有電腦可讀指令的非暫態電腦可讀媒體，該電腦可讀指令當被一處理電路執行時執行一方法，該方法包含：接收一資訊處理裝置之一偵測姿勢的一指示；及將一虛擬物件附加於具有關於該資訊處理裝置之該偵測姿勢的姿勢之一參考環境。
  20. 一種具有電腦可讀指令的非暫態電腦可讀媒體，該電腦可讀指令當被一處理電路執行時執行一方法，該方法包含：從一遠端裝置接收該遠端裝置之一偵測姿勢的一指示以及該遠端裝置所提供的一虛擬物件；及以電路將該虛擬物件附加於具有關於該遠端裝置之該偵測姿勢的姿勢之該遠端裝置的一參考環境。
TW102101633A 2012-02-10 2013-01-16 影像處理裝置及電腦程式產品 TW201346640A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012026872A JP5942456B2 (ja) 2012-02-10 2012-02-10 画像処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
TW201346640A true TW201346640A (zh) 2013-11-16

Family

ID=47722490

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102101633A TW201346640A (zh) 2012-02-10 2013-01-16 影像處理裝置及電腦程式產品

Country Status (10)

Country Link
US (1) US9639988B2 (zh)
EP (1) EP2812770B1 (zh)
JP (1) JP5942456B2 (zh)
KR (1) KR20140130675A (zh)
CN (1) CN104081317B (zh)
AU (1) AU2013219082A1 (zh)
BR (1) BR112014019131A8 (zh)
RU (1) RU2014131914A (zh)
TW (1) TW201346640A (zh)
WO (1) WO2013118458A1 (zh)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
JP6171671B2 (ja) * 2013-07-24 2017-08-02 富士通株式会社 情報処理装置、位置指定方法および位置指定プログラム
EP2887639A1 (en) * 2013-12-18 2015-06-24 Microsoft Technology Licensing, LLC Augmented reality information detail
JP2015118578A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 拡張現実情報詳細
JP6476657B2 (ja) * 2014-08-27 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
TWI621097B (zh) * 2014-11-20 2018-04-11 財團法人資訊工業策進會 行動裝置、操作方法及非揮發性電腦可讀取記錄媒體
CN105807899B (zh) * 2014-12-30 2020-02-21 联想(北京)有限公司 一种电子设备及信息处理方法
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
JP6586834B2 (ja) * 2015-09-14 2019-10-09 富士通株式会社 作業支援方法、作業支援プログラム、及び作業支援システム
CN106982240B (zh) * 2016-01-18 2021-01-15 腾讯科技（北京）有限公司 信息的显示方法和装置
TWI567691B (zh) * 2016-03-07 2017-01-21 粉迷科技股份有限公司 立體空間的場景編輯方法與系統
US11238610B2 (en) * 2016-08-10 2022-02-01 Disney Enterprises, Inc. Placing large objects and objects separated by large distances in augmented reality
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
CN108242082A (zh) * 2016-12-26 2018-07-03 粉迷科技股份有限公司 立体空间的场景编辑方法与***
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
EP3566111B1 (en) * 2017-01-09 2023-09-20 Snap Inc. Augmented reality object manipulation
US20180210628A1 (en) * 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
JP6541704B2 (ja) * 2017-03-27 2019-07-10 Kddi株式会社 仮想物体を表示する端末装置とサーバ装置とを含むシステム
CN108874118A (zh) * 2017-05-12 2018-11-23 翔升（上海）电子技术有限公司 一种在vr设备中处理图像的方法和装置
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
WO2019082520A1 (ja) * 2017-10-25 2019-05-02 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019101513A (ja) * 2017-11-29 2019-06-24 株式会社カプコン 仮想空間表示装置、ゲームシステムおよび仮想空間における仮想オブジェクトの向き判定方法
CN116990888A (zh) 2017-12-10 2023-11-03 奇跃公司 光波导上的抗反射涂层
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
DK201870347A1 (en) 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
JP6745852B2 (ja) * 2018-01-24 2020-08-26 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ３ｄモデルのシステム全体の挙動のためのデバイス、方法、及びグラフィカルユーザーインターフェース
CN108510597A (zh) 2018-03-09 2018-09-07 北京小米移动软件有限公司 虚拟场景的编辑方法、装置及非临时性计算机可读存储介质
WO2019178567A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
JP7209474B2 (ja) * 2018-03-30 2023-01-20 株式会社スクウェア・エニックス 情報処理プログラム、情報処理方法及び情報処理システム
CN110545363B (zh) * 2018-05-28 2022-04-26 中国电信股份有限公司 实现多终端联网同步的方法、***和云端服务器
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
JP6548241B1 (ja) * 2018-07-14 2019-07-24 株式会社アンジー 拡張現実プログラム及び情報処理装置
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
WO2020028191A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
CN110825280A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 控制虚拟物***置移动的方法、装置和计算机可读存储介质
CN112955073A (zh) 2018-08-22 2021-06-11 奇跃公司 患者观察***
JP2021184115A (ja) * 2018-08-28 2021-12-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
US10628964B2 (en) * 2018-09-19 2020-04-21 Seiko Epson Corporation Methods and devices for extended reality device training data creation
CN111083391A (zh) * 2018-10-19 2020-04-28 舜宇光学（浙江）研究院有限公司 虚实融合***及其方法
US11808941B2 (en) * 2018-11-30 2023-11-07 Google Llc Augmented image generation using virtual content from wearable heads up display
CN109885231B (zh) 2019-02-27 2021-07-02 北京市商汤科技开发有限公司 显示方法及装置、电子设备及存储介质
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
JP7225016B2 (ja) * 2019-04-19 2023-02-20 株式会社スクウェア・エニックス Ａｒ空間画像投影システム、ａｒ空間画像投影方法及びユーザ端末
JP6815439B2 (ja) * 2019-06-07 2021-01-20 Kddi株式会社 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置
CN110286768B (zh) * 2019-06-27 2022-05-17 Oppo广东移动通信有限公司 虚拟物体显示方法、终端设备及计算机可读存储介质
US11430151B2 (en) 2019-11-06 2022-08-30 Seiko Epson Corporation Online learning for 3D pose estimation using simplified constellations
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ， インコーポレイテッド 外科手術環境において使用するための視認システム
JP7082175B2 (ja) * 2020-12-21 2022-06-07 Kddi株式会社 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置
WO2024029803A1 (ko) * 2022-08-04 2024-02-08 삼성전자 주식회사 증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법.

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI115943B (fi) * 2003-12-12 2005-08-15 Nokia Corp Järjestely informaation esittämiseksi näytöllä
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US7965294B1 (en) * 2006-06-09 2011-06-21 Pixar Key frame animation with path-based motion
US9086785B2 (en) * 2007-06-08 2015-07-21 Apple Inc. Visualization object receptacle
US8350871B2 (en) * 2009-02-04 2013-01-08 Motorola Mobility Llc Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system
US9130999B2 (en) * 2009-07-30 2015-09-08 Sk Planet Co., Ltd. Method for providing augmented reality, server for same, and portable terminal
KR101633359B1 (ko) * 2009-10-20 2016-06-27 삼성전자 주식회사 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
JP5573238B2 (ja) * 2010-03-04 2014-08-20 ソニー株式会社 情報処理装置、情報処理法方法およびプログラム
US8633947B2 (en) * 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
CN101893935B (zh) * 2010-07-14 2012-01-11 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球***构建方法
JP4993637B2 (ja) * 2010-07-21 2012-08-08 株式会社ブリリアントサービス エアタグ表示システム
US8723888B2 (en) * 2010-10-29 2014-05-13 Core Wireless Licensing, S.a.r.l. Method and apparatus for determining location offset information
US20120194547A1 (en) * 2011-01-31 2012-08-02 Nokia Corporation Method and apparatus for generating a perspective display
US9153195B2 (en) * 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
EP2813069A4 (en) * 2012-02-08 2016-12-07 Intel Corp CREATING AN ADVANCED REALITY WITH A REAL SCENE

Also Published As

Publication number Publication date
JP2013164696A (ja) 2013-08-22
EP2812770A1 (en) 2014-12-17
JP5942456B2 (ja) 2016-06-29
US20140313228A1 (en) 2014-10-23
RU2014131914A (ru) 2016-02-20
WO2013118458A1 (en) 2013-08-15
AU2013219082A1 (en) 2014-07-03
KR20140130675A (ko) 2014-11-11
US9639988B2 (en) 2017-05-02
BR112014019131A2 (zh) 2017-06-20
CN104081317A (zh) 2014-10-01
BR112014019131A8 (pt) 2017-07-11
CN104081317B (zh) 2018-05-15
EP2812770B1 (en) 2018-04-11

Similar Documents

Publication Publication Date Title
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
US20230245401A1 (en) Surface aware lens
US9256986B2 (en) Automated guidance when taking a photograph, using virtual objects overlaid on an image
US9268410B2 (en) Image processing device, image processing method, and program
US9823739B2 (en) Image processing device, image processing method, and program
EP2864932B1 (en) Fingertip location for gesture input
US20160055676A1 (en) Display control device, display control method, and program
US20160055675A1 (en) Information processing device, information processing method, and program
WO2017209978A1 (en) Shared experience with contextual augmentation
JP2013164697A (ja) 画像処理装置、画像処理方法、プログラム及び画像処理システム
TW202219704A (zh) 擴展現實系統的使用者介面佈局和輸入的動態配置
US9069415B2 (en) Systems and methods for finger pose estimation on touchscreen devices
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6304305B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP4207087A1 (en) Method and system for creating and storing map targets
US10466818B2 (en) Pointing action
CN116228514A (zh) 渲染数据处理方法、装置、计算机设备、介质和程序产品