TWI571827B - 決定3d物件影像在3d環境影像中深度的電子裝置及其方法 - Google Patents

決定3d物件影像在3d環境影像中深度的電子裝置及其方法 Download PDF

Info

Publication number
TWI571827B
TWI571827B TW101142143A TW101142143A TWI571827B TW I571827 B TWI571827 B TW I571827B TW 101142143 A TW101142143 A TW 101142143A TW 101142143 A TW101142143 A TW 101142143A TW I571827 B TWI571827 B TW I571827B
Authority
TW
Taiwan
Prior art keywords
image
depth
environment
environment image
object image
Prior art date
Application number
TW101142143A
Other languages
English (en)
Other versions
TW201419215A (zh
Inventor
謝文泰
吳業寬
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW101142143A priority Critical patent/TWI571827B/zh
Priority to CN201310111086.0A priority patent/CN103809741B/zh
Priority to US13/906,937 priority patent/US20140132725A1/en
Publication of TW201419215A publication Critical patent/TW201419215A/zh
Application granted granted Critical
Publication of TWI571827B publication Critical patent/TWI571827B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)

Description

決定3D物件影像在3D環境影像中深度的電子裝置及其方法
本發明係有關於一種決定物件影像在環境影像中深度的電子裝置及其方法,且特別是有關於一種決定3D物件影像在3D環境影像中深度的電子裝置及其方法。
目前市面上,許多電子裝置如智慧型手機、平板電腦、手提電腦等,可內建二個鏡頭的雙眼攝影機/照相機(Two-Cameras)、雷射立體攝影機/照相機(具有雷射量測深度值之攝影裝置)、紅外線立體攝影機/照相機(具有紅外線量測深度值之攝影裝置)或支援立體視覺(Stereo Vision)的攝影裝置。使用者在使用電子裝置時,利用上述攝影裝置取得3D深度影像(Depth Image)已越來越普及,但在電子裝置上之深度操控方式仍多以經由畫面上的控制鈕、控制列(control bar)來調整深度。此種方式的缺點在於,由於使用者必須理解控制鈕或控制列之含意才可操作控制鈕或控制列來調整深度,對於使用者而言非常不方便而且不直覺。此外,控制鈕或控制列必須顯示於電子裝置之顯示螢幕上,由於許多電子裝置的設計趨向小型化,如智慧型手機、平板電腦等,其顯示螢幕本身已相當小,因此其可以顯示畫面亦相當小,若欲在顯示畫面上增加顯示上述的控制鈕或控制列,將使顯示螢幕上剩餘的顯示空間更加狹小,而造成使用者觀看上的不方便。
先前技術例如美國專利US 7007242案(Graphical user interface for a mobile device)提出,額外利用旋鈕操控3D圖形使用者介面,並利用四方鈕之各面定義不同的操控動作,例如,旋轉、翻轉等三維動作。此種方式仍具有讓顯示螢幕上剩餘的顯示空間狹小的問題。
另外,先前技術例如美國專利公開US 2007/0265083(Method and Apparatus for Simulating Interactive Spinning Bar Gymnastics on a 3D Display)提出,利用觸控、旋鈕及敲擊列(Stroke Bar)控制3D影像之顯示及旋轉3D物體。但是,利用敲擊列或是3D旋鈕對於使用者而言並不直覺方便,也仍具有讓顯示螢幕上剩餘的顯示空間狹小的問題。
此外,先前技術例如美國專利公開US 2011/0093778(Mobile Terminal and Controlling Method Thereof)。此篇專利公開係一操作具有3D影像顯示之行動載具,其利用偵測連續觸碰之時間,或是利用攝影機等模組偵測手指之高度以操控不同層之圖標。然而,利用觸碰之時間與距離作為操控3D圖標之輸入介面,對於使用者來說,若未經過學習很難精準的操作,並不方便使用。
因此,需要一種決定3D物件影像在3D環境影像中深度的電子裝置及其方法,不會讓顯示螢幕上剩餘的顯示空間狹小,且可提供便利的功能,讓使用者無需使用任何控制鈕或控制列,利用電子裝置上的感測器即可決定3D物件影像在3D環境影像中的深度,以供3D物件影像與3D環境影像進行整合。
本發明提供一種決定3D物件影像在3D環境影像中深度的電子裝置及其方法。
本發明提出一種決定3D物件影像在3D環境影像中深度的方法,包括以下步驟:藉由一儲存單元取得一具有一3D物件影像深度資訊之3D物件影像及一具有一3D環境影像深度資訊之3D環境影像;藉由一分群模組根據上述3D環境影像深度資訊將上述3D環境影像區分為複數環境影像群組,其中每一環境影像群組具有一對應深度,且上述環境影像群組之間具有一順序;藉由上述電子裝置之一感測器取得一感測器量測值;以及藉由一深度決定模組依據上述感測器量測值及上述順序,選擇上述環境影像群組其中之一環境影像群組,決定所選擇環境影像群組的對應深度,做為上述3D物件影像在上述3D環境影像中的深度,其中,3D物件影像在上述3D環境影像中的深度係用以供上述3D物件影像與上述3D環境影像進行整合。
本發明另提出一種決定3D物件影像在3D環境影像中深度的電子裝置,包括:一感測器,用以取得一感測器量測值;以及一處理單元,耦接於上述感測器,用以接收上述感測器量測值,以及藉由一儲存單元取得一具有一3D物件影像深度資訊之3D物件影像及一具有一3D環境影像深度資訊之3D環境影像,包括:一分群模組,用以根據上述3D環境影像深度資訊將上述3D環境影像區分為複數環境影像群組,其中每一環境影像群組具有一對應深度,且上述環境影像群組之間具有一順序;以及一深度決定模組,耦接於上述分群模組,用以依據上述感測器量測值及 上述順序,選擇上述環境影像群組其中之一環境影像群組,決定所選擇環境影像群組的對應深度,做為上述3D物件影像在上述3D環境影像中之一深度,其中,3D物件影像在上述3D環境影像中的深度係用以供上述3D物件影像與上述3D環境影像進行整合。
本發明又提出一種可決定3D物件影像在3D環境影像中深度的行動裝置,包括:一儲存單元,用以儲存一具有一3D物件影像深度資訊之3D物件影像及一具有一3D環境影像深度資訊之3D環境影像;一感測器,用以取得一感測器量測值;一處理單元,耦接於上述儲存單元及上述感測器,根據上述3D環境影像深度資訊將上述3D環境影像區分為複數環境影像群組,其中每一環境影像群組具有一對應深度,且上述環境影像群組之間具有一順序;依據上述感測器量測值及上述順序,選擇上述環境影像群組其中之一環境影像群組,決定所選擇環境影像群組的對應深度,做為上述3D物件影像在上述3D環境影像中的一深度;以及依據上述3D物件影像在上述3D環境影像中的深度,將上述3D物件影像和上述3D環境影像進行整合,以產生一擴增實境影像;以及一顯示單元,耦接於該處理單元,用以顯示上述擴增實境影像。
為使本發明之上述和其他目的、特徵和優點能更明顯易懂,下文特舉出較佳實施例,並配合所附圖式,作詳細說明如下。
第1圖係顯示根據本發明一第一實施例所述之決定3D物件影像在3D環境影像中深度的電子裝置100之示意圖。電子裝置100主要包括一處理單元130及一感測器140。其中處理單元130更包括一分群模組134以及一深度決定模組136。
儲存單元120用以儲存至少一具有一3D物件影像深度資訊之3D物件影像及至少一具有一3D環境影像深度資訊之3D環境影像。其中,儲存單元120及處理單元130可以同時設置在一電子裝置中(例如電腦、筆記型電腦、平板電腦、行動電話等),也可分別設置在不同的電子裝置(如電腦、伺服器、資料庫、儲存裝置等)再經由通訊網路、串列方式(如RS232)或是匯流排等進行耦接。儲存單元120可以是任何市售之用於儲存資訊的裝置或產品,例如硬碟、各式記憶體、CD、DVD、電腦、伺服器等。
感測器140可感測一使用者作用於電子裝置100之一動作,並取得一感測器量測值。其中上述動作可以是揮動、晃動和敲擊、翻轉、甩動等,但本發明不限於此。感測器140可以是加速感應器(加速度計)、一三軸向陀螺儀、電子羅盤、地磁感應器、近接感應器、方向感應器、或整合上述多項功能的感測元件等裝置。在另一些實施例中,感測器也可以感測作用於電子裝置100上的聲音、影像或光線,所取得的感測器量測值可以是音訊、影像(如照片、視訊串流)和光線訊號等,而感測器140亦可以是麥克風、收音器、照像機、攝影機或光感應器等。
處理單元130耦接感測器140,可接收感測器140所 感測到的感測器量測值,其主要可包括分群模組134以及深度決定模組136。
以下實施例,係以儲存單元120設置於電子裝置100內部且處理單元130耦接於儲存單元120來進行說明。在其他實施例中,儲存單元120若設置於電子裝置100外部,電子裝置100亦可經由通訊單元和通訊網路(第1圖未顯示)鏈結到儲存單元120。
處理單元130藉由儲存單元120取得具有一3D物件影像深度資訊之3D物件影像及具有一3D環境影像深度資訊之3D環境影像,其中的分群模組134可利用影像分群技術並根據上述3D環境影像深度資訊將上述3D環境影像區分為複數環境影像群組,其中上述複數環境影像群組之間具有一順序。複數環境影像群組之間的順序,可依據每一環境影像群組的深度資訊來決定。例如,複數環境影像群組中,其平均深度資訊數值較小的群組順序在前,平均深度資訊數值較大的群組順序在後,又或者是平均深度資訊數值較大的群組順序在前而平均深度資訊數值較小的群組順序在後。複數環境影像群組之間的順序也可依據每一環境影像群組在3D環境影像中XY平面上的位置來決定,例如在XY平面上,位置越近左邊的群組順序可排在前,靠近右邊的順序可排在後,又或者位置越近上面的群組順序可排在前,靠近下面的群組順序可排在後。在其他實施例中,複數環境影像群組之間的順序也可依據每一環境影像群組的面積大小、群組像素多寡等來決定,或是經由提供一介面提供給使用者來選擇和決定。此外,複數環境影 像群組之間的順序也可由分群模組134進行隨機排序。其中,影像分群技術可以採用一般習知技術,例如K平均演算法(K-means)、模糊分類演算法(Fuzzy C-means)、階層式分群法(Hierarchical clustering)、混和高斯模型(Mixture of Gaussians)或其他技術,在此不再詳述。
除了利用深度資訊來進行分群之外,分群模組134深度外亦可以依照環境影像的顏色或是紋理相似度的資訊,來進行分群。
深度決定模組136耦接於上述分群模組134,根據感測器量測值及複數環境影像深度群組之間的順序,選擇複數環境影像群組其中之一環境影像群組,作為所選擇的環境影像群組,然後決定所選擇環境影像群組的對應深度,做為3D物件影像在3D環境影像中的深度。其中,3D物件影像在3D環境影像中的深度,是用來提供3D物件影像與3D環境影像進行整合時使用。
在另一些實施例中,處理單元130更包括一擴增實境模組,耦接於上述深度決定模組,用以依據上述3D物件影像在上述3D環境影像中的深度,將上述3D物件影像和上述3D環境影像進行整合,以產生一擴增實境影像。例如,當3D物件影像與3D環境影像進行整合時,是將3D物件影像加入3D環境影像之中,然後依據3D物件影像的原始深度和3D物件影像在3D環境影像中的深度,調整3D物件影像在XY平面的顯示尺寸。其中,3D物件影像的原始深度,主要是依據3D物件影像的3D物件影像深度資訊所產生。例如,可選擇3D物件影像的幾何(Geometric Center) 中心、重心(Barycenter)、3D物件影像中其深度值為最小的點、或是其中任何一指定點,作為一基點,然後將此基點在3D物件影像深度資訊中的深度,作為原始深度。
舉例來說,可以指定在3D物件影像中,於XY平面上,Y軸方向的最下方且底部的中心點、其在Z軸方向上的值作為基點,然後從3D物件影像的影像深度資訊中取得此基點的深度作為原始深度,以及將上述所選擇環境影像群組的對應深度作為此基點在3D環境影像中的深度。之後,即可依據此基點在3D物件影像中的深度和其在3D物件影像的原始深度,調整3D物件影像在3D環境影像中的XY平面顯示尺寸。舉例來說,當物件離人眼越近時其視角越大,被人眼所觀察的物件長度、面積看起來就會越大,而當物件離人眼越遠時,被人眼所觀察到的物件長度、面積看起來就會越小。當3D物件影像的原始深度為100 cm時(亦即3D物件影像中基點的深度為100 cm),3D物件影像在XY平面的顯示尺寸為20 cm×30 cm,經深度決定模組136決定3D物件影像在3D環境影像中的深度為200 cm時,3D物件影像在3D環境影像中的X軸向長度、Y軸向長度、XY平面顯示尺寸,都會依100除以200的比例來縮小,也就是說,3D物件影像在XY平面的顯示尺寸將縮小為10 cm×15 cm。
在一些實施例中,儲存單元120可預先儲存一感測器量測閥值,而深度決定模組136選擇環境影像群組其中之一環境影像群組之步驟,係判斷當感測器量測值大於所預先儲存的感測器量測閥值時,依據上述順序,選擇一環境 影像群組。例如,當尚未選擇任何一環境影像群組時,深度決定模組136可決定順序為第一的環境影像群組做為所選擇環境影像群組,而當已經有了所選擇環境影像群組時,深度決定模組136亦可依據上述順序和所選擇環境影像群組,決定其順序在上述選擇環境影像群組之後的另一環境影像群組,做為更新的所選擇環境影像群組。也就是說,當尚未有所選擇環境影像群組時,當判斷感測器量測值大於感測器量測閥值時,可優先選擇順序為第一的環境影像群組作為所選擇環境影像群組,而當已有所選擇環境影像群組時,當判斷感測器量測值大於感測器量測閥值時,則依據上述順序,更換所選擇環境影像群組,如將順序排在目前所選擇環境影像群組之後的另一個環境影像群組,作為更新後的所選擇環境影像群組。
在另一些實施例中,擴增實境模組可藉由儲存單元120取得一微調閥值上限和一微調閥值下限,而擴增實境模組更可當判斷所取得之感測器量測值係介位於上述微調閥值上限和上述微調閥值下限之間時,小幅度調整以更新上述3D物件影像在上述3D環境影像中的深度。在一特定實施例中,微調閥值上限等於或小於感測器量測閥值,而微調閥值下限應小於微調閥值上限。當感測器量測值大於感測器量測閥值時,深度決定模組則選擇或更換所選擇環境影像群組,以大幅度調整3D物件影像在3D環境影像中的深度,當感測器量測值小於感測器量測閥值,且介於微調閥值的上限和下限之間時,深度決定模組則不會選擇或更換更換所選擇環境影像群組,而是就目前的3D物件影像在 3D環境影像中深度,小幅度增加或減少其深度,例如,每次對目前3D物件影像在3D環境影像中深度,增加或減少一定值(如5 cm),或是依據感測器量測值其和微調閥值上限的差值大小,來增加或減少對應數值的深度。在另一些實施例中處理單元130更可包括一啟動模組,提供一啟動功能,以開始執行決定上述3D物件影像在上述3D環境影像中上述深度。例如,啟動模組可以是一應用程式產生一啟動介面,可提供使用者操作後,開始啟動上述第一實施例的相關功能。又或者是,啟動模組係判斷感測器140所感測到的感測器量測值,當第一次大於上述的感測器量測閥值時,開始啟動上述第一實施例的相關功能。又或者是,啟動模組係判斷異於感測器140的另一感測器(第1圖未顯示),當偵測到對應的感測器量測值大於一預定的啟動閥值時,開始啟動上述第一實施例的相關功能。
第2圖係顯示根據本發明第二實施例所述之決定3D物件影像在3D環境影像中深度的行動裝置200之示意圖。行動裝置200主要包括一儲存單元220、一處理單元230、一感測器240及一顯示單元250。另一些實施例中,行動裝置200可再包含有一影像擷取單元210。
在此實施例中,儲存單元220儲存具有一3D物件影像深度資訊之3D物件影像及具有一3D環境影像深度資訊之3D環境影像,而感測器240用以取得一感測器量測值,其功能如前所述,在此不再贅述。處理單元230則耦接於儲存單元220及感測器240,根據3D環境影像深度資訊將3D環境影像區分為複數環境影像群組,其中每一環境影像 群組具有一對應深度,多個環境影像群組之間具有一順序;依據感測器240所取得的感測器量測值及其順序,選擇多個環境影像群組中的一環境影像群組,決定所選擇環境影像群組的對應深度,做為3D物件影像在3D環境影像中的深度;以及,依據3D物件影像在3D環境影像中的深度,將3D物件影像和3D環境影像進行整合,產生一擴增實境影像。顯示單元250,耦接於該處理單元230,用來顯示處理單元230所產生的擴增實境影像。影像擷取單元210耦接至儲存單元220,主要是用來分別對一物件及一環境來擷取一3D物件影像及一3D環境影像,其中該3D物件影像及該3D環境影像係具有深度值之3D影像,所擷取(或拍攝)的3D物件影像及3D環境影像可儲存於儲存單元220中。影像擷取單元210可以是任何市售之可擷取3D影像的裝置或設備,例如具二個鏡頭的雙眼攝影機/照相機、單一鏡頭可連續拍攝二張照片的攝影機/照相機、雷射立體攝影機/照相機(具有雷射量測深度值之攝影裝置)、紅外線立體攝影機/照相機(具有紅外線量測深度值之攝影裝置)等裝置。
處理單元230耦接至儲存單元220,可利用相異點分析(Dissmilarity Analysis)與立體視覺分析(Stereo Vision Analysis)分別計算3D物件影像之一3D物件影像深度資訊及3D環境影像之一3D環境影像深度資訊。更進一步時,處理單元230更可執行一3D物件影像取出功能,可將3D物件影像進行分群,區分出複數個3D物件影像群組,然後從其中取出一3D物件影像群組,作為更新的3D物件影 像。
在第二實施例中,處理單元230依據上述3D物件影像在上述3D環境影像中的深度,將上述更新後的3D物件影像和上述3D環境影像進行整合,以產生一擴增實境影像。在擴增實境影像中,3D物件影像的一XY平面顯示尺寸係依據3D物件影像的一原始深度和3D物件影像在3D環境影像中的深度進行等調整而產生。
顯示單元250耦接於處理單元230,用以顯示3D環境影像,並可經由特殊線條、框線、特定顏色或影像變化等,來顯示3D環境影像群組中所選擇之環境影像群組,讓使用者可以明顯的辨識出目前的所選擇環境影像群組。此外,顯示單元250亦可用以顯示3D物件影像、複數個3D物件影像群組、取出的3D物件影像群組、以及擴增實境影像等。顯示單元250其可為一般市售可得的顯示器,例如CRT螢幕、液晶螢幕、觸控螢幕、電漿螢幕、LED螢幕等。
在此第二實施例中,行動裝置200更可包括一啟動模組(圖未標示)。啟動模組用以開始執行決定3D物件影像在3D環境影像中之深度。
第3圖係顯示根據本發明第一實施例所述之決定3D物件影像在3D環境影像中深度之方法流程圖300,並配合參考第1圖。首先,在步驟S302中,藉由一儲存單元取得一具有一3D物件影像深度資訊之3D物件影像及一具有一3D環境影像深度資訊之3D環境影像。在步驟S304中,藉由一分群模組根據3D環境影像深度資訊將3D環境影像 區分為複數環境影像群組,其中每一環境影像群組具有一對應深度,且環境影像群組之間具有一順序。在步驟S306中,藉由電子裝置之一感測器取得一感測器量測值。最後,在步驟S308中,藉由一深度決定模組依據感測器量測值及順序,選擇環境影像群組其中之一環境影像群組,決定所選擇環境影像群組的對應深度,做為3D物件影像在3D環境影像中的深度,其中3D物件影像在3D環境影像中的深度係用以供3D物件影像與3D環境影像進行整合。
第4圖係顯示根據本發明第二實施例的決定3D物件影像在3D環境影像中深度之方法流程圖400,並配合參考第2圖。在步驟S402中,影像擷取單元分別對一物件及一環境擷取一3D物件影像及一3D環境影像。在步驟S404中,影像擷取單元擷取影像後,將3D物件影像及3D環境影像儲存至儲存單元中。在步驟S406中,處理單元分別計算3D物件影像之3D物件影像深度資訊及3D環境影像之3D環境影像深度資訊。接著,在步驟S408中,處理單元根據3D環境影像深度資訊將3D環境影像區分為複數環境影像群組,其中每一環境影像群組具有一對應深度,且環境影像群組之間具有一順序。在步驟S410中,感測器取得一感測器量測值。於步驟S412中,處理單元依據感測器量測值及順序,選擇環境影像群組其中之一環境影像群組,決定所選擇環境影像群組的對應深度,做為3D物件影像在3D環境影像中的一深度。在步驟S414中,處理單元依據3D物件影像在3D環境影像中的深度,將3D物件影像和3D環境影像進行整合,以產生一擴增實境影像。最後, 在步驟S416中,顯示單元於3D環境影像中,顯示擴增實境影像。
第5A-5B圖係顯示根據本發明一實施例所述之分群模組之分群示意圖。如第5A-5B圖所示,在3D環境影像中,每一環境影像群組具有一對應深度,且環境影像群組之間具有一順序,圖中深度值順序由深至淺,可分為七個群組(數字1~7)。第5C-5D圖係顯示根據本發明一實施例所述之深度決定模組如何選擇環境影像群組的對應深度的示意圖。如第5C圖所示,一使用者揮動此電子裝置。深度決定模組判斷當感測器量測值大於感測器量測閥值時,依據上述順序,決定順序為第一的環境影像群組做為所選擇環境影像群組。如第5D圖所示,深度決定模組決定順序為第一的群組3做為目前所選擇環境影像群組。
在一些實施例中,當使用者作用於電子裝置之動作為輕敲時(即使用者輕敲此電子裝置),擴增實境模組則判斷所取得之感測器量測值係位於微調閥值範圍之間時,則微調3D物件影像於擴增實境影像中的深度。
第6A-6C圖係顯示根據本發明另一實施例所述之操作一具有3D顯示功能之行動裝置600決定環境影像群組之群組順序之示意圖。此行動裝置600可包括一決定3D物件影像在3D環境影像中深度的電子裝置610及一顯示單元620,如第7圖所示。電子裝置610和第一實施例中控制裝置100相同,其功能亦如前所述,在此不再贅述。
如第6A圖所示,行動裝置600可顯示不同深度層之圖標(Icon)。圖標1A及圖標1B係屬於同一深度層,而圖 標2A~圖標2F係屬於另一層且位於圖標1A及圖標1B之後方。如第6B圖所示,使用者揮動此行動裝置600。感測器將感測上述揮動,並取得一感測器量測值。如第6C圖所示,深度決定模組判斷當感測器量測值大於感測器量測閥值時,決定其順序在圖標1A及圖標1B之後的圖標2A~圖標2F,做為更新的所選擇環境影像群組。
因此,透過本發明之決定3D物件影像在3D環境影像中深度的方法與電子裝置,無需使用任何控制鈕或控制列,即可決定3D物件影像在3D環境影像中的深度,將3D物件影像和3D環境影像結合。
雖然本發明已以較佳實施例揭露如上,然其並非用以限定本發明,任何熟悉此項技藝者,在不脫離本發明之精神和範圍內,當可做些許更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧電子裝置
120‧‧‧儲存單元
130‧‧‧處理單元
134‧‧‧分群模組
136‧‧‧深度決定模組
140‧‧‧感測器
200‧‧‧行動裝置
210‧‧‧影像擷取單元
220‧‧‧儲存單元
230‧‧‧處理單元
240‧‧‧感測器
250‧‧‧顯示單元
300‧‧‧方法流程圖
S302、S304、S306、S308‧‧‧步驟
400‧‧‧方法流程圖
S402、S404、S406、S408、S410、S412、S414、S416‧‧‧步驟
600‧‧‧行動裝置
610‧‧‧電子裝置
620‧‧‧顯示單元
1A~1B‧‧‧圖標
2A~2F‧‧‧圖標
第1圖係顯示根據本發明一第一實施例所述之控制3D物件影像在3D環境影像中深度的電子裝置之示意圖。
第2圖係顯示根據本發明第二實施例所述之控制3D物件影像在3D環境影像中深度的行動裝置之示意圖。
第3圖係顯示根據本發明第一實施例所述之控制3D物件影像在3D環境影像中深度之方法流程圖。
第4圖係顯示根據本發明第二實施例的控制3D物件影像在3D環境影像中深度流程圖。
第5A-5B圖係顯示根據本發明一實施例所述之分群模組之分群示意圖。
第5C-5D圖係顯示根據本發明一實施例所述之深度決定模組如何選擇環境影像群組的對應深度之示意圖。
第6A-6C圖係顯示根據本發明另一實施例所述之操作一具有3D顯示功能之行動裝置決定環境影像深度群組之群組順序之示意圖。
第7圖係顯示根據本發明一實施例所述之行動裝置之示意圖。
100‧‧‧電子裝置
120‧‧‧儲存單元
130‧‧‧處理單元
134‧‧‧分群模組
136‧‧‧深度決定模組
140‧‧‧感測器

Claims (17)

  1. 一種決定3D物件影像在3D環境影像中深度的方法,包括以下步驟:藉由一儲存單元取得一具有一3D物件影像深度資訊之3D物件影像及一具有一3D環境影像深度資訊之3D環境影像;藉由一分群模組根據上述3D環境影像深度資訊將上述3D環境影像區分為複數環境影像群組,其中每一環境影像群組具有一對應深度,且上述環境影像群組之間具有一順序;藉由上述電子裝置之一感測器取得一感測器量測值;以及藉由一深度決定模組依據上述感測器量測值及上述順序,選擇上述環境影像群組其中之一環境影像群組,決定所選擇環境影像群組的對應深度,做為上述3D物件影像在上述3D環境影像中的深度,其中,3D物件影像在上述3D環境影像中的深度係用以供上述3D物件影像與上述3D環境影像進行整合;其中藉由上述感測器取得上述感測器量測值之步驟,係藉由感測作用於上述感測器之一動作而取得,且其中上述動作係一揮動、一晃動和一敲擊三者其中之一。
  2. 申請專利範圍第1項所述之決定3D物件影像在3D環境影像中深度的方法,更包括以下步驟:藉由上述儲存單元取得一感測器量測閥值;且其中上述深度決定模組選擇上述環境影像群組其中之一環 境影像群組之步驟,係判斷當上述感測器量測值大於上述感測器量測閥值時,依據上述順序,決定順序為第一的環境影像群組做為所選擇環境影像群組,或是依據上述順序和所選擇環境影像群組,決定其順序在上述選擇環境影像群組之後的另一環境影像群組,做為更新的所選擇環境影像群組。
  3. 申請專利範圍第1項所述之決定3D物件影像在3D環境影像中深度的方法,更包括以下步驟:藉由一擴增實境模組依據上述3D物件影像在上述3D環境影像中的深度,將上述3D物件影像和上述3D環境影像進行整合,以產生一擴增實境影像;其中,上述擴增實境影像中,上述3D物件影像的一XY平面顯示尺寸,係依據上述3D物件影像的一原始深度和上述3D物件影像在上述3D環境影像中的深度,進行調整,其中上述3D物件影像的原始深度,係依據上述3D物件影像的3D物件影像深度資訊所產生。
  4. 申請專利範圍第3項所述之決定3D物件影像在3D環境影像中深度的方法,其中將上述3D物件影像和上述3D環境影像進行整合之步驟,係將上述3D物件影像於上述XY平面之Y軸方向的最下方且在Z軸方向的中間點作為一基點,然後將上述所選擇環境影像群組的對應深度作為上述基點之深度,再依據上述基點在上述3D物件影像之3D物件影像深度資訊中的深度資料作為上述原始深度,據以調整上述3D物件影像在上述擴增實境影像中的XY平面顯示尺寸。
  5. 申請專利範圍第1項所述之決定3D物件影像在3D環境影像中深度的方法,其中上述每一環境影像群組的對應深度,係每一環境影像群組的一幾何(Geometric Center)中心深度、一重心(Barycenter)深度、或是每一環境影像群組中其深度值為最小的深度。
  6. 申請專利範圍第1項所述之決定3D物件影像在3D環境影像中深度的方法,更包括以下步驟:藉由上述儲存單元取得一微調閥值上限和一微調閥值下限;以及藉由上述擴增實境模組,當判斷所取得之感測器量測值係介於上述微調閥值範圍上限和上述微調閥值下限之間,小幅度調整以更新上述3D物件影像在上述3D環境影像中的深度。
  7. 申請專利範圍第1項所述之決定3D物件影像在3D環境影像中深度的方法,更包括以下步驟:藉由一顯示單元,以顯示上述3D環境影像,並經由特殊線條、框線、特定顏色或影像變化來顯示上述3D環境影像群組中所選擇之環境影像群組。
  8. 申請專利範圍第1項所述之決定3D物件影像在3D環境影像中深度的方法,更包括以下步驟:經由一啟動模組,用以提供一啟動功能,以開始執行上述決定3D物件影像在3D環境影像中深度的方法步驟。
  9. 一種決定3D物件影像在3D環境影像中深度的電子裝置,包括:一感測器,用以感測作用於上述電子裝置之一動作而 取得一感測器量測值,其中上述動作係一揮動、一晃動和一敲擊三者其中之一;以及一處理單元,耦接於上述感測器,用以接收上述感測器量測值,以及藉由一儲存單元取得一具有一3D物件影像深度資訊之3D物件影像及一具有一3D環境影像深度資訊之3D環境影像,包括:一分群模組,用以根據上述3D環境影像深度資訊將上述3D環境影像區分為複數環境影像群組,其中每一環境影像群組具有一對應深度,且上述環境影像群組之間具有一順序;以及一深度決定模組,耦接於上述分群模組,用以依據上述感測器量測值及上述順序,選擇上述環境影像群組其中之一環境影像群組,決定所選擇環境影像群組的對應深度,做為上述3D物件影像在上述3D環境影像中的深度,其中,3D物件影像在上述3D環境影像中的深度係用以供上述3D物件影像與上述3D環境影像進行整合。
  10. 申請專利範圍第9項所述之決定3D物件影像在3D環境影像中深度的電子裝置,其中上述深度決定模組於選擇上述環境影像群組其中之一環境影像群組為所選擇環境影像群組時,係藉由上述儲存單元取得一感測器量測閥值,並判斷當上述感測器量測值大於上述感測器量測閥值時,依據上述順序,決定順序為第一的環境影像群組做為所選擇環境影像群組,或是依據上述順序和所選擇環境影像群組,決定其順序在上述選擇環境影像群組之後的另一環境影像群組,做為更新的所選擇環境影像群組。
  11. 申請專利範圍第9項所述之決定3D物件影像在3D環境影像中深度的電子裝置,其中上述處理單元更包括:一擴增實境模組,耦接於上述深度決定模組,用以依據上述3D物件影像在上述3D環境影像中的深度,將上述3D物件影像和上述3D環境影像進行整合,以產生一擴增實境影像;其中,上述擴增實境影像中,上述3D物件影像的一XY平面顯示尺寸,係依據上述3D物件影像的一原始深度和上述3D物件影像在上述3D環境影像中的深度,進行調整,其中上述3D物件影像的原始深度,係依據上述3D物件影像的3D物件影像深度資訊所產生。
  12. 申請專利範圍第11項所述之決定3D物件影像在3D環境影像中深度的電子裝置,上述擴增實境模組係將上述3D物件影像於上述XY平面之Y軸方向的最下方且在Z軸方向的中間點作為一基點,然後將上述所選擇環境影像群組的對應深度作為上述基點之深度,再依據上述基點在上述3D物件影像之3D物件影像深度資訊中的深度資料作為上述原始深度,據以調整上述3D物件影像在上述擴增實境影像中的XY平面顯示尺寸。
  13. 申請專利範圍第12項所述之決定3D物件影像在3D環境影像中深度的電子裝置,其中上述每一環境影像群組的對應深度,係每一環境影像群組的一幾何(Geometric Center)中心深度、或一重心(Barycenter)深度、或是每一環境影像群組中其深度值為最小的深度。
  14. 申請專利範圍第9項所述之決定3D物件影像在3D環境影像中深度的電子裝置,其中上述擴增實境模組由上述儲存單元取得一微調閥值上限和一微調閥值下限,且上述擴增實境模組更用以當判斷所取得之感測器量測值係介位於上述微調閥值上限和上述微調閥值下限之間,小幅度調整以更新上述3D物件影像在上述3D環境影像中的深度。
  15. 申請專利範圍第9項所述之決定3D物件影像在3D環境影像中深度的電子裝置,更包括:一顯示單元,用以顯示上述3D環境影像,並經由特殊線條、框線、特定顏色或影像變化來顯示上述3D環境影像群組中所選擇之環境影像群組。
  16. 申請專利範圍第9項所述之決定3D物件影像在3D環境影像中深度的電子裝置,其中上述處理單元更包括:一啟動模組,用以提供一啟動功能,以開始執行決定上述3D物件影像在上述3D環境影像中上述深度。
  17. 一種可決定3D物件影像在3D環境影像中深度的行動裝置,包括:一儲存單元,用以儲存一具有一3D物件影像深度資訊之3D物件影像及一具有一3D環境影像深度資訊之3D環境影像;一感測器,用以感測作用於上述行動裝置之一動作而取得一感測器量測值,其中上述動作係一揮動、一晃動和一敲擊三者其中之一; 一處理單元,耦接於上述儲存單元及上述感測器,根據上述3D環境影像深度資訊將上述3D環境影像區分為複數環境影像群組,其中每一環境影像群組具有一對應深度,且上述環境影像群組之間具有一順序;依據上述感測器量測值及上述順序,選擇上述環境影像群組其中之一環境影像群組,決定所選擇環境影像群組的對應深度,做為上述3D物件影像在上述3D環境影像中的一深度;以及依據上述3D物件影像在上述3D環境影像中的深度,將上述3D物件影像和上述3D環境影像進行整合,以產生一擴增實境影像;以及一顯示單元,耦接於該處理單元,用以顯示上述擴增實境影像。
TW101142143A 2012-11-13 2012-11-13 決定3d物件影像在3d環境影像中深度的電子裝置及其方法 TWI571827B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101142143A TWI571827B (zh) 2012-11-13 2012-11-13 決定3d物件影像在3d環境影像中深度的電子裝置及其方法
CN201310111086.0A CN103809741B (zh) 2012-11-13 2013-04-01 决定3d物件影像在3d环境影像中深度的电子装置及其方法
US13/906,937 US20140132725A1 (en) 2012-11-13 2013-05-31 Electronic device and method for determining depth of 3d object image in a 3d environment image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101142143A TWI571827B (zh) 2012-11-13 2012-11-13 決定3d物件影像在3d環境影像中深度的電子裝置及其方法

Publications (2)

Publication Number Publication Date
TW201419215A TW201419215A (zh) 2014-05-16
TWI571827B true TWI571827B (zh) 2017-02-21

Family

ID=50681318

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101142143A TWI571827B (zh) 2012-11-13 2012-11-13 決定3d物件影像在3d環境影像中深度的電子裝置及其方法

Country Status (3)

Country Link
US (1) US20140132725A1 (zh)
CN (1) CN103809741B (zh)
TW (1) TWI571827B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150215530A1 (en) * 2014-01-27 2015-07-30 Microsoft Corporation Universal capture
US9544491B2 (en) * 2014-06-17 2017-01-10 Furuno Electric Co., Ltd. Maritime camera and control system
US9569830B2 (en) * 2015-07-03 2017-02-14 Mediatek Inc. Image processing method and electronic apparatus with image processing mechanism
US10165199B2 (en) * 2015-09-01 2018-12-25 Samsung Electronics Co., Ltd. Image capturing apparatus for photographing object according to 3D virtual object
CN105630197B (zh) * 2015-12-28 2018-04-06 惠州Tcl移动通信有限公司 一种vr眼镜及其功能键实现方法
US10068376B2 (en) 2016-01-11 2018-09-04 Microsoft Technology Licensing, Llc Updating mixed reality thumbnails
KR102457891B1 (ko) * 2017-10-30 2022-10-25 삼성전자주식회사 이미치 처리 방법 및 장치
CN111145100B (zh) * 2018-11-02 2023-01-20 深圳富泰宏精密工业有限公司 动态影像生成方法及***、计算机装置、及可读存储介质
TWI691938B (zh) * 2018-11-02 2020-04-21 群邁通訊股份有限公司 動態影像生成方法及系統、電腦裝置、及可讀儲存介質

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200405979A (en) * 2002-09-06 2004-04-16 Sony Computer Entertainment Inc Image processing method and apparatus
TWM412400U (en) * 2011-02-10 2011-09-21 Yuan-Hong Li Augmented virtual reality system of bio-physical characteristics identification
US20120075432A1 (en) * 2010-09-27 2012-03-29 Apple Inc. Image capture using three-dimensional reconstruction
TW201239673A (en) * 2011-03-25 2012-10-01 Acer Inc Method, manipulating system and processing apparatus for manipulating three-dimensional virtual object

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
TWI434227B (zh) * 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
US9420251B2 (en) * 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
JP5547985B2 (ja) * 2010-02-22 2014-07-16 ラピスセミコンダクタ株式会社 運動検出装置、電子機器、運動検出方法及びプログラム
US8405680B1 (en) * 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
EP2395369A1 (en) * 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
KR101295714B1 (ko) * 2010-06-30 2013-08-16 주식회사 팬택 3차원 증강 현실 제공 장치 및 방법
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
TWI504232B (zh) * 2011-06-22 2015-10-11 Realtek Semiconductor Corp 3d影像處理裝置
JP5707497B2 (ja) * 2011-08-09 2015-04-30 パイオニア株式会社 複合現実感装置
TWI544447B (zh) * 2011-11-29 2016-08-01 財團法人資訊工業策進會 擴增實境的方法及系統
CN102761768A (zh) * 2012-06-28 2012-10-31 中兴通讯股份有限公司 一种实现立体成像的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200405979A (en) * 2002-09-06 2004-04-16 Sony Computer Entertainment Inc Image processing method and apparatus
US20120075432A1 (en) * 2010-09-27 2012-03-29 Apple Inc. Image capture using three-dimensional reconstruction
TWM412400U (en) * 2011-02-10 2011-09-21 Yuan-Hong Li Augmented virtual reality system of bio-physical characteristics identification
TW201239673A (en) * 2011-03-25 2012-10-01 Acer Inc Method, manipulating system and processing apparatus for manipulating three-dimensional virtual object

Also Published As

Publication number Publication date
CN103809741A (zh) 2014-05-21
TW201419215A (zh) 2014-05-16
CN103809741B (zh) 2016-12-28
US20140132725A1 (en) 2014-05-15

Similar Documents

Publication Publication Date Title
TWI571827B (zh) 決定3d物件影像在3d環境影像中深度的電子裝置及其方法
US11670267B2 (en) Computer vision and mapping for audio applications
US20210405761A1 (en) Augmented reality experiences with object manipulation
US10620791B2 (en) Information processing apparatus and operation reception method
US12008153B2 (en) Interactive augmented reality experiences using positional tracking
TWI544447B (zh) 擴增實境的方法及系統
US9256288B2 (en) Apparatus and method for selecting item using movement of object
JP5739671B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
US11854147B2 (en) Augmented reality guidance that generates guidance markers
CN110064200B (zh) 基于虚拟环境的物体构建方法、装置及可读存储介质
US20120139907A1 (en) 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
US11954268B2 (en) Augmented reality eyewear 3D painting
KR20200123223A (ko) 애플리케이션을 위한 디스플레이 적응 방법 및 장치, 디바이스, 및 저장 매체
US11741679B2 (en) Augmented reality environment enhancement
CN112150560A (zh) 确定消失点的方法、装置及计算机存储介质
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US10719147B2 (en) Display apparatus and control method thereof
EP2341412A1 (en) Portable electronic device and method of controlling a portable electronic device
KR20120055434A (ko) 디스플레이 시스템 및 그 디스플레이 방법
CN113242467B (zh) 视频剪辑方法、装置、终端及存储介质
KR20100113251A (ko) 디스플레이장치 및 그의 제어 방법