TWI700671B - 電子裝置及擴增實境之三維物件的尺寸調整方法 - Google Patents
電子裝置及擴增實境之三維物件的尺寸調整方法 Download PDFInfo
- Publication number
- TWI700671B TWI700671B TW108107338A TW108107338A TWI700671B TW I700671 B TWI700671 B TW I700671B TW 108107338 A TW108107338 A TW 108107338A TW 108107338 A TW108107338 A TW 108107338A TW I700671 B TWI700671 B TW I700671B
- Authority
- TW
- Taiwan
- Prior art keywords
- positioning label
- positioning
- dimensional model
- zoom ratio
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000003190 augmentative effect Effects 0.000 title claims description 54
- 238000009877 rendering Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 238000012634 optical imaging Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本發明係提供一種電子裝置。電子裝置包括：一影像感測器、一顯示模組、及一處理器。影像感測器係擷取設置一第一定位標籤、一第二定位標籤、及一第三定位標籤的一目標物件之複數張物件影像。處理器執行一擴增實境程式以執行下列步驟：從各物件影像辨識出第一定位標籤、第二定位標籤、及第三定位標籤；依據所辨識出之定位標籤的位置以計算一三維模型之不同維度相應的一縮放比例；對三維模型進行影像縮放處理並繪製縮放後的三維模型；以及將縮放後的三維模型疊合於各物件影像以產生一輸出影像，並在顯示模組播放輸出影像。
Description
本發明係有關於顯示裝置，特別是有關於一種電子裝置及擴增實境之三維物件的尺寸調整方法。
隨著科技發展，擴增實境(Augmented Reality，AR)之技術在穿戴式裝置上之應用也愈來愈成熟。然而，傳統的擴增實境技術往往在真實空間與電腦虛擬空間內所渲染的三維模型通常會有尺寸誤差，或是無法找到一個快速的計算方式將三維模型的影像依照真實世界的尺寸及比例，準確地疊合到真實世界的物件上。
因此，需要一種電子裝置及擴增實境之三維物件的尺寸調整方法以解決上述問題。
本發明係提供一種電子裝置，包括：一影像感測器，用以擷取一目標物件之複數張物件影像，其中該目標物件係設置一第一定位標籤、一第二定位標籤、及一第三定位標籤；一顯示模組；以及一處理器，用以執行一擴增實境程式以執行下列步驟：從各物件影像辨識出該第一定位標籤、該第二定位標籤、及該第三定位標籤；依據所辨識出之該第一定位標籤、該第二定位標籤、及該第三定位標籤之位置以計算一三維模型之不同維度相應的一縮放比例；依據該三維模型之不同維度相應的該縮放比例以對該三維模型進行影像縮放處理並繪製縮放後的該三維模型；以及將縮放後的該三維模型疊合於各物件影像以產生一輸出影像，並在該顯示模組播放該輸出影像。
在一些實施例中，第一定位標籤之一第一三維座標為縮放後之三維物件的原點座標。
在一些實施例中，擴增實境程式更執行下列步驟：依據該第一定位標籤之該第一三維座標及該第二定位標籤之一第二三維座標以計算出一垂直距離；依據該第一定位標籤之該第一三維座標及該第二定位標籤之一第二三維座標以計算出一水平距離；以及將該三維物件之高度及寬度分別除以該垂直距離及該水平距離以得到一垂直縮放比例及一水平縮放比例。
在一些實施例中，擴增實境程式更執行下列步驟：將該垂直縮放比例及該水平縮放比例之較小的一者設定為一深度縮放比例；以及依據該垂直縮放比例、該水平縮放比例、及深度縮放比例對該三維物件之長度、寬度、及深度進行該影像縮放處理並繪製縮放後的該三維模型。
在一些實施例中，處理器係在相鄰的一第一時間間隔、一第二時間間隔、及一第三時間間隔依序辨識出第一定位標籤、第二定位標籤、及第三定位標籤，且第三時間間隔晚於第二時間間隔，且第二時間間隔晚於第一時間間隔。
本發明更提供一種擴增實境之三維物件的尺寸調整方法，用於一電子裝置，該電子裝置包括一影像感測器及一顯示模組，該方法包括：利用該影像感測器擷取一目標物件之複數張物件影像，其中該目標物件係設置一第一定位標籤、一第二定位標籤、及一第三定位標籤；從各物件影像辨識出該第一定位標籤、該第二定位標籤、及該第三定位標籤；依據所辨識出之該第一定位標籤、該第二定位標籤、及該第三定位標籤之位置以計算一三維模型之不同維度相應的一縮放比例；依據該三維模型之不同維度相應的該縮放比例以對該三維模型進行影像縮放處理並繪製縮放後的該三維模型；以及將縮放後的該三維模型疊合於各物件影像以產生一輸出影像，並在該顯示模組播放該輸出影像。
為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下。
第1圖為依據本發明一實施例中之擴增實境系統的方塊圖。
如第1圖所示，擴增實境系統10包括一電子裝置100及三個定位標籤201～203。電子裝置100可為一穿戴式電子裝置，例如為一智慧眼鏡、頭戴式顯示器等等，但本發明並不限於此。
包括一影像擷取裝置110、一處理器120、一記憶體單元130、一儲存裝置140、一顯示模組150。一影像感測器110、處理器120、記憶體單元130、儲存裝置140、顯示模組150係透過系統匯流排111而互相耦接。影像感測器110係用以擷取設置有定位標籤201～203(例如貼附於目標物件)的場景影像以產生一影像信號，其中影像感測器110是互補金屬氧化物半導體(complementary metal-oxide-semiconductor，CMOS)感測器或者電荷耦合裝置(charge-coupled device，CCD)感測器。
處理器120包含影像處理管線以及/或者視訊處理管線，其可用以為針對來自影像感測器110的影像信號進行執行相關的影像處理以及視訊處理。在一些實施例中，處理器120可以是中央處理器(CPU)、一般用途處理器(general-purpose processor)、晶片系統(system-on-chip，SoC)、應用特定積體電路(ASIC)、整合上述功能的現場可程式化邏輯閘陣列(field-programmable gate array，FPGA)、或者影像處理板(image processing board)(未繪示)，其中該影像處理板是通過將分別元件佈置於印刷電路板(PCB)(未繪示)來執行上述影像以及視訊處理操作。
記憶體單元130為一隨機存取記憶體，例如是動態隨機存取記憶體(DRAM)或靜態隨機存取記憶體(SRAM)，但本發明並不限於此。儲存裝置140為一非揮發性記憶體(non-volatile memory)，例如可為一硬碟機(hard disk drive)、一固態硬碟(solid-state disk)、一快閃記憶體(flash memory)、或一唯讀記憶體(read-only memory)，但本發明並不限於此。
舉例來說，儲存裝置140可儲存一擴增實境程式141及一作業系統142(例如可為Android、iOS等等)。擴增實境程式141係用以對影像感測器110所擷取的物件影像加入三維模型，並產生輸出影像，其中擴增實境程式141例如可為一擴增實境引擎(AR engine)，其細節將詳述於後。處理單元120係將作業系統142及擴增實境程式141讀取至記憶體單元130並執行。
顯示模組150可為在使用者之單眼或雙眼進行成像的顯示裝置。舉例來說，若電子裝置100為頭戴式顯示器，顯示模組150例如可包括用於在使用者之左眼及右眼進行成像的顯示面板151及左眼/右眼透鏡(未繪示)。顯示面板151例如可為一液晶(liquid crystal)面板、一發光二極體(light-emitting diode)面板、一有機發光二極體(organic light-emitting diode)面板。
若電子裝置100為一智慧眼鏡，則顯示模組150例如可為一光學成像裝置152，其可包括一微型投影機及稜鏡(未繪示)，且微型投影機所投射出之輸出影像(例如可為三維模型之影像)可經由稜鏡反射使得輸出影像之光線可在使用者的單眼或雙眼的視網膜進行成像。
定位標籤201～203例如可設置於一目標物件210上，用以對擴增實境程式141所產生的三維模型進行定位及決定其縮放比例。定位標籤201～203例如可分別用特殊圖樣的貼紙或印刷圖樣所實現，但本發明並不限於此。需注意的是，第1圖中所示的定位標籤201～203之圖樣係用於示意說明，本發明並不限於第1圖中之定位標籤的圖樣。
舉例來說，定位標籤201例如可稱為原點定位標籤，且擴增實境程式141在繪製三維模型時可參考定位標籤201之位置(例如為原點座標)，並將三維模型之一固定點對齊定位標籤201。定位標籤202例如可稱為垂直比例計算標籤，且擴增實境程式141可依據定位標籤201及202之間的距離以決定三維模型的垂直縮放比例。定位標籤203例如可稱為水平比例計算標籤，且擴增實境程式141可依據定位標籤201及203之間的距離以決定三維模型的水平縮放比例。
如第1圖所示，擴增實境程式141包括標籤辨識模組1411、影像縮放模組1412、及影像繪製模組1413。當處理器120由影像感測器110接收影像信號後，擴增實境程式141之標籤辨識模組1411即可由影像信號中之物件影像辨識出定位標籤201～203。在一些實施例中，標籤辨識模組1411可依據習知技術從物件影像同時辨識三個或以上的定位標籤。在另一些實施例中，標籤辨識模組1411係在一預定週期內以依序辨識在物件影像中的定位標籤201～203的其中一者。
舉例來說，如第3圖所示，若影像感測器110以每秒30幀畫面的速度擷取物件影像，則在週期1的第1～5幀畫面的時間間隔T1內，標籤辨識模組1411可從物件影像辨識出定位標籤201及其三維座標。在週期1的第6～10幀畫面的時間間隔T2內，標籤辨識模組1411可從物件影像辨識出定位標籤202及其三維座標。在週期1的第11～15幀畫面的時間間隔T3內，標籤辨識模組1411可從物件影像辨識出定位標籤203及其三維座標。需注意的是，辨識一個定位標籤所需的時間間隔並不限定於5幀畫面的時間(意即5/30=1/6秒)，可視處理器120之效能及所使用的物件辨識演算法而定。
因應於標籤辨識模組1411完成辨識定位標籤201～203後，影像縮放模組1412即可依據定位標籤201～203之三維座標以計算出欲增加至物件影像中之三維模型的垂直縮放比例及水平縮放比例，並可將垂直縮放比例及水平縮放比例之較小的一者做為深度縮放比例。接著，影像縮放模組1412可依據所計算出的垂直縮放比例、水平縮放比例、及深度縮放比例將三維模型之相應維度進行縮放處理。
影像繪製模組1413係用以將影像縮放模組1412進行影像縮放處理後的三維模型加入物件影像以產生輸出影像。其中，三維模型加入物件影像之基準點即為定位標籤201之三維座標。需注意的是，物件影像例如可視為基礎圖層(例如底部圖層)，定位標籤201～203例如可視為中間標籤圖層，且三維物件例如可視為最上層的圖層，其可覆蓋於物件影像上。此外，影像繪製模組1413亦可控制各圖層的透明度(transparency)，並進行各圖層的影像疊合(overlay)。
第2A圖為依據本發明一實施例中在目標物件設置定位標籤的示意圖。舉例來說，機台205例如為一電腦數值控制(Computer Numerical Control，CNC)工具機，其具有一操控面板206，包括複數個按鈕及一顯示螢幕，其中操控面板206之外形例如為一長方形。定位標籤201例如可設置於操控面板206之左下角，用以做為一定位點。定位標籤202及203例如可設定於操控面板206之左上角及右下角，用以分別決定操控面板206之垂直比例及水平比例。
當使用者欲利用擴增實境程式141將機台205中的操控面板206(例如為目標物件)取代為一擴增實境模擬面板(例如為三維模型)，則需先依據前述方式將定位標籤201～203分別設置於操控面板206的左下角、左上角、及右下角。
第2B圖為依據本發明第2A圖實施例中在目標物件之物件影像的示意圖。
當電子裝置100啟動後，影像感測器110可對目標機台205之操控面板206進行拍攝以擷取包括複數張物件影像之影像信號，其中各物件影像包括定位標籤201～203。此外，物件影像可稱為基礎輸入圖層或視訊串流圖層220，例如可做為基底圖層。
接著，擴增實境程式141例如可由物件影像中辨識出定位標籤201～203，其可視為中間標籤圖層222。舉例來說，擴增實境程式141可由物件影像中辨識出定位標籤201，並決定定位標籤201之三維座標，並將此三維座標定義為三維模型的原點座標。
此外，擴增實境程式141同樣可由物件影像辨識出定位標籤202及203，並決定定位標籤202及203之三維座標。因此，可利用定位標籤201～203之三維座標以計算出定位標籤201及202之間的垂直像素距離distanceU(例如為歐氏距離)以及定位標籤201及203之間的水平像素距離distanceV(例如為歐氏距離)。接著，擴增實境程式141可分別計算出欲加入物件影像中之三維模型的垂直縮放比例scaleU及水平縮放比例scaleV。
詳細而言，擴增實境程式141中之三維模型係具有一預定高度Y、寬度X、及深度D(例如可用對應的像素數量表示)。若直接將未縮放過的三維模型直接加入物件影像中，可能在輸出影像中之三維模型的尺寸會有過大或過小之不符預期的情況。因此，利用定位標籤201～203之三維座標可計算出定位標籤201及202之間的垂直像素距離以及定位標籤201及203之間的水平像素距離。因此，三維模型的垂直縮放比例scaleU及水平縮放比例scaleV可分別依據式(1)及式(2)計算而得： scaleU= distanceU / Y (1) scaleV= distanceV / X (2)
意即三維模型之高度及寬度可分別依據垂直縮放比例scaleU及水平縮放比例scaleV進行縮放處理。
然而，在實際情況中，垂直縮放比例scaleU及水平縮放比例scaleV並不一定相等，且在三維模型中之深度並沒有相應的定位標籤。因此，擴增實境程式141會進一步比較垂直縮放比例scaleU及水平縮放比例scaleV之大小，並選擇較小的一者做為三維模型的深度縮放比例scaleW，深度縮放比例scaleW例如可用下列程式碼表示： If (scaleU ＞ scale V) { scaleW= scaleV; } else { scaleW = scaleU; }
擴增實境程式141並可將三維模型定位於定位標籤201所在的三維座標，並依據所計算出的垂直縮放比例scaleU、水平縮放比例scaleV、及深度縮放比例scaleW分別對三維物件的相應維度(例如高度Y、寬度X、及深度W)進行縮放。
需注意的是，因為影像感測器110可持續擷取物件影像，擴增實境程式141也會對輸入的物件影像進行即時運算。若使用者穿戴電子裝置100進行前後移動時，使用者所觀看到之輸出影像中的三維模型的尺寸也會隨著在物件影像中之定位標籤201～203的像素距離改變而進行縮放比例的調整。意即，三維模型的尺寸可以因應於定位標籤201～203所設置的區域之大小而進行調整。三維物件例如可視為一三維物件圖層224，且使用者最後所看到的輸出影像226例如為三維物件圖層224為最上層並疊加至標籤中間圖層222及基礎輸入圖層220後所得到的影像。
因此，在上述實施例中，擴增實境程式141可將原本在機台205上的操控面板206替換為擴增實境模擬面板(即三維物件)，例如可將虛擬的三維模型與現實場景疊合，且三維模型之尺寸可隨著使用者之移動進行調整，故使用者可體驗到更真實的擴增實境效果。
第4圖為依據本發明一實施例中之擴增實境之三維物件的尺寸調整方法的流程圖。請同時參考第1圖及第4圖。
在步驟S410，在目標物件設置定位標籤。上述定位標籤例如包括定位標籤201～203，其中定位標籤201例如可稱為原點定位標籤，定位標籤202例如可稱為垂直比例計算標籤，定位標籤203例如可稱為水平比例計算標籤。
在步驟S412，啟動電子裝置。當定位標籤201～203設置完成後，即可啟動電子裝置100以執行擴增實境程式141。
在步驟S414，擷取目標物件之物件影像。影像感測器110係持續拍攝目標物件之物件影像以產生一影像信號，且各物件影像均包括定位標籤201及203，用以定位三維模型及決定三維模型之尺寸。
在步驟S416，從物件影像中辨識定位標籤。舉例來說，擴增實境程式141之標籤辨識模組1411可由影像信號中之物件影像辨識出定位標籤201～203。在一些實施例中，標籤辨識模組1411可依據習知技術從物件影像同時辨識三個或以上的定位標籤。在另一些實施例中，標籤辨識模組1411係在一預定週期內以依序辨識在物件影像中的定位標籤201～203的其中一者。
在步驟S418，判斷辨識是否完成。舉例來說，若標籤辨識模組1411可從物件影像同時辨識三個或以上的定位標籤，則執行步驟S418時可判斷為辨識完成。若標籤辨識模組1411需從物件影像一次辨識一個定位標籤，則執行步驟S418時，若尚未辨識出三個不同的定位標籤201～203，則可判斷為辨識未完成，需回到步驟S416。
在步驟S420，計算三維模型之縮放比例。舉例來說，因應於標籤辨識模組1411完成辨識定位標籤201～203後，影像縮放模組1412即可依據定位標籤201～203之三維座標以計算出欲增加至物件影像中之三維模型的垂直縮放比例及水平縮放比例，並可將垂直縮放比例及水平縮放比例之較小的一者做為深度縮放比例。
在步驟S422，繪製三維模型。舉例來說，影像縮放模組1412可依據所計算出的垂直縮放比例、水平縮放比例、及深度縮放比例將三維模型之相應維度進行縮放處理，其細節可參考第2A～2B圖之實施例。其中，三維模型之定位點(例如為原點座標)例如為定位標籤201之三維座標。
在步驟S424，顯示輸出影像。舉例來說，如第2B圖所示，三維物件例如可視為一三維物件圖層224，且使用者最後所看到的輸出影像226例如為三維物件圖層224為最上層並疊加至標籤中間圖層222及基礎輸入圖層220後所得到的影像。在一些實施例中，若電子裝置100為智慧眼鏡，則其顯示模組150中的光學成像裝置152例如可投射三維物件圖層224至稜鏡以反射至使用者的視網膜進行成像，且使用者所看到的影像包括透過鏡片看到真實場景再加上三維物件圖層224。在一些實施例中，若電子裝置100為頭戴式顯示器，則其顯示模組150中的顯示面板151例如是顯示疊加後的輸出影像226，並經過相應的透鏡以在使用者的雙眼進行成像。
綜上所述，本發明係提供一種電子裝置及擴增實境之三維物件的尺寸調整方法，其可利用預先設置在目標物件上的三個定位標籤，並由影像感測器所擷取的物件影像中辨識出上述三個定位標籤，進而決定三維模型在所拍攝的場景中的位置及縮放比例。因為影像感測器可持續擷取物件影像，電子裝置所執行的擴增實境程式也會對輸入的物件影像進行即時運算。若使用者穿戴電子裝置進行前後移動時，使用者所觀看到之輸出影像中的三維模型的尺寸也會隨著在物件影像中之定位標籤201～203的像素距離改變而進行縮放比例的調整，且在物件影像中所繪製的三維模型會符合目標物件之比例，進而達到較佳的使用者體驗。
於權利要求中使用如”第一”、"第二"、"第三"等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10:擴增實境系統
100:電子裝置
110:影像感測器
111:系統匯流排
120:處理器
130:記憶體單元
140:儲存裝置
141:擴增實境程式
1411:標籤辨識模組
1412:影像縮放模組
1413:影像繪製模組
150:顯示模組
151:顯示面板
152:光學成像裝置
201－203:定位標籤
205:機台
206:操控面板
220:基礎輸入圖層
222:標籤中間圖層
224:三維物件圖層
226:輸出影像
T1－T3:時間間隔
S410－S424:步驟
第1圖為本發明一實施例中之擴增實境系統的方塊圖。 第2A圖為依據本發明一實施例中在目標物件設置定位標籤的示意圖。 第2B圖為依據本發明第2A圖實施例中在目標物件之物件影像的示意圖。 第3圖為依據本發明一實施例中不同圖層的示意圖。 第4圖為依據本發明一實施例中之擴增實境之三維物件的尺寸調整方法的流程圖。
10:擴增實境系統
100:電子裝置
110:影像感測器
111:系統匯流排
120:處理器
130:記憶體單元
140:儲存裝置
141:擴增實境程式
1411:標籤辨識模組
1412:影像縮放模組
1413:影像繪製模組
150:顯示模組
151:顯示面板
152:光學成像裝置
201-203:定位標籤
205:機台
206:操控面板
Claims (10)
- 一種電子裝置，包括：一影像感測器，用以擷取一目標物件之複數張物件影像，其中該目標物件係設置一第一定位標籤、一第二定位標籤、及一第三定位標籤，其中該第一定位標籤與該第二定位標籤之間的第一線段係垂直於該第一定位標籤與該第三定位標籤之間的第二線段；一顯示模組；以及一處理器，用以執行一擴增實境程式以執行下列步驟：從各物件影像辨識出該第一定位標籤、該第二定位標籤、及該第三定位標籤；依據所辨識出之該第一定位標籤、該第二定位標籤、及該第三定位標籤之位置以計算一三維模型之不同維度相應的一縮放比例；依據該三維模型之不同維度相應的該縮放比例以對該三維模型進行影像縮放處理並繪製縮放後的該三維模型；以及將縮放後的該三維模型疊合於各物件影像以產生一輸出影像，並在該顯示模組播放該輸出影像。
- 如申請專利範圍第1項所述的電子裝置，其中該第一定位標籤之一第一三維座標為縮放後之該三維模型的原點座標。
- 如申請專利範圍第2項所述的電子裝置，其中該處理器所執行的該擴增實境程式更執行下列步驟： 依據該第一定位標籤之該第一三維座標及該第二定位標籤之一第二三維座標以計算出一垂直距離；依據該第一定位標籤之該第一三維座標及該第二定位標籤之一第二三維座標以計算出一水平距離；以及將該三維模型之高度及寬度分別除以該垂直距離及該水平距離以得到一垂直縮放比例及一水平縮放比例。
- 如申請專利範圍第3項所述的電子裝置，其中該處理器所執行的該擴增實境程式更執行下列步驟：將該垂直縮放比例及該水平縮放比例之較小的一者設定為一深度縮放比例；以及依據該垂直縮放比例、該水平縮放比例、及深度縮放比例對該三維模型之長度、寬度、及深度進行該影像縮放處理並繪製縮放後的該三維模型。
- 如申請專利範圍第1項所述的電子裝置，其中該處理器係在相鄰的一第一時間間隔、一第二時間間隔、及一第三時間間隔依序辨識出該第一定位標籤、該第二定位標籤、及該第三定位標籤，且該第三時間間隔晚於該第二時間間隔，且該第二時間間隔晚於該第一時間間隔。
- 一種擴增實境之三維物件的尺寸調整方法，用於一電子裝置，該電子裝置包括一影像感測器及一顯示模組，該方法包括： 利用該影像感測器擷取一目標物件之複數張物件影像，其中該目標物件係設置一第一定位標籤、一第二定位標籤、及一第三定位標籤，其中該第一定位標籤與該第二定位標籤之間的第一線段係垂直於該第一定位標籤與該第三定位標籤之間的第二線段；從各物件影像辨識出該第一定位標籤、該第二定位標籤、及該第三定位標籤；依據所辨識出之該第一定位標籤、該第二定位標籤、及該第三定位標籤之位置以計算一三維模型之不同維度相應的一縮放比例；依據該三維模型之不同維度相應的該縮放比例以對該三維模型進行影像縮放處理並繪製縮放後的該三維模型；以及將縮放後的該三維模型疊合於各物件影像以產生一輸出影像，並在該顯示模組播放該輸出影像。
- 如申請專利範圍第6項所述之擴增實境之三維物件的尺寸調整方法，其中該第一定位標籤之一第一三維座標為縮放後之該三維模型的原點座標。
- 如申請專利範圍第7項所述之擴增實境之三維物件的尺寸調整方法，其中依據該三維模型之不同維度相應的該縮放比例以對該三維模型進行影像縮放處理並繪製縮放後的該三維模型的步驟包括：依據該第一定位標籤之該第一三維座標及該第二定位標籤之一第二三維座標以計算出一垂直距離； 依據該第一定位標籤之該第一三維座標及該第二定位標籤之一第二三維座標以計算出一水平距離；以及將該三維模型之高度及寬度分別除以該垂直距離及該水平距離以得到一垂直縮放比例及一水平縮放比例。
- 如申請專利範圍第8項所述之擴增實境之三維物件的尺寸調整方法，其中依據該三維模型之不同維度相應的該縮放比例以對該三維模型進行影像縮放處理並繪製縮放後的該三維模型的步驟更包括：將該垂直縮放比例及該水平縮放比例之較小的一者設定為一深度縮放比例；以及依據該垂直縮放比例、該水平縮放比例、及深度縮放比例對該三維模型之長度、寬度、及深度進行該影像縮放處理並繪製縮放後的該三維模型。
- 如申請專利範圍第6項所述之擴增實境之三維物件的尺寸調整方法，更包括：在相鄰的一第一時間間隔、一第二時間間隔、及一第三時間間隔依序辨識出該第一定位標籤、該第二定位標籤、及該第三定位標籤，其中該第三時間間隔晚於該第二時間間隔，且該第二時間間隔晚於該第一時間間隔。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108107338A TWI700671B (zh) | 2019-03-06 | 2019-03-06 | 電子裝置及擴增實境之三維物件的尺寸調整方法 |
| CN201910226406.4A CN111667582B (zh) | 2019-03-06 | 2019-03-25 | 电子装置及增强现实的三维对象的尺寸调整方法 |
| US16/550,730 US11010985B2 (en) | 2019-03-06 | 2019-08-26 | Electronic device and method for adjusting size of three-dimensional object in augmented reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108107338A TWI700671B (zh) | 2019-03-06 | 2019-03-06 | 電子裝置及擴增實境之三維物件的尺寸調整方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI700671B true TWI700671B (zh) | 2020-08-01 |
| TW202034285A TW202034285A (zh) | 2020-09-16 |
Family
ID=72336486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108107338A TWI700671B (zh) | 2019-03-06 | 2019-03-06 | 電子裝置及擴增實境之三維物件的尺寸調整方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11010985B2 (zh) |
| CN (1) | CN111667582B (zh) |
| TW (1) | TWI700671B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11900021B2 (en) | 2017-02-22 | 2024-02-13 | Middle Chart, LLC | Provision of digital content via a wearable eye covering |
| US10902160B2 (en) | 2017-02-22 | 2021-01-26 | Middle Chart, LLC | Cold storage environmental control and product tracking |
| US10872179B2 (en) * | 2017-02-22 | 2020-12-22 | Middle Chart, LLC | Method and apparatus for automated site augmentation |
| US11625510B2 (en) | 2017-02-22 | 2023-04-11 | Middle Chart, LLC | Method and apparatus for presentation of digital content |
| US10824774B2 (en) | 2019-01-17 | 2020-11-03 | Middle Chart, LLC | Methods and apparatus for healthcare facility optimization |
| US11468209B2 (en) | 2017-02-22 | 2022-10-11 | Middle Chart, LLC | Method and apparatus for display of digital content associated with a location in a wireless communications area |
| US10733334B2 (en) | 2017-02-22 | 2020-08-04 | Middle Chart, LLC | Building vital conditions monitoring |
| US11900023B2 (en) | 2017-02-22 | 2024-02-13 | Middle Chart, LLC | Agent supportable device for pointing towards an item of interest |
| US11481527B2 (en) | 2017-02-22 | 2022-10-25 | Middle Chart, LLC | Apparatus for displaying information about an item of equipment in a direction of interest |
| US11436389B2 (en) | 2017-02-22 | 2022-09-06 | Middle Chart, LLC | Artificial intelligence based exchange of geospatial related digital content |
| US10949579B2 (en) | 2017-02-22 | 2021-03-16 | Middle Chart, LLC | Method and apparatus for enhanced position and orientation determination |
| US11475177B2 (en) | 2017-02-22 | 2022-10-18 | Middle Chart, LLC | Method and apparatus for improved position and orientation based information display |
| US10984146B2 (en) | 2017-02-22 | 2021-04-20 | Middle Chart, LLC | Tracking safety conditions of an area |
| US10740503B1 (en) | 2019-01-17 | 2020-08-11 | Middle Chart, LLC | Spatial self-verifying array of nodes |
| US11194938B2 (en) * | 2020-01-28 | 2021-12-07 | Middle Chart, LLC | Methods and apparatus for persistent location based digital content |
| US10740502B2 (en) | 2017-02-22 | 2020-08-11 | Middle Chart, LLC | Method and apparatus for position based query with augmented reality headgear |
| US11640486B2 (en) | 2021-03-01 | 2023-05-02 | Middle Chart, LLC | Architectural drawing based exchange of geospatial related digital content |
| US11507714B2 (en) | 2020-01-28 | 2022-11-22 | Middle Chart, LLC | Methods and apparatus for secure persistent location based digital content |
| CN112233224A (zh) * | 2020-09-30 | 2021-01-15 | 辽宁便利电科技有限公司 | 一种立体式数据标签的建模式标签生成***及其方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101702233A (zh) * | 2009-10-16 | 2010-05-05 | 电子科技大学 | 视频帧中基于三点共线标记点的三维定位方法 |
| TW201724031A (zh) * | 2015-12-23 | 2017-07-01 | 財團法人工業技術研究院 | 擴增實境方法、系統及電腦可讀取非暫態儲存媒介 |
| US20190005636A1 (en) * | 2017-06-30 | 2019-01-03 | Guangdong Virtual Reality Technology Co., Ltd. | Methods and systems for operating an apparatus through augmented reality |
| TW201905761A (zh) * | 2017-06-27 | 2019-02-01 | 行政院原子能委員會核能硏究所 | 擴增實境系統及其方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012009789A2 (en) * | 2010-07-19 | 2012-01-26 | Smart Technologies Ulc | Interactive input system having a 3d input space |
| US9691163B2 (en) * | 2013-01-07 | 2017-06-27 | Wexenergy Innovations Llc | System and method of measuring distances related to an object utilizing ancillary objects |
| JP2015119373A (ja) * | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP2015125641A (ja) * | 2013-12-26 | 2015-07-06 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及びプログラム |
| US10762712B2 (en) * | 2016-04-01 | 2020-09-01 | Pcms Holdings, Inc. | Apparatus and method for supporting interactive augmented reality functionalities |
| CN107491446B (zh) * | 2016-06-12 | 2020-07-07 | 成都云创互联信息技术有限公司 | 三维对象搜索方法、装置及*** |
| CN107168516B (zh) * | 2017-03-31 | 2019-10-11 | 浙江工业大学 | 基于vr及手势交互技术的全球气候矢量场数据可视化方法 |
| US20190371071A1 (en) * | 2018-06-01 | 2019-12-05 | Merge Labs, Inc. | Precise placement of and animation creation for virtual objects in an environment using a trackable three-dimensional object |
| US11087545B2 (en) * | 2018-06-19 | 2021-08-10 | Guangdong Virtual Reality Technology Co., Ltd. | Augmented reality method for displaying virtual object and terminal device therefor |
-
2019
- 2019-03-06 TW TW108107338A patent/TWI700671B/zh active
- 2019-03-25 CN CN201910226406.4A patent/CN111667582B/zh active Active
- 2019-08-26 US US16/550,730 patent/US11010985B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101702233A (zh) * | 2009-10-16 | 2010-05-05 | 电子科技大学 | 视频帧中基于三点共线标记点的三维定位方法 |
| TW201724031A (zh) * | 2015-12-23 | 2017-07-01 | 財團法人工業技術研究院 | 擴增實境方法、系統及電腦可讀取非暫態儲存媒介 |
| TW201905761A (zh) * | 2017-06-27 | 2019-02-01 | 行政院原子能委員會核能硏究所 | 擴增實境系統及其方法 |
| US20190005636A1 (en) * | 2017-06-30 | 2019-01-03 | Guangdong Virtual Reality Technology Co., Ltd. | Methods and systems for operating an apparatus through augmented reality |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111667582A (zh) | 2020-09-15 |
| TW202034285A (zh) | 2020-09-16 |
| US11010985B2 (en) | 2021-05-18 |
| US20200286300A1 (en) | 2020-09-10 |
| CN111667582B (zh) | 2023-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI700671B (zh) | 電子裝置及擴增實境之三維物件的尺寸調整方法 | |
| US7755608B2 (en) | Systems and methods of interfacing with a machine | |
| CN109801379B (zh) | 通用的增强现实眼镜及其标定方法 | |
| WO2018057991A1 (en) | Display system having world and user sensors | |
| KR20170031733A (ko) | 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들 | |
| US10331209B2 (en) | Gaze direction mapping | |
| JP6500355B2 (ja) | 表示装置、表示プログラム、および表示方法 | |
| US10990170B2 (en) | Eye tracking method, electronic device, and non-transitory computer readable storage medium | |
| TW201215124A (en) | Imaging apparatus, image processing method, and recording medium for recording program thereon | |
| CN110297545B (zh) | 手势控制方法、手势控制装置和***、以及存储介质 | |
| TWI501193B (zh) | Computer graphics using AR technology. Image processing systems and methods | |
| CN115486091A (zh) | 使用虚拟现实设备进行视频处理的***和方法 | |
| TWI731430B (zh) | 資訊顯示方法與資訊顯示系統 | |
| US10977492B2 (en) | Method and apparatus for preload display of object information | |
| US11269405B2 (en) | Gaze direction mapping | |
| TWI490628B (zh) | Virtual reality video control method | |
| CN116433848B (zh) | 屏幕模型生成方法、装置、电子设备和存储介质 | |
| US11380071B2 (en) | Augmented reality system and display method for anchoring virtual object thereof | |
| CN114125304B (zh) | 拍摄方法及其装置 | |
| WO2022190206A1 (ja) | 骨格認識方法、骨格認識プログラムおよび体操採点支援システム | |
| US20240231543A1 (en) | Projection system, interactive projection method and projector | |
| TWI712993B (zh) | 應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計 | |
| WO2024101429A1 (ja) | カメラパラメータ算出装置、カメラパラメータ算出方法、カメラパラメータ算出プログラム | |
| TW202427173A (zh) | 沈浸式內容顯示方法、顯示裝置及電腦可讀取儲存媒體 | |
| EP3352451A1 (en) | Single camera dynamic imaging systems and methods of capturing dynamic images |