TW201520973A - 三維立體模型之建立方法和裝置 - Google Patents
三維立體模型之建立方法和裝置 Download PDFInfo
- Publication number
- TW201520973A TW201520973A TW102142286A TW102142286A TW201520973A TW 201520973 A TW201520973 A TW 201520973A TW 102142286 A TW102142286 A TW 102142286A TW 102142286 A TW102142286 A TW 102142286A TW 201520973 A TW201520973 A TW 201520973A
- Authority
- TW
- Taiwan
- Prior art keywords
- camera
- point cloud
- dimensional model
- images
- dimensional
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
一種三維立體模型建立方法,係用以對一實體物件建立一三維立體模型。首先,將複數影像之深度資料轉換為複數個三維點雲資訊。接著,根據此些三維點雲資訊,分別計算一相機在拍攝每一影像時,相對於此相機在拍攝前一影像時之一移動參數。當根據每一影像之對應移動參數將每一影像之三維點雲資訊合併於前一影像之三維點雲資訊時,計算一合併能量值。接著,變化移動參數,以最小化合併能量值,並根據變化後之移動參數決定一相機移動路徑。最後根據此相機移動路徑,建立該實體物件之一三維立體模型。
Description
本發明涉及一種建立方法,尤其涉及一種三維立體模型之建立方法和其對應裝置。
隨著影像處理技術的進步,視覺效果的呈現逐漸地由二維平面拓展至三維空間。傳統上建立三維影像之方法,是使用單一台相機,環繞一實體物件依序拍攝多張二維影像,再搭配此二維影像相對應的深度資訊,來建立對應之三維影像。其中深度資訊代表二維影像中各個物件的遠近距離,能推論出何者物件在二維影像中的前面,即在畫面前方或在畫面後方。藉由二維影像和深度資訊轉換出之三維點雲,來合成出此實體物件之三維立體模型。在合成的過程中,係利用相鄰兩影像之深度資訊,來分別決定拍攝此相鄰兩影像時相機之旋轉角度與位移量,並根據此旋轉角度與位移量,將後一影像三維點雲疊合在前一影像之對應三維點雲上,當各角度影像之三維點雲均疊合在一起時,即能合成三維立體模型。
然而,上述之疊合方法,在相鄰兩影像疊合部分具對應之三維點雲時,的確可完整建構三維立體模型。然,一旦在疊合計算旋轉角度與位移量發生誤差,造成某一拍攝影像疊合部分之三維點雲無法和前一影像之三維點雲進行對應,即使僅為單一影像誤差,亦無法完成三維立體模型之建構。再者,上述之疊合方法,係根據拍攝進度,依序將拍攝影像之三維點雲疊合在前一拍攝影像之對應三維點雲上,當拍攝結束後,三維立體模型之建構亦完成。因此,疊合計算所發生誤差會持續累積,而無法即時更正,造成呈現之三維立體模型有破洞或和實體物件外觀不合。
鑑於上述,本發明提供一種三維立體模型之重建方法,利用連續影像的深度資訊,先推估一最佳相機移動路徑,再根據據此相機路徑,進行各影像之三維點雲疊合,藉以避免因為旋轉角度與位移量計算誤差,造成三維立體模型之建構失敗。
本發明之一態樣係在提供一種三維立體模型建立方法,係用以對一實體物件建立一三維立體模型。首先,將複數影像之深度資料轉換為複數個三維點雲資訊。接著,根據此些三維點雲資訊,分別計算一相機在拍攝每一影像時,相對於此相機在拍攝前一影像時之一移動參數。當根據每一影像之對應移動參數將每一影像之三維點雲資訊合併於前一影像之三維點雲資訊時,計算一合併能量
值。接著,變化移動參數,以最小化合併能量值,並根據變化後之移動參數決定一相機移動路徑。最後根據此相機移動路徑,建立該實體物件之一三維立體模型。
本發明之另一態樣係在提供一種包含軟體之電腦程式產品。其中此軟體係由一處理器系統實行,以執行下述步驟建立一實體物件之三維立體模型。首先,將複數影像之深度資料轉換為複數個三維點雲資訊。接著,根據此些三維點雲資訊,分別計算一相機在拍攝每一影像時,相對於此相機在拍攝前一影像時之一移動參數。當根據每一影像之對應移動參數將每一影像之三維點雲資訊合併於前一影像之三維點雲資訊時,計算一合併能量值。接著,變化移動參數,以最小化合併能量值,並根據變化後之移動參數決定一相機移動路徑。最後根據此相機移動路徑,建立該實體物件之一三維立體模型。
本發明之另一態樣係在提供一種產生三維立體模型之裝置,係用以產生一實體物件之一三維立體模型。包含:一輸入、一轉換器、一移動參數值產生器、一第一計算器、一第二計算器、一相機移動路徑產生器和一三維立體模型產生器。輸入,係用以接收複數影像之深度資料,其中係以一相機環繞實體物件依序對實體物件拍攝此些影像。轉換器,係用以將此些影像之深度資料轉換為複數個三維點雲資訊。移動參數值產生器,係用以根據此些三維點雲資訊,分別產生相機在拍攝每一影像時,相對於在拍攝前一影像時之一移動參數。第一計算器,當根據每一影
像之對應移動參數將每一影像之三維點雲資訊合併於前一影像之三維點雲資訊時,計算一合併能量值。第二計算器,變化此些移動參數,以最小化合併能量值。相機移動路徑產生器,根據變化後之此些移動參數產生一相機移動路徑。一三維立體模型產生器,根據相機移動路徑,產生實體物件之一三維立體模型。
綜上所述,本發明本發明三維立體模型之重建方法,是先根據計算出之相機旋轉量和位移量,建構一合理之相機拍攝路徑。接著,再根據相鄰兩影像之三維點雲和對應之相機旋轉量和位移量最佳化此相機路徑。最後,再依此最佳相機路徑進行三維點雲疊加。
101~112‧‧‧步驟
300‧‧‧裝置
301‧‧‧輸入
302‧‧‧轉換器
303‧‧‧移動參數值產生器
304‧‧‧第一計算器
305‧‧‧第二計算器
306‧‧‧相機移動路徑產生器
307‧‧‧三維立體模型產生器
401‧‧‧相機
402‧‧‧實體物件
第1圖為根據本發明一實施例的三維立體模型重建方法流程圖。
第2圖展示一種電腦可讀媒體。
第3圖為根據本發明一實施例用以產生一實體物件的三維立體模型裝置概略圖。
第4圖所示為根據本發明一實施利由一相機對一欲建構三維立體模型之實體物件進行連續拍攝之概略圖。
以下為本發明較佳具體實施例以所附圖示加以詳
細說明,下列之說明及圖示使用相同之參考數字以表示相同或類似元件,並且在重複描述相同或類似元件時則予省略。
有別於傳統三維立體模型之重建方法,在相機完成一影像拍攝後,即根據相機之旋轉量和位移量,進行本次拍攝影像和前次拍攝影像之三維點雲疊加,因隨機誤差使得旋轉量和位移量計算產生錯誤,而無法進行三維點雲疊加之錯誤,或是即使可進行三維點雲疊加,但因為誤差累積而使得最終三維立體模型重建失敗之危險。因此,本發明之三維立體模型之重建方法,在相機完成實體物件之一影像拍攝後,並不先進行本次拍攝影像和前次拍攝影像之三維點雲疊加,而是在完成實體物件之各角度影像拍攝後,先計算出拍攝各影像時之對應相機旋轉量和位移量,並根據一設定門檻值,進行即時旋轉量和位移量修正,依此先建構一合理之相機拍攝路徑。接著,再根據各影像之三維點雲和對應之相機旋轉量和位移量最佳化此相機路徑。最後,再依此最佳相機路徑進行三維點雲疊加。由於,相鄰影像之三維點雲疊加是根據誤差排除後之最佳相機路徑,因此,可完全解決習知因為誤差問題或錯誤累積造成之三維立體模型重建失敗。
第1圖為根據本發明一實施例的三維立體模型重建方法流程圖。本發明之流程100,首先於步驟101,進行影像深度資料轉換,以轉換成步驟102之三維點雲資訊,以及步驟103之畫素顏色資訊。在一實施例中,如第4圖
所示,本發明是由一使用者手持一相機401對一欲建構三維立體模型之實體物件402,例如一人物,以環繞一圈之方式進行連續性拍攝,以獲得時間連續之多幅二維影像以及對應之影像深度資料。再將所擷取之影像深度資料轉換成對應三維點雲資訊以及畫素顏色資訊。其中,第4圖中繪出多台相機401,僅是用以代表在一連續時間下相機401之不同拍攝角度。而本發明即是用以建立相機401在對實體物件402進行拍攝時之最佳移動路徑,並依此最佳移動路徑建構三維立體模型,藉以解決習知因為誤差問題或錯誤累積造成之三維立體模型重建失敗。其中,所使用之相機401,例如為微軟開發之Kinect,Kinect有三個鏡頭,中間的鏡頭是RGB彩色攝影機,用來錄製彩色圖像。左右兩邊鏡頭則分別為紅外線發射器和紅外線CMOS攝影機所構成的3D結構光深度感應器,用來擷取深度數據。而影像深度資料之轉換,是由微軟開發之kinect for window SDK軟體進行。使用者手持Kinect裝置向欲重建的物體進行各角度與位置的拍攝,Kinect裝置所獲得的色彩與深度資料則透過KinectFusion演算法計算後可獲得三維點雲(Point Cloud),和每個影像畫面的深度與色彩資料。
接著於步驟104,進行相機拍攝移動參數推估。在此步驟中是藉由兩相鄰影像間之視角轉換關係,來推估相機拍攝移動參數。其中,相機移動參數包含旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]共六項參數,而連續影像中任相鄰兩張影像皆可計算出對應之此六項相機移動參數。例
如,前一影像之三維點雲資訊和後一影像之三維點雲資訊均有自己之初始座標,藉由相機拍攝時之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]六項參數組成之轉換矩陣,可描述前一影像之三維點雲資訊和後一影像之三維點雲資訊之關係,如下:
where R=R x (θ x )R y (θ y )Rz(θ z )
接著於步驟105,進行時間序列參數空間映射。即是根據一連續時間軸,將步驟104進行推估相機連續視角轉換時所使用之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]映射(mapping)到一參數空間。此步驟之主要目的是為後續在此參數空間中決定一旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]之最佳解,以決定最佳之相機移動路徑。在一實施例中,若相機環繞一實體物件連續拍攝照片影像數量為100張,且由相鄰兩影像之深度資訊可用以決定當相機在拍攝此相鄰兩影像時其對應之6個運動參數,分別為旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]。因此,若拍攝照片影像數量為100張,則用以推估相機移動路徑之運動參數共有600個。本步驟,即是根據相機拍攝時之一連續時間軸,將推估相機移動路徑有關之600個運動參數映射到一600維之參數空間中。
接著於步驟106,進行相機最佳移動路徑重建。由於在一參數空間中之每一點均會對應到一相機移動路徑,
改變其中一參數解,相機移動路徑即會對應改變,因此步驟即是在此600維之參數空間中找出一最佳相機移動路徑。為求得最佳之相機移動路徑,當於步驟106建立出一相機移動路徑後,本發明會分別於步驟107進行三維點雲合併能量估算,以及於步驟108進行顏色資料合併之能量估算,並於步驟109,以步進式最佳演算法進行上述之能量估算,以求得讓能量最小化之移動參數。其中,所使用之最佳演算法可為粒子群演算法(Particle Swarm Optimization,PSO)或基因演算法(Genetic Algorithms,GA)。當利用最佳演算法最小化上述之能量估算值後,即可獲得最佳相機移動路徑,並於步驟110,輸出此最佳之相機移動路徑。反之,當利用最佳演算法進行上述之能量估算後,若其三維點雲合併能量值和顏色資料合併能量值仍未低於一門檻值時,會重新執行步驟106,再次於參數空間中搜尋一相機移動路徑,並再次進行步驟107之三維點雲合併能量估算,以及步驟108之顏色資料合併能量估算。
其中三維點雲合併能量估算,即是用以判定當相鄰兩影像以步驟106決定出之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]進行合併時,其用以進行合併之對應三維點雲間是否具有一定之一致性,很小之變異性,亦即對應之能量函數很低。因為,若相鄰兩影像間據以合併之三維點雲間一致性越高,代表在此相機移動路徑下,相機在拍攝前一張影像與後一張影像時,因移動相機所造成之相機視角轉換參數,旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]共六項
參數,可讓據此參數進行合併之前一張影像與後一張影像完美合併,因此,此相機移動路徑符合需求。反之,若相鄰兩影像間據以合併之三維點雲間一致性不高,變異性很大,亦即對應之能量函數很高。代表在此相機移動路徑下,相機在拍攝前一張影像與後一張影像時,因移動相機所造成之相機視角轉換參數,旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]共六項參數,無法讓據此參數進行合併之前一張影像與後一張影像進行合併,因此,此相機移動路徑不符合需求。
另外,顏色資料之能量估算,係用以判定當相鄰兩影像以步驟106決定出之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]進行合併時,欲進行合併之相鄰兩影像的畫素顏色資訊是否具有適當的一致性。也就是說,若顏色差距最小,則表示其對應之能量函數相對最低。因為相鄰兩影像間據以合併處之三維點雲間其顏色資料應具有適當的一致性,一致性越高,代表其為欲進行合併之相鄰兩影像的重疊處的可能性越高,表示此相機移動路徑符合需求。值得注意的是,上述顏色資料之能量估算為一選擇步驟,也就是說,即使不執行此步驟,仍可藉由三維點雲合併能量估算搜尋出之一最佳相機移動路徑。當選擇不執行步驟108之顏色資料能量估算時,則於步驟109僅需以最佳演算法進行三維點雲合併能量估算。
當於步驟110建構出最佳相機移動路徑後,即可於步驟111進行三維點雲合併。亦即根據此最佳相機移動路
徑,每次拍攝一影像時,對應前一拍攝影像相機之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz],將相鄰兩影像三維點雲依序合併,以於步驟112,合成實體物件之三維立體模型。
第2圖展示一種電腦可讀媒體。此電腦可讀媒體200包括一電腦程式201,此電腦程式201包括用於造成一處理器系統實行如第1圖所展示之方法100之指令。此電腦程式201可藉由磁化電腦可讀媒體200而予以實現。然值得注意的是,雖然在第2圖中將電腦可讀媒體200展示為一光碟,然而電腦可讀媒體200可為任何適當電腦可讀媒體,諸如一硬碟、固態記憶體、快閃記憶體等。
第3圖為根據本發明一實施例用以產生一實體物件的三維立體模型裝置概略圖。本發明用以產生一實體物件三維立體模型的裝置300包括:一輸入301、一轉換器302、一移動參數值產生器303、一第一計算器304、一第二計算器305、一相機移動路徑產生器306和一三維立體模型產生器307。其中,輸入301係用以接收複數影像之深度資料。在一實施例中,本發明是由一相機對一欲建構三維立體模型之實體物件以環繞一圈之方式進行連續性拍攝,以獲得時間連續之多幅二維影像以及對應之影像深度資料。再將所擷取之影像深度資料傳送給轉換器302以轉換成對應三維點雲資訊,以及畫素顏色資訊。
移動參數值產生器303,係用以根據轉換器302轉換出之三維點雲資訊,分別產生相機在拍攝每一影像時,相對於在拍攝前一影像時之一移動參數和移動參數變化
量。其中,移動參數值產生器303是藉由兩相鄰影像間之視角轉換關係,來推估相機拍攝移動參數。其中,相機移動參數包含旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]共六項參數,而連續影像中任相鄰兩張影像皆可計算出對應之此六項相機移動參數。也就是說,藉由相機拍攝時之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]六項參數組成之轉換矩陣,可描述前一影像之三維點雲資訊和後一影像之三維點雲資訊之關係。因此,藉由前一影像之三維點雲資訊和後一影像之三維點雲資訊可推論出相機拍攝時之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]。此外,移動參數值產生器303並會將檢測到之移動參數變化量和設定之移動參數值變化門檻值進行比較。一旦,其中一移動參數變化超過門檻值,代表此部分之相機移動並不合哩,此時會利用內插法,由相鄰兩點推估此部分相機移動。
第一計算器304,在每一影像根據其對應之移動參數將三維點雲資訊合併於前一影像之三維點雲資訊時,計算此時之合併能量值。其中三維點雲合併能量估算,即是用以判定當後一影像之三維點雲根據對應之移動參數和前一影像之三維點雲合併時,其用以進行合併之兩影像間之三維點雲是否具有一定之一致性,很小之變異性,亦即對應之能量函數之合併能量值很低。因為,若相鄰兩影像間據以合併之三維點雲間一致性越高,代表在此相機移動路徑下,可讓據此移動參數進行合併之前一張影像與後一張影像完美合併,因此,此相機移動路徑符合需求。反之,
若相鄰兩影像間據以合併之三維點雲間一致性不高,變異性很大,亦即對應之能量函數之合併能量值很高,此相機移動路徑則不符合需求。此時,第二計算器305,變化該些移動參數,以最小化該合併能量值,找出最符合之移動參數。其中,第二計算器305是以所使用之最佳演算法可為粒子群演算法(Particle Swarm Optimization,PSO)或基因演算法(Genetic Algorithms,GA)變化該些移動參數,以最小化該合併能量值。接著,相機移動路徑產生器306,根據可最小化合併能量值之該些移動參數產生一相機移動路徑。三維立體模型產生器,根據此相機移動路徑,將相鄰兩影像三維點雲依序合併,以產生實體物件之三維立體模型。
綜上所述,本發明三維立體模型之重建方法,是先根據計算出之相機旋轉量和位移量,建構一合理之相機拍攝路徑。接著,再根據相鄰兩影像之三維點雲和對應之相機旋轉量和位移量最佳化此相機路徑。最後,再依此最佳相機路徑進行三維點雲疊加。由於,本案是在完成最佳相機路徑建構後,再進行相鄰影像之三維點雲疊加,因此,可完全解決習知因為誤差問題造成之三維立體模型重建失敗。且藉由本案之方法,在拍攝影像時不需對相機進行特別之定位,因為均可在後續之最佳相機路徑建構流程時,將不合理之拍攝角度進行修正,來建構出三維立體模型。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神
和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧流程
101~112‧‧‧步驟
Claims (17)
- 一種三維立體模型建立方法,係用以對一實體物件建立一三維立體模型,至少包含:將複數影像之深度資料轉換為複數個三維點雲資訊,其中係以環繞該實體物件之方式,依序對該實體物件拍攝該些影像;根據該些個三維點雲資訊,分別計算一相機在拍攝每一該些影像時,相對於該相機在拍攝前一影像時之一移動參數;計算每一該些影像之三維點雲資根據一對應移動參數合併於前一影像之三維點雲資訊時之一合併能量值;變化該些移動參數,以最小化該合併能量值;根據變化後之該些移動參數決定一相機移動路徑;以及根據該相機移動路徑,建立該實體物件之一三維立體模型。
- 如請求項第1項所述之三維立體模型建立方法,其中根據該相機移動路徑,建立該實體物件之該三維立體模型,更包括:根據變化後之該些移動參數合併該些個三維點雲資訊。
- 如請求項第1項所述之三維立體模型建立方法,其中最小化該合併能量值,係以粒子群演算法(Particle Swarm Optimization,PSO)或基因演算法進行。
- 如請求項第1項所述之三維立體模型建立方法,更包括將該些影像之深度資料轉換為顏色資訊。
- 如請求項第4項所述之三維立體模型建立方法,更包括計算每一該些影像之三維點雲資訊根據一對應移動參數合併於前一影像之三維點雲資訊時之一顏色資訊能量值。
- 如請求項第1項所述之三維立體模型建立方法,其中每一該些移動參數包括該相機移動時之旋轉向量與平移向量。
- 如請求項第1項所述之三維立體模型建立方法,其中根據該些個三維點雲資訊,分別計算一相機在拍攝每一該些影像時,相對於該相機在拍攝前一影像時之一移動參數,更包括:計算一相機在拍攝每一該些影像時,相對於該相機在拍攝前一影像時之一移動參數變化量;判斷該移動參數變化量是否在一設定範圍內;以及變化該移動參數,當該該移動參數變化量超出該設定範圍時。
- 如請求項第1項所述之三維立體模型建立方法,其中係使用一內插法變化該移動參數。
- 一種包含軟體之電腦程式產品,該軟體係由一處理器系統實行,以執行如請求項1之方法之指令。
- 一種產生三維立體模型裝置,係用以產生一實體物件之一三維立體模型,至少包含: 一輸入,係用以接收複數影像之深度資料,其中係以一相機環繞該實體物件依序對該實體物件拍攝該些影像;一轉換器,係用以將該些影像之深度資料轉換為複數個三維點雲資訊;一移動參數值產生器,係用以根據該些個三維點雲資訊,分別產生該相機在拍攝每一該些影像時,相對於在拍攝前一影像時之一移動參數;一第一計算器,當根據每一該些影像之對應移動參數將每一該些影像之三維點雲資訊合併於前一影像之三維點雲資訊時,計算一合併能量值;一第二計算器,變化該些移動參數,以最小化該合併能量值;一相機移動路徑產生器,根據變化後之該些移動參數產生一相機移動路徑;以及一三維立體模型產生器,根據該相機移動路徑,產生該實體物件之一三維立體模型。
- 如請求項第10項所述之產生三維立體模型裝置,其中該三維立體模型產生器係根據變化後之該些移動參數合併該些個三維點雲資訊以產生該實體物件之該三維立體模型。
- 如請求項第10項所述之產生三維立體模型裝置,其中該第二計算器係執行一粒子群演算法(Particle Swarm Optimization,PSO)或一基因演算法進行以最小化該合併能量值。
- 如請求項第10項所述之產生三維立體模型裝置,其中該轉換器更用以將該些影像之深度資料轉換為顏色資訊。
- 如請求項第13項所述之產生三維立體模型裝置,其中當根據每一該些影像之對應移動參數將每一該些影像之三維點雲資訊合併於前一影像之三維點雲資訊時,該第一計算器更計算一顏色資訊能量值。
- 如請求項第10項所述之產生三維立體模型裝置,其中每一該些移動參數包括該相機移動時之旋轉向量與平移向量。
- 如請求項第10項所述之產生三維立體模型裝置,其中該移動參數值產生器更根據該些個三維點雲資訊,分別產生一相機在拍攝每一該些影像時,相對於該相機在拍攝前一影像時之一移動參數變化量;以及變化該移動參數,當該該移動參數變化量超出一設定範圍時。
- 如請求項第16項所述之產生三維立體模型裝置,其中係使用一內插法變化該移動參數。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102142286A TWI534755B (zh) | 2013-11-20 | 2013-11-20 | 三維立體模型之建立方法和裝置 |
CN201310626716.8A CN104661010B (zh) | 2013-11-20 | 2013-11-28 | 三维立体模型的建立方法和装置 |
US14/100,001 US9189889B2 (en) | 2013-11-20 | 2013-12-08 | Method for building a three-dimensional model and apparatus thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102142286A TWI534755B (zh) | 2013-11-20 | 2013-11-20 | 三維立體模型之建立方法和裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201520973A true TW201520973A (zh) | 2015-06-01 |
TWI534755B TWI534755B (zh) | 2016-05-21 |
Family
ID=53172827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102142286A TWI534755B (zh) | 2013-11-20 | 2013-11-20 | 三維立體模型之建立方法和裝置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9189889B2 (zh) |
CN (1) | CN104661010B (zh) |
TW (1) | TWI534755B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9613465B1 (en) | 2015-12-14 | 2017-04-04 | Industrial Technology Research Institute | Method for suturing 3D coordinate information and the device using the same |
TWI672674B (zh) * | 2017-04-10 | 2019-09-21 | 鈺立微電子股份有限公司 | 深度處理系統 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9979952B2 (en) * | 2013-12-13 | 2018-05-22 | Htc Corporation | Method of creating a parallax video from a still image |
WO2017014691A1 (en) | 2015-07-17 | 2017-01-26 | Heptagon Micro Optics Pte. Ltd. | Generating a distance map based on captured images of a scene |
WO2017023210A1 (en) * | 2015-08-06 | 2017-02-09 | Heptagon Micro Optics Pte. Ltd. | Generating a merged, fused three-dimensional point cloud based on captured images of a scene |
WO2017030507A1 (en) | 2015-08-19 | 2017-02-23 | Heptagon Micro Optics Pte. Ltd. | Generating a disparity map having reduced over-smoothing |
US10002431B2 (en) * | 2015-11-03 | 2018-06-19 | The Boeing Company | Locating a feature for robotic guidance |
CN105843591B (zh) * | 2016-04-08 | 2018-06-19 | 龙芯中科技术有限公司 | 多维数组滑动生成数据的方法、装置及处理器 |
US10204423B2 (en) * | 2017-02-13 | 2019-02-12 | Adobe Inc. | Visual odometry using object priors |
US10848741B2 (en) * | 2017-06-12 | 2020-11-24 | Adobe Inc. | Re-cinematography for spherical video |
EP3451291B1 (en) * | 2017-09-01 | 2020-08-26 | Tata Consultancy Services Limited | System and method for shape constrained 3d point cloud registration |
US10742952B2 (en) * | 2017-09-12 | 2020-08-11 | Htc Corporation | Three dimensional reconstruction method, apparatus and non-transitory computer readable storage medium thereof |
US10438371B2 (en) * | 2017-09-22 | 2019-10-08 | Zoox, Inc. | Three-dimensional bounding box from two-dimensional image and point cloud data |
TWI651687B (zh) | 2017-11-24 | 2019-02-21 | 財團法人工業技術研究院 | 三維模型建構方法及其系統 |
CN110415329B (zh) * | 2018-04-26 | 2023-10-13 | 财团法人工业技术研究院 | 三维建模装置及应用于其的校准方法 |
KR102144012B1 (ko) * | 2019-01-25 | 2020-08-12 | 성균관대학교산학협력단 | 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치 |
CN110010249B (zh) * | 2019-03-29 | 2021-04-27 | 北京航空航天大学 | 基于视频叠加的增强现实手术导航方法、***及电子设备 |
CN109920011B (zh) * | 2019-05-16 | 2020-01-10 | 长沙智能驾驶研究院有限公司 | 激光雷达与双目摄像头的外参标定方法、装置及设备 |
CN110544279B (zh) * | 2019-08-26 | 2023-06-23 | 华南理工大学 | 一种结合图像识别和遗传算法精配准的位姿估计方法 |
US12028507B2 (en) * | 2021-03-11 | 2024-07-02 | Quintar, Inc. | Augmented reality system with remote presentation including 3D graphics extending beyond frame |
CN113538649B (zh) * | 2021-07-14 | 2022-09-16 | 深圳信息职业技术学院 | 一种超分辨率的三维纹理重建方法、装置及其设备 |
US11954892B1 (en) * | 2023-06-22 | 2024-04-09 | Illuscio, Inc. | Systems and methods for compressing motion in a point cloud |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246595A (zh) * | 2008-02-01 | 2008-08-20 | 黑龙江科技学院 | 光学三维扫描***中多视点云数据拼合方法 |
CN101645170B (zh) * | 2009-09-03 | 2011-07-20 | 北京信息科技大学 | 多视点云精确配准方法 |
WO2012141235A1 (ja) * | 2011-04-13 | 2012-10-18 | 株式会社トプコン | 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム |
US20130215221A1 (en) * | 2012-02-21 | 2013-08-22 | Sen Wang | Key video frame selection method |
CN103150747A (zh) * | 2012-11-16 | 2013-06-12 | 佳都新太科技股份有限公司 | 一种基于拓扑特征的点云配准算法 |
CN103279987B (zh) * | 2013-06-18 | 2016-05-18 | 厦门理工学院 | 基于Kinect的物体快速三维建模方法 |
-
2013
- 2013-11-20 TW TW102142286A patent/TWI534755B/zh active
- 2013-11-28 CN CN201310626716.8A patent/CN104661010B/zh active Active
- 2013-12-08 US US14/100,001 patent/US9189889B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9613465B1 (en) | 2015-12-14 | 2017-04-04 | Industrial Technology Research Institute | Method for suturing 3D coordinate information and the device using the same |
TWI672674B (zh) * | 2017-04-10 | 2019-09-21 | 鈺立微電子股份有限公司 | 深度處理系統 |
Also Published As
Publication number | Publication date |
---|---|
US9189889B2 (en) | 2015-11-17 |
CN104661010B (zh) | 2016-11-23 |
US20150138185A1 (en) | 2015-05-21 |
CN104661010A (zh) | 2015-05-27 |
TWI534755B (zh) | 2016-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI534755B (zh) | 三維立體模型之建立方法和裝置 | |
US10951880B2 (en) | Image capture for virtual reality displays | |
CN109461180B (zh) | 一种基于深度学习的三维场景重建方法 | |
US10529086B2 (en) | Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system | |
TWI555378B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
WO2020063139A1 (zh) | 脸部建模方法、装置、电子设备和计算机可读介质 | |
US8452081B2 (en) | Forming 3D models using multiple images | |
WO2018076154A1 (zh) | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 | |
US9013559B2 (en) | System, method and program for capturing images from a virtual viewpoint | |
KR101560508B1 (ko) | 3차원 이미지 모델 조정을 위한 방법 및 장치 | |
US20120177283A1 (en) | Forming 3d models using two images | |
CN108475327A (zh) | 三维采集与渲染 | |
US20120069018A1 (en) | Ar process apparatus, ar process method and storage medium | |
KR102152432B1 (ko) | 동적 3차원 모델을 이용한 실사 콘텐츠 생성 시스템 및 방법 | |
JP6406853B2 (ja) | 光フィールド映像を生成する方法及び装置 | |
KR102152436B1 (ko) | 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법 | |
JP2016537901A (ja) | ライトフィールド処理方法 | |
WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、*** | |
JP2012185772A (ja) | 非固定ズームカメラを用いた自由視点映像の合成画質高精度化方法およびプログラム | |
TWI581051B (zh) | Three - dimensional panoramic image generation method | |
CN111047678B (zh) | 一种三维人脸采集装置和方法 | |
US10354399B2 (en) | Multi-view back-projection to a light-field | |
WO2022142908A1 (zh) | 三维模型生成方法、xr设备及存储介质 | |
CN111742352A (zh) | 3d对象建模方法以及相关设备和计算机程序产品 |