TWI757658B - 影像處理系統及影像處理方法 - Google Patents

影像處理系統及影像處理方法 Download PDF

Info

Publication number
TWI757658B
TWI757658B TW108141351A TW108141351A TWI757658B TW I757658 B TWI757658 B TW I757658B TW 108141351 A TW108141351 A TW 108141351A TW 108141351 A TW108141351 A TW 108141351A TW I757658 B TWI757658 B TW I757658B
Authority
TW
Taiwan
Prior art keywords
confidence
pixel
current
map
depth map
Prior art date
Application number
TW108141351A
Other languages
English (en)
Other versions
TW202037151A (zh
Inventor
王筱从
施正遠
楊宏毅
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202037151A publication Critical patent/TW202037151A/zh
Application granted granted Critical
Publication of TWI757658B publication Critical patent/TWI757658B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一種影像處理方法包括：產生一當前深度地圖(depth map)及一當前信心地圖(confidence map)；接收對應一先前位置的一先前攝像姿態，先前位置具有對應的一第一深度地圖及一第一信心地圖；依據先前攝像姿態及當前位置的一當前攝像姿態，將第一深度地圖的至少一像素位置映射(mapping)到當前深度地圖的至少一像素位置；選擇第一信心地圖的至少一像素的信心值與各自對應的當前信心地圖的至少一像素的信心值相比後的信心值最高者；以及依據此些信心值最高者所對應的像素產生當前位置的一最佳化深度地圖。

Description

影像處理系統及影像處理方法
本發明係有關於處理系統，特別是有關於一種影像處理系統及影像處理方法。
一般而言，雙攝像鏡頭通常應用於建構視差圖以進行深度估算，深度估計的主要概念是匹配(matching)雙攝像鏡頭不同視角影像中的對應像素。然而，低紋理表面中的像素沒有明顯的匹配特徵，這導致深度估計中的匹配結果不穩定。另一方面，在低光源環境中處理器需要提高亮度增益，以保持輸出圖像的亮度。但是，較高的亮度增益會在輸出圖像中產生噪點，導致深度估算值不穩定並降低可信度。可信度較低的深度估計會影響後續應用的品質，深度估計可應用於虛擬實境或擴增實境中，例如物件或環境的三維重建。儘管採用較長的曝光時間或噪點抑制可以減輕問題，但此些方法還會引發其他成像問題，例如運動模糊或圖像中丟失更多細節。現有的雙攝多視圖方法可以保持視差的時間一致性，但是龐大複雜的處理過程，需要大量的計算。
因此，要如何提高深度圖的品質與穩定性，尤其是在影像中的低紋理或噪點區域，已成為本領域待解決的問題之一。
本發明實施例係提供一種影像處理系統包括一攝像模組及一處理器。攝像模組包括一第一攝像鏡頭及一第二攝像鏡頭。第一攝像鏡頭用以於一當前位置拍攝一第一視角影像。第二攝像鏡頭用以於一當前位置拍攝一第二視角影像。處理器用以依據第一視角影像及第二視角影像產生一當前深度地圖(depth map)及一當前信心地圖(confidence map)，當前信心地圖包含每個像素的信心值。處理器接收對應一先前位置的一先前攝像姿態，先前位置具有對應的一第一深度地圖及一第一信心地圖，依據先前攝像姿態及當前位置的一當前攝像姿態，將第一深度地圖的至少一像素位置映射(mapping)到當前深度地圖的至少一像素位置，選擇第一信心地圖的至少一像素的信心值與各自對應的當前信心地圖的至少一像素的信心值相比後的信心值最高者，依據此些信心值最高者所對應的像素產生當前位置的一最佳化深度地圖。
本發明實施例係提供一種影像處理方法包括：藉由一第一攝像鏡頭於一當前位置拍攝一第一視角影像；藉由一第二攝像鏡頭於當前位置拍攝一第二視角影像；依據第一視角影像及第二視角影像產生一當前深度地圖(depth map)及一當前信心地圖(confidence map)；其中當前信心地圖包含每個像素的信心值；接收對應一先前位置的一先前攝像姿態，先前位置具有對應的一第一深度地圖及一第一信心地圖；依據先前攝像姿態及當前位置的一當前攝像姿態，將第一深度地圖的至少一像素位置映射(mapping)到當前深度地圖的至少一像素位置；選擇第一信心地圖的至少一像素的信心值與各自對應的當前信心地圖的至少一像素的信心值相比後的信心值最高者；以及依據此些信心值最高者所對應的像素產生當前位置的一最佳化深度地圖。
綜上所述，本發明實施例係提供一種影像處理系統及影像處理方法，可以使攝像模組在拍攝低紋理物體或是低光源環境時，透過參考當前影像與前幾張影像中各相素的信心值，以產生當前影像最佳化的深度資訊，並可達到應用當前影像最佳化的深度資訊，產生較精準的三維影像之功效。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的“包含”、“包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於權利要求中使用如“第一”、“第二”、“第三”等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
請參照第1~3圖，第1圖為根據本發明之一實施例繪示的一種影像處理系統100之示意圖。第2圖為根據本發明之一實施例繪示的一種影像處理方法200之流程圖。第3圖為根據本發明之一實施例繪示的一種信心值之示意圖。
於一實施例中，影像處理系統100包括一攝像模組CA及一處理器10。攝像模組CA及處理器10之間可透過無線或有線方式傳輸影像。攝像模組CA包含攝像鏡頭LR及攝像鏡頭LL。於一實施例中，攝像模組CA為一雙鏡頭攝像模組。於一實施例中，攝像鏡頭LR為一右眼攝像鏡頭，當攝像模組CA往桌面TB上的A點拍攝時，攝像鏡頭LR所擷取的視角影像為一右眼影像，攝像鏡頭LL為一左眼攝像鏡頭，當攝像模組CA往桌面TB上的A點拍攝時，攝像鏡頭LL所擷取的視角影像為一左眼影像。
於一實施例中，攝像模組CA可以設置於頭戴式裝置中，隨著使用者頭部的移動擷取影像。
於一實施例中，如第1圖所示，攝像模組CA可以連續的在不同位置擷取影像，並將連續影像存入影像佇列(queue)，例如攝像模組CA在位置P1往A點拍攝，可擷取到位置P1的右眼影像及左眼影像，並將位置P1的右眼影像及左眼影像傳到處理器10，處理器10以影像佇列儲存右眼影像及左眼影像。接著，攝像模組CA在位置P2往A點拍攝，可擷取到位置P2的右眼影像及左眼影像，並將位置P2的右眼影像及左眼影像傳到處理器10，處理器10以影像佇列儲存右眼影像及左眼影像。最後，攝像模組CA在位置P3往A點拍攝，可擷取到位置P3的右眼影像及左眼影像，並將位置P3的右眼影像及左眼影像傳到處理器10，處理器10以影像佇列儲存右眼影像及左眼影像。
於一實施例中，攝像模組CA從位置P1經過位置P2移動到位置P3的過程可以是連續動作，亦可針對A點進行連續拍攝，為方便說明，本發明以拍攝三次，即位置P1、位置P2及位置P3各拍攝一次作為例子，每拍攝一次即取得一組右眼影像及左眼影像。然本領域具通常知識者應可理解攝像模組CA可以拍攝多次從位置P1移動到從位置P3的過程中，可以拍攝多次，拍攝的次數並不限制。
於一實施例中，攝像模組CA拍攝的A點可能是低紋理物體或低光源(或雜訊多)的環境；其中，低紋理物體例如為平滑桌面、球體或鏡面，此些物體的特性為過於平滑或特徵不清楚，使拍攝出來的影像會有反光的效果，導致影像不清楚，處理器10難以比對右眼影像及左眼影像的視差；低光源環境則會造成拍攝出來的影像雜訊過多，需要將影像的亮度調亮，才能比對右眼影像及左眼影像的視差。
於一實施例中，應用右眼影像及左眼影像中各自對應的像素的視差可以推估每個像素的深度，產生深度地圖(depth map)。
更具體而言，攝像模組CA拍攝低紋理物體或是低光源環境時，擷取到的影像信心值(confidence value)較低。信心值代表右眼影像及左眼影像中各自對應的像素的相似程度，例如，右眼影像的最右上角的像素及左眼影像的最右上角的像素之間的相似程度，所有相似程度的集合(即所有右眼影像及左眼影像中各自對應每一個像素點)稱為信心地圖(confidence map)。
其中，處理器10可以應用已知的比對代價分布(matching cost distribution)演算法以計算信心值，例如，比對代價演算法是以右眼影像及左眼影像中各自對應的像素的灰階差之絕對值(Absolute Intensity Differences，AD) 作為比對代價(matching cost)，將此些比對代價視為右眼影像及左眼影像中各自對應的像素的信心值，換言之，右眼影像及左眼影像中各自對應的每一個像素點都有一個信心值。比對代價演算法為已知的演算法，故此處不贅述之。
如第3圖所示，例如，攝像模組CA從位置P1經過位置P2移動到位置P3的過程中，依序針對A點拍了三次影像(時間軸上是依序位置P1、P2、P3拍攝)，在位置P1所拍攝到的右眼影像的最右上角的像素及左眼影像的最右上角的像素之間的信心值例如為50，在位置P2所拍攝到的右眼影像的最右上角的像素及左眼影像的最右上角的像素之間的信心值例如為80，在位置P3所拍攝到的右眼影像的最右上角的像素及左眼影像的最右上角的像素之間的信心值例如為30。信心度的數值化方式亦可以由其它方式表現之，例如為百分比，或是轉換成0~1之間的數值，並不限於此。
由此可知，攝像模組CA在拍攝低紋理物體或是低光源環境時，拍攝出來的影像容易因為反光或低光源，導致灰階差不明顯，而使處理器10計算出的信心值不穩定。因此，本發明針對此種情況，透過參考前幾張的影像，以產生當前影像最佳化的深度資訊。請一併參閱第1~4圖。第4圖為根據本發明之一實施例繪示的一種影像處理方法400之示意圖。第2圖的影像處理方法200進一步詳述各步驟。
於步驟210中，第一攝像鏡頭於一當前位置拍攝一第一視角影像，且第二攝像鏡頭於當前位置拍攝一第二視角影像。
於一實施例中，如第1圖所示，攝像模組CA位於當前位置P3時，攝像鏡頭LR拍攝右眼影像(即第一視角影像)，攝像鏡頭LL拍攝左眼影像(即第二視角影像)。
於步驟220中，處理器10依據第一視角影像及第二視角影像產生一當前深度地圖及一當前信心地圖；其中當前信心地圖包含每個像素的信心值。
於一實施例中，處理器10依據攝像模組CA位於當前位置P3時所拍攝的右眼影像及左眼影像產生一當前深度地圖。處理器10應用已知的演算法以產生當前深度地圖，例如立體匹配演算法(stereo matching)。
於一實施例中，處理器10應用已知的比對代價分布演算法以計算信心值。信心值代表右眼影像及左眼影像中各自對應的像素的相似程度，所有相似程度的集合(即所有右眼影像及左眼影像中各自對應每一個像素點)稱為信心地圖(confidence map)。
於步驟230中，處理器10接收對應一先前位置的一先前攝像姿態，先前位置具有對應的一第一深度地圖及一第一信心地圖。
於一實施例中，先前攝像姿態是由一追蹤系統提供。於一實施例中，追蹤系統可以位於影像處理系統100本身內部或外部。於一實施例中，追蹤系統可以是內向外(inside-out)追蹤系統、外向內(outside-in)追蹤系統、燈塔(lighthouse)追蹤系統或其他可以提供攝像姿態的追蹤系統。
於一實施例中，先前攝像姿態可以是攝像模組CA在位置P1(先前位置)進行拍攝時即先行計算好，此外，攝像模組CA在位置P1進行拍攝時，處理器10亦可先行計算第一深度地圖及第一信心地圖，因此，位置P1(先前位置)具有對應的深度地圖及信心地圖。
於一實施例中，攝像模組CA是依序在位置P1~P3進行拍攝，因此當攝像模組CA在當前位置P3進行拍攝時，代表攝像模組CA在位置P1~P2已完成拍攝，處理器10已產生分別對應位置P1~P2的深度地圖及信心地圖，且攝像模組CA在位置P1~P2的攝像姿態已經被記錄下來。
於一實施例中，攝像模組CA先於位置P1拍攝一物體(例如為A點)或一環境，處理器10產生對應位置P1的深度地圖及信心地圖，將信心地圖中的每個像素的信心值紀錄於一信心值佇列中，攝像模組CA再於位置P2拍攝物體，處理器10產生對應位置P2的深度地圖及信心地圖，將信心地圖中的每個像素的信心值紀錄於信心值佇列中，最後攝像模組CA於當前位置P3拍攝物體，處理器10將當前信心地圖中的每個像素的信心值紀錄於信心值佇列中。
於本例中，佇列可記錄三張信心地圖，因此，當第一張信心地圖產生時，信心值佇列中存有第一張信心地圖；當第二張信心地圖產生時，信心值佇列中存有第一張信心地圖及第二張信心地圖；當第三張信心地圖產生時，信心值佇列中存有第一張信心地圖、第二張信心地圖及第三張信心地圖；當第四張信心地圖產生時，信心值佇列中存有第二張信心地圖、第三張信心地圖及第四張信心地圖。此代表依據當前位置所產生的當前深度地圖可以往前參考前兩次拍攝後所產生的信心地圖。例如，於當前位置P3進行拍攝時，可以往前參考在位置P1及P2進行拍攝後所產生的信心地圖，又例如，於當前位置P4進行拍攝時，可以往前參考在位置P2及P3進行拍攝後所產生的信心地圖。
於一實施例中，處理器10接收攝像模組CA位於位置P1(即先前位置)的攝像姿態(pose)，計算對應於位置P1的深度地圖及信心地圖。於一實施例中，處理器10依據攝像模組CA位於位置P1時所拍攝的右眼影像及左眼影像產生深度地圖及信心地圖。於一實施例中，攝像模組CA的攝像姿態可以由一旋轉角度及一位移距離以表示之。於一實施例中，攝像模組CA可以透過外部追蹤系統(external tracking system)，例如為lighthouse技術，在一環境空間中獲得攝像模組CA的攝像姿態，外部追蹤系統可以將攝像模組CA的攝像姿態透過有線或無線方式傳送到處理器10。
於步驟240中，處理器10依據先前攝像姿態及當前位置的一當前攝像姿態，將第一深度地圖的至少一像素位置映射(mapping)到當前深度地圖的至少一像素位置。
於一實施例中，請參閱第4圖，處理器10嘗試將應於位置P1的深度地圖F1進行位移或旋轉，更具體而言，處理器10依據攝像模組CA位於位置P1的攝像姿態(即先前攝像姿態)及攝像模組CA位於當前位置P3的攝像姿態(即當前攝像姿態)，經由計算一旋轉(rotation)及一位移(translation)的轉換公式，算出一旋轉位移矩陣(rotation and translation matrix)，藉由旋轉位移矩陣將深度地圖F1的至少一像素位置映射(mapping)到當前深度地圖F3的至少一像素位置。其中，計算旋轉位移矩陣可應用已知的數學運算方式，因此此處不再贅述之。於一實施例中，處理器10將深度地圖F1的最右上角的像素PT1映射到當前深度地圖F3的最右上角像素PT1。由於深度地圖F1對應的拍攝位置、攝像模組CA於位置P1的攝像姿態(即先前攝像姿態)都與當前深度地圖F3對應的拍攝位置、攝像模組CA於位置P3的攝像姿態(即當前攝像姿態)不同，因此，當將深度地圖F1上所有像素映射到前深度地圖時，深度地圖F1可能產生形變的映射後深度地圖MF1。
於一實施例中，當處理器10取得對應於位置P2的深度地圖F2後，處理器10嘗試將應於位置P2的深度地圖F2進行位移或旋轉，更具體而言，處理器10依據攝像模組CA位於位置P2的攝像姿態(即另一先前攝像姿態)及攝像模組CA位於當前位置P3的攝像姿態(即當前攝像姿態)，經由計算旋轉及位移的轉換公式，算出旋轉位移矩陣，藉由旋轉位移矩陣將深度地圖F2的至少一像素位置映射到當前深度地圖F3的至少一像素位置。於一實施例中，處理器10將深度地圖F2的最右上角的像素PT1映射到當前深度地圖F3的最右上角像素PT1。由於深度地圖F2對應的拍攝位置、攝像模組CA於位置P2的攝像姿態(即另一先前攝像姿態)都與當前深度地圖F3對應的拍攝位置、攝像模組CA於位置P3的攝像姿態(即當前攝像姿態)不同，因此，當將深度地圖F2上所有像素映射到前深度地圖時，深度地圖F2可能產生形變的映射後深度地圖MF2。
於步驟250中，處理器10選擇該第一信心地圖的至少一像素的信心值與各自對應的當前信心地圖的至少一像素的信心值相比後的信心值最高者。
於一實施例中，當映射後深度地圖MF1、MF2產生後，處理器10可得知映射後深度地圖MF1、MF2中每個像素對映到當前深度地圖F3的各像素位置，針對當前深度地圖F3中的至少一像素(例如像素PT1)，處理器10從信心值佇列中，選擇對應位置P1的信心地圖中的至少一像素的信心值、對應位置P2的信心地圖中的至少一像素的信心值與各自對應的當前信心地圖的至少一像素的信心值相比後的信心值最高者。
於一實施例中，當映射後深度地圖MF1、MF2產生後，處理器10可得知映射後深度地圖MF1、MF2中每個像素對映到當前深度地圖F3的各像素位置(例如映射後深度地圖MF1、MF2與當前深度地圖F3的最右上角的像素剛好都對應到像素PT1)，故可針對每個像素選用對應的信心值之最高者作為輸出。例如，如第3圖所示，映射後深度地圖MF1的最右上角的像素PT1的信心值為50，映射後深度地圖MF2的最右上角的像素PT1的信心值為80，當前深度地圖F3的最右上角的像素PT1的信心值為30，由於當前深度地圖F3的最右上角的像素PT1的信心值最低，代表攝像模組CA在位置P3拍攝A點時，可能因為位置P3的拍攝姿勢導致影像不清楚，因此，處理器10針對像素PT1選用信心值最高的深度地圖F2的最右上角的像素PT1深度作為輸出。
於步驟260中，處理器10依據信心值最高者所對應的像素產生當前位置的一最佳化深度地圖。
於一實施例中，當處理器10將當前深度地圖F3中的每個像素都與深度地圖MF1及MF2做比較並各自選擇信心值最高者所對應的像素作為輸出，例如處理器10針對當前深度地圖F3的像素PT1選用信心值最高的深度地圖F2的最右上角的像素PT1作為輸出，另外，假設映射後深度地圖MF1的像素PT2的信心值為70，映射後深度地圖MF2的像素PT2的信心值為40，當前深度地圖F3的像素PT2的信心值為30，則處理器20針對當前深度地圖F3的像素PT2選出信心值最高者所對應的像素，即深度地圖F1的像素PT2所對應的深度作為輸出(假設當前深度地圖F3中的像素PT2各自對應到映射後深度地圖MF1及MF2中的像素PT2)，針對沒有對應到深度地圖MF1及MF2的部分，則採用當前深度地圖F3的像素所對應的深度作輸出。當處理器10完成當前深度地圖F3中的每個像素的比對並選擇每個像素對應輸出的深度後，將所有輸出的深度的整體視為最佳化深度地圖。
綜上所述，本發明實施例係提供一種影像處理系統及影像處理方法，可以使攝像模組在拍攝低紋理物體或是低光源環境時，透過參考當前影像與前幾張影像中各相素的信心值，以產生當前影像最佳化的深度資訊，並可達到應用當前影像最佳化的深度資訊，產生較精準的三維影像之功效。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100:影像處理系統 P1~P3:位置 CA:攝像模組 LL、LR:攝像鏡頭 A:點 TB:桌面 10:處理器 200:影像處理方法 210~260:步驟 400:影像處理方法 F1、F2:深度地圖 F3:當前深度地圖 PT1、PT2:像素 MF1、MF2:深度地圖
第1圖為根據本發明之一實施例繪示的一種影像處理系統之示意圖。 第2圖為根據本發明之一實施例繪示的一種影像處理方法之流程圖。 第3圖為根據本發明之一實施例繪示的一種信心值之示意圖。 第4圖為根據本發明之一實施例繪示的一種影像處理方法之示意圖。
200:影像處理方法
210~260:步驟

Claims (12)

  1. 一種影像處理系統，包括：一攝像模組，包括：一第一攝像鏡頭，用以於一當前位置拍攝一第一視角影像；一第二攝像鏡頭，用以於該當前位置拍攝一第二視角影像；以及一處理器，用以依據該第一視角影像及該第二視角影像產生一當前深度地圖(depth map)及一當前信心地圖(confidence map)，該當前信心地圖包含每個像素的信心值，該處理器接收對應一先前位置的一先前攝像姿態，該先前位置具有對應的一第一深度地圖及一第一信心地圖，依據該先前攝像姿態及該當前位置的一當前攝像姿態，將該第一深度地圖的至少一像素位置映射(mapping)到該當前深度地圖的至少一像素位置，選擇該第一信心地圖的至少一像素的信心值與各自對應的該當前信心地圖的至少一像素的信心值相比後的信心值最高者，依據該些信心值最高者所對應的像素產生該當前位置的一最佳化深度地圖；其中該攝像模組先於該先前位置拍攝一物體或一環境，該處理器產生對應該先前位置的該第一深度地圖及該第一信心地圖，將該第一信心地圖中的每個像素的信心值紀錄於一佇列中，該攝像模組再於另一先前位置拍攝該物體，該處理器產生對應該另一先前位置的一第二深度地圖及一第二信心地圖，將該第二信心地圖中的每個像素的信心值紀錄於該佇列中，最後該攝像模組於該當前位置拍攝 該物體，該處理器將該當前信心地圖中的每個像素的信心值紀錄於該佇列中。
  2. 如申請專利範圍第1項所述之影像處理系統，其中該第一攝像鏡頭為一左眼攝像鏡頭，該第一視角影像為一左眼影像，該第二攝像鏡頭為一右眼攝像鏡頭，該第二視角影像為一右眼影像。
  3. 如申請專利範圍第1項所述之影像處理系統，其中該處理器依據該先前攝像姿態及該當前位置的該當前攝像姿態，經由計算一旋轉(rotation)及一位移(translation)的轉換公式，將該第一深度地圖的至少一像素位置映射到該當前深度地圖的至少一像素位置。
  4. 如申請專利範圍第1項所述之影像處理系統，其中該處理器依據一比對代價(matching cost)演算法以計算該第一視角影像中的每個像素各自對應的該第二視角影像中的每個像素之一相似程度，以產生該當前信心地圖。
  5. 如申請專利範圍第1項所述之影像處理系統，其中該處理器從該佇列中，選擇該第一信心地圖的至少一像素的信心值、該第二信心地圖的至少一像素的信心值與各自對應的該當前信心地圖的至少一像素的信心值相比後的信心值最高者，依據該些信心值最高者所對應的像素產生該當前位置的該最佳化深度地圖。
  6. 如申請專利範圍第1項所述之影像處理系統，其中該處理器接收對應該另一先前位置的另一先前攝像姿態，計算對應於該另一先前位置的該第二深度地圖，依據該另一先前攝像姿態及該當前攝像姿態，經由計算一旋轉(rotation)及一位移(translation) 的轉換公式，將該第二深度地圖的至少一像素位置映射到該當前深度地圖的至少一像素位置。
  7. 一種影像處理方法，包括：藉由一第一攝像鏡頭於一當前位置拍攝一第一視角影像；藉由一第二攝像鏡頭於該當前位置拍攝一第二視角影像；依據該第一視角影像及該第二視角影像產生一當前深度地圖(depth map)及一當前信心地圖(confidence map)；其中該當前信心地圖包含每個像素的信心值；接收對應一先前位置的一先前攝像姿態，該先前位置具有對應的一第一深度地圖及一第一信心地圖；依據該先前攝像姿態及該當前位置的一當前攝像姿態，將該第一深度地圖的至少一像素位置映射(mapping)到該當前深度地圖的至少一像素位置；選擇該第一信心地圖的至少一像素的信心值與各自對應的該當前信心地圖的至少一像素的信心值相比後的信心值最高者；以及依據該些信心值最高者所對應的像素產生該當前位置的一最佳化深度地圖；先於該先前位置拍攝一物體或一環境；產生對應該先前位置的該第一深度地圖及該第一信心地圖；將該第一信心地圖中的每個像素的信心值紀錄於一佇列中；再於另一先前位置拍攝該物體；產生對應該另一先前位置的一第二深度地圖及一第二信心地圖；將該第二信心地圖中的每個像素的信心值紀錄於該佇列中； 最後於該當前位置拍攝該物體；以及將該當前信心地圖中的每個像素的信心值紀錄於該佇列中。
  8. 如申請專利範圍第7項所述之影像處理方法，其中該第一攝像鏡頭為一左眼攝像鏡頭，該第一視角影像為一左眼影像，該第二攝像鏡頭為一右眼攝像鏡頭，該第二視角影像為一右眼影像。
  9. 如申請專利範圍第7項所述之影像處理方法，更包含：依據該先前攝像姿態及該當前位置的該當前攝像姿態，經由計算一旋轉(rotation)及一位移(translation)的轉換公式，將該第一深度地圖的至少一像素位置映射到該當前深度地圖的至少一像素位置。
  10. 如申請專利範圍第7項所述之影像處理方法，更包含：依據一比對代價(matching cost)演算法以計算該第一視角影像中的每個像素各自對應的該第二視角影像中的每個像素之一相似程度，以產生該當前信心地圖。
  11. 如申請專利範圍第7項所述之影像處理方法，更包含：從該佇列中，選擇該第一信心地圖的至少一像素的信心值、該第二信心地圖的至少一像素的信心值與各自對應的該當前信心地圖的至少一像素的信心值相比後的信心值最高者；以及依據該些信心值最高者所對應的像素產生該當前位置的該最佳化深度地圖。
  12. 如申請專利範圍第7項所述之影像處理方法，更包 含：接收對應該另一先前位置的另一先前攝像姿態；計算對應於該另一先前位置的該第二深度地圖；以及依據該另一先前攝像姿態及該當前攝像姿態，經由計算一旋轉(rotation)及一位移(translation)的轉換公式，將該第二深度地圖的至少一像素位置映射到該當前深度地圖的至少一像素位置。
TW108141351A 2018-11-14 2019-11-14 影像處理系統及影像處理方法 TWI757658B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862760920P 2018-11-14 2018-11-14
US62/760,920 2018-11-14

Publications (2)

Publication Number Publication Date
TW202037151A TW202037151A (zh) 2020-10-01
TWI757658B true TWI757658B (zh) 2022-03-11

Family

ID=70710763

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108141351A TWI757658B (zh) 2018-11-14 2019-11-14 影像處理系統及影像處理方法

Country Status (3)

Country Link
US (1) US20200186776A1 (zh)
CN (1) CN111193918B (zh)
TW (1) TWI757658B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10510178B2 (en) * 2018-02-27 2019-12-17 Verizon Patent And Licensing Inc. Methods and systems for volumetric reconstruction based on a confidence field
CN112700495A (zh) * 2020-11-25 2021-04-23 北京旷视机器人技术有限公司 位姿确定方法、装置、机器人、电子设备及存储介质
US20230319429A1 (en) * 2022-03-31 2023-10-05 Advanced Micro Devices, Inc. Object distance estimation with camera lens focus calibration

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102957937A (zh) * 2011-08-12 2013-03-06 奇景光电股份有限公司 处理三维立体影像的***与方法
CN104395692A (zh) * 2012-06-29 2015-03-04 富士胶片株式会社 三维测定方法、装置、***以及图像处理装置
US20180091798A1 (en) * 2016-09-26 2018-03-29 Imec Taiwan Co. System and Method for Generating a Depth Map Using Differential Patterns

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2469679B (en) * 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US8605993B2 (en) * 2011-11-21 2013-12-10 Robo-team Ltd. Methods and systems of merging depth data from a plurality of disparity maps
US20130162763A1 (en) * 2011-12-23 2013-06-27 Chao-Chung Cheng Method and apparatus for adjusting depth-related information map according to quality measurement result of the depth-related information map
US9571818B2 (en) * 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device
SG11201500910RA (en) * 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
CN103679641B (zh) * 2012-09-26 2016-12-21 株式会社理光 深度图像增强方法和装置
CN103888744B (zh) * 2012-12-21 2016-08-17 联咏科技股份有限公司 立体影像的调整方法与影像处理装置
GB2532003A (en) * 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
CN107077742B (zh) * 2015-04-28 2020-06-26 华为技术有限公司 一种图像处理装置和方法
EP3395064B1 (en) * 2015-12-21 2023-06-21 Koninklijke Philips N.V. Processing a depth map for an image
US9852513B2 (en) * 2016-03-01 2017-12-26 Intel Corporation Tracking regions of interest across video frames with corresponding depth maps
US20170302910A1 (en) * 2016-04-19 2017-10-19 Motorola Mobility Llc Method and apparatus for merging depth maps in a depth camera system
CN107454377B (zh) * 2016-05-31 2019-08-02 深圳市微付充科技有限公司 一种利用相机进行三维成像的算法和***
US10602126B2 (en) * 2016-06-10 2020-03-24 Lucid VR, Inc. Digital camera device for 3D imaging
US10621729B2 (en) * 2016-06-12 2020-04-14 Apple Inc. Adaptive focus sweep techniques for foreground/background separation
JP6651679B2 (ja) * 2016-12-06 2020-02-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 光強度画像を生成するための装置及び方法
EP3358844A1 (en) * 2017-02-07 2018-08-08 Koninklijke Philips N.V. Method and apparatus for processing an image property map
CN108537871B (zh) * 2017-03-03 2024-02-20 索尼公司 信息处理设备和信息处理方法
EP3392834B1 (en) * 2017-04-17 2019-12-25 HTC Corporation 3d model reconstruction method, electronic device, and non-transitory computer readable storage medium
US10482618B2 (en) * 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
KR102455632B1 (ko) * 2017-09-14 2022-10-17 삼성전자주식회사 스테레오 매칭 방법 및 장치
US10701334B2 (en) * 2017-10-11 2020-06-30 Adobe Inc. Virtual reality parallax correction
US10643383B2 (en) * 2017-11-27 2020-05-05 Fotonation Limited Systems and methods for 3D facial modeling
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
US10375378B2 (en) * 2017-12-12 2019-08-06 Black Sesame International Holding Limited Dual camera system for real-time depth map generation
CN110225238B (zh) * 2018-03-01 2021-06-01 宏达国际电子股份有限公司 场景重建***、方法以及非暂态电脑可读取媒介质
US10410368B1 (en) * 2018-09-27 2019-09-10 Qualcomm Incorporated Hybrid depth processing
US10930054B2 (en) * 2019-06-18 2021-02-23 Intel Corporation Method and system of robust virtual view generation between camera views

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102957937A (zh) * 2011-08-12 2013-03-06 奇景光电股份有限公司 处理三维立体影像的***与方法
CN104395692A (zh) * 2012-06-29 2015-03-04 富士胶片株式会社 三维测定方法、装置、***以及图像处理装置
US20180091798A1 (en) * 2016-09-26 2018-03-29 Imec Taiwan Co. System and Method for Generating a Depth Map Using Differential Patterns

Also Published As

Publication number Publication date
TW202037151A (zh) 2020-10-01
CN111193918B (zh) 2021-12-28
US20200186776A1 (en) 2020-06-11
CN111193918A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
US11830141B2 (en) Systems and methods for 3D facial modeling
US11100664B2 (en) Depth-aware photo editing
TWI712918B (zh) 擴增實境的影像展示方法、裝置及設備
US20190230297A1 (en) Method and system for generating at least one image of a real environment
TWI757658B (zh) 影像處理系統及影像處理方法
TWI567693B (zh) 產生深度資訊的方法及其系統
US8736672B2 (en) Algorithmic interaxial reduction
JP5561781B2 (ja) ２ｄ画像データを立体画像データに変換する方法およびシステム
US20170126988A1 (en) Generating stereoscopic pairs of images from a single lens camera
US9807372B2 (en) Focused image generation single depth information from multiple images from multiple sensors
CN106709865B (zh) 一种深度图像合成方法及装置
WO2018188277A1 (zh) 视线校正方法、装置、智能会议终端及存储介质
Thatte et al. Depth augmented stereo panorama for cinematic virtual reality with head-motion parallax
US12033355B2 (en) Client/server distributed camera calibration
US9342861B2 (en) Alternate viewpoint rendering
US20140009503A1 (en) Systems and Methods for Tracking User Postures to Control Display of Panoramas
US20140009570A1 (en) Systems and methods for capture and display of flex-focus panoramas
US20220148207A1 (en) Processing of depth maps for images
GB2567245A (en) Methods and apparatuses for depth rectification processing
TW201839722A (zh) 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體
JP2023551864A (ja) 自動立体テレプレゼンスシステムのための３次元（３ｄ）顔特徴追跡
JP2016048467A (ja) 運動視差再現方法、装置およびプログラム
JP6306996B2 (ja) 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム
KR102093455B1 (ko) 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법
CN117857769B (zh) 自适应多摄像机捕获与实时自由视角视频渲染方法及***