TWI541763B - 用於調整深度値的方法、電子裝置和媒體 - Google Patents

用於調整深度値的方法、電子裝置和媒體 Download PDF

Info

Publication number
TWI541763B
TWI541763B TW103134895A TW103134895A TWI541763B TW I541763 B TWI541763 B TW I541763B TW 103134895 A TW103134895 A TW 103134895A TW 103134895 A TW103134895 A TW 103134895A TW I541763 B TWI541763 B TW I541763B
Authority
TW
Taiwan
Prior art keywords
depth
region
information
boundary
color image
Prior art date
Application number
TW103134895A
Other languages
English (en)
Other versions
TW201519162A (zh
Inventor
武景龍
曾富昌
戴伯靈
闕鑫地
許育誠
林政憲
馮乙軒
孫文宏
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201519162A publication Critical patent/TW201519162A/zh
Application granted granted Critical
Publication of TWI541763B publication Critical patent/TWI541763B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Description

用於調整深度值的方法、電子裝置和媒體
本發明涉及深度處理方法。更明確地說，本發明涉及透過使用彩色圖像與深度圖兩者來調整深度值的方法、電子裝置和媒體。
現今透過照相設備來取得數碼圖像越來越容易。在一些應用中，取得深度資訊以產生一些視覺效果，例如，散景(bokeh,或稱焦外成像)或重新對焦(refocusing)。一般來說，散景效果用於聚焦在一個物件(object)上，以使得所述物件呈現的清晰，而遠處的其他物件將呈現得模糊。且，重新對焦效果用於在取得數碼圖像之後改變焦距。然而，深度資訊有時不準確，這可能產生低品質的圖像。舉例來說，如果透過左眼圖像和右眼圖像來取得深度資訊，那麼深度資訊可能具有一些“深度孔”、不連續深度值或模糊邊界。因此，如何調整深度值以便提供賞心悅目的視覺效果對於所屬領域的技術人員來說以成為該行業中的主要課題之 一。
此處所述的任何內容不應解釋為對本發明的任何部分的現有技術中的知識的認可。此外，本申請案中對任何檔的引用或標識不是認可該檔適用於本發明的現有技術，或任何引用形成此項技術中的一般知識的一部分。
本發明涉及用於調整深度且產生光學效果的深度處理方法、電子裝置和媒體。
在本發明的示範性實施例中，提供一種用於電子裝置的深度處理方法。所述深度處理方法包含：取得深度圖和對應於所述深度圖的彩色圖像；從所述深度圖和所述彩色圖像中的至少一者擷取多個區域；取得所述區域的區域資訊，以及根據所述區域資訊而將所述區域分類為感興趣區域和非感興趣區域中的至少一者，其中所述區域資訊包括區資訊和邊緣資訊；以及根據所述區域資訊而調整所述深度圖中的多個深度值。
在本發明的示範性實施例中，提供一種電子裝置。所述電子裝置包括：記憶體，儲存多個指令；以及處理器，用於執行所述指令以執行方法步驟。
在本發明的示範性實施例中，提供一種非暫時性電腦可讀媒體。所述非暫時性電腦可讀媒體儲存經配置以執行方法步驟的指令。
鑒於以上內容，根據示範性實施例，所述深度處理、所述電子裝置和所述媒體能夠在取得區域後調整深度值，且所述調整是透過使用深度圖和彩色圖像兩者來進行的。因此，所述所調整的深度值可產生較好的視覺效果。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧電子裝置
101‧‧‧處理器
102‧‧‧記憶體
103‧‧‧觸控單元
104‧‧‧相機模組
110‧‧‧彩色圖像
120‧‧‧深度圖
121、122、123、230‧‧‧區域
210、220‧‧‧邊界
240‧‧‧深度孔
242‧‧‧水平線
501~504、506~509‧‧‧相鄰範圍
505‧‧‧觸控範圍
S210~S260、S701~S704‧‧‧步驟
圖1說明根據本發明的示範性實施例的電子裝置。
圖2說明根據本發明的示範性實施例的用於調整深度值的流程圖。
圖3為說明根據示範性實施例的彩色圖像和深度圖的示意圖。
圖4為說明根據本發明的示範性實施例將邊界用於改進語義主體分類的示意圖。
圖5說明根據本發明的示範性實施例的範圍選擇。
圖6為說明根據本發明的示範性實施例的原始圖像和散景圖像的示意圖。
圖7說明根據本發明的示範性實施例的深度處理方法的流程圖。
圖1說明根據本發明的示範性實施例的電子裝置。
參看圖1，電子裝置100包含處理器101、記憶體102、觸控單元103和相機模組104。電子裝置100可實施為呈任何形式的智慧型電話、平板電腦、筆記本電腦、臺式電腦或嵌入式系統，這在本發明中不受限制。
處理器101可控制電子裝置100的整體操作。舉例來說，處理器101可為中央處理單元(central processing unit,CPU)、微處理器、數位信號處理器(digital signal processor,DSP)、可編程控制器、專用積體電路(application specific integrated circuit,ASIC)或可編程邏輯裝置(programmable logic device,PLD)。記憶體102經配置以儲存指令。舉例來說，記憶體102可為(但不限於)隨機存取記憶體(random access memory,RAM)或快閃記憶體。此外，處理器101執行記憶體102中的指令以執行深度處理方法。
觸控單元103經配置以偵測觸控操作。舉例來說，觸控單元103可包含液晶顯示器(liquid crystal display,LCD)、發光二極體(light-emitting diode,LED)顯示器、場發射顯示器(field emission display,FED)等與電阻型、電容型或任何其他類型的觸控感測單元的組合，以使得可同時提供顯示功能和觸控控制功能。
相機模組104耦接到處理器101。相機模組104可具有單一相機感測器、兩個相機感測器或多個相機感測器。對於兩個相 機感測器和多個相機感測器，這些感測器可配置有相同解析度，或較低解析度的感測器和較高解析度的感測器的組合。
圖2說明根據本發明的示範性實施例的用於調整深度值的流程圖。圖3為說明根據本發明的示範性實施例的彩色圖像和深度圖的示意圖。圖4為說明根據本發明的示範性實施例將邊界用於改進語義主體(semantic subject)分類的示意圖。圖2的步驟可由圖1所示的元件實施。此外，將參看圖3和圖4來論述圖2中的步驟中的每一者的細節。
參看圖2和圖3，在步驟S210之前，處理器101首先取得彩色圖像110和對應於彩色圖像110的深度圖120。彩色圖像110可為由具有單一相機感測器、兩個相機感測器或多個相機感測器的相機模組104拍攝的圖像。深度圖120包含多個深度值，所述深度值可透過相機模組104的複數個彩色圖像的分析而產生或由具有紅外線鏡頭單元的相機模組104產生；或者，深度值可由處理器101在接收到兩個彩色圖像之後計算，這在本揭露中不受限制。接著，在步驟S210中，處理器101可對彩色圖像110、深度圖120或彩色圖像110與深度圖120兩者執行預處理程序，例如，去雜訊(de-noise)、腐蝕(erosion)、膨脹(dilation)或平滑化(smoothing)。
在預處理程序後，在步驟S220中，處理器101從彩色圖像110擷取一些特徵。舉例來說，可從彩色圖像110擷取或對彩色圖像110執行像素梯度(pixel gradient)、尋找邊緣(finding edge)、分割(segmentation)、局部/整體特徵(local/global feature)、尺度不變特徵(scale-invariant feature)、旋轉不變特徵(rotation-invariant feature)、統計資訊(statistic information)。且，對彩色圖像110執行聚類(clustering)程序，例如，分水嶺演算法(watershed algorithm)、k均值演算法(k-means algorithm)或grab-cut演算法(grab-cut algorithm)。然而，還可使用其他監督式/非監督式(supervised/un-supervised)或互動式/非互動式(interactive/non-interactive)聚類做法，本發明並不限定於上述。在另一實施例中，還可對深度圖120執行特徵擷取和聚類程序。在聚類方法後，可將彩色圖像110、深度圖120或彩色圖像110與深度圖120兩者劃分為多個區域。在一些示範性實施例中，區域可為具有類似顏色的像素的集群(cluster)和/或由特定輪廓(contour)圍繞的像素的群組，但本發明不限於此。
處理器101可根據各種演算法來界定區域。舉例來說，如果處理器101執行聚類演算法以在彩色圖像110中界定區域，那麼所界定的區域可為分別包含具有類似顏色的像素的集群。如果處理器101執行邊緣檢測演算法以在深度圖120中界定區域，那麼所界定的區域可為分別由特定輪廓圍繞的集群。
接著，處理器101取得區域的區域資訊，且根據區域資訊而將區域分類為感興趣區域(region-of-interest,ROI)或非感興趣區域(非ROI)。在一些實施例中，區域資訊可包含區資訊和邊緣資訊，且處理器101可在執行聚類演算法和/或邊緣檢測演算法 期間取得區資訊和邊緣資訊。舉例來說，雖然處理器101執行聚類演算法以在彩色圖像110中界定區域，但還可取得區資訊(例如，位於區域中的每一者中的像素的座標)。類似地，雖然處理器101執行邊緣檢測演算法以在深度圖120中界定區域，但還可取得邊緣資訊(例如，位於每一區域的輪廓上的像素的座標)。然而，可透過任何其他圖像處理做法從彩色圖像110或深度圖120取得區資訊和邊緣資訊，這在本發明中並不限定。此後，處理器101根據區域資訊而調整深度圖120中的深度值。舉例來說，如果處理器101根據邊緣資訊查明在區域中的一者中存在深度孔(邊緣資訊例如為位於這區域的輪廓上的像素的座標)，那麼處理器101可填充這區域中的深度孔，或使區域的邊界銳化，但本發明不限定如何根據區域資訊來調整深度值。
語義主體分類(步驟S230)
更具體來說，當對區域進行分類時，處理器101可對彩色圖像110、深度圖120或彩色圖像110與深度圖120兩者中的區域或像素執行分類程序。分類程序的結果將指示區域是ROI還是非ROI。舉例來說，對深度圖120中的像素與彩色圖像110中的區域兩者執行最大類間方差演算法(Otsu algorithm，又稱大津法)。應注意，可執行最大類間方差演算法若干次以得到多個層(layers)。然而，在另一實施例中，可使用其他監督式/非監督式分類程序，這不應解釋為限制本揭露。在一個示範性實施例中，彩色圖像110中的區域被稱為彩色區域，其指示這彩色區域內的 顏色值類似或相同，且深度圖120中的區域被稱為深度區域，其表示這深度區域內的深度值類似或相同。當對深度區域進行分類時，可使用每一深度區域的尺寸、位置或深度。基本上，具有較大尺寸、位於圖像中央或較小深度(較接近於相機)的深度區域有較高概率被視為ROI。明確地說，在一個示範性實施例中，還可組合尺寸、位置和深度的資訊。舉例來說，基於尺寸、位置和深度來執行三個分類程序，且每一分類程序可對每一區域進行表決，即，將得分給予每一區域，其中每一得分表示區域為ROI的概率。將每一區域的得分相加，且將每一區域的相加的得分與閾值進行比較以確定區域是否為ROI。然而，本揭露不限於此，在另一實施例中，可採用由不同分類程序計算的分類結果的並集或交集以對區域進行分類。
在分類程序後，在圖4中，區域121為ROI，且區域122和123為非ROI。彩色圖像110和深度圖120的聚類結果也可組合以提高精確度。舉例來說，參看圖4，處理器101對區域121(也稱為第一深度區域)執行腐蝕程序以取得邊界210，且對區域121執行膨脹程序以取得邊界220。將邊界210和220映射到彩色圖像110中，且在彩色圖像110中在邊界210與220之間的區中執行分割演算法以調整區域121的輪廓。舉例來說，分割演算法為分水嶺演算法，其會將彩色圖像110中的邊界210與邊界220之間的區分為兩個子區，且這兩個子區之間的邊界將成為區域121的較平滑的輪廓。
深度資訊校正(步驟S240)
深度圖120可能包含有一些不具有深度值的深度孔或一些不準確的深度值，且這些深度孔或深度值可基於所分類區域來解決。在示範性實施例中，以不同校正方法處理不同的所分類區域。當填充ROI中的深度孔時，可使用關於像素域(pixel domain)或區域域(region domain)的資訊。舉例來說，深度孔中的像素可由附近像素的統計值(例如，平均深度或深度的中值)、所述像素的區域的統計值、相鄰區域的統計值或所有ROI的統計值來填充。
對於非ROI中的深度孔，背景深度資訊較複雜，這是因為背景深度資訊具有從室內環境到室外環境的各種場景。此外，可根據背景深度資訊的特性來應用不同統計模型。
舉例來說，假設在背景區域123中存在深度孔240。在一個實施例中，處理器101可在水準線242上掃描深度值，以建立深度直方圖或統計模型且因此填充深度孔240。具體來說，處理器101將查明是否存在顯著偏離附近深度值的一些深度值(即，深度孔)。如果存在，那麼處理器101將透過將與深度孔相關的深度值替換為附近深度值的平均值、中值或其他統計值來填充深度孔。
在實施例中，為了處理非ROI中的各種深度值，處理器101可使用基於多尺度區域的統計估計器來解決深度圖中存在的各種深度孔。處理器101可透過任何形狀來界定多尺度區域以適合於深度圖的深度分佈。舉例來說，處理器101可產生大尺度區 域以融合深度圖的整體變化的資訊，且填充大尺寸的深度孔。同時，處理器101可產生小尺度區域以在局部統計意義上填充小尺寸的深度孔。因此，處理器101可按照多解析度來處理深度孔。
在另一實施例中，取得深度孔240的搜索範圍中的多個有效深度值以填充深度孔240。具體來說，當處理器101確定所選擇的像素為深度孔時，處理器101可在多方向和多尺度上從深度孔擴展搜索範圍，以搜索相鄰像素來查明其他有效深度值。從另一觀點來說，搜索範圍可被視為以波紋方式擴展以搜索有效深度值。此後，處理器101可使用有效深度值來填充深度孔。
不連續區移除(步驟S250)
原始深度圖120可能含有不準確的值，且其中的一些可根據語義區域來校正。舉例來說，如果區域121內部具有與背景區域相同的深度值，那麼區域121中的深度值可為錯誤的；因此，這些錯誤深度值替換為區域121中的深度值。具體來說，處理器對彩色圖像110執行物件檢測程序，以檢測區域230對應於物件。將物件的物件區映射到深度圖中(成為區域121)。因為區域121中的深度值屬於同一物件，所以這些深度值應為連續的。因此，根據區域121中的深度值來調整區域121(即，物件的物件區)中的不連續的深度值；或根據區域121中的深度值來填充區域121中的深度孔(例如，透過低通濾波器來進行或替換為其他深度值)。應注意，物件檢測可為人類檢測、車輛檢測、行人檢測或任何其他物件檢測，這在本發明中不應受限制。此外，深度值的調 整或填充可透過濾波器、統計做法、圖案識別模型或替換來進行，這不應解釋為限制本揭露。
物件邊界銳度(步驟S260)
接著，使用彩色圖像110中的邊緣或邊界來使深度圖120中的邊緣或邊界銳化。舉例來說，可根據彩色圖像110中的邊緣或邊界的位置來對深度圖120應用高通濾波器。因此，深度圖120中的ROI與非ROI之間的邊界較清晰。最後，取得已改進的深度圖(參見圖2)。
範圍選擇
圖5說明根據本發明的示範性實施例的範圍選擇。當用戶拍攝相片時，根據上文論述的步驟而自動地檢測至少一個ROI，且選擇一個ROI作為目標物件。焦距將在目標物件上，也就是說，焦距等於目標物件的深度值。因此，目標物件呈現得清晰，而其他物件可模糊。然而，用戶可選擇另一物件作為目標物件。在一個實施例中，在觸控單元103的顯示器上呈現彩色圖像110，且在觸控單元103上偵測觸控操作。根據觸控操作而取得觸控範圍(例如，40×40像素的長方形)，且根據觸控範圍中的深度值而計算新的焦距。舉例來說，參看圖5，用戶對觸控範圍505進行觸控。處理器101計算觸控範圍505中的深度值的方差(variance)，其中，選擇小於第一預定深度值且大於第二預定深度值的深度值來計算所述方差。換句話說，當計算方差時，捨棄大於第一閾值或小於第二閾值的觸控範圍505中的深度值。如果方差小於閾值，那麼 將觸控區域505中的剩餘深度值的統計值(例如，平均值或中值)設置為焦距。另一方面，如果方差大於第三閾值，那麼處理器101取得接近觸控範圍505的相鄰範圍501到504和506到509，且根據具有最小方差的相鄰範圍中的一者中的深度值來設置焦距。具體來說，對相鄰範圍501到504和506到509中的每一者執行上文論述的閾值和方差的相同計算。在一個示範性實施例中，將選擇具有最小方差的相鄰範圍。在另一示範性實施例中，選擇具有最小深度值(最接近相機)的相鄰範圍，或選擇具有與觸控區域505最類似的深度值的相鄰範圍。然而，可透過表決、加權或任何其他方式來組合這些選擇準則，這在本揭露中不受限制。接著，使用所選擇的相鄰範圍中的深度值來計算焦距。
漸進式散景效果
在取得焦距後，可產生散景圖像(參見圖6)。具體來說，計算深度圖120中的所取得的焦距與其他深度值之間的深度差，且根據深度差來設置多個強度。在一個實施例中，以函數來界定深度差與強度之間的關係。函數可為線性函數、多項式函數、指數函數或任何類型的函數，這在本揭露中不受限制。根據強度來對彩色圖像110執行卷積(Convolution)，以使得較大深度差將導致較模糊的圖像。因此，用戶選擇的物件呈現得清晰，而遠離所選擇的物件的其他物件呈現得模糊以產生散景效果。
圖7說明根據本發明的示範性實施例的深度處理方法的流程圖。
參看圖7，在步驟S701中取得彩色圖像和對應於彩色圖像的深度圖。在步驟S702中，從深度圖和彩色圖像中的至少一者擷取多個區域。在步驟S703中，取得所述區域的區域資訊，以及根據區域資訊而將所述區域分類為感興趣區域或非感興趣區域。在步驟S704中，根據區域資訊而調整深度圖中的多個深度值。上文已闡述圖7所示的每一步驟，且在下文中將不再描述所述步驟。應注意，可按編程代碼或電路的形式實施圖7所提供的步驟，這不應解釋為限制本發明。此外，可參考前述實施例來應用圖7所提供的方法，或可個別地應用所述方法，且本發明不限於此。
本發明的一個示範性實施例還提供一種非暫時性電腦可讀媒體，其可實施為記憶體102、磁片或CD的形式。非暫時性電腦可讀媒體儲存由處理器101執行以便執行上述深度處理方法的多個指令。
綜上所述，根據本發明的示範性實施例中所描述的深度處理方法、電子裝置和非暫時性電腦可讀媒體，透過使用彩色圖像與深度圖兩者來調整深度值。因此，改進深度值以便產生較好的視覺效果。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S701~S704‧‧‧步驟

Claims (18)

  1. 一種用於電子裝置的深度處理方法，所述深度處理方法包括：取得彩色圖像和對應於所述彩色圖像的深度圖；從所述深度圖和所述彩色圖像中的至少一者擷取多個區域；取得所述區域的區域資訊，以及根據所述區域資訊而將所述區域分類為感興趣區域和非感興趣區域中的至少一者，其中所述區域資訊包括區資訊和邊緣資訊，且該區資訊包括位於所述區域中的每一者中的像素的座標，該邊緣資訊包括位於每一所述區域的輪廓上的像素的座標；以及根據所述區域資訊而調整所述深度圖中的多個深度值。
  2. 如申請專利範圍第1項所述的深度處理方法，其中所述區域包括多個彩色區域和多個深度區域，所述深度區域自所述深度圖取得，且所述根據所述區域資訊而將所述區域分類為所述感興趣區域和所述非感興趣區域中的至少一者的步驟包括：根據所述深度區域中的每一者的尺寸、深度、位置中的至少一者而將所述深度區域分類為所述感興趣區域或所述非感興趣區域。
  3. 如申請專利範圍第2項所述的深度處理方法，其中所述彩色區域中的第一彩色區域對應於所述深度區域中的第一深度區域，且所述根據所述區域資訊而調整所述深度圖中的所述深度值的步驟包括： 對所述第一深度區域執行腐蝕程序以取得第一邊界；對所述第一深度區域執行膨脹程序以取得第二邊界；以及將所述第一邊界和所述第二邊界映射到所述彩色圖像中，且在所述彩色圖像中在所述第一邊界與所述第二邊界之間的區中執行分割演算法以調整所述第一深度區域的輪廓。
  4. 如申請專利範圍第2項所述的深度處理方法，更包括：對所述彩色圖像執行物件檢測程序以取得物件；以及將所述物件的物件區映射到所述深度圖中，且根據所述深度圖中的所述物件的所述物件區中的所述深度值來填充所述深度圖中的所述物件的所述物件區中的深度孔。
  5. 如申請專利範圍第4項所述的深度處理方法，更包括：根據所述深度圖中的所述物件的所述物件區中的所述深度值而調整所述深度圖中的所述物件的所述物件區中的不連續深度值。
  6. 如申請專利範圍第1項所述的深度處理方法，其中所述區資訊是透過對所述彩色圖像執行聚類演算法而取得的。
  7. 如申請專利範圍第1項所述的深度處理方法，其中所述邊緣資訊是透過對所述彩色圖像執行邊緣檢測演算法而取得的。
  8. 如申請專利範圍第1項所述的深度處理方法，其中所述電子裝置包括觸控單元，且所述深度處理方法包括：在所述觸控單元上偵測觸控操作；根據所述觸控操作而取得觸控範圍； 計算所述觸控範圍中的所述深度值的方差，其中，選擇小於第一預定深度值且大於第二預定深度值的所述深度值來計算所述方差；以及如果所述方差大於閾值，取得接近所述觸控範圍的多個相鄰範圍，且根據具有最小方差的所述相鄰範圍中的一者中的所述深度值來設置焦距。
  9. 一種電子裝置，包括：記憶體，儲存多個指令；以及處理器，耦接到所述記憶體，且經配置以執行所述指令來執行多個步驟：取得深度圖和對應於所述深度圖的彩色圖像；從所述深度圖和所述彩色圖像中的至少一者擷取多個區域；取得所述區域的區域資訊，以及根據所述區域資訊而將所述區域分類為感興趣區域和非感興趣區域中的至少一者，其中所述區域資訊包括區資訊和邊緣資訊，且該區資訊包括位於所述區域中的每一者中的像素的座標，該邊緣資訊包括位於每一所述區域的輪廓上的像素的座標；以及根據所述區域資訊而調整所述深度圖中的多個深度值。
  10. 如申請專利範圍第9項所述的電子裝置，其中所述區域包括多個彩色區域和多個深度區域，所述深度區域自所述深度圖取得，且所述根據所述區域資訊而將所述區域分類為所述感興趣區域和所述非感興趣區域中的至少一者的步驟包括： 根據所述深度區域中的每一者的尺寸、深度、位置中的至少一者而將所述深度區域分類為所述感興趣區域或所述非感興趣區域。
  11. 如申請專利範圍第10項所述的電子裝置，其中所述彩色區域中的第一彩色區域對應於所述深度區域中的第一深度區域，且所述根據所述區域資訊而調整所述深度圖中的所述深度值的步驟包括：對所述第一深度區域執行腐蝕程序以取得第一邊界；對所述第一深度區域執行膨脹程序以取得第二邊界；以及將所述第一邊界和所述第二邊界映射到所述彩色圖像中，且在所述彩色圖像中在所述第一邊界與所述第二邊界之間的區中執行分割演算法以調整所述第一深度區域的輪廓。
  12. 如申請專利範圍第10項所述的電子裝置，其中所述步驟更包括：對所述彩色圖像執行物件檢測程序以取得物件；以及將所述物件的物件區映射到所述深度圖中，且根據所述深度圖中的所述物件的所述物件區中的所述深度值來填充所述深度圖中的所述物件的所述物件區中的深度孔。
  13. 如申請專利範圍第9項所述的電子裝置，更包括觸控單元，且所述步驟更包括：在所述觸控單元上檢測觸控操作；根據所述觸控操作而取得觸控範圍； 計算所述觸控範圍中的所述深度值的方差，其中，選擇小於第一預定深度值且大於第二預定深度值的所述深度值來計算所述方差；以及如果所述方差大於閾值，那麼取得接近所述觸控範圍的多個相鄰範圍，且根據具有最小方差的所述相鄰範圍中的一者中的所述深度值來設置焦距。
  14. 一種非暫時性電腦可讀媒體，用於儲存多個指令，且所述指令經配置以執行多個步驟：取得深度圖和對應於所述深度圖的彩色圖像；從所述深度圖和所述彩色圖像中的至少一者擷取多個區域；取得所述區域的區域資訊，以及根據所述區域資訊而將所述區域分類為感興趣區域和非感興趣區域中的至少一者，其中所述區域資訊包括區資訊和邊緣資訊，且該區資訊包括位於所述區域中的每一者中的像素的座標，該邊緣資訊包括位於每一所述區域的輪廓上的像素的座標；以及根據所述區域資訊而調整所述深度圖中的多個深度值。
  15. 如申請專利範圍第14項所述的非暫時性電腦可讀媒體，其中所述區域包括多個彩色區域和多個深度區域，所述深度區域獲自所述深度圖，且所述根據所述區域資訊而將所述區域分類為所述感興趣區域和所述非感興趣區域中的至少一者的步驟包括：根據所述深度區域中的每一者的尺寸、深度、位置中的至少一者而將所述深度區域分類為所述感興趣區域或所述非感興趣區 域。
  16. 如申請專利範圍第15項所述的非暫時性電腦可讀媒體，其中所述彩色區域中的第一彩色區域對應於所述深度區域中的第一深度區域，且所述根據所述區域資訊而調整所述深度圖中的所述深度值的步驟包括：對所述第一深度區域執行腐蝕程序以取得第一邊界；對所述第一深度區域執行膨脹程序以取得第二邊界；以及將所述第一邊界和所述第二邊界映射到所述彩色圖像中，且在所述彩色圖像中在所述第一邊界與所述第二邊界之間的區中執行分割演算法以調整所述第一深度區域的輪廓。
  17. 如申請專利範圍第15項所述的非暫時性電腦可讀媒體，其中所述步驟更包括：對所述彩色圖像執行物件檢測程序以取得物件；以及將所述物件的物件區映射到所述深度圖中，且根據所述深度圖中的所述物件的所述物件區中的所述深度值來填充所述深度圖中的所述物件的所述物件區中的深度孔。
  18. 如申請專利範圍第14項所述的非暫時性電腦可讀媒體，其中所述步驟更包括：在觸控單元上檢測觸控操作；根據所述觸控操作而取得觸控範圍；計算所述觸控範圍中的所述深度值的方差，其中，選擇小於第一預定深度值且大於第二預定深度值的所述深度值來計算所述 方差；以及如果所述方差大於閾值，那麼取得接近所述觸控範圍的多個相鄰範圍，且根據具有最小方差的所述相鄰範圍中的一者中的所述深度值來設置焦距。
TW103134895A 2013-11-15 2014-10-07 用於調整深度値的方法、電子裝置和媒體 TWI541763B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361904467P 2013-11-15 2013-11-15
US14/316,797 US9363499B2 (en) 2013-11-15 2014-06-27 Method, electronic device and medium for adjusting depth values

Publications (2)

Publication Number Publication Date
TW201519162A TW201519162A (zh) 2015-05-16
TWI541763B true TWI541763B (zh) 2016-07-11

Family

ID=53173369

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103134895A TWI541763B (zh) 2013-11-15 2014-10-07 用於調整深度値的方法、電子裝置和媒體

Country Status (3)

Country Link
US (1) US9363499B2 (zh)
CN (1) CN104657936B (zh)
TW (1) TWI541763B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI692741B (zh) * 2018-01-18 2020-05-01 鈺立微電子股份有限公司 校正相機的系統

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20150116529A1 (en) * 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
JP6381368B2 (ja) * 2014-08-26 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US9772405B2 (en) * 2014-10-06 2017-09-26 The Boeing Company Backfilling clouds of 3D coordinates
EP3298577B1 (en) * 2015-05-18 2019-11-27 Nokia Technologies Oy Filtering depth map image using texture and depth map images
BR112017024765A2 (pt) * 2015-05-21 2018-07-31 Koninklijke Philips N.V. aparelho para determinar um mapa de profundidade para uma imagem, método para determinar um mapa de profundidade para uma imagem, e produto de programa de computador
BR112017026903A2 (pt) * 2015-06-16 2019-05-07 Koninklijke Philips N.V. aparelho para gerar um mapa de profundidade, método para gerar um mapa de profundidade e produto de programa de computador
CN106303161B (zh) * 2015-06-24 2019-06-25 联想(北京)有限公司 一种图像处理方法及电子设备
CN106339997B (zh) * 2015-07-09 2019-08-09 株式会社理光 图像融合方法、设备和***
WO2018005359A1 (en) * 2016-06-27 2018-01-04 Robert Bosch Gmbh Systems and methods for dynamic occlusion handling
CN106504294B (zh) * 2016-10-17 2019-04-26 浙江工业大学 基于扩散曲线的rgbd图像矢量化方法
TWI595771B (zh) * 2016-10-20 2017-08-11 聚晶半導體股份有限公司 影像深度資訊的優化方法與影像處理裝置
CN108377379B (zh) * 2016-10-20 2020-10-09 聚晶半导体股份有限公司 影像深度信息的优化方法与影像处理装置
KR102320198B1 (ko) 2017-04-05 2021-11-02 삼성전자주식회사 깊이 영상 보정 방법 및 장치
US10217195B1 (en) * 2017-04-17 2019-02-26 Amazon Technologies, Inc. Generation of semantic depth of field effect
KR102423175B1 (ko) 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
KR102423295B1 (ko) 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
CN108197567B (zh) * 2017-12-29 2021-08-24 百度在线网络技术（北京）有限公司 用于图像处理的方法、装置和计算机可读介质
CN108898055A (zh) * 2018-05-24 2018-11-27 长安大学 一种检测信息融合的移动机器人障碍物检测方法
CN108986156B (zh) * 2018-06-07 2021-05-14 成都通甲优博科技有限责任公司 深度图处理方法及装置
CN114520866B (zh) * 2020-11-19 2024-06-07 深圳市万普拉斯科技有限公司 图像散景处理方法、电子设备和存储介质
IT202000030206A1 (it) * 2020-12-09 2022-06-09 Guala Pack Spa Chiusura per una cannuccia di un imballo flessibile a pareti sottili
CN117121499A (zh) * 2021-03-08 2023-11-24 Oppo广东移动通信有限公司 图像处理方法和电子设备
CN115908520A (zh) * 2021-09-29 2023-04-04 华为技术有限公司 深度估计方法、深度估计模型的训练方法及其装置和***
CN114926532B (zh) * 2022-04-26 2024-06-11 江苏大学 一种再生稻穗层高度在线检测方法及***和收获机

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983083B2 (en) * 2001-02-13 2006-01-03 Eastman Kodak Company Image specific perceived overall contrast prediction
CN100423021C (zh) * 2002-10-17 2008-10-01 精工爱普生株式会社 用于低景深图像分割的方法和装置
US8345918B2 (en) * 2004-04-14 2013-01-01 L-3 Communications Corporation Active subject privacy imaging
JP5615552B2 (ja) * 2006-11-21 2014-10-29 コーニンクレッカ フィリップス エヌ ヴェ 画像の深度マップの生成
JP4917509B2 (ja) * 2007-10-16 2012-04-18 ルネサスエレクトロニクス株式会社 オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
CN101299268B (zh) 2008-07-01 2010-08-11 上海大学 适于低景深图像的语义对象分割方法
KR101636370B1 (ko) * 2009-11-10 2016-07-05 삼성전자주식회사 영상 처리 장치 및 방법
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
JP5887515B2 (ja) * 2010-11-10 2016-03-16 パナソニックＩｐマネジメント株式会社 奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
TWI489418B (zh) * 2011-12-30 2015-06-21 Nat Univ Chung Cheng Parallax Estimation Depth Generation
US20130202194A1 (en) * 2012-02-05 2013-08-08 Danillo Bracco Graziosi Method for generating high resolution depth images from low resolution depth images using edge information
WO2013173749A1 (en) * 2012-05-17 2013-11-21 The Regents Of The University Of California Sampling-based multi-lateral filter method for depth map enhancement and codec
US20140002595A1 (en) * 2012-06-29 2014-01-02 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system and method for foreground biased depth map refinement method for dibr view synthesis
US9661296B2 (en) * 2012-07-12 2017-05-23 Samsung Electronics Co., Ltd. Image processing apparatus and method
JP5963606B2 (ja) * 2012-08-10 2016-08-03 キヤノン株式会社 撮像装置及びその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI692741B (zh) * 2018-01-18 2020-05-01 鈺立微電子股份有限公司 校正相機的系統

Also Published As

Publication number Publication date
US9363499B2 (en) 2016-06-07
US20150139533A1 (en) 2015-05-21
CN104657936B (zh) 2017-12-22
CN104657936A (zh) 2015-05-27
TW201519162A (zh) 2015-05-16

Similar Documents

Publication Publication Date Title
TWI541763B (zh) 用於調整深度値的方法、電子裝置和媒體
CN110378945B (zh) 深度图处理方法、装置和电子设备
Feng et al. Local background enclosure for RGB-D salient object detection
JP6050223B2 (ja) 画像認識装置、画像認識方法、及び集積回路
WO2019174276A1 (zh) 用于定位目标物体区域中心的图像处理方法、装置、设备和介质
US20160335491A1 (en) Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
US9672628B2 (en) Method for partitioning area, and inspection device
JP6547386B2 (ja) 画像処理装置及び方法
JP2012118698A (ja) 画像処理装置
US10586321B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
JP2008286725A (ja) 人物検出装置および方法
JP2014089626A (ja) 画像検出装置及び制御プログラム並びに画像検出方法
KR20170056860A (ko) 이미지 생성 방법 및 장치
US10455163B2 (en) Image processing apparatus that generates a combined image, control method, and storage medium
US10503969B2 (en) Hand-raising detection device, non-transitory computer readable medium, and hand-raising detection method
WO2015105755A1 (en) Processing text images with shadows
US20130243251A1 (en) Image processing device and image processing method
KR20160072675A (ko) 대화형 영상 분할 장치 및 방법
US8396297B2 (en) Supervised edge detection using fractal signatures
JP6183038B2 (ja) 領域抽出装置、領域抽出方法およびプログラム
JP6110174B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP6542230B2 (ja) 投影ひずみを補正するための方法及びシステム
CN110211021B (zh) 图像处理装置、图像处理方法和存储介质
JP5786838B2 (ja) 画像領域分割装置、方法、およびプログラム
JP6717769B2 (ja) 情報処理装置及びプログラム