TWI692739B - 影像深度解碼器及計算機裝置 - Google Patents

影像深度解碼器及計算機裝置 Download PDF

Info

Publication number
TWI692739B
TWI692739B TW107141827A TW107141827A TWI692739B TW I692739 B TWI692739 B TW I692739B TW 107141827 A TW107141827 A TW 107141827A TW 107141827 A TW107141827 A TW 107141827A TW I692739 B TWI692739 B TW I692739B
Authority
TW
Taiwan
Prior art keywords
image
depth
infrared
reference image
buffer
Prior art date
Application number
TW107141827A
Other languages
English (en)
Other versions
TW202016883A (zh
Inventor
蔣明哲
杜源
杜力
伍捷
蘇俊杰
Original Assignee
美商耐能股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商耐能股份有限公司 filed Critical 美商耐能股份有限公司
Application granted granted Critical
Publication of TW202016883A publication Critical patent/TW202016883A/zh
Publication of TWI692739B publication Critical patent/TWI692739B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Abstract

一種影像深度解碼器包括一紅外線影像緩衝區、一參考影像環形緩衝區以及一型樣匹配引擎，紅外線影像緩衝區儲存串流輸入的一紅外線影像，參考影像環形緩衝區儲存串流輸入的一參考影像，型樣匹配引擎耦接紅外線影像緩衝區及參考影像環形緩衝區，並依據紅外線影像以及參考影像進行一深度運算以輸出至少一深度值。

Description

影像深度解碼器及計算機裝置
本發明係關於一種解碼器及計算機裝置，尤指一種影像深度解碼器及計算機裝置。
立體影像技術目前已應用在立體影像顯示或是臉部辨識等應用，立體影像的深度產生方案可分為ToF(Time-of-Flight)、立體攝像機(stereo camera)以及結構光(structure light)，結構光可適用在臉部辨識或其他應用。
以臉部辨識的應用來說，傳統的臉部辨識使用一般RGB色彩的影像來偵測及辨識，然而，這樣的辨識方式容易被破解，例如使用正確標的人物的影像作為臉部辨識的輸入。因此，臉部辨識的安全性是需要改善提高的。
因此，若立體影像能有額外的資訊可供參考，或是有其他立體影像產生方式，是目前重要的課題之一。
本發明提出一種能夠節省電路佈局面積的影像深度解碼器及計算機裝置。
一種影像深度解碼器包括一紅外線影像緩衝區、一參考影像環形緩衝區以及一型樣匹配引擎，紅外線影像緩衝區儲存串流輸入的一紅外線影像，參考影像環形緩衝區儲存串流輸入的一參考影像，型樣匹配引擎耦接紅外線影像緩衝區及參考影像環形緩衝區，並依據紅外線影像以及參考影像進行一深度運算以輸出至少一深度值。
在一實施例中，參考影像的多行像素係逐行存入參考影像環形緩衝區，參考影像環形緩衝區的一最大行數小於參考影像的總行數。
在一實施例中，參考影像的一後續行像素係存入參考影像環形緩衝區，並覆寫在參考影像環形緩衝區中已儲存的參考影像的其中一行上。
在一實施例中，深度運算的一範圍高度或一範圍寬度為可調整設定的。
在一實施例中，深度運算的一範圍高度小於參考影像環形緩衝區的最大行數。
在一實施例中，型樣匹配引擎維護二位址範圍指標以指定從參考影像環形緩衝區的一讀取範圍，每當針對紅外線影像的一行像素的深度運算完成後，型樣匹配引擎更新位址範圍指標。
在一實施例中，紅外線影像緩衝區只儲存紅外線影像的部分且經量化的像素，參考影像環形緩衝區只儲存參考影像的部分且經量化的像素。
在一實施例中，影像深度解碼器更包括一原版紅外線影像緩衝區以及一量化器，原版紅外線影像緩衝區儲存紅外線影像的原版影像，量化器耦接原版紅外線影像緩衝區並對紅外線影像的原版影像進行量化。
在一實施例中，影像深度解碼器更包括一輸入介面，其係耦接一紅外線攝像裝置，以接收源於紅外線攝像裝置的紅外線影像。
一種計算機裝置包括如前所述之影像深度解碼器以及一記憶體，記憶體儲存參考影像並耦接影像深度解碼器。
承上所述，在影像深度解碼器中，紅外線影像和參考影像都是以串流的方式存入紅外線影像緩衝區及參考影像環形緩衝區，影像深度解碼器進行深度運算時只需要紅外線影像和參考影像的部分行子集，不需要載入各影像的一個完整視框後才進行運算過程，因此，影像深度解碼器不需要一個大的視框緩衝區來儲存整個影像的完整視框，藉由環形緩衝區的設計可節省電路佈局面積。
1、1a:影像深度解碼器
11:紅外線影像緩衝區
12:參考影像環形緩衝區
121:部分像素資料
13:型樣匹配引擎
131:相關計算單元
14:輸出介面
15:輸入介面
16:預處理區塊
17:原版紅外線影像緩衝區
18:量化器
19:暫存器
2:計算機裝置
21:處理器
22:記憶體
23:匯流排
3:參考影像
31:行子集
DV:深度值
HSR:水平搜尋範圍
Iref:參考影像
Inir:紅外線影像
Nc、Rc:水平距離
Nr、Rr:垂直距離
Nd、Rd:高度與寬度
O1:第一偏移量
O2:第二偏移量
P1、P2:位址範圍指標
q1、q2:像素
SR:搜尋範圍
VSR:垂直搜尋範圍
Wnir、Wref、W(x,y):窗區域
圖1為一實施例的一影像深度解碼器的區塊圖。
圖2A與圖2B為一實施例的參考影像環形緩衝區的存入資料的示意圖。
圖3A至圖3C為一實施例的參考影像環形緩衝區的取出資料的示意圖。
圖4A至圖4C為一實施例的型樣匹配引擎進行深度運算的示意圖。
圖4D與圖4E為一實施例的型樣匹配在不同朝向的偏移的示意圖。
圖5為一實施例的一計算機裝置與一影像深度解碼器的區塊圖。
圖6A至圖6C為一實施例的量化紅外線影像的示意圖。
圖7A至圖7C為一實施例的型樣匹配適用在不同縮放比的示意圖。
圖8A與圖8B為一實施例的影像深度解碼器的運作時脈圖。
圖9為一實施例的影像深度解碼器的運作順序的示意圖。
以下將參照相關圖式，說明依本發明較佳實施例之一種影像深度解碼器及計算機裝置，其中相同的元件將以相同的參照符號加以說明。
請參考圖1所示，圖1為一實施例的一影像深度解碼器的區塊圖。一影像深度解碼器1包括一紅外線影像緩衝區11(以下簡稱緩衝區11)、一參考影像環形緩衝區12(以下簡稱環形緩衝區12)以及一型樣匹配引擎13，紅外線影像緩衝區11儲存串流輸入的一紅外線影像Inir，參考影像環形緩衝區12儲存串流輸入的一參考影像Iref，型樣匹配引擎13耦接紅外線影像緩衝區11及參考影像環形緩衝區12，並依據紅外線影像Inir以及參考影像Iref進行一深度運算以輸出至少一深度值DV。多個深度值DV因而產生並形成為一深度影像，深度影像的像素是對應至紅外線影像Inir的像素以及參考影像Iref的像素。型樣匹配引擎13可基於朝向模式(orientation mode)及搜尋範圍同時需要紅外線影像Inir的數行像素資料與參考影像Iref的數行像素資料，並在各時脈逐欄進行型樣匹配演算法以找到差距(disparity)，然後將差距轉換為深度(depth)。朝向模式包括景觀模式與肖像模式。
舉例來說，對整個紅外線影像Inir以及參考影像Iref進行完成深度運算後，多個深度值DV因而產生並形成為一深度影像。參考影像Iref是彩色影像或灰階影像，彩色影像例如是RGB影像、或YMCK影像、或YUV影像等等。參考影像Iref可以是可見光影像，例如可見光彩色影像或可見光灰階影像。
舉例來說，紅外線影像Inir是以一紅外線攝像機拍攝，紅外線攝像機包括紅外線光源及紅外線感測器，紅外線光源照設一組光點在標的上，紅外線感測器捕捉從標的反射光，並據以形成編有光點資訊(encoded light dots information)的二維紅外線影像，然後這個影像再輸入到影像深度解碼器1以供深度運算。
環形緩衝區12可搭配動態映射(dynamic mapping)以供資料存放及載入，型樣匹配引擎13維護二位址範圍指標P1、P2以指定從環形緩衝區12的一讀取範圍。參考影像Iref以行為單位逐行(一行或行子集)將像素資料存入環形緩衝區12，一行的像素資料占據環形緩衝區12的一行，影像的各行像素因而可獨立個別控制存取。
紅外線影像Inir和參考影像Iref都是以串流的方式存入緩衝區11及環形緩衝區12，影像深度解碼器1進行深度運算時只需要紅外線影像Inir和參考影像Iref的部分行子集(subset of lines)，不需要載入各影像的一個完整視框後才進行運算過程，因此，影像深度解碼器1不需要一個大的視框緩衝區來儲存整個影像的完整視框，藉由環形緩衝區12的設計可節省電路佈局面積。
影像深度解碼器1可以實作在一晶片內，緩衝區11及環形緩衝區12可以是晶片內記憶體(on-chip memory)，記憶體的種類例如是靜態隨機存取記憶體(SRAM)或是動態隨機存取記憶體(DRAM)。緩衝區11、環形緩衝區12及型樣匹配引擎13實作在同一晶片內。藉由環形緩衝區的設計可節省晶片內佈局面積。另外，緩衝區11也可以設計為環形緩衝區。
圖2A與圖2B為一實施例的參考影像環形緩衝區的存入資料的示意圖。如圖2A與圖2B所示，環形緩衝區12至少有L行的儲存空間，參考影像Iref的行數為r，欄數為c，參考影像Iref的多行像素係逐行存入環形緩衝區12，環形緩衝區12的一最大行數小於參考影像Iref的總行數。參考影像Iref的一後續行像素係存入環形緩衝區12，並覆寫在環形緩衝區12中已儲存的參考影像的其中一行上。
請先參考圖2A所示，環形緩衝區12原本沒有儲存參考影像Iref的行像素資料，參考影像Iref的第1行至第L行的像素p(1,1)至像素p(L,c)的資料會先存入到環形緩衝區12的第1行至第L行。
然後請參考圖2B所示，環形緩衝區12的第L行的下一行是第1行，參考影像Iref的後續行的像素資料會存入到環形緩衝區12並且覆寫在後續 行。後續行是排在前次存入動作的最後一行之後，後續行一般是前次存入動作的最後一行的下一行。因此，參考影像Iref的第L+1行的像素p(L+1,1)至像素p(L+1,c)的資料存入環形緩衝區12，並覆寫在環形緩衝區12的第1行，參考影像Iref的第L+k行的像素p(L+k,1)至像素p(L+k,c)的資料存入環形緩衝區12，並覆寫在環形緩衝區12的第k行，0<k<L+1，k為自然數，以此類推。
深度運算的一範圍高度小於環形緩衝區12的最大行數，舉例來說，深度運算需要q行的像素資料才能進行，q小於等於L，q取決於深度運算所需的範圍大小。在環形緩衝區12至少有q行的像素資料之前，因為深度運算所需的資料還未到位，深度運算未開始進行。當環形緩衝區12至少有q行的像素資料後，深度運算可開始進行。從環形緩衝區12存入資料的程序以及取出資料的程序可以彼此分開獨立地控制，從環形緩衝區12取出一行或多行的像素資料以供深度運算，外部電路也將參考影像Iref的後續行像素資料存入環形緩衝區12並覆寫先前存入的像素資料，新存入的後續行像素資料會在後續被取出以供後續進行的深度運算。
圖3A至圖3C為一實施例的參考影像環形緩衝區的取出資料的示意圖。請先參考圖3A所示，型樣匹配引擎13維護二位址範圍指標P1、P2以指定從環形緩衝區12的一讀取範圍，每當針對紅外線影像的一行像素的深度運算完成後，型樣匹配引擎13更新位址範圍指標P1、P2以供後續其他行像素的深度運算所需。在一般的應用下，在同一個視框影像的處理過程中，更新位址範圍指標P1、P2是移動從環形緩衝區12的讀取範圍，但範圍仍維持相同大小。
舉例來說，位址範圍指標P1、P2分別指向讀取範圍的頭端及尾端，讀取範圍是在環形緩衝區12內從位址範圍指標P1開始沿著參考影像的行寫入方向到達位址範圍指標P2。環形緩衝區12的實體位址尾端和實體位址頭端在次序上視為相連接，如果到達位址範圍指標P2前先到達環形緩衝區12的實體位址尾端，則繼續接著從環形緩衝區12的實體位址頭端開始沿著參考影像的行寫入方向到達位址範圍指標P2。
在圖3A中，環形緩衝區12內有參考影像Iref的第a行至第b行的像素資料，每一行有x個像素。位址範圍指標P1、P2分別指向第i行、第j 行以供型樣匹配引擎13從環形緩衝區12取出第i行至第j行的資料用在第k次的深度運算。第i行至第j行的資料取出後，型樣匹配引擎13將位址範圍指標P1、P2更新以在後續執行時能從環形緩衝區12取出第k+1次的深度運算所需的資料，例如在圖3B中，第k+t次的深度運算所需的資料是環形緩衝區12的第m行至第n行的資料，t>0，型樣匹配引擎13將位址範圍指標P1、P2更新為分別指向第m行、第n行。
在更新範圍指標時，如果範圍指標超出環形緩衝區12的實體位址尾端，則將範圍指標移到環形緩衝區12的實體位址頭端，例如在圖3C中，位址範圍指標P1、P2分別指向第v行、第u行，第k+t次的深度運算所需的資料是環形緩衝區12的第v行至第b行以及第a行至第u行的資料，t>0。
環形緩衝區12可降低晶片內記憶體的用量，配合控制邏輯，可克服因環形緩衝區12造成的控制複雜度。藉由上述配置，不僅可以有環形緩衝區12的優點，也克服因環形緩衝區12造成在型樣匹配引擎13的控制邏輯複雜度的問題。
圖4A至圖4C為一實施例的型樣匹配引擎進行深度運算的示意圖。型樣匹配的搜尋範圍取決於攝像機參數及深度解析度規範。型樣匹配是基於紅外線影像Inir及參考影像Iref在對應像素位置以範圍窗在一定的搜尋範圍內計算相關係數(correlation factor)，並依據相關係數極值發生的位置計算產生差距(disparity)，差距更進一步轉換為深度值。
請先參考圖4A所示，對於紅外線影像Inir的一指定像素選擇一窗區域Wnir，指定像素與參考點的水平距離為Nc，指定像素與參考點的垂直距離為Nr，窗區域Wnir的高度與寬度例如相同都是Nd，水平距離Nc、垂直距離Nr、高度與寬度Nd的單位可以是像素個數。窗區域Wnir是以指定像素為中心，但也可以是指定像素位在窗區域Wnir的其中一個角落，或是其他位置設定。
在圖4B中，對應於圖4A中紅外線影像Inir中指定像素的位置，在參考影像Iref中的相對位置處也選擇一對應像素，並在對應像素選擇一窗區域Wref，對應像素與參考點的水平距離為Rc，對應像素與參考點的垂直距離為Rr，窗區域Wref的高度與寬度例如相同都是Rd，水平距離Rc、垂直距離Rr、高度 與寬度Rd的單位可以是像素個數。水平距離Nc與垂直距離Nr的比例等於水平距離Rc與垂直距離Rr對應像素的比例，窗區域Wnir的高度與寬度Nd等於窗區域Wref的高度與寬度Rd。
在圖4C中，窗區域Wnir內的像素資料與窗區域Wref內的像素資料用來計算一相關係數，在型樣匹配的搜尋過程中，窗區域Wnir的位置不變，但窗區域Wref的位置在參考影像Iref中搜尋範圍內移動，搜尋範圍例如是以對應像素的位置為中心具有第一偏移量O1以及第二偏移量O2，且上下共合計m行，第一偏移量O1以及第二偏移量O2合計n個像素個數。在搜尋範圍內各像素位置上的窗區域以W(x,y)表示，1≦x≦m，1≦y≦n，各窗區域W(x,y)內的像素資料與窗區域Wnir內的像素資料用來計算一相關係數fc，對每個窗區域W(x,y)運算後可得到多個相關係數fc，相關係數陣列F表示如下：相關係數=f c (W (x,y),W nir )
Figure 107141827-A0305-02-0009-1
相關係數代表窗區域Wnir與窗區域W(x,y)的相似度，如果評分越高則越相似。從相關係數陣列F可挑出評分最高的相關係數fc及其窗區域W(x,y)，然後計算這個評分最高的窗區域W(x,y)與對應像素(或其窗區域Wref)的距離並轉換為差距(disparity)，差距更進一步轉換為深度值DV來輸出。
深度運算的一範圍高度或一範圍寬度為可調整設定(reconfigurable)的。範圍高度或範圍寬度可用第一偏移量O1以及第二偏移量O2代表。第一偏移量O1以及第二偏移量O2是型樣匹配的主要搜尋方向，此方向與攝像機朝向有關，偏移量的大小可依使用情況設定。在垂直於偏移量方向的搜尋是考量到誤差並進行微量補償，因此在這個方向上所需的行數或欄數不需要太多。
圖4D與圖4E為一實施例的型樣匹配在不同朝向的偏移的示意圖。在圖4D中，紅外線發設器與紅外線攝像機放置在同一平面且其光軸彼此平 行，對極線(epipolar line)會在水平方向。因此，差距搜尋主要會在參考影像Iref的水平方向上進行，水平搜尋範圍由第一偏移量O1以及第二偏移量O2所定義，第一偏移量O1是左偏移量，第二偏移量O2是右偏移量，在垂直方向上也會進行小固定範圍的搜尋以補償微量誤差，整個搜尋範圍SR由水平搜尋範圍與垂直搜尋範圍組成。第一偏移量O1以及第二偏移量O2可以彈性地或因應不同的攝像機參數來設定，深度運算的範圍寬度為可調整設定的。
舉例來說，圖4D是用在景觀模式(landscape mode)的搜尋處理，其需要紅外線影像的21行像素資料，並且視攝像機定義的朝向而需要參考影像的25行或180行像素資料。圖4E是用在肖像模式(portrait mode)的搜尋處理，其水平和垂直搜尋範圍剛好和圖4D的景觀模式相反，肖像模式的搜尋處理需要紅外線影像的21行像素資料以及參考影像的180行像素資料，深度運算的範圍高度為可調整設定的。
圖5為一實施例的一計算機裝置與一影像深度解碼器的區塊圖。如圖5所示，一計算機裝置2包括影像深度解碼器1a、一處理器21、一記憶體22以及一匯流排23，記憶體22儲存參考影像Iref並耦接影像深度解碼器1a，記憶體22可以是非揮發性記憶體或揮發性記憶體。匯流排23耦接處理器21與影像深度解碼器1a，處理器21可透過匯流排23從影像深度解碼器1a取得紅外線影像Inir的統計資訊或是紅外線影像Inir的資料。處理器21也可透過匯流排23傳送設定組態至影像深度解碼器1a以作設定。處理器21也可耦接記憶體22，例如處理器21產生或取得參考影像Iref後可將其存到記憶體22。
影像深度解碼器1a更包括一輸出介面14、一輸入介面15、一預處理區塊16、一原版紅外線影像緩衝區17、一量化器18、以及一暫存器19。舉例來說，計算機裝置2的運作如下：處理器21或其他在影像深度解碼器1a外部的元件透過匯流排23設定暫存器19，在影像深度解碼器1a的環形緩衝區12準備參考影像Iref的資料，紅外線影像資料Inir串流傳送至影像深度解碼器1a。然後，串流持續地逐行更新環形緩衝區12，這個更新時序必須配合紅外線影像資料的傳送時序。在輸出介面14，深度影像是逐行輸出。
輸出介面14耦接型樣匹配引擎13以輸出深度值DV，輸出介面 14可以逐行輸出深度值DV構成的深度影像。輸入介面15耦接一紅外線攝像裝置，以接收源於紅外線攝像裝置的紅外線影像Inir。紅外線影像Inir可以是原始影像(raw image)，預處理區塊16耦接輸入介面15並對紅外線影像Inir進行預處理，預處理後的影像傳輸到原版紅外線影像緩衝區17。預處理包括黑位準削減(black level subtraction)以及伽馬校正(gamma correction)，預處理後影像像素由10位元像素轉換為8位元像素。原版紅外線影像緩衝區17耦接預處理區塊16並儲存紅外線影像的原版影像。原版紅外線影像緩衝區17可以是行緩衝區(line buffer)，例如具有7行的儲存空間來存放串流輸入的原版紅外線影像的7行像素資料。
量化器18耦接原版紅外線影像緩衝區17並對紅外線影像的原版影像進行量化。量化器18可將一個像素由8位元量化為1位元，經量化紅外線影像輸出到緩衝區11。緩衝區11耦接量化器18並儲存經量化紅外線影像，緩衝區11可具有21行的儲存空間來存放串流輸入的經量化紅外線影像的21行像素資料。
另外，參考影像Iref也可經量化處理，舉例來說，環形緩衝區12除存經量化參考影像Iref的像素資料，一個像素資料是1位元，環形緩衝區12可具有181行的儲存空間來存放串流輸入的經量化參考影像的181行像素資料。因此，緩衝區11可以只儲存紅外線影像Inir的部分且經量化的像素，環形緩衝區12可以只儲存參考影像Iref的部分且經量化的像素。由於深度運算所需的影像資料都經過量化處理，整體的運算數據量可減少因而提升運算速度，而且因深度運算所需的影像資料都經過量化處理並且以串流輸入，儲存影像資料的緩衝區大小可因而縮減，可節省電路佈局面積。雖然影像資料經過量化，但仍能維持深度建構的準確性。
暫存器19耦接匯流排23以取得設定組態，設定組態包括紅外線影像Inir的參數、及/或型樣匹配引擎13的參數。例如處理器21可編程暫存器19來調整輸入影像的解析度或視框解碼率等等。隨著紅外線影像的輸入，一些統計資訊可據以產生或一些參數可據以萃取出並存放在暫存器19，處理器21可從暫存器19取得這些統計資訊或參數。例如處理器21可根據萃取出的參數用來 控制攝像機的自動曝光。統計資訊可以是處理完成整個視框或一整個紅外線影像後才產生，處理完成後也可以產生一個中斷(interrupt)來通知處理器21。
影像深度解碼器1a可以實作在一晶片內或實作為一晶片，緩衝區11、環形緩衝區12及原版紅外線影像緩衝區17可以是晶片內記憶體(on-chip memory)，記憶體的種類例如是靜態隨機存取記憶體(SRAM)或是動態隨機存取記憶體(DRAM)。藉由環形緩衝區的設計可節省晶片內佈局面積。另外，緩衝區11也可以設計為環形緩衝區。
圖6A至圖6C為一實施例的量化紅外線影像的示意圖。如圖6A所示，原版紅外線影像包括r行及c欄，一範圍窗內用在量化一個像素q1，範圍窗的長寬例如是n個像素，但範圍窗的長寬也可以不一樣。像素q1的量化結果會基於範圍窗內的全部像素的值而產生。然後，如圖6B所示，一個像素完成後移動範圍窗，移動距離是s個像素，s例如是1個像素。如圖6C所示，移到另一個像素q2後，像素q2的量化結果基於範圍窗內的全部像素的值而產生，以此類推對全部的像素進行量化。
另外，對於影像邊界附近的像素可能有範圍窗超出邊界的情況，此時可將範圍窗內超出邊界的部分填0(灰階的極值)，使得量化前後影像的解析度不變。另外，也可以限定範圍窗不可超出影像的邊界，這樣的量化會產生略小解析度的影像，同時，在型樣匹配讀取參考影像時也需注意邊界對應。另外，針對邊界情況其他維持相同解析度的量化方法也可採用。
圖7A至圖7C為一實施例的型樣匹配適用在不同縮放比的示意圖。在圖7A中，輸入的參考影像3和輸出的深度影像的解析度相同，參考影像3的行子集31從記憶體22取出存入到環形緩衝區12，型樣匹配引擎13的相關計算單元(correlation computation units)131進行型樣匹配的搜尋範圍可以不用到整行或整欄，例如可以是半行，水平搜尋範圍HSR或垂直搜尋範圍VSR減半，因此，可以只從環形緩衝區12取出部分像素資料121來進行型樣匹配的運算。深度運算的一範圍寬度小於參考影像環形緩衝區12的一最大欄數的一半。
在圖7B中，輸出的深度影像的解析度為輸入的參考影像3的四分之一，輸出的深度影像的高度為輸入的參考影像3的一半，輸出的深度影像 的寬度為輸入的參考影像3的一半。與圖7A的情況相較，由於相關計算單元131的數量不變，因此，型樣匹配的搜尋範圍在水平方向及垂直方向都是倍增。
在圖7C中，輸出的深度影像的解析度為輸入的參考影像3的十六分之一，輸出的深度影像的高度為輸入的參考影像3的四分之一，輸出的深度影像的寬度為輸入的參考影像3的四分之一。與圖7A的情況相較，由於相關計算單元131的數量不變，因此，型樣匹配的搜尋範圍在水平方向及垂直方向都增為4倍。
圖8A與圖8B為一實施例的影像深度解碼器的運作時脈圖。在圖8A中，視框開始後，紅外線影像與參考影像開始逐行輸入到影像深度解碼器，在行開始的各行週期分別載入一行。型樣匹配需要參考影像的一定行數例如n行的像素資料，在1到n的行週期必須從先參考影像載入n行像素資料，藉以確保型樣匹配能正確地進行。因應不同的朝向模式，n有不同的設定，例如在景觀模式n為23，在肖像模式n為180。
在圖8B中，第n+1個行週期開始會開始進行型樣匹配。另外，舉例來說，紅外線影像與參考影像也可進行量化，量化不一定要從第n+1個行週期開始，量化可以從更先前的行週期就開始進行，例如在開始載入紅外線影像的7行後。若一行有m個像素，△T為m個時脈，在各時脈載入一個像素，m依影像的解析度例如是1296、1244、640等等。
圖9為一實施例的影像深度解碼器的運作順序的示意圖。原始紅外線影像輸入1到736行到影像深度解碼器，量化器在原始紅外線影像的第4行到達後開始對原始紅外線影像進行量化並輸出量化結果，前三行(1-3)及後三行(734-736)的量化結果是全部為0。型樣匹配引擎在原始紅外線影像的第14行到達後開始進行型樣匹配並輸出第1行深度值，由於在影向垂直方向採用降取樣(down-sampling)，在原始紅外線影像的每二行間隔，型樣匹配引擎才輸出一行。前十行(1-10)及後十行(359-368)的深度值是全部為0。
型樣匹配演算法是尋找二個影像(參考影像及紅外線影像)間最佳的差距匹配，相關函數的性能影響差距的準確度因而也影響深度計算的準確度。因此，除了要容忍各類紅外線影像狀況並得到準確的差距，多個相關函數 的結果要能良好從中挑出並搭配量化處理。在影像深度解碼器中，由於深度運算所需的影像資料可經過量化處理，整體的運算數據量可減少因而提升運算速度，而且因深度運算所需的影像資料經過量化處理並且以串流輸入，儲存影像資料的緩衝區大小可因而縮減，可節省電路佈局面積。影像資料經過量化也強化深度建構的準確性。影像深度解碼器也能達到低功耗/低成本，並具備即時3D建構的效能。另外，影像深度解碼器也可適應不同的輸入視框率，並且能即時又準確的進行3D建構處理。
綜上所述，在影像深度解碼器中，紅外線影像和參考影像都是以串流的方式存入紅外線影像緩衝區及參考影像環形緩衝區，影像深度解碼器進行深度運算時只需要紅外線影像和參考影像的部分行子集，不需要載入各影像的一個完整視框後才進行運算過程，因此，影像深度解碼器不需要一個大的視框緩衝區來儲存整個影像的完整視框，藉由環形緩衝區的設計可節省電路佈局面積。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。
1：影像深度解碼器 11：紅外線影像緩衝區 12：參考影像環形緩衝區 13：型樣匹配引擎 DV：深度值 Iref：參考影像 Inir：紅外線影像 P1、P2：位址範圍指標

Claims (9)

  1. 一種影像深度解碼器，包括：一紅外線影像緩衝區，儲存串流輸入的一紅外線影像；一參考影像環形緩衝區，儲存串流輸入的一參考影像；以及一型樣匹配引擎，耦接該紅外線影像緩衝區及該參考影像環形緩衝區，依據該紅外線影像以及該參考影像進行一深度運算以輸出至少一深度值；其中，該深度運算的一範圍高度或一範圍寬度為可調整設定的。
  2. 如申請專利範圍第1項所述之影像深度解碼器，其中，該參考影像的多行像素係逐行存入該參考影像環形緩衝區，該參考影像環形緩衝區的一最大行數小於該參考影像的總行數。
  3. 如申請專利範圍第1項所述之影像深度解碼器，其中，該參考影像的一後續行像素係存入該參考影像環形緩衝區，並覆寫在該參考影像環形緩衝區中已儲存的該參考影像的其中一行上。
  4. 如申請專利範圍第1項所述之影像深度解碼器，其中，該深度運算的該範圍高度小於該參考影像環形緩衝區的一最大行數。
  5. 如申請專利範圍第1項所述之影像深度解碼器，其中，該型樣匹配引擎維護二位址範圍指標以指定從該參考影像環形緩衝區的一讀取範圍，每當針對該紅外線影像的一行像素的該深度運算完成後，該型樣匹配引擎更新該等位址範圍指標。
  6. 如申請專利範圍第1項所述之影像深度解碼器，其中，該紅外線影像緩衝區只儲存該紅外線影像的部分且經量化的像素，該參考影像環形緩衝區只儲存該參考影像的部分且經量化的像素。
  7. 如申請專利範圍第1項至第6項其中任一項所述之影像深度解碼器，更包括：一輸出介面，耦接該型樣匹配引擎以輸出該深度值；一預處理區塊，耦接該輸入介面並對該紅外線影像進行預處理；一原版紅外線影像緩衝區，耦接該預處理區塊並儲存該紅外線影像的原版影像； 一量化器，耦接該原版紅外線影像緩衝區，對該紅外線影像的原版影像進行量化；一緩衝區，耦接該量化器並儲存經量化紅外線影像；以及一暫存器，耦接一匯流排以取得設定組態。
  8. 如申請專利範圍第7項所述之影像深度解碼器，更包括：一輸入介面，耦接一紅外線攝像裝置，以接收源於該紅外線攝像裝置的該紅外線影像。
  9. 一種計算機裝置，包括：如申請專利範圍第1項至第6項其中任一項所述之影像深度解碼器；一記憶體，儲存該參考影像，並耦接該影像深度解碼器；一處理器，耦接該記憶體與該影像深度解碼器；以及一匯流排，耦接該處理器與該影像深度解碼器；其中該處理器透過該匯流排從該影像深度解碼器取得該紅外線影像的統計資訊或是該紅外線影像的資料；或者，該處理器透過該匯流排傳送設定組態至該影像深度解碼器以作設定。
TW107141827A 2018-10-17 2018-11-23 影像深度解碼器及計算機裝置 TWI692739B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/162,909 2018-10-17
US16/162,909 US10796443B2 (en) 2018-10-17 2018-10-17 Image depth decoder and computing device

Publications (2)

Publication Number Publication Date
TW202016883A TW202016883A (zh) 2020-05-01
TWI692739B true TWI692739B (zh) 2020-05-01

Family

ID=70281002

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107141827A TWI692739B (zh) 2018-10-17 2018-11-23 影像深度解碼器及計算機裝置

Country Status (3)

Country Link
US (1) US10796443B2 (zh)
CN (1) CN111064948B (zh)
TW (1) TWI692739B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005091211A1 (en) * 2004-03-16 2005-09-29 3Vr Security, Inc. Interactive system for recognition analysis of multiple streams of video
CN102595151A (zh) * 2011-01-11 2012-07-18 倚强科技股份有限公司 影像深度计算方法
TW201322743A (zh) * 2011-11-18 2013-06-01 Onlive Inc 用於控制視訊串流之圖形使用者介面，系統及方法
US9031335B2 (en) * 2011-09-28 2015-05-12 Pelican Imaging Corporation Systems and methods for encoding light field image files having depth and confidence maps
WO2017129023A1 (zh) * 2016-01-25 2017-08-03 华为技术有限公司 解码方法、编码方法、解码设备和编码设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US8330831B2 (en) * 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US20150309581A1 (en) * 2009-04-02 2015-10-29 David MINNEN Cross-user hand tracking and shape recognition user interface
CN101848395A (zh) * 2010-06-13 2010-09-29 上海交通大学 H.264/avc输入码流用解码器及其控制方法
US20120050480A1 (en) * 2010-08-27 2012-03-01 Nambi Seshadri Method and system for generating three-dimensional video utilizing a monoscopic camera
WO2012117729A1 (ja) * 2011-03-03 2012-09-07 パナソニック株式会社 追体験映像を提供することができる映像提供装置、映像提供方法、映像提供プログラム
US9692991B2 (en) * 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
KR101966975B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 스테레오 매칭장치
KR20140048783A (ko) * 2012-10-09 2014-04-24 한국전자통신연구원 깊이정보값을 공유하여 움직임 정보를 유도하는 방법 및 장치
US8972061B2 (en) * 2012-11-02 2015-03-03 Irobot Corporation Autonomous coverage robot
US10567804B2 (en) * 2014-01-08 2020-02-18 Qualcomm Incorporated Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
US9818232B2 (en) * 2015-08-26 2017-11-14 Adobe Systems Incorporated Color-based depth smoothing of scanned 3D model to enhance geometry in 3D printing
US10943339B2 (en) * 2016-11-07 2021-03-09 Nec Corporation Image compositing system, image compositing method, and image compositing program recording medium
US10593064B2 (en) * 2017-03-31 2020-03-17 Intel Corporation Dynamic depth camera system calibration using mobile dispay device
US11227405B2 (en) * 2017-06-21 2022-01-18 Apera Ai Inc. Determining positions and orientations of objects
CN107917701A (zh) * 2017-12-28 2018-04-17 人加智能机器人技术（北京）有限公司 基于主动式双目立体视觉的测量方法及rgbd相机***
US10643059B2 (en) * 2018-01-10 2020-05-05 Trax Technology Solutions Pte Ltd. Inspecting store shelf capacity
CN108399596B (zh) * 2018-02-07 2020-12-18 深圳奥比中光科技有限公司 深度图像引擎及深度图像计算方法
US10306152B1 (en) * 2018-02-14 2019-05-28 Himax Technologies Limited Auto-exposure controller, auto-exposure control method and system based on structured light
WO2019209431A1 (en) * 2018-04-23 2019-10-31 Magic Leap, Inc. Avatar facial expression representation in multidimensional space

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005091211A1 (en) * 2004-03-16 2005-09-29 3Vr Security, Inc. Interactive system for recognition analysis of multiple streams of video
US7529411B2 (en) * 2004-03-16 2009-05-05 3Vr Security, Inc. Interactive system for recognition analysis of multiple streams of video
CN102595151A (zh) * 2011-01-11 2012-07-18 倚强科技股份有限公司 影像深度计算方法
US9031335B2 (en) * 2011-09-28 2015-05-12 Pelican Imaging Corporation Systems and methods for encoding light field image files having depth and confidence maps
TW201322743A (zh) * 2011-11-18 2013-06-01 Onlive Inc 用於控制視訊串流之圖形使用者介面，系統及方法
WO2017129023A1 (zh) * 2016-01-25 2017-08-03 华为技术有限公司 解码方法、编码方法、解码设备和编码设备

Also Published As

Publication number Publication date
TW202016883A (zh) 2020-05-01
US10796443B2 (en) 2020-10-06
CN111064948A (zh) 2020-04-24
CN111064948B (zh) 2022-03-29
US20200126245A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
US11010955B2 (en) Point cloud mapping
US10602083B2 (en) Global shutter in pixel frame memory
US11803296B2 (en) Electronic device displaying interface for editing video data and method for controlling same
CN106408502B (zh) 实时视频帧预处理硬件
US20200111220A1 (en) Block-matching optical flow and stereo vision for dynamic vision sensors
WO2019227322A1 (zh) 池化装置和池化方法
CN109743562B (zh) 基于Census算法的匹配代价计算电路结构及其工作方法
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
US20220020181A1 (en) Image sensor module, image processing system, and image compression method
US12020345B2 (en) Image signal processor, method of operating the image signal processor, and application processor including the image signal processor
US20240127413A1 (en) Image processing system for performing image quality tuning and method of performing image quality tuning
TWI692739B (zh) 影像深度解碼器及計算機裝置
US20170270643A1 (en) Method of removing noise from image data
WO2017210868A1 (zh) 数据处理方法、装置及***
US20210390671A1 (en) Image processing system for performing image quality tuning and method of performing image quality tuning
CN104776919B (zh) 基于fpga的红外焦平面阵列条带状非均匀性校正***和方法
KR101418524B1 (ko) 하드웨어 장치 및 적분 이미지 생성 방법
CN109643454B (zh) 集成cmos感应的立体图形整合***及方法
CN109903216B (zh) 基于fpga平台实现定位图像点阵提取***及方法
TWI820541B (zh) 影像扭曲校正的方法
JP7387104B1 (ja) 撮像装置および撮像装置の制御方法
US20220020180A1 (en) Image compression method using saturated pixel, encoder, and electronic device
TWI836187B (zh) 影像處理方法、程式及影像處理系統
US20230353884A1 (en) Image processing system and image processing method
EP4394708A1 (en) Feature map processing method and related device

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees