TWI450024B - 立體深度影像建立系統及其方法 - Google Patents

立體深度影像建立系統及其方法 Download PDF

Info

Publication number
TWI450024B
TWI450024B TW101120159A TW101120159A TWI450024B TW I450024 B TWI450024 B TW I450024B TW 101120159 A TW101120159 A TW 101120159A TW 101120159 A TW101120159 A TW 101120159A TW I450024 B TWI450024 B TW I450024B
Authority
TW
Taiwan
Prior art keywords
image
region
area
predetermined
partial
Prior art date
Application number
TW101120159A
Other languages
English (en)
Other versions
TW201351023A (zh
Inventor
Chia Te Chou
Shou Te Wei
Chih Hsuan Lee
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Priority to TW101120159A priority Critical patent/TWI450024B/zh
Priority to CN201210211239.4A priority patent/CN103475886B/zh
Priority to US13/652,491 priority patent/US9041776B2/en
Publication of TW201351023A publication Critical patent/TW201351023A/zh
Application granted granted Critical
Publication of TWI450024B publication Critical patent/TWI450024B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

立體深度影像建立系統及其方法
本發明是有關於一種影像建立系統,且特別是有關於一種立體深度影像建立系統與方法。
隨著科技以及影像擷取技術的日益發展,諸多廠商積極研發立體影像擷取技術,且構想出許多透過攝影裝置捕捉人體動作而操作電子裝置的方法。其中,透過兩部不同的攝影裝置來模擬人類的雙眼,以針對使用者建立立體深度影像的方式,可使電子裝置透過偵測深度影像中的變化,來判斷使用者欲進行何種操作。其原理在於當人類雙眼以微小相異之角度,觀看同一個物體時,雙眼會看到微小相異的兩張影像,雙眼所看到的些微差異,稱之為雙眼視差(Binocular disparity)或視網膜視差(Retinal disparity)。大腦會把這兩張些微差異的影像融合成具有層次和景深的單一物像,進而令人類產生三維空間的立體感。
然而,在所述兩部攝影裝置分別取得關於使用者的影像之後,若需要對使用者建立立體深度影像,一般而言需將兩張影像完整地分析才能進行。此時,運算的複雜度將會隨著影像尺寸的變大而提高,進而使得影像處理的速度下降。
有鑑於此,本發明提出一種立體深度影像建立系統與方法,只需利用兩張原始影像中的部份局部影像便能建立出適用於辨識使用者之操作動作的立體深度影像,據此降低影像處理的時間。
本發明提供一種立體深度影像建立系統,其包括第一攝影裝置、第二攝影裝置以及影像處理裝置。第一攝影裝置用以拍攝物體以獲得第一影像。第二攝影裝置與第一攝影裝置相距預設距離,用以拍攝所述物體以獲得第二影像。影像處理裝置連接於第一攝影裝置以及第二攝影裝置,用以分別在第一影像及第二影像中取得第一局部影像與第二局部影像,其中第一局部影像與第二局部影像均包括所述物體的第一預定部位與第二預定部位,且第一局部影像的尺寸小於第一影像,第二局部影像的尺寸小於第二影像。其中,影像處理裝置結合第一局部影像以及第二局部影像以建立關於所述物體的立體深度影像。
在本發明之一實施例中,所述影像處理裝置在第一影像中偵測第一部位特徵,以找出第一預定部位在第一影像中的第一預定部位區域,並以第一預定部位區域為中心向外偵測第二部位特徵,以找出第二預定部位在第一影像中的第二預定部位區域,且根據第一預定部位區域及第二預定部位區域定義第一影像中的第一區域以取得第一局部影像。
在本發明之一實施例中,所述影像處理裝置在第二影 像中偵測第一部位特徵,以找出第一預定部位在第二影像中的第一預定部位區域,並以第一預定部位區域為中心向外偵測第二部位特徵,以找出第二預定部位在第二影像中的第二預定部位區域,且根據第一預定部位區域及第二預定部位區域定義第二影像中的第二區域以取得第二局部影像。
在本發明之一實施例中,所述影像處理裝置根據第一區域在第一影像中的相對位置,決定第二影像中的第二區域以取得第二局部影像。
在本發明之一實施例中,所述影像處理裝置依照第一區域在第一影像中的相對位置在第二影像中定義與第二影像具有同樣相對位置的候選區域,並在第二影像中偵測第一部位特徵,以找出第一預定部位在第二影像中的第一預定部位區域。接著,影像處理裝置沿預設方向平移候選區域,直到候選區域涵蓋第二影像中的第一預定部位區域,且候選區域和第二影像中的第一預定部位區域之間的相對位置相符於第一區域和第一影像中的第一預定部位區域之間的相對位置時,以平移後的候選區域作為第二區域。
在本發明之一實施例中,所述影像處理裝置依照第一區域在第一影像中的相對位置在第二影像中定義與第二影像具有同樣相對位置的候選區域,並在候選區域中偵測第一部位特徵,以找出第一預定部位在第二影像中的第一預定部位區域。接著,影像處理裝置沿預設方向平移候選區域,直到候選區域和第二影像中的第一預定部位區域之間 的相對位置相符於第一區域和第一影像中的第一預定部位區域之間的相對位置時,以平移後的候選區域作為第二區域。
在本發明之一實施例中,所述影像處理裝置依照第一區域在第一影像中的相對位置在第二影像中定義與第二影像具有同樣相對位置的候選區域,並沿預設方向將候選區域平移特定距離後,以平移後的候選區域作為第二區域。其中,特定距離與預設距離之間具有映射關係。
本發明提供一種立體深度影像建立方法,適用於立體深度影像建立系統,所述方法包括下列步驟。首先,使用第一攝影裝置拍攝物體,以找出第一影像,同時使用第二攝影裝置拍攝所述物體,以找出第二影像,而第二攝影裝置與第一攝影裝置相距預設距離。接著,分別在第一影像及第二影像中取得第一局部影像與第二局部影像。其中,第一局部影像與第二局部影像均包括所述物體的第一預定部位與第二預定部位,且第一局部影像的尺寸小於第一影像,第二局部影像的尺寸小於第二影像。之後,結合第一局部影像以及第二局部影像以建立關於所述物體的立體深度影像。
在本發明之一實施例中,所述在第一影像中取得第一局部影像的步驟中,包括在第一影像中偵測第一部位特徵,以找出第一預定部位在第一影像中的第一預定部位區域。接著,以第一預定部位區域為中心向外偵測第二部位特徵,以找出第二預定部位在第一影像中的第二預定部位 區域。之後,根據第一預定部位區域及第二預定部位區域定義第一影像中的第一區域以取得第一局部影像。
在本發明之一實施例中,所述在第二影像中取得第二局部影像的步驟中,包括在第二影像中偵測第一部位特徵,以找出第一預定部位在第二影像中的第一預定部位區域。接著,以第一預定部位區域為中心向外偵測第二部位特徵,以找出第二預定部位在第二影像中的第二預定部位區域。之後,根據第一預定部位區域及第二預定部位區域定義第二影像中的第二區域以取得第二局部影像。
在本發明之一實施例中,在第二影像中取得第二局部影像的步驟包括在定義第一區域之後,根據第一區域在第一影像中的相對位置,決定第二影像中的第二區域以取得第二局部影像。
在本發明之一實施例中,在根據第一區域在第一影像中的相對位置,決定第二影像中的第二區域以取得第二局部影像的步驟中,包括依照第一區域在第一影像中的相對位置在第二影像中定義與第二影像具有同樣相對位置的候選區域。之後,在第二影像中偵測第一部位特徵,以找出第一預定部位在第二影像中的第一預定部位區域。接著,沿預設方向平移候選區域,直到候選區域涵蓋第二影像中的第一預定部位區域,且候選區域和第二影像中的第一預定部位區域之間的相對位置相符於第一區域和第一影像中的第一預定部位區域之間的相對位置時,以平移後的候選區域作為第二區域。
在本發明之一實施例中,在根據第一區域在第一影像中的相對位置,決定第二影像中的第二區域以取得第二局部影像的步驟中,包括依照第一區域在第一影像中的相對位置在第二影像中定義與第二影像具有同樣相對位置的一候選區域。之後,在候選區域中偵測第一部位特徵,以找出第一預定部位在第二影像中的一第一預定部位區域。接著,沿一預設方向平移候選區域,直到候選區域和第二影像中的第一預定部位區域之間的相對位置相符於第一區域和第一影像中的第一預定部位區域之間的相對位置時,以平移後的候選區域作為第二區域。
在本發明之一實施例中,在根據第一區域在第一影像中的相對位置,決定第二影像中的第二區域以取得第二局部影像的步驟中,包括依照第一區域在第一影像中的相對位置在第二影像中定義與第二影像具有同樣相對位置的候選區域。接著,沿預設方向將候選區域平移特定距離後,以平移後的的候選區域作為第二區域。其中,特定距離與預設距離之間具有映射關係。
在本發明之一實施例中,所述物體為人體,第一預定部位為人體的手部,第二預定部位為人體的臉部。
基於上述,本發明提供一種立體深度影像建立系統及其方法,透過所述建立立體深度影像的操作,影像處理裝置可依據第一攝影裝置及第二攝影裝置所拍攝到的使用者動作來判斷使用者想要進行何種操作。進一步,本發明係透過影像處理裝置分別對第一影像及第二影像中的第一預 定部位和第二預定部位進行偵測,進而定義第一局部影像與第二局部影像。而由於本發明是透過結合第一局部影像與第二局部影像來建立立體深度影像,而不是對整個第一影像及第二影像進行處理,因此可透過處理較小的局部影像來降低影像處理的複雜度。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1A是依照本發明之一實施例所繪示的立體深度影像建立系統的示意圖。在本實施例中,立體深度影像建立系統100包括第一攝影裝置110、第二攝影裝置120以及影像處理裝置130。第一攝影裝置110用以拍攝物體以獲得第一影像。第二攝影裝置120與第一攝影裝置110相距預設距離DI,用以拍攝所述物體以獲得第二影像。第一攝影裝置110及第二攝影裝置120彼此平行配置,且可以分別包括鏡頭112及122。鏡頭112及122的位置位於同一平面上,分別用於接收來自所述物體的光線。其中,鏡頭112及122可以是具有電荷耦合元件(Charge Coupled Device,CCD)鏡頭或是互補式金氧半導體(Complementary Metal-Oxide Semiconductor,CMOS)鏡頭的照相機或攝影機,但並不限於此。
影像處理裝置130連接於第一攝影裝置110以及第二攝影裝置120,用以分別在第一攝影裝置110所拍攝到的 第一影像中取得第一局部影像,並在第二攝影裝置120所拍攝的第二影像中取得第二局部影像。其中,第一局部影像與第二局部影像均包括被拍攝之物體的第一預定部位及第二預定部位。並且,影像處理裝置130會利用第一局部影像以及第二局部影像來建立物體的立體深度影像。舉例來說,影像處理裝置130可以是影像處理晶片、處理器或電腦系統等硬體元件,或是具備影像處理功能的軟體元件(例如能辨識、擷取或編輯影像的應用程式),此外,影像處理裝置130也可以是硬體及軟體元件的組合。
立體深度影像建立系統100可配置在任何具有動作感測系統的電子裝置之中。詳言之,動作感測系統可藉由立體深度影像建立系統100所產生的立體深度影像分析使用者的手勢或體感,並控制電子裝置據此產生對應的操作結果。由於影像處理裝置130只要利用較小的兩個局部影像便能建立立體深度影像,而後續的使用者動作分析也只需針對較小的範圍來進行處理,因此能大幅降低處理影像的時間。
圖1B是依照本發明之一實施例所繪示之利用立體深度影像建立系統建立立體深度影像的示意圖。在本實施例中,假設被拍攝的物體是人體140,其第一預定部位例如是人體140的手部142,其第二預定部位例如是人體140的臉部144。底下即搭配圖1C之流程來說明立體深度影像建立系統100產生物體(即人體140)之立體深度影像的詳細步驟。
圖1C是根據本發明之一實施例所繪示的立體深度影像建立方法的流程圖。請同時參照圖1B與圖1C,如步驟S101所示,使用第一攝影裝置110拍攝物體(亦即人體140),以獲得第一影像IMG1,並如步驟S102所示,使用第二攝影裝置120拍攝人體140,以獲得第二影像IMG2。其中,第一攝影裝置110與第二攝影裝置120例如是同時對人體140進行拍攝。由於第一攝影裝置110及第二攝影裝置120可視為以同一方位對人體140進行拍攝,因此當預設距離DI不大時(例如6公分),其分別獲得的第一影像IMG1及第二影像IMG2彼此應相當類似。因此,第一攝影裝置110及第二攝影裝置120可同時用來模擬人類的雙眼,而第一影像IMG1及第二影像IMG2則可分別模擬人類雙眼分別看到的影像。此時,預設距離DI可以類比為人類雙眼間的距離,而使得第一影像IMG1及第二影像IMG2之間存在一種類似雙眼視差的平移關係。舉例而言,當第一攝影裝置110配置於第二攝影裝置120的左方,且所述預設距離DI為例如6公分時,第二影像IMG2所呈現的畫面將相似於將第一影像IMG1向左方平移所呈現的畫面。
接著,如步驟S103所示,影像處理裝置130分別在第一影像IMG1及第二影像IMG2中取得第一局部影像IMG1_1與第二局部影像IMG2_1,其中第一局部影像IMG1_1與第二局部影像IMG2_1均包括人體140的手部142與臉部144,且第一局部影像IMG1_1的尺寸小於第一 影像IMG1,第二局部影像IMG2_1的尺寸小於第二影像IMG2。之後,如步驟S104所示,影像處理裝置130可結合第一局部影像IMG1_1與第二局部影像IMG2_1以建立關於人體140的立體深度影像。
在一實施例中,立體深度影像建立系統100例如是整合於智慧型電視(Smart TV)中,而第一攝影裝置110及第二攝影裝置120可以配置於此智慧型電視的螢幕上側,用以拍攝智慧型電視前方的使用者,再由影像處理裝置130建立使用者的立體深度影像。其中,影像處理裝置130可以是內建於所述智慧型電視中的影像處理器。透過如圖1C所述之建立立體深度影像的方法,影像處理裝置130可依據第一攝影裝置110及第二攝影裝置120所拍攝到包括使用者(例如人體140)的影像,建立僅具有使用者之手部142與臉部144的立體深度影像。而內建於智慧型電視的動作感測系統便能根據此立體深度影像追蹤使用者的動作來判斷使用者想要進行何種操作(例如轉台、調整音量及切換聲道等)。值得一提的是,由於本發明實施例是透過結合僅包括使用者之手部142與臉部144的第一局部影像IMG1_1與第二局部影像IMG2_1來建立立體深度影像,而不是結合還包括其他背景的第一影像IMG1及第二影像IMG2來建立立體深度影像,因此影像處理的複雜度可隨著所處理的影像區域變小而降低。並且,之後在偵測及追蹤使用者的動作時,也只需偵測所述立體深度影像範圍內的變化,而不需對其他影像範圍進行偵測,因此在偵 測上的複雜度將能有效地降低。
以下將以三個實施例說明影像處理裝置130取得第一局部影像IMG1_1與第二局部影像IMG2_1的詳細實施方式。
[第一實施例]
圖2是根據本發明之一實施例所繪示的取得第一局部影像的示意圖。在本實施例中,影像處理裝置130可以包括手部圖形資料庫以及臉部圖形資料庫,使得影像處理裝置130在接收到一張影像時,可以藉由所述手部圖形資料庫及臉部圖形資料庫來辨識出現在此影像中的手部及臉部位置。
詳言之,當影像處理裝置130接收到第一影像IMG1時,可透過在第一影像IMG1中偵測第一部位特徵(亦即手部的特徵),以找出手部142在第一影像IMG1中的區域(以下稱之為第一預定部位區域20)。在取得第一預定部位區域20之後,影像處理裝置130可將第一預定部位區域20定為中心,向外偵測附近是否出現第二部位特徵(亦即臉部的特徵),進而找出臉部144在第一影像IMG1中的區域(以下稱之為第二預定部位區域22)。接著,影像處理裝置130即可依據第一預定部位區域20以及第二預定部位區域22,在第一影像IMG1中定義可包括第一預定部位區域20以及第二預定部位區域22的第一區域A1,並對應地取得第一局部影像IMG1_1。舉例來說,第一區域A1可以是包括第一預定部位區域20以及第二預定部位區域 22的最小矩形,然而本發明並不侷限於此。
值得注意的是,雖然在第一影像IMG1中具有兩個手部特徵,但影像處理裝置130僅需偵測出其中一個手部特徵即可進行上述取得第一局部影像IMG1_1的操作。然而在其他實施例中,影像處理裝置130也可在偵測到兩個手部特徵的情況下,以雙手區域作為取得第一局部影像的基準。
圖3是根據本發明之一實施例所繪示的取得第二局部影像的示意圖。在本實施例中,當影像處理裝置130接收到第二影像IMG2時,同樣可透過類似圖2中的實施例所繪示的方式來取得其中的第二局部影像IMG2_1。換言之,影像處理裝置130同樣可在第二影像IMG2中先取得手部142對應的第一預定部位區域30,再據以獲得臉部144對應的第二預定部位區域32。接著,再根據第一預定部位區域30以及第二預定部位區域32定義第二區域A2,以對應地取得第二局部影像IMG2_1。
簡而言之,在本實施例中,影像處理單元130會分別對第一影像IMG1及第二影像IMG2進行第一預定部位(即手部)及第二預定部位(即臉部)的偵測,進而取得第一局部影像IMG1_1以及第二局部影像IMG2_1。
[第二實施例]
在本實施例中,影像處理裝置130會以類同第一實施例的方式自第一影像IMG1中取得第一局部影像IMG1_1。之後,影像處理裝置130會根據第一區域A1在 第一影像IMG1中的相對位置,在第二影像IMG2中決定出第二區域以獲得第二局部影像。
以下將以圖4說明影像處理裝置130在第二影像IMG2中取得第二局部影像IMG2_1的詳細做法。請同時參照圖2及圖4,在本實施例中,假若影像處理裝置130已在圖2所示之第一影像IMG1中確定第一區域A1的位置,影像處理裝置130接著依照第一區域A1在第一影像IMG1中的相對位置而在第二影像IMG2中定義候選區域410。具體而言,影像處理裝置130會在第二影像IMG2中定義一個大小與第一區域A1相同的候選區域410,且候選區域410與第二影像IMG2之四個邊緣的距離會符合第一區域A1與第一影像IMG1之四個邊緣的距離。
接著,影像處理裝置130即在第二影像IMG2中偵測第一部位特徵(亦即手部的特徵),並取得第一預定部位在第二影像IMG2中的區域(以下稱之為第一預定部位區域40)。之後,影像處理裝置130僅需將候選區域410沿著預設方向420平移,使候選區域410涵蓋第一預定部位區域40,即可用平移後的候選區域作為第二區域A2,進而對應取得第二局部影像IMG2_1。
詳言之,由於第一攝影裝置110與第二攝影裝置120是擺放於同一平面,故第一影像IMG1與第二影像IMG2之間僅存在水平方向的視差。並且第一攝影裝置110是配置在第二攝影裝置120的左方,基此,影像處理裝置130只需延著水平軸朝左方平移候選區域410,直到候選區域 410可涵蓋第一預定部位區域40,且第一預定部位區域40與候選區域410的相對位置符合第一預定部位區域40與第一區域A1的相對位置時,便停止移動候選區域410,再將此刻之候選區域410定義為第二區域A2。也就是說,經過上述方式定義之第二區域A2和第二影像IMG2中的第一預定部位區域40之間的相對位置,會與第一區域A1和第一影像IMG1中的第一預定部位區域20之間的相對位置相符。
而如同前面所提及的,由於預設距離DI不大,故第一攝影裝置110與第二攝影裝置120分別獲得的第一影像IMG1及第二影像IMG2彼此相當類似,所以候選區域410包括到第一預定部位的可能性相當高。因此,為了更進一步加快影像處理的速度,影像處理裝置130可僅在候選區域410中偵測第一部位特徵(亦即手部的特徵),而不須再對整張第二影像IMG2進行偵測,即可取得第一預定部位在第二影像IMG2中的區域。之後,影像處理裝置130只需延著水平軸朝左方平移候選區域410,直到第一預定部位區域40與候選區域410的相對位置符合第一預定部位區域20與第一區域A1的相對位置時,即可對應地取得第二區域A2以及第二局部影像IMG2_1。
值得一提的是,上述預設方向可依據第一攝影裝置110以及第二攝影裝置120之間的相對位置來對應地調整。舉例而言,假若將圖1中的第一攝影裝置110配置於第二攝影裝置120的右方時,由於其拍攝影像之間的相對 位置關係有所變化,因此所述預設方向則須對應地調整為沿水平軸向右。
[第三實施例]
在本實施例中,影像處理裝置130會以類同第一實施例的方式自第一影像IMG1中取得第一局部影像IMG1_1。而影像處理裝置130在第二影像IMG2中取得第二局部影像IMG2_1的方式則如圖5所示。
請同時參照圖2及圖5,在本實施例中,影像處理裝置130同樣可依據第一區域A1與第一影像IMG1之間的相對位置,在第二影像IMG2中定義候選區域510。由於候選區域510的定義方式類似第二實施例,故在此不再贅述。
接著,影像處理裝置130將候選區域510沿預設方向520平移特定距離DD後,直接以平移後的候選區域作為第二區域A2,以對應取得第二局部影像IMG2_1。其中,特定距離DD可類比為第一影像IMG1與第二影像IMG2之間的視差距離,且特定距離DD與第一攝影裝置110及第二攝影裝置120之間的預設距離DI具有一映射關係。因此在本實施例中,假若已知預設距離DI的長度,便能根據上述映射關係推算出特定距離DD的長度,則影像處理單元130在定義候選區域510之後,只需直接將候選區域510平移特定距離DD,即可對應取得第二局部影像IMG2_1。
簡而言之,第二與第三實施例之間的差異在於當取得 候選區域之後,第二實施例(請參照圖4)是藉由找出第一部位特徵並據以將候選區域平移到適當位置以確定第二區域。而在第三實施例(請參照圖5)中,則是直接根據第一影像IMG1與第二影像IMG2之間的視差距離來平移後選區域以確定第二區域的位置。
綜上所述,本發明提供一種立體深度影像建立系統及其方法,其是對第一影像及第二影像進行第一預定部位和第二預定部位的偵測,進而定義兩個較小的局部影像,再結合兩個局部影像來建立立體深度影像。由於本發明所述之立體深度影像建立系統及方法並不是利用完整的第一影像及第二影像來建立立體深度影像,因此可透過處理較小的局部影像以降低影像處理的複雜度。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧立體深度影像建立系統
110‧‧‧第一攝影裝置
112、122‧‧‧鏡頭
120‧‧‧第二攝影裝置
130‧‧‧影像處理裝置
140‧‧‧人體
142‧‧‧手部
144‧‧‧臉部
20、30、40‧‧‧第一預定部位區域
22、32‧‧‧第二預定部位區域
410、510‧‧‧候選區域
420、520‧‧‧預設方向
A1‧‧‧第一區域
A2‧‧‧第二區域
IMG1‧‧‧第一影像
IMG1_1‧‧‧第一局部影像
IMG2‧‧‧第二影像
IMG2_1‧‧‧第二局部影像
DI‧‧‧預設距離
DD‧‧‧特定距離
S101~S104‧‧‧步驟
圖1A是依照本發明之一實施例所繪示的立體深度影像建立系統的示意圖。
圖1B是依照本發明之一實施例所繪示之利用立體深度影像建立系統建立立體深度影像的示意圖。
圖1C是根據本發明之一實施例所繪示的立體深度影像建立方法的流程圖。
圖2是根據本發明之一實施例所繪示的取得第一局部影像的示意圖。
圖3是根據本發明之一實施例所繪示的取得第二局部影像的示意圖。
圖4是根據本發明之另一實施例所繪示的取得第二局部影像的示意圖。
圖5是根據本發明之又一實施例所繪示的取得第二局部影像的示意圖。
100‧‧‧立體深度影像建立系統
110‧‧‧第一攝影裝置
112、122‧‧‧鏡頭
120‧‧‧第二攝影裝置
130‧‧‧影像處理裝置
DI‧‧‧預設距離

Claims (16)

  1. 一種立體深度影像建立系統,包括:一第一攝影裝置,用以拍攝一物體以獲得一第一影像;一第二攝影裝置,與該第一攝影裝置相距一預設距離,用以拍攝該物體以獲得一第二影像;以及一影像處理裝置,連接於該第一攝影裝置以及該第二攝影裝置,其中,該影像處理裝置執行下述動作,包括:基於該物體的一第一預定部位的一第一部位特徵及該物體的一第二預定部位的一第二部位特徵,分別在該第一影像及該第二影像中取得其各自的一第一預定部位區域及一第二預定部位區域;依據該第一影像及該第二影像中各自的該第一預定部位區域及該第二預定部位區域,分別在該第一影像及該第二影像中取得一第一局部影像與一第二局部影像,其中該第一局部影像與該第二局部影像均包括該物體的該第一預定部位與該第二預定部位,且該第一局部影像的尺寸小於該第一影像,該第二局部影像的尺寸小於該第二影像;以及結合該第一局部影像以及該第二局部影像以建立關於該物體的一立體深度影像。
  2. 如申請專利範圍第1項所述之立體深度影像建立系統,其中該影像處理裝置在該第一影像中偵測該第一部位特徵,以找出該第一預定部位在該第一影像中的該第一 預定部位區域,並以該第一預定部位區域為中心向外偵測該第二部位特徵,以找出該第二預定部位在該第一影像中的該第二預定部位區域,且根據該第一預定部位區域及該第二預定部位區域定義該第一影像中的一第一區域以取得該第一局部影像。
  3. 如申請專利範圍第2項所述之立體深度影像建立系統,其中該影像處理裝置在該第二影像中偵測該第一部位特徵,以找出該第一預定部位在該第二影像中該第一預定部位區域,並以該第一預定部位區域為中心向外偵測該第二部位特徵,以找出該第二預定部位在該第二影像中的該第二預定部位區域,且根據該第一預定部位區域及該第二預定部位區域定義該第二影像中的一第二區域以取得該第二局部影像。
  4. 如申請專利範圍第2項所述之立體深度影像建立系統,其中該影像處理裝置根據該第一區域在該第一影像中的相對位置,決定該第二影像中的一第二區域以取得該第二局部影像。
  5. 如申請專利範圍第4項所述之立體深度影像建立系統,其中該影像處理裝置依照該第一區域在該第一影像中的相對位置在該第二影像中定義與該第二影像具有同樣相對位置的一候選區域,並在該第二影像中偵測該第一部位特徵,以找出該第一預定部位在該第二影像中的該第一預定部位區域,該影像處理裝置沿一預設方向平移該候選區域,直到 該候選區域涵蓋該第二影像中的該第一預定部位區域,且該候選區域和該第二影像中的該第一預定部位區域之間的相對位置相符於該第一區域和該第一影像中的該第一預定部位區域之間的相對位置時,以平移後的該候選區域作為該第二區域。
  6. 如申請專利範圍第4項所述之立體深度影像建立系統,其中該影像處理裝置依照該第一區域在該第一影像中的相對位置在該第二影像中定義與該第二影像具有同樣相對位置的一候選區域,並在該候選區域中偵測該第一部位特徵,以找出該第一預定部位在該第二影像中的該第一預定部位區域,該影像處理裝置沿一預設方向平移該候選區域,直到該候選區域和該第二影像中的該第一預定部位區域之間的相對位置相符於該第一區域和該第一影像中的該第一預定部位區域之間的相對位置時,以平移後的該候選區域作為該第二區域。
  7. 如申請專利範圍第4項所述之立體深度影像建立系統,其中該影像處理裝置依照該第一區域在該第一影像中的相對位置在該第二影像中定義與該第二影像具有同樣相對位置的一候選區域,並沿一預設方向將該候選區域平移一特定距離後,以平移後的該候選區域作為該第二區域,其中,該特定距離與該預設距離之間具有一映射關係。
  8. 如申請專利範圍第1項所述之立體深度影像建立 系統,其中該物體為一人體,該第一預定部位為該人體的手部,該第二預定部位為該人體的臉部。
  9. 一種立體深度影像建立方法,適用於一立體深度影像建立系統,該方法包括:使用一第一攝影裝置拍攝一物體,以獲得一第一影像;使用一第二攝影裝置拍攝該物體,以獲得一第二影像,該第二攝影裝置與該第一攝影裝置相距一預設距離;基於該物體的一第一預定部位的一第一部位特徵及該物體的一第二預定部位的一第二部位特徵,分別在該第一影像及該第二影像中取得其各自的一第一預定部位區域及一第二預定部位區域;依據該第一影像及該第二影像中各自的該第一預定部位區域及該第二預定部位區域,分別在該第一影像及該第二影像中取得一第一局部影像與一第二局部影像,其中該第一局部影像與該第二局部影像均包括該物體的該第一預定部位與該第二預定部位,且該第一局部影像的尺寸小於該第一影像,該第二局部影像的尺寸小於該第二影像;以及結合該第一局部影像以及該第二局部影像以建立關於該物體的一立體深度影像。
  10. 如申請專利範圍第9項所述之方法,其中在該第一影像中取得該第一局部影像的步驟包括:在該第一影像中偵測該第一部位特徵,以找出該第一 預定部位在該第一影像中的該第一預定部位區域;以該第一預定部位區域為中心向外偵測該第二部位特徵,以找出該第二預定部位在該第一影像中的該第二預定部位區域;以及根據該第一影像中的該第一預定部位區域及該第二預定部位區域,定義該第一影像中的一第一區域以取得該第一局部影像。
  11. 如申請專利範圍第10項所述之方法,其中在該第二影像中取得該第二局部影像的步驟包括:在該第二影像中偵測該第一部位特徵,以找出該第一預定部位在該第二影像中的該第一預定部位區域;以該第一預定部位區域為中心向外偵測該第二部位特徵,以找出該第二預定部位在該第二影像中的該第二預定部位區域;以及根據該第二影像中的該第一預定部位區域及該第二預定部位區域,定義該第二影像中的一第二區域以取得該第二局部影像。
  12. 如申請專利範圍第10項所述之方法,其中在該第二影像中取得該第二局部影像的步驟包括:在定義該第一區域之後,根據該第一區域在該第一影像中的相對位置,決定該第二影像中的一第二區域以取得該第二局部影像。
  13. 如申請專利範圍第12項所述之方法,其中根據該第一區域在該第一影像中的相對位置,決定該第二影像中 的該第二區域以取得該第二局部影像的步驟包括:依照該第一區域在該第一影像中的相對位置在該第二影像中定義與該第二影像具有同樣相對位置的一候選區域;在該第二影像中偵測該第一部位特徵,以找出該第一預定部位在該第二影像中的該第一預定部位區域;以及沿一預設方向平移該候選區域,直到該候選區域涵蓋該第二影像中的該第一預定部位區域,且該候選區域和該第二影像中的該第一預定部位區域之間的相對位置相符於該第一區域和該第一影像中的該第一預定部位區域之間的相對位置時,以平移後的該候選區域作為該第二區域。
  14. 如申請專利範圍第12項所述之方法,其中根據該第一區域在該第一影像中的相對位置,決定該第二影像中的該第二區域以取得該第二局部影像的步驟包括:依照該第一區域在該第一影像中的相對位置在該第二影像中定義與該第二影像具有同樣相對位置的一候選區域;在該候選區域中偵測該第一部位特徵,以找出該第一預定部位在該第二影像中的該第一預定部位區域;以及沿一預設方向平移該候選區域,直到該候選區域和該第二影像中的該第一預定部位區域之間的相對位置相符於該第一區域和該第一影像中的該第一預定部位區域之間的相對位置時,以平移後的該候選區域作為該第二區域。
  15. 如申請專利範圍第12項所述之方法,其中在根據 該第一區域在該第一影像中的相對位置,決定該第二影像中的該第二區域以取得該第二局部影像的步驟包括:依照該第一區域在該第一影像中的相對位置在該第二影像中定義與該第二影像具有同樣相對位置的一候選區域;以及沿一預設方向將該候選區域平移一特定距離後,以平移後的該候選區域作為該第二區域,其中該特定距離與該預設距離之間具有一映射關係。
  16. 如申請專利範圍第9項所述之方法,其中該物體為一人體,該第一預定部位為該人體的手部,該第二預定部位為該人體的臉部。
TW101120159A 2012-06-05 2012-06-05 立體深度影像建立系統及其方法 TWI450024B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101120159A TWI450024B (zh) 2012-06-05 2012-06-05 立體深度影像建立系統及其方法
CN201210211239.4A CN103475886B (zh) 2012-06-05 2012-06-21 立体深度影像建立***及其方法
US13/652,491 US9041776B2 (en) 2012-06-05 2012-10-16 3-dimensional depth image generating system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101120159A TWI450024B (zh) 2012-06-05 2012-06-05 立體深度影像建立系統及其方法

Publications (2)

Publication Number Publication Date
TW201351023A TW201351023A (zh) 2013-12-16
TWI450024B true TWI450024B (zh) 2014-08-21

Family

ID=49669754

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101120159A TWI450024B (zh) 2012-06-05 2012-06-05 立體深度影像建立系統及其方法

Country Status (3)

Country Link
US (1) US9041776B2 (zh)
CN (1) CN103475886B (zh)
TW (1) TWI450024B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140357369A1 (en) * 2013-06-04 2014-12-04 Microsoft Corporation Group inputs via image sensor system
KR102106135B1 (ko) * 2013-10-01 2020-05-04 한국전자통신연구원 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
CN105025193B (zh) * 2014-04-29 2020-02-07 钰立微电子股份有限公司 手提式立体扫描仪和产生对应对象的立体扫描结果的方法
KR102287751B1 (ko) * 2014-09-25 2021-08-09 삼성전자 주식회사 전자 장치의 홍채 인식 방법 및 장치
TWI553591B (zh) * 2015-12-28 2016-10-11 緯創資通股份有限公司 深度影像處理方法及深度影像處理系統
KR101881469B1 (ko) * 2016-08-11 2018-07-25 주식회사 매크론 스티커 영상을 위한 오브젝트 추출 방법 및 그 장치
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
JP7377078B2 (ja) * 2019-11-21 2023-11-09 キヤノン株式会社 画像処理装置および画像処理方法、ならびに撮像装置
EP4152745A1 (en) * 2020-05-15 2023-03-22 Aulton New Energy Automotive Technology Group Visual positioning system, battery replacing device, and battery replacement control method
JP2023078640A (ja) * 2021-11-26 2023-06-07 トヨタ自動車株式会社 車両撮影システムおよび車両撮影方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201216203A (en) * 2010-10-14 2012-04-16 Altek Corp Method and apparatus for generating image with shallow depth of field

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3802630B2 (ja) * 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US7660444B2 (en) 2000-02-24 2010-02-09 Nokia Corporation Method and apparatus for user recognition using CCD cameras
CN1304931C (zh) * 2005-01-27 2007-03-14 北京理工大学 一种头戴式立体视觉手势识别装置
JP4692770B2 (ja) * 2006-12-27 2011-06-01 富士フイルム株式会社 複眼デジタルカメラ
CN101516040B (zh) * 2008-02-20 2011-07-06 华为终端有限公司 视频匹配方法、装置及***
JP2009239391A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 複眼撮影装置およびその制御方法並びにプログラム
JP4871315B2 (ja) * 2008-03-26 2012-02-08 富士フイルム株式会社 複眼撮影装置およびその制御方法並びにプログラム
JP5409107B2 (ja) * 2009-05-13 2014-02-05 任天堂株式会社 表示制御プログラム、情報処理装置、表示制御方法、および情報処理システム
JP5360406B2 (ja) * 2009-10-29 2013-12-04 株式会社ニコン 画像表示装置
CN101807114B (zh) * 2010-04-02 2011-12-07 浙江大学 一种基于三维手势的自然交互方法
US20120019528A1 (en) * 2010-07-26 2012-01-26 Olympus Imaging Corp. Display apparatus, display method, and computer-readable recording medium
JP5704854B2 (ja) * 2010-07-26 2015-04-22 オリンパスイメージング株式会社 表示装置
CN102098526B (zh) * 2011-01-28 2012-08-22 清华大学 一种深度图求取方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201216203A (en) * 2010-10-14 2012-04-16 Altek Corp Method and apparatus for generating image with shallow depth of field

Also Published As

Publication number Publication date
TW201351023A (zh) 2013-12-16
US9041776B2 (en) 2015-05-26
CN103475886A (zh) 2013-12-25
CN103475886B (zh) 2017-12-08
US20130321580A1 (en) 2013-12-05

Similar Documents

Publication Publication Date Title
TWI450024B (zh) 立體深度影像建立系統及其方法
US10469821B2 (en) Stereo image generating method and electronic apparatus utilizing the method
EP3067746B1 (en) Photographing method for dual-camera device and dual-camera device
WO2015180659A1 (zh) 图像处理方法和图像处理装置
US10788317B2 (en) Apparatuses and devices for camera depth mapping
WO2013146269A1 (ja) 画像撮像装置、画像処理方法およびプログラム
US9813693B1 (en) Accounting for perspective effects in images
US20160225153A1 (en) Apparatus and method for tracking eye-gaze
JP2024056955A (ja) 光学式捕捉によるパーソナライズされたhrtf
EP3547212A1 (en) An arrangement for generating head related transfer function filters
CN105744138B (zh) 快速对焦方法和电子设备
JP6786225B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2016025328A1 (en) Systems and methods for depth enhanced and content aware video stabilization
US20130258059A1 (en) Three-dimensional (3d) image photographing apparatus and method
US20150029311A1 (en) Image processing method and image processing apparatus
JP2016504828A (ja) 単一のカメラを用いて3d画像を取り込む方法およびシステム
KR20190027079A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
US8908012B2 (en) Electronic device and method for creating three-dimensional image
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
TWI549478B (zh) 產生三維影像的方法及其電子裝置
KR101578891B1 (ko) 패턴 인식을 이용한 영상 정보의 차원 일치 장치 및 방법
TWI502271B (zh) 控制方法及電子裝置
US20160065941A1 (en) Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program
WO2020059575A1 (ja) 3次元画像生成装置、3次元画像生成方法、及びプログラム