TWI692967B - 影像裝置 - Google Patents

影像裝置 Download PDF

Info

Publication number
TWI692967B
TWI692967B TW107111345A TW107111345A TWI692967B TW I692967 B TWI692967 B TW I692967B TW 107111345 A TW107111345 A TW 107111345A TW 107111345 A TW107111345 A TW 107111345A TW I692967 B TWI692967 B TW I692967B
Authority
TW
Taiwan
Prior art keywords
image
view
module
capturing module
depth information
Prior art date
Application number
TW107111345A
Other languages
English (en)
Other versions
TW201837785A (zh
Inventor
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW201837785A publication Critical patent/TW201837785A/zh
Application granted granted Critical
Publication of TWI692967B publication Critical patent/TWI692967B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

影像裝置包含第一影像擷取模組、第二影像擷取模組及影像處理器。第一影像擷取模組及第二影像擷取模組具有相異的視野角度。影像處理器耦接於第一影像擷取模組以及第二影像擷取模組。影像處理器根據第一影像擷取模組、第二影像擷取模組以及目標視野設定虛擬光學中心，並產生對應於虛擬光學中心之顯示影像。

Description

影像裝置
本發明係有關於一種影像裝置，特別是指一種能夠產生深度資訊以進行影像處理的影像裝置。
隨著使用者對於影像品質的要求越來越高，有部分的電子裝置也開始改以雙鏡頭的方式來擷取影像。舉例來說，電子裝置可以分別利用較為廣角的鏡頭來取得較大範圍的影像，並利用較為望遠的鏡頭來取得解析度較高的細部影像，以滿足使用者在不同使用情境下的不同需求。舉例來說，使用者可能會先使用廣角鏡頭來尋找欲拍攝的物體，並逐步調整焦距以符合所欲拍攝的畫面。倘若使用者調整的焦距超過廣角鏡頭所能支援，則可能會改以望遠鏡頭來提供使用者所需的影像畫面。
然而，廣角鏡頭和望遠鏡頭在位置上並非重合，因此在變焦畫面的轉換過程中，常會出現明顯的視角變換，導致影像不連續，使得拍攝過程不易控制，造成使用者的不便。而當兩個鏡頭的位置相離越遠或被攝物越近時，影像不連續的問題也將越為明顯，造成電子裝置在設計上的限制和困難。
本發明之一實施例提供一種影像裝置，影像裝置包含第一影像擷取 模組、第二影像擷取模組及影像處理器。
第一影像擷取模組具有一第一視野角度(field of view，FOV)。第二影像擷取模組具有第二視野角度，且第二視野角度相異於第一視野角度。影像處理器耦接於第一影像擷取模組以及第二影像擷取模組。影像處理器根據第一影像擷取模組、第二影像擷取模組以及目標視野設定虛擬光學中心，並產生對應於虛擬光學中心之顯示影像。
本發明之另一實施例提供一種影像裝置，影像裝置包含影像擷取模組、結構光源、影像處理器及深度處理器。
結構光源間歇性地投射結構光。深度處理器耦接於第一影像擷取模組以及結構光源。深度處理器至少根據影像擷取模組於結構光源投射結構光時所擷取包含結構光之深度影像產生深度資訊。影像處理器耦接於影像擷取模組、結構光源以及深度處理器。影像處理器根據深度資訊以及第一影像擷取模組在結構光源停止投射結構光時所擷取之至少一影像產生影像裝置所呈現之顯示影像。
100、200、300:影像裝置
110、210、310:第一影像擷取模組
120、320:第二影像擷取模組
130、330:深度處理器
140、340:影像處理器
FOV1:第一視野角度
FOV2:第二視野角度
250:第三影像擷取模組
FOV3:第三視野角度
360:結構光源
T1:第一時段
T2:第二時段
T3:第三時段
T4:第四時段
第1圖為本發明一實施例之影像裝置的示意圖。
第2圖為第1圖之影像裝置的虛擬光學中心與目標焦距之變焦比例的變化示意圖。
第3及4圖為第1圖之第一影像擷取模組及第二影像擷取模組所支援的視野範圍示意圖。
第5圖為本發明另一實施例之影像裝置的示意圖。
第6圖為本發明另一實施例之影像裝置的示意圖。
第7圖為第6圖之結構光源的發光時段示意圖。
第1圖為本發明一實施例之影像裝置100的示意圖。影像裝置100包含第一影像擷取模組110、第二影像擷取模組120、深度處理器130及影像處理器140。影像處理器140耦接於第一影像擷取模組110以及第二影像擷取模組120。
第一影像擷取模組110具有第一視野角度(field of view，FOV)FOV1，而第二影像擷取模組120具有第二視野角度FOV2，第二視野角度FOV2相異於第一視野角度FOV1。
深度處理器130可根據第一影像擷取模組110及第二影像擷取模組120所取得之複數個影像產生深度資訊。也就是說，由於第一影像擷取模組110及第二影像擷取模組120會在不同的位置拍攝同樣的物體，因此可以取得類似於雙眼視覺的左右眼影像，而根據第一影像擷取模組110及第二影像擷取模組120的內外部參數，例如兩者間的距離，亦即基線(baseline)的長度，以及各自的拍攝角度及焦距(focal length)等參數，就能夠利用三角定位法進一步得知被拍攝物體與第一影像擷取模組110及第二影像擷取模組120的距離，進而取得深度資訊。
此外，由於第一影像擷取模組110及第二影像擷取模組120的視野角度及焦距都可能相異，因此為了擷取適當的影像供深度處理器130進行處理，影像裝置100可先執行校正程序。例如影像裝置100可將第一影像擷取模組110及第二影像擷取模組120的焦距正規化，以確保兩者的影像像素代表的單位相同。且為取得有效的深度資訊，在還原回畫素單位影像時，還可以選擇視野角度較小之影像擷取模組所擷取的影像寬度為基準，並使視野角度較大的影像擷取模組也擷取相似寬度的影像。也就是說，具有較大視野角度的影像擷取模組所擷取的影像可能會有部分畫面被裁切，如此一來，第一影像擷取模組110及第二影像 擷取模組120所擷取的影像內容才會較為相關聯，且所包含的物體也會具有近似的大小，利於比對物體特徵以計算物體深度。
然而，由於第一影像擷取模組110及第二影像擷取模組120彼此之間實際上會相隔一段距離，因此兩者所擷取的影像必定有些許差異。為了能夠較為完整地比對第一影像擷取模組110及第二影像擷取模組120所擷取之兩張影像中的物體，在裁切具有較大視野角度之影像擷取模組所擷取的影像時，可以在靠近具有較小視野角度之影像擷取模組的一側保留較多的影像內容。亦即較大視野角度之影像擷取模組所擷取的影像可保留較大的寬度，以涵蓋較小視野角度之影像擷取模組所擷取之影像中所包含的物體，使得深度資訊能夠更加完整。
根據深度處理器130所取得的深度資訊，影像處理器140就能夠根據目標視野以及第一影像擷取模組110及第二影像擷取模組120來設定影像裝置100的虛擬光學中心。舉例來說，使用者會根據所欲拍攝物體所在的方向及遠近調整拍攝的視角方向和焦距，進而決定拍攝物體所需的目標視野。也就是說，使用者拍攝物體所需的目標視野，亦即影像中所應涵蓋的範圍，實際上至少會由目標視角方向和目標焦距共同決定。由於使用者所要求的目標視野可能會落在第一影像擷取模組110的第一視野角度FOV1或第二影像擷取模組120的第二視野角度FOV2或同時落於兩者，為了能夠提供合適觀點(view point)的影像，影像處理器140可以根據目標視野與第一影像擷取模組110之光學中心及第二影像擷取模組120之光學中心的位置，以及其所能夠支援的第一視野角度FOV1及第二視野角度FOV2來設定適合的虛擬光學中心。在本發明的部分實施例中，虛擬光學中心會設定在第一影像擷取模組110的光學中心及第二影像擷取模組120的光學中心之間，例如可設定在第一影像擷取模組110及第二影像擷取模組120之光學中心的連線上。此外，影像處理器140亦可將虛擬光學中心直接設定於第一影像擷取模組110(或第二影像擷取模組120)的光學中心，此時影像裝置100即可 單純利用第一影像擷取模組1100(或第二影像擷取模組120)所擷取的影像來產生顯示影像。
如此一來，倘若虛擬光學中心由第一影像擷取模組110變換至第二影像擷取模組120或由第二影像擷取模組120變換至第一影像擷取模組110時，影像處理器140就可以在變換的過程中產生出對應於虛擬光學中心的影像，避免在切換影像擷取模組的過程中產生明顯的觀點變化。
在本發明的部分實施例中，目標視野的改變可包含目標視角方向的改變及目標焦距的改變(亦即所欲拍攝物體的尺寸改變)。舉例來說，當使用者要求的目標焦距改變時，影像裝置100便可執行變焦功能。此時若目標焦距超過第一影像擷取模組110所能支援的焦距時，且第二影像擷取模組120相對能提供較遠的焦距，影像裝置100就可能會自第一影像擷取模組110切換至第二影像擷取模組120以提供顯示影像，在此過程中，虛擬光學中心將逐漸自第一影像擷取模組110轉換至第二影像擷取模組120。
第2圖為本發明一實施例之虛擬光學中心與目標焦距之變焦比例的變化示意圖。在第2圖的實施例中，第一視野角度FOV1可大於第二視野角度FOV2，亦即第一影像擷取模組110可例如為以相對廣角鏡頭擷取影像的影像擷取模組，而第二影像擷取模組120可例如為以相對望遠鏡頭擷取影像的影像擷取模組。
在此情況下，當使用者欲調整焦距以提高放大倍率時，影像裝置100便可使影像處理器140執行變焦功能。在執行變焦功能時，影像處理器140可先利用第一影像擷取模組110來提供影像，並在使用者持續調整焦距而超出第一影像擷取模組110所能支援的範圍時，改以第二影像擷取模組120來提供影像。
在此切換過程中，影像裝置100會將虛擬光學中心從原先所在的第一影像擷取模組110轉換至第二影像擷取模組120。為使轉換過程較為順暢，影像 處理器140可在轉換的過程中，依據使用者目前所需的目標焦距大小，設定位於第一影像擷取模組110及第二影像擷取模組120之間的虛擬光學中心。例如在第2圖中，當目標焦距的變焦比例變為X倍時，影像處理器140可將虛擬光學中心設定在A點，而當目標焦距的變焦比例變為Y倍時，影像處理器140則可將虛擬光學中心設定在B點。
在本實施例中，影像處理器140可根據目標焦距以線性內插的方式來決定虛擬光學中心的位置。然而本發明並不以此為限，在本發明的其他實施例中，影像處理器140也可以經由非線性關係來決定虛擬光學中心的位置。換言之，影像處理器140可以根據系統的需求來決定目標焦距與虛擬光學中心的關係。舉例來說，目標焦距與虛擬光學中心的關係亦可例如第2圖中的一點鏈線所示。在此情況下，虛擬光學中心初期移動的速度會較慢，例如當焦距為Y倍時，虛擬光學中心仍在A點，然而後期移動的速度則會加快。如此一來，若使用者調整焦距的幅度較小，就更不會感受到虛擬光學中心的變化。
在影像處理器140將虛擬光學中心設定於A點或B點後，影像處理器140就可進一步利用深度處理器130所取得的深度資訊來處理第一影像擷取模組110所擷取之第一影像及第二影像擷取模組120所擷取之第二影像中的至少一者以產生對應之顯示影像。也就是說，影像處理器140所合成出的顯示影像將會模擬出在其光學中心在A點或B點之影像擷取模組所擷取到的影像。在本發明的部分實施例中，影像處理器140可利用二維影像及其對應的深度資料為基礎，並根據虛擬視角合成(depth image based rendering，DIBR)演算法來合成第一影像及第二影像以產生對應於虛擬光學中心的顯示影像。上述的深度資料可以經由深度處理器130進行運算而得到，也可以在不透過深度處理器130的情況下，從二維影像估測而得。此外，在本發明的另一些實施例中，影像處理器140則是以三維資訊的影像處理為基礎，在此情況下，影像處理器140可將二維影像及其對應的 深度資訊轉換為三維立體格式，例如三維點雲(point cloud)，接著根據三維點雲以虛擬光學中心所對應的觀點產生對應的顯示影像。
在第2圖的實施例中，影像裝置100是在第一影像擷取模組110的焦距達到2倍之後開始將光學中心逐漸偏移到第二影像擷取模組120，然而在本發明的其他實施例中，影像裝置100也可根據實際硬體的規格，選擇在達到其他的焦距後開始轉移光學中心。
透過設定虛擬光學中心以提供觀點逐漸變換的顯示影像，影像裝置100就能夠在變焦的過程中，提供平順的影像變化，而不至於因為影像所對應的光學中心突然切換，導致影像變化過程中產生明顯的視差。此外，由於影像裝置100能夠利用深度資訊來產生對應虛擬光學中心的顯示影像，因此也無須嚴格限定第一影像擷取模組110及第二影像擷取模組120之間的距離，使得影像裝置100在設計及製造上具有更大的彈性。
在本發明的部分實施例中，影像裝置100可利用標準的影像壓縮演算法將第一影像擷取模組所擷取的第一影像壓縮成壓縮影像檔，例如以聯合圖像專家小組(Joint Photographic Experts Group，JPEG)制定的影像壓縮演算法來進行壓縮，並可將其他所需的資料，例如深度資訊及影像擷取模組110及120的內外部參數儲存於壓縮影像檔所對應之使用者定義標頭中，以供其他支援此功能的影像裝置能夠解析出其中的深度資訊及影像擷取模組的內外部參數，並據以根據需求產生對應觀點的顯示影像。然若其他未支援此功能的影像裝置接收到此一壓縮檔案，則仍然能夠將第一影像解壓縮還原，而不至於無法辨識。
在前述的實施例中，當目標焦距改變時，影像裝置100可以在由第一影像擷取模組110轉換至第二影像擷取模組120來提供影像的過程中，執行變焦功能並設定虛擬光學中心。然而本發明並不以此為限，在本發明的其他實施例中，當目標視角方向改變，而須由其中一個影像擷取模組轉換至另一個影像擷 取模組來提供影像時，影像裝置100也可以設定虛擬光學中心，因此使用者在影像轉換的過程中不會感受到突兀的觀點改變。此外，根據目標視野的需求以及第一影像擷取模組110及第二影像擷取模組120實際上所能支援的視角方向及焦距，影像裝置100也可能以其他方式來呈現對應的影像。
第3及4圖為第一影像擷取模組110及第二影像擷取模組120可能支援的視野範圍示意圖。在第3圖中，斜紋區域R1為第一影像擷取模組110所能夠支援的視角範圍及焦距，點紋區域R2則為第二影像擷取模組120所能夠支援的視角範圍及焦距。在此實施例中，由於第一影像擷取模組110是使用相對廣角的鏡頭，因此在第3圖中，斜紋區域R1則具有較寬的分布範圍。此外，在第3及第4圖中，當物體距離影像擷取模組越遠時，影像擷取模組就須以越大的焦距來擷取清晰的影像。
由於不論是第一影像擷取模組110及第二影像擷取模組120都有其物理上的限制，因此影像裝置100無法以任意的焦距提供任意視角方向的影像。在本發明的部分實施例中，當使用者所要求之目標視角方向超出第一影像擷取模組110所能支援的第一視野角度FOV1時，舉例來說，使用者欲透過影像裝置100來呈現第3圖中以P點為中心的影像時，則影像裝置100將持續呈現原先所呈現之影像，亦即第一影像擷取模組110將持續呈現其所能夠擷取之最符合使用者需求的影像，例如在第3圖中，第一影像擷取模組110實際上會在其可支援的斜紋區域R1內，以虛擬的視野角度FOVP’並以P’點為中心來擷取對應的影像，而不另外進行處理。也就是說，第一影像擷取模組110實際上將會呈現投影區域RP’內的影像，而P’點則位於投影區域RP’的投影面中心。
此外，當使用者所要求之目標焦距超出第一影像擷取模組110所能操作之最大倍率，且使用者所要求之目標視角方向是位於第二影像擷取模組120之第二視野角度FOV2之外時，影像裝置100可持續呈現原先所呈現之影像，亦即 第一影像擷取模組110將持續呈現其所能夠擷取之最符合使用者需求的影像，或是先呈現模糊的放大影像(例如以數位變焦的方式產生)，接著再回復到呈現在最大倍率所擷取之影像。
舉例來說，當使用者欲透過影像裝置100來呈現第3圖中Q點所代表之視角方向及焦距的影像時，影像裝置100可以持續呈現其所能夠擷取之最符合使用者需求的影像，例如在第3圖中，第一影像擷取模組110可根據虛擬的視野角度FOVQ’呈現投影區域RQ’內以Q’點為中心的影像，或者是先以虛擬的視野角度FOVQ呈現投影區域RQ內以Q點為中心，較為模糊的放大影像後，再逐漸調整至投影區域RQ’內以Q’點為中心的影像，以提示使用者影像裝置100的限制所在。在第3圖中，投影區域RQ’及投影區域RQ為第一影像擷取模組110實際上在擷取影像時的投影範圍，由於最終呈現的影像大小應為一致，因此在第3圖中，投影區域RQ’及投影區域RQ的底邊長度相等，亦即兩者具有相同的投影面寬，而視野角度FOVQ則會略小於視野角度FOVQ’。
再者，當使用者所要求之目標焦距超出第一影像擷取模組110所能操作之最大倍率，且使用者所要求之目標視角方向是位於第二影像擷取模組120之第二視野角度FQV2以內時，影像裝置100便可根據前述第2圖的變焦功能，逐漸地由第一影像擷取模組110提供顯示影像轉換至由第二影像擷取模組120來提供顯示影像，並在轉換過程中逐漸轉移光學中心，以使轉換過程更加平順。
然而，若使用者所要求之目標視角方向超出第二影像擷取模組120所能操作之第二視野角度FOV2，且其所要求之目標焦距也超出第一影像擷取模組110所能操作之焦距時，例如使用者欲透過影像裝置100來呈現第4圖中以R0點為中心的影像時，影像裝置100則可逐漸改以第一影像擷取模組110利用短焦距來提供目標視野內的顯示影像，例如第4圖中以R1點為中心之投影區域RR1內的影像。在本發明的部分實施例中，影像裝置100可先顯示第4圖中以R2點為中心之 投影區域RR2內的影像，並縮小第二影像擷取模組120的焦距，再改由第一影像擷取模組110提供影像並逐漸調整觀點(實線路徑)並提供所對應的影像。或者，可在調整觀點的過程中，設定位於第一影像擷取模組110及第二影像擷取模組120之間的虛擬光學中心，並將第一影像擷取模組110及第二影像擷取模組120所擷取的影像加以合成，例如合成出虛擬光學中心在影像擷取模組110及120之間，並以R3點為中心之投影區域RR3內的影像，來逐漸接近最終第4圖中R1點所代表之視角方向及焦距的影像(虛線路徑)。
換言之，當使用者所要求的目標視野改變時，亦即其所要求的目標視角方向或是目標焦距改變時，影像裝置100便可根據需求來設定虛擬光學中心，因此在變換影像擷取模組的過程中，就能夠避免使用者感受到突兀的觀點變化。
在本發明的部分實施例中，深度處理器130可以是具有上述對應功能的一現場可程式邏輯閘陣列(Field Programmable Gate Array，FPGA)、一特殊應用積體電路(Application-specific Integrated Circuit，ASIC)或是一軟體模組。另外，影像處理器140可以是具有上述對應功能的一現場可程式邏輯閘陣列、一特殊應用積體電路或一軟體模組。另外，在本發明的部分實施例中，深度處理器130和影像處理器140也可整合成為一處理器，而該處理器可以是一具有上述深度處理器130的功能和上述影像處理器140的功能的一現場可程式邏輯閘陣列、一特殊應用積體電路或一軟體模組。
第5圖為本發明一實施例之影像裝置200的示意圖。影像裝置100與200具有相似的結構並可根據相似的原理操作，然而影像裝置200的第一影像擷取模組210可具有魚眼鏡頭，且影像裝置200還可包含第三影像擷取模組250。
第三影像擷取模組250可具有與第一視野角度FOV1互補之第三視野角度FOV3，也就是說，第一影像擷取模組210及第三影像擷取模組250可以分別 設置於影像裝置200的相對兩側，且第三影像擷取模組250亦可具有魚眼鏡頭，以共同提供360°全景影像。雖然魚眼鏡頭的投影方式與一般廣角鏡頭的投影方式有所差異，然而兩者之間可以透過數學轉換，例如扭曲(warping)公式，來呈現所需的影像。舉例來說，當利用魚眼鏡頭時，倘若所需的視野角度較大，則在投影至平面時，其邊緣的影像解析度會較差，且亦無法投影至180度，此時就可以利用魚眼的投影公式來呈現影像。在本發明的部分實施例中，影像裝置200還可根據所需的視野角度在平面投影和魚眼投影兩者間轉換，或根據需求以適當的權重結合兩種投影公式所計算出於影像中成像的半徑，使得轉換的過程能夠更加平滑順暢。此外，第三影像擷取模組250並不限定具有魚眼鏡頭，在本發明的其他實施例中，第三影像擷取模組250可具有其他種類的鏡頭，且影像裝置200也可包含兩個或兩個以上的第三影像擷取模組250分別以不同視角方向擷取影像，並與第一影像擷取模組210共同提供360°全景影像。
第6圖為本發明一實施例之影像裝置300的示意圖。影像裝置300包含第一影像擷取模組310、深度處理器330、影像處理器340及結構光源360。深度處理器330耦接於第一影像擷取模組310以及結構光源360。影像處理器340耦接於第一影像擷取模組310、結構光源360以及深度處理器330。
結構光源360可以投射出具特定特徵的結構光，結構光照射到物體之後，依據物體的位置將有不同的反射圖案，因此深度處理器330可以比較第一影像擷取模組310所擷取之影像中結構光的特徵變化來產生深度資訊。一般來說，為了減少對外在環境及影像的干擾，結構光可為紅外光，且可選擇太陽光中較弱的紅外光，亦即波長為940奈米的紅外光來實作，以減少太陽光對於結構光的干擾。
在本發明的部分實施例中，第一影像擷取模組310可以利用原先既有的紅光感應元件、藍光感應元件及綠光感應元件來感應結構光，然而如此一來， 在擷取影像時，就必須將結構光部分所造成的影響扣除以還原原本的紅、藍及綠光成分。惟本發明並不以此為限，在本發明的其他實施例中，第一影像擷取模組310還可包含紅外光的感應元件以感應結構光。
然而即使利用紅外光的感應元件來感應結構光，結構光的出現仍然可能會導致紅、藍、綠色光的感應元件產生過飽和，導致影像的色彩失真。為避免此問題，影像裝置300可以使結構光源360間歇性地發出結構光。第7圖為本發明一實施例之結構光源360的發光時段示意圖。
在第7圖中，結構光源360可在第一時段T1及第二時段T2投射結構光，並在第一時段T1及第二時段T2之間的第三時段T3停止投射結構光。如此一來，深度處理器330則可以根據第一影像擷取模組310於第一時段T1所擷取包含結構光的第一影像產生對應的第一深度資訊，而影像處理器340則可以根據第一影像擷取模組310在第三時段T3所擷取的第三影像及深度處理器330所產生的第一深度資訊產生影像裝置300所呈現之顯示影像，而不會受到結構光的干擾。
由於第一影像和第三影像的擷取時間有所差異，為了確保深度處理器330所產生的深度資訊能夠與第三影像的內容相符合，在本發明的部分實施例中，深度處理器330可以同時根據第一影像擷取模組310於第一時段T1及第二時段T2所擷取包含結構光的第一影像及第二影像來產生第一深度資訊及第二深度資訊。也就是說，深度處理器330可透過內插的方式，根據第一深度資訊及第二深度資訊來產生對應於在第三時段所擷取的第三影像的深度資訊，以使第三影像的深度資訊能夠更加準確。
此外，在本發明的部分實施例中，當影像變化較大時，亦即影像處於動態變化的狀態時，第一深度資訊與第三影像之間的配對就可能較不準確。在此情況下，影像裝置300可以根據第一深度資訊及第二深度資訊之間是否有明顯差異來判斷影像是否產生動態變化(motion detection)。而深度處理器330會在未 偵測出動態變化時，將第一深度資訊及第二深度資訊中的至少之一者與配對第三影像配對。
相似地，在本發明的部分實施例中，影像裝置300也可比較第三影像以及第一影像擷取模組310在第一時段T1之前的第四時段T4所擷取第四影像，以判斷判斷影像是否產生動態變化，並在未偵測出動態變化時，才將第一深度資訊與第三影像或第四影像配對。
在第6圖的實施例中，影像裝置還可包含第二影像擷取模組320。第二影像擷取模組320具有與第一影像擷取模組310之第一視野角度FOV1相異的第二視野角度FOV2。在本發明的部分實施例中，深度處理器330亦可根據第一影像擷取模組310及第二影像擷取模組320於第一時段T1所擷取包含結構光之兩張深度影像來產生深度資訊。
此外，透過深度處理器330所取得的深度資訊，影像裝置300便可以利用例如第2圖所示的變焦方式，在切換影像擷取模組的過程中，設定虛擬的光學中心並根據第一影像擷取模組310及第二影像擷取模組320在第三時段T3所擷取的兩張影像來合成出對應的虛擬視角影像，使得切換影像擷取模組的過程能夠更加順暢，並避免產生明顯的視差。
在此情況下，影像裝置300也可與前述影像裝置100利用相似的方式，根據使用者所要求的目標視角方向及目標焦距來提供對應的影像，並可與影像裝置100以相似的方式儲存影像及深度資訊。
此外，本發明並不限定深度處理器330須利用結構光源360來產生深度資訊。在本發明的部分實施例中，影像擷取模組310及320便可提供深度處理器330產生深度資訊所需雙眼視覺的左右眼影像。因此，在環境光源充足的情況下，影像裝置300可將結構光源360關閉，而深度處理器330將在沒有結構光的情 況下產生深度資訊。然而，在環境光源較為不足的情況下，影像裝置300則會利用結構光源360以間歇性的方式投射結構光以提升深度處理器330所產生之深度資訊的準確性。
綜上所述，本發明之實施例所提出的影像裝置可以根據使用者要求的目標視野設定虛擬光學中心，並產生對應於虛擬光學中心的影像，使得在切換影像擷取模組的過程中，能夠產生觀點逐漸變化的一系列影像，避免使用者感受到明顯的觀點變換，也使得拍攝過程更容易控制，增加使用者在使用上的便利性。此外，由於本發明的影像裝置能夠利用深度資訊來產生對應於虛擬光學中心的影像，因此也無須嚴格限定兩個影像擷取模組之間的距離，使得影像裝置在設計及製造上具有更大的彈性。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100:影像裝置
110:第一影像擷取模組
120:第二影像擷取模組
130:深度處理器
140:影像處理器
FOV1:第一視野角度
FOV2:第二視野角度

Claims (19)

  1. 一種影像裝置，包含：一第一影像擷取模組，具有一第一視野角度(field of view，FOV)；一第二影像擷取模組，具有一第二視野角度，其中該第一視野角度大於該第二視野角度；及一影像處理器，耦接於該第一影像擷取模組以及該第二影像擷取模組，用以根據該第一影像擷取模組、該第二影像擷取模組以及一目標視野設定一虛擬光學中心，並產生對應於該虛擬光學中心之一第一顯示影像；其中當該目標視野所包含之一目標視角方向超出該第二視野角度時，該影像處理器逐漸改以該第一影像擷取模組提供該目標視野內之一第二顯示影像。
  2. 如請求項1所述之影像裝置，其中該目標視野包含該目標視角方向及一目標焦距。
  3. 如請求項1所述之影像裝置，其中該影像處理器依據該目標視野的改變，動態調整該虛擬光學中心在該第一影像擷取模組之一光學中心及該第二影像擷取模組之一光學中心之間的位置。
  4. 如請求項1所述之影像裝置，另包含一深度處理器，用以根據該第一影像擷取模組及該第二影像擷取模組所擷取之複數個影像產生一深度資訊，其中該影像處理器係根據該深度資訊處理該第一影像擷取模組所擷取之一第一影像及該第二影像擷取模組所擷取之一第二影像中的至少一者，以產生對應於該虛擬光學中心之該第一顯示影像。
  5. 如請求項4所述之影像裝置，其中該影像處理器係根據一虛擬視角合成(depth image based rendering，DIBR)演算法合成該第一影像及該第二影像以產生該第一顯示影像。
  6. 如請求項4所述之影像裝置，其中：該影像裝置係利用一標準影像壓縮演算法將該第一影像壓縮成一壓縮影像檔；及該深度資訊係儲存於該壓縮影像檔之一使用者定義標頭中。
  7. 如請求項1所述之影像裝置，其中該第一影像擷取模組具有一魚眼鏡頭。
  8. 如請求項7所述之影像裝置，另包含至少一第三影像擷取模組，具有一第三視野角度，其中該第一影像擷取模組及該至少一第三影像擷取模組係共同用以提供一360°全景影像。
  9. 如請求項1所述之影像裝置，其中：當該影像裝置接收到超出該第一視野角度之一目標視角方向時，該影像裝置係持續呈現原先所呈現之一影像。
  10. 如請求項1所述之影像裝置，其中當該目標視野係超出該第一影像擷取模組之一最大焦距且超出該第二視野角度時，該影像裝置係先呈現一模糊放大影像，接著再回復到呈現在該最大焦距所擷取之一影像。
  11. 一種影像裝置，包含：一第一影像擷取模組，具有一第一視野角度(field of view，FOV)；一第二影像擷取模組，具有一第二視野角度，該第二視野角度相異於該第一視野角度；至少一第三影像擷取模組，具有一第三視野角度；及一影像處理器，耦接於該第一影像擷取模組、該第二影像擷取模組、以及該至少一第三影像擷取模組，用以根據該第一影像擷取模組、該第二影像擷取模組以及一目標視野設定一虛擬光學中心並產生對應於該虛擬光學中心之一顯示影像，以及根據該第一影像擷取模組及該至少一第三影像擷取模組，提供一360°全景影像。
  12. 一種影像裝置，包含：一第一影像擷取模組，具有一第一視野角度(field of view，FOV)；一第二影像擷取模組，具有相異於該第一視野角度之一第二視野角度；一結構光源，用以間歇性地投射一結構光；一深度處理器，耦接於該第一影像擷取模組、該第二影像擷取模組以及該結構光源，用以至少根據該第一影像擷取模組於該結構光源投射該結構光時所擷取包含該結構光之一影像產生一深度資訊；及一影像處理器，耦接於該第一影像擷取模組、該第二影像擷取模組、該結構光源以及該深度處理器，用以根據該第一影像擷取模組、該第二影像擷取模組以及一目標視野設定一虛擬光學中心，並根據該深度資訊以及該第一影像擷取模組和該第二影像擷取模組在該結構光源停止投射該結構光時所擷取之至少二影像產生對應該虛擬光學中心之一顯示 影像。
  13. 如請求項12所述之影像裝置，其中：該結構光源係在一第一時段及一第二時段投射一結構光，並在該第一時段及該第二時段之間的一第三時段停止投射該結構光；該第一影像擷取模組於該第一時段擷取一第一影像，於該第二時段擷取一第二影像，及於該第三時段擷取一第三影像；該深度處理器係根據該第一影像產生一第一深度資訊及根據該第二影像產生一第二深度資訊；及該深度處理器根據該第一深度資訊及該第二深度資訊中的至少之一者產生對應於該第三影像之一深度資訊。
  14. 如請求項13所述之影像裝置，其中：該深度處理器係在該第一深度資訊及該第二深度資訊之間並未偵測出一動態變化時，根據該第一深度資訊及該第二深度資訊中的至少之一者產生對應於該第三影像之該深度資訊。
  15. 如請求項12所述之影像裝置，其中：該結構光源係在一第一時段及一第二時段投射一結構光，並在該第一時段及該第二時段之間的一第三時段以及於該第一時段之前之一第四時段停止投射該結構光；該第一影像擷取模組於該第一時段擷取一第一影像，於該第二時段擷取一第二影像，於該第三時段擷取一第三影像，及於該第四時段擷取一第四影像；及 該深度處理器根據該第一影像產生一第一深度資訊，及在該第三影像及該第四影像之間並未偵測出一動態變化時，根據該第一深度資訊產生對應於該第三影像或該第四影像之一深度資訊。
  16. 如請求項12所述之影像裝置，其中該第一視野角度大於該第二視野角度，且該深度處理器係根據該第一影像擷取模組於一第一時段所擷取包含該結構光之一第一深度影像及該第二影像擷取模組於該第一時段所擷取包含該結構光之一第二深度影像產生該深度資訊。
  17. 如請求項12所述之影像裝置，其中：該第一視野角度大於該第二視野角度；及當該影像裝置接收到超出該第一視野角度之一目標視角方向時，該影像裝置係持續呈現原先所呈現之一影像。
  18. 如請求項12所述之影像裝置，其中：該第一視野角度大於該第二視野角度；及當該影像裝置接收到超出該第二視野角度之一目標視角方向時，該影像裝置係逐漸改以該第一影像擷取模組提供該目標視野內之一顯示影像。
  19. 如請求項12所述之影像裝置，其中：該第一視野角度大於該第二視野角度；及當該目標視野係超出該第一影像擷取模組之一最大焦距且超出該第二視野角度時，該影像裝置係先呈現一模糊放大影像，接著再回復到呈現在該最大焦距所擷取之一影像。
TW107111345A 2017-03-31 2018-03-30 影像裝置 TWI692967B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762479331P 2017-03-31 2017-03-31
US62/479,331 2017-03-31

Publications (2)

Publication Number Publication Date
TW201837785A TW201837785A (zh) 2018-10-16
TWI692967B true TWI692967B (zh) 2020-05-01

Family

ID=63671146

Family Applications (3)

Application Number Title Priority Date Filing Date
TW106146514A TWI672677B (zh) 2017-03-31 2017-12-29 用以融合多深度圖的深度圖產生裝置
TW107100051A TWI660327B (zh) 2017-03-31 2018-01-02 用以融合多深度圖的深度圖產生裝置
TW107111345A TWI692967B (zh) 2017-03-31 2018-03-30 影像裝置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW106146514A TWI672677B (zh) 2017-03-31 2017-12-29 用以融合多深度圖的深度圖產生裝置
TW107100051A TWI660327B (zh) 2017-03-31 2018-01-02 用以融合多深度圖的深度圖產生裝置

Country Status (3)

Country Link
US (5) US10699432B2 (zh)
CN (3) CN108961194A (zh)
TW (3) TWI672677B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979687B2 (en) * 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
KR102344104B1 (ko) * 2017-08-22 2021-12-28 삼성전자주식회사 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
CN111837144A (zh) 2018-03-13 2020-10-27 奇跃公司 使用机器学习的增强图像深度感测
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
US10863097B2 (en) * 2018-08-21 2020-12-08 Gopro, Inc. Field of view adjustment
US11257237B2 (en) * 2019-08-29 2022-02-22 Microsoft Technology Licensing, Llc Optimized exposure control for improved depth mapping
CN110996041A (zh) * 2019-10-15 2020-04-10 安徽清新互联信息科技有限公司 一种图像采集设备的自动巡检方法及***
JP2021086189A (ja) * 2019-11-25 2021-06-03 キヤノン株式会社 情報処理装置、情報処理方法、映像処理システム、およびプログラム
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
US11943418B2 (en) * 2020-04-16 2024-03-26 Eys3D Microelectronics Co. Processing method and processing system for multiple depth information
CN113890984B (zh) * 2020-07-03 2022-12-27 华为技术有限公司 拍照方法、图像处理方法和电子设备
US11741671B2 (en) 2021-06-16 2023-08-29 Samsung Electronics Co., Ltd. Three-dimensional scene recreation using depth fusion
US11488348B1 (en) * 2021-12-09 2022-11-01 Unity Technologies Sf Computing virtual screen imagery based on a stage environment, camera position, and/or camera settings

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070159527A1 (en) * 2006-01-09 2007-07-12 Samsung Electronics Co., Ltd. Method and apparatus for providing panoramic view with geometric correction
TW201204027A (en) * 2010-07-09 2012-01-16 Novatek Microelectronics Corp Image correction device and image correction method
TW201618531A (zh) * 2014-11-13 2016-05-16 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
CN105744239A (zh) * 2016-05-11 2016-07-06 湖南源信光电科技有限公司 多焦距镜头超高分辨率联动成像装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
CN1878317A (zh) * 2005-06-07 2006-12-13 朱河东 一种渐变式立体影像及其制作方法
CN100588250C (zh) 2007-02-05 2010-02-03 北京大学 一种多视点视频流的自由视点视频重建方法及***
CN100556153C (zh) * 2007-12-05 2009-10-28 宁波大学 一种多视点图像的预处理方法
BRPI0924076B1 (pt) * 2009-05-12 2021-09-21 Huawei Device (Shenzhen) Co., Ltd. Sistema de telepresença e método de telepresença
WO2011091604A1 (zh) * 2010-01-29 2011-08-04 华为终端有限公司 视频通信的方法、装置和***
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20120274626A1 (en) * 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
JP2013038602A (ja) 2011-08-08 2013-02-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
RU2014118585A (ru) * 2011-10-10 2015-11-20 Конинклейке Филипс Н.В. Обработка карты глубины
WO2013108531A1 (ja) * 2012-01-19 2013-07-25 ソニー株式会社 受信装置、受信方法および電子機器
CN102609974B (zh) 2012-03-14 2014-04-09 浙江理工大学 一种基于深度图分割渲染的虚拟视点图像的生成方法
US20140198977A1 (en) * 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
WO2013166656A1 (zh) 2012-05-08 2013-11-14 青岛海信信芯科技有限公司 一种提取及优化图像深度图的方法与装置
LU92074B1 (en) * 2012-09-18 2014-03-19 Iee Sarl Depth image enhancement method
CN103777454A (zh) * 2012-10-25 2014-05-07 耿征 真三维图像显示***及显示方法
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
CN103345736B (zh) * 2013-05-28 2016-08-31 天津大学 一种虚拟视点绘制方法
US20140363097A1 (en) * 2013-06-06 2014-12-11 Etron Technology, Inc. Image capture system and operation method thereof
KR102184766B1 (ko) * 2013-10-17 2020-11-30 삼성전자주식회사 3차원 모델 복원 시스템 및 방법
EP2869263A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
IN2013CH05313A (zh) 2013-11-18 2015-05-29 Nokia Corp
US8730299B1 (en) * 2013-11-27 2014-05-20 Dmitry Kozko Surround image mode for multi-lens mobile devices
CN103824318B (zh) * 2014-02-13 2016-11-23 西安交通大学 一种多摄像头阵列的深度感知方法
CN103942756B (zh) 2014-03-13 2017-03-29 华中科技大学 一种深度图后处理滤波的方法
CN105007475B (zh) 2014-04-17 2017-08-04 聚晶半导体股份有限公司 产生深度信息的方法与装置
CN103996174B (zh) * 2014-05-12 2017-05-10 上海大学 一种对Kinect深度图像进行空洞修复的方法
CN105282537A (zh) * 2014-07-04 2016-01-27 聚晶半导体股份有限公司 图像获取装置
CN105491267A (zh) * 2014-09-16 2016-04-13 聚晶半导体股份有限公司 影像撷取装置及数位变焦方法
KR102249831B1 (ko) * 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
US10066933B2 (en) * 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
TWI540897B (zh) * 2015-05-08 2016-07-01 光寶電子（廣州）有限公司 深度相機的控制方法
CN106210698B (zh) 2015-05-08 2018-02-13 光宝电子(广州)有限公司 深度相机的控制方法
TWI554108B (zh) * 2015-08-04 2016-10-11 緯創資通股份有限公司 電子裝置及影像處理方法
US10212409B2 (en) * 2015-12-18 2019-02-19 Boe Technology Group Co., Ltd Method, apparatus, and non-transitory computer readable medium for generating depth maps
US11461912B2 (en) * 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
NL2016660B1 (en) * 2016-04-22 2017-11-15 Cyclomedia Tech B V Image stitching method and device.
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統
US20180070010A1 (en) * 2016-09-02 2018-03-08 Altek Semiconductor Corp. Image capturing apparatus and image zooming method thereof
US20180091798A1 (en) * 2016-09-26 2018-03-29 Imec Taiwan Co. System and Method for Generating a Depth Map Using Differential Patterns
US10771768B2 (en) * 2016-12-15 2020-09-08 Qualcomm Incorporated Systems and methods for improved depth sensing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070159527A1 (en) * 2006-01-09 2007-07-12 Samsung Electronics Co., Ltd. Method and apparatus for providing panoramic view with geometric correction
TW201204027A (en) * 2010-07-09 2012-01-16 Novatek Microelectronics Corp Image correction device and image correction method
TW201618531A (zh) * 2014-11-13 2016-05-16 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
CN105744239A (zh) * 2016-05-11 2016-07-06 湖南源信光电科技有限公司 多焦距镜头超高分辨率联动成像装置

Also Published As

Publication number Publication date
US10699432B2 (en) 2020-06-30
TW201843652A (zh) 2018-12-16
US11120567B2 (en) 2021-09-14
US20180293749A1 (en) 2018-10-11
US20210201521A1 (en) 2021-07-01
CN108718392B (zh) 2021-07-16
US20200234460A1 (en) 2020-07-23
US20180293748A1 (en) 2018-10-11
TWI660327B (zh) 2019-05-21
CN108718392A (zh) 2018-10-30
US10977817B2 (en) 2021-04-13
US20180288397A1 (en) 2018-10-04
US10650542B2 (en) 2020-05-12
CN108718373B (zh) 2022-11-15
CN108961194A (zh) 2018-12-07
TWI672677B (zh) 2019-09-21
TW201837785A (zh) 2018-10-16
TW201837860A (zh) 2018-10-16
CN108718373A (zh) 2018-10-30

Similar Documents

Publication Publication Date Title
TWI692967B (zh) 影像裝置
CN113382168B (zh) 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法
TWI554103B (zh) 影像擷取裝置及其數位變焦方法
Nayar et al. Programmable imaging: Towards a flexible camera
CN108432230B (zh) 一种成像设备和一种用于显示场景的图像的方法
CN110493525B (zh) 变焦图像确定方法及装置、存储介质、终端
US9807372B2 (en) Focused image generation single depth information from multiple images from multiple sensors
JP2000316120A (ja) 全焦点撮像装置
JP2017505004A (ja) 画像生成方法及びデュアルレンズ装置
JP7286024B2 (ja) 回転可能なリフレクターを備えた撮像システム
CN101577795A (zh) 一种实现全景图像的实时预览的方法和装置
JP6478511B2 (ja) 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体
TWI599809B (zh) 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、***
WO2012163370A1 (en) Image processing method and device
TWI676855B (zh) 投影機校正方法與使用此方法的投影系統
Kagawa et al. A three‐dimensional multifunctional compound‐eye endoscopic system with extended depth of field
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
WO2012124331A1 (ja) ３ｄ撮像装置
Popovic et al. Design and implementation of real-time multi-sensor vision systems
US11792511B2 (en) Camera system utilizing auxiliary image sensors
WO2017092261A1 (zh) 一种摄像头模组、移动终端及其拍摄图像的方法和装置
Popovic et al. State-of-the-art multi-camera systems
KR20160031869A (ko) 단일 프로젝터를 이용한 입체 영상 프로젝팅 시스템
Kuthirummal et al. Flexible mirror imaging