CN108965751B - 用于产生360度深度图的图像装置 - Google Patents

用于产生360度深度图的图像装置 Download PDF

Info

Publication number
CN108965751B
CN108965751B CN201810517604.1A CN201810517604A CN108965751B CN 108965751 B CN108965751 B CN 108965751B CN 201810517604 A CN201810517604 A CN 201810517604A CN 108965751 B CN108965751 B CN 108965751B
Authority
CN
China
Prior art keywords
image
depth map
obtainers
acquirers
acquisitors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810517604.1A
Other languages
English (en)
Other versions
CN108965751A (zh
Inventor
李季峰
卢超群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eYs3D Microelectronics Co
Original Assignee
eYs3D Microelectronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eYs3D Microelectronics Co filed Critical eYs3D Microelectronics Co
Publication of CN108965751A publication Critical patent/CN108965751A/zh
Application granted granted Critical
Publication of CN108965751B publication Critical patent/CN108965751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/028—Circuits for converting colour display signals into monochrome display signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种用于产生360度深度图的图像装置。所述图像装置包含多个图像获取器，其中所述多个图像获取器的每两相邻图像获取器所获取的图像对是用于形成所述360度深度图，以及所述多个图像获取器的所有视角总和不小于720度。因此，本发明可有效减少所述多个鱼眼图像获取器的数目以降低所述图像装置的成本。

Description

用于产生360度深度图的图像装置
技术领域
本发明涉及一种用于产生360度深度图的图像装置，尤其涉及一种利用具有视角总和不小于720度的多个鱼眼图像获取器产生一环景深度图或一球状深度图的图像装置。
背景技术
在现有技术中，一图像装置可利用至少三图像获取器对产生一环景深度图(panorama depth map)，例如所述图像装置是利用排成一三角形的三图像获取器对产生所述环景深度图。另外，所述图像装置可利用至少四图像获取器对产生一球状深度图(spherical depth map)，例如所述图像装置是利用排成一正四面体的四图像获取器对产生所述球状深度图。虽然所述图像装置可利用上述图像获取器对产生所述环景深度图或所述球状深度图，但所述图像装置需要较多的图像获取器数目(需要至少6个图像获取器以产生所述环景深度图，以及需要至少8个图像获取器以产生所述球状深度图)，导致所述图像装置的成本增加。因此，如何降低所述图像装置的成本成为所述图像装置的设计者的一项重要课题。
发明内容
本发明的一实施例公开一种用于产生360度深度图的图像装置。所述图像装置包含多个图像获取器，其中所述多个图像获取器的每两相邻图像获取器所获取的图像对是用于形成所述360度深度图，以及所述多个图像获取器的所有视角总和不小于720度。
本发明的另一实施例公开一种用于产生360度环景深度图的图像装置。所述图像装置包含多个图像获取器，其中当所述多个图像获取器之间的重迭视野涵盖360度时，有关所述重迭视野的图像是用于形成一360度深度图。
本发明公开一种图像装置。所述图像装置是利用具有视角总和不小于720度的多个鱼眼图像获取器的产生一环景深度图或一球状深度图，或当所述多个鱼眼图像获取器之间的重迭视野涵盖360度时，所述图像装置利用有关所述重迭视野的图像形成一环景深度图。因此，本发明可有效减少所述多个鱼眼图像获取器的数目以降低所述图像装置的成本。
附图说明
图1是本发明的第一实施例所公开的一种用于产生360度深度图的图像装置的示意图。
图2是本发明的另一实施例所公开的一种用于产生360度深度图的图像装置的示意图。
图3是本发明的第二实施例所公开的一种用于产生360度深度图的图像装置的俯视示意图。
图4是本发明的另一实施例所公开的一种用于产生360度深度图的图像装置的示意图。
图5是本发明的第三实施例所公开的一种用于产生360度深度图的图像装置的示意图。
图6A是用以说明利用一非平面投影方式得到一球状深度图的示意图。
图6B是用以说明球状深度图中1/3个球体的示意图。
其中，附图标记说明如下：
100、200、300、400、500 图像装置
102、104、106、108、202、204、206、 图像获取器
302、304、306、308、310、402、404、
406、408、502、504
110 深度图产生器
112-122、506 支撑单元
BL1 基线
C1、C2、C3 光学中心
FOV1、FOV2、FOV3、FOV4 视角
IV1、IV2、IV3 无效区
OV1、OV2、OV3、OV4 图像重迭区
PL1-PL4 投影平面
SOV 环状重迭区
S1、S2、S3 球体
VC1、VC2、VC3、VC 虚拟光学中心
具体实施方式
请参照图1，图1是本发明的第一实施例所公开的一种用于产生360度深度图的图像装置100的示意图，图像装置100包含图像获取器102、104、106、108和一深度图产生器110，其中支撑单元112-118是用以支撑图像获取器102、104、106、108，深度图产生器110耦接于图像获取器102、104、106、108，以及图像获取器102、104、106、108是鱼眼图像获取器。但本发明并不受限于如图1所示的支撑单元的数量和支撑单元112-118所构成的形状。如图1所示，当图像获取器102、104、106、108的视角都一样时，图像获取器102、104、106、108的视角总和不小于720度，其中图像获取器102、104、106、108的每一图像获取器的最小视角MFOV是由式(1)所决定：
MFOV＝720/N+EA (1)
其中N为4，以及EA为补偿所述每一图像获取器的组装工差所需的角度。
因此，如果所述每一图像获取器是一理想的图像获取器(也就是所述每一图像获取器所对应的EA为零)且图像获取器102、104、106、108的视角都一样时，则图像获取器102、104、106、108的每一图像获取器的最小视角MFOV为180度。如图1所示，图像获取器102的视角FOV1和图像获取器104的视角FOV2之间具有一图像重迭区OV1，所以图像获取器102和图像获取器104所获取的图像中会具有一第一图像对，其对应图像重迭区OV1，其中所述第一图像对具有有关图像重迭区OV1的深度信息。同理，图像获取器104和图像获取器106所获取的图像中会具有一第二图像对，其对应一图像重迭区OV2，图像获取器106和图像获取器108所获取的图像中会具有一第三图像对，其对应一图像重迭区OV3，以及图像获取器108和图像获取器102所获取的图像中会具有一第四图像对，其对应一图像重迭区OV4，其中所述第二图像对具有有关图像重迭区OV2的深度信息，所述第三图像对具有有关图像重迭区OV3的深度信息，以及所述第四图像对具有有关图像重迭区OV4的深度信息。
如图1所示，所述第一图像对可先通过一平面投影方式投影至一投影平面PL1得到一第一投影图像对，其中投影平面PL1平行图像获取器102和图像获取器104之间的基线BL1所在的平面。另外，所述平面投影方式为本发明领域具有熟知技艺者所熟知，在此不再赘述。同理，所述第二图像对可先通过所述平面投影方式投影至一投影平面PL2得到一第二投影图像对，所述第三图像对可先通过所述平面投影方式投影至一投影平面PL3得到一第三投影图像对，以及所述第四图像对可先通过所述平面投影方式投影至一投影平面PL4得到一第四投影图像对。因此，在所述第一投影图像对、所述第二投影图像对、所述第三投影图像对和所述第四投影图像对产生后，深度图产生器110即可根据所述第一投影图像对、所述第二投影图像对、所述第三投影图像对和所述第四投影图像对，产生一环景深度图(panorama depth map)。
另外，图像装置100可另包含至少一光源(未绘示于图1)，用以发出至少一结构光，其中所述结构光可用以加强所述环景深度图的质量。
另外，因为图像获取器102、104、106、108的视角都一样，所以图像获取器102、104、106、108的排列为一正方形，且图像获取器102、104、106、108的每一图像获取器(理想的图像获取器)的最小视角MFOV为180度。但在本发明的另一实施例中，图像获取器102、104、106、108的部分或全部视角不同，此时图像获取器102、104、106、108的排列则可为一非正方形的四边形，以使深度图产生器110仍可藉由各投影图像对来产生可涵盖360度的环景深度图。
另外，图像获取器102、104、106、108可为照相机，或互补式金氧半图像传感器(complementary metal-oxide-semiconductor image sensor)，或感光耦合组件图像传感器(charge coupled device image sensor)。另外，深度图产生器110可以是一具有上述深度图产生器110的功能的现场可程序逻辑门阵列(Field Programmable Gate Array,FPGA)，或是一具有上述深度图产生器110的功能的特殊应用集成电路(Application-specific integrated circuit,ASIC)或是一具有上述深度图产生器110的功能的软件模块。
另外，如果图像装置100不受限仅包含图像获取器102、104、106、108时(也就是说图像装置100包含至少五个以上图像获取器)，则图像装置100中的每一图像获取器可为一非鱼眼图像获取器(因为图像装置100中的每一图像获取器的视角可小于180度)。
另外，在本发明的另一实施例中，如图2所示，图像装置200包含3个图像获取器202、204、206，图像获取器202、204、206是鱼眼图像获取器，且图像获取器202、204、206的视角总和不小于720度。如果图像获取器202、204、206的每一图像获取器是一理想的图像获取器且图像获取器202、204、206的视角都一样时，则图像获取器202、204、206的每一图像获取器的最小视角MFOV为240度。另外，图像装置200产生一环景深度图的原理可参照上述图像装置100产生环景深度图的原理，在此不再赘述。
请参照图3，图3是本发明的第二实施例所公开的一种用于产生360度深度图的图像装置300的俯视示意图，以及图像装置300包含图像获取器302、304、306、308、310、312和一深度图产生器110，其中图像获取器312被图像获取器310遮蔽，所以图3不会绘示出图像获取器312。另外，为了简化图3，图3也不绘示出深度图产生器110和有关图像获取器310、312的支撑单元。如图3所示，如果图像获取器302、304、306、308、310、312的每一图像获取器是一理想的图像获取器且图像获取器302、304、306、308、310、312的视角都一样时，则图像获取器302、304、306、308、310、312的每一图像获取器是位于一正六面体的一对应平面(未绘示于图3)的中心。如图3所示，深度图产生器110可根据上述图像装置100产生环景深度图的原理，利用图像获取器302、304、306、308产生一第一环景深度图，以及根据上述图像装置100产生环景深度图的原理，利用图像获取器302、306、310、312产生一第二环景深度图，其中因为图像获取器302、304、306、308所在的第一平面和图像获取器302、306、310、312所在的第二平面垂直，所以所述第一环景深度图和所述第二环景深度图的形状可以相同，但所述第一环景深度图对应图像获取器302、304、306、308的视角以及所述第二环景深度图对应图像获取器302、306、310、312的视角。因此，在深度图产生器110产生所述第一环景深度图和所述第二环景深度图后，深度图产生器110可将所述第一环景深度图和所述第二环景深度图合并以得到一球状深度图。另外，图像装置300的其余操作原理可参照图像装置100的操作原理，在此不再赘述。
另外，图像装置300并不受限于包含图像获取器302、304、306、308、310、312，也就是说在本发明的另一实施例中，如图4所示，图像装置400包含4个图像获取器402、404、406、408，图像获取器402、404、406、408是鱼眼图像获取器，图像获取器402、404、406、408的视角总和不小于720度，图像获取器402、404、406、408的排列为一正四面体，且支撑单元112-122用以支撑图像获取器402、404、406、408。另外，图像装置400产生一球状深度图的原理可参照上述图像装置100产生环景深度图的原理，在此不再赘述。
请参照图5，图5是本发明的第三实施例所公开的一种用于产生360度深度图的图像装置500的示意图。如图5所示，图像装置500包含图像获取器502、504和深度图产生器110，其中为了简化图5，图5并未绘示出深度图产生器110。另外，图像获取器502、504之间具有一支撑单元506。如果图像获取器502、504的每一图像获取器的最小视角MFOV为240度，则图像获取器502的视角FOV1和图像获取器504的视角FOV2之间具有一环状图像重迭区SOV，其中图5仅显示出环状图像重迭区SOV的一横截面，且所述横截面具有一60度的夹角。因此，图像装置500的深度图产生器110可根据上述图像装置100产生环景深度图的原理，利用环状图像重迭区SOV产生一环景深度图。另外，图像装置500的其余操作原理可参照图像装置100的操作原理，在此不再赘述。
另外，如图6A(利用图像装置200说明，其中图像获取器202、204、206的最小视角MFOV可分别为240度)所示，图像获取器202的视角FOV1和图像获取器204的视角FOV2之间具有一图像重迭区OV1，所以图像获取器202和图像获取器204所获取的图像中会具有一第一图像对，其对应图像重迭区OV1。同理，图像获取器204和图像获取器206所获取的图像中会具有一第二图像对，其对应一图像重迭区OV2，以及图像获取器202和图像获取器206所获取的图像中会具有一第三图像对，其对应一图像重迭区OV3。因此，深度图产生器110可根据一非平面投影方式(例如一球面投影方式或一圆柱体投影方式)，利用所述第一图像对得到一球状深度图中1/3个球体(因为图像重迭区OV1对应夹角120度)S1(如图6B所示)的深度信息，其中所述球面投影方式为本发明领域具有熟知技艺者所熟知，在此不再赘述。同理，深度图产生器110也可根据所述球面投影方式，利用所述第二图像对得到所述球状深度图中1/3个球体(因为图像重迭区OV2对应夹角120度)S2(如图6B所示)的深度信息，以及可根据所述球面投影方式，利用所述第三图像对得到所述球状深度图中1/3个球体(因为图像重迭区OV3对应夹角120度)S3(如图6B所示)的深度信息。
然而如图6A所示，因为图像获取器202、204、206的每一图像获取器的最小视角MFOV为240度，所以在图像获取器202的视角FOV1中，出现对应图像获取器202的一无效区IV1(因为无效区IV1仅对应图像获取器202所获取的第一图像，所以深度图产生器110无法根据图像获取器202所获取的第一图像，产生出任何深度信息)。同理，在图像获取器204的视角FOV2中，出现对应图像获取器204的一无效区IV2，以及在图像获取器206的视角FOV3中，出现对应图像获取器206的一无效区IV3。如图6A所示，因为目前的光学中心C1、C2、C3分别位在无效区IV1、无效区IV2和无效区IV3中，所以当深度图产生器110利用1/3个球体S1、1/3个球体S2和1/3个球体S3产生所述球状深度图时，所述球状深度图将出现无效区IV1、无效区IV2和无效区IV3。因此，深度图产生器110可根据1/3个球体S1、1/3个球体S2和1/3个球体S3的深度信息，分别转移光学中心C1、C2、C3至虚拟光学中心VC1、VC2、VC3，其中光学中心C1、C2、C3的转换为本发明领域具有熟知技艺者所熟知，在此不再赘述。在本发明的一实施例中，虚拟光学中心VC1是图像重迭区OV1的顶点，虚拟光学中心VC2是图像重迭区OV2的顶点，以及虚拟光学中心VC3是图像重迭区OV3的顶点。
另外，如图6A所示，因为虚拟光学中心VC1、VC2、VC3并没有位在无效区IV1、无效区IV2和无效区IV3中，所以当深度图产生器110利用1/3个球体S1、1/3个球体S2和1/3个球体S3产生所述球状深度图时，所述球状深度图的错误将会减少。
另外，在本发明的另一实施例中，深度图产生器110可根据1/3个球体S1、1/3个球体S2和1/3个球体S3的深度信息，转移光学中心C1、C2、C3至一虚拟光学中心VC(如图6A所示)，其中虚拟光学中心VC是光学中心C1、C2、C3的几何中心。
综上所述，本发明所公开的图像装置是利用具有视角总和不小于720o的多个鱼眼图像获取器的产生一环景深度图或一球状深度图，或当所述多个鱼眼图像获取器之间的重迭视野涵盖360度时，所述图像装置利用有关所述重迭视野的图像形成一环景深度图。因此，本发明可有效减少所述多个鱼眼图像获取器的数目以降低所述图像装置的成本。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种用于产生360度深度图的图像装置，其特征在于包含：
多个图像获取器，其中所述多个图像获取器的每两相邻图像获取器所获取的图像对是用于形成所述360度深度图，以及所述多个图像获取器的所有视角总和不小于720度加上用于补偿所述多个图像获取器的组装工差所需的所有角度的总和；
其中所述每两相邻图像获取器所获取的图像对对应所述每两相邻图像获取器所获取的两个图像的图像重迭区，而不是对应所述每两相邻图像获取器所获取的两个图像的全部图像范围；
其中所述多个图像获取器的每一图像获取器的最小视角是由所述多个图像获取器的数目、补偿所述每一图像获取器的组装工差所需的角度，以及720度决定。
2.如权利要求1所述的图像装置，其特征在于另包含：
一深度图产生器，耦接于所述多个图像获取器，用以根据所述多个图像获取器中的每两相邻图像获取器所获取的图像对，形成所述360度深度图。
3.如权利要求2所述的图像装置，其特征在于：所述深度图产生器根据所述每两相邻图像获取器所获取的图像对和一平面投影方式形成所述360度深度图，或根据所述每两相邻图像获取器所获取的图像对和一非平面投影方式形成所述360度深度图。
4.如权利要求2所述的图像装置，其特征在于：当所述360度深度图是一环景深度图时，所述多个图像获取器包含至少三图像获取器，且所述深度图产生器利用所述多个图像获取器中的每两相邻图像获取器所获取的图像对形成所述环景深度图。
5.如权利要求4所述的图像装置，其特征在于：所述至少三图像获取器的每一图像获取器是一鱼眼图像获取器。
6.如权利要求2所述的图像装置，其特征在于：当所述360度深度图是一球状深度图时，所述多个图像获取器包含至少三图像获取器，且所述深度图产生器利用所述多个图像获取器中的每两相邻图像获取器所获取的图像对形成所述球状深度图。
7.如权利要求6所述的图像装置，其特征在于：所述至少三图像获取器的每一图像获取器是一鱼眼图像获取器。
8.如权利要求6所述的图像装置，其特征在于：所述深度图产生器转换对应所述至少三图像获取器的至少三目前的光学中心至至少一虚拟光学中心。
9.如权利要求6所述的图像装置，其特征在于：当所述深度图产生器转换对应所述至少三图像获取器的至少三目前的光学中心至至少三虚拟光学中心时，所述至少三虚拟光学中心分别是所述至少三图像获取器所获取的至少三图像对的每一图像对的重迭区的顶点。
10.一种用于产生360度深度图的图像装置，其特征在于包含：
多个图像获取器，其中当所述多个图像获取器之间的重迭视野涵盖360度时，有关所述重迭视野的图像对是用于形成一360度深度图；
其中所述多个图像获取器的所有视角的总和不小于720度加上用于补偿所述多个图像获取器的组装工差所需的所有角度的总和，以及所述多个图像获取器的每一图像获取器的最小视角是由所述多个图像获取器的数目、补偿所述每一图像获取器的组装工差所需的角度，以及720度决定；
其中有关所述重迭视野的图像对不会对应所述多个图像获取器所获取的多个图像的全部图像范围。
11.如权利要求10所述的图像装置，其特征在于另包含：
一深度图产生器，耦接于所述多个图像获取器，用以根据所述重迭视野的图像，形成所述360度深度图。
CN201810517604.1A 2017-05-25 2018-05-25 用于产生360度深度图的图像装置 Active CN108965751B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762511317P 2017-05-25 2017-05-25
US62/511,317 2017-05-25

Publications (2)

Publication Number Publication Date
CN108965751A CN108965751A (zh) 2018-12-07
CN108965751B true CN108965751B (zh) 2021-09-17

Family

ID=64492271

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810517604.1A Active CN108965751B (zh) 2017-05-25 2018-05-25 用于产生360度深度图的图像装置
CN201810517679.XA Active CN109087235B (zh) 2017-05-25 2018-05-25 图像处理器和相关的图像***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810517679.XA Active CN109087235B (zh) 2017-05-25 2018-05-25 图像处理器和相关的图像***

Country Status (3)

Country Link
US (2) US10992847B2 (zh)
CN (2) CN108965751B (zh)
TW (2) TWI679875B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3410415B1 (en) * 2016-01-28 2020-11-18 Ricoh Company, Ltd. Image processing device, imaging device, moving body device control system and image processing program
CN109788172A (zh) * 2019-01-04 2019-05-21 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660732B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660733B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109788196B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618108B (zh) * 2019-01-07 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
KR102648912B1 (ko) * 2019-01-23 2024-03-19 삼성전자주식회사 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서
US11132772B2 (en) * 2019-06-11 2021-09-28 Samsung Electronics Co., Ltd. Asymmetric normalized correlation layer for deep neural network feature matching
US11800206B2 (en) * 2019-07-08 2023-10-24 Calumino Pty Ltd. Hybrid cameras
US11323603B2 (en) * 2019-09-18 2022-05-03 Gopro, Inc. Auto exposure for spherical images
US10979633B1 (en) * 2019-12-17 2021-04-13 Suometry, Inc. Wide view registered image and depth information acquisition
US11140375B2 (en) * 2019-12-18 2021-10-05 Qualcomm Incorporated Sharing an optical sensor between multiple optical processors
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
US11172139B2 (en) * 2020-03-12 2021-11-09 Gopro, Inc. Auto exposure metering for spherical panoramic content
US11699001B2 (en) * 2020-10-13 2023-07-11 Flyreel, Inc. Generating measurements of physical structures and environments through automated analysis of sensor data
TWI768709B (zh) * 2021-01-19 2022-06-21 福邦科技國際股份有限公司 雙影像融合方法與裝置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017026705A1 (ko) * 2015-08-07 2017-02-16 삼성전자 주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0921677B1 (en) * 1997-12-04 2003-03-26 Victor Company Of Japan, Limited Image pickup apparatus and method, and image output apparatus and method applicable thereto
US7567271B2 (en) * 2006-01-09 2009-07-28 Sony Corporation Shared color sensors for high-resolution 3-D camera
US8077964B2 (en) * 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
JP5523141B2 (ja) * 2009-05-28 2014-06-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9294740B2 (en) * 2010-06-07 2016-03-22 Konica Minolta Advanced Layers, Inc. Imaging device having a color image generator generating a color image using edge data and a fake color suppressing coefficient
CN102005039B (zh) * 2010-08-24 2012-05-23 浙江大学 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法
JP2012253643A (ja) * 2011-06-06 2012-12-20 Sony Corp 画像処理装置および方法、並びにプログラム
US9300946B2 (en) * 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
WO2013079778A2 (en) * 2011-12-02 2013-06-06 Nokia Corporation Method, apparatus and computer program product for capturing images
US8619148B1 (en) * 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US20130250040A1 (en) * 2012-03-23 2013-09-26 Broadcom Corporation Capturing and Displaying Stereoscopic Panoramic Images
CN102724528B (zh) * 2012-05-18 2015-01-14 清华大学 一种深度图生成装置
US9531961B2 (en) * 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
WO2014037603A1 (en) * 2012-09-06 2014-03-13 Nokia Corporation An apparatus, a method and a computer program for image processing
US9479697B2 (en) * 2012-10-23 2016-10-25 Bounce Imaging, Inc. Systems, methods and media for generating a panoramic view
US20150010236A1 (en) * 2013-07-08 2015-01-08 Htc Corporation Automatic image refocusing method
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US9294662B2 (en) * 2013-10-16 2016-03-22 Broadcom Corporation Depth map generation and post-capture focusing
CN105794197A (zh) * 2014-07-28 2016-07-20 联发科技股份有限公司 能够生成全景文件的便携式设备
TWI538508B (zh) 2014-08-15 2016-06-11 光寶科技股份有限公司 一種可獲得深度資訊的影像擷取系統與對焦方法
WO2016077057A2 (en) * 2014-10-24 2016-05-19 Bounce Imaging, Inc. Imaging systems and methods
US10404969B2 (en) * 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
US20160295108A1 (en) * 2015-04-01 2016-10-06 Cheng Cao System and method for panoramic imaging
US10802390B2 (en) * 2015-05-08 2020-10-13 Suometry Inc. Spherical omnipolar imaging
KR102458339B1 (ko) * 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
CN106468830B (zh) * 2015-08-20 2019-09-24 杨军 三维立体成像显示仪
KR20170025058A (ko) * 2015-08-27 2017-03-08 삼성전자주식회사 영상 처리 장치 및 이를 포함하는 전자 시스템
TWI555379B (zh) 2015-11-06 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN105530431A (zh) * 2015-12-16 2016-04-27 景好 一种反射式全景成像***及方法
US20180241927A1 (en) * 2017-02-23 2018-08-23 Motorola Mobility Llc Exposure Metering Based On Depth Map
US10262238B2 (en) * 2017-04-13 2019-04-16 Facebook, Inc. Panoramic camera systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017026705A1 (ko) * 2015-08-07 2017-02-16 삼성전자 주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법

Also Published As

Publication number Publication date
CN109087235A (zh) 2018-12-25
CN109087235B (zh) 2023-09-15
TW201902210A (zh) 2019-01-01
US20180376129A1 (en) 2018-12-27
CN108965751A (zh) 2018-12-07
US20190007590A1 (en) 2019-01-03
US10992847B2 (en) 2021-04-27
TWI679875B (zh) 2019-12-11
TW201911862A (zh) 2019-03-16
US10805514B2 (en) 2020-10-13
TWI692983B (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN108965751B (zh) 用于产生360度深度图的图像装置
US10345684B2 (en) Pattern projection and imaging using lens arrays
US8908054B1 (en) Optics apparatus for hands-free focus
CN103685917A (zh) 图像处理器、图像处理方法和成像***
US9503638B1 (en) High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
EP3765815B1 (en) Imaging device, image processing apparatus, and image processing method
CN105324984A (zh) 用于生成多投影图像的方法和***
US9473700B2 (en) Camera systems and methods for gigapixel computational imaging
US10057487B1 (en) Panoramic imaging systems based on normal-lens cameras
CN108470360B (zh) 利用非平面投影图像产生深度图的图像装置及其相关方法
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
JP2013141100A (ja) 画像生成装置、デジタルカメラ、方法、及びプログラム
Brückner Microoptical multi aperture imaging systems
CN105572832B (zh) 光学装置
Lin et al. Single-view-point omnidirectional catadioptric cone mirror imager
CN108513058B (zh) 可补偿图像变化的图像装置
CN110786017B (zh) 分发图像生成方法
JP5427904B2 (ja) 要素画像群撮像装置
WO2018139250A1 (ja) 全天球撮像装置
JP2007295028A (ja) ステレオ画像撮像装置
WO2017212616A1 (ja) 光学装置およびそれを搭載した撮影装置
JP2014107752A (ja) 撮影装置および表示装置
WO2018149488A1 (en) An optical arrangement for focusing images of a three-dimensional space from different perspectives onto one or more camera sensors
JP2023156695A (ja) 全天周カメラ
JP2020134938A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant