CN108028892A - 信息获得设备和信息获得方法 - Google Patents
信息获得设备和信息获得方法 Download PDFInfo
- Publication number
- CN108028892A CN108028892A CN201680055413.7A CN201680055413A CN108028892A CN 108028892 A CN108028892 A CN 108028892A CN 201680055413 A CN201680055413 A CN 201680055413A CN 108028892 A CN108028892 A CN 108028892A
- Authority
- CN
- China
- Prior art keywords
- reflective
- information
- face region
- polarization
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
- G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
- G02B5/3066—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state involving the reflection of light at a particular angle of incidence, e.g. Brewster's angle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Vascular Medicine (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
偏振图像获得单元20获得多个偏振方向的偏振图像。反射信息生成单元30从由偏振图像获得单元20获得的多个偏振方向的偏振图像,生成指示反射分量的反射信息。反射信息利用单元40利用由反射信息生成单元30生成的反射信息,获得反映在偏振图像中的视觉目标对象的图像。此外,深度估计单元估计反射面区域的深度值,根据估计的深度值,和反映在反射面区域中的视觉目标对象的图像,获得视觉目标对象的位置。从而能够容易地确认位于例如盲点区域的视觉目标对象。
Description
技术领域
本技术涉及信息获得设备和信息获得方法。更具体地,本技术使得能够从周围区域的图像,利用反射分量来获得被摄对象信息。
背景技术
按照惯例,在成像器件上布置偏振滤光器,以获得偏振信息。此外,偏振信息被用于获得期望的图像。例如,在PTL 1中公开利用偏振滤光器减少由车辆的挡风玻璃反射的照明光或太阳光的影响,以允许拍摄诸如车辆内的驾驶员之类的人物的图像。
[引文列表]
[专利文献]
[PTL 1]JP 2011-002718A
发明内容
[技术问题]
顺便提及,在利用偏振信息来获取期望图像的情况下,反射分量通常被除去。然而,反射分量可能包括盲点区域中的被观察对象的信息,从而,反射分量可能是对于例如车辆的驾驶员来说有用的信息。
因而,本技术的一个目的是提供一种从周围区域的图像,利用反射分量获得被观察对象的信息的信息获得设备和信息获得方法。
[针对技术问题的技术方案]
本技术的第一方面提供一种信息获得设备,包括
反射信息生成单元,所述反射信息生成单元从多个偏振方向的偏振图像,生成指示反射分量的反射信息,和
反射信息利用单元,所述反射信息利用单元利用反射信息,获得出现在偏振图像中的被观察对象的信息。
在本技术中,反射信息生成单元从多个偏振方向的偏振图像,生成指示反射分量的反射信息。例如,反射信息生成单元把偏振度等于或大于阈值的集中区域设定为反射面区域,并生成作为所述反射面区域的图像的反射图像。反射信息利用单元利用反射信息,获得出现在偏振图像中的被观察对象的信息。例如,反射信息利用单元利用反射图像进行被摄对象识别,并获得被观察对象的图像。此外,反射信息包括反射面区域的方位角信息,且反射信息利用单元根据方位角信息,连同被观察对象的图像一起地显示反射面区域的方向。
此外,反射信息利用单元利用多个视点的对应反射面区域中的对应被观察对象的反射信息,和估计的对应反射面区域的距离,获得对应被观察对象的位置。此外,还设置有根据多个视点的偏振图像,估计反射面区域的距离的深度估计单元。深度估计单元利用从多个视点的偏振图像中排除反射分量的图像,每个偏振图像地估计反射面区域的距离。另外,反射信息利用单元利用多个反射面区域每一个的距离,和由反射信息生成单元生成的多个反射面区域每一个的反射信息,获得出现在多个反射面区域中的被观察对象的位置。此外,反射信息利用单元利用在多个时间点中的每个时间点的反射面区域的距离,和由反射信息生成单元生成的在多个时间点中的每个时间点的反射面区域的反射信息,获得出现在多个时间点的反射面区域中的被观察对象的位置。这里,在获得包括反射面区域的偏振图像的偏振图像获得单元随时间的推移而移动,以获得在多个时间点的偏振图像的情况下,反射信息利用单元利用以在预定时间点的偏振图像获得单元的位置作为基准的反射面区域的估计距离、相对于在预定时间点的偏振图像获得单元的位置,在不同时间点的偏振图像获得单元的位置,和由反射信息生成单元生成的在多个时间点中的每个时间点的反射面区域的反射信息,获得出现在多个时间点的反射面区域中的被观察对象的位置。在反射面区域随时间的推移而移动的情况下,反射信息利用单元利用在多个时间点中的每个时间点的反射面区域的估计距离,和由反射信息生成单元生成的在多个时间点中的每个时间点的反射面区域的反射信息,获得出现在反射面区域中的被观察对象的位置。
本技术的第二方面提供一种信息获得方法,包括
利用反射信息生成单元,从多个偏振方向的偏振图像,生成指示反射分量的反射信息,和
利用反射信息利用单元,通过利用反射信息,获得出现在偏振图像中的被观察对象的信息。
[发明的有益效果]
按照本技术,反射信息生成单元从多个偏振方向的偏振图像,生成指示反射分量的反射信息。此外,反射信息利用单元利用反射信息获得出现在偏振图像中的被观察对象的信息。于是,可从周围区域的图像,利用反射分量容易地检查位于例如盲点区域中的被观察对象。注意,记载在本说明书中的有益效果仅仅是例证性的,而不是限制性的,可存在另外的有益效果。
附图说明
图1是图解说明第一实施例的构成的示图。
图2是说明利用偏振图像获得单元获得的偏振图像的示图。
图3是说明被摄对象的形状和偏振图像的示图。
图4是图解说明亮度和偏振角之间的关系的示图。
图5是说明第一实施例的操作的流程图。
图6是说明反射信息生成单元的操作的流程图。
图7是说明利用反射信息的处理的例子的流程图。
图8是说明利用反射信息的处理的另一个例子的流程图。
图9是图解说明第一实施例的操作例子的示图。
图10是图解说明第二实施例的构成的示图。
图11是说明到被摄对象的距离的计算的示图。
图12是说明区域的对应的示图。
图13是说明被观察对象的位置的计算的示图。
图14是说明被观察对象的位置的估计操作的流程图。
图15是图解说明第三实施例的构成的示图。
图16是说明被观察对象的位置的计算的示图。
图17是说明被观察对象的位置的估计操作的流程图。
图18是说明第三实施例的操作例子的示图。
图19是图解说明第四实施例的构成的示图。
图20是说明被观察对象的位置的计算的示图。
图21是说明被观察对象的位置的估计操作的流程图。
图22是说明第四实施例的操作例子的示图。
图23是说明另一个实施例的操作例子的示图。
图24是图解说明车辆控制***的示意构成的方框图。
图25是图解说明偏振图像获得单元的安装例子的示图。
具体实施方式
下面,说明本技术的实施例。注意,实施例是按照以下顺序说明的。
1.第一实施例
2.第二实施例
3.第三实施例
4.第四实施例
5.其他实施例
6.信息获得设备的应用例
<1.第一实施例>
图1图解说明信息获得设备的第一实施例的构成。信息获得设备10包括偏振图像获得单元20、反射信息生成单元30和反射信息利用单元40。
偏振图像获得单元20获得偏振方向不同的多个偏振图像,比如3个或更多个偏振方向的偏振图像。图2是说明利用偏振图像获得单元20获得的偏振图像的示图。例如,如在图2的(a)中所示,在图像传感器IMS上,布置具有3个或更多个偏振方向的像素构成的偏振滤光器PLF,以拍摄并生成偏振方向不同的多个偏振图像。注意在图2的(a)中图解所示的情况下,布置在图像传感器IMS的入射面上的偏振滤光器PLF把各个像素变换成不同的4种偏振方向(偏振方向用箭头指示)的像素。另外,如在图2的(b)中所示,在摄像头CM1~CM4之前,可以设置偏振方向不同的偏振片PL1~PL4,并且摄像头CM1~CM4可拍摄并生成偏振方向不同的多个偏振图像。此外,如在图2的(c)中所示,也可利用多镜头阵列的构成来生成偏振方向不同的多个偏振图像。例如,在图像传感器IMS的前表面上,设置多个镜头LZ(图2中,4个),每个镜头LZ分别在图像传感器IMS的像面上,形成被摄对象的光学图像。此外,在各个镜头LZ的前表面上,设置偏振片PL,偏振片PL的偏振方向是不同的方向。按照该构成,图像传感器IMS能够生成偏振方向不同的偏振图像。偏振图像获得单元20把利用这类构成获得的3个或更多个偏振方向的偏振图像,输出给反射信息生成单元30。注意,图像传感器或摄像头可被分开地设置在偏振图像获得单元20上,且可从图像传感器或摄像头获得图像信号,以把3个或更多个偏振方向的偏振图像输出给反射信息生成单元30。
反射信息生成单元30从偏振方向不同的多个偏振图像,生成反射信息。这里将参考图3,说明被摄对象的形状和偏振图像。例如,光源LT用于照亮被摄对象OB,摄像头CM通过偏振片PL,对被摄对象OB成像。这种情况下,在拍摄的图像中,被摄对象OB的亮度随着偏振片PL的偏振方向而变化。注意,为了使说明更容易,例如,偏振片PL被旋转,以拍摄图像,从而获得多个偏振图像。最高的亮度被定义为Imax,最低的亮度被定义为Imin。此外,当偏振片PL被旋转时相对于x轴的y轴方向的角度被定义为偏振角ν,其中二维坐标系中的x轴和y轴在偏振片PL的平面上。
当偏振片PL被旋转180°时,偏振片PL恢复初始的偏振状态,从而偏振片PL具有180°的周期。此外,当观察到最大亮度Imax时的偏振角ν被定义为方位角α。通过进行这样的定义,可如式(1)中一样地表示在偏振片PL被旋转时观察到的亮度I。注意,图4图解说明亮度和偏振角之间的关系。在本技术中,利用镜面反射来获得盲点区域中的被观察对象的信息。在镜面反射的情况下,方位角相对于偏振角偏离90°,从而方位角为90°±偏振角。于是,如图4中所示,在作为亮度的下限的最小亮度Imin的部分处获得方位角α。此外,最大亮度Imax和最小亮度Imin之差(Imax-Imin)是反射分量。
[数学式1]
在式(1)中,偏振角υ在生成偏振图像时是明确的,最大亮度Imax、最小亮度Imin和方位角α是变量。于是,可以使用3个或更多个偏振方向的偏振图像的亮度,并拟合成式(1)中所示的模型方程,以根据指示亮度和偏振角之间的关系的模型方程,确定作为具有最大亮度的偏振角的方位角α。
如上所述,方位角α是相对于x轴方向的y轴方向的角度。这里,当通过旋转偏振片PL,获得最小亮度Imin和最大亮度Imax时,可根据式(2),计算偏振度ρ。
[数学式2]
反射信息生成单元30对于3个或更多个偏振方向的偏振图像的每个像素,计算在式(1)中所示的模型方程。此外,反射信息生成单元30还提取反射面区域,反射面区域是像素被集中的集中区域,其中在所述像素中,在式(2)中所示的偏振度ρ等于或大于预设阈值。反射信息生成单元30进一步对于提取的反射面区域的每个像素,计算最大亮度Imax和最小亮度Imin之差(Imax-Imin),并把该差值设定为反射分量。反射信息生成单元30从3个或更多个偏振方向的偏振图像,生成反射信息,比如指示反射面区域、反射分量和方位角的反射信息,并把该反射信息输出给反射信息利用单元40。
反射信息利用单元40利用反射信息生成单元30生成的反射信息,来获得呈现信息、控制信息等。例如,反射信息利用单元40向用户呈现作为指示反射分量的图像的反射图像。连同反射面区域的图像一起,反射信息利用单元40还根据反射面区域的方位角,向用户呈现指示反射面区域面向的方向的方向指示。反射信息利用单元40还可利用反射信息,来获得被观察对象的位置信息,作为可用于控制车辆的驾驶等的信息。
下面,说明第一实施例的操作。图5是说明第一实施例的操作的流程图。在步骤ST1,信息获得设备获得偏振图像。信息获得设备10的偏振图像获得单元20获得通过使用偏振滤光器或偏振片而生成的3个或更多个偏振方向的偏振图像,随后进入步骤ST2。
在步骤ST2,信息获得设备生成反射信息。信息获得设备的反射信息生成单元30利用在步骤ST1获得的偏振图像,来生成反射信息。图6是说明反射信息生成单元30的操作的流程图。
在步骤ST11,反射信息生成单元输入偏振图像。反射信息生成单元30输入由偏振图像获得单元20获得的偏振图像,随后进入步骤ST12。
在步骤ST12,反射信息生成单元计算偏振模型。反射信息生成单元30使用3个或更多个偏振方向的偏振图像,并把每个像素拟合到式(1)中所示的模型方程,以便每个像素地计算偏振模型和偏振度。反射信息生成单元30进入步骤ST13。
在步骤ST13,反射信息生成单元提取反射面区域。反射信息生成单元30提取反射面区域,反射面区域是像素被集中的集中区域,其中在所述像素中,偏振度等于或大于预设阈值。反射信息生成单元30进入步骤ST14。
在步骤ST14,反射信息生成单元输出反射信息。反射信息生成单元30对于在步骤ST13提取的反射面区域的每个像素,计算反射分量,并输出反射面区域的反射分量,作为反射信息。此外,反射信息生成单元30可把指示根据反射面区域的每个像素的模型方程等计算的方位角,并且指示反射面区域的位置的信息,包含在反射信息中。
返回图5,在步骤ST3,执行利用反射信息的处理。图7是说明利用反射信息的处理的例子的流程图。在步骤ST21,反射信息利用单元输入反射信息。反射信息利用单元40输入由反射信息生成单元30生成的反射信息,随后进入步骤ST22。
在步骤ST22,反射信息利用单元执行反射分量的显示处理。反射信息利用单元40根据反射信息,显示作为指示反射面区域的反射分量的图像的反射分量图像。此外,在反射信息包括方位角的信息的情况下,连同反射分量图像一起,反射信息利用单元40利用箭头等,显示反射面区域的方位角,即,出现在反射面区域中的被摄对象的方向。注意,用于显示反射分量的区域不限于整个反射面区域。例如,可以显示用户选择的区域的反射分量图像。此外,反射信息利用单元40可以显示偏振度大于反射面区域中的平均偏振度的区域,或者可以显示偏振度最大的区域。
图8是说明利用反射信息的处理的另一个例子的流程图。在步骤ST31,反射信息利用单元输入反射信息。反射信息利用单元40输入由反射信息生成单元30生成的反射信息,随后进入步骤ST32。
在步骤ST32,反射信息利用单元进行被摄对象识别。反射信息利用单元40根据反射信息,确定作为指示反射面区域的反射分量的图像的反射分量图像中的被摄对象的种类。更具体地,反射信息利用单元40进行被摄对象识别,以确定出现在反射面区域中的人、自行车、摩托车、汽车等,随后进入步骤ST33。
在步骤ST33,反射信息利用单元显示被摄对象识别结果。反射信息利用单元40显示在被摄对象识别中识别出的人、自行车、摩托车、汽车等的图像。此外,在方位角信息包含在反射信息中的情况下,连同被摄对象的图像一起,反射信息利用单元40利用箭头等,显示确定的被摄对象的方向。
图9图解说明第一实施例的操作例子。在图9中,(a)图解说明其中被观察对象VOB的位置在由障碍物DB产生的盲点的位置处,且从偏振图像获得单元20不能直接看到被观察对象VOB的情况。在构造物BA的壁面由玻璃等构成,从而是反射面的情况下,被观察对象VOB出现在可从偏振图像获得单元20看到的构造物BA的壁面上。于是,信息获得设备10可如上所述地获得偏振图像,并提取反射分量,以显示被观察对象VOB的图像。于是,利用反射分量图像,能够检查归因于障碍物DB而不能被看到的诸如自行车之类的被观察对象VOB。
在图9中,(b)图解说明其中被观察对象VOB的位置在由构造物BB产生的盲点的位置处,且从偏振图像获得单元20不能直接看到被观察对象VOB的情况。在构造物BA的壁面由玻璃等构成,从而是反射面的情况下,被观察对象VOB出现在可从偏振图像获得单元20看到的构造物BA的壁面上。于是,信息获得设备10可如上所述地获得偏振图像,并提取反射分量,以显示被观察对象VOB的图像。于是,利用反射分量图像,能够检查归因于构造物BB而不能被看到的诸如人之类的被观察对象VOB。
此外,通过把方位角包含在反射信息中,还能够容易地确定被观察对象VOB的位置的方向。例如,图9的(c)图解说明在图9的(a)中所示的利用信息获得设备10提取的反射分量的图像。这里,反射被观察对象VOB的壁面的法线方向是左方向,箭头Fob指示被观察对象VOB位于左方向。
按照这样的实施例,多个偏振方向的偏振图像可被用于利用提取的反射分量,且能够检查位于盲点的被观察对象的信息。
<2.第二实施例>
下面,在第二实施例中说明的情况中,不仅能够容易地检查位于盲点的被观察对象,而且能够估计被观察对象的位置。
图10图解说明第二实施例的构成。信息获得设备10包括偏振图像获得单元20-1和20-2、反射信息生成单元30-1和30-2、深度估计单元50、和位置估计单元60。
偏振图像获得单元20-1和20-2是按照和第一实施例的偏振图像获得单元20相似的方式构成的,偏振图像获得单元20-1和20-2利用偏振片或偏振滤光器,获得3个或更多个偏振方向的偏振图像。此外,偏振图像获得单元20-1和偏振图像获得单元20-2构成立体摄像机,偏振图像获得单元20-1把获得的左视点的偏振图像输出给反射信息生成单元30-1和深度估计单元50。此外,偏振图像获得单元20-2把获得的右视点的偏振图像输出给反射信息生成单元30-2和深度估计单元50。
反射信息生成单元30-1和30-2是按照和第一实施例的反射信息生成单元30相似的方式构成的。反射信息生成单元30-1和30-2对于3个或更多个偏振方向的偏振图像的每个像素,计算在式(1)中所示的模型方程。反射信息生成单元30-1和30-2还提取反射面区域,反射面区域是像素被集中的集中区域,其中在所述像素中,在式(2)中所示的偏振度ρ等于或大于预设阈值。反射信息生成单元30-1和30-2进一步对于提取的反射面区域的每个像素,计算最大亮度Imax和最小亮度Imin之差(Imax-Imin),并把该差值设定为反射分量。反射信息生成单元30-1和30-2从3个或更多个偏振方向的偏振图像,生成反射信息,比如指示反射面区域、反射分量和方位角的反射信息,并把该反射信息输出给位置估计单元60。
深度估计单元50利用偏振图像获得单元20-1和20-2获得的偏振图像来执行匹配处理,计算到反射面区域的距离。在匹配处理中,例如,可以使用从偏振图像生成的非偏振图像,或者可以使用偏振图像。此外,可以使用由反射信息生成单元30-1和30-2生成的反射分量图像。例如,在图2的(a)的情况下,通过求偏振方向不同的4个相邻像素的亮度的平均值,可以获得非偏振图像。另外,在图2的(b)的情况下,每个像素中,偏振方向不同的亮度偏振图像的亮度可被平均,以获得非偏振图像。此外,在图2的(c)的情况下,如果镜头LZ之间的距离小于到被观察对象的距离,以致该距离可被忽略,那么在偏振方向不同的多个偏振图像中,视差可被忽略。于是,偏振方向不同的偏振图像的亮度可被平均,以获得非偏振图像。另外,如果周围的被摄对象出现在反射面区域中,那么在匹配处理中计算到反射面区域的距离之际,归因于出现在反射面区域中的被摄对象的图像的影响,不能精确地计算到反射面区域的距离。于是,深度估计单元50可除去由反射信息生成单元30-1和30-2计算的反射分量,使用图像来执行匹配处理。此外,如果反射面区域是窗玻璃等,那么当反射分量被除去时,可以计算到室内的距离。于是,对于除根据偏振度ρ确定的反射面区域以外的区域计算的距离、对于反射面区域和另一个区域之间的边界计算的距离等可用于进行插值处理等,以计算到各个图像中的反射面区域的距离。
深度估计单元50可把诸如基于区域的匹配、基于特征的匹配和模板匹配之类的任意方法用于匹配处理。深度估计单元50执行匹配处理,以根据对应像素位置的偏差量,生成指示到反射面区域的各个像素中的被摄对象的距离的深度信息。
图11是说明到被摄对象的距离的计算的示图。注意,图11图解说明其中偏振图像获得单元20-1和20-2按相同的姿势,被布置在左侧和右侧的情况。这里,左侧的偏振图像获得单元20-1充当标准单元,右侧的偏振图像获得单元20-2充当参照单元。此外,偏振图像获得单元20-1和20-2的标准位置之间的间隔(基线长度)被定义成“b”,偏振图像获得单元20-1和20-2的焦距被定义成“f”。这种情况下,当参照单元中的被摄对象位置XR相对于标准单元中的被摄对象位置XL偏离“Ld”时,根据式(3),可以计算到被摄对象的位置P的距离“Py”。此外,由于连接偏振图像获得单元20-1的标准位置和位置P的直线的斜率为“XL/f”,距偏振图像获得单元20-1的距离“Px”为“Px=(XL/f)Py”,其中位置P在与偏振图像获得单元20-1和20-2的排列方向正交的方向上。
[数学式3]
位置估计单元60利用由反射信息生成单元30-1和30-2生成的反射信息,把反射面区域联系起来。位置估计单元60把例如具有相似的平均偏振度的区域视为对应区域。此外,例如,通过利用从偏振图像生成的非偏振图像,或者利用从偏振图像中除去反射分量获得的图像,进行匹配处理,可确定区域的对应。图12是说明区域的对应的示图。在图12中,(a)图解说明基于由反射信息生成单元30-1生成的反射信息的反射面区域ARFa-1和ARFb-1。此外,在图12中,(b)图解说明基于由反射信息生成单元30-2生成的反射信息的反射面区域ARFa-2和ARFb-2。位置估计单元60执行如上所述的处理,以确定反射面区域ARFa-1和反射面区域ARFa-2的对应区域,以及反射面区域ARFb-1和反射面区域ARFb-2的对应区域。
之后,位置估计单元60把对应的反射面区域中的被观察对象的区域联系起来。例如,位置估计单元60进行被摄对象识别,把具有相同识别结果的图像区域视为被观察对象的对应区域。注意,可根据图像特征量等的匹配结果,确定被观察对象的对应。此外,在被观察对象是发光体的情况下,可根据具有最大亮度值的像素,确定对应区域。在图12中,(c)图解说明基于由反射信息生成单元30-1生成的反射信息的反射面区域ARFa-1。此外,在图12中,(d)图解说明对应于反射面区域ARFa-1的反射面区域ARFa-2。位置估计单元60执行如上所述的处理,以确定反射面区域ARFa-1中的被观察对象的区域Gob-1,和与被观察对象的区域Gob-1对应的反射面区域ARFa-2中的被观察对象的区域Gob-2。
此外,位置估计单元60进一步根据由深度估计单元50生成的深度信息、对应反射面区域的位置信息和反射面区域中的对应被观察区域的位置信息,计算被观察对象的位置。
图13是说明被观察对象的位置的计算的示图。注意在图13中,左视点的偏振图像获得单元20-1在坐标系的原点(0,0)处。此外,被观察对象在位置Z处,被观察对象的虚像在位置Z'处。
这里,偏振图像获得单元20-1的位置被定义为L(0,0),偏振图像获得单元20-2的位置被定义为R(b,0)。此外,在连接偏振图像获得单元20-1和虚像的位置Z'的直线上的反射面区域MR的位置被定义为P(px,py),在连接偏振图像获得单元20-2和虚像的位置Z'的直线上的反射面区域MR的位置被定义为Q(qx,qy)。这种情况下,通过利用反射面区域MR的深度信息等,位置P(px,py)和位置Q(qx,qy)变得明显。
指示直线LP的公式是式(4),指示直线RQ的公式是式(5)。此外,直线LP和直线RQ的交点在位置Z'处。更具体地,位置Z'可用式(6)表示。
[数学式4]
此外,待计算的被观察对象的位置Z是满足式(7)和式(8)的位置。这里,当如式(9)中所示定义“m”时,可根据式(10),计算被观察对象的位置Z。
[数学式5]
于是,从反射面区域的深度信息获得的位置P(px,py)和位置Q(qx,qy)的值可被代入式(6),以计算被观察对象的位置Z。
注意,被观察对象的位置Z的计算不限于上述方法。例如,可以计算出现在2个不同视点的反射面区域中的被观察对象的虚像的位置Z',随后可以绕连接位置(px,py)和位置Q(qx,qy)的线(反射面),反转位置Z',以计算被观察对象的位置Z。
在第二实施例的操作中,在图5的流程图中的步骤ST3的处理中,估计被观察对象的位置。图14是说明被观察对象的位置的估计操作的流程图。
在步骤ST41,位置估计单元输入第一反射信息。位置估计单元60输入从反射信息生成单元30-1输出的反射信息,作为第一反射信息,随后进入步骤ST44。
在步骤ST42,位置估计单元输入第二反射信息。位置估计单元60输入从反射信息生成单元30-2输出的反射信息,作为第二反射信息,随后进入步骤ST44。
在步骤ST43,位置估计单元输入深度信息。位置估计单元60输入从深度估计单元50输出的深度信息,随后进入步骤ST46。
在步骤ST44,位置估计单元执行反射面区域的关联处理。位置估计单元60根据第一和第二反射信息,把反射面区域联系起来,随后进入步骤ST45。
在步骤ST45,位置估计单元执行被观察对象区域的关联处理。位置估计单元60利用在步骤ST44中判定对应的反射面区域,把同一被观察对象的区域联系起来,随后进入步骤ST46。
在步骤ST46,位置估计单元估计被观察对象的位置。位置估计单元60利用包含在反射面区域中的同一被观察对象的区域和深度信息,进行式(10)的运算,从而估计被观察对象的位置。
按照第二实施例,就位于盲点等的被观察对象的信息而言,可以确定被观察对象的位置。此外,由于能够确定位于盲点等的被观察对象的位置,因此信息获得设备10可被设置在车辆等中,以能够实现更安全的驾驶等。
<3.第三实施例>
顺便提及,尽管在第二实施例中说明的情况下,从多个视点的偏振图像估计被观察对象的位置,不过在第三实施例中说明的情况下,多个反射面区域的反射信息用于估计被观察对象的位置。
图15图解说明第三实施例的构成。信息获得设备10包括偏振图像获得单元20、反射信息生成单元30、深度估计单元51和位置估计单元61。
偏振图像获得单元20是按照和第一实施例相似的方式构成的,偏振图像获得单元20利用偏振片或偏振滤光器来获得3个或更多个偏振方向的偏振图像。偏振图像获得单元20把获得的偏振图像输出给反射信息生成单元30。
反射信息生成单元30是按照和第一实施例相似的方式构成的。反射信息生成单元30对于3个或更多个偏振方向的偏振图像中的每个像素,计算式(1)中所示的模型方程。反射信息生成单元30还提取反射面区域,反射面区域是像素被集中的集中区域,其中在所述像素中,在式(2)中所示的偏振度ρ等于或大于预设阈值。反射信息生成单元30进一步对于提取的反射面区域的每个像素,计算最大亮度Imax和最小亮度Imin之差(Imax-Imin),并把该差值设定为反射分量。反射信息生成单元30从3个或更多个偏振方向的偏振图像,生成反射信息,比如指示反射面区域、反射分量和方位角的反射信息,并把该反射信息输出给位置估计单元61。
深度估计单元51是通过利用能够估计到对象的距离的设备构成的。例如,深度估计单元51是通过利用TOF(飞行时间)摄像机、立体摄像机、结构光等构成的。在使用TOF摄像机的情况下,深度估计单元51根据投射光的返回时间等,估计距离。此外,在使用立体摄像机的情况下,深度估计单元51利用视差来估计距离。此外,在使用结构光的情况下,深度估计单元51分析投射图案的变形,以估计距离。深度估计单元51把指示距离的估计结果的深度信息,输出给位置估计单元61。
位置估计单元61根据由反射信息生成单元30生成的反射信息,和由深度估计单元51生成的深度信息,计算被观察对象的位置。
图16是说明被观察对象的位置的计算的示图。注意在图16中,偏振图像获得单元20在坐标系的原点(0,0)处。由于获得了反射面区域的深度信息,因此和第二实施例中一样,被观察对象的反射面区域MRa的位置P(px,py),和反射面区域MRb的位置Q(qx,qy)是明显的。此外,根据反射面区域的深度信息,反射面区域MRa的斜率s和反射面区域MRb的斜率t也是明显的。
这里,偏振图像获得单元20的位置L(0,0)相对于反射面区域MRa的对称位置被定义为L'(l'x,l'y),相对于反射面区域MRb的对称位置被定义为L″(l″x,l″y)。被观察对象的位置在连接位置L'和位置P的直线,与连接位置L″和位置Q的直线的交点处。
这里,斜率为s的反射面区域MRa与连接位置L'(l'x,l'y)和位置P的直线相互正交,式(11)成立。此外,位置P(px,py)在距位置L(0,0)和位置L'(l'x,l'y)距离相等之处,式(12)成立。于是,根据式(13),可计算位置L'(l'x,l'y)。类似地,根据式(14),可以计算位置L″(l″x,l″y)。
[数学式6]
指示直线L'P的公式是式(15),指示直线L″Q的公式是式(16)。于是,式(17)允许估计作为连接位置L'和位置P的直线,与连接位置L″和位置Q的直线的交点的被观察对象的位置Z(zx,zy)。
[式7]
在第三实施例的操作中,在图5的流程图的步骤ST3的处理中,估计被观察对象的位置。图17是说明被观察对象的位置的估计操作的流程图。
在步骤ST51,位置估计单元输入反射信息。位置估计单元61输入从反射信息生成单元30输出的反射信息,随后进入步骤ST52。
在步骤ST52,位置估计单元检测同一被观察对象的区域。根据在步骤ST51输入的反射信息,位置估计单元61从由偏振图像获得单元20获得的偏振图像中的多个反射面区域,确定反射同一被观察对象的反射面区域。此外,位置估计单元61进一步从确定的反射面区域的反射分量图像,检测同一被观察对象的区域,随后进入步骤ST54。
在步骤ST53,位置估计单元输入深度信息。位置估计单元61输入由深度估计单元51生成的深度信息,随后进入步骤ST54。
在步骤ST54,位置估计单元估计被观察对象的位置。基于深度信息,位置估计单元61利用反射同一被观察对象的多个反射面区域的位置,和出现在反射面区域中的被观察对象在反射面区域上的位置,进行式(17)的运算,以估计被观察对象的位置。
图18图解说明第三实施例的操作例子。在例示的情况中,被观察对象VOB的位置是由构造物BB产生的盲点的位置,从偏振图像获得单元20不能直接看到被观察对象VOB。这里,在位于前方的汽车等的侧面是反射面的情况下,被观察对象VOB出现在可从偏振图像获得单元20看到的汽车等的侧面(反射面区域)MRa和MRb中。于是,信息获得设备10可如上所述获得偏振图像,以进行被观察对象的位置估计,从而估计被观察对象VOB的位置。
按照第三实施例,反射被观察对象的多个反射面区域的反射信息可被用于确定位于盲点等的被观察对象的位置。此外,可在不像第二实施例中那样,利用视点位置不同的多个偏振图像获得单元的情况下,确定被观察对象的位置。此外,由于能够确定位于盲点等的被观察对象的位置,因此信息获得设备10可被设置在车辆等中,以能够实现更安全的驾驶等。
<4.第四实施例>
顺便提及,当偏振图像获得单元移动时,利用偏振图像获得单元获得的偏振图像是视点不同的图像。更具体地,在不设置多个偏振图像获得单元的情况下,随着时间的推移,可获得视点位置不同的多个偏振图像。于是,在第四实施例中说明的情况下,由于偏振图像获得单元的移动而获得的视点位置不同的偏振图像用于估计被观察对象的位置。
图19图解说明第四实施例的构成。信息获得设备10包括偏振图像获得单元20、反射信息生成单元30、深度估计单元51和位置估计单元62。
偏振图像获得单元20是按照和第一实施例相似的方式构成的,偏振图像获得单元20利用偏振片或偏振滤光器来获得3个或更多个偏振方向的偏振图像。偏振图像获得单元20把获得的偏振图像输出给反射信息生成单元30。
反射信息生成单元30是按照和第一实施例类似的方式构成的。反射信息生成单元30对于3个或更多个偏振方向的偏振图像中的每个像素,计算式(1)中所示的模型方程。此外,反射信息生成单元30还提取反射面区域,反射面区域是像素被集中的集中区域,其中在所述像素中,在式(2)中所示的偏振度ρ等于或大于预设阈值。此外,反射信息生成单元30进一步对于提取的反射面区域的每个像素,计算最大亮度Imax和最小亮度Imin之差(Imax-Imin),并把该差值设定为反射分量。反射信息生成单元30从3个或更多个偏振方向的偏振图像,生成反射信息,比如指示反射面区域、反射分量和方位角的反射信息,并把该反射信息输出给位置估计单元61。
和第三实施例中一样,深度估计单元51是通过利用能够估计到被摄对象的距离的设备构成的,深度估计单元51估计距离,并把指示估计结果的深度信息输出给位置估计单元62。
位置估计单元62根据由反射信息生成单元30每隔一段时间生成的反射信息,和由深度估计单元51生成的深度信息,计算被观察对象的位置。
图20是说明被观察对象的位置的计算的示图。注意在图20中,偏振图像获得单元20在时间点T+1的位置被设定为坐标系的原点(0,0),并被定义为位置J(0,0)。此外,偏振图像获得单元20在时间点T的位置被定义为B(0,-b)。注意,在时间点T获得的偏振图像可被视为第一视点的偏振图像,在时间点T+1获得的偏振图像可被视为第二视点的偏振图像。这样,可按照和第二实施例类似的方式,生成深度信息。
反射面区域的深度信息可被用于识别在时间点T的反射面区域MR中的被观察对象的图像位置P(px,py),和在时间点T+1的反射面区域MR中的被观察对象的图像位置Q(qx,qy)。注意,根据测距仪的信息,或者根据利用定位***等检测的偏振图像获得单元20在时间点T和T+1的位置,可以计算从时间点T到时间点T+1的移动距离b。
这种情况下,指示直线JP的公式是式(18),指示直线BQ的公式是式(19)。此外,直线JP和直线BQ的交点在虚像的位置Z'处。更具体地,位置Z'可用式(20)表示。
[式8]
此外,待计算的被观察对象的位置Z是满足式(21)和式(22)的位置。这里,当如式(23)中所示,定义“m”时,可根据式(24),计算被观察对象的位置Z。
[数学式9]
于是,从估计的反射面区域MR的深度信息获得的位置P(px,py)和位置Q(qx,qy)的值可被用于进行式(20)和式(24)的运算,以计算被观察对象的位置Z。
在第四实施例的操作中,在图5的流程图中的步骤ST3的处理中,估计被观察对象的位置。图21是说明被观察对象的位置的估计操作的流程图。
在步骤ST61,位置估计单元输入反射信息。位置估计单元62输入从反射信息生成单元30输出的反射信息,随后进入步骤ST62。
在步骤ST62,位置估计单元检测同一被观察对象。位置估计单元62根据在步骤ST61输入的反射信息,从由偏振图像获得单元20获得的偏振图像中的多个反射面区域中,确定反射同一被观察对象的反射面区域。此外,位置估计单元62从确定的反射面区域的反射分量图像,进一步检测同一被观察对象的区域,随后进入步骤ST64。
在步骤ST63,位置估计单元输入深度信息。位置估计单元62输入由深度估计单元51生成的深度信息,随后进入步骤ST64。
在步骤ST64,位置估计单元估计被观察对象的位置。根据深度信息,位置估计单元62利用反射同一被观察对象的反射面区域在时间点T和在时间点T+1的位置,以及出现在反射面区域中的被观察对象在反射面区域上的位置,进行式(24)的运算,从而估计被观察对象的位置。
图22图解说明第四实施例的操作例子。图22图解说明其中被观察对象VOB的位置在由构造物BB产生的盲点的位置处,且从偏振图像获得单元20不能直接看到被观察对象VOB的情况。在构造物BA的壁面由玻璃等构成,从而是反射面的情况下,被观察对象VOB出现在从偏振图像获得单元20可看到的构造物BA的壁面上。此外,在图22中,(a)图解说明在时间点T的偏振图像获得单元20的位置,图22的(b)图解说明在时间点T+1的偏振图像获得单元20在移动之后的位置。这种情况下,在时间点T的位置处的视点的多个偏振方向的偏振图像,和在时间点T+1的位置处的视点的多个偏振方向的偏振图像可被用于如上所述进行位置估计,以估计被观察对象VOB的位置。
按照第四实施例,反射被观察对象的多个反射面区域的反射信息可被用于确定位于盲点等的被观察对象的位置。此外,可在不像第二实施例中那样,利用视点位置不同的多个偏振图像获得单元的情况下,确定位于盲点等的被观察对象的位置。此外,即使偏振图像不包括反射同一被观察对象的多个反射面区域,也能够确定被观察对象的位置。
<5.其他实施例>
顺便提及,在第四实施例中说明的情况下,偏振图像获得单元20被移动,以确定位于盲点的被观察对象的位置。不过,如果被观察对象出现在包括反射面的移动体中,那么如图23中所示,从通过当移动体在时间点T的位置时,对反射面成像而获得的偏振图像,和通过当移动体在时间点T+1的位置时,对反射面成像而获得的偏振图像,可确定被观察对象的位置。
这种情况下,在时间点T的偏振图像的反射面区域MRt,和在时间点T+1的偏振图像的反射面区域MRt+1相当于在第三实施例中拍摄的偏振图像中的多个反射面区域MRa和MRb。于是,在时间点T的反射面区域MRt和在时间点T+1的反射面区域MRt+1可被用于进行和第三实施例同样的处理,以估计被观察对象VOB的位置。
<6.信息获得设备的应用例>
下面,说明信息获得设备的应用例。图24是图解说明利用本技术的信息获得设备的车辆控制***的示意构成的方框图。车辆控制***100包括通过通信网络120连接的多个控制单元和检测单元。在图24中图解所示的例子中,车辆控制***100包括驱动***控制单元131、车身***控制单元132、电池控制单元133、车外信息检测单元134、无线通信单元135、和综合控制单元140。通信网络120可以是遵从任意标准的车载通信网络,比如CAN(控制器局域网络)、LIN(本地互联网络)、LAN(局域网)、和FlexRay(注册商标)。此外,输入单元151、声音输出单元152和显示单元153连接到综合控制单元140。
各个控制单元包括:按照各种程序,进行算术处理的微计算机;保存微计算机执行的程序、用于各种运算的参数等的存储单元;和驱动待控制的各种设备的驱动电路。
驱动***控制单元131按照各种程序,控制与车辆的驱动***相关的设备的操作。例如,驱动***控制单元131起产生车辆的驱动力的驱动力产生设备,比如内燃机和驱动马达,把驱动力传送给车轮的驱动力传动机构,和调整车辆的转向角的转向机构的作用。驱动***控制单元131还可起产生车辆的制动力的诸如制动设备之类的控制设备,或者诸如ABS(防抱死制动***)和ESC(电子稳定控制)之类的控制设备的作用。
车辆状态检测单元1311连接到驱动***控制单元131。车辆状态检测单元1311例如包括检测车身的轴向旋转运动的角速度的陀螺传感器,检测车辆的加速度的加速度传感器,和检测加速踏板的操作量、制动踏板的操作量、转向轮的转向角、发动机转速、行驶速度等的传感器中的至少一个。驱动***控制单元131利用从车辆状态检测单元1311输入的信号,执行算术处理,以控制内燃机、驱动马达、电动助力转向设备、制动设备等。
车身***控制单元132按照各种程序,控制安装在车身上的各种设备的操作。例如,车身***控制单元132起无钥匙进入***、智能钥匙***、电动车窗设备、或者诸如前大灯、尾灯、制动灯、转向灯和雾灯之类的各种车灯的控制设备的作用。这种情况下,替代钥匙从移动设备发送的无线电波,或者各种开关的信号可被输入车身***控制单元132。车身***控制单元132接收无线电波或信号的输入,以控制车辆的门锁设备、电动车窗设备、车灯等。
电池控制单元133按照各种程序,控制作为驱动马达的电源的蓄电池1331。例如,诸如电池温度、电池输出电压和电池的剩余电量之类的信息从包括蓄电池1331的电池设备被输入电池控制单元133。电池控制单元133利用所述信号进行算术处理,以控制蓄电池1331的温度调节,或者控制包含在电池设备中的冷却设备等。
车外信息检测单元134检测配备车辆控制***100的车辆的外部信息。本技术的信息获得设备10设置在车外信息检测单元134上。
图25是图解说明偏振图像获得单元的安装例子的示图。偏振图像获得单元20设置在例如车辆80的前鼻、侧视镜、后保险杠、后门和车内的挡风玻璃的上部之中的至少一个位置。设置在前鼻的偏振图像获得单元20A和设置在车内的挡风玻璃的上部的偏振图像获得单元20B主要获得车辆80的前方的图像。设置在侧视镜的偏振图像获得单元20C和20D主要获得车辆80的侧方的图像。设置在后保险杠或后门的偏振图像获得单元20E主要获得车辆80的后方的图像。注意,图25图解说明各个偏振图像获得单元20A-20E的拍摄范围的例子。成像范围ARa指示设置在前鼻的偏振图像获得单元20A的成像范围,成像范围ARb指示设置在车内的挡风玻璃的上部的偏振图像获得单元20B的成像范围。各个成像范围ARc和ARd指示分别设置在侧视镜的偏振图像获得单元20C和20D的成像范围,成像范围ARe指示设置在后保险杠或后门的偏振图像获得单元20E的成像范围。
参见图24,车外信息检测单元134对车辆的周围区域成像,获得偏振图像,以如上所述生成反射信息和估计被观察对象的位置。车外信息检测单元134通过通信网络120,把生成的反射信息和被观察对象的位置估计结果输出给综合控制单元140。
无线通信单元135通过无线通信网络,比如DSRC(注册商标)(专用短程通信),与车外(比如其他车辆和管理道路状况等的管理中心)通信,并把接收的信息输出给综合控制单元140。无线通信单元135还把由车外信息检测单元134获得的反射信息等,传送给其他车辆、管理中心等。注意,无线通信单元135可通过无线通信网络,比如无线LAN的无线通信网络,和3G、LTE或4G之类的移动电话用无线通信网络,与管理中心通信。无线通信单元135还可接收全球定位***(GNSS:全球导航卫星***)的信号等,以测量位置,并把定位结果输出给综合控制单元140。
输入单元151、声音输出单元152和显示单元153连接到综合控制单元140。
输入单元151是利用诸如触摸面板、按钮、麦克风、开关和控制杆之类的允许乘客进行输入操作的设备实现的。输入单元151根据乘客等输入的信息,生成输入信号,并把所述输入信号输出给综合控制单元140。
声音输出单元152输出以来自综合控制单元140的声音信号为基础的声音,以可听见地向车辆的乘客发送信息。显示单元153根据来自综合控制单元140的图像信号,显示图像,并在视觉上向车辆的乘客发送信息。
综合控制单元140包括CPU(中央处理器)、ROM(只读存储器)、RAM(随机存取存储器)等。ROM(只读存储器)保存由CPU(中央处理器)执行的各种程序。RAM(随机存取存储器)保存诸如各种参数、运算的结果和传感器值之类的信息。CPU执行保存在ROM中的各种程序,以按照来自输入单元151的输入信号,通过经通信网络120,分别与控制单元、检测单元和无线通信单元的通信而获得的信息,保存在RAM中的信息等,控制车辆控制***100内的全部操作。综合控制单元140还生成指示可听见地发送给车辆的乘客的信息的声音信号,并把所述声音信号输出给声音输出单元152。综合控制单元140生成用于在视觉上向车辆的乘客发送信息的图像信号,并把所述图像信号输出给显示单元153。综合控制单元140还利用无线通信单元135与车外的各种设备(比如其他车辆和管理中心)通信。综合控制单元140还根据保存在ROM或RAM中的地图信息,和从无线通信单元135获得的定位结果,支持车辆的驾驶。
注意在图24中图解所示的例子中,通过通信网络120连接的至少两个控制单元可被集成为一个控制单元。或者,各个控制单元可由多个控制单元构成。此外,车辆控制***100可包括未图示的其他控制单元。其他控制单元可具有上述说明中的任意控制单元的部分或全部功能。更具体地,任意控制单元可以进行预定的算术处理,只要通过通信网络120传送和接收信息即可。
在把信息获得设备应用于车辆控制***的情况下,位于驾驶员的盲点区域的被观察对象的信息可被提供给驾驶员。例如,在显示单元153根据由车外信息检测单元134生成的反射信息,显示位于盲点区域的被观察对象的图像的情况下,能够检查隐藏在迎面来车之后的摩托车、自行车等,从而在转向期间,可避免与摩托车、自行车等的碰撞。也可检查位于建筑物等之后的车辆、人物等,这允许预测冲出来的车辆或人物。
此外,驱动***控制单元131和综合控制单元140可根据由车外信息检测单元134估计的被观察对象的位置,控制车辆的驱动。例如,从被观察对象的位置的变化,确定视点对象的移动方向和移动速度,在存在与车辆碰撞的可能性的情况下,控制转向、制动等,以进行闪避动作。这样,反射分量可用于安全驾驶。注意,在把信息获得设备应用于车辆控制***的情况下,通过利用车辆状态检测单元1311的检测结果,或者设置在车辆控制***上的定位***(未图示)的信息,可以计算第四实施例中的偏振图像获得单元的移动量。
此外,包括反射面的建筑物等的信息可被包含在地图信息中,当车辆接近包括反射面的建筑物时,根据由定位结果指示的当前位置,和地图信息,可以获得被观察对象的信息。这允许只有在包括反射面的建筑物在车辆附近时,才进行获取被观察对象的信息的处理,从而能够高效地进行车辆控制等。
另外,可利用无线通信,接收由另一辆车生成的反射信息等,另一辆车生成的反射信息等可被用于执行第三实施例的处理,以获得被观察对象的信息。
此外,可以进行利用无线通信,把反射面区域的检测位置、建筑物的信息等传送给管理中心的处理,和利用无线通信,把反射信息等传送给其他车辆的处理,以构成高效的交通***。
另外,本技术的信息获得设备不仅适用于车辆控制***,而且适用于监视***。这种情况下,能够检查在监视摄像头的盲点区域中的被观察对象的图像和位置,在不布置大量的监视摄像头,以消除盲点的情况下,可把反射分量用于高效的监视。
此外,本技术的信息获得设备不仅适用于车辆控制***和监视***,而且适用于其中需要确定在盲点等的区域中的被观察对象的各种领域。
记载在说明书中的一系列处理可以利用硬件、软件、或者硬件和软件的复合构成来进行。在进行利用软件的处理的情况下,通过把记录处理序列的程序安装在并入专用硬件中的计算机中的存储器上,执行所述处理。或者,可通过把程序安装在能够执行各种处理的通用计算机上,执行所述处理。
例如,程序可被预先记录在作为记录介质的硬盘、SSD(固态驱动器)、或ROM(只读存储器)中。或者,程序可被临时或永久保存(记录在)可拆卸记录介质,比如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用光盘)、BD(蓝光光盘(注册商标))、磁盘和半导体存储卡中。可作为所谓的套装软件地提供可拆卸记录介质。
此外,程序可从可拆卸记录介质,安装在计算机上,或者可通过诸如LAN(局域网)和因特网之类的网络,从下载站点无线地或者利用缆线地传送给计算机。计算机可接收传送的程序,并把程序安装在诸如内置硬盘之类的记录介质上。
注意,记载在本说明书中的有益效果仅仅是例证性的,而不是限制性的,可存在未被记载的附加有益效果。此外,本技术不应被理解成局限于本技术的实施例。本技术的实施例例证地公开了本技术,显然本领域的技术人员能够修改或替换实施例,而不脱离本技术的范围。更具体地,为了确定本技术的范围,应考虑权利要求书。
此外,也可如下构成本技术的信息获得设备。
(1)一种信息获得设备,包括:
反射信息生成单元,所述反射信息生成单元从多个偏振方向的偏振图像,生成指示反射分量的反射信息;和
反射信息利用单元,所述反射信息利用单元利用反射信息,获得出现在偏振图像中的被观察对象的信息。
(2)按照(1)所述的信息获得设备,其中
反射信息包含反射图像。
(3)按照(2)所述的信息获得设备,其中
反射信息生成单元把偏振度等于或大于阈值的集中区域,设定为反射面区域,并把反射面区域的图像设定为反射图像。
(4)按照(3)所述的信息获得设备,其中
反射信息利用单元利用反射图像进行被摄对象识别,并获得识别出的被观察对象的图像。
(5)按照(4)所述的信息获得设备,其中
反射信息包括反射面区域的方位角信息,和
反射信息利用单元根据方位角信息,连同被观察对象的图像一起地显示反射面区域的方向。
(6)按照(3)-(5)任意之一所述的信息获得设备,其中
反射信息利用单元利用从多个视点的偏振图像估计的反射面区域的距离,和由反射信息生成单元生成的反射面区域的反射信息,获得出现在反射面区域中的被观察对象的位置。
(7)按照(6)所述的信息获得设备,还包括:
深度估计单元,所述深度估计单元根据多个视点的偏振图像,估计反射面区域的距离。
(8)按照(7)所述的信息获得设备,其中
深度估计单元利用从多个视点的偏振图像中,除去反射分量的图像,估计反射面区域的距离。
(9)按照(6)-(8)任意之一所述的信息获得设备,其中
反射信息利用单元利用多个视点的对应反射面区域中的对应被观察对象的反射信息,和对应反射面区域的距离,获得对应被观察对象的位置。
(10)按照(3)-(5)任意之一所述的信息获得设备,其中
反射信息利用单元利用多个反射面区域每一个的距离,和由反射信息生成单元生成的多个反射面区域每一个的反射信息,获得出现在多个反射面区域中的被观察对象的位置。
(11)按照(3)-(5)任意之一所述的信息获得设备,其中
反射信息利用单元利用在多个时间点中的每个时间点的反射面区域的距离,和由反射信息生成单元生成的在多个时间点中的每个时间点的反射面区域的反射信息,获得出现在多个时间点的反射面区域中的被观察对象的位置。
(12)按照(11)所述的信息获得设备,其中
获得包括反射面区域的偏振图像的偏振图像获得单元随时间的推移而移动,以获得在多个时间点的偏振图像,和
反射信息利用单元利用以在预定时间点的偏振图像获得单元的位置作为基准的反射面区域的距离、相对于在预定时间点的偏振图像获得单元的位置,在和所述预定时间点不同的时间点的偏振图像获得单元的位置,和由反射信息生成单元生成的在多个时间点中的每个时间点的反射面区域的反射信息,获得出现在多个时间点的反射面区域中的被观察对象的位置。
(13)按照(11)所述的信息获得设备,其中
反射面区域随时间的推移而移动,和
反射信息利用单元利用在多个预定时间点中的每个时间点的反射面区域的距离,和由反射信息生成单元生成的在多个时间点中的每个时间点的反射面区域的反射信息,获得出现在反射面区域中的被观察对象的位置。
[工业应用性]
按照本技术的信息获得设备和信息获得方法,反射信息生成单元从多个偏振方向的偏振图像,生成指示反射分量的反射信息。此外,反射信息利用单元利用反射信息,获得出现在偏振图像中的被观察对象的信息。于是,可从周围区域的图像,利用反射分量容易地检查位于例如盲点区域的被观察对象。这适用于最好能够检查位于盲点区域的被观察对象的***,比如车辆控制***和监视***。
[附图标记列表]
10...信息获得设备
20,20-1,20-2,20A to 20E...偏振图像获得单元
30,30-1,30-2...反射信息生成单元
40...反射信息利用单元
50,51...深度估计单元
60,61,62...位置估计单元
80...车辆
100...车辆控制***
120...通信网络
131...驱动***控制单元
132...车身***控制单元
133...电池控制单元
134...车外信息检测单元
135...无线通信单元
140...综合控制单元
151...输入单元
152...声音输出单元
153...显示单元
Claims (14)
1.一种信息获得设备,包括:
反射信息生成单元,所述反射信息生成单元根据多个偏振方向的偏振图像生成指示反射分量的反射信息;和
反射信息利用单元,所述反射信息利用单元利用反射信息获得出现在偏振图像中的被观察对象的信息。
2.按照权利要求1所述的信息获得设备,其中
反射信息包含反射图像。
3.按照权利要求2所述的信息获得设备,其中
反射信息生成单元把偏振度等于或大于阈值的集中区域设定为反射面区域,并把反射面区域的图像设定为反射图像。
4.按照权利要求3所述的信息获得设备,其中
反射信息利用单元利用反射图像进行被摄对象识别,以及获得识别出的被观察对象的图像。
5.按照权利要求4所述的信息获得设备,其中
反射信息包括反射面区域的方位角信息,以及
反射信息利用单元基于方位角信息,连同被观察对象的图像一起显示反射面区域的方向。
6.按照权利要求3所述的信息获得设备,其中
反射信息利用单元利用根据来自多个视点的偏振图像估计的反射面区域的距离,和由反射信息生成单元生成的反射面区域的反射信息,获得出现在反射面区域中的被观察对象的位置。
7.按照权利要求6所述的信息获得设备,还包括:
深度估计单元,所述深度估计单元基于来自多个视点的偏振图像估计反射面区域的距离。
8.按照权利要求7所述的信息获得设备,其中
深度估计单元利用从来自所述多个视点的偏振图像中除去反射分量的图像,估计反射面区域的距离。
9.按照权利要求6所述的信息获得设备,其中
反射信息利用单元利用在所述多个视点之间的对应反射面区域中的对应被观察对象的反射信息和对应反射面区域的距离,获得对应被观察对象的位置。
10.按照权利要求3所述的信息获得设备,其中
反射信息利用单元利用多个反射面区域中的每一个的距离,和由反射信息生成单元生成的所述多个反射面区域中的每一个的反射信息,获得出现在所述多个反射面区域中的被观察对象的位置。
11.按照权利要求3所述的信息获得设备,其中
反射信息利用单元利用在多个时间点中的每个时间点的反射面区域的距离,和由反射信息生成单元生成的在所述多个时间点中的每个时间点的反射面区域的反射信息,获得出现在所述多个时间点的反射面区域中的被观察对象的位置。
12.按照权利要求11所述的信息获得设备,其中
获得包括反射面区域的偏振图像的偏振图像获得单元随时间的推移而移动,以获得在所述多个时间点的偏振图像,以及
反射信息利用单元利用以在预定时间点的偏振图像获得单元的位置作为基准的反射面区域的距离、相对于在所述预定时间点的偏振图像获得单元的位置的在与所述预定时间点不同的时间点的偏振图像获得单元的位置、以及由反射信息生成单元生成的在所述多个时间点中的每个时间点的反射面区域的反射信息,获得出现在所述多个时间点的反射面区域中的被观察对象的位置。
13.按照权利要求11所述的信息获得设备,其中
反射面区域随时间的推移而移动,以及
反射信息利用单元利用在所述多个预定时间点中的每个时间点的反射面区域的距离和由反射信息生成单元生成的在所述多个时间点中的每个时间点的反射面区域的反射信息,获得出现在反射面区域中的被观察对象的位置。
14.一种信息获得方法,包括:
利用反射信息生成单元,根据多个偏振方向的偏振图像生成指示反射分量的反射信息,和
利用反射信息利用单元,通过利用反射信息获得出现在偏振图像中的被观察对象的信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-193299 | 2015-09-30 | ||
JP2015193299 | 2015-09-30 | ||
PCT/JP2016/075294 WO2017056821A1 (ja) | 2015-09-30 | 2016-08-30 | 情報取得装置と情報取得方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108028892A true CN108028892A (zh) | 2018-05-11 |
CN108028892B CN108028892B (zh) | 2021-02-09 |
Family
ID=58427440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680055413.7A Active CN108028892B (zh) | 2015-09-30 | 2016-08-30 | 信息获得设备和信息获得方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10839248B2 (zh) |
JP (1) | JP6760298B2 (zh) |
CN (1) | CN108028892B (zh) |
WO (1) | WO2017056821A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109191441A (zh) * | 2018-08-28 | 2019-01-11 | 曜科智能科技(上海)有限公司 | 图像处理方法、设备、***及存储介质 |
CN111343368A (zh) * | 2020-02-18 | 2020-06-26 | 清华大学 | 基于偏振的散射介质深度恢复方法及装置 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110603458B (zh) * | 2017-05-11 | 2024-03-22 | 索尼公司 | 光学传感器和电子设备 |
JP6799155B2 (ja) * | 2017-06-29 | 2020-12-09 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および被写体情報特定方法 |
DE102017221381A1 (de) * | 2017-11-29 | 2019-05-29 | Robert Bosch Gmbh | Verfahren, Vorrichtung und Computerprogramm zum Ermitteln eines Abstandes zu einem Objekt |
JP2019133324A (ja) * | 2018-01-30 | 2019-08-08 | 株式会社Soken | 物体検知装置および駐車支援装置 |
JP7077726B2 (ja) * | 2018-04-02 | 2022-05-31 | 株式会社デンソー | 車両システム、空間領域推測方法及び空間領域推測装置 |
CN110435583A (zh) * | 2018-05-02 | 2019-11-12 | 新世代机器人暨人工智慧股份有限公司 | 安全气囊控制装置及其控制方法 |
DE102018216983B3 (de) | 2018-10-04 | 2019-11-28 | Audi Ag | Verfahren zum Unterdrücken von Abbildungen von Reflexionen in zumindest einem Kamerabild einer Kamera einer Umfeldsensorvorrichtung eines Kraftfahrzeugs sowie entsprechende Umfeldsensorvorrichtung |
US11436839B2 (en) * | 2018-11-02 | 2022-09-06 | Toyota Research Institute, Inc. | Systems and methods of detecting moving obstacles |
US10721458B1 (en) * | 2018-12-14 | 2020-07-21 | Ambarella International Lp | Stereoscopic distance measurements from a reflecting surface |
US10921450B2 (en) | 2019-04-24 | 2021-02-16 | Aeye, Inc. | Ladar system and method with frequency domain shuttering |
WO2020235226A1 (ja) * | 2019-05-20 | 2020-11-26 | 株式会社Ihi | 異物検出システム |
WO2021076121A1 (en) * | 2019-10-16 | 2021-04-22 | Waymo Llc | Systems and methods for infrared sensing |
EP3886046A1 (en) | 2020-03-26 | 2021-09-29 | Sony Group Corporation | Multi-view positioning using reflections |
US20230239580A1 (en) * | 2020-06-29 | 2023-07-27 | Sony Group Corporation | Image processing apparatus, image processing method, and program |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100632747B1 (ko) * | 2005-04-01 | 2006-10-12 | 서영태 | 화상입력장치, 카메라 및 컨택트 이미지 센서 |
CN101558282A (zh) * | 2007-02-13 | 2009-10-14 | 松下电器产业株式会社 | 图像处理***、方法、装置、以及图像格式 |
JP2010122821A (ja) * | 2008-11-18 | 2010-06-03 | Fujitsu Ten Ltd | 車両運転支援装置 |
US20100265505A1 (en) * | 2009-04-20 | 2010-10-21 | Javad Gnss, Inc. | Laser beam image contrast enhancement |
CN102124299A (zh) * | 2008-08-20 | 2011-07-13 | 国立大学法人东北大学 | 形状、倾斜度检测和/或计测光学装置和方法及其关联装置 |
CN102450023A (zh) * | 2009-05-26 | 2012-05-09 | 罗伯特·博世有限公司 | 借助自动的摄像机***采集多个图像的图像采集方法以及所述摄像机***的所属图像采集装置 |
CN102632840A (zh) * | 2011-02-09 | 2012-08-15 | 本田技研工业株式会社 | 车辆周围监测装置 |
CN102782720A (zh) * | 2009-12-25 | 2012-11-14 | 株式会社理光 | 对象识别装置、移动主体控制装置及信息提供装置 |
KR20140011675A (ko) * | 2012-07-18 | 2014-01-29 | 한국과학기술원 | 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법 |
CN103703769A (zh) * | 2011-07-29 | 2014-04-02 | 株式会社理光 | 成像装置、对象检测设备、光学滤波器以及光学滤波器的制造方法 |
CN103852764A (zh) * | 2012-12-07 | 2014-06-11 | 新昌县冠阳技术开发有限公司 | 一种激光偏振检测的海底潜航监控*** |
US20150226827A1 (en) * | 2013-10-22 | 2015-08-13 | Polaris Sensor Technologies, Inc. | Sky Polarization and Sun Sensor System and Method |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3988574B2 (ja) * | 2002-08-08 | 2007-10-10 | 日産自動車株式会社 | 画像処理装置 |
JP2006199055A (ja) * | 2005-01-18 | 2006-08-03 | Advics:Kk | 車両用走行支援装置 |
JP3955616B2 (ja) * | 2005-09-01 | 2007-08-08 | 松下電器産業株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
WO2007139067A1 (ja) * | 2006-05-29 | 2007-12-06 | Panasonic Corporation | 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム |
RU2009107141A (ru) * | 2007-08-07 | 2010-09-10 | Панасоник Корпорэйшн (Jp) | Устройство формирования информации нормальных векторов и способ формирования информации нормальных векторов |
WO2010004677A1 (ja) * | 2008-07-08 | 2010-01-14 | パナソニック株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 |
JP2011002718A (ja) | 2009-06-19 | 2011-01-06 | Toshiba Corp | 画像撮像装置 |
JP2015090593A (ja) * | 2013-11-06 | 2015-05-11 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理システム |
KR102174470B1 (ko) * | 2014-03-31 | 2020-11-04 | 삼성전자주식회사 | 영상 저장 시스템 및 방법 |
JP6406606B2 (ja) * | 2014-10-06 | 2018-10-17 | パナソニックIpマネジメント株式会社 | 光沢判定装置および光沢判定方法 |
-
2016
- 2016-08-30 JP JP2017543032A patent/JP6760298B2/ja not_active Expired - Fee Related
- 2016-08-30 WO PCT/JP2016/075294 patent/WO2017056821A1/ja active Application Filing
- 2016-08-30 US US15/761,846 patent/US10839248B2/en active Active
- 2016-08-30 CN CN201680055413.7A patent/CN108028892B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100632747B1 (ko) * | 2005-04-01 | 2006-10-12 | 서영태 | 화상입력장치, 카메라 및 컨택트 이미지 센서 |
CN101558282A (zh) * | 2007-02-13 | 2009-10-14 | 松下电器产业株式会社 | 图像处理***、方法、装置、以及图像格式 |
CN102124299A (zh) * | 2008-08-20 | 2011-07-13 | 国立大学法人东北大学 | 形状、倾斜度检测和/或计测光学装置和方法及其关联装置 |
JP2010122821A (ja) * | 2008-11-18 | 2010-06-03 | Fujitsu Ten Ltd | 車両運転支援装置 |
US20100265505A1 (en) * | 2009-04-20 | 2010-10-21 | Javad Gnss, Inc. | Laser beam image contrast enhancement |
CN102450023A (zh) * | 2009-05-26 | 2012-05-09 | 罗伯特·博世有限公司 | 借助自动的摄像机***采集多个图像的图像采集方法以及所述摄像机***的所属图像采集装置 |
CN102782720A (zh) * | 2009-12-25 | 2012-11-14 | 株式会社理光 | 对象识别装置、移动主体控制装置及信息提供装置 |
CN102632840A (zh) * | 2011-02-09 | 2012-08-15 | 本田技研工业株式会社 | 车辆周围监测装置 |
CN103703769A (zh) * | 2011-07-29 | 2014-04-02 | 株式会社理光 | 成像装置、对象检测设备、光学滤波器以及光学滤波器的制造方法 |
KR20140011675A (ko) * | 2012-07-18 | 2014-01-29 | 한국과학기술원 | 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법 |
CN103852764A (zh) * | 2012-12-07 | 2014-06-11 | 新昌县冠阳技术开发有限公司 | 一种激光偏振检测的海底潜航监控*** |
US20150226827A1 (en) * | 2013-10-22 | 2015-08-13 | Polaris Sensor Technologies, Inc. | Sky Polarization and Sun Sensor System and Method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109191441A (zh) * | 2018-08-28 | 2019-01-11 | 曜科智能科技(上海)有限公司 | 图像处理方法、设备、***及存储介质 |
CN109191441B (zh) * | 2018-08-28 | 2022-03-01 | 曜科智能科技(上海)有限公司 | 图像处理方法、设备、***及存储介质 |
CN111343368A (zh) * | 2020-02-18 | 2020-06-26 | 清华大学 | 基于偏振的散射介质深度恢复方法及装置 |
CN111343368B (zh) * | 2020-02-18 | 2021-08-20 | 清华大学 | 基于偏振的散射介质深度恢复方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2017056821A1 (ja) | 2017-04-06 |
US10839248B2 (en) | 2020-11-17 |
CN108028892B (zh) | 2021-02-09 |
US20180268246A1 (en) | 2018-09-20 |
JP6760298B2 (ja) | 2020-09-23 |
JPWO2017056821A1 (ja) | 2018-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108028892A (zh) | 信息获得设备和信息获得方法 | |
EP3305596B1 (en) | Vehicle display apparatus and vehicle having the same | |
CN108496178A (zh) | 用于估计未来路径的***和方法 | |
JP5096836B2 (ja) | 車両の周囲を画像化する方法およびそのためのシステム | |
CN109733284B (zh) | 一种应用于车辆的安全泊车辅助预警方法及*** | |
JP5414714B2 (ja) | 車戴カメラ及び車載カメラシステム | |
CN109643497A (zh) | 通过增强现实和共享数据增强的安全性 | |
CN107767697A (zh) | 用于处理交通声音数据以提供驾驶员辅助的***和方法 | |
CN108327719A (zh) | 辅助车辆行驶的方法及装置 | |
CN105270179A (zh) | 车辆驾驶辅助装置及车辆 | |
CN105083122A (zh) | 立体摄像头、车辆驾驶辅助装置及车辆 | |
CN109815832A (zh) | 行车预警方法及相关产品 | |
CN106314424B (zh) | 基于汽车的超车辅助方法、装置及汽车 | |
CN107211085A (zh) | 摄像装置和摄像方法 | |
JP2007188417A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
CN114764782A (zh) | 多视图汽车和机器人***中的图像合成 | |
JP4214841B2 (ja) | 周囲状況認識システム | |
JP2010028803A (ja) | 駐車補助のための画像表示方法 | |
WO2019021591A1 (ja) | 画像処理装置と画像処理方法とプログラムおよび画像処理システム | |
US20230343108A1 (en) | Systems and methods for detecting projection attacks on object identification systems | |
US20210174127A1 (en) | Image processing device, image processing method, and program | |
JP7263734B2 (ja) | 視認対象判定装置 | |
JP6595647B2 (ja) | 走行制御装置、車両および走行制御方法 | |
ITTO20101060A1 (it) | Sistema e procedimento di rivelazione di uno spazio di parcheggio per un veicolo | |
JP2022023870A (ja) | 表示制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |