CN112513677A - 纵深取得装置、纵深取得方法以及程序 - Google Patents

纵深取得装置、纵深取得方法以及程序 Download PDF

Info

Publication number
CN112513677A
CN112513677A CN201980050152.3A CN201980050152A CN112513677A CN 112513677 A CN112513677 A CN 112513677A CN 201980050152 A CN201980050152 A CN 201980050152A CN 112513677 A CN112513677 A CN 112513677A
Authority
CN
China
Prior art keywords
depth
image
infrared light
intensity
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980050152.3A
Other languages
English (en)
Inventor
吾妻健夫
佐藤智
若井信彦
吉冈康介
清水规贵
河合良直
天田高明
川合阳子
村井猛
竹内宏树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN112513677A publication Critical patent/CN112513677A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

能正确取得到被摄体的纵深的纵深取得装置(1)具备存储器(200)和处理器(110a)。处理器(110a)，取得红外光的强度，该红外光的强度通过基于被摄体的红外光的摄像而被测量，并被保存在存储器(200)，通过基于该红外光的强度算出到被摄体的距离作为纵深，来生成纵深图像，取得BW图像，该BW图像通过基于红外光的强度的与IR图像实质相同的场景、相同视点以及相同时刻的摄像而生成，并被保持在存储器(200)，从该BW图像检测包含沿着与BW图像的变动的方向垂直的方向的边缘在内的区域即边缘区域，对与该边缘区域对应的纵深图像内的区域即补正对象区域的纵深进行补正。

Description

纵深取得装置、纵深取得方法以及程序
技术领域
本公开涉及取得到被摄体的距离作为纵深的纵深取得装置等。
背景技术
过去，提出测定到被摄体的距离的测距装置(例如参考专利文献1)。该测距装置具备光源和摄像部。光源对被摄体照射光。摄像部对在该被摄体反射的反射光摄像。然后，测距装置通过将以该摄像得到的图像的各像素值变换成到被摄体的距离，来测定到该被摄体的距离。即，测距装置取得由摄像部得到的图像的纵深。
现有技术文献
专利文献
专利文献1：JP特开2011-64498号公报
发明内容
发明要解决的课题
但在上述专利文献1的测距装置中，有不能正确取得纵深的课题。
为此，本公开提供能正确取得到被摄体的距离即纵深的纵深取得装置。
用于解决课题的手段
本公开的一个方案所涉及的纵深取得装置具备存储器和处理器，所述处理器，取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在所述存储器，对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，从所述可见光图像检测包括沿着与所述可见光图像的变动(動き)的方向垂直的方向的边缘在内的区域即边缘区域，对与所述边缘区域对应的所述纵深图像内的区域即补正对象区域的纵深进行补正。
另外，这些总括或具体的方案可以用***、方法、集成电路、计算机程序或计算机可读的CD-ROM等记录介质实现，也可以用***、方法、集成电路、计算机程序以及记录介质的任意的组合实现。另外，记录介质可以是非暂时的记录介质。
发明的效果
本公开的纵深取得装置能正确地取得到被摄体的距离即纵深。本公开的一个方案中的进一步的优点以及效果会从说明书以及附图得以明确。相关的优点以及/或者效果通过几个实施方式、和记载于说明书以及附图的特征来分别提供，但为了得到1个或其以上的相同特征未必需要提供全部。
附图说明
图1是表示实施方式中的纵深取得装置的硬件结构的框图。
图2是表示实施方式中的固体摄像元件所具有的像素阵列的示意图。
图3是表示实施方式中的光源的发光元件的发光定时与固体摄像元件的第1像素的曝光定时的关系的定时图。
图4是表示实施方式中的纵深取得装置的功能结构的一例的框图。
图5是表示BW图像以及IR图像的一例的图。
图6是表示实施方式中的纵深取得装置的整体的处理动作的流程图。
图7是表示实施方式中的边界区域检测部的处理动作的一例的流程图。
图8是用于说明实施方式中的边缘检测的图。
图9是表示实施方式中的边界区域检测部的处理动作的其他示例的流程图。
图10是表示实施方式的变形例中的纵深取得装置的功能结构的一例的框图。
图11A是表示实施方式中的纵深取得装置的仿真结果的一例的图。
图11B是表示实施方式中的纵深取得装置的仿真结果的其他示例的图。
具体实施方式
(成为本公开的基础的见解)
本发明的发明者关于“背景技术”栏中记载的专利文献1的测距装置，发现产生以下的问题。
专利文献1的测距装置如上述那样从光源对被摄体照射光，对被照射了光的被摄体进行摄像，由此取得图像，并测定该图像的纵深。在该纵深的测定中使用ToF(Time OfFlight，飞行时间)。在这样的测距装置中，为了提升测距精度而进行相互不同的摄像条件的摄像。即，测距装置按照给定的摄像条件进行摄像，按照其摄像结果来设定与该给定的摄像条件不同的摄像条件。然后，测距装置按照该设定的摄像条件再次进行摄像。
但在对光的反射率相互不同的2个物体的边界进行摄像时，在上述专利文献1的测距装置中，有即使变更摄像条件也难以正确测定该边界周边的纵深的情况。
为了解决这样的问题，本公开的一个方案所涉及的纵深取得装置具备存储器和处理器，所述处理器，取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在所述存储器，对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，从所述可见光图像检测包括沿着与所述可见光图像的变动的方向垂直的方向的边缘在内的区域即边缘区域，对与所述边缘区域对应的所述纵深图像内的区域即补正对象区域的纵深进行补正。另外，所谓与边缘区域对应的纵深图像内的区域，是指位于与可见光图像内的边缘区域相同位置且具有与该边缘区域相同形状以及大小的纵深图像内的区域。
例如，在对红外光的反射率相互不同的2个物体的边界摄像时，若该摄像中所用的摄像机变动，则在基于ToF的测定中，有该边界周边的测定对象位置中的反射率大幅变化的情况。在这样的情况下，在该测定对象位置得到噪声，取得表示不正确的纵深的纵深图像。
但在上述一个方案所涉及的纵深取得装置中，从可见光图像检测包含沿着与该可见光图像的变动的方向垂直的方向的边缘的区域，作为边缘区域。该边缘区域中包括的边缘例如相当于上述的2个物体的边界。即，边缘区域是在基于ToF的测定中映出红外光的反射率大幅变化的可能性高的上述的边界周边的区域。然后，将与这样的边缘区域对应的纵深图像内的区域设为补正对象区域，通过补正该补正对象区域的纵深来减低噪声，能正确取得该边界周边的纵深。
在此，作为在实质相同的视点以及时刻摄像到的实质相同的场景的图像的一例，是用相同摄像元件的不同像素摄像的图像。这样的图像与用拜尔(Bayer)排列的滤色镜摄像到的彩色图像的红、绿以及蓝的各通道图像同样，各图像的视角、视点以及摄像时刻大致相等。即，在实质相同的视点以及时刻摄像到的实质相同的场景的图像在被摄像到的各图像中被摄体的图像上的位置不会相差2像素以上。例如在场景中存在具有可见光和红外分量的点光源、可见光图像中仅高亮度地摄像1像素的情况下，在红外光图像中，也会在比与可见光图像中摄像的像素位置对应的像素的2像素更靠近地摄像点光源。另外，所谓实质相同的时刻的摄像，表示摄像时刻的差以1帧以下相等。
另外，上述的边缘区域相当于亮暗边界区域。即，处理器从所述可见光图像检测包含边界的区域即亮暗边界区域，所述边界是具有相互不同亮度的2个区域的边界且沿着与所述可见光图像的变动的方向垂直的方向。在该情况下，处理器对与所述亮暗边界区域对应的所述纵深图像内的区域即补正对象区域的纵深进行补正。
另外也可以，在所述边缘区域的检测中，检测具有第1阈值以上的强度的所述边缘，所述边缘区域是从具有所述第1阈值以上的强度的所述边缘开始到与所述可见光图像的变动相应的距离为止的区域。
由此，能适当地检测边缘区域。其结果，能在纵深图像适当地检测易于产生噪声的区域。
另外也可以，在所述边缘区域的检测中，将所述可见光图像与过去的可见光图像的像素值的差分为第2阈值以上的区域检测为所述边缘区域。
由此，能简单地检测边缘区域。
另外也可以，在所述补正对象区域的补正中，使用在所述纵深图像内位于所述补正对象区域的周围的区域即周围区域的纵深来补正所述补正对象区域的纵深。例如所述周围区域是与所述补正对象区域的下侧相接的区域，且在所述补正对象区域的纵深的补正中，可以将所述补正对象区域的纵深置换成所述周围区域的纵深。
周围区域的纵深与补正对象区域的正确的纵深近似的可能性高。因此，能通过使用这样的周围区域的纵深来正确地对补正对象区域的纵深进行补正。
另外也可以，在所述补正对象区域的纵深的补正中，通过将所述可见光图像用作参考图像的对所述纵深图像的滤波来补正所述补正对象区域的纵深。
例如可以在滤波中使用导引滤波器(Guided Filter)的扩展滤波器。由此，能正确地对补正对象区域的纵深进行补正。
另外也可以，在所述补正对象区域的纵深的补正中，通过将所述红外光图像、所述可见光图像、所述纵深图像以及所述边缘区域输入到学习模型来补正所述纵深图像内的所述补正对象区域的纵深。
由此，若使学习模型预先学习，以使针对纵深图像、红外光图像、可见光图像以及边缘区域的输入而输出正解的补正后的纵深图像，则不检测边缘区域，就能简单地取得适当的纵深图像。
另外也可以，本公开的其他方案所涉及的纵深取得装置也可具备存储器和处理器，所述处理器，取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在所述存储器，对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，通过将所述纵深图像、所述红外光图像以及所述可见光图像输入到学习模型来补正所述纵深图像的纵深。
由此，若使学习模型预先学习，以使针对纵深图像、红外光图像以及可见光图像的输入而输出正解的补正后的纵深图像，则不检测边缘区域就能简单地取得适当的纵深图像。
另外，这些总括或具体的方案可以用***、方法、集成电路、计算机程序或计算机可读的CD-ROM等记录介质实现，也可以用***、方法、集成电路、计算机程序或记录介质的任意的组合实现。另外，记录介质可以是非暂时的记录介质。
以下参考附图来具体说明实施方式。
另外，以下说明的实施方式均表示总括或具体的示例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一例，并不是限定本公开的主旨。另外，关于以下的实施方式中的构成要素当中未记载于表示最上位概念的独立权利要求的构成要素，说明为任意的构成要素。
另外，各图是示意图，未必严密地被图示。另外，在各图中，对相同构成构件标注相同附图标记。
(实施方式)
[硬件结构]
图1是表示实施方式所涉及的纵深取得装置1的硬件结构的框图。本实施方式中的纵深取得装置1具有能通过对实质相同的场景且在实质相同的视点以及时刻的摄像取得基于红外光(或近红外线光)的图像和基于可见光的图像的硬件结构。另外，所谓实质相同，是指与能起到本公开中的效果的程度相同。
如图1所示那样，纵深取得装置1包含光源10、固体摄像元件20、处理电路30、扩散板50、镜头60和带通滤波器70而构成。
光源10照射照射光。更具体地，光源10在由处理电路30中生成的发光信号表示的定时发出对被摄体照射的照射光。
光源10例如包含电容器、驱动电路以及发光元件而构成，通过用蓄积于电容器的电能驱动发光元件而发光。发光元件作为一例而通过激光二极管、发光二极管等实现。另外，光源10可以是包含1种类的发光元件的结构，也可以是包含与目的相应的多种类的发光元件的结构。
以下，发光元件例如是发出近红外线光的激光二极管、或发出近红外线光的发光二极管等。但光源10所照射的照射光并不需要限定于近红外线光。光源10所照射的照射光例如也可以是近红外线光以外的频带的红外光(也称作红外线光)。以下在本实施方式中，将光源10所照射的照射光说明为红外光，但该红外光可以是近红外线光，也可以是近红外线光以外的频带的红外光。
固体摄像元件20对被摄体摄像并输出表示曝光量的摄像信号。更具体地，固体摄像元件20在由处理电路30中生成的曝光信号表示的定时进行曝光，输出表示曝光量的摄像信号。
固体摄像元件20具有将使用照射光由被摄体反射了的反射光来进行摄像的第1像素、和对被摄体摄像的第2像素配置为阵列状而成的像素阵列。固体摄像元件20例如可以根据需要具有防护玻璃、AD转换器等逻辑功能。
以下，与照射光同样，反射光为红外光来进行说明，但反射光只要是照射光由被摄体反射了的光，就不需要限定于红外光。
图2是表示固体摄像元件20所具有的像素阵列2的示意图。
如图2所示那样，像素阵列2配置成阵列状而构成，使得使用照射光由被摄体反射了的反射光来进行摄像的第1像素21(IR像素)和对被摄体摄像的第2像素22(BW像素)以列为单位交替地排列。
另外，在图2中，在像素阵列2中配置成第2像素22和第1像素21排列成在行方向上相邻，并在行方向上排列为条带状，但并不限定于此，也可以每隔多行(作为一例是每隔2行)而配置。即，第2像素22排列成在行方向上相邻的第1行和第1像素21排列成在行方向上相邻的第2行可以每隔M行(M是自然数)交替配置。进而，第2像素22排列成在行方向上相邻的第1行和第1像素21排列成在行方向上相邻的第2行也可隔开不同的行(交替重复第1行为N行、第2行为L行(N和L是不同的自然数))配置。
第1像素21例如用对作为反射光的红外光有灵敏度的红外光像素实现。第2像素22例如用对可见光有灵敏度的可见光像素实现。
红外光像素例如包含仅使红外光透射的光学滤波器(也称作IR滤波器)、微透镜、作为光电变换部的受光元件以及蓄积由受光元件生成的电荷的蓄积部等而构成。因此，由从像素阵列2中包括的多个红外光像素(即第1像素21)输出的摄像信号表现表示红外光的亮度的图像。以下将该红外光的图像也称作IR图像或红外光图像。
另外，可见光像素例如包含仅使可见光透射的光学滤波器(也称作BW滤波器)、微透镜、作为光电变换部的受光元件以及蓄积由受光元件变换的电荷的蓄积部等而构成。因此，可见光像素即第2像素22输出表示亮度以及色差的摄像信号。即，通过从像素阵列2中包括的多个第2像素22输出的摄像信号来表现表示可见光的亮度以及色差的彩色图像。另外，可见光像素的光学滤波器可以使可见光和红外光双方透射，也可以仅使可见光当中红(R)、绿(G)或蓝(B)等特定的波段的光透射。
另外，可见光像素可以仅检测可见光的亮度。在该情况下，可见光像素即第2像素22输出表示亮度的摄像信号。因此，由从像素阵列2中包括的多个第2像素22输出的摄像信号表现表示可见光的亮度的黑白的图像、换言之单色的图像。以下将该单色的图像也称作BW图像。另外，将上述的彩色图像以及BW图像也总称作可见光图像。
再次回到图1，继续纵深取得装置1的说明。
处理电路30使用由固体摄像元件20输出的摄像信号来运算被摄体所涉及的被摄体信息。
处理电路30例如包含微型计算机等运算处理装置。微型计算机包含处理器(微处理器)、存储器等，通过由处理器执行存储于存储器的驱动程序，来生成发光信号以及曝光信号。另外，处理电路30可以使用FPGA或ISP等，可以包含1个硬件，也可以包含多个硬件。
处理电路30例如通过使用来自固体摄像元件20的第1像素21的摄像信号进行的ToF测距方式来算出到被摄体的距离。
以下参考附图来说明处理电路30所进行的基于ToF测距方式的到被摄体的距离的算出。
图3是处理电路30使用ToF测距方式进行到被摄体的距离的算出时的光源10的发光元件的发光定时与固体摄像元件20的第1像素21的曝光定时的关系的定时图。
在图3中，Tp是光源10的发光元件发出照射光的发光期间，Td是从光源10的发光元件发出照射光起、到该照射光由被摄体反射的反射光返回固体摄像元件20为止的延迟时间。并且，第1曝光期间成为与光源10发出照射光的发光期间相同的定时，第2曝光期间成为从第1曝光期间的结束时间点到经过发光期间Tp为止的定时。
在图3中，q1表示第1曝光期间内中的反射光所引起的固体摄像元件20的第1像素21中的曝光量的总量，q2表示第2曝光期间内中的反射光所引起的固体摄像元件20的第1像素21中的曝光量的总量。
通过在图3所示的定时进行光源10的发光元件所进行的照射光的发光和固体摄像元件20的第1像素21所进行的曝光，将光速设为c，则到被摄体的距离d能用以下的(式1)示出。
d＝c×Tp/2×q2/(q1+q2)…(式1)
为此，处理电路30通过利用(式1)，能使用来自固体摄像元件20的第1像素21的摄像信号来算出到被摄体的距离。
另外，固体摄像元件20的多个第1像素21可以在第1曝光期间以及第2曝光期间的结束后仅在第3曝光期间Tp曝光。多个第1像素21能根据在该第3曝光期间Tp得到的曝光量来检测反射光以外的噪声。即，处理电路30通过在上述(式1)中分别从第1曝光期间的曝光量q1以及第2曝光期间的曝光量q2删除噪声，能更正确地算出到被摄体的距离d。
再次回到图1，继续纵深取得装置1的说明。
处理电路30例如可以使用来自固体摄像元件20的第2像素22的摄像信号来进行被摄体的探测、以及到被摄体的距离的算出。
即，处理电路30可以基于由固体摄像元件20的多个第2像素22摄像的可见光图像来进行被摄体的探测以及到被摄体的距离的算出。在此，被摄体的探测例如可以用被摄体的奇点的边缘检测以图案识别进行形状的判别，从而实现，也可以利用事前进行了学习的学习模型通过深度学习(Deep Learning)等处理实现。另外，到被摄体的距离的算出可以使用世界坐标变换进行。当然，也可以不仅利用可见光图像，还利用由第1像素21摄像的红外光的亮度、距离信息，通过多模态的学习处理来实现被摄体的探测。
处理电路30生成表示进行发光的定时的发光信号和表示进行曝光的定时的曝光信号。然后，处理电路30将生成的发光信号向光源10输出，将生成的曝光信号向固体摄像元件20输出。
处理电路30例如可以通过生成并输出发光信号，使得以给定的周期使光源10发光，生成并输出曝光信号，使得以给定的周期使固体摄像元件20曝光，从而使纵深取得装置1实现基于给定的帧频的连续摄像。另外，处理电路30例如包含处理器(微处理器)、存储器等，通过由处理器执行存储于存储器的驱动程序来生成发光信号以及曝光信号。
扩散板50调整照射光的强度分布和角度。另外，在强度分布的调整中，扩散板50使来自光源10的照射光的强度分布一样。另外，在图1所示的示例中，纵深取得装置1具备扩散板50，但也可以不具备该扩散板50。
镜头60是使从纵深取得装置1的外部进入的光在固体摄像元件20的像素阵列2的表面聚光的光学透镜。
带通滤波器70是使作为反射光的红外光、和可见光透射的光学滤波器。另外，在图1所示的示例中，纵深取得装置1具备带通滤波器70，但也可以不具备该带通滤波器70。
上述结构的纵深取得装置1被搭载于运输设备而利用。例如纵深取得装置1搭载于在路面行驶的车辆而利用。另外，搭载纵深取得装置1的运输设备不一定需要限定于车辆。纵深取得装置1例如也可以搭载于摩托车、船、飞机等这样的车辆以外的运输设备来利用。
[纵深取得装置的功能结构]
本实施方式中的纵深取得装置1用图1所示的硬件结构，通过对实质相同的场景且实质相同的视点以及时刻的摄像来取得IR图像和BW图像。在此，IR图像基于在固体摄像元件20中包括的多个第1像素21分别接收的红外光的强度而形成。因此，纵深取得装置1通过IR图像的摄像来取得多个第1像素21各自中的红外光的强度。纵深取得装置1基于这些第1像素21的红外光的强度来取得将在该IR图像映出的到被摄体的距离作为纵深表示的纵深图像。然后，纵深取得装置1检测BW图像内的边缘区域，补正与该边缘区域对应的纵深图像内的区域的纵深。
另外，在本公开中，所谓与第1图像内的第1区域对应的第2图像内的第2区域，是位于与第1图像内的第1区域相同的位置且具有与该第1区域相同形状以及大小的第2图像内的区域。该第1图像以及第2图像分别是任意的图像，第1区域以及第2区域也分别是任意的区域。
另外，本公开中的边缘是亮度相互不同的2个区域的边界。该2个区域是亮的区域和暗的区域。另外，亮的区域中的平均亮度比暗的区域中的平均亮度高。因此，本公开中的纵深取得装置1例如将包含BW图像等可见光图像内中的亮的区域与暗的区域的边界的区域即亮暗边界区域检测为上述的边缘区域。
图4是表示纵深取得装置1的功能结构的一例的框图。
纵深取得装置1具备光源101、IR摄像机102、BW摄像机103、处理器110a和存储器200。另外，本实施方式中的纵深取得装置1具备光源101、IR摄像机102以及BW摄像机103，但也可以不具备这些构成要素而仅具备处理器110a以及存储器200。
光源101可以包含图1所示的光源10以及扩散板50，通过进行发光来对被摄体照射红外光。
IR摄像机102可以称作红外光摄像机，可以包含图1所示的固体摄像元件20的多个第1像素21、镜头60以及带通滤波器70。这样的IR摄像机102通过与光源101对被摄体照射红外光的定时相应地进行包含该被摄体的场景的基于红外光的摄像，来取得IR图像。另外，IR摄像机102通过IR图像的摄像来测量红外光的强度。即，IR摄像机102具有固体摄像元件20，通过进行该固体摄像元件20中包括的多个第1像素21分别接收从光源101照射并由被摄体反射的红外光的摄像，来对该红外光的强度进行测量。
BW摄像机103可以称作可见光摄像机，可以包含图1所示的固体摄像元件20的多个第2像素22、镜头60以及带通滤波器70。这样的BW摄像机103通过进行与IR图像实质相同的场景的基于可见光的摄像且在与该IR图像实质相同的视点以及相同时刻的摄像，来取得可见光图像(具体是BW图像)。即，BW摄像机103通过进行与基于在固体摄像元件20中包括的多个第1像素21分别接收到的红外光的强度而形成的IR图像实质相同的场景的基于可见光的摄像且与该IR图像实质相同的视点以及时刻的摄像，来生成BW图像。
存储器200是用于存储通过IR摄像机102所进行的摄像得到的IR图像和通过BW摄像机103所进行的摄像得到的BW图像的记录介质。另外，IR图像如上述那样，基于在固体摄像元件20中包括的多个第1像素21分别接收到的红外光的强度而形成。因此，该IR图像按每个像素示出红外光的强度。即，存储器200能说是存储红外光的强度。另外，这样的存储器200具体地可以是ROM(Read Only Memory，只读存储器)、RAM(Random access memory，随机存取存储器)或SSD(solid state drive，固态硬盘)等，可以是非易失性或易失性。另外，存储器200可以是硬盘。
处理器110a从存储器200取得IR图像以及BW图像，从IR图像算出纵深图像，基于IR图像以及BW图像来检测BW图像内的亮暗边界区域。然后，处理器110a补正与该亮暗边界区域对应的纵深图像内的区域的纵深。
另外，BW图像的亮暗边界区域是包含亮的区域与暗的区域的边界且沿着与BW图像的变动的方向垂直的方向的边界的区域。在与该亮暗边界区域对应的纵深图像内的区域中，有示出不适当的纵深的可能性。
其理由如以下那样。BW图像的亮暗边界区域中的亮度由于该BW图像的变动而在短时间期间大幅变化。即，在短时间期间，在该亮暗边界区域映出的物体替换成与该物体相比光的反射率较大不同的其他物体。另外，BW图像的变动例如通过BW摄像机103的变动而产生，在IR摄像机102和BW摄像机103一起变动的情况下，例如在纵深取得装置1搭载于车辆的情况下，BW图像的变动和IR图像的变动相等。因此，在IR图像中也产生与BW图像同样的事象。即，在与亮暗边界区域对应的IR图像内的区域中映出的物体在短时间期间替换成与该物体相比红外光的反射率大幅不同的其他物体。其结果，通过利用与该亮暗边界区域对应的红外光的强度的ToF而测定的纵深变得不正确。即，通过这样的测定得到的纵深在纵深图像中作为噪声而出现。
如此地，纵深图像内中出现噪声的区域与BW图像内的包含上述边界的区域对应。因此，通过检测包含这样的边界的区域即亮暗边界区域，能在纵深图像中适当地找到要补正的区域。本实施方式中的纵深取得装置1对纵深图像内的该要补正的区域、即作为与亮暗边界区域对应的区域的补正对象区域的纵深进行补正。
这样的处理器110a具备发光控制部113、IR取得部114、BW取得部115、纵深算出部111a、边界区域检测部112和纵深补正部111b。
发光控制部113控制光源101。即，发光控制部113通过将上述的发光信号输出到光源101来使该光源101发光。由此，从光源101对被摄体照射红外光，由该被摄体反射的光即反射光入射到IR摄像机102。
IR取得部114从IR摄像机102经由存储器20取得IR图像。在此，IR图像的各像素将在该像素的位置接收到的红外光的强度作为像素值(具体是亮度)来表示。因此，IR取得部114通过取得IR图像来取得红外光的强度。即，IR取得部114取得从光源101照射并由被摄体反射的红外光的强度，该红外光的强度通过固体摄像元件20中包括的多个第1像素21分别接收该红外光的摄像而被测量，并被保存于存储器200。
BW取得部115从BW摄像机103经由存储器200取得BW图像。即，BW取得部115取得BW图像，其中该BW图像通过与基于在固体摄像元件20中包括的多个第1像素21分别接收到的红外光的强度而形成的IR图像实质相同的场景的基于可见光的摄像且与该IR图像实质相同的视点以及时刻的摄像而生成，并被保持在存储器200。
纵深算出部111a通过对固体摄像元件20中所含的多个第1像素21分别基于在该第1像素2接收到的红外光的强度算出到被摄体的距离作为纵深，来生成纵深图像。
边界区域检测部112从BW图像检测亮暗边界区域，该亮暗边界区域包括亮的区域与暗的区域的边界且沿着与BW图像的变动的方向垂直的方向的边界。
纵深补正部111b对与该亮暗边界区域对应的纵深图像内的区域即补正对象区域的纵深进行补正。
例如在对对红外光的反射率相互不同的2个物体的边界摄像时，若该摄像中所用的IR摄像机102变动，则在基于ToF的测定中，有该边界周边的测定对象位置中的反射率大幅变化的情况。在这样的情况下，在该测定对象位置中得到噪声，取得表示不正确的纵深的纵深图像。
但在本实施方式中的纵深取得装置1中，如上述那样，从BW图像，将包含亮的区域与暗的区域的边界且沿着与该可见光图像的变动的方向垂直的方向的边界的区域检测为亮暗边界区域。该亮暗边界区域是在基于ToF的测定中映出红外光的反射率大幅变化的可能性高的上述的边界周边的区域。并且，通过将与这样的亮暗边界区域对应的纵深图像内的区域设为补正对象区域，对该补正对象区域的纵深进行补正，能减低噪声，正确取得该边界周边的纵深。
因此，即使对红外光的反射率相互不同的2个物体的边界沿着与图像的变动的方向垂直的方向，这样的本实施方式中的纵深取得装置1也能正确取得到这些物体的边界周边的距离即纵深。
[各图像的一例]
图5表示BW图像以及IR图像的一例。
例如，在车辆在路面上行驶时，搭载于该车辆的纵深取得装置1的IR摄像机102以及BW摄像机103分别在实质相同的时刻进行摄像。这时，IR摄像机102以及BW摄像机103分别在相互不同的3个定时进行曝光。由此，通过IR摄像机102的摄像生成3张IR图像，通过BW摄像机103的摄像生成3张BW图像。
在通过IR摄像机102的摄像生成且由IR取得部114取得的IR图像中，例如如图5的(a)～(c)所示那样映出路面和其周围的树木等。
另外，在通过BW摄像机103的摄像生成且由BW取得部115取得的BW图像中，也如图5的(d)～(f)所示那样，映出与图5的(a)～(c)所示的IR图像实质相同的场景。另外，该图5的(d)～(f)所示的BW图像是通过与图5的(a)～(c)所示的IR图像的摄像实质相同的视点以及相同时刻的摄像得到的图像。因此，在图5的(a)～(c)所示的IR图像和图5的(d)～(f)所示的BW图像中，在相互对应的区域中映出相同物体。另外，所谓相互对应的区域，是各个图像内的位置、大小以及形状相同的区域。
在此，在BW图像中，树木的树叶的像的亮度低，背景的天空的像的亮度高。因此，包含树叶的像与天空的像的边界当中沿着与图像的变动的方向垂直的方向的边界的区域相当于亮暗边界区域。在这样的与亮暗边界区域对应的IR图像内的区域中，由于能得到不适当的红外光的强度，因而处于图像变得模糊的倾向。另外，通过这样的不适当的红外光的强度算出的纵深的可靠性也低。本实施方式中的纵深补正部111b通过补正该纵深来提高纵深的可靠性。
[处理流程]
图6是表示本实施方式中的纵深取得装置1的整体的处理动作的流程图。
(步骤S110)
首先，BW摄像机103通过进行基于可见光的摄像来生成BW图像。然后，BW取得部115经由存储器200取得该BW图像。
(步骤S120)
接下来，IR摄像机102通过进行基于红外光的摄像来测量该红外光的强度。然后，IR取得部114经由存储器200取得该红外光的强度。在此，取得的红外光的强度是在固体摄像元件20的多个第1像素21分别接收到的红外光的强度。因此，IR取得部114通过取得这些红外光的强度，来取得基于这些红外光的强度而形成的IR图像。
具体地，从存储器200取得的红外光的强度在从光源101照射并由被摄体反射的红外光被固体摄像元件20接收时，包含通过在相互不同的至少3次定时的固体摄像元件20的曝光而测量的至少3个强度。例如红外光的强度包含如图3所示那样通过第1曝光期间、第2曝光期间以及第3曝光期间测量的3个强度。例如，1帧的IR图像中包括的各像素值作为通过在该至少3次定时的曝光而测量的红外光的强度的累积值来表示。
(步骤S130)
接下来，边界区域检测部112从步骤S110中取得的BW图像检测亮暗边界区域。然后，边界区域检测部112输出对检测到的亮暗边界区域内的各像素示出1、对除此以外的区域内的各像素示出0的2值的掩模图像。
(步骤S140)
接下来，纵深算出部111a基于步骤S120中取得的红外光的强度来算出纵深。即，纵深算出部111a通过对固体摄像元件20中包括的多个第1像素21分别基于在该第1像素2接收到的红外光的强度算出到被摄体的距离作为纵深，来生成纵深图像。具体地，纵深算出部111a通过对固体摄像元件20中包括的多个第1像素21分别基于在该第1像素21测量的上述至少3个强度算出纵深，来生成纵深图像。例如纵深算出部111a按照ToF测距方式，使用上述的(式1)来算出纵深。
(步骤S150)
接下来，纵深补正部111b对与亮暗边界区域对应的纵深图像内的区域即补正对象区域的纵深进行补正。
具体地，纵深补正部111b取得BW图像、纵深图像以及掩模图像，通过纵深图像当中掩模图像来对示出为1的区域中的纵深(即纵深图像中的像素值)进行补正。该纵深的补正例如通过将BW图像作为引导图像而利用的导引滤波器(Guided Filter)的扩展滤波器来进行。该扩展滤波器在非专利文献(Jiangbo Lu，Keyang Shi，Dongbo Min，Liang Lin，andMinh N.Do，“Cross-Based Local Multipoint Filtering”，2012 IEEE Conference onComputer Vision and Pattern Recognition)中公开。或者，纵深的补正还能通过在非专利文献(Dongbo Min，Sunghwan Choi，Jiangbo Lu，Bumsub Ham，Kwanghoon Sohn，and MinhN.Do，“Fast Global Image Smoothing Based on Weighted Least Squares”，IEEETransactions on Image Processing，Vol.23，No.12，December 2014)中公开的方法实现。
如此地，本实施方式中的纵深补正部111b通过将BW图像用作引导图像或参考图像的对纵深图像的滤波来对补正对象区域的纵深进行补正。由此，能正确地对补正对象区域的纵深进行补正。
另外，纵深的补正并不限于上述内容，例如也可以重视与亮暗边界区域的下部相接的区域中的纵深来进行插补。即，纵深补正部111b可以使用纵深图像内位于补正对象区域的周围的区域即周围区域的纵深来对该补正对象区域的纵深进行补正。另外，周围区域可以是与补正对象区域的下侧相接的区域。在该情况下，纵深补正部111b也可以将补正对象区域的纵深置换成该周围区域的纵深。周围区域的纵深与补正对象区域的正确的纵深近似的可能性高。因此，通过使用这样的周围区域的纵深，能正确对补正对象区域的纵深进行补正。
另外，也可以除了BW图像、纵深图像以及掩模图像以外还将IR图像也用作输入。例如纵深补正部111b可以通过将IR图像、BW图像、纵深图像以及亮暗边界区域输入到学习模型来补正纵深图像内的补正对象区域的纵深。另外，也可以取代亮暗边界区域而使用上述的掩模图像。例如学习模型是通过深度学习构建的神经网络。在该学习模型的学习中，将IR图像、BW图像、纵深图像以及亮暗边界区域作为输入而提供给学习模型。然后，进行对该学习模型的学习，以使针对该输入的从学习模型的输出与补正后的正解的纵深图像一致。通过使用这样的学习完毕的学习模型，纵深补正部111b能简单地取得补正后的纵深图像。
图7是表示边界区域检测部112的处理动作的一例的流程图。另外，图7详细表示图6的步骤S130的处理。
(步骤S131)
首先，边界区域检测部112从BW图像检测变动。该变动例如通过进行该BW图像与过去的BW图像之间的块匹配的变动搜索来检测。
(步骤S132)
接下来，边界区域检测部112将沿着与步骤S131中检测到的变动的方向垂直的方向的边缘作为上述的边界来从BW图像进行检测。这时，边界区域检测部112也可以检测具有第1阈值以上的强度的边缘。
(步骤S133)
边界区域检测部112将包含步骤S132中检测到的边缘的区域检测为亮暗边界区域。这时，边界区域检测部112例如将位于距该边缘一定的距离的区域作为亮暗边界区域而提取。具体地，亮暗边界区域是从具有第1阈值以上的强度的边缘起到与BW图像的变动相应的距离为止的区域。
在此，上述的距离与表示该BW图像的变动的变动矢量的长度相等，或是对该变动矢量的长度进行了常数倍的长度(例如变动矢量的长度的1.1倍等)。或者，该距离可以是在变动矢量的长度加上常数的距离(例如变动矢量的长度+3像素或+5像素等)。另外，在该距离中可以考虑变动矢量的朝向。例如，从边缘起变动矢量的朝向的距离为该变动矢量的长度以上，与变动矢量相反朝向的距离例如可以是变动矢量的长度的0.1倍，也可以是3像素或5像素等常数。
如此地，本实施方式中的边界区域检测部112以沿着与BW图像中的变动的方向垂直的方向的边缘为边界从BW图像进行检测，将包含该边缘的区域检测为亮暗边界区域。具体地，边界区域检测部112检测具有第1阈值以上的强度的边缘。然后，包含该边缘的区域是从该具有第1阈值以上的强度的边缘开始到与BW图像的变动相应的距离为止的区域。由此，能适当地检测亮暗边界区域。其结果，能在纵深图像中适当地检测易于产生噪声的区域。
图8是用于说明图7中的步骤S132的边缘检测的图。
例如在BW图像中映出的物体如图8所示的时刻t0、t1以及t2那样伴随时间的经过而移动。这样的物体的变动例如通过搭载纵深取得装置1的车辆移动而产生。BW图像内的像素(x，y)中的这样的变动表示为变动矢量(u(x，y)，v(x，y))。
边界区域检测部112通过对像素值的空间方向的分布进行微分来计算边缘的强度，作为该像素值的变化量。对任意的方向n的微分用(式2)表征。
[数学式1]
Figure BDA0002919035860000181
在此，将方向n考虑为图像的变动矢量(u(x，y)，v(x，y))的方向、即以与变动矢量相同的朝向且平行的方向的单位矢量。即，n的x分量cosθ和y分量sinθ用(式3)表征。另外，图像的变动矢量通过公知的方法求取。
[数学式2]
Figure BDA0002919035860000191
Figure BDA0002919035860000192
另外，(式2)中的水平方向和垂直方向的亮度梯度分别通过(式4)以及(式5)来计算。
[数学式3]
Figure BDA0002919035860000193
[数学式4]
Figure BDA0002919035860000194
另外，水平方向和垂直方向的亮度梯度的计算并不限于基于(式4)以及(式5)所示的两侧差分的计算，也可以是基于(式6)以及(式7)所示的前方差分的计算，或使用基于(式8)以及(式9)所示的后方差分的方法。用这些任一个的计算都能得到同样的结果。
[数学式5]
Figure BDA0002919035860000195
[数学式6]
Figure BDA0002919035860000196
[数学式7]
Figure BDA0002919035860000197
[数学式8]
Figure BDA0002919035860000201
另外，在(式4)到(式9)，仅在相同行内或相同列内的像素间进行计算，但并不限于此，也可以如(式10)到(式15)所示那样，通过进行利用相邻的行或列的像素值的计算来减低噪声的影响的稳定的亮度梯度的计算。
[数学式9]
Figure BDA0002919035860000202
[数学式10]
Figure BDA0002919035860000203
[数学式11]
Figure BDA0002919035860000204
[数学式12]
Figure BDA0002919035860000205
[数学式13]
Figure BDA0002919035860000206
[数学式14]
Figure BDA0002919035860000207
进而，在使用多行或多列的像素值计算亮度梯度时，也可以如(式16)到(式21)那样，与相邻行或相邻列相比增大关注行或关注列的权重。
[数学式15]
Figure BDA0002919035860000211
[数学式16]
Figure BDA0002919035860000212
[数学式17]
Figure BDA0002919035860000213
[数学式18]
Figure BDA0002919035860000214
[数学式19]
Figure BDA0002919035860000215
[数学式20]
Figure BDA0002919035860000216
边界区域检测部112使用(式4)～(式21)所示的水平亮度梯度以及垂直亮度梯度、和(式3)所示的变动的方向矢量n的水平分量cosθ以及垂直分量sinθ，通过(式2)来将沿着变动的方向n的方向微分
Figure BDA0002919035860000217
Figure BDA0002919035860000221
计算为边缘的强度。
另外，边界区域检测部112可以不仅采用用(式2)的方法，还用其他方法来计算方向微分。例如，边界区域检测部112通过插补来计算位于由关注点和微分方向决定的直线上的至少1个像素的像素值。然后，边界区域检测部112根据该计算出的至少1个像素的像素值与关注点的像素值当中任意2个像素值的差分值来计算方向微分。用这样的方法也能得到与上述(式2)的方法同样的结果。
边界区域检测部112将方向微分的绝对值为第1阈值以上的像素检测为边缘。
图9是表示边界区域检测部112的处理动作的其他示例的流程图。另外，图9详细表示图6的步骤S130的处理。
(步骤S135)
边界区域检测部112算出BW图像与之前紧挨的BW图像的差分。
(步骤S136)
然后，边界区域检测部112将BW图像当中该差分为第2阈值以上的区域检测为亮暗边界区域。
如此地，本实施方式中的边界区域检测部112将BW图像与过去的BW图像的像素值的差分为第2阈值以上的区域检测为亮暗边界区域。由此，能简单地检测亮暗边界区域。
(变形例)
在上述实施方式中，为了补正纵深而检测亮暗边界区域，但也可以不检测该亮暗边界区域，而是使用学习模型来补正纵深。
图10是表示本变形例中的纵深取得装置1的功能结构的一例的框图。另外，对图10所示的构成要素当中与图4所示的构成要素相同的构成要素标注与图4所示的构成要素相同的附图标记，省略详细的说明。
本变形例中的纵深取得装置1取代图4所示的处理器110a而具备处理器110b，进而具备学习模型104。
学习模型104例如是神经网络，由深度学习构成。例如在输入到该学习模型104的输入数据中使用BW图像、IR图像以及纵深图像。在该学习模型104中，已经进行了学习，使得针对这些输入数据的组合而输出正解的补正后的纵深图像。
处理器110b不具备图4所示的边界区域检测部112，取代图4所示的纵深补正部111b而具备纵深补正部111c。
纵深补正部111c对上述的学习模型104输入上述的输入数据。其结果，纵深补正部111c从学习模型104取得补正后的纵深图像，作为针对该输入数据的输出数据。
即，图10所示的纵深取得装置1具备存储器200和处理器110b。处理器110b取得从光源101照射并由被摄体反射的红外光的强度，该红外光的强度通过固体摄像元件20中包括的多个第1像素21分别接收该红外光的摄像而被测量，并被保存在存储器200。另外，处理器110b通过对固体摄像元件20中包括的多个第1像素21分别基于在该第1像素21接收到的红外光的强度算出到被摄体的距离作为纵深，来生成纵深图像。进而，处理器110b取得BW图像，该BW图像通过与基于在固体摄像元件20中包括的多个第1像素21分别接收到的红外光的强度而形成的IR图像实质相同的场景的基于可见光的摄像且与IR图像实质相同的视点以及时刻的摄像而生成，并被保持在存储器200。然后，处理器110b通过将纵深图像、IR图像以及BW图像输入到学习模型104来补正纵深图像的纵深。
由此，若使学习模型104预先学习，以使针对纵深图像、IR图像以及BW图像的输入而输出正解的补正后的纵深图像，则不检测亮暗边界区域就能适当地补正纵深图像的纵深。
图11A表示本变形例所涉及的纵深取得装置1的仿真结果的一例。
纵深取得装置1通过BW摄像机103的摄像取得图11A的(a)所示的BW图像，进而通过IR摄像机102的摄像取得图11A的(b)所示的IR图像。该BW图像以及IR图像是通过在相同视点以及相同时刻对相同场景进行摄像而得到的图像。
纵深算出部111a基于形成该IR图像的红外光的强度来生成图11A的(c)所示的纵深图像。在图11A的(a)所示的BW图像中的亮暗边界区域，物体的轮廓例如在路面描绘的人行横道的白色的线条的轮廓被清晰地映出。但在图11A的(c)所示的纵深图像中，与该亮暗边界区域对应的区域的纵深被不清晰地表现。
纵深补正部111b通过将图11A的(a)～(c)所示的BW图像、IR图像以及纵深图像输入到学习模型104，来从该学习模型104取得图11A的(d)所示的补正后的纵深图像。
其结果，在本变形例所涉及的纵深取得装置1中，能使补正后的纵深图像接近于图11A的(e)所示的正解的纵深图像。
图11B表示本变形例所涉及的纵深取得装置1的仿真结果的其他示例。
纵深取得装置1通过BW摄像机103的摄像取得图11B的(a)所示的BW图像，进而通过IR摄像机102的摄像取得图11B的(b)所示的IR图像。在该图11B所示的示例中，也与图11A所示的示例同样，BW图像以及IR图像是通过在相同视点以及相同时刻对相同场景摄像而得到的图像。
纵深算出部111a基于形成该IR图像的红外光的强度来生成图11B的(c)所示的纵深图像。在图11B的(a)所示的BW图像中的亮暗边界区域中，物体的轮廓例如在路面描绘的人行横道的白色的线条的轮廓被清晰地映出。但在图11B的(c)所示的纵深图像中，与该亮暗边界区域对应的区域的纵深被不清晰地表现。
纵深补正部111b通过将图11B的(a)～(c)所示的BW图像、IR图像以及纵深图像输入到学习模型104，来从该学习模型104取得图11B的(d)所示的补正后的纵深图像。
其结果，在本变形例所涉及的纵深取得装置1中，能使补正后的纵深图像接近于图11B的(e)所示的正解的纵深图像。
以上，在本实施方式以及其变形例中的纵深取得装置1中，即使是对对红外光的反射率相互不同的2个物体的边界摄像的情况，也能正确取得该边界周边的纵深。
另外，在上述各实施方式中，各构成要素可以用专用的硬件构成，或通过执行适合各构成要素的软件程序来实现。各构成要素可以通过CPU或处理器等程序执行部将记录于硬盘或半导体存储器等记录介质的软件程序读出并执行来实现。在此，实现上述实施方式以及变形例的纵深取得装置等的软件使计算机执行图6、图7以及图9的任一个流程图中所含的各步骡。
以上对一个或多个方案所涉及的纵深取得装置基于实施方式及其变形例进行了说明，但本公开并不限定于该实施方式及其变形例。只要不脱离本公开的主旨，对本实施方式以及变形例实施本领域技术人员想到的各种变形而得到的方案、将实施方式以及变形例中的构成要素组合而构建的形态可以也包含在本公开的范围内。
例如纵深算出部111a基于在相互不同的3个曝光定时测量的3个红外光的强度来算出纵深。但该曝光定时以及红外光的强度的数量并不限定于3个，也可以是4个以上。
另外，在上述实施方式的变形例中，纵深取得装置1具备学习模型104，但也可以不具备该学习模型10。在该情况下，纵深取得装置1例如经由通信网络对学习模型104输入上述的输入数据，经由该通信网络取得来自该学习模型104的输出数据即补正后的纵深图像。
另外，在本公开中，组件、器件的全部或一部分、或图1、图4、以及图10所示的框图的功能块的全部或一部分可以由半导体装置、包含半导体集成电路(IC)或LSI(largescale integration，大规模集成电路)的一个或一个以上的电子电路执行。LSI或IC可以集成在一个芯片上，也可以组合多个芯片而构成。例如可以将存储元件以外的功能块集成在一个芯片。在此称作LSI、IC，但根据集成的程度而叫法改变，有可能称作***LSI、VLSI(very large scale integration，很大规模集成电路)或ULSI(ultra large scaleintegration，超大规模集成电路)。出于相同目的还能使用在LSI的制造后编程的现场可编程门阵列(FPGA，Field Programmable Gate Array)、或能进行LSI内部的接合关系的重构或LSI内部的电路区划的设置的可重构逻辑器件(reconfigurable logic device)。
进而，组件、装置或装置的一部分的、全部或一部分功能或操作能通过软件处理执行。在该情况下，软件记录于一个或一个以上的ROM、光盘、硬盘驱动器等非暂时的记录介质，在软件被处理装置(processor)执行的情况下，软件使处理装置(processor)和周边的器件执行软件内的特定的功能。***或装置可以具备记录软件的一个或一个以上的非暂时的记录介质、处理装置(processor)以及需要的硬件器件例如接口。
产业上的可利用性
本公开能运用到取得到被摄体的距离即纵深的纵深取得装置，例如能作为车载设备等而利用。
附图标记的说明
1 纵深取得装置
10、101 光源
20 固体摄像元件
21 第1像素(IR)
22 第2像素(BW)
30 处理电路
50 扩散板
60 镜头
70 带通滤波器
102 IR摄像机
103 BW摄像机
104 学习模型
110a、110b 处理器
111a 纵深算出部
111b、111c 纵深补正部
112 边界区域检测部
113 发光控制部
114 IR取得部
115 BW取得部
200 存储器。

Claims (14)

1.一种纵深取得装置，具备存储器和处理器，
所述处理器，
取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在所述存储器，
对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，
取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，
从所述可见光图像检测包括沿着与所述可见光图像的变动的方向垂直的方向的边缘在内的区域即边缘区域，
对与所述边缘区域对应的所述纵深图像内的区域即补正对象区域的纵深进行补正。
2.根据权利要求1所述的纵深取得装置，其中，
在所述边缘区域的检测中，
检测具有第1阈值以上的强度的所述边缘，
所述边缘区域是从具有所述第1阈值以上的强度的所述边缘开始到与所述可见光图像的变动相应的距离为止的区域。
3.根据权利要求1所述的纵深取得装置，其中，
在所述边缘区域的检测中，
将所述可见光图像与过去的可见光图像的像素值的差分为第2阈值以上的区域检测为所述边缘区域。
4.根据权利要求1～3中任一项所述的纵深取得装置，其中，
在所述补正对象区域的补正中，使用所述纵深图像内位于所述补正对象区域的周围的区域即周围区域的纵深来补正所述补正对象区域的纵深。
5.根据权利要求4所述的纵深取得装置，其中，
所述周围区域是与所述补正对象区域的下侧相接的区域，
在所述补正对象区域的纵深的补正中，将所述补正对象区域的纵深置换成所述周围区域的纵深。
6.根据权利要求1～3中任一项所述的纵深取得装置，其中，
在所述补正对象区域的纵深的补正中，通过将所述可见光图像用作参考图像的对所述纵深图像的滤波来补正所述补正对象区域的纵深。
7.根据权利要求1～3中任一项所述的纵深取得装置，其中，
在所述补正对象区域的纵深的补正中，
通过将所述红外光图像、所述可见光图像、所述纵深图像以及所述边缘区域输入到学习模型，来补正所述纵深图像内的所述补正对象区域的纵深。
8.一种纵深取得装置，具备存储器和处理器，
所述处理器，
取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在所述存储器，
对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，
取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，
通过将所述纵深图像、所述红外光图像以及所述可见光图像输入到学习模型来补正所述纵深图像的纵深。
9.一种纵深取得装置，具备：
红外光摄像机，其具有摄像元件，通过进行所述摄像元件中包括的多个像素分别接收从光源照射并由被摄体反射的红外光的摄像来测量所述红外光的强度；
纵深算出部，其对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像；
可见光摄像机，其通过进行与基于由在所述红外光摄像机的所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像，来生成可见光图像；
边缘区域检测部，其从所述可见光图像检测包括沿着与所述可见光图像的变动的方向垂直的方向的边缘在内的区域即边缘区域；和
纵深补正部，其对与所述边缘区域对应的所述纵深图像内的区域即补正对象区域的纵深进行补正。
10.一种纵深取得装置，具备：
红外光摄像机，其具有摄像元件，通过进行所述摄像元件中包括的多个像素分别接收从光源照射并由被摄体反射的红外光的摄像来测量所述红外光的强度；
纵深算出部，其对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像；
可见光摄像机，其通过进行与基于由在所述红外光摄像机的所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像，来生成可见光图像；和
纵深补正部，其通过将所述纵深图像、所述红外光图像以及所述可见光图像输入到学习模型来补正所述纵深图像的纵深。
11.一种纵深取得方法，
取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在存储器，
对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，
取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，
从所述可见光图像检测包括沿着与所述可见光图像的变动的方向垂直的方向的边缘在内的区域即边缘区域，
对与所述边缘区域对应的所述纵深图像内的区域即补正对象区域的纵深进行补正。
12.一种纵深取得方法，
取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在存储器，
对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，
取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，
通过将所述纵深图像、所述红外光图像以及所述可见光图像输入到学习模型来补正所述纵深图像的纵深。
13.一种程序，用于取得到被摄体的距离作为纵深，所述程序使计算机执行：
取得从光源照射并由所述被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在存储器，
对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，
取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，
从所述可见光图像检测包括沿着与所述可见光图像的变动的方向垂直的方向的边缘在内的区域即边缘区域，
对与所述边缘区域对应的所述纵深图像内的区域即补正对象区域的纵深进行补正。
14.一种程序，用于取得到被摄体的距离作为纵深，所述程序使计算机执行：
取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在存储器，
对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，
取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，
通过将所述纵深图像、所述红外光图像以及所述可见光图像输入到学习模型来补正所述纵深图像的纵深。
CN201980050152.3A 2018-09-28 2019-09-11 纵深取得装置、纵深取得方法以及程序 Pending CN112513677A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018184472 2018-09-28
JP2018-184472 2018-09-28
PCT/JP2019/035781 WO2020066637A1 (ja) 2018-09-28 2019-09-11 奥行取得装置、奥行取得方法およびプログラム

Publications (1)

Publication Number Publication Date
CN112513677A true CN112513677A (zh) 2021-03-16

Family

ID=69952595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980050152.3A Pending CN112513677A (zh) 2018-09-28 2019-09-11 纵深取得装置、纵深取得方法以及程序

Country Status (5)

Country Link
US (2) US11758247B2 (zh)
EP (1) EP3859394A4 (zh)
JP (1) JP6990859B2 (zh)
CN (1) CN112513677A (zh)
WO (1) WO2020066637A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4386674A2 (en) * 2018-09-27 2024-06-19 Panasonic Intellectual Property Management Co., Ltd. Depth acquisition device, depth acquisition method, and program
DE102019003049B4 (de) * 2019-04-27 2021-04-29 Tarsier Gmbh Vorrichtung und Verfahren zum Erfassen von Objekten
WO2021065176A1 (ja) * 2019-09-30 2021-04-08 富士フイルム株式会社 処理装置、電子機器、処理方法、及びプログラム
JP7436509B2 (ja) * 2019-12-17 2024-02-21 富士フイルム株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
CN112526534B (zh) * 2020-11-03 2024-03-08 上海炬佑智能科技有限公司 ToF传感装置及其距离检测方法
US20240144506A1 (en) * 2021-03-22 2024-05-02 Sony Semiconductor Solutions Corporation Information processing device
WO2023195403A1 (ja) * 2022-04-06 2023-10-12 株式会社Ｊｖｃケンウッド 画像処理装置及び画像処理方法
WO2024062874A1 (ja) * 2022-09-20 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム
WO2024116444A1 (ja) * 2022-11-28 2024-06-06 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理プログラム

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030029353A (ko) * 2001-10-08 2003-04-14 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법
JP2008097624A (ja) * 2007-11-05 2008-04-24 National Institute Of Advanced Industrial & Technology ３次元データからの特徴抽出方法および装置
US20100046802A1 (en) * 2008-08-19 2010-02-25 Tatsumi Watanabe Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
JP2010182287A (ja) * 2008-07-17 2010-08-19 Steven C Kays 適応型インテリジェント・デザイン
CN101996597A (zh) * 2009-08-18 2011-03-30 夏普株式会社 显示装置、校正***、作成装置、决定装置及其方法
US20120098935A1 (en) * 2010-10-21 2012-04-26 Sony Corporation 3d time-of-flight camera and method
CN102768412A (zh) * 2011-05-02 2012-11-07 索尼公司 红外成像***和操作方法
CN102783137A (zh) * 2010-05-10 2012-11-14 松下电器产业株式会社 摄像装置
US20130050453A1 (en) * 2011-08-24 2013-02-28 Fluke Corporation Thermal imaging camera with range detection
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
JP2013207415A (ja) * 2012-03-27 2013-10-07 Osaka City Univ 撮像システム及び撮像方法
CN106651941A (zh) * 2016-09-19 2017-05-10 深圳奥比中光科技有限公司 一种深度信息的采集方法以及深度测量***
CN107229056A (zh) * 2016-03-23 2017-10-03 松下知识产权经营株式会社 图像处理装置、图像处理方法以及记录介质
CN107851322A (zh) * 2015-07-13 2018-03-27 皇家飞利浦有限公司 用于为图像确定深度图的方法和装置
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
US20180205926A1 (en) * 2017-01-17 2018-07-19 Seiko Epson Corporation Cleaning of Depth Data by Elimination of Artifacts Caused by Shadows and Parallax

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101842661A (zh) * 2007-11-07 2010-09-22 电子地图有限公司 将范围传感器数据映射在图像传感器数据上的方法及布置
US8596541B2 (en) * 2008-02-22 2013-12-03 Qualcomm Incorporated Image capture device with integrated barcode scanning
JP5743390B2 (ja) 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
FI125675B (en) * 2013-05-03 2016-01-15 Optofidelity Oy Procedure, device and computer program product for testing video playback quality
JP2017150893A (ja) * 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
US10841491B2 (en) * 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
US10574909B2 (en) * 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
EP3570066A4 (en) * 2017-01-13 2019-12-25 Sony Corporation SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD, AND PROGRAM
JP6438512B2 (ja) 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
CN111512344A (zh) * 2017-08-08 2020-08-07 西门子股份公司 使用增强用生成式对抗神经网络从cad数据生成合成深度图像
DE112019000277T5 (de) * 2018-01-19 2020-08-27 Sony Corporation Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm
US10755426B2 (en) * 2018-05-23 2020-08-25 Apple Inc. Efficient scene depth map enhancement for low power devices
KR102192899B1 (ko) * 2018-08-16 2020-12-18 주식회사 날비컴퍼니 이미지에 보케 효과를 적용하는 방법 및 기록매체
JP7240115B2 (ja) * 2018-08-31 2023-03-15 キヤノン株式会社 情報処理装置及びその方法及びコンピュータプログラム

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030029353A (ko) * 2001-10-08 2003-04-14 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법
JP2008097624A (ja) * 2007-11-05 2008-04-24 National Institute Of Advanced Industrial & Technology ３次元データからの特徴抽出方法および装置
JP2010182287A (ja) * 2008-07-17 2010-08-19 Steven C Kays 適応型インテリジェント・デザイン
US20100046802A1 (en) * 2008-08-19 2010-02-25 Tatsumi Watanabe Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
CN101996597A (zh) * 2009-08-18 2011-03-30 夏普株式会社 显示装置、校正***、作成装置、决定装置及其方法
CN102783137A (zh) * 2010-05-10 2012-11-14 松下电器产业株式会社 摄像装置
US20120098935A1 (en) * 2010-10-21 2012-04-26 Sony Corporation 3d time-of-flight camera and method
CN102768412A (zh) * 2011-05-02 2012-11-07 索尼公司 红外成像***和操作方法
US20130050453A1 (en) * 2011-08-24 2013-02-28 Fluke Corporation Thermal imaging camera with range detection
JP2013207415A (ja) * 2012-03-27 2013-10-07 Osaka City Univ 撮像システム及び撮像方法
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
CN107851322A (zh) * 2015-07-13 2018-03-27 皇家飞利浦有限公司 用于为图像确定深度图的方法和装置
CN107229056A (zh) * 2016-03-23 2017-10-03 松下知识产权经营株式会社 图像处理装置、图像处理方法以及记录介质
CN106651941A (zh) * 2016-09-19 2017-05-10 深圳奥比中光科技有限公司 一种深度信息的采集方法以及深度测量***
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
US20180205926A1 (en) * 2017-01-17 2018-07-19 Seiko Epson Corporation Cleaning of Depth Data by Elimination of Artifacts Caused by Shadows and Parallax

Also Published As

Publication number Publication date
US11758247B2 (en) 2023-09-12
EP3859394A1 (en) 2021-08-04
JP6990859B2 (ja) 2022-01-12
JPWO2020066637A1 (ja) 2021-08-30
WO2020066637A1 (ja) 2020-04-02
US20210144314A1 (en) 2021-05-13
US20240007727A1 (en) 2024-01-04
EP3859394A4 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
CN112513677A (zh) 纵深取得装置、纵深取得方法以及程序
CN112534474A (zh) 纵深取得装置、纵深取得方法以及程序
US9582889B2 (en) Depth mapping based on pattern matching and stereoscopic information
JP7507408B2 (ja) 撮像装置、情報処理装置、撮像方法、およびプログラム
JP7450163B2 (ja) 奥行取得装置、奥行取得方法およびプログラム
US20190266739A1 (en) Image Processing System for Inspecting Object Distance and Dimensions Using a Hand-Held Camera with a Collimated Laser
CN112313541A (zh) 设备和方法
EP3499178B1 (en) Image processing system, image processing program, and image processing method
US20190287272A1 (en) Detection system and picturing filtering method thereof
JP2020052001A (ja) 奥行取得装置、奥行取得方法およびプログラム
JP2020051991A (ja) 奥行取得装置、奥行取得方法およびプログラム
EP3499408B1 (en) Image processing system and image processing program
KR102351152B1 (ko) ToF 센서를 이용한 삼차원 카메라의 다중 반사 경로로 인한 깊이 정보 오차 보정 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination