CN107798699A - 用立体图像进行深度图估计 - Google Patents

用立体图像进行深度图估计 Download PDF

Info

Publication number
CN107798699A
CN107798699A CN201710776968.7A CN201710776968A CN107798699A CN 107798699 A CN107798699 A CN 107798699A CN 201710776968 A CN201710776968 A CN 201710776968A CN 107798699 A CN107798699 A CN 107798699A
Authority
CN
China
Prior art keywords
deep neural
stereo
layer
neural network
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710776968.7A
Other languages
English (en)
Other versions
CN107798699B (zh
Inventor
瓦希德·泰穆里
米歇尔·科登尼尔
李京敏
布莱恩·罗杰·古德曼
吉恩特·普什科留斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107798699A publication Critical patent/CN107798699A/zh
Application granted granted Critical
Publication of CN107798699B publication Critical patent/CN107798699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种车辆可以配置为在自主驾驶和乘员驾驶两种模式下操作。当在任一模式下操作时，可使用包括立体摄像机和3D传感器的传感器阵列来驾驶车辆。立体摄像机和3D传感器也可用于在乘员驾驶车辆时辅助乘员。深度卷积神经网络可以用于在自主和乘员驾驶模式下从车辆实时视景的立体图像确定估计的深度图。

Description

用立体图像进行深度图估计
技术领域
本发明大体上涉及车辆安全驾驶领域，以及更具体地涉及一种用立体图像进行深度图估计的方法和装置。
背景技术
车辆可以配置为在自主驾驶和乘员驾驶两种模式下操作。当在自主模式下操作时，可以使用包括可产生3D距离或深度图的传感器的传感器阵列来驾驶车辆。深度图也可以用于乘员驾驶模式，以协助乘员驾驶车辆。例如，可以通过处理成对的立体图像来获取深度图。
发明内容
根据本发明，提供一种方法，其包含：
用一个或多个深度神经网络最大池化层处理第一和第二立体图像；
用一个或多个深度神经网络上采样层处理立体图像；
确定一个或多个深度图；和
基于一个或多个深度图来驾驶车辆。
根据本发明的一个实施例，该方法中深度神经网络最大池化层是卷积神经网络层。
根据本发明的一个实施例，该方法中深度神经网络上采样层是去卷积神经网络层。
根据本发明的一个实施例，该方法中深度神经网络最大池化层和深度神经网络上采样层是用训练立体图像和相关联的地面实况输出深度图来进行训练。
根据本发明的一个实施例，该方法中训练立体图像是在多个基线距离和立体摄像机调准上获取的。
根据本发明的一个实施例，该方法中深度神经网络最大池化层和深度神经网络上采样层是用LIDAR数据来进行训练。
根据本发明的一个实施例，该方法中深度神经网络最大池化层和深度神经网络上采样层基于互相关。
根据本发明的一个实施例，该方法中一个或多个深度神经网络最大池化层包括至少四个深度神经网络最大池化层。
根据本发明的一个实施例，该方法中一个或多个深度神经网络上采样层包括至少四个深度神经网络上采样层。
根据本发明的一个实施例，该方法还包含：
其中车辆在乘员驾驶模式下操作；和
基于一个或多个深度图驾驶车辆包括用增强现实显示辅助乘员驾驶员。
根据本发明，提供一种装置，其包含：
处理器，和
存储器，存储器包括要由处理器执行的指令，该指令用于：
用一个或多个深度神经网络最大池化层处理第一和第二立体图像；
用一个或多个深度神经网络上采样层处理立体图像；
确定一个或多个深度图；和
基于一个或多个深度图来驾驶车辆。
根据本发明的一个实施例，该装置中深度神经网络最大池化层是卷积神经网络层。
根据本发明的一个实施例，该装置中深度神经网络上采样层是去卷积神经网络层。
根据本发明的一个实施例，该装置中深度神经网络最大池化层和深度神经网络上采样层是用训练立体图像和相关联的地面实况输出深度图来进行训练。
根据本发明的一个实施例，该装置中训练立体图像是在多个基线距离和立体摄像机调准上获取的。
根据本发明的一个实施例，该装置中深度神经网络最大池化层和深度神经网络上采样层是用LIDAR数据来进行训练。
根据本发明的一个实施例，该装置中深度神经网络最大池化层和深度神经网络上采样层基于互相关。
根据本发明的一个实施例，该装置中一个或多个深度神经网络最大池化层包括至少四个深度神经网络最大池化层。
根据本发明的一个实施例，该装置中一个或多个深度神经网络上采样层包括至少四个深度神经网络上采样层。
根据本发明的一个实施例，该装置还包括：
其中车辆在乘员驾驶模式下操作；和
基于一个或多个深度图驾驶车辆包括用增强现实显示辅助乘员驾驶员。
附图说明
图1是根据所公开的实施方式的车辆的示意图；
图2是使用立体匹配的现有技术的深度图估计的示意图；
图3是立体图像中的极线306、308上的立体匹配过程的示意图；
图4是不同窗口大小的传统立体匹配算法的敏感性示意图；
图5是由人脑执行的深度图估计的示意图，示出了用于深度图估计的深度神经网络能力；
图6是根据所公开的实施方式的方面的用于深度图估计的卷积深度神经网络(CDNN)***的示意图；
图7是根据所公开的实施方式的方面的用于深度图估计的CDNN***的示意图；
图8是根据所公开的实施方式的方面通过CDNN确定用于驾驶车辆的深度图的过程的流程图；和
图9是根据所公开的实施方式的方面的训练CDNN以确定用于驾驶车辆的深度图的过程的流程图。
具体实施方式
最先进的深度图估计算法，例如，立体匹配，依靠立体图像来计算到视景中周围物体的距离。立体匹配算法提取一对立体图像中的特征，检测该对图像中的相应特征，并且最后通过计算特征的立体视差来估计特征的深度或距离。
图2是使用立体视差200的现有技术深度图估计的示意图。立体视差是诸如点X202的物体在两个立体图像210、212上的投影点214、220之间的水平距离量。图2包括由一对立体摄像机——摄像机1 206和摄像机2 208——所拍摄的视景204中的点X202。点X202被投射在摄像机1 206的成像器(image detector)210上以形成左侧点214和被投射在摄像机2208的成像器212上以形成右侧点220。摄像机1 206还具有距成像器210焦距f处的光学中心C216，而摄像机2 208具有距成像器212焦距f处的光学中心C'222。
光学中心C和C'形成基线B。光学中心C216在成像器210上的投影形成左侧中心点218，并且光学中心C'222在成像器212上的投影形成右侧中心点224。距离u和u'可以根据左侧点214距左侧中心点218的位移和右侧点220距右侧中心点224的位移来确定。立体视差SD，定义为SD＝u-u'，可以通过等式(1)与点X202距光学中心C、C'的距离Z相关：
例如，可以匹配以计算立体视差，并且从而计算距离或深度的特征可以包括立体图像对中的视觉边缘。可以检测多个特征，并且为每个特征对计算立体视差以及进行插值以确定深度。用于从立体图像估计深度的其他技术，例如块匹配算法，包括将每个立体图像对划分成块或窗口对，并且匹配每对窗口以确定立体视差。
图3示出了使用一对立体图像302、304的用于深度图估计300的现有技术。可以在逐像素基础上沿着通过两个立体图像302、304的极线(epipolar line)306、308来计算立体视差。极线306、308是在分别通过光学中心C216、C'222和要估计的点X202之间的线的在每个立体图像302、304上的投影。要估计的每个像素将具有在其他立体图像302、304中的极线306、308。
可以通过比较来自第一立体图像302的每个像素和来自第二立体图像304的极线308上的像素来确定立体视差，以确定匹配，并且反之亦然。确定匹配可以包括最小化像素之间的损失或差异函数。确定立体图像302、304中的沿极线306、308的像素的位移可以确定像素的立体视差。
用于使用一对立体图像302、304的深度图估计300的另一种已知技术使用窗口310、312。可以在立体图像302、304之间匹配相似的窗口310、312，并且匹配的窗口310、312之间的位移用于确定立体视差。例如，匹配窗口可以提供比匹配像素更准确的立体视差测量，这是由于匹配多个像素而不是单个像素改进了统计特性。匹配算法可以使用基于相关性的技术或平方差的和来确定立体视差。
匹配一对立体图像302、304之间的窗口310、312可以包括确定窗口310、312之间的相似性。确定相似性可以包括使用不同的相似性测量值的块匹配，例如，根据方程(2)求平方差的和，
E(x，y；d)＝∑(x′，y′)∈N(x，y)[IL(x′+d，y′)-IR(x′，y′)]2, (2)
其中相似性测量值E是以点(x，y)为中心的窗口N和两个立体图像302、304中的两个窗口之间的距离d的函数。等式(2)中的相似性测量值是来自左侧立体图像302和右侧立体图像304的两个窗口310、312中的像素的强度值IL和IR之间的平方差之和。两个窗口中心具有等于与估计的立体视差成比例的d的量的在这种情况下沿平行于X轴的极线的偏移。
与确定立体视差和由此确定深度相关联的参数是窗口310、312的大小。图4是由等式(2)确定的现有技术深度图402、404的示意图，图4中的深度图402是用3个像素的窗口大小确定的，并且深度图404是用10个像素的窗口大小确定的。使用等式2确定深度图非常取决于窗口大小的选择，并且不能用图1中的计算装置115实时确定。
图1是根据所公开的实施方式的包括可以自主驾驶和乘员驾驶模式操作的车辆110的车辆信息***100的示意图。车辆110还包括用于在自主操作期间执行计算以驾驶车辆110的一个或多个计算装置115。计算装置115可以从传感器116接收关于车辆运行的信息。增强现实显示在车辆117上。
计算装置115包括诸如已知的处理器和存储器。另外，存储器包括一种或多种形式的计算机可读介质，并且储存可由用于执行包括如本发明所公开的各种操作的处理器执行的指令。例如，计算装置115可以包括编制程序以操作车辆的制动、推进(例如，通过控制内燃机、电动机、混合发动机等中的一个或多个进行车辆110中的加速控制)、转向、气候控制、室内和/或室外灯等中的一个或多个，以及以确定是否和何时是由计算装置115而不是人类操作者来控制这些操作。
计算装置115可以包括多于一个的计算装置或例如通过下面进一步描述的车辆通信总线通信地耦合多于一个的计算装置，例如包括在车辆110中用于监视和/或控制各种车辆部件的控制器等，例如动力传动***控制器112、制动器控制器113、转向器控制器114等。计算装置115大体上被设置用于在车辆通信网络上通信，诸如车辆110中的总线，例如控制器区域网络(CAN)等；车辆110网络可以包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
通过车辆网络，计算装置115可以向车辆中的包括传感器116的各种设备传输消息和/或从包括传感器116的各种设备(例如，控制器、致动器、传感器等)接收消息。可选地，或另外地，在计算装置115实际上包含多个装置的情况下，车辆通信网络可以用于在本公开中表示为计算装置115的装置之间的通信。另外，如下所述，各种控制器或感测元件可以通过车辆通信网络向计算装置115提供数据。
此外，计算装置115可以被配置用于通过网络130与远程服务器计算机120(例如，云服务器)通过车辆与基础设施(V-I)接口111进行通信，如下所述，网络130可以使用各种有线和/或无线联网技术，例如蜂窝、(蓝牙)和有线和/或无线分组网络。计算装置115还包括诸如已知的非易失性存储器。计算装置可以通过将信息存储在非易失性存储器中来记录信息，用于随后检索，并且用于通过车辆通信网络和V-I接口111传输至服务器计算机120或用户移动设备160。
如已经提到的，大体上包括在储存在存储器中并且由计算装置115的处理器执行的指令中的是用于在没有人类操作者的干预下操作一个或多个车辆110部件(例如，制动器、转向器、推进器等)的编制程序。使用在计算装置115中接收的数据，例如来自传感器116、服务器计算机120等的传感器数据，计算装置115可以在无驾驶员操作车辆110的情况下进行各种确定和/或控制各种车辆110部件和/或操作。例如，计算装置115可以包括用于调节车辆110的操作行为(例如速度、加速度、减速度、转向等)，以及诸如车辆之间的距离和/或车辆之间的时间量、车辆之间车道变换的最小间隙、最小的车道左转路径、到达特定位置的时间和到达以穿过十字路口(无信号)的最短时间的战术行为的编制程序。
如本发明使用的术语，控制器包括通常被编程用于控制特定车辆子***的计算装置。示例包括动力传动***控制器112、制动器控制器113和转向器控制器114。控制器可以是诸如已知的电子控制单元(ECU)，可能包括如本发明所述的附加的编制程序。控制器可以通信地连接至计算装置115并且从计算装置115接收指令，以根据该指令驱动子***。例如，制动器控制器113可以接收来自计算装置115的指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ECU)等，其包括作为非限制性示例的一个或多个动力传动***控制器112、一个或多个制动器控制器113和一个或多个转向器控制器114。控制器112、113、114中的每个可以包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可以被编程并且连接至诸如控制器局域网(CAN)总线或本地互连网络(LIN)总线的车辆110通信总线，以从计算机115接收指令，并基于该指令控制致动器。
传感器116可以包括通过车辆通信总线提供数据的已知的各种装置。例如，固定到车辆110的前保险杠(未示出)的雷达可以提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位***(GPS)传感器110可以提供车辆110的地理坐标。由雷达提供的距离或由GPS传感器提供的地理坐标可以由计算装置115使用以自主地或半自主地操作车辆110。
车辆110通常是具有三个或更多个车轮的陆用自主车辆110，例如客车、轻型卡车等。车辆110包括一个或多个传感器116、V-I接口111、计算装置115和一个或多个控制器112、113、114。
传感器116可以被编程用于收集与车辆110和车辆110正在运行的环境相关的数据。作为示例而非限制，传感器116可以包括例如高度计、摄像机、LiDAR(激光雷达)、雷达、超声波传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、诸如开关等的机械传感器。传感器116可用于感测车辆110正在运行的环境，例如天气条件、道路等级、道路位置或相邻车辆110。
传感器116还可以用于收集与车辆110的运行相关的动态车辆110数据，例如速度、偏航率、转向角、发动机转速、制动压力、油压、应用到车辆110中的控制器112、113、114的功率级、部件之间连通性以及车辆110的电气和逻辑运行状况。来自传感器116的信息可被输入至计算装置115以检测和分类诸如行人、车辆、骑自行车者、动物、交通标志和交通信号灯、施工标志和车道标识。车辆110还可以包括可操作地连接至计算装置115的用于显示深度图和其他信息的显示器117，以协助乘员在乘员驾驶模式下驾驶车辆110。
可以参考图5描述的所公开的实施方式的方面。图5是人眼506、508观看一对立体图像502、504并且分程传递512、524观看到的信息至大脑510，大脑510从立体图像502、504合成内部深度图516的示意图。人类大脑连续地执行这种活动而没有深思熟虑。如本发明所公开的，一类可以执行简单视觉任务的卷积深度神经网络(CDNN)可以被编程用于学习如何从立体图像502、504确定深度图。
图6是用于使用包括左侧立体摄像机602和右侧立体摄像机604的立体图像来确定深度图的***600。左侧和右侧立体摄像机602、604发送左侧和右侧立体图像至CDNN606，CDNN606处理左侧和右侧立体图像以估计深度图。然后，在步骤608处将估计的深度图输出至计算装置115以驾驶车辆110。***600可以用任何深度学习框架来实施，例如，Caffe(Convolutional Architecture for Fast Feature Embedding，卷积神经网络框架)、Tensorflow(谷歌张量流图)或CNTK(Computational Network Toolkit，微软认知工具包)。***600在本申请中由Caffe来实施，在http://caffe.berkeleyvision.org/处所述的Caffe是由柏克利视觉和学习中心(Berkeley Vision and Learning Center)以及由社区贡献者创建的已知神经网络框架。
使用Caffe框架来实施***600可以产生图7的深度卷积神经网络700，该深度卷积神经网络700包括多个层706、708、710、712、714、718、722，其中多个层中的一个或多个可以使用诸如互相关的各种相似性测量从输入数据中确定立体视差，并且从而确定深度图。深度卷积神经网络700可以通过比较深度图与地面实况来被训练以确定立体视差，并且从而确定深度图。例如，训练可以包括基于将深度图与地面实况进行比较来选择包括互相关内核(kernel)的参数，并且将结果反向传播以选择使错误最小化的参数。
例如，使用互相关进行立体视差确定可以包括使用来自预定大小并且位于立体图像702、704中的一个内的窗口的像素来形成互相关内核，并且将如此形成的内核与立体图像702、704中的另一个互相关。例如，沿着极线的相关系数的最大值点的位置可以形成立体视差的基础。
训练可以包括选择诸如窗口大小和窗口位置参数，以及关于互相关其和最大值位置的参数。立体视差确定的结果可以解释为深度图，并以适当的分辨率与地面实况进行比较。可以基于与地面实况的比较产生的错误对参数组进行排名。可以基于排名保留或丢弃参数。
图7是更加详细的卷积深度神经网络(CDNN)606的示意图。CDNN 700包括将一对立体图像702、704输入至第一CDNN层C1 706。第一CDNN层C1 706可以由图9的过程900进行训练，以确定来自与立体图像702、704表示的视景相似的视景的立体训练图像的立体视差。例如，第一CDNN层C1 706可以包括通过用最大值表示窗口来池化整个窗口的值的最大池化CDNN层。
最大池化可以降低立体图像702、704的分辨率，从而根据分辨率的降低量来有效地增加窗口大小。例如，最大池化是一种用于降低分辨率的技术，该技术可以选择窗口大小，并且将窗口内所有像素的值设置为窗口最大像素值的值。以这种方式，立体图像702、704可以以较低的分辨率重新采样，同时仍然保留最大值信息。
例如，第一CDNN层C1 706可以通过最大池化来降低立体图像702、704的分辨率，并且通过从立体图像702、704中的一个形成内核并将其与立体图像702、704中的另一个互相关来确定立体视差结果。互相关可以确定立体视差以正向传播到第二CDNN层C2 708上。
以与第一CDNN层C1 706类似的方式，可以通过图9的过程900对第二CDNN层C2 708进行训练，以从与使用最大池化降低分辨率的立体图像702、704表示的视景相似的视景确定立体训练图像的立体视差。第二CDNN层C2 708可以通过最大池化来降低立体图像702、704的分辨率和从CDNN层C1 706输入的立体视差，例如使用互相关来确定立体图像702、704的立体视差，并且将确定的立体视差与输入的立体视差相结合，以正向传播到第三CDNN层C3 710上。
以与第一和第二CDNN层C1 706、C2 708类似的方式，可以训练第三CDNN层C3 710，以确定来自与使用最大池化适当地降低分辨率的立体图像训练图像相似的视景的立体图像702、704的立体视差。第三CDNN层710确定降低分辨率的立体视差，并且将结合有输入立体视差的立体视差结果传递至第四CDNN层C4 712。第四CDNN层C4 712被类似地训练以确定来自与使用最大池化适当地降低分辨率的立体图像训练图像相似的视景的立体图像702、704的立体视差。
第四CDNN层C4 712将立体视差结果正向传播至第一去卷积深度神经网络(DDNN)层D1 714。第一DDNN层D1是由过程900训练的深度神经网络层，以通过插值上采样例如立体视差结果，并且基于至少部分地反相由CDNN层706、708、710、712引入到立体视差结果中的卷积函数来对具有卷积核的立体视差结果去卷积。
从第四CDNN层C4 712正向传播的立体视差结果可以被上采样，与来自CDNN层C3710的立体视差结果716组合，并且例如去卷积，以在正向传播立体视差结果至第二DDNN层D2 718之前增加立体视差结果的分辨率。例如，上采样可以通过复制像素或插值来提高分辨率。例如，插值可以是线性或多项式，或一维或二维。去卷积可以移除由CDNN层706、708、710、712引入到立体视差结果中的至少一些结构。
以与第一DDNN层D1 714类似的方式，训练第二DDNN层D2 718以对立体输入视差结果进行上采样，并且基于至少部分地反相由CDNN层706、708、710、712引入到立体视差结果中的卷积函数来对卷积函数去卷积。第二DDNN层D2 718上采样，并且将该立体视差结果与从第二CDNN层C2 708以适当分辨率正向传播的立体视差结果组合，并且使立体视差结果去卷积以增加输出至第三DDNN层D3 722的分辨率。
以与第一和第二DDNN层D1和D2类似的方式，第三DDNN层D3 722由过程900训练，以通过以适当的分辨率从第一CDNN层C1接收正向传播的立体视差结果，以与从第二DDNN层D2正向传播的上采样的立体视差结果相结合，然后进行去卷积以产生上采样和去卷积的立体视差结果，从而增加立体视差结果的分辨率。可以通过简单的几何转换将立体视差结果转换为估计的深度图726。估计的深度图726可以被上采样以匹配输入立体图像702、704的分辨率并且输出至计算装置115。
在自主驾驶模式中，例如，计算装置115可以通过使用众所周知的机器视觉技术以识别估计的深度图726中诸如道路和诸如车辆的物体的区域，来使用估计的深度图来驾驶车辆。在乘客驾驶模式中，计算装置115可以使用估计的深度图726来进行自动碰撞规避和停车，例如通过识别估计的深度图726中的区域和对象。
图8是用于用于通过关于图7所述的CDNN700确定驾驶车辆110的深度图726的过程800的流程图。过程800可以在车辆信息***100上实施，输入信息包括来自传感器116的立体图像702、704，例如通过控制器112、113、114执行指令和发送控制信号。过程800包括以所公开的顺序采取的多个步骤。过程800还包括更少步骤或者可以包括以不同顺序采取步骤的实施方式。
过程800在步骤802处开始，在步骤802处，例如，CDNN700接收左侧和右侧立体图像702、704。左侧和右侧立体图像702、704可以由左侧立体摄像机602和右侧立体摄像机604输入。在步骤804处，可以由第一、第二、第三和第四CDNN层706、708、710、712如上文关于图7所述处理左侧和右侧立体图像702、704，以产生降低分辨率的立体视差结果。然后，在步骤806处，可以由第一、第二和第三DDNN层714、718、722如上文关于图7所述处理左侧和右侧立体图像702、704，以基于由CDNN层706、708、710、712引入的卷积函数通过对卷积函数去卷积来进行上采样。
在步骤808处，CDNN700可以基于左侧和右侧立体图像702、704向计算装置115输出估计的深度图726。如上文关于图7所述，估计的深度图726可以被上采样以匹配输入的立体图像702、704的分辨率。
在步骤810处，当车辆110以自主驾驶模式操作时，计算装置115可以基于由过程800输出的估计的深度图726来驾驶车辆110。车辆110可以使用众所周知的机器视觉技术来识别对应于道路、车辆、建筑物或植物的估计的深度图726中的区域和物体，并且使用控制器112、113、114操纵车辆110以操纵车辆110适当地行进，从而基于估计的深度图726来进行驾驶。
在步骤810处，车辆110在乘客驾驶模式下操作时，计算装置115可以通过执行诸如碰撞规避或停车之类的驾驶辅助操作，基于估计的深度图726驾驶车辆110。例如，计算装置115可以使用如上所述的众所周知的机器视觉技术来识别对应于道路、车辆，建筑物或植物的估计的深度图726中的区域。在乘员以基于估计的深度图726能够预测碰撞这样的方式驾驶车辆的情况下，例如，计算装置115可以禁用成员对车辆115的控制，并且用控制器112、113、114控制车辆110以安全地规避碰撞。
基于估计的深度图726驾驶车辆110的另一示例可以是当在乘客驾驶模式下时停车。计算装置115可以使用众所周知的机器视觉技术来识别在估计的深度图726中的停车位和与停车位相邻的车辆和物体，并且在没有乘员干预的情况下使用控制器112、113、114将车辆安全地驾驶至停车位。
在步骤812处，计算装置115可以在显示器117上显示估计的深度图726。例如，显示器117可以是抬头显示器，其中如下关于图9所述，到在视景中的位置的距离可以在深度图726上显示。
总而言之，图8示出了用于基于一个或多个估计的深度图726驾驶车辆的过程800。创建估计的深度图726是通过：接收左侧和右侧立体图像702、704到过程800(802)，其中，用一个或多个具有最大池化的经训练的卷积深度神经网络层处理立体图像702、704以降低分辨率(804)，然后用具有上采样的经训练的去卷积深度神经网络层处理左侧和右侧立体图像702、704以恢复分辨率(806)。过程800然后将一个或多个估计的深度图726输出到计算装置115(808)。计算装置115可以基于一个或多个估计的深度图726来驾驶车辆110(810)，并且在可以是抬头显示器的显示器117上显示估计的深度图726。
图9是用于训练CDNN700的过程900的流程图。为了处理左侧和右侧立体图像702、704以产生估计的深度图726(800)，CDNN700可以由过程900训练。训练是由CDNN700首先在步骤902处接收左侧和右侧立体训练图像来完成。左侧和右侧立体训练图像可以基于地面实况的可用性来选择。地面实况可以包括指示由立体训练图像成像的视景中的点的实际距离或深度的数据。
在步骤904处，CDNN700可以接收与左侧和右侧立体训练图像相关联的地面实况数据。地面实况数据可以由使用光脉冲来确定视景中点的距离或深度的LIDAR或光雷达提供。例如，其它技术可以依靠通过V-I接口111从网络接收地面实况数据。例如，该地面实况信息可以由服务器计算机120以地图或LIDAR数据库的形式提供，或者由附近的联网车辆和联网交通对象提供的自组织网络提供。
如上文关于图7所述，地面实况可以通过在CDNN700中实施反向传播来用于训练CDNN700。反向传播可以允许CDNN700测试立体视差，从而测试与用于每个最大池化CDNN层706、708、710、712和每个上采样DDNN层714、718、722的地面实况相对的深度图结果。以这种方式，可以训练CDNN700以确定与最小化估计的深度图726和地面实况之间的误差的立体训练图像类似的立体图像702、704对的一个或多个估计的深度图726。
立体图像702、704不必与用于确定估计的深度图726的经训练的CDNN700的立体训练图像相同，但是立体图像702、704越不同，估计的深度图726可能变得越不准确性。为了在车辆110行进时保持估计的深度图726的准确性，使用新的立体训练图像和新的地面实况重新训练CDNN700。
在步骤906处，例如，过程900通过处理左侧和右侧立体训练图像来训练CDNN层706、708、710、712，并将得到的深度图与地面实况进行比较。过程900可以使用各种可用参数值来编程每个层706、708、710、712，以使用最大池化和卷积处理来确定深度图，并且测试每个层706、708、710、712的相对于地面实况的得到的深度图。产生最佳结果的参数，例如确定与地面实况最佳匹配的深度图的参数被保留，并且丢弃其他参数。
由于立体摄像机手动地安装在车辆上，它们的相对位置和调准可以在不同的车辆中变化，包括光轴的旋转和平移混合调准。在深度神经网络训练中应考虑到这种变化；否则，神经网络可能在所有车辆上表现不佳，或者其性能可能因立体摄像机位置和调准的变化而改变。训练数据集中的一些参数，例如基线距离，立体摄像机的相对调准可以做出改变。这些变化可以帮助深度神经网络在训练过程中避免局部最小值，这可以增加深度神经网络相对摄像机安装期间引入的立体摄像机位置和调准中的变化的鲁棒性。
深度图估计可以容易地与其他深度神经网络一起用于加速和性能改进的目的。例如，深度神经网络已被用于检测和分类视景中的物体；然而，根据图像尺寸、内容和质量，检测和分类过程可能会变得不准确、不稳定和缓慢。为了解决这个差距，深度图可以是关于到视景中的周围物体的距离的现有知识。以这种方式，检测和分类过程可以仅限于包含较近物体的区域，例如具有较高强度的区域。该策略通过限制搜索区域而不是搜索整个图像来加速检测和分类过程。
在步骤908处，DDNN层714、718、722可以通过处理左侧和右侧训练图像并且例如将得到的深度图与地面实况进行比较，从而进行训练。如上问关于图7所述，每个层714、718、722可以拥有各种用于使用上采样和去卷积处理确定深度的参数值，并且在每个层714、718、722处测试适当分辨率的所得到的深度图。产生最佳结果的参数，例如确定与地面实况最佳匹配的深度图的参数被保留，并且丢弃其他参数。
根据过程900的计算装置115可以用多于一组立体训练图像和相关联的地面实况深度图来训练CDNN700。CDNN可以用多组立体训练图像和相关联的地面实况深度图进行训练。可以通过在预定范围上改变基线B(图2)以及采样立体训练图像和相关联的地面实况，并且在预定的范围上改变摄像机1 206和摄像机2 208的调准以及采样立体声训练图像和相关的地面实况，从而确定立体训练图像和相关联的地面实况深度图的集合。
在步骤910处，CDNN700将经训练的深度神经网络层输出至计算装置115。例如，CDNN700可以通过输出为提供用于基于地面实况来确定估计的深度图的最佳结果至计算装置115的每个层706、708、710、712、714、718、722保留的参数来输出经训练的深度神经网络层。计算装置115可以将所接收到的参数储存在非易失性存储器中并且调用它们来训练CDNN700以确定估计的深度图726。然后，如此训练的CDNN700将能够处理与左侧和右侧立体训练图像相似但不同的左侧和右侧立体图像702、704，以确定一个或多个估计的深度图726。
一旦被训练，CDNN700可以实时确定用于立体图像702、704的估计的深度图726，例如，及时为计算装置输出估计的深度图726(808)以基于估计的深度图726驾驶车辆110(810)。估计的深度图726可以由计算装置115用于自主驾驶车辆，或者在乘客驾驶模式期间提供驾驶辅助，例如在显示器117上显示增强现实信息，显示器117可以是抬头显示器(HUD)，其中立体深度图提供到物体(例如车辆、行人、交通信号灯)的估计的距离。估计的距离似乎可以投影到视景中的物体上。
输出估计的深度图726取决于与立体训练图像类似的立体图像702、704。当车辆在视景中驾驶时，视景可以改变，并且立体图像702、704将不再是十分类似于要由CDNN700处理的立体训练图像。因此，CDNN可以要求新的训练参数来从立体图像702、704确定估计的深度图726。作为后台任务，第二CDNN700可以使用的新的立体声练图像和新的地面实况确定新的训练参数，而第一CDNN700使用当前的训练参数来确定估计的深度图。当接收到新的立体声图像702、704时(802)，第一CDNN700当确定下一个估计的深度图726时，可以使用由第二CDNN700在后台确定的新的训练参数。作为后台任务，计算新的训练参数可以在车辆110驾驶通过变化视景时允许过程800在连续和持续的基础上使用立体图像702、704准确地确定估计的深度图。
总之，图9是用于训练CDNN700以基于立体训练图像和地面实况来确定估计的深度图726的过程900。通过在每个层706、708、710、712、714、718、722处改变参数和测试结果，用于确定估计的深度图的最佳参数可以被计算装置115保留和存储。可以用由计算装置115通过保留的参数来训练CDNN700，并且从而确定与立体训练图像相似的立体图像702、704的估计的深度图726。通过作为后台任务确定新参数来连续地再训练用于确定估计的深度图726的CDNN 700，可以允许计算装置115在自主驾驶模式和乘客驾驶模式二者中经过改变的视景来驾驶车辆110。
诸如本发明所述的那些的计算装置大体上各自包括可由一个或多个计算装置(诸如上述那些)执行以及用于执行上述过程的框或步骤的指令。例如，上面所述的处理框可以被体现为计算机可执行指令。
可以从使用各种编程语言和/或技术创建的计算机程序来编译或解释计算机可执行指令，编程语言和/或技术包括但不限于单独或组合的JavaTM、C、C++、VisualBasic、JavaScript、Perl、HTML等。大体上，处理器(例如，微处理器)从存储器、计算机可读介质等接收指令，并且执行这些指令，从而执行一个或多个过程，包括本发明所述的过程中的一个或多个。这样的指令和其他数据可以储存在文件中，并且使用各种计算机可读介质传输。计算装置中的文件大体上是储存在诸如存储介质、随机存取存储器等的计算机可读介质上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(例如，指令)的任何介质。这样的介质可以采取许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘以及其它持久存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常见形式包括例如软盘、柔盘、硬盘、磁带、任何其他磁介质、CD-ROM(只读光盘驱动器)、DVD(数字化视频光盘)、任何其他光学介质、打孔卡、纸带、任何其它物理具有孔图案的介质、RAM(随机存取存储器)、PROM(可编程序只读存储器)、EPROM(可擦可编程只读存储器)，FLASH-EEPROM(闪存-可檫可编程只读存储器)、任何其他存储器芯片或盒，或计算机可从其读取的任何其他介质。
权利要求书中使用的所有术语旨在被给予其如由本领域技术人员所理解的简单和普通的含义，除非在本发明中做出相反的明确指示。特别是，除非权利要求陈述明确相反的限制，否则诸如“一”、“该”、“所述”等单数冠词的使用应该理解为陈述一个或多个所指出的元件。
使用的术语“示例性”在本发明中的意义代表示例，例如，提到“示例性小部件”应该理解为简单地参考小部件的示例。
副词“近似”修饰值或结果意味着形状、结构、尺寸、值、测定、计算等可以偏离准确描述的几何、距离、尺寸、值、测定、计算等，这是因为材料、加工、制造、传感器测量、计算、处理时间、通信时间等方面的缺陷。
在附图中，相同的附图标记表示相同的元件。另外，这些元件中的一些或全部可以被改变。关于本发明所述的介质、过程、***、方法等，应当理解，尽管已经将这些过程的步骤描述为根据某个有序序列发生，但是这些过程可以用所描述的步骤以不同于本发明描述的顺序执行。还应当理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略在此描述的某些步骤。换句话说，为了说明某些实施例的目的，提供本发明中的过程的说明，并且不应被解释为限制本发明的权利要求。

Claims (20)

1.一种方法，包含：
用一个或多个深度神经网络最大池化层处理第一和第二立体图像；
用一个或多个深度神经网络上采样层处理所述立体图像；
确定一个或多个深度图；和
基于所述一个或多个深度图来驾驶车辆。
2.根据权利要求1所述的方法，其中所述深度神经网络最大池化层是卷积神经网络层。
3.根据权利要求1所述的方法，其中所述深度神经网络上采样层是去卷积神经网络层。
4.根据权利要求1所述的方法，其中所述深度神经网络最大池化层和所述深度神经网络上采样层是用训练立体图像和相关联的地面实况输出深度图来进行训练。
5.根据权利要求4所述的方法，其中所述训练立体图像是在多个基线距离和立体摄像机调准上获取的。
6.根据权利要求4所述的方法，其中所述深度神经网络最大池化层和所述深度神经网络上采样层是用LIDAR数据来进行训练。
7.根据权利要求1所述的方法，其中所述深度神经网络最大池化层和所述深度神经网络上采样层基于互相关。
8.根据权利要求1所述的方法，其中所述一个或多个深度神经网络最大池化层包括至少四个深度神经网络最大池化层。
9.根据权利要求1所述的方法，其中所述一个或多个深度神经网络上采样层包括至少四个深度神经网络上采样层。
10.根据权利要求1所述的方法，还包含：
其中所述车辆在乘员驾驶模式下操作；和
基于所述一个或多个深度图驾驶车辆包括用增强现实显示来辅助乘员驾驶员。
11.一种装置，包含：
处理器，和
存储器，所述存储器包括要由所述处理器执行的指令，所述指令用于：
用一个或多个深度神经网络最大池化层处理第一和第二立体图像；
用一个或多个深度神经网络上采样层处理所述立体图像；
确定一个或多个深度图；和
基于所述一个或多个深度图来驾驶车辆。
12.根据权利要求11所述的装置，其中所述深度神经网络最大池化层是卷积神经网络层。
13.根据权利要求11所述的装置，其中所述深度神经网络上采样层是去卷积神经网络层。
14.根据权利要求11所述的装置，其中所述深度神经网络最大池化层和所述深度神经网络上采样层是用训练立体图像和相关联的地面实况输出深度图来进行训练。
15.根据权利要求14所述的装置，其中所述训练立体图像是在多个基线距离和立体摄像机调准上获取的。
16.根据权利要求14所述的装置，其中所述深度神经网络最大池化层和所述深度神经网络上采样层是用LIDAR数据来进行训练。
17.根据权利要求11所述的装置，其中所述深度神经网络最大池化层和所述深度神经网络上采样层基于互相关。
18.根据权利要求11所述的装置，其中所述一个或多个深度神经网络最大池化层包括至少四个深度神经网络最大池化层。
19.根据权利要求11所述的装置，其中所述一个或多个深度神经网络上采样层包括至少四个深度神经网络上采样层。
20.根据权利要求11所述的装置，还包括：
其中所述车辆在乘员驾驶模式下操作；和
基于所述一个或多个深度图驾驶车辆包括用增强现实显示来辅助乘员驾驶员。
CN201710776968.7A 2016-09-01 2017-09-01 用立体图像进行深度图估计 Active CN107798699B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/254,212 2016-09-01
US15/254,212 US10466714B2 (en) 2016-09-01 2016-09-01 Depth map estimation with stereo images

Publications (2)

Publication Number Publication Date
CN107798699A true CN107798699A (zh) 2018-03-13
CN107798699B CN107798699B (zh) 2023-07-18

Family

ID=60037097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710776968.7A Active CN107798699B (zh) 2016-09-01 2017-09-01 用立体图像进行深度图估计

Country Status (6)

Country Link
US (1) US10466714B2 (zh)
CN (1) CN107798699B (zh)
DE (1) DE102017120112A1 (zh)
GB (1) GB2555214A (zh)
MX (1) MX2017011200A (zh)
RU (1) RU2017130319A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112519789A (zh) * 2019-09-17 2021-03-19 Aptiv技术有限公司 确定车辆乘员的活动的方法和***
CN114072842A (zh) * 2019-05-17 2022-02-18 大学之母博洛尼亚大学 从图像中确定深度的方法和相关***

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328403B2 (en) 2020-01-22 2022-05-10 Gary B. Levin Apparatus and method for onboard stereoscopic inspection of vehicle tires
EP3264763A1 (en) * 2016-06-29 2018-01-03 Thomson Licensing Method and apparatus for improved significance flag coding using simple local predictor
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
US10139823B2 (en) * 2016-09-13 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method and device for producing vehicle operational data based on deep learning techniques
US10460511B2 (en) * 2016-09-23 2019-10-29 Blue Vision Labs UK Limited Method and system for creating a virtual 3D model
KR20180062647A (ko) * 2016-12-01 2018-06-11 삼성전자주식회사 눈 검출 방법 및 장치
FR3063374B1 (fr) * 2017-02-27 2019-06-07 Stmicroelectronics Sa Procede et dispositif de determination d'une carte de profondeurs d'une scene
US10210672B2 (en) * 2017-04-07 2019-02-19 Toyota Research Institute, Inc. Systems and methods for remotely controlling data collection by a vehicle
US10755428B2 (en) * 2017-04-17 2020-08-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
US10657446B2 (en) * 2017-06-02 2020-05-19 Mitsubishi Electric Research Laboratories, Inc. Sparsity enforcing neural network
US10678241B2 (en) 2017-09-06 2020-06-09 GM Global Technology Operations LLC Unsupervised learning agents for autonomous driving applications
US11004202B2 (en) * 2017-10-09 2021-05-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for semantic segmentation of 3D point clouds
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
WO2019096310A1 (en) * 2017-11-20 2019-05-23 Shanghaitech University Light field image rendering method and system for creating see-through effects
DE102017127600A1 (de) * 2017-11-22 2019-05-23 Connaught Electronics Ltd. Verfahren zum automatischen Parken für ein Kraftfahrzeug mit einem Fahrunterstützungssystem
US10453220B1 (en) * 2017-12-29 2019-10-22 Perceive Corporation Machine-trained network for misalignment-insensitive depth perception
WO2020076737A1 (en) * 2018-10-07 2020-04-16 Ocula Corporation Fixed-element digital-optical measuring device
AU2019205949A1 (en) 2018-01-07 2020-07-16 Ocula Corporation Digital-optical object tracker
US11094075B1 (en) * 2018-01-23 2021-08-17 Facebook Technologies, Llc Systems and methods utilizing a machine learning model for generating defocus blur effects
JP7174037B2 (ja) * 2018-03-15 2022-11-17 株式会社小糸製作所 オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法
WO2019182974A2 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
CN108537837B (zh) * 2018-04-04 2023-05-05 腾讯科技（深圳）有限公司 一种深度信息确定的方法及相关装置
DE102018206848A1 (de) * 2018-05-03 2019-11-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Tiefeninformationsbilds aus einem Eingangsbild
WO2020033967A1 (en) 2018-08-10 2020-02-13 Buffalo Automation Group Inc. Training a deep learning system for maritime applications
CN110827341A (zh) * 2018-08-10 2020-02-21 ***通信有限公司研究院 一种图片深度估计方法、装置和存储介质
US10782691B2 (en) 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
US10885702B2 (en) * 2018-08-10 2021-01-05 Htc Corporation Facial expression modeling method, apparatus and non-transitory computer readable medium of the same
RU2698402C1 (ru) * 2018-08-30 2019-08-26 Самсунг Электроникс Ко., Лтд. Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты)
US10672136B2 (en) * 2018-08-31 2020-06-02 Snap Inc. Active image depth prediction
CN109470166B (zh) * 2018-11-09 2020-12-08 业成科技（成都）有限公司 结构光深度感测器及感测方法
US10861176B2 (en) 2018-11-27 2020-12-08 GM Global Technology Operations LLC Systems and methods for enhanced distance estimation by a mono-camera using radar and motion data
CN109840500B (zh) * 2019-01-31 2021-07-02 深圳市商汤科技有限公司 一种三维人体姿态信息检测方法及装置
US10949684B2 (en) 2019-05-08 2021-03-16 Ford Global Technologies, Llc Vehicle image verification
US11132772B2 (en) * 2019-06-11 2021-09-28 Samsung Electronics Co., Ltd. Asymmetric normalized correlation layer for deep neural network feature matching
CN110332929A (zh) * 2019-07-10 2019-10-15 上海交通大学 车载行人定位***及方法
US11340624B2 (en) * 2019-08-29 2022-05-24 Ford Global Technologies, Llc Vehicle neural network
CN114616489A (zh) * 2019-09-06 2022-06-10 奥斯特公司 Lidar图像处理
US10944898B1 (en) * 2019-09-19 2021-03-09 Capital One Services, Llc Systems and methods for guiding image sensor angle settings in different environments
US11763433B2 (en) 2019-11-14 2023-09-19 Samsung Electronics Co., Ltd. Depth image generation method and device
RU2716311C1 (ru) * 2019-11-18 2020-03-12 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети
EP4070278A1 (en) * 2019-12-02 2022-10-12 Alma Mater Studiorum - Università di Bologna Method to determine the depth from images by self-adaptive learning of a neural network and system thereof
US11503266B2 (en) * 2020-03-06 2022-11-15 Samsung Electronics Co., Ltd. Super-resolution depth map generation for multi-camera or other environments
CN115398477A (zh) * 2020-06-22 2022-11-25 辉达公司 立体成像的混合解决方案
DE102020117811A1 (de) 2020-07-07 2022-01-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen einer Einrichtung zum Ermitteln von Interessenregionen für eine automatisierte Fahrzeugfunktion und Assistenzeinrichtung für ein Kraftfahrzeug
DE102020214622A1 (de) 2020-11-20 2022-05-25 Conti Temic Microelectronic Gmbh Auswertung von Bilddaten einer Stereokamera zur Objektbewertung
DE102021000600A1 (de) 2021-02-05 2022-08-11 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera
DE102021107904A1 (de) * 2021-03-29 2022-09-29 Conti Temic Microelectronic Gmbh Verfahren und System zur Bestimmung der Bodenebene mit einem künstlichen neuronalen Netz

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020106109A1 (en) * 2000-08-12 2002-08-08 Retterath James E. System for road sign sheeting classification
US20140368807A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Lidar-based classification of object movement
CN104266654A (zh) * 2014-09-26 2015-01-07 广东好帮手电子科技股份有限公司 一种车载实景导航***及方法
US20150055821A1 (en) * 2013-08-22 2015-02-26 Amazon Technologies, Inc. Multi-tracker object tracking
DE102013217915A1 (de) * 2013-09-09 2015-03-12 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Objekterkennung aus tiefenaufgelösten Bilddaten
CN104883554A (zh) * 2014-02-27 2015-09-02 哈曼国际工业有限公司 具有直播视频的虚拟***器群集
US9285477B1 (en) * 2013-01-25 2016-03-15 Apple Inc. 3D depth point cloud from timing flight of 2D scanned light beam pulses
CN105835878A (zh) * 2015-01-29 2016-08-10 丰田自动车工程及制造北美公司 在乘员视野和传感器检测受阻环境中的自主车辆操作

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3226641B2 (ja) * 1992-02-04 2001-11-05 富士写真フイルム株式会社 パターン学習方法
US5983161A (en) 1993-08-11 1999-11-09 Lemelson; Jerome H. GPS vehicle collision avoidance warning and control system and method
US8041483B2 (en) 1994-05-23 2011-10-18 Automotive Technologies International, Inc. Exterior airbag deployment techniques
US7629899B2 (en) 1997-10-22 2009-12-08 Intelligent Technologies International, Inc. Vehicular communication arrangement and method
JPH0951430A (ja) * 1995-08-09 1997-02-18 Fuji Photo Film Co Ltd 画像データ補間演算方法および装置
GB0200985D0 (en) 2002-01-17 2002-03-06 Daniels Seymour C Vehicle's third eye
US9007197B2 (en) 2002-05-20 2015-04-14 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
US20050129306A1 (en) * 2003-12-12 2005-06-16 Xianglin Wang Method and apparatus for image deinterlacing using neural networks
US8234234B2 (en) 2007-03-20 2012-07-31 International Business Machines Corporation Utilizing ray tracing for enhanced artificial intelligence path-finding
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
TW201005673A (en) 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
US20140063054A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific control interface based on a connected external device type
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
WO2013184215A2 (en) * 2012-03-22 2013-12-12 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for simulating sound propagation in large scenes using equivalent sources
TWI539406B (zh) * 2013-07-12 2016-06-21 國立中央大學 影像插補方法以及應用影像插補方法之影像插補裝置與影像裝置
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US9224060B1 (en) * 2013-09-17 2015-12-29 Amazon Technologies, Inc. Object tracking using depth information
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9626566B2 (en) * 2014-03-19 2017-04-18 Neurala, Inc. Methods and apparatus for autonomous robotic control
JP6282193B2 (ja) * 2014-07-28 2018-02-21 クラリオン株式会社 物体検出装置
US9568611B2 (en) 2014-08-20 2017-02-14 Nec Corporation Detecting objects obstructing a driver's view of a road
CN106170800A (zh) * 2014-09-12 2016-11-30 微软技术许可有限责任公司 经由输出分布来学习学生dnn
US10726560B2 (en) * 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
CN111380545A (zh) * 2015-02-10 2020-07-07 御眼视觉技术有限公司 用于自主车辆导航的方法、服务器、自主车辆以及介质
US9589210B1 (en) * 2015-08-26 2017-03-07 Digitalglobe, Inc. Broad area geospatial object detection using autogenerated deep learning models
WO2017044737A1 (en) * 2015-09-11 2017-03-16 Powerscout, Inc. Spatial modeling and other data analytics enabled energy platform
US9892496B2 (en) * 2015-11-05 2018-02-13 Google Llc Edge-aware bilateral image processing
US10126135B2 (en) * 2015-12-15 2018-11-13 Nissan North America, Inc. Traffic signal timing estimation using an artificial neural network model
US10607081B2 (en) * 2016-01-06 2020-03-31 Orcam Technologies Ltd. Collaboration facilitator for wearable devices
US10235994B2 (en) * 2016-03-04 2019-03-19 Microsoft Technology Licensing, Llc Modular deep learning model
US9802599B2 (en) * 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
US9760690B1 (en) * 2016-03-10 2017-09-12 Siemens Healthcare Gmbh Content-based medical image rendering based on machine learning
US10618673B2 (en) * 2016-04-15 2020-04-14 Massachusetts Institute Of Technology Systems and methods for dynamic planning and operation of autonomous systems using image observation and information theory
KR20170118520A (ko) * 2016-04-15 2017-10-25 삼성전자주식회사 인터페이스 뉴럴 네트워크
CN105844653B (zh) * 2016-04-18 2019-07-30 深圳先进技术研究院 一种多层卷积神经网络优化***及方法
US20170300763A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC Road feature detection using a vehicle camera system
US10402670B2 (en) * 2016-04-19 2019-09-03 GM Global Technology Operations LLC Parallel scene primitive detection using a surround camera system
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
US10401866B2 (en) * 2017-05-03 2019-09-03 GM Global Technology Operations LLC Methods and systems for lidar point cloud anomalies

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020106109A1 (en) * 2000-08-12 2002-08-08 Retterath James E. System for road sign sheeting classification
US9285477B1 (en) * 2013-01-25 2016-03-15 Apple Inc. 3D depth point cloud from timing flight of 2D scanned light beam pulses
US20140368807A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Lidar-based classification of object movement
US20150055821A1 (en) * 2013-08-22 2015-02-26 Amazon Technologies, Inc. Multi-tracker object tracking
DE102013217915A1 (de) * 2013-09-09 2015-03-12 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Objekterkennung aus tiefenaufgelösten Bilddaten
CN104883554A (zh) * 2014-02-27 2015-09-02 哈曼国际工业有限公司 具有直播视频的虚拟***器群集
CN104266654A (zh) * 2014-09-26 2015-01-07 广东好帮手电子科技股份有限公司 一种车载实景导航***及方法
CN105835878A (zh) * 2015-01-29 2016-08-10 丰田自动车工程及制造北美公司 在乘员视野和传感器检测受阻环境中的自主车辆操作

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAVID EIGEN等: "Depth Map Prediction from a Single Image using a Multi-Scale Deep Network", 《NEURIPS2014》 *
刘芳萍: "基于特征匹配的双目立体图像深度提取算法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114072842A (zh) * 2019-05-17 2022-02-18 大学之母博洛尼亚大学 从图像中确定深度的方法和相关***
CN112519789A (zh) * 2019-09-17 2021-03-19 Aptiv技术有限公司 确定车辆乘员的活动的方法和***

Also Published As

Publication number Publication date
GB201713798D0 (en) 2017-10-11
MX2017011200A (es) 2018-09-21
DE102017120112A1 (de) 2018-03-01
CN107798699B (zh) 2023-07-18
US20180059679A1 (en) 2018-03-01
US10466714B2 (en) 2019-11-05
RU2017130319A (ru) 2019-02-28
GB2555214A (en) 2018-04-25

Similar Documents

Publication Publication Date Title
CN107798699A (zh) 用立体图像进行深度图估计
US10853670B2 (en) Road surface characterization using pose observations of adjacent vehicles
US11783707B2 (en) Vehicle path planning
EP3614106B1 (en) Controlling host vehicle based on detected parked vehicle characteristics
JP2022185089A (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
DE102020112314A1 (de) Verifizierung von fahrzeugbildern
DE102020110458A1 (de) Fahrzeugpfadvorhersage
US20180120857A1 (en) Road sign recognition
US20200020117A1 (en) Pose estimation
US11460851B2 (en) Eccentricity image fusion
DE112019001657T5 (de) Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper
JP2019537080A (ja) 検出された障壁に基づく車両のナビゲーション
US11527012B2 (en) Vehicle pose determination
US10955857B2 (en) Stationary camera localization
US11138452B2 (en) Vehicle neural network training
CN104204726A (zh) 移动物***置姿态估计装置和移动物***置姿态估计方法
DE102021132853A1 (de) Auf deep learning basierende kamerakalibrierung
US11189049B1 (en) Vehicle neural network perception and localization
DE112018005910T5 (de) Steuervorrichtung und steuerverfahren, programm und mobiler körper
US11521494B2 (en) Vehicle eccentricity mapping
US20200409385A1 (en) Vehicle visual odometry
CN114291011A (zh) 车辆神经网络
DE112021000146T5 (de) Systeme und verfahren zur erkennung von radschlupf bei fahrzeugen
DE112021001872T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, und programm
WO2023021755A1 (ja) 情報処理装置、情報処理システム、モデル及びモデルの生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant