CN107209856B - 环境场景状况检测 - Google Patents

环境场景状况检测 Download PDF

Info

Publication number
CN107209856B
CN107209856B CN201680008214.0A CN201680008214A CN107209856B CN 107209856 B CN107209856 B CN 107209856B CN 201680008214 A CN201680008214 A CN 201680008214A CN 107209856 B CN107209856 B CN 107209856B
Authority
CN
China
Prior art keywords
data
image
scene
clarity score
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680008214.0A
Other languages
English (en)
Other versions
CN107209856A (zh
Inventor
钟辛
郭烽
徐世立
任剑锋
杨洋
高大山
杨瑞多
梅纳克·比斯瓦斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107209856A publication Critical patent/CN107209856A/zh
Application granted granted Critical
Publication of CN107209856B publication Critical patent/CN107209856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/18—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights being additional front lights
    • B60Q1/20—Fog lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Thermal Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Air-Conditioning For Vehicles (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种处理数据的方法，其包含在计算装置处接收表示图像传感器俘获的图像的数据。所述方法还包含确定第一场景清晰度分数。所述方法进一步包含确定所述第一场景清晰度分数是否满足阈值，并且如果所述第一场景清晰度分数满足所述阈值，则基于从所述数据提取的第二数据确定第二场景清晰度分数。

Description

环境场景状况检测
相关申请的交叉引用
本申请要求2015年2月11日申请的共同拥有的美国非临时专利申请第14/619,354号的优先权，其全文的内容明确地被以引用的方式并入本文中。
技术领域
本发明大体上涉及场景检测。更具体来说，本发明的各方面涉及环境场景状况的检测。
背景技术
各种环境状况可能减损场景的可见性。例如，雾、霾、雨、烟雾、雪、冰雹、凝结物、雨夹雪和/或其它环境状况可能与场景中没有这些状况时相比使场景不太清晰。此外，环境状况可能使场景内的其它物体变得模糊。因此，当存在于驾驶员查看的场景中时，环境场景状况可能使车辆驾驶更难。此外，一些车辆可以配备有高级驾驶员辅助***(ADAS)。ADAS可以从俘获车辆周围区域的图像的相机接收数据。在一些实施方案中,相机可以定位在车辆内部，使得透过挡风玻璃的清晰状况可能会影响所俘获图像的清晰度。换言之，车辆内部的环境状况和/或车辆外部的环境状况可能会影响所俘获图像的清晰度。例如，车辆内部与周围环境之间的温度可能使雾或凝结物形成在挡风玻璃上，即使车辆外部没有雾、雨或霾或其它环境状况。ADAS可以基于图像执行各种功能来辅助车辆的操作。然而，如果俘获到的图像不清晰(例如由于环境场景状况)，则ADAS可能无法正确地工作和/或驾驶员执行必需操作的能力可能降低。
发明内容
本发明公开一种用于检测例如霾、烟雾和/或天气的环境场景状况并且基于所述状况发起动作的***和方法。可以基于图像分类为不清晰而检测环境场景状况。所述动作可以包含使用图像处理使图像清晰化、输出消息、激活装置的一个或多个***或其一组合。所述***和方法可以在电子装置、汽车***控制台(例如ADAS)、移动装置、游戏控制台、可穿戴装置(例如穿戴式相机)、头戴式显示器等中实施。额外实例包含(但不限于)自动机或自动机装置、无人机(UAV)和遥控飞机。
例如，环境场景状况检测模块可以接收表示从车辆查看的场景的输入图像，并且可以确定输入图像是否包含一个或多个环境场景状况(例如由于雨、雾、有雾的挡风玻璃、烟雾等)。为了确定图像是否包含一个或多个环境场景状况，环境场景状况检测模块可以从描述输入图像的数据提取第一数据(例如暗特征数据)，并且将第一数据与第一场景清晰度模型(例如受监督机器学习模型，例如线性支持向量模型)比较以确定第一场景清晰度分数。环境场景状况检测模块可以将第一场景清晰度分数与第一阈值比较，并且当第一场景清晰度分数不满足第一阈值时，确定输入图像不包含可能让场景不太清晰的一个或多个环境场景状况。因此，可以基于暗特征识别清晰场景的图像，无需执行更复杂的梯度相位操作。
当第一场景清晰度分数满足第一阈值时，环境场景状况检测模块可以通过从描述输入图像的数据提取第二数据(例如暗特征数据和梯度相位数据)，并且将第二数据与第二场景清晰度模型(例如受监督机器学习模型，例如线性支持向量模型)比较，借此确定第二场景清晰度分数。当第二场景清晰度分数满足第二阈值时，环境场景状况检测模块可以确定输入图像不清晰。环境场景状况检测模块可以进一步在图像不清晰时和/或在图像包含指示图像可能不清晰的一个或多个环境状况时发起动作(例如增强图像以生成清晰化的图像、生成警告、激活车辆车载的灯***、激活其它车辆***、增强显示器、发送消息到另一装置等)。所述动作可以使得在不清晰的状况下能够更安全地操作车辆。
在一个方面中，一种处理数据的方法包含在计算装置处接收表示图像传感器俘获的图像的数据。所述方法还包含基于从所述数据提取的第一数据确定图像的第一场景清晰度分数。所述方法进一步包含确定所述第一场景清晰度分数是否满足阈值，并且如果所述第一场景清晰度分数满足所述阈值，则基于从所述数据提取的第二数据确定第二场景清晰度分数。
另一方面，一种设备包含计算装置。所述计算装置经配置以接收表示图像传感器俘获的图像的数据。所述计算装置可以进一步经配置以基于从所述数据提取的第一数据确定图像的第一场景清晰度分数。所述计算装置可经配置以确定场景清晰度分数是否满足阈值。如果第一场景清晰度分数满足阈值，则计算装置可以基于从所述数据提取的第二数据确定第二场景清晰度分数。
在另一特定方面中，一种计算机可读存储媒体存储指令，所述指令在由处理器执行时，致使所述处理器执行操作。所述操作包含接收表示图像传感器俘获的图像的数据。所述操作还包含基于从所述数据提取的第一数据确定图像的第一场景清晰度分数。所述操作进一步包含确定所述第一场景清晰度分数是否满足阈值，并且如果所述第一场景清晰度分数满足所述阈值，则基于从所述数据提取的第二数据确定第二场景清晰度分数。所述操作进一步包含基于第二场景清晰度分数确定是否自动发起动作。
本发明的其它方面、优点和特征将在审阅整个申请案之后变得显而易见，所述整个申请案包含以下部分：附图说明、具体实施方式和权利要求书。
附图说明
图1是示出用于环境场景状况检测的特定***的框图；
图2是示出环境场景状况检测的特定方法的流程图；
图3是示出用于环境场景状况检测的另一***的框图；
图4是示出可以用于生成清晰化图像的局部色调映射(LTM)功能的图；
图5是示出环境场景状况的另一特定方法的流程图；以及
图6是示出可以用于环境场景状况的装置的流程图。
具体实施方式
参看图1，展示了示出用于检测环境场景状况的***100的框图。***100包含图像传感器102(例如相机)。所述图像传感器102可以定位成俘获场景122的图像。场景122可以表示从车辆查看的场景，表示人的视野(例如图像传感器122可以包含于数据眼镜或另一头戴式相机中)，或表示例如无人机的自动机周围的场景。在另外实例中，场景122可以由例如移动电话或平板电脑的移动装置俘获。
在场景122表示从车辆查看的场景的实例中，图像传感器102俘获的场景122的图像可以通过挡风玻璃俘获(例如图像传感器122可以安装在后视镜组合件中)或者通过车辆的其它窗户俘获。在此类情况下，图像可以包含来自车辆内部的环境状况和来自车辆外部的环境状况。在其它实例中，图像传感器102可以在车辆外部。图像传感器102可以是能够获取静态图像、视频或这两者的数码相机。在特定实例中，***100包含多于一个图像传感器。例如，***100可以包含对应于后窗、侧窗、挡风玻璃或其一组合的图像传感器。在特定实例中，图像传感器102经配置以每秒俘获三十个图像。
***100进一步包含计算装置106。图像传感器102与计算装置106通信(例如经由有线或无线连接)。计算装置106和图像传感器102可以位于大致相同位置或不同位置。例如，计算装置106和图像传感器102都可以位于车辆上。在另一个实例中，计算装置106可以位于车辆上，而图像传感器102位于车辆外部。举例而言，图像传感器102可以位于与包含计算装置106的车辆通信的不同的车辆中。在另一说明性实例中，图像传感器102可以位于固定站点(例如气象台)或位于与包含计算装置106的车辆通信的基础设施的移动(例如气象气球)零件中。此外，图像传感器102可以位于车辆上，而计算装置106离站位于与车辆通信的位置(例如在计算中心)。虽然先前实例示出了图像传感器102和计算装置106相对于车辆的相对位置，但是应注意在一些实施方案中,图像传感器102和计算装置106都不位于车辆中。例如，图像传感器102和计算装置106中的一个或两个可以位于自动机、可穿戴计算装置、游戏***上或移动装置(例如移动电话或平板电脑)上。
计算装置106可以包含环境场景状况检测模块108。环境场景状况检测模块108和环境场景状况检测模块108的组件可以对应于硬件或软件。例如，环境场景状况检测模块108可以对应于在计算装置106的处理器(例如中央处理器单元、图像信号处理器或其一组合)处执行的软件，集成在计算装置106的图像信号处理器中的硬件或其一组合。
参看图2描述***100的操作。图2展示了示出方法200的流程图。方法200可以对应于级联分类器检测不清晰的图像的操作。方法200包含在框202处接收输入图像。例如，环境场景状况检测模块108可以从图像传感器102接收表示图像的图像数据103。图像可以描绘场景122。某些环境场景状况(例如天气、照明等)可以使图像中的特征显得不太清晰。例如，车辆可能行经雾或雨。另外，图像传感器102俘获图像所通过的窗户(例如挡风玻璃121)可归因于车辆内部的温度与车辆外部的温度之间的差异而结雾，或可以其它方式归因于凝结物或结霜而不清晰。当图像中的特征难以辨别(例如图像是“不清晰”)时，所述图像可指示环境场景状况(例如雨、雾、结雾的挡风玻璃、烟雾、霾等)。在***100和方法200与车辆辅助应用(例如ADAS)结合使用的实例中，图像不清晰可以表示车辆的操作人员可能无法看到车辆外部的场景122的特征(例如交通标志、车道、行人、其它车辆、树等)。环境场景状况检测模块108可以从图像传感器102检测不清晰的图像并且可以发起使车辆操作更安全的动作。
方法200进一步包含任选地在框204处重新调整输入图像的大小。例如，环境场景状况检测模块108可以变换图像数据103以重新调整图像的大小。在特定实例中，环境场景状况检测模块108可以将图像的大小重新调整成320x240的分辨率。重新调整图像的大小可以允许环境场景状况检测模块108使用更少的计算资源执行环境场景状况检测(例如因为重新调整过大小的图像小于所述图像)。在特定实例中，环境场景状况检测模块108可以执行软件或利用硬件模块(例如图像处理器的硬件模块)重新调整图像大小。
方法200进一步包含在框206处从图像中提取第一特征(例如级联分类器的第一级分类器)。例如，环境场景状况检测模块108可以从图像数据103中提取第一数据104。第一数据104可以对应于描述图像通道中的高强度值的暗特征数据。例如，当图像是红、绿、蓝(RGB)图像时，暗特征数据可以描述图像中的哪些像素包含图像的红色通道、绿色通道和蓝色通道中的每一者中的高值。应注意，***100和方法200与包含替代的一组通道(例如蓝绿色、洋红色、黄色和黑色(CMYK))的数字图像兼容。第一数据104可以指示图像中的对比度。例如，暗特征数据可以识别具有高强度值的像素(例如暗特征)。暗特征数据可以进一步识别所识别的像素的强度值。因此，可以使用暗特征数据确定图像的暗区域中的像素之间的强度差(例如对比度)。
方法200进一步包含在框208处基于第一特征(例如暗特征)生成第一场景清晰度分数。在说明性实例中，使用第一场景清晰度模型110生成第一场景清晰度分数111。举例而言，第一场景清晰度模型110可以是受监督机器学习模型，其基于一组输入图像和/或输入视频(例如采样图像和/或采样视频)“经过训练”，其中每个图像被预分类(例如通过第一场景清晰度模型110的供应商)为“清晰”或“不清晰”。在一些实例中，第一场景清晰度模型110是线性支持向量模型(SVM)。当在“训练”阶段期间向第一场景清晰度模型110提供每个额外的输入图像时，第一场景清晰度模型110在“清晰”和“不清晰”之间调整机器学习的“边界”。边界可以基于输入图像的暗特征将输入图像分开。在一些实例中，第一场景清晰度模型110是基于测试视频序列，其中测试视频序列的一个或多个帧已经预分类成不清晰或清晰。一旦第一场景清晰度模型110经过训练，就可以基于图像(或图像数据)的暗特征是在边界的“清晰”侧还是“不清晰”侧和/或暗特征离边界多远来确定图像的场景清晰度分数。图像分类为不清晰可以表示图像受到环境场景状况(例如雨、雾、结雾的挡风玻璃、烟雾、霾等等)的影响。因此，通过将第一场景清晰度模型110与第一数据104比较，环境场景状况检测模块108可以能够生成第一场景清晰度分数111，其指示图像受到环境场景状况影响的概率。
方法200进一步包含在框210处将第一场景清晰度分数与第一阈值比较(例如基于级联分类器的第一级分类器确定图像是否清晰)。例如，环境场景状况检测模块108可以将第一场景清晰度分数111与第一阈值112比较。第一阈值112可以对应于基于第一场景清晰度分数111的图像不清晰的阈值概率。在特定实例中，第一阈值112是50％(例如当第一场景清晰度分数111基于第一数据104指示图像更可能不清晰而非清晰时，第一场景清晰度分数111满足第一阈值112)。第一场景清晰度分数111与第一阈值112的比较可以在用于检测不清晰图像的级联分类器的第一级期间执行。
当第一场景清晰度分数不满足第一阈值时，方法200前进到框202。例如，当第一场景清晰度分数111不满足第一阈值112时，环境场景状况检测模块108可以将图像分类为清晰并且等待接收另一要分类的图像。
方法200进一步包含在框212处当第一场景清晰度分数满足第一阈值时从图像中提取第二特征(例如级联分类器的第二级分类器)。例如，当第一场景清晰度分数111满足第一阈值112时，环境场景状况检测模块108可以从表示图像的数据中提取第二数据105。在特定实例中，第二数据105除了描述图像的梯度相位的数据(例如梯度特征数据)之外还包含暗特征数据。梯度相位可以描述图像中的像素的强度值的方向变化。因为第二数据105可以包含关于整个图像中的强度值变化的更多信息，所以第二数据105可以比第一数据104更能指示图像中的对比度。然而，由于第二数据105可以包含更多信息，所以确定/处理第二数据105可能更加耗时/计算成本更高。
方法200进一步包含在框214处将第二特征与第二场景清晰度模型比较以确定第二场景清晰度分数。在说明性实例中，使用第二场景清晰度模型114生成第二场景清晰度分数115。举例而言，第二场景清晰度模型114可以是基于一组输入图像和/或视频(例如采样图像和/或采样视频)“经过训练”的受监督机器学***面。在一些实例中，第二场景清晰度模型114是基于测试视频序列，其中测试视频序列的一个或多个帧已经预分类成不清晰或清晰。一旦第二场景清晰度模型114经过训练，就可以基于图像(或图像数据)的暗特征和梯度相位(例如空间中的图像的坐标)的组合是在边界(例如超平面)的“不清晰”侧还是“清晰”侧上和/或暗特征和梯度相位数据的组合离边界多远来确定场景清晰度分数。因此，通过将第二场景清晰度模型114与第二数据105比较，环境场景状况检测模块108可以生成指示图像不清晰(例如受到环境场景状况影响)的概率的第二场景清晰度分数115。
方法200进一步包含在框216处将第二场景清晰度分数与第二阈值比较(例如基于第二级分类器确定图像是否不清晰)。例如，环境场景状况检测模块108可以将第二场景清晰度分数115与第二阈值116比较。第二阈值116可以对应于基于第二场景清晰度分数115的图像不清晰的阈值概率。在特定实例中，第二阈值116是50％(例如，当第二场景清晰度分数115基于第二数据105指示图像更有可能不清晰而非清晰时第二场景清晰度分数114满足第二阈值116)。替代地，第二阈值116可以不同于第一阈值112。例如，第一阈值112可以不如第二阈值116严格，从而使得基于第一阈值112将较少的图像排除在外不予考虑。与将第一场景清晰度模型110与第一数据104比较相比，将第二场景清晰度模型114与第二数据105比较可能在计算上更加复杂，并且可能花费的时间更多。因此，通过使用级联分类器(例如基于第一分类器确定图像是否不清晰，然后当基于第一分类器将图像分类为不清晰时，根据第二分类器确定图像是否不清晰)，环境场景状况检测模块108可以通过基于相对不太复杂的特征确定一些图像是清晰的，借此节省时间和/或计算周期。方法200可以通过使用越来越准确的(并且复杂的)分类器确认图像不清晰，借此保持准确性。应注意，虽然图2中示出的方法200的流程图包含两个级，但是替代实施例中可以包含多于两个级联分类器级。例如，第三级分类器可以包含暗特征数据、梯度相位数据和光特征。
方法200进一步包含在框218处，当第二场景清晰度分数满足第二阈值时发起动作。例如，当第二场景清晰度分数115满足第二阈值116时，环境场景状况检测模块108如在参看图3***100经配置以发起与车辆有关的动作的背景下进一步详细描述，可以将图像分类为不清晰的并且可以发起一个或多个动作(例如传输经配置以在一个或多个模块处发起一个或多个动作的输出118)。在其它背景下，所述动作可以包含执行图像处理以使图像变清晰从而供自动机(例如UAV)、移动装置(例如移动电话或平板电脑)、可穿戴装置(例如穿戴式相机)、头戴式显示器、游戏***等。所述动作还可包含激活或调节头戴式显示器等的可穿戴装置(例如穿戴式相机)的移动装置(例如移动电话或平板电脑)的自动机(例如UAV)的一个或多个***。例如，响应于检测到不清晰的图像，***100可以使UAV增加或减小UAV飞行的海拔高度。替代地，***100可以使UAV处理图像数据以产生清晰化的图像数据，可以接着将图像数据传送到另一装置和/或用于控制UAV的移动。应注意，执行发起动作的装置中可能既不包含图像传感器102和计算装置106。举例而言，移动装置可以包含图像传感器102和计算装置106。响应于检测到不清晰的图像，移动装置(例如移动电话)可以通过向另一装置(例如自动机)发送消息而发起动作。方法200可以在发起一个或多个动作之后返回到202。例如，在发起动作之后，环境场景状况检测模块108可以等待接收另一输入图像。
当第二场景清晰度分数不满足第二阈值时，方法200返回到框202。例如，当第二场景清晰度分数115不满足第二阈值116时，环境场景状况检测模块108可以将图像分类为清晰的并且等待另一输入图像。
使用级联分类器检测不清晰的图像可以通过使用相对不太复杂的比较将一些图像快速识别为清晰的，借此减少用于检测不清晰的图像的时间/计算周期。此外，使用大小重新调整过的图像可以降低计算复杂度。因此，环境场景状况检测模块108可以在保持准确性的同时实现更高效的场景检测。
参看图3，示出了***100的另一框图，包含额外的组件。***100包含图像传感器102和计算装置106。如图3中所示的***100可以集成或部分集成到车辆中。例如，图像传感器102和计算装置106中的一个或两个可以集成到车辆中或位于车辆内部。图3示出了计算装置106的更多细节。例如，计算装置106包含视频前端模块302、统计数据模块303、图像信号处理器(ISP)305和物体检测模块308。模块302、303、108、308可以对应于在计算装置106处执行的软件。替代地，模块302、303、108、308中的一些或全部可以是集成到ISP 305中的硬件(未图示)或者可以是在ISP 305处执行的软件(未图示)。ISP 305包含局部色调映射(LTM)模块306。LTM模块306可以是硬件模块或软件模块。
***100进一步包含人机接口(HMI)310。HMI 310可以对应于显示装置，例如抬头显示器(HUD)、扬声器或其一组合。HMI 310可进一步包含输入装置(例如触摸屏、键盘、控制面板)。HMI 310可以安装在车辆中。例如，HMI 310可以安装到车辆的仪表板或附接到车辆的挡风玻璃。在其它实例中，HMI 310可以对应于移动装置，例如电话、平板电脑、可穿戴计算装置(例如数据眼镜)等。移动装置可以被车辆的操作人员携带或查看。
视频前端模块302、环境场景状况检测模块108、ISP 305、物体检测模块308和HMI310可以是高级驾驶员辅助***(ADAS)的组成部分。
***100进一步包含一个或多个传感器314。一个或多个传感器314可以包含一个或多个温度计(例如车辆内部、车辆外部或两者)、导航***(例如卫星导航***)、光检测与测距(LIDAR)装置、惯性传感器、地图数据库或其一组合。
***100进一步包含主体控制单元316。主体控制单元316可以控制车辆中的各种***。例如，主体控制单元316可以控制前灯、远光灯、雾灯、空气调节***、制暖器、除霜***、挡风玻璃雨刮器或其一组合。主体控制单元316还可包含用于广域网连接、个人局域网连接、局域网连接或其一组合的一个或多个接口。例如，主体控制单元316可以包含电气电子工程师学会(IEEE)802.11接口、
Figure BDA0001366869210000081
(蓝牙是华盛顿柯克兰的蓝牙SIG公司的注册商标)接口、长期演进(LTE)接口、任何其它通信接口或其一组合。这一个或多个接口可以用于车辆与车辆通信、车辆与基础设施通信、车辆内通信或其一组合。在一些实例中，***100进一步包含用于车辆的其它***的致动器(未图示)。例如，***100可以包含齿轮致动器、节流阀致动器、刹车致动器、转向致动器或其一组合。
如上文所解释，图像传感器102可以俘获从车辆查看的场景(例如场景122)的图像。表示图像的图像数据103可以发送到计算装置106。视频前端模块302可以在将图像数据103发送到环境场景状况检测模块108之前对图像数据103执行各种操作。例如，在一些实例中，视频前端模块302可以如参看图2的框204所描述变换图像数据103以重新调整图像的大小。视频前端模块302可以进一步将图像数据103发送到统计数据模块303。统计数据模块303可经配置以基于图像数据103识别各种统计数据。例如，统计数据模块303可以识别图像数据103所表示的图像描绘室内环境。基于各种统计数据，统计数据模块303可以生成经配置以启用或停用环境场景状况检测模块108的接通/断开信号304。例如，当车辆在室内时，统计数据模块303可以停用环境场景状况检测模块108。
当启用环境场景状况检测模块108时，环境场景状况检测模块108如上文参看图1-2所述操作以确定图像数据103所表示的图像是否不清晰。当环境场景状况检测模块108将图像识别为不清晰时，环境场景状况检测模块108可以通过生成HMI信号330、ISP数据332和BCU信号334中的一个或多个而发起一个或多个动作。HMI信号330、ISP数据332和BCU信号334中的每一者可以对应于图1中示出的输出118。在特定实例中，环境场景状况检测模块108基于从一个或多个传感器314接收的传感器数据315确定要发起哪个动作或哪些动作。
例如，响应于检测到不清晰的图像，环境场景状况检测模块108可以发送BCU信号334以发起BCU 316的一个或多个动作。BCU 316可经配置以响应于BCU信号334激活(例如通过发送信号317)车辆的电力***。例如，环境场景状况检测模块108可以使BCU 316激活雾灯、关闭远光灯、激活挡风玻璃雨刮器或其一组合。
在一些实施方案中，环境场景状况检测模块108可确定图像传感器102所面向的窗户(例如挡风玻璃)是否是有雾的或图像传感器的镜头是否是湿的或有雾的。举例而言，图像传感器102可位于座舱(例如车辆的乘客舱)内，且可经定位以通过车辆的窗户俘获场景。环境场景状况检测模块108可以接收与多个温度相关联和/或对应于多个温度的传感器数据315，这多个温度例如是车辆内部的第一温度和车辆外部的第二温度。环境场景状况检测模块108可经配置以确定第一温度与第二温度之间的温差。当温差指示第一温度(车辆内部)之间的差异超出温度(车辆外部)时，环境场景状况检测模块108可以确定图像传感器102俘获的图像是不清晰的，部分地是因为图像传感器102面向的窗户有雾。响应于确定窗户有雾，环境场景状况检测模块108可以发起动作，例如说明性非限制性实例是激活制暖、通风或空气调节(HVAC)***和/或挡风玻璃雨刮器。
在一些实施方案中,***100可以包含多个图像传感器，并且环境场景状况检测模块108可以确定车辆的窗户(例如挡风玻璃)是否受到不利影响(例如，打湿、有雾、结霜、变脏或以其它方式被污染从而妨碍清晰度)，或者特定图像传感器的镜头是否受到不利影响。多个图像传感器可以包含生成第一图像(例如图像数据103)的图像传感器102和生成第二图像(例如第二图像数据)的第二图像传感器(未图示)。图像传感器102可以位于车辆的座舱内并且可以定位成通过窗户俘获场景。第二图像传感器可以位于车辆外部，或者是车载的，或者位于离车辆远程的位置。环境场景状况检测模块108可以接收第一图像和第二图像并且可以如参看图2所描述处理每个图像。
当第二图像传感器位于车辆外部(例如车载或远程)时，环境场景状况检测模块108可以确定第一图像是否比第二图像更清晰。当第一图像被确定为清晰并且第二图像被确定为不清晰时，环境场景状况检测模块108可以确定第一图像比第二图像清晰。当第二图像确定为清晰并且第一图像确定为不清晰时，环境场景状况检测模块108可以确定第一图像不如第二图像清晰。当第一图像和第二图像都被确定为清晰或者都被确定为不清晰时，环境场景状况检测模块108可以将第一图像的场景清晰度分数与第二图像的场景清晰度分数比较。例如，环境场景状况检测模块108可以将第一图像(例如图像数据103)的第一场景清晰度分数111与第二图像的第一场景清晰度分数或第二场景清晰度分数比较。或者或另外，环境场景状况检测模块108可以将第一图像(例如图像数据103)的第二场景清晰度分数115与第二图像的第一场景清晰度分数或第二场景清晰度分数比较。
响应于确定第一图像(来自车辆中的图像传感器102)比第二图像(来自车辆外部车载的或者位于车辆外部远程的第二图像传感器)，环境场景状况检测模块108可以发起第一组一个或多个动作，例如生成HMI信号330以使得HMI 310指示第二图像传感器的镜头受到不利影响(例如变脏或打湿)和/或激活制暖、通风和空气调节(HVAC)***和/或挡风玻璃雨刮器。响应于确定第一图像不如第二图像清晰，环境场景状况检测模块108可以发起第二组一个或多个动作，例如生成HMI信号330以使得HMI 310指示第一图像传感器的镜头受到不利影响(例如变脏或打湿)。因此，通过比较从两个不同图像传感器接收的图像，环境场景状况检测模块108可以识别图像传感器的潜在问题(例如镜头变脏和/或打湿)或环境的潜在问题(例如车辆的窗户)。
在一些实施方案中，***100可以包含图像传感器102、第二图像传感器(未图示)和第三图像传感器(未图示)。图像传感器102可以位于车辆的座舱内，第二图像传感器可以位于车辆外部并且是车载的，并且第三图像传感器可以位于车辆外部并且在离车辆远程的位置。每个图像传感器可以生成对应的图像，例如第一图像传感器102生成的第一图像(例如图像数据103)、第二图像传感器生成的第二图像(例如第二图像数据)、以及第三图像传感器生成的第三图像(例如第三图像数据)。环境场景状况检测模块108可以接收第一、第二和第三图像中的每一者并且可以如参看图1-2所描述处理每个图像。或者或另外，环境场景状况检测模块108可以从第三图像传感器接收环境状况清晰或不清晰的指示和/或可以接收基于第三图像传感器确定的场景清晰度分数。环境场景状况检测模块108可以将第三图像与第一图像和/或第二图像比较以确定第三图像是否比第一图像和/或第二图像清晰。
响应于确定第三图像(来自第三图像传感器)比第一图像(来自图像传感器102)清晰，环境场景状况检测模块108可以确定第一图像传感器的镜头受到不利影响和/或车辆的窗户受到不利影响。响应于确定第三图像(来自第三图像传感器)比第二图像(来自第二图像传感器)清晰，环境场景状况检测模块108可以确定第二图像传感器的镜头受到不利影响和/或车辆的窗户受到不利影响。响应于确定第三图像比第一图像和/或第二图像清晰，环境场景状况检测模块108可以发起一个或多个动作，例如作为说明性非限制性实例，生成HMI信号330和/或生成BCU信号334。
***100可以包含一个或多个图像传感器。例如，一个或多个图像传感器可以包含位于车辆的座舱中的图像传感器102和/或位于车辆外部并且车载的第二图像传感器。环境场景状况检测模块108可以从外部源(例如与天气服务相关联的计算装置)接收数据(例如经由BCU 316的通信接口)，所述数据指示环境状况信息，例如清晰或不清晰。环境场景状况检测模块108可以将指示环境状况的数据与基于来自一个或多个图像传感器的一个或多个图像(例如图像数据)的其它数据比较。例如，环境场景状况检测模块108可以从图像传感器102(位于车辆内)接收第一图像(例如图像数据103)并且可以使用第一图像确定第一环境状况。
环境场景状况检测模块108可以将环境状况信息与第一环境状况比较。当环境场景状况检测模块108确定第一环境状况不清晰而来自外部源的环境状况信息指示环境状况清晰时，环境场景状况检测模块108可以确定窗户受到不利影响和/或图像传感器102的镜头受到不利影响。作为另一实例，环境场景状况检测模块108可以将环境状况信息与使用第二图像确定的第二环境状况比较。当环境场景状况检测模块108确定第二环境状况不清晰而来自外部源的环境状况信息指示环境状况清晰时，环境场景状况检测模块108可以确定第二图像传感器的镜头受到不利影响(例如变脏、打湿或有雾)。
当环境场景状况检测模块108确定窗户有雾(或以其它方式受到不利影响)和/或图像传感器102的镜头变脏(或以其它方式受到不利影响)时，BCU信号334可以包含经配置以使BCU 316激活制暖、通风和空气调节(HVAC)***和/或挡风玻璃雨刮器的消息或激活信号。另外或替代地，环境场景状况检测模块108可以生成HMI信号以使得HMI 310呈现对应于所确定的状况(例如窗户有雾或图像传感器102变脏)的消息。
在一些实施方案中,响应于确定图像数据103不清晰，环境场景状况检测模块108可经配置以生成BCU信号334以使得BCU 316经由通信接口传输消息。例如，BCU 316可以将消息传输到另一车辆。消息可以指令其它车辆执行动作(例如激活图像清晰化、激活***、呈现警告或其一组合)。因此，***100可以与其它装置(例如其它计算装置)共享关于不清晰和潜在地危险的状况的信息。
另外或替代地，当环境场景状况检测模块108检测到图像数据103表示的图像不清晰时，环境场景状况检测模块108可以将ISP数据332发送到ISP 305。ISP数据332可以携带图像数据103或图像数据103的经处理的版本(例如大小重新调整过的)。在一些实例中，ISP数据332可以包含第二图像数据360，其表示在所俘获的图像数据103表示的图像之后图像传感器102俘获的第二图像。在一些实例中，ISP 305直接从视频前端模块302接收图像数据(例如图像数据103和/或第二图像数据360)。在这些实例中，ISP数据332可以启用ISP 305的清晰化。在一些实例中，ISP数据332包含如上文参看图1和2所述计算的第一场景清晰度分数111和/或第二场景清晰度分数115。响应于ISP数据332，ISP 305生成表示清晰化的图像的“清晰化的”图像数据307。例如，LTM模块306可以升高图像(或第二图像)的高强度区域中的局部对比度(例如调节像素的强度值以增加相邻像素之间的差别，从而潜在地使图像中的物体更清晰)。当ISP数据332包含第一场景清晰度分数111和/或第二场景清晰度分数115时，LTM模块306可以基于第一场景清晰度分数111和第二场景清晰度分数115中的一个或两个生成清晰化的图像数据307。例如，图像中的每个像素的调节程度可以基于第一场景清晰度分数111和第二场景清晰度分数115中的一个或两个。举例而言，当第一场景清晰度分数111和/或第二场景清晰度分数115较高时，可以向像素强度施加比第一场景清晰度分数111和/或第二场景清晰度分数115较低时更大程度的调节(例如调节程度可以与第一场景清晰度分数111和/或第二场景清晰度分数115正相关)。通过使用硬件模块(例如LTM模块306)，***100可以比替代***更快速地生成清晰化的图像数据307。在环境快速变化(例如当车辆高速移动通过环境)时的情形中，快速生成清晰化的图像数据307可以是有益的。
ISP 305可以将清晰化的图像数据307发送到物体检测模块308。物体检测模块308可以识别清晰化的图像中的物体，并且经由HMI 310将检测到的物体输出309(例如碰撞警告、限速通知、车道提示等)提供给车辆操作人员。物体输出309可以包含在清晰化的图像中检测到的物体的视觉表示。例如，HMI 310可以输出清晰化的图像并且可以输出清晰化的图像上的覆层。覆层可以包含在清晰化的图像中检测到的物体(例如车道、标牌、其它车辆、行人、动物等)的表示(例如概述、突出显示等)。物体输出309可以包含有待由HMI 310输出的警告(例如经由显示屏、扬声器等)。警告可以包含音频警告、文字警告、视觉警告(例如视频或图像)或其一组合。例如，警告可能对应于音频消息，其包含通知，例如“前方有树”或文字消息，例如“前方有行人”。在一些实例中，物体检测模块308可以基于在清晰化的图像中检测到的物体发送激活车辆的致动器(例如转向、节流阀、刹车、换挡等)的消息。例如，当在清晰化的图像中检测到车辆前方的物体时，物体检测模块308可以发送激活车辆的刹车的消息。
作为另一个实例，当环境场景状况检测模块108检测到图像数据103表示的图像不清晰时，环境场景状况检测模块108可以将HMI信号330发送到HMI 310。HMI信号330可以使HMI 310呈现警告(例如经由显示屏、扬声器等)。警告可以是音频警告、文字警告、视觉警告(例如视频或图像)或其一组合。警告可以指示状况不清晰并且车辆的操作人员可能难以检测车辆外部的物体。
应注意，环境场景状况检测模块108可以响应于确定图像是清晰的而生成一个或多个输出。例如，环境场景状况检测模块108可以将BCU信号334发送到BCU 316，以使得BCU316解除激活车辆的电子器件(例如关闭雾灯、除雾器***等)。环境场景状况检测模块108可以将ISP数据332发送到ISP 305以关闭ISP 305的清晰化功能。此外，环境场景状况检测模块108可以将HMI信号330发送到HMI 310，以使得HMI 310输出“清晰状况”状态(例如经由显示器或经由扬声器)。
如上文所解释，图像传感器和计算装置106中的一个或两个可以位于车辆的外部。例如，计算装置可以是位于计算机中心中的通过与BCU 316的接口建立的连接与车辆通信的服务器。服务器可以经由连接向车辆发送HMI信号330、BCU信号334、物体输出309或其一组合。因此，可以在车辆外部执行环境场景检测和清晰化。此外，可以基于在车辆外部俘获的图像数据执行环境场景检测和清晰化。例如，图像传感器102可以位于气象台、气象气球、另一车辆或某个其它位置。
因此，***100可以实现对于可能影响车辆操作的不清晰状况的检测。此外，***100可以实现对于可能减轻操作车辆的潜在危险的动作的自动发起。
参看图4，展示了示出对应于LTM模块306可以用来生成清晰化的图像数据307的LTM功能的各种图的示图400。数字图像(例如图像数据103表示的图像或第二图像数据360表示的第二图像)可以由像素构成。每个像素可具有一个或多个通道(例如红、绿、蓝)中的强度值。强度值可以在从0到255的范围内。对于图像中的每个像素，LTM模块306可以基于相邻像素的强度来调节一个或多个通道中的像素的强度。LTM主曲线402示出了针对相邻像素的不同的平均强度(沿着X轴)应用于所述像素的强度(沿着Y轴)的调节。如所说明，LTM模块306可增加低强度区域中的像素的强度且可减小高强度区域中的像素的强度。
LTM位移曲线404示出了如何基于一个像素的强度与相邻像素的平均强度之间的差异(沿着Y轴)调节(沿着Y轴)所述像素的强度。LTM主曲线402和LTM位移曲线404都可以基于第一场景清晰度分数111和第二场景清晰度分数115中的一个或多个。例如，像素强度的调节可以随着场景清晰度分数(第一场景清晰度分数111和第二场景清晰度分数115中的一个或两个)的增加而增加。
参看图5，展示了示出用于识别不清晰的图像的方法500的流程图。方法500包含在框502处接收表示图像传感器俘获的图像的数据，所述图像描绘场景。例如，计算装置106可以接收图像数据103。图像数据103可以表示图像传感器102俘获的场景122的图像。在一些实例中，场景122可以表示从车辆查看的场景。
方法500进一步包含在框504处，基于从所述数据提取的第一数据确定图像的第一场景清晰度分数，第一场景清晰度分数指示图像中的对比度。例如，环境场景状况检测模块108可以基于从图像数据103提取的第一数据104确定第一场景清晰度分数111。
所述方法500进一步包含在框506处将第一场景清晰度分数与阈值比较。例如，环境场景状况检测模块108可以将第一场景清晰度分数111与第一阈值112比较。如果第一场景清晰度分数不满足阈值，则方法500进一步包含在框508处确定图像清晰(例如未检测到环境场景状况)。例如，响应于第一场景清晰度分数111不满足第一阈值112，环境场景状况检测模块108可以确定图像数据103表示的图像是清晰的。
如果第一场景清晰度分数的确满足阈值，则方法500包含在框510处基于从数据提取的第二数据确定第二场景清晰度分数，第二场景清晰度分数指示图像中的对比度。例如，如果第一场景清晰度分数111满足第一阈值112，则环境场景状况检测模块108可以基于第二数据105确定第二场景清晰度分数115。
方法500进一步包含在512处基于第二场景清晰度分数确定是否自动发起动作。例如，环境场景状况检测模块108可以将第二场景清晰度分数115与第二阈值116比较以确定是否经由输出118发起动作。
因此，方法500可以使用二级比较来确定是否图像不清晰并且应当发起动作。
参看图6，描绘了装置600(例如电子装置)的特定说明性实施例的框图。装置600可以对应于计算装置106。装置600包含耦合到存储器632的处理器610。处理器610可以执行环境场景状况检测模块664，例如环境场景状况检测模块108。
存储器632可以包含数据和指令，例如计算机可读指令或处理器可读指令。数据和指令可以与执行环境场景状况检测模块664相关联。
图6还示出了耦合到处理器610并耦合到显示器628的显示器控制器626。译码器/解码器(编解码器)634也可耦合到处理器610。扬声器636和麦克风638可以耦合到编解码器634。扬声器636、麦克风638、显示器628或其一组合可以对应于HMI 310。
图6还包含相机631。相机631可以对应于图像传感器102。相机631可以物理上耦合到装置600，或者可以与装置600无线通信。
图6还包含图像信号处理器611，其耦合到存储器并且耦合到处理器610。图像信号处理器611可以对应于ISP 305。图像信号处理器611包含LTM模块612。LTM模块612可以是硬件模块或软件模块并且可以对应于LTM模块306。
图6还指示无线接口640可耦合到处理器610并且耦合到天线642。装置600可以经由无线接口640和天线642与例如主体控制单元316或HMI 310的其它装置通信。在替代实施例中，装置600可以经由有线连接与例如主体控制单元316或HMI 310的其它装置通信。在一些实施方案中,处理器610、显示器控制器626、存储器632、编解码器634和无线接口640包含于封装内***或芯片上***装置622中。在特定实施例中，输入装置630和电力供应器644耦合到芯片上***装置622。此外，在特定实施例中，如图6中所说明，显示器628、输入装置630、扬声器636、麦克风638、天线642及电力供应器644在芯片上***装置622外部。然而，显示器628、输入装置630、扬声器636、麦克风638、天线642及电力供应器644中的每一者可耦合到芯片上***装置622的组件，例如接口或控制器。虽然环境场景状况检测模块664描绘为通过处理器610执行，但是在其它实施方案中，环境场景状况检测模块664可以包含于装置600的另一组件或耦合到装置600的组件中。例如，环境场景状况检测模块664可以对应于图像信号处理器611中包含的硬件。
在一个实施例中，一种设备包含用于接收表示图像的数据的装置。所述用于接收数据的装置可以对应于图像传感器102、相机631、计算装置106、视频前端模块302、芯片上***装置622、BCU 316的通信接口或其一组合。所述设备进一步包含用于图像处理的装置，其经配置以接收表示所述用于俘获图像的装置俘获的图像的数据。所述用于图像处理的装置可以进一步经配置以基于从数据提取的第一数据确定图像的第一场景清晰度分数。所述用于图像处理的装置可以进一步经配置以确定第一场景清晰度分数是否满足阈值，并且如果第一场景清晰度分数满足阈值，则当第一场景清晰度分数满足阈值时基于从数据提取的第二数据确定第二场景清晰度分数。所述用于图像处理的装置可以进一步经配置基于第二场景清晰度分数确定是否自动发起动作。所述用于图像处理的装置可以对应于计算装置106、环境场景状况检测模块108、装置600、处理器610、环境场景状况检测模块664或其组合。
提供对所公开的实施例的先前描述以使得本领域的技术人员能够制造或使用所公开的实施例。所属领域的技术人员将容易了解对这些实施例的各种修改，且可在不脱离本发明的范围的情况下将本文定义的原理应用到其它实施例。因此，本发明并不既定限于本文中所示的实施例，而应被赋予与如由所附权利要求书界定的原理和新颖特征一致的可能最宽范围。

Claims (38)

1.一种用于在与车辆相关联的计算装置处处理数据的方法，所述方法包括：
由所述计算装置接收表示图像传感器俘获的图像的至少一部分的所述数据，所述图像描绘场景；
由所述计算装置基于从所述数据提取的第一数据计算第一场景清晰度分数；
由所述计算装置基于所述第一场景清晰度分数和阈值来执行比较；
响应于所述比较的结果，由所述计算装置基于从所述数据提取的第二数据计算第二场景清晰度分数，所述第二数据包含所述第一数据和额外数据；以及
响应于基于所述第二场景清晰度分数识别环境状况，由所述计算装置发起所述车辆的动作。
2.根据权利要求1所述的方法，其进一步包括：
从所述数据提取所述第一数据和所述第二数据；以及
基于所述第二场景清晰度分数确定所述场景是否包含所述环境状况。
3.根据权利要求1所述的方法，其中所述额外数据包括梯度特征数据。
4.根据权利要求1所述的方法，其中发起所述动作包括激活所述车辆的制暖、通风和空气调节HVAC***，且所述方法进一步包括确定所述车辆的窗户上是否存在所述环境状况。
5.根据权利要求1所述的方法，其中发起所述动作包括激活所述车辆的挡风玻璃雨刮器。
6.根据权利要求1所述的方法，其中所述第二场景清晰度分数是响应于所述第一场景清晰度分数超越所述阈值而计算的，且其中所述第一场景清晰度分数和所述第二场景清晰度分数指示所述图像中的对比度。
7.根据权利要求1所述的方法，其中发起所述动作包含激活所述车辆的雾灯、提供音频警告、提供视觉警告或其一组合。
8.根据权利要求1所述的方法，其中所述动作包含处理所述数据以产生清晰化的图像数据。
9.根据权利要求8所述的方法，其中产生所述清晰化的图像数据包含使用局部色调映射LTM升高所述图像的高强度区域中的局部对比度。
10.根据权利要求8所述的方法，其中将所述图像中的一个或多个像素的强度值修改基于所述第一场景清晰度分数和所述第二场景清晰度分数中的一个或两个选择的量。
11.根据权利要求8所述的方法，其进一步包括基于所述清晰化的图像数据执行物体检测并且基于所述物体检测向车辆的输出装置提供输出。
12.根据权利要求1所述的方法，其中所述第一数据包含对应于所述图像中的具有所述图像的红色通道、绿色通道和蓝色通道中的至少一个中的高强度值的像素的暗特征数据。
13.根据权利要求1所述的方法，其中计算所述第一场景清晰度分数包括将所述第一数据与使用机器学习生成的模型进行比较。
14.根据权利要求1所述的方法，其进一步包括：
将所述第二场景清晰度分数与第二阈值进行比较；以及
基于所述第二场景清晰度分数满足所述第二阈值而识别所述环境状况。
15.根据权利要求1所述的方法，其中所述图像包含在从所述图像传感器接收的多个图像中，且所述方法进一步包括选择所述多个图像中的特定图像且选择性地处理所述特定图像以计算对应场景清晰度分数。
16.一种设备，其包括：
存储器；以及
处理器，其耦合到所述存储器且经配置以：
接收表示图像传感器俘获的图像的至少一部分的数据，所述图像描绘与车辆相关联的场景；
基于从所述数据提取的第一数据计算所述图像的第一场景清晰度分数；
基于所述第一场景清晰度分数和阈值而执行比较；
响应于所述比较的结果，基于从所述数据提取的第二数据计算第二场景清晰度分数，所述第二数据包含所述第一数据和额外数据；以及
响应于基于所述第二场景清晰度分数识别环境状况，发起所述车辆的动作。
17.根据权利要求16所述的设备，其进一步包括所述图像传感器，其中所述图像传感器位于所述车辆的乘客舱内。
18.根据权利要求16所述的设备，其中所述处理器包含局部色调映射LTM模块，并且其中所述动作包含使用所述LTM模块生成清晰化的图像数据。
19.根据权利要求18所述的设备，其中所述LTM模型经配置以基于表示第二图像的至少一部分的第二数据生成所述清晰化的图像数据，所述第二图像是在所述图像传感器俘获了所述图像之后由所述图像传感器俘获的。
20.根据权利要求18所述的设备，其中所述LTM模型经配置以将所述图像中的一个或多个像素的强度值修改基于所述第一场景清晰度分数和所述第二场景清晰度分数中的一个或两个选择的量，且其中所述量与所述第一场景清晰度分数和所述第二场景清晰度分数中的一个或两个正相关。
21.根据权利要求16所述的设备，其进一步包括主体控制单元，所述主体控制单元经配置以控制所述车辆的一或多个电子***，其中所述存储器经配置以存储所述数据。
22.根据权利要求16所述的设备，其进一步包括扬声器，所述扬声器经配置以输出与所述动作相关联的音频警告。
23.根据权利要求16所述的设备，其中所述处理器进一步经配置以执行所述动作以产生清晰化的图像数据，且所述设备进一步包括所述车辆的车载显示装置，所述显示装置经配置以显示所述清晰化的图像数据表示的清晰化的图像。
24.根据权利要求16所述的设备，其中所述处理器进一步经配置以执行所述动作以产生清晰化的图像数据且基于所述清晰化的图像数据检测物体。
25.根据权利要求16所述的设备，其中所述动作包括激活制暖、通风和空气调节HVAC***、激活挡风玻璃雨刮器、激活车辆的雾灯，提供音频警告，提供视觉警告或其一组合。
26.一种存储指令的非暂时性计算机可读存储媒体，所述指令在由处理器执行时，使所述处理器执行包含以下各项的操作：
接收表示图像传感器俘获的图像的至少一部分的数据，所述图像描绘与车辆相关联的场景；
基于从所述数据提取的第一数据计算第一场景清晰度分数；
基于所述第一场景清晰度分数和阈值执行比较：以及
响应于所述比较的结果：
基于从所述数据提取的第二数据计算第二场景清晰度分数，所述第二数据包含所述第一数据和额外数据；以及
响应于基于所述第二场景清晰度分数识别环境状况，发起所述车辆的动作的执行。
27.根据权利要求26所述的非暂时性计算机可读存储媒体，其中通过将第一线性支持向量模型与所述第一数据比较而计算所述第一场景清晰度分数，并且其中通过将第二线性支持向量模型与所述第二数据比较而计算所述第二场景清晰度分数。
28.根据权利要求27所述的非暂时性计算机可读存储媒体，其中使用样本视频生成所述第一线性支持向量模型和所述第二线性支持向量模型中的每一者。
29.一种设备，其包括：
用于接收表示图像的至少一部分的数据的装置；以及
用于图像处理的装置，其经配置以：
基于从所述数据提取的第一数据计算所述图像的第一场景清晰度分数，所述第一场景清晰度分数指示所述图像中的对比度；基于所述第一场景清晰度分数和阈值执行比较；以及
响应于所述比较的结果：
基于从所述数据提取的第二数据计算第二场景清晰度分数，所述第二数据包含所述第一数据和额外数据；以及
基于所述第二场景清晰度分数而发起车辆的动作。
30.根据权利要求29所述的设备，其中所述动作包括处理所述数据以产生清晰化的图像数据、激活车辆的雾灯、提供音频警告、提供视觉警告或以上各者的组合。
31.一种用于在与车辆相关联的计算装置处处理数据的方法，所述方法包括：
由所述计算装置接收表示图像传感器俘获的图像的至少一部分的所述数据，所述图像描绘场景；
由所述计算装置基于从所述数据提取的第一数据计算第一场景清晰度分数；
由所述计算装置基于所述第一场景清晰度分数和阈值来执行比较；
响应于所述比较的结果，由所述计算装置基于从所述数据提取的第二数据而计算第二场景清晰度分数，所述第二数据包含所述第一数据和额外数据；以及
由所述计算装置基于所述第二场景清晰度分数而发起所述数据的处理以产生清晰化的图像数据。
32.根据权利要求31所述的方法，其进一步包括由所述计算装置处理所述数据以产生所述清晰化的图像数据。
33.根据权利要求31所述的方法，其中所述计算装置包括可穿戴计算装置。
34.根据权利要求31所述的方法，其中所述计算装置包含在所述车辆中。
35.一种设备，其包含：
存储器；以及
处理器，其耦合到所述存储器且经配置以：
接收表示图像传感器俘获的图像的至少一部分的数据，所述图像描绘与车辆相关联的场景；
基于从所述数据提取的第一数据计算所述图像的第一场景清晰度分数；
基于所述第一场景清晰度分数和阈值来执行比较；
响应于所述比较的结果，基于从所述数据提取的第二数据而计算第二场景清晰度分数，所述第二数据包含所述第一数据和额外数据；以及
基于所述第二场景清晰度分数而发起所述数据的处理以产生清晰化的图像数据。
36.根据权利要求35所述的设备，其中所述处理器进一步经配置以处理所述数据以产生所述清晰化的图像数据。
37.根据权利要求35所述的设备，其中所述存储器和所述处理器包含在可穿戴计算装置中。
38.根据权利要求35所述的设备，其中所述存储器和所述处理器包含在所述车辆中。
CN201680008214.0A 2015-02-11 2016-01-20 环境场景状况检测 Active CN107209856B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/619,354 2015-02-11
US14/619,354 US9734425B2 (en) 2015-02-11 2015-02-11 Environmental scene condition detection
PCT/US2016/014144 WO2016130294A1 (en) 2015-02-11 2016-01-20 Environmental scene condition detection

Publications (2)

Publication Number Publication Date
CN107209856A CN107209856A (zh) 2017-09-26
CN107209856B true CN107209856B (zh) 2021-02-26

Family

ID=55411730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680008214.0A Active CN107209856B (zh) 2015-02-11 2016-01-20 环境场景状况检测

Country Status (8)

Country Link
US (1) US9734425B2 (zh)
EP (1) EP3256985A1 (zh)
JP (1) JP2018514011A (zh)
KR (1) KR20170115544A (zh)
CN (1) CN107209856B (zh)
BR (1) BR112017017222A2 (zh)
CA (1) CA2973212A1 (zh)
WO (1) WO2016130294A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US12007763B2 (en) 2014-06-19 2024-06-11 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
US9855890B2 (en) * 2014-12-11 2018-01-02 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment
US10110880B2 (en) * 2015-09-25 2018-10-23 Amazon Technologies, Inc. Selective colorization using monochromic imagery
DE102015221439B3 (de) * 2015-11-02 2017-05-04 Continental Automotive Gmbh Verfahren und Vorrichtung zur Auswahl und Übertragung von Sensordaten von einem ersten zu einem zweiten Kraftfahrzeug
JP2017144937A (ja) * 2016-02-19 2017-08-24 トヨタ自動車株式会社 撮像システム
US10435176B2 (en) 2016-05-25 2019-10-08 Skydio, Inc. Perimeter structure for unmanned aerial vehicle
US9928434B1 (en) * 2016-06-14 2018-03-27 State Farm Mutual Automobile Insurance Company Appartuses, systems, and methods for determining when a vehicle occupant is using a mobile telephone
US9928433B1 (en) * 2016-06-14 2018-03-27 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for determining when a vehicle operator is texting while driving
US10474946B2 (en) * 2016-06-24 2019-11-12 Microsoft Technology Licensing, Llc Situation aware personal assistant
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
CN106427902A (zh) * 2016-10-26 2017-02-22 江苏金米智能科技有限责任公司 一种基于图像检测的车辆雨刮器自动控制***
CN106427765A (zh) * 2016-11-09 2017-02-22 山东国金汽车工程技术有限公司 一种节能环保的雾灯装置
CN108133223B (zh) * 2016-12-01 2020-06-26 富士通株式会社 确定卷积神经网络cnn模型的装置和方法
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
CN106515578A (zh) * 2016-12-22 2017-03-22 百度在线网络技术（北京）有限公司 无人车驾驶状态的识别装置、识别方法及无人车
TWI749030B (zh) * 2017-06-27 2021-12-11 大陸商上海蔚蘭動力科技有限公司 駕駛輔助系統及駕駛輔助方法
US10688929B2 (en) * 2017-06-27 2020-06-23 Shanghai XPT Technology Limited Driving assistance system and method of enhancing a driver's vision
CN109131076A (zh) * 2017-06-27 2019-01-04 上海蔚兰动力科技有限公司 驾驶辅助***及驾驶辅助方法
US20190068880A1 (en) * 2017-08-25 2019-02-28 Rosemount Aerospace Inc. Image optimization by aircraft exterior camera system
JP6922700B2 (ja) * 2017-12-05 2021-08-18 株式会社デンソー 雨滴検出装置及びワイパ制御装置
CN107958224B (zh) * 2017-12-14 2021-09-21 智车优行科技（北京）有限公司 Adas上基于isp的图像预处理***及方法
CN111542834A (zh) * 2017-12-27 2020-08-14 大众汽车（中国）投资有限公司 一种处理方法、处理装置、控制设备和云服务器
US10678255B2 (en) * 2018-02-14 2020-06-09 GM Global Technology Operations LLC Systems, methods and apparatuses are provided for enhanced surface condition detection based on image scene and ambient light analysis
US10922626B2 (en) 2018-03-09 2021-02-16 Qualcomm Incorporated Conditional branch in machine learning object detection
CN108638957B (zh) * 2018-05-11 2021-10-26 长安大学 一种夜间低能见度下自动开启车辆雾灯的装置及方法
CN108921013B (zh) * 2018-05-16 2020-08-18 浙江零跑科技有限公司 一种基于深度神经网络的视觉场景识别***及方法
CN108926306B (zh) * 2018-08-15 2020-11-27 佛山市百斯特电器科技有限公司 洗碗机及其控制方法
US10589723B1 (en) 2018-09-21 2020-03-17 Ford Global Technologies, Llc Imaging system
US10597002B1 (en) 2018-09-21 2020-03-24 Ford Global Technologies, Llc Imaging system
KR102634349B1 (ko) * 2018-10-11 2024-02-07 현대자동차주식회사 차량의 제어 장치 및 방법
US10839220B2 (en) * 2018-10-15 2020-11-17 Kepler Vision Technologies B.V. Method for categorizing a scene comprising a sub-scene with machine learning
JP7103185B2 (ja) * 2018-11-20 2022-07-20 トヨタ自動車株式会社 判定装置、車両制御装置、判定方法、判定プログラム
US11127121B2 (en) * 2019-03-29 2021-09-21 Wipro Limited System and method of generating enhanced video by removing fog for vehicle navigation
CN110227264B (zh) * 2019-06-06 2023-07-11 腾讯科技(成都)有限公司 虚拟对象控制方法、装置、可读存储介质和计算机设备
US20200385116A1 (en) * 2019-06-06 2020-12-10 Motorola Solutions, Inc. System and Method of Operating a Vehicular Computing Device to Selectively Deploy a Tethered Vehicular Drone for Capturing Video
CN112109717A (zh) * 2019-06-19 2020-12-22 商汤集团有限公司 一种智能驾驶控制方法及装置、电子设备
US11134201B2 (en) * 2019-08-20 2021-09-28 International Business Machines Corporation Vision assisted driving system using a vertically extendable camera
US11386289B2 (en) * 2019-11-05 2022-07-12 Elementary Robotics, Inc. Systems and methods for robot-aided product inspection
JP7485512B2 (ja) * 2019-12-26 2024-05-16 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム
US11645780B2 (en) * 2020-03-16 2023-05-09 Realsee (Beijing) Technology Co., Ltd. Method and device for collecting images of a scene for generating virtual reality data
CN111559344A (zh) * 2020-04-21 2020-08-21 汉腾汽车有限公司 一种基于图像识别的自动雨刮***
CN112180472A (zh) * 2020-09-28 2021-01-05 南京北极光智能科技有限公司 一种基于深度学习的大气能见度集成预报方法
CN112417952B (zh) * 2020-10-10 2022-11-11 北京理工大学 一种车辆碰撞防控***的环境视频信息可用性测评方法
CN113077422B (zh) * 2021-03-22 2023-08-15 浙江大华技术股份有限公司 起雾图像检测方法、模型训练方法及装置
CN113581131B (zh) * 2021-08-12 2023-08-08 上海仙塔智能科技有限公司 挡风玻璃附着灰尘的清理方法及智能眼镜
CN115257632B (zh) * 2022-08-16 2024-05-03 重庆金康赛力斯新能源汽车设计院有限公司 车窗除雾控制方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957309A (zh) * 2010-08-17 2011-01-26 招商局重庆交通科研设计院有限公司 一种能见度的全天候视频测量方法
CN102411774A (zh) * 2011-08-08 2012-04-11 安防科技（中国）有限公司 一种基于单幅图像去雾的处理方法、装置及***
CN102609939A (zh) * 2012-01-16 2012-07-25 北京航空航天大学 一种tfds图像质量评价方法及***
WO2014097347A1 (ja) * 2012-12-18 2014-06-26 三菱電機株式会社 視認性推定装置、視認性推定方法、及び安全運転支援システム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997016807A1 (en) 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for image-based object detection and tracking
US7653215B2 (en) * 1997-04-02 2010-01-26 Gentex Corporation System for controlling exterior vehicle lights
US6611610B1 (en) 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
JP2001082097A (ja) 1999-09-13 2001-03-27 Toshiba Corp トンネル換気制御装置
US6807473B1 (en) 2003-04-09 2004-10-19 Continental Teves, Inc. Road recognition system
US7602942B2 (en) 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
JP2009527063A (ja) 2006-02-14 2009-07-23 インテリサイエンス コーポレーション 仮想環境において見本及びデータを使用及び統合するシステム及びその方法
US20070244844A1 (en) 2006-03-23 2007-10-18 Intelliscience Corporation Methods and systems for data analysis and feature recognition
JP2007310741A (ja) 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP4784452B2 (ja) 2006-09-12 2011-10-05 株式会社デンソー 車載霧判定装置
JP4321591B2 (ja) 2007-01-11 2009-08-26 株式会社デンソー 車載霧判定装置
US8098889B2 (en) 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8831869B2 (en) 2009-03-31 2014-09-09 GM Global Technology Operations LLC Using V2X-based in-network message generation, aggregation, distribution and processing protocols to enable road hazard condition warning applications
US8350933B2 (en) 2009-04-08 2013-01-08 Yissum Research Development Company Of The Hebrew University Of Jerusalem, Ltd. Method, apparatus and computer program product for single image de-hazing
JP4807439B2 (ja) 2009-06-15 2011-11-02 株式会社デンソー 霧画像復元装置及び運転支援システム
US8340461B2 (en) 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
DE102010002488A1 (de) 2010-03-02 2011-09-08 Robert Bosch Gmbh Verfahren und Vorrichtung zur Nebelerkennung mittels Spektroskopie
PL2719258T3 (pl) 2011-06-13 2016-07-29 Philips Lighting Holding Bv Sterowany adaptacyjnie system oświetlenia zewnętrznego i sposób jego działania
DE102011086512B4 (de) 2011-11-16 2022-12-01 Bayerische Motoren Werke Aktiengesellschaft Nebeldetektion
US9009083B1 (en) 2012-02-15 2015-04-14 Google Inc. Mechanism for automatic quantification of multimedia production quality
US20150178572A1 (en) 2012-05-23 2015-06-25 Raqib Omer Road surface condition classification method and system
US8755628B2 (en) 2012-09-10 2014-06-17 Google Inc. Image de-hazing by solving transmission value
JP5561396B1 (ja) 2013-02-19 2014-07-30 日本電気株式会社 運転支援システムおよび運転支援方法
US9025140B2 (en) 2013-05-07 2015-05-05 Google Inc. Methods and systems for detecting weather conditions including sunlight using vehicle onboard sensors
WO2014207139A1 (en) 2013-06-28 2014-12-31 Koninklijke Philips N.V. Methods of utilizing image noise information
WO2015031478A1 (en) 2013-08-28 2015-03-05 Gentex Corporation Imaging system and method for fog detection
US10346465B2 (en) 2013-12-20 2019-07-09 Qualcomm Incorporated Systems, methods, and apparatus for digital composition and/or retrieval
US9846927B2 (en) 2014-05-20 2017-12-19 Qualcomm Incorporated Systems and methods for haziness detection
EP3146506B1 (en) 2014-05-22 2019-12-11 Mobileye Vision Technologies Ltd. Systems and methods for braking a vehicle based on a detected object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957309A (zh) * 2010-08-17 2011-01-26 招商局重庆交通科研设计院有限公司 一种能见度的全天候视频测量方法
CN102411774A (zh) * 2011-08-08 2012-04-11 安防科技（中国）有限公司 一种基于单幅图像去雾的处理方法、装置及***
CN102609939A (zh) * 2012-01-16 2012-07-25 北京航空航天大学 一种tfds图像质量评价方法及***
WO2014097347A1 (ja) * 2012-12-18 2014-06-26 三菱電機株式会社 視認性推定装置、視認性推定方法、及び安全運転支援システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Detection of visibility conditions through use of onboard cameras;N. Hautiere et.al;《IEEE Proceedings. Intelligent Vehicles Symposium, 2005》;20050608;第193-198页 *

Also Published As

Publication number Publication date
CN107209856A (zh) 2017-09-26
BR112017017222A2 (pt) 2018-04-03
EP3256985A1 (en) 2017-12-20
US9734425B2 (en) 2017-08-15
WO2016130294A1 (en) 2016-08-18
KR20170115544A (ko) 2017-10-17
CA2973212A1 (en) 2016-08-18
US20160232423A1 (en) 2016-08-11
JP2018514011A (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
CN107209856B (zh) 环境场景状况检测
US11386673B2 (en) Brake light detection
KR102554643B1 (ko) 동적 범위를 확장하기 위한 다수의 동작 모드들
CN109476309B (zh) 高级驾驶辅助***中的动态传感器范围
US9898668B2 (en) System and method of object detection
US10127820B2 (en) Driver assistance apparatus and vehicle including the same
US9736364B2 (en) Camera capable of reducing motion blur in a low luminance environment and vehicle including the same
US10694262B1 (en) Overlaying ads on camera feed in automotive viewing applications
US20180017799A1 (en) Heads Up Display For Observing Vehicle Perception Activity
US10703374B2 (en) Vehicle driving assisting apparatus and vehicle comprising same
US20220335728A1 (en) Electronic device, method, and computer readable storage medium for detection of vehicle appearance
US11645779B1 (en) Using vehicle cameras for automatically determining approach angles onto driveways
US11531197B1 (en) Cleaning system to remove debris from a lens
JP6847709B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
US10354148B2 (en) Object detection apparatus, vehicle provided with object detection apparatus, and non-transitory recording medium
JP6789151B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
CN113614782A (zh) 信息处理装置、信息处理方法和程序
US20230251649A1 (en) Remote operation system, remote operation control method, and remote operator terminal
US20230042450A1 (en) Training a neural network using a data set with labels of multiple granularities
GB2611167A (en) Training a neural network using a data set with labels of multiple granularities
KR20200119790A (ko) 인식 장치와 인식 방법 그리고 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant