CN111344169A - 一种防晕光车辆辅助驾驶*** - Google Patents

一种防晕光车辆辅助驾驶*** Download PDF

Info

Publication number
CN111344169A
CN111344169A CN201980005551.8A CN201980005551A CN111344169A CN 111344169 A CN111344169 A CN 111344169A CN 201980005551 A CN201980005551 A CN 201980005551A CN 111344169 A CN111344169 A CN 111344169A
Authority
CN
China
Prior art keywords
target
glass
dimming
point
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980005551.8A
Other languages
English (en)
Inventor
王星泽
闫静
舒远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heren Technology Shenzhen Co ltd
Original Assignee
Heren Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heren Technology Shenzhen Co ltd filed Critical Heren Technology Shenzhen Co ltd
Publication of CN111344169A publication Critical patent/CN111344169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60JWINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J3/00Antiglare equipment associated with windows or windscreens; Sun visors for vehicles
    • B60J3/04Antiglare equipment associated with windows or windscreens; Sun visors for vehicles adjustable in transparency
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/08Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/083Anti-glare mirrors, e.g. "day-night" mirrors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/08Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/083Anti-glare mirrors, e.g. "day-night" mirrors
    • B60R1/088Anti-glare mirrors, e.g. "day-night" mirrors using a cell of electrically changeable optical characteristic, e.g. liquid-crystal or electrochromic mirrors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Joining Of Glass To Other Materials (AREA)

Abstract

一种防晕光车辆辅助驾驶***,包括:双目摄像装置(210)、图像处理单元(220)、控制单元(230)以及调光玻璃(240)。双目摄像装置(210)用于采集驾驶员视角的目标图片,图像处理单元(220)用于根据目标图片,获得目标图片中的目标光点的平面坐标,控制单元用于根据所述目标光点的平面坐标,计算出调光玻璃(240)上的目标调光点的空间坐标,获得目标调光点所处的目标玻璃区域,根据目标图片获得目标调光点所需的目标透光率,向调光玻璃(240)发送改变目标玻璃区域透光率的指令,调光玻璃(240)用于根据改变目标玻璃区域透光率的指令,将目标玻璃区域的透光率调整为目标透光率。

Description

一种防晕光车辆辅助驾驶***
技术领域
本申请涉及人工智能领域,尤其涉及一种防晕光车辆辅助驾驶***。
背景技术
汽车夜间行车会车的眩光是影响行车安全的关键因素和重要问题,尤其是前照灯光偏弱的一方在对方前照灯强烈照射之下,在会车过程中形成盲区,根本看不到己方的路况,非常危险,常常因此而发生重大交通事故。即便双方都使用远光灯,但眩光依然存在,结果可能是相互伤害,影响行车安全。
为了实现抗晕光的效果,常常会在双向车道中间设置植物隔离带或者隔光板来格挡对向车辆远光灯产生的晕光,但是这类方法常常受到城建规划、经济条件等限制。而另一种方式是在车辆中加入主动近红外或被动远红外夜视抗晕光***,但是该***目前只配备在高端车型中,并且红外夜视抗晕模式成像效果较差。
发明内容
本申请提供了一种防晕光车辆辅助驾驶***,能够根据光线强度变化改变调光玻璃的透光率,防止驾驶员视野内发生晕光现象,从而提高驾驶人员驾驶的安全性。
第一方面,本申请提供了一种防晕光车辆辅助驾驶***,包括:双目摄像装置、图像处理单元、控制单元以及调光玻璃,其中,
所述双目摄像装置用于采集驾驶员视角的目标图片,其中,所述目标图片包含目标光点,所述目标光点至少包括强光点和弱光点中的一种,所述目标光点是自然界的目标真实光点在所述目标图片中的映射;
所述图像处理单元用于根据所述目标图片,获得所述目标图片中的目标光点的平面坐标;
所述控制单元用于根据所述目标光点的平面坐标,计算出所述调光玻璃上的目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域,根据所述目标图片获得所述目标调光点所需的目标透光率,并向所述调光玻璃发送改变目标玻璃区域透光率的指令,其中,所述调光玻璃划分为多个玻璃区域;
所述调光玻璃用于根据改变目标玻璃区域透光率的指令,将所述目标玻璃区域的透光率调整为目标透光率。
可选地,所述双目摄像装置包括左侧相机和右侧相机,所述左侧相机光轴到驾驶员头部中心点之间的距离与所述右侧相机光轴到驾驶员头部中心点之间的距离相同,所述左侧相机与所述右侧相机的光心在同一水平线上,所述左侧相机、所述右侧相机的成像平面在同一平面上且与所述左侧相机、所述右侧相机的光轴垂直,所述左侧相机和右侧相机的内部参数和外部参数完全相同。
可选地,所述控制单元具体用于:根据所述目标图片,获得所述目标图片中所述调光玻璃的多个顶点的平面坐标以及所述目标光点的平面坐标;通过空间坐标变换公式,获得所述目标图片中所述调光玻璃的多个顶点的空间坐标以及所述目标真实光点的空间坐标,获得调光玻璃平面的第一参数方程;根据所述目标真实光点的空间坐标以及驾驶员头部中心点的空间坐标,计算出驾驶员头部中心点与所述目标真实光点之间形成的直线的第二参数方程;根据所述第一参数方程以及所述第二参数方程,计算出所述调光玻璃上的目标调光点的空间坐标,所述目标调光点是所述驾驶员头部中心点与所述目标真实光点形成的直线相交于所述调光玻璃平面的交点;根据所述目标调光点的空间坐标,获得所述目标调光点所处的所述目标玻璃区域。
可选地,所述空间坐标转换公式为:
Figure BDA0002476793640000021
其中,O1(X,Y,Z)是空间坐标系中的一点,(u1,v1)是O1点在所述左侧相机拍摄到的图像中的平面坐标,(u2,v2)是O1点在所述右侧相机拍摄到的图像中的平面坐标,B为所述左侧相机与所述右侧相机之间的距离,f为所述左侧相机与所述右侧相机的焦距,z为所述左侧相机或者所述右侧相机与所述调光玻璃之间的垂直距离。
可选地,所述控制单元还用于在根据所述目标图片,获得所述目标图片中所述调光玻璃的多个顶点的平面坐标以及所述目标光点的平面坐标之前:获取所述车辆的目标车型信息以及驾驶员座椅与所述调光玻璃之间的目标距离信息;下载标定数据,所述标定数据包括车辆的车型信息、驾驶员座椅与所述调光玻璃之间的距离信息以及对应的所述调光玻璃平面的第一参数方程信息;在所述标定数据包括所述目标车型信息以及目标距离信息时,获得所述调光玻璃平面的第一参数方程。
可选地,所述控制单元还用于在向所述调光玻璃发送改变目标玻璃区域透光率的指令之前,获取外界信息,其中,所述外界信息包括光照强度、位置信息、温度信息以及湿度信息中的一种或者多种;所述控制器还用于将所述外界信息以及目标图片输入调光模型,获得所述目标玻璃区域所需的目标透光率,其中,所述调光模型是预先使用第一样本集对神经网络进行训练得到的模型,所述调光模型在输入的目标图片中的目标光点为强光点时输出的目标透光率低于目标光点为弱光点时输出的目标透光率,所述第一样本集包括多个已知外界信息、已知包含光点的图片以及对应的已知透光率信息。
可选地,所述图像处理单元具体用于将所述目标图片输入光点定位模型,获得所述目标图片中目标光点的平面坐标,其中,所述光点定位模型是使用第二样本集对卷积神经网络进行训练得到的模型,所述第二样本集包括多个标注有光点坐标的图片。
可选地,在所述目标调光点的数量为多个的情况下,所述方法还包括:所述控制单元获得所述每个目标调光点所处的目标玻璃区域以及对应的目标调光率;向所述调光玻璃发送调整每个目标玻璃区域的调光率到对应目标调光率的指令。
可选地,所述调光玻璃是汽车车窗、飞机玻璃窗、轮船玻璃窗、建筑房屋玻璃窗、汽车挡风玻璃、汽车后视镜中的一种。
第二方面,提供了一种防晕光车辆辅助驾驶的方法,所述方法包括以下步骤:
双目摄像装置采集驾驶员视角的目标图片,其中,所述目标图片包含目标光点,所述目标光点至少包括强光点和弱光点中的一种,所述目标光点是自然界的真实光点在所述目标图片中的映射;
图像处理单元根据所述目标图片,获得所述目标图片中的目标光点的平面坐标;
控制单元根据所述目标光点的平面坐标,计算出所述调光玻璃上的目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域,根据所述目标图片获得所述目标调光点所需的目标透光率,并向所述调光玻璃发送改变目标玻璃区域透光率的指令,其中,所述调光玻璃划分为多个玻璃区域;
所述调光玻璃根据改变目标玻璃区域透光率的指令,将所述目标玻璃区域的透光率调整为目标透光率。
可选地,所述双目摄像装置包括左侧相机和右侧相机,所述左侧相机光轴到驾驶员头部中心点之间的距离与所述右侧相机光轴到驾驶员头部中心点之间的距离相同,所述左侧相机与所述右侧相机的光心在同一水平线上,所述左侧相机、所述右侧相机的成像平面在同一平面上且与所述左侧相机、所述右侧相机的光轴垂直,所述左侧相机和右侧相机的内部参数和外部参数完全相同。
可选地,所述控制单元根据所述目标光点的平面坐标,计算出所述调光玻璃上的目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域包括:根据所述目标图片,获得所述目标图片中所述调光玻璃多个顶点的平面坐标以及所述目标光点的平面坐标;通过空间坐标变换公式,获得所述目标图片中所述调光玻璃多个顶点的空间坐标以及目标真实光点的空间坐标,获得所述调光玻璃平面的第一参数方程;根据所述目标真实光点的空间坐标以及驾驶员头部中心点的空间坐标,计算出所述驾驶员头部中心点与所述目标真实光点之间形成的直线的第二参数方程;根据所述第一参数方程以及所述第二参数方程,计算出所述调光玻璃上的目标调光点的空间坐标,所述目标调光点是所述驾驶员头部中心点与目标光点形成的直线相交于调光玻璃平面的交点;根据所述目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域。
可选地,所述空间坐标转换公式为:
Figure BDA0002476793640000041
其中,O1(X,Y,Z)是空间坐标系中的一点,(u1,v1)是O1点在左侧相机拍摄到的图像中的平面坐标,(u2,v2)是O1点在所述右侧相机拍摄到的图像中的平面坐标,B为所述左侧相机与所述右侧相机之间的距离,f为所述左侧相机与所述右侧相机的焦距,z为所述左侧相机或者所述右侧相机与所述调光玻璃之间的垂直距离。
可选地,所述获得所述目标图片中的所述调光玻璃的多个顶点的平面坐标以及所述目标光点的平面坐标之前,所述方法还包括:获取所述车辆的目标车型信息以及驾驶员座椅与所述调光玻璃之间的目标距离信息;下载标定数据,所述标定数据包括车辆的车型信息、驾驶员座椅与所述调光玻璃之间的距离信息以及对应的调光玻璃平面的第一参数方程信息;在所述标定数据包括所述目标车型信息以及目标距离信息时,获得所述调光玻璃平面的第一参数方程。
可选地,根据所述目标图片获得所述目标调光点所需的目标透光率包括:所述控制单元获取外界信息,其中,所述外界信息包括光照强度、位置信息、温度信息以及湿度信息中的一种或者多种;将所述外界信息以及目标图片输入调光模型,获得所述目标玻璃区域所需的目标透光率,其中,所述调光模型是预先使用第二样本集对神经网络进行训练得到的模型,得到的模型,所述调光模型在输入的目标图片中的目标光点为强光点时输出的目标透光率低于目标光点为弱光点时输出的目标透光率,所述第二样本集包括多个已知外界信息、已知包含光点的图片以及对应的已知透光率信息。
可选地,所述图像处理单元根据所述目标图片,获得所述目标图片中的目标光点的平面坐标包括:图像处理单元将目标图片输入光点定位模型,获得所述目标图片中目标光点的平面坐标,其中,所述光点定位模型是使用第一样本集对卷积神经网络进行训练得到的模型,所述第一样本集包括多个标注有光点坐标的图片。
可选地,在所述目标调光点的数量为多个的情况下,所述方法还包括:所述控制单元获得所述每个目标调光点所处的目标玻璃区域以及对应的目标调光率;向所述调光玻璃发送调整每个目标玻璃区域的调光率到对应目标调光率的指令。
可选地,所述调光玻璃是汽车车窗、飞机玻璃窗、轮船玻璃窗、建筑房屋玻璃窗、汽车挡风玻璃、汽车后视镜中的一种。
第三方面,提供了一种电子设备,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述第二方面所述的方法
第四方面,提供了一种计算机可读存储介质,所述计算机非瞬态存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第二方面的方法。
基于本申请提供的车辆辅助驾驶***,通过使用双目摄像装置采集驾驶员视角的目标图片,再使用图像处理单元根据所述目标图片,获得所述目标图片中的目标光点的平面坐标,再使用控制单元根据所述目标光点的平面坐标,计算出所述调光玻璃上的目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域,根据所述目标图片获得所述目标调光点所需的目标透光率,并向所述调光玻璃发送改变目标玻璃区域透光率的指令,使调光玻璃根据改变目标玻璃区域透光率的指令,将所述目标玻璃区域的透光率调整为目标透光率。使得驾驶员视野内出现强光点或者弱光点时,由于调光玻璃中目标玻璃区域的透光率发生了改变,驾驶员视野内不再会发生晕光现象,从而提高了驾驶员驾驶的安全性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种车窗调光玻璃在通电与断电情况下的效果对比图;
图2是本申请提供的一种防晕光车辆辅助驾驶***的结构示意图;
图3是本申请提供的一种双目摄像装置的结构示意图;
图4是本申请提供的一种控制单元计算目标透光点的原理示意图;
图5是本申请提供的一种调光点坐标计算原理示意图;
图6是本申请提供的一种调光玻璃区域的调节示意图;
图7是本申请提供的一种防晕光后视镜调光前后的效果对比图;
图8是本申请提供的一种防晕光车辆辅助驾驶方法的流程示意图;
图9是本申请提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请能够被更好的理解,下面对现有的调光玻璃进行简要介绍。
调光玻璃(Light-transmitting glass)是一款将液晶膜复合进两层玻璃中间,经高温、高压胶合后一体成型的夹层结构的新型特种光电玻璃产品。使用者通过控制电流的通断控制玻璃的透明与不透明状态。玻璃本身不仅具有一切安全玻璃的特性,同时又具备控制玻璃透明与否的隐私保护功能,调光玻璃拥有很多优点,例如:通电透明,断电处于不透明状态,自由切换,简洁方便;可根据窗外温度及光线的变化,通过旋转调压按钮,自动调整自身的光线强弱及红外线透过率,达到调温调光的效果;双层夹胶工艺,安全牢固,具有安全玻璃的优良品质,且隔音隔热,抗噪能力强;控制方式多样化,开关、光控、声控、温控、遥控、远程网络控制等。
调光玻璃由于其诸多优点得到了广泛应用,当前部分品牌车辆的车窗已安装了智能调光玻璃,提高了安全性。安装了调光玻璃的汽车,在停车不使用时,汽车玻璃是不透明的,窃贼即使打开车门也无法将汽车开走,因为玻璃不透明,窃贼看不到前方的路,此时这种调光玻璃还能起到防盗作用。其次,通过调光玻璃的遮挡可以保护汽车的内饰塑料件,避免在炎热的夏天直射造成的加速老化,也可以起到降温、降低车体温度的目的,对其驾驶时的舒适性有较大的益处。例如,图1是本申请提供的一种车窗调光玻璃在通电与断电情况下的效果对比图。
本申请提供的防晕光车辆辅助驾驶***可以用在多个领域,例如,汽车制造、建筑、轮船制造、航空等领域,可以用于汽车挡风玻璃的防晕光、后视镜的防晕光、飞机玻璃窗防晕光、轮船玻璃窗防晕光、建筑房屋玻璃窗防晕光等等,可以根据实际情况对玻璃窗的光透过率进行调节,本申请对于用途不作具体定。但是,为了本申请能够更好地被理解,以下阐述将以汽车挡风玻璃的防晕光为例进行阐述。
图2是本申请提供的一种防晕光车辆辅助驾驶***的结构示意图,应用于汽车挡风玻璃。如图1所示,本申请提供的防晕光车辆辅助驾驶***至少包括:双目摄像装置210、图像处理单元220、控制单元230以及调光玻璃240,其中,双目摄像装置210的输出端与图像处理单元220和控制器230连接,图像处理单元220的输出端与控制端230连接,控制器230的输出端与调光玻璃240连接。应理解,图2所示的防晕光车辆辅助驾驶***还可以包括更多或者更少的配件,此处不作具体限定。
所述双目摄像装置210用于采集驾驶员视角的目标图片,其中,所述目标图片包含目标光点,所述目标光点至少包括强光点和弱光点中的一种,所述目标光点是自然界的真实光点在所述目标图片中的映射。
在一实施例中,所述双目摄像装置210可以是包括左侧相机和右侧相机,所述左侧相机的光轴到驾驶员头部中心点之间的距离与所述右侧相机的光轴到驾驶员头部中心点之间的距离相同,所述左侧相机与所述右侧相机的光心在同一水平线上,所述左侧相机、所述右侧相机的成像平面在同一平面上且与所述左侧相机、所述右侧相机的光轴垂直,所述左侧相机和右侧相机的内部参数和外部参数完全相同。也就是说,双目摄像装置可以是平行双目立体视觉***结构,在该***中,用于对统一场景进行拍摄的两台相机按照光轴水平平行、成像平面在同一平面的位置放置,两台相机成像的相互关系更容易计算。
具体地,图3是本申请提供的一种双目摄像装置的结构示意图,其中,调光玻璃214为汽车挡风玻璃。如图3所示,所述双目摄像装置210包括左侧相机211和右侧相机212,左侧相机211的光轴到驾驶员头部中心点O之间的距离为B/2,右侧相机212的光轴到驾驶员头部中心点O之间的距离也为B/2,其中,B为两相机镜头中心间的连线距离(基线距)。左侧相机211和右侧相机212的内部参数和外部参数完全相同,两台相机水平平行放置,并且光轴相互平行,左侧相机211的成像平面A1与右侧相机212的成像平面A2在同一平面上,且都覆盖了调光玻璃214,也就是图2所示的平面O1O2O4O3。应理解,图3所示的例子中调光玻璃214为汽车挡风玻璃,位于驾驶员视线正前方,因此将双目摄像装置放在驾驶员视线两侧,可以利用两台相机代替人眼采集图相对,再经过立体匹配等相关算法的分析和处理,可以获得驾驶员视野场景目标的双目视差,从而进一步获得目标光点的深度信息以及三维空间坐标信息,便于接下来图像处理单元220和控制单元230进行进一步的处理分析。
所述图像处理单元220用于根据所述目标图片,获得所述目标图片中的目标光点的平面坐标。
在一实施例中,所述图像处理单元220具体用于将目标图片输入光点定位模型,获得所述目标图片中目标光点的平面坐标,其中,所述光点定位模型是使用第二样本集对卷积神经网络进行训练得到的模型,所述第二样本集包括多个标注有光点坐标的图片。也就是说,光点定位模型用于标注出双目摄像装置210拍摄的目标图片中的目标光点。其中,对光点定位模型进行训练时使用的第二样本集可以包含作为输入向量的第一向量集以及作为输出向量的第二向量集,第一向量集包括未标注的包含目标光点的图片,第二向量集包括标有目标光点的图片,且输入向量和输出向量存在对应关系,即,每张待标注的包含目标光点的图片对应一张标注出目标光点的图片。应理解,使用光点定位模型标注出目标光点后,可以获得目标光点位于该图片的平面坐标,其中,该平面坐标系是图片坐标系,原点可以是图片中心,还可以是图片某一顶点,本申请不作具体限定。但是,无论是左侧相机还是右侧相机拍摄的图片,都是使用统一的平面坐标系,以便后续进行统一的空间坐标转换。
所述控制单元230用于根据所述目标光点的平面坐标,计算出所述调光玻璃240上的目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域,根据所述目标图片获得所述目标调光点所需的目标透光率,并向所述调光玻璃发送改变目标玻璃区域透光率的指令,其中,所述调光玻璃划分为多个玻璃区域。
在一实施例中,所述控制单元230具体用于:根据所述目标图片,获得目标图片中调光玻璃240多个顶点的平面坐标以及目标光点的平面坐标;通过目标空间坐标变换公式,获得所述目标图片中调光玻璃多个顶点的空间坐标以及所述目标真实光点的空间坐标,获得调光玻璃2平面的第一参数方程;根据所述目标真实光点的空间坐标以及驾驶员头部中心点的空间坐标,计算出驾驶员头部中心点与目标光点之间形成的直线的第二参数方程;根据所述第一参数方程以及所述第二参数方程,计算出所述调光玻璃上的目标调光点的空间坐标,所述目标调光点是所述驾驶员头部中心点与目标光点形成的直线相交于调光玻璃平面的交点;根据所述目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域。也就是说,控制单元230主要用于根据图像处理单元220发送的目标光点的平面坐标,计算出调光玻璃240需要进行调光目标玻璃区域。
例如,图4是本申请提供的一种控制单元计算目标透光点的原理示意图,控制单元230在接收到图像处理单元220发送的目标光点的平面坐标后,根据坐标转换公式获得目标光点的空间坐标为W(X,Y,Z),驾驶员头部中心点的空间坐标为O(X0,Y0,Z0)。根据两点坐标,即可以计算出驾驶员头部中心点与目标光点之间形成的直线方程,也就是第二参数方程。再根据驾驶员头部中心点与根据挡风玻璃240多个顶点的平面坐标,也就是图4所示的O1O2O4O3中的任意三个顶点的平面坐标,使用坐标转换公式即可获得对应的是三个顶点的空间坐标,根据三点即可以确定一个平面的平面方程,也就是第一参数方程。因此,在获得平面方程和直线方程后,通过两方程联立即可计算出平面与直线的交点的坐标,也就是目标调光点的坐标。图4所示的调光点计算方法仅用于举例说明,本申请还可以使用其他计算直线与平面交点的方法,不作具体限定。
在一实施例中,所述空间坐标转换公式为:
Figure BDA0002476793640000081
其中,O1(X,Y,Z)是空间坐标系中的一点,(u1,v1)是O1点在左侧相机拍摄到的图像中的平面坐标,(u2,v2)是O1点在右侧相机拍摄到的图像中的平面坐标,B为左侧相机与右侧相机之间的距离,f为左侧相机与右侧相机的焦距,z为所述左侧相机或者所述右侧相机与所述调光玻璃之间的垂直距离。
下面对坐标转换公式的推导方法进行说明,仍以图3所示的双目摄像装置结构为例,控制单元230根据目标光点的平面坐标,计算出目标玻璃区域的计算原理可以如图5所示,图5是本申请提供的一种调光点坐标计算原理示意图,其中,图5所示的双目摄像装置结构与图3完全相同,两相机镜头中心间的连线距离(基线距)为B,驾驶员头部在左右两侧相机的中心点,所述左侧相机或者所述右侧相机与所述调光玻璃之间的垂直距离为z,两相机的的焦距均为f。设左相机和右相机的坐标系分别为O1x1y1z1和O2x2y2z2,对于挡风玻璃的一个顶点O1,设该点在左相机坐标系和右相机坐标系下的坐标分别为(x1,y1,z1)和(x2,y2,z2),在左相机拍摄到的图像中O1点的平面坐标为(u1,v1),在右相机拍摄到的图像中O1点的图像坐标为(u2,v2),则(u1-u2)称为O1点在视觉***中的视差值,设左相机坐标系为空间坐标系,则根据O1点的空间坐标为(x1,y1,z1),因此可以获得此时平面坐标系与空间坐标系的关系为:
Figure BDA0002476793640000082
其中,
Figure BDA0002476793640000083
将其代入公式(2)和公式(3)即可获得本申请提供的坐标转换公式(1),即:
Figure BDA0002476793640000091
应理解,在计算过程中,由于焦距f和基线距B一般为毫米单位,(u1-u2)为像素单位,因此在计算时可以根据参量单位进行换算,或者焦距f和基线距B是直接根据像素单位进行单位转换后标定的数值。因此,根据公式(1),只要得到某一点在左侧相机和右侧相机拍摄到的图像中的平面坐标,就可以求得其空间坐标,因此可以计算出挡风玻璃其他顶点的空间坐标,从而确定调光玻璃平面O1O2O4O3在空间坐标系中的平面方程。若左右两侧相机图像中检测到外界有目标真实光点W存在,获得W的平面坐标后,可根据公式(1)计算出点W的空间坐标,已知驾驶员头部中心点O的空间坐标,两点即可确定一条直线OW的直线方程,直线OW与调光玻璃平面O1O2O4O3的交点即为目标真实光点W在调光玻璃上的投影点W’,W’所处的目标玻璃区域即为调光玻璃需要进行调光的区域。将需要进行调光的区域的透光率降低后,目标真实光点W生成的强光光线将被调光玻璃中的目标玻璃区域挡住,其他玻璃区域仍为高透光率的状态,从而防止驾驶员视野内发生晕光现象,使驾驶员看到的外界环境光比较柔和,此过程不需要任何人工介入,可最大程度的保证驾驶员的行车安全。
在一实施例中,所述控制单元还用于在根据所述目标图片,获得目标图片中调光玻璃多个顶点的平面坐标以及目标光点的平面坐标之前:获取所述车辆的目标车型信息以及驾驶员座椅与调光玻璃之间的目标距离信息;下载标定数据,所述标定数据包括车辆的车型信息、驾驶员座椅与调光玻璃之间的距离信息以及对应的调光玻璃平面的第一参数方程信息;在所述标定数据包括所述目标车型信息以及目标距离信息时,获得所述调光玻璃平面的第一参数方程。可以理解的是,由于相同型号的汽车挡风玻璃尺寸相同,如果驾驶员座椅与调光玻璃之间的距离相同,换句话说,驾驶员座椅选择的档位相同时,左侧相机与右侧相机之间的距离B、相机选择的焦距f以及所述相机所述调光玻璃之间的垂直距离z都可以相同,而汽车车型又是相同的车型,汽车挡风玻璃为固定尺寸,因此此时可以直接下载标定数据,无需重新计算调光玻璃平面的第一参数方程信息。应理解,同一辆车也无需重复计算调光玻璃平面的第一参数方程以及驾驶员头部中心的空间坐标也可以直接下载获得。
在一实施例中,所述控制单元230还用于在向所述调光玻璃240发送改变目标玻璃区域透光率的指令之前,获取外界信息,其中,所述外界信息包括光照强度、位置信息、温度信息以及湿度信息中的一种或者多种;所述控制器还用于将所述外界信息以及目标图片输入调光模型,获得所述目标玻璃区域所需的目标透光率,其中,所述调光模型是预先使用第一样本集对神经网络进行训练得到的模型,所述调光模型在输入的目标图片中的目标光点为强光点时输出的目标透光率低于目标光点为弱光点时输出的目标透光率,所述第一样本集包括多个已知外界信息、已知包含光点的图片以及对应的已知透光率信息。也就是说,所述控制单元230用于计算目标调光点的坐标,还用于计算目标调光点所需修改的目标透光率。其中,目标透光率可以通过调光模型获得,而调光模型可以是使用第一样本集对神经网络进行训练得到的模型。这里,对调光模型进行训练时使用的第一样本集可以包含作为输入向量的多个已知外界信息、已知包含光点的图片,还包含作为输出向量的多个透光率信息,且输入向量和输出向量存在对应关系,即,每张包含光点的图片和外界信息对应一个透光率。训练好的调光模型可以使得控制单元230根据外界温度、光线强度、地理位置以及湿度等外界信息,自动控制调光玻璃240调节各个玻璃区域的透光率,从而提高驾驶员驾驶的安全性,不受外界环境光的影响。
在一实施例中,在所述目标调光点的数量为多个的情况下,所述控制单元230还用于:获得所述每个目标调光点所处的目标玻璃区域以及对应的目标调光率;向所述调光玻璃240发送调整每个目标玻璃区域的调光率到对应目标调光率的指令。应理解,所述调光玻璃240可以划分为成百上千个玻璃区域,每个玻璃区域都有对应的区域编号,每个玻璃区域的透光率可以根据区域编号被与外部电路连接的控制单元230独立地控制,也就是说,每个区域可以分别设置为不同的透光率。例如,图6是本申请提供的一种调光玻璃区域的调节示意图,其中,光点A为某一强光点在透光玻璃上的投影点,光点B为弱光点在透光玻璃上的投影点,控制单元可以根据调光模型获得光点A的目标透光率为A1,光点B的目标透光率为B1,并且,强光点A所属的玻璃区域为区域1-9,弱光点B所属的玻璃区域为区域10,因此,控制单元可以向调光玻璃发送将玻璃区域1-9的透光率调整为A1、将玻璃区域10的透光率调整为B1的指令,而其他区域的透光率保持不变,也就是说,其他区域的玻璃仍为透明状态。可理解的是,由于透光玻璃各个区域的调光状态是完全独立的,驾驶员整个视野区域图像都是清晰的,确保了不影响驾驶员视野的情况下,保证了驾驶员视野区域无强光点存在,避免了晕光现象,提高了驾驶员驾驶车辆的安全性。
在一实施例中,控制单元230对调光玻璃240进行控制的方法可以是采用开关、声控、遥控、远程网络或多传感器控制的方法中的一种或者多种,本申请不作具体限定。
所述调光玻璃240用于根据改变目标玻璃区域透光率的指令,将所述目标玻璃区域的透光率调整为目标透光率。其中,调光玻璃可以是汽车车窗、飞机玻璃窗、轮船玻璃窗、建筑房屋玻璃窗等,还可以应用在其他需要根据光线情况对调光玻璃的透过率进行调节的应用场景,本申请不作具体限定。
例如,本申请提供的调光玻璃240还可以是如图7所示的车辆后视镜,当后车的大灯照射在车内后视镜上时,通过双目摄像装置获得包含目标光点的图片,图像处理单元获得目标光点的平面坐标后,控制单元根据目标光点的平面坐标计算出车辆后视镜中的目标调光区域,向车辆后视镜发送修改目标调光区域透光率的指令,使得后视镜调节目标调光区域镜面的液晶层,将后视镜颜色变深,后车产生的强光可以被镜面吸收掉,使得驾驶员视线内的光线变得柔和,提高驾驶员驾驶的安全性。调光前后的后视镜效果可以如图7所示。应理解,上述举例仅用于说明,本申请不作具体限定。
上述***中,通过使用双目摄像装置采集驾驶员视角的目标图片,再使用图像处理单元根据所述目标图片,获得所述目标图片中的目标光点的平面坐标,再使用控制单元根据所述目标光点的平面坐标,计算出所述调光玻璃上的目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域,根据所述目标图片获得所述目标调光点所需的目标透光率,并向所述调光玻璃发送改变目标玻璃区域透光率的指令,使调光玻璃根据改变目标玻璃区域透光率的指令,将所述目标玻璃区域的透光率调整为目标透光率。通过上述***,使得驾驶员视野内出现强光点或者弱光点时,由于调光玻璃中目标玻璃区域的透光率发生了改变,驾驶员视野内不再会发生晕光现象,从而提高了驾驶员驾驶的安全性。
图8是本申请提供的一种防晕光车辆辅助驾驶方法的流程示意图。所述方法包括以下步骤:
S801:双目摄像装置采集驾驶员视角的目标图片,其中,所述目标图片包含目标光点,所述目标光点至少包括强光点和弱光点中的一种,所述目标光点是自然界的真实光点在所述目标图片中的映射。
在一实施例中,所述双目摄像装置可以是包括左侧相机和右侧相机,所述左侧相机的光轴到驾驶员头部中心点之间的距离与所述右侧相机的光轴到驾驶员头部中心点之间的距离相同,所述左侧相机与所述右侧相机的光心在同一水平线上,所述左侧相机、所述右侧相机的成像平面在同一平面上且与所述左侧相机、所述右侧相机的光轴垂直,所述左侧相机和右侧相机的内部参数和外部参数完全相同。也就是说,双目摄像装置可以是平行双目立体视觉***结构,在该***中,用于对统一场景进行拍摄的两台相机按照光轴水平平行、成像平面在同一平面的位置放置,两台相机成像的相互关系更容易计算。
具体地,图3是本申请提供的一种双目摄像装置的结构示意图,其中,调光玻璃为汽车挡风玻璃。如图3所示,所述双目摄像装置210包括左侧相机211和右侧相机212,左侧相机211的光轴到驾驶员头部中心点O之间的距离为B/2,右侧相机212的光轴到驾驶员头部中心点O之间的距离也为B/2,其中,B为两相机镜头中心间的连线距离(基线距)。左侧相机211和右侧相机212的内部参数和外部参数完全相同,两台相机水平平行放置,并且光轴相互平行,左侧相机211的成像平面A1与右侧相机212的成像平面A2在同一平面上,且都覆盖了调光玻璃,也就是图2所示的平面O1O2O4O3。应理解,图3所示的例子中调光玻璃为汽车挡风玻璃,位于驾驶员视线正前方,因此将双目摄像装置放在驾驶员视线两侧,可以利用两台相机代替人眼采集图相对,再经过立体匹配等相关算法的分析和处理,可以获得驾驶员视野场景目标的双目视差,从而进一步获得目标光点的深度信息以及三维空间坐标信息,便于接下来图像处理单元和控制单元进行进一步的处理分析。
S802:图像处理单元根据所述目标图片,获得所述目标图片中的目标光点的平面坐标。
在一实施例中,所述图像处理单元根据所述目标图片,获得所述目标图片中的目标光点的平面坐标包括:图像处理单元将目标图片输入光点定位模型,获得所述目标图片中目标光点的平面坐标,其中,所述光点定位模型是使用第一样本集对卷积神经网络进行训练得到的模型,所述第一样本集包括多个标注有光点坐标的图片。也就是说,光点定位模型用于标注出双目摄像装置拍摄的目标图片中的目标光点。其中,对光点定位模型进行训练时使用的第二样本集可以包含作为输入向量的第一向量集以及作为输出向量的第二向量集,第一向量集包括未标注的包含目标光点的图片,第二向量集包括标有目标光点的图片,且输入向量和输出向量存在对应关系,即,每张待标注的包含目标光点的图片对应一张标注出目标光点的图片。应理解,使用光点定位模型标注出目标光点后,可以获得目标光点位于该图片的平面坐标,其中,该平面坐标系是图片坐标系,原点可以是图片中心,还可以是图片某一顶点,本申请不作具体限定。但是,无论是左侧相机还是右侧相机拍摄的图片,都是使用统一的平面坐标系,以便后续进行统一的空间坐标转换。
S803:控制单元根据所述目标光点的平面坐标,计算出调光玻璃上的目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域,根据所述目标图片获得所述目标调光点所需的目标透光率,并向所述调光玻璃发送改变目标玻璃区域透光率的指令,其中,所述调光玻璃划分为多个玻璃区域。
在一实施例中,所述控制单元根据所述目标光点的平面坐标,计算出所述调光玻璃上的目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域包括:
根据所述目标图片,获得目标图片中调光玻璃多个顶点的平面坐标以及目标光点的平面坐标;通过空间坐标变换公式,获得所述目标图片中调光玻璃多个顶点的空间坐标以及所述目标真实光点的空间坐标,获得调光玻璃平面的第一参数方程;根据所述目标真实光点的空间坐标以及驾驶员头部中心点的空间坐标,计算出驾驶员头部中心点与所述目标真实光点之间形成的直线的第二参数方程;根据所述第一参数方程以及所述第二参数方程,计算出所述调光玻璃上的目标调光点的空间坐标,所述目标调光点是所述驾驶员头部中心点与目标光点形成的直线相交于调光玻璃平面的交点;根据所述目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域。也就是说,控制单元主要用于根据图像处理单元发送的目标光点的平面坐标,计算出调光玻璃需要进行调光目标玻璃区域。
例如,图4是本申请提供的一种控制单元计算目标透光点的原理示意图,控制单元再接收到图像处理单元发送的目标光点的平面坐标后,根据坐标转换公式获得目标光点的空间坐标为W(X,Y,Z),驾驶员头部中心点的空间坐标为O(X0,Y0,Z0)。根据两点坐标,即可以计算出驾驶员头部中心点与目标光点之间形成的直线方程,也就是第二参数方程。再根据驾驶员头部中心点与根据挡风玻璃多个顶点的平面坐标,也就是图4所示的O1O2O4O3中的任意三个顶点的平面坐标,使用坐标转换公式即可获得对应的是三个顶点的空间坐标,根据三点即可以确定一个平面的平面方程,也就是第一参数方程。因此,在获得平面方程和直线方程后,通过两方程联立即可计算出平面与直线的交点的坐标,也就是目标调光点的坐标。图4所示的调光点计算方法仅用于举例说明,本申请还可以使用其他计算直线与平面交点的方法,不作具体限定。
在一实施例中,所述空间坐标转换公式为公式(1),其中,O1(X,Y,Z)是空间坐标系中的一点,(u1,v1)是O1点在左侧相机拍摄到的图像中的平面坐标,(u2,v2)是O1点在右侧相机拍摄到的图像中的平面坐标,B为左侧相机与右侧相机之间的距离,f为左侧相机与右侧相机的焦距,z为所述左侧相机或者所述右侧相机与所述调光玻璃之间的垂直距离。
下面对坐标转换公式的推导方法进行说明,仍以图3所示的双目摄像装置结构为例,控制单元230根据目标光点的平面坐标,计算出目标玻璃区域的计算原理可以如图5所示,图5是本申请提供的一种调光点坐标计算原理示意图,其中,图5所示的双目摄像装置结构与图3完全相同,两相机镜头中心间的连线距离(基线距)为B,驾驶员头部在左右两侧相机的中心点,所述左侧相机或者所述右侧相机与所述调光玻璃之间的垂直距离为z,两相机的的焦距均为f。设左相机和右相机的坐标系分别为O1x1y1z1和O2x2y2z2,对于挡风玻璃的一个顶点O1,设该点在左相机坐标系和右相机坐标系下的坐标分别为(x1,y1,z1)和(x2,y2,z2),在左相机拍摄到的图像中O1点的平面坐标为(u1,v1),在右相机拍摄到的图像中O1点的图像坐标为(u2,v2),设左相机坐标系为空间坐标系,则根据O1点的空间坐标为(x1,y1,z1),因此可以获得此时平面坐标系与空间坐标系的关系为公式(2),其中,
Figure BDA0002476793640000131
将其带入公式(2)和公式(3)即可获得本申请提供的坐标转换公式,也就是公式(1)。应理解,在计算过程中,由于焦距f和基线距B一般为毫米单位,(u1-u2)为像素单位,因此在计算时可以根据参量单位进行换算,或者焦距f和基线距B是直接根据像素单位进行单位转换后标定的数值。因此,根据公式(1),只要得到某一点在左侧相机和右侧相机拍摄到的图像中的平面坐标,就可以求得其空间坐标,因此可以计算出挡风玻璃其他顶点的空间坐标,从而确定调光玻璃平面O1O2O4O3在空间坐标系中的平面方程。若左右两侧相机图像中检测到外界有目标真实光点W存在,获得W的平面坐标后,可根据公式(1)计算出点W的空间坐标,已知驾驶员头部中心点O的空间坐标,两点即可确定一条直线OW的直线方程,直线OW与调光玻璃平面O1O2O4O3的交点即为目标真实光点W在调光玻璃上的投影点W’,W’所处的目标玻璃区域即为调光玻璃需要进行调光的区域。将需要进行调光的区域的透光率降低后,目标真实光点W生成的强光光线将被调光玻璃中的目标玻璃区域挡住,其他玻璃区域仍为高透光率的状态,从而防止驾驶员视野内发生晕光现象,使驾驶员看到的外界环境光比较柔和,此过程不需要任何人工介入,可最大程度的保证驾驶员的行车安全。
在一实施例中,所述获得目标图片中调光玻璃多个顶点的平面坐标以及目标光点的平面坐标之前,所述方法还包括:
获取所述车辆的目标车型信息以及驾驶员座椅与调光玻璃之间的目标距离信息;下载标定数据,所述标定数据包括车辆的车型信息、驾驶员座椅与调光玻璃之间的距离信息以及对应的调光玻璃平面的第一参数方程信息;在所述标定数据包括所述目标车型信息以及目标距离信息时,获得所述调光玻璃平面的第一参数方程。可以理解的是,由于相同型号的汽车挡风玻璃尺寸相同,如果驾驶员座椅与调光玻璃之间的距离相同,换句话说,驾驶员座椅选择的档位相同时,左侧相机与右侧相机之间的距离B、相机选择的焦距f都可以相同,而汽车车型又是相同的车型,汽车挡风玻璃为固定尺寸,因此此时可以直接下载标定数据,无需重新计算调光玻璃平面的第一参数方程信息。应理解,同一辆车也无需重复计算调光玻璃平面的第一参数方程以及驾驶员头部中心的空间坐标也可以直接下载获得。
在一实施例中,根据所述目标图片获得所述目标调光点所需的目标透光率包括:所述控制单元获取外界信息,其中,所述外界信息包括光照强度、位置信息、温度信息以及湿度信息中的一种或者多种;将所述外界信息以及目标图片输入调光模型,获得所述目标玻璃区域所需的目标透光率,其中,所述调光模型是预先使用第二样本集对神经网络进行训练得到的模型,得到的模型,所述调光模型在输入的目标图片中的目标光点为强光点时输出的目标透光率低于目标光点为弱光点时输出的目标透光率,所述第二样本集包括多个已知外界信息、已知包含光点的图片以及对应的已知透光率信息。也就是说,所述控制单元用于计算目标调光点的坐标,还用于计算目标调光点所需修改的目标透光率。其中,目标透光率可以通过调光模型获得,而调光模型可以是使用第一样本集对神经网络进行训练得到的模型。这里,对调光模型进行训练时使用的第一样本集可以包含作为输入向量的多个已知外界信息、已知包含光点的图片,还包含作为输出向量的多个透光率信息,且输入向量和输出向量存在对应关系,即,每张包含光点的图片和外界信息对应一个透光率。训练好的调光模型可以使得控制单元根据外界温度、光线强度、地理位置以及湿度等外界信息,自动控制调光玻璃调节各个玻璃区域的透光率,从而提高驾驶员驾驶的安全性,不受外界环境光的影响。
在一实施例中,在所述目标调光点的数量为多个的情况下,所述方法还包括:所述控制单元获得所述每个目标调光点所处的目标玻璃区域以及对应的目标调光率;向所述调光玻璃发送调整每个目标玻璃区域的调光率到对应目标调光率的指令。应理解,所述调光玻璃可以划分为成百上千个玻璃区域,每个玻璃区域都有对应的区域编号,每个玻璃区域的透光率可以根据区域编号被外部电路独立地控制,也就是说,每个区域可以分别设置为不同的透光率。例如,图6是本申请提供的一种调光玻璃区域的调节示意图,其中,光点A为某一强光点在透光玻璃上的投影点,光点B为弱光点在透光玻璃上的投影点,控制单元可以根据调光模型获得光点A的目标透光率为A1,光点B的目标透光率为B1,并且,强光点A所属的玻璃区域为区域1-9,弱光点B所属的玻璃区域为区域10,因此,控制单元可以向调光玻璃发送将玻璃区域1-9的透光率调整为A1、将玻璃区域10的透光率调整为B1的指令,而其他区域的透光率保持不变,也就是说,其他区域的玻璃仍为透明状态。可理解的是,由于透光玻璃各个区域的调光状态是完全独立的,驾驶员整个视野区域图像都是清晰的,确保了不影响驾驶员视野的情况下,保证了驾驶员视野区域无强光点存在,避免了晕光现象,提高了驾驶员驾驶车辆的安全性。
在一实施例中,控制单元对调光玻璃进行控制的方法可以是采用开关、声控、遥控、远程网络或多传感器控制的方法中的一种或者多种,本申请不作具体限定。
S804:所述调光玻璃根据改变目标玻璃区域透光率的指令,将所述目标玻璃区域的透光率调整为目标透光率。
在一实施例中,调光玻璃可以是汽车车窗、飞机玻璃窗、轮船玻璃窗、建筑房屋玻璃窗等,还可以应用在其他需要根据光线情况对调光玻璃的透过率进行调节的应用场景,本申请不作具体限定。
例如,本申请提供的调光玻璃还可以是如图7所示的车辆后视镜,当后车的大灯照射在车内后视镜上时,通过双目摄像装置获得包含目标光点的图片,图像处理单元获得目标光点的平面坐标后,控制单元根据目标光点的平面坐标计算出车辆后视镜中的目标调光区域,向车辆后视镜发送修改目标调光区域透光率的指令,使得后视镜调节目标调光区域镜面的液晶层,将后视镜颜色变深,后车产生的强光可以被镜面吸收掉,使得驾驶员视线内的光线变得柔和,提高驾驶员驾驶的安全性。调光前后的后视镜效果可以如图7所示。应理解,上述举例仅用于说明,本申请不作具体限定。
上述方法中,通过使用双目摄像装置采集驾驶员视角的目标图片,再使用图像处理单元根据所述目标图片,获得所述目标图片中的目标光点的平面坐标,再使用控制单元根据所述目标光点的平面坐标,计算出所述调光玻璃上的目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域,根据所述目标图片获得所述目标调光点所需的目标透光率,并向所述调光玻璃发送改变目标玻璃区域透光率的指令,使调光玻璃根据改变目标玻璃区域透光率的指令,将所述目标玻璃区域的透光率调整为目标透光率。通过上述方法,使得驾驶员视野内出现强光点或者弱光点时,由于调光玻璃中目标玻璃区域的透光率发生了改变,驾驶员视野内不再会发生晕光现象,从而提高了驾驶员驾驶的安全性。
图9是本申请实施例提供的一种电子设备结构示意框图。如图9所示,本实施例中的电子设备可以包括:一个或多个处理器901;一个或多个输入设备902,一个或多个输出设备903和存储器904。上述处理器901、输入设备902、输出设备903和存储器904通过总线905连接。存储器902用于存储计算机程序,所述计算机程序包括程序指令,处理器901用于执行存储器902存储的程序指令。
在本申请实施例中,所称处理器901可以是中央处理单元(Central ProcessingUnit,CPU),该处理器还可以是其他通用处理器、DSP、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备902可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等,输出设备903可以包括显示器(LCD等)、扬声器等。
存储器904可以包括易失性存储器,例如RAM;存储器也可以包括非易失性存储器,例如只读存储器(Read-Only Memory,ROM)、快闪存储器、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD),存储器还可以包括上述种类的存储器的组合。存储器904可以采用集中式存储,也可以采用分布式存储,此处不作具体限定。可以理解的是,存储器904用于存储计算机程序,例如:计算机程序指令等。在本申请实施例中,存储器904可以向处理器901提供指令和数据。
具体实现中,本申请实施例中所描述的处理器901、输入设备902、输出设备903、存储器904、总线905可执行本申请提供的防晕光车辆辅助驾驶的方法的任一实施例中所描述的实现方式,在此不再赘述。
在本申请的另一实施例中提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时实现本申请提供的防晕光车辆辅助驾驶的方法的任一实施例中所描述的实现方式,在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的终端的内部存储单元,例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备,例如所述终端上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的电子设备、***和方法,可以通过其它的方式实现。例如,以上所描述的电子设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种防晕光车辆辅助驾驶***,其特征在于,包括:双目摄像装置、图像处理单元、控制单元以及调光玻璃,
所述双目摄像装置用于采集驾驶员视角的目标图片,其中,所述目标图片包含目标光点,所述目标光点至少包括强光点和弱光点中的一种,所述目标光点是自然界的目标真实光点在所述目标图片中的映射;
所述图像处理单元用于根据所述目标图片,获得所述目标图片中的目标光点的平面坐标;
所述控制单元用于根据所述目标光点的平面坐标,计算出所述调光玻璃上的目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域,根据所述目标图片获得所述目标调光点所需的目标透光率,并向所述调光玻璃发送改变目标玻璃区域透光率的指令,其中,所述调光玻璃划分为多个玻璃区域;
所述调光玻璃用于根据改变目标玻璃区域透光率的指令,将所述目标玻璃区域的透光率调整为目标透光率。
2.根据权利要求1所述的***,其特征在于,所述双目摄像装置包括左侧相机和右侧相机,所述左侧相机光轴到驾驶员头部中心点之间的距离与所述右侧相机光轴到驾驶员头部中心点之间的距离相同,所述左侧相机与所述右侧相机的光心在同一水平线上,所述左侧相机、所述右侧相机的成像平面在同一平面上且与所述左侧相机、所述右侧相机的光轴垂直,所述左侧相机和右侧相机的内部参数和外部参数完全相同。
3.根据权利要求1所述的***,其特征在于,所述控制单元具体用于:
根据所述目标图片,获得所述目标图片中所述调光玻璃的多个顶点的平面坐标以及所述目标光点的平面坐标;
通过空间坐标变换公式,获得所述目标图片中所述调光玻璃的多个顶点的空间坐标以及所述目标真实光点的空间坐标,获得调光玻璃平面的第一参数方程;
根据所述目标真实光点的空间坐标以及驾驶员头部中心点的空间坐标,计算出驾驶员头部中心点与所述目标真实光点之间形成的直线的第二参数方程;
根据所述第一参数方程以及所述第二参数方程,计算出所述调光玻璃上的目标调光点的空间坐标,所述目标调光点是所述驾驶员头部中心点与所述目标真实光点形成的直线相交于所述调光玻璃平面的交点;
根据所述目标调光点的空间坐标,获得所述目标调光点所处的所述目标玻璃区域。
4.根据权利要求3所述的***,其特征在于,所述空间坐标转换公式为:
Figure FDA0002476793630000021
其中,O1(X,Y,Z)是空间坐标系中的一点,(u1,v1)是O1点在所述左侧相机拍摄到的图像中的平面坐标,(u2,v2)是O1点在所述右侧相机拍摄到的图像中的平面坐标,B为所述左侧相机与所述右侧相机之间的距离,f为所述左侧相机与所述右侧相机的焦距,z为所述左侧相机或者所述右侧相机与所述调光玻璃之间的垂直距离。
5.根据权利要求3所述的***,其特征在于,所述控制单元还用于在根据所述目标图片,获得所述目标图片中所述调光玻璃的多个顶点的平面坐标以及所述目标光点的平面坐标之前:
获取所述车辆的目标车型信息以及驾驶员座椅与所述调光玻璃之间的目标距离信息;
下载标定数据,所述标定数据包括车辆的车型信息、驾驶员座椅与所述调光玻璃之间的距离信息以及对应的所述调光玻璃平面的第一参数方程信息;
在所述标定数据包括所述目标车型信息以及所述目标距离信息时,获得所述调光玻璃平面的第一参数方程。
6.根据权利要求4所述的***,其特征在于,
所述控制单元还用于在向所述调光玻璃发送改变目标玻璃区域透光率的指令之前,获取外界信息,其中,所述外界信息包括光照强度、位置信息、温度信息以及湿度信息中的一种或者多种;
所述控制器还用于将所述外界信息以及所述目标图片输入调光模型,获得所述目标玻璃区域所需的目标透光率,其中,所述调光模型是预先使用第一样本集对神经网络进行训练得到的模型,所述调光模型在输入的所述目标图片中的所述目标光点为强光点时输出的目标透光率低于所述目标光点为弱光点时输出的目标透光率,所述第一样本集包括多个已知外界信息、已知包含光点的图片以及对应的已知透光率信息。
7.根据权利要求1所述的***,其特征在于,所述图像处理单元具体用于将目标图片输入光点定位模型,获得所述目标图片中所述目标光点的平面坐标,其中,所述光点定位模型是使用第二样本集对卷积神经网络进行训练得到的模型,所述第二样本集包括多个标注有光点坐标的图片。
8.一种防晕光车辆辅助驾驶的方法,其特征在于,所述方法包括:
双目摄像装置采集驾驶员视角的目标图片,其中,所述目标图片包含目标光点,所述目标光点至少包括强光点和弱光点中的一种,所述目标光点是自然界的真实光点在所述目标图片中的映射;
图像处理单元根据所述目标图片,获得所述目标图片中的目标光点的平面坐标;
控制单元根据所述目标光点的平面坐标,计算出所述调光玻璃上的目标调光点的空间坐标,获得所述目标调光点所处的目标玻璃区域,根据所述目标图片获得所述目标调光点所需的目标透光率,并向所述调光玻璃发送改变目标玻璃区域透光率的指令,其中,所述调光玻璃划分为多个玻璃区域;
所述调光玻璃根据改变目标玻璃区域透光率的指令,将所述目标玻璃区域的透光率调整为目标透光率。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器;所述存储器用于存储指令;所述处理器用于调用存储器中的指令,执行如上权利要求8中所述方法。
10.一种计算机非瞬态存储介质,所述计算机非瞬态存储介质存储有计算机程序,其特征在于,所述计算机程序被计算设备执行时实现如权利要求8中所述方法。
CN201980005551.8A 2019-03-21 2019-03-21 一种防晕光车辆辅助驾驶*** Pending CN111344169A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/079101 WO2020186522A1 (zh) 2019-03-21 2019-03-21 一种防晕光车辆辅助驾驶***

Publications (1)

Publication Number Publication Date
CN111344169A true CN111344169A (zh) 2020-06-26

Family

ID=71187717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980005551.8A Pending CN111344169A (zh) 2019-03-21 2019-03-21 一种防晕光车辆辅助驾驶***

Country Status (2)

Country Link
CN (1) CN111344169A (zh)
WO (1) WO2020186522A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112051241A (zh) * 2020-09-04 2020-12-08 京东方科技集团股份有限公司 一种基于无人机的调光玻璃的调光方法、无人机及***
CN112492544A (zh) * 2020-11-27 2021-03-12 江西江铃集团新能源汽车有限公司 一种车载调光玻璃控制方法、***及可读存储介质
CN112789185A (zh) * 2020-12-31 2021-05-11 华为技术有限公司 一种车辆数字化自动遮光的方法及遮光***
CN113553920A (zh) * 2021-07-02 2021-10-26 黑芝麻智能科技(上海)有限公司 注视方向特征采集方法、装置、计算机设备和存储介质
CN114793268A (zh) * 2022-03-03 2022-07-26 海信集团控股股份有限公司 摄像头控制方法、装置及车辆
CN115616938A (zh) * 2022-08-26 2023-01-17 广州汽车集团股份有限公司 电致变色器件的控制方法、装置、电子设备以及存储介质
WO2023000204A1 (zh) * 2021-07-21 2023-01-26 华为技术有限公司 一种控制透光率可变玻璃的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985334A (zh) * 2014-05-04 2014-08-13 京东方科技集团股份有限公司 透明显示***以及设置有该透明显示***的设备
WO2015045691A1 (en) * 2013-09-24 2015-04-02 Toyota Jidosha Kabushiki Kaisha Vehicle automatic anti-glare device
CN204526749U (zh) * 2015-03-11 2015-08-05 刘韵凯 一种汽车前视智能防眩装置
CN106504248A (zh) * 2016-12-06 2017-03-15 成都通甲优博科技有限责任公司 基于计算机视觉的车辆损伤判别方法
CN206938400U (zh) * 2017-04-26 2018-01-30 上海小糸车灯有限公司 汽车主动防炫目装置
CN107867152A (zh) * 2016-09-28 2018-04-03 维布络有限公司 挡风玻璃和用于减轻汽车挡风玻璃的眩光的方法
CN107962935A (zh) * 2016-10-20 2018-04-27 福特全球技术公司 车辆车窗透光率控制装置和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4533762B2 (ja) * 2005-01-19 2010-09-01 日立オートモティブシステムズ株式会社 可変透過率ウィンドウシステム
CN103273826A (zh) * 2013-06-13 2013-09-04 北京汽车股份有限公司 一种车辆前风挡玻璃自动防炫目***
CN105913410A (zh) * 2016-03-03 2016-08-31 华北电力大学(保定) 一种基于机器视觉的远距离运动物体高度测量的装置与方法
CN108896994A (zh) * 2018-05-11 2018-11-27 武汉环宇智行科技有限公司 一种无人驾驶车辆定位方法及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045691A1 (en) * 2013-09-24 2015-04-02 Toyota Jidosha Kabushiki Kaisha Vehicle automatic anti-glare device
CN103985334A (zh) * 2014-05-04 2014-08-13 京东方科技集团股份有限公司 透明显示***以及设置有该透明显示***的设备
CN204526749U (zh) * 2015-03-11 2015-08-05 刘韵凯 一种汽车前视智能防眩装置
CN107867152A (zh) * 2016-09-28 2018-04-03 维布络有限公司 挡风玻璃和用于减轻汽车挡风玻璃的眩光的方法
CN107962935A (zh) * 2016-10-20 2018-04-27 福特全球技术公司 车辆车窗透光率控制装置和方法
CN106504248A (zh) * 2016-12-06 2017-03-15 成都通甲优博科技有限责任公司 基于计算机视觉的车辆损伤判别方法
CN206938400U (zh) * 2017-04-26 2018-01-30 上海小糸车灯有限公司 汽车主动防炫目装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112051241A (zh) * 2020-09-04 2020-12-08 京东方科技集团股份有限公司 一种基于无人机的调光玻璃的调光方法、无人机及***
CN112051241B (zh) * 2020-09-04 2024-01-23 京东方科技集团股份有限公司 一种基于无人机的调光玻璃的调光方法、无人机及***
CN112492544A (zh) * 2020-11-27 2021-03-12 江西江铃集团新能源汽车有限公司 一种车载调光玻璃控制方法、***及可读存储介质
CN112789185A (zh) * 2020-12-31 2021-05-11 华为技术有限公司 一种车辆数字化自动遮光的方法及遮光***
CN112789185B (zh) * 2020-12-31 2023-08-04 华为技术有限公司 一种车辆数字化自动遮光的方法及遮光***
CN113553920A (zh) * 2021-07-02 2021-10-26 黑芝麻智能科技(上海)有限公司 注视方向特征采集方法、装置、计算机设备和存储介质
CN113553920B (zh) * 2021-07-02 2024-06-04 黑芝麻智能科技(上海)有限公司 注视方向特征采集方法、装置、计算机设备和存储介质
WO2023000204A1 (zh) * 2021-07-21 2023-01-26 华为技术有限公司 一种控制透光率可变玻璃的方法和装置
CN114793268A (zh) * 2022-03-03 2022-07-26 海信集团控股股份有限公司 摄像头控制方法、装置及车辆
CN114793268B (zh) * 2022-03-03 2023-11-14 海信集团控股股份有限公司 摄像头控制方法、装置及车辆
CN115616938A (zh) * 2022-08-26 2023-01-17 广州汽车集团股份有限公司 电致变色器件的控制方法、装置、电子设备以及存储介质
CN115616938B (zh) * 2022-08-26 2024-01-05 广州汽车集团股份有限公司 电致变色器件的控制方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
WO2020186522A1 (zh) 2020-09-24

Similar Documents

Publication Publication Date Title
CN111344169A (zh) 一种防晕光车辆辅助驾驶***
US10953799B2 (en) Display system, electronic mirror system and movable-body apparatus equipped with the same
US9409464B2 (en) Dynamically managing vehicle glass dimming
US10562379B2 (en) Controlling window tint levels to protect the interior cabin of an autonomous vehicle
CN107438538B (zh) 用于显示车辆的车辆周围环境的方法
US6911997B1 (en) Monitoring system, camera adjusting method and vehicle monitoring system
KR101698783B1 (ko) 스테레오 카메라 및 이를 구비한 차량
CN112789185B (zh) 一种车辆数字化自动遮光的方法及遮光***
CN102055956A (zh) 车载三维视频***及用其监测车辆周围环境的方法
CN208036106U (zh) 一种全景驾驶辅助***和汽车
DE102012203491A1 (de) Elektronisches Rückspiegel-System
CN108556738A (zh) 汽车a柱盲区的显示装置和方法
US10453173B2 (en) Panel transform
WO2017134629A1 (en) Adaptive transparent display system and method for adaptive optical shielding
DE102018133013A1 (de) Fahrzeugfernsteuerungsvorrichtung und fahrzeugfernsteuerungsverfahren
KR102124298B1 (ko) 후방 교차 교통-퀵 룩스
CN113386668A (zh) 根据驾驶场景调节电子后视镜的方法及***
CN204845715U (zh) 穿戴式行车影像辅助装置
KR20160034681A (ko) 차량의 주변 감시 장치 및 방법
CN209290277U (zh) 辅助驾驶***
CN113507559A (zh) 应用于车辆的智能摄像方法、摄像***、以及车辆
KR102447414B1 (ko) 차량 환경의 적어도 일부의 이미지 표현을 제공하는 방법, 컴퓨터 프로그램 제품 및 운전자 보조 시스템
WO2019163564A1 (ja) 車両用視認装置、及び車両用視認装置の撮影部の画角設定方法
US11836964B2 (en) Devices, systems and methods for scene image acquisition
CN117962563A (zh) 玻璃透明度的调节方法、装置和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626