CN117291864A - 能见度估计装置及方法、以及记录介质 - Google Patents

Abstract

服务器装置将映现出室外的风景的图像数据输入到学习完成模型，并获取学习完成模型输出的、表示图像数据中映现的风景的能见度的能见度数据，由此估计图像数据中映现的风景的能见度。该学习完成模型是基于将映现出模拟的雾的学习用合成图像数据与该学习用合成图像数据中映现的风景的能见度的正确值相对应的学习用数据而预先进行了学习的学习完成模型。

Description

能见度估计装置及方法、以及记录介质

技术领域

本公开涉及一种能见度估计装置、能见度估计方法、以及记录有能见度估计程序的记录介质。

背景技术

以往，已知一种不需要特别的测定装置就能够估计能见度的能见度估计装置(例如，专利文献1)。该能见度估计装置获取由摄影单元对室外进行摄影而得到的图像；根据图像估计环境光和光的透射映射；基于环境光和光的透射映射，生成对图像进行锐化而得到的锐化图像。然后，能见度估计装置从锐化图像中识别物体；基于与该识别出的物体的实际尺度有关的信息，将该物体的像素尺度换算为该物体的物理尺度；根据物体的物理尺度的进深方向的分量，来计算物体的进深方向距离；将透射映射与距摄影单元的距离之间的关系式应用于图像，计算大气的光衰减参数；基于应用了计算出的光衰减参数的关系式，根据进深方向距离计算能见度。

现有技术文献

专利文献

专利文献1：特再公表2021-053789号公报

发明内容

发明要解决的课题

另外，在通过将映现出室外的图像输入到预先通过机器学习而生成的学习完成模型，来估计该室外的能见度的情况下，需要该学习完成模型使用充足量的学习用数据来学习。但是，存在如下课题：由于映现出实际的雾的图像数据的数量少，因此难以得到用于高精度地估计能见度的学习完成模型。

本公开是鉴于上述情况而完成的，其目的在于，提供一种能够使用学习完成模型来高精度地估计能见度的能见度估计装置、能见度估计方法、以及记录有能见度估计程序的记录介质。

解决课题的手段

为了解决上述问题，本公开的能见度估计装置包括图像获取部和估计部。所述图像获取部获取映现出室外风景的图像数据。所述估计部将所述图像获取部获取到的所述图像数据输入到学习完成模型；并获取所述学习完成模型输出的能见度数据，该能见度数据表示所述图像数据中映现的风景的能见度，由此估计所述图像数据中映现的风景的能见度。其中，所述学习完成模型是基于学习用数据而预先进行了学习的学习完成模型，所述学习用数据是将映现出模拟的雾的学习用合成图像数据与所述学习用合成图像数据中映现的风景的能见度的正确值相对应的学习用数据。

发明效果

根据本公开，能够使用学习完成模型高精度地估计能见度。

附图说明

图1是示出了实施方式所涉及的能见度估计***的结构例的示意图。

图2是示出了服务器装置的功能例的框图。

图3是用于说明学习完成模型的图。

图4是用于说明学习用合成图像数据的生成方法的图。

图5是用于说明设定有道路车道的位置信息的先前图像数据的图。

图6是示出了学习装置的概要结构例的框图。

图7是作为服务器装置或学习装置发挥功能的计算机的概要框图。

图8是用于说明学习装置所执行的处理的图。

图9是用于说明服务器装置所执行的处理的图。

图10是用于说明道路的模式的图。

图11示出了本实施方式所涉及的提案方法的实验结果。

具体实施方式

下面，参照附图来说明本实施方式。此外，下面所说明的实施方式是对能见度估计***应用了本发明的情况下的实施方式。

[1、能见度估计***的结构和功能的概要]

首先，使用图1来说明本发明的一个实施方式所涉及的能见度估计***的结构和概要功能。

如图1所示，能见度估计***1包括服务器装置10和终端装置20。该服务器装置10根据来自设置在道路等各地点的照相机C的图像数据，来计算各地点的能见度等气象信息。该终端装置20显示由服务器装置10提供的能见度等气象信息。

各终端装置20和作为能见度估计装置的示例的服务器装置10通过网络3连接。作为摄影单元的示例的照相机C，对道路等室外的气象状况进行拍摄。照相机C通过无线电台5经由无线通信与服务器装置10进行通信。另外，网络3例如可以是互联网、专用通信线路(例如，社区公共电视天线***(Community Antenna Television，CATV)线路)、移动通信网(包括基站等)。

服务器装置10是提供各种气象信息的公司的服务器装置。服务器装置10向终端装置20提供高速公路、普通道路、铁路、机场等交通设施的气象信息、和/或航线、港湾、海上等的气象信息。例如，作为气象信息的示例，可以列举天气、气温、湿度、气压、风向、风速、表示视野范围的能见度等信息。

另外，服务器装置10也可以提供交通拥堵、通行管制等交通信息、火车、飞机等的运行状况、船舶的航行状况。

另外，服务器装置10对来自各地点的照相机C的图像数据进行图像分析，计算与能见度等气象有关的值。另外，服务器装置10也可以对来自照相机C的图像数据进行图像分析，计算并提供路面的状态、跑道的状态、海上的状态、交通量等。

终端装置20从服务器装置10接收包括道路能见度的估计结果在内的气象信息，并显示该气象信息。

照相机C例如是具有电荷耦合器件(Charge Coupled Device，CCD)图像传感器、互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)图像传感器等摄影元件的彩色或黑白的数码相机。照相机C拍摄静态图像、动态图像等。照相机C也可以是搭载于车辆、飞机、火车等移动体的照相机。照相机C既可以是单眼相机，也可以是复眼相机。照相机C也可以是安装于智能手机等便携终端的照相机。

各照相机C例如在高速公路等道路上以预定间隔设置和/或设置在预定位置。在道路旁边设置杆，在预定的高度设置照相机C。照相机C例如朝向道路的行进方向。以能够从道路的上方拍摄的方式设置照相机C即可。

[2、服务器装置的结构和功能]

接着，对服务器装置10的结构和功能进行说明。

图2是示出了实施方式所涉及的服务器装置10的功能结构的示例的框图。服务器装置10是本公开的能见度估计装置的示例，并且如图2所示，服务器装置10在功能上包括接收部100、图像数据存储部102、图像获取部104、学习完成模型存储部106、以及估计部108。实施方式的服务器装置10使用学习完成模型来估计图像数据中映现的风景的能见度。

在利用神经网络模型等机器学习模型的情况下，优选地是，使用充足量的学习用数据来使机器学习模型学习，从而生成学习完成模型。在无法收集充足量的学习用数据的情况下，多数情形下无法生成精度良好的学习完成模型。就这一点来说，映现出实际的雾的图像数据的数量很少。因此，可以预想到，即使想要使用映现出雾的图像数据和学习完成模型来估计能见度，精度也比较低。其原因在于，由于雾的实际图像数据较少，因此难以生成精度良好的学习完成模型。

因此，实施方式所涉及的服务器装置10使用根据雾的合成图像数据预先进行了学习而得到的学习完成模型，来估计在待被估计能见度的对象的图像数据中映现的风景的能见度。由此，能够使用学习完成模型来高精度地估计能见度。下面，具体地进行说明。

接收部100逐次接收由照相机C拍摄到的图像数据。然后，接收部100将接收到的图像数据保存到图像数据存储部102。

图像数据存储部102中保存有照相机C所拍摄到的图像数据。

图像获取部104从保存在图像数据存储部102中的多个图像数据中，获取待被估计能见度的对象的图像数据。

学习完成模型存储部106中保存有用于估计图像数据中映现的风景的能见度的学习完成模型。图3示出本实施方式的学习完成模型。如图3所示，当输入图像数据时，本实施方式的学习完成模型M输出能见度估计数据，该能见度估计数据表示该图像数据中映现的风景的能见度。该能见度估计数据是表示能见度的数值的数据。

本实施方式的学习完成模型M是基于学习用数据而预先进行了学习的学习完成模型，该学习用数据是将映现出模拟的雾的学习用合成图像数据与该学习用合成图像数据中映现的风景的能见度的正确值相对应的数据。

图4是示出用于说明本实施方式的学习用合成图像数据的生成方法的图。如图4的(STEP1)所示，通过将实际图像数据与左端的透明灰度图像进行合成，生成(STEP1)的右侧的映现出模拟的雾的学习用合成图像数据。这三个学习用合成图像数据是通过使左端的透明灰度图像的透明度不同而生成的。

另外，如图4的(STEP2)所示，通过将实际图像数据与模糊过滤(Blurring Filter)进行合成，生成右端的映现出模拟的雾的学习用合成图像数据。通过对实际图像数据实施该模糊过滤(Blurring Filter)，来附加与远近相应的模糊。此外，例如，也可以根据预先设定的指数函数来生成与远近相应的模糊，并通过对实际图像数据附加该模糊，来生成学习用合成图像数据。例如，在将图像数据中的纵向的像素位置设为x，并将该像素位置x的像素值设为y的情况下，根据指数函数y＝exp(-λx)生成与远近相应的模糊，并通过对实际图像数据附加该模糊，生成学习用合成图像数据。在该情况下，调整变量λ，使得图像数据中的像素间的距离与实际的物理距离相对应。由此，能够生成图像数据中的下侧的模糊程度低、而图像数据中的上侧的模糊程度高的学习用合成图像数据，从而生成了仿佛在实际的风景中有雾一样的学习用合成图像数据。

另外，如图4的(STEP3)所示，通过将实际图像数据与中心部分的透明度高的灰度图像进行合成，生成右侧的映现出模拟的雾的学习用合成图像数据。

另外，也可以通过将实际图像数据与模拟的车辆的前照灯、设置于模拟的路面的路肩灯、模拟的建筑物的局部照明、模拟的太阳光、以及模拟的月光中的至少一个的数据进行合成，生成学习用合成图像数据。

另外，也可以通过将实际图像数据与表示模拟的晴天的数据、表示模拟的云的数据、表示模拟的雨的数据、以及表示模拟的雪的数据中的至少一个数据进行合成，生成学习用合成图像数据。

另外，也可以进一步对实际图像数据添加柏林噪声(Perlin noise)，生成映入有雾或云等的学习用合成图像数据。

估计部108读取保存在学习完成模型存储部106中的学习完成模型M，向该学习完成模型M输入图像获取部104获取到的图像数据。由此，学习完成模型M输出能见度估计数据，该能见度估计数据表示图像数据中映现的风景的能见度。此外，估计部108将能见度估计数据所表示的值作为能见度的值，来估计图像数据中映现的风景的能见度。

此外，在图像数据中映入有具有多条车道的道路的情况下，估计部108基于针对先前图像数据预先设定的多条车道的位置信息，为图像数据中映现的多条车道中的每条车道估计能见度，该先前图像数据中映现的风景与图像数据中映现的风景相同。

图5示出先前图像数据的示例。如图5所示，在先前图像数据中，用黑线Line设定道路的车道。因此，估计部108基于先前图像数据中的黑线所表示的位置信息，为图像数据中映现的多条车道中的每一条车道估计能见度。

此外，保存在学习完成模型存储部308中的学习完成模型M例如是通过图6所示的学习装置30预先学习而得到的。

如图6所示，学习装置30在功能上包括实际图像数据存储部300、合成图像数据生成部302、学习用数据存储部304、学习部306、以及学习完成模型存储部308。

实际图像数据存储部300中保存有实际拍摄的多个实际图像数据。

合成图像数据生成部302对实际图像数据存储部300中所保存的多个实际图像数据执行上述处理，生成学习用合成图像数据。然后，合成图像数据生成部302将学习用数据保存到学习用数据存储部304，该学习用数据是将学习用合成图像数据与学习用合成图像数据中映现的风景的能见度的正确值相关联的学习用数据。此外，此时的能见度的正确值，既可以根据生成学习用合成图像数据时的方法而预先设定，也可以人工地赋予。

学习用数据存储部304中保存有用于生成图3所示的学习完成模型M的学习用数据。具体地，在学习用数据存储部304中，保存有将由合成图像数据生成部302生成的学习用合成图像数据与该学习用合成图像数据中映现的风景的能见度的正确值相关联的学习用数据。而且，在学习用数据存储部304中，保存有将映现出雾的学习用实际图像数据与该学习用实际图像数据中映现的风景的能见度的正确值相关联的学习用数据。

学习部306读取保存在学习用数据存储部304中的多个学习用数据。然后，学习部306基于读取到的多个学习用数据，使用有监督的机器学习算法来使规定的机器学习模型学习，由此生成学习完成模型M。

学习完成模型存储部308中保存有学习部306所生成的学习完成模型M。

服务器装置10和学习装置30例如均能够通过图7所示的计算机50实现。计算机50包括CPU 51、作为暂时存储区域的存储器52、以及非易失性的存储部53。另外，计算机50包括连接到输入输出装置等(未示出)的输入输出接口(I/F)54、以及控制对记录介质59进行读取和写入数据的读/写(R/W)部55。另外，计算机50包括与互联网等网络连接的网络接口(I/F)56。CPU 51、存储器52、存储部53、输入输出I/F 54、R/W部55、以及网络I/F 56经由总线57相互连接。

存储部53可以通过硬盘驱动器(Hard Disk Drive，HDD)、固态硬盘(Solid StateDrive，SSD)、闪存等来实现。在作为存储介质的存储部53中，存储有用于使计算机50发挥功能的程序。CPU 51从存储部53读取程序，将该程序扩展到存储器52中，并依次执行该程序所具有的进程。

此外，通过程序实现的功能例如也可以通过半导体集成电路、更详细地专用集成电路(Application Specific Integrated Circuit，ASIC)等实现。

＜学习装置30的作用＞

接着，对实施方式的学习装置30的作用进行说明。实际图像数据存储部300中保存有多个实际图像数据，当学习装置30接收到学习处理的指示信号时，执行图8所示的学习处理例程。

在步骤S100中，合成图像数据生成部302获取保存在实际图像数据存储部300中的多个实际图像数据。

在步骤S102中，合成图像数据生成部302通过对步骤S100中获取到的多个实际图像数据与模拟的雾等进行合成，来生成学习用合成图像数据。接着，合成图像数据生成部302将学习用合成图像数据与在学习用合成图像数据中映现的风景的能见度的正确值相关联，并作为学习用数据保存到学习用数据存储部304。

在步骤S104中，学习部306获取保存在学习用数据存储部304中的多个学习用数据。

在步骤S106中，学习部306基于步骤S104中获取到的多个学习用数据，使用有监督的机器学习算法来使规定的机器学习模型学习，由此生成学习完成模型M。

在步骤S108中，学习部306将步骤S106中生成的学习完成模型M保存到学习完成模型存储部308，并结束学习处理例程。

＜服务器装置10的作用＞

接着，对实施方式的服务器装置10的作用进行说明。当学习完成模型M被输入到服务器装置10时，服务器装置10将学习完成模型M保存到学习完成模型存储部106。另外，服务器装置10接收由照相机C逐次检测到的图像数据，并将其保存到图像数据存储部102。服务器装置10在接收到估计能见度的指示信号时，执行图9所示的能见度估计处理例程。

在步骤S200中，图像获取部104从保存在图像数据存储部102中的多个图像数据，获取待被估计能见度的对象的图像数据。

在步骤S202中，估计部108读取保存在学习完成模型存储部106中的学习完成模型M。

在步骤S204中，估计部108将步骤S200中获取到的图像数据输入到步骤S202中读取到的学习完成模型M中，由此估计图像数据中映现的风景的能见度。

在步骤S206中，估计部108将步骤S204中估计出的能见度的值作为结果输出，并结束估计处理例程。

此外，估计出的能见度的值例如，被发送到外部的其他服务器(未示出)或终端装置20。

如上所述，本实施方式的服务器装置将映现出室外风景的图像数据输入到学习完成模型，并获取学习完成模型输出的、表示图像数据中映现的风景的能见度的能见度数据，由此估计图像数据中映现的风景的能见度。该学习完成模型是基于将映现出模拟的雾的学习用合成图像数据与在学习用合成图像数据中映现的风景的能见度的正确值相对应的学习用数据而预先进行了学习的学习完成模型。由此，能够使用学习完成模型来高精度地估计能见度。

而且，本发明不限定于上述各实施方式。上述各实施方式为例示性的，具有与本发明的权利要求中记载的技术思想实质上相同的结构、且起到相同作用效果的技术方案，均包含在本发明的技术范围内。

例如，估计部108也可以通过确定图像数据中映现的道路的图案，并将图像数据输入到针对每个道路的图案预先进行了学习而得到的学习完成模型，由此估计图像数据中映现的风景的能见度。如图10所示，照相机C的设置位置是多样的，由该照相机C拍摄到的图像数据也是多样的。因此，估计部108还可以通过确定图像数据中映现的道路的图案、并将图像数据输入到针对每个道路的图案预先进行了学习而得到的学习完成模型，从而估计图像数据中映现的风景的能见度。由此，能够更准确地估计能见度。

[实施例]

接着，对实施例进行说明。在本实施例中，示出与在本实施方式中说明的提案方法的效果有关的实验结果。图11示出了本实施方式所涉及的提案方法的实验结果。

如图11的上方所示，可知，雾的合成图像(图11中标示为人工图像)的幅数越多，能见度估计的平均误差越低。

另外，如图11的中间所示，可知，越对使学***均误差越低。

另外，如图11的下方所示，可知，与不对道路形状图案分类的情况相比，在对道路形状图案分类的情况下，能见度估计的平均误差降低更多。

因此，根据本实施方式的方法，可知通过利用基于映现出模拟的雾的学习用合成图像数据而学习得到的学习完成模型，能够高精度地估计能见度。

[附图标记的说明]

1：能见度估计***

10：服务器装置

C：照相机

Claims (8)

1.一种能见度估计装置，其特征在于，包括：

图像获取部，所述图像获取部用于获取映现出室外的风景的图像数据；以及

估计部，所述估计部将所述图像获取部用于获取到的所述图像数据输入到学习完成模型，并获取所述学习完成模型输出的、表示所述图像数据中映现的风景的能见度的能见度数据，由此估计所述图像数据中映现的风景的能见度，其中，

所述学习完成模型是基于学习用数据而预先进行了学习的学习完成模型，所述学习用数据是将映现出模拟的雾的学习用合成图像数据与所述学习用合成图像数据中映现的风景的能见度的正确值相对应的数据。

2.根据权利要求1所述的能见度估计装置，其特征在于，

多个所述学习用合成图像数据的至少一部分学习用合成图像数据中添加有噪声。

3.根据权利要求1或2所述的能见度估计装置，其特征在于，

多个所述学习用合成图像数据的至少一部分学习用合成图像数据中合成有：模拟的车辆的前照灯、设置在模拟的路面的路肩灯、模拟的建筑物的局部的照明、模拟的太阳光、以及模拟的月光中的至少一个的数据。

4.根据权利要求1或2所述的能见度估计装置，其特征在于，

多个所述学习用合成图像数据的至少一部分学习用合成图像数据中合成有：表示模拟的晴天的数据、表示模拟的云的数据、表示模拟的雨的数据、以及表示模拟的雪的数据中的至少一个数据。

5.根据权利要求1或2所述的能见度估计装置，其特征在于，

多个所述学习用合成图像数据的至少一部分学习用合成图像数据中附加有与远近相应的模糊。

6.根据权利要求1或2所述的能见度估计装置，其特征在于，

所述估计部具体用于确定所述图像数据中映现的道路的图案，并将所述图像数据输入到针对每个道路的图案预先进行了学习而得到的学习完成模型，由此估计所述图像数据中映现的风景的能见度。

7.一种能见度估计方法，由计算机执行，其特征在于，所述方法包括：

获取映现出室外的风景的图像数据；以及

将获取到的所述图像数据输入到学习完成模型，并获取所述学习完成模型输出的、表示所述图像数据中映现的风景的能见度的能见度数据，由此估计所述图像数据中映现的风景的能见度，在所述能见度估计方法中，

所述学习完成模型是基于学习用数据而预先进行了学习的学习完成模型，所述学习用数据是将映现出模拟的雾的学习用合成图像数据与所述学习用合成图像数据中映现的风景的能见度的正确值相对应的学习用数据。

8.一种计算机可读取的记录介质，其特征在于，记录有能见度估计程序，所述能见度估计程序用于使所述计算机执行如下处理：

获取映现出室外的风景的图像数据；以及

将获取到的所述图像数据输入到学习完成模型中，并获取所述学习完成模型输出的、表示所述图像数据中映现的风景的能见度的能见度数据，由此估计所述图像数据中映现的风景的能见度，其中，

所述学习完成模型是基于学习用数据而预先进行了学习的学习完成模型，所述学习用数据是将映现出模拟的雾的学习用合成图像数据与所述学习用合成图像数据中映现的风景的能见度的正确值相对应的学习用数据。