CN111754474A - 一种基于图像清晰度的能见度识别的方法及设备 - Google Patents
一种基于图像清晰度的能见度识别的方法及设备 Download PDFInfo
- Publication number
- CN111754474A CN111754474A CN202010555211.7A CN202010555211A CN111754474A CN 111754474 A CN111754474 A CN 111754474A CN 202010555211 A CN202010555211 A CN 202010555211A CN 111754474 A CN111754474 A CN 111754474A
- Authority
- CN
- China
- Prior art keywords
- building
- image
- network structure
- visibility
- definition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000015654 memory Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请的目的是提供一种基于图像清晰度的能见度识别的方法及设备，本申请通过获取多个条件下的建筑物图像信息，对获取到的建筑物图像信息进行处理为训练数据；根据所述训练数据训练图像清晰度比对模型；对获取到的目标建筑物图像信息进行处理为待输入数据，将所述待输入数据输入至所述图像清晰度比对模型中，得到能见度与建筑物距离的比例；根据所述目标建筑物的实际距离以及所述能见度与建筑物距离的比例确定所述目标建筑物的能见度。从而得到鲁棒性很好的图像清晰度比对模型，通过该模型可以使得在不同光照和天气状况下准确识别建筑物能见度。
Description
技术领域
本申请涉及计算机领域，尤其涉及一种基于图像清晰度的能见度识别的方法及设备。
背景技术
在航空气象领域，能见度是一个非常重要的指标，关系到飞机航班的能否正常航行；目前的能见度主要靠人工观测和光学仪器检测；人工观测需要专业观测人员每隔一段时间观察观测站周围预先设定好的标志性建筑，通过判断建筑物的清晰程度得到当前的能见度，人工观测需要大量人力，受限于此获取数据的频率不能太高；光学仪器探测一段空间内的透射和散射系数，通过光学公式计算得到该区间内的能见度，光学仪器探测范围较小，且受限于当地的空气质量；近年出现了使用机器学习技术，通过相机画面判断当地能见度的方法；部分该类技术使用图像分类网络，分类得到标志性建筑在画面中的清晰程度，从而估算该画面中所能达到的能见度数值，综合多个相机画面可以得到当地的大致能见度。由于不同光照和天气状况下的相机画面变化较大，目前基于机器学习技术判断相机画面的能见度估计技术在遇到新的光照、天气条件的状况下往往无法获得准确的信息，鲁棒性较差。
发明内容
本申请的一个目的是提供一种基于图像清晰度的能见度识别的方法及设备，解决现有技术中目前基于机器学习技术判断相机画面的能见度估计技术在遇到新的光照、天气条件的状况下往往无法获得准确的信息，图像清晰度比对模型学习鲁棒性差的问题。
根据本申请的一个方面，提供了一种基于图像清晰度的能见度识别的方法，该方法包括：
获取多个条件下的建筑物图像信息，对获取到的建筑物图像信息进行处理为训练数据；
根据所述训练数据训练图像清晰度比对模型；
对获取到的目标建筑物图像信息进行处理为待输入数据，将所述待输入数据输入至所述图像清晰度比对模型中，得到能见度与建筑物距离的比例；
根据所述目标建筑物的实际距离以及所述能见度与建筑物距离的比例确定所述目标建筑物的能见度。
进一步地，对获取到的建筑物图像信息进行处理为训练数据，包括：
对获取到的建筑物图像信息中每一张建筑物图像进行多次的平滑处理及增强通道操作，得到每一建筑物对应的改组图像；
对所述每一建筑物对应的改组图像中的每一图像进行建筑物清晰度标签标记；
将所述每一建筑物对应的改组图像以及对应的建筑物清晰度标签作为训练数据。
进一步地，根据所述训练数据训练图像清晰度比对模型，包括：
通过卷积层、batchnorm层、scale层、relu层、eltwise层、池化层、concat层及全连接层搭建孪生网络结构；
对所述训练数据中的每一建筑物对应的改组图像的每个像素点的RGB通道数据分别减去第一像素值、第二像素值及第三像素值，得到调整像素分布后的图像；
将所述调整像素分布后的图像的尺寸缩放到预设像素，得到预设图像；
将所述预设图像与所述对应的建筑物清晰度标签同时输入到所述孪生网络结构中，以训练为图像清晰度比对模型。
进一步地，将所述预设图像与所述对应的建筑物清晰度标签同时输入到所述孪生网络结构中之后，包括：
获取所述全连接层的最后一个全连接层输出的类别概率；
计算所述类别概率与所述建筑物清晰度标签的交叉熵损失；
根据所述交叉熵损失判断所述孪生网络结构是否达到收敛状态。
进一步地，所述方法包括：
对获取到的多个条件下的建筑物图像信息中每一图像进行截取出当前的标志性建筑物图像；
确定所述当前的标志性建筑物图像的标签，将所有的当前的标志性建筑物图像及对应的标签作为调整训练数据；
将达到收敛状态的孪生网络结构中的一个分支进行调整，得到调整后的网络结构；
将所述调整训练数据输入至所述调整后的网络结构中，输出结果；
根据所述输出结果迭代更新所述调整后的网络结构中的网络参数，直至所述调整后的网络结构达到收敛状态，得到图像清晰度比对模型。
进一步地，确定所述当前的标志性建筑物图像的标签，包括：
获取所述当前的标志性建筑物图像的查询数据，根据所述查询数据确定所述当前的标志性建筑物图像的清晰度值；
根据所述当前的标志性建筑物图像的清晰度值确定所述当前的标志性建筑物图像的标签。
进一步地，将达到收敛状态的孪生网络结构中的一个分支进行调整，得到调整后的网络结构，包括：
将收敛的孪生网络结构的一个分支中的网络参数进行固定并在该分支的最后一个全连接层后连接一个全连接层，得到调整后的网络结构。
进一步地，所述输出结果为浮点数，根据所述输出结果迭代更新所述调整后的网络结构中的网络参数，包括：
计算所述浮点数与所述当前的标志性建筑物图像的标签之间的均方误差损失函数；
根据所述均方误差损失函数迭代更新所述调整后的网络结构中的网络参数。
根据本申请又一个方面，还提供了一种基于图像清晰度的能见度识别的设备，该设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述所述方法的操作。
根据本申请再一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述所述的方法。
与现有技术相比，本申请通过获取多个条件下的建筑物图像信息，对获取到的建筑物图像信息进行处理为训练数据；根据所述训练数据训练图像清晰度比对模型；对获取到的目标建筑物图像信息进行处理为待输入数据，将所述待输入数据输入至所述图像清晰度比对模型中，得到能见度与建筑物距离的比例；根据所述目标建筑物的实际距离以及所述能见度与建筑物距离的比例确定所述目标建筑物的能见度。从而得到鲁棒性很好的图像清晰度比对模型，通过该模型可以使得在不同光照和天气状况下准确识别建筑物能见度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请的一个方面提供的一种基于图像清晰度的能见度识别的方法的流程示意图；
图2示出本申请一实施例中一种简单的孪生网络结构的示意图；
图3示出本申请一具体实施例中基于建筑物图像清晰度的能见度识别的方法流程示意图；
图4示出本申请又一个方面提供的一种基于图像清晰度的能见度识别的设备的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change RAM，PRAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disk，DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
图1示出根据本申请的一个方面提供的一种基于图像清晰度的能见度识别的方法的流程示意图，该方法包括：步骤S11～步骤S14，
在步骤S11中，获取多个条件下的建筑物图像信息，对获取到的建筑物图像信息进行处理为训练数据；在此，多个条件可以为不同的能见度、不同光照的条件下，可以通过安装在观测站高处的摄像头进行收集不同能见度、不同光照条件下的图像信息，该图像信息优选为RGB图像信息，从该图像信息中可以截取到建筑物图像信息。将截取到的建筑物图像信息进行处理为符合训练模型使用的训练数据。从而，在步骤S12中，根据所述训练数据训练图像清晰度比对模型；即，使用步骤S11中处理好的训练数据输入至网络模型中从而训练为图像清晰度比对模型，以利用该图像清晰度比对模型预估建筑物图像的清晰度。
在步骤S13中，对获取到的目标建筑物图像信息进行处理为待输入数据，将所述待输入数据输入至所述图像清晰度比对模型中，得到能见度与建筑物距离的比例；在此，建立好图像清晰度比对模型后，获取需要进行预估清晰度的目标建筑物图像信息，将该目标建筑物图像信息处理为符合图像清晰度比对模型的输入要求，即处理为的待输入数据的图像大小、像素点的RGB通道信息等符合图像清晰度比对模型的输入要求，输入该模型后得到输出结果为某一数值，该数值表示能见度与建筑物距离的比例，该比例为清晰度值。
在步骤S14中，根据所述目标建筑物的实际距离以及所述能见度与建筑物距离的比例确定所述目标建筑物的能见度。在此，目标建筑物的实际距离为需要预估能见度的建筑物与观测站的实际距离，采集目标建筑物的实际距离，将该实际距离与步骤S13中的输出结果进行相乘，即将实际距离与能见度与上述比例进行相乘，得到的值能够反应该目标建筑物图像所能反应的能见度值。
在本申请一实施例中，根据所述目标建筑物的实际距离以及所述能见度与建筑物距离的比例确定所述目标建筑物的能见度之后，选取同一目标时刻时所有建筑物的能见度的最大值作为所述目标时刻的能见度。在此，每一张建筑物图像都对应着时间信息，即采集到该图像时的时间与该建筑物图像对应，则选取同一目标时刻时所有建筑物的图像信息，比如选取9点10分时观测站所采集到的所有建筑物的图像信息，则利用训练好的图像清晰度比对模型确定出所有建筑物的能见度，将同一时刻时的所有建筑物的能见度的最大值作为该时刻能见度的实际值。示例性地，9点10分采集到的建筑物图像有建筑物A图像、建筑物B图像以及建筑物C图像，确定出建筑物A、B、C的能见度为p1、p2、p3，则从p1、p2、p3中选取最大值作为9点10分时的能见度的实际值。
在本申请一实施例中，在步骤S11中，对获取到的建筑物图像信息中每一张建筑物图像进行多次的平滑处理及增强通道操作，得到每一建筑物对应的改组图像；对所述每一建筑物对应的改组图像中的每一图像进行建筑物清晰度标签标记；将所述每一建筑物对应的改组图像以及对应的建筑物清晰度标签作为训练数据。在此，对获取到的建筑物图像信息可下载开源场景分类数据集先进行分类，之后对分类得到的每一张建筑物图像进行多次的平衡处理以及增强通道操作，其中，增强通道操作是指增强暗通道的操作，而暗通道为图像三个颜色通道(R、G、B)中每个像素点最小值所组成的通道。例如，对原始建筑物图像A平滑操作之后的结果保存为图片A1，对A1进行暗通道增强操作之后的结果保存为图片A2，再对A2进行平滑操作之后保存为A3，对A3进行暗通道增强操作之后保存为A4，依次对前一张得到的图像做上面两种操作，得到n张图片，其中，n张图片中图像的清晰度A>A1>A2>...>An-1>An；选取改组图片中的一对图片Ax和Ay，如果x>y，则第一张图较为清晰，记该组图片的标签为0，如果x<y，则第二张图较为清晰，记该组图片的标签为1。
在本申请一实施例中，在步骤S12中，通过卷积层、batchnorm层、scale层、relu层、eltwise层、池化层、concat层及全连接层搭建孪生网络结构；对所述训练数据中的每一建筑物对应的改组图像的每个像素点的RGB通道数据分别减去第一像素值、第二像素值及第三像素值，得到调整像素分布后的图像；将所述调整像素分布后的图像的尺寸缩放到预设像素，得到预设图像；将所述预设图像与所述对应的建筑物清晰度标签同时输入到所述孪生网络结构中，以训练为图像清晰度比对模型。在此，batchnorm层为对网络数据进行归一化操作的网络层，scale层为对网络数据进行比例缩放和位移的网络层，eltwise层为逐像素操作，在本申请实施例中为逐像素相加，concat层为对网络数据进行拼接的网络层。优选地，采用42个卷积层、42个batchnorm层、42个scale层、34个relu激活层、16个eltwise层、4个池化层、1个concat拼接层、3个全连接层搭建孪生网络结构；孪如图2所示的一种简单的孪生网络结构，在孪生网络结构中网络层成对出现，每一对网络层的参数共享，比如卷积层的权重和偏移在孪生网络结构的两个分支中是相同的，网络反传时同时更新两者的参数；训练时根据步骤S11中准备好的图片组及其标签，将每张图片的每个像素点的3个通道数据分别减去第一像素值(如104)、第二像素值(如117)及第三像素值(如124)，从而可以让像素的分布从0～225变为接近-125～125，更有利于网络学习；并且将减去像素值的图片缩放到224×224像素大小，与步骤S11中记录的建筑物清晰度标签(0或1两种标签)一起输入到孪生网络中。
接着，获取所述全连接层的最后一个全连接层输出的类别概率；计算所述类别概率与所述建筑物清晰度标签的交叉熵损失；根据所述交叉熵损失判断所述孪生网络结构是否达到收敛状态。在此，由全连接的最后一个全连接层输出一个二维的类别概率，计算该类别概率与建筑物清晰度标签之间的交叉熵损失(Cross Entropy Error，CE)，具体计算公式如下：
其中，C表示两张图片标签的类别数，在上述实施例中，C＝2，Si表示这对图像标签为i的计算概率，i＝0或1，Ti表示这对图像标签为类的实际概率。根据交叉熵损失(CE)计算反向传播，迭代更新网络参数，当CE趋于稳定到0.1左右或者更小的值时，则认为该孪生网络结构达到收敛状态，训练的图像清晰度比对模型收敛。
在本申请一实施例中，可以对获取到的多个条件下的建筑物图像信息中每一图像进行截取出当前的标志性建筑物图像；确定所述当前的标志性建筑物图像的标签，将所有的当前的标志性建筑物图像及对应的标签作为调整训练数据；将达到收敛状态的孪生网络结构中的一个分支进行调整，得到调整后的网络结构；将所述调整训练数据输入至所述调整后的网络结构中，输出结果；根据所述输出结果迭代更新所述调整后的网络结构中的网络参数，直至所述调整后的网络结构达到收敛状态，得到图像清晰度比对模型。在此，标注采集到的观测站附近的标志性建筑数据，对上述实施例中得到的孪生网络结构的特征提取部分进行调整，得到调整后的网络结构，使用新的训练数据训练该调整后的网络结构，得到最终的建筑物清晰度比对模型。具体地：标注在步骤S11中采集到的观测站附近的多个条件下的建筑物图像，标记每张图中的标志性建筑物位置[x,y,width,height]，采集图像时记录当前图片的保存时间，利用保存的时间查询该观测站发布的能见度记录，从而根据记录确定当前的标志性建筑物图像的标签，进一步地得到包括所有的当前的标志性建筑物图像及对应的标签的调整训练数据。将该调整训练数据输入至上述调整后的网络结构中，利用输出结果迭代更新该调整后的网络结构中的网络参数，直至该调整后的网络结构收敛，从而最终得到图像清晰度比对模型。
接上述实施例，在确定所述当前的标志性建筑物图像的标签时，可以获取所述当前的标志性建筑物图像的查询数据，根据所述查询数据确定所述当前的标志性建筑物图像的清晰度值；根据所述当前的标志性建筑物图像的清晰度值确定所述当前的标志性建筑物图像的标签。在此，通过网络查询该观测站发布的能见度记录，查找每条记录对应时刻的图像数据；截取当前图片中的标志性建筑图像，将当前能见度数值和建筑物实际距离值相除，所得的值作为当前建筑物图像的清晰度值，当所得值大于预设值时保留清晰度值为预设值，根据经验值，能见度的值大于建筑物的距离2.5倍的区间内肉眼无法分辨清晰度的差别，上述预设值可选择为3.0；将建筑物图像及其对应清晰度标签(0.0～3.0)作为调整训练数据，输入至调整后的网络结构中。
在本申请一实施例中，可以将收敛的孪生网络结构的一个分支中的网络参数进行固定并在该分支的最后一个全连接层后连接一个全连接层，得到调整后的网络结构。在此，取上述实施例中得到的图像清晰度对比模型中孪生网络部分的一个分支作为特征提取模块(以图2为例，取左侧conv1到feat的部分)，固定该分支中的网络参数，再在后面连接一个全连接层，得到调整后的网络结构。
接上述实施例，将上述得到的调整训练数据输入至上述调整后的网络结构中，输出结果为浮点数，计算所述浮点数与所述当前的标志性建筑物图像的标签之间的均方误差损失函数；根据所述均方误差损失函数迭代更新所述调整后的网络结构中的网络参数。在此，使用建筑物图像及其对应的清晰度标签作为数据输入网络，每个像素点的3个通道数据分别减去104、117、124，并且缩放到224×224像素大小，输入网络由最后的全连接网络得到一个浮点数，计算该值与标签之间的MSE损失函数：
其中，yi表示当前第i图像的标签值，
表示第i张图像有全连接层输出的预测值；根据MSE计算反向传播，迭代更新网络参数，当MSE趋于稳定到0.1左右或者更小的值则认为模型收敛。
在本申请一具体实施例中，如图3所示，获取摄像头拍摄画面，裁剪预设的建筑物区域图像，对该图像数据进行归一化处理，将归一化处理后的数据输入至图像清晰度比对模型，获得能见度与建筑物距离的比例a，将建筑物的实际距离乘以a得到建筑物能见度，进而统计所有建筑物的最大能见度。其中，对图像数据进行归一化处理的过程为：通过预先设置的建筑物位置信息截取标志性建筑区域的图像，比如通过摄像头获取机场周边场景的RGB图像数据，根据获取到的建筑物位置信息截取建筑物区域的图像，将建筑物图像每个像素点的3个通道数据分别减去104、117、124，并缩放到224×224像素大小，得到归一化后的数据。之后将该归一化后的数据输入图像清晰度比对模型，得到一个float的数值a，代表当前图像中能达到的最大能见度和建筑物实际距离的比例，如果a大于3.0则取3.0，小于0.0时取0.0；最后，将实际采集到的建筑物实际距离d与得到的a进行相乘得到该建筑物图像所能反应的能见度值，选取同一时刻所有建筑物图像的能见度值的最大值作为该时刻能见度的实际值。
通过本申请所述的方法，通过预先训练孪生网络结构的图像清晰度比对模型，将其特征提取部分的结果作为反映图像清晰度的特征，再在该特征提取网络上进行调整，可以得到鲁棒性较高的图像清晰度能见度比对模型，利用该模型得到建筑物清晰度值，通过对所有预设位置的建筑物清晰度值和其实际距离的计算，得到每个标志性建筑物表示的能见度值从而推算出整体的能见度。
此外，本申请实施例还提供了一种基于图像清晰度的能见度识别的设备，包括：一个或多个处理器；以及存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述任一种基于图像清晰度的能见度识别的方法。
此外，本申请实施例还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述任一种基于图像清晰度的能见度识别的方法。
图4示出本申请又一个方面提供的一种基于图像清晰度的能见度识别的设备的结构示意图，该设备包括：获取装置11、训练装置12、输入装置13及识别装置14，其中，获取装置11用于获取多个条件下的建筑物图像信息，对获取到的建筑物图像信息进行处理为训练数据；训练装置12用于根据所述训练数据训练图像清晰度比对模型；输入装置13用于对获取到的目标建筑物图像信息进行处理为待输入数据，将所述待输入数据输入至所述图像清晰度比对模型中，得到能见度与建筑物距离的比例；识别装置14用于根据所述目标建筑物的实际距离以及所述能见度与建筑物距离的比例确定所述目标建筑物的能见度。
需要说明的是，获取装置11、训练装置12、输入装置13及识别装置14执行的内容分别与上述步骤S11、S12、S13和S14中的内容相同或相应相同，为简明起见，在此不再赘述。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (10)
1.一种基于图像清晰度的能见度识别的方法，其特征在于，所述方法包括：
获取多个条件下的建筑物图像信息，对获取到的建筑物图像信息进行处理为训练数据；
根据所述训练数据训练图像清晰度比对模型；
对获取到的目标建筑物图像信息进行处理为待输入数据，将所述待输入数据输入至所述图像清晰度比对模型中，得到能见度与建筑物距离的比例；
根据所述目标建筑物的实际距离以及所述能见度与建筑物距离的比例确定所述目标建筑物的能见度。
2.根据权利要求1所述的方法，其特征在于，对获取到的建筑物图像信息进行处理为训练数据，包括：
对获取到的建筑物图像信息中每一张建筑物图像进行多次的平滑处理及增强通道操作，得到每一建筑物对应的改组图像；
对所述每一建筑物对应的改组图像中的每一图像进行建筑物清晰度标签标记；
将所述每一建筑物对应的改组图像以及对应的建筑物清晰度标签作为训练数据。
3.根据权利要求2所述的方法，其特征在于，根据所述训练数据训练图像清晰度比对模型，包括：
通过卷积层、batchnorm层、scale层、relu层、eltwise层、池化层、concat层及全连接层搭建孪生网络结构；
对所述训练数据中的每一建筑物对应的改组图像的每个像素点的RGB通道数据分别减去第一像素值、第二像素值及第三像素值，得到调整像素分布后的图像；
将所述调整像素分布后的图像的尺寸缩放到预设像素，得到预设图像；
将所述预设图像与所述对应的建筑物清晰度标签同时输入到所述孪生网络结构中，以训练为图像清晰度比对模型。
4.根据权利要求3所述的方法，其特征在于，将所述预设图像与所述对应的建筑物清晰度标签同时输入到所述孪生网络结构中之后，包括：
获取所述全连接层的最后一个全连接层输出的类别概率；
计算所述类别概率与所述建筑物清晰度标签的交叉熵损失；
根据所述交叉熵损失判断所述孪生网络结构是否达到收敛状态。
5.根据权利要求4所述的方法，其特征在于，所述方法包括：
对获取到的多个条件下的建筑物图像信息中每一图像进行截取出当前的标志性建筑物图像；
确定所述当前的标志性建筑物图像的标签，将所有的当前的标志性建筑物图像及对应的标签作为调整训练数据；
将达到收敛状态的孪生网络结构中的一个分支进行调整，得到调整后的网络结构；
将所述调整训练数据输入至所述调整后的网络结构中，输出结果；
根据所述输出结果迭代更新所述调整后的网络结构中的网络参数，直至所述调整后的网络结构达到收敛状态，得到图像清晰度比对模型。
6.根据权利要求5所述的方法，其特征在于，确定所述当前的标志性建筑物图像的标签，包括：
获取所述当前的标志性建筑物图像的查询数据，根据所述查询数据确定所述当前的标志性建筑物图像的清晰度值；
根据所述当前的标志性建筑物图像的清晰度值确定所述当前的标志性建筑物图像的标签。
7.根据权利要求5所述的方法，其特征在于，将达到收敛状态的孪生网络结构中的一个分支进行调整，得到调整后的网络结构，包括：
将收敛的孪生网络结构的一个分支中的网络参数进行固定并在该分支的最后一个全连接层后连接一个全连接层，得到调整后的网络结构。
8.根据权利要求5所述的方法，其特征在于，所述输出结果为浮点数，根据所述输出结果迭代更新所述调整后的网络结构中的网络参数，包括：
计算所述浮点数与所述当前的标志性建筑物图像的标签之间的均方误差损失函数；
根据所述均方误差损失函数迭代更新所述调整后的网络结构中的网络参数。
9.一种基于图像清晰度的能见度识别的设备，其特征在于，所述设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如权利要求1至8中任一项所述方法的操作。
10.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010555211.7A CN111754474A (zh) | 2020-06-17 | 2020-06-17 | 一种基于图像清晰度的能见度识别的方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010555211.7A CN111754474A (zh) | 2020-06-17 | 2020-06-17 | 一种基于图像清晰度的能见度识别的方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111754474A true CN111754474A (zh) | 2020-10-09 |
Family
ID=72675445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010555211.7A Pending CN111754474A (zh) | 2020-06-17 | 2020-06-17 | 一种基于图像清晰度的能见度识别的方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111754474A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112330666A (zh) * | 2020-11-26 | 2021-02-05 | 成都数之联科技有限公司 | 基于改进孪生网络的图像处理方法及***及装置及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136101A (zh) * | 2019-04-17 | 2019-08-16 | 杭州数据点金科技有限公司 | 一种基于孪生距离比对的轮胎x光病疵检测方法 |
| CN110427998A (zh) * | 2019-07-26 | 2019-11-08 | 上海商汤智能科技有限公司 | 模型训练、目标检测方法及装置、电子设备、存储介质 |
| CN110533097A (zh) * | 2019-08-27 | 2019-12-03 | 腾讯科技（深圳）有限公司 | 一种图像清晰度识别方法、装置、电子设备及存储介质 |
| WO2019233341A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| CN110807757A (zh) * | 2019-08-14 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像质量评估方法、装置及计算机设备 |
| CN111161218A (zh) * | 2019-12-10 | 2020-05-15 | 核工业北京地质研究院 | 一种基于孪生卷积神经网络的高分遥感影像变化检测方法 |
| CN111259957A (zh) * | 2020-01-15 | 2020-06-09 | 上海眼控科技股份有限公司 | 基于深度学习的能见度监测和模型训练方法、装置、终端及介质 |
-
2020
- 2020-06-17 CN CN202010555211.7A patent/CN111754474A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019233341A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| CN110136101A (zh) * | 2019-04-17 | 2019-08-16 | 杭州数据点金科技有限公司 | 一种基于孪生距离比对的轮胎x光病疵检测方法 |
| CN110427998A (zh) * | 2019-07-26 | 2019-11-08 | 上海商汤智能科技有限公司 | 模型训练、目标检测方法及装置、电子设备、存储介质 |
| CN110807757A (zh) * | 2019-08-14 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像质量评估方法、装置及计算机设备 |
| CN110533097A (zh) * | 2019-08-27 | 2019-12-03 | 腾讯科技（深圳）有限公司 | 一种图像清晰度识别方法、装置、电子设备及存储介质 |
| CN111161218A (zh) * | 2019-12-10 | 2020-05-15 | 核工业北京地质研究院 | 一种基于孪生卷积神经网络的高分遥感影像变化检测方法 |
| CN111259957A (zh) * | 2020-01-15 | 2020-06-09 | 上海眼控科技股份有限公司 | 基于深度学习的能见度监测和模型训练方法、装置、终端及介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112330666A (zh) * | 2020-11-26 | 2021-02-05 | 成都数之联科技有限公司 | 基于改进孪生网络的图像处理方法及***及装置及介质 |
| CN112330666B (zh) * | 2020-11-26 | 2022-04-29 | 成都数之联科技股份有限公司 | 基于改进孪生网络的图像处理方法及***及装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102661954B1 (ko) | 이미지 처리 방법 및 이를 수행하는 장치들 | |
| CN110570435B (zh) | 用于对车辆损伤图像进行损伤分割的方法及装置 | |
| CN110874618B (zh) | 基于小样本的ocr模板学习方法、装置、电子设备及介质 | |
| CN111553302B (zh) | 关键帧选取方法、装置、设备及计算机可读存储介质 | |
| CN111738295B (zh) | 图像的分割方法及存储介质 | |
| CN110569856A (zh) | 样本标注方法及装置、损伤类别的识别方法及装置 | |
| CN112085534B (zh) | 一种关注度分析方法、***及存储介质 | |
| CN112613387A (zh) | 一种基于YOLOv3的交通标志检测方法 | |
| CN115359239A (zh) | 风电叶片缺陷检测定位方法、装置、存储介质和电子设备 | |
| CN112017243A (zh) | 一种介质能见度识别方法 | |
| CN111415364A (zh) | 一种计算机视觉中图像分割样本的转换方法、***及存储介质 | |
| CN113850136A (zh) | 基于yolov5与BCNN的车辆朝向识别方法及*** | |
| CN113052039A (zh) | 一种交通路网行人密度检测的方法、***及服务器 | |
| CN104636743A (zh) | 文字图像校正的方法和装置 | |
| CN114492755A (zh) | 基于知识蒸馏的目标检测模型压缩方法 | |
| CN111754474A (zh) | 一种基于图像清晰度的能见度识别的方法及设备 | |
| US20110038509A1 (en) | Determining main objects using range information | |
| CN112926426A (zh) | 基于监控视频的船舶识别方法、***、设备及存储介质 | |
| CN112016558A (zh) | 一种基于图像质量的介质能见度识别方法 | |
| CN116403183A (zh) | 一种障碍物位置测定方法及存储介质 | |
| CN114677670B (zh) | 一种身份证篡改自动识别与定位的方法 | |
| CN116071721A (zh) | 一种基于Transformer的高精地图实时预测方法和*** | |
| CN116363656A (zh) | 包含多行文本的图像识别方法、装置及计算机设备 | |
| CN109934045B (zh) | 行人检测方法和装置 | |
| US10896333B2 (en) | Method and device for aiding the navigation of a vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |