CN113743358A - 一种全方位采集和智能计算的景观视觉特征识别方法 - Google Patents

一种全方位采集和智能计算的景观视觉特征识别方法 Download PDF

Info

Publication number
CN113743358A
CN113743358A CN202111085800.4A CN202111085800A CN113743358A CN 113743358 A CN113743358 A CN 113743358A CN 202111085800 A CN202111085800 A CN 202111085800A CN 113743358 A CN113743358 A CN 113743358A
Authority
CN
China
Prior art keywords
landscape
model
acquisition
elements
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111085800.4A
Other languages
English (en)
Other versions
CN113743358B (zh
Inventor
刘文平
袁雄钢
胡徐宇
汤怀志
孙思杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Agricultural University
Original Assignee
Huazhong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Agricultural University filed Critical Huazhong Agricultural University
Priority to CN202111085800.4A priority Critical patent/CN113743358B/zh
Publication of CN113743358A publication Critical patent/CN113743358A/zh
Application granted granted Critical
Publication of CN113743358B publication Critical patent/CN113743358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种全方位采集和智能计算的景观视觉特征识别方法，属于景观资源调查与特征诊断技术领域。该方法包括以下步骤：S1、照片的全方位自动采集；S2、景观要素语义分割环境框架的搭建；S3、景观要素的分类标注；S4、景观要素语义分割模型的训练；S5、景观要素的批量识别与语义分割；S6、景观视觉特征评价。本发明操作简单、准确高效，能够显著提升景观照片采集规范性和采集效率，快速提升景观信息的识别效率和准确度，明显降低景观资源调查和解译人力与时间成本，可有效满足当前城乡景观资源全方位调查和快速管护响应的需求。

Description

一种全方位采集和智能计算的景观视觉特征识别方法
技术领域
本发明属于景观资源调查与特征诊断技术领域，具体而言，涉及一种对城市和乡村自然与人工景观构成要素及其特征的定量识别与测度技术，尤其涉及一种全方位采集和智能计算的景观视觉特征识别方法。
背景技术
自然与人工景观构成要素识别与定量测度是景观资源本底调查分析必不可少的环节，常见于城乡景观风貌调查、生态景观质量评价、环境评估等各类自然资源调查监测以及城乡人居环境景观调查监测与管理中。传统的景观要素调查及测度多采用样点拍照、人工目视解译的方式进行，即在有限数量的采样点进行单方向或多个方向的定点拍照。这种方法采集效率低且拍照视角及质量难以控制在同一标准下执行，而人工目视解译也需要耗费大量人力物力和时间，很难满足大尺度城乡景观建设中对景观资源本底的快速、全面和低成本调查与分析需求。
为便于提高采集效率，公告号CN107009962B的中国发明型专利，于2017年8月4日公开了“一种基于姿态识别的全景观测方法”，是在车辆外部安装四个球形摄像机(两个前景球机和两个后景球机)，采集前后景，通过检测车内驾驶人员的人脸姿态，得到人脸的偏航角和俯仰角，并将其输入给前景球机或后景球机，前景球机或后景球机旋转相同的角度捕捉外景，并通过数据处理单元以裸眼3D形式呈现在车内屏幕上。该发明使得视角更为灵活，但是在进行景观照片批量采集的情境下，由于该方法中相机会旋转，以不同的角度采集照片，导致采集结果不是在统一标准下进行的，不适合做标准化的批量采集；同时由于外景采集画面为单一视角的照片，而不是获取车外的全部景观，不适合做全方位视角的景观采集。
为便于提取照片中的景观特征，公告号CN104933229B的中国发明型专利，于2015年9月23日公开了“一种基于网络图片的建成环境景观特征识别方法”，是利用已有建成环境的网络图片库，通过独立样本检验筛选出目标环境视觉特色要素，进而对目标建成环境的景观特征进行识别和分析。但由于这种方法主要基于网络图片，景观特征识别受限于网络图片的差异化单一拍摄视角和拍摄质量，其识别结果很难反映建成环境全范围以及单场景全方位的视觉特征，在城乡景观资源全方位调查与精细化管理中具有局限性、被动性。
为利用语义分割提取图片影像中的信息，公告号CN110287932B的中国发明型专利，于2019年9月27日公开了“基于深度学习图像语义分割的道路阻断信息提取方法”，该发明是利用全卷积神经网络进行遥感影像道路路面的语义分割，识别受灾前后未损毁道路的长度，判断道路完整度以及道路阻断信息。该发明通过改进卷积神经网络模型，更适用于灾后未损毁路面检测和道路完整度判别，可以有效克服树木、阴影遮挡对道路阻断信息提取的不利影响。但该发明仅适用于遥感影像道路识别，应用场景限定在受灾前后的道路损坏识别，应用范围具有局限性。
为提升语义分割的分割效率和计算速度，公告号CN109146944B的中国发明型专利，于2018年10月30日公开了“一种基于深度可分卷积神经网络的视觉深度估计方法”，该发明通过设计并构建混合深度可分离卷积单元及模块，搭建混合深度可分离卷积语义分割网络，使语义分割在预测效率和预测准确率方面取得了比较好的平衡，该发明具有预测精度较高、模型参数量小，快速轻量化的优点。但该发明的深度可分离卷积模型，是在牺牲语义分割结果精度的前提下进行的优化，其在需要快速实时进行语义分割且精度不影响结果的场景中适用，但不适用于精确化的景观视觉特征识别，因此如何在不牺牲语义分割精度前提下优化模型是技术关键。
综上，目前亟需一种能够主动客观采集全方位场景信息，且自动快速智能解译其视觉特征的方法，以适应城乡景观资源全方位调查与快速精细化管理的需求。
发明内容
鉴于现有技术的不足，本发明的目的在于提供一种全方位采集和智能计算的景观视觉特征识别方法，以解决景观资源调查与特征诊断中传统技术存在覆盖范围与场景有限、视觉特征解译标准主观性高、解译效率低、人力物力消耗大等问题。
为了实现上述技术目的，本发明人通过大量试验研究并不懈探索，最终获得了如下技术方案：一种全方位采集和智能计算的景观视觉特征识别方法，包括以下步骤：
S1、照片的全方位自动采集：选用车载采集以及定点采集的方式由照片全方位自动采集设备来完成景观的采集工作；车载采集时，设备固定在采集车顶部，相机以固定的时间间隔进行拍摄，进行大尺度景观范围全方位快速采集；定点采集时，设备手持或定点安放进行精细化定点采集，相机遥控拍摄完成采集；
S2、景观要素语义分割环境框架的搭建：基于空洞卷积与全卷积神经网络(FCN)相结合的机器深度学习技术搭建“DeepLabv3+”+“Ubuntu”+“cuda”+“cudnn”+“tensorflow”的环境框架，空洞卷积在普通卷积技术的卷积层引入扩张率的新参数，在卷积核周围添加空洞，扩大感受野，消除池化现象；全卷积神经网络在卷积神经网的末端，将连接层替换为卷积层，用于提取特征，形成热点图，再通过反卷积在小尺寸的热点图上采样，还原得到原尺寸的高精度语义分割图像；
S3、景观要素的分类标注：对模型训练中所使用的训练集图片进行标注(类型名称)，计算机通过识别标注区域及其对应标签内容进行深度学习，采用Labelme与python结合的标注方法，以Labelme为标注工具、python为辅助工具，通过自主编程修改参数，实现标注过程精密准确、标注与标签自主配对、标注结果易于识别的效果；
S4、景观要素语义分割模型的训练：以DeepLabv3+和python为制作和运行基础的景观特征识别模型，模型可以自动精确识别照片图像中的景观要素，且能根据训练过程的设置识别各种不同类型的景观要素，整个识别计算过程批量迅速进行，计算结果准确；
S5、景观要素的批量识别与语义分割：基于S4中训练的模型进行景观要素的自动分割，模型先调用全空洞卷积神经网络，识别出图像中的要素，再利用反卷积的技术，使之还原为相同图片大小的灰度图；在该过程中识别出某一要素后，模型会赋予该识别出的要素区域以单一灰度值，来与其他要素进行区分，完成图像中所有要素的灰度值赋予后，即完成图像的语义分割，分割过程全自动化，分割结果为灰度图；
S6、景观视觉特征评价：以python为基础，批量统计语义分割结果，即统计灰度图中各灰度值区域的面积并计算其占图片面积的比例，基于统计结果，采用“2+2+2”视觉特征评估指标体系，进行多维度的视觉特征指标计算，基于视觉特征指标计算结果，结合GPS空间坐标信息，与ArcGIS软件关联，实现指标统计与计算结果空间可视化，得出评价结果。
进一步优选地，如上所述的全方位采集和智能计算的景观视觉特征识别方法，其中S1步骤中，照片全方位自动采集设备由1个采集支架、4个方位运动自动拍摄相机、1个延长杆、GPS***和无线遥控器构成，该设备可以同时容纳4个由无线遥控器控制的相机，相机采集画面可覆盖360°全方位，自动拍摄时间间隔可自行设置。
进一步优选地，如上所述的全方位采集和智能计算的景观视觉特征识别方法，其中S2步骤中，DeepLabv3+可实现空洞卷积与全卷积神经网络的叠加；Ubuntu***具有开源的优点，用于做开发和深度学***台，开发GPU并行计算引擎，使GPU能够解决复杂的计算问题；cudnn深度神经网络库，扩展GPU加速的原语库，实现高性能GPU加速，从而使电脑能进行深度学习；tensorflow基于数据流编程的符号数学***，使GPU和TPU可进行高性能数值计算。
再进一步优选地，如上所述的全方位采集和智能计算的景观视觉特征识别方法，其中的DeepLabv3+模型中内置有异感受野拼接ASPP模块，用于减少漏分割、误分割现象，提高模型精度；在异感受野拼接ASPP内引入深度可分离空洞卷积取代普通空洞卷积，加快模型训练速度；增设多级高低特征融合操作，恢复损失的空间维度信息和像素位置信息；并构建基于注意力机制的特征对齐模块，引导高低级特征对齐并强化特征学习，增强模型学习能力。
进一步优选地，如上所述的全方位采集和智能计算的景观视觉特征识别方法，其中S3步骤中，Labelme作为标注工具，用于实现标注与标签准确对应、类型提取边界线紧密贴合要素边界，并通过修改参数，实现标签类型自定义且类型数量无限制、标注同标签自动分类的功能；python脚本用于将标注文件及标签内容转换为TFRecord指引文件，该指引文件可于DeepLabv3+模型中被准确识别。
进一步优选地，如上所述的全方位采集和智能计算的景观视觉特征识别方法，其中S4步骤中，所述模型训练包括以下具体流程：编写模型分类识别代码，自定义模型分类标准，使模型可识别分割不同类型的要素；调整模型调用预训练权重参数，规避logits参数的使用，消除训练误差；经过参数调整后，模型能自定义要素分类的数量，根据实际的应用场景，训练出识别不同类型要素的模型；自定义训练集的照片数量，控制模型训练迭代次数，提高模型精度。
进一步优选地，如上所述的全方位采集和智能计算的景观视觉特征识别方法，其中S5步骤中，模型在进行大批量图像智能识别和分割处理前，基于python技术提供脚本代码，python脚本代码将模型进行调出并使用。
进一步优选地，如上所述的全方位采集和智能计算的景观视觉特征识别方法，其中S6步骤中，“2+2+2”视觉特征评估指标体系包括2类以要素构成为主的基本特征+2类以空间为主的感知特征+2类以色彩为主的视觉特征，形成3大类、6中类，共计17个景观视觉特征指标。
与现有技术相比，本发明提供了一种全方位采集和智能计算的景观视觉特征识别方法，可应用于自然资源调查监测、生态环境调查监测技术领域、城乡景观资源调查监测等技术领域，并具备以下优点和显著进步：
(1)该方法通过集成四个方位运动自动拍摄相机装置，在收集场景信息360°全覆盖的同时确保各方位景观信息不变形、不失真；同时提供了一个基于拍摄照片的机器学习景观要素智能识别与指标计算模型，实现了全方位自动采集景观信息并智能快速识别计算景观特征的功能。
(2)该方法操作简单、准确高效，能够显著提升景观照片采集规范性和采集效率，快速提升景观信息的识别效率和准确度，明显降低景观资源调查和解译人力与时间成本，可有效满足当前城乡景观资源全方位调查和快速管护响应的需求。
附图说明
图1为本发明提出的一种全方位采集和智能计算的景观视觉特征识别方法的步骤示意图；
图2为本发明提出的一种全方位采集和智能计算的景观视觉特征识别方法的步骤S1两种采集方式示意图；
图3为本发明提出的一种全方位采集和智能计算的景观视觉特征识别方法的步骤S2的流程示意图；
图4为本发明提出的一种全方位采集和智能计算的景观视觉特征识别方法的步骤S3的流程示意图；
图5为本发明提出的一种全方位采集和智能计算的景观视觉特征识别方法的步骤S4的流程示意图；
图6为本发明提出的一种全方位采集和智能计算的景观视觉特征识别方法的步骤S5的流程示意图；
图7为本发明提出的一种全方位采集和智能计算的景观视觉特征识别方法的步骤S6中的指标体系构建示意图；
图8为本发明提出的一种全方位采集和智能计算的景观视觉特征识别方法的步骤S6中的景观视觉特征评价结果图；
图9为实施例二中公园景观信息采集示意图；
图10为实施例二中公园景观视觉特征可视化示意图；
图11为实施例三中绿道景观信息采集示意图；
图12为实施例三中绿道景观视觉特征可视化示意图。
具体实施方式
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
请参阅图1，一种全方位采集和智能计算的景观视觉特征识别方法，包括以下步骤：
S1、照片的全方位自动采集：如图2所示，选用车载采集以及定点采集的方式由照片全方位自动采集设备来完成景观的采集工作；车载采集时，设备固定在采集车顶部，相机以固定的时间间隔进行拍摄，进行大尺度景观范围全方位快速采集；定点采集时，设备手持或定点安放进行精细化定点采集，相机遥控拍摄完成采集；
其中，照片全方位自动采集设备由1个采集支架、4个方位运动自动拍摄相机、1个延长杆、GPS***和无线遥控器构成，该设备可以同时容纳4个由无线遥控器控制的相机，相机采集画面可覆盖360°全方位，自动拍摄时间间隔可自行设置。
进一步的，运动自动拍摄相机传感器1/3英寸，像素2000万，1050mA锂电池续航时间2小时；采集支架可容纳最多四个相机，相机以嵌合的方式装入框架内，安装后相邻相机镜头之间垂直，镜头间均以框架中心对称；延长杆，通过上端的连接件与集成框架中心连接孔相连；GPS***，与采集设备捆绑使用，记录采集位置和运动轨迹。
更进一步的，全方位自动采集照片设备可为更高配置，提升图片分辨率，提高识别精度，相机像素可适当增加到2000万-3000万；提高图像清晰度，优化成像效果，相机传感器可选择1/1.8英寸或更大感光器件的面积，感光器件面积增加可提升感光性能，降低信噪比；相机运动自动拍摄性能更好，可自定义1s、2s、3s、5s等更精细间隔自动拍摄，且拍摄质量更稳定；采用定位精度更高(小于1m)的GPS模块；相机电池续航时间超过3小时。
S2、景观要素语义分割环境框架的搭建：如图3所示，基于空洞卷积与全卷积神经网络(FCN)相结合的机器深度学习技术搭建“DeepLabv3+”+“Ubuntu”+“cuda”+“cudnn”+“tensorflow”的环境框架，空洞卷积在普通卷积技术地卷积层引入扩张率的新参数，在卷积核周围添加空洞，扩大感受野，消除池化现象；全卷积神经网络在卷积神经网的末端，将连接层替换为卷积层，用于提取特征，形成热点图，再通过反卷积在小尺寸的热点图上采样，还原得到原尺寸的高精度语义分割图像；
景观要素智能识别与计算基于深度学***台，开发GPU并行计算引擎，使GPU能够解决复杂的计算问题；cudnn深度神经网络库，扩展GPU加速的原语库，实现高性能GPU加速，从而使电脑能进行深度学习；tensorflow基于数据流编程的符号数学***，使GPU和TPU可进行高性能数值计算。
更进一步的，对DeepLabv3+模型增加异感受野拼接ASPP模块，减少漏分割、误分割现象，提高模型精度。作为优选，在异感受野拼接ASPP内引入深度可分离空洞卷积取代普通空洞卷积，加快模型训练速度；增设多级高低特征融合操作，恢复损失的空间维度信息和像素位置信息。
更进一步的，构建基于注意力机制的特征对齐模块，引导高低级特征对齐并强化特征学习，增强模型学习能力。
S3、景观要素的分类标注：如图4所示，对模型训练中所使用的训练集图片进行标注(类型名称)，计算机通过识别标注区域及其对应标签内容进行深度学习，采用Labelme与python结合的标注方法，以Labelme为标注工具、python为辅助工具，通过自主编程修改参数，实现标注过程精密准确、标注与标签自主配对、标注结果易于识别的效果；
景观要素分类标注是对模型训练中所使用的训练集图片进行标注(类型名称)，计算机通过识别标注区域及其对应标签内容进行深度学习。目前存在的标注方法均需要面对三个问题：a)标注工具精度，需要准确提取图像类型边界；b)标签与标注对象准确对应；c)标注内容与标签信息均可被模型识别。为保证模型精度，要素标注需要做到精密准确，标注结果需要满足DeepLabv3+模型训练输入格式。为此，本发明提供一种“Labelme”+“python”的标注方法。Labelme为标注工具，该工具可以实现标注与标签准确对应、类型提取边界线紧密贴合要素边界；同时，通过修改参数，可以实现标签类型自定义且类型数量无限制、标注同标签自动分类等功能。本发明提供python脚本可将标注文件及标签内容转换为TFRecord指引文件，该指引文件可于DeepLabv3+模型中被准确识别。
S4、景观要素语义分割模型的训练：以DeepLabv3+和python为制作和运行基础的景观特征识别模型，模型可以自动精确识别照片图像中的景观要素，且能根据训练过程的设置识别各种不同类型的景观要素，整个识别计算过程批量迅速进行，计算结果准确；
如图5所示，本发明提供基于DeepLabv3+语义分割项目进行模型训练的技术，即提供了照片景观要素语义分割模型训练的技术代码包。该语义分割模型训练的思路是：编写模型分类识别代码，自定义模型分类标准，使模型可识别分割不同类型的要素；调整模型调用预训练权重参数，规避logits参数的使用，消除训练误差。经过参数调整后，模型能自定义要素分类的数量，从而可以根据实际的应用场景，训练出识别不同类型要素的模型，大大增加了模型可应用的领域及范围；同时可自定义训练集的照片数量，控制模型训练迭代次数，提高模型精度。
S5、景观要素的批量识别与语义分割：基于S4中训练的模型进行景观要素的自动分割，模型先调用全空洞卷积神经网络，识别出图像中的要素，再利用反卷积的技术，使之还原为相同图片大小的灰度图；在该过程中识别出某一要素后，模型会赋予该识别出的要素区域以单一灰度值，来与其他要素进行区分，完成图像中所有要素的灰度值赋予后，即完成图像的语义分割，分割过程全自动化，分割结果为灰度图；
如图6所示，基于S4中训练获得的景观要素识别模型，提供一种python脚本代码，使其能够调用该模型，实现大批量图像智能识别和分割。模型先调用全空洞卷积神经网络，识别出图像中的要素，再利用反卷积的技术，使之还原为相同图片大小的灰度图。在该过程中识别出某一要素后，模型会赋予该识别出的要素区域以单一灰度值，来与其他要素进行区分，完成图像中所有要素的灰度值赋予后，即完成了图像的语义分割，最终输出为灰度图。
S6、景观视觉特征评价：以python为基础，批量统计语义分割结果，即统计灰度图中各灰度值区域的面积并计算其占图片面积的比例，基于统计结果，采用“2+2+2”视觉特征评估指标体系，进行多维度的视觉特征指标计算，基于视觉特征指标计算结果，结合GPS空间坐标信息，与ArcGIS软件关联，实现指标统计与计算结果空间可视化，得出评价结果。
如图7和图8所示，基于S5中脚本运行的灰度图结果，本发明提供一种语义分割结果统计python脚本，该脚本可统计灰度图中各灰度值区域的面积并计算其占图片面积的比例。基于统计的原始结果，可进行进一步的视觉特征指标计算。本发明提供了一套“2+2+2”视觉特征评估指标体系，即2类以要素构成为主的基本特征+2类以空间为主的感知特征+2类以色彩为主的视觉特征，形成3大类、6中类，共计17个景观视觉特征指标(如表1所示)。基于该指标体系计算结果，结合各照片GPS空间坐标信息，与ArcGIS软件关联，可实现指标统计与计算结果空间可视化。
表1景观照片视觉特征评估指标体系
Figure BDA0003265495230000121
Figure BDA0003265495230000131
Figure BDA0003265495230000141
实施例二：
基于实施例一中所述的方法，进行城市公园景观全方位采集与视觉特征快速识别，包括以下内容：
(1)公园景观信息采集
为获取城市公园的景观信息，进行视觉要素识别和特征提取，使用本发明提供的全方位采集设备，精确高效地获取公园景观信息照片。全方位采集设备包含4台山狗C4型号运动相机、3D打印的四方位云台、延长杆、三脚架和GPS***。其中相机的焦距固定为35mm，广角170°，分辨率2592x1936；四方位云台、延长杆与三脚架为固定相机的设备；GPS***与采集设备捆绑使用，记录采集位置和运动轨迹。全方位采集设备组装完成后，4台相机水平方向互相垂直，相机距离地面高度为1.5m，符合中国成年人平均身高。由于公园内部分道路较窄，仅可步行，为实现景观照片采集全覆盖，实例使用定点采集方式。如图9所示，根据公园路网选取拍摄点，采用定点遥控拍摄。照片采集于2019年5月23日到2019年8月19日进行，采集获取照片共计23510张。
(2)公园景观要素类型标注与模型训练
为大批量快速处理公园采集的照片，准确高效地自动识别照片中的视觉要素并分割，进行视觉特征提取，基于本发明开展了公园景观视觉要素分类及语义分割模型训练。使用采集的公园照片数据，随机抽取1000张公园照片作为制作训练集的标注样本，300张照片作为验证集的标注样本。针对公园景观特征识别的研究场景，提取出照片中的原始要素共45类，通过频率筛选和相似要素整合，归纳出最终要素，包括乔灌木、草本植物、铺装、水面、景观小品、园林建筑、公园外高楼、围墙和其它，一共9类。以此分类作为标注依据，利用本发明提供的“labelme”+“python”标注方法，对所选照片进行分类标注，每类景观要素标注100次，为模型训练做准备。利用本发明提供的“DeepLabv3+”+“Ubuntu”+“cuda”+“cudnn”+“tensorflow”环境框架进行模型训练，修改训练脚本参数，训练完成导出DeepLabv3+模型。
(3)公园景观视觉特征识别与计算
基于(2)中训练所得的语义分割模型，使用本发明提供的模型调用python脚本，进行大批量自动语义分割。模型输出结果为分割后的灰度图，采用本发明提供的结果统计与计算脚本，自动统计语义分割原始结果。基于语义分割与统计的结果，结合本发明提供的指标体系，进一步计算出绿视率、围合度、自然度、天空比、色彩丰富度等指标进行公园景观视觉特征评价。通过指标计算结果与ArcGIS中导入的GPS定位点相关联，使得照片中的景观视觉特征指标与拍摄点相对应，实现公园景观视觉特征评价结果可视化，结果如图10所示。
实施例三：
基于实施例一中所述的方法，进行城市绿道景观全方位采集与视觉特征快速识别，包括以下内容：
(1)绿道景观信息采集
为获取城市绿道的景观视觉信息及其特征，使用本发明提供的全方位采集设备和识别模型。绿道照片全方位自动采集设备包括采集车、山狗C4型号运动相机、四方位相机固定云台、车载固定基座和云台基座连接件。其中，山狗C4型号运动相机共4台，其焦距固定为35mm，广角170°，像素2000万，GPS***与采集车捆绑使用以记录采集位置和运动轨迹。由于城市绿道分布区域较广，涉及的采集范围较大，为高效快速采集绿道景观照片，实例采用本发明提供的全方位自动车载采集的方法。如图11所示，采集过程主要为：规划采集车行驶路线，采集车航行拍摄绿道街景照片。为使拍照画面保持清晰，采集车保持15km/h的车速行驶，相机使用间隔5s自动拍照。街景照片采集于2019年7月1日到7月20日进行，共采集绿道照片12531张。
(2)绿道景观要素类型标注与模型训练
为大批量快速处理绿道采集的照片，准确高效的自动识别照片中的视觉要素并分割，进行视觉特征提取，基于本发明开展了绿道景观视觉要素分类及语义分割模型训练。使用采集的绿道照片数据，随机抽取800张绿道照片作为制作训练集的标注样本，200张照片作为验证集的标注样本。针对绿道景观特征识别的研究场景，结合绿道实际情况，将要素划分为：天空、乔灌木、车行道、步行道、草本植物、水体、景观小品、驿站建筑共8类。以此分类作为标注依据，利用本发明提供的“labelme”+“python”标注方法，对所选照片进行分类标注，每类景观要素标注100次，为模型训练做准备。利用本发明提供的“DeepLabv3+”+“Ubuntu”+“cuda”+“cudnn”+“tensorflow”环境框架进行模型训练，修改训练脚本参数，训练完成导出DeepLabv3+模型。
(3)绿道景观视觉特征识别与计算
基于(2)中训练所得的语义分割模型，使用本发明提供的模型调用python脚本，进行大批量自动语义分割。模型输出结果为分割后的灰度图，采用本发明提供的结果统计与计算脚本，自动统计语义分割原始结果。基于语义分割与统计的结果，结合本发明提供的指标体系，进一步计算出绿视率、天空比、水体比、景观小品服务、驿站建筑服务、周边建筑干扰、广告牌干扰等指标进行绿道景观视觉特征评价。通过指标计算结果与ArcGIS中导入的GPS定位点相关联，使得照片中的景观视觉特征指标与拍摄点相对应，实现绿道景观视觉特征评价结果可视化，如图12所示。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种全方位采集和智能计算的景观视觉特征识别方法，其特征在于，包括以下步骤：
S1、照片的全方位自动采集：选用车载采集以及定点采集的方式由照片全方位自动采集设备来完成景观的采集工作；车载采集时，设备固定在采集车顶部，相机以固定的时间间隔进行自动拍摄，进行大尺度景观范围全方位快速采集；定点采集时，设备手持或定点安放进行精细化定点采集，相机遥控拍摄完成采集；
S2、景观要素语义分割环境框架的搭建：基于空洞卷积与全卷积神经网络(FCN)相结合的机器深度学习技术搭建“DeepLabv3+”+“Ubuntu”+“cuda”+“cudnn”+“tensorflow”的环境框架，空洞卷积在普通卷积技术的卷积层引入扩张率的新参数，在卷积核周围添加空洞，扩大感受野，消除池化现象；全卷积神经网络在卷积神经网的末端，将连接层替换为卷积层，用于提取特征，形成热点图，再通过反卷积在小尺寸的热点图上采样，还原得到原尺寸的高精度语义分割图像；
S3、景观要素的分类标注：对模型训练中所使用的训练集图片进行标注(类型名称)，计算机通过识别标注区域及其对应标签内容进行深度学习，采用Labelme与python结合的标注方法，以Labelme为标注工具、python为辅助工具，通过自主编程修改参数，实现标注过程精密准确、标注与标签自主配对、标注结果易于识别的效果；
S4、景观要素语义分割模型的训练：以DeepLabv3+和python为制作和运行基础的景观特征识别模型，模型可以自动精确识别照片图像中的景观要素，且能根据训练过程的设置识别各种不同类型的景观要素，整个识别计算过程批量迅速进行，计算结果准确；
S5、景观要素的批量识别与语义分割：基于S4中训练的模型进行景观要素的自动分割，模型先调用全空洞卷积神经网络，识别出图像中的要素，再利用反卷积的技术，使之还原为相同图片大小的灰度图；在该过程中识别出某一要素后，模型会赋予该识别出的要素区域以单一灰度值，来与其他要素进行区分，完成图像中所有要素的灰度值赋予后，即完成图像的语义分割，分割过程全自动化，分割结果为灰度图；
S6、景观视觉特征评价：以python为基础，批量统计语义分割结果，即统计灰度图中各灰度值区域的面积并计算其占图片面积的比例；基于统计结果，采用“2+2+2”视觉特征评估指标体系，进行多维度的视觉特征指标计算；基于视觉特征指标计算结果，结合GPS空间坐标信息，与ArcGIS软件关联，实现指标统计与计算结果空间可视化，得出评价结果。
2.根据权利要求1所述的一种全方位采集和智能计算的景观视觉特征识别方法，其特征在于，S1步骤中，照片全方位自动采集设备由1个采集支架、4个方位运动自动拍摄相机、1个延长杆、GPS***和无线遥控器构成，该设备可以同时容纳4个由无线遥控器控制的相机，相机采集画面可覆盖360°全方位，自动拍摄时间间隔可自行设置。
3.根据权利要求1所述的一种全方位采集和智能计算的景观视觉特征识别方法，其特征在于，S2步骤中，DeepLabv3+可实现空洞卷积与全卷积神经网络的叠加；Ubuntu***具有开源的优点，用于做开发和深度学***台，开发GPU并行计算引擎，使GPU能够解决复杂的计算问题；cudnn深度神经网络库，扩展GPU加速的原语库，实现高性能GPU加速，从而使电脑能进行深度学习；tensorflow基于数据流编程的符号数学***，使GPU和TPU可进行高性能数值计算。
4.根据权利要求3所述的一种全方位采集和智能计算的景观视觉特征识别方法，其特征在于，所述DeepLabv3+模型中内置有异感受野拼接ASPP模块，用于减少漏分割、误分割现象，提高模型精度；在异感受野拼接ASPP内引入深度可分离空洞卷积取代普通空洞卷积，加快模型训练速度；增设多级高低特征融合操作，恢复损失的空间维度信息和像素位置信息；并构建基于注意力机制的特征对齐模块，引导高低级特征对齐并强化特征学习，增强模型学习能力。
5.根据权利要求1所述的一种全方位采集和智能计算的景观视觉特征识别方法，其特征在于，S3步骤中，Labelme作为标注工具，用于实现标注与标签准确对应、类型提取边界线紧密贴合要素边界，并通过修改参数，实现标签类型自定义且类型数量无限制、标注同标签自动分类的功能；python脚本用于将标注文件及标签内容转换为TFRecord指引文件，该指引文件可于DeepLabv3+模型中被准确识别。
6.根据权利要求1所述的一种全方位采集和智能计算的景观视觉特征识别方法，其特征在于，S4步骤中，所述模型训练包括以下具体流程：编写模型分类识别代码，自定义模型分类标准，使模型可识别分割不同类型的要素；调整模型调用预训练权重参数，规避logits参数的使用，消除训练误差；经过参数调整后，模型能自定义要素分类的数量，根据实际的应用场景，训练出识别不同类型要素的模型；自定义训练集的照片数量，控制模型训练迭代次数，提高模型精度。
7.根据权利要求1所述的一种全方位采集和智能计算的景观视觉特征识别方法，其特征在于，S5步骤中，模型在进行大批量图像智能识别和分割处理前，基于python技术提供脚本代码，python脚本代码将模型进行调出并使用。
8.根据权利要求1所述的一种全方位采集和智能计算的景观视觉特征识别方法，其特征在于，S6步骤中，“2+2+2”视觉特征评估指标体系包括2类以要素构成为主的基本特征+2类以空间为主的感知特征+2类以色彩为主的视觉特征，形成3大类、6中类，共计17个景观视觉特征指标。
CN202111085800.4A 2021-09-16 2021-09-16 一种全方位采集和智能计算的景观视觉特征识别方法 Active CN113743358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111085800.4A CN113743358B (zh) 2021-09-16 2021-09-16 一种全方位采集和智能计算的景观视觉特征识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111085800.4A CN113743358B (zh) 2021-09-16 2021-09-16 一种全方位采集和智能计算的景观视觉特征识别方法

Publications (2)

Publication Number Publication Date
CN113743358A true CN113743358A (zh) 2021-12-03
CN113743358B CN113743358B (zh) 2023-12-05

Family

ID=78739252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111085800.4A Active CN113743358B (zh) 2021-09-16 2021-09-16 一种全方位采集和智能计算的景观视觉特征识别方法

Country Status (1)

Country Link
CN (1) CN113743358B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331031A (zh) * 2021-12-08 2022-04-12 北京华清安地建筑设计有限公司 一种建筑传统特征识别评价方法和***
CN114611638A (zh) * 2022-05-13 2022-06-10 华中农业大学 一种基于尺度自适应的乡村景观功能区划分方法及***
CN116151636A (zh) * 2023-04-23 2023-05-23 中铁建工集团建筑安装有限公司 一种动态线性移动的视觉观览的评价方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878687A (zh) * 2017-04-12 2017-06-20 吉林大学 一种基于多传感器的车载环境识别***及全方位视觉模块
CN109165582A (zh) * 2018-08-09 2019-01-08 河海大学 一种城市街道垃圾检测和清洁度评估方法
CN109948547A (zh) * 2019-03-20 2019-06-28 广州市城市规划勘测设计研究院 城市绿地景观评价方法、装置、存储介质及终端设备
CN110348404A (zh) * 2019-07-16 2019-10-18 湖南人文科技学院 一种农村道路景观视觉评价分析方法
CN110414305A (zh) * 2019-04-23 2019-11-05 苏州闪驰数控***集成有限公司 人工智能卷积神经网络人脸识别***
CN111860514A (zh) * 2020-05-21 2020-10-30 江苏大学 一种基于改进DeepLab的果园场景多类别实时分割方法
CN112508977A (zh) * 2020-12-29 2021-03-16 天津科技大学 一种面向自动驾驶场景的基于深度学习的语义分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878687A (zh) * 2017-04-12 2017-06-20 吉林大学 一种基于多传感器的车载环境识别***及全方位视觉模块
CN109165582A (zh) * 2018-08-09 2019-01-08 河海大学 一种城市街道垃圾检测和清洁度评估方法
CN109948547A (zh) * 2019-03-20 2019-06-28 广州市城市规划勘测设计研究院 城市绿地景观评价方法、装置、存储介质及终端设备
CN110414305A (zh) * 2019-04-23 2019-11-05 苏州闪驰数控***集成有限公司 人工智能卷积神经网络人脸识别***
CN110348404A (zh) * 2019-07-16 2019-10-18 湖南人文科技学院 一种农村道路景观视觉评价分析方法
CN111860514A (zh) * 2020-05-21 2020-10-30 江苏大学 一种基于改进DeepLab的果园场景多类别实时分割方法
CN112508977A (zh) * 2020-12-29 2021-03-16 天津科技大学 一种面向自动驾驶场景的基于深度学习的语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李云伍等: "基于改进空洞卷积神经网络的丘陵山区田间道路场景识别", 农业工程学报, no. 07 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331031A (zh) * 2021-12-08 2022-04-12 北京华清安地建筑设计有限公司 一种建筑传统特征识别评价方法和***
CN114331031B (zh) * 2021-12-08 2022-12-09 北京华清安地建筑设计有限公司 一种建筑传统特征识别评价方法和***
CN114611638A (zh) * 2022-05-13 2022-06-10 华中农业大学 一种基于尺度自适应的乡村景观功能区划分方法及***
CN114611638B (zh) * 2022-05-13 2022-10-18 华中农业大学 一种基于尺度自适应的乡村景观功能区划分方法及***
CN116151636A (zh) * 2023-04-23 2023-05-23 中铁建工集团建筑安装有限公司 一种动态线性移动的视觉观览的评价方法
CN116151636B (zh) * 2023-04-23 2023-09-15 中铁建工集团建筑安装有限公司 一种动态线性移动的视觉观览的评价方法

Also Published As

Publication number Publication date
CN113743358B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN111144388B (zh) 一种基于单目影像的道路标志标线的更新方法
CN113743358B (zh) 一种全方位采集和智能计算的景观视觉特征识别方法
US20150161441A1 (en) Image location through large object detection
CN110956196B (zh) 一种城市建筑物窗墙比自动识别方法
CN105760831A (zh) 一种基于低空航拍红外视频的行人跟踪方法
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及***
CN110837839B (zh) 一种高精度无人机正射影像制作及数据采集方法
CN109492618A (zh) 基于分组扩张卷积神经网络模型的目标检测方法及装置
CN111444801A (zh) 一种无人机红外目标实时检测方法
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN115719445A (zh) 一种基于深度学习和树莓派4b模块的海产品识别方法
Bu et al. A UAV photography–based detection method for defective road marking
CN114241325A (zh) 基于街景图片的空调挂机空间分布自动识别方法及***
CN110189395B (zh) 一种基于人视角倾斜摄影实现景观立面动态分析与定量设计的方法
CN116030194A (zh) 一种基于目标检测规避的空地协同实景三维建模优化方法
CN111767826A (zh) 一种定时定点场景异常检测方法
CN110276379A (zh) 一种基于视频图像分析的灾情信息快速提取方法
CN113610032A (zh) 基于遥感影像的建筑物识别方法和装置
CN112785678B (zh) 基于三维模拟的日照分析方法和***
CN114529721B (zh) 一种基于深度学习的城市遥感影像植被覆盖识别方法
CN115690614A (zh) 一种提高堤防管涌数据采集精度的试验方法
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及***
Peng et al. Application of deep residual neural network to water meter reading recognition
CN108573220A (zh) 一种基于群体多源数据的道路裂纹识别方法
CN113837063B (zh) 一种基于强化学习的冰壶运动现场分析和辅助决策方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant