CN110443197A - 一种视觉场景智能理解方法及*** - Google Patents

一种视觉场景智能理解方法及*** Download PDF

Info

Publication number
CN110443197A
CN110443197A CN201910719181.6A CN201910719181A CN110443197A CN 110443197 A CN110443197 A CN 110443197A CN 201910719181 A CN201910719181 A CN 201910719181A CN 110443197 A CN110443197 A CN 110443197A
Authority
CN
China
Prior art keywords
scene
data
module
visual
intelligent understanding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910719181.6A
Other languages
English (en)
Inventor
谭泽汉
邓海燕
陈彦宇
马雅奇
谭龙田
周慧子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201910719181.6A priority Critical patent/CN110443197A/zh
Publication of CN110443197A publication Critical patent/CN110443197A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/61Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种视觉场景理解方法,包括以下步骤:S10:采集当前场景数据;S20:利用深度学习方法和传统图像分析方法分析处理当前场景信息,以获取当前场景的前景、背景和环境特征;S30:利用深度学习方法学习不同场景的场景数据,以判断当前场景的情况和/或预计即将出现的情况并制定应对方案。本申请将传统的图像分析方法与深度学习方法相结合来获取场景的前景、背景和环境参数,并通过学习不同场景的环境参数变化,来判断当前场景的情况、或预计即将出现的情况、以及应对即将出现的场景情况可选的处理方案,当场景不利于用户偏好时,用户可以通过可选的处理方案作出应对措施。

Description

一种视觉场景智能理解方法及***
技术领域
本发明涉及视觉检测技术领域,特别地涉及一种视觉场景智能理解方法及***。
背景技术
在现有的视觉场景理解的方法中,只是关注到场景的目标检测、场景分割以及目标跟踪等方面,用户可以通过对目标的判断来理解目标所处的位置及形态特征,但是不能对当前环境的实际前景、背景情况参数进行数据采集并显示,或是不能提醒给用户即将可能发生的状况等,不利于用户根据当前环境信息来进行判断,从而尽早根据当前场景做出预防应对措施。
发明内容
为了解决上述问题,本发明提供了一种员工调配管理方法及***,用于解决上述问题。
第一方面,本申请提供一种视觉场景智能理解***,包括:
数据采集模块,其用于采集当前场景的前景、背景和环境参数数据;
数据存储模块,其用于存储所述数据采集模块所采集到的数据;
视觉处理分析模块,其包括智能学习模块和图像处理模块,所述图像处理模块利用传统图像处理方法对所采集到的数据进行分析处理,所述智能学习模块利用深度学习方法对所采集到的数据进行分析处理,以获取当前场景的前景、背景和环境特征;
且所述智能学习模块通过学习不同场景的场景数据,以判断当前场景的情况和/或预计即将出现的情况并制定应对方案。
在一种实施方式中,所述智能学习模块采用卷积、池化计算的方式,并利用所述深度学习方法中训练好的模型对数据进行分析处理。
在一种实施方式中,所述训练好的模型是采用深度神经网络结构对包含大量正负样本的数据集进行模型学习训练得到的。
在一种实施方式中,在数据采集模块采集到用户习惯所处的场景以外的场景数据时,所述智能学习模块对所采集到的用户习惯所处的场景以外的场景数据进行分析,若符合用户习惯所处的场景特征,则作为正样本,否则作为负样本。
在一种实施方式中,所述视觉场景智能理解***还包括通信模块,所述通信模块用于与用户终端通信,将所采集的数据,和判断的结果以及应对方案发送给用户。
在一种实施方式中,所述图像处理及视觉分析识别模块采用阈值分割、色彩提取、亮度对比度和canny算子轮廓提取、以及图像面积计算的方法对所采集的数据进行分析处理。
在一种实施方式中,所述深度学习方法包括RCNN目标检测和FCN前景分割。
在一种实施方式中,所述数据采集模块包括光敏传感器、声音传感器、温湿度传感器和图像采集模块,
所述光敏传感器用于采集场景的亮度对比度数据;
所述声音传感器用于采集声音数据;
所述温湿度传感器用于采集温湿度数据;
所述图像采集模块用于采集场景图像内的人、物、事件的个数、位置和类别数据。
第二方面,本申请提供了一种视觉场景智能理解方法,包括以下步骤:
S10:采集当前场景的前景、背景和环境参数数据;
S20:利用深度学习方法和传统图像分析方法分析处理当前场景数据,以获取当前场景的前景、背景和环境特征;
S30:利用深度学习方法学习不同场景的场景数据,以判断当前场景的情况和/或预计即将出现的情况并制定应对方案。
在一种实施方式中,步骤S30中:判断当前场景的情况包括:
场景前景目标定位和检测、场景背景信息提取、三维立体空间当前情况或预计即将出现的情况、以及应对即将出现的场景情况可选的处理方案。
在一种实施方式中,在步骤S30之后,还包括步骤S40:将对当前场景的判断情况作为训练好的模型进行存储供下次深度学习使用。
与现有技术相比,本发明的优点在于:本申请将传统的图像分析方法与深度学习方法相结合来获取场景的前景、背景和环境参数,并通过学习不同场景的环境参数变化,来判断当前场景的情况、或预计即将出现的情况、以及应对即将出现的场景情况可选的处理方案,有利于用户对当前面对的场景情况有效处理、预防等,当场景不利于用户偏好时,用户可以通过可选的处理方案作出应对措施。
附图说明
在下文中将基于实施例并参考附图来对本发明进行更详细的描述。
图1是根据本申请的一种视觉场景智能理解***的示意图。
图2是根据本申请的一种视觉场景智能理解方法的流程图一。
图3是根据本申请的一种视觉场景智能理解方法的流程图二。
具体实施方式
下面将结合附图对本发明作进一步说明。
如图1所示,显示了根据本发明的一种视觉场景智能理解***,包括数据采集模块、数据存储模块和视觉处理分析模块。
其中,数据采集模块用于采集当前场景的前景、背景和环境参数数据。数据存储模块用于存储数据采集模块所采集到的数据。视觉处理分析模块又包括智能学习模块和图像处理模块,图像处理模块利用传统图像处理方法对所采集到的数据进行分析处理,智能学习模块利用深度学习方法对所采集到的数据进行分析处理,以获取当前场景的前景、背景和环境特征。
此外,智能学习模块还用于学习不同场景的场景参数,以判断当前场景的情况和/或预计即将出现的情况并制定应对方案。
其中,数据采集模块包括光敏传感器、声音传感器、温湿度传感器和图像采集模块。光敏传感器用于采集场景的亮度对比度数据;声音传感器用于采集声音数据;温湿度传感器用于采集温湿度数据;图像采集模块用于采集场景图像内的人、物、事件的个数、位置和类别数据。图像采集模块可以为高清摄像头、高速相机等。
其中,传统图像处理方法包括阈值分割、色彩提取、亮度对比度和canny算子轮廓提取、以及图像面积计算等。深度学习方法包括RCNN目标检测和FCN前景分割等。
其中,智能学习模块可以采用卷积、池化计算的方式,并利用深度学习方法中训练好的模型对数据进行分析处理。训练好的模型可以是采用深度神经网络结构对包含大量正负样本的数据集进行模型学习训练得到的。该数据集中,在数据采集模块采集到用户习惯所处的场景以外的场景数据时,智能学习模块对所采集到的用户习惯所处的场景以外的场景数据进行分析,若符合用户习惯所处的场景特征,则作为正样本,否则作为负样本。
在一优选的实施例中,视觉场景智能理解***还包括通信模块,通信模块用于与用户终端通信,将所采集的数据,和判断的当前场景的情况以及可选的应对方案发送给用户。
图2显示了根据本申请的一种视觉场景智能理解方法,包括以下步骤:
第一步:采集当前场景数据。
利用光敏传感器采集场景的亮度对比度数据,利用声音传感器采集声音数据,利用温湿度传感器采集温湿度数据,利用图像采集模块采集场景图像内的人、物、事件的个数、位置和类别数据。
第二步:利用深度学习方法和传统图像分析方法分析处理当前场景信息,以获取当前场景的前景、背景和环境特征。
第三步:利用深度学习方法学习不同场景的场景数据,以判断当前场景的情况,或预计即将出现的情况并制定应对方案。
其中,判断当前场景的情况包括:场景前景目标定位和检测、场景背景信息提取、三维立体空间当前情况或预计即将出现的情况、以及应对即将出现的场景情况可选的处理方案。
在一优选的实施例中,还包括第四步:将对当前场景的前景、背景和环境特征的分析处理结果作为训练好的模型存储在数据存储模块供下次深度学习使用。
综上所述,本申请通过加入对当前场景的亮度对比度、色彩、前景目标、背景复杂度等环境参数的采集模块,使得检测当前场景的目标前景时还包括了当前场景的背景信息等,将传统的图像分析方法与深度学习方法相结合来获取场景的前景、背景和环境参数,并通过学习不同场景的环境参数变化,来判断当前场景的情况、或预计即将出现的情况、以及应对即将出现的场景情况可选的处理方案,当场景不利于用户偏好时,用户可以通过可选的处理方案作出应对措施。
下面为将该视觉场景理解方法应用于工业生产线场景的实施例,具体地:
通过光敏传感器、高清摄像头、高速相机等进行场景数据采集,需采集的场景数据包括场景亮度对比度、温湿度、场景图像内包含的员工、产品、生产线中的工序等基本信息数据,采集后将数据保存在数据存储模块中。
数据存储模块将该数据发送至视觉处理分析模块,可将视觉处理分析中的图像处理模块和智能学习模块构造为一个整体以便于封装应用。通过将图像处理模块的传统分析方法(阈值分割、色彩提取、亮度对比度、canny算子轮廓提取、图像面积计算)和智能学习模块的深度学习方法(RCNN目标检测、FCN前景分割)相配合,并调用深度学习方法中训练好的模型对当前场景进行分析处理,获取当前场景的工作员工、所生产的产品、所生产的生产线中的工序等数据。
智能学习模块在学习模型中根据工业场景信息的特征,匹配到上述场景为工业场景,并对应将当前场景进行分类,并标记为工业场景,对应任务着装、行为特征的则标记为生产线工人,对应物品特征则标记为生产物料或产品等。从而挖掘出有效的工业场景特征、生物特征、物体类别特征,并对当前场景进行建模复原,以三维图像或结合音频拟合出合适的当前场景环境呈现给用户,以供用户对当前场景情况做应对方案,例如:当前工业场景中,某处温度较高且亮度较高,排除生产工艺需求之外,判断其是否存在火灾隐患,及时提醒用户做排除火灾隐患的应对措施,并提供最近灭火器、报警器、消防栓及安全通道等所提醒。
可以理解地,本申请的视觉场景理解方法还可应用于路况交通场景的检测、周边环境衣、食、住、行、加油站或风景区的检测等,以展现当前场景的实际情况。
虽然已经参考优选实施例对本发明进行了描述,但在不脱离本发明的范围的情况下,可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是,只要不存在结构冲突,各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局限于文中公开的特定实施例,而是包括落入权利要求的范围内的所有技术方案。

Claims (11)

1.一种视觉场景智能理解***,其特征在于,包括:
数据采集模块,其用于采集当前场景的前景、背景和环境参数数据;
数据存储模块,其用于存储所述数据采集模块所采集到的数据;
视觉处理分析模块,其包括智能学习模块和图像处理模块,所述图像处理模块利用传统图像处理方法对所采集到的数据进行分析处理,所述智能学习模块利用深度学习方法对所采集到的数据进行分析处理,以获取当前场景的前景、背景和环境特征;
且所述智能学习模块通过学习不同场景的场景数据,以判断当前场景的情况和/或预计即将出现的情况并制定应对方案。
2.根据权利要求1所述的视觉场景智能理解***,其特征在于,所述智能学习模块采用卷积、池化计算的方式,并利用所述深度学习方法中训练好的模型对数据进行分析处理。
3.根据权利要求2所述的视觉场景智能理解***,其特征在于,所述训练好的模型是采用深度神经网络结构对包含大量正负样本的数据集进行模型学习训练得到的。
4.根据权利要求3所述的视觉场景智能理解***,其特征在于,在数据采集模块采集到用户习惯所处的场景以外的场景数据时,所述智能学习模块对所采集到的用户习惯所处的场景以外的场景数据进行分析,若符合用户习惯所处的场景特征,则作为正样本,否则作为负样本。
5.根据权利要求1所述的视觉场景智能理解***,其特征在于,所述视觉场景智能理解***还包括通信模块,所述通信模块用于与用户终端通信,将所采集的数据,和判断的结果以及应对方案发送给用户。
6.根据权利要求1所述的视觉场景智能理解***,其特征在于,所述图像处理及视觉分析识别模块采用阈值分割、色彩提取、亮度对比度和canny算子轮廓提取、以及图像面积计算的方法对所采集的数据进行分析处理。
7.根据权利要求1所述的视觉场景智能理解***,其特征在于,所述深度学习方法包括RCNN目标检测和FCN前景分割。
8.根据权利要求1所述的视觉场景智能理解***,其特征在于,所述数据采集模块包括光敏传感器、声音传感器、温湿度传感器和图像采集模块,
所述光敏传感器用于采集场景的亮度对比度数据;
所述声音传感器用于采集声音数据;
所述温湿度传感器用于采集温湿度数据;
所述图像采集模块用于采集场景图像内的人、物、事件的个数、位置和类别数据。
9.一种视觉场景智能理解方法,其特征在于,包括以下步骤:
S10:采集当前场景的前景、背景和环境参数数据;
S20:利用深度学习方法和传统图像分析方法分析处理当前场景数据,以获取当前场景的前景、背景和环境特征;
S30:利用深度学习方法学习不同场景的场景数据,以判断当前场景的情况和/或预计即将出现的情况并制定应对方案。
10.根据权利要求9所述的视觉场景智能理解方法,其特征在于,步骤S30中:判断当前场景的情况包括:
场景前景目标定位和检测、场景背景信息提取、三维立体空间当前情况或预计即将出现的情况、以及应对即将出现的场景情况可选的处理方案。
11.根据权利要求9所述的视觉场景智能理解方法,其特征在于,在步骤S30之后,还包括步骤S40:将对当前场景的判断情况作为训练好的模型进行存储以供下次深度学习使用。
CN201910719181.6A 2019-08-05 2019-08-05 一种视觉场景智能理解方法及*** Pending CN110443197A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910719181.6A CN110443197A (zh) 2019-08-05 2019-08-05 一种视觉场景智能理解方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910719181.6A CN110443197A (zh) 2019-08-05 2019-08-05 一种视觉场景智能理解方法及***

Publications (1)

Publication Number Publication Date
CN110443197A true CN110443197A (zh) 2019-11-12

Family

ID=68433423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910719181.6A Pending CN110443197A (zh) 2019-08-05 2019-08-05 一种视觉场景智能理解方法及***

Country Status (1)

Country Link
CN (1) CN110443197A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111780334A (zh) * 2020-08-06 2020-10-16 江苏浩金欧博环境科技有限公司 一种基于5g网络技术监控的组合式空调机组

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408469A (zh) * 2014-11-28 2015-03-11 武汉大学 基于图像深度学习的烟火识别方法及***
CN105575119A (zh) * 2015-12-29 2016-05-11 大连楼兰科技股份有限公司 路况气候深度学习及识别方法和装置
CN105939421A (zh) * 2016-06-14 2016-09-14 努比亚技术有限公司 一种终端参数调整装置及方法
CN108052914A (zh) * 2017-12-21 2018-05-18 中国科学院遥感与数字地球研究所 一种基于slam和图像识别的森林林木资源调查方法
CN108416963A (zh) * 2018-05-04 2018-08-17 湖北民族学院 基于深度学习的森林火灾预警方法及***
CN109190575A (zh) * 2018-09-13 2019-01-11 深圳增强现实技术有限公司 装配场景识别方法、***及电子设备
CN109858516A (zh) * 2018-12-24 2019-06-07 武汉工程大学 一种基于迁移学习的火灾和烟雾预测方法、***和介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408469A (zh) * 2014-11-28 2015-03-11 武汉大学 基于图像深度学习的烟火识别方法及***
CN105575119A (zh) * 2015-12-29 2016-05-11 大连楼兰科技股份有限公司 路况气候深度学习及识别方法和装置
CN105939421A (zh) * 2016-06-14 2016-09-14 努比亚技术有限公司 一种终端参数调整装置及方法
CN108052914A (zh) * 2017-12-21 2018-05-18 中国科学院遥感与数字地球研究所 一种基于slam和图像识别的森林林木资源调查方法
CN108416963A (zh) * 2018-05-04 2018-08-17 湖北民族学院 基于深度学习的森林火灾预警方法及***
CN109190575A (zh) * 2018-09-13 2019-01-11 深圳增强现实技术有限公司 装配场景识别方法、***及电子设备
CN109858516A (zh) * 2018-12-24 2019-06-07 武汉工程大学 一种基于迁移学习的火灾和烟雾预测方法、***和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GONG CHENG 等: "When Deep Learning Meets Metric Learning:Remote Sensing Image Scene Classification via Learning Discriminative CNNs", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111780334A (zh) * 2020-08-06 2020-10-16 江苏浩金欧博环境科技有限公司 一种基于5g网络技术监控的组合式空调机组

Similar Documents

Publication Publication Date Title
CN110543867B (zh) 一种多摄像头条件下的人群密度估测***及方法
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、***及装置
CN109325429B (zh) 一种关联特征数据的方法、装置、存储介质及终端
CN112819068B (zh) 一种基于深度学习的船舶作业违章行为实时侦测方法
CN111222478A (zh) 一种工地安全防护检测方法和***
CN109299703A (zh) 对鼠情进行统计的方法、装置以及图像采集设备
CN111931582A (zh) 基于图像处理的高速公路交通事件检测方法
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN105426828A (zh) 人脸检测方法、装置及***
CN111353338B (zh) 一种基于营业厅视频监控的能效改进方法
CN104463869A (zh) 一种视频火焰图像复合识别方法
CN115170792B (zh) 红外图像处理方法、装置及设备、存储介质
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN110602446A (zh) 垃圾回收提醒方法、***及存储介质
CN111476160A (zh) 损失函数优化方法、模型训练方法、目标检测方法及介质
CN116259002A (zh) 一种基于视频的人体危险行为分析方法
CN112257527A (zh) 基于多目标融合与时空视频序列的手机检测方法
CN114926778A (zh) 一种生产环境下的安全帽与人员身份识别***
CN112633157B (zh) 一种agv工作区域安全性的实时检测方法及***
CN105095891A (zh) 一种人脸捕捉的方法,装置及***
CN110443197A (zh) 一种视觉场景智能理解方法及***
CN113887431A (zh) 基于ai的厨房场景下人员不带手套识别的检测方法
CN113688820A (zh) 频闪条带信息识别方法、装置和电子设备
CN114821486B (zh) 一种电力作业场景下人员识别方法
CN116630890A (zh) 一种通过对钓鱼区域分析的钓鱼行为检测方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191112