CN116193086A - 一种建筑施工现场的安全监控方法及*** - Google Patents

一种建筑施工现场的安全监控方法及*** Download PDF

Info

Publication number
CN116193086A
CN116193086A CN202310478610.1A CN202310478610A CN116193086A CN 116193086 A CN116193086 A CN 116193086A CN 202310478610 A CN202310478610 A CN 202310478610A CN 116193086 A CN116193086 A CN 116193086A
Authority
CN
China
Prior art keywords
audio data
sound source
acquisition
target
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310478610.1A
Other languages
English (en)
Inventor
邵彩玲
杜伟坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Baotian Construction Group Co ltd
Original Assignee
Shenzhen Baotian Construction Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Baotian Construction Group Co ltd filed Critical Shenzhen Baotian Construction Group Co ltd
Priority to CN202310478610.1A priority Critical patent/CN116193086A/zh
Publication of CN116193086A publication Critical patent/CN116193086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

本发明涉及一种建筑施工现场的安全监控方法及***，通过对施工现场的多路音频数据进行监控，然后确定多路音频数据的响度变化率，并对多路音频数据进行特征识别，得到特征识别结果；响度变化率大于变化率阈值，或者特征识别结果包含目标信息时，基于多路音频数据对声源进行定位，得到声源位置；调用声源位置对应的目标视频数据，并基于声源位置对应的目标视频数据对声源位置进行监控。本申请通过对施工现场的音频数据进行分析，在音频数据出现较大变化，或者音频数据中包含一些特定场景的目标信息时，直接调用对应位置的视频数据进行监控，从而能够着重监控容易出现安全事故的区域，以及时发现安全隐患。

Description

一种建筑施工现场的安全监控方法及***
技术领域
本发明涉及监控技术领域，具体是一种建筑施工现场的安全监控方法及***。
背景技术
施工现场是指进行工业和民用项目的房屋建筑，土木工程，设备安装，管线敷设等施工活动，经批准占用的施工场地及人类进行安全生产、文明工作、建设的场所。
施工现场的环境复杂，对于施工现场的安全监控十分困难。现有的安全监控一般是通过采集施工现场的视频，然后人工对视频进行监控。但是上述监控方式需要进行人工值守，对于安全隐患也难以及时发现。
发明内容
有鉴于此，本发明的目的是提供一种建筑施工现场的安全监控方法及***，以解决现有技术中需要进行人工值守，对于安全隐患也难以及时发现的问题。
为了实现上述目的，本发明采用了如下技术方案：
本发明的一种建筑施工现场的安全监控方法，包括步骤：
获取施工现场的多路视频数据、以及多路音频数据，其中，所述多路音频数据通过对施工现场的多个位置进行音频采集得到，所述多路视频数据通过对施工现场的多个位置进行视频采集得到；
确定所述多路音频数据的响度变化率，并对所述多路音频数据进行特征识别，得到特征识别结果；
所述响度变化率大于变化率阈值，或者所述特征识别结果包含目标信息时，基于所述多路音频数据对声源进行定位，得到声源位置；
调用所述声源位置对应的目标视频数据，并基于所述声源位置对应的目标视频数据对所述声源位置进行监控。
在本申请一实施例中，确定所述多路音频数据的响度变化率，包括：
采集每一路音频数据的在多个时间点的音频响度
Figure SMS_1
，其中/>
Figure SMS_2
为自然数；
基于任意两个相邻时间点的音频响度确定对应一路音频数据的响度变化率
Figure SMS_3
，响度变化率/>
Figure SMS_4
的数学表达式为：
Figure SMS_5
，
式中，
Figure SMS_6
、/>
Figure SMS_7
分别为两个相邻时间点的音频响度，/>
Figure SMS_8
、/>
Figure SMS_9
分别为两个相邻时间点。
在本申请一实施例中，对所述多路音频数据进行特征识别，得到特征识别结果，包括：
提取每一路音频数据的波形特征；
将所述波形特征输入至预先建立的音频识别模型中，得到特征识别结果。
在本申请一实施例中，还包括如下过程建立所述音频识别模型：
获取包含目标信息的音频片段，其中，所述目标信息为施工现场存在目标场景时产生的音频信息；
提取所述音频片段的波形特征，并确定所述波形特征的标签，得到音频数据样本；
基于所述音频数据样本对人工神经网络进行训练，得到音频识别模型。
在本申请一实施例中，还包括如下过程提取波形特征：
将每一路音频数据或者音频片段转换为PCM波形，其中，所述PCM波形包括多个采样时间点
Figure SMS_10
、以及多个采样时间点对应的幅值/>
Figure SMS_11
，其中，/>
Figure SMS_12
为自然数；
从所述PCM波形中提取出满足第一目标条件的任意两个相邻点
Figure SMS_13
和/>
Figure SMS_14
，并将所述两个相邻点/>
Figure SMS_15
和/>
Figure SMS_16
作为第一特征点，其中，所述第一目标条件包括：
Figure SMS_17
，
其中，
Figure SMS_19
为第一特征点/>
Figure SMS_23
的幅值，/>
Figure SMS_25
第一特征点/>
Figure SMS_20
的采样时间点，/>
Figure SMS_22
为第一特征点/>
Figure SMS_24
的幅值，/>
Figure SMS_26
第一特征点/>
Figure SMS_18
的采样时间点，/>
Figure SMS_21
为幅度变化阈值；
从所述PCM波形中提取出满足第二目标条件的任意三个相邻点
Figure SMS_27
、/>
Figure SMS_28
和/>
Figure SMS_29
，并将所述三个相邻点/>
Figure SMS_30
、/>
Figure SMS_31
和/>
Figure SMS_32
作为第二目标点，其中，第二目标条件包括：
Figure SMS_33
，
基于所述第一目标点、以及所述第二目标点构建波形特征。
在本申请一实施例中，基于所述多个音频数据对声源进行定位，得到声源位置，包括：
在一路音频数据出现目标事件时，将包含目标信息的音频数据对应的采集位置作为声源位置；所述目标事件包括音频数据的响度变化率大于变化率阈值、以及音频数据的特征识别结果包含目标信息
在多路音频数据出现目标事件时，基于包含目标信息的多个音频数据对应的采集位置对声源进行定位，得到声源位置。
在本申请一实施例中，基于包含目标信息的多路音频数据对应的采集位置对声源进行定位，得到声源位置，包括：
确定出现目标事件最早的三路音频数据、出现目标事件最早的三路音频数据对应的音频采集设备的采集位置，其中，采集位置包括第一采集位置、第二采集位置以及第三采集位置，第一采集位置为与声源位置最近的采集位置；
确定第一采集位置与声源位置的距离
Figure SMS_35
，并基于所述第一采集位置与声源位置的距离/>
Figure SMS_39
确定所述第二采集位置与声源位置的距离/>
Figure SMS_40
、以及所述第三采集位置与声源位置的距离/>
Figure SMS_36
，其中，/>
Figure SMS_37
，/>
Figure SMS_41
，/>
Figure SMS_42
为声音速度，/>
Figure SMS_34
为第一采集位置对应的音频数据出现所述目标事件的时间与第二采集位置对应的音频数据出现所述目标事件的时间的时间差，/>
Figure SMS_38
为第一采集位置对应的音频数据出现所述目标事件的时间与第三采集位置对应的音频数据出现所述目标事件的时间的时间差；
建立三点定位方程，并基于所述三点定位方程计算声源位置，所述三点定位方程的数学表达式为：
Figure SMS_43
，
Figure SMS_44
，
Figure SMS_45
，
其中，
Figure SMS_47
为声源位置的横坐标，/>
Figure SMS_50
为声源位置的纵坐标，/>
Figure SMS_52
为第一采集位置的横坐标，/>
Figure SMS_48
第一采集位置的纵坐标，/>
Figure SMS_49
为第二采集位置的横坐标，/>
Figure SMS_51
第二采集位置的纵坐标，/>
Figure SMS_53
为第三采集位置的横坐标，/>
Figure SMS_46
第三采集位置的纵坐标。
在本申请一实施例中，调用所述声源位置对应的目标视频数据，包括：
确定覆盖范围包括所述声源位置的视频监控设备，并调用覆盖范围包括所述声源位置的视频监控设备的目标视频数据，其中，预先对所有视频监控设备的覆盖范围进行标注。
在本申请一实施例中，确定第一采集位置与声源位置的距离
Figure SMS_54
，包括：
获取所述第一采集位置对应的音频数据中所述目标信息的幅值；
基于所述幅值查询预先建立的对应关系表，得到第一采集位置与声源位置的距离范围，其中，所述对应关系表包括所述目标信息的幅值与距离范围的对应关系；
基于所述距离范围设置第一采集位置与声源位置的距离
Figure SMS_55
。
本申请还提供一种建筑施工现场的安全监控***，包括：
获取模块，用于获取施工现场的多路视频数据、以及多路音频数据，其中，所述多路音频数据通过对施工现场的多个位置进行音频采集得到，所述多路视频数据通过对施工现场的多个位置进行视频采集得到；
确定和识别模块，用于确定所述多路音频数据的响度变化率，并对所述多路音频数据进行特征识别，得到特征识别结果；
定位模块，用于所述响度变化率大于变化率阈值，或者所述特征识别结果包含目标信息时，基于所述多个音频数据对声源进行定位，得到声源位置；
监控模块，用于调用所述声源位置对应的目标视频数据，并基于所述声源位置对应的目标视频数据对所述声源位置进行监控。
本发明还提供一种存储介质，其中存储有计算机程序，所述计算机程序被处理器加载执行时，实现如上所述的一种建筑施工现场的安全监控方法。
本发明还提供一种电子设备，包括：处理器、及存储器；其中，所述存储器用于存储计算机程序；所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如上所述的一种建筑施工现场的安全监控方法。
本发明的有益效果是：本发明的一种建筑施工现场的安全监控方法及***，通过对施工现场的多路音频数据进行监控，然后确定多路音频数据的响度变化率，并对多路音频数据进行特征识别，得到特征识别结果；响度变化率大于变化率阈值，或者特征识别结果包含目标信息时，基于多路音频数据对声源进行定位，得到声源位置；调用声源位置对应的目标视频数据，并基于声源位置对应的目标视频数据对声源位置进行监控。本申请通过对施工现场的音频数据进行分析，在音频数据出现较大变化，或者音频数据中包含一些特定场景的目标信息时，直接调用对应位置的视频数据进行监控，从而能够着重监控容易出现安全事故的区域，以及时发现安全隐患。
附图说明
下面结合附图和实施例对本发明作进一步描述：
图1是本申请一实施例中示出的一种建筑施工现场的安全监控方法的流程图；
图2是本申请一实施例中示出的一种建筑施工现场的安全监控***的结构图；
图3示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的层而非按照实际实施时的层数目、形状及尺寸绘制，其实际实施时各层的型态、数量及比例可为一种随意的改变，且其层布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的。
本申请中的一种建筑施工现场的安全监控方法及***，应用在芯片封装检测领域，执行对象可以为计算机、移动终端或者服务器。
图1是本申请一实施例中示出的一种建筑施工现场的安全监控方法的流程图，如图1所示：本实施例的一种建筑施工现场的安全监控方法，可以包括步骤S110至步骤S140：
步骤S110，获取施工现场的多路视频数据、以及多路音频数据，其中，所述多路音频数据通过对施工现场的多个位置进行音频采集得到，所述多路视频数据通过对施工现场的多个位置进行视频采集得到；
在本申请中，施工现场预先安装多个音频采集设备和视频采集设备，用于对施工现场进行全方位的监控。视频采集设备可以依托于现有的监控摄像头，音频采集设备则可以是加装的麦克风。音频采集设备和视频采集设备采集的数据均通过网络接入至监控机房。
在本实施例中，多路视频监控数据用于监控施工现场的不同区域，多路视频监控数据在接入至监控机房并进行显示时，可以对每一路视频对应的区域进行标注。
步骤S120，确定所述多路音频数据的响度变化率，并对所述多路音频数据进行特征识别，得到特征识别结果；
在本申请中，由于施工现场环境复杂，声音嘈杂。因此可以依靠声音的变化来对周边环境进行判断。例如，有大车进场时，会明显地增加环境的噪音。因此本申请通过确定每一路音频数据的响度变化来判断环境是否产生变化。
此外，如果施工现场能够采集到具有规律的声音，如有规律的敲击声，则可以通过对音频进行特征识别，来判断施工现场当前是否处于某种特定的工作场景。
在本申请一实施例中，确定所述多路音频数据的响度变化率的过程包括如下步骤：
采集每一路音频数据的在多个时间点的音频响度
Figure SMS_56
，其中/>
Figure SMS_57
为自然数；
基于任意两个相邻时间点的音频响度确定对应一路音频数据的响度变化率
Figure SMS_58
，响度变化率/>
Figure SMS_59
的数学表达式为：
Figure SMS_60
，
式中，
Figure SMS_61
、/>
Figure SMS_62
分别为两个相邻时间点的音频响度，/>
Figure SMS_63
、/>
Figure SMS_64
分别为两个相邻时间点。
在本实施例中，通过对音频数据进行采样，进而确定是否存在变化率较大的音频数据。在本申请中，如果某一路音频数据的响度变化较大，则任务该路音频数据对应的区域产生了环境变化，则需要进行重点监控。具体地，响度变化可以是安静变化嘈杂，即响度变大。也可以是从嘈杂变为安静，即响度变小。如果是响度突然变大，则可能存在新的项目施工、车辆进场、高空坠物等，需要重点监控。如果是响度突然变小，则可能是施工突然停止、设备突然停止运行等。都需要进行重点监控。
在本申请一实施例中，对所述多路音频数据进行特征识别，得到特征识别结果的过程包括如下：
提取每一路音频数据的波形特征；
将所述波形特征输入至预先建立的音频识别模型中，得到特征识别结果。
在本实施例中，通过人工智能技术来对可识别的音频数据进行识别，本实施例通过以下步骤来建立识别模型：
获取包含目标信息的音频片段，其中，所述目标信息为施工现场存在目标场景时产生的音频信息；
提取所述音频片段的波形特征，并确定所述波形特征的标签，得到音频数据样本；
基于所述音频数据样本对人工神经网络进行训练，得到音频识别模型。
音频片段可以是一些特定场景下产生的音频片段，可以在这些特定场景下进行音频录制，得到音频片段。例如汽车进场、高空坠落、打桩机工作、工作人员呼救等场景的音频片段。在本申请中，还可以根据不同施工现场的特征录制不同的音频片段，从而构建不同的数据样本，从而使最终得到的音频识别模型更加贴近现场。
此外，本实施例中的标签即为特定场景的人工标注，训练得到的识别模型在对音频数据的波形特征进行识别时，其识别信息以标签的形式输出。如果标签信息为特定的场景，则判定音频数据存在目标信息。
在本实施例中，不管是进行音频识别，还是建立音频识别模型，都需要对音频数据进行特征提取。因为施工现场的环境十分嘈杂，导致音频数据十分复杂，如果不经过特征提取，直接对音频进行识别，会导致识别的准确率很低。因此，本申请通过如下步骤进行特征提取：
将每一路音频数据或者音频片段转换为PCM波形，其中，所述PCM波形包括多个采样时间点
Figure SMS_65
、以及多个采样时间点对应的幅值/>
Figure SMS_66
，其中，/>
Figure SMS_67
为自然数；/>
PCM（Pulse Code Modulation）脉冲编码调制是数字通信的编码方式之一。主要过程是将话音、图像等模拟信号每隔一定时间进行取样，使其离散化，同时将抽样值按分层单位四舍五入取整量化，同时将抽样值按一组二进制码来表示抽样脉冲的幅值。通过对音频数据进行PCM波形转换，可以便捷地在计算机中对音频数据进行处理。
从所述PCM波形中提取出满足第一目标条件的任意两个相邻点
Figure SMS_68
和/>
Figure SMS_69
，并将所述两个相邻点/>
Figure SMS_70
和/>
Figure SMS_71
作为第一特征点，其中，所述第一目标条件包括：
Figure SMS_72
，
其中，
Figure SMS_74
为第一特征点/>
Figure SMS_77
的幅值，/>
Figure SMS_80
第一特征点/>
Figure SMS_75
的采样时间点，/>
Figure SMS_78
为第一特征点/>
Figure SMS_79
的幅值，/>
Figure SMS_81
第一特征点/>
Figure SMS_73
的采样时间点，/>
Figure SMS_76
为幅度变化阈值；
通过第一目标条件可以提取了PCM波形中变化较大的两个点。由于施工现场环境嘈杂，得到的PCM波形较为混乱，为了对无效的信息（如底噪）进行过滤，只保留有用的信息，本申请将PCM波形中变化较大，能够体现出PCM波形变化的点进行保留。变化较大的两个第一特征点用于表征生意响度的变化，可以对一些有规律的声音（如有规律的敲击声、设备工作的轰鸣声）进行特征保留。
从所述PCM波形中提取出满足第二目标条件的任意三个相邻点
Figure SMS_82
、/>
Figure SMS_83
和/>
Figure SMS_84
，并将所述三个相邻点/>
Figure SMS_85
、/>
Figure SMS_86
和/>
Figure SMS_87
作为第二目标点，其中，第二目标条件包括：
Figure SMS_88
，
基于所述第一目标点、以及所述第二目标点构建波形特征。
通过第二目标条件可以有效地提取出PCM波形中的拐点，相邻拐点之间的时间差可以体现出声音的频率，也就保留了声调信息。由于PCM波形中的频率并不是恒定不变的，因此本实施例中为了有效地保留音频的全部声调信息，将所有的拐点进行提取，通过所有的拐点来体现音频的声调、声调变化特征。
本实施例中，通过保留PCM波形关键点的幅值、以及PCM波形的声调、声调变化特征来构建波形特征，从而在保留音频数据的有效信息的同时，过滤了许多无用了信息。不仅能够提高识别准确率，还可以提高识别效率。
步骤S130，所述响度变化率大于变化率阈值，或者所述特征识别结果包含目标信息时，基于所述多路音频数据对声源进行定位，得到声源位置；
在响度变化率大于变化阈值时，说明对应区域的环境产生变化。如果特征识别结果包含目标信息，则说明对应区域处于特定场景中。因此，需要对声源所在的位置进行定位，并调取声源位置的视频数据，以提示相关人员注意声源位置的安全。
在本申请一实施例中，基于所述多个音频数据对声源进行定位，得到声源位置，包括：
在一路音频数据出现目标事件时，将包含目标信息的音频数据对应的采集位置作为声源位置；所述目标事件包括音频数据的响度变化率大于变化率阈值、以及音频数据的特征识别结果包含目标信息
在多路音频数据出现目标事件时，基于包含目标信息的多个音频数据对应的采集位置对声源进行定位，得到声源位置。
如果只有一个特征识别结果包含目标信息，或者只有一路视频数据的响度变化率大于变化率阈值，则只能以采集到对应视频数据的音频采集设备的位置来对声源位置进行定位。
如果存在多个特征识别结果包含目标信息，或者有多路视频数据的响度变化率大于变化率阈值，便可以根据多个音频采集设备的位置、以及音频数据的特征来对声源位置进行定位。
在本申请一实施例中，基于包含目标信息的多路音频数据对应的采集位置对声源进行定位，得到声源位置，包括：
确定出现目标事件最早的三路音频数据、出现目标事件最早的三路音频数据对应的音频采集设备的采集位置，其中，采集位置包括第一采集位置、第二采集位置以及第三采集位置，第一采集位置为与声源位置最近的采集位置；
在本申请中，采用三点定位的方法来对声源位置进行定位，因此需要从多路音频数据中确定最早出现响度变化率大于变化率阈值，或者特征识别结果包含目标信息的三路音频数据。在本实施例中，如果只存在两路音频数据中出现目标事件，则按照只有一路音频数据出现目标事件的情形来处理，将对应的两路数据的音频采集设备的位置来调取对应的两路视频数据。
确定第一采集位置与声源位置的距离
Figure SMS_90
，并基于所述第一采集位置与声源位置的距离/>
Figure SMS_93
确定所述第二采集位置与声源位置的距离/>
Figure SMS_95
、以及所述第三采集位置与声源位置的距离/>
Figure SMS_91
，其中，/>
Figure SMS_94
，/>
Figure SMS_96
，/>
Figure SMS_97
为声音速度，/>
Figure SMS_89
为第一采集位置对应的音频数据出现所述目标事件的时间与第二采集位置对应的音频数据出现所述目标事件的时间的时间差，/>
Figure SMS_92
为第一采集位置对应的音频数据出现所述目标事件的时间与第三采集位置对应的音频数据出现所述目标事件的时间的时间差；
由于本申请中只是接收了音频信号，无法通过回声定位来确定声源与音频采集设备的距离。因此，本申请按照经验来确定声源位置与音频采集设备的大致位置范围。具体为：
获取所述第一采集位置对应的音频数据中所述目标信息的幅值；
基于所述幅值查询预先建立的对应关系表，得到第一采集位置与声源位置的距离范围，其中，所述对应关系表包括所述目标信息的幅值与距离范围的对应关系；
基于所述距离范围设置第一采集位置与声源位置的距离
Figure SMS_98
。
在本实施例中，通过识别出目标信息可以判定对应区域正在发生的事件，或者处于的场景。因此事先可以在施工场地进行试验，通过采集多种场景或者事件发生时，不同距离的音频数据幅值。并根据音频数据幅值、目标信息（如大车进场、打桩机施工等）、以及距离范围建立对应关系表。然后即可通过目标信息和对应音频数据的幅值来确定音频数据的大致距离范围。
在确定了最近的第一采集位置与声源的大致位置后，便可以通过三点定位法来对声源位置进行定位。三点定位法还需要对另外两个采集位置（第二采集位置、第三采集位置）与声源位置的距离进行测定。本实施例中，由于声速是固定的，通过三路音频数据发生目标事件的时间差来确定其他两个采集位置与声源位置的距离。
建立三点定位方程，并基于所述三点定位方程计算声源位置，所述三点定位方程的数学表达式为：
Figure SMS_99
，
Figure SMS_100
，
Figure SMS_101
，
其中，
Figure SMS_103
为声源位置的横坐标，/>
Figure SMS_105
为声源位置的纵坐标，/>
Figure SMS_108
为第一采集位置的横坐标，/>
Figure SMS_104
第一采集位置的纵坐标，/>
Figure SMS_106
为第二采集位置的横坐标，/>
Figure SMS_107
第二采集位置的纵坐标，/>
Figure SMS_109
为第三采集位置的横坐标，/>
Figure SMS_102
第三采集位置的纵坐标。
三点定位的原理是以三个采集位置与声源位置的距离建立三个圆形，圆形的半径为采集位置与声源位置的距离。上述公式中，三个采集位置的坐标是已知的，三个圆形的半径（距离范围）是已知的，已经将已有的参数代入至上述方程，即可求得声源位置的大致范围。
为了简化计算过程，以下过程将以简化后的数据进行演示：
第一采集位置的坐标为（0,0），第二采集位置的坐标为（1,0），第三采集位置的坐标为（0,1），确定的
Figure SMS_110
值为a；
将上述已知量代入至上述方程中，求得
Figure SMS_111
，/>
Figure SMS_112
，其中a是一个范围，因此最终计算得到的声源位置也是一个范围。
步骤S140，调用所述声源位置对应的目标视频数据，并基于所述声源位置对应的目标视频数据对所述声源位置进行监控。
调用所述声源位置对应的目标视频数据，包括：
确定覆盖范围包括所述声源位置的视频监控设备，并调用覆盖范围包括所述声源位置的视频监控设备的目标视频数据，其中，预先对所有视频监控设备的覆盖范围进行标注。
由于声源位置是一个范围，因此调用可以覆盖该范围的一路或者多路目标视频数据，并进行监控，从而将需要进行监控的地方进行监控。以使得工作人员能够及时发现安全问题。
本发明的一种建筑施工现场的安全监控方法，通过对施工现场的多路音频数据进行监控，然后确定多路音频数据的响度变化率，并对多路音频数据进行特征识别，得到特征识别结果；响度变化率大于变化率阈值，或者特征识别结果包含目标信息时，基于多路音频数据对声源进行定位，得到声源位置；调用声源位置对应的目标视频数据，并基于声源位置对应的目标视频数据对声源位置进行监控。本申请通过对施工现场的音频数据进行分析，在音频数据出现较大变化，或者音频数据中包含一些特定场景的目标信息时，直接调用对应位置的视频数据进行监控，从而能够着重监控容易出现安全事故的区域，以及时发现安全隐患。
如图2所示，本申请还提供一种建筑施工现场的安全监控***，包括：
获取模块，用于获取施工现场的多路视频数据、以及多路音频数据，其中，所述多路音频数据通过对施工现场的多个位置进行音频采集得到，所述多路视频数据通过对施工现场的多个位置进行视频采集得到；
确定和识别模块，用于确定所述多路音频数据的响度变化率，并对所述多路音频数据进行特征识别，得到特征识别结果；
定位模块，用于所述响度变化率大于变化率阈值，或者所述特征识别结果包含目标信息时，基于所述多个音频数据对声源进行定位，得到声源位置；
监控模块，用于调用所述声源位置对应的目标视频数据，并基于所述声源位置对应的目标视频数据对所述声源位置进行监控。
本发明的一种建筑施工现场的安全监控方法，通过对施工现场的多路音频数据进行监控，然后确定多路音频数据的响度变化率，并对多路音频数据进行特征识别，得到特征识别结果；响度变化率大于变化率阈值，或者特征识别结果包含目标信息时，基于多路音频数据对声源进行定位，得到声源位置；调用声源位置对应的目标视频数据，并基于声源位置对应的目标视频数据对声源位置进行监控。本申请通过对施工现场的音频数据进行分析，在音频数据出现较大变化，或者音频数据中包含一些特定场景的目标信息时，直接调用对应位置的视频数据进行监控，从而能够着重监控容易出现安全事故的区域，以及时发现安全隐患。
图3示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。需要说明的是，图3示出的电子设备的计算机***300仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图3所示，计算机***300包括中央处理单元（Central Processing Unit，CPU）301，其可以根据存储在只读存储器（Read-Only Memory，ROM）302中的程序或者从储存部分308加载到随机访问存储器（Random Access Memory，RAM）303中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 303中，还存储有***操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出（Input /Output，I/O）接口305也连接至总线304。
以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分307；包括硬盘等的储存部分308；以及包括诸如LAN（Local Area Network，局域网）卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入储存部分308。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元（CPU）301执行时，执行本申请的***中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前的方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的空气目标污染物组分预报模型训练和预报方法。
以上实施例仅是为充分说明本申请而所举的较佳的实施例，本申请的保护范围不限于此。本技术领域的技术人员在本申请基础上所作的等同替代或变换，均在本申请的保护范围之内。

Claims (10)

1.一种建筑施工现场的安全监控方法，其特征在于，包括步骤：
获取施工现场的多路视频数据、以及多路音频数据，其中，所述多路音频数据通过对施工现场的多个位置进行音频采集得到，所述多路视频数据通过对施工现场的多个位置进行视频采集得到；
确定所述多路音频数据的响度变化率，并对所述多路音频数据进行特征识别，得到特征识别结果；
所述响度变化率大于变化率阈值，或者所述特征识别结果包含目标信息时，基于所述多路音频数据对声源进行定位，得到声源位置；
调用所述声源位置对应的目标视频数据，并基于所述声源位置对应的目标视频数据对所述声源位置进行监控。
2.根据权利要求 1 所述的一种建筑施工现场的安全监控方法，其特征在于，确定所述多路音频数据的响度变化率，包括：
采集每一路音频数据的在多个时间点的音频响度
Figure QLYQS_1
，其中/>
Figure QLYQS_2
为自然数；
基于任意两个相邻时间点的音频响度确定对应一路音频数据的响度变化率
Figure QLYQS_3
，响度变化率/>
Figure QLYQS_4
的数学表达式为：
Figure QLYQS_5
，
式中，
Figure QLYQS_6
、/>
Figure QLYQS_7
分别为两个相邻时间点的音频响度，/>
Figure QLYQS_8
、/>
Figure QLYQS_9
分别为两个相邻时间点。
3.根据权利要求 1 所述的一种建筑施工现场的安全监控方法，其特征在于，对所述多路音频数据进行特征识别，得到特征识别结果，包括：
提取每一路音频数据的波形特征；
将所述波形特征输入至预先建立的音频识别模型中，得到特征识别结果。
4.根据权利要求 3 所述的一种建筑施工现场的安全监控方法，其特征在于，还包括如下过程建立所述音频识别模型：
获取包含目标信息的音频片段，其中，所述目标信息为施工现场存在目标场景时产生的音频信息；
提取所述音频片段的波形特征，并确定所述波形特征的标签，得到音频数据样本；
基于所述音频数据样本对人工神经网络进行训练，得到音频识别模型。
5.根据权利要求 4 所述的一种建筑施工现场的安全监控方法，其特征在于，还包括如下过程提取波形特征：
将每一路音频数据或者音频片段转换为PCM波形，其中，所述PCM波形包括多个采样时间点
Figure QLYQS_10
、以及多个采样时间点对应的幅值/>
Figure QLYQS_11
，其中，/>
Figure QLYQS_12
为自然数；
从所述PCM波形中提取出满足第一目标条件的任意两个相邻点
Figure QLYQS_13
和/>
Figure QLYQS_14
，并将所述两个相邻点/>
Figure QLYQS_15
和/>
Figure QLYQS_16
作为第一特征点，其中，所述第一目标条件包括：
Figure QLYQS_17
，
其中，
Figure QLYQS_20
为第一特征点/>
Figure QLYQS_23
的幅值，/>
Figure QLYQS_25
第一特征点/>
Figure QLYQS_19
的采样时间点，/>
Figure QLYQS_21
为第一特征点
Figure QLYQS_24
的幅值，/>
Figure QLYQS_26
第一特征点/>
Figure QLYQS_18
的采样时间点，/>
Figure QLYQS_22
为幅度变化阈值；/>
从所述PCM波形中提取出满足第二目标条件的任意三个相邻点
Figure QLYQS_27
、/>
Figure QLYQS_28
和/>
Figure QLYQS_29
，并将所述三个相邻点/>
Figure QLYQS_30
、/>
Figure QLYQS_31
和/>
Figure QLYQS_32
作为第二目标点，其中，第二目标条件包括：
Figure QLYQS_33
，
基于所述第一目标点、以及所述第二目标点构建波形特征。
6.根据权利要求 1 所述的一种建筑施工现场的安全监控方法，其特征在于，基于所述多个音频数据对声源进行定位，得到声源位置，包括：
在一路音频数据出现目标事件时，将包含目标信息的音频数据对应的采集位置作为声源位置；所述目标事件包括音频数据的响度变化率大于变化率阈值、以及音频数据的特征识别结果包含目标信息
在多路音频数据出现目标事件时，基于包含目标信息的多个音频数据对应的采集位置对声源进行定位，得到声源位置。
7.根据权利要求 6 所述的一种建筑施工现场的安全监控方法，其特征在于，基于包含目标信息的多路音频数据对应的采集位置对声源进行定位，得到声源位置，包括：
确定出现目标事件最早的三路音频数据、出现目标事件最早的三路音频数据对应的音频采集设备的采集位置，其中，采集位置包括第一采集位置、第二采集位置以及第三采集位置，第一采集位置为与声源位置最近的采集位置；
确定第一采集位置与声源位置的距离
Figure QLYQS_36
，并基于所述第一采集位置与声源位置的距离
Figure QLYQS_39
确定所述第二采集位置与声源位置的距离/>
Figure QLYQS_40
、以及所述第三采集位置与声源位置的距离/>
Figure QLYQS_35
，其中，/>
Figure QLYQS_38
，/>
Figure QLYQS_41
，/>
Figure QLYQS_42
为声音速度，/>
Figure QLYQS_34
为第一采集位置对应的音频数据出现所述目标事件的时间与第二采集位置对应的音频数据出现所述目标事件的时间的时间差，/>
Figure QLYQS_37
为第一采集位置对应的音频数据出现所述目标事件的时间与第三采集位置对应的音频数据出现所述目标事件的时间的时间差；
建立三点定位方程，并基于所述三点定位方程计算声源位置，所述三点定位方程的数学表达式为：
Figure QLYQS_43
，
Figure QLYQS_44
，
Figure QLYQS_45
，
其中，
Figure QLYQS_47
为声源位置的横坐标，/>
Figure QLYQS_49
为声源位置的纵坐标，/>
Figure QLYQS_51
为第一采集位置的横坐标，
Figure QLYQS_48
第一采集位置的纵坐标，/>
Figure QLYQS_50
为第二采集位置的横坐标，/>
Figure QLYQS_52
第二采集位置的纵坐标，/>
Figure QLYQS_53
为第三采集位置的横坐标，/>
Figure QLYQS_46
第三采集位置的纵坐标。
8.根据权利要求 1 所述的一种建筑施工现场的安全监控方法，其特征在于，调用所述声源位置对应的目标视频数据，包括：
确定覆盖范围包括所述声源位置的视频监控设备，并调用覆盖范围包括所述声源位置的视频监控设备的目标视频数据，其中，预先对所有视频监控设备的覆盖范围进行标注。
9.根据权利要求 7 所述的一种建筑施工现场的安全监控方法，其特征在于，确定第一采集位置与声源位置的距离
Figure QLYQS_54
，包括：
获取所述第一采集位置对应的音频数据中所述目标信息的幅值；
基于所述幅值查询预先建立的对应关系表，得到第一采集位置与声源位置的距离范围，其中，所述对应关系表包括所述目标信息的幅值与距离范围的对应关系；
基于所述距离范围设置第一采集位置与声源位置的距离
Figure QLYQS_55
。
10.一种建筑施工现场的安全监控***，其特征在于，包括：
获取模块，用于获取施工现场的多路视频数据、以及多路音频数据，其中，所述多路音频数据通过对施工现场的多个位置进行音频采集得到，所述多路视频数据通过对施工现场的多个位置进行视频采集得到；
确定和识别模块，用于确定所述多路音频数据的响度变化率，并对所述多路音频数据进行特征识别，得到特征识别结果；
定位模块，用于所述响度变化率大于变化率阈值，或者所述特征识别结果包含目标信息时，基于所述多个音频数据对声源进行定位，得到声源位置；
监控模块，用于调用所述声源位置对应的目标视频数据，并基于所述声源位置对应的目标视频数据对所述声源位置进行监控。
CN202310478610.1A 2023-04-28 2023-04-28 一种建筑施工现场的安全监控方法及*** Pending CN116193086A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310478610.1A CN116193086A (zh) 2023-04-28 2023-04-28 一种建筑施工现场的安全监控方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310478610.1A CN116193086A (zh) 2023-04-28 2023-04-28 一种建筑施工现场的安全监控方法及***

Publications (1)

Publication Number Publication Date
CN116193086A true CN116193086A (zh) 2023-05-30

Family

ID=86440693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310478610.1A Pending CN116193086A (zh) 2023-04-28 2023-04-28 一种建筑施工现场的安全监控方法及***

Country Status (1)

Country Link
CN (1) CN116193086A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006313169A (ja) * 2000-12-06 2006-11-16 Nsk Ltd 機械設備又は機器の異常診断方法および異常診断装置
CN101295015A (zh) * 2007-04-23 2008-10-29 财团法人工业技术研究院 声源定位***及声源定位方法
CN103364761A (zh) * 2013-07-12 2013-10-23 哈尔滨工业大学 一种室内声源定位***及采用该***定位室内声源的方法
CN106847306A (zh) * 2016-12-26 2017-06-13 华为技术有限公司 一种异常声音信号的检测方法及装置
CN109300471A (zh) * 2018-10-23 2019-02-01 中冶东方工程技术有限公司 融合声音采集识别的场区智能视频监控方法、装置及***
CN115424634A (zh) * 2022-08-30 2022-12-02 中国联合网络通信集团有限公司 音视频流数据处理方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006313169A (ja) * 2000-12-06 2006-11-16 Nsk Ltd 機械設備又は機器の異常診断方法および異常診断装置
CN101295015A (zh) * 2007-04-23 2008-10-29 财团法人工业技术研究院 声源定位***及声源定位方法
CN103364761A (zh) * 2013-07-12 2013-10-23 哈尔滨工业大学 一种室内声源定位***及采用该***定位室内声源的方法
CN106847306A (zh) * 2016-12-26 2017-06-13 华为技术有限公司 一种异常声音信号的检测方法及装置
CN109300471A (zh) * 2018-10-23 2019-02-01 中冶东方工程技术有限公司 融合声音采集识别的场区智能视频监控方法、装置及***
CN115424634A (zh) * 2022-08-30 2022-12-02 中国联合网络通信集团有限公司 音视频流数据处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN107680586B (zh) 远场语音声学模型训练方法及***
CN109671430B (zh) 一种语音处理方法及装置
EP3798902A1 (en) Method and apparatus for outputting information
CN111405475A (zh) 一种多维感知数据碰撞融合分析方法和装置
CN109545027B (zh) 一种实训台、乘务员仿真实训方法及装置
CN108370457A (zh) 烦扰噪声抑制
CN115272656A (zh) 环境检测报警方法、装置、计算机设备及存储介质
Elelu et al. Collision hazard detection for construction worker safety using audio surveillance
CN109634554B (zh) 用于输出信息的方法和装置
CN116193086A (zh) 一种建筑施工现场的安全监控方法及***
CN116156439B (zh) 智能穿戴电子对讲交互***
CN112990017B (zh) 一种智慧城市大数据分析方法及监控***
CN114898140A (zh) 一种基于paa算法的行为检测方法、装置及可读介质
CN111561962B (zh) 废气排放追溯方法、装置、设备和存储介质
Suhaimy et al. Classification of ambulance siren sound with MFCC-SVM
CN113111229B (zh) 基于正则表达式的接处警文本轨迹地地址提取方法和装置
CN113539298A (zh) 一种基于云边端的声音大数据分析计算图像化***
CN115311591A (zh) 异常行为的预警方法、装置及智能摄像头
CN113063843A (zh) 一种管道缺陷识别方法、装置及存储介质
CN117041331B (zh) 一种消防报警***及其方法
CN116192815B (zh) 一种工会会员在线直播与语音互动职代会管理方法
CN115546677B (zh) 基建现场信息处理方法、装置、设备和计算机可读介质
CN112735148B (zh) 营区车辆超速判别方法、装置、电子设备及存储介质
KR102500056B1 (ko) 경보 방송 방법 및 시스템
CN111382603B (zh) 一种轨迹计算装置、方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230530

RJ01 Rejection of invention patent application after publication