CN111050120A - 一种非制冷型中长波红外视频通信方法及*** - Google Patents

一种非制冷型中长波红外视频通信方法及*** Download PDF

Info

Publication number
CN111050120A
CN111050120A CN201911099622.3A CN201911099622A CN111050120A CN 111050120 A CN111050120 A CN 111050120A CN 201911099622 A CN201911099622 A CN 201911099622A CN 111050120 A CN111050120 A CN 111050120A
Authority
CN
China
Prior art keywords
video
video stream
fire
stream
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911099622.3A
Other languages
English (en)
Other versions
CN111050120B (zh
Inventor
黄兆年
邵宏峰
李恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
709th Research Institute of CSIC
Original Assignee
709th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 709th Research Institute of CSIC filed Critical 709th Research Institute of CSIC
Priority to CN201911099622.3A priority Critical patent/CN111050120B/zh
Publication of CN111050120A publication Critical patent/CN111050120A/zh
Application granted granted Critical
Publication of CN111050120B publication Critical patent/CN111050120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Optical Communication System (AREA)

Abstract

本发明涉及红外视频通信技术领域，尤其涉及一种非制冷型中长波红外视频通信方法及***。所述方法包括：S1，建立消防员与消防指挥车之间的通信连接；所述消防指挥车可同时连接若干个消防员；S2，获取场景视频流以及语音信息流；S3，对所述场景视频流进行目标边缘信息提取，获取经过处理后的视频流；S4，将经过处理后的所述视频流呈现在消防员AR眼镜上；所述***包括通信模块、视频采集模块、信息提取模块和视频输出模块；本发明实施例所述***执行上述方法，通过显卡着色器并行处理所述场景视频流，进行目标边缘信息提取，提高了边缘信息提取速度，改善时延。

Description

一种非制冷型中长波红外视频通信方法及***
技术领域
本发明涉及红外视频通信技术领域，尤其涉及一种非制冷型中长波红外视频通信方法及***。
背景技术
消防头戴显视***的关键技术就是把消防员观察到的情况通过网络传到车载服务器***。WebRTC(Web Real-Time Communications，网络实时通信技术，以下简称WebRTC)，它允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点(Peer-to-Peer)的连接，实现视频流或/和音频流或者其他任意数据的传输。我国消防员头戴设备都比较落后，美国最新的消防头戴显示***集成了大量高新科技，在消防救险过程中，消防员进入火灾现场浓烟状态中，看不清目标物体，就不可以有效地救治伤员，同时也危害到自己的生命安全，这些新的技术提升消防员生命安全性以及提高了整个消防救灾的效率。
随着技术的发展，非制冷型中长波红外摄像头避免了传统制冷型红外摄像头体积笨重，使用不便的缺点，7到14um的中长波红外线可有效穿透浓烟，捕捉由物体温差形成的视频；消防员在快速移动过程中，物体边缘信息的提取速度是至关重要的。传统的边缘检测方法是非制冷中长波红外摄像头获取YUV格式火灾场景视频，通过视频采集卡得到处理后的视频流，加载到内存；CPU通过边缘检测，如prewitt算子计算出目标的边缘视频流，再把边缘视频流加载到内存中，内存中的视频流再进入显卡显存；最后呈现在消防员的头戴AR眼镜上，具体的图1为现有技术流程示意图，如图1所示。
现有技术存在的问题是，在救灾现场，消防指挥车和消防员之间通过专用的车载基站联系，带宽不稳定，传统的物体的边缘信息提取方法，包含很多冗杂的信息，在经过CPU处理时，根据CPU的性能不同，提取信息的速度也存在差异，需要十几ms到几十ms不等，消防员在快速移动的过程中，目标的边缘与实际存在较大滞后。
发明内容
本发明克服现有技术的不足，提供了一种非制冷型中长波红外视频通信方法及***，减少了物体的冗杂的信息，提高了边缘信息提取速度，改善时延。
一方面，本发明实施例提供一种非制冷型中长波红外视频通信方法，包括以下步骤：
S1，建立消防员与消防指挥车之间的通信连接；所述消防指挥车可同时连接若干个消防员；
S2，获取场景视频流以及语音信息流；所述场景视频流为YUV格式，所述语音信息流为消防员与消防指挥车之间沟通的语音指令；
S3，对所述场景视频流进行目标边缘信息提取，获取经过处理后的视频流；具体包括通过显卡着色器并行处理所述场景视频流，对所述目标边缘信息提取；所述显卡着色器为若干个；
S4，将经过处理后的所述视频流呈现在消防员AR眼镜上。
另一方面，本发明实施例提供一种非制冷型中长波红外视频通信***，包括：
通信模块，建立消防员与消防指挥车之间的通信连接；所述消防指挥车可同时连接若干个消防员；
视频采集模块，获取场景视频流以及语音信息流；所述视频流为YUV格式，所述语音信息流为消防员与消防指挥车之间沟通的语音指令；
信息提取模块，对所述场景视频流进行目标边缘信息提取，获取经过处理后的视频流；具体包括通过显卡着色器并行处理所述场景视频流，对所述目标边缘信息提取；所述显卡着色器为若干个；
视频输出模块，将经过处理后的所述视频流呈现在消防员AR眼镜上。
本发明实施例提供了一种非制冷型中长波红外视频通信方法及***，通过显卡着色器并行处理所述场景视频流，进行目标边缘信息提取，提高了边缘信息提取速度，改善时延。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术流程示意图；
图2本发明实施例一种非制冷型中长波红外视频通信方法流程示意图；
图3本发明实施例一种非制冷型中长波红外视频通信方法子流程示意图；
图4本发明实施例一种非制冷型中长波红外视频通信***结构示意图；
附图标记：
通信模块-1视频采集模块-2信息提取模块-3视频输出模块-4。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图2本发明实施例一种非制冷型中长波红外视频通信方法流程示意图；如图2所示，包括以下步骤：
S1，建立消防员与消防指挥车之间的通信连接；所述消防指挥车可同时连接若干个消防员；
S2，获取场景视频流以及语音信息流；所述场景视频流为YUV格式，所述语音信息流为消防员与消防指挥车之间沟通的语音指令；
S3，对所述场景视频流进行目标边缘信息提取，获取经过处理后的视频流；具体包括通过显卡着色器并行处理所述场景视频流，对所述目标边缘信息提取；所述显卡着色器为若干个；
S4，将经过处理后的所述视频流呈现在消防员AR眼镜上。
具体地，基于webrtc通信技术使所有消防员和消防指挥车之间保持联系，并在低宽带情况下保持整个***低延时；消防员头戴非制冷型中长波红外摄像头获取到周围场景视频流，GPU内若干个显卡着色器并行处理场景视频流，经过目标边缘信息提取处理，形成处理后的低码率视频流，实时呈现在消防员AR眼镜上，消防员可以对周围情况进行准确、及时的判断，提升消防员生命安全性以及提高了整个消防救灾的效率。
本发明实施例提供了一种非制冷型中长波红外视频通信方法，通过显卡着色器并行处理所述场景视频流，进行目标边缘信息提取，消防员在快速移动过程中，提高了边缘信息提取速度，改善目标的边缘信息与实际时延。
进一步地，图3本发明实施例一种非制冷型中长波红外视频通信方法子流程示意图；如图3所示，所述步骤S3具体包括：
S31，所述场景视频流进入显卡显存；
S32，所述显卡着色器并行处理显卡显存中的场景视频流；所述显卡着色器为若干个；
S33，通过shader编程语言对所述场景视频流中的目标进行边缘检测、提取目标的边缘信息。
具体地，若干个显卡着色器并行处理显卡显存中的场景视频流，通过shader编程语言计算处理，去除冗杂信息，这保留边缘信息提取，使经过处理后的视频流整体的码率变为原来的20％，由于消防指挥车和消防员之间通过专用的车载基站联系，因而带宽不稳定；在这样的低带宽环境下，保证以较低码率的视频流在消防员和消防指挥车之间通信，同时不丢失关键的目标信息，进一步提高边缘信息提取降的速度，降低时延。
进一步地，所述S4还包括将经过处理后的所述视频流发送到消防指挥车；所述消防指挥车对接收的所有经过处理后的所述视频流进行实时存储。结合图1，消防指挥车将所有消防员发来的经过处理后的所述视频流进行实时存储，以便于转发或者回放。
进一步地，所述消防指挥车根据消防员视频切换请求指令，将对应的所述视频流实时发送给消防员。例如，如果消防员1如果需要消防员N的视野，通过语音指令发送视频切换请求指令，消防指挥车把消防员N的视频流实时切换给消防员1，消防员1就可以看到消防员N周围的场景。
进一步地，所述消防指挥车在紧急情况时，将所述语音指令或经过处理后的所述视频流发送到各消防员；实现消防指挥车对消防员进行统一指挥调度。
本发明实施例提供了一种非制冷型中长波红外视频通信方法，通过显卡着色器并行处理所述场景视频流，进行目标边缘信息提取，消防员在快速移动过程中，提高了边缘信息提取速度，改善目标的边缘信息与实际时延；通过shader编程语言对所述场景视频流中的目标计算，进行边缘检测、提取目标的边缘信息，去除冗杂信息，使经过处理后的视频流整体的码率变为原来的20％，进一步提高在低宽带环境下提高边缘信息提取降的速度，降低时延；消防指挥车对所有消防员发送的过处理后的视频流进行存储，可在低宽带环境下，可按照各个消防员需求，实时切换到其他消防员周边环境视频；同时，消防指挥车在紧急情况时，将所述语音指令或经过处理后的所述视频流发送到各消防员；实现消防指挥车对消防员进行统一指挥调度。
基于上述实施例，图4本发明实施例一种非制冷型中长波红外视频通信***结构示意图；如图4所示，包括：
通信模块1，建立消防员与消防指挥车之间的通信连接；所述消防指挥车可同时连接若干个消防员；
视频采集模块2，获取场景视频流以及语音信息流；所述视频流为YUV格式，所述语音信息流为消防员与消防指挥车之间沟通的语音指令；
信息提取模块3，对所述场景视频流进行目标边缘信息提取，获取经过处理后的视频流；具体包括通过显卡着色器并行处理所述场景视频流，对所述目标边缘信息提取；所述显卡着色器为若干个；
视频输出模块4，将经过处理后的所述视频流呈现在消防员AR眼镜上。
本发明实施例提供了一种非制冷型中长波红外视频通信***执行上述方法，通过显卡着色器并行处理所述场景视频流，进行目标边缘信息提取，消防员在快速移动过程中，提高了边缘信息提取速度，改善目标的边缘信息与实际时延；通过shader编程语言对所述场景视频流中的目标计算，进行边缘检测、提取目标的边缘信息，去除冗杂信息，使经过处理后的视频流整体的码率变为原来的20％，进一步提高在低宽带环境下提高边缘信息提取降的速度，降低时延；消防指挥车对所有消防员发送的过处理后的视频流进行存储，可在低宽带环境下，可按照各个消防员需求，实时切换到其他消防员周边环境视频；同时，消防指挥车在紧急情况时，将所述语音指令或经过处理后的所述视频流发送到各消防员；实现消防指挥车对消防员进行统一指挥调度。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种非制冷型中长波红外视频通信方法，其特征在于，包括以下步骤：
S1，建立消防员与消防指挥车之间的通信连接；所述消防指挥车可同时连接若干个消防员；
S2，获取场景视频流以及语音信息流；所述场景视频流为YUV格式，所述语音信息流为消防员与消防指挥车之间沟通的语音指令；
S3，对所述场景视频流进行目标边缘信息提取，获取经过处理后的视频流；具体包括通过显卡着色器并行处理所述场景视频流，对所述目标边缘信息提取；所述显卡着色器为若干个；
S4，将经过处理后的所述视频流呈现在消防员AR眼镜上。
2.根据权利要求1所述的一种非制冷型中长波红外视频通信方法，其特征在于，所述步骤S3具体包括：
S31，所述场景视频流进入显卡显存；
S32，所述显卡着色器并行处理显卡显存中的场景视频流；
S33，通过shader编程语言对所述场景视频流中的目标进行边缘检测、提取目标的边缘信息。
3.根据权利要求1所述的一种非制冷型中长波红外视频通信方法，其特征在于，所述S4还包括将经过处理后的所述视频流发送到消防指挥车；所述消防指挥车对接收的所有经过处理后的所述视频流进行实时存储。
4.根据权利要求3所述的一种非制冷型中长波红外视频通信方法，其特征在于，所述消防指挥车根据消防员视频切换请求指令，将对应的所述视频流实时发送给消防员。
5.根据权利要求4所述的一种非制冷型中长波红外视频通信方法，其特征在于，所述消防指挥车在紧急情况时，将所述语音指令或经过处理后的所述视频流发送到各消防员。
6.一种非制冷型中长波红外视频通信***，其特征在于，包括：
通信模块(1)，建立消防员与消防指挥车之间的通信连接；所述消防指挥车可同时连接若干个消防员；
视频采集模块(2)，获取场景视频流以及语音信息流；所述场景视频流为YUV格式，所述语音信息流为消防员与消防指挥车之间沟通的语音指令；
信息提取模块(3)，对所述场景视频流进行目标边缘信息提取，获取经过处理后的视频流；具体包括通过显卡着色器并行处理所述场景视频流，对所述目标边缘信息提取；所述显卡着色器为若干个；
视频输出模块(4)，将经过处理后的所述视频流呈现在消防员AR眼镜上。
7.根据权利要求6所述的一种非制冷型中长波红外视频通信***，其特征在于，所述信息提取模块(3)具体包括：所述场景视频流进入显卡显存；所述显卡着色器并行处理显卡显存中的场景视频流；通过shader编程语言对所述场景视频流中的目标进行边缘检测、提取目标的边缘信息。
8.根据权利要求6所述的一种非制冷型中长波红外视频通信***，其特征在于，所述视频输出模块(4)将经过处理后的所述视频流发送到消防指挥车；所述消防指挥车对接收的所有经过处理后的所述视频流进行实时存储。
9.根据权利要求8所述的一种非制冷型中长波红外视频通信***，其特征在于，所述消防指挥车根据消防员视频切换请求指令，将对应的所述视频流实时发送给消防员。
10.根据权利要求9所述的一种非制冷型中长波红外视频通信***，其特征在于，所述消防指挥车在紧急情况时，将所述语音指令或经过处理后的所述视频流发送到各消防员。
CN201911099622.3A 2019-11-12 2019-11-12 一种非制冷型中长波红外视频通信方法及*** Active CN111050120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911099622.3A CN111050120B (zh) 2019-11-12 2019-11-12 一种非制冷型中长波红外视频通信方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911099622.3A CN111050120B (zh) 2019-11-12 2019-11-12 一种非制冷型中长波红外视频通信方法及***

Publications (2)

Publication Number Publication Date
CN111050120A true CN111050120A (zh) 2020-04-21
CN111050120B CN111050120B (zh) 2021-07-09

Family

ID=70232336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911099622.3A Active CN111050120B (zh) 2019-11-12 2019-11-12 一种非制冷型中长波红外视频通信方法及***

Country Status (1)

Country Link
CN (1) CN111050120B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465689A (zh) * 2020-10-21 2021-03-09 中国船舶重工集团公司第七0九研究所 基于可见显存交换区的gpu不可见显存管理方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016160A (en) * 1993-03-31 2000-01-18 Cairns & Brother Inc. Combination head-protective helmet and thermal imaging apparatus
CN104156188A (zh) * 2014-08-04 2014-11-19 西安电子科技大学 一种高帧频红外场景生成与输出***及方法
CN104639912A (zh) * 2015-02-11 2015-05-20 尼森科技（湖北）有限公司 一种基于红外三维成像的单兵消防救灾设备与***
CN108853832A (zh) * 2018-08-08 2018-11-23 中国电子科技集团公司第二十八研究所 一种智能消防头盔
CN109688350A (zh) * 2019-02-25 2019-04-26 苏州长风航空电子有限公司 基于非制冷型红外热像仪的视频处理***
CN109998213A (zh) * 2019-04-26 2019-07-12 中航华东光电有限公司 一种新型ar消防头盔

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016160A (en) * 1993-03-31 2000-01-18 Cairns & Brother Inc. Combination head-protective helmet and thermal imaging apparatus
CN104156188A (zh) * 2014-08-04 2014-11-19 西安电子科技大学 一种高帧频红外场景生成与输出***及方法
CN104639912A (zh) * 2015-02-11 2015-05-20 尼森科技（湖北）有限公司 一种基于红外三维成像的单兵消防救灾设备与***
CN108853832A (zh) * 2018-08-08 2018-11-23 中国电子科技集团公司第二十八研究所 一种智能消防头盔
CN109688350A (zh) * 2019-02-25 2019-04-26 苏州长风航空电子有限公司 基于非制冷型红外热像仪的视频处理***
CN109998213A (zh) * 2019-04-26 2019-07-12 中航华东光电有限公司 一种新型ar消防头盔

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465689A (zh) * 2020-10-21 2021-03-09 中国船舶重工集团公司第七0九研究所 基于可见显存交换区的gpu不可见显存管理方法及***

Also Published As

Publication number Publication date
CN111050120B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN110856018B (zh) 一种基于云计算的监控***中的快速转码方法及***
CN109147253B (zh) 一种智慧消防安全预判管理联动平台
CN111050120B (zh) 一种非制冷型中长波红外视频通信方法及***
CN109920099B (zh) 可移动模块化智慧消防执勤保障装备及相关产品
CN108616914A (zh) 一种断线重连的方法及装置
CN111695541A (zh) 基于机器视觉的无人机森林防火***及方法
KR20220075275A (ko) 카메라 가림 검출 방법, 장치, 기기, 저장 매체 및 프로그램
CN114971409A (zh) 一种基于物联网的智慧城市火灾监控预警方法及***
CN112530021A (zh) 用于处理数据的方法、装置、设备以及存储介质
CN109685835B (zh) 一种海量卫星影像数据输电线路火点提取的方法和装置
CN103974029A (zh) 视频监控的方法、***及装置
CN115297305A (zh) 一种基于边缘计算的多视频流安全风险预警***及方法
CN115861915A (zh) 消防通道监控方法、消防通道监控装置以及存储介质
CN112822070A (zh) 一种物联网设备监控方法
CN114579358A (zh) 一种基于元宇宙的虚拟运维诊断平台
CN109525945B (zh) 一种消防救援通信***及通信方法
CN111669488A (zh) 一种视频监控与消防报警联动***及其方法
CN113628172A (zh) 一种人员手持武器智能检测算法及智慧城市安防***
CN116485165B (zh) 基于融合因素的森林消防策略制定方法、***及存储介质
CN108564762A (zh) 一种基于分布式计算的森林烟火识别智能云***
CN116824480A (zh) 基于DeepStream的监控视频分析方法及***
JP7263478B2 (ja) ターゲット検出の信頼度を確定する方法、装置、電子機器、記憶媒体、路側機、クラウド制御プラットフォーム及びコンピュータプログラム
CN115022722A (zh) 视频监控方法、装置、电子设备及存储介质
CN111541864B (zh) 一种数字视网膜软件定义摄像机方法及***
CN111080954A (zh) 一种基于智慧城市消防远程监控***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant