CN109151387A - 一种基于webRTC的移动摄像头人脸识别低延迟解决方法 - Google Patents

一种基于webRTC的移动摄像头人脸识别低延迟解决方法 Download PDF

Info

Publication number
CN109151387A
CN109151387A CN201810980968.3A CN201810980968A CN109151387A CN 109151387 A CN109151387 A CN 109151387A CN 201810980968 A CN201810980968 A CN 201810980968A CN 109151387 A CN109151387 A CN 109151387A
Authority
CN
China
Prior art keywords
face
transcoder
mobile terminal
webrtc
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810980968.3A
Other languages
English (en)
Other versions
CN109151387B (zh
Inventor
叶�武
潘瑶斌
方垚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dang Hong Polytron Technologies Inc
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Dang Hong Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dang Hong Polytron Technologies Inc filed Critical Hangzhou Dang Hong Polytron Technologies Inc
Priority to CN201810980968.3A priority Critical patent/CN109151387B/zh
Publication of CN109151387A publication Critical patent/CN109151387A/zh
Application granted granted Critical
Publication of CN109151387B publication Critical patent/CN109151387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种基于webRTC的移动摄像头人脸识别低延迟解决方法。它具体包括如下步骤：移动端发起人脸检测请求；由监控服务器向转码器发起转码任务；转码器向RTC服务器发起请求建立聊天房间；RTC服务器返回房间号给转码器；转码器告诉监控服务器房间号；监控服务器再告诉移动端房间号；移动端通过房间号连接RTC服务器加入房间；RTC服务器与通信云建立同房间的数据传输节点，基于webRTC进行时间低延迟数据传输；移动端开始发送数据经通信云给转码器；转码器建立一进两处任务，实现人脸抓拍和实时透传任务。本发明的有益效果是：能够有效的实现降低画面延迟问题，可以得出延迟结果大概在200ms到300ms之间，理论可以降到100ms以内。

Description

一种基于webRTC的移动摄像头人脸识别低延迟解决方法
技术领域
本发明涉及视频编解码相关技术领域，尤其是指一种基于webRTC的移动摄像头人脸识别低延迟解决方法。
背景技术
在开发手机端人脸监控项目中，发现用手机端发送rtmp流到服务器用于人脸识别时，发现画面延迟过大的问题，且手机端距离越远，走公网流的延迟会更高会达到十多秒。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种能够有效缩短延迟时间的基于webRTC的移动摄像头人脸识别低延迟解决方法。
为了实现上述目的，本发明采用以下技术方案：
一种基于webRTC的移动摄像头人脸识别低延迟解决方法，具体包括如下步骤：
(1)移动端发起人脸检测请求；
(2)由监控服务器向转码器发起转码任务；
(3)转码器向RTC服务器发起请求建立聊天房间；
(4)RTC服务器返回房间号给转码器；
(5)转码器告诉监控服务器房间号；
(6)监控服务器再告诉移动端房间号；
(7)移动端通过房间号连接RTC服务器加入房间；
(8)RTC服务器与通信云建立同房间的数据传输节点，基于webRTC进行时间低延迟数据传输；
(9)移动端开始发送数据经通信云给转码器；
(10)转码器建立一进两处任务，实现人脸抓拍和实时透传任务。
采用上述基于webRTC的移动摄像头人脸识别的低延迟解决方法，能够有效的实现降低画面延迟问题，利用opecv显示通过解码视频转成RBG24的数据，可以得出延迟结果大概在200ms到300ms之间，理论可以降到100ms以内；手机采用4G网络也差不多是这个延迟时间。
作为优选，在步骤(8)中，基于webRTC中具体包括RtcMessage、communication、通信云和硬件，其中RtcMessage是作为一个信令集，用于移动端向通信云发起请求创建房间或者加入房间，通信云创建房间成功后，再和移动端建立communication的通讯连接，由硬件采集音视频数据送向通信云或者接受通信云的数据。
作为优选，在步骤(10)中，转码器在建立一进两处任务时，采用了底层转码技术，继承了dshow框架进行实现，具体实现如下：首先由Source模块接入RTC服务器获取移动端视频数据，再由infTee模块分发数据到视频数据解码器decoder和视频拼针模块framewrapper，第一分支视频数据解码器decoder解析码流数据，再传给视频编码器encoder编译成RGB24图，传给人脸识别模块进行特征对比，从而抓拍人脸；第二分支视频拼针模块framewrapper传给FLVmux模块，生成RTMP直播流，添加音频静音包，进行实时透传。
作为优选，在步骤(10)中，收到视频数据，解码成H264裸数据，再把H264视频数据转化成RBG24图，用Opencv的cv::imshow方法将图不停刷新显示出来，达到实时观看的效果。
作为优选，在步骤(10)中，人脸抓拍包括人脸检测、人脸跟踪、人脸识别和活体验证四个部分，人脸检测指的是检测静态图片人脸并返回人脸框坐标、landmark坐标以及质量分数信息；人脸跟踪指的是对复杂场景下的监控或动态视频实现毫秒级的人脸跟踪检测，实时获得每一帧中所有人脸的人脸框坐标、landmark坐标以及质量分数信息，且不受人脸遮挡、模糊、侧脸因素的影响；人脸识别指的是用于1:1以及1：N的人脸识别比对，其中1:1比对在召回率96％的情况下误识率低于十万分之一，1：N比对在大规模不限人种、不限年龄的人像数据底库上实现毫秒级的检索；活体验证指的是验证移动端摄像头前是否为真人操作。
本发明的有益效果是：能够有效的实现降低画面延迟问题，利用opecv显示通过解码视频转成RBG24的数据，可以得出延迟结果大概在200ms到300ms之间，理论可以降到100ms以内。
附图说明
图1是本发明的方法流程图；
图2是基于webRTC的示意图；
图3是底层转码技术的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中，一种基于webRTC的移动摄像头人脸识别低延迟解决方法，具体包括如下步骤：
(1)移动端(Mobile App)发起人脸检测请求；
(2)由监控服务器(monitor server)向转码器(transcoder)发起转码任务；
(3)转码器(transcoder)向RTC服务器发起请求建立聊天房间；
(4)RTC服务器返回房间号(session id)给转码器(transcoder)；
(5)转码器(transcoder)告诉监控服务器(monitor server)房间号(sessionid)；
(6)监控服务器(monitor server)再告诉移动端(Mobile App)房间号(sessionid)；
(7)移动端(Mobile App)通过房间号(session id)连接RTC服务器加入房间；
(8)RTC服务器与通信云建立同房间的数据传输节点，基于webRTC进行时间低延迟数据传输；
如图2所示，基于webRTC中具体包括RtcMessage、communication、通信云和硬件，其中RtcMessage是作为一个信令集，用于移动端向通信云发起请求创建房间或者加入房间，通信云创建房间成功后，再和移动端建立communication的通讯连接，由硬件采集音视频数据送向通信云或者接受通信云的数据。
(9)移动端开始发送数据经通信云给转码器；
(10)转码器建立一进两处任务，实现人脸抓拍和实时透传任务；
转码器在建立一进两处任务时，采用了底层转码技术，继承了dshow框架进行实现，如图3所示，具体实现如下：首先由Source模块接入RTC服务器获取移动端视频数据，再由infTee模块分发数据到视频数据解码器decoder和视频拼针模块frame wrapper，第一分支视频数据解码器decoder解析码流数据，再传给视频编码器encoder编译成RGB24图，传给人脸识别模块进行特征对比，从而抓拍人脸；第二分支视频拼针模块frame wrapper传给FLVmux模块，生成RTMP直播流，添加音频静音包(且因为采用的是纯视频的传输机制，从而消除了AV同步所需要的时间)，从而适应一定需要音频的RTMP流播放器，进行实时透传。
DirectShow是一个windows平台上的流媒体框架(本方法继承了该框架并在linux下实现)，提供了高质量的多媒体流采集和回放功能。它支持多种多样的媒体文件格式，包括ASF、MPEG、AVI、MP3和WAV文件，同时支持使用WDM驱动或早期的VFW驱动来进行多媒体流的采集。DirectShow整合了其它的DirectX技术，能自动地侦测并使用可利用的音视频硬件加速，也能支持没有硬件加速的***。DirectShow大大简化了媒体回放、格式转换和采集工作。但与此同时，它也为用户自定义的解决方案提供了底层流控制框架，从而使用户可以自行创建支持新的文件格式或其它用途的DirectShow组件。以下是几个使用DirectShow编写的典型应用：DVD播放器、视频编辑应用、AVI到ASF转换器、MP3播放器和数字视频采集应用。
收到视频数据，解码成H264裸数据，再把H264视频数据转化成RBG24图，用Opencv的cv::imshow方法将图不停刷新显示出来，达到实时观看的效果。
人脸抓拍包括人脸检测、人脸跟踪、人脸识别和活体验证四个部分，人脸检测指的是检测静态图片人脸并返回人脸框坐标、landmark坐标以及质量分数信息，在FDDB测试集上，检测效果达到业界领先水平；人脸跟踪指的是对复杂场景下的监控或动态视频实现毫秒级的人脸跟踪检测，实时获得每一帧中所有人脸的人脸框坐标、landmark坐标以及质量分数信息，且不受人脸遮挡、模糊、侧脸因素的影响；人脸识别指的是用于1:1以及1：N的人脸识别比对，其中1:1比对在召回率96％的情况下误识率低于十万分之一，1：N比对在大规模不限人种、不限年龄的人像数据底库上实现毫秒级的检索，动态复杂场景下可以实现多路视频、多人脸的实时识别与告警，在LFW测试集上，准确率达到99.87％；活体验证指的是验证移动端摄像头前是否为真人操作，防止利用高清照片、三维模型、视频录像、换脸等仿冒行为，满足敏感行业对人脸识别的安全需求。
采用上述基于webRTC的移动摄像头人脸识别的低延迟解决方法，能够有效的实现降低画面延迟问题，利用opecv显示通过解码视频转成RBG24的数据，可以得出延迟结果大概在200ms到300ms之间，理论可以降到100ms以内；手机采用4G网络也差不多是这个延迟时间，移动端在远距离采用4G延迟会稍高在2S左右。

Claims (5)

1.一种基于webRTC的移动摄像头人脸识别低延迟解决方法，其特征是，具体包括如下步骤：
(1)移动端发起人脸检测请求；
(2)由监控服务器向转码器发起转码任务；
(3)转码器向RTC服务器发起请求建立聊天房间；
(4)RTC服务器返回房间号给转码器；
(5)转码器告诉监控服务器房间号；
(6)监控服务器再告诉移动端房间号；
(7)移动端通过房间号连接RTC服务器加入房间；
(8)RTC服务器与通信云建立同房间的数据传输节点，基于webRTC进行时间低延迟数据传输；
(9)移动端开始发送数据经通信云给转码器；
(10)转码器建立一进两处任务，利用opecv显示实现人脸抓拍和实时透传任务。
2.根据权利要求1所述的一种基于webRTC的移动摄像头人脸识别低延迟解决方法，其特征是，在步骤(8)中，基于webRTC中具体包括RtcMessage、communication、通信云和硬件，其中RtcMessage是作为一个信令集，用于移动端向通信云发起请求创建房间或者加入房间，通信云创建房间成功后，再和移动端建立communication的通讯连接，由硬件采集音视频数据送向通信云或者接受通信云的数据。
3.根据权利要求1或2所述的一种基于webRTC的移动摄像头人脸识别低延迟解决方法，其特征是，在步骤(10)中，转码器在建立一进两处任务时，采用了底层转码技术，继承了dshow框架进行实现，具体实现如下：首先由Source模块接入RTC服务器获取移动端视频数据，再由infTee模块分发数据到视频数据解码器decoder和视频拼针模块frame wrapper，第一分支视频数据解码器decoder解析码流数据，再传给视频编码器encoder编译成RGB24图，传给人脸识别模块进行特征对比，从而抓拍人脸；第二分支视频拼针模块framewrapper传给FLVmux模块，生成RTMP直播流，添加音频静音包，进行实时透传。
4.根据权利要求3所述的一种基于webRTC的移动摄像头人脸识别低延迟解决方法，其特征是，在步骤(10)中，收到视频数据，解码成H264裸数据，再把H264视频数据转化成RBG24图，用Opencv的cv::imshow方法将图不停刷新显示出来，达到实时观看的效果。
5.根据权利要求1所述的一种基于webRTC的移动摄像头人脸识别低延迟解决方法，其特征是，在步骤(10)中，人脸抓拍包括人脸检测、人脸跟踪、人脸识别和活体验证四个部分，人脸检测指的是检测静态图片人脸并返回人脸框坐标、landmark坐标以及质量分数信息；人脸跟踪指的是对复杂场景下的监控或动态视频实现毫秒级的人脸跟踪检测，实时获得每一帧中所有人脸的人脸框坐标、landmark坐标以及质量分数信息，且不受人脸遮挡、模糊、侧脸因素的影响；人脸识别指的是用于1:1以及1：N的人脸识别比对，其中1:1比对在召回率96％的情况下误识率低于十万分之一，1：N比对在大规模不限人种、不限年龄的人像数据底库上实现毫秒级的检索；活体验证指的是验证移动端摄像头前是否为真人操作。
CN201810980968.3A 2018-08-27 2018-08-27 一种基于webRTC的移动摄像头人脸识别低延迟解决方法 Active CN109151387B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810980968.3A CN109151387B (zh) 2018-08-27 2018-08-27 一种基于webRTC的移动摄像头人脸识别低延迟解决方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810980968.3A CN109151387B (zh) 2018-08-27 2018-08-27 一种基于webRTC的移动摄像头人脸识别低延迟解决方法

Publications (2)

Publication Number Publication Date
CN109151387A true CN109151387A (zh) 2019-01-04
CN109151387B CN109151387B (zh) 2020-10-23

Family

ID=64828178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810980968.3A Active CN109151387B (zh) 2018-08-27 2018-08-27 一种基于webRTC的移动摄像头人脸识别低延迟解决方法

Country Status (1)

Country Link
CN (1) CN109151387B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868609A (zh) * 2019-12-02 2020-03-06 杭州当虹科技股份有限公司 一种视频直播监控及规范的方法
CN112491924A (zh) * 2020-12-09 2021-03-12 威创集团股份有限公司 跨平台人脸识别登录方法、***及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017118241A (ja) * 2015-12-22 2017-06-29 西日本電信電話株式会社 音声映像通信システム、サーバ、仮想クライアント、音声映像通信方法、および音声映像通信プログラム
CN107027045A (zh) * 2017-04-11 2017-08-08 广州华多网络科技有限公司 视频流推送控制方法、装置及视频流导播端
CN107995187A (zh) * 2017-11-30 2018-05-04 上海哔哩哔哩科技有限公司 基于html5浏览器的视频主播、直播方法、终端和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017118241A (ja) * 2015-12-22 2017-06-29 西日本電信電話株式会社 音声映像通信システム、サーバ、仮想クライアント、音声映像通信方法、および音声映像通信プログラム
CN107027045A (zh) * 2017-04-11 2017-08-08 广州华多网络科技有限公司 视频流推送控制方法、装置及视频流导播端
CN107995187A (zh) * 2017-11-30 2018-05-04 上海哔哩哔哩科技有限公司 基于html5浏览器的视频主播、直播方法、终端和***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868609A (zh) * 2019-12-02 2020-03-06 杭州当虹科技股份有限公司 一种视频直播监控及规范的方法
CN112491924A (zh) * 2020-12-09 2021-03-12 威创集团股份有限公司 跨平台人脸识别登录方法、***及存储介质
CN112491924B (zh) * 2020-12-09 2022-03-22 威创集团股份有限公司 跨平台人脸识别登录方法、***及存储介质

Also Published As

Publication number Publication date
CN109151387B (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
US11463779B2 (en) Video stream processing method and apparatus, computer device, and storage medium
US11622149B2 (en) Methods and apparatus for an embedded appliance
US9478256B1 (en) Video editing processor for video cloud server
WO2019205870A1 (zh) 视频流处理方法、装置、计算机设备及存储介质
US10951857B2 (en) Method and system for video recording
RU2497298C2 (ru) Система и способ хранения мультимедийных презентаций, имеющих несколько источников
CN105979355A (zh) 一种播放视频的方法及装置
CN110740386B (zh) 直播切换方法、装置及存储介质
WO2018166162A1 (zh) 一种音视频直播中检测客户端播放状态的***及方法
CN109089173B (zh) 一种检测智能电视终端广告投放的方法及***
CN109151387A (zh) 一种基于webRTC的移动摄像头人脸识别低延迟解决方法
CN106792154A (zh) 视频播放器的跳帧同步***及其控制方法
WO2020215454A1 (zh) 一种屏幕录制的方法、客户端和终端设备
CN103188474A (zh) 一种视频智能分析***及其监控录像的存储和播放方法
CN108234940A (zh) 一种视频监控服务端、***及方法
TWM257575U (en) Encoder and decoder for audio and video information
CN108665749A (zh) 云桌面下的多媒体教学***的显示装置及多媒体教学***
KR102248097B1 (ko) 컨텐츠전송방법 및 이를 이용한 컨텐츠 생성 단말
US11785278B1 (en) Methods and systems for synchronization of closed captions with content output
US20220398216A1 (en) Appliances and methods to provide robust computational services in addition to a/v encoding, for example at edge of mesh networks
CN115037951B (zh) 直播处理方法及装置
US20230071585A1 (en) Video compression and streaming
US20210258656A1 (en) Technologies for communicating an enhanced event experience
US20150281780A1 (en) Video system with customized tiling and methods for use therewith
CN114222161A (zh) 一种具有互动功能的沉浸式影像同步播放***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant