CN112911221B - 一种基于5g和vr视频的远程实景仓储监管*** - Google Patents

一种基于5g和vr视频的远程实景仓储监管*** Download PDF

Info

Publication number
CN112911221B
CN112911221B CN202110055913.3A CN202110055913A CN112911221B CN 112911221 B CN112911221 B CN 112911221B CN 202110055913 A CN202110055913 A CN 202110055913A CN 112911221 B CN112911221 B CN 112911221B
Authority
CN
China
Prior art keywords
video
image
warehouse
remote
goods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110055913.3A
Other languages
English (en)
Other versions
CN112911221A (zh
Inventor
冯若寅
仲跻炜
朱彭生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ouye Yunshang Co ltd
Original Assignee
Ouye Yunshang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ouye Yunshang Co ltd filed Critical Ouye Yunshang Co ltd
Priority to CN202110055913.3A priority Critical patent/CN112911221B/zh
Publication of CN112911221A publication Critical patent/CN112911221A/zh
Application granted granted Critical
Publication of CN112911221B publication Critical patent/CN112911221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于5G和VR视频的远程实景仓储监管***，该***包括仓库属地VR监控侧：包括安装在仓库内用以实现仓库VR视频采集的VR摄像机以及接收VR摄像机采集的VR图像信号实现图像拼接和视频监管的VR视频服务器；5G数据传输网络：包括通过仓库5G CPE设备与各仓库属地VR监控侧的VR视频服务器实现5G通信的仓库5G基站、与各仓库5G基站通信的核心网以及通过核心网与远程监控侧通信的公有云平台；远程监控侧：包括依次通过远程5G基站和远程5G CPE设备与核心网连接的VR一体机和远程监控侧PC机。与现有技术相比，本发明具有便利高效、全角度实景监管、保证异地流畅视频清晰度、大幅提高监管效率等优点。

Description

一种基于5G和VR视频的远程实景仓储监管***
技术领域
本发明涉及远程仓储监控领域，尤其是涉及一种基于5G和VR视频的远程实景仓储监管***。
背景技术
现有的远程仓储监管运营方案，主要是采用地区性的安防监控***为主，随着业务范围的逐步扩大和技术手段的升级，现有方案有以下几个方面的缺点：
1、仓库现场视频***主要采用局域网组网结合安防监控***的实景摄像方案，视频服务也主要面向属地驻场的管理单位，普遍不具备面向公网服务条件，集中运营难以实现；
2、安防监控需多点部署定向摄像头或球机摄像头覆盖现场环境，单幅成像间切换位置不直观、需要一定的熟悉程度，导致推广使用难度大，特别面向远程集中运营的需求不了解画面位置的情况很容易看晕；
3、安防类***架构及部署规模大，投入条件多和建设周期长，较难实现广泛各地覆盖等大规模场景应用情况。
综上所述，随技术发展，现有的监控方案限制了同类需求的衍生实现，需要提出一种新模式的远程实景仓储监管方法。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于5G和VR视频的远程实景仓储监管***。
本发明的目的可以通过以下技术方案来实现：
一种基于5G和VR视频的远程实景仓储监管***，包括：
仓库属地VR监控侧：包括安装在仓库内用以实现仓库VR视频采集的VR摄像机以及接收VR摄像机采集的VR图像信号实现图像拼接和视频监管的VR视频服务器；
5G数据传输网络：包括通过仓库5G CPE设备与各仓库属地VR监控侧的VR视频服务器实现5G通信的仓库5G基站、与各仓库5G基站通信的核心网以及通过核心网与远程监控侧通信的公有云平台；
远程监控侧：包括依次通过远程5G基站和远程5G CPE设备与核心网连接的VR一体机和远程监控侧PC机。
所述的VR摄像机采用8K VR全景相机，并且通过LAN与VR视频服务器直连。
所述的VR视频服务器与核心网通过有线方式或通过5G实现的WIFI覆盖信号进行通信。
所述的VR视频服务器包括视频拼接功能和边缘多目视频监控功能。
所述的视频拼接功能具体为：
VR视频服务器将VR摄像机采集到的多路六目4K视频信号通过RANSAC随机采样一致性算法进行图像拼接得到8K视频，即全景图，并发送到核心网，具体为：
将六目4K视频在视频叠角边界的图像区域进行拼接，全景相机的每个镜头负责60度左右角区域视频数据，对于超出60度的图像，先找到相邻两帧图像之间边界区域的点阵图像以及点阵特征值的匹配信息，通过匹配后的图像点阵，剔除不一致的匹配点，提取纵向方向两个区域点后获取周边点阵特征值差异点，通过匹配度的阈值设定，选择最优的纵向两个点阵位置，作为图像拼接的纵线分界线，形成图像拼接边界值，在完成六目4K图像拼接后与原始视频帧共同进行VR视频服务器的本地数据存储。
所述的边缘多目视频监控功能具体为：
VR视频服务器通过对未拼接的原始多路六目4K视频信号，或对拼接后的8K视频进行抽帧处理，获取图像中对于设定仓库货品监管区域内行车对货品的装卸操作事件和非钢卷对象的变动记录并线上推送。
所述的公有云平台包括云端视频监控功能，具体为：
对拼接后的8K视频进行抽帧处理，进行事件变动监控记录，包括人员在仓库货品区域内的行为识别和安全识别。
所述的边缘多目视频监控功能通过边缘视频模型实现，具体包括以下步骤：
1)图像帧货品的轮廓提取：
11)阶段性对包含仓库货品区域的视频帧进行周期性连续采样，图像帧存储文件按照VR摄像机号CameraNO_时间YYMMDD_hh:mm_时刻SerialNo命名时序排列方式存储；
12)对图像帧通过灰度图-二值化-平滑处理-边缘提取进行图片转换和轮廓提取，对于前后遮挡以及光线区分度低的成像效果区分度不明显的输出图片，通过Hough变换圆形检测将提取的白边轮廓点阵输出到黑色背景图片中，并对图片序列的轮廓值计入ndarray类型像素值矩阵中；
2)采样周期内的行为判定：
对于单个货品的轮廓，若图片序列的像素值矩阵没有差异，则判定为静态无作业状态；若像素值矩阵出现差异，则以本采样周期内上一采样时刻图像为基准与下一采样时刻图像的像素矩阵值进行比较判定，具体为：
将像素矩阵中所有标识白色的纵坐标值Y相加得到Sum(Y)，横坐标值X相加得到Sum(X)，当下一采样时刻图像的Sum(Y)大于上一采样时刻图像的Sum(Y)时，则判断现场货品在图像中设定的仓库货品监管区域范围内发生纵向位移，同时将上一采样时刻图像的帧纵向最大值Y3与下一采样时刻图像的帧纵向最大值Y2进行比较，若Y2大于Y3则进一步判定现场货品发生纵向位移的结论为真，记录操作日志及图像帧镜头号和时间点，并推送截取图像信息到业务***供监管人员查阅；
3)采样周期间的行为判定
31)设定图片中的仓库货品监管区域的像素坐标范围为(A1，B1)到(A2，B2)；
32)获取相邻采样周期的图像帧对应的结构相似性指数SSIM，并以此结合采样周期内的行为判定结果进行交叠判断共同判断货品位置是否发生变化，若是，则记录监管事件的日志与现场图像，具体为：
若步骤2)中已经判断单个货品发生了位移，且相邻采样周期的图像帧对应的结构相似性指数SSIM不同，则判断该货品发生位移。
所述的步骤32)中，相邻采样周期的图像帧对应的结构相似性指数SSIM的表达式为：
SSIM(x，y)＝[l(x，y)]α[C(x，y)]β[s(x，y)]r
Figure BDA0002900598450000041
Figure BDA0002900598450000042
Figure BDA0002900598450000043
Figure BDA0002900598450000044
Figure BDA0002900598450000045
其中，μX、μy为图像帧的平均灰度，l(x，y)为亮度对比函数，C1、C2、C3均为常量值，用以避免分母为零时的计算错误和平衡对比，增加最终测算的偏离差异效果，提升模型分析结果的差异识别，增加有效性，C(x，y)为对比度对比函数，σx、σy为标准差，s(x，y)为结构对比函数，σxy为关于图像帧x和y的关联对比度估量值，xi、yi为第i个像素点的灰度，N为像素点总数，、y分别为相邻采样周期的图像帧，a，β，r分别为指数参数。
所述的公有云平台通过云端视频模型实现云端视频监控功能，具体则有：
将8K球面视频帧拆分为四路平面帧图像，并将其呈现在立方体的六个面中，顶底两面的图像因失真刨除，将水平四面的平面图像作为人物行为识别模型的图像输入，人物行为识别的模型采用行为识别深度学习算法实现。
与现有技术相比，本发明具有以下优点：
一、仓库现场视频采用多目4K摄像头拼接8K图像的全景摄像***，拍摄半径覆盖面大(50m以上)、拍摄角度全(球面359度无死角)，结合VR眼镜立体成像实现监管单位异地的全角度实景监管，为管理者、监管方等带来身临其境的集中式实时沉浸式体验，并且线路开启后1分钟内即可随时随地看到现场实时状态，提升了监管作业效率，减少沟通成本。
二、代替了大范围多点位安防拍摄方案后，具有投入成本低、建设周期短、投用成效快、运营覆盖广等优点，现场的安装配套更轻量化，也使属地信息具备对公、对私跨区域服务的优点。
三、整体效果更好，使用人员短时间内就能熟练掌握使用，低延迟保证了实时信息流，大带宽保证了异地流畅的视频清晰度，现场实地情况更清晰；而现有安防***的视频切换使用要求更高，常规方案难拼接边界、球机视角转动延迟也难以跟上人的视角会产生眩晕感。
四、通过5G组网技术应用衔接AI人工智能、物联网建设，能更好的与人工智能模型衔接，进一步赋能诸多图像识别技术方案的应用。
附图说明
图1为监管***的结构示意图。
图2为本发明的功能框图。
图3为二值化处理后的钢卷轮廓图像。
图4为结构相似度分析处理流程。
图5为相邻采样周期监控区域内的两幅图像的结构相似性指数计算流图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
本发明提供一种基于5G和VR视频的远程实景仓储监管***以及监管方法，有以下三部分构成：
5G综合组网通讯技术、8K VR视频成像及拼接技术、视频监管模型分析技术，本发明采用基于5G的综合组网通讯技术替代了传统局域网星型组网方案、8K VR视频成像及拼接技术替代了安防监控***、视频监管模型分析技术替代了人工传统的单仓库内多屏监管方案，具体解释如下：
(一)5G综合组网通讯技术
如图1所示，主要应用于全国仓库属地、全国性CDN内容分发网络、运营展示播放端三个环节之间的数据通讯。
全国属地仓库部署室内5G PRU室分信号连接CPE联网设备，现场定点的高清视频通过5G CPE的公共WIFI信号实现视频数据联网，通过CPE上行带宽调优后，100MB级别大带宽流量视频通过电信5G核心网经CDN内容分发***(包括分发服务、负载均衡、运营管理三部分组成)将编解码视频流传输到远程集中运营地点或者任意随时随地的VR看库设备，CDN分发采用运营商成熟技术方案。
(二)8K VR视频成像及拼接技术
镜头跟视频服务器LAN直连，拼接机功能将六目4K镜头的多路视频通过图像拼接预处理后5G PRU传输到CDN公网，六目4K镜头视频信号拼接为一路汇总视频信号后编码传输，试点阶段拼接机随镜头端逐条线路部署，一个镜头配置一套拼接机(VR视频服务器)。
图像拼接预处理算法是对六目原始图像进行直方图点阵匹配、图像区块分析、分界线选取等数字图像处理，将六幅图像截取有效的60度图像拼接成一幅360度全景图。图像合成中确定了相邻成像重叠区域后，根据重叠区域的信息将待拼接图像截取成一个视觉可行的全景图。
经技术研究及分析视频的编码处理也可以在摄像头段完成，摄像头直接将六目4K视频信号对接公网云端视频服务器(公有云平台)，提升各地点视频服务器的复用性，这样能大幅提升技术应用前景，满足更广泛的全国性应用。
最后视频编码流技术采用现成的硬件设备完成RTMP视频流H.265格式编解码的处理和推送，云端视频管理平台进行mp4格式的视频存储。
(三)视频监管模型分析技术
在视频服务器中，部署视频监管分析模型，可以对六目视频镜头还未拼接的原始图像进行视频抽帧分析也可对8K视频拼接后的汇总视频抽帧分析(需结合成像具体训练不同的图像识别)，分析图像中设定货品区域行车对货品的装卸操作和非钢卷对象的变动记录。
***的整体处理过程，如图2所示可划分为四个主要功能模块，远程仓储监管功能主要基于AI的视频监管分析算法，实现基于全景拼接视频的图像分析条件，实现智能的事件识别与规则处理，将监管的图像事件变为***的日志事件，进行线上化信息推送，并结合VR远程看库的实景展示途径，提供实景监看告警事件所在地的远程视频展示条件。
监管模型模块(边缘模型视频模型一和云端模型视频模型二)
基于AI的视频监管分析算法进行分级设计。鉴于拼接前的拍摄视频清晰度和识别角度具有良好的模型分析识别条件，复杂的属地化、定制监管要求的视频监管模型，在边缘端拼接机上对未拼接的4K原始视频帧处理，简单通用的监管视频监管模型放在云端对拼接后的8K视频帧处理。
部署边缘视频监管模型对仓库货品原始图像(欧冶仓库内以多品类钢产品为主)分析的事件包括：
1)对属地仓库货品装卸实景的操作事件记录；
2)对设定监管区域或货品监管区域的操作识别(通过全景摄像头特定编号镜头所覆盖拍摄角度的图像训练，若发生取货行为须通告属地运营***和监管人核验质押货品业务状态)；
部署云端视频监管模型对拼接图像的分析事件包括：
3)人在仓库货品区域行为识别、安全识别。
1、边缘视频模型一包括以下处理流程
1.1图像帧轮廓识别：
先阶段性对视频帧进行周期性连续采样(设备以分钟为周期3秒间隔拍摄模式，举例每分钟01秒、04秒取样两次)，图像帧存储文件按照CameraNO_YYMMDD_hh:mm_SerialNo命名时序排列存储。
通过OpenCV-Python的numpy库、Hough变换圆形检测对图像数据进行原图(裁剪货品图像范围)——>灰度图——>二值化——>平滑——>边缘提取——>变换圆形检测五个过程的图片转换和轮廓提取，提取的白边轮廓点阵记录在黑色背景图片中(矩阵中每个像素值的经过二值化处理后只有0表示黑色、255表示白色两个记录值)。对于成像效果区分度不明显(如前后遮挡、光线区分度较低、检测边界)的输出图片，增加Hough变换圆形检测进一步将轮廓处理输出到黑色背景图片，并对图片序列的轮廓值计入ndarray类型像素值矩阵进行分析比较。
图片像素值矩阵大比例一致的判定为静态无作业状态(震动光线差异因素忽略)，跳过后续规则分析；若像素值矩阵有差异的情况，以Serial00图像为基准检测Serial01图像矩阵值差异的横轴值X1和X2矩阵坐标，纵轴值Y1和Y2矩阵坐标，因图像轮廓值差异区域判断在该范围内，因此为减少数据分析范围提升处理速度只对该区域进一步分析。
如图3所示，将矩阵中所有255标识白色的纵坐标值Y相加得到Sum(Y)、横坐标值X相加得到Sum(X)；当Serial01的Sum(Y)大于Serial00的Sum(Y)时，判断现场货品在截取X1-X2和Y1-Y2范围内的图像中发生位移，同时将Serial00帧纵向最大值Y3与Serial01的Y2值进行比值，若Y2大于Y3则可判定前一步骤判断结论为真，按监管设定规则记录操作日志及图像帧镜头号和时间点，并推送截取图像信息到业务***供监管人员查阅。为进一步分析判断仓库货品变更趋势，还需横向对比上一个周期的分钟级Serial00、Serial01与本周期Serial00、Serial01，通过轮廓值边界的对比确定分钟级现场货品变更趋势。
1.2监管区域范围结构测量，合并分析结论
常规轮廓和指定监管区域的图像处理逻辑采用上述处理流程，欧冶业务范围内钢卷、板材、线材、长材、螺纹钢、钢坯等为主要货品，本申请的监管识别方案的货品识别方法具备应用到其他同类有明确轮廓的货品物体识别。
如图4所示，梳理业务上对仓库实时VR视频图像中监管区域像素点的坐标范围(A1，B1)到(A2，B2)，并对监管像素范围集合增加判断流程。像素范围对应属地VR全景相机上六目摄像头编号CameraNO设定关系集合，原则上判断差异图像矩阵值的横纵轴坐标是否与监管区域坐标产生交集，若符合监管事件的设定规则，则产生监管日志记录及规则告警，交集的判断以(A1，B1)到(A2，B2)与(X1，Y1)到(X2，Y2)范围交集为准。
对于监管区域像素坐标范围(A1，B1)到(A2，B2)采用结构相似性指数StructuralSimilarity Index(SSIM)进行图像的灰度图相似性分析，由SSIM测量***从亮度、对比度、结构三个层面对比图像相似度。通过scikit-image库中compare_ssim、argparse、imutils和cv2将相邻几个周期的图像帧比较，判断区域物体表面的亮度信息、照度，通过分离照度对物体的影响来进行阶段性的图像识别，生成图像中的结构相似性指数SSIM。
若结构相似性指数在判断相邻周期不相同，则将原始像素坐标范围(A1，B1)到(A2，B2)图片结合上述边界轮廓识别的裁剪图像(X1，Y1)到(X2，Y2)共同判定是否有货品位置的变化，如果有变动则记录监管事件的日志与现场图像。
如图5所示，先先对监管区域图片各像素进行灰度值的计算，与图像帧轮廓识别过程类似将点阵灰度值存储至像素值矩阵，再以平均灰度来作为亮度测量的估计：
Figure BDA0002900598450000081
得到μx，μy值。亮度对比函数l(x，y)基于x，μy值的函数
Figure BDA0002900598450000082
Figure BDA0002900598450000083
测量***要把平均灰度值从信号中去除，对于离散信号x-μx，使用标准差来做对比度估量值：
Figure BDA0002900598450000084
得到σx，σy值。对比度对比函数C(x，y)基于σx，σy值的函数
Figure BDA0002900598450000085
信号被标准差相除，结构对比函数定义为
Figure BDA0002900598450000086
和
Figure BDA0002900598450000087
的函数。结构对比函数
Figure BDA0002900598450000088
其中
Figure BDA0002900598450000089
S(x，y)应该满足以下三个条件：对称性：S(x，y)＝S(y，x)；有界性：S(x，y)≤1；最大值唯一性：当且仅当x＝y时，
Figure BDA0002900598450000091
三个对比模块组合成一个完整的相似测量函数：S(x，y)＝f(l(x，y)，C(x，y)，s(x，y))。
最后合并函数得到SSIM指数函数：SSIM(x，y)＝[l(x，y)]α[C(x，y)]β[s(x，y)]r。此处a，β，r>0，调节模块计算关系。
目前监管区域因属地拍摄及库存摆放货品的情况各异，可选择多个矩形并集设定监管区域的校验方法，按应用模式可进一步提升区域判定规则以支持不规则多边形监管区域的校验方法，即修正上文中坐标范围(A1，B1)到(A2，B2)的选取逻辑。
对行车吊装钢产品从监管区域上方经过且不发生货品吊装的情况，因行车吊装货品的动线与库存货品最高水平线有距离，没有明确的图像重叠，因此主要采用相邻周期的分钟级图像帧进行对比，而采用Serial00和Serial01方案不能准确判断吊装货品移动事件特征。
2、云端视频模型二包括以下处理流程
监管模型模块中的云端8K视频监管模型主要用于识别仓库环境的人物行为，从公网视频管理平台提取8K球面视频帧拆分为四路常规平面帧图像，呈现在立方体的六个面中。顶底两面的图像因失真刨除，将水平四面的平面图像作为人物行为识别模型的图像输入，人物行为识别的模型采用现成开放的行为识别深度学习算法结合上文人物与货品轮廓的重叠分析，进行事件记录。
3、视频成像模块
通过RANSAC随机采样一致性算法实现全景图像拼接，将六目4K视频在视频叠角边界的图像区域进行拼接分析，设备条件看基本全景相机每个镜头负责60度左右角区域视频数据，对于超出60度的图像，先找到相邻两帧图像之间边界区域的点阵图像的分析，找到点阵特征值的匹配信息，通过匹配后的图像点阵，剔除不一致的匹配点，提取纵向方向两个区域点后计算周边点阵特征值差异点，通过匹配度的阈值设定，选择最优的纵向两个点阵位置，作为图像拼接的纵线分界线，形成效果最好的图像拼接边界值，完成六目4K图像拼接后和原始视频帧一同进行拼接机的本地数据存储。边界值的分析设定一般以无作业情况的纯环境背景为主，找到镜头合理的边界参数后对动态移动的物品也能起到较好的拼合成像效果。其拼接视频由编解码设备完成向公网视频流的上传。
步骤主要包括：全景相机不同镜头的标定、球形图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接，还涉及亮度、对比度等成像参数调试。
4、核心网功能模块
公网部分方案主要基于运营商5G技术及全国CDN内容分发网络完成整体技术方案视频帧数据的传输，并基于5G核心网络实现各地监控告警事件信息的***对接，其中结合属地仓库的网络部署方案涉及诸多信号点的分割选点，速率验证及优化工作；结合仓库环境的PRU部署方式、8K全景摄像头部署采用立杆假设的方案减少布线复杂度，供电由就近配电箱提供。属地拼接机可将模型分析结果通过5G组网与业务***记录事件日志，并提供告警信息推送方案。
经过方案试点和验证进一步优化组网方案，可依靠5G的优势提供轻便化部署图像采集设备，拼接机可选择公有云平台方案提供整体拼接分析功能。

Claims (6)

1.一种基于5G和VR视频的远程实景仓储监管***，其特征在于，包括：
仓库属地VR监控侧：包括安装在仓库内用以实现仓库VR视频采集的VR摄像机以及接收VR摄像机采集的VR图像信号实现图像拼接和视频监管的VR视频服务器，所述的VR视频服务器包括视频拼接功能和边缘多目视频监控功能，所述的边缘多目视频监控功能具体为：
VR视频服务器通过对未拼接的原始多路六目4K视频信号，或对拼接后的8K视频进行抽帧处理，获取图像中对于设定仓库货品监管区域内行车对货品的装卸操作事件和非钢卷对象的变动记录并线上推送；
5G数据传输网络：包括通过仓库5G CPE设备与各仓库属地VR监控侧的VR视频服务器实现5G通信的仓库5G基站、与各仓库5G基站通信的核心网以及通过核心网与远程监控侧通信的公有云平台；
所述的边缘多目视频监控功能通过边缘视频模型实现，具体包括以下步骤：
1)图像帧货品的轮廓提取：
11)阶段性对包含仓库货品区域的视频帧进行周期性连续采样，图像帧存储文件按照VR摄像机号CameraNO_时间YYMMDD_hh:mm_时刻SerialNo命名时序排列方式存储；
12)对图像帧通过灰度图-二值化-平滑处理-边缘提取进行图片转换和轮廓提取，对于前后遮挡以及光线区分度低的成像效果区分度不明显的输出图片，通过Hough变换圆形检测将提取的白边轮廓点阵输出到黑色背景图片中，并对图片序列的轮廓值计入ndarray类型像素值矩阵中；
2)采样周期内的行为判定：
对于单个货品的轮廓，若图片序列的像素值矩阵没有差异，则判定为静态无作业状态；若像素值矩阵出现差异，则以本采样周期内上一采样时刻图像为基准与下一采样时刻图像的像素矩阵值进行比较判定，具体为：
将像素矩阵中所有标识白色的纵坐标值Y相加得到Sum(Y)，横坐标值X相加得到Sum(X)，当下一采样时刻图像的Sum(Y)大于上一采样时刻图像的Sum(Y)时，则判断现场货品在图像中设定的仓库货品监管区域范围内发生纵向位移，同时将上一采样时刻图像的帧纵向最大值Y3与下一采样时刻图像的帧纵向最大值Y2进行比较，若Y2大于Y3则进一步判定现场货品发生纵向位移的结论为真，记录操作日志及图像帧镜头号和时间点，并推送截取图像信息到业务***供监管人员查阅；
3)采样周期间的行为判定
31)设定图片中的仓库货品监管区域的像素坐标范围为(A1，B1)到(A2，B2)；
32)获取相邻采样周期的图像帧对应的结构相似性指数SSIM，并以此结合采样周期内的行为判定结果进行交叠判断共同判断货品位置是否发生变化，若是，则记录监管事件的日志与现场图像，具体为：
若步骤2)中已经判断单个货品发生了位移，且相邻采样周期的图像帧对应的结构相似性指数SSIM不同，则判断该货品发生位移；
远程监控侧：包括依次通过远程5G基站和远程5G CPE设备与核心网连接的VR一体机和远程监控侧PC机。
2.根据权利要求1所述的一种基于5G和VR视频的远程实景仓储监管***，其特征在于，所述的VR摄像机采用8K VR全景相机，并且通过LAN与VR视频服务器直连。
3.根据权利要求1所述的一种基于5G和VR视频的远程实景仓储监管***，其特征在于，所述的VR视频服务器与核心网通过有线方式或通过5G实现的WIFI覆盖信号进行通信。
4.根据权利要求1所述的一种基于5G和VR视频的远程实景仓储监管***，其特征在于，所述的视频拼接功能具体为：
VR视频服务器将VR摄像机采集到的多路六目4K视频信号通过RANSAC随机采样一致性算法进行图像拼接得到8K视频，即全景图，并发送到核心网，具体为：
将六目4K视频在视频叠角边界的图像区域进行拼接，全景相机的每个镜头负责60度左右角区域视频数据，对于超出60度的图像，先找到相邻两帧图像之间边界区域的点阵图像以及点阵特征值的匹配信息，通过匹配后的图像点阵，剔除不一致的匹配点，提取纵向方向两个区域点后获取周边点阵特征值差异点，通过匹配度的阈值设定，选择最优的纵向两个点阵位置，作为图像拼接的纵线分界线，形成图像拼接边界值，在完成六目4K图像拼接后与原始视频帧共同进行VR视频服务器的本地数据存储。
5.根据权利要求1所述的一种基于5G和VR视频的远程实景仓储监管***，其特征在于，所述的公有云平台包括云端视频监控功能，具体为：
对拼接后的8K视频进行抽帧处理，进行事件变动监控记录，包括人员在仓库货品区域内的行为识别和安全识别。
6.根据权利要求1所述的一种基于5G和VR视频的远程实景仓储监管***，其特征在于，所述的步骤32)中，相邻采样周期的图像帧对应的结构相似性指数SSIM的表达式为：
SSIM(x，y)＝[l(x，y)]α[C(x，y)]β[s(x，y)]r
Figure FDA0003545869390000031
Figure FDA0003545869390000032
Figure FDA0003545869390000033
Figure FDA0003545869390000034
Figure FDA0003545869390000035
其中，μX、μy为图像帧的平均灰度，l(x，y)为亮度对比函数，C1、C2、C3均为常量值，用以避免分母为零时的计算错误和平衡对比，，增加最终测算的偏离差异效果，提升模型分析结果的差异识别、增加有效性，C(x，y)为对比度对比函数，σx、σy为标准差，s(x，y)为结构对比函数，σxy为关于图像帧x和y的关联对比度估量值，xi、yi为第i个像素点的灰度，N为像素点总数，x、y分别为相邻采样周期的图像帧，a，β，r分别为指数参数。
CN202110055913.3A 2021-01-15 2021-01-15 一种基于5g和vr视频的远程实景仓储监管*** Active CN112911221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110055913.3A CN112911221B (zh) 2021-01-15 2021-01-15 一种基于5g和vr视频的远程实景仓储监管***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110055913.3A CN112911221B (zh) 2021-01-15 2021-01-15 一种基于5g和vr视频的远程实景仓储监管***

Publications (2)

Publication Number Publication Date
CN112911221A CN112911221A (zh) 2021-06-04
CN112911221B true CN112911221B (zh) 2022-06-21

Family

ID=76113486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110055913.3A Active CN112911221B (zh) 2021-01-15 2021-01-15 一种基于5g和vr视频的远程实景仓储监管***

Country Status (1)

Country Link
CN (1) CN112911221B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422813A (zh) * 2021-12-30 2022-04-29 中国电信股份有限公司 一种vr直播视频拼接及展示方法、装置、设备及存储介质
CN115100519B (zh) * 2022-06-23 2024-04-26 郑州儒慧信息技术有限责任公司 一种识别高铁沿线隐患物的方法
CN117746344B (zh) * 2024-02-21 2024-05-14 厦门农芯数字科技有限公司 一种猪场监控视频的事件分析方法、装置以及设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL152637A0 (en) * 2002-11-04 2004-02-19 Imp Vision Ltd Automatic, real time and complete identification of vehicles
CN103345492A (zh) * 2013-06-25 2013-10-09 无锡赛思汇智科技有限公司 一种视频浓缩的方法和***
US10451405B2 (en) * 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
CN107298139B (zh) * 2017-06-12 2019-09-20 深圳市丝路蓝创意展示有限公司 一种双模式遥控vr全景视频拍摄互动体验***
CN107491786B (zh) * 2017-08-15 2020-10-20 电子科技大学 一种烟草收购重复过磅行为自动视觉检测与识别方法
CN109714562A (zh) * 2017-10-25 2019-05-03 北京蓝信汇智科技有限公司 一种高铁移动视频平台及其方法
WO2020069520A1 (en) * 2018-09-28 2020-04-02 I.D. Systems, Inc. Cargo sensors, cargo-sensing units, cargo-sensing systems, and methods of using the same
CN111583324B (zh) * 2019-02-19 2023-11-28 顺丰科技有限公司 单目图像深度估测装载率识别方法和装置
CN110210793A (zh) * 2019-06-25 2019-09-06 广州银禾网络通信有限公司 一种工程项目现场施工远程监控平台、***及方法
CN111507390B (zh) * 2020-04-11 2023-07-04 华中科技大学 一种基于轮廓特征的仓储箱体识别与定位方法

Also Published As

Publication number Publication date
CN112911221A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112911221B (zh) 一种基于5g和vr视频的远程实景仓储监管***
CN107004271B (zh) 显示方法、装置、电子设备、计算机程序产品和存储介质
CN107071297A (zh) 一种用于电力信通机房展示的虚拟现实***
JP2021106374A (ja) 再生効率を向上させるインテリジェント監視ビデオ再生方法
CN112487891B (zh) 一种应用于电力作业现场的视觉智能动态识别模型构建方法
CN112309068B (zh) 一种基于深度学习的森林火灾预警方法
CN116055690B (zh) 一种机房监控视频的处理方法及设备
CN115082254A (zh) 一种变电站精益管控数字孪生***
CN103986905B (zh) 一种三维环境下基于线路特征的视频空间实时漫游方法
CN113099242A (zh) 一种输电线路视频监测数据处理方法及***
CN114286062A (zh) 基于全景拼接和视频ai的自动化码头数字舱***
CN113313006A (zh) 基于无人机的城市违建监管方法、***和存储介质
CN115604433A (zh) 一种虚实结合的三维可视化***
CN109740527B (zh) 一种视频帧中图像处理方法
Muller et al. 3-D reconstruction of a dynamic environment with a fully calibrated background for traffic scenes
CN113095160B (zh) 基于人工智能和5g的电力***人员安全行为识别方法及***
CN107547867A (zh) 一种变电站室外视频监控***和监控方法
CN110659627A (zh) 一种基于视频分割的智能视频监控方法
CN110706328A (zh) 一种基于gan网络的三维场景虚拟生成方法和***
CN117768610A (zh) 基于多目标识别的高速铁路周界入侵风险监测方法及***
CN116582693B (zh) 一种基于视频资源池的摄像头调用管控方法
CN112532927A (zh) 一种施工现场智能安全管控***
CN115859689B (zh) 一种全景可视化数字孪生应用的方法
WO2023217138A1 (zh) 一种参数配置方法、装置、设备、存储介质及产品
CN111461772A (zh) 一种基于生成对抗网络的视频广告融入***与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant