CN109194923B - 基于局部非均匀分辨率的视频图像处理设备、***及方法 - Google Patents
基于局部非均匀分辨率的视频图像处理设备、***及方法 Download PDFInfo
- Publication number
- CN109194923B CN109194923B CN201811212816.5A CN201811212816A CN109194923B CN 109194923 B CN109194923 B CN 109194923B CN 201811212816 A CN201811212816 A CN 201811212816A CN 109194923 B CN109194923 B CN 109194923B
- Authority
- CN
- China
- Prior art keywords
- resolution
- region
- video image
- interest
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013507 mapping Methods 0.000 claims abstract description 92
- 238000012544 monitoring process Methods 0.000 claims abstract description 47
- 230000005540 biological transmission Effects 0.000 claims abstract description 19
- 230000006835 compression Effects 0.000 claims abstract description 12
- 238000007906 compression Methods 0.000 claims abstract description 12
- 230000007704 transition Effects 0.000 claims description 74
- 230000009466 transformation Effects 0.000 claims description 19
- 230000006872 improvement Effects 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000011426 transformation method Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了基于局部非均匀分辨率的视频图像处理设备、***及方法，涉及图像处理技术领域。该视频图像处理设备包括：存储器，用以存储数据和指令；处理器，能够确定监控视频图像中的至少一个关注区域；以及在视频编码或传输前，对监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像，其中为所述关注区域分配更多的分辨率，同时保持映射后的每帧视频图像的矩形形状和大小以便编码压缩。本发明能够在已有带宽、硬件能力、录像存储代价的限制下，兼顾保证监控视野范围和提升视频分析、回放和预览时的警戒区局部视频分辨率。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于局部非均匀分辨率的图像处理技术。
背景技术
视频监控***的使用中，用户常常一方面希望摄像头能够监控足够广阔的视野范围，监控画面能够显示较多的区域，另一方面又希望能够看清楚局部的细节，这就需要监控***能够支持尽可能大的图像分辨率。但是视频监控***实际能采用的图像分辨率受限于视频***传输带宽、硬件处理能力、录像存储代价等的影响，往往不能采用监控摄像机的最大分辨率，而是只能采用较小的分辨率。因此，如果根据用户需求和***性能限制，自适应控制视频分辨率，将会有助于提升监控***的性能。
现有的监控技术研究中提出了多种分辨率自适应控制的方法。比如：为了适应不同的传输带宽和硬件能力，一些监控视频***采用了同时编码存储多种分辨率码流（主码流和次码流）的方法，根据硬件回放能力选用某一分辨率的编码码流进行回放。这一方法适用于视频录像***硬件处理能力和视频传输带宽相较单独主码流处理时有一定余量的情况。在一些监控***中，为了提高人脸等区域的清晰度，采用了人工智能的算法分析识别人脸等感兴趣区域，控制视频编码器对这些区域分配较多的码率，以减少这些区域因为视频压缩而引起的质量损失。但是如果原始输入图像分辨率不高，这一方法的效果就有限。有些监控应用压缩传输未矫正的鱼眼镜头画面，以保持画面中心的高分辨率，但是由于画面扭曲，视频压缩效率受影响，直接显示扭曲的鱼眼视频也会影响用户识别物体和判断距离关系，并且监控敏感区不一定位于画面中心，应用限制较多。
当前，在监控应用中，周界防范（用户在视频背景画面上设置虚拟警戒线或虚拟警戒区）是一种常见的应用场景。一类应用时，用户一方面需要画面视野范围广大，能够包含一个或多个需要警戒的区域的全部范围，并且在警戒区域外留有足够的观察区域以便观察人或物进出警戒区的过程；另外一方面，用户对监控画面不同区域的清晰度需求是不同的，对局部警戒区域的兴趣远高于其他区域。特别是在警戒区域有事件发生时，用户有强烈的需求对警戒区域画面放大后进行预览或回放观看，但是如果监控视频的原始分辨率较低，即使图像进行放大，仍然无法看清细节。
发明内容
本发明的目的在于：克服现有技术的不足，提供了一种基于局部非均匀分辨率的视频图像处理设备、***及方法。本发明提出的局部非均匀分辨率的监控视频图像处理设备，能够在已有带宽、硬件能力、录像存储代价的限制下，兼顾保证监控视野范围和提升视频分析、回放和预览时的警戒区局部视频分辨率。
为实现上述目标，本发明提供了如下技术方案：
本发明提供了一种基于局部非均匀分辨率的视频图像处理设备，其包括：
存储器，用以存储数据和指令；
处理器，在执行所述指令时用于，
获取监控视频图像；
确定监控视频图像中的至少一个关注区域；
以及在视频编码或传输前，对监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像，其中为所述关注区域分配更多的分辨率，同时保持映射后的每帧视频图像的矩形形状和大小以便编码压缩。
进一步，所述处理器在视频回放或预览时用于，
进行分辨率反映射处理，使得小尺寸视频图像反映射回大尺寸显示图像时恢复图像比例关系，在所述关注区域局部放大时输出高分辨率的图像。
进一步，所述处理器包括关注区域设置模块，其用于，
基于手动输入在视频图像上生成至少一个关注区域；
和/或，基于捕获的场景特征在视频图像上自动生成至少一个关注区域；
和/或，编辑所述关注区域以重新配置视频图像的关注区域，所述编辑包括调整关注区域的范围、添加新的关注区域和/或删减已有关注区域。
进一步，所述处理器在确定至少一个关注区域时还用于，
设置关注区域的局部分辨率提升倍数m；
在关注区域周围设置分辨率过渡区域，所述关注区域和过渡区域之外的像素的分辨率保持原***设置的低分辨率形成低分辨率区域，低分辨率区域不受分辨率映射的影响；
所述局部分辨率提升倍数m小于过渡区域与对应关注区域在各方向上的尺度比最小值。
进一步，所述处理器在生成小尺寸视频图像时用于，
对视频图像的不同区域使用不同的分辨率映射方式进行缩小，所述关注区域作为高分辨率区域使用缩小比例k缩放，所述低分辨率区域使用缩小比例L缩放，k=L/m。
进一步，所述过渡区域的映射方式，采用透射变换方法或多项式投影变换方法。
本发明还提供了一种基于局部非均匀分辨率的视频图像处理***，所述***包括：
监控摄像机，用以获取高分辨率的原始视频图像；
图像处理设备，用以对前述原始视频图像进行局部非均匀分辨率映射处理，所述图像处理设备为权利要求1-6中任一项所述的设备；
监控显示器，用以显示经所述图像处理设备处理后的视频图像。
本发明还提供了一种基于局部非均匀分辨率的视频图像处理方法，包括如下步骤：
获取监控视频图像；
确定监控视频图像中的至少一个关注区域；
在视频编码或传输前，对原始监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像，其中为所述关注区域分配更多的分辨率，并保持映射后的每帧视频图像的矩形形状和大小；
对非均匀分辨率映射处理后的视频图像进行编码压缩。
进一步，对原始监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像的步骤包括，
设置关注区域的局部分辨率提升倍数m，在关注区域周围设置分辨率过渡区域，所述关注区域和过渡区域之外的像素的分辨率保持原***设置的低分辨率形成低分辨率区域，所述局部分辨率提升倍数m小于过渡区域与对应关注区域在各方向上的尺度比最小值；
对视频图像的不同区域使用不同的分辨率映射方式进行缩小，所述关注区域作为高分辨率区域使用缩小比例k缩放，所述低分辨率区域使用缩小比例L缩放，k=L/m；所述过渡区域的映射方式采用透射变换方法或多项式投影变换方法。
本发明还提供了一种基于透视变换的非均匀分辨率映射方法，包括如下步骤：
步骤1，在原始图像上设定高分辨率区域和过渡区域边界；所述高分辨率区域和分辨率过渡区域为任意多边形的形状，两个多边形有相同的顶点数量n，记录图像上两个n边形顶点坐标和各边端点的对应关系；
步骤2，对区域边界多边形顶点顺时针重排序；首先从过渡区域边界多边形的顶点中选择垂直方向位置最高的一个顶点A ，有多个高度相同的顶点时选择其中水平位置在最左边的顶点，从A点出发，根据边的连通关系，按顺时针方向为过渡区域边界多边形和高分辨率区域边界多边形的各顶点排序；
步骤3，对过渡区域和高分辨率区域的顶点两两配对；
a. 对过渡区域边界的顶点A，计算高分辨率区域边界各顶点是否与其满足可配对条件；
b. 从A点的配对候选点集中，选择一个高分辨率区域顶点与A点试配对，检测过渡区域各顶点对应的试配对点是否都满足可配对条件；
存在不满足配对条件的试配对顶点时试配对失败，从A点的配对候选点集中去除这一高分辨率区域顶点；否则，试配对成功，将两个多边形各配对点的距离求和作为这一点的配对代价值；
c. 循环b步骤，直到完成A点的配对候选点集中所有候选点与A的试配对；
d.比较与A点试配对成功的各点的配对代价值，选择代价最小的候选点作为最终的配对点，并按顺时针方向完成高分辨率区域顶点与过渡区域各顶点配对；
步骤4，计算目标映射图上的各顶点坐标；
步骤5，将过渡区域划分为若干映射四边形；
步骤6，求解四边形映射和反映射矩阵；根据透视变换公式，对每组对应的映射四边形求解出唯一的映射和反映射矩阵。
进一步，还包括如下步骤：
对高分辨率图像进行映射缩小处理获取小尺寸视频图像，和/或在视频回放或预览时，对小尺寸视频图像进行反映射放大处理；
在所述处理过程中，目标像素点位于高分辨率区域或低分辨率区域时，按照对应缩放系数进行映射处理；目标像素点位于分辨率过渡区域时，判断其位于哪个透视变换映射四边形内，然后应用对应的透视变换关系进行映射处理。
本发明由于采用以上技术方案，与现有技术相比，作为举例，具有以下的优点和积极效果：
1）本发明可以根据用户对画面不同区域分辨率的不同需求，在缩小的视频图像上传输非均匀分辨率信息。使得即使因为带宽、硬件性能、存储代价等原因将原始摄像机图像缩小尺寸传输和编码，仍然能保持用户设置的警戒区的高分辨率信息，有助于扩大监控画面允许的视角范围，提升越界侦测/区域入侵侦测等算法的精确度，并便于用户回放时放大观察物体细节。
2）本发明将监控视频图像根据局部特点分为高分辨率、低分辨率、和分辨率过渡区域三种区域的方法，因为高分辨率和低分辨率区域图像未发生扭曲，可以减少频繁水平运动区域图像扭曲造成的视频编码压缩率下降，有助于降低监控视频存储代价。这比现有的直接传输鱼眼镜头图像，以保证图像中心的高分辨率更适合编码压缩。
3）本发明进一步公开的基于透视变换的分辨率过渡区域的映射方法，具有适应各种过渡区域形状、分辨率变化平缓、代价低、易实现的特点，并且有利于降低映射图像扭曲的程度，减少图像扭曲和恢复带来的质量损失。
附图说明
图1为现有技术中常用的监控视频***的模块结构示意图。
图2为本发明实施例提供的基于局部非均匀分辨率的视频图像处理***的模块结构示意图。
图3为本发明实施例提供的高分辨率大图进行局部非均匀映射获得小尺寸图像的显示示例图。
图4为本发明实施例提供的顶点A的配对候选点示例图。
图5为本发明实施例提供的原始图像与映射图像过渡区域划分为若干对应的透视变换四边形的示例图。
图6为本发明实施例提供的基于局部非均匀分辨率的视频图像处理方法的流程图。
图7为本发明实施例提供的基于透视变换的非均匀分辨率映射方法的流程图。
附图标记说明：
监控摄像机110，图像处理设备120，监控显示器130。
实施方式
以下结合附图和具体实施例对本发明公开的基于局部非均匀分辨率的视频图像处理设备、***及方法作进一步详细说明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
需说明的是，本说明书所附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响发明所能产生的功效及所能达成的目的下，均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现，其中可以不按所述的或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
实施例
视频监控***通常可以由视频摄像、视频分析和处理、视频传输、视频录像、视频回放和显示等几个模块组成。对于模拟视频摄像机，监控***传输的是模拟视频，视频在接收端进行分析处理、编码存储、回放显示；对于数字视频摄像机，监控***在发送端就进行分析处理和编码压缩，在接收端仅需要做存储和回放显示。
在监控视频应用中，周界防范（用户在视频背景画面上设置虚拟警戒线或虚拟警戒区）是一种常见的应用场景。这一类应用时，用户一方面需要画面视野范围广大，能够包含一个或多个需要警戒的区域的全部范围，并且在警戒区域外留有足够的观察区域以便观察人或物进出警戒区的过程；另外一方面，用户对监控画面不同区域的清晰度需求是不同的，对局部警戒区域的兴趣远高于其他区域。特别是在警戒区域有事件发生时，用户有强烈的需求对警戒区域画面放大后进行预览或回放观看，需要看清人脸和物品等细节。
即，所述虚拟警戒区为用户的关注区域，其被期望配置高分辨率。但在固定的分辨率下，当画面视野范围增大时，每个局部区域的分辨率就会降低。
参见图1所示，为现有技术中常用的监控视频***，监控摄像机获取的高分辨率大图经缩小处理后获得了低分辨率小图，然后对小图进行视频编码压缩和存储；在视频回放或预览时，对视频进行解码，向用户输出低分辨率的小图，用户可以根据需要对小图进放大，此时监控显示器输出的是低分辨率的大图，图像的清晰度难以保证。
即为了保证视野，只能牺牲图像的分辨率。当局部分辨率较低时，越界侦测/区域入侵侦测等算法的精确度会受到影响，并且用户在回放监控录像视频时即使对图像进行放大操作，仍然无法看清细节。并且，当敏感区分辨率较低时，越界侦测/区域入侵侦测等算法的精确度也会受到影响。
参见图2所示，为本发明提供的一种基于局部非均匀分辨率的视频图像处理***。
所述视频图像处理***包括通信连接的监控摄像机110，图像处理设备120和监控显示器130。
所述监控摄像机110，用以获取高分辨率的原始视频图像。所述监控摄像机110可以是数字视频摄像机，也可以是模拟视频摄像机。
所述图像处理设备120，用以对前述原始视频图像进行局部非均匀分辨率映射处理。
所述监控显示器130，用以显示经所述图像处理设备处理后的视频图像。作为举例而非限制，所述监控显示器可以是液晶显示屏。
***中各部分的数据传输的网络可以是内联网、因特网，或任何类型的一个或多个有线或无线网络或一个或多个有线或无线网络的组合。
所述图像处理设备120是基于局部非均匀分辨率的视频图像处理设备，其具体可以包括存储器和处理器。
存储器，用以存储数据和指令。
处理器，在执行所述指令时用于，
获取监控视频图像；
确定监控视频图像中的至少一个关注区域；
以及在视频编码或传输前，对监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像，其中为所述关注区域分配更多的分辨率，同时保持映射后的每帧视频图像的矩形形状和大小以便编码压缩。
本实施例中，所述图像处理设备120可以包括存储一个或多个指令的存储器，以及用于执行所述一个或多个指令的处理器，当被执行时，这些指令可以配置所述处理器以提供在此描述的功能。当然，所述图像处理设备还可以包括通常在计算设备中找到的其它组件，诸如用于向处理设备输入信息或从处理设备输出信息的一个或多个输入/输出组件，比如摄像机、键盘、鼠标、网络适配器等。
继续参见图2所示，所述处理器在视频回放或预览时还用于：进行分辨率反映射处理，使得解码获得的小尺寸视频图像反映射回大尺寸显示图像时能够恢复图像比例关系，并在所述关注区域局部放大时输出高分辨率的图像。
本实施例中，所述处理器可以包括有关注区域设置模块。所述关注区域设置模块用于：基于手动输入在视频图像上生成至少一个关注区域；和/或，基于捕获的场景特征在视频图像上自动生成至少一个关注区域；和/或，编辑所述关注区域以重新配置视频图像的关注区域，所述编辑包括调整关注区域的范围、添加新的关注区域和/或删减已有关注区域。
如此，本发明的关注区域(为用户期望的具有更高分辨率的区域)可以以多种方式确定。例如，基于用户的手动输入来设置一个或多个关注区域。在另一实施方式中，关注区域可以自动被确定，优选的基于被捕获的场景的已知或确定的特征(例如，道路上的围栏、分割线等)。
优选的，所述关注区域设置模块支持用户根据需要，在监控画面上设置固定的关注区域（高分辨率区）和局部分辨率提升倍数m，并在关注区域周围设定受影响的分辨率过渡区域。
所述局部分辨率提升倍数m需小于过渡区域与对应关注区域在各方向上的尺度比最小值。在各个关注区域和过渡区域之外的像素的分辨率保持原***设置的低分辨率——即作为低分辨区域，其不受分辨率映射的影响，将关注区域外频繁发生物体水平运动的区域保留为低分辨率区，可以提升映射后视频的编码压缩效率。
参见图3所示，为一个关注区域设置的例子，作为关注区域的高分辨率区域位于分辨率过渡区的中间位置。当然，上述划分方式作为举例而非限制，所述作为关注区域的高分辨率区域可以位于分辨率过渡区的中间位置，也可以位于分辨率过渡区的边缘，或者画面的其他任意位置。相对于现有技术，本发明的所述关注区域的设置不受限制。
处理器处理时，分辨率映射模块可以对原始视频大图上不同的划分区域使用不同的分辨率映射方式进行缩小：
对所述高分辨率区域应用较低的图像缩小比例k进行缩放，对所述低分辨率区域使用图像缩小比例L缩放，所述k=L/m 。
然后，通过设计的映射方式将原图的分辨率过渡区域映射到目标小图上剩下的空白区域。所述过渡区域的映射方式，可以采用透视变换、多项式投影变换等方法来进行。
参见图3的下图所示，为高分辨率大图经过映射后获得的非均匀分辨率小图。映射完成的小图的形状和大小没有发生变化，因此可以采用传统的视频编解码模块进行压缩编码和解码。
映射完成的小图的画面内容会发生扭曲变形，为了便于用户观察，所述处理器设置有反映射模块，所述反映射模块用于根据不同分辨率区域划分和对应的分辨率映射方法，将小图进行放大的同时恢复图像比例关系，消除画面变形。
如此，原图设定的高分辨率区域，经过以上***处理，在显示时仍然可以保持高分辨率，进而便于用户放大时观察图像的细节。
参见图4所示，作为优选，利用上述视频图像处理***进行图像处理的方法的典型步骤如下：
S110，获取监控视频图像。
S120，确定监控视频图像中的至少一个关注区域。
S130，在视频编码或传输前，对原始监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像，其中为所述关注区域分配更多的分辨率，并保持映射后的每帧视频图像的矩形形状和大小。
S140，对非均匀分辨率映射处理后的视频图像进行编码压缩。
所述步骤S130中，对原始监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像的步骤具体可以如下：
设置所述关注区域的局部分辨率提升倍数m，在关注区域周围设置分辨率过渡区域，所述关注区域和过渡区域之外的像素的分辨率保持原***设置的低分辨率形成低分辨率区域，所述局部分辨率提升倍数m小于过渡区域与对应关注区域在各方向上的尺度比最小值；
对视频图像的不同区域使用不同的分辨率映射方式进行缩小，所述关注区域作为高分辨率区域使用缩小比例k缩放，所述低分辨率区域使用缩小比例L缩放，k=L/m；所述过渡区域的映射方式采用透射变换方法或多项式投影变换方法。
对于分辨率过渡区域的映射，本文提出了一种基于透视变换的非均匀分辨率映射方法，参见图5所示，所述方法包括如下步骤：
1）在原始图像上设定高分辨率区域和过渡区域边界。
优选的，限定用户在原始图像上设定的高分辨率区域和分辨率过渡区域为任意多边形的形状，两个多边形须有相同的顶点数量n，n边形可以为凸多边形或凹多边形。分别记录原始图像上两个n边形顶点坐标和各边端点的对应关系。
2）区域边界多边形顶点顺时针重排序。
首先从过渡区域边界多边形的顶点中选择垂直方向位置最高的一个顶点A，若有多个高度相同的顶点则选择其中水平位置在最左边的顶点。然后，根据记录的区域多边形边和端点对应关系，可以获得与顶点A相连的两条边和对应顶点。选择从A点出发的正向水平轴沿顺时针方向转动碰到的第一边，从A点出发沿着这条边遍历多边形各顶点的方向为顺时针方向。从A点出发，根据边的连通关系，按顺时针方向为过渡区域边界多边形各顶点进行排序。分别记为A，B，C，D等等。
对高分辨率区边界多边形进行相同处理。
3）过渡区域和高分辨率区域顶点两两配对。
a.对过渡区域边界的顶点A，计算高分辨率区域边界各顶点是否与其满足可配对条件。
参见图6所示，本实施中，所述顶点A的可配对条件为：用来配对的高分辨率区域顶点与A的连线必须位于从A出发的两条边的夹角范围以内，并且与高分辨率区域边界各条边不相交。
满足条件的高分辨率区域顶点组成A点配对候选点集。如果配对候选点集为空，则区域设置失败，返回步骤1）提示用户重设过渡区域和高分辨率区域的形状。
b.从A点的配对候选点集中，选择一个高分辨率区域顶点与A点试配对：将两个n边形剩下的各顶点按照顺时针方向依次两两试配对，检测过渡区域各顶点对应的试配对点是否都满足可配对条件。
如果存在不满足配对条件的试配对顶点，则试配对失败，从A点的配对候选点集中去除这一高分辨率区顶点；否则，试配对成功，并将两个多边形各配对点的距离求和作为这一点的配对代价值。
c.循环上述b步骤，直到完成A点的配对候选点集中所有候选点与A的试配对。如果候选点集中不存在满足试配对成功的候选点，则区域设置失败，返回步骤1）提示用户重设过渡区域和高分辨率区域的形状。
d.比较与A点试配对成功的各点的配对代价值，选择代价值最小的候选点，作为最终的配对点，并按顺时针方向完成高分辨率区域顶点与过渡区域各顶点配对。配对顶点可标记为（A0，a0）（B0，b0）（C0，c0）（D0，d0）等，参见图7所示。
4）计算目标映射图上的各顶点坐标。
根据图像尺寸缩小比例L和局部分辨率提升倍数m，计算各区域顶点对在映射小图上的坐标。可标记为（A1，a1）（B1，b1）（C1，c1）（D1，d1）等。如果在映射小图上的高分辨率区顶点（a1，b1，c1，d1等）位于过渡区域区边界之外，则用户设置的局部分辨率提升倍数m过大，需降低局部分辨率提升倍数m值，重复步骤4），直到局部分辨率提升倍数m值达到合理范围。
5）将过渡区域划分为若干映射四边形。
判断原图过渡区域任一条边的两个端点及它们分别对应的配对点，是否处于一条直线上。如果这四个点不在一条直线上，则它们组成一个原图过渡区域四边形，如A0B0b0a0。这四个点在目标映射小图上的对应点组成一个对应的目标图过渡区域四边形，如A1B1b1a1，参见图7所示。这样，原图过渡区域和目标图过渡区域可以分别分解为2～n个映射四边形，并一一对应。
6）求解四边形映射和反映射矩阵。
根据透视变换公式，对每组对应的映射四边形，可以解出唯一的映射和反映射矩阵。
进一步，所述方法还包括如下步骤：
7）对原始高分辨率图像进行映射（缩小）处理，获取小尺寸视频图像。
先判断目标像素点处于哪个区域，如果像素位于高分辨率区域或低分辨率区域，则按照对应缩放系数进行缩放处理；如果目标像素位于分辨率过渡区域，则判断其位于哪个透视变换映射四边形内，然后应用对应的透视变换关系进行像素映射。
8）在视频回放或预览时，对小尺寸视频图像进行反映射（放大）处理，与步骤7）方法相同。
在所述处理过程中，目标像素点位于高分辨率区域或低分辨率区域时，按照对应缩放系数进行映射处理；目标像素点位于分辨率过渡区域时，判断其位于哪个透视变换映射四边形内，然后应用对应的透视变换关系进行映射处理。
本发明提出的非均匀分辨率监控***设备，能够根据用户的警戒区设置，摄像机的高分辨率大尺寸视频图像经过非均匀分辨率映射，映射到小尺寸视频图像上传输、编码、存储。在小尺寸视频中为警戒区保留了较高的分辨率。在视频浏览或回放时，小尺寸视频图像反映射回大尺寸显示图像，在显示图像警戒区取得高分辨率。进一步，将监控视频图像分为高分辨率、低分辨率、和分辨率过渡区域三种区域，采用不同的分辨率映射方法进行映射，并合成小尺寸矩形目标映射图，便于编码传输。并优化了分辨率过渡区域的映射方法。
本领域的技术人员将理解，确定关注区域还可以使用其它传统方法，比如基于捕获场景的多个摄像机的视图来确定重叠的覆盖区域，并将该重叠的区域确定为关注区域。尽管上面的示例示仅出了1个区域，但是应当理解，可以存在具有2个以上的关注区域。
前述处理器可以是任何类型的处理器，诸如通用中央处理单元(“CPU”)或诸如嵌入式微控制器之类的专用微处理器或数字信号处理器(“DSP”)。
存储器可以是适合于存储和访问电子信息的任何类型的存储器或它们的组合，诸如暂时性随机存取存储器(RAM)或非暂时性存储器，如只读存储器(ROM)、硬盘驱动器存储器、数据库存储器、光盘驱动器存储器、光存储器等。
存储器可以包括数据和指令，当由处理器执行时，所述指令可以配置或使得设备执行或实施上文描述的功能或方面(例如，处理一个或多个步骤)。另外，设备还可以包括通常在计算***中找到的其它组件，诸如存储在存储器中并由处理器执行的操作***、队列管理器、设备驱动程序、数据库驱动程序或一个或多个网络协议等。
在上面的描述中，本发明的公开内容并不旨在将其自身限于这些方面。而是，在本公开内容的目标保护范围内，各组件可以以任意数目选择性地且操作性地进行合并。另外，像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的，而不是排他性的或封闭性，除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义，除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释，除非本公开内容明确将其限定成那样。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。
Claims (9)
1.一种基于局部非均匀分辨率的视频图像处理设备，其特征在于包括：
存储器，用以存储数据和指令；
处理器，在执行所述指令时用于，
获取监控视频图像；
确定监控视频图像中的至少一个关注区域；
以及在视频编码或传输前，对监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像，其中为所述关注区域分配更多的分辨率，同时保持映射后的每帧视频图像的矩形形状和大小以便编码压缩；
其中，所述处理器在确定至少一个关注区域时还用于：设置关注区域的局部分辨率提升倍数m，关注区域为高分辨率区域；在关注区域周围设置受影响的分辨率过渡区域，所述关注区域和过渡区域之外的像素的分辨率保持原***设置的低分辨率形成低分辨率区域，低分辨率区域不受分辨率映射的影响；所述局部分辨率提升倍数m小于过渡区域与对应关注区域在各方向上的尺度比最小值。
2.根据权利要求1所述的设备，其特征在于：所述处理器在视频回放或预览时用于，
进行分辨率反映射处理，使得小尺寸视频图像反映射回大尺寸显示图像时恢复图像比例关系，在所述关注区域局部放大时输出高分辨率的图像。
3.根据权利要求1或2所述的设备，其特征在于：所述处理器包括关注区域设置模块，其用于，
基于手动输入在视频图像上生成至少一个关注区域；
和/或，基于捕获的场景特征在视频图像上自动生成至少一个关注区域；
和/或，编辑所述关注区域以重新配置视频图像的关注区域，所述编辑包括调整关注区域的范围、添加新的关注区域和/或删减已有关注区域。
4.根据权利要求1所述的设备，其特征在于：所述处理器在生成小尺寸视频图像时用于，
对视频图像的不同区域使用不同的分辨率映射方式进行缩小，所述关注区域作为高分辨率区域使用缩小比例k缩放，所述低分辨率区域使用缩小比例L缩放，k=L/m。
5.根据权利要求4所述的设备，其特征在于：所述过渡区域的映射方式，采用透射变换方法或多项式投影变换方法。
6.一种基于局部非均匀分辨率的视频图像处理***，其特征在于包括：
监控摄像机，用以获取高分辨率的原始视频图像；
图像处理设备，用以对前述原始视频图像进行局部非均匀分辨率映射处理，所述图像处理设备为权利要求1-5中任一项所述的设备；
监控显示器，用以显示经所述图像处理设备处理后的视频图像。
7.一种基于局部非均匀分辨率的视频图像处理方法，其特征在于包括如下步骤：
获取监控视频图像；
确定监控视频图像中的至少一个关注区域；
在视频编码或传输前，对原始监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像，其中为所述关注区域分配更多的分辨率，并保持映射后的每帧视频图像的矩形形状和大小；
对非均匀分辨率映射处理后的视频图像进行编码压缩；
其中，对原始监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像的步骤包括：
设置关注区域的局部分辨率提升倍数m，关注区域为高分辨率区域；在关注区域周围设置受影响的分辨率过渡区域，所述关注区域和过渡区域之外的像素的分辨率保持原***设置的低分辨率形成低分辨率区域，低分辨率区域不受分辨率映射的影响；所述局部分辨率提升倍数m小于过渡区域与对应关注区域在各方向上的尺度比最小值。
8.根据权利要求7所述的方法，其特征在于：
对视频图像的不同区域使用不同的分辨率映射方式进行缩小，所述关注区域作为高分辨率区域使用缩小比例k缩放，所述低分辨率区域使用缩小比例L缩放，k=L/m；
所述过渡区域的映射方式采用透射变换方法或多项式投影变换方法。
9.一种基于透视变换的非均匀分辨率映射方法，其特征在于包括如下步骤：
步骤1，在原始图像上设定高分辨率区域和过渡区域边界；所述高分辨率区域和分辨率过渡区域为任意多边形的形状，两个多边形有相同的顶点数量n，记录图像上两个n边形顶点坐标和各边端点的对应关系；
步骤2，对区域边界多边形顶点顺时针重排序；首先从过渡区域边界多边形的顶点中选择垂直方向位置最高的一个顶点A ，有多个高度相同的顶点时选择其中水平位置在最左边的顶点，从A点出发，根据边的连通关系，按顺时针方向为过渡区域边界多边形和高分辨率区域边界多边形的各顶点排序；
步骤3，对过渡区域和高分辨率区域的顶点两两配对；
a. 对过渡区域边界的顶点A，计算高分辨率区域边界各顶点是否与其满足可配对条件；
b. 从A点的配对候选点集中，选择一个高分辨率区域顶点与A点试配对，检测过渡区域各顶点对应的试配对点是否都满足可配对条件；
存在不满足配对条件的试配对顶点时试配对失败，从A点的配对候选点集中去除这一高分辨率区域顶点；否则，试配对成功，将两个多边形各配对点的距离求和作为这一点的配对代价值；
c. 循环b步骤，直到完成A点的配对候选点集中所有候选点与A的试配对；
d.比较与A点试配对成功的各点的配对代价值，选择代价最小的候选点作为最终的配对点，并按顺时针方向完成高分辨率区域顶点与过渡区域各顶点配对；
步骤4，计算目标映射图上的各顶点坐标；
步骤5，将过渡区域划分为若干映射四边形；
步骤6，求解四边形映射和反映射矩阵；根据透视变换公式，对每组对应的映射四边形求解出唯一的映射和反映射矩阵；
以及，还包括步骤：
对高分辨率图像进行映射缩小处理，获取小尺寸视频图像，在视频回放或预览时对前述小尺寸视频图像进行反映射放大处理；其中，当目标像素点位于高分辨率区域或低分辨率区域时，按照对应缩放系数进行映射处理；当目标像素点位于分辨率过渡区域时，判断其位于哪个透视变换映射四边形内，然后应用对应的透视变换关系进行映射处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811212816.5A CN109194923B (zh) | 2018-10-18 | 2018-10-18 | 基于局部非均匀分辨率的视频图像处理设备、***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811212816.5A CN109194923B (zh) | 2018-10-18 | 2018-10-18 | 基于局部非均匀分辨率的视频图像处理设备、***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109194923A CN109194923A (zh) | 2019-01-11 |
| CN109194923B true CN109194923B (zh) | 2023-08-29 |
Family
ID=64945442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811212816.5A Active CN109194923B (zh) | 2018-10-18 | 2018-10-18 | 基于局部非均匀分辨率的视频图像处理设备、***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109194923B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020173414A1 (zh) * | 2019-02-25 | 2020-09-03 | 昀光微电子（上海）有限公司 | 一种基于人眼视觉特征的近眼显示方法和装置 |
| CN111698453B (zh) * | 2019-03-11 | 2022-02-08 | 杭州海康威视***技术有限公司 | 视频处理的方法和装置 |
| EP3742738B1 (en) * | 2019-05-24 | 2021-09-08 | Mirriad Advertising PLC | Incorporating visual objects into video material |
| CN110572656B (zh) * | 2019-09-19 | 2021-11-19 | 江苏视博云信息技术有限公司 | 一种编码方法、图像处理方法、装置、***、存储介质及设备 |
| CN110650357B (zh) * | 2019-09-27 | 2023-02-10 | 腾讯科技（深圳）有限公司 | 视频解码方法及装置 |
| WO2021073336A1 (en) * | 2019-10-18 | 2021-04-22 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | A system and method for creating real-time video |
| CN110796997B (zh) * | 2019-11-14 | 2021-12-21 | 京东方科技集团股份有限公司 | 一种实现非均匀分辨率显示的方法及装置 |
| CN113518249B (zh) * | 2020-04-10 | 2023-03-10 | 华为技术有限公司 | 一种远端图像处理方法及装置 |
| CN112884803B (zh) * | 2020-08-18 | 2023-11-24 | 眸芯科技（上海）有限公司 | 基于dsp的实时智能监控目标检测方法及装置 |
| CN113630622B (zh) * | 2021-06-18 | 2024-04-26 | 中图云创智能科技(北京)有限公司 | 全景视频图像处理方法、服务端、目标设备、装置和*** |
| CN113592712A (zh) * | 2021-07-30 | 2021-11-02 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备、存储介质和云vr*** |
| CN114274877B (zh) * | 2021-11-29 | 2023-06-23 | 惠州华阳通用智慧车载***开发有限公司 | 一种后视镜图像显示控制方法 |
| CN114520873A (zh) * | 2021-12-31 | 2022-05-20 | 广州文远知行科技有限公司 | 一种清扫车视频加速方法及*** |
| CN116761019A (zh) * | 2023-08-24 | 2023-09-15 | 瀚博半导体(上海)有限公司 | 视频处理方法、***、计算机设备及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105635624A (zh) * | 2014-10-27 | 2016-06-01 | 华为技术有限公司 | 视频图像的处理方法、设备及*** |
| CN106791854A (zh) * | 2016-11-22 | 2017-05-31 | 北京疯景科技有限公司 | 图像编码、解码方法及装置 |
| CN108475420A (zh) * | 2015-11-16 | 2018-08-31 | 阿尔卡特朗讯美国公司 | 多分辨率压缩感知图像处理 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5492139B2 (ja) * | 2011-04-27 | 2014-05-14 | 富士フイルム株式会社 | 画像圧縮装置、画像伸長装置、方法、及びプログラム |
-
2018
- 2018-10-18 CN CN201811212816.5A patent/CN109194923B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105635624A (zh) * | 2014-10-27 | 2016-06-01 | 华为技术有限公司 | 视频图像的处理方法、设备及*** |
| CN108475420A (zh) * | 2015-11-16 | 2018-08-31 | 阿尔卡特朗讯美国公司 | 多分辨率压缩感知图像处理 |
| CN106791854A (zh) * | 2016-11-22 | 2017-05-31 | 北京疯景科技有限公司 | 图像编码、解码方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109194923A (zh) | 2019-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109194923B (zh) | 基于局部非均匀分辨率的视频图像处理设备、***及方法 | |
| US8855441B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
| CN112204993B (zh) | 使用重叠的被分区的分段的自适应全景视频流式传输 | |
| TWI535285B (zh) | Conference system, surveillance system, image processing device, image processing method and image processing program, etc. | |
| US10038841B1 (en) | System for streaming multiple regions deriving from a wide-angle camera | |
| CN112365407B (zh) | 视角可配置的摄像机全景拼接方法 | |
| CN108564551B (zh) | 鱼眼图像处理方法及鱼眼图像处理装置 | |
| JP2007067917A (ja) | 画像データ処理装置 | |
| KR20100105351A (ko) | 바나나 코덱 | |
| CN102598651B (zh) | 动图像处理装置及方法、安装有动图像处理装置的摄像装置 | |
| WO2003019471A2 (en) | Method and apparatus for encoding photogrraphic images | |
| US7433544B2 (en) | Apparatus and method for producing thumbnail images and for improving image quality of re-sized images | |
| KR102308604B1 (ko) | 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림 | |
| WO2018068680A1 (zh) | 图像处理方法和装置 | |
| US11528412B2 (en) | Apparatus and method for stitching together multiple images | |
| JP5473903B2 (ja) | 画像を処理する方法およびシステム | |
| WO2023280266A1 (zh) | 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法 | |
| WO2021083150A1 (zh) | 变焦方法、装置、飞行器、飞行***及存储介质 | |
| EP3091742A1 (en) | Device and method for encoding a first image of a scene using a second image having a lower resolution and captured at the same instant | |
| KR102498870B1 (ko) | 카메라 시스템 및 그의 영상처리방법 | |
| JPH0562798B2 (zh) | ||
| CN115134604A (zh) | 全景视频压缩方法、装置、计算机设备和存储介质 | |
| JP3934345B2 (ja) | 撮像装置 | |
| CN117456145A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| CN117853980A (zh) | 视频处理方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201210 floor 8, building 1, No. 298, Xiangke Road, Pudong New Area, Shanghai Applicant after: MOUXIN TECHNOLOGY (SHANGHAI) Co.,Ltd. Address before: 201210 Room 502, building 1, No. 800, Naxian Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai Applicant before: MOUXIN TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |