CN115567658A - 一种保持图像不偏转方法、装置及可视耳勺 - Google Patents
一种保持图像不偏转方法、装置及可视耳勺 Download PDFInfo
- Publication number
- CN115567658A CN115567658A CN202211545254.2A CN202211545254A CN115567658A CN 115567658 A CN115567658 A CN 115567658A CN 202211545254 A CN202211545254 A CN 202211545254A CN 115567658 A CN115567658 A CN 115567658A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- matrix
- key frame
- undeflected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000000007 visual effect Effects 0.000 title claims abstract description 16
- 238000006073 displacement reaction Methods 0.000 claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 24
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 80
- 238000012935 Averaging Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 6
- 210000005069 ears Anatomy 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请涉及可视技术领域，特别是涉及一种保持图像不偏转方法、装置及可视耳勺，该方法包括：接收原始视频流；按照预设模式对所述原始视频流按时序抽取关键帧图像，并进行转化处理；按照预设模式追踪对比所述转化处理后的关键帧图像之间的图像特征值，以计算求得图像位移和偏转角度；根据所述图像位移和偏转角度，按照所述预设模式对预设的关键帧图像进行仿射变换以保持图像不偏转；其中，所述预设模式包括单帧模式、平滑模式或混合模式。本申请在无须增加硬件的情况下，降低了产品的制作难度，通过软件算法，能够低成本、高效率地处理图像，同时，保留了原图像信息，并且能够保持图像不偏转。
Description
技术领域
本申请涉及可视技术领域，特别是涉及一种保持图像不偏转方法、装置及可视耳勺。
背景技术
可视耳勺包括耳镜和耳勺本体，耳镜主要用于观察耳朵，使用时需要将耳镜采集到的图像传输（一般是通过无线，也可以是有线）到APP端（也可以是其他设备端）显示。而用户在使用时，经常会旋转耳勺本体，由于耳镜和耳勺本体通常是一体式设计，旋转耳勺本体的过程中必然也会带动耳镜旋转，如果不做任何处理，APP端上的图像也会随着旋转，容易让用户分不清当前应该往哪个方向运动，这种情况会给用户造成不便，从而降低用户的体验感。
相关技术中的处理方式是在耳勺本体上安装一个加速度传感器G-Sensor，当用户在水平方向旋转耳勺本体时，能够给APP端一个旋转角度的数据。APP端接收到旋转角度的数据会将图像进行处理，以保持APP端上图像的不偏转。
针对上述中的相关技术，发明人认为增加G-Sensor会导致成本增加，另外，由于G-Sensor本身的特性，稳定性和可靠性并不高。
发明内容
为了节约生产成本，并提升用户体验，本申请提供一种保持图像不偏转方法、装置及可视耳勺。
第一方面，本申请提供一种保持图像不偏转方法，采用如下的技术方案：
一种保持图像不偏转方法，包括：
接收原始视频流；
按照预设模式对所述原始视频流按时序抽取关键帧图像，并进行转化处理；
按照预设模式追踪对比所述转化处理后的关键帧图像之间的图像特征值，以计算求得图像位移和偏转角度；
根据所述图像位移和偏转角度，按照所述预设模式对预设的关键帧图像进行仿射变换以保持图像不偏转；
其中，所述预设模式包括单帧模式、平滑模式或混合模式。
可选的，所述单帧模式包括：从预设的初始帧开始，每间隔N帧抽取一关键帧图像，并将当前抽取的关键帧图像与前一抽取的关键帧图像进行追踪对比，将追踪对比结果应用于当前抽取帧与下一待抽取帧之间的所有关键帧图像上；其中，N为正整数。
可选的，所述平滑模式包括：从预设的初始帧开始，以M帧为周期，将当前M帧中的每一关键帧图像分别与各自的前一关键帧图像进行追踪对比，将每一追踪对比结果做平均后，应用于下一M帧内的所有关键帧图像上；其中，M为正整数。
可选的，所述混合模式包括：
从预设的初始帧开始，以P+Q帧为周期；
将当前P+Q帧中第P帧的关键帧图像与上一P+Q帧中最后一帧的关键帧图像进行追踪对比；
将当前P+Q帧中第P+1帧至第P+Q帧的每一关键帧图像分别与各自的前一关键帧图像进行追踪对比；
将每一追踪对比结果做平均后，应用于下一P+Q帧中的所有关键帧图像上；
其中，P和Q均为正整数。
可选的，所述转化处理具体包括：
将所述关键帧图像数据转换为矩阵；
在所述矩阵中进行角点检测；
根据所述角点检测的结果，计算出前后两帧图像的光流。
可选的，所述将所述关键帧图像数据转换为矩阵具体包括：
将所述关键帧图像数据转换为向量；
将所述向量转换为矩阵；
将所述矩阵由彩色矩阵转换为灰度矩阵。
可选的，所述仿射变换具体包括：
指定要旋转的图像矩阵及旋转角度，其中，所述旋转角度是由预设的初始帧开始计算的所有偏转角度累加获得；
将所述要旋转的图像矩阵的中心点标注为要旋转的图像中心；
给输出矩阵分配内存空间；
根据所述图像位移和旋转角度，遍历所述要旋转的图像矩阵的每个横纵坐标，获得所述输出矩阵；
将所述输出矩阵转换为彩色输出矩阵；
将所述彩色输出矩阵通过图像编码转换为彩色输出图片。
可选的，所述将所述彩色输出矩阵通过图像编码转换为彩色输出图片之后还包括：
对每个获得的所述彩色输出图片进行渲染；
将经过渲染后的所述彩色输出图片发送并显示。
可选的，所述计算出前后两帧图像的光流具体包括：采用金字塔Lucas-Kanade算法计算出前后两帧图像的光流。
可选的，所述图像位移和偏转角度的计算方法包括：
计算两个2D点集之间的仿射变换参数；
根据所述仿射变换参数，
分别获取仿射变换后矩阵第0行第2列的值dx和第1行第2列的值dy，所述dx为所述图像位移在X轴方向的分量，所述dy为所述图像位移在Y轴方向的分量；
计算仿射变换后矩阵第1行第0列的值和第0行第0列的值之间的反正切值，以求得所述偏转角度。
可选的，当求得的所述偏转角度在预设角度区间之外时，取所述偏转角度为0。
第二方面，本申请还提供一种保持图像不偏转装置，采用如下的技术方案：
一种保持图像不偏转装置，包括：
存储器，用于存储原始视频流、关键帧图像和保持图像不偏转程序；
处理器，在运行所述保持图像不偏转程序时执行上述保持图像不偏转方法的步骤。
第三方面，本申请还提供一种可视耳勺，采用如下的技术方案：
一种可视耳勺，包括：
耳勺本体；
耳镜，一体式设置于所述耳勺本体上，用于采集耳朵内的画面；
显示装置，用于显示耳朵内的画面；
上述的保持图像不偏转装置，输入端连接所述耳镜，输出端连接所述显示装置。
综上所述，本申请在无须增加硬件的情况下，降低了产品的制作难度，通过软件算法，能够低成本、高效率地处理图像，同时，保留了原图像信息，并且能够保持图像不偏转，满足了可视耳镜稳定输出视频的需求，能够获得较好的视频观看体验，从而提升用户使用体验。
附图说明
图1为本申请保持图像不偏转装置结构示意图；
图2为本申请保持图像不偏转方法流程示意图；
图3为本申请仿射变换参数的2×3阶矩阵示意图。
具体实施方式
相关技术中，为了保持图像不偏转，在耳勺本体上安置一个加速度传感器G-Sensor，当用户在水平方向旋转耳勺本体时，能够给APP端一个旋转角度的数据。APP端接收到旋转角度的数据会将图像进行处理，以保持APP端上图像的不偏转。
但是，在耳勺本体上添加一个G-Sensor会增加硬件成本，如果去掉这颗G-Sensor，相应的成本就会降低20-30%。
而且，由于G-Sensor存在噪声，那么意味着即使耳勺本体静止不动，APP端的图像也会产生抖动，由于耳镜视频是个实时***，很多算法不好应用，难以兼顾静止时图像的抖动以及运动时的及时响应速度之间的统一。
此外，为了节约成本，有些采用的是二轴的G-Sensor，当耳勺本体不是水平放置时，得到的偏移角度就会有误差，在极限情况下，如果将耳勺本体垂直放置，G-Sensor将彻底无效。
下面结合说明书附图对本申请可视耳勺的实施例作详细描述，但该实施例不应理解为对本申请的限制。
如图1所示，本申请实施例提供一种可视耳勺，所述可视耳勺包括耳勺本体、一体式设置于所述耳勺本体上的耳镜、显示装置和保持图像不偏转装置；所述保持图像不偏转装置集成有存储器和处理器，输入端连接所述耳镜，输出端连接所述显示装置。
所述耳镜用于对耳朵内的画面进行拍摄，并获取视频流以供所述处理器进行处理；所述显示装置用于显示经过所述处理器处理后的耳朵内的画面；所述存储器用于存储原始视频流、关键帧图像和保持图像不偏转程序，其中，原始视频流、原始关键帧图像、处理后的视频流或处理后的关键帧图像均可以选择性地进行存储保存；所述处理器在运行所述保持图像不偏转程序时执行以下保持图像不偏转方法的步骤。
可以理解的是，所述保持图像不偏转装置和显示装置可以由手机端代替，即利用手机端上的处理器、存储器和显示屏等硬件通过软件实现相应的功能，也可以是采用平板、电脑等其他设备来实现。为了描述方便，以下以手机端作为实施例进行说明。
下面结合可视耳勺对保持图像不偏转方法的实施例作进一步的详细说明。
如图2所示，本申请实施例提供一种保持图像不偏转方法，包括：
S10：接收原始视频流；
这里的原始视频流指的是通过耳镜等图像传感器对目标（例如耳道）进行拍摄而获取的视频流，可以是MJPEG、RAW data、MPEG1-4、WMV、RMVB、FLV等格式，本申请并不以此为限。
需要说明的是，在本实施例中，耳镜一体式设置于耳勺本体上，而耳镜对目标进行拍摄获取的视频流需要传输（一般是通过无线，也可以是有线）给手机端进行处理和显示，因此，耳镜还需通过有线连接到手机端，或者通过无线模块（例如蓝牙、WIFI等）连接手机端，所属领域的技术人员可以清楚地了解到，在此不再赘述。
S20：按照预设模式对所述原始视频流按时序抽取关键帧图像，并进行转化处理；
所述预设模式包括单帧模式、平滑模式或混合模式，可以理解的是，在不同的预设模式下，抽取关键帧图像的方式不一样，而选择哪种预设模式，可以由使用者事先选择并预设好，也可以在使用过程中根据实际效果做出更改，当预设模式更改后，后续的视频流则按照最新选择的预设模式进行处理即可。
S30：按照预设模式追踪对比所述转化处理后的关键帧图像之间的图像特征值，以计算求得图像位移和偏转角度；
可以理解的是，在不同的预设模式下，所需要对比的关键帧图像是不同的，当上一步骤中选择好预设模式时，该步骤中只需按照对应预设模式设定好的对比规则执行即可。
其中，按照预设模式追踪对比所述转化处理后的关键帧图像之间的图像特征值，从而获得追踪对比结果，该追踪对比结果包括图像位移和偏转角度da，且图像位移包括图像位移在X轴方向的分量dx以及图像位移在Y轴方向的分量dy。
S40：根据所述图像位移和偏转角度，按照所述预设模式对预设的关键帧图像进行仿射变换以保持图像不偏转。
所述单帧模式包括：从预设的初始帧开始，每间隔N帧抽取一关键帧图像，并将当前抽取的关键帧图像与前一抽取的关键帧图像进行追踪对比，将追踪对比结果应用于当前抽取帧与下一待抽取帧（包括该待抽取帧）之间的所有关键帧图像上；其中，N为正整数。可以理解的是，在单帧模式中，上述预设的关键帧图像指的就是当前抽取帧与下一待抽取帧（包括该待抽取帧）之间的所有关键帧图像。需要说明的是，所述预设的初始帧也需要抽取，并且，该预设的初始帧无需进行处理，可以直接用于手机端进行显示。
在本实施例中，为了方便说明单帧模式，假设预设的初始帧为0且N=5，则从第0帧开始，每间隔5帧抽取一关键帧图像，即抽取第0帧、第5帧、第10帧、第15帧……关键帧图像，并且，将第5帧与第0帧的关键帧图像进行追踪对比，将追踪对比结果应用于第5帧与第10帧之间（即第6帧、第7帧、第8帧、第9帧、第10帧）的所有关键帧图像上，将第10帧与第5帧的关键帧图像进行追踪对比，将追踪对比结果应用于第10帧与第15帧之间（即第11帧、第12帧、第13帧、第14帧、第15帧）的所有关键帧图像上，以此类推。
可以理解的是，在单帧模式中，采用单帧对比和单独应用方式，N的取值大小能够直接影响显示效果。例如，当N取1时，则表示将视频流中的每一关键帧图像均进行追踪对比，这种情况下的显示效果最好，但所需要的算力也是最高的，在手机端算力有限的情况下，可能会造成计算时间过长，出现junk（废弃）帧，从而造成视频卡顿；而当N取值越大时，所需要的算力越低，但是越容易出现偏转抖动，显示效果越低。因此，在单帧模式下，可以结合手机端算力选定适合的N值，从而获得较好的显示效果。
所述平滑模式包括：从预设的初始帧开始，以M帧为周期，将当前M帧（包括第M帧）中的每一关键帧图像分别与各自的前一关键帧图像进行追踪对比，将每一追踪对比结果做平均（例如加权平均）后，应用于下一M帧内的所有关键帧图像上；其中，M为正整数。可以理解的是，在平滑模式中，上述预设的关键帧图像指的就是下一M帧内的所有关键帧图像。需要说明的是，所述预设的初始帧也需要抽取，并且，该预设的初始帧无需进行处理，可以直接用于手机端进行显示。
在本实施例中，为了方便说明平滑模式，假设预设的初始帧为0且M=3，则从第0帧开始，以3帧为周期，将当前3帧（即第1帧、第2帧和第3帧）中的每一关键帧图像分别与各自的前一关键帧图像进行追踪对比，即：分别将第1帧与第0帧进行追踪对比获得E1，将第2帧与第1帧进行追踪对比获得E2，将第3帧与第2帧进行追踪对比获得E3，并且将E1、E2和E3做平均（例如加权平均）后，应用于下一3帧（即第4帧、第5帧和第6帧）关键帧图像上；然后分别将第4帧与第3帧进行追踪对比获得E4，将第5帧与第4帧进行追踪对比获得E5，将第6帧与第5帧进行追踪对比获得E6，并且将E4、E5和E6做平均（例如加权平均）后，应用于下一3帧（即第7帧、第8帧和第9帧）关键帧图像上，以此类推。
可以理解的是，在平滑模式中，采用多帧对比和平均值应用方式，相对于单帧模式，能够明显减少算力，但是计算粒度比较粗，显示效果没有单帧模式好。
作为本申请一实施方式，所述混合模式包括：
从预设的初始帧开始，以P+Q帧为周期；
将当前P+Q帧中第P帧的关键帧图像与上一P+Q帧中最后一帧的关键帧图像进行追踪对比，其中，当第一次抽取P+Q帧时，所述上一P+Q帧中最后一帧对应为所述预设的初始帧；
将当前P+Q帧中第P+1帧至第P+Q帧（包括第P+1帧和第P+Q帧）的每一关键帧图像分别与各自的前一关键帧图像进行追踪对比；
将每一追踪对比结果做平均（例如加权平均）后，应用于下一P+Q帧中的所有关键帧图像上；
其中，P和Q均为正整数。可以理解的是，在混合模式中，上述预设的关键帧图像指的就是下一P+Q帧中的所有关键帧图像。需要说明的是，所述预设的初始帧也需要抽取，并且，该预设的初始帧无需进行处理，可以直接用于手机端进行显示。
在本实施例中，为了方便说明混合模式，假设预设的初始帧为0且P=3、Q=6，则从第0帧开始，在第一个9帧（即第1帧至第9帧）内，将第3帧的关键帧图像与第0帧的关键帧图像进行追踪对比获得F1，将第4帧的关键帧图像与第3帧的关键帧图像进行追踪对比获得F2，将第5帧的关键帧图像与第4帧的关键帧图像进行追踪对比获得F3……将第9帧的关键帧图像与第8帧的关键帧图像进行追踪对比获得F7，并且将F1、F2、F3……F7做平均（例如加权平均）后，应用于第二个9帧（即第10帧至第18帧）的所有关键帧图像上；在第二个9帧（即第10帧至第18帧）内，将第12帧的关键帧图像与第9帧的关键帧图像进行追踪对比获得F11，将第13帧的关键帧图像与第12帧的关键帧图像进行追踪对比获得F12，将第14帧的关键帧图像与第13帧的关键帧图像进行追踪对比获得F13……将第18帧的关键帧图像与第17帧的关键帧图像进行追踪对比获得F17，并且将F11、F12、F13……F17做平均（例如加权平均）后，应用于第三个9帧（即第19帧至第27帧）的所有关键帧图像上，以此类推。
作为本申请另一实施方式，所述混合模式包括：
从预设的初始帧开始，以P+Q帧为周期；
将当前P+Q帧中第P帧的关键帧图像与上一P+Q帧中最后一帧的关键帧图像进行追踪对比，并将追踪对比结果应用于下一P+Q帧中前P帧的所有关键帧图像上，其中，当第一次抽取P+Q帧时，所述上一P+Q帧中最后一帧对应为所述预设的初始帧；
将当前P+Q帧中第P+1帧至第P+Q帧（包括第P+1帧和第P+Q帧）的每一关键帧图像分别与各自的前一帧关键帧图像进行追踪对比，并将每一追踪对比结果做平均（例如加权平均）后，应用于下一P+Q帧中后Q帧的所有关键帧图像上；
其中，P和Q均为正整数。可以理解的是，在混合模式中，上述预设的关键帧图像指的就是下一P+Q帧中的所有关键帧图像。需要说明的是，所述预设的初始帧也需要抽取，并且，该预设的初始帧无需进行处理，可以直接用于手机端进行显示。
在本实施例中，为了方便说明混合模式，假设预设的初始帧为0且P=3、Q=6，则从第0帧开始，在第一个9帧（即第1帧至第9帧）内，将第3帧的关键帧图像与第0帧的关键帧图像进行追踪对比获得G1，并将追踪对比结果G1应用于第二个9帧中前3帧（即第10帧、第11帧和第12帧）的所有关键帧图像上，将第4帧的关键帧图像与第3帧的关键帧图像进行追踪对比获得G2，将第5帧的关键帧图像与第4帧的关键帧图像进行追踪对比获得G3……将第9帧的关键帧图像与第8帧的关键帧图像进行追踪对比获得G7，并且将G2、G3……G7做平均（例如加权平均）后，应用于第二个9帧中后6帧（即第13帧至第18帧）的所有关键帧图像上；在第二个9帧（即第10帧至第18帧）内，将第12帧的关键帧图像与第9帧的关键帧图像进行追踪对比获得G11，并将追踪对比结果G11应用于第三个9帧中前3帧（即第19帧、第20帧和第21帧）的所有关键帧图像上，将第13帧的关键帧图像与第12帧的关键帧图像进行追踪对比获得G12，将第14帧的关键帧图像与第13帧的关键帧图像进行追踪对比获得G13……将第18帧的关键帧图像与第17帧的关键帧图像进行追踪对比获得G17，并且将G12、G13……G17做平均（例如加权平均）后，应用于第三个9帧中后6帧（即第22帧至第27帧）的所有关键帧图像上，以此类推。
可以理解的是，单帧模式的单帧对比和单独应用方式能够得到更好的显示效果，但是需要较高算力；平滑模式的多帧对比和平均值应用方式能够明显减少算力，但是显示效果较差；而结合单帧模式和平滑模式优点的混合模式，更容易取得算力和显示效果之间的平衡，因此，在实际应用中，为了适应不同算力的手机端，采用混合模式能够更好地调整算力和显示效果的平衡。
可以理解的是，在上述加权平均中，可以根据经验或标准对每一追踪对比结果进行权重分配，所属领域的技术人员可以清楚地了解到加权平均的计算方式，在此不再赘述。
具体来说，在步骤S20中，所述转化处理具体包括：
S21：将所述关键帧图像数据转换为矩阵；
在本申请实施例中，可以将关键帧图像数据按原格式尺寸转换为矩阵，由于使用矩阵无需手动分配内存，对于不再使用的内存，也无需进行释放，因此，在任何时候都只用到执行任务所需要的内存，而无需进行额外的操作，使用过程方便快捷。
具体来说，所述步骤S21具体包括：
S211：将所述关键帧图像数据转换为向量；
在该步骤中，可以为每个关键帧图像数据分配一个向量，该向量封装了动态大小数组的顺序容器。
S212：采用解码内存数据工具将所述向量转换为矩阵；
在该步骤中，可以使用imdecode等解码内存数据工具来解码内存数据，将向量转换为矩阵，转换标准可以是IMREAD_UNCHANGED返回原始图像，这个矩阵包含了图像的所有信息，以便于更完整地保存源图像的数据，同时也便于后续计算。
S213：采用色彩空间转换工具将所述矩阵由彩色矩阵转换为灰度矩阵。
在该步骤中，可以采用cvtColor进行色彩空间转换，最终转换为COLOR_BGR2GRAY灰度矩阵，使用cvtColor在转换的过程中能够保证数据的类型不变，即转换后的图像的数据类型和位深与源图像一致，而灰度矩阵使用单一色调来表示图像，转换后可以有效减小图像数据量。
S22：在所述矩阵中进行角点检测；
在本申请实施例中，将处理过的灰度矩阵图像数据按照特定标准进行goodFeaturesToTrack角点检测，从而获取到精确的图像特征值；上述特定标准可以采用Harris角点检测，也可以采用Shi Tomasi算法的角点检测，检测到的角点依然是像素级别的。
S23：根据所述角点检测的结果，计算出前后两帧图像的光流。
在本申请实施例中，可以借助calcOpticalFlowPyrLK计算出前后两帧图像的光流，这里的光流计算可以使用具有金字塔的迭代Lucas-Kanade算法计算稀疏特征集的光流。
可以理解的是，上述前后两帧图像指的并非是原始视频流在时序上相邻的前后两帧图像，而是指根据上述预设模式抽取的所有关键帧图像在时序上相邻的前后两帧图像。
每当耳镜发生移动或是旋转，采集到的视频流就会发生同样的移动或是旋转，需要追踪关键帧图像中的特征值以求得后面关键帧图像相对于前面关键帧图像追踪对比结果,该追踪对比结果包括图像位移和偏转角度da，所述图像位移包括图像位移在X轴方向的分量dx以及图像位移在Y轴方向的分量dy。
在本申请实施例中，所述步骤S30中，图像位移和偏转角度的计算方法包括：
S31：计算两个2D点集之间的仿射变换参数；
在该步骤中，可以使用estimateAffine2D来计算两个 2D 点集之间的仿射变换参数。
如图3所示，在本申请实施例中，采集到的该仿射变换参数可以采用一个2×3阶矩阵来表示，其中，（0,0）表示第0行第0列对应的值，（0,1）表示第0行第1列对应的值，（0,2）表示第0行第2列对应的值，（1,0）表示第1行第0列对应的值，（1,1）表示第1行第1列对应的值，（1,2）表示第1行第2列对应的值。
S32：根据所述仿射变换参数，
继续参照图3，获取仿射变换后2×3阶矩阵第0行第2列（0,2）的值作为图像位移在X轴方向的分量dx，获取仿射变换后2×3阶矩阵第1行第2列（1,2）的值作为图像位移在Y轴方向的分量dy；
计算仿射变换后2×3阶矩阵第1行第0列（1,0）的值和第0行第0列（0,0）的值之间的反正切值作为所述偏转角度da，需要说明的是，以2×3阶矩阵第1行第0列（1,0）的值和第0行第0列（0,0）的值，求该两个值之间的反正切值以便求得该两个值之间的反正切值，所属领域的技术人员可以清楚地了解到，在此不再赘述。
需要注意的是，在该步骤中，由于采集误差的存在，有可能使求得的反正切值也出现错误，从而获得错误的偏转角度，如果按照错误的偏转角度对图像进行纠正，就会使得输出结果也出现错误，因此，当求得的偏转角度可能存在错误时，丢弃该错误的偏转角度，具体实现方式为，当求得的偏转角度在预设角度区间之外时，取偏转角度为0，其中，预设角度区间的具体取值可以固定设置，也可以根据当前的采集帧率进行设置。
举例来说，在本实施例中，初始时，固定设置预设角度区间为[-1/3π，1/3π]，当偏转角度大于1/3π或小于-1/3π时，取偏转角度为0，即：使得当前图像不做偏转，从而丢弃该错误的偏转角度，且对后续的步骤不造成更多的影响。另外，还可以根据当前的采集帧率对所述预设角度区间进行调整，具体实现方式为：若当前的采集帧率大于预设采集帧率，则将所述预设角度区间缩小，若当前的采集帧率小于预设采集帧率，则将所述预设角度区间增大，其中，所述预设角度区间缩小或增大的幅度由当前的采集帧率与预设采集帧率之间的差值决定，差值越大，缩小或增大的幅度越大。举例来说，初始时，固定设置预设角度区间为[-1/3π，1/3π]，固定设置预设采集帧率为25；若当前的采集帧率为30，则将所述预设角度区间缩小为[-1/6π，1/6π]，若当前的采集帧率为20，则将所述预设角度区间增大为[-1/2π，1/2π]。
在本申请实施例中，在步骤S40中，所述仿射变换具体包括：
S41：指定要旋转的图像矩阵及旋转角度，其中，所述旋转角度是由预设的初始帧开始计算的所有偏转角度累加获得；
具体来说，要旋转的图像矩阵指的就是当前需要处理的图像矩阵，由于偏转角度表示的是抽取的前后两帧关键帧图像之间的偏转，而当前需要处理的图像矩阵需要旋转的角度则应该是与预设的初始帧的关键帧图像进行比较，因此，旋转角度是从预设的初始帧开始计算的所有偏转角度累加获得。
S42：将所述要旋转的图像矩阵的中心点标注为要旋转的图像中心；
具体来说，就是将当前需要处理的图像矩阵的图像长的二分之一与宽的二分之一交叉处标注为要旋转的图像中心。
S43：给输出矩阵分配内存空间；
具体来说，可以按照原图像尺寸及类型给输出矩阵分配内存空间。
S44：根据所述图像位移和旋转角度，遍历所述要旋转的图像矩阵的每个横纵坐标，获得所述输出矩阵；
具体来说，遍历所述要旋转的图像矩阵的每个横纵坐标，就是把原图像矩阵的每个坐标进行位移变换，将原始视频流里旋转后的图像按图像位移和旋转角度旋转回预设的初始帧的角度，以消除位移和偏转对图像的影响，使显示出的图像稳定在相同视角，这样即使耳勺设备发生旋转，但是通过处理后，视频图像是会保持在同一角度的。
可以理解的是，由于最后输出的图像是以原图像中心旋转并且保持图像尺寸不变，所以变换后的输出矩阵中没有位于重合点上的像素可以进行黑色填充。
S45：将所述输出矩阵转换为彩色输出矩阵；
在本申请实施例中，可以采用函数Vec3b(0, 0, 0)将所述输出矩阵转换为彩色输出矩阵。
S46：将所述彩色输出矩阵通过图像编码转换为彩色输出图片。
旋转后输出的数据也是个矩阵，需要将彩色输出矩阵数据通过图像编码imencode转换为彩色输出图片。
在本申请实施例中，将所述彩色输出矩阵通过图像编码转换为彩色输出图片之后还包括：对每个获得的所述彩色输出图片进行渲染；将经过渲染后的所述彩色输出图片发送并显示。
可以理解的是，将处理好的连续的彩色输出图片不断切换实时或缓存之后显示在手机端的APP页面中，在用户视角就是实时显示耳镜不偏转图像的视频。其中，实时显示指的是，所有的处理结果立即应用到当前帧的关键帧图像上并实时显示；缓存之后显示指的是，缓存多帧，经过上述方法计算了这些帧的偏转角度，并且应用了偏转角度处理后再将该多帧关键帧图像回放到手机端。
经过旋转处理后的图像边缘处会留有部分黑色区域，为了提升用户体验，可以对图像进行切割显示，最终在手机端的APP上显示为正圆图像，具体来说，可以以图像中心为原点，最小边为直径，截取一个正圆图像，这样就能显示出完整且没有黑边的图像，其中，最小边指的是原点到黑色填充的最小距离，另一方面，该最小边也可以根据经验进行人为预先设定。而且，在显示的同时还可以保存图像，保存的图像可以是未经处理的原始视频或图像，也可以是处理后的视频或图像。
基于上述同一发明构思，本申请实施例提供一种计算机可读存储介质，包括能够被处理器加载执行时实现保持图像不偏转方法流程中所述的各个步骤。
所述计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其他的方式实现。所述集成的单元如果以软件功能单元的形式实现并作为单独的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备或处理器执行本申请各个实施例所述方法的全部或部分步骤。
以上实施例仅用以对本申请的技术方案进行详细介绍，但以上实施例的说明只是用于帮助理解本申请的方法及其核心思想，不应理解为对本申请的限制。本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。
Claims (13)
1.一种保持图像不偏转方法，其特征在于，包括：
接收原始视频流；
按照预设模式对所述原始视频流按时序抽取关键帧图像，并进行转化处理；
按照预设模式追踪对比所述转化处理后的关键帧图像之间的图像特征值，以计算求得图像位移和偏转角度；
根据所述图像位移和偏转角度，按照所述预设模式对预设的关键帧图像进行仿射变换以保持图像不偏转；
其中，所述预设模式包括单帧模式、平滑模式或混合模式。
2.如权利要求1所述的保持图像不偏转方法，其特征在于，所述单帧模式包括：从预设的初始帧开始，每间隔N帧抽取一关键帧图像，并将当前抽取的关键帧图像与前一抽取的关键帧图像进行追踪对比，将追踪对比结果应用于当前抽取帧与下一待抽取帧之间的所有关键帧图像上；其中，N为正整数。
3.如权利要求1所述的保持图像不偏转方法，其特征在于，所述平滑模式包括：从预设的初始帧开始，以M帧为周期，将当前M帧中的每一关键帧图像分别与各自的前一关键帧图像进行追踪对比，将每一追踪对比结果做平均后，应用于下一M帧内的所有关键帧图像上；其中，M为正整数。
4.如权利要求1所述的保持图像不偏转方法，其特征在于，所述混合模式包括：
从预设的初始帧开始，以P+Q帧为周期；
将当前P+Q帧中第P帧的关键帧图像与上一P+Q帧中最后一帧的关键帧图像进行追踪对比；
将当前P+Q帧中第P+1帧至第P+Q帧的每一关键帧图像分别与各自的前一关键帧图像进行追踪对比；
将每一追踪对比结果做平均后，应用于下一P+Q帧中的所有关键帧图像上；
其中，P和Q均为正整数。
5.如权利要求1所述的保持图像不偏转方法，其特征在于，所述转化处理具体包括：
将所述关键帧图像数据转换为矩阵；
在所述矩阵中进行角点检测；
根据所述角点检测的结果，计算出前后两帧图像的光流。
6.如权利要求5所述的保持图像不偏转方法，其特征在于，所述将所述关键帧图像数据转换为矩阵具体包括：
将所述关键帧图像数据转换为向量；
将所述向量转换为矩阵；
将所述矩阵由彩色矩阵转换为灰度矩阵。
7.如权利要求6所述的保持图像不偏转方法，其特征在于，所述仿射变换具体包括：
指定要旋转的图像矩阵及旋转角度，其中，所述旋转角度是由预设的初始帧开始计算的所有偏转角度累加获得；
将所述要旋转的图像矩阵的中心点标注为要旋转的图像中心；
给输出矩阵分配内存空间；
根据所述图像位移和旋转角度，遍历所述要旋转的图像矩阵的每个横纵坐标，获得所述输出矩阵；
将所述输出矩阵转换为彩色输出矩阵；
将所述彩色输出矩阵通过图像编码转换为彩色输出图片。
8.如权利要求7所述的保持图像不偏转方法，其特征在于，所述将所述彩色输出矩阵通过图像编码转换为彩色输出图片之后还包括：
对每个获得的所述彩色输出图片进行渲染；
将经过渲染后的所述彩色输出图片发送并显示。
9.如权利要求5所述的保持图像不偏转方法，其特征在于，所述计算出前后两帧图像的光流具体包括：采用金字塔Lucas-Kanade算法计算出前后两帧图像的光流。
10.如权利要求1所述的保持图像不偏转方法，其特征在于，所述图像位移和偏转角度的计算方法包括：
计算两个2D点集之间的仿射变换参数；
根据所述仿射变换参数，
分别获取仿射变换后矩阵第0行第2列的值dx和第1行第2列的值dy，所述dx为所述图像位移在X轴方向的分量，所述dy为所述图像位移在Y轴方向的分量；
计算仿射变换后矩阵第1行第0列的值和第0行第0列的值之间的反正切值，以求得所述偏转角度。
11.如权利要求10所述的保持图像不偏转方法，其特征在于：当求得的所述偏转角度在预设角度区间之外时，取所述偏转角度为0。
12.一种保持图像不偏转装置，其特征在于，包括：
存储器，用于存储原始视频流、关键帧图像和保持图像不偏转程序；
处理器，在运行所述保持图像不偏转程序时执行权利要求1-11任一项所述保持图像不偏转方法的步骤。
13.一种可视耳勺，其特征在于，包括：
耳勺本体；
耳镜，一体式设置于所述耳勺本体上，用于采集耳朵内的画面；
显示装置，用于显示耳朵内的画面；
如权利要求12所述的保持图像不偏转装置，输入端连接所述耳镜，输出端连接所述显示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211545254.2A CN115567658B (zh) | 2022-12-05 | 2022-12-05 | 一种保持图像不偏转方法、装置及可视耳勺 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211545254.2A CN115567658B (zh) | 2022-12-05 | 2022-12-05 | 一种保持图像不偏转方法、装置及可视耳勺 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115567658A true CN115567658A (zh) | 2023-01-03 |
| CN115567658B CN115567658B (zh) | 2023-02-28 |
Family
ID=84770430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211545254.2A Active CN115567658B (zh) | 2022-12-05 | 2022-12-05 | 一种保持图像不偏转方法、装置及可视耳勺 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115567658B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101616310A (zh) * | 2009-07-17 | 2009-12-30 | 清华大学 | 可变视角及分辨率的双目视觉***目标图像稳定化方法 |
| US20120120265A1 (en) * | 2009-06-22 | 2012-05-17 | Harald Klomp | Real time video stabilization |
| US20140132786A1 (en) * | 2012-11-12 | 2014-05-15 | Behavioral Recognition Systems, Inc. | Image stabilization techniques for video surveillance systems |
| CN104224441A (zh) * | 2014-02-27 | 2014-12-24 | 青岛光电电子器具有限公司 | 可视挖耳勺 |
| CN105141807A (zh) * | 2015-09-23 | 2015-12-09 | 北京二郎神科技有限公司 | 视频信号图像处理方法和装置 |
| CN206518642U (zh) * | 2016-10-24 | 2017-09-26 | 常州觉醒智能科技有限公司 | 一种有图像稳定***的可视耳勺 |
| CN107295272A (zh) * | 2017-05-10 | 2017-10-24 | 深圳市金立通信设备有限公司 | 一种图像处理的方法及终端 |
| CN112418288A (zh) * | 2020-11-17 | 2021-02-26 | 武汉大学 | 一种基于gms和运动检测的动态视觉slam方法 |
| CN113905147A (zh) * | 2021-09-30 | 2022-01-07 | 桂林长海发展有限责任公司 | 一种船用监控视频画面去抖方法、装置以及存储介质 |
-
2022
- 2022-12-05 CN CN202211545254.2A patent/CN115567658B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120120265A1 (en) * | 2009-06-22 | 2012-05-17 | Harald Klomp | Real time video stabilization |
| CN101616310A (zh) * | 2009-07-17 | 2009-12-30 | 清华大学 | 可变视角及分辨率的双目视觉***目标图像稳定化方法 |
| US20140132786A1 (en) * | 2012-11-12 | 2014-05-15 | Behavioral Recognition Systems, Inc. | Image stabilization techniques for video surveillance systems |
| CN104224441A (zh) * | 2014-02-27 | 2014-12-24 | 青岛光电电子器具有限公司 | 可视挖耳勺 |
| CN105141807A (zh) * | 2015-09-23 | 2015-12-09 | 北京二郎神科技有限公司 | 视频信号图像处理方法和装置 |
| CN206518642U (zh) * | 2016-10-24 | 2017-09-26 | 常州觉醒智能科技有限公司 | 一种有图像稳定***的可视耳勺 |
| CN107295272A (zh) * | 2017-05-10 | 2017-10-24 | 深圳市金立通信设备有限公司 | 一种图像处理的方法及终端 |
| CN112418288A (zh) * | 2020-11-17 | 2021-02-26 | 武汉大学 | 一种基于gms和运动检测的动态视觉slam方法 |
| CN113905147A (zh) * | 2021-09-30 | 2022-01-07 | 桂林长海发展有限责任公司 | 一种船用监控视频画面去抖方法、装置以及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 马忠雪等: "基于特征点匹配的视频稳定算法", 《包装工程》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115567658B (zh) | 2023-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10425582B2 (en) | Video stabilization system for 360-degree video data | |
| US10027893B2 (en) | Real-time video stabilization for mobile devices based on on-board motion sensing | |
| US20190289055A1 (en) | Method and system for interactive transmission of panoramic video | |
| Grundmann et al. | Calibration-free rolling shutter removal | |
| CN112204993B (zh) | 使用重叠的被分区的分段的自适应全景视频流式传输 | |
| US9773333B2 (en) | Information processing device, information processing method, and program | |
| US9615039B2 (en) | Systems and methods for reducing noise in video streams | |
| US9710923B2 (en) | Information processing system, information processing device, imaging device, and information processing method | |
| Bell et al. | A non-linear filter for gyroscope-based video stabilization | |
| KR100968974B1 (ko) | 손떨림 보정 장치 | |
| CN102256061B (zh) | 一种二维三维混合的视频稳定方法 | |
| CN114788260A (zh) | 多相机视频稳定 | |
| US9838604B2 (en) | Method and system for stabilizing video frames | |
| CN113574863A (zh) | 使用深度信息渲染3d图像的方法和*** | |
| WO2019238113A1 (zh) | 成像方法、装置、终端和存储介质 | |
| WO2010073192A1 (en) | Image scaling curve generation | |
| CN104820966B (zh) | 一种空时配准解卷积的非同步多视频超分辨率方法 | |
| JP7253621B2 (ja) | パノラマ映像の手ぶれ補正方法及び携帯端末 | |
| CN110766617B (zh) | 一种带有动态模糊的降低采样数量的渲染加速方法 | |
| CN115567658B (zh) | 一种保持图像不偏转方法、装置及可视耳勺 | |
| CN117768774A (zh) | 图像处理器、图像处理方法、拍摄装置和电子设备 | |
| JP2017207818A (ja) | 画像処理装置、画像処理方法、プログラム | |
| CN114095780A (zh) | 一种全景视频剪辑方法、装置、存储介质及设备 | |
| JP2015154334A (ja) | 撮像装置、その制御方法、および制御プログラム | |
| CN109658326B (zh) | 一种图像显示方法及装置、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |