CN113785582A - 从原影像流生成有用影像流的程序、装置以及方法 - Google Patents

从原影像流生成有用影像流的程序、装置以及方法 Download PDF

Info

Publication number
CN113785582A
CN113785582A CN202080032994.9A CN202080032994A CN113785582A CN 113785582 A CN113785582 A CN 113785582A CN 202080032994 A CN202080032994 A CN 202080032994A CN 113785582 A CN113785582 A CN 113785582A
Authority
CN
China
Prior art keywords
useful
video stream
macroblock
program
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080032994.9A
Other languages
English (en)
Inventor
菅野胜
柳原广昌
中岛康之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of CN113785582A publication Critical patent/CN113785582A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明的有用影像流生成程序使计算机作为如下单元发挥如下功能：编码参数提取单元，从原影像流针对每帧提取各宏块的编码参数；宏块筛选单元，将具有满足预先设定的条件的编码参数的宏块筛选为有用的宏块；以及有用影像流生成单元，生成将与有用的宏块中的编码参数的帧在时间上同步的原影像流的多个帧按时间序列结合而得到的有用影像流。

Description

从原影像流生成有用影像流的程序、装置以及方法
技术领域
本发明涉及从由摄像机拍摄的影像流生成削减容量后的有用的影像流的技术。
本申请基于2019年5月15日在日本申请的日本特愿2019-91895号并主张其优先权，并将其内容援引至本申请。
背景技术
作为影像流的编码技术，已知代表性的MPEG(Moving Picture Experts Group)。根据该技术，为了对影像流提高压缩效率，使用基于前和/或后帧来生成当前帧的预测图像，将输入图像与预测图像的差异(误差)图像进行编码的“帧间预测”方式。
作为影像流，可以是由用户通过家庭拥有的摄像机进行拍摄的影像流，也可以是由固定设置的监控摄像机进行拍摄的影像流。近年来，作为生成影像流的设备，有搭载有对从车辆看到的视野进行拍摄的摄像机的车载记录仪。车载记录仪持续存储车辆的行驶中拍摄到的影像流。
图1是具有作为设置于车辆的车载记录仪的终端装置的***结构图。
如图1所示，作为车载记录仪的终端1，其用摄像机对车辆的行进方向的影像进行拍摄，并将该影像流存储在存储部(存储器、磁盘)中。该终端1将该影像流经由无线网络向数据中心2发送。
另外，终端1能够经由CAN(Controller Area Network)获取车辆行驶信息。该车辆行驶信息也可以与影像流一起向数据中心2发送。
数据中心2能够对从终端1接收到的影像流以及车辆行驶信息进行分析。例如，能够检测和/或识别映入影像流中的物体并且与该车辆行驶信息建立对应。
以往，例如专利文献1中公开了，使用设置于车辆的多个摄像机，对分割成多个区域的影像数据以每个区域不同的编码率进行编码的技术。根据该技术，按每个区域，计算根据重要度要求的分辨率，并以该重要度对应的编码率对影像数据进行编码。
另外，例如专利文献2中公开了，当车辆在特定方向上的加速度的值超过规定值时，车载记录仪将由设置于车辆的多个摄像机获取到的图像数据进行输出的技术。
进而，例如专利文献3中公开了，针对由操作者佩戴的摄像机所拍摄的影像而削减数据量的远程操作辅助***的技术。根据该技术，评价在影像帧内是否存在物体的移动较大的区域，在不存在移动较大的区域的情况下，则认为不重要而进行删除。
现有技术文献
专利文献
专利文献1：日本特开2010-263500号公报
专利文献2：日本特开2013-218433号公报
专利文献3：日本特开2018-082333号公报
发明内容
发明所要解决的问题
根据专利文献1中记载的技术，针对编码前的影像数据，有必要识别区域。在摄像机输出已编码的影像数据的情况下，一旦必须解压缩，处理就会变得复杂。另外，虽然针对每个区域其编码率不同，但由于所有的摄像机的影像均为编码对象，因此数据整体的削减效果较小。
根据专利文献2中记载的技术，由于仅将车辆的加速度作为图像数据输出的判定要素，因此在车辆的加速度不变的行驶状态下，存在不会输出图像数据这样的缺点。
根据专利文献3中记载的技术，评价图像内的物体的移动的大小并进行编码。因此，存在无法对已被编码的影像数据评价宏块的编码参数并确定应削减的影像数据这样的缺点。
与此相对，本申请的发明人考虑，若能够生成作为原影像流的影像分析所需的仅含有有用的部分的有用影像流，则能够削减应蓄积或应传输的数据容量。另外，考虑接收有用影像流的装置也能够减轻用于检测和/或识别映入在该有用影像流中的物体的处理的负担。
因此，本发明目的在于，提供一种生成作为原影像流的影像分析所需的仅含有有用的部分的有用影像流的程序、装置以及方法。
解决问题的技术手段
根据本发明的程序，使计算机作为从被拍摄和编码的原影像流中生成有用影像流的装置发挥功能，其中，
所述程序使所述计算机作为如下单元发挥功能：
编码参数提取单元，从所述原影像流针对每帧提取各宏块的编码参数；
宏块筛选单元，将具有满足预先设定的条件的编码参数的所述宏块筛选为有用的宏块；以及
有用影像流生成单元，生成将所述有用的宏块中的所述编码参数的帧与时间上同步的所述原影像流的多个帧按时间序列结合而得到的有用影像流。
本发明的程序优选使所述有用影像流生成单元发挥如下功能：除了将与编码参数的帧同步的原影像流的帧按时间序列结合而得到的影像流以外，将该编码参数的帧按时间序列结合而得到的影像流生成为所述有用影像流。
本发明的程序优选使所述有用影像流生成单元发挥如下功能：针对每帧包含帧编号和/或时间码，作为有用影像流。
本发明的程序优选使所述有用影像流生成单元发挥如下功能：针对每帧包含有用的宏块、所述有用的宏块的分布信息，作为有用影像流。
本发明的程序优选使所述有用影像流生成单元发挥如下功能：以包含帧的GOP(Group Of Pictures)为单位包括具有有用的宏块的帧，作为有用影像流。
本发明的程序优选使所述有用影像流生成单元发挥如下功能：对不相当于所述有用的宏块中的编码参数的帧的GOP，删除或者以规定比例以上的高压缩率进行压缩。
在本发明的程序中优选，所述原影像流被从搭载于移动体的摄像机输出，
所述有用影像流包括仅映入有在所述摄像机拍摄出的物体中出现或消失的物体的影像。
在本发明的程序中优选，所述编码基于MPEG(Moving Picture Experts Group)进行，
所述编码参数包括正向预测(帧间)的运动矢量的大小和朝向、画面内预测(帧内)的编码量或量化(Quantization)步长的尺寸。
为了筛选时间变动为规定以上较大的有用的宏块，本发明的所述程序优选使所述宏块筛选单元发挥如下功能：针对每个所述宏块进行以下处理作为所述预先设定的条件：
正向预测的运动矢量为规定长度以上的大小，并且相对于地平线上的会聚点的方向为规定角度以上；
画面内预测的编码量为第一编码量以上；或者
量化步长为规定尺寸以上。
本发明的程序优选使所述有用影像流生成单元发挥如下功能：将画面内预测的编码量为第二编码量以上的帧判定为所述移动体处于停止，并从所述有用影像流中排除。
本发明的程序优选所述程序使所述宏块筛选单元发挥如下功能：生成根据分布信息将所述有用的宏块与空间方向接合而成的编码参数图，
在所述编码参数图中，所述编码参数满足所述预先设定的条件的程度越高，则该宏块的部分的色调的浓淡程度显示地越浓。
在本发明的程序中优选，
所述原影像流被编码，
所述程序使所述编码参数提取单元发挥如下功能，使所述原影像流简易地解压缩，并针对每帧提取各宏块的编码参数。
一种有用流生成装置，从被拍摄和编码的原影像流中生成有用影像流，其中，具有：编码参数提取单元，从所述原影像流针对每帧提取各宏块的编码参数；宏块筛选单元，将具有满足预先设定的条件的编码参数的所述宏块筛选为有用的宏块；以及有用影像流生成单元，生成将与所述有用的宏块中的所述编码参数的帧在时间上同步的所述原影像流的多个帧按时间序列结合而得到的有用影像流。
一种有用影像流生成方法，从被拍摄和编码的原影像流中生成有用影像流，其中，包括如下步骤：第一步骤，从所述原影像流针对每帧提取各宏块的编码参数；第二步骤，将具有满足预先设定的条件的编码参数的所述宏块筛选为有用的宏块；以及第三步骤，生成将与所述有用的宏块中的所述编码参数的帧在时间上同步的所述原影像流的多个帧按时间序列结合而得到的有用影像流。
发明效果
根据本发明的程序、装置以及方法，能够生成原影像流的影像分析所需的仅含有有用的部分的有用影像流。
附图说明
图1是表示具有作为设置于车辆的车载记录仪的终端的***的图。
图2是表示本发明的一个实施方式的终端的框图。
图3是表示本发明的一个实施方式的终端中的编码参数提取部的说明图。
图4A是表示在本发明的一个实施方式中映入在原影像流中的物体以恒定速度变化的情况下的每个宏块的运动矢量的图。
图4B是表示在本发明的一个实施方式中映入在原影像流中的物体急剧地变化的情况下的每个宏块的运动矢量的图。
图5是表示本发明的一个实施方式的编码参数图的图。
图6是表示在本发明的一个实施方式中仅将满足预先设定的条件的宏块的分布部分生成为编码参数图的例子的图。
图7是表示本发明的一实施方式的终端中的有用影像流生成部的动作的图。
具体实施方式
以下，参照附图对本发明的实施方式进行详细地说明。
本发明能够从“原影像流”生成影像分析所需的仅含有有用的部分的“有用影像流”。
“原影像流”是例如由搭载于车辆这样的移动体的摄像机拍摄到的、被编码的影像流。
“有用影像流”例如仅包含物体检测或物体识别、或者用于分析移动体的行驶状态(速度或加速度)等所需的影像。
一般来说，有用影像流是仅映入从该摄像机能够看到的周边物体中突然出现或消失的周边物体的影像流。当然，并不限于此。
因此，有用影像流是从原影像流的角度来说削减了应传输或应蓄积的影像流的容量后的影像流。
图2是本发明中的终端的功能结构图。
根据本发明的实施方式，终端1是搭载有摄像机C的车载记录仪，其设置于车辆的内部。摄像机C的拍摄方向D不限于车辆的行进方向的前方，也可以是后方或侧方。
另外，终端1能够经由任意的无线网络与数据中心2进行通信。数据中心2具有根据有用影像流来分析影像的功能。当然，不限于数据中心，也可以是边缘计算装置。
参照图2，终端1具有摄像机C、原影像流存储部10、编码参数提取部11、宏块筛选部12、有用影像流生成部13、影像流发送部14、通信接口15。除了摄像机C以外的这些功能结构部通过执行存储在存储器中的程序，使搭载于装置的计算机(处理器)发挥功能来实现。另外，这些功能结构部的处理的流程能够看做是装置的有用影像流生成方法。
参照图2，摄像机C对拍摄方向D的影像进行拍摄，并输出原影像流。原影像流可以是在摄像机C的内部被编码的影像流。在输出未被摄像机C编码的影像数据的情况下，该未被编码的影像数据可以由摄像机C以外的装置或软件进行编码。
作为编码方式，可以是基于MPEG的H.264或H.265等的标准格式，也可以是非标准的格式。另外，关于空间分辨率、时间分辨率(帧率)、编码率(比特率)可以是任意的。
[原影像流存储部10]
原影像流存储部10暂时地蓄积由摄像机C拍摄到的原影像流。原影像流例如是被MPEG编码后的影像流。
原影像流存储部10在任意的定时下将原影像流向编码参数提取部11输出。
[编码参数提取部11]
编码参数提取部11将被编码的原影像流简易地解压缩(解码)，并解释(解析)比特流。此处的简易地解压缩只是从被编码的原影像流中提取编码参数。即，原影像流未被完全解压缩，也未被复原为可视的影像帧。例如，在编码参数表现为差异的情况下，仅恢复为原始的值，为能够处理编码参数的状态即可。
图3是用于说明本实施方式的终端1中的编码参数提取部11的动作的图。
如图3所示，被编码的原影像流由序列头和GOP(Group Of Picture：图像组)数据构成。
在序列头中描述有帧的横纵像素数等。
GOP数据由GOP头和具有一系列顺序的多个图像数据(I、P以及B图像数据的集合)构成。GOP头包括表示最开始提示在组的画面的时刻的时间码等。图像数据表示一张帧(图像)。
图像数据由图像头和切片数据(切片1～切片68)构成。
如图3所示，一张图像数据由纵1088像素(68行切片)×横1440像素(90宏块)构成。切片是将一张图像切断成带状而得到的。
各切片由切片头和90个宏块数据(MB1～MB90)构成。
各宏块是16像素×16行的正方形的像素块。
每个宏块中包含宏块地址、宏块类型、量化步长、运动矢量、以及块数据。当然，原图像流的结构不限于此，也可以根据图像数据的横纵的像素数量、切片数量、宏块的大小而设为任意的。
编码参数提取部11从原影像流针对每帧提取各宏块的编码参数。
编码参数是以下中任一个。
(1)正向预测(Inter帧间)的运动矢量的大小以及朝向
(2)画面内预测(Intra帧内)块类型的编码量
(3)量化(Quantization)步长
[宏块筛选部12]
宏块筛选部12筛选具有满足预先设定的条件的编码参数的宏块作为有用的宏块。在此，“预先设定的条件”设为时间的变动大于规定以上的情况。每个宏块按照例如以下＜1＞、＜2＞和＜3＞中任一个的预先设定的条件进行筛选。
＜1＞正向预测的运动矢量为规定长度以上的大小并且在地平线上的会聚点的方向上为规定角度以上
＜2＞画面内预测的编码量为第一编码量以上
＜3＞量化步长为规定尺寸以上。
宏块筛选部12提取相对地急剧地变化的区域。“急剧地变化”包括从该摄像机能够看到的周边物体突然地变化的情况、以及搭载有该摄像机的移动体(例如车辆)的行驶状态突然地变化的情况。
＜1.基于正向预测的运动矢量的宏块的筛选＞
图4A和图4B是表示每个宏块的运动矢量的说明图。
图4A是表示映入在原影像流中的物体以恒定速度变化的情况。
图4B是表示映入在原影像流中的物体急剧地变化的情况。
分别在图4A和图4B中示出了原影像流的图像帧和各宏块的运动矢量。
参照图4A，在虚线的椭圆形的区域4D内，物体的运动矢量朝向与车辆的行进方向相同的方向。在图4A中，观测到如下的运动矢量的分布。
·运动矢量的方向朝向地平线上的会聚点的方向，随时间的变化较小。
·运动矢量的大小越靠近地平线上的会聚点则越小，离地平线上的会聚点越远则越大。
例如，在前方车辆相对于本车辆的也以恒定速度行驶的情况下，映入有该前方车辆的区域4D的编码参数不满足上述“预先设定的条件”。因此，从图4A筛选不出有用的宏块。
参照图4B，在区域4L中，物体的运动矢量朝向与车辆的行进方向相同的方向。另一方面，在区域4R中，物体的运动矢量朝向与车辆的行进方向不同的方向。在图4B的区域4R中，观测到如下的运动矢量的分布。
·运动矢量的方向朝向与地平线上的会聚点不同的方向，随时间的变化较大。
·运动矢量的大小无论距地平线上的会聚点的距离如何均较大。
例如，如区域4R所示，在前方车辆相对于本车辆突然变道或减速的情况下，检测为映入有该前方车辆的区域的编码参数满足上述“预先设定的条件”的编码参数。因此，从图4B的区域4R筛选出有用的宏块。
利用该特性，能够将原影像流中存在急剧的变化的区域推定为有用的宏块。
作为另一个实施方式，优选例如根据如下的情况(a)、(b)以及(c)，适应性地变更运动矢量的大小的选择基准(预先设定的条件)。
(a)参照两帧以上之前的一帧来计算运动矢量的情况
(b)参照前一帧来计算运动矢量的情况
(c)参照多个帧的情况
在此，(a)的情况，参照两帧之前的一帧时的运动矢量的大小与(b)的情况的运动矢量的大小进行比较，大约是变大2倍左右。
另外，以30帧/秒进行编码后的运动矢量的大小与以10帧/秒进行编码后的运动矢量的大小进行比较，大约为1/3左右。
因此，预先设定的条件的判定也能够根据其比较程度而适应性地变更。
＜2.基于画面内预测的编码量的宏块的筛选＞
在画面内预测出的宏块的编码量在画面内存在边缘(物体的轮廓)的情况下变多，而平坦的情况下变少。
即，在图4A的情况下，由于道路区域是平坦的，因此观测到编码量较少的画面内预测的宏块较多。另一方面，在图4B的情况下，在区域4R中想要右转的车辆的边缘部分观测到编码量较多的画面内预测的宏块较多。
利用该特性，能够将原影像流中的物体存在的区域推定为有用的宏块。
＜3.基于画面内预测宏块的个数的宏块的筛选＞
在画面内预测出的宏块在画面内发生急剧的变化的情况下变多，而在变化较少的情况下变少。
即，在后述的图6的左侧的原图像流的情况下，由于画面内的变化较少，因此观测到在画面内预测的宏块较少。另一方面，在图6的右侧的原图像流的情况下，由于车辆的图像重新出现，因此观测到在画面内预测的宏块较多。
利用该特性，能够将原影像流中存在急剧的变化的区域推定为有用的宏块。
＜4.基于量化步长的宏块的筛选＞
根据适应量化(adaptive quantization)方式，为了提高压缩效率，宏块的量化步长被适应性地变更。针对原影像流，由于在变化较少的区域内人类的视觉敏感，因此量化步长减少。另一方面，由于在变化激烈的区域内人间的视觉迟钝，因此量化步长增大。
即，在图4A的情况下，观测到量化步长较小的宏块增多。另一方面，在图4B的右侧的前方车辆的车轮部分观测到量化步长较大的宏块增多。
利用该特性，能够将原影像流中存在急剧的变化的区域推定为有用的宏块。
另外，作为另一个实施方式，宏块筛选部12也可以生成根据分布信息将有用的宏块与空间方向接合而成的“编码参数图”。
图5表示本发明的实施方式中的编码参数图的图。
在“编码参数图”中，编码参数满足预先设定的条件的程度越高，则该宏块的部分的色调的浓淡程度能够显示地越深。
这样，在编码参数图中，例如，能够以根据宏块的运动矢量的大小和方向、编码量或量化步长的色调的颜色来显示宏块的分布部分。
(1)例如，正向预测的运动矢量的大小越大，以及、从朝向地平线上的会聚点的方向的位移越大，则将浓的颜色显示在该宏块的分布部分。
(2)例如，画面内预测的编码量越多(该宏块为画面内预测的编码模式)，则将浓色调的颜色显示在该宏块的分布部分。
(3)例如，宏块的量化步长越小，则将浓的颜色显示在该宏块的分布部分。
如图5的编码参数图所示，以恒定速度变化且急剧的变化较少的区域5L内，画面内预测的编码量较少。另一方面，存在急剧的变化的区域5R内，画面内预测的编码量较多。
进而，作为另一个实施方式，优选将帧中的无时间的变动的区域设为编码参数的提取对象外。
图6是对仅将满足预先设定的条件的宏块的分布部分生成为编码参数图的情况进行说明的图。
如图6的右下的图所示，针对原影像流仅提取存在急剧的变化的区域。由于该编码参数图不包含未满足预先设定的条件的宏块，因此能够大幅削减整体的数据量。
例如，由于车辆内的车载记录仪的设置位置，有时存在由摄像机拍摄到的原影像流中映入有仪表盘这样的区域的情况。若这样的区域是预先固定的，则能够通过出厂时的设定来屏蔽该区域。当然，也可以用户能够利用GUI(Graphic User Interface)设定自己想屏蔽的区域。
在帧中的无时间的变动的区域例如是平坦的情况下，选择“跳过模式”作为宏块的编码模式。能够将这样的区域设为不是编码参数的提取对象。例如，原影像流中的仪表盘的区域是平坦的，通过选择“跳过模式”作为宏块的编码模式，从而画面内预测的编码量变少。
这样，针对各宏块，观测规定时间幅度内的变动状况，与画面内的其他区域相比，画面内编码块的编码量显然减少，在跳过模式的块的出现频率较高的情况下，删除该区域是有效的。
[有用影像流生成部13]
有用影像流生成部13生成将与有用的宏块中的编码参数的帧在时间上同步的原影像流的多个帧按时间序列进行结合而成的有用影像流(参照图7)。
另外，有用影像流生成部13除了将与编码参数的帧同步的原影像流的帧按时间序列进行结合以外，也可以将该编码参数的帧按时间序列进行结合。
如图4A、图4B或图5所示，“编码参数的帧”是指与宏块的分布相对应地使编码参数分布的帧。即，使由编码参数提取部11提取出的编码参数进行映射。
“与编码参数的帧同步的原影像流的帧”如字面意思是利用原影像流的各帧的帧。
通过各帧的编码量，能够对原影像流仅筛选存在急剧的变化的帧。
例如，针对原影像流，在以恒定速度变化且无急剧的变化的情况下，在画面内存在运动，正向预测的宏块变多。因此，存在画面内预测的宏块变少，帧整体的编码量下降的倾向。例如，从本车辆的摄像机映入有以恒定速度行驶中的周边车辆的原影像流的情况下，帧整体的编码量变少。
例如，在以毎秒6M比特程度的固定比特率进行编码的H.264中，行驶中的原影像流中的I(帧内)帧的编码量以500K～800K比特推移。
(2)另一方面，针对原影像流，在存在急剧的变化的情况下，画面内预测的宏块变多。因此，存在正向预测的宏块变少，帧整体的编码量增加的倾向。例如，在从本车辆的摄像机映入有急剧的变化后的周边车辆的原影像流的情况下，帧整体的编码量变多。
(3)进而，针对原影像流，在画面内不存在运动的情况(例如停止)下，存在正向预测的宏块变少，画面内预测的宏块变多，帧整体的编码量增加的倾向。例如，针对停止中且无变化的原影像流，I(帧内)帧的编码量成为1M比特以上。
在该情况下，作为图像内编码帧的编码量，通过将阈值设定为1M比特，能够判定行驶/停止的状况。
这样，通过观测帧的编码量，能够推定行驶状况的急剧的变化等(参照后述的图7)。
作为另一个实施方式，也可以不观测各帧的编码量，而通过统计各帧中的画面内预测的宏块数，来推定行驶状况的急剧的变化。画面内预测的宏块数为规定数以上的帧能够判定为映入在帧的物体存在急剧的变化。
例如，在车辆进入/退出隧道的情况下，或因集中暴雨或烟雾视野突然恶化的情况下，针对由车载记录仪的摄像机拍摄出的原影像流，存在帧的大部分的区域成为画面内预测的宏块的倾向。
图7第表示基于本发明的实施方式的终端中的有用影像流生成部13的动作的图。
＜基于编码量的帧的筛选＞
有用影像流生成部13将I(帧内)帧的编码量为第二编码量(例如1M比特)以上的帧判定为正在拍摄的移动体停止，并将其从有用影像流中排除。
因此，能够削减有用影像流的帧数。
此时，根据基于CBR(固定比特率)的编码的情况和基于VBR(可变比特率)的编码的情况，优选将为上述判定的阈值的第二编码量设定为不同的值。需要变更是应该对绝对的编码量进行评价，还是以与其他预测编码帧的相对的编码量的差异进行评价等的基准。这样，优选考虑原影像流的结构的差异等，适应性地控制第二编码量。
作为另一个实施方式，关于从原影像流的时间序列帧中应排除的帧，也可以不排除该帧本身，而仅提高压缩率(编码率)。即，只要能够充分播放至少具有有用的宏块的帧即可。
有用影像流生成部13针对每帧包含帧编号和/或时间码，作为有用影像流。
另外，优选有用影像流生成部13针对每帧包含有用的宏块和这些宏块的分布信息，作为有用影像流。因此，能够确定有用影像流中的各帧的有用的区域。即，能够削减非有用的区域中的宏块。
接收有用影像流的数据中心2通过与有用影像流一起接收帧编号、时间码、宏块的分布信息，能够播放有用的影像流。
作为另一个实施方式，优选有用影像流生成部13以GOP(Group Of Pictures)为单位包括具有有用的宏块的帧，作为有用影像流。因此，能够聚集成为传输对象的影像帧群。
另外，对不相当于有用的宏块中的编码参数的帧的GOP能够删除、或者以规定比例以上的高压缩率进行压缩。
另外，作为另一个实施方式，有用影像流生成部13可以具备指示观测开始和结束的用户接口。能够将车辆停泊且画面整体不变动的期间的帧从有用影像流中排除。
[影像流发送部14]
影像流发送部14将从有用影像流生成部13中输出的有用影像流经由通信接口15向数据中心2发送。
有用影像流以任意的定时被发送。例如，也可以在从有用影像流生成部13中输出的时刻下发送，也可以暂时地缓冲而在达到规定容量的时刻下发送。
另外，在有用影像流由编码参数的帧构成的情况下，也可以同步地或另行地发送由与该编码参数的帧对应的原影像帧构成的原影像流。
进而，可以将帧编号和/或时间码、有用的宏块、这些宏块的分布信息与有用影像流一起同步或非同步地发送。因此，数据中心能够从有用影像流播放有用的宏块。
作为另一个实施方式，优选影像流发送部14将赋予了时间码的行驶状态信息与有用影像流一起发送。能够基于时间码来关联编码参数和行驶状态信息。此时，优选以时间码的规定时间幅度进行关联。
如上所示，根据本发明的程序、装置以及方法，能够生成原影像流的影像分析所需的仅包含有用的部分的有用影像流。
因此，使用编码参数，从被编码的原影像流中仅筛选有用的影像帧以及影像区域，来削减整体数据量。特别是，在数据中心对物体检测或物体识别进行处理时，也能够限定应作为对象的影像流。
对于上述的本发明的各种实施方式，本领域技术人员能够在本发明的技术思想以及观点的范围内容易进行各种变更、修改以及省略。上述的说明只是一个例子，并不意图进行限制。本发明仅受权利要求及其等价物的限制。
附图标记说明
1 终端
10 原影像流存储部
11 编码参数提取部
12 宏块筛选部
13 有用影像流生成部
14 影像流发送部
15 通信接口
2 数据中心

Claims (14)

1.一种程序，使计算机作为从被拍摄和编码的原影像流中生成有用影像流的装置发挥功能，其中，
所述程序使所述计算机作为如下单元发挥功能：
编码参数提取单元，从所述原影像流针对每帧提取各宏块的编码参数；
宏块筛选单元，将具有满足预先设定的条件的编码参数的所述宏块筛选为有用的宏块；以及
有用影像流生成单元，生成将与所述有用的宏块中的所述编码参数的帧在时间上同步的所述原影像流的多个帧按时间序列结合而得到的有用影像流。
2.如权利要求1所述的程序，其中，
所述程序使所述有用影像流生成单元发挥如下功能：除了将与所述编码参数的帧同步的所述原影像流的帧按时间序列结合而得到的影像流以外，将该编码参数的帧按时间序列结合而得到的影像流生成为所述有用影像流。
3.如权利要求1或2所述的程序，其中，
所述程序使所述有用影像流生成单元发挥如下功能：针对每帧包含帧编号和/或时间码，作为所述有用影像流。
4.如权利要求3所述的程序，其中，
所述程序使所述有用影像流生成单元发挥如下功能：针对每帧包含有用的宏块、所述有用的宏块的分布信息，作为所述有用影像流。
5.如权利要求3或4所述的程序，其中，
所述程序使所述有用影像流生成单元发挥如下功能：以GOP(Group Of Pictures)为单位包括具有有用的宏块的帧，作为所述有用影像流。
6.如权利要求5所述的程序，其中，
所述程序使所述有用影像流生成单元发挥如下功能：对不相当于所述有用的宏块中的编码参数的帧的GOP，删除或者以规定比例以上的高压缩率进行压缩。
7.如权利要求1至6中任一项所述的程序，其中，
所述原影像流被从搭载于移动体的摄像机输出，
所述有用影像流包括仅映入有在所述摄像机拍摄出的物体中出现或消失的物体的影像。
8.如权利要求7所述的程序，其中，
所述编码基于MPEG(Moving Picture Experts Group)进行，
所述编码参数包括正向预测(帧间)的运动矢量的大小和朝向、画面内预测(帧内)的编码量或量化(Quantization)步长的尺寸。
9.如权利要求8所述的程序，其中，
为了筛选时间变动为规定以上大的有用的宏块，所述程序使所述宏块筛选单元发挥如下功能，针对每个所述宏块将以下的内容作为所述预先设定的条件：
正向预测的运动矢量为规定长度以上的大小，并且相对于地平线上的会聚点的方向为规定角度以上；
画面内预测的编码量为第一编码量以上；或者
量化步长为规定尺寸以上。
10.如权利要求9所述的程序，其中，
所述程序使所述有用影像流生成单元发挥如下功能：将画面内预测的编码量为第二编码量以上的帧判定为所述移动体处于停止，并从所述有用影像流中排除。
11.如权利要求1至10中任一项所述的程序，其中，
所述程序使所述宏块筛选单元发挥如下功能：生成根据分布信息将所述有用的宏块在空间方向上接合而成的编码参数图，
在所述编码参数图中，所述编码参数满足所述预先设定的条件的程度越高，则该宏块的部分的色调的浓淡程度显示地越浓。
12.如权利要求1至11中任一项所述的程序，其中，
所述原影像流被编码，
所述程序使所述编码参数提取单元发挥如下功能：使所述原影像流简易地解压缩，并针对每帧提取各宏块的编码参数。
13.一种有用流生成装置，从被拍摄和编码的原影像流中生成有用影像流，其中，
具有：
编码参数提取单元，从所述原影像流针对每帧提取各宏块的编码参数；
宏块筛选单元，将具有满足预先设定的条件的编码参数的所述宏块筛选为有用的宏块；以及
有用影像流生成单元，生成将与所述有用的宏块中的所述编码参数的帧在时间上同步的所述原影像流的多个帧按时间序列结合而得到的有用影像流。
14.一种有用影像流生成方法，从被拍摄和编码的原影像流中生成有用影像流，其中，
包括如下步骤：
第一步骤，从所述原影像流针对每帧提取各宏块的编码参数；
第二步骤，将具有满足预先设定的条件的编码参数的所述宏块筛选为有用的宏块；以及
第三步骤，生成将与所述有用的宏块中的所述编码参数的帧在时间上同步的所述原影像流的多个帧按时间序列结合而得到的有用影像流。
CN202080032994.9A 2019-05-15 2020-02-12 从原影像流生成有用影像流的程序、装置以及方法 Pending CN113785582A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-091895 2019-05-15
JP2019091895A JP6995083B2 (ja) 2019-05-15 2019-05-15 原映像ストリームから有意映像ストリームを生成するプログラム、装置及び方法
PCT/JP2020/005285 WO2020230385A1 (ja) 2019-05-15 2020-02-12 原映像ストリームから有意映像ストリームを生成するプログラム、装置及び方法

Publications (1)

Publication Number Publication Date
CN113785582A true CN113785582A (zh) 2021-12-10

Family

ID=73223018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080032994.9A Pending CN113785582A (zh) 2019-05-15 2020-02-12 从原影像流生成有用影像流的程序、装置以及方法

Country Status (5)

Country Link
US (1) US20220321873A1 (zh)
EP (1) EP3972252A4 (zh)
JP (1) JP6995083B2 (zh)
CN (1) CN113785582A (zh)
WO (1) WO2020230385A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022180684A1 (zh) * 2021-02-24 2022-09-01
CN117201798B (zh) * 2023-11-06 2024-03-15 深圳市翔洲宏科技有限公司 一种远程视频监控摄像头信息传输方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1334677A (zh) * 2000-05-17 2002-02-06 三菱电机株式会社 由视频重放***从压缩数字视频信号中动态地提取特征
CN105163093A (zh) * 2015-10-08 2015-12-16 北京理工大学 一种面向avs监控档的压缩域视频摘要提取方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6823011B2 (en) 2001-11-19 2004-11-23 Mitsubishi Electric Research Laboratories, Inc. Unusual event detection using motion activity descriptors
JP2003189242A (ja) 2001-12-21 2003-07-04 Matsushita Electric Ind Co Ltd 映像記録再生装置および再生方法
JP2008181324A (ja) 2007-01-24 2008-08-07 Fujifilm Corp 前方監視装置、前方監視プログラム、及び前方監視方法
JP4623135B2 (ja) 2008-05-08 2011-02-02 株式会社デンソー 画像認識装置
JP2010263500A (ja) 2009-05-08 2010-11-18 Fujitsu Ltd 映像処理システム、撮影装置及び映像処理方法
JP5914121B2 (ja) 2012-04-05 2016-05-11 矢崎エナジーシステム株式会社 ドライブレコーダ
US8994013B2 (en) 2012-05-18 2015-03-31 Semiconductor Energy Laboratory Co., Ltd. Light-emitting element, light-emitting device, display device, electronic device, and lighting device
US9715903B2 (en) * 2014-06-16 2017-07-25 Qualcomm Incorporated Detection of action frames of a video stream
WO2016151978A1 (ja) 2015-03-26 2016-09-29 パナソニックＩｐマネジメント株式会社 画像処理装置、運転支援システム及び画像処理方法
JP6660869B2 (ja) 2016-11-17 2020-03-11 Kddi株式会社 遠隔作業支援システムおよびその作業者端末
WO2020041999A1 (en) * 2018-08-29 2020-03-05 Intel Corporation Apparatus and method for feature point tracking using inter-frame prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1334677A (zh) * 2000-05-17 2002-02-06 三菱电机株式会社 由视频重放***从压缩数字视频信号中动态地提取特征
CN105163093A (zh) * 2015-10-08 2015-12-16 北京理工大学 一种面向avs监控档的压缩域视频摘要提取方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SANGKEUN LEE: "Video Analysis and Abstraction in the Compressed Domain", 《HTTPS://SMARTECH.GATECH.EDU/BITSTREAM/HANDLE/1853/5356/LEE_SANGKEUN_200312_PHD.PDF?SEQUENCE=1》, pages 2 - 4 *

Also Published As

Publication number Publication date
EP3972252A4 (en) 2023-05-17
WO2020230385A1 (ja) 2020-11-19
EP3972252A1 (en) 2022-03-23
JP6995083B2 (ja) 2022-01-14
US20220321873A1 (en) 2022-10-06
JP2020188368A (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
CN108737837B (zh) 形成视频流的方法及图像处理单元
US9706203B2 (en) Low latency video encoder
KR101928520B1 (ko) 이벤트 비디오 시퀀스를 생성하기 위한 방법 및 시스템과 이러한 시스템을 포함하는 카메라
US10277901B2 (en) Encoding a video stream having a privacy mask
EP3021579B1 (en) Method and encoder system for encoding video
CN105306883B (zh) 图像接收装置、图像传送***和图像接收方法
KR100426174B1 (ko) 영상압축 알고리즘을 이용한 카메라 제어방법
JPH0595540A (ja) 動画像符号化装置
CN112771859A (zh) 基于感兴趣区域的视频数据编码方法、装置和存储介质
CN105338323A (zh) 一种视频监控方法及装置
US20150139500A1 (en) Method and System for Optimizing Image Processing in Driver Assistance Systems
CN113785582A (zh) 从原影像流生成有用影像流的程序、装置以及方法
US7957604B2 (en) Moving image coding apparatus, moving image decoding apparatus, control method therefor, and computer-readable storage medium
CN112543330B (zh) 模糊隐私遮蔽的编码方法、***及存储介质
KR20130089029A (ko) 이중 영상압축 이미지 추적 장치
CN114157870A (zh) 编码方法、介质及电子设备
JP2013090004A (ja) 画像受信装置
JP2010268307A (ja) 動画像処理装置、動画像処理プログラム、及び動画像処理方法
JP7269134B2 (ja) 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法
JP7143263B2 (ja) 符号化パラメータを用いて対象識別位置を決定する対象識別方法、装置及びプログラム
JP4157661B2 (ja) 動画像内の移動物体検出方法および装置
WO2019167546A1 (ja) 映像符号化装置及び映像符号化方法
JP5934993B2 (ja) 画像送信装置及び画像送受信システム
US10027960B2 (en) Coding method and coding device
WO2023132163A1 (ja) 映像圧縮方法、映像圧縮装置、コンピュータプログラム、及び映像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination