JP2019161424A - 映像符号化装置及び映像符号化方法 - Google Patents
映像符号化装置及び映像符号化方法 Download PDFInfo
- Publication number
- JP2019161424A JP2019161424A JP2018044979A JP2018044979A JP2019161424A JP 2019161424 A JP2019161424 A JP 2019161424A JP 2018044979 A JP2018044979 A JP 2018044979A JP 2018044979 A JP2018044979 A JP 2018044979A JP 2019161424 A JP2019161424 A JP 2019161424A
- Authority
- JP
- Japan
- Prior art keywords
- target data
- data amount
- amount
- slice
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000007906 compression Methods 0.000 claims abstract description 125
- 230000006835 compression Effects 0.000 claims abstract description 124
- 230000010354 integration Effects 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 23
- 230000005540 biological transmission Effects 0.000 abstract description 14
- 238000004364 calculation method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 238000013139 quantization Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
従来、映像符号化装置で用いられる圧縮処理としては、符号化データを復号した際の歪に基づいて、量子化の程度を制御する方法があった。この方法では、撮像対象(絵柄)に応じて圧縮後のデータ量が増減する。
一方、圧縮後のデータ量が一定量となるように量子化を制御する圧縮処理の方法もある。この方法では、絵柄によって復号後の画質が変化する。
例えば、1画面分の映像を水平方向にM個の短冊状の領域(スライス)に分割して並列処理を行う。
映像分割の例について図12を用いて説明する。図12は、映像分割の例を示す模式説明図であり、(a)は映像信号の例、(b)は分割された信号の例を示す。
従来の映像符号化装置では、図12(a)に示すように、1画面分の映像信号(SI−VID)を、(b)に示すようにM個の短冊状の映像(スライス)に分割し、各スライスをそれぞれ対応する符号化処理部で圧縮する。ここでは、M=5として、5個に分割した例を示しており、v_1〜v_5の各スライスが並列処理によって符号化される。
次に、従来の映像符号化装置の構成について図13を用いて説明する。図13は、従来の映像符号化装置の概略構成図である。尚、ここでは、映像信号を5個に分割して並列処理を行う構成を例として説明する。
図13に示すように、従来の映像符号化装置は、映像分割部50と、符号化処理部(1)51〜符号化処理部(5)55と、データ統合部56と、目標データ量指示部57とを備えている。
映像分割部50は、入力された映像信号(SI−VID)を所定の数(ここでは5つ)のスライス(v_1,v_2,v_3,v_4,v_5)に分割し、各スライスを、それぞれ対応する符号化処理部51〜55に出力する。
符号化処理部(1)51〜符号化処理部(5)55は、入力されたスライスを圧縮して、それぞれ符号化データ(CD_1,CD_2,CD_3,CD_4,CD_5)を出力する。
目標データ量指示部57は、符号化処理部(1)51〜符号化処理部(5)55に対して目標データ量を設定する。
FPUでは単位時間当たりの伝送データ量が一定(Dとする)であり、従来の映像符号化装置の目標データ量指示部57は、符号化処理部(1)51〜符号化処理部(5)55に対して同一の目標データ量を設定している。
つまり、従来の映像符号化装置では、伝送データ量をDとすると、各符号化処理部にD/5の目標データ量を設定する。
具体的には、各符号化処理部では、符号化データを蓄積するバッファメモリに蓄積されたデータ量と、目標データ量とを比較して、圧縮の強さ(強弱)を調整するようになっている。
ところで、屋外で行われるロードレース等の映像では、背景に空が含まれる絵柄が度々出現する。
空の映像は、距離が遠く動きが少ないという特徴があり、また、青一面の背景にところどころ雲が浮かぶ、又は一面に灰色の雲が広がっている、といった画像で、絵柄も粗く単純なため、少ない圧縮データ量でも復号再現が可能である。
このように、ロードレース等の映像は、変化が小さく、少ない圧縮データ量でも復号可能な領域と、変化が大きく、十分な圧縮データ量が必要な領域とが混在している。
そのため、空の部分の映像が必要以上に高精細になり、中距離や近距離の領域について画質を向上させることができない。
また、マラソン等の中継において、移動中継車のカメラは、走者との距離や撮影角度(正面、斜め、横)を番組展開によって変化させる。また、レンズの焦点距離を変えることで画角(映る範囲)も変化する。
つまり、カメラの角度に応じて、空の領域の大きさや形状が変化することになる。
尚、映像符号化装置の従来技術としては、特開2016−184912号公報「符号化装置および符号化方法」(特許文献1)がある。
特許文献1には、符号化装置において、カメラアングルおよびレンズのズーム倍率の状態情報に応じて、検出された動きに重みづけを行って動きデータMvを生成し、SUMに基づいて、I処理によるデータI−CDか、P処理によるデータP−CDか、動きデータMvを選択して圧縮データとして出力することが記載されている。
[実施の形態の概要]
本発明の実施の形態に係る映像符号化装置(本符号化装置)及び映像符号化方法(本符号化方法)は、映像信号を複数に分割した分割映像(スライス)を複数の符号化処理部で符号化するものであって、目標データ量指示部が、カメラのチルト、アングル、ズームといった角度の情報に基づいて、空などの変化の小さい領域を強圧縮エリアとして検出し、強圧縮エリアを多く含むスライスを処理する符号化処理部の目標データ量を均等割り付けの場合より少なく設定し、その分、他のスライスを処理する符号化処理部の目標データ量を多く設定して多くの符号化データを発生させるようにすることで、伝送データ量の制約があっても、圧縮データ量を効果的に割り付けて目的とする撮像対象物を含む領域の画質を向上させることができるものである。
図1は、本発明の実施の形態に係る映像符号化装置の概略構成ブロック図である。
本符号化装置は、例えば、中継車に搭載したカメラからの映像を符号化して伝送するFPUの一部として構成される。
図1に示すように、本符号化装置は符号化部1を備え、符号化部1は、カメラ20と、角度検出部21に接続されている。
角度検出部21は、カメラ1の角度に関する情報を取得して角度情報として出力する。角度情報には、アングル(An)、チルト(Ti)、カメラ画角(Zm;ズーム)が含まれる。
ここで、アングルは水平方向の角度、チルトは垂直方向の角度、カメラ画角はズーム範囲を示す。
特に、本符号化装置では、角度検出部21からの角度情報に基づいて、強く圧縮可能なエリア(強圧縮エリア)を算出し、各スライスにおける強圧縮エリアの割合に応じて、各符号化処理部の目標データ量を増減させることにより、目的とする撮像対象物を含む領域の画質を向上させるようにしている。
符号化部1の基本的な構成は、図13に示した従来の符号化部と同様であり、映像分割部10と、符号化処理部(1)11〜符号化処理部(5)15と、データ統合部16と、目標データ量指示部17とを備えている。
これらの構成部分の内、目標データ量指示部17が本符号化装置の特徴部分となっている。
符号化処理部(1)11(以下、符号化処理部11と記載)は、スライスV_1を符号化して、符号化データCD_1を出力する。
符号化処理部(2)12(以下、符号化処理部12と記載)は、スライスV_2を符号化して、符号化データCD_2を出力する。
符号化処理部(3)13(以下、符号化処理部13と記載)は、スライスV_3を符号化して、符号化データCD_3を出力する。
符号化処理部(4)14(以下、符号化処理部14と記載)は、スライスV_4を符号化して、符号化データCD_4を出力する。
符号化処理部(5)15(以下、符号化処理部15と記載)は、スライスV_5を符号化して、符号化データCD_5を出力する。
目標データ量指示部17は、本符号化装置の特徴部分であり、強圧縮エリア算出部18と、目標データ算出部17とを備え、符号化処理部11〜符号化処理部15に、それぞれ目標データ量を設定する。
強圧縮エリアの算出については後述する。
具体的には、強圧縮エリア算出部18は、予めスライスを複数のクラスに分類するためのしきい値を記憶しており、当該しきい値と各スライスの強圧縮エリアの割合とを比較して、スライスを複数のクラスに分類する。
ここで、クラス1に分類されたスライスは、強圧縮エリアの割合が高く、強く圧縮しても画質低下が小さいため、目標データ量を小さく設定できるものである。
スライスのクラス分けについては後述する。
削減データ量とは、全ての符号化処理部に目標データ量を均等に割り付けた場合の目標データ量(基準目標データ量)から低減させるデータ量である。
図1では、スライスV_1がクラス1に分類され、スライスV_2〜スライスV_5がクラス2に分類された場合を示す。
この場合、目標データ算出部19は、スライスV_1に対応する符号化処理部11の目標データ量TD1を、均等割り付けのデータ量に比べてαだけ低減する。これにより、図1に示すように、符号化処理部11で発生する圧縮データCD_1のデータ量も、均等割り付けのデータ量に比べてαだけ少なくなる。
スライスV_1には空の部分が多く含まれるため、少ない圧縮データでも十分復号可能なものである。
このような処理を行うことにより、全体としてのデータ量を増やすことなく、目的の撮像対象物が含まれる領域により多くの符号化データ量を割り付けて、画質を向上させることができるものである。
目標データ量指示部17における処理については後述する。
次に、本映像符号化装置における各符号化処理部の構成について図2を用いて説明する。図2は、符号化処理部11の構成ブロック図である。尚、ここでは、符号化処理部1を例として説明するが、符号化処理部12〜符号化処理部15も同一の構成である。
図2に示すように、本符号化装置の符号化処理部11は、制御部31と、I(Intra-coded Picture)処理部32と、P(Predictive-coded Picture)処理部33と、選択部34と、バッファメモリ35と、復号部36とを備えている。
制御部31は、各部に制御信号を出力し、圧縮の強さを調整して圧縮データ(S−CD)のデータ量を制御する。
制御部31の処理については後述する。
復号部36は、選択された圧縮データ(S−CD)を復号して、復号データ(V−DEM)を出力する。
圧縮データ量及び復号後の画質が適切となるよう、Iフレームの出力間隔(例えば2秒に1回)が設定されている。
I処理部32及びP処理部33は、comp制御信号に基づいて、量子化の粗さを変化させることで、発生符号量を増減させる。
例えば、SUM>目標データ量TD1の場合(バッファメモリ35のメモリ容量に余裕がない場合)には、制御部31は、comp制御信号により量子化のしきい値を高めて、0(ゼロ)に切り捨てられる係数の頻度を増やし、高周波成分を低減してバッファメモリ35に入力される圧縮データS−CDの量を抑える。
更に、SUM<目標データ量TD1の場合(バッファメモリ35の容量に余裕がある場合)には、I処理部32及びP処理部33における量子化のしきい値を低く設定して、多くの符号化データを残すようにする。
量子化のしきい値を低く設定することにより、DCT係数の高周波成分が残りやすくなる。
本符号化装置の動作について、図1,2を用いて説明する。
まず、図1に示すように、カメラから入力された映像信号(SI−VID)は、映像符号化装置の符号化部に入力され、映像分割部10で所定の数(ここでは5とする)のスライスに分割される。各スライスは、対応する符号化処理部11〜15に入力される。
そして、目標データ算出部19が、クラス毎のスライス数に応じて、クラスに対応する目標データ量TD1〜TD5を算出して、符号化処理部11〜15に設定する。
図2に示すように、符号化処理部11に入力されたスライスV_1は、I処理部32とP処理部33とに入力され、I処理部32からIフレームとしての圧縮データI−CDが出力され、P処理部33からPフレームとしての圧縮データP−CDが出力される。
その際、I処理部32及びP処理部33では、
圧縮データ量が設定された目標データ量TD1を超えないよう、制御部31からのcomp制御信号に従って量子化を行う。
このようにして、本符号化装置の動作が行われるものである。
次に、本符号化装置における目標データ量の設定について図3を用いて説明する。図3は、本符号化装置における目標データ量設定の例を示す説明図である。
図3では、空の領域を強圧縮エリアとして判定し、強圧縮エリアの割合が高いスライス(強圧縮スライス)に対応する符号化処理部の目標データ量を低減し、その分を他の符号化処理部の目標データ量に上乗せして設定する例を示している。
単位時間当たりのデータ伝送量をD、並列処理されるスライスの数をMとすると、均等に割り付けた場合、各符号化処理部の目標データ量(基準目標データ量)はD/Mとなる。
第1の方法では、1つのしきい値を用いてスライスを2つのクラスに分類し、強圧縮エリアの割合が高いスライスの処理について一定のデータ量を目標データ量から低減させると共に、低減された分を他のスライスの処理に割り当てて設定する。
例えば、しきい値を80%として、強圧縮エリアの割合(r)が80%を超えるスライスをクラス1、80%以下のスライスをクラス2に分類する。また、クラス1の削減データ量(低減量)はαに設定されている。
第1の方法では、クラス1に分類されたスライスが強圧縮スライスに相当する。
この場合、本符号化装置では、クラス1のスライスに対応する目標データ量をαだけ低減させて、符号化処理部11(処理1と記載)の目標データ量をD/M−αとする。
この場合には、符号化処理部11と符号化処理部12の目標データ量をそれぞれαだけ低減させて、D/M−αとする。
そして、低減された2αのデータ量を他の符号化処理部13〜符号化処理部15(処理3〜処理5)に割り付けて、これらの符号化処理部の目標データ量をD/M+2α/3とする。
具体的には、各クラスの割り当てデータ量は以下のように算出される。
クラス1:TD_c1=D/M−α (式1)
クラス2:TD_c2=D/M+(m・α)/M−m (式2)
第2の方法では、しきい値を2段階(例えば、80%と40%)とし、強圧縮エリアの割合に応じてスライスを3つのクラス(クラス1、クラス2、クラス3)に分類して目標データ量を設定する。第2の方法では、クラス1,クラス2に分類されたスライスが強圧縮スライスに相当する。
目標データ量算出部19には、クラス1に対応するデータ削減量α、クラス2に対応するデータ削減量βが記憶されているものとする。ここで、α>βであり、αは請求項に記載した第1の低減量に相当し、βは第2の低減量に相当している。
この場合、強圧縮エリアの割合が80%を超える1番目のスライスがクラス1に分類され、強圧縮エリアの割合が40%〜80%(40<r≦80)の2番目のスライスがクラス2に分類される。
これにより、目標データ量算出部19は、符号化処理部11(処理1)の目標データ量をD/M−αとし、符号化処理部12(処理2)の目標データ量をD/M−βとして設定する。
クラス1の目標データ量:TD_c1=D/M−α (式1)
クラス2の目標データ量:TD_c2=D/M−β (式3)
クラス3の目標データ量:TD_c3=D/M+(ma・α+mb・β)/(M−ma−mb) (式4)
次に、角度情報と強圧縮エリアの関係について図4〜図7を用いて説明する。
ここでは、上述した第2の方法を採用し、2種類のしきい値を用いてスライスを3段階にクラス分けして目標データ量を割り当てる場合を例として説明する。
[角度情報と強圧縮エリアの関係(1):図4]
図4は、角度情報と強圧縮エリアの関係(1)を示す説明図である。
図4(a)に示すように、走者の正面から撮影した映像を撮影する場合のカメラの状態を図4(d)(e)に示す。(d)は、上から見た(上面視の)説明図であり、(e)は、横から見た(側面視の)説明図である。
つまり、図2(a)(b)は、基準状態(アングル=0°、チルト=0°)における画像及び空の領域を示している。
更に、強圧縮エリア算出部18は、(b)の強圧縮エリアの情報に基づいて、各スライスにおける強圧縮エリアの割合(r)を算出し、しきい値と比較して、スライスを3段階にクラス分けする。
つまり、強圧縮エリアが(b)のように算出された場合には、クラス1のスライス数ma=1、クラス2のスライス数mb=1、クラス3のスライス数mc=3となる。
5つの符号化処理部で目標データ量を均等に分けた場合の目標データ量D/M=TD(基本目標データ量)とすると、上述した(式1),(式3),(式4)に基づくクラス1〜3の目標データ量は以下のように算出される。
クラス1:TD_c1=TD−α
クラス2:TD_c2=TD−β
クラス3:TD_c3=TD+(α+β)/3
図5は、角度情報と強圧縮エリアの関係(2)を示す説明図である。
図5では、(d)(e)に示すように、カメラの向きが、アングル=0°,チルト=−10°の状態を示している。つまり、カメラが水平方向から10°下方向を向いた状態である。
この状態では、(a)のような映像が撮影され、(b)に示すように、空の領域は図4に比べて狭くなる。
クラス3の目標データ量は、
TD_c3=TD+α/4 と算出される。
従って、目標データ量指示部17は、符号化処理部11〜15に、TD1=TD−α、TD2=TD3=TD4=TD5=TD+α/4を設定する。
図6は、角度情報と強圧縮エリアの関係(3)を示す説明図である。
図6では、(d)(e)に示すように、カメラの向きが、アングル=0°,チルト=+10°の状態を示しており、カメラが水平方向から10°上向きになっている。
この状態では、(a)に示すように空の領域が増えた映像が撮影される。強圧縮エリアは(b)に示すように算出される。
つまり、(c)に示すように、ma=2,mb=1,mc=2となる。
この場合のクラス3の目標データ量は、
TD_c3=TD+(2α+β)/2 と算出される。
従って、目標データ量指示部17は、符号化処理部11〜15に、TD1=TD2=TD−α,TD3=TD−β,TD4=TD5=TD+(2α+β)/2を設定する。
図7は、角度情報と強圧縮エリアの関係(4)を示す説明図である。
図7では、(d)(e)に示すように、カメラの向きが、アングル=10°,チルト=0の状態を示している。つまり、カメラが正面から10°左方向を向いた状態である。
この状態では、(a)のように走者が画面右側に寄った映像が撮影され、(b)に示すように、空の領域は左右非対称の形状となる。
つまり、(c)に示すように、ma=1,mb=1,mc=3となり、図4に示した例と同じ目標データ量を設定する。
従って、目標データ量指示部17は、符号化処理部11〜15に、TD1=TD−α,TD2=TD−β,TD3=TD4=TD5=TD+(α+β)/3を設定する。
図4〜図7においては、ズームは一定としている。
本符号化装置では、このことを利用して、動きの小さい空のエリアを強圧縮エリアとして判定し、強圧縮エリアの割合が高いスライスの目標データ量を低減すると共に、他のスライスの目標データ量を割り増しして、目的とする撮像対象物の画質を向上させるようにしている。
次に、目標データ量指示部17における処理について図8を用いて説明する。図8は、目標データ量指示部17における処理を示すフローチャートである。図8では、1画面分の映像信号についての処理を示している。
図8に示すように、目標データ量指示部17は、角度検出部21から角度情報(An,Ti,Zm)が入力されると(100)、それらに基づいて強圧縮エリアを算出する(102)。強圧縮エリアの算出方法については後述する。
目標データ量指示部17は、初期値として、クラス1のスライス数ma=0、クラス2のスライス数mb=0としておく(104)。
40%<r≦80%の場合には、目標データ量指示部17は、当該スライスをクラス2に分類し(120)、mb=mb+1とする(122)。
また、r≦40%の場合、目標データ量指示部17は、当該スライスをクラス3に分類する(130)。
ここで、TDは、本符号化装置から出力される圧縮データ量の上限値(伝送可能なデータ量)を並列処理されるスライスの総数で除した値であり、全ての符号化処理部に均等に目標データ量を割り付けた場合の目標データ量(基本目標データ量)である。
更に、目標データ量設定指示部17は、クラス2に分類されたスライスの処理を行う符号化処理部の目標データ量をTD−βに設定する(144)。
そして、クラス3のスライスの処理を行う符号化処理部の目標データ量をTD_3に設定し(148)、処理を終わる。
このようにして、目標目データ量指示部17における処理が行われるものである。
次に、映像信号の例について図9を用いて説明する。図9は、映像信号の例を示す模式説明図である。ここでは、ハイビジョンの信号構成を示す。
図9に示すように、2次元イメージにおいて、水平方向は映像期間(水平)、垂直方向は映像期間(垂直)を示す。太枠内が1画面に表示される映像情報であり、ハイビジョンでは、映像表示期間(垂直)の有効走査線は1080本、1走査線に含まれる有効画素数は1920画素である。
制御部は、入力された映像信号から、最終の走査線1125に続いて生じる水平ブランキング期間におけるラインNo=1を探すことにより、映像の表示開始タイミングを認識することができるものである。
次に、本符号化装置における強圧縮エリア(空のエリア、空エリア)の算出例について図10,11を用いて説明する。図10は、基本状態における空エリアの算出例を示す説明図であり、図11は、カメラの角度情報を用いた空のエリアの算出例を示す説明図である。
本符号化装置では、空のエリアを三角形で近似して算出するようにしている。
まず、カメラの状態が基本状態にある場合の空エリアの算出例について図10を用いて説明する。
図10(a)では、チルト=0°,アングル=0°の場合の画像の例を示しており、この状態を基本状態とする。基本状態では、画面中央に空エリアの消失点があるものとして、この点を三角形で近似される空エリアの頂点(空エリア頂点)とする。
ハイビジョン映像において、水平方向の画素数は1920画素、垂直方向のライン数は1080であるため、基本状態における空エリア頂点P0の座標(画素番号,ライン番号)は、(960,540)となる。
そして、点P0、画面左上の角(0,0)、画面右上の角(0,1920)の三点を頂点とする三角形の領域を、基本状態における空エリアとする。
次に、角度情報を用いて空エリアを算出する場合について図11を用いて説明する。
図11(a)では、チルト及びアングルが0°ではない場合の画像の例を示しており、消失点(空エリア頂点)P1は、基本状態に比べて画面右上方向に移動している。尚、図11のズーム量は図10と同一である。
点P0からの水平方向のずれをHof、垂直方向のずれをVofとすると、点P1の座標は、(960+Hof,540+Vof)となる。
Hof=Kh/2×tan(アングル角)/tan(水平画角/2) 式(5)
として算出される。
ここで、Khは水平方向の画素数(1920)であり、アングル角の符号は中央に対して左をマイナス、右をプラスとする。また、水平画角は、ズームの値によって決まるものであり、広角の場合には大きく、望遠の場合には小さくなる。
Vof=Kv/2×tan(チルト角)/tan(垂直画角/2) 式(6)
として算出される。
ここで、Kvは垂直方向のライン数(1080)であり、チルト角の符号は中央に対して上をマイナス、下をプラスとする。また、垂直画角は、ズームの値によって決まるものであり、広角の場合には大きく、望遠の場合には小さくなる。
図10(b)では、アングル角の符号がプラス、チルト角の符号がマイナスの場合を示している。
本符号化装置では、三角形で近似することにより、簡易な演算で空エリアを算出することができるものである。
例えば、上述した方法で求めた空エリア頂点Pを中心として、ズーム量に応じて左右に一定の長さ(画素数)だけ移動した点(点Q、点Rとする)を下底の頂点とする。そして、画面左上の角、点Q、点R、画面右上の角の4点を頂点とする台形の領域を、空エリアとして判定する。
このようにすると、ズーム量が大きくなっても、空のエリアを正確に求められるものである。
そして、目標データ量指示部17は、図8に示した処理に従って、算出された空エリアと、各スライスの領域とを比較して、当該スライスにおける空エリアの割合(r)を算出し、空エリアの割合が高いスライスの目標データ量を低減すると共に、空エリアの割合が低い通常のスライスの目標データ量を割り増しして設定する。
本符号化装置で算出する強圧縮エリアは、動きの小さいエリアであるため、動きベクトルが小さくなる。
そのため、強圧縮エリアについて、動きベクトルのヘッダを省略することが可能となり、一層データ量の削減を図ることができるものである。
本符号化装置及び本符号化方法によれば、映像信号を複数に分割した分割映像(スライス)を複数の符号化処理部で符号化するものであって、目標データ量指示部17が、角度検出部21から入力されるカメラの角度情報に基づいて、空などの変化の小さい領域を強圧縮エリアとして検出し、強圧縮エリアを多く含むスライスを処理する符号化処理部の目標データ量を均等割り付けの場合より少なく設定し、その分、他のスライスを処理する符号化処理部の目標データ量を多く設定して多くの符号化データを発生させるようにしているので、伝送データ量の制約があっても、圧縮データ量を効果的に割り付けて目的とする撮像対象物を含む領域の画質を向上させることができる効果がある。
また、本発明は、上記映像符号化装置において、制御部が、空エリア頂点を、画面中央の点からの水平方向のずれ量と垂直方向のずれ量を算出して決定し、
水平方向の画素数をKh、垂直方向のライン数をKvとした場合に、水平方向のずれHofを、Hof=Kh/2×tan(アングル角)/tan(水平画角/2)として算出し、垂直方向のずれVofを、Vof=Kv/2×tan(チルト角)/tan(垂直画角/2)として算出することを特徴としている。
また、本発明によれば、制御部が、空エリア頂点を、画面中央の点からの水平方向のずれ量と垂直方向のずれ量を算出して決定し、水平方向の画素数をKh、垂直方向のライン数をKvとした場合に、水平方向のずれHofを、Hof=Kh/2×tan(アングル角)/tan(水平画角/2)として算出し、垂直方向のずれVofを、Vof=Kv/2×tan(チルト角)/tan(垂直画角/2)として算出する上記映像符号化装置としているので、簡易な演算で強圧縮エリアを算出することができる効果がある。
Claims (6)
- カメラからの映像信号を複数のスライスに分割する映像分割部と、
前記各スライスに対応して設けられ、対応するスライスの符号化処理を行って圧縮データを出力する複数の符号化処理部と、
前記複数の符号化処理部から出力された圧縮データを統合して統合された圧縮データを出力するデータ統合部と、
前記各符号化処理部に対して、生成される圧縮データの目標量となる目標データ量を設定する目標データ量指示部とを備え、
前記符号化処理部が、前記目標データ量指示部から設定された目標データ量の範囲内で圧縮データを生成し、
前記目標データ量指示部が、統合された圧縮データ量の上限値を前記スライスの数で除して基本目標データ量として記憶しておき、前記映像信号における画像の変化が小さい強圧縮エリアを検出し、前記各スライスにおける前記強圧縮エリアの割合を算出して、前記割合が大きいスライスに対応する符号化処理部の目標データ量として、前記基本目標データ量から特定の低減量を低減して設定すると共に、他の符号化処理部の目標データ量として、前記低減量の合計を、前記他の符号化処理部の数で除して前記基本目標データ量に加えて設定することを特徴とする映像符号化装置。 - 目標データ量指示部が、スライスにおける強圧縮エリアの割合が予め設定されたしきい値を超えている場合には、当該スライスを第1のクラスに分類し、前記割合が前記しきい値以下である場合には、当該スライスを第2のクラスに分類し、
前記第1のクラスのスライスに対応する符号化処理部の目標データ量として、基本目標データ量より特定の低減量を低減して設定すると共に、前記第2のクラスのスライスに対応する符号化処理部の目標データ量として、前記低減量の合計を前記第2のクラスに分類されたスライスの数で除して前記基本目標データ量に加えて設定することを特徴とする請求項1記載の映像符号化装置。 - 目標データ量指示部が、低減量として第1の低減量と、前記第1の低減量より少ない第2の低減量とを記憶しておき、
スライスにおける強圧縮エリアの割合が第1のしきい値を超えている場合には、当該スライスを第1のクラスに分類し、前記割合が第2のしきい値を超えて前記第1のしきい値以下である場合には、当該スライスを第2のクラスに分類し、前記割合が前記第2のしきい値以下である場合には、当該スライスを第3のクラスに分類し、
前記第1のクラスのスライスに対応する符号化処理部の目標データ量として、基本目標データ量より第1の低減量を低減して設定し、前記第2のクラスのスライスに対応する符号化処理部の目標データ量として、前記基本目標データ量より第2の低減量を低減して設定すると共に、前記第3のクラスのスライスに対応する符号化処理部の目標データ量として、前記第1の低減量の合計と前記第2の低減量の合計との和を前記第3のクラスに分類されたスライスの数で除して前記基本目標データ量に加えて設定することを特徴とする請求項1記載の映像符号化装置。 - 目標データ量指示部が、強圧縮エリアの割合が大きいスライスに対応する符号化処理部の目標データ量の低減量を、前記割合に基づいて演算式によって算出することを特徴とする請求項1記載の映像符号化装置。
- 目標データ量指示部が、カメラのアングル、チルト、ズームの角度情報に基づいて、強圧縮エリアを検出することを特徴とする請求項1乃至4のいずれか記載の映像符号化装置。
- カメラからの映像信号を複数のスライスに分割して、前記スライスを並列処理により符号化する映像符号化装置における映像符号化方法であって、
目標データ量指示部が、統合された圧縮データ量の上限値を前記スライスの数で除して基本目標データ量として記憶しておき、前記映像信号における画像の変化が小さい強圧縮エリアを検出し、前記各スライスにおける前記強圧縮エリアの割合を算出して、前記割合が大きいスライスに対応する符号化処理部の目標データ量として、前記基本目標データ量から特定の低減量を低減して設定すると共に、他の符号化処理部の目標データ量として、前記低減量の合計を、前記他の符号化処理部の数で除して前記基本目標データ量に加えて設定することを特徴とする映像符号化方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018044979A JP6694905B2 (ja) | 2018-03-13 | 2018-03-13 | 映像符号化装置及び映像符号化方法 |
PCT/JP2019/003643 WO2019176361A1 (ja) | 2018-03-13 | 2019-02-01 | 映像符号化装置及び映像符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018044979A JP6694905B2 (ja) | 2018-03-13 | 2018-03-13 | 映像符号化装置及び映像符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019161424A true JP2019161424A (ja) | 2019-09-19 |
JP6694905B2 JP6694905B2 (ja) | 2020-05-20 |
Family
ID=67906636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018044979A Active JP6694905B2 (ja) | 2018-03-13 | 2018-03-13 | 映像符号化装置及び映像符号化方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6694905B2 (ja) |
WO (1) | WO2019176361A1 (ja) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0888853A (ja) * | 1994-09-16 | 1996-04-02 | Toshiba Corp | メディア処理システム |
JPH09200764A (ja) * | 1996-01-16 | 1997-07-31 | Canon Inc | 符号化装置 |
JP2000224584A (ja) * | 1999-02-04 | 2000-08-11 | Nec Corp | 画像符号化装置および動画像伝送システム |
JP2001148857A (ja) * | 1999-11-18 | 2001-05-29 | Canon Inc | 静止画撮影発信システム及び静止画伝送方法及び記憶媒体 |
JP2001231041A (ja) * | 2000-02-17 | 2001-08-24 | Canon Inc | 画像符号化方法及び装置 |
JP2006101472A (ja) * | 2004-04-23 | 2006-04-13 | Sumitomo Electric Ind Ltd | 動画像データの符号化方法、復号化方法、これらを実行する端末装置、及び双方向対話型システム |
JP2007328630A (ja) * | 2006-06-08 | 2007-12-20 | Fujitsu Ten Ltd | 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置 |
JP2010093627A (ja) * | 2008-10-09 | 2010-04-22 | Sharp Corp | 動画像符号化装置 |
JP2011109216A (ja) * | 2009-11-13 | 2011-06-02 | Panasonic Corp | 符号化方法、および符号化プログラム |
WO2014033936A1 (ja) * | 2012-08-31 | 2014-03-06 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2014155919A1 (ja) * | 2013-03-27 | 2014-10-02 | 日本電気株式会社 | 画像符号化装置、画像符号化方法および画像符号化プログラム |
-
2018
- 2018-03-13 JP JP2018044979A patent/JP6694905B2/ja active Active
-
2019
- 2019-02-01 WO PCT/JP2019/003643 patent/WO2019176361A1/ja active Application Filing
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0888853A (ja) * | 1994-09-16 | 1996-04-02 | Toshiba Corp | メディア処理システム |
JPH09200764A (ja) * | 1996-01-16 | 1997-07-31 | Canon Inc | 符号化装置 |
JP2000224584A (ja) * | 1999-02-04 | 2000-08-11 | Nec Corp | 画像符号化装置および動画像伝送システム |
JP2001148857A (ja) * | 1999-11-18 | 2001-05-29 | Canon Inc | 静止画撮影発信システム及び静止画伝送方法及び記憶媒体 |
JP2001231041A (ja) * | 2000-02-17 | 2001-08-24 | Canon Inc | 画像符号化方法及び装置 |
JP2006101472A (ja) * | 2004-04-23 | 2006-04-13 | Sumitomo Electric Ind Ltd | 動画像データの符号化方法、復号化方法、これらを実行する端末装置、及び双方向対話型システム |
JP2007328630A (ja) * | 2006-06-08 | 2007-12-20 | Fujitsu Ten Ltd | 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置 |
JP2010093627A (ja) * | 2008-10-09 | 2010-04-22 | Sharp Corp | 動画像符号化装置 |
JP2011109216A (ja) * | 2009-11-13 | 2011-06-02 | Panasonic Corp | 符号化方法、および符号化プログラム |
WO2014033936A1 (ja) * | 2012-08-31 | 2014-03-06 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2014155919A1 (ja) * | 2013-03-27 | 2014-10-02 | 日本電気株式会社 | 画像符号化装置、画像符号化方法および画像符号化プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2019176361A1 (ja) | 2019-09-19 |
JP6694905B2 (ja) | 2020-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9609331B2 (en) | Camera parameter-assisted video frame rate up conversion | |
JP3226020B2 (ja) | 動きベクトル検出装置 | |
CN108737837B (zh) | 形成视频流的方法及图像处理单元 | |
JP5268743B2 (ja) | 画像通信システム | |
US8077982B2 (en) | Image match-point detection apparatus, image match-point detection method and storage medium | |
JP2018201189A5 (ja) | ||
US9854167B2 (en) | Signal processing device and moving image capturing device | |
US10298853B2 (en) | Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus | |
US20110254973A1 (en) | Image processing apparatus and image processing method | |
JP2003189290A (ja) | 映像圧縮アルゴリズムを用いるカメラ制御方法と装置 | |
JP2008048243A (ja) | 画像処理装置、画像処理方法および監視カメラ | |
JP2005094458A (ja) | 動画像符号化装置及び方法 | |
JP2015115903A (ja) | 撮像装置、撮像装置の制御方法、コンピュータプログラム | |
JP2015050661A (ja) | 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム | |
JP2013168739A (ja) | 画像処理システム、及び、画像処理方法 | |
CN114157870A (zh) | 编码方法、介质及电子设备 | |
JP6435029B2 (ja) | 映像符号化装置及び映像符号化プログラム | |
JP2007334457A (ja) | 画像処理装置及び画像処理方法 | |
JP6694905B2 (ja) | 映像符号化装置及び映像符号化方法 | |
JP2007228519A (ja) | 画像符号化装置及び画像符号化方法 | |
JP6694902B2 (ja) | 映像符号化装置及び映像符号化方法 | |
JP6341598B2 (ja) | 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム | |
KR20120019662A (ko) | 전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템. | |
US11501512B2 (en) | Image processing apparatus, control method performed by the image processing apparatus, and storage medium, that determine a region including an object and control transmission an image corresponding to the determined region based on size thereof | |
JP5173946B2 (ja) | 符号化前処理装置、符号化装置、復号装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6694905 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |