JP2012169765A

JP2012169765A - 符号化装置

Info

Publication number: JP2012169765A
Application number: JP2011027459A
Authority: JP
Inventors: Fumitaka Nakayama; 文貴中山; Koji Mada; 浩二磨田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-02-10
Filing date: 2011-02-10
Publication date: 2012-09-06

Abstract

【課題】フレームレートが切り換わる前後で、連続したストリームが生成されるように効率的に符号化を行うことができる符号化装置を提供することを課題とする。
【解決手段】第１の解像度及び第１のフレームレートの第１の画像から第２の解像度及び第２のフレームレートの第２の画像に切り換わる画像を入力する入力部（３０１）と、入力部に第２の画像が入力されると、入力された第２の画像を第１の画像と解像度及び画角が同じである画像に変換する画像変換部（３０７）と、入力部に第１の画像が入力されると入力された第１の画像を符号化し、入力部に第２の画像が入力されると画像変換部により変換された画像を符号化する符号化部（３０５）とを有し、符号化部は、第１の画像から第２の画像に入力部の入力が切り換わると、画像変換部により変換された画像を符号化対象画像とし、その前に入力された第１の画像を符号化参照画像としてフレーム間符号化を行う。
【選択図】図３

Description

本発明は、動画像を符号化するための符号化装置に関する。

近年、デジタルカメラやデジタルビデオカメラにはＣＣＤセンサに変わってＣＭＯＳセンサが使用されつつある。このＣＭＯＳセンサは、ＣＣＤセンサに比べて消費電力が少ないことや、データの読み出しが高速であるという利点がある。この点を利用して、ＣＭＯＳセンサを高速駆動して、多様なフレームレートで動画像を撮像し、記録することが可能となっている。また、センサの画素数も高画素化が進み、解像度に関しても様々な解像度での記録が可能となっている。フレームレートと解像度を任意に選択して撮像可能な撮像装置の構成が特許文献１に開示されている。また、動画像の撮像の途中にフレームレートを切り換える技術が特許文献２に開示されている。

一方、最近のデジタルビデオカメラ等では、記憶媒体にハイビジョン動画を記録するものが主流である。このような機器では、高解像の動画像を効率的に記録するため、MPEG2よりも進化したMPEG4 part-10（ISO/IEC 14496-10）:AVC方式で圧縮符号化されたビデオストリームの形態で記録媒体に画像を保存するものが登場している。ここで、MPEG4 part-10:AVCは、別名Ｈ．２６４と呼ばれている。

特開２００４−１６６２２４号公報特開２００６−３５２５８１号公報

特許文献１のように、撮像されるフレームレートが高くなると解像度が低下するシステムを前提にした場合、特許文献２のように動画像の途中でフレームレートを変更すると、動画像の途中で解像度が変更されることになる。通常、動画記録中に解像度やフレームレートが変化した場合、切り換わりの前後を別々のビデオストリームとして記録するのが一般的であるが、別々のビデオストリームとなるように符号化処理すると、処理の煩雑化や符号化効率が低下する。

本発明の目的は、フレームレートが切り換わる前後で、連続したストリームが生成されるように効率的に符号化を行うことができる符号化装置を提供することである。

本発明の符号化装置は、第１の解像度及び第１のフレームレートの第１の画像から第２の解像度及び第２のフレームレートの第２の画像に切り換わる画像を入力する入力部と、前記入力部に前記第２の画像が入力されると、前記入力された第２の画像を前記第１の画像と解像度及び画角が同じである画像に変換する画像変換部と、前記入力部に前記第１の画像が入力されると前記入力された第１の画像を符号化し、前記入力部に前記第２の画像が入力されると前記画像変換部により変換された画像を符号化する符号化部とを有し、前記符号化部は、前記第１の画像から前記第２の画像に前記入力部の入力が切り換わると、前記画像変換部により変換された画像を符号化対象画像とし、その前に入力された前記第１の画像を符号化参照画像としてフレーム間符号化を行うことを特徴とする。

本発明によれば、フレームレートが切り換わる前後で、連続したストリームが生成されるように効率的に符号化を行うことができる。

第１の実施形態における符号化シーケンスの説明図である。第１の実施形態におけるフローチャートである。第１の実施形態における符号化装置のブロック図である。画像変換を説明する図である。符号化対象画像と符号化参照画像を説明する図である。第２の実施形態におけるフローチャートである。第２の実施形態における符号化装置のブロック図である。第３の実施形態の符号化装置の構成図である。通常フレームレート時の動き予測の参照関係を示す図である。高速フレームレート時の動き予測の参照関係を示す図である。符号化部の処理を示すフローチャートである。符号化部の動き予測の参照関係を示す図である。第４の実施形態における符号化部の処理を示すフローチャートである。

（第１の実施形態）
本発明の第１の実施形態に係る符号化装置を図１から図５を用いて説明する。以下、例えば４０００画素（４Ｋ）×２０００画素（２Ｋ）の解像度（以降４Ｋ解像度と呼ぶ）から２０００画素（２Ｋ）×１０００画素（１Ｋ）の解像度（以降２Ｋ解像度と呼ぶ）に切り換えながら動画像を符号化して記録する場合を例にして説明する。なお、解像度が切り換わることにより必然的にフレームレートも変化することを前提とし、４Ｋ解像度画像のフレームレートを６０ｆｐｓ（frame per sec）とすると、２Ｋ解像度画像のフレームレートは４倍の２４０ｆｐｓとなる。そのため、符号化を行う解像度は４Ｋ解像度、フレームレートは６０ｆｐｓとなる。各々、第１の実施形態において、図１は符号化シーケンスの説明図、図２はフローチャート、図３は符号化装置のブロック図、図４は画像の生成方法、図５は符号化対象画像と符号化参照画像の関係を図示したものである。また、本実施形態における符号化方式は、ＭＰＥＧやＨ．２６４を始めとしたイントラ符号化とインター符号化（画像を時間方向に並べ替えることを伴う）の両符号化を行う符号化方式である。

イントラ符号化は、フレーム内の情報のみから符号化するフレーム内符号化である。インター符号化は、前・後のフレームとの相関を利用してフレーム間差分を符号化するフレーム間符号化である。ＭＰＥＧの場合、フレームはＩピクチャ、Ｐピクチャ及びＢピクチャから構成される。Ｉピクチャは、単独でイントラ符号化可能なフレームである。Ｐピクチャは、前のＩピクチャ又はＰピクチャの符号化参照画像（符号化参照ピクチャ）からの差分を用いてインター符号化するフレームである。Ｂピクチャは、前後のＩピクチャ又はＰピクチャの符号化参照画像からの差分を用いてインター符号化するフレームである。

図１は、デジタルビデオカメラ等の記録装置に搭載される符号化装置である。１００は入力画像である。１０１は符号化画像（並べ替え後）である。１０３は４Ｋ解像度入力画像である。１０４が４Ｋ解像度符号化画像である。１１０は４Ｋ解像度符号化画像１０４の一部のＰピクチャである。１０５が２Ｋ解像度入力画像である。１０６が２Ｋ解像度符号化画像である。１０７が２Ｋ解像度入力画像から４Ｋ解像度画像を生成した画像である。１０８及び１０９は２Ｋ解像度画像から４Ｋ解像度画像を生成した画像である。１０８はＰピクチャ、１０９はＢピクチャで符号化した画像とする。また、１０２は４Ｋ解像度から２Ｋ解像度に切り換わった解像度切り換わり位置を示す。

また、図３において、３０１は入力部、３０２はメモリ、３０３及び３０４はスイッチであり、３０６は解像度判別部である。入力部３０１は、第１の解像度（４Ｋ解像度）及び第１のフレームレート（６０ｆｐｓ）の第１の画像１０３から第２の解像度（２Ｋ解像度）及び第２のフレームレート（２４０ｆｐｓ）の第２の画像１０５に切り換わる画像を入力する。メモリ３０２は、入力部３０１に入力された画像信号を記憶する。スイッチ３０３は、メモリ３０２の出力信号を画像変換部３０７又はスイッチ３０４に出力する。スイッチ３０９は、メモリ３０８の出力信号をスイッチ３０４又は画像変換部３０７に出力する。スイッチ３０４は、スイッチ３０３又は３０９の出力信号を符号化部３０５に出力する。解像度判別部３０６は、入力部３０１に入力された画像信号から解像度を判別し、その結果に基づきスイッチ３０３並びにスイッチ３０４を制御する。３０７は画像変換部であり、メモリ３０２に保持されている画像から新たな解像度の画像を生成し、メモリ３０８に書き込む。本実施形態では、画像変換部３０７は、２Ｋ解像度画像から４Ｋ解像度画像を生成する。３０８はメモリ、３０９はスイッチである。画像変換部３０７は、４Ｋ解像度画像が生成されたかどうかの信号を生成し、その信号に基づきスイッチ３０９を制御する。これらの処理については図４を用いて後述する。３０５は符号化部であり、スイッチ３０４で選択入力された画像を符号化する。具体的には、符号化部３０５は、入力部３０１に４Ｋ解像度画像１０３が入力されると、入力された４Ｋ解像度画像１０３を符号化し、入力部３０１に２Ｋ解像度画像１０５が入力されると画像変換部３０７により変換された画像を符号化する。この時、符号化部３０５は４Ｋ解像度画像を符号化することになる。符号化後のストリームデータは、不図示の記録手段を介して記録媒体に記録される。

次に、図２のフローチャートと図３のシステム図を用いて第１の実施形態における符号化・記録方法を説明する。なお、記録する動画像は図１に示したように、記録中に４Ｋ解像度画像から２Ｋ解像度画像に切り換わる場合を想定している。ステップＳ２００は本処理の開始を示す。ステップＳ２０１において、符号化装置は、外部から記録開始の指示が与えられると、画像を記録するための各種処理を行う。次に、ステップＳ２０２において、符号化装置は、フレームカウンタｎをゼロに初期化する。次に、ステップＳ２０３において、入力部３０１はｎフレーム目の画像を入力し、メモリ３０２に保持させる。

次に、ステップＳ２０４において、解像度判別部３０６は、ｎフレーム目の入力画像信号（入力部３０１からの出力画像信号）に対して解像度の判別を行い、ｎフレーム目の入力画像が４Ｋ解像度であるかを判定する。ｎフレーム目の入力画像が４Ｋ解像度である場合、ステップＳ２０５へ移行する。ステップＳ２０５では、メモリ３０２は保持していた画像を読み出し、解像度判別部３０６はスイッチ３０３の出力がスイッチ３０４の入力となるようにスイッチ３０３を切り換える。また、解像度判別部３０６は、符号化部３０５の入力がスイッチ３０４の出力となるようにスイッチ３０４を切り換える。これにより、符号化部３０５は、ｎフレーム目の４Ｋ解像度画像の符号化を行う。その後、ステップＳ２０９へ移行する。

ステップＳ２０４において、ｎフレーム目の入力画像が４Ｋ解像度でない場合は、ステップＳ２０６へ移行する。ステップＳ２０６では、解像度判別部３０６は、スイッチ３０３の出力が画像変換部３０７の入力となるようにスイッチ３０３を切り換え、スイッチ３０９の出力がスイッチ３０４の出力となるようにスイッチ３０４を切り換える。なお、本実施形態で使用している符号化方式は、インター符号化を行うためにフレームの並べ替え後に符号化を行うこととなる。ステップＳ２０４において、ｎフレーム目の入力画像が４Ｋ解像度でない場合、このフレームで入力画像の解像度が４Ｋ解像度から２Ｋ解像度に切り換わったことを意味する。そこで、ステップＳ２０４からステップＳ２０６に移行し、画像変換部３０７は、２Ｋ解像度画像から４Ｋ解像度画像を生成する処理を行い、ステップＳ２０７に移行する。

画像変換部３０７における４Ｋ解像度画像の生成処理について、図１、図４、図５を用いて説明する。図１において、画像変換部３０７は、２Ｋ解像度入力画像１０５から４Ｋ解像度画像１０７に変換する。画像変換された１枚の４Ｋ解像度画像１０７は、２Ｋ解像度画像１０５の４枚分に相当する。そのため、２Ｋ解像度画像１０５を４枚使用することで、１枚の４Ｋ解像度画像１０７が生成される。フレームの並べ替えを行った４Ｋ解像度画像１０８は、符号化対象画像（符号化対象ピクチャ）としてＰピクチャで符号化すると、符号化参照画像は１１０となる。また、４Ｋ解像度画像１０９は符号化対象画像としてＢピクチャで符号化すると、１０８及び１１０の両方を符号化参照画像とすることになる。

次に、４Ｋ解像度画像の生成と符号化方法について説明する。図４において、４０１から４０４は２Ｋ解像度画像、４０５は４Ｋ解像度画像であり、各画像の四角は画素を意味する。４Ｋ解像度画像４０５は、４枚の２Ｋ解像度画像４０１〜４０４を使って生成される。具体的には、４Ｋ解像度画像４０５は、２Ｋ解像度画像４０１〜４０４の各画像の画素を田の字に配置することで生成され。画素を田の字に配置することを下記に説明する。４０１から４０４の画像の解像度は２Ｋ解像度画像、４０５の画像の解像度は４Ｋ解像度画像であるため、画像４０５の解像度は画像４０１〜４０４の解像度の２×２倍となる。画像変換部３０７は、画像４０１〜４０４に対して、各画像の同一座標の画素を集めて、２×２の画素領域を構成し、２×２画素領域を座標毎に配置することで、画像４０５を生成する。

ここで、画像１０８を符号化する場合、符号化参照画像１１０は図５における５０１であり、符号化対象画像１０８は５０２となる。この場合、符号化対象画像５０２は符号化参照画像５０１と解像度は同じで画角が同じ画像となる。そのため、インター符号化時における動きベクトルが小さくなることと画角が同じことで差分が小さくなりやすいため、符号化効率が向上する。一方、画素を田の字に配置するのではなく、５０３のように各画像を田の字に配置することで生成した場合、解像度は符号化参照画像５０１と同じになるが画角が異なる画像となる。そのため、インター符号化時における動きベクトルが大きくなることと画角が違うため符号化効率が低下する。

そこで、本実施形態の画像変換部３０７は、入力部３０１に２Ｋ解像度画像１０５が入力されると、入力された２Ｋ解像度画像１０５を４Ｋ解像度画像１０３と解像度及び画角が同じである画像に変換する。具体的には、画像変換部３０７は、２Ｋ解像度画像１０５が４Ｋ解像度画像１０３に対して解像度が低くかつフレームレートが高い場合には、複数枚の２Ｋ解像度画像４０１を用いて４Ｋ解像度画像１０３と解像度及び画角が同じである１枚の画像４０５を生成する。

入力部３０１は、第１の解像度及び第１のフレームレートの第１の画像（４Ｋ解像度画像）から第２の解像度及び第２のフレームレートの第２の画像（２Ｋ解像度画像）に切り換わる画像を入力する。Ｍ及びＮがそれぞれ２以上の整数であり、第２の画像の解像度が第１の画像の解像度の１／（Ｍ×Ｎ）倍であり、第２の画像のフレームレートが第１の画像のフレームレートのＭ×Ｎ倍である。例えば、Ｍが２であり、Ｎが２である。この場合、画像変換部３０７は、Ｍ×Ｎ枚の第２の画像４０１〜４０４の各画像の同一座標の画素を集めてＭ×Ｎの画素領域を構成し、Ｍ×Ｎの画素領域を各座標に配置することにより、第１の画像と解像度及び画角が同じである１枚の画像４０５を生成する。

尚、符号化対象画像１０９はＢピクチャであるため、符号化参照画像は時間的に前方にある画像１１０と後方にある画像１０８を符号化参照画像とすることが可能であるが、画角が同じ画像１１０のみを符号化参照画像として符号化前に決定しても良い。

図２のステップＳ２０７において、符号化装置は、４枚の２Ｋ解像度画像が入力されることにより４Ｋ解像度画像が生成されたか否かをチェックする。４Ｋ解像度画像が生成された場合、ステップＳ２０５に移行する。ステップＳ２０５では、符号化部３０５は、４Ｋ解像度画像を符号化し、ステップＳ２０９へ移行する。画像変換部３０７は上記の様に、各２Ｋ解像度画像に対して画素を田の字に配置して４Ｋ解像度画像を生成するため、４枚の２Ｋ解像度画像が必要となる。画像変換部３０７は、４Ｋ解像度画像が生成されたかどうかの信号を生成し、その信号に基づきメモリ３０８及びスイッチ３０９を制御する。

ステップＳ２０７において、４Ｋ解像度画像が生成されていない場合、ステップＳ２０８に移行し、画像変換部３０７は現在の入力画像をメモリ３０８に蓄え、スイッチ３０９の出力を画像変換部３０７の入力と接続する。また、符号化装置は、フレームカウンタｎをインクリメントし、ステップＳ２０３に移行し、次の２Ｋ解像度画像を入力し、４Ｋ解像度画像の生成を行う処理を繰り返す。一方、ステップＳ２０７において、４Ｋ解像度画像が生成された場合、ステップＳ２０５に移行し、メモリ３０８には４Ｋ解像度画像が蓄えられているため、画像変換部３０７はスイッチ３０９の出力をスイッチ３０４の入力に切り換える。符号化部３０５は、４Ｋ解像度画像を符号化する。符号化部７０５は、４Ｋ解像度画像１０３から２Ｋ解像度画像１０５に入力部３０１の入力が切り換わると、以下の処理を行うことができる。すなわち、符号化部７０５は、画像変換部３０７により変換された画像１０８を符号化対象画像とし、その前に入力された４Ｋ解像度画像１１０を符号化参照画像としてフレーム間符号化を行うことができる。その後、ステップＳ２０９へ移行する。

ステップＳ２０９において、外部から記録終了の指示が与えられた場合は、ステップＳ２１０に移行して本処理を終了する。一方、記録終了の指示が与えられなければ、ステップＳ２０８に移行し、符号化装置は、フレームカウンタｎをインクリメントし、ステップＳ２０３に移行する。その後は上述した処理を繰り返すことになる。

また、この場合、外部から記録終了の指示が与えられたフレームが４Ｋ解像度画像の生成途中である場合、４Ｋ解像度画像が生成されず符号化が行われないので、画像の入力を待ってから実際の記録動作を停止する形態でも良い。若しくは、生成途中の４Ｋ解像度画像に対して符号化を行わない（つまり画像の破棄を行う）形態でも良い。また、第１の実施形態では、４Ｋ解像度画像から２Ｋ解像度画像へ解像度が変化する場合を例に挙げたが、解像度はこれに限ったものではない。

（第２の実施形態）
第１の実施形態では、解像度の高い画像（４Ｋ解像度画像）を符号化の基準とした例を示した。本発明の第２の実施形態では、解像度が低い画像を符号化の基準とした場合について、図６のフローチャートと図７の符号化装置のブロック図を用いて説明する。第２の実施形態は、２Ｋ解像度から４Ｋ解像度に切り換えながら動画像を符号化して記録する場合を例にとり、図７に基づいて説明する。この場合、符号化を行う解像度は２Ｋ解像度となる。第２の実施形態は、２Ｋ解像度から４Ｋ解像度に切り換えて画像を符号化して記録する場合を例にとり、図１から図４に基づいて説明する。なお、解像度が切り換わることにより必然的にフレームレートも変化することを前提とし、２Ｋ解像度画像のフレームレートを２４０ｆｐｓ（frame per sec）とすると、４Ｋ解像度画像のフレームレートは１／４倍の６０ｆｐｓとなる。そのため、符号化を行う解像度は２Ｋ解像度、フレームレートは２４０ｆｐｓとなる。また、本実施形態における符号化方式は、ＭＰＥＧやＨ．２６４を始めとしたイントラ符号化とインター符号化（画像を時間方向に並べ替ることを伴う）の両符号化を行う符号化方式である。

図７において、７０１は入力部、７０２はメモリ、７０３及び７０４はスイッチであり、７０６は解像度判別部である。入力部７０１は、第１の解像度（２Ｋ解像度）及び第１のフレームレート（２４０ｆｐｓ）の第１の画像から第２の解像度（４Ｋ解像度）及び第２のフレームレート（６０ｆｐｓ）の第２の画像に切り換わる画像を入力する。メモリ７０２は、入力部７００に入力された画像信号を記憶する。スイッチ７０３は、メモリ７０２の出力信号を画像変換部７０７又はスイッチ７０４に出力する。スイッチ７０４は、スイッチ７０３又はメモリ７０８の出力信号を符号化部７０５に出力する。解像度判別部７０６は、入力部７００に入力された画像信号から解像度を判別し、その結果に基づきスイッチ７０３及び７０４を制御する。７０７は画像変換部であり、メモリ７０２に保持されている画像から新たな解像度の画像を生成し、メモリ７０８に書き込む。本実施形態では、画像変換部７０７は、４Ｋ解像度画像から２Ｋ解像度画像を生成する。７０８はメモリであり、画像変換部７０７により生成された２Ｋ解像度画像を保持しておく。また、画像変換部７０７は、メモリ７０８を制御して、保持されている２Ｋ解像度画像の読み出しを切り換える。７０５は符号化部であり、スイッチ７０４で選択入力された画像を符号化する。具体的には、符号化部７０５は、入力部７０１に２Ｋ解像度画像が入力されると入力された２Ｋ解像度画像を符号化し、入力部７０１に４Ｋ解像度画像が入力されると画像変換部７０７により変換された画像を符号化する。この時、符号化部７０５は、２Ｋ解像度画像を符号化することになる。

次に、図６のフローチャートと図７のシステム図を用いて第２の実施形態における符号化・記録方法を説明する。なお、記録する動画像は、記録中に２Ｋ解像度画像から４Ｋ解像度画像に切り換わる場合を想定している。ステップＳ６００は本処理の開始を示す。ステップＳ６０１において、符号化装置は、外部から記録開始の指示が与えられると、画像を記録するための各種処理を行う。ステップＳ６０２において、符号化装置は、フレームカウンタｎをゼロに初期化する。次に、ステップＳ６０３において、入力部７０１はｎフレーム目の画像を入力し、メモリ７０２に保持させる。

次に、ステップＳ６０４において、解像度判別部７０６は、ｎフレーム目の入力画像信号（入力部７０１からの出力画像信号）に対して解像度の判別を行い、ｎフレーム目の入力画像が２Ｋ解像度であるかを判定する。ｎフレーム目の入力画像が２Ｋ解像度である場合、ステップＳ６０５へ移行する。ステップＳ６０５では、解像度判別部７０６は、メモリ７０２に保持されていた画像を読み出し、スイッチ７０３の出力がスイッチ７０４の入力となるようにスイッチ７０３を切り換える。また、解像度判別部７０６は、符号化部７０５の入力がスイッチ７０３の出力となるようにスイッチ７０４を切り換える。これにより、符号化部７０５は、ｎフレーム目の２Ｋ解像度画像の符号化を行うことになる。

ステップＳ６０４において、ｎフレーム目の入力画像が２Ｋ解像度でない場合は、ステップＳ６０６へ移行する。ステップＳ６０６では、解像度判別部７０６は、スイッチ７０３の出力が画像変換部７０７の入力となるようにスイッチ７０３を切り換え、メモリ７０８の出力がスイッチ７０４の出力となるようにスイッチ７０４を切り換える。なお、本実施形態で使用している符号化方式は、インター符号化を行うためにフレームの並べ替え後に符号化を行うこととなる。ステップＳ６０４において、ｎフレーム目の入力画像が２Ｋ解像度でない場合、このフレームで入力画像の解像度が２Ｋ解像度から４Ｋ解像度に切り換わったことを意味する。そこで、ステップＳ６０４からステップＳ６０６に移行し、画像変換部７０７は、４Ｋ解像度画像から２Ｋ解像度画像を生成する処理を行い、ステップＳ６０７に移行する。

画像変換部７０７における２Ｋ解像度画像の生成処理は、第１の実施形態における処理と逆の処理となる。図４において、４０１〜４０４は２Ｋ解像度画像、４０５は４Ｋ解像度画像であり、各画像の四角は画素を意味する。画像変換部７０７は、４枚の２Ｋ解像度画像４０１〜４０４の４枚を生成するのに１枚の４Ｋ解像度画像４０５を使う。具体的には、画像変換部７０７は、４Ｋ解像度画像４０５の各画素を田の字に配置することにより、４枚の２Ｋ解像度画像４０１〜４０４を生成する。画素の田の字に配置することを下記に説明する。画像４０５の解像度は４Ｋ解像度画像、画像４０１〜４０４の解像度は２Ｋ解像度画像であるため、画像４０１〜４０４の解像度は画像４０５の解像度の１／４倍となる。画像変換部７０７は、画像４０５内の２×２画素領域を構成する画素を、画像４０１〜４０４の同一座標に配置することにより、４枚の画像４０１〜４０４を生成する。

各２Ｋ解像度画像４０１〜４０４は、４Ｋ解像度画像４０５の画素を田の字に間引くことにより生成される。そのため、生成される２Ｋ解像度画像４０１〜４０４は、それより前に入力された２Ｋ解像度画像と解像度が同じで画角が同じ画像となる。そのため、インター符号化時における動きベクトルが小さくなることと画角が同じことで差分が小さくなりやすいため、符号化効率が向上する。一方、画素を田の字に間引くのではなく、各画像を４分割することで生成した場合、解像度は符号化参照画像と同じになるが画角が異なる画像となる。そのため、インター符号化時における動きベクトルが大きくなることと画角が違うため符号化効率が低下する。

そこで、本実施形態の画像変換部７０７は、入力部７０１に２Ｋ解像度画像が入力されると、入力された２Ｋ解像度画像を４Ｋ解像度画像と解像度及び画角が同じである画像に変換する。具体的には、画像変換部７０７は、４Ｋ解像度画像が２Ｋ解像度画像に対して解像度が高くかつフレームレートが低い場合には、１枚の４Ｋ解像度画像４０５を用いて２Ｋ解像度画像と解像度及び画角が同じである複数枚の画像４０１〜４０４を生成する。

入力部７０１は、第１の解像度及び第１のフレームレートの第１の画像（２Ｋ解像度画像）から第２の解像度及び第２のフレームレートの第２の画像（４Ｋ解像度画像）に切り換わる画像を入力する。Ｍ及びＮがそれぞれ２以上の整数であり、第２の画像の解像度が第１の画像の解像度のＭ×Ｎ倍であり、第２の画像のフレームレートが第１の画像のフレームレートの１／（Ｍ×Ｎ）倍である。例えば、Ｍが２であり、Ｎが２である。その場合、画像変換部７０７は、１枚の第１の画像４０５の各Ｍ×Ｎの画素領域を画素単位に分割してＭ×Ｎ枚の各画像の座標に配置することにより、第１の画像と解像度及び画角が同じであるＭ×Ｎ枚の画像４０１〜４０４を生成する。

図６のステップＳ６０７において、符号化部７０５は、２Ｋ解像度画像を符号化する。次に、ステップＳ６０８において、符号化装置は、４Ｋ解像度画像から生成された２Ｋ解像度画像の符号化が終了したかを判定し、終了していない場合、ステップＳ６０７に移行して引き続き２Ｋ解像度画像の符号化を行う。この際、符号化部７０５が入力する画像は、メモリ７０８の読み出しアドレスを制御することで実現する。ステップＳ６０８において、２Ｋ解像度画像の符号化が終了した場合、ステップＳ６０９に移行する。

ステップＳ６０９において、符号化装置は、外部から記録終了の指示が与えられた場合は、ステップＳ６１１に移行して本処理を終了する。一方、記録終了の指示が与えられなければ、ステップＳ６１０に移行し、符号化装置は、フレームカウンタｎをインクリメントし、ステップＳ６０３に移行する。その後は上述した処理を繰り返すことになる。

第２の実施形態では、２Ｋ解像度画像から４Ｋ解像度画像へ解像度が変化する場合を例にあげたが、解像度はこれに限ったものではない。第１及び第２の実施形態によれば、解像度やフレームレートが切り換わる前後で、連続したストリームが生成されるように効率的に符号化を行うことができる。

（第３の実施形態）
図８は、本発明の第３の実施形態によるデジタルビデオカメラ等の記録装置に搭載される符号化装置であって、記録フレームレートを切り換え可能な本実施形態の符号化装置の構成図である。図８を用いて記録フレームレートを切り換えた符号化装置の符号化処理について説明する。

まず、操作部８０５及びフレームレート切り換え部８０４について説明する。８０５は操作部であり、使用者のキー入力等の操作をフレームレート切り換え部８０４へと通知する。８０４はフレームレート切り換え部であり、記録中のフレームレート設定を、画像入力部８０１、画像信号処理部８０２及び符号化部８０３に対して通知する。

次に、符号化処理について説明する。８０１は画像入力部であり、撮像素子より画像を入力する。８０２は画像信号処理部であり、画像入力部８０１より入力された画像に対して、必要に応じて画像を処理する。８０３は符号化部であり、画像信号処理部８０２より入力された画像をＭＰＥＧやＨ．２６４等の圧縮符号化方法により符号化する。

図９は、通常フレームレート時の入力画像と符号化部８０３の動き予測の参照関係を示す図である。９０１は入力画像の間隔であり、この場合は例として３０Ｐフレーム間隔としている。９０２は入力画像の拡大図である。９０３は各ピクチャの動き予測の参照関係を矢印で示している。通常フレームレート時は、符号化部８０３は、画像入力部８０１より入力された画像を符号化しており、画像信号処理部８０２は特に処理を行っていない。

次に、高速フレームレート記録について説明する。操作部８０５より高速フレームレート設定の操作がなされると、フレームレート切り換え部８０４は画像入力部８０１、画像信号処理部８０２、符号化部８０３に対して、高速フレームレートの指示を通知する。

画像入力部８０１は、フレームレート切り換え部８０４より高速フレームレートの指示を受けると、撮像素子より入力する画像信号の画素数を縮小し、フレームレートを上げて画像信号を入力する。すなわち、画像入力部８０１は、フレームレート切り換え部８０４によりフレームレートの切り換えが指示されると、撮像素子から、第１のフレームレートの画像入力から第２のフレームレートの画像入力に切り換える。画像入力部８０１は、フレームレート切り換え部８０４により低いフレームレートから高いフレームレートへの切り換えが指示されると、第１のフレームレート及び第１の解像度の画像入力から第２のフレームレート及び第２の解像度の画像入力に切り換える。ここで、第２のフレームレートは第１のフレームレートより高く、第２の解像度は第１の解像度より低い。

画像信号処理部８０２は、フレームレート切り換え部８０４より高速フレームレートの指示を受けると、画素数を縮小した画像の上下左右に、縮小前の画像の解像度になるように任意の色情報を持つ画素領域を付加した第２の入力画像を符号化部８０３へと出力する。符号化部８０３は、フレームレート切り換え部８０４より高速フレームレートの指示を受けると、上記第２の入力画像を順に符号化する。

なお、付加される画素領域は、上記に限定されない。画像信号処理部８０２は、フレームレート切り換え部８０４によりフレームレートの切り換えが指示された後、第２の解像度の画像が第１の解像度になるように、第２の解像度の画像に特定の画素領域を付加する。符号化部８０３は、フレームレート切り換え部８０４によりフレームレートの切り換えが指示された後、画像信号処理部８０２により画素領域が付加された画像を符号化する。

図１０は、高速フレームレート時の入力画像と符号化部８０３の動き予測の参照関係を示す図である。１００１は入力画像の間隔であり、この場合は例として１２０Ｐフレーム間隔と、通常よりも高速フレームレートとしている。１００２は入力画像の拡大図である。１００３は各ピクチャの動き予測の参照関係を矢印で示している。図１０のように、高速フレームレート時は、図９の通常フレームレート時と比較して、入力画像の画素数、及びフレームレートが異なっている。図１０は、図９に対して、符号化部８０３の動き予測の参照関係については、Ｐピクチャ（片方向予測）、及びＢピクチャ（双方向予測）ともに同じである。

次に、フレームレート切り換え時の符号化処理について説明する。フレームレート切り換え部８０４は、操作部８０５よりフレームレートの切り換えが通知されると、画像の入力、及び符号化がＧＯＰの切れ目であるタイミングで、画像入力部８０１、及び符号化部８０３へと操作部８０５より通知されたフレームレートを指示する。ここで、ＧＯＰ（Group Of Picture）は、符号化の一つの単位であり、複数ピクチャの組み合わせのグループである。すなわち、フレームレート切り換え部８０４は、符号化のＧＯＰ単位でフレームレートの切り換えを指示する。

図１１は、符号化部８０３の処理を示すフローチャートである。図１１を用いて、フレームレート切り換え時の符号化部８０３の処理について説明する。ステップＳ１１０１では、符号化部８０３は、フレームレート切り換え部８０４からフレームレートの指示を入力する。次に、ステップＳ１１０２では、符号化部８０３は、フレームレート切り換え部８０４からのフレームレート変更の指示の有無に応じて分岐する。フレームレート変更の指示があればステップＳ１１０３へ、そうでなければステップＳ１１０４へと分岐する。ステップＳ１１０３では、符号化部８０３は、ＩＤＲ（Instantaneous Decoder Refresh）ピクチャとして画像を符号化する。ステップＳ１１０４では、符号化部８０３は、ＩＤＲフラグを０にし、非ＩＤＲピクチャとして通常通りに画像を符号化する。Ｐピクチャ及びＢピクチャは、ＩＤＲピクチャをまたいで符号化参照画像を指定することができないように定められている。

図１２は、画像入力部８０１より入力された画像と、符号化部８０３の動き予測の参照関係を示す図である。図１２を用いて、フレームレート切り換え時の符号化処理について説明する。１２０１は入力画像の間隔であり、例として３０Ｐと１２０Ｐフレーム間隔が途中で切り換わっている場合を示している。１２０２は入力画像の拡大図である。１２０３は各ピクチャの動き予測の参照関係を矢印で示している。１２０４はフレームレートの切り換えのタイミングであり、ＧＯＰ境界である。入力画像の画素数の切り換わりは、ＧＯＰ境界１２０４で行われている。

符号化部の動き予測の参照関係は、下記の通りである。Ｂ０’及びＢ１’ピクチャは、Ｉ２’ピクチャがＩＤＲピクチャであるため、前方予測が出来ず後方予測のみである。Ｂ３’及びＢ４’ピクチャは、Ｉ２’とＰ５’ピクチャの双方向予測が可能である。Ｐ５’ピクチャは、Ｉ２’ピクチャの片方向予測が可能である。

図１２の例では、通常フレームレートから高速フレームレートへの切り換えについて示したが、高速フレームレートから通常フレームレートへの切り換えについても同様である。

符号化部８０３は、フレームレート切り換え部８０４によりフレームレートの切り換えが指示されると、フレームレートの切り換え後の画像を符号化対象画像としてフレームレート切り換え前の画像を符号化参照画像としたフレーム間符号化を禁止する。この際、符号化部８０３は、フレームレートの切り換え後の画像のフレーム内符号化、又はフレームレートの切り換え後の画像を符号化対象画像としてフレームレート切り換え後の他の画像を符号化参照画像としたフレーム間符号化を行う。具体的には、符号化部８０３は、フレームレートの切り換え直後の画像をＩＤＲピクチャとして符号化することにより、フレームレートの切り換え後の画像を符号化対象画像としてフレームレート切り換え前の画像を符号化参照画像としたフレーム間符号化を禁止する。

以上のように、記録中にフレームレートを切り換える場合に、フレームレートの切り換えをＧＯＰ単位にすることで、入力画像の画素数をＧＯＰ単位に切り換える。また、フレームレート切り換え直後にＩＤＲピクチャとして画像を符号化することで、直前ＧＯＰへの参照を禁止し、画素数が異なる入力画像と符号化参照画像の符号化を発生させないことが出来る。そのため、入力画像と符号化参照画像の画素数が異なることに起因する画質の劣化を抑え、ユーザーに好適な画像を提供することが出来る。

（第４の実施形態）
本発明の第４の実施形態は、第３の実施形態の符号化部８０３の処理を変更し、第３の実施形態と同様の効果を図るものであり、その他のブロックについては同様の構成である。以下、本実施形態が第３の実施形態と異なる点を説明する。図１３は、第４の実施形態の符号化部８０３の処理を示すフローチャートである。図１３を用いて、フレームレート切り換え時の符号化部８０３の処理について説明する。ステップＳ１３０１では、符号化部８０３は、フレームレート切り換え部８０４からフレームレートの指示を入力する。次に、ステップＳ１３０２では、符号化部８０３は、フレームレート切り換え部８０４からのフレームレート変更の指示の有無に応じて分岐する。フレームレート変更の指示があればステップＳ１３０３へ、そうでなければステップＳ１３０４へと分岐する。ステップＳ１３０３では、符号化部８０３は、ClosedGOPフラグを１にして画像を符号化し、直前ＧＯＰへの参照を禁止する。ステップＳ１３０４では、符号化部８０３は、ClosedGOPフラグを０にして画像を符号化し、直前ＧＯＰへの参照を許可する。

符号化部８０３は、フレームレート切り換え部８０４によりフレームレートの切り換えが指示されると、フレームレートの切り換え後の画像を符号化対象画像としてフレームレート切り換え前の画像を符号化参照画像としたフレーム間符号化を禁止する。この際、符号化部８０３は、フレームレートの切り換え後の画像のフレーム内符号化、又はフレームレートの切り換え後の画像を符号化対象画像としてフレームレート切り換え後の他の画像を符号化参照画像としたフレーム間符号化を行う。符号化部８０３は、ClosedGOPフラグを１にしてフレームレートの切り換え直後の画像を符号化することによりフレームレートの切り換え後の画像を符号化対象画像としてフレームレート切り換え前の画像を符号化参照画像としたフレーム間符号化を禁止する。

以上のように、フレームレートの切り換え時において、直前ＧＯＰへの参照を禁止し、画素数が異なる入力画像と符号化参照画像の符号化を発生させないことが出来る。そのため、入力画像と符号化参照画像の画素数が異なることに起因する画質の劣化を抑え、ユーザーに好適な画像を提供することが出来る。

第３及び第４の実施形態によれば、フレームレートの切り換わり時に、その切り換えタイミングと符号化の制御を適切に行う事で、画質の劣化を防ぎ、効率よく符号化を行うことができる。

なお、第１〜第４の実施形態は、複数の機器（例えばホストコンピュータ、カメラ、インターフェース機器、液晶パネル等）から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

３０１入力部、３０２メモリ、３０３，３０４スイッチ、３０５符号化部、３０６解像度判定部、３０７画像変換部、３０８メモリ、３０９スイッチ

Claims

第１の解像度及び第１のフレームレートの第１の画像から第２の解像度及び第２のフレームレートの第２の画像に切り換わる画像を入力する入力部と、
前記入力部に前記第２の画像が入力されると、前記入力された第２の画像を前記第１の画像と解像度及び画角が同じである画像に変換する画像変換部と、
前記入力部に前記第１の画像が入力されると前記入力された第１の画像を符号化し、前記入力部に前記第２の画像が入力されると前記画像変換部により変換された画像を符号化する符号化部とを有し、
前記符号化部は、前記第１の画像から前記第２の画像に前記入力部の入力が切り換わると、前記画像変換部により変換された画像を符号化対象画像とし、その前に入力された前記第１の画像を符号化参照画像としてフレーム間符号化を行うことを特徴とする符号化装置。
前記画像変換部は、前記第２の画像が前記第１の画像に対して解像度が低くかつフレームレートが高い場合には、複数枚の前記第２の画像を用いて前記第１の画像と解像度及び画角が同じである１枚の画像を生成することを特徴とする請求項１記載の符号化装置。
Ｍ及びＮがそれぞれ２以上の整数であり、前記第２の画像の解像度が前記第１の画像の解像度の１／（Ｍ×Ｎ）倍であり、前記第２の画像のフレームレートが前記第１の画像のフレームレートのＭ×Ｎ倍である場合、前記画像変換部は、Ｍ×Ｎ枚の前記第２の画像の各画像の同一座標の画素を集めてＭ×Ｎの画素領域を構成し、前記Ｍ×Ｎの画素領域を各座標に配置することにより、前記第１の画像と解像度及び画角が同じである１枚の画像を生成することを特徴とする請求項１又は２記載の符号化装置。
前記画像変換部は、前記第２の画像が前記第１の画像に対して解像度が高くかつフレームレートが低い場合には、１枚の前記第２の画像を用いて前記第１の画像と解像度及び画角が同じである複数枚の画像を生成することを特徴とする請求項１記載の符号化装置。
Ｍ及びＮがそれぞれ２以上の整数であり、前記第２の画像の解像度が前記第１の画像の解像度のＭ×Ｎ倍であり、前記第２の画像のフレームレートが前記第１の画像のフレームレートの１／（Ｍ×Ｎ）倍である場合、前記画像変換部は、１枚の前記第１の画像の各Ｍ×Ｎの画素領域を画素単位に分割してＭ×Ｎ枚の各画像の座標に配置することにより、前記第１の画像と解像度及び画角が同じであるＭ×Ｎ枚の画像を生成することを特徴とする請求項１又は４記載の符号化装置。
画像を入力する入力部と、
前記入力部に入力された画像の符号化を行う符号化部と、
符号化のＧＯＰ単位でフレームレートの切り換えを指示するフレームレート切り換え部とを有し、
前記入力部は、前記フレームレート切り換え部によりフレームレートの切り換えが指示されると、第１のフレームレートの画像入力から第２のフレームレートの画像入力に切り換え、
前記符号化部は、前記フレームレート切り換え部によりフレームレートの切り換えが指示されると、前記フレームレートの切り換え後の画像を符号化対象画像として前記フレームレート切り換え前の画像を符号化参照画像としたフレーム間符号化を禁止し、前記フレームレートの切り換え後の画像のフレーム内符号化、又は前記フレームレートの切り換え後の画像を符号化対象画像として前記フレームレート切り換え後の他の画像を符号化参照画像としたフレーム間符号化を行うことを特徴とする符号化装置。
前記符号化部は、前記フレームレート切り換え部によりフレームレートの切り換えが指示されると、前記フレームレートの切り換え直後の画像をＩＤＲピクチャとして符号化することにより、前記フレームレートの切り換え後の画像を符号化対象画像として前記フレームレート切り換え前の画像を符号化参照画像としたフレーム間符号化を禁止することを特徴とする請求項６記載の符号化装置。
前記符号化部は、前記フレームレート切り換え部によりフレームレートの切り換えが指示されると、ClosedGOPフラグを１にして前記フレームレートの切り換え直後の画像を符号化することにより、前記フレームレートの切り換え後の画像を符号化対象画像として前記フレームレート切り換え前の画像を符号化参照画像としたフレーム間符号化を禁止することを特徴とする請求項６記載の符号化装置。
前記入力部は、前記フレームレート切り換え部により低いフレームレートから高いフレームレートへの切り換えが指示されると、前記第１のフレームレート及び第１の解像度の画像入力から前記第２のフレームレート及び第２の解像度の画像入力に切り換え、
前記第２のフレームレートは前記第１のフレームレートより高く、
前記第２の解像度は前記第１の解像度より低く、
さらに、前記フレームレート切り換え部によりフレームレートの切り換えが指示された後、前記第２の解像度の画像が前記第１の解像度になるように、前記第２の解像度の画像に特定の画素領域を付加する画像信号処理部を有し、
前記符号化部は、前記フレームレート切り換え部によりフレームレートの切り換えが指示された後、前記画像信号処理部により前記画素領域が付加された画像を符号化することを特徴とする請求項６〜８のいずれか１項に記載の符号化装置。