JP6478621B2

JP6478621B2 - 画像処理装置

Info

Publication number: JP6478621B2
Application number: JP2014258251A
Authority: JP
Inventors: 伊藤　靖; 靖伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-12-22
Filing date: 2014-12-22
Publication date: 2019-03-06
Anticipated expiration: 2034-12-22
Also published as: JP2016118660A

Description

本発明は、画像処理装置に関する。

従来、デジタルテレビやビデオカメラ等、１画面の有効画素数が水平１９２０画素×垂直１０８０画素の画像（以下、「２Ｋ画像」という。）からなる動画像信号（以下、「２Ｋ画像信号」という。）を処理する装置が知られている。近年では、更に画素数が多くなり、１画面が水平３８４０画素×垂直２１６０画素の画像（以下、「４Ｋ画像」という。）からなる動画像信号（以下、「４Ｋ画像信号」という。）を表示できる表示装置も登場している。

特許文献１には、４Ｋ画像信号を出力する装置が記載されている。

特開２００８−１９１５８６号公報

４Ｋ画像は２Ｋ画像に比べ、４倍の画素数を持つ。そのため、４Ｋ画像を表示装置に出力するための画像処理装置においては、メモリのサイズ、バス幅など、様々な回路が４Ｋ画像信号に対応した設計が必要である。つまり、従来の２Ｋ画像を処理する装置ではそのまま４Ｋ画像を扱うことができず、再度、装置を設計する必要がある。この課題は、４Ｋ画像を処理する装置により、８Ｋ画像を出力する場合も同様である。

本発明は、このような問題を解決する構成の画像処理装置を提示することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、入力画像データを水平方向に２つに分割して得られる２つの画像データのうち第１画像データを記憶する第１記憶手段と、前記２つの画像データのうち前記第１画像データと異なる第２画像データを記憶する第２記憶手段と、前記第１記憶手段及び前記第２記憶手段から前記第１画像データの水平ラインと前記第２画像データの水平ラインを交互に読み出し、読み出した水平ラインを垂直方向に合成した合成画像データを生成する合成手段と、前記合成画像データを前記入力画像データの形式の出力画像データに変換する変換手段であって、前記合成画像データのうち、前記入力画像データにおいて同じ水平ラインに対応する複数の水平ラインが前記出力画像データの１つの水平ラインに変換されるように前記合成画像データを変換する変換手段と、を備えることを特徴とする。

本発明によれば、例えば、２Ｋ画像を扱う回路を使って４Ｋ画像を出力するというように、画素数の多い画像を処理する回路構成をより迅速に実現し提供することができるようになる。

本発明の実施例１の概略構成ブロック図である。実施例１の映像信号伝送装置ブロック図である。実施例１における画像分割記憶と合成の説明図である。合成画像のフォーマットの説明図である。出力画像のフォーマットの説明図である。実施例１における水平ライン復元のタイミング図である。本発明の実施例２の概略構成ブロック図である。実施例２における画像分割記憶と合成の説明図である。実施例２における水平ライン復元のタイミング図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図を示す。図１に示す画像処理装置１００は、画像信号生成装置１０２、出力装置１０４、制御装置１０６及びクロック発生装置１０８からなる。画像処理装置１００は、例えば、ビデオカメラ、または、ＤＶＤ（登録商標）及びＢＤ（登録商標）などの光ディスクから上述の動画像を再生する再生装置に実装される。

画像信号生成装置１０２は、制御装置１０６の制御下で、４Ｋ画像の３０フレーム／秒（ｆｐｓ）の動画像信号と、２Ｋ画像の３０フレーム／秒（ｆｐｓ）の動画像信号を選択的に出力する。出力装置１０４は、画像信号生成装置１０２からの動画像をＨＤＭＩ（登録商標）に対応するデジタル映像信号形式に変換して出力する。制御装置１０６は、ＨＤＭＩ出力として４Ｋ画像出力モードと２Ｋ画像出力モードを選択可能である。制御装置１０６は、画像信号生成装置１０２と出力装置１０４が２Ｋ画像出力／４Ｋ画像出力のために協調して動作するように、画像信号生成装置１０２と出力装置１０４を制御する。

クロック発生装置１０８は、ＳＭＰＴＥで規定されている４Ｋ画像信号（フレームレート３０Ｈｚ）のクロック（２９７ＭＨｚ）を、画像信号生成装置１０２、出力装置１０４及び制御装置１０６に供給する。画像信号生成装置１０２、出力装置１０４及び制御装置１０６は、クロック発生装置１０８からのクロックに従い同期動作する。

出力装置１０４は、画像信号生成装置１０２からの入力画像をＨＤＭＩ形式のデジタル映像信号として出力する。出力装置１０４は、画像信号生成装置１０２からの動画像信号の各画像データを一時記憶するＤＲＡＭ１１０，１１２を具備する。ＤＲＡＭ１１０，１１２はそれぞれ、水平１９２０画素×垂直２１６０画素の２画面分の画像データ、すなわち、２Ｋ画像の水平画素数で４Ｋ画像の水平ライン数に等しい水平ライン数の画像データを記憶できる。詳細は後述するが、制御装置１０６による制御の下で、画像信号生成装置１０２からの１画面の４Ｋ画像信号は、１ラインの左半分が一方のＤＲＡＭ１１０に、残る右半分が他方のＤＲＡＭ１１２にそれぞれ一時記憶される。また、画像信号生成装置１０２からの１画面の２Ｋ画像信号は、一方のＤＲＡＭ１１０に一時記憶される。

画像合成部１１４は、４Ｋ画像出力モードでは、ＤＲＡＭ１１０、１１２に一時記憶される画像データをその水平ラインのライン順次で合成または多重し、得られた合成画像信号を２Ｋ出力部１１６に出力する。２Ｋ画像出力モードでは、ＤＲＡＭ１１０，１１２に一時記憶される画像データをその水平ラインを単位にライン順次で読み出し、２Ｋ出力部１１６に出力する。

同期生成部１１８は、２Ｋ出力部１１６に入力する画像信号の水平ラインと画面の構成を規定するタイミングデータ（ＴＲＳ：Timing Reference Signal）を２Ｋ出力部１１６に供給する。そのようなタイミングデータには、水平ラインの始端を示すＳＡＶ（Start of Active Video）及び水平ラインの終端を示すＥＡＶ（End of Active Video）がある。２Ｋ出力部１１６は、画像合成部１１４からの画像信号に同期生成部１１８からのタイミングデータを合成すると共に所定の垂直ブランクコードを追加して、所定形式のデジタル映像信号を生成する。詳細は後述するが、２Ｋ出力部１１６が出力するデジタル映像信号の画像領域の水平画素数は、２Ｋ画像出力モードと４Ｋ画像出力モードのいずれの場合も、２Ｋ画像の水平画素数（１９０２画素）に一致する。２Ｋ出力部１１６は、生成したデジタル映像信号を変換部１２０に供給する。

変換部１２０は、２Ｋ画像出力モードでは、２Ｋ出力部１１６からの映像信号をスルー出力し、４Ｋ画像出力モードでは、２Ｋ出力部１１６からの映像信号を４Ｋ画像構成に再構成し、同期生成部１１８からのタイミングデータを合成して、出力する。

図２ないし図５を参照して、４Ｋ画像出力モードでの本実施例の動作を説明する。

４Ｋ画像出力モードでは、画像信号生成装置１０２は、図２（ａ）に示すように、水平３８４０画素、垂直２１６０画素の４Ｋ画像信号を出力する。出力装置１０４は、制御装置１０６による制御の下で、画像信号生成装置１０２からの１画面の４Ｋ画像信号の１水平ラインの左半分を一方のＤＲＡＭ１１０に、残る右半分をＤＲＡＭ１１２にそれぞれ一時記憶する。図２（ｂ）は、ＤＲＡＭ１１０，１１２に一時記憶される画像データ配置を示す。Ｌｎはｎ番目の水平ラインの左半分のライン画像データを示し、Ｒｎは、残る右半分のライン画像データを示す。一般的には、ＤＲＡＭ１１０、１１２は、出力装置１０４への入力画像の水平画素数の半分以下の水平画素数で、入力画像の互いに異なる水平ライン部分を記憶する記憶手段である。

４Ｋ画像２００において、１フレームの左上の画素（の座標）を（０，０）、右下の画素を（３８３９，２１５９）とする。この画像２００に対し、（０、ｎ）〜（１９１９，ｎ）と（１９２０，ｎ）〜（３８３９、ｎ）というように、水平方向を３８４０／２＝１９２０を中心に左右同じ画素数で分割し、それぞれをＤＲＡＭ１１０、１１２に格納する。これにより、ＤＲＡＭ１１０には、４Ｋ画像２００の左半分に相当する水平１９２０画素、垂直２１６０画素の画像２０２が格納される。また、ＤＲＡＭ１１２には、４Ｋ画像２００の右半分に相当する水平１９２０画素、垂直２１６０画素の画像２０４が格納される。

画像合成部１１４は、ＤＲＡＭ１１０，１１２に一時記憶される画像２０２、２０４をその水平ライン単位で交互に読み出し、ライン順次で合成または多重する。図２（ｃ）に示すように、画像２０２のラインＬ０〜Ｌｎ及び画像２０４のラインＲ０〜Ｒｎを交互にＬ０，Ｒ０，Ｌ１，Ｒ１，Ｌ２，Ｒ２，・・・，Ｌｎ，Ｒｎというように配置する。この合成で得られる合成画像２０６は、図２（ｃ）に示すように、水平１９２０画素、垂直４３２０画素の構成からなり、データ量としては２Ｋ画像の４画面分に相当する。画像合成部１１４は、この合成で得られた合成画像信号を２Ｋ出力部１１６に出力する。

同期生成部１１８は、図３に示すような、水平１９２０画素、垂直４３２０画素の水平垂直同期を規定するタイミングデータを２Ｋ出力部１１６に供給する。図３では、理解を容易にするため、アナログ映像信号における水平同期信号Ｈｓｙｎｃと垂直同期信号Ｖｓｙｎｃを付記してある。

２Ｋ出力部１１６は、画像合成部１１４からの図２（ｃ）に示す構成の画像信号を、図３に示す画像構成の有効領域に配置し、同期生成部１１８からのタイミングデータを図３に示す位置に配置する。２Ｋ出力部１１６は、水平ブランク及び垂直ブランクを示すコードも、図３に示す位置に配置する。

２Ｋ出力部１１６が出力する画像信号の１フレームは、図３に示すように、有効領域３００、Ｖ（垂直）ブランク３０２，３０４、及びＨ（水平）ブランク３０６からなる。Ｈブランク３０６には、水平ラインの始端を示すＳＡＶ（ＳｔａｒｔｏｆＡｃｔｉｖｅＶｉｄｅｏ）３０８と、終端を示すＥＡＶ（ＥｎｄｏｆＡｃｔｉｖｅＶｉｄｅｏ）３１０が配置される。理解を容易にするために、アナログ映像信号の水平同期信号（Ｈｓｙｎｃ）３１２と垂直同期信号（Ｖｓｙｎｃ）３１４を付記してある。

水平同期信号（Ｈｓｙｎｃ）３１２は、２Ｋ画像の水平画素数（１９２０画素）に対応しており、ＳＭＰＴＥで規定されている２Ｋ画像のデジタル映像信号形式に準拠している。すなわち、１９２０画素幅の有効領域３００に対して、Ｈブランク３０６を２８０画素相当としている。

垂直方向については、４Ｋ画像の２倍である４３２０ラインとなっている。そこで、有効領域３００の４３２０ラインの上側には、４Ｋ画像の規格値である４１ラインの２倍となる８２ライン相当のＶブランク３０２を配置する。同様に、有効領域３００の下側には、４Ｋ画像の規格値である４ラインの２倍となる８ライン相当のＶブランク３０４を配置する。４３２０＋９０＝４４１０ラインで１フレームが完結する。

２Ｋ出力部１１６は、図３に示すように各データ及びコードを配置して生成したデジタル映像信号を変換部１２０に出力する。水平方向のサイズで見ると、２Ｋ画像と同じであるので、画像合成部１１４と２Ｋ出力部１１６については、２Ｋ画像を処理するための同様の目的の回路構成を垂直方向に拡張するだけで済むことが分かる。

変換部１２０は、２Ｋ出力部１１６からのデジタル映像信号（図３）を、図４に示す４Ｋ画像のデジタル映像信号形式に変換し、同期生成部１１８からの４Ｋ画像の水平垂直同期のタイミング信号を合成または多重して、出力する。

変換部１２０が出力する４Ｋ画像のデジタル映像信号の１フレームは、図４に示すように、有効領域４００、Ｖブランク４０２，４０４、及びＨブランク４０６からなる。Ｈブランク４０６には、水平ラインの始端を示すＳＡＶ４０８と、終端を示すＥＡＶ４１０が配置される。有効領域４００に画像２０６の画像データが再配置されて収容される。有効領域４００に先行するＶブランク４０２の幅は４１ライン相当で、後行するＶブランク４０４の幅は４ライン相当である。Ｈブランク４０６の幅は５６０画素相当である。理解を容易にするために、アナログ映像信号の水平同期信号（Ｈｓｙｎｃ）４１２と垂直同期信号（Ｖｓｙｎｃ）４１４を付記してある。有効領域４００に画像データが配置される。

変換部１２０は、４Ｋ画像の各水平ラインを復元するために、図３に示す画像構成（または画像２０６）でライン順次になっているライン画像データＬｎ、Ｒｎを、図５に示すように１水平ラインに再配置する。図５（ａ）は、図３に示す画像構成からの読み出し順序例を示し、図５（ｂ）は、読み出したライン画像データＬｎ、Ｒｎを再配置した後のライン画像データ構成を示す。すなわち、ライン画像データＬｎを時間的に先に配置し、これに続けてライン画像データＲｎを配置して１水平ラインとする。

２Ｋ画像出力モードでの本実施例の動作を説明する。２Ｋ画像出力モードでは、画像信号生成装置１０２は、制御装置１０６からの指示に従い、水平１９２０画素、垂直１０８０画素の２Ｋ画像信号を出力する。出力装置１０４は、制御装置１０６による制御の下で、画像信号生成装置１０２からの１画面の２Ｋ画像信号をＤＲＡＭ１１０（またはＤＲＡＭ１１２）に一時記憶する。

画像合成部１１４は、ＤＲＡＭ１１０から２Ｋ画像信号を読み出し、そのまま２Ｋ出力部１１６に供給する。２Ｋ出力部１１６は、画像合成部１１４からの２Ｋ画像信号の各フレームに対し、図３と同様の構成で水平垂直同期のタイミングデータを合成または多重する。ただし、２Ｋ画像のライン数が１０８０本なので、これに応じてＶブランクの幅は調整される。２Ｋ出力部１１６はこのようにタイミングデータを付加した２Ｋ画像のデジタル映像信号を変換部１２０に供給する。変換部１２０は、２Ｋ出力部１１６からの２Ｋ画像のデジタル映像信号をそのまま外部に出力する。

２Ｋ画像出力モード時には、画像合成部１１４及び変換部１２０はそれぞれの入力データをスルー出力するのみである。従って、画像合成部１１４及び変換部１２０のそれぞれに対して２Ｋ画像出力モード時に迂回する迂回路を設けても良いことは明らかである。

本実施例では、２Ｋ画像の水平画素数になるように４Ｋ画像の各画面を水平方向に２分割してＤＲＡＭ１１０、１１２に一時格納するので、２Ｋ画像用の回路構成をわずかな修整で４Ｋ画像出力に対応させることができる。

図６は、本発明の実施例２の概略構成ブロック図を示す。図１と同じ構成要素には同じ符号を付してある。

図６に示す画像処理装置６００の４Ｋ画像出力モードでの動作を、図７及び図８を参照して説明する。図７は、出力装置６０４のＤＲＡＭ６１０、６１２及び画像合成部６１４での画像データの扱いを説明する模式図であり、図２に対応する。図８は、変換部６２０における変換動作を説明する模式図である。

４Ｋ画像出力モードでは、画像信号生成装置１０２は、図７（ａ）に示すように、水平３８４０画素、垂直２１６０画素の４Ｋ画像信号（画像７００）を出力する。出力装置６０４は、制御装置１０６による制御の下で、画像信号生成装置１０２からの１画面の４Ｋ画像信号の１ラインの左半分（画像７０２）を一方のＤＲＡＭ６１０に、残る右半分（画像７０４）をＤＲＡＭ６１２にそれぞれ一時記憶する。図７（ｂ）は、ＤＲＡＭ６１０，６１２に一時記憶される画像データ配置を示す。

本実施例２では、実施例１とは異なり、原画像７００の左半分をさらに２等分し、右半分もさらに２等分する。これにより、ＤＲＡＭ６１０，６１２へのアクセスを９６０画素単位とすることができる。図７では、水平ライン番号をｎとしたとき、ＤＲＡＭ６１０の画像７０２の左半分をＬに（２ｎ）を付加した記号で表記し、右半分をＬに（２ｎ＋１）を付加した記号で表記する。例えば、Ｌ２は、（０、１）〜（９５９、１）の画像部分を示し、Ｌ３は（９６０、１）〜（１９１９、１）の画像部分を示す。同様に、ＤＲＡＭ６１２の画像７０４の左半分をＲに（２ｎ）を付加した記号で表記し、右半分をＲに（２ｎ＋１）を付加した記号で表記する。例えば、Ｒ２は、（１９２０、１）〜（２８７９、１）の画像部分を示し、Ｒ３は（２８８０、１）〜（３８３９、１）の画像部分を示す。

画像合成部６１４は、ＤＲＡＭ６１０，６１２に一時記憶される画像７０２、７０４をラインの半分単位、すなわち９６０画素単位で交互に読み出し、１９２０画素単位のラインとして合成または多重する。図７（ｃ）は、画像合成部６１４による合成結果の画像７０６を示す。図７（ｃ）に示すように、画像７０２の左半画像Ｌ０と画像７０４の左半画像Ｒ０をそれぞれＤＲＡＭ６１０，６１２から読み出して１ラインに配置する。次に、画像７０２の右半画像Ｌ１と画像７０４の右半画像Ｒ１をそれぞれＤＲＡＭ６１０，６１２から読み出して１ラインに配置する。以下、この合成を繰り返す。この合成で得られる合成画像７０６は、図７（ｃ）に示すように、水平１９２０画素、垂直４３２０画素の構成からなり、データ量としては２Ｋ画像の４画面分に相当する。画像合成部６１４は、この合成で得られた合成画像信号を２Ｋ出力部６１６に出力する。

２Ｋ出力部６１６及び同期生成部６１８はそれぞれ、２Ｋ出力部１１６及び同期生成部１１８と同様に動作する。すなわち、２Ｋ出力部６１６は、画像合成部６１４からの画像信号に同期生成部６１８からの実施例１と同様のタイミングデータを付加し、ＳＭＰＴＥ規格に準拠する形式のデジタル映像信号を出力する。

変換部６２０は、２Ｋ出力部６１６からのデジタル映像信号の有効領域を抜き出し、バッファ６２２を使って４Ｋ画像を復元する。具体的に説明すると、変換部６２０は、２Ｋ出力部６１６からの画像信号の２水平ライン分を、図８に示すシーケンスで１水平ラインに再構成する。例えば、図７（ｃ）に示す画像７０６の最初の水平ラインに含まれるライン画像データＬ０，Ｒ０と２本目の水平ラインに含まれるライン画像データＬ１，Ｒ１を、図８に示すように、Ｌ０，Ｌ１，Ｒ０，Ｒ１の順に再配置して１本の水平ラインとする。以下、同様に、変換部６２０は、２Ｋ出力部６１６からの画像信号の２ラインを合成して４Ｋ画像の１ラインに変換する。

変換部６２０は、このように再構成された４Ｋ画像信号に対して、実施例１と同様に、同期生成部６１８からの水平垂直同期のタイミングデータを重畳する。変換部６２０は、このようにして生成されたデジタル映像信号をＳＭＰＴＥ規格準拠形式で出力する。

このように、４Ｋ画像を水平方向に２分割して２個のＤＲＡＭに書き込み、各ＤＲＡＭからのデータ読出し時には半分を単位に読出しを交互に行うことで、各ＤＲＡＭの１回あたりアクセス占有時間を短くできる。これにより、画像信号生成装置１０２における複数の処理ブロックからのアクセスを許容し易くなる。

Claims

入力画像データを水平方向に２つに分割して得られる２つの画像データのうち第１画像データを記憶する第１記憶手段と、
前記２つの画像データのうち前記第１画像データと異なる第２画像データを記憶する第２記憶手段と、
前記第１記憶手段及び前記第２記憶手段から前記第１画像データの水平ラインと前記第２画像データの水平ラインを交互に読み出し、読み出した水平ラインを垂直方向に合成した合成画像データを生成する合成手段と、
前記合成画像データを前記入力画像データの形式の出力画像データに変換する変換手段であって、前記合成画像データのうち、前記入力画像データにおいて同じ水平ラインに対応する複数の水平ラインが前記出力画像データの１つの水平ラインに変換されるように前記合成画像データを変換する変換手段と、
を備えることを特徴とする画像処理装置。
入力画像データを水平方向に２つに分割して得られる２つの画像データのうち第１画像データを記憶する第１記憶手段と、
前記２つの画像データのうち前記第１画像データと異なる第２画像データを記憶する第２記憶手段と、
前記第１記憶手段及び前記第２記憶手段から前記第１画像データの水平ラインの半分と前記第２画像データの水平ラインの半分を交互に読み出し、読み出した前記第１画像データ及び前記第２画像データの水平ラインの半分を水平方向に合成した複数の合成水平ラインを、垂直方向に合成した合成画像データを生成する合成手段と、
前記合成画像データを前記入力画像データの形式の出力画像データに変換する変換手段であって、前記合成画像データのうち、前記入力画像データにおいて同じ水平ラインに対応する複数の前記合成水平ラインが前記出力画像データの１つの水平ラインに変換されるように前記合成画像データを変換する変換手段と、
を備えることを特徴とする画像処理装置。
前記第１画像データの水平画素数、前記第２画像データの水平画素数、および前記合成画像データの水平画素数は、前記入力画像データの水平画素数の半分の画素数であることを特徴とする請求項１または２に記載の画像処理装置。
前記合成手段は、前記合成画像データに第１の同期信号を付加して出力し、
前記変換手段は、前記出力画像データに第２の同期信号を付加して出力することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記入力画像データは、４Ｋ画像データであり、
前記合成手段は、２Ｋ画像データに対応した前記第１の同期信号を前記合成画像データに付加して出力し、
前記変換手段は、前記出力画像データに前記４Ｋ画像データに対応した前記第２の同期
信号を付加して出力する
ことを特徴とする請求項４に記載の画像処理装置。
前記入力画像データおよび前記出力画像データは、デジタル映像信号形式のデータであ
ることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。