以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の記録装置は、コンテンツの画像を縮小して、記録媒体(例えば、図3の記録媒体22)に記録する記録装置(例えば、図3の録画装置21)において、前記コンテンツの画像信号から、前記コンテンツの画像を生成する画像生成手段(例えば、図3のキャプチャ部32)と、前記画像生成手段により生成された前記コンテンツの画像に黒帯があるか否かを判定する黒帯判定手段(例えば、図3の黒帯判定部41)と、前記黒帯判定手段により前記コンテンツの画像に黒帯があると判定された場合、前記コンテンツの画像から、所定の黒帯領域を除去し、前記所定の黒帯領域が除去された前記コンテンツの画像を縮小し、前記黒帯判定手段により前記コンテンツの画像に前記黒帯がないと判定された場合、前記コンテンツの画像をそのまま縮小する縮小処理手段(例えば、図3の縮小変換部43)と、前記縮小処理手段により縮小された前記コンテンツの画像を符号化して、ファイルとして出力する符号化手段(例えば、図3のエンコーダ33)とを備える。
前記黒帯判定手段により前記コンテンツの画像に黒帯があると判定された場合、黒帯がある画像が第1のフレーム数続くか否かを判定する継続判定手段(例えば、図3の縮小処理制御部42)をさらに備え、前記縮小処理手段は、前記継続判定手段により黒帯がある画像が前記第1のフレーム数続くと判定された場合、前記コンテンツの画像から、前記所定の黒帯領域を除去し、前記所定の黒帯領域が除去された前記コンテンツの画像を縮小することができる。
本発明の一側面の記録方法またはプログラムは、コンテンツの画像を縮小して、記録媒体(例えば、図3の記録媒体22)に記録する記録装置(例えば、図3の録画装置21)の記録方法またはプログラムにおいて、コンテンツの画像を縮小して、記録媒体に記録する記録装置の記録方法において、前記コンテンツの画像信号から、前記コンテンツの画像を生成し(例えば、図4のステップS11)、生成された前記コンテンツの画像に黒帯があるか否かを判定し、前記コンテンツの画像に黒帯があると判定された場合、前記コンテンツの画像から、所定の黒帯領域を除去し、前記所定の黒帯領域が除去された前記コンテンツの画像を縮小し(例えば、図4のステップS15)、前記コンテンツの画像に前記黒帯がないと判定された場合、前記コンテンツの画像をそのまま縮小し(例えば、図4のステップS14)、縮小された前記コンテンツの画像を符号化して、ファイルとして出力する(例えば、図4のステップS16およびS17)ステップを含む。
以下、図を参照して本発明の実施の形態について説明する。
図3は、本発明の一実施の形態である録画装置の構成例を示すブロック図である。この録画装置21は、例えば、放送局から受信された放送コンテンツの画像を、携帯機器向けに縮小(画素数を減ら)して、符号化し、ビデオファイルとして、録画装置21に装着される記録媒体22に記録するものである。
なお、以下、画面の上下部(すなわち、垂直方向の両端)に黒帯が付加されている、水平方向(横)×垂直方向(縦)のサイズが、720×480画素で構成され、アスペクト比が4:3の480I(インターレース)信号の元画像を、携帯機器用にQVGA(320×240画素)に縮小し、ビデオファイルとして記録する場合を例として説明する。
録画装置21は、主に、チューナ部31、キャプチャ部32、エンコーダ33、記録制御部34、およびマイクロコンピュータ35により構成される。
チューナ部31は、図示せぬアンテナで受信された地上波または衛星波の放送コンテンツの電波を復調し、その信号に応じた処理を実行し、処理の結果、得られるアナログの画像(映像)信号と音声信号を、キャプチャ部32に供給する。
キャプチャ部32は、例えば、A/D(Analog / Digital)変換器およびフレームメモリなどにより構成され、チューナ部31や図示せぬハードディスクなどから供給されたアナログの画像信号および音声信号から、デジタルの画像データおよび音声データを得て、それらをエンコーダ33に出力する。すなわち、キャプチャ部32は、アナログの画像信号および音声信号に対して、A/D変換を施すことで、デジタルの画像データおよび音声データを得る。
なお、キャプチャ部32は、チューナ部31や図示せぬハードディスクなどから供給されたアナログの画像信号に対しては、必要に応じて、水平方向を縮小(画素数を減ら)しながら、キャプチャし(A/D変換を施し)、その結果得られる4:2:2形式のデジタルの画像データを、マイクロコンピュータ35に供給する。
エンコーダ33は、キャプチャ部32またはマイクロコンピュータ35からの画像データを、例えばH.264方式でエンコード(圧縮符号化)し、画像のアスペクト比情報とともに、ビデオファイルとして、記録制御部34に出力する。また、エンコーダ33は、キャプチャ部32からの音声データを、同様に圧縮符号化し、オーディオファイルとして、記録制御部34に出力する。
記録制御部34は、エンコーダ33からのビデオファイルおよびオーディオファイルを、装着される記録媒体22に記録する。
マイクロコンピュータ35は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)等を含んで構成され、図示せぬ操作入力部からのユーザの操作信号や各種のプログラムなどを実行することにより、録画装置21の各部を制御したり、所定の機能ブロックを実現し、各種の処理を実行する。
図3の例の場合、マイクロコンピュータ35は、黒帯判定部41、縮小処理制御部42、および縮小変換部43により構成され、キャプチャ部32からの画像データを基に、黒帯の有無を判定し、画像データに対して、判定結果に応じた縮小変換処理を実行する。
キャプチャ部32からの画像データは、黒帯判定部41および縮小変換部43に供給される。黒帯判定部41は、キャプチャ部32からの画像データに対応する画像(画面)の上下に黒帯があるか否かを判定し、その判定結果を縮小処理制御部42に供給する。
縮小処理制御部42は、黒帯判定部41からの判定結果を用いて、縮小変換部43の縮小処理の切替を制御する。具体的には、縮小処理制御部42は、縮小変換部43が黒帯領域を除去せず、画像を縮小している場合に、黒帯判定部41により画像の上下ともに黒帯があると判定されると、上下ともに黒帯がある画像が所定の時間(フレーム数)、連続するか否かを判定する。そして、縮小処理制御部42は、上下ともに黒帯がある画像が所定の時間、連続すると判定した場合に、縮小変換部43に、黒帯領域を除去させて縮小処理を行わせる。
また、縮小処理制御部42は、縮小変換部43が黒帯領域を除去して、画像を縮小している場合に、黒帯判定部41により画像の上下部のいずれかに黒帯がないと判定されると、上下部のいずれかに黒帯がない画像が所定の時間(フレーム数)、連続するか否かを判定する。そして、縮小処理制御部42は、上下部のいずれかに黒帯がない画像が所定の時間、連続すると判定した場合だけ、縮小変換部43に黒帯領域を除去させずに縮小処理を行わせる。
ここで、黒帯領域とは、画像の黒帯があるであろう画像の端における、縮小変換部43が画像から除去する対象とする所定の領域のことである。
したがって、画面の上下部に黒帯が付加されている画像の場合には、黒帯領域は、画像の垂直方向の両端、すなわち、画面の上下部における所定の領域を表す。
なお、コンテンツによって、付加される黒帯のサイズが異なることもあるため、画像に付加されている黒帯が黒帯領域より小さいサイズにならない、すなわち、黒帯以外の有効な画素を除去しないように、黒帯領域は設定される。
縮小変換部43は、縮小処理制御部42の制御のもと、画像全体、あるいは、画像から、黒帯領域を除いた範囲を用いて、キャプチャ部32からの4:2:2形式の画像データを縮小しながら、4:2:0形式の画像データに変換し、変換した4:2:0形式の画像データを、エンコーダ33に出力する。
記録媒体22は、例えば、メモリスティック(商標)などのメモリカードにより構成され、必要に応じて、録画装置21に装着される。
なお、記録媒体22は、その他の記録媒体でもよく、さらに、ユーザが外出先などに携帯可能な、図示せぬ携帯機器(例えば、携帯電話機、携帯ゲーム機、PDA(Personal Digital Assistance)、ノート型パーソナルコンピュータなど)に内蔵されるハードディスクやメモリで構成することもできる。この場合、記録媒体22としてのハードディスクを内蔵する携帯機器は、例えば、USB(Universal Serial Bus)などで録画装置21に接続される。
次に、図4のフローチャートを参照して、録画装置21によるコンテンツ記録処理のうちの動画像記録処理について詳しく説明する。したがって、音声については、その説明を省略する。
図4の例においては、図5に示されるアスペクト比が4:3の元画像を、携帯機器用にQVGA(320×240画素)に縮小し、ビデオファイルとして記録する場合を用いて説明する。図5の例においては、画面の上下部(すなわち、垂直方向の両端)に黒帯が付加されている、水平方向(横)×垂直方向(縦)のサイズが、720×480画素で構成され、アスペクト比が4:3の480I(インターレース)信号の元画像が示されている。
例えば、録画装置21は、メモリスティックからなる記録媒体22に書き込まれるデータを、OS(Operating System)等で利用される、データの管理を行うための論理フォーマットとしての、ファイルシステムであるFAT(File Allocation table)ファイルシステムで管理しており、いまの場合、ビデオファイルのフォーマットは、例えば、メモリスティックスタンダード(Memory Stick Standard)で定義されているフォーマットが用いられる。
チューナ部31は、図示せぬアンテナで受信された地上波または衛星波の放送コンテンツの電波を復調し、その結果得られるコンテンツの画像(映像)信号をキャプチャ部32に供給している。
ステップS11において、キャプチャ部32は、チューナ部31から供給されたアナログの画像信号を、水平方向を4/9のサイズに縮小しながら、320×480画素のインターレースでキャプチャする。
すなわち、キャプチャ部32は、アナログの画像信号(720×480画素,480I信号)から、垂直方向が480ライン(インターレース)のままで、水平方向が4/9のサイズに縮小されて320画素となった4:2:2形式の画像データを生成し、生成した画像データを、黒帯判定部41および縮小変換部43に供給する。
ステップS12において、黒帯判定部41は、キャプチャ部32からの画像データを用いて、黒帯判定処理を実行する。この黒帯判定処理の詳細は、図12を参照して後述する。
例えば、いまの場合、黒帯判定部41は、図5の画像に示されるように、黒帯の垂直方向のサイズSが上下合わせて、画面(画像)の垂直方向のサイズ(480ライン)の1/6以上を超えているか否か、換言すると、黒帯でない有効な画素からなる有効画素領域の垂直方向のサイズLが、画面の垂直方向のサイズ(480ライン)の5/6未満であり、かつ、有効画素領域が概ね画面の中央に位置する(上下に偏り過ぎてない)か否かを判定することで、画像に黒帯があるか否かを判定する。
すなわち、図5の画像の場合、画面の上側から、40ライン(=480×1/6×1/2)以上と、下側から、同じく40ライン以上が真黒であれば、黒帯付きの画像であると判定される。
なお、図9を参照して詳しく後述するが、この1/6は、画面の上下側から、それぞれ40ラインが黒帯領域として除去できるように、さらに具体的には、画面の垂直方向のサイズ(480ライン)から、上下40ラインを除去することで、画像が、240ラインへの縮小が容易に可能な400ラインとなるように予め設定されたものである。
ステップS12において、黒帯判定処理が終了すると、処理は、ステップS13に進み、縮小処理制御部42は、黒帯判定部41による黒帯判定結果に基づいて、画像から、黒帯領域を除去するか否かを判定する。
図6を参照して、ステップS13の処理を説明する。
図6の例においては、縮小変換部43の処理状態の遷移が示されている。この縮小変換部43の処理状態は、縮小変換部43が黒帯領域を除去せず、画像を縮小している状態Aと、縮小変換部43が黒帯領域を除去して、画像を縮小している状態Bの2つの状態からなる。
例えば、いま、初期状態として、縮小変換部43の処理状態が、縮小変換部43が黒帯領域を除去せず、画像を縮小している状態Aであるとする。
状態Aにおいて、黒帯判定部41により上部、下部ともに黒帯ありと判定された画像が、例えば、α(α>0)フレーム連続した場合、縮小処理制御部42は、黒帯領域を除去すると判定し、後述する図4のステップS15において、黒帯領域が除去された範囲の画像を縮小するように縮小変換部43を制御する。
これに対応して、縮小変換部43の処理状態は、矢印61のように遷移し、縮小変換部43が黒帯領域を除去して、画像を縮小している状態Bとなる。
状態Bにおいて、黒帯判定部41により上部、下部のうち少なくとも一方が黒帯なしと判定された画像が、例えば、β(β>0)フレーム連続した場合、縮小処理制御部42は、黒帯領域を除去しないと判定し、後述する図4のステップS14において、画像全体を縮小するように縮小変換部43を制御する。
これに対応して、縮小変換部43の処理状態は、矢印62のように遷移し、縮小変換部43が黒帯領域を除去せずに、画像を縮小している状態Aとなる。
なお、α、βの値は、録画装置21のフレームレート設定などに応じて調整される。ただし、状態Bにおいては、画像から黒帯領域が除去される処理が行われるため、矢印61に示される状態Bに遷移させる判定のほうが、矢印62に示される状態Aに遷移させる判定よりも厳しく判定されることが望ましい。したがって、α>βが望ましく、例えば、30(フレーム/秒)で記録する場合には、α=15,β=3と設定される。
以上のように、黒帯判定にヒステリシスを持たせることで、黒帯有無の誤判定や、縮小変換処理の頻繁な切り替わりを抑制することができる。
図4に戻り、ステップS13において、黒帯領域を除去しないと判定された場合、処理は、ステップS14に進み、縮小変換部43は、縮小処理制御部42の制御のもと、480ラインの画像のうち、トップフィールドの画素のみを用いて、縮小しながら、240ラインの4:2:0形式の画像に変換する。
ここで、図7および図8を参照して、黒帯領域を除去しない場合の縮小変換処理を説明する。なお、図7は、輝度信号の縮小変換処理の例を示しており、図8は、色差信号の縮小変換処理の例を示している。
図7および図8の例においては、480ラインの画像71のうち、ライン8N+0乃至ライン8N+7(0≦N≦59)の画素が代表して示されており、そのうち、偶数番号のラインの画素は、トップフィールドの画素を表し、ハッチが付されている奇数番号のラインの画素は、ボトムフィールドの画素を表している。
縮小変換部43は、輝度信号については、図7に示されるように、画像71におけるライン8N+0乃至ライン8N+7の画素のうち、例えば、ライン8N+0,ライン8N+2,ライン8N+4,およびライン8N+6の画素からなる、トップフィールドの画素の輝度信号のみをそのまま用いることで、480ラインの画像71から240ラインの画像72への縮小変換を行う。
縮小変換部43は、色差信号については、図8に示されるように、4:2:0形式への変換を想定し、画像71におけるライン8N+0,ライン8N+2,ライン8N+4,およびライン8N+6の画素からなるトップフィールドの画素のうち、さらに、ライン8N+0とライン8N+6の画素の色差信号のみをそのまま用いることで、480ラインの画像71から240ラインの画像72への縮小変換を行う。
なお、色差信号における画像の縮小変換においては、実際には、低域通過フィルタ処理をした上で、それぞれライン8N+0とライン8N+4の平均、ライン8N+2とライン8N+6の平均を用いるほうが品質の面では好ましい。しかしながら、図8の例においては、縮小変換部43の演算処理負荷を考慮するため、2つの画素のみをそのまま用いて、単純に間引いている。
また、そのまま用いられる2つの画素としては、上述したライン8N+0とライン8N+6に限らず、ライン8N+0とライン8N+4であってもよいし、他の組み合わせを用いることもできる。
以上のような間引き処理が、図4のステップS14において、輝度信号および色差信号に対して、ライン0乃至ライン479まで行われることで、画像データが縮小しながら、変換され、変換された画像データが、エンコーダ33に出力される。
一方、図4のステップS13において、黒帯領域を除去すると判定された場合、処理は、ステップS15に進み、縮小変換部43は、縮小処理制御部42の制御のもと、480ラインの画像において、黒帯領域が除去された範囲の画素のみを用いて、縮小しながら、240ラインの4:2:0形式の画像に変換する。
ここで、図9および図10を参照して、黒帯領域を除去する場合の縮小変換処理を説明する。なお、図9は、輝度信号の縮小変換処理の例を示しており、図10は、色差信号の縮小変換処理の例を示している。また、いまの場合、画像の上下部の両端から40ラインが黒帯領域として設定されている。
図9および図10の例においては、480ラインの画像81から上下40ラインずつが黒帯領域として除去され、黒帯領域が除去された後の画像81のうち、ライン20M+0乃至ライン20M+19(2≦M≦21)の画素が代表して示されており、そのうち、偶数番号のラインの画素は、トップフィールドの画素を表し、ハッチが付されている奇数番号のラインの画素は、ボトムフィールドの画素を表している。
縮小変換部43は、図9に示されるように、輝度信号については、480ラインの画像81の上下両端から黒帯領域(40ライン)を除去し、その後、400ラインとなった画像81におけるライン20M+0乃至ライン20M+19(20ライン)の画素のうち、12ラインの画素の輝度信号のみをそのまま用いることで、480ラインの画像81から240ラインの画像82への縮小変換を行う。
図9の例においては、画像81から、上下両端の黒帯領域(40ライン)が除去され、ライン20M+0乃至ライン20M+2の3ラインの画素が用いられ(コピーされ)、ライン20M+3およびライン20M+4の2ラインの画素が間引かれ、ライン20M+5乃至ライン20M+7の3ラインの画素が用いられ、ライン20M+8およびライン20M+9の2ラインの画素が間引かれ、ライン20M+10乃至ライン20M+12の3ラインの画素が用いられ、ライン20M+13およびライン20M+14の2ラインの画素が間引かれ、ライン20M+15乃至ライン20M+17の3ラインの画素が用いられ、ライン20M+18およびライン20M+19の2ラインの画素が間引かれることで、400ラインの画像81から240ラインの画像82への縮小変換が行われている。
これにより、偶数番号のライン20M+0、奇数番号のライン20M+1、偶数番号のライン20M+2、奇数番号のライン20M+5、偶数番号のライン20M+6、奇数番号のライン20M+7、偶数番号のライン20M+10、奇数番号のライン20M+11、偶数番号のライン20M+12、奇数番号のライン20M+15、偶数番号のライン20M+16、および奇数番号のライン20M+17の画素というように、トップフィールドの画素とボトムフィールドの画素が交互に並んで構成される画像82が生成される。
以上のように、輝度信号においては、単純にラインを間引くのではなく、縮小後の偶数番号のライン(トップフィールド)の画素には、縮小前の偶数番号のライン(トップフィールド)の画素、縮小後の奇数番号のライン(ボトムフィールド)の画素には、縮小前の奇数番号のライン(ボトムフィールド)の画素を対応させて用いることで、画像を間引くようにしている。これにより、演算負荷をかけることなく、縮小後の画質の劣化を抑制することができる。
また、ここで、黒帯領域を、画像の上下部の両端から40ラインで構成しているのも、画質に沿って間引く都合上のことからである。すなわち、黒帯領域を画像の上下部の両端から40ラインで構成することにより、480ラインから40×2ラインが除去され、画像が400ラインとなり、その400ラインを間引いて240ラインに縮小すればよいので、上述したように、3ラインを用いて、2ライン間引く繰り返しを行うことができる。これにより、簡単に画質に沿った間引きを実行することができる。
一方、縮小変換部43は、図10に示されるように、色差信号については、輝度信号の場合と同様に、480ラインの画像81の上下両端から黒帯領域(40ライン)を除去し、その後、4:2:0形式への変換を想定し、400ラインとなった画像81におけるライン20M+0乃至20M+19(20ライン)の画素のうち、6ラインの画素の色差信号のみをそのまま用いることで、480ラインの画像81から240ラインの画像82への縮小変換を行う。
図10の例においては、画像81から、上下両端の黒帯領域(40ライン)が除去され、ライン20M+0の画素が用いられ(コピーされ)、ライン20M+1およびライン20M+2の2ラインの画素が間引かれ、ライン20M+3の画素が用いられ、ライン20M+4およびライン20M+5の2ラインの画素が間引かれ、ライン20M+6の画素が用いられ、ライン20M+7およびライン20M+8の2ラインの画素が間引かれ、ライン20M+9の画素が用いられ、ライン20M+10乃至ライン20M+13の4ラインの画素が間引かれ、ライン20M+14の画素が用いられ、ライン20M+15およびライン20M+16の2ラインの画素が間引かれ、ライン20M+17の画素が用いられ、ライン20M+18およびライン20M+19の2ラインの画素が間引かれることで、480ラインの画像81から240ラインの画像82への縮小変換が行われている。
これにより、偶数番号のライン20M+0、奇数番号のライン20M+3、偶数番号のライン20M+6、奇数番号のライン20M+9、偶数番号のライン20M+14、および奇数番号のライン20M+17の画素というように、トップフィールドの画素とボトムフィールドの画素が交互に並んで構成される画像82が生成される。
以上のように、色差信号の場合も、単純にラインを間引くのではなく、縮小後の偶数番号のライン(トップフィールド)の画素には、縮小前の偶数番号のライン(トップフィールド)の画素、縮小後の奇数番号のライン(ボトムフィールド)の画素には、縮小前の奇数番号のライン(ボトムフィールド)の画素を対応させて用いることで、画像が間引かれている。これにより、演算負荷をかけることなく、縮小後の画質の劣化が抑制することができる。
以上のような間引き処理が、図4のステップS15において、輝度信号および色差信号に対して、ライン40乃至ライン439(すなわち、画像81から、ライン0乃至ライン40(40ライン)およびライン440乃至ライン479(40ライン)が除かれた範囲)まで行われることで、画像データが縮小変換され、縮小変換された画像データが、エンコーダ33に出力される。
その後、処理は、図4のステップS16に進み、エンコーダ33は、縮小変換部43からの320×240画素に縮小変換された画像データを、例えばH.264方式で、エンコード(圧縮符号化)する。
そして、エンコーダ33は、ステップS17において、エンコードしたデータを、画像のアスペクト比情報とともに、ビデオファイルとして、記録制御部34に出力する。
すなわち、エンコーダ33は、上述したステップS14において480ラインの画像のトップフィールドのみを用いて240ラインに縮小された画像72に対しては、4:3の元画像を320×240画素でエンコードし、画素のアスペクト比として、1:1(すなわち、表示時に縦にも横にも拡大しない)を設定し、エンコードした画像データを、設定したアスペクト情報とともにビデオファイルに書き込む。
一方、エンコーダ33は、上述したステップS15において480ラインの画像から黒帯領域が除去された範囲の画素のみを用いて、240ラインに縮小された画像82に対しては、4:3の元画像の垂直方向の5/6サイズの部分を、320×240画素でエンコードし、画素のアスペクト比として、6:5(すなわち、表示時に水平方向に1.2倍拡大する)を設定し、エンコードした画像データを、設定したアスペクト情報とともにビデオファイルに書き込む。
なお、このアスペクト比情報の設定は、用いるビデオファイルのフォーマット(すなわち、メモリスティックスタンダードで定義されている(ビデオファイルの)フォーマット)で規定されるビデオ情報のうちの、アスペクト比情報の記述領域に記述される。例えば、ビデオファイルがH.264(MPEG-4 Part10 AVC)のフォーマットであった場合、そのVUI(Video Usability Information)にある“aspect_ratio_idc”などに記述される。
また、前述のメモリスティックスタンダードの場合には、ビデオ情報は、1つの動画について複数設定することが可能であるので、複数設定して、アスペクト比情報を途中で切り替えることも可能になる。
以上のようにして書き込まれたビデオファイルが記録制御部34に出力される。これに対応して、記録制御部34は、エンコーダ33からのビデオファイルを、装着される、メモリスティックからなる記録媒体22に記録する。
その後、ステップS18において、動画像記録が終了したか否かが判定され、まだ動画像記録が終了していないと判定された場合、処理は、ステップS11に戻り、それ以降の処理が繰り返される。ステップS18において、動画像記録が終了したと判定された場合、動画像記録処理は終了する。
以上のように、放送コンテンツを携帯機器向けに縮小して記録する際、画像の上下に黒帯があると判定された場合に、480ラインの画像から黒帯領域を除去し、黒帯領域が除去された範囲の画素のみを用いて、240ラインの画像に縮小して記録するようにしたので、記録した放送コンテンツを携帯機器で再生表示する場合、図11に示されるように、有効画素を無駄にせずに視聴することができる。
図11の例においては、有効画素領域の上下に黒帯が付加された4:3の放送コンテンツの元画像91と、携帯機器向けに、元画像91が黒帯領域を除去され、縮小されて記録された画像92と、記録された画像92が、携帯機器において再生されて、表示された画像93とが示されている。
録画装置21においては、この放送コンテンツの元画像91の上下に黒帯があると判定されて、画像91から黒帯領域が除去され、黒帯領域が除去された範囲の所定の画素のみが用いられることで、画像92に縮小して記録される。
これにより、画像92において黒帯が占める割合は、従来の方法で縮小されて記録された図1の画像1aにおける黒帯の割合よりも小さくなり、画像92において、黒帯ではなく、画像(絵)として有効な画素からなる有効画素領域が占める割合は、従来の方法で縮小されて記録された図1の画像1aにおける有効画素領域の割合よりも大きくなる。
具体的に説明すると、例えば、有効画素領域(すなわち、非黒帯部分)が垂直方向のサイズにおいて80%程度である映画コンテンツを、従来の方法でQVGAに縮小し(すなわち、黒帯領域を除去せずに縮小し)記録した場合、記録した画像における有効画素領域の垂直方向のサイズは、192ライン(=240ライン×0.8)となる。
これに対して、同じ映画コンテンツを、黒帯領域を除去してQVGAに縮小し記録した場合には、記録する範囲(黒帯領域が除去された残りの範囲)を垂直方向の5/6(すなわち、黒帯部分を上下合わせて1/6除去した)とすると、記録した画像における有効画素領域の垂直方向のサイズは、230ライン(=240×(0.8÷5/6)=240×0.96)となり、従来の方法よりも38ラインも多く、有効画素領域に割り当てることができる。
したがって、ビデオファイル内において、画素のアスペクト比情報が、6:5(すなわち、表示時に水平方向に1.2倍拡大する)として適切に設定されていれば、縮小されて記録された画像92を携帯機器において再生するときには、携帯機器には、画像92が水平方向に1.2倍だけ拡大されたものである画像93が、正しいアスペクト比で表示される。
すなわち、携帯機器のディスプレイには、図1の従来の画像1aの場合よりも、黒帯が少なく、有効画素領域が多い画像93が表示されるので、ユーザに、有効画素を最大限に活かした画像93を視聴させることができる。
次に、図12のフローチャートを参照して、図4のステップS12における黒帯判定処理の例を詳しく説明する。なお、図12の例においては、図13に示される領域Eを判定対象として、画面(画像)の上部における黒帯判定処理を説明するが、画面の下部の場合も、上下が異なるだけであり、同様に行われるため、その説明は繰り返しになるので省略する。
図13は、画面上部における黒帯判定対象となる画素を説明する図である。図13の例においては、キャプチャ部32によりキャプチャされた後の水平方向×垂直方向が320×480画素である画面の上部分が示されており、画面の上側から40ライン(=480×1/6×1/2)以上が真黒であるか否かが判定される。
ここで、ビデオキャプチャ時(すなわち、A/D変換時)のノイズなどを考慮するため、画面のふちから数画素、すなわち、画面の左上から水平方向にγ画素、かつ、垂直方向にβライン、および画面の右端から水平方向にδ画素(すなわち、画面の左端から水平方向に320−δ画素)は、判定対象から外される。また、画面の上側から40ライン丁度ではなく、αライン余裕を持った範囲まで判定対象とされる。
すなわち、図13の例においては、画面の左上を原点(0,0)とすると、(x,y)=(γ,β)(すなわち、左上(0,0)から水平方向にγ画素、垂直方向にβライン)である画素P1、(x,y)=(320−δ,β)(すなわち、左上(0,0)から水平方向に320−δ画素、垂直方向にβライン)である画素P2、(x,y)=(γ,40+α)(すなわち、左上(0,0)から水平方向にγ画素、垂直方向に40+αライン)である画素P3、(x,y)=(320−δ,40+α)(すなわち、左上(0,0)から水平方向に320−δ画素、垂直方向に40+αライン)である画素P4で囲まれる、320−(γ+δ)画素×40−β+αラインからなる領域Eが黒帯判定対象とされる。
したがって、黒帯判定部41は、まず、図12のステップS31において、カウントc=0,y=βとし、ステップS32において、x=γとする。すなわち、図13の(x,y)=(γ,β)である画素P1から判定が開始される。
ステップS33において、黒帯判定部41は、画素(x,y)が真黒であるか否かの情報を求める画素情報算出処理を実行する。ステップS33の画素情報算出処理は、図14を参照して後述する。この画素情報算出処理により、画素(x,y)が真黒であるか否かの情報が求められるので、黒帯判定部41は、ステップS34において、画素(x,y)が真黒ではないか否かを判定する。
ステップS34において、画素(x,y)が真黒ではないと判定された場合、ステップS35において、黒帯判定部41は、c=c+1とする(すなわち、カウントcを1増やす)。ステップS34において、画素(x,y)が真黒であると判定された場合、ステップS35の処理はスキップされ、処理は、ステップS36に進む。
ステップS36において、黒帯判定部41は、x=x+1とし(すなわち、画素の位置を水平方向に1つ移動させ)、ステップS37において、xが320−δ(図13の(x,y)=(320−δ,β)である画素P2のxの値)よりも小さいか否かを判定する。ステップS37において、xが320−δよりも小さいと判定された場合、処理は、ステップS33に戻り、水平方向に1移動した画素(x,y)についてそれ以降の処理が繰り返される。
ステップS37において、xが320−δよりも小さくないと判定された場合、黒帯判定部41は、xが320−δになったとして、ステップS38において、y=y+1とし(すなわち、画素の位置を垂直方向に1つ移動させ)、ステップS39において、yが40+α(図13の(x,y)=(γ,40+α)である画素P3のyの値)よりも小さいか否かを判定する。ステップS39において、yが40+αよりも小さいと判定された場合、処理は、ステップS32に戻り、垂直方向に1移動した画素(x,y)についてそれ以降の処理が繰り返される。
ステップS39において、yが40+αよりも小さくないと判定された場合、黒帯判定部41は、yが40+αになり、図13の(x,y)=(320−δ,40+α)である画素P4まで判定が終了したとして、ステップS40において、c>εであるか、すなわち、カウントcが所定の閾値であるε(例えば、ε=0)よりも大きいか否かを判定する。
なお、実際には、判定対象となる領域に黒以外の画素が若干(例えば、1または2個など)あったとしても、黒帯とみなすため、ε=0よりも判定に厳しくない値が設定される。
ステップS40において、カウントcがε以下であると判定された場合、ステップS41において、黒帯判定部41は、画面上部に黒帯があるとし、黒帯判定処理を終了する。一方、ステップS40において、カウントcがεより大きいと判定された場合、ステップS42において、黒帯判定部41は、画面上部に黒帯がないとし、黒帯判定処理を終了する。
以上の処理が、画面下部においても同様に実行され、上述した図4のステップS13においては、画面上部および下部における黒帯判定結果に基づいて、黒帯領域を除去するか否かが判定される。
なお、図12および図13の例におけるα,γ,β,δ,εの各値は、ハードウエア(例えば、キャプチャ部32を構成するA/D変換器)の性能や特性に応じて調整される。例えば、α=4,γ=4,β=4,δ=4,ε=0とされる。このとき、これらの値は、画面上下部ともに同じ値をとるとは限らない。
以上のように、ノイズが乗りやすい画面の端からの数画素を判定対象から外すことにより、黒帯判定の性能を向上させることができるとともに、判定対象の範囲が狭くなるので、処理負荷も減らすことができる。
なお、上記説明においては、4:3のアスペクト比で16:9の画像のコンテンツが放送される際に、黒帯が上下両方に付加され、それらには大きな偏りはないことを考慮して、黒帯が上下両方にある場合のみ、黒帯があると判定すると説明したが、放送コンテンツに応じて、上部のみ、下部のみの黒帯を判定することもできる。
次に、図14のフローチャートを参照して、図12のステップS33の画素情報算出処理について説明する。
黒帯判定部41は、ステップS61において、画素(x,y)の輝度Yが、閾値Ymax以下であるか否かを判定し、画素(x,y)の輝度Yが、閾値Ymax以下であると判定した場合、ステップS62において、画素(x,y)の色差Crが、閾値Crmin以上であるか否かを判定する。
ステップS62において、画素(x,y)の色差Crが、閾値Crmin以上であると判定された場合、黒帯判定部41は、ステップS63において、画素(x,y)の色差Crが、閾値Crmax以下であるか否かを判定し、画素(x,y)の色差Crが、閾値Crmax以下であると判定した場合、処理は、ステップS64に進む。
ステップS64において、黒帯判定部41は、画素(x,y)の色差Cbが、閾値Cbmin以上であるか否かを判定する。ステップS64において、画素(x,y)の色差Cbが、閾値Cbmin以上であると判定された場合、黒帯判定部41は、ステップS65において、画素(x,y)の色差Cbが、閾値Cbmax以下であるか否かを判定する。
ステップS65において、画素(x,y)の色差Cbが、閾値Cbmax以下であると判定された場合、ステップS66において、黒帯判定部41は、画素(x,y)が真黒であるとし、画素情報算出処理は終了される。
一方、ステップS61において、画素(x,y)の輝度Yが、閾値Ymax以下ではないと判定された場合、ステップS62において、画素(x,y)の色差Crが、閾値Crmin以上ではないと判定された場合、ステップS63において、画素(x,y)の色差Crが、閾値Crmax以下ではないと判定された場合、ステップS64において、画素(x,y)の色差Cbが、閾値Cbmin以上ではないと判定された場合、または、ステップS65において、画素(x,y)の色差Cbが、閾値Cbmax以下ではないと判定された場合、ステップS67において、黒帯判定部41は、画素(x,y)が真黒ではないとし、画素情報算出処理は終了される。
なお、上述した輝度信号Yの閾値Ymax、色差信号Crの閾値CrminおよびCrmax(Crmin<Crmax)、色差信号Cbの閾値CbminおよびCbmax(Cbmin<Cbmax)の各値は、ハードウエア(例えば、キャプチャ部32を構成するA/D変換器)の性能や特性に応じて調整される。例えば、閾値Ymaxは、輝度の最大値の10%程度、閾値Crminおよび閾値Crmaxは、色差(Cr)の中央値の±1%以上、閾値Cbminおよび閾値Cbmaxは、色差(Cb)の中央値の±1%以上の値とされる。
以上のように、放送コンテンツを携帯機器向けに縮小して記録する際、画像の上下に黒帯があるか否かを判定し、画像の上下に黒帯があると判定された場合、元画像から黒帯領域を除去し、黒帯領域が除去された範囲の画素のみを用いて画像を縮小し、縮小された画像を記録するようにしたので、有効画素を無駄にせずに記録することができる。
これにより、記録した放送コンテンツを携帯機器で再生表示する場合、有効画素を無駄にせずに表示することができるので、従来よりも品質のよい画像でコンテンツを視聴することができる。
なお、上記説明においては、図3のチューナ部31がアナログチューナの場合を説明したが、もちろん、デジタルチューナでもよく、例えば、放送信号がデジタルの場合には、チューナ部31においては、電波が復調され、信号の分離やデコード処理などが実行され、その結果、アナログの画像信号と音声信号が得られる。
また、図3の例においては、キャプチャ部32に供給される画像信号および音声信号としては、チューナ部31からの画像信号および音声信号しか示されていないが、それだけに限らず、例えば、一旦、チューナ部31などから、図示せぬハードディスクに記録された放送コンテンツが読み出され、所定の信号処理の結果、得られるアナログの画像信号と音声信号もキャプチャ部32に供給される。
さらに、上記説明においては、16:9のコンテンツが画面の上下に黒帯が付加されて、4:3の放送コンテンツとして放送される場合を説明したが、本発明は、4:3のコンテンツが16:9の放送コンテンツとして放送される場合に、水平方向の両端(左右)に付加される黒帯を判定し、対応する領域(黒帯領域)を除去する際にも適用される。同様に、インターレース信号の場合を説明したが、本発明は、プログレッシブ信号の場合にも適用される。
例えば、水平方向の黒帯の場合、図7乃至図10を参照して上述した垂直方向の黒帯の場合のようなトップフィールドとボトムフィールドの考慮が不要となり、単純に画素を間引けばよいため、画面の水平方向の両端である、画面の左右10%ずつなど柔軟に、除去の対象となる黒帯領域を設定することができる。
また、プログレッシブ信号での黒帯の場合も、図7乃至図10を参照して上述したインターレースの場合のような、トップフィールドとボトムフィールドの考慮が不要となり、単純に画素を間引けばよいため、画面の左右または上下10%ずつなど柔軟に、除去の対象となる黒帯領域を設定することができる。
なお、本発明は、上述した録画装置に限定されず、本発明は、データを記録媒体に記録することができるパーソナルコンピュータなどにも適用される。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図15は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ101の構成の例を示すブロック図である。CPU(Central Processing Unit)111は、ROM(Read Only Memory)112、または記憶部118に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)113には、CPU111が実行するプログラムやデータなどが適宜記憶される。これらのCPU111、ROM112、およびRAM113は、バス114により相互に接続されている。
CPU111にはまた、バス114を介して入出力インタフェース115が接続されている。入出力インタフェース115には、キーボード、マウス、マイクロホンなどよりなる入力部116、ディスプレイ、スピーカなどよりなる出力部117が接続されている。CPU111は、入力部116から入力される指令に対応して各種の処理を実行する。そして、CPU111は、処理の結果を出力部117に出力する。
入出力インタフェース115に接続されている記憶部118は、例えばハードディスクからなり、CPU111が実行するプログラムや各種のデータを記憶する。通信部119は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部119を介してプログラムを取得し、記憶部118に記憶してもよい。
入出力インタフェース115に接続されているドライブ120は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア121が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部118に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図15に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア121、または、プログラムが一時的もしくは永続的に格納されるROM112や、記憶部118を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部119を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
21 録画装置, 22 記録媒体, 31 チューナ部, 32 キャプチャ部, 33 エンコーダ, 34 記録制御部, 35 マイクロコンピュータ, 41 黒帯判定部, 42 縮小処理制御部, 43 縮小変換部