JP2009049474A - 情報処理装置および再符号化方法 - Google Patents

Abstract

【課題】インデキシングにより得られた情報などを用いて、シーンの重要度に応じてビットレートを調節することができる情報処理装置および再符号化方法を提供する。
【解決手段】動画データを復号化し、復号化された動画データにインデキシング処理部６０によりインデキシング処理を行い、インデキシング処理の結果と予め設定されたパラメータに基づいて、動画データを再符号化する。
【選択図】 図３

Description

この発明は、例えば画像情報をトランスコードする技術に係り、特に所定の条件に一致した箇所の画質を向上することができる情報処理装置および再符号化方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き予測・補償とにより圧縮するＭＰＥＧなどの方式に準拠した装置が普及している。

さらに、テレビ会議用の画像符号化を当初の目的として、Ｈ.２６４（ITU-T Q6/16 VCEG）符号化方式の標準化が行われた。Ｈ．２６４は、ＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比して、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。

例えば、ＭＰＥＧ２形式の符号化情報からＨ．２６４形式の符号化情報にトランスコードする場合、トランスコードの際画質の低下を抑えるために、入力ストリームをメモリに一時記憶し、長時間（数分）画質の推移を把握してエンコードに反映させる方法が開示されている（例えば特許文献１等参照）。
特開２００６−２９５５０２公報

この特許文献１の技術では、入力ストリームの画質の変化に応じてエンコードのパラメータを動的に変化させるだけであり、映像シーンに応じた制御を行うことができない。

この発明は、このような事情を考慮してなされたものであり、シーンの重要度に応じてビットレートを調節することができる情報処理装置および再符号化方法を提供することを目的とする。

上記目的を達成するために、本発明の一態様によれば、画像情報が第１の符号化方式で符号化された第１符号化データを、第２の符号化方式で符号化された第２符号化データにトランスコードする情報処理装置であって、前記第１符号化データを復号化する復号化手段と、前記復号化手段が復号化した画像情報に対し、１以上のインデックスを付与して複数のシーンに分割するインデキシング手段と、前記復号化手段が復号化した画像情報を、前記インデキシング手段が分割した各シーン毎に異なる画質で符号化して前記第２符号化データに符号化する符号化手段と、を具備することを特徴とする情報処理装置が提供される。

また、画像情報が第１の符号化方式で符号化された第１符号化データを、第２の符号化方式で符号化された第２符号化データにトランスコードする再符号化方法であって、前記第１符号化データを復号化する復号化ステップと、前記復号化ステップで復号化された画像情報に対し、１以上のインデックスを付与して複数のシーンに分割するインデキシングステップと、前記復号化手段が復号化した画像情報を、前記インデキシング手段が分割した各シーン毎に異なる画質で符号化して前記第２符号化データに符号化する符号化ステップと、を有することを特徴とする再符号化方法が提供される。

この発明によれば、シーンの重要度に応じてビットレートを調節することができる情報処理装置および再符号化方法を提供できる。

以下、図面を参照して、この発明の実施の形態を説明する。

まず、図１および図２を参照して、この発明の一実施形態に係る情報処理装置の構成について説明する。この情報処理装置は、例えばノートブック型パーソナルコンピュータ１０として実現されている。

図１は、ノートブック型パーソナルコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１と、ディスプレイユニット２とから構成されている。ディスプレイユニット２には、ＬＣＤ（Liquid Crystal Display）３から構成される表示装置が組み込まれており、そのＬＣＤ３の表示画面は、ディスプレイユニット２のほぼ中央に位置されている。

ディスプレイユニット２は、コンピュータ本体１に対して開放位置と閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１は薄い箱形の筐体を有しており、その上面にはキーボード４、本コンピュータ１０を電源オン／オフするためのパワーボタン５、入力操作パネル６およびタッチパッド７などが配置されている。

入力操作パネル６は、押下されたボタンに対応するイベントをシステムに入力する入力装置であり、複数の機能をそれぞれに起動するための複数のボタンを備えている。これらボタン群には、ＴＶ起動ボタン６Ａ、ＤＶＤ（Digital Versatile Disc）起動ボタン６Ｂが含まれている。ＴＶ起動ボタン６Ａは、デジタルＴＶ放送番組のような放送番組データの再生及び記録を行うためのＴＶ機能を起動するためのボタンであり、ユーザによって押下されると、このＴＶ機能を実行するためのＴＶアプリケーションプログラムが起動される。また、ＤＶＤ起動ボタン６Ｂは、ＤＶＤに記録されたビデオコンテンツを再生するためのボタンであり、ユーザによって押下されると、ビデオコンテンツを再生するためのアプリケーションプログラムが自動的に起動される。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。

コンピュータ１０は、図２に示されているように、ＣＰＵ１１、ノースブリッジ１２、主メモリ１３、グラフィクスコントローラ１４、サウスブリッジ１５、ＢＩＯＳ−ＲＯＭ１６、ハードディスクドライブ（ＨＤＤ）１７、光ディスクドライブ（ＯＤＤ）１８、デジタルＴＶ放送チューナ１９、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）２０およびネットワークコントローラ２１、副プロセッサ９０等を備えている。

ＣＰＵ１１は、本コンピュータ１０の動作を制御するために設けられたプロセッサであり、ＨＤＤ１７から主メモリ１３にロードされる、オペレーティングシステム（ＯＳ）およびビデオ再生アプリケーションプログラム１００のような各種アプリケーションプログラムを実行する。

副プロセッサ９０は、符号化された動画像データを復号化（デコード）、再符号化および再生するためのハードウェアである。この副プロセッサ９０は、Ｈ．２６４／ＡＶＣ規格に対応するハードウェアデコーダである。副プロセッサ９０は、Ｈ．２６４／ＡＶＣ規格で定義された符号化方式で符号化されている動画像ストリーム（例えばデジタルＴＶ放送チューナ１９により受信されるデジタルＴＶ放送番組やＯＤＤ１８から読み出されるＨＤ（High Definition）規格のビデオコンテンツなど）をデコードするデコード機能を有している。また、デコードして得られるＴＶ番組等を再符号化する機能を有している。この再符号化は、例えば、録画されたＴＶ番組中のＣＭ等の重要度の低いシーンのビットレートを低くする処理等を行い、ファイル容量を少なくする等を目的として行う。

この他、副プロセッサ９０は、デコードして得られるＴＶ番組等の動画像を解析して、例えば無音区間の検出や、顔画像の検出等に応じてインデキシング処理も行う。インデキシング処理では、該動画像に対してインデックスを付与することにより、複数のシーンに分割することができ、例えばＣＭ区間や、特定の人物が出演しているシーン等を区別することができる。

ＣＰＵ１１は、ＢＩＯＳ−ＲＯＭ１６に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１５との間を接続するブリッジデバイスである。ノースブリッジ１２には、主メモリ１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１２は、ＡＧＰ（Accelerated Graphics Port）バスなどを介してグラフィクスコントローラ１４との通信を実行する機能も有している。

グラフィクスコントローラ１４は本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ３を制御する表示コントローラである。このグラフィクスコントローラ１４はビデオメモリ（ＶＲＡＭ）１４Ａに書き込まれた画像データからＬＣＤ３に送出すべき表示信号を生成する。

サウスブリッジ１５は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１５は、ＨＤＤ１７、ＯＤＤ１８を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１５は、ＢＩＯＳ−ＲＯＭ１６をアクセス制御するための機能、およびＰＣＩバスを介してデジタルＴＶ放送チューナ１９を制御する機能も有している。

ＨＤＤ１７は、各種ソフトウェア及びデータを格納する記憶装置である。光ディスクドライブ（ＯＤＤ）１８は、ビデオコンテンツが格納されたＤＶＤなどの記憶メディアを駆動するためのドライブユニットである。デジタルＴＶ放送チューナ１９は、デジタルＴＶ放送番組のような放送番組データを外部から受信するための受信装置である。

ＥＣ／ＫＢＣ２０は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）４およびタッチパッド７を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ２０は、ユーザによるパワーボタン５の操作に応じて本コンピュータ１０を電源オン／オフする機能を有している。さらに、ＥＣ／ＫＢＣ２０は、ユーザによるＴＶ起動ボタン６Ａ、ＤＶＤ起動ボタン６Ｂの操作に応じて、本コンピュータ１０を電源オンすることもできる。ネットワークコントローラ２１は、例えばインターネット等の外部ネットワークとの通信を実行する通信装置である。

図３は、このような構成のコンピュータ１０上で動作する副プロセッサ９０が有する機能の機能ブロック図である。

副プロセッサ９０は、図３に示すように、Transcode前の記憶装置５０、Reader５１、６４、Demuxer５２、映像Decoder５３、映像Encoder６１、音声Decoder５４、音声Encoder５５、スケーラ５６、Muxer５７、Writer５８、６５、Transcode後の記憶装置５９、インデキシング処理部６０、インデキシングデータの記憶装置６６、インデキシング後処理部６３、ＥＰＧなどの番組情報６２を備えている。

Transcode前記憶装置５０は、録画されたＴＶ番組等である画像情報を記憶するＨＤＤ１７である。Reader５１は、録画されたＴＶ番組等である画像情報をTranscode前記憶装置５０から読み出す。Demuxer５２は、画像情報から音声情報と映像情報とを分離する。映像Decoder５３、音声Decoder５４は、それぞれ映像情報および音声情報のデコードを行う。音声Encoder５５は、デコードされた音声のエンコードを行う。スケーラ５６は、映像情報のスケールの変更を行う。Muxer５７は、エンコードされた音声情報とスケールの変更が行われた映像情報とを合成処理する。インデキシング処理部６０は、音声Decoder５４およびスケーラ５６からの音声情報および映像情報によって、インデキシング処理を行ってインデックスを付与して複数のシーンに分割すると共に、各シーンの重要度を決定する。インデキシングデータの記憶装置６６は、インデキシングデータをWriter６５により記憶するＨＤＤ１７である。ＥＰＧなどの番組情報６２は、ＥＰＧ等の番組情報を配信しているサイト等から受信した番組表データである。インデキシング後処理部６３は、インデキシングデータの記憶装置６６からインデキシングデータをReader６４によって読み出し、画像情報に適用する。この際、ＥＰＧなどの番組情報６２から番組情報も読み出し、インデキシング後処理に適用する。このインデキシング後処理によって、画像情報は、ＣＭ等の重要度の低い箇所（シーン）のビットレートを下げる処理が行われ、映像Encoder６１に出力される。

画像情報の重要度の高低（評価値）は、例えば図４に示すように、予めパラメータ情報として設定される。例えば、録画したＴＶ番組のジャンルによって、以下のように設定する。なお、録画したＴＶ番組のジャンルは、ＥＰＧ等の番組表データに基づいて判別可能である。

まず、録画されたＴＶ番組の元の画質が、例えば１７Ｍｂｐｓ（第１符号化データ）であるとする。この画質を所定の条件によって、第２符号化データである、１５〜８．５Ｍｂｐｓにトランスコードする。

例えば、ＣＭは全番組において、ビットレート８．５Ｍｂｐｓとして、最低の画質にトランスコードの設定を行う。また、録画されたＴＶ番組がスポーツ、例えばサッカーであれば、例えば、アナウンサー等の音声データを検出し、「ゴール」や「フリーキック」等のキーワードを検出した場合は、評価値０．８として１７Ｍｂｐｓのビットレート（最高画質）とする。また、歓声の音量を検出し、歓声の音量の割合によって、評価値を設定する。例えば、評価値は０．２〜０．８とする。ビットレートは、図４に示すように評価値に対応して、１０、１２、１５、１７（Ｍｂｐｓ）とする。

さらに、録画されたＴＶ番組のジャンルがドラマであれば、お気に入りの出演者を登録し、この出演者に一致する条件の割合で評価値を０〜０．８に設定する。例えば、字幕のキーワードに一致した回数や、顔認識を用いて、お気に入りの出演者である確率の高さ等で評価値を設定する。例えば、評価値は０．２〜０．８とする。ビットレートは、図４に示すように評価値に対応して、１０、１２、１５、１７（Ｍｂｐｓ）とする。

また、録画されたＴＶ番組のジャンルが歌番組であれば、お気に入りの出演者や歌を登録し、この出演者や歌に一致する条件の割合で評価値を０〜０．８に設定する。例えば、字幕のキーワードに一致した回数や、顔認識を用いて、お気に入りの出演者である確率の高さ等で評価値を設定する。さらに、メロディーの一致度に応じて、登録した歌である確率に応じて評価値を設定することもできる。例えば、評価値は０．２〜０．８とする。ビットレートは、図４に示すように評価値に対応して、１０、１２、１５、１７（Ｍｂｐｓ）とする。

次に、図５のフローチャートを参照して、副プロセッサ９０の処理の手順を説明する。

Transcode前記憶装置５０は、録画されたＴＶ番組等である画像情報を読み出し、動画データの再生を開始する（ステップＳ１０１）。副プロセッサ９０はＴＶアプリケーションプログラムの設定が画質重視設定か否かを判別する（ステップＳ１０２）。副プロセッサ９０は、ＴＶアプリケーションプログラムの設定が画質重視設定であった場合には、画質設定に従って処理を行う。すなわち、トランスコードを行わずに、すべて最高画質で動画データを保存する。

一方、ＴＶアプリケーションプログラムの設定が画質重視設定でない場合は（ステップＳ１０２のＮＯ）、副プロセッサ９０は、動画データのインデキシング処理を行う。このインデキシング処理では、動画データの音声検出や、字幕検出、歓声検出、顔認識、ＣＭ検出等を行い、インデキシングデータとしてインデキシングデータの記憶装置６６に記憶する（ステップＳ１０３）。

副プロセッサ９０のインデキシング後処理部６３は、インデキシングデータの記憶装置６６からインデキシングデータを読み出し、またＥＰＧなどの番組情報６２から番組情報も読み出し（ステップＳ１０４）、インデキシング後処理を行う（ステップＳ１０５）。このインデキシング後処理によって、画像情報は、ＣＭ等の重要度の低い箇所（シーン）のビットレートを下げる処理が行われ。映像Encoder６１に出力される。

以上のように、本実施形態によれば、インデキシングにより得られた情報などを用いて、シーンの重要度に応じてビットレートを調節することができる。このため、重要度の低いシーンでは、ビットレートを下げることができるため、録画された番組データのファイルサイズを抑えることができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係るコンピュータの外観を示す斜視図。 同実施形態のコンピュータのシステム構成を示す図。 同実施形態のコンピュータで用いられる副プロセッサが有する機能の機能ブロック図。 インデキシング処理に用いる各種パラメータを示す模式図。 同実施形態の処理の手順を示すフローチャート。

符号の説明

１…コンピュータ本体、２…ディスプレイユニット、３…ＬＣＤ、４…キーボード、５…パワーボタン、６…入力操作パネル、６Ａ…ＴＶ起動ボタン、６Ｂ…ＤＶＤ起動ボタン、７…タッチパッド、１０…コンピュータ、１１…ＣＰＵ、１２…ノースブリッジ、１３…主メモリ、１４…グラフィクスコントローラ、１４Ａ…ビデオメモリ、１５…サウスブリッジ、１６…ＢＩＯＳ−ＲＯＭ、１７…ハードディスクドライブ（ＨＤＤ）、１８…光ディスクドライブ（ＯＤＤ）、１９…デジタルＴＶ放送チューナ、２０…エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）、２１…ネットワークコントローラ、５０…Transcode前の記憶装置、５１、６４…Reader、５２…Demuxer、５３…映像Decoder、６１…映像Encoder、５４…音声Decoder、５５…音声Encoder、５６…スケーラ、５７…Muxer、５８、６５…Writer、５９…Transcode後の記憶装置、６０…インデキシング処理部、６２…ＥＰＧなどの番組情報、６３…インデキシング後処理部、６６…インデキシングデータの記憶装置、９０…副プロセッサ、１００…ビデオ再生アプリケーションプログラム、１１０…復号処理部、１１１…スライスヘッダ処理部、１１２…スライスデータ処理部、１１２Ａ…マクロブロック構文解析処理部、１２０…信号処理部、１２１…信号処理制御部、１２２…マクロブロック信号処理部、１２３…デブロック処理部、２０１…逆量子化部、２０２…逆ＤＣＴ部、２０３…加算部、２０４…モード切替スイッチ部、２０５…イントラ予測部、２０６…重み付き予測部、２０７…動きベクトル予測部、２０８…補間予測部。

Claims (8)

1. 画像情報が第１の符号化方式で符号化された第１符号化データを、第２の符号化方式で符号化された第２符号化データにトランスコードする情報処理装置であって、
   前記第１符号化データを復号化する復号化手段と、
   前記復号化手段が復号化した画像情報に対し、１以上のインデックスを付与して複数のシーンに分割するインデキシング手段と、
   前記復号化手段が復号化した画像情報を、前記インデキシング手段が分割した各シーン毎に異なる画質で符号化して前記第２符号化データに符号化する符号化手段と、
   を具備することを特徴とする情報処理装置。
2. 前記インデキシング手段は、前記画像情報に関連付けられたジャンル情報に基づいてインデックスを付与することを特徴とする請求項１記載の情報処理装置。
3. 前記符号化手段は、各シーン毎にビットレートを設定することを特徴とする請求項１記載の情報処理装置。
4. 前記符号化手段は、音声認識によるキーワード、字幕検出によるキーワード、ＣＭ検出、歓声検出、および顔認識による一致のいずれか１つ以上の情報に基づいて、各シーンの画質を決定することを特徴とする請求項１記載の情報処理装置。
5. 画像情報が第１の符号化方式で符号化された第１符号化データを、第２の符号化方式で符号化された第２符号化データにトランスコードする再符号化方法であって、
   前記第１符号化データを復号化する復号化ステップと、
   前記復号化ステップで復号化された画像情報に対し、１以上のインデックスを付与して複数のシーンに分割するインデキシングステップと、
   前記復号化手段が復号化した画像情報を、前記インデキシング手段が分割した各シーン毎に異なる画質で符号化して前記第２符号化データに符号化する符号化ステップと、
   を有することを特徴とする再符号化方法。
6. 前記インデキシングステップでは、前記画像情報に関連付けられたジャンル情報に基づいてインデックスを付与することを特徴とする請求項５記載の再符号化方法。
7. 前記符号化ステップでは、各シーン毎にビットレートを設定することを特徴とする請求項５記載の再符号化方法。
8. 前記符号化ステップでは、音声認識によるキーワード、字幕検出によるキーワード、ＣＭ検出、歓声検出、および顔認識による一致のいずれか１つ以上の情報に基づいて、各シーンの画質を決定することを特徴とする請求項５記載の再符号化方法。

Images