JP2012034138A - 信号処理装置及び信号処理方法 - Google Patents
信号処理装置及び信号処理方法 Download PDFInfo
- Publication number
- JP2012034138A JP2012034138A JP2010171135A JP2010171135A JP2012034138A JP 2012034138 A JP2012034138 A JP 2012034138A JP 2010171135 A JP2010171135 A JP 2010171135A JP 2010171135 A JP2010171135 A JP 2010171135A JP 2012034138 A JP2012034138 A JP 2012034138A
- Authority
- JP
- Japan
- Prior art keywords
- image
- video signal
- video
- signal processing
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】復号された符号化信号を再び符号化する場合に、2D/3Dの識別情報を継承する信号処理装置及び信号処理方法を提供する。
【解決手段】信号処理装置は、復号手段と、検出手段と、符号手段と、生成手段とを具備する。前記復号手段は、第1の符号化方式で符号化された第1の映像信号を復号する。前記検出手段は、前記第1の映像信号に基づく画像が2D画像か3D画像かを検出する。前記符号手段は、前記第1の映像信号を第2の符号化方式で第2の映像信号に符号化する。前記生成手段は、前記検出手段による検出に基づいて、前記第2の映像信号に付加する2D画像か3D画像かを示す情報を生成する。
【選択図】図7
【解決手段】信号処理装置は、復号手段と、検出手段と、符号手段と、生成手段とを具備する。前記復号手段は、第1の符号化方式で符号化された第1の映像信号を復号する。前記検出手段は、前記第1の映像信号に基づく画像が2D画像か3D画像かを検出する。前記符号手段は、前記第1の映像信号を第2の符号化方式で第2の映像信号に符号化する。前記生成手段は、前記検出手段による検出に基づいて、前記第2の映像信号に付加する2D画像か3D画像かを示す情報を生成する。
【選択図】図7
Description
本発明の実施形態は、映像信号を適応的に処理する信号処理技術に関する。
近年、3D映像(3-dimensional image)の表示が望まれている。BSデジタル放送では、3D放送の提供が開始されようとしている。BSデジタル放送では、MPEG-2 Videoの映像信号で3D放送の提供が開始されようとしている。一方、CS放送では、MPEG-4 AVC(H.264 Video)の映像信号で3D放送の提供が開始されている。そのため、3D映像に対応したテレビジョン受信機、映像記録再生装置が今後普及すると考えられる。
MPEG-4 AVCの映像信号には、映像信号に基づく画像が2D画像であるか3D画像であるかを示す情報(2D/3Dの識別情報と称す)が含まれている。そのため、テレビジョン受信機は、MPEG-4 AVCの映像信号を受信した場合、映像信号に基づく画像の表示形式を2D/3Dに応じて自動で切り替えてモニタに表示できる。
しかしながら、MPEG-2 Videoの映像信号には、2D/3Dの識別情報が含まれていない。そのため、ユーザは、3D放送が始まった後に画像の表示形式を手動で3Dに切り替え、2D放送に戻った後に画像の表示形式を2Dに切り替える必要がある。このような不都合を解消するために、MPEG Videoの映像信号に2D/3Dの識別情報を付加する方式が検討されている。
一方で、従来から、家庭用の映像記録再生装置(HDD(Hard Disk Drive)レコーダなど)は、データ量の多いデジタル放送(MPEG-2 Video)の映像信号をH.264 Videoの映像信号に変換及び圧縮してHDDに記録する方式が増えてきている。したがって、映像記録再生装置は、このように映像信号を高圧縮な映像信号に変換するトランスコーダを搭載している。
しかしながら、トランスコーダがMPEG2 Videoの映像信号を変換及び圧縮した後のH.264 Videoの映像信号をHDDに記録した場合、2D/3Dの識別情報は、H.264 Videoの映像信号からは消失する。これは、トランスコーダがMPEG2 Videoの映像信号に基づく画像部分のみを復号し、その画像をH.264 Videoの画像に符号化するためである。そのため、映像記録再生装置は、トランスコーダで変換された後のH.264 Videoの映像信号に基づく画像が2D画象か3D画像か区別できなくなる。トランスコーダがH.264 Videoの映像信号を変換及び圧縮した後のH.264 Videoの映像信号をHDDに記録する場合も同様である。
そこで、この発明は、復号された符号化信号を再び符号化する場合に、2D/3Dの識別情報を継承する信号処理装置及び信号処理方法を提供することを目的とする。
実施形態によれば、信号処理装置は、復号手段と、検出手段と、符号手段と、生成手段とを具備する前記復号手段は、第1の符号化方式で符号化された第1の映像信号を復号する。前記検出手段は、前記第1の映像信号に基づく画像が2D画象か3D画像かを検出する。前記符号手段は、前記第1の映像信号を第2の符号化方式で第2の映像信号に符号化する。前記生成手段は、前記検出手段による検出に基づいて、前記第2の映像信号に付加する2D画像か3D画像かを示す情報を生成する。
以下、図面を参照して本実施形態について説明する。図1は、第1の実施形態に係る映像記録再生装置1(信号処理装置)の概略構成を示すブロック図である。映像記録再生装置1は、ユーザ操作入力部101、信号受光部102、表示部103、制御モジュール104、メモリ部105、チューナ部106、信号処理モジュール107、ディスクドライブ部108、ハードディスクドライブ部109、合成処理モジュール110、OSD制御モジュール111、ネットワーク部112を備えている。
ユーザ操作入力部101は、映像記録再生装置1に対するユーザ操作が可能である。信号受光部102は、ユーザ操作によりリモートコントローラ102aから送出される信号を受信する。表示部103は、ユーザに対する各種メッセージを表示する。制御モジュール104は、映像記録再生装置1の各構成の動作を制御する。メモリ105は、映像記録再生装置1に関する動作プログラムを保存する。
チューナ部106は、アンテナ3により受信された受信信号から指定されたチャンネルの放送信号を選択する。チューナ部106は、選択された放送信号を信号処理モジュール107へ出力する。信号処理モジュール107は、放送信号に含まれる映像信号及び音声信号をを復号する。その後、信号処理モジュール107は、録画処理が指定されている場合には、映像信号及び音声信号を符号化し、ディスクドライブ部108又はハードディスクドライブ部109へ映像信号及び音声信号を出力する。信号処理モジュール107による映像信号の復号、その後の符号化については、後に詳述する。一方、信号処理モジュール107は、再生処理が指定されている場合には、合成処理モジュール110へ映像信号及び音声信号を出力する。
ディスクドライブ部108は、符号化された映像信号及び音声信号を光ディスク108aへ記録する。ハードディスクドライブ部109は、符号化された映像信号及び音声信号をハードディスクへ記録する。OSD制御モジュール111は、画面に表示するための表示情報を生成し、合成処理モジュール110へ出力する。合成処理モジュール110は、表示情報を映像信号に合成する。合成処理モジュール110は、表示情報を合成した映像信号及び音声信号を映像表示装置2(表示手段)に出力する。ネットワークI/F(Interface) 112は、映像記録再生装置1をインターネットなどの外部ネットワークまたは宅内の内部ネットワークに接続する。
次に、MPEG2 Videoで符号化された3D放送の映像信号について説明する。図2は、MPEG2 Videoで符号化された3D放送の映像信号に基づく画像の一例を示す図である。ここでは、3D放送は、サイドバイサイド(Side-by-Side)方式である。サイドバイサイド方式は、1画像が左半分に左目用画像、右半分に右目用画像で構成された映像信号を放送する方式である。サイドバイサイド方式の映像信号を受信した映像表示装置2は、左目用画像及び右目用画像を画面サイズに拡張して交互に表示する。ユーザは、電子シャッター式メガネにより、左目では左目用画像のみ、右目では右目用画像のみを見ることができる。つまり、3D放送がSide-by-Side方式の場合、映像表示装置2は、1画像から左目用画像及び右目用画像を抽出して表示する。したがって、映像表示装置2は、既存の設備で3D放送を表示できる。
なお、3D放送の方式は、既存の設備の映像表示装置2で表示可能な方式であればサイドバイサイド方式に限られない。3D放送の方式は、ラインバイライン(line by line)方式、トップアンドボトム(top and botom)方式、チェッカーサンプリング方式などであってもよい。
図3は、MPEG2 Videoの映像信号で定義されているビデオシーケンス(video_sequence)のデータ構造を示す図である。ビデオシーケンス内のピクチャレイヤには、ユーザデータ(user_data)が定義されている。ユーザデータは、種々の情報を任意に定義可能なエリアである。ユーザデータは、例えば字幕(クローズドキャプション)の定義に使用されている。
図4は、ユーザデータ内のデータ構造を示す図である。図4では、左列にデータ構造、真ん中の列にそのビット数、右列にそのビット列表記を示している。ユーザデータには、ステレオビデオフォーマットシグナリング(Stereo_Video_Format_Signaling)が定義されている。ステレオビデオフォーマットシグナリングは、映像信号に基づく画像の2D/3Dの識別情報である。
図5は、ステレオビデオフォーマットシグナリングのデータ構造を示す図である。図5では、左列にデータ構造、真ん中の列にビット数、右列にビット列表記を示している。ステレオビデオフォーマットシグナリングには、ステレオビデオフォーマットシグナリング長(Stereo_Video_Format_Signaling_length)及びステレオビデオフォーマットシグナリングタイプ(Stereo_Video_Format_Signaling_length)が定義されている。ステレオビデオフォーマットシグナリング長は、本フィールドより後のバイト長を示す。ステレオビデオフォーマットシグナリングタイプは、画像の形式の種別を示す。
図6は、ステレオビデオフォーマットシグナリングタイプに記録される値と、その値に対応する画像の形式の種別の関係を説明する図である。ステレオビデオフォーマットシグナリングタイプが0000011と記録されていれば、画像は、サイドバイサイド方式の3Dである。ステレオビデオフォーマットシグナリングタイプが0001000と記録されていれば、画像は、2Dである。ステレオビデオフォーマットシグナリングタイプは、他の3D放送の方式毎に上記以外の値が定義され得る。
図7は、第1の実施形態に係る信号処理モジュール107に含まれるトランスコーダ20の構成を示すブロック図である。トランスコーダ20は、録画処理が指定されている場合に、映像信号に基づく画像を復号、その後に符号化する。トランスコーダ20は、デコーダ201、エンコーダ202を備える。第1の実施形態は、MPEG2 Video(第1の符号化方式)の映像信号に基づく画像をH.264 Videoの画像に変換すると共に、MPEG2 Videoの映像信号に含まれる2D/3Dの識別情報をH.264 Video(第2の符号化方式)の映像信号にも承継させる例である。
ここで、H.264 Videoの映像信号について説明する。図8は、H.264 Videoの映像信号の映像ストリームの構成を示す図である。図8の上段は、GOP(Group of pictures)の先頭のアクセスユニットの映像ストリームを示す。図8の下段は、GOPの先頭以外のアクセスユニットの映像ストリームを示す。アクセスユニットには、各SEI(Supplemental Enhancement Information:付加拡張情報)を定義するフレームが含まれている。各SEIには、各種情報が定義されている。H.264 Videoの映像信号は、画像毎にSEIのフレームがアクセスユニットに含まれている。SEIのフレームは、フレーム格納配置SEIを付加している。フレーム格納配置SEIは、当該画像の2D/3Dの識別情報を記録する。
図7に示すように、デコーダ201は、画像復号モジュール2011、GOP構成検出モジュール2012、ユーザデータ検出モジュール2013を備える。画像復号モジュール2011(復号手段)は、MPEG-2 Videoの映像信号に基づく画像を元の画像に復号する。画像復号モジュール2011は、復号した画像をエンコーダ202に出力する。GOP構成検出モジュール2012は、MPEG-2 Videoの映像信号からGOPの構成情報を検出する。GOP構成検出モジュール2012は、検出したGOPの構成情報をエンコーダ202に出力する。
ユーザデータ検出モジュール2013(検出手段)は、MPEG-2 Videoの映像信号に含まれるビデオシーケンスのユーザデータ部分を監視する。ユーザデータ検出モジュール2013は、ユーザデータのステレオビデオフォーマットシグナリングに基づいて、当該画像が2Dであるか3Dであるかを検出する。ユーザデータ検出モジュール2013は、当該画像が3Dの場合、ステレオビデオフォーマットシグナリングに基づく情報(3Dを示す情報及びその方式を示す情報)をエンコーダ202に出力する。なお、ユーザデータ検出モジュール2013は、当該画像が2Dの場合も、2Dであることを示す情報をエンコーダ202に出力してもよい。
エンコーダ202は、画像符号モジュール2021、SEI生成モジュール2022を備える。画像符号モジュール2021(符号手段)は、復号された画像をH.264の画像に符号化する。画像符号モジュール2021は、H.264の画像を出力画像として出力する。SEI生成モジュール2022(生成手段)は、H.264の画像のアクセスユニットに含める各SEIをGOPの構成情報及びステレオビデオフォーマットシグナリングに基づく情報に基づいて生成する。SEI生成モジュール2022は、ステレオビデオフォーマットシグナリングに基づく情報が3Dを示す情報である場合、当該画像のフレーム格納配置SEIに3Dを示す情報及びその方式を示す情報を記録する。なお、SEI生成モジュール2022は、ステレオビデオフォーマットシグナリングに基づく情報が2Dを示す情報である場合、フレーム格納配置SEIに2Dを示す情報を記録してもよい。
第1の実施形態によれば、MPEG-2 Videoの映像信号がH.264 Videoの映像信号へトランスコードされても、2D/3Dの識別情報は消失することなくH.264 Videoの映像信号に継承される。したがって、映像記録再生装置1は、フレーム格納配置SEIに記録された2D/3Dの識別情報に基づいて、ユーザ操作を要することなくH.264 Videoの映像信号に基づく画像を2Dまたは3Dの適切な方式で自動で映像表示装置2に表示制御できる。
次に第2の実施形態について説明する。図9は、第2の実施形態に係るトランスコーダ30の構成を示すブロック図である。映像記録再生装置1の構成は第1の実施形態と同様なので説明を省略する。第2の実施形態は、MPEG-4 AVC(H.264 Video)(第2の符号化方式)の映像信号に基づく画像をH.264 Video(第2の符号化方式)の映像信号に基づく画像に変換すると共に、MPEG-4 AVCの映像信号に含まれる2D/3Dの識別情報をH.264 Videoの映像信号にも承継させる例である。つまり、第2の実施形態は、CS放送またはCATVなどで放送されているMPEG-4 AVCの映像信号をトランスコードする例である。MPEG-4 AVCの映像信号は、図8に示す映像ストリームの構成を含む。
トランスコーダ30は、デコーダ301、エンコーダ302を備える。デコーダ301は、画像復号モジュール3011、GOP構成検出モジュール3012、SEI検出モジュール3013を備える。画像復号モジュール3011は、MPEG-4 AVCの映像信号に基づく画像を元の画像に復号する。GOP構成検出モジュール3012は、MPEG-4 AVCの映像信号の映像ストリームからGOPの構成情報を検出する。SEI検出モジュール3013(検出手段)は、MPEG-4 AVCの映像信号の各画像の映像ストリームに含まれるフレーム格納配置SEI部分を監視する。SEI検出モジュール3013は、画像のフレーム格納配置SEIに記録された2D/3Dの識別情報に基づいて、当該画像が2Dであるか3Dであるかを検出する。SEI検出モジュール3013は、当該画像が3Dの場合、3Dを示す情報をエンコーダ302に出力する。なお、SEI検出モジュール3013は、当該画像が2Dの場合も、2Dを示す情報をエンコーダ302に出力してもよい。
エンコーダ302は、画像符号モジュール3021、SEI生成モジュール3022を備える。画像符号モジュール3021は、復号された画像をH.264 Videoの画像に符号化する。画像符号モジュール3021は、H.264 Videoの画像を出力画像として出力する。SEI生成モジュール3022は、SEI生成モジュール2022と同様に、当該画像のフレーム格納配置SEIに3Dを示す情報及びその方式を示す情報を記録する。なお、SEI生成モジュール3022は、SEI検出モジュール3013が2Dを示す情報を検出した場合、フレーム格納配置SEIに2Dを示す情報を記録してもよい。
第2の実施形態によれば、MPEG-4 AVCの映像信号がH.264 Videoの映像信号へトランスコードされても、2D/3Dの識別情報は消失することなくH.264 Videoの映像信号に継承される。
次に第3の実施形態について説明する。図10は、第3の実施形態に係るトランスコーダ40の構成を示すブロック図である。映像記録再生装置1の構成は第1の実施形態と同様なので説明を省略する。第3の実施形態は、MPEG-2 Video(MPEG-4 AVCであってもよい)の映像信号に基づく画像を判別することで、H.264 Videoの映像信号に基づく画像に変換すると共に、2D/3Dの識別情報をH.264 Videoの映像信号に挿入する例である。
トランスコーダ40は、デコーダ401、エンコーダ402を備える。デコーダ401は、画像復号モジュール4011、GOP構成検出モジュール4012、特徴検出モジュール4013を備える。画像復号モジュール4011は、MPEG-2 Videoの映像信号に基づく画像を元の画像に復号する。GOP構成検出モジュール4012は、MPEG-2 Videoの映像信号からGOPの構成情報を検出する。
特徴検出モジュール4013(検出手段)は、MPEG-2 Videoの映像信号の各画像を監視する。特徴検出モジュール4013は、1画像を構成する左目用画像と右目用画像がほぼ同じか否かを検出する。特徴検出モジュール4013は、左目用画像と右目用画像が所定の確率以上一致すると検出した場合、当該画像がサイドバイサイド方式の3Dであると検出する。なお、特徴検出モジュール4013による1画像を構成する左目用画像と右目用画像の比較方法は、限定されない。特徴検出モジュール4013は、当該画像がサイドバイサイド方式の3Dであると判断した場合、サイドバイサイド方式の3Dを示す情報をエンコーダ402に出力する。なお、特徴検出モジュール4013は、当該画像が2Dの場合も、2Dを示す情報をエンコーダ402に出力してもよい。
エンコーダ402は、画像符号モジュール4021、SEI生成モジュール4022を備える。画像符号モジュール4021は、復号された画像をH.264 Videoの画像に符号化する。画像符号モジュール4021は、H.264 Videoの画像を出力画像として出力する。SEI生成モジュール4022は、SEI生成モジュール2022と同様に、当該画像のフレーム格納配置SEIに3Dを示す情報及びその方式を示す情報を記録する。なお、SEI生成モジュール3022は、特徴検出モジュール4013が2Dを示す情報を検出した場合、フレーム格納配置SEIに2Dを示す情報を記録してもよい。
第3の実施形態によれば、MPEG-2 Videoにステレオビデオフォーマットシグナリングが定義されていない場合であっても、トランスコーダ40が第1または第2の実施形態のようなユーザデータ検出モジュール2013またはSEI検出モジュール3013を備えない場合であっても、MPEG-2 Videoの映像信号を2D/3Dの識別情報を付加したH.264 Videoの映像信号に変換できる。
次に第4の実施形態について説明する。図11は、第4の実施形態に係るトランスコーダ50の構成を示すブロック図である。映像記録再生装置1の構成は第1の実施形態と同様なので説明を省略する。第4の実施形態は、3Dの画像を2Dの画像に、または、2Dの画像を3Dに変換すると共に、2D/3Dの識別情報をH.264 Videoの映像信号に挿入する例である。
トランスコーダ50は、デコーダ501、エンコーダ502を備える。デコーダ501は、画像復号モジュール5011、GOP構成検出モジュール5012、ユーザデータ検出モジュール5013を備える。画像復号モジュール5011、GOP構成検出モジュール5012、ユーザデータ検出モジュール5013は、第1の実施形態の画像復号モジュール2011、GOP構成検出モジュール2012、ユーザデータ検出モジュール2013と同様の構成である。
エンコーダ5021は、画像符号モジュール5021、SEI生成モジュール5022を備える。画像符号モジュール5021(符号手段)は、2D/3D変換モジュール5021a、3D/2D変換モジュール5021bを備える。2D/3D変換モジュール5021aは、2Dの画像を3Dの画像に変換する。3D/2D変換モジュール5021bは、3Dの画像を2Dの画像に変換する。つまり、画像符号モジュール5021は、復号された画像を適応的に2Dの画像または3Dの画像に変換して、H.264 Videoの画像に符号化する。
例えば、画像符号モジュール5021は、ユーザデータ検出モジュール203の検出に基づいて、入力画像が既存の設備の映像表示装置2では表示できない方式の3Dの画像と判断した場合、2Dの画像に変換すると判断する。2D/3D変換モジュール5021aは、2Dの画像を左目用画像及び右目用画像にサイズを縮小し、1画像に結合することで、2Dの画像をサイドバイサイド方式の3Dの画像に擬似的に変換する。なお、2D画像から3D画像への変換方法は、特に限定されない。
例えば、画像符号モジュール5021は、ユーザデータ検出モジュール203の検出に基づいて、入力画像が2Dの画像と判断した場合、3Dの画像に変換すると判断する。3D/2D変換モジュール5021bは、1画像を構成する左目用画像または右目用画像のいずれかのサイズを倍に拡大し、1画面を構成することで、サイドバイサイド方式の3Dの画像を2Dの画像に擬似的に変換する。なお、3D画像から2D画像への変換方法は、特に限定されない。
SEI生成モジュール5022は、ユーザデータ検出モジュール5013が2Dを示す情報を検出したとしても、画像符号モジュール5021が2D画像を3D画像に変換した場合、フォーマット格納配置SEIに3Dを示す情報を記録する。SEI生成モジュール5022は、ユーザデータ検出モジュール5013が3Dを示す情報を検出したとしても、画像符号モジュール5021が3D画像を2D画像に変換した場合、フォーマット格納配置SEIに2Dを示す情報を記録する。
なお、デコーダ501がユーザデータ検出モジュール5013の代わりにSEI検出モジュール3013と同様の構成を備えていれば、デコーダ501は、MPEG-4 AVCの映像信号に含まれる2D/3Dの識別情報を検出できる。したがって、画像符号化モジュール5021は、この2D/3Dの識別情報に基づいて、画像を2Dから3D、3Dから2Dへ変換できる。
第4の実施形態によれば、既存の設備の映像表示装置2では表示できない方式の3Dの画像であっても、3Dの画像を2Dの画像に自動で変換することで、特殊な設備を有さないユーザの利便性が向上する。また、2D画像を3Dの画像に擬似的に自動で変換することで、ユーザの利便性が向上する。なお、これらを組み合わせて、既存の設備の映像表示装置2では表示できない方式の3Dの画像をサイドバイサイド方式などの3Dの画像に変換することもできる。
なお、本実施形態は、MPEG2 Video(またはMPEG-4 AVC)の映像信号に基づく画像をH.264 Videoの画像に変換する例について説明したが、これらの符号化方式は一例である。符号化方式は、H.265などの次世代規格であってもよい。つまり、本実施形態は、第1の符号化方式で符号化された映像信号に基づく画像を第2の符号化方式で符号化された画像に変換する構成であれば適用できる。
なお、本実施形態は、電子シャッター式メガネを用いて視聴する3Dの方式であっても、裸眼で視聴する3Dの方式であっても適用できる。なお、本実施形態は、映像記録再生装置1を一例として説明したが、映像信号に基づく映像を表示する映像表示装置2を一体として備えたテレビジョン受信機であっても、セットトップボックスであっても適用できる。なお、上記したモジュールとは、ハードウェアで実現するものであっても良いし、CPU等を使ってソフトウェアで実現するものであってもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…映像記録再生装置、20…トランスコーダ、201…デコーダ、301…エンコーダ、2011…画像復号モジュール、2012…GOP構成検出モジュール、2013…ユーザデータ検出モジュール、2021…画像符号モジュール、2022…SEI生成モジュール、3013…SEI検出モジュール、4013…特徴検出モジュール、5021a…2D/3D変換モジュール、5021b…3D/2D変換モジュール。
Claims (12)
- 第1の符号化方式で符号化された第1の映像信号を復号する復号手段と、
前記第1の映像信号に基づく画像が2D画像か3D画像かを検出する検出手段と、
前記第1の映像信号を第2の符号化方式で第2の映像信号に符号化する符号手段と、
前記検出手段による検出に基づいて、前記第2の映像信号に付加する2D画像か3D画像かを示す情報を生成する生成手段と、
を備える信号処理装置。 - 前記第1の映像信号は、2D画像か3D画像かを示す情報を備える請求項1の信号処理装置。
- 前記検出手段が前記第1の映像信号に基づく画像が3D画像であると検出した場合、前記生成手段は、3D画像を示す情報を生成する請求項1の信号処理措置。
- 前記検出手段は、前記第1の映像信号に基づく左目用画像と右目用画像が所定の確率以上で一致するか否かを検出する請求項1の信号処理措置。
- 前記検出手段が前記所定の確率以上で一致すると検出した場合、前記符号手段は、3D画像を示す情報を生成する請求項4の信号処理措置。
- 前記検出手段が前記第1の映像信号に基づく画像が2D画像であると検出した場合、前記符号手段は、前記第2の映像信号に基づく画像を3D画像に変換する請求項1の信号処理措置。
- 前記生成手段は、3D画像を示す情報を生成する請求項6の信号処理措置。
- 前記検出手段が前記第1の映像信号に基づく画像が3D画像であると検出した場合、前記符号手段は、前記第2の映像信号に基づく画像を2D画像に変換する請求項1の信号処理措置。
- 前記符号手段は、前記第1の映像信号に基づく右眼用画像または左眼用画像のいずれかを倍の大きさに拡張して前記第2の映像信号に基づく画像に変換する請求項8の信号処理措置。
- 前記生成手段は、3D画像を示す情報を生成する請求項8の信号処理措置。
- 前記第2の映像信号に基づく画像を表示する表示手段を備える請求項1の信号処理装置。
- 第1の符号化方式で符号化された第1の映像信号を復号し、
前記第1の映像信号が2D画像か3D画像かを検出し、
前記第1の映像信号を第2の符号化方式で第2の映像信号に符号化し、
前記検出に基づいて、前記第2の映像信号に付加する2D画像か3D画像かを示す情報を生成する、
信号処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010171135A JP2012034138A (ja) | 2010-07-29 | 2010-07-29 | 信号処理装置及び信号処理方法 |
US13/022,417 US20120027075A1 (en) | 2010-07-29 | 2011-02-07 | Signal Processing Apparatus and Signal Processing Method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010171135A JP2012034138A (ja) | 2010-07-29 | 2010-07-29 | 信号処理装置及び信号処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012096435A Division JP5349638B2 (ja) | 2012-04-20 | 2012-04-20 | 信号処理装置及び信号処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012034138A true JP2012034138A (ja) | 2012-02-16 |
Family
ID=45526684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010171135A Pending JP2012034138A (ja) | 2010-07-29 | 2010-07-29 | 信号処理装置及び信号処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120027075A1 (ja) |
JP (1) | JP2012034138A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9674499B2 (en) | 2012-08-15 | 2017-06-06 | Qualcomm Incorporated | Compatible three-dimensional video communications |
US11611738B2 (en) * | 2018-10-21 | 2023-03-21 | Saras-3D, Inc. | User interface module for converting a standard 2D display device into an interactive 3D display device |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10257525A (ja) * | 1997-03-07 | 1998-09-25 | Sanyo Electric Co Ltd | ディジタル放送受信機 |
JP2004240469A (ja) * | 2002-12-13 | 2004-08-26 | Sharp Corp | 画像データ作成装置およびそのデータを再生する画像データ再生装置 |
JP2005094145A (ja) * | 2003-09-12 | 2005-04-07 | Sharp Corp | 画像記録装置及び画像再生装置 |
JP2006054500A (ja) * | 2004-07-14 | 2006-02-23 | Ntt Docomo Inc | 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置 |
JP2006121553A (ja) * | 2004-10-25 | 2006-05-11 | Sharp Corp | 映像表示装置 |
JP2006352876A (ja) * | 2005-06-14 | 2006-12-28 | Samsung Electronics Co Ltd | 映像送信及び受信方法と装置、及びその伝送ストリーム構造 |
JP2009004984A (ja) * | 2007-06-20 | 2009-01-08 | Fujitsu Microelectronics Ltd | トランスコーダ、映像記憶装置および映像データ記憶・読出方法 |
JP2009513074A (ja) * | 2005-10-19 | 2009-03-26 | トムソン ライセンシング | スケーラブル映像符号化を用いた多視点映像符号化 |
JP2010068315A (ja) * | 2008-09-11 | 2010-03-25 | Mitsubishi Electric Corp | 映像記録装置及び方法、並びに映像再生装置及び方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100828358B1 (ko) * | 2005-06-14 | 2008-05-08 | 삼성전자주식회사 | 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
CN101569203A (zh) * | 2007-07-11 | 2009-10-28 | 松下电器产业株式会社 | 代码转换器、代码转换方法、解码器以及解码方法 |
US8538134B2 (en) * | 2007-10-04 | 2013-09-17 | Samsung Electronics Co., Ltd. | Method and apparatus for receiving and generating image data stream including parameters for displaying local three dimensional image |
US20120242792A1 (en) * | 2009-12-09 | 2012-09-27 | Tao Zhang | Method and apparatus for distinguishing a 3d image from a 2d image and for identifying the presence of a 3d image format by image difference determination |
US20110157322A1 (en) * | 2009-12-31 | 2011-06-30 | Broadcom Corporation | Controlling a pixel array to support an adaptable light manipulator |
US9131033B2 (en) * | 2010-07-20 | 2015-09-08 | Qualcomm Incoporated | Providing sequence data sets for streaming video data |
-
2010
- 2010-07-29 JP JP2010171135A patent/JP2012034138A/ja active Pending
-
2011
- 2011-02-07 US US13/022,417 patent/US20120027075A1/en not_active Abandoned
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10257525A (ja) * | 1997-03-07 | 1998-09-25 | Sanyo Electric Co Ltd | ディジタル放送受信機 |
JP2004240469A (ja) * | 2002-12-13 | 2004-08-26 | Sharp Corp | 画像データ作成装置およびそのデータを再生する画像データ再生装置 |
JP2005094145A (ja) * | 2003-09-12 | 2005-04-07 | Sharp Corp | 画像記録装置及び画像再生装置 |
JP2006054500A (ja) * | 2004-07-14 | 2006-02-23 | Ntt Docomo Inc | 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置 |
JP2006121553A (ja) * | 2004-10-25 | 2006-05-11 | Sharp Corp | 映像表示装置 |
JP2006352876A (ja) * | 2005-06-14 | 2006-12-28 | Samsung Electronics Co Ltd | 映像送信及び受信方法と装置、及びその伝送ストリーム構造 |
JP2009513074A (ja) * | 2005-10-19 | 2009-03-26 | トムソン ライセンシング | スケーラブル映像符号化を用いた多視点映像符号化 |
JP2009004984A (ja) * | 2007-06-20 | 2009-01-08 | Fujitsu Microelectronics Ltd | トランスコーダ、映像記憶装置および映像データ記憶・読出方法 |
JP2010068315A (ja) * | 2008-09-11 | 2010-03-25 | Mitsubishi Electric Corp | 映像記録装置及び方法、並びに映像再生装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US20120027075A1 (en) | 2012-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101602879B1 (ko) | 멀티 디스플레이 시스템을 위한 미디어 처리 방법 및 장치 | |
US9843760B2 (en) | Video stream composed of combined video frames and methods and systems for its generation, transmission, reception and reproduction | |
RU2566968C2 (ru) | Генерирование трехмерного видеосигнала | |
US9235749B2 (en) | Image processing device and image processing method | |
US20100329640A1 (en) | Recording/Reproducing Apparatus | |
US9979961B2 (en) | Image processing device and image processing method | |
KR20130008548A (ko) | 비디오 콘텐츠 처리 장치 및 방법 | |
US10283167B2 (en) | Image decoding device, image decoding method, image encoding device, and image encoding method | |
KR101490005B1 (ko) | 3-차원 비디오 콘텐츠로의 삽입을 위해 2-차원 비디오 콘텐츠를 변환하는 방법 및 장치 | |
CN101366276A (zh) | 数字电视接收器中的快速频道改变 | |
RU2613729C2 (ru) | Чересстрочное 3d видео | |
US8520963B2 (en) | Image processing apparatus, image processing method, and program for processing content based on user viewing situation | |
KR101853504B1 (ko) | 비디오 신호의 보조 데이터 공간에 동기 정보를 추가하여 영상을 동기화하는 장치 및 방법 | |
TWI242371B (en) | Decoder and decoding method | |
JP2012034138A (ja) | 信号処理装置及び信号処理方法 | |
JP5349638B2 (ja) | 信号処理装置及び信号処理方法 | |
US20120113220A1 (en) | Video output device, video output method, reception device and reception method | |
JP2008136211A (ja) | 符号化装置、復号化装置、記録装置、オーディオ/ビデオデータ送信システム | |
JP2008252752A (ja) | 映像情報再生装置及び方法、映像情報再生システム、並びに映像情報再生システムの制御方法 | |
JP4915861B2 (ja) | 映像情報再生システム、並びに映像情報再生システムの制御方法 | |
US20080151068A1 (en) | Image device for capturing still image and control method thereof | |
WO2014002618A1 (ja) | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 | |
KR20100107194A (ko) | 디지털 방송 수신 장치 및 그 영상 데이터 재생 방법 | |
US20130016956A1 (en) | Image processing apparatus and control method thereof | |
KR20020032560A (ko) | 향상된 해상도 디스플레이 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120420 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120427 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20120622 |