JP4367970B2

JP4367970B2 - Receiver

Info

Publication number: JP4367970B2
Application number: JP20258695A
Authority: JP
Inventors: 哲二郎近藤; 泰弘藤森
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-08-08
Filing date: 1995-08-08
Publication date: 2009-11-18
Anticipated expiration: 2015-08-08
Also published as: JPH0951513A

Description

【０００１】
【発明の属する技術分野】
この発明は、放送システムなどに適用して好適な受信装置に関する。詳しくは、画像情報として全方位映像情報を送出できるようにし、受信側では同時に送信された付加情報を選択することで、任意の撮像アングルでの映像や全方位のパンニング映像を自由に選択できるようにして、全方位映像の視聴を可能にしたものである。
【０００２】
【従来の技術】
ディジタル技術の発展に伴い、放送界でも放送信号を含めた各種情報をディジタル化したインタラクティブ形式の統合ディジタル放送システム（ＩＳＤＢ（Integrated Services Digital Broadcasting）システムという）が研究・開発されている。
【０００３】
具体的には、このＩＳＤＢシステムとは現行の放送信号（標準テレビジョン信号、ハイビジョン信号）を始めとして、ソフトウエアやファクシミリなどのデータ、さらには音声、文字、図形、画像などのマルチメディア情報をそれぞれディジタル化（符号化）し、それらを統合多重化した上で、伝送形態に合致した変調処理を施して送受信するようにした放送システムのことである。
【０００４】
放送信号を含めた各種情報を統合多重化する場合、これらの情報の他に受信側での制御情報として使用する付加情報も同時に統合多重化されて送信することができる。統合化されたＩＳＤＢ用放送信号（ディジタル信号）は地上波、衛星波、光ケーブルなどを利用して送信される。
【０００５】
受信端末側では、統合化されたＩＳＤＢ用放送信号を受信して目的の信号を弁別することによってそれをモニタに表示させて通常のテレビ放送として楽しむことができることは勿論、記録手段を用いて記録（保存）したり、他の端末に転送したりすることができる。さらに受信した付加情報を利用すれば、モニタ制御、記録制御さらにはモニタされた画像に対する加工制御など、ユーザの好みに応じて受信情報を利用できることになる。つまり、対話形式（インタラクティブ）の放送システムを構築できる。
【０００６】
【発明が解決しようとする課題】
したがってこのＩＳＤＢシステムを利用すれば、送信される付加情報が多種、多様になる程、ユーザに対するサービス内容が向上し、より双方向的な放送システムを構築できる。
【０００７】
さて、現行の放送システムでは１つのカメラアングルから撮像された映像を視聴するだけであるが、撮像カメラを３６０°回して撮像したパノラマ映像を見たいような場合がある。例えば自然紀行番組で、アフリカやモンゴルのような大草原をテーマとした番組であったり、山頂からの眺望を撮像しているようなときも３６０°の映像を楽しみたい要求にかられることがある。そうするためには、複数台の撮像カメラで撮像した映像を複数のチャネルを使用して同時に送出する必要があるので、現行放送システムではその要求に応えることはできない。これはいわば受動的・一方的なシステムであるからである。
【０００８】
複数チャネルを使用して同時にそれぞれのカメラアングルからの映像を送り、視聴者側でそれらから任意の映像を選択できれば、希望するアングルの映像を充分堪能できるばかりか、３６０°の大パノラマ映像をパンニング映像として楽しむことができ、取材現場と同じ臨場感に溢れた映像を視聴者自らの手で制作できる。
【０００９】
そこで、この発明はこのような課題を達成できるようにしたものであって、画像情報の１つとして全方位映像情報を送出し、一方視聴者側ではその映像を選択することによってパンニング映像などの全方位映像を楽しむことができるようにした受信装置を提案するものである。
【００１２】
【課題を解決するための手段】
請求項１に記載したこの発明に係る受信装置では、０°〜３６０°を撮像範囲とする全方位映像情報のうちの各々異なる角範囲に対応する複数の映像情報が符号化された複数の符号化情報と、複数の映像情報の各々を識別する複数の識別情報を有する付加情報が符号化された符号化付加情報とが多重化されて送信される放送信号を受信する装置であって、上記放送信号を受信して選局する選局手段と、上記選局手段により選局された上記特定の放送信号を少なくとも複数の符号化情報、及び符号化付加情報に分離する信号分離手段と、上記複数の符号化情報の各々を復号して０°〜３６０°を撮像範囲とする全方位映像情報のうちの各々が異なる角範囲に対応する複数の映像情報を出力する複数の復号手段と、上記符号化付加情報を復号して上記複数の映像情報を各々識別する複数の識別情報を有する付加情報を出力する付加情報復号手段と、付加情報復号手段により出力された上記付加情報を参照し、かつ、入力される制御信号に応じて上記複数の映像情報を選択的にテレビモニタに出力するように制御する制御手段とを備え、上記複数の復号手段は、少なくとも、第１の符号化情報を復号して全方位映像情報のうちの第１の角範囲に対応する第１の映像情報を出力する第１の復号手段と、第２の符号化情報を復号して全方位映像情報のうちの第２の角範囲に対応する第２の映像情報を出力する第２の復号手段と、第３の符号化情報を復号して全方位映像情報のうちの第３の角範囲に対応する第３の映像情報を出力する第３の復号手段とを有し、上記付加情報復号手段は、上記符号化付加情報を復号して少なくとも上記第１、上記第２、及び上記第３の映像情報を識別する第１、第２、及び第３の識別情報を有する上記付加情報を出力し、上記制御手段は、上記第１、上記第２、及び上記第３の識別情報を有する上記付加情報を参照し、かつ、入力される制御信号に応じて上記第１、上記第２、及び上記第３の映像情報を選択的にテレビモニタに出力するように制御し、少なくとも、上記第１、上記第２、及び上記第３の識別情報に対応するメニュー画面をテレビモニタに出力するように制御し、更に、パンニングモードを示すメニュー画面をテレビモニタに出力するように制御し、外部から少なくとも上記第１、上記第２、及び上記第３の識別情報のうちの一の識別情報を選択する選択信号が入力されたとき、上記メモリ手段に一時的に記憶される上記一の識別情報に対応する映像情報を上記テレビモニタに出力するように制御し、外部から上記パンニングモードを選択する選択信号が入力されたとき、上記メモリ手段に一時的に記憶される少なくとも上記第１、上記第２、及び上記第３の映像情報を、読み出し位置が水平方向に徐々にシフトされるようにして読み出して上記テレビモニタに出力するように制御する。
【００１４】
請求項２に記載したこの発明に係る受信装置において、上記第１、上記第２、及び上記第３の映像情報は、同じ撮像アングルを有するカメラにより、当該順に互いに隣接する角範囲が撮像された映像情報である。
請求項３に記載したこの発明に係る受信装置において、少なくとも、上記第１、上記第２、及び上記第３の復号手段により復号された上記第１、上記第２、及び上記第３の映像情報を一時的に記憶するメモリ手段を備え、上記制御手段は、入力される制御信号に応じて、上記メモリ手段に一時的に記憶される少なくとも上記第１、上記第２、及び上記第３の映像情報を選択的にテレビモニタに出力するように制御する。
請求項４に記載したこの発明に係る受信装置において、上記制御手段に対して上記一の識別情報或いは上記パンニングモードを選択する制御信号を送信するリモートコントロール装置を備える。
請求項５に記載したこの発明に係る受信装置において、上記第１の復号手段は、上記第１の映像情報と共に符号化された、指向性マイクにより集音された第１の音声信号も復号し、上記第２の復号手段は、上記第２の映像情報と共に符号化された、指向性マイクにより集音された第２の音声信号も復号し、上記第３の復号手段は、上記第３の映像情報と共に符号化された、指向性マイクにより集音された第３の音声信号も復号し、上記制御手段は、上記選択的に出力される映像情報に対応する上記音声信号を出力するように制御する。
請求項６に記載したこの発明に係る受信装置において、上記複数の識別情報は、上記複数の映像情報を各々撮像したカメラを識別する識別情報である。
請求項７に記載したこの発明に係る受信装置において、上記複数の識別情報は、上記複数の映像情報を撮像したカメラの撮像アングルを識別する識別情報である。
【００１５】
付加情報として用いられる識別子などによってその映像は、どのカメラアングルから撮られた映像であるかを認識できるので、識別子などを指定することで特定のカメラアングルからの映像を選択・表示できる。カメラアングルを特定の方向からパンニングするように識別子を選択すればパンニングした全方位映像を楽しむことができる。
【００１６】
撮像アングルは互いにオーバーラップするように撮像されているので、左右の映像の連続性がくずれることもないので、パンニング映像に適している。撮像カメラの切り替えと同時に音声の切り替えも行なわれるのでその映像にふさわしい音を聴取できる。
【００１７】
【発明の実施の形態】
続いて、この発明に係る受信装置の実施の一形態を、図面を参照して詳細に説明する。
【００１８】
図１はこの発明に係るＩＳＤＢ用送信装置１０の一形態を示す要部の系統図であって、本例では説明の便宜上統合されて送信されるメイン情報としては、標準テレビジョン信号と、同一番組を複数のチャネルを使用して伝送する多チャネル多重番組の放送信号であるものとする。そのそれぞれには制御情報などの付加情報が付加されて多重化される。付加情報は多種多様な情報が考えられる。標準テレビジョン信号に関してはタイムコードなどが考えられる。
【００１９】
図１を参照すると、端子１２ａには標準テレビジョン信号のうち映像信号ＳＮＶが、端子１２ｂにはそれに付随した音声信号ＳＮＡが供給され、符号化部１４で圧縮などを含めた適切な符号化処理が施される。この符号化処理に同期して付加情報発生手段１６が動作して、制御情報などの付加情報が生成される。本例では付加情報としてタイムコードを例示するので、タイムコード発生部１６として構成される。符号化された標準テレビジョン信号およびタイムコードＴＣは多重化部２０に供給されて他の情報と共に多重化処理がなされる。
【００２０】
ソース例としては標準テレビジョン信号の他に全方位映像情報がある。全方位映像とは図２に示すように、０°〜３６０°の全範囲を撮像範囲とするもので、本例では３６０°の範囲がｎ等分される。図２の例では３等分され、ほぼ１２０°角範囲がカメラアングル（撮像アングル）となる。３等分は一例であって、ｎは多い方が好ましい。
【００２１】
ｎ等分したそれぞれの位置で撮像情報を得るには、最も簡単な例としては３台の撮像カメラを用意し、図２のように例えばＡカメラでは０°から１２０°の角範囲を撮像し、Ｂカメラは同一地点で１２０°から２４０°の角範囲を撮像する。同様にＣカメラは同じ地点で２４０°から３６０°の角範囲を撮像する。カメラアングルは実際には図３のように所定の角範囲Ｌ（５°〜１０°の範囲）だけ隣接撮像カメラ間でオーバーラップさせて撮像される。一部撮像されていない区域が発生しないようにするためである。
【００２２】
３台のカメラで撮像されたその分割映像素材ＳＡ，ＳＢ，ＳＣは図１に示す符号化部２２Ａ，２２Ｂ，２２Ｃで上述したと同じ符号化処理が施される。分割映像素材ＳＡ，ＳＢ，ＳＣはそれぞれ映像信号ＳＡＶ，ＳＢＶ，ＳＣＢと対応する音声信号ＳＡＡ，ＳＢＡ，ＳＣＡで構成され、音声信号は指向性の強いマイクで集音されたものが使用される。カメラアングルに最適な音声信号とするためである。
【００２３】
端子２４にはこれら複数の分割映像素材ＳＡ，ＳＢ，ＳＣに対する付加情報が供給される。この付加情報とは各撮像カメラＡ，Ｂ，Ｃを識別するための識別子（Ａカメラ，Ｂカメラ，Ｃカメラなど）、各撮像カメラのカメラアングルθ（時計方向を基準としたときのそれぞれの撮像角範囲）、パンニング方向、パンイング速度などである。オーバーラップ角は均等にオーバーラップさせているので、画面の繋ぎ目はその１／２の角位置となる。これらの付加情報は上述した分割映像素材と同期して符号化部２６に供給されてディジタル化される。
【００２４】
それぞれから得られた符号化情報や付加情報はそれぞれ図１に示す多重化部２０において多重される。多重化部２０では、例えば符号化情報のそれぞれに対してパケット化し、それに誤り訂正のための符号化を施したもの同士を伝送フレーム単位で多重してビットストリーム化するような処理が行なわれる。上述した付加情報やメイン情報の種別などはパケット化するときそのヘッダ（パケットヘッダ）に挿入するか、非映像期間（ブランキング期間など）に挿入することができる。
【００２５】
多重化したデータは送信部３４で送信手段（例えば放送衛星）に適した送信形態となされたＩＳＤＢ用放送信号に変調されたのち、この例ではアップコンバータ３６を経て送信アンテナ（パラボラアンテナ）３８で放送衛星に向けて送信される。
【００２６】
図４は上述したようなＩＳＤＢ用放送信号を受信するこの発明に係る受信装置４０の一例を示す。
【００２７】
受信アンテナ（パラボラアンテナ）４２で受信した衛星波はダウンコンバータ４４によって１ＧＨｚ帯にダウンコンバートされ、その後ＩＳＤＢ用チューナ４６に供給されて選局処理が行なわれる。そのため端子４８よりの選局信号ＳＣによって文字放送を含めた特定チャネルのＩＳＤＢ用放送信号が選局される。
【００２８】
選局されたＩＳＤＢ用放送信号は信号分離部５０に供給されて、本来のメイン情報と付加情報に分離される。例えば標準テレビジョン信号のうち特定のチャネルが選局されたときには、標準テレビジョン信号とこの特定チャネルに付随する付加情報（タイムコードなど）とに分離される。
【００２９】
分離されたメイン情報は復号部５２（５２Ａ）に供給されて復号処理が行なわれる。その後切り替えスイッチ５４を介してモニタ５６に供給されて映像が映し出される。
【００３０】
メイン情報として上述した全方位映像素材を取り扱う場合であって、カメラアングルが３分割されているときは、少なくともさらに３つの復号部５２Ｂ，５２Ｃ，５２Ｄが必要である。そしてそれらの復号された映像素材のうち映像信号は画面合成用のメモリ手段５８において一時的に蓄えられる。メモリ手段５８を使用することによって定められたカメラアングルの映像の他に、任意のカメラアングルでの映像をモニタ５６に映し出すことができる。この点については後述する。メモリ手段５８としてはアクセスの速い半導体メモリ（ＲＡＭなど）が好適である。
【００３１】
復号された映像素材のうち音声信号は音声処理部６０に供給されて、分離・合成などの音声処理が施されて、単一チャネルの音声信号若しくは複数チャネルを用いた合成音声信号などとして出力される。この出力音声信号と上述した画像合成後の映像信号が切り替えスイッチ５４に供給されて復号部５２Ａからの映像素材とのスイッチングが行なわれる。したがってあるときは全方位映像素材が選択されて映し出される。
【００３２】
信号分離部５０で分離された付加情報は専用の復号部６２で復号された後メモリ手段５８と制御部６４とに供給される。そして、得られた付加情報を参照しながら制御部６４からの制御信号に基づいてメモリ手段５８に対するデータ読み出し制御がなされ、また音声処理部６０での音声処理制御が実行される。切り替えスイッチ５４は制御部６４の出力で制御される。
【００３３】
マイコンで構成された制御部６４はコマンダ６８からのリモコン制御によって表示モードを変更したり、モニタ内容を選択するための制御信号が生成される。コマンダ６８は例えば図５に示すように電源スイッチ７０の他、チャネル選局用のテンキー（１０キー）７２、順次選局スイッチ７４、ボリュームスイッチ７６が設けられ、さらにモニタ６０に対する表示モード選択スイッチ７８が設けられる。カーソルキー８０は画面に表示されたカーソルＫ（図６参照）を移動させるキーであって、撮像カメラの指定などに使用される。
【００３４】
上述したメモリ手段５８では制御部６４の介在の下で以下のような画像処理が行なわれるが、その処理例はあくまで一例であって、提示例に制限されるものではない。
【００３５】
標準テレビジョン信号などを表示しているときは今まで通りの１画面表示となるので、その復号出力はメモリ手段５８を介すことなく直接切り替えスイッチ５４に供給される。
【００３６】
表示モード選択スイッチ７８を使用して全方位映像が可能な多チャネル多重番組（全方位表示モード）が選択されたときは、図６のように画面上に合成表示されたメニュー画面Ｍを見ながら付加情報の選択が行なわれる。付加情報として撮像カメラを例示すると、図６のように使用された撮像カメラがカメラアングルの順序で表示される。
【００３７】
カーソルＫによって例えば「Ａ」をクリックすると、Ａカメラで撮像された映像Ａ′（図３）が選択表示される。ユーザが準にＡ→Ｂ→Ｃと選択すると、Ａカメラで撮像された映像Ａ′がＢカメラの映像Ｂ′に切り替わり、その後Ｃカメラの映像Ｃ′に自動的に切り替わる。これで１２０°ずつ方位を変えた３６０°のパノラマ映像を楽しむことができる。
【００３８】
またメニュー画面ＭからパンニングモードＰを選択すると、メモリ手段５８からのデータ読み出し状態が制御されて全方位のパンニング映像となる。ここに、パンニングとは撮像しながらカメラの方向を水平に一定速度で旋回させる撮像手法のことである。
【００３９】
パンニングモードＰが選択されると、Ａカメラの映像Ａ′からＢカメラの映像Ｂ′へと水平方向に切り替えられるように、読み出される水平位置が徐々にパンニング方向にシフトされる。この読み出し動作がＣカメラの映像Ｃ′の最後の映像データまで続けられる。
【００４０】
このような映像データに対する読み出しを行なうことによって起点から３６０°の方向にパノラマ映像を楽しむことができる。隣接撮像カメラ間では所定のオーバーラップＬを設けているので、パンニング時一部撮像されていない区域が存在するようなことはなくなる。したがって映像Ａ′とＢ′との間、Ｂ′とＣ′との間のように映像が切り替わるところでもスムーズなパンニング映像が得られることになる。オーバーラップ区間は補間処理してデータを出力させてもよい。
【００４１】
メモリ手段５８に対する読み出し方向を逆にすればパンニング方向を逆転したパンニング映像が得られるので、別の楽しみ方が可能である。パンニングの読み出し速度を可変することによっても面白い映像を楽しむことができるから色々な楽しみ方をユーザ自らの手で開発できる。
【００４２】
映像のパンニングと同時に音声処理部６０が制御されてその映像に即した音声信号が出力されるから、臨場感溢れる音場を実現できる。したがってこのパンニング映像は草原や山頂、海岸、船上、飛行機からの映像などのとき、特に威力を発揮する。これらのパンニングのひな型を予め数種類用意しておき、これをユーザが選択するようにソフトウエアを構成することもできる。
【００４３】
【発明の効果】
以上のように、この発明に係る受信装置では、放送信号の一態様として、全方位映像素材が付加情報と共に送信され、受信側では映像素材を選択するか、若しくは逐次映像素材を連続的に選択して映し出すことができるようにしたものである。
【００４４】
これによれば、カメラアングルごとの全方位映像を切り替えながら楽しむことができるのは勿論のこと、メモリ手段でのデータ読み出しを工夫することで、パンニング手法をソフトウエアによって実現できるから、特に草原や山頂、海岸、船上、飛行機からユーザ自身で３６０°旋回して景色を楽しむごとき映像映出が可能になる。したがって今までには得られないユーザ参加型のテレビ放送を享受できる特徴を有するので、この発明はディジタル放送用のＩＳＤＢシステムに適用して極めて好適である。
【図面の簡単な説明】
【図１】この発明に係るＩＳＤＢ用送信装置の実施の一形態を示す要部の系統図である。
【図２】全方位映像の説明図である。
【図３】カメラアングルと撮像範囲との関係を示す図である。
【図４】この発明に係るＩＳＤＢ用受信装置の実施の一形態を示す要部の系統図である。
【図５】コマンダの具体例を示す構成図である。
【図６】メニュー表示例を示す図である。
【符号の説明】
１０ＩＳＤＢ用送信装置
１４，２２Ａ〜２２Ｃ符号化部
１６，タイムコード発生部
２０多重化部
４６ＩＳＤＢ用チューナ
５２，６２復号部
５８画面合成部
５６モニタ
６４制御部[0001]
BACKGROUND OF THE INVENTION
This invention relates to a suitable receiving device and applied to a broadcasting system. Specifically, it is possible to send omnidirectional video information as image information, and by selecting additional information transmitted simultaneously on the receiving side, it is possible to freely select a video at an arbitrary imaging angle or an omnidirectional panning video. Thus, it is possible to view an omnidirectional video.
[0002]
[Prior art]
With the development of digital technology, an interactive integrated digital broadcasting system (referred to as an ISDB (Integrated Services Digital Broadcasting) system) in which various kinds of information including broadcast signals are digitized is being researched and developed.
[0003]
More specifically, the ISDB system is used for not only current broadcast signals (standard television signals, high-definition signals), but also software and facsimile data, as well as multimedia information such as voice, text, graphics, and images. It is a broadcasting system in which each is digitized (encoded), integrated and multiplexed, and then subjected to modulation processing matching the transmission form to be transmitted and received.
[0004]
When various types of information including broadcast signals are integrated and multiplexed, in addition to these pieces of information, additional information used as control information on the receiving side can also be integrated and multiplexed at the same time. The integrated ISDB broadcast signal (digital signal) is transmitted using ground waves, satellite waves, optical cables, or the like.
[0005]
On the receiving terminal side, it is possible to receive the integrated ISDB broadcast signal, discriminate the target signal, display it on the monitor and enjoy it as a normal television broadcast. (Save) or transfer to another terminal. Further, if the received additional information is used, the received information can be used according to the user's preference, such as monitor control, recording control, and processing control on the monitored image. That is, an interactive broadcasting system can be constructed.
[0006]
[Problems to be solved by the invention]
Therefore, if this ISDB system is used, the service content for the user improves as the additional information to be transmitted becomes more diverse, and a more interactive broadcasting system can be constructed.
[0007]
Now, in the current broadcasting system, only the video captured from one camera angle is viewed, but there are cases where it is desired to view a panoramic video captured by rotating the imaging camera 360 °. For example, in a natural travel program, such as a program on the theme of a prairie like Africa or Mongolia, or when shooting a view from the top of a mountain, you may be asked to enjoy 360 ° video. . In order to do so, it is necessary to simultaneously send out images captured by a plurality of imaging cameras using a plurality of channels, and the current broadcasting system cannot meet the demand. This is because it is a passive and unilateral system.
[0008]
If you can use multiple channels to send video from each camera angle at the same time and the viewer can select any video from them, you can fully enjoy the video at the desired angle and pan the 360 ° panoramic video It can be enjoyed as a video, and viewers can create videos with the same realism as the interview site.
[0009]
Therefore, the present invention is made to achieve such a problem, and sends out omnidirectional video information as one of the image information, while the viewer side selects the video to obtain panning video or the like. It proposes a receiving apparatus that can enjoy the omnidirectional image.
[0012]
[Means for Solving the Problems]
In the receiving apparatus according to the first aspect of the present invention, a plurality of codes obtained by encoding a plurality of pieces of video information corresponding to different angular ranges of the omnidirectional video information having an imaging range of 0 ° to 360 °. An apparatus for receiving a broadcast signal transmitted by multiplexing multiplexed information and encoded additional information obtained by encoding additional information having a plurality of pieces of identification information for identifying each of a plurality of video information, Channel selection means for receiving and selecting a broadcast signal; signal separation means for separating the specific broadcast signal selected by the channel selection means into at least a plurality of encoded information and encoded additional information; and A plurality of decoding means for decoding a plurality of pieces of encoded information and outputting a plurality of pieces of video information each corresponding to a different angular range of the omnidirectional video information having an imaging range of 0 ° to 360 °; Decode encoded additional information Additional information decoding means for outputting additional information having a plurality of pieces of identification information for identifying a plurality of pieces of video information, and referring to the additional information output by the additional information decoding means, and according to an input control signal Control means for selectively outputting the plurality of video information to a television monitor, wherein the plurality of decoding means decode at least the first encoded information to First decoding means for outputting first video information corresponding to the first angular range; and second corresponding to the second angular range of the omnidirectional video information by decoding the second encoded information. Second decoding means for outputting the video information, and third decoding for decoding the third encoded information and outputting the third video information corresponding to the third angular range of the omnidirectional video information And the additional information decoding means includes the encoding Decoding the additional information and outputting the additional information having the first, second, and third identification information for identifying at least the first, second, and third video information; , Referring to the additional information having the first, the second, and the third identification information, and according to the input control signal, the first, the second, and the third video information. Is selectively output to the television monitor, and at least the menu screens corresponding to the first, second, and third identification information are output to the television monitor, and further panning is performed. A menu screen indicating the mode is controlled to be output to the television monitor, and a selection signal for selecting at least one of the first, second, and third identification information is input from the outside. When the above memory The video information corresponding to the one identification information temporarily stored in the stage is controlled to be output to the television monitor, and when the selection signal for selecting the panning mode is input from the outside, the memory means Control is performed so that at least the first, second, and third video information stored temporarily is read and output to the television monitor so that the reading position is gradually shifted in the horizontal direction. .
[0014]
In the receiving device according to the second aspect of the present invention, in the first, second, and third video information, angular ranges adjacent to each other in that order are imaged by a camera having the same imaging angle. Ru video information der.
4. The receiving apparatus according to claim 3 , wherein at least the first, second, and third video information decoded by the first, second, and third decoding means. Memory means for temporarily storing the at least first, second and third video images temporarily stored in the memory means in response to an input control signal. that controls so that the information selectively output to the television monitor.
In the receiving apparatus according to the invention described 請 Motomeko 4, Ru provided with a remote control device for transmitting a control signal for selecting the identification information or the panning mode the one with respect to the control means.
6. The receiving apparatus according to claim 5 , wherein the first decoding means also decodes the first audio signal collected together with the first video information and collected by a directional microphone. The second decoding means also decodes the second audio signal collected together with the second video information and collected by the directional microphone, and the third decoding means The third audio signal collected by the directional microphone encoded with the video information is also decoded, and the control means outputs the audio signal corresponding to the selectively output video information. you control.
In the receiving apparatus according to the invention described in claim 6, the plurality of identification information, Ru identification information der identifying the camera each captured the plurality of video information.
In the receiving apparatus according to the invention described in claim 7, said plurality of identification information, Ru identification information der identifying the imaging angle of the camera that captured the plurality of video information.
[0015]
Since it is possible to recognize from which camera angle the video is taken by an identifier or the like used as additional information, it is possible to select and display a video from a specific camera angle by designating the identifier or the like. If the identifier is selected so that the camera angle is panned from a specific direction, the panned omnidirectional video can be enjoyed.
[0016]
Since the imaging angles are imaged so as to overlap each other, the continuity of the left and right images is not lost, which is suitable for panning images. The sound is switched simultaneously with the switching of the imaging camera, so that the sound suitable for the video can be heard.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Subsequently, an embodiment of the engagement Ru receiving device according to the present invention will be described in detail with reference to the drawings.
[0018]
FIG. 1 is a system diagram of a main part showing an embodiment of an ISDB transmitting apparatus 10 according to the present invention. In this example, the main information transmitted in an integrated manner is the same as that of a standard television signal. It is assumed that it is a broadcast signal of a multi-channel multiplex program that transmits a program using a plurality of channels. Additional information such as control information is added to each of them for multiplexing. Various kinds of additional information can be considered. For a standard television signal, a time code can be considered.
[0019]
Referring to FIG. 1, the video signal SNV of the standard television signal is supplied to the terminal 12a, and the audio signal SNA associated therewith is supplied to the terminal 12b. The encoding unit 14 performs appropriate encoding processing including compression and the like. Is given. In synchronization with this encoding process, the additional information generating means 16 operates to generate additional information such as control information. In this example, a time code is illustrated as additional information, and thus the time code generating unit 16 is configured. The encoded standard television signal and time code TC are supplied to the multiplexing unit 20 and multiplexed together with other information.
[0020]
Examples of sources include omnidirectional video information in addition to standard television signals. As shown in FIG. 2, the omnidirectional video is an imaging range of the entire range from 0 ° to 360 °. In this example, the 360 ° range is divided into n equal parts. In the example of FIG. 2, it is divided into three equal parts, and a camera angle (imaging angle) is approximately 120 ° angle range. The three equal parts are an example, and it is preferable that n is large.
[0021]
In order to obtain imaging information at each n-divided position, the simplest example is to prepare three imaging cameras. For example, the A camera captures an angular range from 0 ° to 120 ° as shown in FIG. The B camera captures an angular range of 120 ° to 240 ° at the same point. Similarly, the C camera captures an angular range of 240 ° to 360 ° at the same point. As shown in FIG. 3, the camera angle is actually imaged by overlapping between adjacent imaging cameras by a predetermined angular range L (range of 5 ° to 10 °). This is to prevent an area that is not partly imaged from occurring.
[0022]
The divided video materials SA, SB, and SC imaged by the three cameras are subjected to the same encoding process as described above by the encoding units 22A, 22B, and 22C shown in FIG. The divided video materials SA, SB, and SC are composed of audio signals SAA, SBA, and SCA corresponding to the video signals SAV, SBV, and SCB, respectively, and the audio signals collected by a highly directional microphone are used. This is because the audio signal is optimal for the camera angle.
[0023]
Additional information for the plurality of divided video materials SA, SB, and SC is supplied to the terminal 24. This additional information is an identifier (A camera, B camera, C camera, etc.) for identifying each of the imaging cameras A, B, and C, and the camera angle θ of each imaging camera (each imaging with respect to the clockwise direction). Angle range), panning direction, panning speed, etc. Since the overlap angle is uniformly overlapped, the joint of the screen is a half of the corner position. The additional information is supplied to the encoding unit 26 in synchronization with the above-described divided video material and digitized.
[0024]
The encoded information and additional information obtained from each are multiplexed in the multiplexing unit 20 shown in FIG. In the multiplexing unit 20, for example, a process is performed in which each piece of encoded information is packetized and multiplexed for error correction is multiplexed in units of transmission frames to form a bit stream. The types of additional information and main information described above can be inserted into a header (packet header) when packetized or inserted into a non-video period (such as a blanking period).
[0025]
The multiplexed data is modulated by the transmission unit 34 into an ISDB broadcast signal having a transmission form suitable for transmission means (for example, a broadcasting satellite), and in this example, the data is multiplexed by an up-converter 36 and a transmission antenna (parabolic antenna) 38. Sent to the broadcasting satellite.
[0026]
FIG. 4 shows an example of the receiving apparatus 40 according to the present invention for receiving the ISDB broadcast signal as described above.
[0027]
The satellite wave received by the receiving antenna (parabolic antenna) 42 is down-converted to a 1 GHz band by the down converter 44 and then supplied to the ISDB tuner 46 for channel selection processing. Therefore, the ISDB broadcast signal of a specific channel including the character broadcast is selected by the channel selection signal SC from the terminal 48.
[0028]
The selected ISDB broadcast signal is supplied to the signal separation unit 50 and separated into original main information and additional information. For example, when a specific channel of a standard television signal is selected, the standard television signal and additional information (time code or the like) associated with the specific channel are separated.
[0029]
The separated main information is supplied to the decoding unit 52 (52A) to be decoded. Thereafter, the video is supplied to the monitor 56 via the changeover switch 54 and displayed.
[0030]
When the omnidirectional video material described above is handled as the main information and the camera angle is divided into three, at least three more decoding units 52B, 52C, and 52D are required. Of these decoded video materials, the video signal is temporarily stored in the memory means 58 for screen synthesis. In addition to the camera angle image determined by using the memory means 58, an image at an arbitrary camera angle can be displayed on the monitor 56. This point will be described later. As the memory means 58, a fast-access semiconductor memory (RAM or the like) is suitable.
[0031]
Of the decoded video material, an audio signal is supplied to the audio processing unit 60, subjected to audio processing such as separation / synthesis, and output as a single channel audio signal or a synthesized audio signal using a plurality of channels. The The output audio signal and the video signal after the above-described image synthesis are supplied to the changeover switch 54, and switching between the video material from the decoding unit 52A is performed. Therefore, in some cases, the omnidirectional video material is selected and displayed.
[0032]
The additional information separated by the signal separation unit 50 is decoded by a dedicated decoding unit 62 and then supplied to the memory means 58 and the control unit 64. Then, referring to the obtained additional information, the data reading control for the memory means 58 is performed based on the control signal from the control unit 64, and the voice processing control in the voice processing unit 60 is executed. The changeover switch 54 is controlled by the output of the control unit 64.
[0033]
The control unit 64 constituted by a microcomputer generates a control signal for changing the display mode or selecting the monitor contents by remote control from the commander 68. For example, as shown in FIG. 5, the commander 68 is provided with a channel selection numeric keypad (10 key) 72, a channel selection switch 74, and a volume switch 76 in addition to a power switch 70, and a display mode selection switch 78 for the monitor 60. Is provided. The cursor key 80 is a key for moving a cursor K (see FIG. 6) displayed on the screen, and is used for designating an imaging camera.
[0034]
In the memory means 58 described above, the following image processing is performed under the intervention of the control unit 64. However, the processing example is merely an example and is not limited to the presentation example.
[0035]
When a standard television signal or the like is being displayed, the screen display is the same as before, and the decoded output is directly supplied to the changeover switch 54 without passing through the memory means 58.
[0036]
When a multi-channel multiplexed program (omnidirectional display mode) capable of omnidirectional video is selected using the display mode selection switch 78, the menu screen M synthesized and displayed on the screen as shown in FIG. 6 is viewed. Selection of additional information is performed. If an imaging camera is illustrated as additional information, the imaging camera used as shown in FIG. 6 is displayed in the order of camera angles.
[0037]
When, for example, “A” is clicked with the cursor K, the image A ′ (FIG. 3) captured by the A camera is selectively displayed. When the user selects A → B → C, the video A ′ captured by the A camera is switched to the video B ′ of the B camera, and then automatically switched to the video C ′ of the C camera. With this, it is possible to enjoy 360 ° panoramic video with the direction changed by 120 °.
[0038]
Further, when the panning mode P is selected from the menu screen M, the state of reading data from the memory means 58 is controlled, and an omnidirectional panning video is obtained. Here, panning is an imaging technique in which the direction of the camera is rotated horizontally at a constant speed while imaging.
[0039]
When the panning mode P is selected, the horizontal position to be read is gradually shifted in the panning direction so as to switch from the video A ′ of the A camera to the video B ′ of the B camera. This reading operation is continued until the last video data of the video C ′ of the C camera.
[0040]
By reading out such video data, a panoramic video can be enjoyed in a direction of 360 ° from the starting point. Since a predetermined overlap L is provided between adjacent imaging cameras, there is no possibility that there is an area that is not partly imaged during panning. Therefore, a smooth panning image can be obtained even when the image is switched between the images A ′ and B ′ and between the images B ′ and C ′. The overlap section may be subjected to interpolation processing to output data.
[0041]
If the reading direction with respect to the memory means 58 is reversed, a panning image in which the panning direction is reversed can be obtained, so that another way of enjoying is possible. By changing the panning readout speed, it is possible to enjoy an interesting video, and various ways of enjoying it can be developed by the user.
[0042]
Simultaneously with the panning of the video, the audio processing unit 60 is controlled and an audio signal corresponding to the video is output, so that a sound field full of presence can be realized. Therefore, this panning image is particularly effective when it is an image from a grassland, mountain top, coast, shipboard, or airplane. It is also possible to prepare several types of panning templates in advance and configure the software so that the user selects them.
[0043]
【The invention's effect】
As described above, in the engagement Ru receiving device according to the present invention, as one embodiment of a broadcast signal, the omnidirectional image material is sent with the additional information, successively choose the image material, or sequential video material at the receiving end It can be selected and projected.
[0044]
According to this, it is possible to enjoy while switching omnidirectional video for each camera angle, and by devising data reading in the memory means, the panning method can be realized by software. It is possible to display a video when the user turns 360 degrees from the mountain top, the coast, the ship, or the airplane to enjoy the scenery. Accordingly, the present invention has a feature that users can enjoy user-participation-type television broadcasting that has not been obtained so far, and therefore the present invention is extremely suitable for application to an ISDB system for digital broadcasting.
[Brief description of the drawings]
FIG. 1 is a system diagram of an essential part showing an embodiment of an ISDB transmission device according to the present invention.
FIG. 2 is an explanatory diagram of an omnidirectional video.
FIG. 3 is a diagram illustrating a relationship between a camera angle and an imaging range.
FIG. 4 is a system diagram of an essential part showing an embodiment of an ISDB receiver according to the present invention.
FIG. 5 is a configuration diagram illustrating a specific example of a commander.
FIG. 6 is a diagram illustrating a menu display example.
[Explanation of symbols]
10 ISDB Transmitter 14, 22A-22C Encoding Unit 16, Time Code Generation Unit 20 Multiplexing Unit 46 ISDB Tuner 52, 62 Decoding Unit 58 Screen Synthesis Unit 56 Monitor 64 Control Unit

Claims

０°〜３６０°を撮像範囲とする全方位映像情報のうちの各々異なる角範囲に対応する複数の映像情報が符号化された複数の符号化情報と、複数の映像情報の各々を識別する複数の識別情報を有する付加情報が符号化された符号化付加情報とが多重化されて送信される放送信号を受信する装置であって、
上記放送信号を受信して選局する選局手段と、
上記選局手段により選局された上記特定の放送信号を少なくとも複数の符号化情報、及び符号化付加情報に分離する信号分離手段と、
上記複数の符号化情報の各々を復号して０°〜３６０°を撮像範囲とする全方位映像情報のうちの各々が異なる角範囲に対応する複数の映像情報を出力する複数の復号手段と、
上記符号化付加情報を復号して上記複数の映像情報を各々識別する複数の識別情報を有する付加情報を出力する付加情報復号手段と、
付加情報復号手段により出力された上記付加情報を参照し、かつ、入力される制御信号に応じて上記複数の映像情報を選択的にテレビモニタに出力するように制御する制御手段とを備え、
上記複数の復号手段は、少なくとも、
第１の符号化情報を復号して全方位映像情報のうちの第１の角範囲に対応する第１の映像情報を出力する第１の復号手段と、
第２の符号化情報を復号して全方位映像情報のうちの第２の角範囲に対応する第２の映像情報を出力する第２の復号手段と、
第３の符号化情報を復号して全方位映像情報のうちの第３の角範囲に対応する第３の映像情報を出力する第３の復号手段とを有し、
上記付加情報復号手段は、
上記符号化付加情報を復号して少なくとも上記第１、上記第２、及び上記第３の映像情報を識別する第１、第２、及び第３の識別情報を有する上記付加情報を出力し、
上記制御手段は、
上記第１、上記第２、及び上記第３の識別情報を有する上記付加情報を参照し、かつ、入力される制御信号に応じて上記第１、上記第２、及び上記第３の映像情報を選択的にテレビモニタに出力するように制御し、
少なくとも、上記第１、上記第２、及び上記第３の識別情報に対応するメニュー画面をテレビモニタに出力するように制御し、
更に、パンニングモードを示すメニュー画面をテレビモニタに出力するように制御し、
外部から少なくとも上記第１、上記第２、及び上記第３の識別情報のうちの一の識別情報を選択する選択信号が入力されたとき、上記メモリ手段に一時的に記憶される上記一の識別情報に対応する映像情報を上記テレビモニタに出力するように制御し、
外部から上記パンニングモードを選択する選択信号が入力されたとき、上記メモリ手段に一時的に記憶される少なくとも上記第１、上記第２、及び上記第３の映像情報を、読み出し位置が水平方向に徐々にシフトされるようにして読み出して上記テレビモニタに出力するように制御する受信装置。A plurality of pieces of encoded information obtained by encoding a plurality of pieces of video information corresponding to different angular ranges of the omnidirectional video information having an imaging range of 0 ° to 360 °, and a plurality of pieces for identifying each of the plurality of pieces of video information An apparatus for receiving a broadcast signal that is transmitted by being multiplexed with encoded additional information obtained by encoding additional information having identification information of:
Channel selection means for receiving and selecting the broadcast signal;
Signal separating means for separating the specific broadcast signal selected by the channel selecting means into at least a plurality of encoded information and encoded additional information;
A plurality of decoding means for decoding each of the plurality of pieces of encoded information and outputting a plurality of pieces of video information corresponding to different angular ranges of omnidirectional video information having an imaging range of 0 ° to 360 °;
Additional information decoding means for decoding the encoded additional information and outputting additional information having a plurality of identification information for identifying each of the plurality of video information;
Control means for referring to the additional information output by the additional information decoding means and controlling to selectively output the plurality of video information to a television monitor according to an input control signal;
The plurality of decoding means are at least:
First decoding means for decoding first encoded information and outputting first video information corresponding to a first angular range of the omnidirectional video information;
Second decoding means for decoding the second encoded information and outputting second video information corresponding to the second angular range of the omnidirectional video information;
Third decoding means for decoding the third encoded information and outputting third video information corresponding to the third angular range of the omnidirectional video information,
The additional information decoding means includes:
Decoding the encoded additional information and outputting the additional information having first, second, and third identification information for identifying at least the first, second, and third video information;
The control means includes
The additional information having the first, second, and third identification information is referred to, and the first, second, and third video information is determined in accordance with an input control signal. Control to selectively output to the TV monitor ,
Control to output a menu screen corresponding to at least the first, second, and third identification information to a television monitor;
In addition, control to output a menu screen showing the panning mode to the TV monitor,
The one identification stored temporarily in the memory means when a selection signal for selecting at least one identification information of the first, second, and third identification information is inputted from the outside. Control to output video information corresponding to the information to the TV monitor,
When a selection signal for selecting the panning mode is input from the outside, at least the first, second, and third video information temporarily stored in the memory means is read in a horizontal direction. A receiving apparatus that controls to read out and output to the television monitor while being gradually shifted .

上記第１、上記第２、及び上記第３の映像情報は、同じ撮像アングルを有するカメラにより、当該順に互いに隣接する角範囲が撮像された映像情報である請求項１記載の受信装置。Said first, said second, and said third video information, the same by a camera having an imaging angle, the receiving apparatus of the order of adjacent corner range is 請 Motomeko 1 wherein Ru video information der imaged together.

少なくとも、上記第１、上記第２、及び上記第３の復号手段により復号された上記第１、上記第２、及び上記第３の映像情報を一時的に記憶するメモリ手段を備え、
上記制御手段は、入力される制御信号に応じて、上記メモリ手段に一時的に記憶される少なくとも上記第１、上記第２、及び上記第３の映像情報を選択的にテレビモニタに出力するように制御する請求項１記載の受信装置。At least memory means for temporarily storing the first, second and third video information decoded by the first, second and third decoding means;
The control means selectively outputs at least the first, second, and third video information temporarily stored in the memory means to a television monitor in response to an input control signal. receiving apparatus 請 Motomeko 1, wherein that control the.

上記制御手段に対して上記一の識別情報或いは上記パンニングモードを選択する制御信号を送信するリモートコントロール装置を備える請求項１記載の受信装置。Receiving apparatus 請 Motomeko 1 wherein Ru provided with a remote control device for transmitting a control signal for selecting the identification information or the panning mode the one with respect to the control means.

上記第１の復号手段は、上記第１の映像情報と共に符号化された、指向性マイクにより集音された第１の音声信号も復号し、
上記第２の復号手段は、上記第２の映像情報と共に符号化された、指向性マイクにより集音された第２の音声信号も復号し、
上記第３の復号手段は、上記第３の映像情報と共に符号化された、指向性マイクにより集音された第３の音声信号も復号し、
上記制御手段は、上記選択的に出力される映像情報に対応する上記音声信号を出力するように制御する請求項１記載の受信装置。The first decoding means also decodes the first audio signal collected together with the first video information and collected by a directional microphone,
The second decoding means also decodes the second audio signal collected together with the second video information and collected by the directional microphone,
The third decoding means also decodes a third audio signal collected together with the third video information and collected by a directional microphone,
It said control means receiving apparatus 請 Motomeko 1 wherein that controls to output the audio signal corresponding to the image information output to said selective.

上記複数の識別情報は、上記複数の映像情報を各々撮像したカメラを識別する識別情報である請求項１記載の受信装置。It said plurality of identification information, the receiving apparatus identifying information der Ru請 Motomeko 1 wherein identifying the camera each captured the plurality of video information.

上記複数の識別情報は、上記複数の映像情報を撮像したカメラの撮像アングルを識別する識別情報である請求項１記載の受信装置。It said plurality of identification information, the receiving apparatus identifying information der Ru請 Motomeko 1 wherein identifying the imaging angle of the camera that captured the plurality of video information.