JP2002354471A

JP2002354471A - オンデマンド視聴システム、プログラム、記録媒体及びその方法

Info

Publication number: JP2002354471A
Application number: JP2001153780A
Authority: JP
Inventors: Atsushi Yokoyama; 横山敦史
Original assignee: Individual
Current assignee: Individual
Priority date: 2001-05-23
Filing date: 2001-05-23
Publication date: 2002-12-06

Abstract

(57)【要約】【課題】本発明の課題は、複数の視聴者の任意の要求
に応え、個別の視聴者の要求するカメラ位置及びカメラ
アングルと画角から画像を表示するとともに、カメラ位
置の変更にともなう被写体に対するカメラアングルの変
更を、自然で、つなぎ目なく行うことである。【解決手段】曲面の配置構造をもつ受光素子等によっ
て、複数の異なった位置から撮像された１次映像データ
を、場合によってストリーミング、分散処理行程でシス
テム負荷を軽減し、システムが撮像装置、被写体の位置
を認識することで、適切な表示映像データを抽出し、表
示することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】視聴者の要求に応じて、視聴
角度と画角を変更可能な視聴システム

【０００２】

【従来の技術】視聴者がカメラを遠隔操作して、視聴す
る方法。又コンピュータを利用した技術としては、広角
レンズや鏡等を利用して、広い視野領域を記録媒体に記
録し、コンピュータ上の専用ソフトウェアを視聴者が任
意に操作して、記録された画像の一部の領域を表示する
技術がある。しかし、前者の遠隔操作の場合、視聴者は
１者に限られ、又後者の場合には、実況中継に対応でき
ず、又撮影された対象物の逆側等異なった角度からの視
野が表示できない。

【０００３】

【発明が解決しようとする課題】本発明の課題は、上記
の問題を解決し、複数の視聴者の任意の要求に応え、個
別の視聴者の要求するカメラ位置及びカメラアングルと
画角から画像を表示するとともに、カメラ位置の変更に
ともなう被写体に対するカメラアングルの変更を、自然
で、つなぎ目なく行うことである。

【０００４】

【課題を解決するための手段】本発明の一つは、視聴者
の任意の入力操作によって、画像の視聴位置、視聴角
度、及び画角を変更可能な視聴システムであって、複数
の異なった位置から撮像された１次映像データから表示
映像データを抽出する、映像抽出手段を有することを特
徴とする。

【０００５】視聴システムは、入力、出力、処理機能を
有し、映像出力手段を具備する視聴装置を含む。視聴装
置は限定されない。例えば、携帯電話であってよく、Ｐ
ＤＡであってよく、コンピュータであってよく、デジタ
ルテレビであってよく、ゲーム機であってよい。

【０００６】図１は被写空間１と撮像装置３の例示であ
る。本例では、４台の撮像装置３が設置されており、撮
像装置３はそれぞれに１つの受光装置２を含む。この場
合視聴位置は、被写空間１上の受光装置２Ａ、２Ｂ、２
Ｃ、２Ｄの位置と対応している。

【０００７】１次映像データ４は、複数の異なった位置
に設置された受光装置２によって撮像されたデータであ
る。データ形式は限定されない。図２は１次映像データ
４のデータ構成概念の例示である。例示した１次映像デ
ータ４は、受光装置２の台数に対応する複数のファイル
５からなり、１つのファイル５は連続するフレーム６で
構成される。

【０００８】又１次映像データは、それぞれのフレーム
６が生成された時間のデータを有する。視聴位置の変更
指示があれば、視聴システムは、映像出力手段に表示さ
れている画像（以下表示映像データ）の抽出フレーム７
の時間を参照し、抽出ファイルを切換え、次の抽出フレ
ーム７を選択する。さらに抽出フレーム７から抽出され
た表示映像データは、受光装置２のレンズと受光素子の
配列形状、及び映像出力手段の特性によって決定される
補正がなされ表示される。

【０００９】（図３参照）又１つ抽出フレーム７には、
表示映像データ８以上の範囲が撮像されている。視聴角
度は、表示映像データ８の中心点とその画像を撮像した
受光装置２の中心点を結ぶ空間上の直線で表され、本シ
ステムに於ては、表示映像データの中心点９とフレーム
の中心点１０を結ぶ直線と対応する、一般にカメラアン
グルとして称される被写体への角度である。視聴角度の
変更指示があれば、視聴システムは、抽出フレーム７か
ら指示された視聴角度で表示映像データ８を抽出する。
図３は下から見上げた半球の範囲を撮像した抽出フレー
ム７と、円形の映像ディスプレイ（映像出力手段）を想
定した表示映像データ８の例示である。

【００１０】（図４参照）画角は、表示映像データ８の
範囲を示す。画角の変更指示があれば、視聴システム
は、抽出フレーム７から指示された画角で表示映像デー
タ８を抽出する。

【００１１】又本発明の１つは、曲面に配置された受光
素子によって１次映像データが入力される、映像入力手
段を有することを特徴とする。

【００１２】１次映像データ４を構成するそれぞれのフ
ァイル５のそれぞれのフレーム６には、表示映像データ
８以上の範囲が撮像されていることは前述した（図３参
照）。（図５参照）受光装置１２の受光範囲１１は限定されな
い。受光装置１２を囲む上下左右３６０度（１１Ａ）、
つまり受光装置を中心とする空間の全てであっても、そ
のうちの限られた範囲（１１Ｂ、１１Ｃ）であってもよ
い。図１では受光装置２は４台を例示したが、受光装置
１２の台数は限定しない。受光装置１２に使われる受光
素子は限定しない。ＣＣＤ、ＣＭＯＳイメージ・センサ
ーが利用できる。広角な受光範囲を受光素子に感光させ
る手段は限定しない。広角レンズ、彎曲した反射鏡が利
用できる。更に最も効果的と考えられる撮像方法とし
て、受光素子が球、又は半球等球もしくは多面体の１部
である曲面上に配置された受光装置１２Ａ、１２Ｂが利
用できる。

【００１３】又本発明の１つは、表示映像データの位置
情報を参照して、次の表示映像データの位置を決める、
位置決定手段を有することを特徴とする。

【００１４】視聴者が表示映像データ８上の被写体に注
目しており、被写体の裏側等被写体の異なった角度を要
求して、視聴位置の変更する場合、次の表示映像データ
は、少なくとも被写体が映っていて、できれば被写体を
中心とする映像であることが望ましい。

【００１５】（図６参照）受光装置１２に含まれるそれ
ぞれの受光素子１３は、入射光の方向を示す空間上の直
線１４と１対１で対応している。

【００１６】（図７参照）視聴者が表示映像データ８の
中心の被写体１６に注目する時、被写体の受光装置１２
からの方向（視聴角度１７）は、表示映像データ８の中
心にある受光素子１３に任意に与えられたＩＤ１５と対
応する。

【００１７】（図８参照）視聴位置の変更に際し、最も
簡便に次の表示映像データ８Ｂの位置を決める方法は、
受光装置２の設置時にそれぞれの受光装置２Ａ、２Ｂ、
２Ｃ、２Ｄの相対位置を視聴システムに入力し、かつ被
写空間１の終点を規定することで、受光素子１３のＩＤ
１５と対応し、かつ受光装置２Ａ、２Ｂ、２Ｃ、２Ｄを
起点とする空間ベクトルに終点を与え、空間ベクトルの
中点１８を求めることである。これにより視聴システム
は、例えば受光素子１３のＩＤ１５と対応する次の表示
映像データ８Ｂの中心点（視聴角度１７）を、現在の表
示映像データ８Ａの中心点と対応する空間の直線の中点
１８に合わせ、かつシステムが表示可能な限り広角な画
角で表示すれば、被写体１６を漏らすことなく、次の表
示映像データ８Ｂを適切に表示することができる。

【００１８】（図９参照）２つめの位置決めの方法とし
ては、電波、又は音波の反射を利用して、被写体１６で
ある入射光の遮蔽物までの距離を捉えることである。視
聴システムは複数の位置から探査波を出すことで、受光
装置２、被写体１６の位置を認識し、次の表示映像デー
タ８Ｂの位置を適切に決めることができる。

【００１９】（図１０参照）３つめの位置決めの方法と
しては、画像認識技術が利用できる。被写空間１上の被
写体の画像パターンを異なった位置に配置された受光装
置２により捉え、被写体１６の及び受光装置２の相対位
置を認識し、次の表示映像データ８Ｂの位置を適切に決
めることができる。

【００２０】画像認識技術を利用する場合、視聴者が対
象となる被写体１６を任意に指定することで、視聴シス
テムは最も適切な表示映像データ８を抽出し続けること
ができる。例えば被写体が人である場合、正面のバスト
ショットを指定すれば、被写体が回転しても、視聴シス
テムは自動的に視聴位置を変更し、視聴角度および画角
を調整し、最も適切な表示映像データ８を抽出し続け
る。又映像制作者側が事前に視聴者の志向にあう形でい
くつかの被写体の追尾パターンを入力し、視聴者がその
パターンを選択するような実施形態も可能となる。

【００２１】又本発明の１つは、視聴装置がネットワー
ク端末であって、１次映像データがコントロールサーバ
上にあり、視聴装置の要求によって表示映像データが送
達される、送達手段を有することを特徴とする。

【００２２】又本発明の１つは、分散処理サーバがコン
トロールサーバとネットワークされており、コントロー
ルサーバの１次映像データをコピーし、コントロールサ
ーバ処理を軽減する、分散処理手段を有することを特徴
とする。

【００２３】又本発明の１つは、受光装置がフロアサー
バに接続されており、受光装置によって撮像された１次
映像データが、フロアサーバによってストリーミングさ
れて送られる、ストリーミング手段を有することを特徴
とする。

【００２４】フロアサーバ１８、コントロールサーバ１
９、分散処理サーバ２０の台数はいずれも限定されな
い。フロアサーバ複数台対コントロールサーバ１台対分
散処理サーバ複数台の対応を図１１に、フロアサーバ１
台対コントロールサーバ１台対分散処理サーバ複数台の
対応を図１２に例示する。図１２に示すシステムの場
合、（図２参照）１次映像データ４のファイル５は、ネ
ットワーク上に分散されており、視聴端末２２からの視
聴位置の変更（１次映像データ４のファイル５の変更）
指示は、分散処理サーバ２０の変更を伴う。

【００２５】又本発明の１つは、撮像装置が集音機能を
具備しており、１次映像データに対応する音声データが
生成される、音声生成手段を有することを特徴とする。

【００２６】図１３は被写空間１に４つの撮像装置３が
設置され、１つの撮像装置３に４つの指向性マイク２３
が接続されている例である。この時視聴システムは、１
つの映像ファイル５（図２参照）あたり４つ、合計１６
の対応音声ファイル２４を持つ。視聴システムは、フロ
アサーバ１８、コントロールサーバ１９、分散処理サー
バ２０、視聴装置の何れかに於て、表示映像データ８と
視聴装置の音声出力手段に適した形式に合成され、立体
音響として出力２５される。この立体音響は、視聴空間
１の特性と、表示映像データ８を抽出する映像ファイル
５と抽出フレーム７からの抽出位置の変更によって、音
声ファイル２４の合成割合が変化する音声データであり
うる。例えば、図１３のシステムの場合、１６チャンネ
ルのイコライズングのプログラムであって、変数は番号
で表される映像ファイル５と、座標で表される表示映像
データ８の中心である。

【００２７】又本発明の１つは、視聴者の任意の入力操
作によって、画像の視聴位置、視聴角度、及び画角を変
更可能な視聴方法であって、複数の異なった位置から撮
像された１次映像データから表示映像データを抽出す
る、映像抽出ステップが含まれることを特徴とする。

【００２８】又本発明の１つは、視聴者の任意の入力操
作によって、画像の視聴位置、視聴角度、及び画角を変
更可能な視聴を行うプログラムであって、複数の異なっ
た位置から撮像された１次映像データから表示映像デー
タを抽出する、映像抽出ステップを実行するプログラム
に係わるものである。

【００２９】又本発明の１つは、視聴者の任意の入力操
作によって、画像の視聴位置、視聴角度、及び画角を変
更可能な視聴を行うプログラムであって、複数の異なっ
た位置から撮像された１次映像データから表示映像デー
タを抽出する、映像抽出ステップを実行するプログラム
を記録している、コンピュータ読取り可能な記録媒体に
係わるものである。

【００３０】

【発明の実施の形態】実施の形態は主に実況中継、ネッ
トワークを介した既存映像データの視聴、ダウンロード
或いはパッケージによって供給された記録媒体による視
聴の、３態に分類される。

【００３１】図１４は実況中継を想定した実施形態の１
例である。システムは被写空間１、受光装置２Ａ、２
Ｂ、２Ｃ、２Ｄ、受光装置に１対１で対応しそれぞれの
受光装置と対となって撮影装置３を構成するフロアサー
バ１８Ａ、１８Ｂ、１８Ｃ、１８Ｄ、コントロールサー
バ１９、分散処理サーバ２０、ネットワーク２１、視聴
端末２２で構成される。

【００３２】（図１５参照）受光装置２Ａ、２Ｂ、２
Ｃ、２Ｄから入力（ｓ３１）された１次映像データ４
は、フロアサーバ１８Ａ、１８Ｂ、１８Ｃ、１８Ｄでス
トリーミング用データへ変換（ｓ３２）され、コントロ
ールサーバ１９に送られる（ｓ３３）。コントロールサ
ーバ１９には予め受光装置２Ａ、２Ｂ、２Ｃ、２Ｄの位
置情報が入力（ｓ３４）されている。場合によって１次
映像データのファイルは分散処理サーバ２０にコピー
（ｓ３５）される。視聴端末２２からの要求により、分
散処理サーバ２０は１次映像データ４から、初期画面と
なる表示映像データ８を抽出し、送出（ｓ３６）する。
次に分散処理サーバ２０は視聴者の任意操作による視聴
端末２２からの指示（ｓ３７）により、指示された表示
映像データ８を抽出し、送出（ｓ３８）する。

【００３３】（図１４参照）本例では、受光装置２によ
って取得された１次映像データ４は、フロアサーバ１８
によってストリーミング用データへ変換（ｓ３２）さ
れ、コントロールサーバ１９に送られる（ｓ３３）が、
（図１６参照）コントロールサーバ１９の処理能力が十
分にある場合、システム上フロアサーバ１８は不要であ
り、１次映像データは受光装置２から、直接コントロー
ルサーバ１９へ送られる。同様にコントロールサーバ１
９の処理能力が十分にある場合、分散処理サーバ２０な
しのシステムで、視聴端末２２からの指示により、直接
コントロールサーバ１９から表示映像データ８を抽出
し、送出（ｓ３８）する。又視聴端末２２の処理能力が
システム構成上十分にある場合、受光装置２によって取
得された１次映像データは、直接視聴端末２２に送ら
れ、視聴端末２２が表示映像データ８を抽出する。この
場合のシステム構成は受光装置２と視聴端末２２のみと
成る。

【００３４】

【実施例】実施例１実況中継での利用は、例えば野球、バスケット等々のス
ポーツ中継、或いは結婚式その他の祭事等々のプライベ
ート中継が考えられる。スポーツ中継に利用すれば、贔
屓の選手を常に最適な角度から視聴したり、水泳の際ど
いゴールシーンを真上から確認したり、視聴者の嗜好に
見合った様々な使い方ができる。プライベート中継に利
用すれば、いろいろな事情で式に参加できない親類が、
ネットワークを介して式の様子をいろいろな角度から視
聴したり、１次映像データで記録し、後でいろいろな角
度から繰り返し楽しむことが可能となる。

【００３５】実施例２ネットワーク上にある、或いはパッケージされた映像ソ
フトとしての利用は、映画やオペラ、ゲーム等の映像メ
ディアに新しい価値を付加し、新しい市場を創造するも
のと考えられる。何故なら、それは同じソフトでありな
がら、何度見ても異なったシーンで構成され、異なった
音声で構成される作品となるからである。

【００３６】実施例３セキュリティ分野での利用も考えられる。例えば自宅の
敷地内に探査波又は画像認識技術を利用した撮像装置を
設置し、異常（視聴空間の動き）の探知により、携帯電
話等に異常を通知し、画像で確認することが可能とな
る。

【００３７】

【発明の効果】以上述べたように、本発明によれば、視
聴者の要求に応じて、視聴角度と画角を変更可能な視聴
システムにおいて、複数の視聴者の任意の要求に応え、
個別の視聴者の要求する視聴位置、視聴角度、画角から
画像を表示するとともに、視聴位置の変更にともなう被
写体に対する視聴角度の変更を、自然で、つなぎ目なく
行うことができる。

【図面の簡単な説明】

【図１】被写空間に於ける撮像の１例

【図２】それぞれ連続するフレームからなる４つのフ
ァイルから、データが構成される、１次映像データの１
例

【図３】視聴角度の変更に伴う表示映像データの抽出
の概念図

【図４】画角の変更に伴う表示映像データの抽出の概
念図

【図５】受光装置の受光範囲と受光素子の配置形状の
例示

【図６】受光素子と入射光の空間ベクトルの対応の概
念図

【図７】視聴角度と受光素子の配置位置の関係図

【図８】受光装置の設置位置と表示映像データの位置
決定の概念図

【図９】探査波による空間認識と表示映像データの位
置決定の概念図

【図１０】画像認識を利用した表示映像データの位置
決定の概念図

【図１１】システムのバリエーション

【図１２】システムのバリエーション

【図１３】立体音響合成の概念図

【図１４】実況中継を想定したシステム構成の１例

【図１５】図１５を想定した映像データの処理の流れ

【図１６】システムのバリエーション

【符号の説明】

１被写空間、２受光装置、３撮像装置、４
１次映像データ、５１次映像データを構成するファ
イル５、６ファイルを構成するフレーム６、７
抽出フレーム、８表示映像データ、９表示映像デ
ータの中心点、１０フレームの中心点、１１受
光範囲、１２受光装置、１３受光素子、１４
入射光の方向、１５受光素子のＩＤ、１６被
写体、１７視聴角度、１８フロアサーバ、１
９コントロールサーバ、２０分散処理サーバ、
２１ネットワーク、２２視聴端末、２３指向性
マイク、２４音声ファイル、２５立体音響、

Claims

【特許請求の範囲】

【請求項１】視聴者の任意の入力操作によって、画像
の視聴位置、視聴角度、及び画角を変更可能な視聴シス
テムであって、複数の異なった位置から撮像された１次
映像データから表示映像データを抽出する、映像抽出手
段を有することを特徴とする視聴システム。
【請求項２】曲面に配置された受光素子によって１次
映像データが入力される、映像入力手段を有することを
特徴とする、請求項１記載の視聴システム。
【請求項３】表示映像データの位置情報を参照して次
の表示映像データの位置を決める、位置決定手段を有す
ることを特徴とする、請求項１又は２記載の視聴システ
ム。
【請求項４】視聴装置がネットワーク端末であって、
１次映像データがコントロールサーバ上にあり、視聴装
置の要求によって表示映像データが送達される、送達手
段を有することを特徴とする、請求項１−３のいずれか
１つの請求項に記載の視聴システム。
【請求項５】分散処理サーバがコントロールサーバと
ネットワークされており、コントロールサーバの１次映
像データを分散処理サーバにコピーし、コントロールサ
ーバ処理を軽減する、分散処理手段を有することを特徴
とする、請求項１−４のいずれか１つの請求項に記載の
視聴システム。
【請求項６】受光装置がフロアサーバに接続されてお
り、受光装置によって撮像された１次映像データがフロ
アサーバによってストリーミングされて送られる、スト
リーミング手段を有することを特徴とする、請求項１−
５のいずれか１つの請求項に記載の視聴システム。
【請求項７】撮像装置が集音機能を具備しており、１
次映像データに対応する音声データが生成される、音声
生成手段を有することを特徴とする、請求項１−６のい
ずれか１つの請求項に記載の視聴システム。
【請求項８】視聴者の任意の入力操作によって、画像
の視聴位置、視聴角度、及び画角を変更可能な視聴方法
であって、複数の異なった位置から撮像された１次映像
データから表示映像データを抽出する、映像抽出ステッ
プが含まれることを特徴とする視聴方法。
【請求項９】視聴者の任意の入力操作によって、画像
の視聴位置、視聴角度、及び画角を変更可能な視聴を行
うプログラムであって、複数の異なった位置から撮像さ
れた１次映像データから表示映像データを抽出する、映
像抽出ステップを実行するプログラム。
【請求項１０】視聴者の任意の入力操作によって、画
像の視聴位置、視聴角度、及び画角を変更可能な視聴を
行うプログラムであって、複数の異なった位置から撮像
された１次映像データから表示映像データを抽出する、
映像抽出ステップを実行するプログラムを記録してい
る、コンピュータ読取り可能な記録媒体。