JP2000152216A

JP2000152216A - 映像出力システム

Info

Publication number: JP2000152216A
Application number: JP10320132A
Authority: JP
Inventors: Wataru Kobayashi; 亘小林
Original assignee: Individual
Current assignee: Individual
Priority date: 1998-11-11
Filing date: 1998-11-11
Publication date: 2000-05-30

Abstract

(57)【要約】【課題】利用者又は利用装置が必要とする視点での画像
並びに音響を自動的に提供する。【解決手段】画像入力手段１０からの画像を、視点入力
手段２０にて入力される視点位置及び視線方向並びに視
角へ視点変換処理手段２５により変換し、画像合成手段
２６で合成出力する。音響入力手段３０からの音響も、
音響処理手段３２により該視点へ変換出力する。自動化
のため、画像入力手段１０並びに音響入力手段３０を選
定する画像入力自動選定手段２３並びに音響入力自動選
定手段３１、視点を自動的に変化させる自動視点移動手
段２１、回転台やズームを自動的に制御する調整機構自
動制御手段３４を用いる。処理に必要なデータはデータ
ベース２２ｂより得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は施設監視、施設案
内、擬似体験、画像認識等に利用する映像処理機能を備
えた映像出力システムに関する。

【０００２】

【従来の技術】映像出力システムの代表的な例として、
監視カメラと伝送路とモニタなどから成るＣＣＴＶ（閉
回路テレビジョン）システムが、施設や施設周囲の状況
監視、施設案内等に利用されている。複数の監視カメラ
を備えるＣＣＴＶシステムでは画像を出力するために、
複数のモニタを設ける方法のほか、モニタに比して監視
カメラの台数が一般的に多いため、監視カメラを選択し
て表示する方法、モニタの表示領域を分割して複数の撮
影画像を表示する方法、複数の撮影画像を適当な時間間
隔で切り替えて表示する方法が利用あるいは併用されて
きた。

【０００３】図５は、複数の監視カメラを備えたＣＣＴ
Ｖシステムの一例の概略構成を示すブロック図である。
図５において１０は複数の画像入力手段であり、この例
では監視カメラである。１１は調整機構であり、画像の
拡大・縮小率を変化させるズーム機構並びに撮影方向を
変化させる回転台、１２は複数の画像入力手段から入力
される画像信号を切り替えてモニタへ出力するビデオス
イッチャ、１３はモニタ、１４はモニタへ接続する画像
入力手段を指定する画像入力指定器、１５は調整機構で
あるズーム機構及び回転台を制御する制御器である。こ
のＣＣＴＶシステムの操作手順を説明する。利用者は必
要とする画像を撮影する画像入力手段を決定し、画像入
力指定器１４を操作して該当する画像入力手段をビデオ
スイッチャ１２に通知する。ビデオスイッチャ１２は通
知された画像入力手段をモニタ１３に接続し、モニタ１
３は画像を表示する。さらに、望ましい撮影方向や視野
角を得るため、利用者は制御器１５を操作してズーム機
構及び回転台を制御する。ＣＣＴＶシステムにより得ら
れた画像を画像処理装置へ入力し、画像認識による異常
判別や各種の画像解析を行う画像処理システムも知られ
ている。図５においてこのような画像処理を行うにはモ
ニタ１３に並列に又は代えて画像処理装置を接続する。
この例のように、異常を迅速に検知するなどのために、
撮影と同時に映像を利用する形態のほか、映像をＶＣＲ
等にて記録した後、再生し利用する形態もある。

【０００４】このような従来の一般的な映像出力システ
ムでは、撮影、伝送、記録再生、映像信号出力、表示な
どの各段階において、対象を映像として正確に再現する
こと、すなわち対象を精細に撮影し、劣化なく伝送又は
記録再生し、撮影された映像に忠実な映像信号を出力し
表示又は利用することを目的としていた。

【０００５】

【本発明が解決しようとする課題】しかしながら、従来
の技術には次の問題点がある。第一に、出力する画像の
視点位置及び視線方向並びに視角は、画像入力手段の撮
影位置及び撮影方向並びに水平・垂直の視角性能（レン
ズの焦点距離等）により決定される。したがって、利用
者が必要とする視点位置や視線方向や視角での画像は必
ずしも得られず、対象の把握や認識に困難を来し、状況
を理解しにくいなどの不具合が生ずる。

【０００６】複数の画像入力手段を備えた映像出力シス
テムでは、加えて次の問題点がある。第一に、利用者は
異なる画像入力手段を利用する度に、撮影範囲や撮影方
向等を認識しなおさなければならない。このため、空間
的に連続する対象を監視するには、画像入力手段の配置
や重複撮影範囲・非撮影範囲を意識しなければならず、
対象を網羅的に把握しにくい。また、画像認識処理等を
行うには、異なる画像入力手段によって生ずる視点の差
違を調整する必要がある。第二に、利用者は対象を位置
や部位で意識するが、その画像を得るには、どの画像入
力手段を利用するかを決定し、切り替え操作などを行わ
なければならず、迅速に対象の画像を得にくい。第三
に、異なる場所を見たい、あるいは、違う角度から見た
いなどの要求に応じて複数の画像入力手段を切り替える
操作や回転台・ズーム機構の制御操作を行わねばなら
ず、規則性を有する監視業務では単純作業を強いること
となる。

【０００７】複数の映像入力手段を備えるシステムに附
随する問題点を解決するために、特許第2754832号「画
像処理装置」ではタイムシュアリング方法による手段
が、特開平8-235345号「映像監視システム」では記憶手
段等による手段が記載されている。また、特開平9-1307
83号「分散映像監視装置」では広角カメラとズームカメ
ラの併用等の手段による利便性等の向上が記載されてい
る。また、複数のテレビカメラを備えて画像処理を行う
監視システムの小型化等を目的として、特開平9-83996
号「監視システム」ではスーパーインポーズ等による手
段が記載されている。しかし、いずれも本発明の着目点
とは異なるものである。

【０００８】本発明は、「対象の映像を正確に出力す
る」という従来の一般的な映像出力システムの目標を、
「対象を容易に把握・認識するための映像を極力少ない
操作で出力する」に転換させることにより、前述した従
来の映像出力システムの問題を解決しようとするもので
ある。対象を容易に把握・認識するには、利用者又は利
用装置の空間認識に整合した映像を出力する必要があ
り、そのため、利用者又は利用装置が必要とする視点で
の映像を出力することとした。また、極力少ない操作と
するためには、利用者が行う操作の規則性を抽出し、そ
れを自動化することとした。さらに、精細な画像並びに
画像に連携した音響を出力することで臨場感を高めるこ
とが可能となり、より効果的にシステムを使用できる。
これらを踏まえ、本発明では各請求項に対応して次の映
像出力システムを提供することを目的とする。ここで利
用装置とは画像認識等を行う画像処理装置である。

【０００９】(1)利用者又は利用装置が必要とする視点
位置及び視線方向並びに視角での画像を出力する映像出
力システムを提供すること。

【００１０】(2)利用者又は利用装置が必要とする視点
位置及び視線方向並びに視角での画像を得るため一乃至
複数の画像入力手段を自動的に選定し、視点を変換した
画像を自動的に合成出力する映像出力システムを提供す
ること。

【００１１】(3)視点位置又は視線方向又は視角を自動
的に変化させ、利用者又は利用装置の操作を軽減する映
像出力システムを提供すること。

【００１２】(4)画像入力手段が備えるズームや回転台
を自動制御して、違和感が少なく精細な画像を自動的に
出力する映像出力システムを提供すること。

【００１３】(5)利用者又は利用装置が必要とする視点
位置及び視線方向での画像に連携した音響を出力し、高
い臨場感が得られる映像出力システムを提供すること。

【００１４】

【課題を解決するための手段】請求項１に記載の発明
は、視点位置及び視線方向並びに視角を入力する視点入
力手段と、画像を入力し該視点位置及び該視線方向並び
に該視角での画像へ変換して出力する視点変換処理手段
とを備えたことを特徴とする映像出力システムであり、
利用者又は利用装置が必要とする視点位置及び視線方向
並びに視角での画像を出力する映像出力システムを提供
する。

【００１５】請求項２に記載の発明は、複数の画像入力
手段を備えた映像出力システムにおいて、該複数の画像
入力手段の撮影位置及び撮影方向並びに視角に関するデ
ータを格納する画像入力データ格納手段と、視点位置及
び視線方向並びに視角を入力する視点入力手段と、該画
像入力データ格納手段を利用して、該視点位置及び該視
線方向並びに該視角での画像を出力するための一乃至複
数の画像入力手段を選定する画像入力自動選定手段と、
選定された一乃至複数の画像入力手段からの画像を入力
し、該視点位置及び該視線方向並びに該視角での画像へ
変換して出力する視点変換処理手段と、該変換された複
数の画像を合成出力する画像合成手段とを備えたことを
特徴とする映像出力システムであり、利用者又は利用装
置が必要とする視点位置及び視線方向並びに視角での画
像を得るため一乃至複数の画像入力手段を自動的に選定
し、視点を変換した画像を自動的に合成出力する映像出
力システムを提供する。

【００１６】請求項３に記載の発明は、視点位置又は視
線方向又は視角を自動的に変化させる自動視点移動手段
を備えた請求項１または２に記載の映像出力システムで
あり、視点位置又は視線方向又は視角を自動的に変化さ
せ、利用者又は利用装置の操作を軽減する映像出力シス
テムを提供する。

【００１７】請求項４に記載の発明は、画像入力手段が
画像の拡大・縮小率又は撮影方向を変化させる調整機構
を備える映像出力システムにおいて、該調整機構に対し
て視点変換前後の画素の移動量及び画像合成における重
複画素を減じ、入力された視点位置及び視線方向並びに
視角での画像出力に必要な画像を入力するための制御を
行う調整機構自動制御手段を備えたことを特徴とする請
求項１から３に記載の映像出力システムであり、画像入
力手段が備えるズームや回転台等の調整機構を自動制御
して、違和感が少なく精細な画像を自動的に出力する映
像出力システムを提供する。

【００１８】請求項５に記載の発明は、複数の音響入力
手段と、該音響入力手段の位置に関するデータを格納す
る音響入力データ格納手段と、該音響入力データ格納手
段を利用して、入力された視点位置での音響を出力する
ための一乃至複数の音響入力手段を選定する音響入力自
動選定手段と、選定された一乃至複数の音響入力手段か
らの音響を入力し、入力された視点位置での音響に変換
し、入力された視線方向に対応させて出力する音響処理
手段とを備えたことを特徴とする請求項２に記載の映像
出力システムであり、利用者又は利用装置が必要とする
視点位置及び視線方向での画像に連携した音響を出力
し、高い臨場感が得られる映像出力システムを提供す
る。

【００１９】

【発明の実施の形態】本発明を構成する手段要素を、重
複するもの及び他に包含されるものを除いて、以下に列
挙し、まず、それらの実施の形態を示す。(1)画像入力
手段、(2)複数の画像入力手段の撮影位置及び撮影方向
並びに視角に関するデータを格納する画像入力データ格
納手段、(3)視点位置及び視線方向並びに視角を入力す
る視点入力手段、(4)一乃至複数の画像入力手段から出
力される画像を入力し、指定された視点位置及び視線方
向並びに視角での画像へ変換して出力する視点変換処理
手段、(5)視点変換処理された複数の画像を合成出力す
る画像合成手段、(6)画像入力データ格納手段を利用し
て、指定された視点位置及び視線方向並びに視角での画
像を出力するための一乃至複数の画像入力手段を選定す
る画像入力自動選定手段、(7)視点位置又は視線方向又
は視角を自動的に変化させる自動視点移動手段、(8)画
像の拡大・縮小率又は撮影方向を変化させる調整機構、
(9)調整機構に対して視点変換前後の画素の移動量及び
画像合成における重複画素を減じ、入力された視点位置
及び視線方向並びに視角での画像出力に必要な画像を入
力するための制御を行う調整機構自動制御手段、(10)音
響入力手段、(11)音響入力手段の位置に関するデータを
格納する音響入力データ格納手段、(12)音響入力データ
格納手段を利用して、指定された視点位置での音響を出
力するための一乃至複数の音響入力手段を選定する音響
入力自動選定手段、(13)選定された一乃至複数の音響入
力手段からの音響を入力し、指定された視点位置での音
響に変換して視線方向に対応させて出力する音響処理手
段。

【００２０】(1)画像入力手段は監視カメラ、ビデオカ
メラ、デジタルカメラなどである。

【００２１】(2)複数の画像入力手段の撮影位置及び撮
影方向並びに視角に関するデータを格納する画像入力デ
ータ格納手段は、例えば、データベースマネジメントシ
ステムを搭載するコンピュータに、画像入力データを格
納することにより実施できる。データベースマネジメン
トシステムにより、データを参照する手続きが簡便にな
るほか、データ定義を拡張すれば、画像入力手段の調整
機構に関するデータや音響入力手段に関するデータを格
納できる。画像入力データ格納手段を利用して、画像入
力手段の自動選定、視点変換処理、画像合成を行う方法
は、画像認識等による方法に比べて、画像品質や気象条
件等に依らず安定した処理を簡便かつ高速に行うことが
できる。

【００２２】(3)視点位置及び視線方向並びに視角を入
力する視点入力手段は次のように実施できる。視点位置
すなわち視点の三次元座標を指定する方法には、現在の
表示画像からの相対値として三次元方向（上下、左右、
前後）の移動量（メートル、キロメートル等）を指定す
る方法と、外部の座標系を基準にした絶対値として緯度
経度及び高度、あるいは、道路・河川等の原点及び中心
線からの距離並びに高度で指定する方法等がある。視線
方向を指定する方法には、現在の表示画像からの相対方
向として指定する方法や、絶対値として真北からの方位
及び水平面からの俯角・仰角で指定する方法等がある。
視角を指定する方法には、現在の表示画像に対する相対
的な変化を広く又は狭くと指定する方法や、水平及び垂
直視角を指定する方法、焦点距離を指定する方法等があ
る。移動方向及び移動量等の相対値は、ジョイスティッ
ク、マウスなどのポインティングデバイス、キーボード
のカーソルキーを用いて、表示画像又はコントロールパ
ネルに入力することができる。絶対値はキーボードを用
いて入力できる。なお、視点位置、視線方向、視角の全
てを常に入力する必要はなく、例えば、視角は通常使用
している画像入力手段の標準的な値をデフォルトとして
内部で保持し、その値を用いて処理を行うことにより、
入力操作を軽減できる。

【００２３】(4)一乃至複数の画像入力手段から出力さ
れる画像を入力し、指定された視点位置及び視線方向並
びに視角での画像へ変換して出力する視点変換処理手段
の実施の形態は次の通りである。

【００２４】まず一つの画像を入力し、指定された視点
位置及び視線方向並びに視角での画像へ変換して出力す
る視点変換処理手段の実施の形態について述べる。

【００２５】簡便な形態は次の通りである。画像がＸ軸
を横に、Ｙ軸を縦に、Ｚ軸を視線方向にとり、座標原点
を画像の中心とする座標系で表現されているとする。そ
の場合には次のような画像処理を行うことにより視点変
換処理が可能である。１）視点位置の前進後退に画像の
拡大縮小を連動させる。２）視点位置の左右の移動にＺ
軸を中心とする画像の回転を連動させる。３）視点位置
の上下の移動にＸ軸を中心とする画像の回転を連動させ
る。４）視線方向の左右にＹ軸を中心とする画像の回転
を連動させる。５）視線方向の上下に画像上下の拡大率
を変化させた変形を連動させる。６）視角の変化に画像
の拡大縮小を連動させる。

【００２６】透視画法を用いることにより、さらに正確
な視点変換処理手段が実施できる。透視画法は一般的に
コンピュータグラフィックスの分野で三次元座標をスク
リーン上に表示させる用途に用いられているが、ここで
は、画像入力手段により撮影されデジタイズされた画像
をコンピュータグラフィックスにより生成された画像と
等価的に扱い視点変換処理を行う。

【００２７】透視画法を利用するにあたり、画像をデジ
タイズして画素に分解する必要がある。画像のデジタイ
ズは、視点変換処理手段へ入力する際にビデオキャプチ
ャーボードにより実施することが可能である。また、デ
ジタル伝送路を利用する必要から、あるいは、画像をデ
ジタル記録する必要から、JPEG、Motion-JPEG、MPEG等
の画像符号化方式によりデジタル化がなされ視点変換処
理手段へ入力される場合もある。その場合には画像をビ
ットマップ形式へ変換し視点変換処理を行えばよい。

【００２８】さて、透視画法によれば、画像入力手段に
より撮影されデジタイズされた画像（以下、「原画像」
という。）は、被監視対象と画像入力手段の視点Ｅとの
間のスクリーンにおいて、被監視対象の各点のワールド
座標を視点座標にビューイング変換し、該視点座標から
二次元のスクリーン座標へと変換されたものであると考
えられる。したがって、原画像の各点のスクリーン座標
から逆にワールド座標を導出し、該ワールド座標に入力
された視点及び視線方向のビューイング行列を乗じ、さ
らに入力された視角により透視変換を行うことにより視
点変換処理を行える。

【００２９】上記の処理を図３により数学的に概説す
る。画像入力手段の視点Ｅは右手系のワールド極座標系
において座標（ρ θ φ）で与えられものとし、視点
Ｅから被監視対象の中心付近に位置する座標原点Ｏを見
るものとする。視点座標系はＥからＯへの方向をＺ軸の
正方向とする左手座標系とし、視点座標系のＸ軸は右方
向に、Ｙ軸は上方向にとる。スクリーンはＺ軸に直交し
Ｘ軸方向に２Ｃ_X、Ｙ軸方向に２Ｃ_Yの大きさであるもの
とする。被監視対象各点のワールド座標（Ｘ_WＹ_W
Ｚ_W）が与えられたとき、ビューイング変換による視点
座標系での座標（Ｘ _E Ｙ_E Ｚ_E）は数式１で求められ
る。

【００３０】

【数１】（Ｘ_E Ｙ_E Ｚ_E １）＝（Ｘ_W Ｙ_W Ｚ_W １）Ｖ

【００３１】ただし、ビューポート行列Ｖは数式２の４
×４行列である。

【００３２】

【数２】（−sinθ −cosφcosθ −sinφcosθ ０）（ cosθ −cosφsinθ −sinφsinθ ０）（０ sinφ −cosφ ０）（００ ρ １）

【００３３】得られた視点座標（Ｘ_E Ｙ_E Ｚ_E）は、
数式３でスクリーン座標（Ｘ_S Ｙ_S）に透視変換され
る。数式３において図の大きさはモニタが表示できる画
素数、物体の大きさは視角から導くことができる。

【００３４】

【数３】Ｘ_S＝ｄ×Ｘ_E/Ｚ_E＋Ｃ_X Ｙ_S＝ｄ×Ｙ_E/Ｚ_E＋Ｃ_Y ｄ＝ρ×図の大きさ／物体の大きさ

【００３５】原画像が以上のように生成されていると見
做し、数式５により表示されている原画像のスクリーン
座標からワールド座標を導く。

【００３６】

【数４】（Ｘ_W Ｙ_W Ｚ_W １）＝((Ｘ_S−Ｃ_X)Ｚ_E／ｄ
(Ｙ_S−Ｃ_Y)Ｚ_E／ｄＺ_E １)×Ｖ^-1 Ｖ^-1はビューイング行列Ｖの逆行列

【００３７】ここで、三次元ワールド座標系の中の一次
元を既知として外挿する。例えば、道路や河川や線路が
Ｚ_wをゼロとする平面にあるとすると、数式４によりワ
ールド座標は数式５のように求められる。

【００３８】

【数５】Ｘ_W＝Ｖ₄₃(ＡＸ_H−Ｙ_H)／｛Ａ(Ｖ₁₁−Ｖ₁₃Ｘ_H)
＋Ｖ₁₃Ｙ_H−Ｖ₁₂｝Ｙ_W＝Ｖ₄₃(ＢＸ_H−Ｙ_H)／｛Ｂ(Ｖ₂₁−Ｖ₂₃Ｘ_H)＋Ｖ₂₃Ｙ
_H−Ｖ₂₂｝Ｚ_W＝０Ａ＝（Ｖ₂₃Ｙ_H−Ｖ₂₂）／(Ｖ₂₃Ｘ_H−Ｖ₂₁）Ｂ＝（Ｖ₁₃Ｙ_H−Ｖ₁₂）／(Ｖ₁₃Ｘ_H−Ｖ₁₁）Ｖ_ijはビューイング行列Ｖのｉ行、ｊ列の要素Ｘ_H＝（Ｘ_S−Ｃ_X）／ｄＹ_H＝（Ｙ_S−Ｃ_Y）／ｄ

【００３９】上記により求めたワールド座標にあらため
て、入力された視点位置等に基づくビューイング変換及
び透視変換を行えば視点変換処理を実施できる。

【００４０】複数の視点変換処理手段を行うには、前述
の一画像用の視点変換処理手段を複数併置するほか、高
速な視点変換処理手段にタイムシュアリングした複数の
画像を入力する方法がある。

【００４１】(5)視点変換処理された複数の画像を合成
出力する画像合成手段の実施の形態について述べる。視
点変換処理された複数の画像は、同一のスクリーン座標
上に同一の視点からの透視変換がなされており、重畳に
よる合成が可能である。スクリーン座標上の同位置に異
なる画像の画素が重複する場合には、例えば、画像入力
データを参照し、撮影方向と指定された視線方向の差の
絶対値が小さな画像を第一優先に、撮影位置と指定され
た視点位置の距離の小さな画像を第二優先に表示するよ
う合成すれば、利用者の違和感の少ない精細な画像を出
力できる。その他、視点変換処理手段からビューイング
変換、透視変換のパラメータを画像合成手段へ出力し、
重ね合わせ順を柔軟に設定することも可能である。

【００４２】(6)指定された視点位置及び視線方向並び
に視角での画像を出力するための一乃至複数の画像入力
手段を、画像入力データを参照して選定する画像入力自
動選定手段の実施の形態は次の通りである。指定された
視点位置及び視線方向並びに視角から、視点変換処理後
に出力される画像の範囲（以下、「仮想画像範囲」と言
う。）を求める。仮想画像範囲を求めたように、画像入
力データ格納手段に格納されている画像入力手段の撮影
位置及び撮影方向並びに視角に関するデータから画像入
力手段の撮影可能範囲が求められる。あるいは、画像入
力データ格納手段に撮影可能範囲をあらかじめ格納して
も良い。以上のように得られた撮影可能範囲と仮想画像
範囲を照合して、一致する部分を持つ画像入力手段を選
定することにより、画像入力自動選定手段を実施でき
る。

【００４３】なお、仮想画像範囲の奥行きが非常に大き
くなる場合には、奥の画像入力手段から得られる画像は
極めて小さくなり有効な画像が得られないこと及び多数
の画像入力手段を選定すると処理量が大きくなることか
ら、奥行きを一定の値で打ち切る。また、画像入力手段
の視線方向が、指定された視線方向と大きく異なる場合
には選定しない等の条件を付加することにより、視点変
換処理及び画像合成処理を軽減することができる。

【００４４】仮想画像範囲の例を図４に示す。画像入力
手段の撮影位置がＸＹＺの三次元直交座標系において座
標（００Ｈ）で与えられ、Ｘ軸方向に俯角αで撮影
するものとする。その垂直視角が２β、水平視角が２γ
であるとき、撮影対象がＺ＝０の水平面上に分布してい
るとすると、仮想画像範囲は数式６の４つの座標で囲ま
れた部分となる。

【００４５】

【数６】（Ｈcot(α＋β) Ｈtanγ／sin(α＋β) ０）（Ｈcot(α＋β) −Ｈtanγ／sin(α＋β) ０）（Ｈcot(α−β) Ｈtanγ／sin(α−β) ０）（Ｈcot(α−β) −Ｈtanγ／sin(α−β) ０）

【００４６】(7)視点位置又は視線方向又は視角を自動
的に変化させる自動視点移動手段は、例えば、視点位置
を視線方向に毎秒一定値ずつ増加させる計算機能により
実現できる。この計算された値を視点入力手段に入力す
ることにより、徒歩や自動車による観測を自動的に模擬
することができる。被監視対象がカーブや交差点を有
し、視線方向も変化させなければ被監視対象を連続的に
把握できない場合には、被監視対象の形状や線形に関す
るデータベース乃至は地理情報システムを利用すること
により、視線方向と視点位置を連動させる。視線方向の
みを毎秒一定値ずつ増加させる計算機能を採用すれば、
自動的に周囲を見回せるため、回転台の操作を軽減でき
る。視角のみを増減させればズーム操作を軽減できる。

【００４７】(8)画像の拡大・縮小率を変化させる調整
機構は光学的又は電子的ズームにより実施され、撮影方
向を変化させる調整機構は回転台（雲台と呼ばれること
もある）により実施される。

【００４８】(9)調整機構に対して視点変換前後の画素
の移動量及び画像合成における重複画素を減じ、入力さ
れた視点位置及び視線方向並びに視角での画像出力に必
要な画像を入力するための制御を行う調整機構自動制御
手段の実施の形態は次の通りである。利用できる画像入
力手段が一つの場合をまず述べる。視点変換前後の画素
の移動量を減ずれば利用者の違和感を軽減できる。その
ために、撮影方向を視線方向へ近づける。次に、視点位
置及び視線方向が決定されたので、画像入力自動選定手
段の実施の形態で述べた三角関数を用いる方法で、仮想
画像範囲を撮影するようズームを制御する。以上の操作
により視点変換前後の画素の移動量を減じ、画像の差違
を減じることができる。複数の画像入力手段を利用する
場合には、視点変換処理後に生ずる重複する画素を減
じ、効率的な画像の取得及び合成を実現するため、仮想
画像範囲を適当な領域、例えば視点位置と撮影位置の間
の距離の比の逆数等に分割して、分割された領域ごとに
前述の制御を行う。制御値の算出にあたっては、調整機
構との通信により現在値と調整可能範囲を得るほか、調
整機構の制御性能に関するデータを画像入力データ格納
手段に格納し利用することが可能である。

【００４９】(10)音響入力手段は集音マイク等である。

【００５０】(11)音響入力手段の位置に関するデータを
格納する音響入力データ格納手段は、画像入力データ格
納手段と同様にデータベースを用いて実施できる。

【００５１】(12)音響入力データ格納手段を利用して、
指定された視点位置での音響を出力するための一乃至複
数の音響入力手段を選定する音響入力自動選定手段は次
のように実施できる。利用者の周囲にスピーカーが前後
左右の４個配置されている場合を例にとると、指定され
た視点位置の前後左右それぞれ９０°の範囲内で最も近
い音響入力手段を、音響データ格納手段に問い合わせて
選定する。

【００５２】(13)選定された一乃至複数の音響入力手段
からの音響を入力し、指定された視点位置での音響に変
換して視線方向に対応させて出力する音響処理手段の実
施の形態は次の通りである。まず、指示された視点位置
と選定された音響入力手段との間の距離を、音響入力デ
ータ格納手段を利用して求める。視点周囲の選定された
音響入力手段の音響の音量を、先に求めた距離の二乗に
逆比例配分して、さらに音速と距離から算出される遅延
時間を加えて、視点と音響入力手段の方向に対応する利
用者周囲のスピーカへ出力する。これにより視点から遠
い音響入力手段の音は遅れて小さく、近い音は速やかに
大きな音で、視線と合致する方向のスピーカから出力さ
れる。

【００５３】

【実施例】以下、図面を参照して本発明の実施例を説明
する。なお実施例を説明するための全図において、同一
機能を有するものには同一符号を付与し、その繰り返し
の説明は省略する。

【００５４】図６は本発明の請求項１に対応する映像出
力システムの実施例１の概略構成を示す図である。図６
において、２０は視点入力手段、２５は視点変換処理手
段である。利用者は視点入力手段２０を用いて、画像の
視点位置及び視線方向並びに視角を入力する。該視点は
視点入力手段２０から視点変換処理手段２５へ送出さ
れ、視点変換処理手段２５では、入力した画像に対し
て、該視点に関するデータに基づき視点変換処理を行
い、視点変換処理後の画像を出力する。

【００５５】図７は、図５に示した従来技術のＣＣＴＶ
システムに本発明を適用した実施例２の概略構成を示す
図である。図６において、１〜３及び５は通信路であ
り、１０は複数の画像入力手段であり、この例では監視
カメラである。１１は調整機構であり、画像の拡大・縮
小率を変化させるズーム機構並びに撮影方向を変化させ
る回転台である。１２は複数の画像入力手段から入力さ
れる画像信号を切り替えてモニタへ出力するビデオスイ
ッチャ、１３はモニタ、１４はモニタへ接続する画像入
力手段を指定する画像入力指定器、１５は調整機構であ
るズーム機構及び回転台を制御する制御器、２１は自動
視点移動手段、２２ａは画像入力手段並びに調整機構に
関するデータを格納しているデータベース、２３は画像
入力自動選定手段、２４は調整機構自動制御手段、２６
は画像合成手段である。

【００５６】このＣＣＴＶシステムの操作手順を説明す
る。利用者は視点入力手段２０を用いて、必要な画像及
び音響の視点位置及び視線方向並びに視角を入力する。
例えば、対象の見たい部分を地図上で指定し、視点の高
さを地上高1.5メートルなどと入力する。さらに、連続
的な対象を広域にわたって見るためには、自動視点移動
手段２１を用いて視点位置を対象に沿って自動的に移動
させるようセットする。そのときの移動速度に応じて徒
歩や車での巡視を模擬できる。入力された視点位置及び
視線方向並びに視角は通信路１を通じて画像入力自動選
定手段２３へ送出される。

【００５７】画像入力自動選定手段２３は、指定された
視点での画像を出力するために、仮想画像範囲を撮影で
きる一乃至複数の画像入力手段１０を、通信路２を通じ
てデータベース２２ａへ問い合わせ、選定する。選定さ
れた画像入力手段が調整機構を備えている場合には、画
像入力自動選定手段２３は通信路５を通じて、指定され
た視点と画像入力手段の調整機構に関するデータを調整
機構自動制御手段２４へ送出する。

【００５８】調整機構自動制御手段２４は制御すべき値
を算出して制御器１５を通じて調整機構１１を制御す
る。これにより従来の技術では利用者が行っていた制御
器１５の操作が不要となる。調整機構自動制御手段２４
は制御後の画像入力手段の撮影位置及び撮影方向並びに
視角を通信路５を通じて画像入力自動選定手段２３へ返
す。画像入力自動選定手段２３は通信路２を通じて、制
御後のデータでデータベース２２ａの値を更新する。

【００５９】一方、画像入力自動選定手段２３は画像入
力指定器１４を通じてビデオスイッチャ１２を制御し、
選定された画像入力手段からの画像を視点変換処理手段
２５へ入力する。これにより従来の技術では利用者が行
っていた画像入力指定器１４の操作が不要となる。画像
入力自動選定手段２３が保有している、指定された視点
及び選定された画像入力手段並びに該画像入力手段に関
するデータは、通信路３を通じて視点変換処理手段２５
へ送出される。

【００６０】視点変換処理手段２５は入力した画像に対
して、指定された視点と画像入力手段に関するデータに
基いて、視点変換処理を行う。

【００６１】視点変換処理手段２５から出力される視点
が変換された画像は、指定された視点及び画像入力手段
に関するデータ並びに視点変換処理に用いたパラメータ
とともに画像合成手段２６に入力され、複数の画像が入
力されるならば合成され、モニタ１３に出力される。

【００６２】自動視点移動手段２１により視点が連続的
に変更される場合には、上記の画像入力手段選択、調整
機構制御、視点変換処理、合成処理が連続的に続けられ
る。したがって、利用者は操作を行わなくても、自動的
に視点位置を進めて対象の把握ができる。また、必要に
応じて自動視点移動手段２１及び視点入力手段２０の機
能を解除し、画像入力指定器１４並びに制御器１５を手
動で操作すれば、従来技術によるＣＣＴＶシステムとし
て動作させることができる。その場合には、画像入力手
段を意識して操作し、撮影画像に変換処理を行わない画
像を出力することができる。

【００６３】図１は、本発明による映像出力システムの
実施例３の概略構成を示す図である。図１において、１
〜９は通信路、１６は画像入力手段からの画像を伝送し
ているデジタル画像ネットワーク、１７は音響入力手段
からの音響を伝送しているデジタル音響ネットワーク、
２２ｂは画像入力手段及び調整機構並びに音響入力手段
に関するデータを格納しているデータベース、３０は音
響入力手段、３１は音響入力自動選定手段、３２は音響
処理手段、３３はスピーカである。

【００６４】利用者は視点入力手段２０を用いて、必要
な画像及び音響の視点位置及び視線方向並びに視角を指
定する。必要に応じて、自動視点移動手段２１を用いて
視点位置を対象に沿って自動的に移動させるようセット
する。指定された視点位置及び視線方向並びに視角は通
信路１を通じて画像入力自動選定手段２３へ送出され
る。画像入力自動選定手段２３は、指定された視点での
画像を出力するために、仮想画像範囲を撮影できる一乃
至複数の画像入力手段１０を、通信路２を通じてデータ
ベース２２ｂへ問い合わせて選定する。選定された画像
入力手段が調整機構を備えている場合には、画像入力自
動選定手段２３は通信路５を通じて、指定された視点と
調整機構に関するデータを調整機構自動制御手段２４へ
送出する。

【００６５】調整機構自動制御手段２４は制御すべき値
を算出して調整機構１１を制御するとともに、制御後の
画像入力手段の撮影位置及び撮影方向並びに視角を通信
路５を通じて画像入力自動選定手段２３へ返す。画像入
力自動選定手段２３は通信路２を通じて、制御後の画像
入力データでデータベース２２ｂの値を更新する。

【００６６】画像入力自動選定手段２３が保有してい
る、指定された視点及び選定された画像入力手段番号並
びに該画像入力手段に関するデータは、通信路３を通じ
て視点変換処理手段２５へ送出される。

【００６７】視点変換処理手段２５は送出された画像入
力手段番号に基づいて、該当する画像入力手段が撮影す
る画像をデジタル画像ネットワーク１６から通信路４を
通じて取り出し、指定された視点位置等と画像入力手段
に関するデータに基づき視点変換処理を行う。

【００６８】視点変換処理手段２５から出力される視点
等が変換された画像は、指定された視点位置等及び該画
像入力手段に関するデータ並びに視点変換処理に用いた
パラメータとともに画像合成手段２６に入力され、複数
の画像が入力されるならば合成され、モニタ１３に出力
される。

【００６９】画像の出力例を図２に示す。図２において
撮影する監視カメラはａ並びにｂの２台であるが、画像
を視点処理変換し合成することにより、入力された仮想
的な視点ａ〜ｄに追従した画像を出力している。

【００７０】一方、音響は次のように出力する。自動視
点移動手段２１及び視点入力手段２０を用いて指定され
た視点位置及び視線方向は、通信路６を通じて音響入力
自動選定手段３１へ送出される。音響入力自動選定手段
３１は、指定された視点位置及び視線方向での音響を出
力するために、指定された視点位置近傍の一乃至複数の
音響入力手段３０を、通信路７を通じてデータベース２
２ｂへ問い合わせ、選定する。音響入力自動選定手段３
１が選定した音響入力手段番号並びに指定された視点位
置及び視線方向は、通信路８を通じて音響処理手段３２
へ送出される。音響処理手段３２は送出された音響入力
手段番号に基づいて、該当する音響入力手段が入力する
音響をデジタル音響ネットワーク１７から通信路９を通
じて取り出し、指定された視点位置及び視線方向に基づ
き音響処理を行う。

【００７１】もし、音響が従来のアナログ信号で伝送さ
れている場合には、サウンドスイッチャを音響処理手段
３２と音響入力手段３０の間に設け、音響入力自動選定
手段３１はサウンドスイッチャを制御して所要の音響信
号を得ることができる。

【００７２】音響処理手段３２では指定された視点位置
と音響入力手段との距離に基づき、音量と遅延を調整
し、視線方向に対応する利用者周囲のスピーカ３３へ音
響を出力する。

【００７３】このように、実施例３によれば、画像に連
動した音響を出力できるため高い臨場感を得ることがで
きる。これにより対象の把握がより効率的なものとな
る。

【００７４】以上、本発明を実施例にもとづき具体的に
説明したが、本発明は、前記実施例に限定されるもので
はなく、その要旨を逸脱しない範囲で種種変更し得るこ
とは言うまでもない。

【００７５】

【発明の効果】この発明の映像出力システムでは、各発
明毎に次の効果がある。請求項１によれば、利用者が必
要とする視点位置及び視線方向並びに視角での画像を出
力できることから、対象を容易に把握・認識できる。請
求項２によれば、複数の画像を合成できることから、画
像入力手段の切替え等に伴う画像の再理解が不要とな
り、特に連続する対象の把握・認識がより容易となる。
また、画像入力手段の選定及び画像合成を自動化できる
ので、利用者の操作を少なくできる。請求項３によれ
ば、画像入力手段が備える調整機構を利用して違和感の
少ない精細な画像が得られるほか、自動化により操作を
軽減できる。請求項４によれば、自動的に視点位置又は
視線方向又は視角を変化させるため、利用者の操作を少
なくできる。請求項５によれば、画像に連携した音響を
出力できるため、臨場感を高め効果的に対象を把握でき
る。

【図面の簡単な説明】

【図１】本発明による映像出力システムの実施例３の概
略構成を示す図である。

【図２】図１のシステムを利用して得られる画像の例を
示す図である。

【図３】視点変換処理を説明するための図である。

【図４】仮想画像範囲を説明するための図である。

【図５】従来のＣＣＴＶシステムの一例の概略構成を示
す図である。

【図６】本発明による映像出力システムの実施例１の概
略構成を示す図である。

【図７】本発明を図５に適用した実施例２の概略構成を
示す図である。

【符号の説明】

１〜９通信路１０画像入力手段１１調整機構１２ビデオスイッチャ１３モニタ１４画像入力指定器１５制御器１６画像入力手段の画像が伝送されているデジタル
画像ネットワーク１７音響入力手段の音響が伝送されているデジタル
音響ネットワーク２０視点入力手段２１自動視点移動手段２２ａ画像入力手段並びに調整機構に関するデータベ
ース２２ｂ画像入力手段及び調整機構並びに音響入力手段
に関するデータベース２３画像入力自動選定手段２４調整機構自動制御手段２５視点変換処理手段２６画像合成手段３０音響入力手段３１音響入力自動選定手段３２音響処理手段３３スピーカ

Claims

【特許請求の範囲】

【請求項１】視点位置及び視線方向並びに視角を入力す
る視点入力手段と、画像を入力し該視点位置及び該視線
方向並びに該視角での画像へ変換して出力する視点変換
処理手段とを備えたことを特徴とする映像出力システ
ム。
【請求項２】複数の画像入力手段を備えた映像出力シス
テムにおいて、該複数の画像入力手段の撮影位置及び撮
影方向並びに視角に関するデータを格納する画像入力デ
ータ格納手段と、視点位置及び視線方向並びに視角を入
力する視点入力手段と、該画像入力データ格納手段を利
用して、該視点位置及び該視線方向並びに該視角での画
像を出力するための一乃至複数の画像入力手段を選定す
る画像入力自動選定手段と、選定された一乃至複数の画
像入力手段からの画像を入力し、該視点位置及び該視線
方向並びに該視角での画像へ変換して出力する視点変換
処理手段と、該変換された複数の画像を合成出力する画
像合成手段とを備えたことを特徴とする映像出力システ
ム。
【請求項３】視点位置又は視線方向又は視角を自動的に
変化させる自動視点移動手段を備えた請求項１または２
に記載の映像出力システム。
【請求項４】画像入力手段が画像の拡大・縮小率又は撮
影方向を変化させる調整機構を備える映像出力システム
において、該調整機構に対して視点変換前後の画素の移
動量及び画像合成における重複画素を減じ、入力された
視点位置及び視線方向並びに視角での画像出力に必要な
画像を入力するための制御を行う調整機構自動制御手段
を備えたことを特徴とする請求項１から３に記載の映像
出力システム。
【請求項５】複数の音響入力手段と、該音響入力手段の
位置に関するデータを格納する音響入力データ格納手段
と、該音響入力データ格納手段を利用して、入力された
視点位置での音響を出力するための一乃至複数の音響入
力手段を選定する音響入力自動選定手段と、選定された
一乃至複数の音響入力手段からの音響を入力し、入力さ
れた視点位置での音響に変換し、入力された視線方向に
対応させて出力する音響処理手段とを備えたことを特徴
とする請求項２に記載の映像出力システム。