JP2002152719A - 曲面像を利用したモニタ方法及びモニタ装置 - Google Patents

曲面像を利用したモニタ方法及びモニタ装置

Info

Publication number
JP2002152719A
JP2002152719A JP2001243018A JP2001243018A JP2002152719A JP 2002152719 A JP2002152719 A JP 2002152719A JP 2001243018 A JP2001243018 A JP 2001243018A JP 2001243018 A JP2001243018 A JP 2001243018A JP 2002152719 A JP2002152719 A JP 2002152719A
Authority
JP
Japan
Prior art keywords
curved surface
surface image
image
monitor device
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001243018A
Other languages
English (en)
Inventor
Norimitsu Shirato
憲光 白戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
USC Corp
Original Assignee
USC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by USC Corp filed Critical USC Corp
Priority to JP2001243018A priority Critical patent/JP2002152719A/ja
Publication of JP2002152719A publication Critical patent/JP2002152719A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 少ない構成要素で安価に構成できるにもかか
わらず、広範囲に亙るモニタを可能にする。 【解決手段】 モニタ装置は、曲面像を映し出す魚眼レ
ンズ1と、この魚眼レンズ1に映し出された曲面像を取
り込むCCD装置4と、を備える。また、このモニタ装
置は、上記CCD装置4に取り込んだ曲面像を平面像に
変換する変換処理プログラムを組み込んだコンピュータ
装置と、このコンピュータ装置に接続され、上記変換処
理プログラムによって得られた平面像を映し出すディス
プレイ装置と、を備える。上記変換処理プログラムは、
平面像の全体若しくは任意の部分を任意の倍率で拡大若
しくは縮小自在である。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、例えば監視装置
等に利用されるもので、広範囲の映像をモニタ可能とし
た曲面像を利用したモニタ方法及びモニタ装置に関す
る。
【0002】
【従来技術とその課題】大型書店等の大規模小売店にお
いては、店内に監視カメラを設置し、商品の盗難を防止
することが広く行われている。従来から知られている監
視装置は、監視カメラによって店内を映し出し、ディス
プレイ装置に表示させるようにしたものが一般的であ
る。尚、大規模小売店においては、従業員等の死角にな
る場所が多いため、多数の監視カメラを設置し、店内全
域を監視するようにしている。
【0003】しかしながら、上述したように店内全域を
監視すべく多数の監視カメラを設置するのは、設置コス
トが嵩むため好ましくない。
【0004】しかも、上述したような従来の監視装置に
おいては、監視カメラが取り込んだ映像を、ケーブル若
しくは無線等の通信手段を介して監視カメラ設置位置か
ら離れた場所に設置したディスプレイ装置に送信し、こ
のディスプレイ装置により監視することが広く行われて
いる。このように多数の監視カメラとともにこれら監視
カメラとほぼ同数のケーブルや通信手段を設置すること
は、やはりコストが嵩んでしまい、好ましくない。
【0005】この発明に係る曲面像を利用したモニタ方
法及びモニタ装置は、上述のような事情に鑑みて創案さ
れたもので、広範囲の映像を安価に且つ迅速にモニタ可
能としたものである。
【0006】
【課題を解決するための手段】この発明に係る曲面像を
利用したモニタ方法およびモニタ装置のうち、方法に係
る発明は、請求項1に記載したように、曲面像を映し出
す映出体と、この映出体に映し出された曲面像を取り込
むCCD装置と、を備え、上記CCD装置に取り込んだ
曲面像を平面像に変換し、ディスプレイ装置によって当
該平面像を映し出すことを特徴とするものである。
【0007】尚、上記CCD装置に取り込んだ曲面像の
平面像への変換は、請求項2に記載したように、変換処
理プログラムにより行うことができる。この変換処理プ
ログラムとしては、請求項3に記載したように、上記映
出体に映し出された曲面像のサンプリング点の平面上へ
の射影点をジオメトリ演算により算出し、直交系変換ア
ルゴリズムを用いることなく上記曲面像を平面像に変換
するものを採用できる。
【0008】また、上記変換プログラムとしては、請求
項4に記載したように、上記映出体の射影特性に基づい
て上記曲面像上のサンプリング点を算出し、直交系変換
アルゴリズムを用いることなく上記曲面像を平面像に変
換するものを採用できる。
【0009】具体的には、請求項5に記載したように、
上記映出体の射影特性に基づいて球面状若しくは平面状
のポリゴンモデルを構築し、このポリゴンモデルに対し
て上記曲面像上の各サンプリング点を、複数の多角形
(例えば三角形)に分割した上記ポリゴンモデルの各頂
点に対応させ、更にジオメトリ変換によりカメラ視野系
に変換した後に各種投影変換を施し、ラスタライズして
上記映出体に映し出された曲面像を平面像に変換するも
のを採用できる。
【0010】尚、上記映出体の射影特性としては、請求
項6に記載したように、該映出体の曲率半径に係るパラ
メータを含むものとすることができる。
【0011】また、上記変換プログラムとしては、請求
項7に記載したように、上記曲面像のうちの任意の範囲
を平面像に変換するものとしたり、請求項8に記載した
ように、上記曲面像のうちの任意の複数の範囲を同時に
平面像に変換するものとしたり、更には、請求項9に記
載したように、上記曲面像のうちの任意の範囲を任意の
倍率で拡大若しくは縮小して平面像に変換するものとす
ることができる。
【0012】更に、上記映出体としては、請求項10に
記載したように、射影系レンズ若しくは反射鏡を採用す
ることができる。上記反射鏡としては、請求項11に記
載したように、凸面鏡若しくは凹面鏡を、上記射影系レ
ンズとしては、請求項12に記載したように、魚眼レン
ズ若しくは広角レンズを、それぞれ採用できる。
【0013】次に、この発明に係る曲面像を利用したモ
ニタ方法およびモニタ装置のうち、装置の発明は、請求
項13に記載したように、曲面像を映し出す映出体と、
この映出体に映し出された曲面像を取り込むCCD装置
と、このCCD装置に取り込んだ曲面像を平面像に変換
する変換処理プログラムを組み込んだコンピュータ装置
と、このコンピュータ装置に接続され、上記変換処理プ
ログラムによって得られた平面像を映し出すディスプレ
イ装置と、を備えたものである。
【0014】尚、上記変換処理プログラムとしては、請
求項14に記載したように、上記映出体に映し出された
曲面像のサンプリング点の平面上への射影点をジオメト
リ演算により算出し、直交系変換アルゴリズムを用いる
ことなく上記曲面像を平面像に変換するものを採用でき
る。
【0015】また、上記変換プログラムとしては、請求
項15に記載したように、上記映出体の射影特性に基づ
いて上記曲面像上のサンプリング点を算出し、直交系変
換アルゴリズムを用いることなく上記曲面像を平面像に
変換するものを採用できる。
【0016】具体的には、請求項16に記載したよう
に、上記映出体の射影特性に基づいて球面状若しくは平
面状のポリゴンモデルを構築し、このポリゴンモデルに
対して上記曲面像上の各サンプリング点を、複数の多角
形(例えば三角形)に分割した上記ポリゴンモデルの各
頂点に対応させ、更にジオメトリ変換によりカメラ視野
系に変換した後に各種投影変換を施し、ラスタライズし
て上記映出体に映し出された曲面像を平面像に変換する
ものを採用できる。
【0017】尚、上記映出体の射影特性としては、請求
項17に記載したように、該映出体の曲率半径に係るパ
ラメータを含むものとすることができる。
【0018】更に、上記変換プログラムとしては、請求
項18に記載したように、記曲面像のうちの任意の範囲
を平面像に変換するものとしたり、請求項19に記載し
たように、上記曲面像のうちの任意の複数の範囲を同時
に平面像に変換するものとしたり、更には、請求項20
に記載したように、上記曲面像のうちの任意の範囲を任
意の倍率で拡大若しくは縮小して平面像に変換するもの
とすることができる。
【0019】また、上記映出体としては、請求項21に
記載したように、射影系レンズ若しくは反射鏡を採用す
ることができる。上記反射鏡としては、請求項22に記
載したように、凸面鏡若しくは凹面鏡を、上記射影系レ
ンズとしては、請求項23に記載したように、魚眼レン
ズ若しくは広角レンズを、それぞれ採用できる。
【0020】また、請求項24に記載したように、上記
CCD装置で取り込んだ曲面像を上記コンピュータ装置
に配信する通信手段を設け、上記CCD装置から遠隔の
地でモニタするように構成することもできる。
【0021】そして、この発明に係るモニタ装置は、請
求項25乃至請求項33に記載したように、例えば、イ
ンターネットを利用したテレビ会議システムや警備監視
システム、観光案内システム、不動産案内システム、チ
ャットシステム、交通監視システム、ライブ放送システ
ム、スポーツ放送システム及び通信カラオケシステム等
に適用することができる。
【0022】
【発明の実施の形態】以下、添付図面に示す実施の各形
態例に基づきこの発明を詳細に説明する。
【0023】図1は、この発明に係る曲面像を利用した
モニタ装置の構成を略示するブロック図である。このモ
ニタ装置においては、魚眼レンズ1と、光学フィルタ2
と、光学レンズ3と、CCDカメラからなるCCD装置
4と、を備えている。上記魚眼レンズ1に映し出された
像(曲面像)は、上記光学フィルタ2及び光学レンズ3
を介してCCD装置4に取り込まれる。上記CCD装置
4は、図示しないコンピュータ装置に接続されており、
CCD装置4が取り込んだ曲面像(図8(A)参照)
は、このコンピュータ装置に送られる。尚、上記曲面像
とは、魚眼レンズ1に映し出された像を指す。但し、後
述するように、魚眼レンズ1に代えて凸面鏡や凹面鏡、
広角レンズを採用した場合には、これら凸面鏡や凹面
鏡、広角レンズに映し出された像を指す。
【0024】上記コンピュータ装置には、上記CCD装
置4に取り込んだ曲面像を平面像に変換する変換処理プ
ログラムが組み込まれている。尚、上記平面像とは、我
々の目に映る像を指す。上記コンピュータ装置には図示
しないディスプレイ装置が接続されており、このディス
プレイ装置により、上記変換処理プログラムによって変
換された平面像を表示するようにしている。また、上記
コンピュータ装置は、一般に知られているいわゆるパー
ソナルコンピュータの他、いわゆる各種ノートパソコ
ン、PDA、更には他の機器に組み込まれたワンチップ
マイコンを含む。要は、上記変換処理プログラムが組み
込まれ、当該処理を行なうよう設計されたものであれば
よい。上記処理の結果は、これらワンチップマイコンや
PDA等に接続されたディスプレイ装置に表示させるよ
うに構成する。
【0025】次に、上記変換処理プログラムについて説
明するが、この説明に先立ち、この発明に係る変換処理
のアルゴリズムについて簡単に説明しておく。
【0026】図2に示すように、魚眼レンズ1で撮影さ
れた曲面像13は、魚眼レンズ1の周りの三次元空間を
二次元の円形画像上へ射影して記録されたものである。
三次元空間から二次元の円形画像への射影先は、使用す
る魚眼レンズ1の射影特性によって定まる。射影特性に
より円形画像の中心から外周への情報量の分布密度の特
性が変わり、一般には外側が疎になる傾向がある。
【0027】曲面像13から平面像への展開(変換処
理)は、平面座標から極座標への対応点を求めることに
よって行われる。図3に示すように、曲面像の半径を
R、任意の点をp、原点から点pまでの長さをr、外部
から与えられるパラメータをθ、φとすると、極座標パ
ラメータは以下のようにまとめることができる。 p:(r・cosφ、r・sinφ) r=R・f(θ) f(θ):{0≦f(θ) ≦1} θ:{0≦θ≦1} φ:{0≦φ≦2π} ここで、f(θ)とは魚眼レンズ1の射影特性をあらわす
関数である。
【0028】この発明に係るアルゴリズムにおいては、
図4に示すように、複数の三角形から成る天球状のポリ
ゴンモデルを作成し、このポリゴンモデルの各頂点を曲
面像上の然るべきサンプリングポイントへレンズの射影
特性を考慮しながら正確にマッピングし、仮想的なカメ
ラで天球の中心から天球内を見渡すことにより遠近画像
を得るものである。上記三角形内部のピクセル演算は、
テクスチャマッピング技法を利用した近似計算で求め
る。このため、従来における変換作業は描画ピクセル単
位で行われることに基づき、その演算量は複雑で膨大な
ものであったが、この発明においては、上述した理由に
より全体の演算量が減り、高速化を可能としている。
【0029】また、最近の処理系はテクスチャマッピン
グをハードウェアでサポートしているのが一般的になっ
てきており、この遠近補正出力は非常に高速に処理され
る。従来のような直交系の変換アルゴリズムを必要とせ
ず、事前に元画像を直交座標系へ変換しておく必要がな
い。又、使用するレンズの画角に対応させて天球状のポ
リゴンモデルの開度θを決定することにより、焦点距離
などの情報を必要とせずに、任意の画角のレンズに対応
することが可能である。
【0030】球面展開は三次元空間から曲面像へ射影さ
れてきた光の経路を、今度は逆の経路を辿ることで再び
三次元空間を再現しようと試みる展開である。図5に示
すように、仮想三次元空間へ天球14を置き、曲面像か
ら空間へ伸びる光との交点を想定し、曲面像を天球14
の内側へテクスチャマッピングすることを想定する。
【0031】この際、天球14の中心点に仮想的なカメ
ラを置き天球内を見渡すと元の三次元空間が再現されて
見える。球面展開では仮想空間上の天球14内に三次元
空間が再現されるので、ユーザーは天球14の中心点に
置かれた仮想的なカメラを操作することで、自由に好き
な方向を見たり映像を拡大或いは縮小したりすることが
可能になる。また、仮想的なカメラは何台でも追加が可
能なので、1つの元画像を同時に様々なアングルの遠近
出力が可能である。これにより複数のユーザーが能動的
に、同時に任意の方向を遠近出力することが可能であ
る。
【0032】実際のマッピングは三次元空間から曲面像
へ向かう光の経路と同じように、天球状のポリゴンモデ
ルを構成する各頂点の、元画像上への射影によって行わ
れる。その際レンズの射影特性を考慮することで様々な
射影特性のレンズへ対応することができる。
【0033】天球14上のポリゴン頂点から曲面像上の
ピクセルへの射影点pを求める為には、パラメータθ、
φを与える必要がある。図6に示すように、天球の頂点
をθの始点とすれば、三次元空間上のポリゴン頂点座標
sは次の通りに定まる。 s:(θ、φ) この頂点パラメータθ、φを、上記図3の極座標へ代入
することで、天球14上の頂点から極座標上の射影先p
が求まる。天球状のポリゴンモデルにテクスチャマッピ
ングされた曲面像は、仮想的なカメラを通してレンダリ
ングされ二次元の遠近補正画像へと展開される。尚、こ
れらパラメータθ、φを、それぞれ平面状のポリゴンの
横軸、縦軸に取ると、この展開は平面状のポリゴンを利
用したパノラマ展開になるのは勿論である。つまり、こ
の例の構造においては、遠近補正画像を得るのに直交系
変換アルゴリズムを用いないにも拘わらず、遠近補正画
像と同時にパノラマ展開画像をも生成することが可能で
ある。
【0034】仮想的なカメラを通してのレンダリングに
は3Dジオメトリ演算が用いられる。3Dジオメトリ演
算表記は処理系により異なるが、例として左手座標系、
行(横)ベクトル表記を用いて説明する。一般に3Dジ
オメトリ演算は同次四次元座標を用いた各種行列演算に
より行われ、ポリゴンモデル上の頂点を[xyz1]、変換後
の頂点を[x'y'z'1]とすると、一般的に次のように示す
ことができる。 [x'y'z'1]=[xyz1]*[W]*[V]*[P] 尚、上記[W]はワールド変換行列、上記[V]はビュー変換
行列、上記[P]は射影変換行列である。上記ワールド変
換行列とは、オブジェクト座標系からワールド座標系へ
の変換行列であり、上記ビュー変換行列とは、ワールド
座標系からカメラ座標系への変換行列であり、上記射影
変換行列とは、カメラ座標系から射影空間(遠近補正後
同次空間)への変換行列である。
【0035】射影空間へ変換されたポリゴン頂点はその
後、一般的に、クリッピング処理、ビューポート変換を
経て二次元平面へ変換され、ポリゴンを形成する頂点間
領域を補完するようにテクスチャマッピング処理により
レンダリングされて画像が生成される。上記の[V]、[P]
の部分が仮想的なカメラの機能を提供する。[V]で任意
の視線方向を設定することでカメラのパン、チルト、回
転が実現される。又、[P]により遠近補正が行われ、カ
メラのズームイン/アウトはここで実現される。これら
座標変換は頂点に対する、平行移動(translating)、回
転(rotation)、拡大縮小(scaling)、せん断(shear)の4
つの操作を組み合わせて実現される。
【0036】上述したアルゴリズムに基づく上記変換処
理プログラムは、曲面像を映し出す映出体に映し出され
た上記曲面像を平面像に変換するためのもので、図7及
び図8に示すように、魚眼レンズ1の射影特性に基づい
て上記曲面像の上のサンプリング点を算出して上記曲面
像を平面像に変換するものである。すなわち、上記魚眼
レンズ1の曲率半径に係る特性をはじめとする射影特性
に基づいて上記曲面像上のサンプリング点を求め、更に
上記射影特性に基づいて球面状のポリゴンモデルを構築
し、このポリゴンモデルに対して上記曲面像上の各サン
プリング点を、複数の三角形に分割した上記ポリゴンモ
デルの各頂点に対応させ、更にジオメトリ変換によりカ
メラ視野系に変換した後に各種投影変換を施し、ラスタ
ライズして上記映出体に映し出された曲面像を平面像に
変換するものである。尚、上記射影特性は、例えば理工
学・数学の各種手法等を用い、手動により若しくは自動
的に求めるようにする。この射影特性は、一度求めれば
よい。
【0037】上記魚眼レンズ1の射影特性を基にして、
上記ポリゴンモデル上の複数の三角形の頂点をジオメト
リ変換することによりカメラ座標系にし、並行投影や透
視投影等の各種投影処理を施す。これにより、上記各頂
点の平面上への投影先ピクセルを求める。次いで、上述
のようにして求められた平面上の三角形領域に対し、対
応する曲面像上の三角形のサンプリング領域を適宜に変
形し、ラスタライズする。すなわち、平面上の三角形領
域の各ピクセルごとに、曲面像上の参照すべき画素を定
める。これらの処理は、厳密な計算ではなく、近似計算
であるため、処理速度を向上させることができる。
【0038】換言すれば、三次元空間上に、視線方向と
視野角とクリッピング面とバンク角とを考慮した仮想的
なカメラを想定し、ポリゴンモデルの原点に置いた上記
カメラを介して見渡すと、曲面画像から平面画像に変換
された画像を得られる。実際には、上記仮想的なカメラ
を介して各サンプリング点の二次元画像上への変換先を
求め、各サンプリング点の三角形領域をテクスチャマッ
ピングにより隙間なく埋めていく。このため、従来方法
のような多数のピクセルごとに複雑な計算を施す必要が
なく、高速に変換可能になる。
【0039】ところで、本形態例に係る方法によって得
られる平面画像は、近似された画像であるが、ポリゴン
モデルのポリゴン数を増やしたり、ポリゴンモデルの密
度を工夫したりすることによって実際の画像に近づける
ことができる。
【0040】上述したように構成される本形態例に係る
変換処理プログラムの作用は次のとおりである。すなわ
ち、図9に示すように、先ず曲面像情報(半径、中心座
標)、使用レンズ情報(射影系、画角)を入力する(ス
テップ1)。次いで、ステップ2に進み、天球状のポリ
ゴンを作成する。更に、ステップ3に進み、上記ステッ
プ1で入力した情報を元に、天球状のポリゴンの各頂点
と曲面像の対応ポイントを関連付ける。尚、上記天球状
のポリゴンは、三角形ポリゴンから成るので、当該処理
は結果的に曲面像を三角形領域へ対応付けるのと同じ意
味を持つ。更に、ステップ4に進み、仮想カメラ情報
(視線方向、画角(ズームイン・ズームアウト))を入
力する。次いで、ステップ5に進み、上記ステップ4で
入力した情報を元に、天球状のポリゴンを、各種3Dジ
オメトリ演算する。尚、この3Dジオメトリ演算は、ワ
ールド変換、ビュー変換、射影変換、クリッピング処
理、ビューポート変換、を含む。更に、ステップ6に進
み、上記ステップ5における結果をテクスチャマッピン
グ処理によりレンダリングする。これにより、遠近補正
画像が生成される。このテクスチャマッピング処理は三
角形単位で行われ、この部分が処理を簡略化し高速化す
る部分である。次いで、ステップ7に進み、遠近補正画
像を表示する。最後に、ステップ8として、曲面像を更
新し、ステップ4に戻る。以下、上記ステップ4からス
テップ8を必要回数繰り返す。
【0041】上述したような処理により、魚眼レンズ1
に映し出されている、図8(A)に示すような映像(曲
面像)を上記CCD装置4によって取り込み、この取り
込んだ像を上記変換処理プログラムを介して平面像に変
換する。尚、このような平面像への変換は、所定角度
(例えば90度)ごとに行なうことで、コンピュータ装
置の負担を軽減させることができる。上述したとおり、
この変換は従来方法に比較して高速に処理される。変換
された平面像は、上記ディスプレイ装置によって表示さ
れる。図8(B)は、ディスプレイ装置に表示された平
面像を示している。
【0042】尚、上記各変換処理プログラムは、上記C
CD装置4が取り込んだ曲面像を、該曲面像を分割して
なる各領域ごとに所望の回転及び所望の拡大/縮小等の
処理を施して平面像にすることが可能なことは言うまで
もない。すなわち、コンピュータ装置の入力装置(キー
ボード、マウス等)を介して、得られた平面像における
各領域を選択し、当該部分の拡大、縮小倍率の設定を行
うことで、表示されている平面像の任意の個所を任意の
倍率で拡大、縮小できるようにしている。従って、ユー
ザはディスプレイ装置に表示された画像を適宜拡大或い
は縮小表示できるため、精度の高いモニタリングが可能
になる。尚、上述したアルゴリズムに基づいて変換処理
を行なう本形態例の構造の場合、従来から知られてい
る、監視カメラのパン、チルト等を機械式に行なうもの
に比較して、パン、チルト等の動作を高速に行なうこと
ができ、更にメンテナンスの手間も省くことができる。
更には、本形態例の構造の場合、複数のユーザーが同時
に任意の範囲の平面像を見ることができる。しかも、こ
れら平面像は任意の倍率で拡大、縮小して見ることがで
きる。このような効果は、上記機械式のものでは得るこ
とができないか、或いは困難であったが、本形態例の構
造の場合、容易に可能である。
【0043】上記図8の記載から明らかなように、本形
態例においては単一の魚眼レンズ1及び単一のCCD装
置4によって室内のほぼ全域をディスプレイ装置に表示
させることが可能になる。従って、従来のモニタ装置の
ように、多数の監視カメラを設置する必要がなくなり、
設置コストの低廉化を図れる。
【0044】また、上記CCD装置4と上記コンピュー
タ装置及びディスプレイ装置とが、それぞれ離れた場所
に設置されている場合で、上記CCD装置4で取り込ん
だ映像を、一般公衆回線等の各種回線或いは無線を介し
た通信手段により配信(伝送)するように構成した場
合、従来構造のように多数のカメラ(本例の場合、CC
D装置4)を設置する必要がないことから、この配信が
円滑に行われるとともに、配信に要するコスト(回線使
用料等)が嵩むことがなくなる。しかも、上記CCD装
置4に取り込んだ像は、狭い面積の中に広い範囲の映像
を含んだものであるため、伝送するデータ量が小さく、
この点からもデータ送信の迅速化と伝送コストの低廉化
とを図れる。
【0045】上記一般公衆回線等の各種回線或いは無線
から成る通信手段が、特許請求の範囲に記載した通信手
段をなす。また、特許請求の範囲に記載した通信手段に
は、インターネットやLAN、WANといったネットワ
ークシステムも含まれる。
【0046】尚、上述した形態例においては、映出体と
して魚眼レンズ1を採用した例について説明したが、上
記映出体としては他にも、反射鏡である凸面鏡や凹面
鏡、射影系レンズである広角レンズを採用することがで
きる。要は、上記映出体として曲面像を映し出すもので
あれば良い。また、上記CCD装置4を構成するCCD
カメラとしては、従来から知られているものを採用でき
る。更に、コンピュータ装置、通信手段に関しても従来
知られた種々のものを採用できる。
【0047】上述した形態例の構造の場合、曲面像をそ
のまま利用でき、しかも、計算速度を向上させるために
三角形テクスチャポリゴンを変換単位として扱うように
している。この結果、ポリゴンモデルとテクスチャとの
関連付けが必要なのは最初の一回だけとなり、従来技術
では実現困難であったリアルタイム性のあるインタラク
ティブで高画質な動画像を実現している。尚、上記ポリ
ゴンモデルの精度を変更することで、生成画像品質と処
理系への負担とを調整することができる。また、この発
明においては、仮想的な三次元空間において、半球状画
像領域上の各サンプリングポイントを天球状のポリゴン
モデルの各頂点へ直接対応させた後、仮想的なカメラを
通して天球内を見上げることで遠近出力を得ている。こ
のため、従来行なわれていたような事前にパノラマ展開
等の前処理を必要とせず、半球状画像領域を直接利用す
ることが可能である。静止画だけではなく、カメラから
画像をキャプチャーしながらリアルタイムに遠近出力す
る用途にも向いている。更に、種々の射影方式の各種魚
眼レンズにも対応しており、応用範囲が広い。また、使
用するレンズの画角に対応させて天球の開度を決定する
ことにより、焦点距離などの情報を要せず、任意の画角
のレンズに対応することが可能である。
【0048】次に、図10は、上記形態例を小売店の全
方位監視装置に適用した例を示している。この例の場
合、従来構造に比較して数少ない部品点数(図示の例の
場合、単一の魚眼レンズ1と単一のCCD装置4)を設
けるのみでよい。そして、ケーブル等の通信手段5を介
して監視ルーム6内に設置したコンピュータ装置7及び
ディスプレイ装置8により、上記CCD装置4から伝送
されてくる曲面像を平面像に変換して表示させる。この
ような構成の場合、設置する魚眼レンズ1やCCD装置
4の個数は、従来の監視装置の監視カメラの個数に比較
して低減できるため、設置コストを低く押さえることが
できるにもかかわらず、店内全域を監視できるようにな
り、実用上の効果が大きい。
【0049】次に、図11は、上述したような形態例を
TV会議システムに適用した例を示している。この例の
場合、本社並びに支社の各会議室9、10、11に、こ
の発明を適用したTV会議システムを設けている。すな
わち、各会議室9、10、11にそれぞれ魚眼レンズ1
とCCD装置4とを設置する。また、コンピュータ装置
7とディスプレイ装置8とを設置する。そして、図示し
ない無線通信手段(例えば、携帯電話網やインターネッ
ト)を介して、各会議室9、10、11にそれぞれ設置
したコンピュータ装置7及びディスプレイ装置8によ
り、各CCD装置4から配信(伝送)されてくる曲面像
を平面像に変換して表示させる。これにより、互いに離
れた場所にいても、参加者全員が一堂に会したのと同様
の会議を進めることが可能になる。尚、この例の場合、
音声信号も各コンピュータ装置7に配信し、ディスプレ
イ装置8に表示させた映像と連動してコンピュータ装置
7に付設のスピーカを介して音声を出力するように構成
する。
【0050】この例においても、設置する魚眼レンズ1
やCCD装置4といった構成要素の個数は、従来構造の
監視システムを利用したものに比較して低減できるた
め、設置コストを低く押さえることができるにもかかわ
らず、会議室9、10、11全域を表示できるようにな
り、実用上の効果が大きい。
【0051】更に、図示は省略したが、例えばコンサー
ト会場等に本形態例と同様構成のモニタ装置を設置し、
インターネットを介して各家庭のコンピュータ装置にラ
イブの模様を伝送することも可能になる。上記各家庭の
コンピュータ装置に、上記変換処理プログラムを組み込
んでおくことは勿論である。この場合、伝送する映像デ
ータは、前記図8(A)に示すように狭い面積の中に広
い範囲の映像を含んだものである。すなわち、広範囲の
映像を小さなデータとして伝送できるため、伝送に要す
る価格を低減するとともに伝送速度を向上させることが
でき、利用者にとっての利益が大きい。しかも、利用者
は、好みの映像の一部を拡大して表示させる等、得られ
た映像を加工することも可能となるため、個人での楽し
みが増大する。
【0052】また、上記ライブ中継に適用した例と同様
の構成により、野生動物の行動を追跡する等、生態学の
分野に適用したり、密猟者の監視システムに適用するこ
ともできる。
【0053】更には、小型コンピュータ装置(いわゆる
モバイルコンピュータ装置であってインターネット接続
端末を含む)と携帯電話(PHSを含む)とを利用し
て、種種の場所でインターネットに接続し、好みの者と
チャット(電子会話)する際に、本形態例に係るモニタ
装置を用いて映像つきのチャットを行えるようにするこ
とができる。この場合、例えば魚眼レンズを介して自己
の映像をCCD装置に取り込み、この取り込んだ曲面像
を、インターネットを介して相手方に配信する。相手方
のコンピュータがこの曲面像データを受信すると、自動
的に上記変換処理プログラムを立ち上げ、直ちに平面像
に直してディスプレイ装置に表示させる。このような構
成の場合、チャットの楽しみが従来に比べ大幅に増大す
る。
【0054】
【発明の効果】この発明に係る曲面像を利用したモニタ
方法及びモニタ装置は、上述のように構成され作用する
ため、少ない構成要素で安価に構成できるにもかかわら
ず広範囲に亙るモニタが可能になる。また、各種分野に
適用でき、実用上の効果が大きい。
【図面の簡単な説明】
【図1】この発明の実施の一形態例に係る曲面像を利用
したモニタ装置を説明するためのブロック図である。
【図2】同じく変換処理のアルゴリズムを説明するため
の模式的な説明図である。
【図3】極座標への対応点を求める演算を説明するため
の図である。
【図4】射影特性に基づいて構築された球面状のポリゴ
ンモデル例を示す説明図である。
【図5】球面展開を説明するための模式的な説明図であ
る。
【図6】射影点を求めるための演算を説明するための図
である。
【図7】ポリゴンモデル例の曲面画像を平面画像に変換
した画像を示す説明図である。
【図8】(A)は魚眼レンズに映し出された曲面像を、
(B)は変換処理プログラムにより変換された平面像
を、それぞれ示す図である。
【図9】本形態例の作用を説明するためのフローチャー
トである。
【図10】この発明を全方位監視装置に適用した例を示
す略図である。
【図11】この発明をTV会議システムに適用した例を
示す略図である。
【符号の説明】
1 魚眼レンズ 4 CCD装置 5 ケーブル 7 コンピュータ装置 8 ディスプレイ装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/225 H04N 5/225 D Fターム(参考) 5B057 AA19 BA11 CA13 CB12 CD05 CD12 CD14 CD20 CH01 DB03 5B080 AA13 AA14 BA04 BA05 BA08 GA22 5C022 AA01 AB13 AB68 AC42 AC54 AC55 5C054 AA04 CA04 CC03 CE16 EA01 FD03 FE00 HA19 HA25

Claims (33)

    【特許請求の範囲】
  1. 【請求項1】 曲面像を映し出す映出体と、この映出体
    に映し出された曲面像を取り込むCCD装置と、を備
    え、上記CCD装置に取り込んだ曲面像を平面像に変換
    し、ディスプレイ装置によって当該平面像を映し出すこ
    とを特徴とする曲面像を利用したモニタ方法。
  2. 【請求項2】 前記CCD装置に取り込んだ曲面像の平
    面像への変換は、変換処理プログラムにより行うことを
    特徴とする請求項1に記載の曲面像を利用したモニタ方
    法。
  3. 【請求項3】 前記変換処理プログラムは、前記映出体
    に映し出された曲面像のサンプリング点の平面上への射
    影点をジオメトリ演算により算出し、直交系変換アルゴ
    リズムを用いることなく上記曲面像を平面像に変換する
    ものであることを特徴とする請求項2に記載の曲面像を
    利用したモニタ方法。
  4. 【請求項4】 前記変換処理プログラムは、前記映出体
    の射影特性に基づいて上記曲面像上のサンプリング点を
    算出し、直交系変換アルゴリズムを用いることなく上記
    曲面像を平面像に変換するものであることを特徴とする
    請求項2に記載の曲面像を利用したモニタ方法。
  5. 【請求項5】 前記映出体の射影特性に基づいて球面状
    若しくは平面状のポリゴンモデルを構築し、このポリゴ
    ンモデルに対して前記曲面像上の各サンプリング点を、
    複数の多角形に分割した上記ポリゴンモデルの各頂点に
    対応させ、更にジオメトリ変換によりカメラ視野系に変
    換した後に各種投影変換を施し、ラスタライズして上記
    映出体に映し出された曲面像を平面像に変換することを
    特徴とする請求項4に記載の曲面像を利用したモニタ方
    法。
  6. 【請求項6】 前記映出体の射影特性が、該映出体の曲
    率半径に係るパラメータを含むことを特徴とする請求項
    4または請求項5に記載の曲面像を利用したモニタ方
    法。
  7. 【請求項7】 請求項1乃至請求項6のいずれかに記載
    の曲面像を利用したモニタ方法において、前記変換処理
    プログラムは、前記曲面像のうちの任意の範囲を平面像
    に変換するものであることを特徴とする曲面像を利用し
    たモニタ方法。
  8. 【請求項8】 請求項1乃至請求項6のいずれかに記載
    の曲面像を利用したモニタ方法において、前記変換処理
    プログラムは、前記曲面像のうちの任意の複数の範囲を
    同時に平面像に変換するものであることを特徴とする曲
    面像を利用したモニタ方法。
  9. 【請求項9】 請求項1乃至請求項8のいずれかに記載
    の曲面像を利用したモニタ方法において、前記変換処理
    プログラムは、前記曲面像のうちの任意の範囲を任意の
    倍率で拡大若しくは縮小して平面像に変換するものであ
    ることを特徴とする曲面像を利用したモニタ方法。
  10. 【請求項10】 前記映出体が射影系レンズ若しくは反
    射鏡であることを特徴とする請求項1乃至請求項9のい
    ずれかに記載の曲面像を利用したモニタ方法。
  11. 【請求項11】 前記反射鏡が、凸面鏡若しくは凹面鏡
    であることを特徴とする請求項10に記載の曲面像を利
    用したモニタ方法。
  12. 【請求項12】 前記射影系レンズが魚眼レンズ若しく
    は広角レンズであることを特徴とする請求項10に記載
    の曲面像を利用したモニタ方法。
  13. 【請求項13】 曲面像を映し出す映出体と、この映出
    体に映し出された曲面像を取り込むCCD装置と、この
    CCD装置に取り込んだ曲面像を平面像に変換する変換
    処理プログラムを組み込んだコンピュータ装置と、この
    コンピュータ装置に接続され、上記変換処理プログラム
    によって得られた平面像を映し出すディスプレイ装置
    と、を備えたことを特徴とする曲面像を利用したモニタ
    装置。
  14. 【請求項14】 前記変換処理プログラムは、前記映出
    体に映し出された曲面像のサンプリング点の平面上への
    射影点をジオメトリ演算により算出し、直交系変換アル
    ゴリズムを用いることなく上記曲面像を平面像に変換す
    るものであることを特徴とする請求項13に記載の曲面
    像を利用したモニタ装置。
  15. 【請求項15】 前記変換処理プログラムは、前記映出
    体の射影特性に基づいて上記曲面像上のサンプリング点
    を算出し、直交系変換アルゴリズムを用いることなく上
    記曲面像を平面像に変換するものであることを特徴とす
    る請求項13に記載の曲面像を利用したモニタ装置。
  16. 【請求項16】 前記映出体の射影特性に基づいて球面
    状若しくは平面状のポリゴンモデルを構築し、このポリ
    ゴンモデルに対して前記曲面像上の各サンプリング点
    を、複数の多角形に分割した上記ポリゴンモデルの各頂
    点に対応させ、更にジオメトリ変換によりカメラ視野系
    に変換した後に各種投影変換を施し、ラスタライズして
    上記映出体に映し出された曲面像を平面像に変換するこ
    とを特徴とする請求項15に記載の曲面像を利用したモ
    ニタ装置。
  17. 【請求項17】 前記映出体の射影特性が、該映出体の
    曲率半径に係るパラメータを含むことを特徴とする請求
    項15または請求項16に記載の曲面像を利用したモニ
    タ装置。
  18. 【請求項18】 請求項13乃至請求項17のいずれか
    に記載の曲面像を利用したモニタ装置において、前記変
    換処理プログラムは、前記曲面像のうちの任意の範囲を
    平面像に変換するものであることを特徴とする曲面像を
    利用したモニタ装置。
  19. 【請求項19】 請求項13乃至請求項17のいずれか
    に記載の曲面像を利用したモニタ装置において、前記変
    換処理プログラムは、前記曲面像のうちの任意の複数の
    範囲を同時に平面像に変換するものであることを特徴と
    する曲面像を利用したモニタ装置。
  20. 【請求項20】 請求項13乃至請求項19のいずれか
    に記載の曲面像を利用したモニタ装置において、前記変
    換処理プログラムは、前記曲面像のうちの任意の範囲を
    任意の倍率で拡大若しくは縮小して平面像に変換するも
    のであることを特徴とする曲面像を利用したモニタ装
    置。
  21. 【請求項21】 前記映出体が射影系レンズ若しくは反
    射鏡であることを特徴とする請求項13乃至請求項20
    のいずれかに記載の曲面像を利用したモニタ装置。
  22. 【請求項22】 前記反射鏡が、凸面鏡若しくは凹面鏡
    であることを特徴とする請求項21に記載の曲面像を利
    用したモニタ装置。
  23. 【請求項23】 前記射影系レンズが魚眼レンズ若しく
    は広角レンズであることを特徴とする請求項21に記載
    の曲面像を利用したモニタ装置。
  24. 【請求項24】 前記CCD装置で取り込んだ曲面像を
    前記コンピュータ装置に配信する通信手段を設けたこと
    を特徴とする請求項13乃至請求項23のいずれかに記
    載の曲面像を利用したモニタ装置。
  25. 【請求項25】 請求項13乃至請求項24のいずれか
    に記載のモニタ装置は、インターネットを利用したテレ
    ビ会議システムに用いられることを特徴とするモニタ装
    置。
  26. 【請求項26】 請求項13乃至請求項24のいずれか
    に記載のモニタ装置は、インターネットを利用した警備
    監視システムに用いられることを特徴とするモニタ装
    置。
  27. 【請求項27】 請求項13乃至請求項24のいずれか
    に記載のモニタ装置は、インターネットを利用した観光
    案内システムに用いられることを特徴とするモニタ装
    置。
  28. 【請求項28】 請求項13乃至請求項24のいずれか
    に記載のモニタ装置は、インターネットを利用した不動
    産案内システムに用いられることを特徴とするモニタ装
    置。
  29. 【請求項29】 請求項13乃至請求項24のいずれか
    に記載のモニタ装置は、インターネットを利用したチャ
    ットシステムに用いられることを特徴とするモニタ装
    置。
  30. 【請求項30】 請求項13乃至請求項24のいずれか
    に記載のモニタ装置は、インターネットを利用した交通
    監視システムに用いられることを特徴とするモニタ装
    置。
  31. 【請求項31】 請求項13乃至請求項24のいずれか
    に記載のモニタ装置は、インターネットを利用したライ
    ブ放送システムに用いられることを特徴とするモニタ装
    置。
  32. 【請求項32】 請求項13乃至請求項24のいずれか
    に記載のモニタ装置は、インターネットを利用したスポ
    ーツ放送システムに用いられることを特徴とするモニタ
    装置。
  33. 【請求項33】 請求項13乃至請求項24のいずれか
    に記載のモニタ装置は、インターネットを利用した通信
    カラオケシステムに用いられることを特徴とするモニタ
    装置。
JP2001243018A 2000-08-29 2001-08-09 曲面像を利用したモニタ方法及びモニタ装置 Pending JP2002152719A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001243018A JP2002152719A (ja) 2000-08-29 2001-08-09 曲面像を利用したモニタ方法及びモニタ装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-259224 2000-08-29
JP2000259224 2000-08-29
JP2001243018A JP2002152719A (ja) 2000-08-29 2001-08-09 曲面像を利用したモニタ方法及びモニタ装置

Publications (1)

Publication Number Publication Date
JP2002152719A true JP2002152719A (ja) 2002-05-24

Family

ID=26598686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001243018A Pending JP2002152719A (ja) 2000-08-29 2001-08-09 曲面像を利用したモニタ方法及びモニタ装置

Country Status (1)

Country Link
JP (1) JP2002152719A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006506745A (ja) * 2002-11-15 2006-02-23 ワーナー・ブロス・エンターテイメント・インコーポレーテッド 映画におけるデジタルイメージング用のリアリティベースのライト環境
JP2007081553A (ja) * 2005-09-12 2007-03-29 Hitachi Kokusai Electric Inc カメラシステムの表示方法及びカメラシステム
JP2009232310A (ja) * 2008-03-25 2009-10-08 Fujitsu Ltd 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
JP2010171914A (ja) * 2008-12-24 2010-08-05 Fujitsu General Ltd 画像データ変換装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02127877A (ja) * 1988-11-08 1990-05-16 Casio Comput Co Ltd 魚眼レンズを備えた電子スチルカメラ
JPH0879622A (ja) * 1994-05-27 1996-03-22 Warp Ltd 広角画像における歪み解除の方法および装置
JPH11205772A (ja) * 1998-01-16 1999-07-30 Matsushita Joho System Kk 全方位撮像画像伝送システム及び全方位撮像画像伝送方法
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
JP2000083242A (ja) * 1993-02-08 2000-03-21 Interactive Pictures Corp 全視野静止カメラとサ―ベイランスシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02127877A (ja) * 1988-11-08 1990-05-16 Casio Comput Co Ltd 魚眼レンズを備えた電子スチルカメラ
JP2000083242A (ja) * 1993-02-08 2000-03-21 Interactive Pictures Corp 全視野静止カメラとサ―ベイランスシステム
JPH0879622A (ja) * 1994-05-27 1996-03-22 Warp Ltd 広角画像における歪み解除の方法および装置
JPH11205772A (ja) * 1998-01-16 1999-07-30 Matsushita Joho System Kk 全方位撮像画像伝送システム及び全方位撮像画像伝送方法
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006506745A (ja) * 2002-11-15 2006-02-23 ワーナー・ブロス・エンターテイメント・インコーポレーテッド 映画におけるデジタルイメージング用のリアリティベースのライト環境
JP2007081553A (ja) * 2005-09-12 2007-03-29 Hitachi Kokusai Electric Inc カメラシステムの表示方法及びカメラシステム
JP4685561B2 (ja) * 2005-09-12 2011-05-18 株式会社日立国際電気 カメラシステムの表示方法及びカメラシステム
JP2009232310A (ja) * 2008-03-25 2009-10-08 Fujitsu Ltd 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
JP2010171914A (ja) * 2008-12-24 2010-08-05 Fujitsu General Ltd 画像データ変換装置

Similar Documents

Publication Publication Date Title
US9858643B2 (en) Image generating device, image generating method, and program
US5764276A (en) Method and apparatus for providing perceived video viewing experiences using still images
US6256061B1 (en) Method and apparatus for providing perceived video viewing experiences using still images
JP2001094857A (ja) バーチャル・カメラの制御方法、カメラアレイ、及びカメラアレイの整合方法
JP2007531333A (ja) ひずみのない画像をリアルタイムに表示するパノラマ・ビデオ・システム
WO2000060857A1 (en) Virtual theater
EP3846464A1 (en) Spherical image processing method and apparatus, and server
JP7378243B2 (ja) 画像生成装置、画像表示装置および画像処理方法
WO2002019270A1 (fr) Procede de conversion d'image courbe et support d'enregistrement sur lequel ce procede de conversion d'image courbe est enregistre
WO2020084951A1 (ja) 画像処理装置および画像処理方法
US20220239887A1 (en) Shared viewing of video among multiple users
CN113286138A (zh) 一种全景视频显示方法及显示设备
JPWO2019078033A1 (ja) 再生装置および方法、並びに、生成装置および方法
JP2003111041A (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
US20040189876A1 (en) Remote video recognition system
JP2002152719A (ja) 曲面像を利用したモニタ方法及びモニタ装置
JP4373645B2 (ja) 映像配信システム、プログラム及び記録媒体
JP2002203237A (ja) 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
Ban et al. Pixel of matter: new ways of seeing with an active volumetric filmmaking system
Morita et al. Internet teleprescence by real-time view-dependent image generation with omnidirectional video camera
JP2003189289A (ja) 室内映像転送システム
JP2003111066A (ja) 来客モニタ装置
JP2003110968A (ja) カラオケ用映像出力装置
CN114866760A (zh) 一种虚拟现实显示方法、设备、***和可读存储介质
CA2288428C (en) Video viewing experiences using still images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110801