JP2001177850A

JP2001177850A - 画像信号記録装置および方法、画像信号再生方法並びに記録媒体

Info

Publication number: JP2001177850A
Application number: JP36281899A
Authority: JP
Inventors: Noriyuki Yamashita; 紀之山下
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-12-21
Filing date: 1999-12-21
Publication date: 2001-06-29

Abstract

(57)【要約】【課題】撮影された複数枚の静止画から被写体の３次
元空間内の位置を検出し、検出された３次元空間内の位
置から真上から見た図および斜めから見た図を生成す
る。【解決手段】レンズ群２１、ＣＣＤ群２２から得られ
た画像信号から画像移動量の検出が行われ、また角速度
センサ３３から得られたデータを画像信号と共に、記録
媒体１４に記録される。再生時には、記録されたデータ
および画像信号から被写体の３次元空間内の位置が検出
される。その位置に基づいて真上から見た図および斜め
から見た図が生成される。撮影時にデジタルカメラの移
動した軌跡Ｌが真上から見た図および斜めから見た図に
表示される。表示された真上から見た図および斜めから
見た図の任意の位置を選択すると、その選択した位置か
ら見える画像が表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像信号および
その画像信号を記録した状態をサブデータとして画像信
号と共に、記録し、記録された画像信号およびサブデー
タを再生することができる画像信号記録装置および方
法、画像信号再生方法並びに記録媒体に関する。

【０００２】

【従来の技術】従来、ＶＴＲ一体型デジタルカメラ（以
下、単にデジタルカメラと称する）では、動画および静
止画を記録再生することができる。そして、このデジタ
ルカメラに記録された複数枚の画像を合成して１枚の高
精細静止画または高精細パノラマ静止画を生成する方法
は既に知られている。

【０００３】すなわち、撮影された複数枚の画像に対し
て、画歪補正、回転補正、拡大縮小などが施された後、
合成した高精細静止画または高精細パノラマ静止画が生
成されるものであった。

【０００４】

【発明が解決しようとする課題】しかしながら、同一の
被写体が複数枚撮影された画像から被写体の３次元空間
内の位置を検出することはできなかった。さらに、同一
の被写体が複数枚撮影された画像から平面画像、例えば
真上から見た画像および斜めから見た画像を生成するこ
ともできなかった。

【０００５】従って、この発明の目的は、同一の被写体
が複数枚撮影された画像から被写体の３次元空間内の位
置を検出し、検出された３次元空間内の位置から真上か
ら見た画像および斜めから見た画像を生成することがで
きる画像信号記録装置および方法、画像信号再生方法並
びに記録媒体を提供することにある。

【０００６】

【課題を解決するための手段】請求項１に記載の発明
は、複数枚の画像を撮像し、撮像した画像信号を記録す
るようにした画像信号記録装置において、撮像手段の３
次元空間内の位置（ｘ，ｙ，ｚ）、パン角ｐ、チルト角
ｑおよびロール角ｒを検出する姿勢検出手段と、被写体
から入射される被写体の像を画像信号へ変換する撮像素
子と、画像信号を圧縮する圧縮手段と、圧縮された画像
信号を記録すると共に、姿勢検出手段で検出された３次
元空間内の位置（ｘ，ｙ，ｚ）、パン角ｐ、チルト角ｑ
およびロール角ｒをサブデータとして記録する記録手段
とからなるようにしたことを特徴とする画像信号記録装
置である。

【０００７】請求項８に記載の発明は、複数枚の画像を
撮像し、撮像した画像信号を記録するようにした画像信
号記録方法において、撮像手段の３次元空間内の位置
（ｘ，ｙ，ｚ）、パン角ｐ、チルト角ｑおよびロール角
ｒを検出し、被写体から撮像素子へ入射される被写体の
像を画像信号へ変換し、画像信号を圧縮し、圧縮された
画像信号を記録すると共に、検出された３次元空間内の
位置（ｘ，ｙ，ｚ）、パン角ｐ、チルト角ｑおよびロー
ル角ｒをサブデータとして記録するようにしたことを特
徴とする画像信号記録方法である。

【０００８】請求項９に記載の発明は、同一の被写体を
複数の位置から撮像することで得られた複数の画像信号
が記録されていると共に、撮像手段の３次元空間内の位
置（ｘ，ｙ，ｚ）、パン角ｐ、チルト角ｑおよびロール
角ｒがサブデータとして、記録されている記録媒体を再
生する画像信号再生方法において、記録媒体に記録され
た画像信号およびサブデータを再生し、サブデータおよ
び複数の画像信号に基づいて被写体の３次元空間内の位
置を検出し、検出された３次元空間内の位置から平面画
像を生成し、表示するようにしたことを特徴とする画像
信号再生方法である。

【０００９】請求項２２に記載の発明は、静止画および
／または動画の画像信号が記録される記録媒体におい
て、撮像手段の３次元空間内の位置（ｘ，ｙ，ｚ）、パ
ン角ｐ、チルト角ｑおよびロール角ｒがサブデータとし
て、画像信号と共に記録されていることを特徴とする記
録媒体である。

【００１０】撮像素子から得られた画像信号を圧縮し、
その圧縮された画像信号と共に、サブデータとして、例
えば３次元空間内の位置（ｘ，ｙ，ｚ）およびパン角
ｐ、チルト角ｑ、ロール角ｒのデータからなるデジタル
カメラの姿勢情報が記録媒体に記録される。記録された
サブデータから被写体の３次元空間内の位置が検出され
る。検出された３次元空間内の位置から真上から見た画
像、例えば建物の内部の場合、間取り図であり、屋外の
場合、地図が生成される。同様に、検出された３次元空
間内の位置から斜めか見た画像、例えば建物の内部の場
合、ある面を透過した斜視図であり、屋外の場合、鳥瞰
図が生成される。

【００１１】

【発明の実施の形態】以下、この発明の一実施形態につ
いて図面を参照して説明する。図１は、この発明が適用
された実施形態の概略的な外観図を示す。この実施形態
では、デジタルカメラの一例として、図１Ａに示すよう
に、本体１に５つのレンズからなるレンズ群２が設けら
れたものが用いられる。また、デジタルカメラの他の例
として、図１Ｂに示すように、本体１に７つのレンズか
らなるレンズ群２が設けられたものが用いられても良
い。この図１Ａおよび図１Ｂに示すデジタルカメラのよ
うに、互いの位置関係が固定された複数のレンズを備え
たレンズ群２は、本体１の前方、その左右側面およびそ
の斜め方向など複数の方向を同時に撮影することができ
るものである。このように、広角で高解像度のデジタル
カメラが用いられる。

【００１２】また、本体１にレンズが１つしか設けられ
ていない場合、前方のみの画像しか撮影することが出来
ないため、デジタルカメラの操作者が意図的に光軸の方
向を変え、様々な方向を隈なく撮影する。

【００１３】この第１の実施形態の概略的構成を図２を
参照して、説明する。同じ機能を有するブロックには、
同じ参照符号を付しその説明を省略する。レンズ群２で
は、複数の被写体の像が取り込まれる。取り込まれた複
数の被写体の像は、レンズ群２から画像信号として記録
媒体１４および表示部１５へ供給される。このレンズ群
２は、サーボ系１２によって制御される。サーボ系１２
には、レンズ群２の各々に対応したズーム、フォーカ
ス、アイリス、電子シャッタなどの制御部が設けられ
る。サーボ系１２から得られたデータは、記録媒体１４
へ供給される。サーボ系１２は、シスコン（システムコ
ンピュータ）１１によって制御される。

【００１４】センサ群１３は、本体１に対する複数のセ
ンサからなる。一例として、加速度センサ、角速度セン
サ、地磁気センサ、ＧＰＳなどが設けられる。これらの
センサ群１３から得られるデータは、記録媒体１４へ供
給される。後述するように、このセンサ群１３から得ら
れるサブデータからデジタルカメラの姿勢を知ることが
できる。センサ群１３は、シスコン１１によって制御さ
れる。記録媒体１４では、供給された複数の画像信号
は、それぞれ圧縮されて圧縮画像信号として、記録され
る。また、サーボ系１２から供給されたデータおよびセ
ンサ群１３から供給されたデータは、サブデータとして
圧縮画像信号と共に記録媒体１４に記録される。記録媒
体１４は、シスコン１１によって制御される。表示部１
５では、供給された複数の画像信号がそれぞれ表示され
る。

【００１５】このデジタルカメラで撮影する場合、移動
しながら撮影した画像が圧縮され、圧縮画像信号として
記録媒体１４に記録されると共に、そのときのデジタル
カメラのサーボ系１２からのデータおよびセンサ群１３
からのデータもサブデータとして記録される。

【００１６】このように、この実施形態では、広角で且
つ高解像度のデジタルカメラが用いられる。また、デジ
タルカメラの撮影速度は速い方が良いが、必ずしも１秒
に３０枚の撮影が行える必要はない。場合によっては、
複数のデジタルカメラで撮影範囲を分割しても良い。

【００１７】このとき、各フレームに次のサブデータが
同時に記録される日付時刻：Year,Month,Day,Hour,Min,Sec,Frame ズーム角：Zoom 焦点距離：Focus アイリス値：Iris シャッタ速度：Shut 加速度センサ：Ａｘ，Ａｙ，Ａｚ角速度センサ：Ｖｘ，Ｖｙ，Ｖｚ地磁気センサ：M1,M2 ＧＰＳによる位置：Gx,Gy,Gz 。

【００１８】デジタルカメラの姿勢を表すパラメータ
は、一例としてデジタルカメラの３次元空間内の位置
ｘ，ｙ，ｚおよびパン角ｐ、チルト角ｑ、ロール角ｒの
６つである。このうち、チルト角ｑとロール角ｒは、加
速度センサを傾斜センサとして使用することによって、
スタティックに得ることができる。

【００１９】また、１つのセンサで１方向±９０度の検
出ができる。しかしながら、９０度付近の精度が劣るた
め、＋９０度〜＋４５度用のセンサ、＋４５度〜−４５
度用のセンサおよび−４５度〜−９０度用のセンサとを
設けることにより、±９０度の範囲を高精度に検出する
ことができる。

【００２０】パン角ｐは、角速度センサと積分器である
程度知ることができる。しかしながら、このとき絶対値
となる方位（東西南北）は、方位センサを使うか、予め
指定する必要がある。さらに、積分器は誤差を累積して
しまう欠点があるため、長時間静止しているのか、ごく
ゆっくり回転しているのかを判断することができない。
そこで、撮影された画像の変化を毎フレーム監視するこ
とによって、デジタルカメラの移動を正確に判断する。

【００２１】デジタルカメラの３次元空間内の位置ｘ，
ｙ，ｚも同様に３方向の加速度センサと積分器で検出で
きる。このとき、画像の変化を毎フレーム監視すること
によって、デジタルカメラの移動を正確に判断する。

【００２２】ここで、第１の実施形態の詳細なブロック
図を図３に示す。レンズ群２１を介して入射された被写
体の像がＣＣＤ撮像素子２２へ供給される。レンズ群２
１は、上述したようにサーボ系１２（図示せず）によっ
て、ズーム制御およびフォーカス制御が行われる。ＣＣ
Ｄ撮像素子２２では、被写体からの入射光が電荷として
蓄積される。ＣＣＤ撮像素子２２は、サーボ系１２によ
って、電子シャッタのオン／オフが制御される。これに
よって、ＣＣＤ撮像素子２２の電子シャッタが駆動さ
れ、供給された被写体の像が取り込まれる。取り込まれ
た被写体の像は、Ａ／Ｄ変換器（図示せず）によりディ
ジタル化され、ディジタル撮像信号（以下、画像信号と
称する）として、圧縮回路２３を介して一旦画像メモリ
２８に記憶される。

【００２３】画像メモリ２８は、数フレームまたは数フ
ィールドの画像を記憶する容量を有する。この画像メモ
リ２８に記憶された画像信号は、圧縮回路２３によって
順次圧縮処理が施される。一例として、静止画として取
り込まれた画像に対してＪＰＥＧ（Joint Photographic
Experts Group）が施され、動画として取り込まれた画
像に対してＭＰＥＧ（Moving Picture Experts Group）
が施される。このように処理された圧縮画像信号は、記
録媒体１４に供給される。記録媒体１４に供給された圧
縮画像信号は、シスコン１１の制御に従って記録され
る。この記録媒体１４の一例として、磁気テープ、磁気
ディスク、光ディスクまたは半導体メモリなどの中か
ら、アクセス速度、記憶容量などを考慮して適宜選択さ
れた記録媒体が用いられる。

【００２４】各種の操作キー群３７からの指定に応じた
シスコン１１の制御によって、記録媒体１４から圧縮画
像信号が読み出される。読み出された圧縮画像信号は、
伸張回路２５を介して一旦画像メモリ２８へ記憶され、
伸張回路２５によって、順次伸張処理が施される。すな
わち、この伸張回路２５では、ＪＰＥＧまたはＭＰＥＧ
の復号がなされる。伸張された画像信号は、伸張回路２
５から表示部１５に表示されると共に、ビデオ出力端子
２６を介して外部のＴＶモニタ等に表示される。

【００２５】上述した画像メモリ２８は、画像信号に対
して圧縮を施す場合、および圧縮画像信号を伸張する場
合に用いられる。このとき、圧縮が施される領域と、伸
張が施される領域とをアドレスによって分けるようにし
ても良いし、記憶された信号に圧縮用のフラグおよび／
または伸張用のフラグを付けるようにしても良い。ま
た、圧縮用のメモリおよび伸張用のメモリを別々に設け
るようにしても良い。また、この画像メモリ２８には、
図示しないが現画像信号が記憶されるメモリと、１フレ
ーム前の画像信号画記憶されるメモリとが設けられてい
る。

【００２６】そして、この第１の実施形態では、現画像
信号が画像移動量検出部２９のメモリ３０ａに供給さ
れ、記憶される。１フレーム前の画像信号が画像移動量
検出部２９のメモリ３０ｂに供給され、記憶される。動
き検出回路３１では、メモリ３０ａおよび３０ｂに記憶
された画像信号に基づいて動き検出が行われる。動き検
出の結果に基づいて演算回路３２では、画像信号の横方
向の平行移動成分Ｍｘおよび縦方向の平行移動成分Ｍｙ
が算出される。算出された平行移動成分ＭｘおよびＭｙ
は、シスコン１１に供給される。

【００２７】具体的には、１画素の１／２程度の精度で
動き検出を行うため、メモリ３０ａおよび３０ｂに記憶
された画像信号が縦方向および横方向の両方とも２倍程
度に拡大される。このとき、小さいブロック毎に処理を
行うので、メモリ３０ｂは、そのブロックサイズだけあ
れば良い。これに対して、もう一方のメモリ３０ａは、
メモリ３０ｂよりサーチ範囲の分大きなメモリが必要と
なる。

【００２８】また、あるブロック内の画像が平坦な画像
のときは、画像移動量検出部２９では、位置検出が不可
能である。このような場合、誤った値を出力しないよう
にするため、そのブロックの画像のバリアンスＶａを計
算し、計算結果が小さいときは、そのブロックは位置検
出を行わないようにする。ここで、バリアンスＶａは、Ｖａ＝Σ（ｙｉ²）／Ｋ−（Σ（ｙｉ／Ｋ））² （ただし、ｙｉ：輝度値、Ｋ：ブロック内の画素数）と
なる。また、ｉをブロック番号とし、ブロック毎に縦横
の平行移動成分を求め、求められたブロック毎の横方向
の平行移動成分をｘ〔ｉ〕とし、ブロック毎の縦方向の
平行移動成分をｙ〔ｉ〕とする。

【００２９】多くのブロックから得られた平行移動成分
ｘ〔ｉ〕およびｙ〔ｉ〕がそれぞれ同じ値となった場
合、画面全体が平行移動したと見做される。もし、平行
移動成分ｘ〔ｉ〕およびｙ〔ｉ〕が同じ値とならなかっ
た場合、傾斜または伸縮があるが、中央部の値または平
均値をもって、その画像信号の平行移動成分Ｍｘおよび
Ｍｙとする。

【００３０】このように、画像移動量検出部２９は、１
フレーム前の画像信号に対して現在の画像信号がどんな
位置にあるかを調べ、平行移動成分ＭｘおよびＭｙを出
力する。その平行移動成分ＭｘおよびＭｙは、シスコン
１１へ供給される。シスコン１１に供給された平行移動
成分ＭｘおよびＭｙは、合成回路３４に供給される。

【００３１】センサ群１３の中から角速度センサのみを
一例として図３に示す。角速度センサ３３の角速度セン
サ３３Ｘおよび３３Ｙで検出される横方向の角速度Ｓｘ
および縦方向の角速度Ｓｙがシスコン１１へ供給され
る。シスコン１１に供給された角速度ＳｘおよびＳｙ
は、合成回路３４に供給される。合成回路３４では、平
行移動成分ＭｘおよびＭｙと、角速度ＳｘおよびＳｙと
が合成される。合成された平行移動成分Ｍｘが積分回路
３５Ｘへ供給され、合成された平行移動成分Ｍｙが積分
回路３５Ｙへ供給される。

【００３２】積分回路３５Ｘおよび３５Ｙでは、供給さ
れた縦方向および横方向の平行移動成分が積分され、横
方向の移動量Ｘおよび縦方向の移動量Ｙが求められる。
その移動量ＸおよびＹは、Ｄ／Ａ変換器３６Ｘおよび３
６Ｙへ供給される。Ｄ／Ａ変換器３６Ｘおよび３６Ｙで
は、供給された移動量ＸおよびＹがディジタル化され、
記録媒体１４へ供給される。記録媒体１４では、圧縮画
像信号と共に、移動量ＸおよびＹが記録される。

【００３３】ここで、ビデオ信号から抽出された垂直同
期信号がリセット信号として、積分回路３５Ｘおよび３
５Ｙに供給される。すなわち、フレーム単位で積分回路
３５Ｘおよび３５Ｙがリセットされる。また、フィール
ド単位で積分回路３５Ｘおよび３５Ｙのリセットを行っ
ても良い。このリセットは、ＣＣＤ撮像素子２２の露光
が無効とされる期間に行われる。具体的には、ＣＣＤ撮
像素子２２の露光開始のタイミングで積分回路３５Ｘお
よび３５Ｙをアクティブとし、露光終了のタイミングで
積分回路３５Ｘおよび３５Ｙをリセットとする。

【００３４】このように、画像信号の変化分から移動速
度を求めるようにすれば、デジタルカメラの平行移動ま
たは回転移動に依らず正しい制御が行える。現在の画像
信号が１フレーム前の画像信号からどの程度移動したか
が検出される。この検出結果から、１フレーム当たりの
動く速さが得られる。これを積分すれば１フレーム内の
瞬時の位置を連続的に求めることができる。

【００３５】また、この第１の実施形態では、合成回路
３４において、平行移動成分ＭｘおよびＭｙと、角速度
ＳｘおよびＳｙとを合成し、その合成出力を積分回路３
５Ｘおよび３５Ｙへ供給するようにしているが、平行移
動成分ＭｘおよびＭｙのみを積分回路３５Ｘおよび３５
Ｙへ供給するようにしても良い。

【００３６】このように、撮影された画像信号を再生す
る再生系の一実施形態を図４に示す。コンピュータ４
１、キーボード４２、マウス４３および表示部４４から
なる再生装置に、圧縮画像信号が記録された記録媒体１
４が接続される。キーボード４２およびマウス４３の操
作に応じてコンピュータ４１によって、記録媒体１４は
制御される。

【００３７】例えば、記録された圧縮画像信号が記録媒
体１４から読み出され、伸張される。記録された圧縮画
像信号と共に記録されたサーボ系１２のデータおよびセ
ンサ群１３のデータからなるサブデータが記録媒体１４
から読み出される。読み出されたサブデータからデジタ
ルカメラは、どの位置からどの方向を向いて撮影してい
るかが判断される。さらに、複数枚の画像信号によっ
て、被写体の３次元空間内の位置が判断される。その結
果、被写体として撮影された、例えば壁の位置、天井の
高さ、家具の配置など多くのものの３次元空間内の位置
が判断される。

【００３８】ここで、この第１の実施形態では、再生時
において、デジタルカメラのサブデータと共に、再生さ
れた画像信号から得られる情報も使用して、被写体の位
置や方向が判断される。このため、全ての画像と共に記
録されるサブデータは、必要でなくても記録しなければ
ならなかった。そこで、記録時にデジタルカメラの姿勢
の変化に応じてサブデータを記録するようにした一例
を、図５を参照して、説明する。

【００３９】センサ群１３から得られたデータは、記録
媒体１４へ供給されると共に、姿勢検出回路５１へ供給
される。姿勢検出回路５１では、センサ群１３から供給
されるデータからデジタルカメラの姿勢が検出される。
供給されたデータは、姿勢検出回路５１からシスコン１
１および記録媒体１４へ供給される。姿勢検出回路５１
は、シスコン１１によって制御される。シスコン１１
は、供給されたデータに応じて記録媒体１４を制御す
る。具体的には、データからデジタルカメラの姿勢が変
化していないと判断された場合、センサ群１３から供給
されたデータが記録媒体１４に記録されず、姿勢が変化
したと判断された場合、センサ群１３から供給されたデ
ータが記録媒体１４に記録される。

【００４０】このように、姿勢検出を記録時に行うの
で、画像は、記録媒体１４にフレーム毎に記録される
が、センサ群１３から供給されるデータは、姿勢が変化
したときのみ記録するようにする。また、例えば廊下な
どサブデータが必要でない場合、画像のみを記録し、サ
ブデータは記録しないようにすることもできる。

【００４１】ここで、撮影された２次元の画像信号から
被写体の３次元空間内の位置を特定する一例を図６を参
照して、説明する。この一例では、説明を容易とするた
めに、同じ被写体が撮影された２枚の画像信号を基に３
次元空間内の位置を特定する。光軸の原点Ｐ1 、焦点距
離ｆ1 、姿勢Ｒ1 のデジタルカメラの画角内の任意の位
置（ｈ1 ，ｖ1 ）に被写体Ａが写っているとき、被写体
Ａは、原点Ｐ1 と画角内の位置（ｈ1 ，ｖ1 ）を通過す
る直線ｌ1 上に存在する。直線ｌ1 の方向ベクトルｄ1
の長さを１に正規化して方向ベクトルｄ1 を求めると、

【００４２】

【数１】

【００４３】となる。この式（１）を使用して直線ｌ1
上の任意の位置の座標ｑ1 は、ｑ1 ＝ｄ1 ｔ＋Ｐ1 （２）となる。ここで、ｔは媒介変数である。

【００４４】同様に、光軸の原点Ｐ2 、焦点距離ｆ2 、
姿勢Ｒ2 のデジタルカメラの画角内の任意の位置（ｈ2
，ｖ2 ）に写る被写体Ａは、直線ｌ2 上に存在する。
直線ｌ2 の方向ベクトルｄ2 の長さを１に正規化して方
向ベクトルｄ2 を求めると、

【００４５】

【数２】

【００４６】となる。この式（３）を使用して直線ｌ2
上の任意の位置の座標ｑ2 は、ｑ2 ＝ｄ2 ｔ＋Ｐ2 （４）となる。

【００４７】このように、１枚目の画像について、デジ
タルカメラの光軸の原点Ｐ1 、焦点距離ｆ1 、姿勢Ｒ1
、画角内の位置（ｈ1 ，ｖ1 ）から光軸の方向、すな
わち直線ｌ1 を求める。そして、２枚目の画像について
も、１枚目の画像と同様にデジタルカメラの光軸の原点
Ｐ2 、焦点距離ｆ2 、姿勢Ｒ2 、画角内の位置（ｈ2 ，
ｖ2 ）から光軸の方向、すなわち直線ｌ2 を求める。こ
の２つの光軸、すなわち直線ｌ1 およびｌ2 の交点が被
写体１の３次元空間の位置になる。しかしながら、一般
には、測定誤差などによって直線ｌ1 およびｌ2 は、正
確に交わらない場合がある。そこで、直線ｌ1 およびｌ
2 を最短距離で結ぶ点ｑ1 およびｑ2 の中点Ｃをもっ
て、被写体Ａの３次元空間内の位置の近似解とする。
尚、直線ｌ1 およびｌ2 を最短距離で結ぶ点ｑ1 および
ｑ2 に誤差がない場合、この近似解は真の解に一致す
る。以下、被写体Ａの３次元空間内の位置となる中点Ｃ
の近似解を求める。

【００４８】直線ｌ1 およびｌ2 が最短となるときに
は、直交するので、（ｑ1 −ｑ2 ）・ｄ1 ＝０（５）（ｑ1 −ｑ2 ）・ｄ2 ＝０（６）となる。この式（５）および式（６）の連立方程式を解
くと、（ｄ1 ｔ1 ＋Ｐ1 −ｄ2 ｔ2 −Ｐ2 ）・ｄ1 ＝０（ｄ1 ｔ1 ＋Ｐ1 −ｄ2 ｔ2 −Ｐ2 ）・ｄ2 ＝０となり、ｄ1 ・ｄ1 ｔ1 −ｄ1 ・ｄ2 ｔ2 ＝−（Ｐ1 ・ｄ1 −Ｐ
2 ・ｄ2 ）ｄ1 ・ｄ2 ｔ1 −ｄ1 ・ｄ2 ｔ2 ＝−（Ｐ1 ・ｄ1 −Ｐ
2 ・ｄ2 ）となるので、

【００４９】

【数３】

【００５０】

【数４】

【００５１】よって、求める中点Ｃは、Ｃ＝（ｑ1 ＋ｑ2 ）／２＝１／２・（ｄ1 ｔ1 ＋Ｐ1 ＋ｄ2 ｔ2 ＋Ｐ2 ）（８）となり、被写体Ａの３次元空間内の位置となる近似解が
求められる。ここで、ｄ1 、ｔ1 、ｄ2 、ｔ2 は、式
（１）、式（３）および式（７）から既知である。

【００５２】このとき、デジタルカメラの光軸の方向と
して、

【００５３】

【数５】

【００５４】だけでは、不十分なので、デジタルカメラ
の姿勢を表す回転行列Ｒを用いた。この回転行列Ｒに
は、

【００５５】

【数６】

【００５６】の関係がある。よって、回転行列Ｒは、

【００５７】

【数７】

【００５８】となる。

【００５９】ここで、被写体Ａの３次元空間内の位置が
わかっているときに、その３次元空間内の位置から真上
から見た画像を作る一例を説明する。被写体Ａの３次元
空間内の位置（ｘ，ｙ，ｚ）から単にｚ＝０とすること
によって、ｘ−ｙ平面上の位置（ｘ，ｙ）を特定する。

【００６０】このとき、一般的には横方向から撮影した
画像しかなく、しかも横方向から撮影した画像について
も四方から撮影されていることは殆どないので、実際の
画像ではなく図７に示すようにイラストのように処理が
施され、真上から見た画像として表示される。一例とし
て、この図７では、撮影された被写体は、建物の内部で
あり、真上から見た画像として、間取り図が表示され
る。

【００６１】次に、被写体Ａの３次元空間内の位置がわ
かっているときに、その３次元空間内の位置から斜めか
ら見た画像を作る一例を、図８を参照して、説明する。
まず、被写体Ａを３次元空間内の位置から画像平面Ｈに
投影する。図８Ａおよび図８Ｂに示すように、ｚ軸上の
光軸の原点Ｅ（０，０，ＺＥ）から水平画角ｔｈ〔deg
p-0 〕、アスペクト比Ｒａ（＝４／３）でデジタルカメ
ラによって撮影される範囲は、ＡＢＣＤＥからなる四角
錐である。その四角錐の底面、すなわちｘ−ｙ平面上の
ＡＢＣＤからなる四角形は、デジタルカメラで撮影され
る画像平面Ｈである。ここで、Ｌｈ＝ＺＥ tan（ｔ
ｈ）、Ｌｖ＝Ｌｈ／Ｒａとし、２Ｌｈ、２Ｌｖは、ｚ＝
０の平面上の画像サイズである。

【００６２】図８Ｃに示すように、この四角錐内の任意
の位置Ｐ（ｘｐ，ｙｐ，ｚｐ）は、Ｚ＝０の平面上の位
置Ｑ（ｘ，ｙ）に投影される。三角形ＥＱＯとＥＰＯ’
は、相似であるので、ｘ＝ｘｐ・ＺＥ／（ＺＥ−ＺＰ）ｙ＝ｙｐ・ＺＥ／（ＺＥ−ＺＰ）となる。これにより３次元空間内の任意の位置Ｐ（ｘ
ｐ，ｙｐ，ｚｐ）がｘ−ｙ平面の画像として得られる。

【００６３】このように、光軸の原点Ｅ（０，０，Ｚ
Ｅ）から原点Ｏ（０，０，０）の方向を見たとき、３次
元空間内の位置Ｐ（ｘｐ，ｙｐ，ｚｐ）がｘ−ｙ平面上
に位置Ｑ（ｘｑ，ｙｑ）として投影される。ここで、座
標軸の回転を行う。例えば、ｘ軸のまわりにｘの正の方
向に向かって右にθ〔rad 〕だけｙ軸およびｚ軸を回転
させると、位置Ｐ（ｘｐ，ｙｐ，ｚｐ）は、Ｐ２（ｘ
２，ｙ２，ｚ２）と表現される。すなわち、下記の式
（１０）のようになる。

【００６４】

【数８】

【００６５】このとき、位置Ｐは動いていない。座標系
が変化しただけである。すなわち、光軸の原点Ｅと画像
平面Ｈが座標系と一体で回転するものとすれば、表示さ
れる画像平面Ｈでは、位置Ｐがあたかもｘ軸のまわりに
左に回転したように見える。すなわち、今まで真上から
見ていた被写体を斜め上から、あるいは横から見ている
ように見える。さらにこのとき、ｘ軸のまわりに回転
（tilt）する前に、ｚ軸のまわりに回転（roll）させて
おけば任意の方向から被写体を見ることができる。具体
的には、式（１０）に下記の行列を掛ける。

【００６６】

【数９】

【００６７】また、ｙ軸のまわりに回転（pan ）させて
も良いが、斜めから見た画像としては不適当なのでここ
では、省略する。

【００６８】このように、光軸の方向を常に原点Ｏ
（０，０，０）に向けながら、光軸の原点Ｅを変える
と、斜めから見た画像を得ることができる。その斜めか
ら見た画像の一例として、被写体が屋外の場合、図９に
示す鳥瞰図が得られる。この場合も実際に撮影された画
像ではなく図９に示すようにイラストのように処理が施
され、表示される。

【００６９】このようにして生成された真上から見た画
像および斜めから見た画像の中に、撮影時にデジタルカ
メラが移動した軌跡を表示させることができる。まず、
真上から見た画像に軌跡を表示させる一例を図１０に示
す。図１０に示すように、間取り図にデジタルカメラの
移動した軌跡Ｌが点線で表示される。実際には、軌跡Ｌ
は、図の中で区別し易いように、例えば赤色の実線で表
すようにする。部屋の中央あたりでは、軌跡Ｌが何重に
も重なっている。部屋の中の複数の領域を撮影するため
に、１点から様々な方向に隈なく光軸を向けていること
がこの軌跡Ｌから分かる。

【００７０】次に、斜めから見た画像に軌跡を表示させ
る一例を図１１に示す。図１１に示すように、斜めから
見た部屋の中にデジタルカメラの移動した軌跡Ｌが点線
で表示される。図１０と同じように、部屋の中央あたり
では、軌跡Ｌが何重にも重なっている。部屋の中の複数
の領域を撮影するために、１点から様々な方向に隈なく
光軸を向けていることがこの軌跡Ｌから分かる。また、
部屋の角にあるテーブルの回りでは、軌跡Ｌが何度か往
復している。特徴的な形状となるので、様々な方向から
１点に光軸を向けていることがこの軌跡Ｌから分かる。

【００７１】図１０および図１１に示すように略々１点
から様々な方向の画像が撮影されている場合、その位置
を特定のマーク、例えば小球として表示するようにして
も良い。そして、その小球を選択すると、その１点から
撮影された画像を合成したパノラマ画像が表示される。
また、表示されたパノラマ画像の任意の位置を、例えば
左クリックすると、クリックされた任意の位置を中心に
拡大画像として表示され、例えばグリッドすると、グリ
ッドされた方向の画像が拡大画像として表示される。ま
た、右クリックすると、縮小画像として表示される。

【００７２】さらに、ある１つの物体が全方位から撮影
されている場合、その物体を円弧状に囲むように真上か
ら見た画像および斜めから見た画像に表示される。この
物体は、例えば回転して表示することができる。

【００７３】この軌跡Ｌ上の任意の位置を指定すると、
その指定された任意の位置から見える画像を表示するこ
とができる。一例として、図１２Ａは、マンションのエ
ントランスの画像である。図１２Ｂは、リビングの画像
であり、図１２Ｃは、図１２Ｂに示すリビングとは異な
るリビングの画像である。図１３Ａは、和室の画像であ
り、図１３Ｂは、浴室の画像である。

【００７４】そして、真上から見た画像または斜めから
見た画像の中から任意の位置が選択されると、真上から
見た画像または斜めから見た画像と、選択された任意の
位置の画像とが切り替えられ、表示される。また、選択
された任意の位置の画像は、真上から見た画像または斜
めから見た画像とは異なる領域、いわゆるウィンドウに
表示するようにしても良い。

【００７５】このように、撮影された画像信号およびサ
ブデータを再生するときに、次の操作を行うことができ
る（１）撮像された画像が建物の場合、真上から見た画像
として、間取り図が表示され、屋外の場合、真上から見
た画像として、地図が表示される（２）撮影された画像が建物の場合、斜めから見た画像
として、ある面を透過した斜視図が表示され、屋外の場
合、真上から見た画像として、鳥瞰図が表示される、ま
たある角度の幅でゆっくり回転させて表示し、立体的に
見せることができる（３）真上から見た画像および斜めから見た画像の中に
撮影時のデジタルカメラの軌跡Ｌを表示することができ
る（４）デジタルカメラの軌跡Ｌ上の任意の位置を指定す
ると、その指定された任意の位置から見える画像を表示
することができる。このとき、広角表示され、被写体の
方向を指定するとズーム表示とすることもできる（５）表示された画像の任意の位置を指定すると、指定
された任意の位置を様々な方向から表示することがで
き、さらにその任意の位置を見ることができる画像を連
続する静止画として、動画のように表示することができ
る。

【００７６】この実施形態では、ある建物の複数の部屋
の内部を隈なく撮影した画像信号およびサブデータをコ
ンピュータに入力し、処理を施すと、部屋の間取り図を
得ることができる。さらに、場所と方向を指定すると、
その場所の画像を表示することができる。

【００７７】この実施形態では、デジタルカメラの高さ
方向も検出されているので、作成された地図に等高線を
表示することも可能である。さらに、ある被写体の回り
を１回転して撮影することによって、その被写体の３次
元データを作成することもでき、立体的に回転させて表
示することもできる。

【００７８】この実施形態では、自動車、自転車、列車
などからデジタルカメラで風景を撮影することによっ
て、撮影された画像信号およびサブデータから地図を作
成することができる。ただし、作成された地図は、撮影
された範囲のみである。よって、谷間を走行中にデジタ
ルカメラで撮影された画像信号およびサブデータから作
成された地図は、狭い範囲の地図しかできない。これに
対して、遠方にある建物や山などを長時間にわたって撮
影した場合、広い範囲の地図ができる。また、同じ被写
体を長時間にわたって、撮影しているので、その被写体
を立体表示または回転表示することができる。このと
き、少なくとも前方および左右の画像信号およびサブデ
ータが撮影さていれば良く、上下および後方は、撮影さ
れていなくても良い。また、作成された地図上に走行し
た軌跡を表示することもできる。

【００７９】未踏の地でこのデジタルカメラを持った
人、動物またはロボットを徘徊させ、得られた画像信号
およびサブデータをコンピュータに入力し、処理を施す
と、移動した道筋が地図上に描かれ、そこから見える景
色が全て記録されており、画像内の主なものは距離と方
角が判っているので地図上に記することができる。

【００８０】また、この実施形態では、指定した位置か
ら指定した方向を画像として表示することができる。こ
のとき、表示されている画像の拡大率を変えることがで
き、例えば水平画角２度の望遠から９０度の広角に変え
ることができる。また、水平方向±１８０度、垂直方向
±９０度の全方位を表示することができる。ただし、全
方位の画像が得られていないときには不十分な表示とな
る。ある小さい領域のクローズアップ画像が見たいとき
には、その領域が写っている複数の画像を動画の速さで
繰り返し表示する。

【００８１】この実施形態では、画像を再生していると
きに、スロー再生、高速再生、巻き戻し、一時停止など
の制御を行うことができる。

【００８２】この実施形態では、１台のデジタルカメラ
で撮影された画像を用いて、真上から見た画像および斜
めから見た画像を生成し、表示するようにしているが、
複数台のデジタルカメラで撮影された画像を用いても良
い。このとき、特定の被写体の位置を３次元空間内の基
準とすることによって、複数台のデジタルカメラで撮影
された画像を用いて、真上から見た画像および斜めから
見た画像を生成し、表示するようにしても良い。

【００８３】この実施形態では、動画を撮影している
が、動画に限らず、静止画を撮影して、その静止画と共
に、サブデータを記録媒体に記録するようにしても良
い。このとき、１／３０秒間隔で静止画を撮影しても良
いし、全く任意の間隔で撮影しても良い。

【００８４】さらに、光軸可変素子をこの実施形態に適
用することによって、操作者が積極的に光軸の方向を変
えたときに発生する画素ブレを抑えることができる。

【００８５】

【発明の効果】この発明に依れば、デジタルカメラで移
動しながら無造作に撮影した画像信号から被写体の３次
元空間内の位置が検出され、検出された３次元空間内の
位置から真上から見た画像および斜めから見た画像が生
成され、表示される。そして、表示された真上から見た
画像および斜めから見た画像に撮影時にデジタルカメラ
が移動した軌跡を表示することができる。さらに再生時
に、必要な画像を瞬時に取り出すことができる。

【図面の簡単な説明】

【図１】この発明を適用することができるデジタルカメ
ラの外観図である。

【図２】この発明を適用することができるデジタルカメ
ラの一例の概略図である。

【図３】この発明を適用することができるデジタルカメ
ラの一例のブロック図である。

【図４】この発明を適用することができる再生系の一例
のブロック図である。

【図５】この発明を適用することができるデジタルカメ
ラの他の例の概略図である。

【図６】この発明を説明するための略線図である。

【図７】この発明を説明するための平面図である。

【図８】この発明を説明するための略線図である。

【図９】この発明を説明するための鳥瞰図である。

【図１０】この発明を説明するための平面図である。

【図１１】この発明を説明するための見取り図である。

【図１２】この発明を説明するための略線図である。

【図１３】この発明を説明するための略線図である。

【符号の説明】

１・・・カメラ群、２・・・サーボ系、３・・・センサ
群、４・・・記録媒体、５・・・表示部、６・・・シス
テムコンピュータ、２１・・・レンズ群２１、２２・・
・ＣＣＤ群、２３・・・圧縮回路、２５・・・伸張回
路、２８・・・画像メモリ、２９・・・画像移動量検出
部、３０ａ、３０ｂ・・・メモリ、３１・・・動き検出
回路、３２・・・演算回路、３３、３３Ｘ、３３Ｙ・・
・角速度センサ、３４・・・合成回路、３５Ｘ、３５Ｙ
・・・積分回路、３６Ｘ、３６Ｙ・・・Ｄ／Ａ変換器

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/76 Ｈ０４Ｎ 5/76 Ｚ

Claims

【特許請求の範囲】

【請求項１】複数枚の画像を撮像し、撮像した画像信
号を記録するようにした画像信号記録装置において、撮像手段の３次元空間内の位置（ｘ，ｙ，ｚ）、パン角
ｐ、チルト角ｑおよびロール角ｒを検出する姿勢検出手
段と、被写体から入射される上記被写体の像を画像信号へ変換
する撮像素子と、上記画像信号を圧縮する圧縮手段と、圧縮された上記画像信号を記録すると共に、上記姿勢検
出手段で検出された上記３次元空間内の位置（ｘ，ｙ，
ｚ）、パン角ｐ、チルト角ｑおよびロール角ｒをサブデ
ータとして記録する記録手段とからなるようにしたこと
を特徴とする画像信号記録装置。
【請求項２】請求項１において、さらに、互いの位置関係が固定された複数のレンズを有
し、上記複数のレンズからそれぞれの複数の画像信号を得る
ことができるようにしたことを特徴とする画像信号記録
装置。
【請求項３】請求項１において、互いに直交する方向に配置した第１および第２の加速度
センサから得られたデータを積分することによって、上
記３次元空間内の位置（ｘ，ｙ，ｚ）を検出するように
したことを特徴とする画像信号記録装置。
【請求項４】請求項１において、加速度センサから得られたデータを積分することによっ
て、上記チルト角ｑおよびロール角ｒを獲得するように
したことを特徴とする画像信号記録装置。
【請求項５】請求項１において、角速度センサから得られたデータを積分することによっ
て、上記パン角ｐを獲得するようにしたことを特徴とす
る画像信号記録装置。
【請求項６】請求項１において、地磁気センサを使用することによって、パン方向の絶対
値を決めるようにしたことを特徴とする画像信号記録装
置。
【請求項７】請求項１において、予め方位を指定することによって、パン方向の絶対値を
決めるようにしたことを特徴とする画像信号記録装置。
【請求項８】複数枚の画像を撮像し、撮像した画像信
号を記録するようにした画像信号記録方法において、撮像手段の３次元空間内の位置（ｘ，ｙ，ｚ）、パン角
ｐ、チルト角ｑおよびロール角ｒを検出し、被写体から撮像素子へ入射される上記被写体の像を画像
信号へ変換し、上記画像信号を圧縮し、圧縮された上記画像信号を記録すると共に、検出された
上記３次元空間内の位置（ｘ，ｙ，ｚ）、パン角ｐ、チ
ルト角ｑおよびロール角ｒをサブデータとして記録する
ようにしたことを特徴とする画像信号記録方法。
【請求項９】同一の被写体を複数の位置から撮像する
ことで得られた複数の画像信号が記録されていると共
に、撮像手段の３次元空間内の位置（ｘ，ｙ，ｚ）、パ
ン角ｐ、チルト角ｑおよびロール角ｒがサブデータとし
て、記録されている記録媒体を再生する画像信号再生方
法において、記録媒体に記録された画像信号およびサブデータを再生
し、上記サブデータおよび複数の画像信号に基づいて被写体
の３次元空間内の位置を検出し、検出された上記３次元空間内の位置から平面画像を生成
し、表示するようにしたことを特徴とする画像信号再生
方法。
【請求項１０】請求項９において、上記被写体が建物の内部であり、上記平面画像は、部屋
の間取り図であることを特徴とする画像信号再生方法。
【請求項１１】請求項９において、上記被写体が屋外であり、上記平面画像は、地図である
ことを特徴とする画像信号再生方法。
【請求項１２】請求項９において、上記画像信号が再生されているときに、表示されている
任意の位置をクリックすると、クリックされた任意の位
置を中心として拡大画像または縮小画像が表示され、表示された上記拡大画像または縮小画像をドラッグする
ことによって、上記ドラッグした位置を中心として拡大
画像または縮小画像が表示されるようにしたことを特徴
とする画像信号再生方法。
【請求項１３】請求項９において、再生された上記サブデータと、再生された上記画像信号
から得られる被写体の情報とに基づいて、上記被写体の
正しい３次元空間内の位置を獲得するようにしたことを
特徴とする画像信号再生方法。
【請求項１４】請求項９において、上記被写体が建物の内部または屋外であり、上記平面画
像は、上記被写体を斜めから見た画像であることを特徴
とする画像信号再生方法。
【請求項１５】請求項１４において、上記斜めから見た画像は、変化する視点の位置に応じ
て、物体を立体的に変化させて表示するようにしたこと
を特徴とする画像信号再生方法。
【請求項１６】請求項９において、上記平面画像には、撮影時に撮像手段が移動した軌跡を
表示するようにしたことを特徴とする画像信号再生方
法。
【請求項１７】請求項１６において、上記軌跡の任意の位置を選択すると、上記任意の位置か
ら見える画像が表示されるようにしたことを特徴とする
画像信号再生方法。
【請求項１８】請求項１６において、上記軌跡の任意の位置を指定すると、上記任意の位置か
ら動画が再生され、上記動画に対してスロー再生、高速
再生、巻き戻しまたは一時停止などの制御が行えるよう
にしたことを特徴とする画像信号再生方法。
【請求項１９】請求項１６において、さらに、撮像手段によって、１つの物体の画像が全方位
から撮影されている場合、上記１つの物体を円弧状に囲
むように表示するようにしたことを特徴とする画像信号
再生方法。
【請求項２０】請求項１６において、さらに、略々１つの位置から撮像手段によって全方位の
画像が撮影された場合、上記１つの位置を特定のマーク
として表示し、上記特定のマークを選択すると、撮影された上記全方位
の画像を合成したパノラマ画像を表示するようにしたこ
とを特徴とする画像信号再生方法。
【請求項２１】請求項２０において、上記パノラマ画像の任意の位置をクリックすると、クリ
ックされた任意の位置を中心として拡大画像または縮小
画像が表示され、表示された上記拡大画像または縮小画像をドラッグする
ことによって、上記ドラッグした位置を中心として拡大
画像または縮小画像が表示されるようにしたことを特徴
とする画像信号再生方法。
【請求項２２】静止画および／または動画の画像信号
が記録される記録媒体において、撮像手段の３次元空間内の位置（ｘ，ｙ，ｚ）、パン角
ｐ、チルト角ｑおよびロール角ｒがサブデータとして、
画像信号と共に記録されていることを特徴とする記録媒
体。