JP2000032379A

JP2000032379A - 電子カメラ

Info

Publication number: JP2000032379A
Application number: JP10192928A
Authority: JP
Inventors: Takashi Mihara; 孝士三原
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1998-07-08
Filing date: 1998-07-08
Publication date: 2000-01-28

Abstract

(57)【要約】【課題】画像情報に撮像方位情報と共に撮像画角情報も
関連付けて、この情報を基に複数の画像より広画角の合
成画像を合成可能にする。【解決手段】本発明は、撮像した画像を電子的に記録す
る電子カメラであって、上記撮像した画像の撮像方位情
報と撮像画角情報とを上記画像に関連づけて記録する画
像メモリ１３を具備する。この画像メモリ１３は、複数
の所望の画像同士を関連付ける情報である画像関連情報
も更に記録可能である。この構成の下、上記撮像方位情
報と上記撮像画角情報に基づいて、ＣＰＵ１４は、上記
画像関連情報によって関連付けられた画像同士を合成す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、方位センサを内蔵
し、複数の映像を撮り込んで高精度に画像を張り合わ
せ、また画像合成が可能な複数の機能を有する電子カメ
ラに関する。

【０００２】

【従来の技術】従来、電子カメラは、映像を２次元の電
気信号に変えるＣＣＤ（Charge Coupled Device）等
の固体撮像素子と、焦点を上記固体撮像素子の上に結像
するレンズ群と、メモリ等の記録手段とを有する構成が
一般的であるが、かかる構成の下では、撮像した画像の
位置情報や方位情報を得ることはできない。

【０００３】電子カメラの映像を用いて、更に環境を取
込む手段を取り入れ、高画角の映像を得るためには、広
角又は超広角のレンズを用いて撮影する方法、或いは通
常画角で撮影した映像をパーソナルコンピュータに取り
込んだ上、ソフトウェアにて画像の張り合わせや画像合
成を行う方法を採用するのが一般的である。

【０００４】上記広角又は超広角のレンズを用いて撮影
する方法の場合、１回で撮影が終了するものの、レンズ
の強い収差のために、画像が大きく歪むといった問題点
がある。さらに、撮影レンズの特性を考慮に入れて歪み
をソフトウェア的に修正することも可能であるが、完全
に無くすことは困難である。また、広角を少ない画素の
ＣＣＤで撮像する為、画素が粗くなるといった問題も生
じる。

【０００５】次に通常画角で撮影した映像を、パーソナ
ルコンピュータに取り込んだ上、ソフトウェアのシーケ
ンスに従って、画像の張り合わせや画像合成を行う方法
の場合、マニュアル操作にて予め２つの画像を一部重畳
しておく必要があること、また画像処理にて画像の重畳
部分を探るため、手掛かりが必要であること、処理のた
めの時間を要すること等、問題も多かった。

【０００６】一方、電子カメラやビデオカムコーダの位
置や方位を計測して、有効に利用しようとする技術もこ
れまでに提案されている。特に、位置情報に関しては、
衛星測位システム（GPS ；Global Positioning Syst
em）に係る技術の発達によって、手軽に計測することが
可能となっている。

【０００７】即ち、例えば特開平９−１３５４１６号公
報では、電子カメラにＧＰＳを搭載して、撮影場所の経
度と緯度を測定し、測距情報と共に記録する手段を備
え、地図等の作成を容易にする技術が開示されている。

【０００８】さらに、特開平７−２３１４１９号公報で
は、ＧＰＳからの経度と緯度を測定し、ＲＯＭ等のメモ
リに入ったデータからその位置情報、即ち場所を読み取
り、ファインダやメモリ上に表示や記録する技術が開示
されている。

【０００９】また、特開平９−２４７５１２号公報で
は、ＧＰＳからの経度と緯度を測定し、或いは磁気セン
サ等から方位を計測して、その方位と位置を計測して画
像と一緒にメモリ上に記録する技術が開示されている。

【００１０】以上のような位置や方位を測定するための
センサを内蔵するカメラは、その座標や方位を計測し、
そのデータを画像と一緒にメモリ等に記憶し、地図情報
と共に使用することが主目的であった。

【００１１】

【発明が解決しようとする課題】しかしながら、前述し
た従来技術では、より広い画角、位置や方位情報を撮り
込む手段として、低価格化及び小型化を伴うＧＰＳや方
位センサを採用し、これらにより電子カメラの位置情報
や方位情報を計測し、該位置情報及び方位情報を記録
し、場所を特定して表示したり、画像の張り合わせに用
いることがなされてきたが、実際にそれらの機能を実際
に実装し、フィールドでの試験を行うと、以下に示すよ
うな種々の問題が生じていた。

【００１２】即ち、第１に広角レンズや魚眼レンズで撮
影する場合は画素が粗くなり、また強い歪みをレンズの
特性に合わせて除去するのは極めて困難である。第２に
画像処理のみで画像を張り合わせてパノラマ写真を作る
場合、特徴のある木や風景が２枚の端に必ず来るように
気を付けて画像を撮り、また、ある程度手動にて重ね合
わせる必要があった。また、比較的高性能なＣＰＵ（Ce
ntral Processing Unit）やＲＩＳＣ等の中央演算処理
装置を有するパーソナルコンピュータを用いて処理する
必要がある。また、海や空、繰り返しパターン等の映像
では、張り合わせの信頼性が低下するといった問題もあ
った。

【００１３】一方、撮像画像に撮影の方向の情報を付加
する先行技術も既に開示されているが、かかる技術で
は、撮像画角に関する情報は画像に付加されていない
為、複数の撮像画像を合成して１枚の広画角の画像を作
成する場合に、各画像を合成画像のどの位置に貼り付け
れば良いかは知ることができるが、どの大きさで貼れば
良いかは知ることができない。故に、従来技術では、複
数の画像を合成して１枚の広画角の画像を作成すること
は不可能であった。

【００１４】通常の撮影においても固定焦点のレンズを
使用することは稀であり、ズームレンズを使用したり、
レンズを交換したりして画像の画角は画像毎に異なって
いるため、画角情報は方位情報と共に画像の合成に必須
の情報である。

【００１５】本発明は、上記問題に鑑みてなされたもの
で、その目的とするところは、画像情報に撮像方位情報
と共に撮像画角情報も関連付けて、この情報を基に複数
の画像より広画角の合成画像を合成可能にすることにあ
る。

【００１６】

【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の態様によれば、撮像した画像を電子
的に記録する電子カメラにおいて、上記撮像した画像の
撮像方位情報と撮像画角情報を上記画像に関連づけて記
録する記録手段を具備することを特徴とする電子カメラ
が提供されることとなる。

【００１７】更に、第２の態様によれば、上記第１の態
様において、上記記録手段は、複数の所望の画像同士を
関連付ける情報である画像関連情報も更に記録可能であ
ることを特徴とする電子カメラが提供される。

【００１８】また、第３の態様によれば、上記第２の態
様において、上記電子カメラは、上記撮像方位情報と上
記撮像画角情報に基づいて、上記画像関連情報によって
関連付けられた画像同士を合成する画像合成手段を更に
具備することを特徴とする電子カメラが提供される。

【００１９】上記第１乃至第３の態様によれば、以下の
作用が奏される。即ち、本発明の第１の態様では、記録
手段により、撮像した画像の撮像方位情報と撮像画角情
報とが上記画像に関連づけて記録される。

【００２０】更に、第２の態様では、上記第１の態様に
おいて、上記記録手段により、複数の所望の画像同士を
関連付ける情報である画像関連情報も更に記録される。
また、第３の態様では、上記第２の態様において、画像
合成手段により、上記撮像方位情報と上記撮像画角情報
に基づいて、上記画像関連情報によって関連付けられた
画像同士が合成される。

【００２１】

【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態について説明する。本発明は、電子カメラに
おいて、実写画像を用いて「環境」を取込むことを目的
としている。ここで、「環境」とは、操作者以外の物体
や背景、色、濃淡、深さ、形状等の全てを含むが、電子
カメラは２次元情報を取り扱うものである為、先ずは操
作者の周辺環境を取り込むことを考える。

【００２２】以下、本発明の実施の形態に係る電子カメ
ラの技術的理解を深めるべく、後述する全ての実施の形
態に共通する基本原理を詳細に説明する。通常の銀塩カ
メラ、電子カメラ等で写真を撮影する場合には、レンズ
で捕らえられる画角の濃淡と色情報とを、フィルムや固
体撮像素子にて面（２次元）の像として捕らえるのが一
般的である。そして、フィルム面等に捕らえられた画像
には、画像情報以外の「環境」に係る情報は何ら含まれ
ていない。

【００２３】しかし、上記銀塩カメラ等とは異なり、電
子カメラでは、映像情報をデジタル信号として記録再生
できる為、通信や他のデータを用いて様々な画像の加工
や作成、創作、環境の作成ができる。また、例えば複数
の映像を正確な位置を基に張り合わせたり、パノラマ画
面を作成したりすることもできる。但し、この為には、
撮影した画像の実空間での位置（空間の認知）情報が必
要となる。

【００２４】本発明は、撮影時における電子カメラの姿
勢を計測することで、撮影画像の位置を割り出し、その
後の画像の加工や創作に使用するものである。先ず、図
１には撮影時の電子カメラの姿勢と画像との関係を示し
説明する。

【００２５】図１（ａ）は、画角と方位の関係を示す図
である。この図１（ａ）において、Ｐ１は画像の中心、
Ｑは撮像素子の中心位置をそれぞれ示している。図１
（ｂ）のｘ、ｙ、ｚは、撮像素子の中心点Ｑを中心とし
たデカルト座標を示し、図中のｘ、ｙは撮影した画面の
座標を示している。θは、図１（ｂ）に示されるような
撮像素子の中心を含む水平面を回転面にした場合におけ
る当該水平面からの法線を回転中心とした場合の回転角
である。また、ψは、図１（ｂ）に示されるように地表
からの角度（仰角）である。このθとψで作られる座標
は、オイラー座標系に相当する。また、φは、カメラの
水平からの傾き角である。

【００２６】上記θはパニング、ψはチルトの角度であ
るともいえる。従って、Δθはパニング方向の画角であ
り、Δψはチルト方向の画角である。また、画像Ｇは、
姿勢情報（θ、ψ、φ）と画角情報（Δθ、Δψ）との
計５個のパラメータで決定される。尚、プリントや投影
した場合の実際の画角は、図１（ｃ）に示されるよう
に、画角と仮想的に設定する投影距離ｄによって決定さ
れる。この図１（ｃ）において、ｇｘ、ｇｙは、それぞ
れｇｘ＝２・ｄ・ｔａｎ（Δθ／２）ｇｙ＝２・ｄ・ｔａｎ（Δψ／２）で示される。

【００２７】次に図２には大画面やパノラマ等を作成す
る場合の画像を張り合わせる過程を示し説明する。画像
の張り合わせ時に必要な情報は、図２（ａ）に示される
ようにカメラの撮像中心から見た、即ち撮影した２枚の
画像Ｇ１、Ｇ２である。この画像の姿勢情報と画角情報
が有れば正確に張り合わせが可能である。張り合わせに
は、少なくとも２枚の画像Ｇ１（θ１、ψ１、φ１、Δ
θ１、Δψ１）と、Ｇ２（θ２、ψ２、φ２、Δθ２、
Δψ２）が必要となる。尚、図２（ａ）に示されるよう
に、一部重複部分が必要となることは勿論であり、図２
（ｂ）に示される複数の画像を組み合わせる場合も同様
である。

【００２８】次に図３を参照して、大画面やパノラマ等
を作成する場合において、画像を張り合わせる過程につ
いて、更に正確で実用的な方法を説明する。前述したよ
うな姿勢情報（θ、ψ、φ）を精度良く実測するのは、
一般に容易ではない。例えば、建設現場等でプロが使用
する計測カメラを３脚に固定して高価なロータリーエン
コーダを用いる場合であっても、３６０度を３６００分
割して分解能を０．１度にすることは困難である。

【００２９】一方、２０度の画角をＶＧＡ（６４０×４
８０）で表示した場合の水平方向の１画素の方位は１／
３０度となる。本発明では、大衆商品として製造販売す
ること、且つ利用者の利便を向上させることを考えてい
るので、基準点なしに利用者が構えるだけで計測できる
ことが望まれ、ゆえに、方位の計測精度は８ｂｉｔから
１０ｂｉｔとするのが妥当である。

【００３０】即ち、方位の計測精度は０．１度から数度
となる。この為、図３（ａ）に示されるように、重複部
分の画像ずれが発生する可能性が想定される。ここで、
ずれの程度は、姿勢情報（θ、ψ、φ）の標準偏差の二
乗和の平方根であると考えられる。尚、これは、方位セ
ンサの測定値が原理的限界からガウシアン分布をとると
いうことが前提となっている。

【００３１】図３（ｂ）は、この誤差を補正するため
に、画像の重複部分の画素レベルの相関を取って精度を
高めた例である。例えば、最初に方位情報からの座標
（Ｘ、Ｙ）と（Ｘ′、Ｙ′）との画像の画素の差の二乗
を重なり部分の全ての画素、又は一部の画素で和をと
る。そして、この和が最小になる新たな座標（Ｘ′、
Ｙ′）を見い出せるような手法を用いている。

【００３２】ここで、図２４のフローチャートを参照し
て、外部コンピュータ又は電子カメラ内蔵コンピュータ
による演算のシーケンスを説明する。動作を開始する
と、先ず、電子カメラより１画像と関連づけられた撮像
方位情報と撮像画角情報を伝送する（ステップＳ２
１）。続いて、全画像の方位情報より、方位情報の最大
値と最小値を各成分ごと求め（ステップＳ２２）、上記
方位情報の各成分毎の最大値と最小値より出力画像の範
囲を仮決定し（ステップＳ２３）、上記出力画像の範囲
に座標平面を想定し（ステップＳ２４）、各撮像画像の
上記座標平面上の位置を、各画像に関連付けられた撮像
方位情報より計算する（ステップＳ２５）。

【００３３】次いで、各撮像画像の上記座標平面上の大
きさを、各画像に関連付けられた撮像画角情報より計算
し（ステップＳ２６）、計算した位置と大きさに従い、
撮像画像を座標平面に貼り付け（ステップＳ２７）、境
界に不連続部分があれば、対応する画素間で各画素との
ノルム（距離）の総和が最小となる位置に新画素を設定
し（ステップＳ２８）、貼り付けた撮像画像を１つの画
像として出力し（ステップＳ２９）、動作を終了する
（ステップＳ３０）。

【００３４】以上の基本原理をふまえて、以下、各実施
の形態を詳細に説明する先ず、第１の実施の形態を説明
する。図４は本発明の第１の実施の形態に係る電子カメ
ラの構成図である。

【００３５】同図に示されるように、本実施の形態に係
る電子カメラは、光軸９を有するレンズ群１０、当該レ
ンズ群１０を含む鏡筒１１、ＣＣＤやＣＭＯＳセンサ等
の固体撮像素子１２、画像メモリ１３、制御部１４、姿
勢センサ１５、画角を計測する機能部１６、一連の関連
画像を特徴付ける機能部１７の主な構成要素から構成さ
れている。これらの内、画像メモリ１３は、電子カメラ
内部に搭載されても良いし、カードのように差し込み式
となっていても良い。また、上記構成要素のほか、自動
焦点（ＡＦ）センサや焦点調整のアクチュエータ、自動
露出（ＡＥ）センサや絞り等を搭載していても良いこと
は勿論である。

【００３６】上記姿勢センサ１５は、この実施の形態で
は、３軸の方位を高精度で計測することができる。ここ
で、３軸とは、図５に示されるような軸と方位であり、
地表面１０１の法線１０２を中心軸とする角度１０３
（パンニング又はヨーイング）、カメラのレンズの光軸
９の地表面からの角度の計測１０４（チルトイング又は
ピッチ）、水平方向からの傾き１０５をここでは定義す
る。

【００３７】この計測の方法は、詳細には後述するが、
一般的に３つの方位センサを互いに９０度の傾きを持っ
て配置して計測させることが多い。上記画角を計測する
機能部１６は、使用するレンズの焦点距離や倍率、使用
する撮像素子の有効画素面積等を計測、或いは定数値か
ら計測して求める。上記一連の関連画像を特徴付ける機
能部１７は、複数の画像を用いて大きなパノラマや全天
周画像を作成させる場合の一群の画像を特徴付けるイン
デックスである。

【００３８】次に図６には第１の実施の形態に係る電子
カメラの構成図を示し説明する。同図に於いて、中央演
算処理装置（CPU ；Central Processing Unit）１４
は、電子カメラ全体の制御を司る。このＣＰＵ１４の入
力には、シャッタスイッチ１８、フラッシュのモードス
イッチ１９、再生機能スイッチ２０、メモリの制御（消
去等）のスイッチ２１、撮像素子からの映像信号２２、
ＡＦ信号部２３、ＡＥ信号部２４等からの信号が入力さ
れる。また、ＣＰＵ１４の出力信号は、フラッシュ機能
部（光源等）２５、レンズアクチュエータ２７に入力さ
れる。

【００３９】特に、上記画像メモリ１３には、画像制御
信号２６と、バスライン２７を介したデジタル画像信号
が入力され、当該画像メモリ１３に蓄積される。この
他、ＣＰＵ１４の入力には、姿勢センサ１５、画角情報
部１６、関係付けＳＷ１７の出力が接続されており、通
信自在となっている。

【００４０】以下、図７のフローチャートを参照して、
上記構成の第１の実施の形態に係る電子カメラの動作を
説明する。電子カメラの電源スイッチが投入されると
（ステップＳ１）、前処理が実行される（ステップＳ
２）。ここでは、必要なデバイスの検証、メモリの初期
化、必要な情報のＲＯＭ等からレジスタや主記録装置に
ロード、ＬＣＤ等の表示装置の初期化等がなされる。こ
のとき、姿勢センサ１５の初期化やキャリブレーション
も必要であれば行う。この状態で、シャッタ待ちの状態
となる。

【００４１】尚、画像の確認、画像メモリ１３の確認等
のイベント情報が入った場合は、そのイベントに対する
応答を行うことは勿論である。次いで、パノラマ等（環
境を撮るモード）の画像の関係付けＳＷ１７が押下され
ると（ステップＳ３）、方位検出による画像合成モード
に入り、関連付けのフラグがＯＮされ、姿勢センサ１５
の計測準備に入る（ステップＳ４）。

【００４２】続いて、シャッタＳＷ１８がＯＮされると
（ステップＳ５）、画像取り込みのモードに入る。即
ち、ズームボタンが押下されると、操作者や指定するズ
ーム倍率に設定される。この画像取り込みモードでは、
焦点を合わせるレンズアクチュエータ２８が動作する。
また、自動焦点タイプで有れば、ＡＦセンサの信号が許
容値に達するまでアクチュエータが動作する（ステップ
Ｓ６）。

【００４３】ここで、上記ステップＳ５、ステップＳ６
の処理は、相互に順番を変更しても良い。尚、関連付け
のフラグが立っている場合は、姿勢センサ１５の計測開
始を指示する。その後、シャッタ用のレンズアクチュエ
ータ２８が動作する。ここで、ＣＣＤの電子シャッタ機
能を用いても良い。

【００４４】次いで、シャッタが開いている間にＣＣＤ
や撮像素子の画像取り込み信号を出力する（ステップＳ
７）。電子シャッタを使用する場合には、ＡＥ信号を受
けてホトダイードへの蓄積時間を決める。この後、直ち
に姿勢センサ１５の計測値を取込むか、又はその時点の
計測値をラッチする信号を出す（ステップＳ８）。その
後、ＣＣＤ等の撮像素子から画像データをシリアル又は
パラレルで画像メモリ１３に取込む（ステップＳ９）。
このとき、方位データの計測データ、レンズやズームか
らの画角データ、画像の関連付けのデータ等を同時に画
像メモリ１３内に取込む（ステップＳ１０）。ここで、
画像の関連付けとは、画像合成をする一連の画像のまと
まりや順序付けを意味する。

【００４５】これらのデータはバッファに入れておき、
ステップＳ１１にて、まとめて画像メモリ１３に取込ん
でも良い。さらに、画像データが大きい場合は、直接ス
テップＳ７やステップＳ９の段階で画像メモリ１３に取
込んでも良い。この後、パノラマ画像の関係付けＳＷ１
７がＯＮされている場合（フラグが立っている場合）は
（ステップＳ１２）、関連付けデータの更新をしてシャ
ッタボタンを押下する準備段階に戻る（ステップＳ１
３）。

【００４６】以降、パノラマ合成した２番目の画像を撮
影し、上記した処理と同様の処理により必要な画像を取
込むこととなる。ここで、上記画像の関連付けは、関連
付けようとする画像を撮影するときにボタン等を押下す
ることにより指定する構成ととることもできるが、一般
に画像合成の対象となる複数の画像は電源投入から切断
の間に撮影される全画像であることが多い点に鑑み、電
子カメラに電源投入後最初に撮像された画像から、電源
切断の直前に撮像された画像まで関連付けるようにして
もよい。このようにすれば、操作が簡便になるととも
に、システム構成を安価にし、誤操作を防止する意味で
信頼性を向上できる。

【００４７】次に図８を参照して、第１の実施の形態に
おける記録したデータの処理過程を説明する。同図に於
いて、本体４３、ＣＲＴ４４、マウス４５、キーボード
４６はパーソナルコンピュータ（以下、ＰＣとする）を
形成する。ここで、本実施の形態に係る電子カメラ１と
本体４３とは、信号ケーブル４７によりシリアル又はパ
ラレルに通信自在に接続されている。

【００４８】本実施の形態では、方位の計測の方法につ
いては何ら制限していない。実空間を空間認知する原理
から、電子カメラが画像情報、方位情報、画角情報、及
び画像の関連付け情報を用いて画像を取込み、画像メモ
リ１３に記録することを特徴としている。方位を示す姿
勢情報の値は、ＧＰＳ等より得た絶対的な方位座標にお
ける値で認識してもよいが、電子カメラに電源が投入さ
れた時点の姿勢情報の値をゼロとし、これに対する移動
量の値で認識してもよい。また、１つの画像における姿
勢情報の値をゼロとし、他の画像においてはこのゼロ値
からの移動量で値を認識してもよい。最後の方式による
と、演算がより簡単にできる。

【００４９】尚、画像の貼り合わせは外部のＰＣで行っ
てもよい。この場合は画像の関連付け、即ち、どれとど
れの画像同士を貼り合わせるかといった選択もＰＣ上で
実施するとよい。このようにすれば、複数の画像を確認
した上で、適切な画像のみを選択して貼り合わせること
ができる。

【００５０】画像の関連付けは、このＰＣが行う以外に
も、本体に取り付けられたスイッチや、外部のボタン、
タッチパネル、マウス、音声認識等で行う構成がとれ
る。また、上記画像の関連付けを、所望の画像から所定
の時間内に撮影された複数の画像全てに対して行うよう
にしてもよい。このようにすれば、不要のボタン等の部
品を省くことができる。

【００５１】次に第２の実施の形態を説明する。図９は
第２の実施の形態としての電子カメラの応用例を示す図
である。一般に、電子カメラはＰＣの周辺機器として発
展し、デジタル画像を取込み装置として認知、利用され
てきた。しかし、直接テレビジョン（ＴＶ）に接続して
映像を楽しむこととほか（図９（ａ）参照）、所謂「ホ
ームラボラトリ」という概念の下、プリンタに直接接続
することも可能である（図９（ｂ）参照）。

【００５２】このような場合でも、本実施の形態に係る
電子カメラを採用すれば、画像の張り合わせ操作に、所
定の操作やマニュアル動作を何ら要しない。また、本実
施の形態では、画像間の関連付けと方位情報や画角情報
は撮影時に撮り込まれている為に、完全自動で最終画像
の作成ができる。つまり、電子カメラ１のＣＰＵによっ
て画像メモリからの画像情報、方位情報、画角情報、関
連付け情報を用いて、新たな座標を計算し、又は先に図
３に示した手法で最適化することにより、新たな座標を
再定義し、再度合成した画像データをメモリに蓄積す
る。よって、図９（ａ），（ｂ）に示されるようなＴＶ
での張り合わせ画像の再生や、プリンタへの張り合わせ
画像の出力ができるほか、図９（ｃ）に示されるよう
に、頭部や顔面の画像表示装置（HMD ；Head Mounted
Display ）５０に接続して張り合わせ画像を出力する
よう構成することもできる。この合成画像は、自動的に
電子カメラの画像メモリ１３に記憶しても良いし、画像
情報のみを記憶してもよい。

【００５３】次に第３の実施の形態を説明する。図１０
は第３の実施の形態に係る電子カメラの外観構成図であ
る。本実施の形態は、図１０（ａ）、（ｂ）に示される
ように、カメラに表示装置を機能を有する構成となって
いる。即ち、図１０（ａ）は高精細の平面型表示装置
（ＬＣＤ）５１を用いたもの、図１０（ｂ）はレンズを
通して小型表示装置を拡大表示するもので、ファインダ
５２を有している。尚、小さな画角で大画面を表示させ
るべく、表示の場所を変更するよう構成することもでき
る。

【００５４】次に第４の実施の形態を説明する。図１１
は第４の実施の形態の基本原理を示す図である。一般に
民生カメラでは、パノラマ画像のみを撮る場合が多い。
この場合は、水平方向の角度、パニングのみで撮影可能
となる。

【００５５】この第４の実施の形態では、カメラの視点
Ｑをできるだけ変えないで、パニングの方位θのみを計
測しながら、Ｇ１（θ１、Δθ１）、Ｇ２（θ２、Δθ
２）、Ｇ３（θ３、Δθ３）の画像を撮影する。このと
き、先に説明した第１の実施の形態と同様に、画像情
報、パニング方向の画角情報Δθ、パニングの方位情報
θ、を計測し、画像メモリ１３に記録する。

【００５６】第４の実施の形態によれば、方位センサの
数が最小限となり、低コスト化を実現することができ
る。尚、上記バニング方向の画角情報Δθのほか、チル
ト方向の画角情報Δψも考慮に入れれば更に良いことは
勿論である。

【００５７】次に第５の実施の形態を説明する。図１２
は第５の実施の形態の基本原理を示す図である。一般に
民生カメラでは、ビルや塔のような縦長画面を撮る場合
が多いが、この場合は垂直方向の角度、チルトのみで撮
影可能となる。

【００５８】この第５の実施の形態では、カメラの視点
Ｑを極力変更しないで、チルトの方位ψのみを計測しな
がら、Ｇ１（ψ１、Δψ１）、Ｇ４（ψ４、Δψ４）、
Ｇ５（ψ５、Δψ５）の画像を撮影する。このとき、先
に説明した第１の実施例と同様に、画像情報、チルト方
向の画角情報Δψ、チルトの方位情報ψを計測し、画像
メモリ１３に記録する。

【００５９】第５の実施の形態によれば、方位センサの
数が最小限となり、低コスト化を実現することができ
る。尚、上記チルト方向の画角情報Δψのほか、パニン
グ方向の画角情報Δθも考慮に入れれば更に良いことは
勿論である。

【００６０】次に第６の実施の形態を説明する。図１３
は第６の実施の形態の基本原理を示す図である。一般
に、民生カメラでは、カメラを水平に保った画面を撮る
場合が多いが、この場合は水平と垂直方向の角度、パニ
ングとチルトのみで可能となる。

【００６１】この第６の実施の形態では、カメラの視点
Ｑをできるだけ変えないで、方位φとψのみを計測しな
がら、Ｇ１（θ１、Δθ１、ψ１、Δψ１）、Ｇ２（θ
２、Δθ２、ψ２、Δψ２）、Ｇ３（θ３、Δθ３、ψ
３、Δψ３）、Ｇ４（θ４、Δθ４、ψ４、Δψ４）、
Ｇ５（θ５、Δθ５、ψ５、Δψ５）の画像を撮影す
る。このとき、先に説明した第１の実施の形態と同様
に、画像情報、チルト方向の画角情報Δθ、Δψ、チル
トの方向情報θ、ψ、を計測し、画像メモリ１３に記録
する。

【００６２】第６の実施の形態によれば、方位センサの
数が少なくなり、低コスト化を実現することができる。
次に第７の実施の形態を説明する。

【００６３】図１４乃至図１６は、第７の実施の形態の
基本原理を示す図である。一般に民生カメラでは、低コ
スト化が要請される事に鑑み、本実施の形態では、方位
センサに換えて地磁気センサを採用することとした。

【００６４】この地磁気センサにより、図１４（ａ）に
示される地磁気ベクトルＭのカメラ固定座標（ｘ、ｙ、
ｚ）の各方位成分を計測する。さらに、図１４（ｂ）に
示されるように、上記座標のｘ成分を計測する為に、コ
イルをｘ軸に垂直に配置し、Ｍｘを計測するようにして
いる。

【００６５】一方、図１５に示す構成では、ｘ成分とｙ
成分を計測する為に、コイルをｘ軸とｙ軸に垂直に配置
し、地磁気ベクトルＭｘ、Ｍｙを計測する。更に、図１
６に示す構成では、ｘ、ｙ、ｚの全ての成分を計測する
為にコイルをｘ、ｙ、ｚ軸に垂直に配置し、地磁気ベク
トルＭｘ、Ｍｙ、Ｍｚを計測する。

【００６６】第７の実施の形態によれば、絶対方位は地
球上の場所によって変わるが、必ずしも方位の絶対座標
を求めなくても良こととなる。つまり、相対的な座標を
使って画像合成をすることができる。

【００６７】次に第８の実施の形態を説明する。図１７
に第８の実施例を示す。一般に民生カメラでは、低コス
ト化と同時に超小型化が要求されることに鑑み、この第
８の実施の形態では、方位センサに換えて、半導体プロ
セスを用いて作成した地磁気センサを採用することとし
た。

【００６８】図１７には上記磁気抵抗素子を用いた構成
を示す。同図において、磁気抵抗センサには、図示のよ
うに半導体プロセスで構成可能な超薄膜磁性体を用い
る。そして、当該超薄膜磁性体を流れる電流成分が、磁
気ベクトルによって変調される効果を採用する。この例
では、ｘ軸であるが、２軸でも３軸でも良いことは勿論
である。更に、絶対方位は地球上の場所によって変わる
が必ずしも、方位の絶対座標を求めなくても良い。

【００６９】この第８の実施の形態によれば、相対的な
座標を使って画像合成することができる。次に第９の実
施の形態を説明する。

【００７０】図１８は第９の実施の形態の基本原理を示
す図である。一般に民生カメラでは、低コスト化と共に
高速応答性が要求される場合があることに鑑み、この第
９の実施の形態では、方位センサに換えて、振動ジャイ
ロの如き加速度センサを用いる構成としている。また、
絶対座標は必要でない場合も多いことに鑑み、方位の絶
対座標を求めなくても良い構成としている。

【００７１】むしろ、高速応答を実現するために、図１
８に示すように圧電型の振動ジャイロを採用している。
ここでは、地磁気センサも信頼度を高めるために使用し
たが、無くても良ことは勿論である。また、この例では
３軸であるが、２軸でも１軸でも良い。更に、より信頼
性を向上させる為に重力の加速度を計測しても良いこと
は勿論である。

【００７２】次に第１０の実施の形態を説明する。図１
９は第１０の実施の形態の基本原理を示す図である。一
般に民生カメラでは、低コスト化が要求される場合があ
ることに鑑み、中央演算装置に低価格のものを使用する
場合がある。この場合は、先に示した図３のような画素
間の相関を取って最適化し、２枚の絵で最も画像が合致
する様に座標変換を行う事が困難な場合がある。

【００７３】この第１０の実施の形態では、最適化処理
を行わないで、方位情報と画角情報で張り合わせの位置
を決める。そして、重複画像の中心（重心）も張り合わ
せ点にすることとしている。

【００７４】次に第１１の実施の形態を説明する。図２
０は第１１の実施の形態の基本構成を示す概念図であ
る。前述した各実施の形態は、パノラマ画像や３６０度
画像、全天周型画像、実写を用いた仮想現実空間等を形
成可能であるが、良い表示装置が無い。

【００７５】この第１１の実施の形態は、この課題を解
決するものである。即ち、頭部座標を検出可能な姿勢セ
ンサを組み込んだＦＭＤ（フェースマウントデスプレ
イ）やＨＭＤ（頭部装着表示装置）又は眼鏡型表示装置
を用いる。この場合は、直接電子カメラ１に接続しても
良いし、ＰＣを介しても良い。姿勢センサで観察者の目
の方向を（頭の方向）検出し表示する。これにより、作
成した大画面のうちの一部を見ることが可能となる。

【００７６】次に第１２の実施の形態を説明する。図２
１は第１２の実施の形態の基本構成を示す外観図であ
る。先に第１の実施の形態で、画角情報を使用するレン
ズから計算によって割出すことを述べたが、ズームレン
ズ６０を使用する場合はズームのワイドとテレのスイッ
チやボリュームスイッチ６１でズームレンズのアクチュ
エータを動作させる。この第１２の実施の形態では、こ
のボリュームスイッチ６１の信号量によって、画角を計
算するか、ルックアップテーブル等によって計算する。

【００７７】次に第１３の実施の形態を説明する。図２
２は第１３の実施の形態の基本構成を示す図である。先
に第１の実施の形態で、画角情報を使用するレンズから
計算によって割出すことを述べたが、この計算は、ズー
ムレンズ６０を使用する場合は、ズームのワイドとテレ
のスイッチやヴォリウムでズームレンズのアクチュエー
タを動作させるが、このスイッチ等の指示の値と、実際
のズームレンズの動きが微妙にずれる場合がある。通常
は、このずれは、電源ＯＮ時に解消されるが、長時間使
用していると、誤差が蓄積される。この第１３の実施の
形態では、ズームレンズのアクチュエータの実動６３
や、レンズの位置６２を計測し、その計測量によって、
画角を計算するか、ルックアップテーブル等によって計
算する。

【００７８】次に第１４の実施の形態を説明する。特に
図示はしないが、先に説明した第１の実施の形態では、
画像の関連付けに関係付けＳＷ１７を用いたが、通常は
一連の画像は電源を入れて一度に撮る場合が多い。この
第１４の実施の形態では、電源を入れた後は、関連があ
るとして順番にメモリに蓄積するように構成することと
した。

【００７９】次に第１５の実施の形態を説明する。図２
３は第１５の実施の形態の構成を示す図である。先に説
明した第１乃至第１４の実施の形態では、方位情報のみ
で位置は問題視しなかったが、カメラの位置が正確に判
るとより多くの情報が得られる。複数の衛星を用いたＧ
ＰＳ（グローバルポジションセンサ：ＧＰＳアンテナ６
４、計測装置６５）を用いると、極めて正確に経度と緯
度情報が分かり、撮影場所の位置が判る。これで、地図
上の位置と、カメラの方位が判る。

【００８０】この第１５の実施の形態では、ＰＣやカメ
ラがその地図情報を有している場合に、地図内の位置と
方位を地図情報の中に重ね合わせて表示する。また、そ
の地名や方位から見える場所を表示する。また、ナビゲ
ーションも可能とする。

【００８１】尚、図２３（ｂ）には、取込んだ画像６６
と、地図情報６７と自己の位置６８と、その画像の方位
６９をそれぞれ示す。以上、本発明の実施の形態につい
て説明したが、本発明はこれに限定されることなく、そ
の趣旨を逸脱しない範囲で種々の改良・変更が可能であ
ることは勿論である。例えば、画像に方位・画角の情報
を関連付ける方法としては、この情報を画像データの一
部に含ませる、画像データのインデックス部に含ませ
る、ディレクトリの中に入れる、別ファイルとして画像
データとの間にリンクを貼る等の手法を採用することが
できる。

【００８２】尚、本発明の要旨をまとめると以下のよう
になる。１．撮像した画像を電子的に記録する電子カメラにおい
て、電子カメラの撮像方位を検出する撮像方位検出手段
と、電子カメラの撮像画角を出力する撮像画角出力手段
と、撮像した画像を記録する際に、撮像時の撮像方位と
撮像画角を上記画像に関連づけて記録する記録手段と、
を具備することを特徴とする電子カメラ。

【００８３】この態様によれば、撮像方位情報と撮像画
角情報に基づいて、複数の画像を合成して、より画角の
広い画像がえられる。即ち、電子カメラから画像を取込
み際に、カメラのレンズ光軸及び撮像面の法線方向の方
位情報と、撮像面に取込まれる画角情報を計測して記録
することによって、その方位を表示したり、パノラマや
大画面映像、カメラが取込み仮想現実空間を正確に自動
で作成することが可能となる。

【００８４】２．上記記録手段は、複数の所望の画像ど
うしを関連づける情報である画像関連情報もさらに記録
可能であることを特徴とする付記１記載の電子カメラ。
この態様によれば、どの画像どうしを合成するかが、画
像関連情報に示されているので、画像合成処理を自動化
できる。即ち、電子カメラから画像を取込み際に、カメ
ラのレンズ光軸及び撮像面の法線方向の方位情報と、撮
像面に取込まれる画角情報を計測して記録し、更に相関
のある幾つかのまとまった映像の関連付けをすること
で、その関連性を方位と一緒に表示したり、パノラマや
大画面映像、カメラが取込み仮想現実空間を正確に自動
作成することが可能となる。

【００８５】３．上記撮像方位検出手段は、電子カメラ
の撮像方位に垂直な１方位の方位のみ検出可能であるこ
とを特徴とする付記１記載の電子カメラ。この態様によ
れば、パノラマ写真等で、１方位にのみ広画角の画像の
ニーズがある点に鑑み、１方位のみ画像の合成をするよ
うに機能を絞りこむことにより、装置の簡易化・低価格
化がはかれる。即ち、カメラのレンズ光軸及び撮像面の
法線方向の方位情報として、単一センサで地上平面での
回転のみによって極めて安価で、信頼性のある方法によ
って、その方位を表示したり、パノラマや大画面映像、
カメラが取込み仮想現実空間を正確に自動作成すること
が可能となる。

【００８６】４．上記撮像方位検出手段は、電子カメラ
の撮像方位に垂直な第１の方位と、電子カメラの撮像方
位に垂直でかつ第１の方位にも垂直な第２の方位の、２
方位のみ検出可能であることを特徴とする付記１記載の
電子カメラ。

【００８７】この態様によれば、電子カメラを傾けた場
合の処理を外して、装置の簡易化・低価格化が図れる。
即ち、カメラのレンズ光軸及び撮像面の法線方向の方位
情報として、２つセンサで地上平面での回転と地平面か
らの高さの２つを計測することによって比較的安価で、
信頼性のある方法によって、十分な方位を表示したり、
パノラマや大画面映像、カメラが取込み仮想現実空間を
正確に自動で作成することが可能となる。

【００８８】５．上記撮像方位検出手段は、電子カメラ
の撮像方位に垂直な第１の方位と、電子カメラの撮像方
位に垂直でかつ第１の方位にも垂直な第２の方位の２方
位と、電子カメラの撮像方位を中心とする傾きの方位
の、３方位を検出可能であることを特徴とする付記１記
載の電子カメラ。

【００８９】この態様によれば、あらゆる撮像方位に対
して対応可能である。即ち、カメラのレンズ光軸及び撮
像面の法線方向の方位情報として、３つセンサで地上平
面での回転と地平面からの高さとカメラの水平方向から
の傾きの３つを計測することによって、信頼性のある方
法によって、完全な方位を表示したり、パノラマや大画
面映像、カメラが取込み仮想現実空間を正確に自動作成
することが可能となる。

【００９０】６．上記撮像方位検出手段は、複数の画像
を撮像する場合において、上記複数の画像のうち１つの
画像を基準として方位を検出することを特徴とする付記
１記載の電子カメラ。

【００９１】この態様によれば、合成の演算量が少なく
することができる。７．上記撮像方位検出手段の検出する方位は、水平方位
・垂直方位・電子カメラの傾きの方位のうち何れか１つ
の方位であることを特徴とする付記６記載の電子カメ
ラ。

【００９２】この態様によれば、装置の構成を簡易化で
きる。即ち、例えば水平方位のみを検出する場合は、カ
メラのレンズ光軸及び撮像面の法線方向の方位情報とし
て、地上面を平面とし、その法線を回転軸とした水平方
向を相対的に計測可能なセンサを用いることによって、
安価で信頼性のある方法によって、パノラマや大画面映
像、カメラが取込み仮想現実空間を正確に自動で作成す
ることが可能となる。

【００９３】８．上記画像関連情報は、外部入力装置か
らの入力によって設定されることを特徴とする付記２記
載の電子カメラ。この態様によれば、画像関連情報をボ
タンやマウス等を使用して簡単に指定できる。即ち、１
つのパノラマや大画面映像、カメラが取込み仮想現実空
間を複数の映像を用いて再現する場合に、そのまとまっ
た関連のある映像群をレンズと撮像素子を含む本体に取
り付けられたスイッチ、ボタン、タッチパネル、マウ
ス、音声、音声認識結果等によって、最初の映像と最後
の映像を指定し、まとまった画像を関連付けすることに
よって、全体システムとして極めて安価でかつ最大の信
頼性のある方法によって、パノラマや大画面映像、カメ
ラが取込み仮想現実空間を正確に自動で作成することが
可能となる。

【００９４】９．上記画像関連情報は、装置に電源投入
後最初に撮像された画像から、電源切断の直前に撮像さ
れた画像までが関連付けられていることを特徴とする付
記２記載の電子カメラ。

【００９５】この態様によれば、画像合成の対象となる
複数の画像は、電源投入から切断の間にとる全画像であ
ることが多いが、この点を仕様とすることで、不要なボ
タン等の部品を省ける。即ち、１つのパノラマや大画面
映像、カメラが取込み仮想現実空間を複数の映像を用い
て再現する場合に、そのまとまった関連のある映像群を
レンズと撮像素子を含む本体に取り付けられたスイッ
チ、ボタン、タッチパネル、マウス、音声、音声認識結
果等によって、電源をオンしたときに最初の映像を指定
し、電源をオフにした時に最後の映像を指定し、まとま
った画像を関連付けすることによって、全体システムと
して極めて安価でかつ最大の信頼性のある方法によっ
て、パノラマや大画面映像、カメラが取込み仮想現実空
間を正確に自動で作成することが可能となる。

【００９６】１０．上記画像関連情報は、所望の画像か
ら所定の時間内に撮影された複数の画像が関連付けられ
ていることを特徴する付記２記載の電子カメラ。この態
様によれば、撮像時刻が近い画像を合成の対象とするこ
とで、不要なボタン等の部品を省ける。即ち、１つのパ
ノラマや大画面映像、カメラが取込み仮想現実空間を複
数の映像を用いて再現する場合に、そのまとまった関連
のある映像群を最初に撮影された映像から、一定時間内
で撮影された映像をまとまった画像を関連付けすること
によって、全体システムとして極めて安価でかつ簡易的
な方法によって、パノラマや大画面映像、カメラが取込
み仮想現実空間を正確に自動で作成することが可能とな
る。

【００９７】１１．上記撮像方位検出手段は、地磁気セ
ンサーより構成されることを特徴とする付記１記載の電
子カメラ。この態様によれば、装置を安価に構成でき
る。即ち、地磁気ベクトルは、地球上で人類が活動する
殆どの領域において、明確に決定されているため、全体
システムとして極めて安価でかつ簡易的な方法によっ
て、方位を表示したり、パノラマや大画面映像、カメラ
が取込み仮想現実空間を正確に自動で作成することが可
能となる。

【００９８】１２．上記地磁気センサーは磁気抵抗素子
より構成されることを特徴とする付記１１記載の電子カ
メラ。この態様によれば、装置の小型化も可能である。
即ち、磁気抵抗は定電流で駆動された磁性薄膜の両端に
誘起される微少電圧を測定するものであるが、半導体プ
ロセスを用いて制作可能なため、低コストで大量に生産
可能である。全体システムとして極めて安価でかつ簡易
的な方法によって、方位を表示したり、パノラマや大画
面映像、カメラが取込み仮想現実空間を正確に自動で作
成することが可能となる。

【００９９】１３．上記撮像方位検出手段は、さらに重
力の加速度センサーを含むことを特徴とする付記１１か
ら１２に記載の電子カメラ。この態様によれば、測定の
精度が向上する。即ち、地磁気ベクトルを用いる方法は
構成が極めて簡単であるが、電磁波の影響を受けやすい
ことや、信号対雑音比が小さいため、精度を高めようと
すると、測定に時間がかかり、早い運動について行けな
い可能性がある。また、地磁気ベクトルの周りの角度は
測定できないと言う問題もある。このため重力ベクトル
を加速度センサ等によって計測することによって、高い
信頼性をもって計測でき、方位を表示したり、パノラマ
や大画面映像、カメラが取込み仮想現実空間を正確に自
動で作成することが可能となる。

【０１００】１４．上記画像方位検出手段は、加速度セ
ンサーを含むことを特徴とする付記１１から１２に記載
の電子カメラ。この態様によれば、地磁気ベクトルを用
いる方法は構成が極めて簡単であるが、電磁波の影響を
受けやすいことや、信号対雑音比が小さいため、精度を
高めようとすると、測定に時間がかかり、早い運動につ
いて行けない可能性がある。また地磁気ベクトルの周り
の角度は測定できないと言う問題もある。このため加速
度センサー等によって計測することによって、高い信頼
性をもって計測でき、方位を表示したり、パノラマや大
画面映像、カメラが取込み仮想現実空間を正確に自動で
作成することが可能となる。

【０１０１】１５．上記画像方位検出手段は、ＧＰＳに
より経度及び緯度を計測可能であることを特徴とする付
記１１から１２に記載の電子カメラ。この態様によれ
ば、地磁気ベクトルを用いる方法は構成が極めて簡単で
あるが、その絶対位置は不明であるし、地磁気ベクトル
回りの回転ベクトルは計測できない。この為、絶対位置
を計測するＧＰＳを用いる。また地球表面上の経度、緯
度が判るため、地磁気ベクトルと組み合わせると精度が
あがる。このためＧＰＳによって位置、経度、緯度を計
測することによって、高い信頼性をもって計測でき、方
位を表示したり、パノラマや大画面映像、地図上での位
置の特定、カメラが取込み仮想現実空間を正確に自動で
作成することが可能となる。

【０１０２】１６．上記撮像画角出力手段の出力する撮
像画角は、少なくとも撮像系の倍率および撮像素子の撮
像面の大きさを勘案して決定されることを特徴とする付
記１または２記載の電子カメラ。

【０１０３】この態様によれば、以下の効果が奏され
る。複数の画像から自動で大画面合成をする場合は、レ
ンズの方位と画角情報が必要であるが、画角情報はレン
ズの倍率又は焦点距離、また撮像素子の画素の大きさ等
の情報が必要である。固定焦点のレンズを使用する場合
は、カメラ固有の固定定数を用いる。これによって、高
い信頼性をもって画角が決まり、方位を表示したり、パ
ノラマや大画面映像、カメラが取込み仮想現実空間を正
確に自動で作成することが可能となる。また交換可能な
レンズを用いる場合もその定数を変えることで対応でき
る。

【０１０４】１７．上記電子カメラは撮像系にズームレ
ンズを含み、上記撮像画角出力手段の出力する撮像画角
は、少なくとも上記ズームレンズの撮像時の倍率および
撮像素子の撮像面の大きさを勘案して決定されることを
特徴とする付記１または２記載の電子カメラ。

【０１０５】この態様によれば、以下の効果が奏され
る。複数の画像から自動で大画面合成をする場合は、レ
ンズの方位と画角情報が必要であるが、画角情報はレン
ズの倍率又は焦点距離、また撮像素子の画素の大きさ等
の情報が必要である。ズームレンズを搭載したカメラを
使用する場合は、搭載するズームレンズを操作する倍率
情報を用いて、使用するレンズの倍率、（又は焦点距
離）撮像素子の全素子面積で決まる変数を計算、または
ルックアップテーブルを用いる手段を用いた固定定数を
用いる。これによって高い信頼性をもって画角が決ま
り、方位を表示したり、パノラマや大画面映像、カメラ
が取込み仮想現実空間を正確に自動で作成することが可
能となる。

【０１０６】１８．上記ズームレンズの倍率は、上記ズ
ームレンズの構成レンズの位置情報または上記のズーム
レンズに伴うレンズの回転情報に基づいて決定されるこ
とを特徴とする付記１７記載の電子カメラ。

【０１０７】この態様によれば、以下の効果が奏され
る。複数の画像から自動で大画面合成をする場合は、レ
ンズの方位と画角情報が必要であるが、画角情報はレン
ズの倍率又は焦点距離、また撮像素子の画素の大きさ等
の情報が必要である。ズームレンズを搭載したカメラを
使用する場合は、画角情報は搭載するズームレンズの単
数、または複数の構成レンズの位置情報、または回転情
報を用いて、倍率や焦点距離を算出し、撮像素子の全素
子面積で決まる変数を計算、またはルックアップテーブ
ルを用いる手段を用いた固定定数を用いる。これによっ
てレンズを駆動するアクチュエータのずれ等が有って
も、高い信頼性をもって画角が決まり、方位を表示した
り、パノラマや大画面映像、カメラが取込み仮想現実空
間を正確に自動で作成することが可能となる。

【０１０８】１９．プログラムされたコンピュータによ
って撮影方向の異なる複数の入力画像を合成して、各入
力画像より広い画角をもつ出力画像に再構成する装置で
あって、電子的に撮像された入力画像とその入力画像に
関連付けられた撮像方位情報と撮像画角情報を入力する
入力手段と、上記撮像方位情報に基づいてこの撮像方位
情報が関連付けられた入力画像の出力画像における位置
を求め、上記撮像画角情報に基づいてこの撮像画角情報
が関連付けられた入力画像の出力画像における大きさを
求める演算手段と、上記演算手段の演算結果に基づき、
入力画像より出力画像を合成する画像合成手段とを具備
することを特徴とする画像合成装置。

【０１０９】この態様では、画像情報、方位情報、画角
情報、好ましくは画像間の相関情報は、電子カメラで取
った後、これらの情報は一旦記録装置に記録され、有線
または無線によって、パーソナルコンピュータに電送さ
れて、再度なんだかの手段によって記録する。方位情
報、画角情報、好ましくは画像間の相関情報を用いて画
像合成を行い、単一画像より広い画像（電子カメラの搭
載された撮像素子よりも多い画素数の画像）に再構成さ
れる。これによって電子カメラの中央処理装置の能力が
不十分であっても、高速なパーソナルコンピュータによ
って、パノラマや大画面映像、カメラが取込み仮想現実
空間を正確に自動で作成することが可能となる。

【０１１０】２０．上記電子カメラは、撮像した複数の
画像を合成して、各撮像画像より広い画角をもつ出力画
像に再構成する画像再構成手段をさらに具備し、上記画
像合成手段は、上記撮像方位情報に基づいてこの撮像方
位情報が関連付けられた画像の出力画像における位置を
求め、上記撮像画角情報に基づいてこの撮像画角情報が
関連付けられた入力画像の出力画像における大きさを求
める演算手段と、上記演算手段の演算結果に基づき、出
力画像を合成する画像合成手段とを具備することを特徴
とする付記１または２記載の電子カメラ。

【０１１１】この態様によれば、以下の効果が奏され
る。最近の電子カメラは、半導体技術の進歩に従い、カ
メラに搭載するＣＰＵも高性能化してきた。この為、カ
メラ内部にて画像の合成、画素間の相関情報を用いた位
置の最適化によって合成が可能となった。これによって
パノラマや大画面映像、カメラが取込み仮想現実空間を
正確に自動で作成することが可能となる。

【０１１２】２１．合成した画像を表示する画像表示手
段を具備することを特徴とする付記２０記載の電子カメ
ラ。この態様によれば、以下の効果が奏される。電子カ
メラの内部で画素合成が可能となると、パーソナルコン
ピュータに接続すること無しに、本クレームに示す方法
によって、パノラマや大画面映像、カメラが取込み仮想
現実空間を正確に自動で作成することが可能となる。

【０１１３】２２．上記画像表示手段は、画像を拡大・
縮小して表示可能であり、画像の一部の表示も可能であ
ることを特徴とする付記２１記載の電子カメラ。この態
様によれば、以下の効果が奏される。電子カメラに接続
するか、搭載する表示装置は、カメラに合わせて低電力
で携帯可能である必要がある。この表示装置は再構成さ
れた画像よりも小さい画素数で構成されている。本クレ
ームに示す方法によって、小さな画像表示装置でパノラ
マや大画面映像、カメラが取込み仮想現実空間を表示す
ることが可能となる。

【０１１４】２３．上記画像表示手段は画像をチルト・
パン表示可能であることを特徴とする付記２１・２２記
載の電子カメラ。この態様によれば、以下の効果が奏さ
れる。電子カメラに接続するか、搭載する表示装置は、
カメラに合わせて低電力で携帯可能である必要がある。
この表示装置は再構成された画像よりも小さい画素数で
構成されている。本クレームに示す方法によって、小さ
な画像表示装置でも大きなパノラマや大画面映像、カメ
ラが取込み仮想現実空間を画面の隅から隅まで隅なく、
また自由に表示することが可能となる。

【０１１５】２４．上記画像表示手段は上記電子カメラ
と別体に構成された、顔面前方に装着可能な機材である
ことを特徴とする付記２１から２３記載の電子カメラ。
この態様によれば、以下の効果が奏される。電子カメラ
に接続するか、搭載する表示装置は、カメラに合わせて
低電力で携帯可能である必要がある。本クレームに示す
方法によって、小さな画像表示装置を構成できる。この
方法によって大きなパノラマや大画面映像、カメラが取
込み仮想現実空間を画面の隅から隅まで隅なく、また自
由に表示することが可能となる。

【０１１６】２５．上記画像表示手段は、表示する画像
が装着者の動きによっては影響されないように構成され
ていることを特徴とする付記２４記載の電子カメラ。こ
の態様によれば、以下の効果が奏される。電子カメラに
接続するか、搭載する表示装置は、カメラに合わせて低
電力で携帯可能である必要がある。この場合は目の位置
の前に目との距離を一定にして配置するＦａｃｅＭｏ
ｕｎｔｅｄＤｉｓｐｌａｙの様な形式である。本クレー
ムに示す方法によって、小さな画像表示装置を構成でき
る。この方法によって大きなパノラマや大画面映像、カ
メラが取込み仮想現実空間を携帯表示装置によって観察
することが可能となる。

【０１１７】２６．上記画像表示手段は、装着者の頭部
の動きを検出するセンサー手段をさらに具備し、上記セ
ンサー手段の検出結果に従って表示する画像を変化させ
るように構成されていることを特徴とする付記２４記載
の電子カメラ。

【０１１８】この態様によれば、以下の効果が奏され
る。電子カメラに接続するか、搭載する表示装置は、カ
メラに合わせて低電力で携帯可能である必要がある。こ
の場合は目の位置の前に目との距離を一定にして配置す
るＦａｃｅＭｏｕｎｔｅｄＤｉｓｐｌａｙの様な形式
である。本クレームに示す方法によって、小さな画像表
示装置を構成できる。また表示装置に付帯した姿勢セン
サーによって頭部の運動を検出し表示内容を姿勢にリン
クさせて表示することにより、あたかも絶対座標に固定
した大きなパノラマや大画面映像、カメラが取込んだ仮
想現実空間を画面の隅から隅まで隅なく、また自由に表
示することが可能となる。

【０１１９】２７．上記画像合成手段は、画像の合成処
理に由来する画像の不連続性を低減するように画像処理
を施すことを特徴とする付記２０から２６記載の画像合
成装置または電子カメラ。

【０１２０】この態様によれば、以下の効果が奏され
る。方位センサで計測した方位や換算した位置が、取り
込み画素の１画素分以上の誤差を含んでいる場合に、２
枚の映像の内、方位情報や画角情報から重なり合うと予
測される領域で画素単位の相関を取り、画像処理によっ
て最適な位置を決定し、パノラマや大画面映像、カメラ
が取込んだ仮想現実空間を作成することが可能となる。

【０１２１】２８．上記画像処理は、複数の画像上の対
応する画素間で、各画素とのノルムが最小になる位置に
新画素を設定する処理であることを特徴とする付記２７
記載の電子カメラ。

【０１２２】２９．プログラムされたコンピュータによ
って撮影方向の異なる複数の入力画像を合成して、各入
力画像より広い画角をもつ出力画像に再構成する画像合
成方法であって、電子的に撮像された入力画像とその入
力画像に関連付けられた撮像方位情報と撮像画角情報を
入力する手順と、上記撮像方位情報に基づいてこの撮像
方位情報が関連付けられた入力画像の出力画像における
位置を求め、上記撮像画角情報に基づいてこの撮像画角
情報が関連付けられた入力画像の出力画像における大き
さを求める手順と、求められた入力画像の出力画像にお
ける位置と大きさに基づき、入力画像を合成して出力画
像を作成する手順とを具備することを特徴とする画像合
成方法。

【０１２３】この態様は上記（１９）の内容を方法に変
更したものである。３０．コンピュータによって撮影方向の異なる複数の入
力画像を合成して、各入力画像より広い画角をもつ出力
画像に再構成するための処理プログラムを記録した記録
媒体であって、該処理プログラムはコンピュータに電子
的に撮像された入力画像とその入力画像に関連付けられ
た撮像方位情報と撮像画角情報を入力させ、上記撮像方
位情報に基づいてこの撮像方位情報が関連付けられた入
力画像の出力画像における位置を求め、上記撮像画角情
報に基づいてこの撮像画角情報が関連付けられた入力画
像の出力画像における大きさを求めさせ、求められた入
力画像の出力画像における位置と大きさに基づき、入力
画像を合成して出力画像を作成させることを特徴とする
画像合成処理プログラムを記録した記録媒体。この態様
は、上記（１９）の内容をプログラムを記録した記録媒
体に変更したものである。

【０１２４】

【発明の効果】以上詳述したように、本発明によれば、
画像情報に撮像方位情報と共に撮像画角情報も関連付け
て、この情報を基に複数の画像より広画角の合成画像を
合成可能にする電子カメラを提供することができる。

【図面の簡単な説明】

【図１】撮影時の電子カメラの姿勢と画像との関係を示
す図である。

【図２】大画面やパノラマ等を作成する場合の画像を張
り合わせる過程を示す図である。

【図３】大画面やパノラマ等を作成する場合において、
画像を張り合わせる過程について、更に正確で実用的な
方法を説明するための図である。

【図４】本発明の第１の実施の形態に係る電子カメラの
構成図である。

【図５】姿勢センサが計測する３軸の方位を示す図であ
る。

【図６】第１の実施の形態に係る電子カメラの制御系を
中心としたブロック構成図である。

【図７】第１の実施の形態に係る電子カメラの動作を説
明するためのフローチャートである。

【図８】第１の実施の形態における記録したデータの処
理過程を説明するための図である。

【図９】第２の実施の形態としての電子カメラの応用例
を示す図である。

【図１０】第３の実施の形態に係る電子カメラの外観構
成図である。

【図１１】第４の実施の形態に係る電子カメラの基本原
理を示す図である。

【図１２】第５の実施の形態に係る電子カメラの基本原
理を示す図である。

【図１３】第６の実施の形態に係る電子カメラの基本原
理を示す図である。

【図１４】第７の実施の形態の基本原理を示す図であ
る。

【図１５】第７の実施の形態の基本原理を示す図であ
る。

【図１６】第７の実施の形態の基本原理を示す図であ
る。

【図１７】磁気抵抗素子を用いた第８の実施の形態に係
る電子カメラの構成を示す図である。

【図１８】第９の実施の形態の基本原理を示す図であ
る。

【図１９】第１０の実施の形態の基本原理を示す図であ
る。

【図２０】第１１の実施の形態の基本構成を示す概念図
である。

【図２１】第１２の実施の形態の基本構成を示す外観図
である。

【図２２】第１３の実施の形態の基本構成を示す図であ
る。

【図２３】第１５の実施の形態の構成を示す図である。

【図２４】外部コンピュータ又は電子カメラ内蔵コンピ
ュータによる演算のシーケンスを説明するためのフロー
チャートである。

【符号の説明】

１電子カメラ１２ＣＣＤ１３画像メモリ１４ＣＰＵ１５姿勢センサ１６画角情報部１７関係付けＳＷ１８シャッタＳＷ１９フラッシュモードＳＷ２０再生機能ＳＷ２１消去ＳＷ２２映像信号２３ＡＦ信号部２４ＡＥ信号部２５フラッシュ機能部２６画像制御信号２７バスライン２８レンズアクチュエータ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考） // Ｇ０３Ｂ 17/24 Ｈ０４Ｎ 5/781 ５１０Ｌ 37/00 ５１０ＦＦターム(参考） 2H059 AA04 BA00 BA06 BA11 2H103 AA06 AA07 AA32 AA46 ZA51 ZA56 5B057 BA02 CE10 CH11 5C022 AA13 AB02 AB15 AB22 AB66 AB68 AC03 AC06 AC32 AC42 AC52 AC54 AC75 5C053 FA08 FA27 FA30 GB02 HA08 JA30 KA04 KA05 KA24 KA30 LA01 LA11

Claims

【特許請求の範囲】

【請求項１】撮像した画像を電子的に記録する電子カ
メラにおいて、上記撮像した画像の撮像方位情報と撮像画角情報とを上
記画像に関連づけて記録する記録手段を具備することを
特徴とする電子カメラ。
【請求項２】上記記録手段は、複数の所望の画像同士
を関連付ける情報である画像関連情報も更に記録可能で
あることを特徴とする請求項１に記載の電子カメラ。
【請求項３】上記電子カメラは、上記撮像方位情報と
上記撮像画角情報に基づいて、上記画像関連情報によっ
て関連付けられた画像同士を合成する画像合成手段を更
に具備することを特徴とする請求項２に記載の電子カメ
ラ。