JP2001250114A - 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 歪みを補正してより適正な画像を容易に得る
ための画像処理方法と画像処理装置、及び該方法を実現
するための記録媒体を提供する。 【解決手段】 被写体に対して少なくとも一部が重複す
るよう複数の方向から撮影された画像の歪みを補正する
画像処理装置１であって、撮影により得られた複数の画
像内における重複部分の対応関係を検出する対応検出部
２１と、複数の画像の中から歪みを補正する対象を選択
する基準画像設定部２０と、対応検出部２１により検出
された対応関係に応じて、基準画像設定部２０により設
定された画像の歪みを補正する画像歪み補正部２２とを
備えたことを特徴とする画像処理装置１を提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理方法と画像
処理装置及び記録媒体に関し、さらに詳しくは、撮影状
態によらず適正な画像を得るための画像処理方法と画像
処理装置、及び該画像処理方法を実現するためのコンピ
ュータ読み取り可能な記録媒体に関するものである。

【０００２】

【従来の技術】コンピュータネットワークの急速な進歩
と共にビジネスのあり方も多様化し、あらゆる局面で重
要な情報を素早く取得する必要が生じている。それに伴
い、至る所で携帯型の入力装置を駆使してビジネスに必
要な商品や文書情報を簡便かつ高精細に入力することへ
の要求が高まっている。特に、デジタルスチルカメラの
急速な普及及びその高解像化に伴い、撮影した画像に加
工・処理を施すことにより、仕事や娯楽に有効な電子情
報として活用しようという応用例も見られるようになっ
た。

【０００３】代表的な第一の応用例としては、Ａ４紙面
や大型のポスター等の被写体面を撮影するとき、撮像面
と被写体面が平行でない状態で撮影した場合には、画像
の歪み（これを「あおり歪み」ともいう。）が生じる
が、これを補正することによって取得した文書画像情報
の判読性を向上させる技術がある。ここで、「あおり歪
み」を補正したい画像においては、被写体の所望の範囲
が写されていることが要求される。すなわち、ユーザは
撮影した複数枚の画像のうち少なくとも１枚は被写体の
所望の範囲が含まれるように撮影する必要がある。従っ
て、撮影した複数枚の画像のうちあおり歪みを補正する
対象を選択できるインタフェース（Ｉ／Ｆ）や、撮影時
にユーザへ相応の注意を促すインタフェースが望まれて
いる。

【０００４】また、第二の応用例としては、携帯可能な
画像入力装置で新聞紙等の大面積の紙面情報やパネルや
壁に描かれた絵柄等を分割撮影して、得られた複数枚の
画像を貼り合わせることにより１枚の合成画像を作成す
るものがある。すなわち、ＣＣＤ（Charge Coupled Dev
ice）に代表される撮像素子の画素数増加に伴い、デジ
タルカメラの解像度は近年向上しているが、上記のよう
に細かいパターンを有する被写体、すなわち高い周波数
成分を含む被写体を撮影して電子化するにはまだまだ解
像度が不足する。従って、画像を貼り合わせることによ
り擬似的に高精細画像を作成して、デジタルカメラの解
像度不足を補うというアプローチがなされている。

【０００５】このような応用例は、被写体が平面状とみ
なせる場合にアフィン変換や射影変換のような幾何補正
式を用いて、被写体の一部分を分割撮影した画像を貼り
合わせる技術であり、各分割画像の被写体像を基準とな
る画像における被写体の見え方に変換して貼り合わせる
というものである。なお、このような技術の概要は文献
『コンピュータビジョン−技術評論と将来展望−』（松
山隆司ほか、新技術コミュニケーションズ）に記載され
ている。

【０００６】しかしながら、このような応用例におい
て、基準となる画像において被写体像にあおり歪みが生
じていた場合には、貼り合わせた合成画像においてもあ
おり歪みが含まれてしまうという問題がある。すなわ
ち、分割的に撮影して得られた複数の画像のうち、どの
画像を基準にして貼り合わせを実行するかによって、生
成される合成画像におけるあおり歪みの大きさが変化す
る。この問題について図１を参照しつつ説明する。

【０００７】図１（ａ）に示されるように、例えばある
被写体面ＰＬを三方向Ｄ_１〜Ｄ_３から撮影し、それぞれ
画像ＩＭ１〜ＩＭ３が得られたとき、被写体面ＰＬに対
して左斜め方向から撮影して得られた画像ＩＭ１を基準
にしてこれら三つの画像を貼り合わせると、図１（ｂ）
に示されるような合成画像ＩＭＡが得られる。また、ほ
ぼ正面方向から撮影した画像ＩＭ２を基準にして同様に
貼り合わせると、図１（ｃ）に示されるような合成画像
ＩＭＢが得られる。ここで、図１（ｂ）及び図１（ｃ）
に示されるように、上記の両合成画像ＩＭＡ，ＩＭＢ
は、あおり歪みの大きさが大きく異なる。

【０００８】従って、撮影した複数枚の画像のうち少な
くとも１枚は被写体面ＰＬにほぼ正対して撮影されたも
のであることが望まれるため、撮影された複数枚の画像
のうち貼り合わせの際に基準とする画像を選択するイン
タフェース、及びその貼り合わせの基準となる画像を撮
影する時にユーザに注意を促すインタフェースが望まれ
ている。

【０００９】

【発明が解決しようとする課題】本発明は、上述の点に
鑑みてなされたものであり、歪みを補正してより適正な
画像を容易に得るための画像処理方法と画像処理装置、
及び該画像処理方法を実現するためのコンピュータ読み
取り可能な記録媒体を提供することを目的とする。

【００１０】

【課題を解決するための手段】上記の目的は、被写体に
対して少なくとも一部が重複するよう複数の方向から撮
影された画像の歪みを補正する画像処理方法であって、
撮影により得られた複数の画像内における重複部分の対
応関係を特定する第一のステップと、複数の画像の中か
ら歪みを補正する対象を選択する第二のステップと、第
一のステップにおいて特定された対応関係に応じて、第
二のステップで選択された画像の歪みを補正する第三の
ステップとを有することを特徴とする画像処理方法を提
供することにより達成される。このような手段によれ
ば、歪みを補正する対象が選択されるため、適正な画像
を得るために最適な画像を補正対象とすることができ
る。

【００１１】ここで、第二のステップでは、画像内にお
いて被写体が占める領域の広さに応じて補正の対象を自
動的に選択するようにしてもよい。このような手段によ
れば、必要とされる書画情報量が最も豊富な画像の歪み
を自動的に補正することができる。

【００１２】また、第二のステップでは、画像内におい
て検出される直線状パターンの向きに応じて補正の対象
を自動的に選択するようにしてもよい。このような手段
によれば、被写体にほぼ正対した位置から撮影された画
像を自動的に補正対象とすることができる。

【００１３】また、第二のステップでは、第一のステッ
プにおいて特定された対応関係に応じて補正の対象を自
動的に選択するようにすれば、精度の高い補正を確実に
実行することができる。

【００１４】また、第二のステップでは、撮影毎に検出
された被写体の向きに応じて補正の対象を自動的に選択
するようにすれば、被写体に対してほぼ正対した位置か
ら撮影された画像を自動的に補正対象とすることができ
る。

【００１５】また、本発明の目的は、被写体に対して少
なくとも一部が重複するよう複数の方向から撮影された
画像の歪みを補正する画像処理方法であって、撮影によ
り得られた複数の画像内における重複部分の対応関係を
それぞれ特定する第一のステップと、複数の画像の中か
ら歪みが最も少ない画像を選択する第二のステップと、
第一のステップにおいて特定された対応関係に応じて、
複数の画像の歪みをそれぞれ補正し、第二のステップに
おいて選択された画像と合成する第三のステップとを有
することを特徴とする画像処理方法を提供することによ
り達成される。このような手段によれば、歪みが最も少
ない画像を基準に合成画像が生成されるため、より適正
な合成画像を得ることができる。

【００１６】また、本発明の目的は、被写体に対して少
なくとも一部が重複するよう複数の方向から撮影された
画像の歪みを補正する画像処理装置であって、撮影によ
り得られた複数の画像内における重複部分の対応関係を
検出する対応検出手段と、複数の画像の中から歪みが最
も少ない画像を選択する選択手段と、対応検出手段にお
いて検出された対応関係に応じて、複数の画像の歪みを
それぞれ補正し、選択手段において選択された画像と合
成する画像合成手段とを備えたことを特徴とする画像処
理装置を提供することにより達成される。

【００１７】また、本発明の目的は、被写体に対して少
なくとも一部が重複するよう複数の方向から撮影された
画像の歪みを補正する画像処理装置であって、これから
撮影する複数の画像のうち、歪みを補正する際の基準と
する画像を予め選択する選択手段と、選択手段によりな
された選択に応じて、次に撮影する画像が基準とされる
画像となることをユーザへ通知する通知手段と、撮影す
ることにより得られた基準とされる画像と他の画像との
間における重複部分の対応関係を検出する対応検出手段
と、対応検出手段により検出された対応関係に応じて、
基準とされる画像の歪みを補正する補正手段とを備えた
ことを特徴とする画像処理装置を提供することにより達
成される。このような手段によれば、歪みを補正する際
の基準とする画像の撮影において、ユーザへ注意を喚起
できる。

【００１８】また、本発明の目的は、被写体に対して少
なくとも一部が重複するよう複数の方向から撮影された
画像の歪みを補正する画像処理装置であって、撮影によ
り得られた複数の画像内における重複部分の対応関係を
検出する対応検出手段と、複数の画像の中から歪みを補
正する対象を選択する選択手段と、対応検出手段により
検出された対応関係に応じて、選択手段により選択され
た画像の歪みを補正する補正手段とを備えたことを特徴
とする画像処理装置を提供することにより達成される。

【００１９】また、本発明の目的は、被写体に対して少
なくとも一部が重複するよう複数の方向から撮影された
画像の歪みを補正する画像処理装置であって、被写体を
同時に撮影する複数の光学手段と、複数の光学手段で撮
影される画像のうち補正の対象とする画像を選択する選
択手段と、選択手段により選択された画像と他の画像と
の間における重複部分の対応関係を検出する対応検出手
段と、対応検出手段により検出された対応関係に応じ
て、選択された画像の歪みを補正する補正手段とを備え
たことを特徴とする画像処理装置を提供することにより
達成される。このような手段によれば、一度の撮影によ
り複数の方向から撮影された複数の被写体像を得ること
ができるため、歪みを補正するために必要とされる撮影
回数を減らすことができる。

【００２０】ここで、選択手段は、画像内において被写
体が占める領域の広さに応じて補正の対象を自動的に選
択するものとし、あるいは、画像内において検出される
直線状パターンの向きに応じて補正の対象を自動的に選
択するものとすることができる。また、選択手段は、対
応検出手段により検出された対応関係に応じて補正の対
象を自動的に選択するものとし、あるいは、撮影毎に検
出された被写体の向きに応じて補正の対象を自動的に選
択するものとしてもよい。

【００２１】また、本発明の目的は、被写体に対して少
なくとも一部が重複するよう複数の方向から撮影された
画像の歪みをコンピュータにより補正するためのプログ
ラムを記録したコンピュータ読み取り可能な記録媒体で
あって、該プログラムは、コンピュータに対し、撮影に
より得られた複数の画像内における重複部分の対応関係
を特定させ、複数の画像の中から歪みを補正する対象を
選択させ、特定された対応関係に応じて、選択された画
像の歪みを補正させることを特徴とするコンピュータ読
み取り可能な記録媒体を提供することにより達成され
る。このような手段によれば、適正な画像を得るために
最適な画像を容易に補正対象とすることができる。

【００２２】また、本発明の目的は、被写体に対して少
なくとも一部が重複するよう複数の方向から撮影された
画像の歪みをコンピュータにより補正するためのプログ
ラムを記録したコンピュータ読み取り可能な記録媒体で
あって、該プログラムは、コンピュータに対し、撮影に
より得られた複数の画像内における重複部分の対応関係
をそれぞれ特定させ、複数の画像の中から歪みが最も少
ない画像を選択させ、特定された対応関係に応じて、複
数の画像の歪みをそれぞれ補正させて、選択された画像
と合成させることを特徴とするコンピュータ読み取り可
能な記録媒体を提供することにより達成される。このよ
うな手段によれば、より適正な合成画像を容易に得るこ
とができる。

【００２３】

【発明の実施の形態】以下において、本発明の実施の形
態を図面を参照して詳しく説明する。なお、図中同一符
号は同一又は相当部分を示す。 ［実施の形態１］図２は、本発明の実施の形態１に係る
画像処理方法及び画像処理装置を説明するための図であ
る。ここで、本実施の形態においては、図２に示される
ように、画像処理装置１により被写体面ＰＬの少なくと
も一部が重複するよう２枚の画像３，４が撮影され、こ
れら２枚の画像３，４のうちいずれか一方、例えば画像
３のあおり歪みを補正して最終的に歪み補正画像５を得
るという例により説明される。

【００２４】図３は、本発明の実施の形態１に係る画像
処理装置１の構成を示す図である。図３に示されるよう
に、画像処理装置１は撮像部１１と、信号処理部１２
と、メモリ制御部１３と、主制御部１４と、フレームメ
モリ１５と、インタフェース１６と、表示部１７と、外
部記憶部１８と、撮影モード設定部１９と、基準画像設
定部２０と、対応検出部２１と、画像歪み補正部２２と
を備える。そして、撮像部１１はレンズ１１１と、絞り
１１２と、シャッター１１３と、光電変換素子１１４
と、前処理部１１５とを含む。

【００２５】ここで、信号処理部１２は、前処理部１１
５とメモリ制御部１３、主制御部１４及びインタフェー
ス１６に接続される。また、メモリ制御部１３はさらに
フレームメモリ１５と基準画像設定部２０に接続され
る。主制御部１４はさらに、メモリ制御部１３と撮影モ
ード設定部１９及び基準画像設定部２０に接続される。

【００２６】またフレームメモリ１５は、メモリ制御部
１３と対応検出部２１及び画像歪み補正部２２に接続さ
れる。また、インタフェース１６はさらに表示部１７及
び外部記憶部１８に接続される。そして、基準画像設定
部２０はさらに画像歪み補正部２２に接続される。ま
た、対応検出部２１はさらに画像歪み補正部２２に接続
される。

【００２７】一方、撮像部１１においては、レンズ１１
１と絞り１１２、シャッター１１３、光電変換素子１１
４が光軸上でこの順に配置され、光電変換素子１１４は
前処理部１１５に接続される。

【００２８】上記において、撮影モード設定部１９によ
り撮影モードが切り替えられ、基準画像設定部２０であ
おり歪みを補正する画像が設定される。また対応検出部
２１は、少なくとも一部が相互に重複した二つの画像に
おいて、両画像間の特徴点及び対応点を抽出する。そし
て、画像歪み補正部２２は対応検出部２１から供給され
た信号に応じて、撮影した画像におけるあおり歪みを補
正する。なお、上記における基準画像の設定や対応検出
部２１の動作、あおり歪みの補正については、後におい
て詳しく説明する。

【００２９】また、撮像部１１の光電変換素子１１４に
は例えばＣＣＤが使用される。また、前処理部１１５に
はプリアンプや自動利得制御回路（Auto Gain Control
−AGC）等からなるアナログ信号処理部やアナログ−デ
ジタル変換器（Ａ／Ｄ変換器）が備えられ、光電変換素
子１１４より出力されたアナログ映像信号に対して、増
幅やクランプ等の前処理が施された後、上記アナログ映
像信号がデジタル映像信号に変換される。

【００３０】また、信号処理部１２はデジタル信号処理
プロセッサ（DSPプロセッサ）等により構成され、撮像
部１１において得られたデジタル映像信号に対して色分
解、ホワイトバランス調整、γ補正など種々の画像処理
を施す。また、メモリ制御部１３はこのようにして処理
された画像信号をフレームメモリ１５へ格納したり、逆
にフレームメモリ１５に格納された画像信号を読み出
す。また、主制御部１４はマイコンなどにより構成され
る。また、フレームメモリ１５は少なくとも２枚の画像
を格納し、一般的にはVRAM、SRAM、DRAM等の半導体メモ
リが使用される。

【００３１】ここで、フレームメモリ１５から読み出さ
れた画像信号は、信号処理部１２において画像圧縮等の
信号処理が施された後、インタフェース１６を介して外
部記憶部１８に保存される。この外部記憶部１８はイン
タフェース１６を介して供給される画像信号などの種々
の信号を読み書きし、ＩＣメモリカードや光磁気ディス
ク等により構成される。ここで外部記憶部１８として、
モデムカードやＩＳＤＮカードが使用されれば、ネット
ワークを経由して画像信号を直接遠隔地の記録媒体に送
信することもできる。

【００３２】また、逆に外部記憶部１８に記録された画
像信号の読み出しは、インタフェース１６を介して信号
処理部１２へ画像信号が送信され、信号処理部１２にお
いて画像伸長が施されることによって行われる。一方、
外部記憶部１８及びフレームメモリ１５から読み出され
た画像信号の表示は、信号処理部１２において画像信号
に対してデジタル−アナログ変換（Ｄ／Ａ変換）や増幅
などの信号処理を施した後、インタフェース１６を介し
て表示部１７に送信することにより行われる。ここで表
示部１７は、インタフェース１６を介して供給された画
像信号に応じて画像を表示し、例えば画像処理装置１の
筐体に設置された液晶表示装置より構成される。

【００３３】図４は、図３に示された画像処理装置を示
す斜視図である。図４に示されるように、本実施の形態
に係る画像処理装置１は電源スイッチ１０１と、シャッ
ター１０２と、ファインダ１０３と、撮影モード設定部
１９に撮影モードを設定するための撮影モード設定キー
１０４と、表示部１７に映された画像を上方向へスクロ
ールするための上方向スクロールキー２０１と、表示部
１７に映された画像を下方向へスクロールするための下
方向スクロールキー２０２と、決定キー２０３とを含
む。

【００３４】以下において、上記のような構成を有する
画像処理装置の動作を、図４と図５に示されたフローチ
ャートとを参照しつつ説明する。まず最初に、電源スイ
ッチ１０１を切り替えて画像処理装置１を起動し、撮影
モードの選択を行う。ここで、上記撮影モードは通常の
スナップ写真を撮影する通常モードと、撮影した画像の
あおり歪みを補正した画像を生成するあおり補正モード
よりなる。そして、この撮影モードの選択は、ユーザが
撮影モード設定キー１０４を操作することによりなされ
る。なお撮影モード設定部１９として、画像処理装置１
の本体には撮影モード設定キー１０４が設けられる。但
し、撮影モード設定部１９は、本体とは別個に設けられ
るハードウェア又はソフトウェア等で構成しても良い。

【００３５】そして図５に示されるように、ステップＳ
１においてあおり補正モードを選択するか否か判断さ
れ、あおり補正モードが選択されず通常モードが選択さ
れると、ステップＳ１０へ進みユーザにより所望の被写
体のスナップ写真が撮影される。

【００３６】一方、ステップＳ１においてあおり補正モ
ードが選択されると、ステップＳ２へ進む。そして、ユ
ーザは撮像部１１により被写体面ＰＬを少なくとも二枚
撮影し、画像処理装置１には被写体像が取り込まれる。
なお、このとき互いに被写体像の一部が重なり合うよう
に各々の画像が撮影される必要がある。

【００３７】次に、ステップＳ３において被写体像の入
力が終了したか否かが判断され、終了していない場合に
はステップＳ２へ戻り、さらに被写体像の入力が継続さ
れる。一方、ユーザによる撮影終了の指示により被写体
像の入力を終了した場合には、ステップＳ４へ進む。な
お、上記指示は撮影モード設定キー１０４をもう一度押
して通常モードに切り替えることによりなされる他、撮
影終了を指示するためのスイッチを別途設けてもよい。

【００３８】また、撮影中においては図６に示されるよ
うに、表示部１７に例えば「１枚目」等のような現在の
撮影枚数と、「撮影モード設定キーを押すと終了」等の
ような撮影終了方法とをオーバーレイ表示しても良い。

【００３９】そして、上記のように撮影が終了すると、
ステップＳ４以下においてあおり歪みを補正する動作に
入るが、まずステップＳ４においてどの画像のあおり歪
みを補正するかを選択して該画像を設定する。なお、こ
の時選択された画像は、以下において「基準画像」とも
呼ぶ。そして、この基準画像の設定は基準画像設定部２
０において行われる。以下において、基準画像設定部２
０の構成及び動作を詳しく説明する。

【００４０】図７は、図３に示された基準画像設定部２
０のレイアウトを示す図である。図７に示されるよう
に、基準画像設定部２０は上方向スクロールキー２０１
と、下方向スクロールキー２０２及び決定キー２０３を
含む。そして、図７に示されるようにステップＳ３にお
いてユーザにより撮影終了の指示がなされると、表示部
１７において「基準画像設定」という文字がオーバレイ
表示され、ユーザに基準画像を選択するよう指示され
る。

【００４１】するとユーザにより、上方向スクロールキ
ー２０１や下方向スクロールキー２０２が操作され、上
記ステップＳ２において撮影された画像が順次切り替え
つつ表示される。なお、上方向スクロールキー２０１を
押すことにより、現在表示されている画像の１つ前に撮
影された画像が表示され、また下方向スクロールキー２
０２を押すことにより、現在表示されている画像の１つ
後に撮影した画像が表示される。そして、基準画像とし
て選択される画像が表示部１７に表示されている状態で
決定キー２０３を押すと、その時点で表示されている画
像が基準画像として決定される。

【００４２】そして上記基準画像としては、撮影された
複数の画像の中で被写体面ＰＬが最も広い領域に渡り写
っており、かつ、撮影時における撮像面の被写体面に対
してなす角ができるだけ小さい画像が、ユーザにより選
択される。

【００４３】ここで、被写体領域と上記傾斜角とを装置
内部で計算し、該計算の結果に応じてあおり歪みを補正
する対象、すなわち基準画像として最適な画像を自動的
に選択するようにすることも考えられる。図８は、この
ような動作を実現する画像処理装置２の構成を示す図で
ある。図８に示されるように、画像処理装置２には図３
に示された画像処理装置１に含まれた基準画像設定部２
０の代わりに被写体領域決定部２３が備えられる。

【００４４】そして、上記被写体領域決定部２３は、撮
影した画像において被写体が占める領域を検出する処理
を行い、例えば文献『画像の処理と認識』（安居院猛・
長尾智晴共著、昭晃堂）に記載されているように、
（ａ）領域成長法や領域分割法のように画像上でクラス
タリングを行う方法、（ｂ）ヒストグラムによる領域分
割など、特徴空間上でクラスタリングを行う方法、
（ｃ）輪郭線追跡などの画像中のエッジを用いる方法、
（ｄ）テクスチャ解析、などの領域分割方法が適用され
る。但し、被写体面が矩形である場合には、画像上での
被写体の四隅の頂点座標が外部入力されることにより、
被写体の領域が一意に決定される。

【００４５】このように被写体領域決定部２３で得られ
た被写体の領域を示すデータは、画像歪み補正部２２へ
供給され、該領域が最も広い画像が画像歪み補正部２２
で選択される。さらに画像歪み補正部２２では、以下に
おいて詳述するように、撮像面の被写体面ＰＬに対して
なす角度が計算されるため、上記領域が最も広い画像が
複数ある場合、すなわち例えば被写体面の全体が写って
いる画像が複数ある場合には、上記角度が最も小さい画
像が最終的に基準画像として選択される。

【００４６】なお、以上のような自動的に基準画像を選
択する機能は、以下におけるいずれの実施の形態におい
ても同様に適用できる。

【００４７】次にステップＳ５へ進み、上記のように決
定された基準画像の中において特徴点が検出され、該基
準画像の少なくとも一部において重複する画像（以下に
おいて、「参照画像」とも呼ぶ。）の中においては上記
特徴点と同一箇所を示す対応点が検出される。このよう
な特徴点と対応点の検出は、図３に示された対応検出部
２１により行われる。そこで、以下においてこの対応検
出部２１の構成及び動作を詳しく説明する。

【００４８】対応検出部２１は、上記のように互いに重
複した領域を持つ２枚の画像において、撮影した同一の
部分を検出するものである。そして、ここでは相関演算
を用いた方法について説明する。

【００４９】図９は、図３に示された対応検出部２１の
構成を示す図である。図９に示されるように、対応検出
部２１はフレームメモリ１５に接続された特徴点設定部
２１１と、特徴点設定部２１１及びフレームメモリ１５
に接続された相関演算部２１２とを備える。なお、図３
に示されたフレームメモリ１５には、基準画像と参照画
像とが格納されている。

【００５０】ここで特徴点設定部２１１は、基準画像に
おいて特徴点の位置を決定したのち、その特徴点を中心
とする（２Ｎ＋１）×（２Ｐ＋１）個の濃淡パターンを
抽出し、相関窓と呼ばれる領域のデータを作成する。な
お上記特徴点の位置は、角（corner）のように画像の濃
度パターンが特徴的である箇所を抽出することにより決
定される。

【００５１】また相関演算部２１２は、基準画像に基づ
いて作成した相関窓の濃淡パターンとほぼ一致する箇所
を、参照画像内において相関演算を実行することにより
検出し、これを対応点と決定する。ここで、相関演算に
よるブロックマッチングにより対応点を検出する一例に
ついて、図１０を参照しつつ説明する。

【００５２】図１０に示されるように、（２Ｎ＋１）×
（２Ｐ＋１）個の濃淡パターンからなる相関窓２１５，
２１６のブロックマッチングにおいて、基準画像７内の
座標（ｘ_ｉ０，ｙ_ｉ０）を有するｉ番目の特徴点２１３
と、参照画像９内の座標（ｘ _ｉ０＋ｄｘ_ｉ，ｙ_ｉ０＋ｄ
ｙ_ｉ）を有する対応点２１７の相互相関値Ｓ_ｉは、次式
により計算される。

【００５３】

【数１】 なお、上記式（１）においてＩ_ｓ（ｘ，ｙ）は基準画像
７の座標点（ｘ，ｙ）における濃度を示し、 Ｉ
_ｒ（ｘ，ｙ）は参照画像９の座標点（ｘ，ｙ）における
濃度を示す。また、／Ｉ_ｓ（ｘ，ｙ）は基準画像７にお
ける相関窓２１５内の座標点（ｘ，ｙ）を中心とした
（２Ｎ＋１）×（２Ｐ＋１）個のパターンにおける平均
濃度を示し、／Ｉ_ｒ（ｘ，ｙ）は参照画像９における相
関窓２１６内の座標点（ｘ，ｙ）を中心とした（２Ｎ＋
１）×（２Ｐ＋１）個のパターンにおける平均濃度を示
す。また、Ｋは定数を示す。

【００５４】そして、上記式（１）により各特徴点２１
３に対して、相互相関値Ｓ_ｉの最大値が予め定められた
閾値以上である点を求めることにより、参照画像９にお
ける対応点２１７が求められる。なお、相互相関値Ｓ_ｉ
の最大値が閾値以下ならば、対応点は存在しないものと
される。

【００５５】このようにして、特徴点と対応点の検出が
終了すると、図５に示されたステップＳ６において基準
画像７のあおり歪みを補正するパラメータを計算すると
共に、ステップＳ７において該パラメータを基に画像の
あおり歪みを補正した画像を作成し動作を終了する。な
お以下においては、それぞれ上記パラメータを「歪み補
正パラメータ」、あおり歪みを補正した画像を「歪み補
正画像」ともいう。

【００５６】そして、上記歪み補正パラメータの計算及
び歪み補正画像の生成は、画像歪み補正部２２により実
行される。以下において、この画像歪み補正部２２の構
成及び動作について詳しく説明する。

【００５７】画像歪み補正部２２は、対応検出部２１が
検出した特徴点と対応点の関係を用いて、被写体面を正
面から撮影した画像に変換することにより、あおり歪み
を補正する。そして、この画像歪み補正部２２の構成は
図１１に示される。図１１に示されるように、画像歪み
補正部２２は３次元演算部２２１とパラメータ算出部２
２２及び座標変換部２２３を含む。ここで、３次元演算
部２２１は対応検出部２１と基準画像設定部２０に接続
され、パラメータ算出部２２２は３次元演算部２２１に
接続される。また、座標変換部２２３はパラメータ算出
部２２２とフレームメモリ１５及び基準画像設定部２０
に接続される。

【００５８】以下において、画像歪み補正部２２の動作
を説明する。なお以下においては、図１２に示されるよ
うに、被写体面ＰＬに対して基準画像７及び参照画像９
が撮影されると共に、撮像部１１の光学系は図１３に示
されるように、ｘ軸に関しては画像面２２４の右向きを
正、ｙ軸に関しては画像面２２４の下向きを正、光軸方
向のｚ軸に関しては撮像部１１の光学中心である原点Ｏ
から画像面２２４へ向かう向きを正、該光学系の焦点距
離はｆとされる中心射影モデル（perspectiveprojectio
n model）とされる場合を例として説明する。

【００５９】図１１に示された３次元演算部２２１は、
上記特徴点２１３と対応点２１７との関係により、以下
の３次元パラメータを算出する。すなわち、図１２に示
される基準画像撮影時を基にした参照画像撮影時におけ
る撮像部１１の向きの変化を示す回転行列Ｒと、基準画
像撮影時を基にした参照画像撮影時における撮像部１１
の位置の変化を示す並進運動ベクトルｔと、被写体面Ｐ
Ｌの向きを示す法線ベクトルｎとが算出される。そし
て、これら３つの３次元パラメータ{Ｒ，ｔ，ｎ}を求め
る方法は、主に以下の二つとされる。

【００６０】すなわち第一の方法として、８つ以上の特
徴点と対応点の組により、各画像撮影時のカメラの位置
や姿勢、及び各対応点の３次元座標を計算した上で、被
写体が平面であると仮定して、該得られた３次元座標を
１つの平面に当てはめる方法がある。

【００６１】また第二の方法として、４つ以上の特徴点
と対応点の組より、射影変換行列（homography matri
x）を計算し、得られた射影変換行列により各画像撮影
時のカメラの位置や姿勢、及び被写体面の向きを算出す
る方法がある。

【００６２】ここで、上記第一の方法は、汎用の運動立
体視技術であり、線形演算により上記パラメータ{Ｒ，
ｔ，ｎ}が一意に求められるが、その詳細は３次元計測
やコンピュータビジョンに関する一般的な文献（例えば
『３次元ビジョン』徐剛・辻三郎共著、共立出版）に記
録されている。一方、上記第二の方法は、被写体が平面
であるという拘束条件のもとで成立する座標変換式（射
影変換行列）を求めてから、カメラの向きと被写体面の
向きを算出するものである。そして、３次元演算部２２
１は、いうまでもなく上記第一及び第二のいずれの方法
も採ることができるが、ここでは第二の方法に基づいた
動作を説明する。

【００６３】まず射影変換行列の算出手順を詳しく説明
する。ここで、基準画像から参照画像への射影変換と
は、図１４に示されるように、基準画像７に写った被写
体像が参照画像９と同じ方向から撮影された場合に得ら
れる像に変換された画像１０を得ることを指す。そし
て、この射影変換を数式で表すと、基準画像における点
（ｘ_ｓ，ｙ_ｓ）と参照画像における点（ｘ_ｒ，ｙ_ｒ）と
が対応関係にある場合には、次式のようになる。

【００６４】

【数２】 そして、上記の式（２）における８つの未知数ｂ_１〜ｂ
_８を

【００６５】

【数３】 と行列Ｂとしてまとめ、これを射影変換行列と呼ぶ。こ
の射影変換行列Ｂを求めるには、基準画像における座標
が（ｘ_ｓｉ，ｙ_ｓｉ）である特徴点と、参照画像におけ
る座標が（ｘ_ｒｉ，ｙ_ｒｉ）である対応点（ｉ＝１，
…，Ｎ；Ｎ≧４）との組を４組以上用いる。ここで、座
標（ｘ_ｓｉ，ｙ_ｓｉ）と座標（ｘ_ｒｉ，ｙ _ｒｉ）を上記
式（２）へ代入してｂ_１〜ｂ_８の解を求めればよいが、
実際には画像に重畳するノイズ等の誤差により式（２）
は成立しないので、以下に示す最小自乗演算を用いて解
くことになる。

【００６６】

【数４】 そして、上記式（４）は以下のように変形される。

【００６７】

【数５】 上記式（５）の左辺をｂ_１〜ｂ_８でそれぞれ変微分して
得られた導関数の値が０になるという拘束条件を利用す
ると、ｂ_１〜ｂ_８は連立一次方程式を解くことにより計
算される。すなわち、射影変換行列Ｂは上記対応付けら
れた組を用いて、簡単な線形演算により求めることがで
きる。

【００６８】続いて、射影変換行列Ｂより３次元パラメ
ータ{Ｒ，ｔ，ｎ}を求める手順を説明する。被写体面の
法線ベクトルｎを

【００６９】

【数６】 とし、基準画像撮影時を基準とした被写体面の方程式
を、

【００７０】

【数７】 ここで、｜ｄ｜は原点から被写体面ＰＬまでの距離を示
し、ｒ＝［ｘ ｙ ｚ］ ^Ｔ とおかれる。また焦点距離
ｆを用いて、式（２）は次式のように書き直される。

【００７１】

【数８】 さらに式（８）は

【００７２】

【数９】 と変形される。但し、

【００７３】

【数１０】 である。この時、式（９）の行列Ｈとパラメータ{Ｒ，
ｔ，ｎ，ｄ}との関係は、次式のようになる。

【００７４】

【数１１】 但し、ｓ’は定数であり、行列Ｈの各要素はスケール倍
の自由度を有している。また、式（３）の射影変換行列
Ｂから式（９）の行列Ｈへの変換は、次式により行うこ
とができる。

【００７５】

【数１２】 以下において、行列Ｈより未知のパラメータ{Ｒ，ｔ，
ｎ，ｄ}を求める手順を示す。但し、被写体面との距離
を表す変数ｄと並進運動ベクトルｔの大きさのスケール
は不定であるので、

【００７６】

【数１３】 と仮定する。ここで、パラメータ{Ｒ，ｔ，ｎ，ｄ}の解
を導出する計算過程は、文献『画像理解−３次元認識の
数理−』（金谷健一著、森北出版）に詳細が記されてい
るが、その結果をまとめると以下のようになる。 （i）式（９）の行列Ｈの各要素に適当な定数をかけ
て、ｄｅｔ［Ｈ］＝１となるようにする。（ii）対称行
列ＨＨ^Ｔの固有値をσ_１ ^２，σ_２ ^２，σ_３ ^２とし、対応
する固有ベクトルｕ_１，ｕ_２，ｕ_３を互いに直交し、こ
の順に右手系を作る単位ベクトルにとる。但しσ_１≧σ
_２≧σ_３＞０とする。（iii）σ_１＝σ_２＝σ_３なら
ば、運動パラメータは、

【００７７】

【数１４】 であり、被写体面のパラメータ｛ｎ，ｄ｝は不定であ
る。そうでなければ、次のように２組の解が得られる。
（iv）被写体面のパラメータ｛ｎ，ｄ｝は、次のように
定まる。

【００７８】

【数１５】

【００７９】

【数１６】 但しε＝±１であり、εをｃ＞０になるように選ぶ。ま
た、（v）単位並進運動ベクトルｔは次のように定ま
る。

【００８０】

【数１７】 また、回転行列Ｒは次のように定まる。

【００８１】

【数１８】 従って、行列Ｂよりパラメータ{Ｒ，ｔ，ｎ，ｄ}の解が
２通り得られるが、大抵の場合は導出された値より真の
解を判別することができる。なお、途中の計算で撮像部
１１の焦点距離ｆを使用するが、焦点距離ｆの値は撮像
部１１の光学系パラメータを内部メモリ（図示せず）に
記憶するなどの方法により容易に得ることが可能であ
る。また、撮像部１１の光学系の焦点距離が可変で基準
画像と参照画像の焦点距離が異なる場合でも、双方の画
像の焦点距離が既知であれば、上記３次元パラメータ算
出手順をそのまま適用でき、焦点距離は光学系にエンコ
ーダを設置するなどの方法により検出可能である。

【００８２】次に、図１１に示されたパラメータ算出部
２２２は、被写体面を撮影した時の撮像部１１と３次元
演算部２２１で算出された被写体面の向きとの関係に基
づき、あおり歪みを補正するパラメータを計算する。こ
こで、本実施の形態においては図１５に示されるよう
に、３次元演算部２２１が算出した被写体面に平行な平
面を被投影面３１として、あおり歪みを有する被写体像
を含む画像面３０を投影するという射影変換を行うこと
により、画像のあおり歪みが補正される。ここで例え
ば、画像面３０上の点Ｐ１は被投影面３１上の点Ｐ２に
投影される。以下において上記あおり歪みを補正するパ
ラメータの計算方法を説明する。

【００８３】まず、図１６に示されるように、装置座標
系３３におけるｚ軸を被投影面３１の単位法線ベクトル
に一致させる座標変換を示す回転行列Ｒ’を求める。こ
の場合、次の関係式が成立する。

【００８４】

【数１９】 そして、上記式（９）を満たす回転行列Ｒ’は多数存在
するが、ここでは回転行列Ｒ’を次式のように定義す
る。

【００８５】

【数２０】 但し、ここでＲ’_ｘとＲ’_ｙはそれぞれ次のように示さ
れる。

【００８６】

【数２１】 これは、図１７に示されるように、以下の順序で装置座
標系（ｘｙｚ座標系）３３を回転させて、ｘ’ｙ’ｚ’
座標系に変換することに相当する。（i）装置座標系３
３をｙ軸の回りにだけβ回転させる。そして、この回転
により得られる座標系をｘ_１ｙ_１ｚ_１座標系とする。
（ii）装置座標系をｘ_１軸の回りにαだけ回転する。

【００８７】ここで、式（１９）と式（２０）を用いる
と、回転角は次式のように導出される。

【００８８】

【数２２】 そして、このように求められた回転角を式（２０）及び
式（２１）に代入することにより、行列Ｒ’を一意に定
めることができる。

【００８９】次に、画像面３０上の座標を被投影面３１
上に座標変換する。すなわち、図１５において、画像面
３０の点Ｐ１に対応する３次元ベクトルｐを延長したと
きに被投影面３１と交差する点Ｐ２を、座標変換後の座
標とする。そして、装置座標系３３を基準とした点Ｐ１
に対応する３次元ベクトルｐは、次式で示される。

【００９０】

【数２３】 ここで、ｋは撮像部１１の光学中心ｏから被投影面まで
の距離を表す拡大係数であるため、ｋは作成される歪み
補正画像の大きさを表している。また３次元ベクトルｐ
は、基準画像撮影時の装置座標系３３を基準にして点Ｐ
１を表したベクトルであるが、これを回転行列Ｒ’を用
いて次式のように座標変換することにより、撮像部１１
を被写体面と正対させた時の３次元ベクトルｐ’に変換
される。

【００９１】

【数２４】 従って、式（２５）のｘ座標とｙ座標を座標変換後に得
られる座標とすることにより、あおり歪みを補正した画
像が得られる。そして、以上のような手順により、式
（２５）を用いて基準画像のあおり歪みを補正するパラ
メータを算出することができる。

【００９２】次に、座標変換部２２３はパラメータ算出
部２２２により算出されたあおり歪み補正パラメータを
基に、基準画像を座標変換して歪み補正画像を作成す
る。具体的には、座標変換後の座標（Ｘ，Ｙ）に対応す
る変換前の座標（ｘ_ｓ，ｙ_ｓ）を式（２５）に基づいて
計算し、計算された座標（ｘ_ｓ，ｙ_ｓ）の近傍における
画素値を基に座標（Ｘ，Ｙ）における画素値を補間演算
により決定する。なお、この補間演算は双一次補間法や
Ｂ−スプライン補間法などの既存の方法を用いて行えば
よい。

【００９３】以上のように、本発明の実施の形態１に係
る画像処理装置によれば、互いに少なくとも一部が重な
り合うように被写体面が２枚以上撮影されたときには、
その撮影された任意の画像におけるあおり歪みを補正し
てより適正な被写体の全体像を得ることができる。

【００９４】すなわち、上記手順においては全ての画像
において被写体の全範囲を撮影する必要はなく、例えば
図１４に示されるように、被写体の全体を撮影した画像
と、被写体の一部分のみを撮影した画像があれば足り
る。そしてこのような場合、基準画像設定部２０により
被写体の全体を撮影した画像の方を基準画像として選ぶ
ことができるので、あおり歪みが補正された被写体の全
体像を生成することができる。

【００９５】また歪み補正画像を上記の方法により生成
するためには、最低限二枚の被写体像があればよいの
で、撮影する枚数を二枚に限定すれば、ユーザにとって
画像の入力や撮影及び基準画像の設定が簡略化されるだ
けではなく、画像を記憶するために必要なメモリ容量や
特徴点及び対応点の検出、射影変換行列の計算に要する
計算コストを小さくすることができる。 ［実施の形態２］図１８は、本発明の実施の形態２に係
る画像処理方法及び画像処理装置を説明するための図で
ある。図１８（ａ）に示されるように、同一の被写体面
ＰＬの静止画像が、画像の一部においてそれぞれ重複す
るように複数の方向ｄ_１〜ｄ_ｋから撮影された場合にお
ける、本実施の形態に係る画像処理装置６の動作につい
て説明する。

【００９６】ここで、図１８（ａ）に示されるように、
方向Ｄ_ｎから撮影することにより画像ｉｍｎ（ｎ＝１，
２…，ｊ，…，ｋ）が得られ、例えば画像ｉｍ１と画像
ｉｍ２のように隣り合う方向において撮影することによ
り得られた画像ｉｍｊと画像ｉｍ（ｊ＋１）（１≦ｊ≦
ｋ−１）との間ではそれぞれ重複領域があるとする。

【００９７】そして、本実施の形態２に係る画像処理装
置においては、図１８（ｂ）に示されるように、基準画
像として選択されたいずれか一つの画像ｉｍｊに整合す
るように他の画像が貼り合わされ、合成画像ＩＭＣが得
られる。

【００９８】図１９は、本実施の形態２に係る画像処理
装置６の構成を示す図である。図１９に示されるよう
に、画像処理装置６は、図３に示された上記実施の形態
１に係る画像処理装置１と同様な構成を有するが、画像
歪み補正部２２の代わりに画像合成部２４が備えられる
点で相違するものである。ここで、画像合成部２４は対
応検出部２１で得られた特徴点と対応点の関係を基に座
標変換することにより、互いに重複する領域を持つ画像
を貼り合わせるが、この動作については後に詳しく説明
する。

【００９９】図２０は、図１９に示された本実施の形態
２に係る画像処理装置６の動作を示すフローチャートで
ある。まず最初に、電源スイッチ１０１を切り替えて画
像処理装置１を起動し、撮影モードの選択を行う。ここ
で、上記撮影モードは通常のスナップ写真を撮影する通
常モードと、撮影した画像のあおり歪みを補正した画像
を生成するあおり補正モードよりなる。そして、この撮
影モードの選択は、ユーザが撮影モード設定キー１０４
を操作することによりなされる。なお撮影モード設定部
１９として、画像処理装置１の本体には撮影モード設定
キー１０４が設けられる。但し、撮影モード設定部１９
は、本体とは別個に設けられるハードウェア又はソフト
ウェア等で構成しても良い。

【０１００】そして図５に示されるように、ステップＳ
１においてあおり補正モードを選択するか否か判断さ
れ、あおり補正モードが選択されず通常モードが選択さ
れると、ステップＳ１０へ進みユーザにより所望の被写
体のスナップ写真が撮影される。

【０１０１】一方、ステップＳ１においてあおり補正モ
ードが選択されると、ステップＳ２へ進む。そして、ユ
ーザは撮像部１１により被写体面ＰＬを少なくとも二枚
撮影し、画像処理装置６には被写体像が取り込まれる。
なお、このとき互いに被写体像の一部が重なり合うよう
に各々の画像が撮影される必要がある。

【０１０２】次に、ステップＳ３において被写体像の入
力が終了したか否かが判断され、終了していない場合に
はステップＳ２へ戻り、さらに被写体像の入力が継続さ
れる。一方、ユーザによる撮影終了の指示により被写体
像の入力を終了した場合には、ステップＳ４へ進む。な
お、上記指示は撮影モード設定キー１０４をもう一度押
して通常モードに切り替えることによりなされる他、撮
影終了を指示するためのスイッチを別途設けてもよい。

【０１０３】そして、上記のように被写体の撮影が終了
すると、ステップＳ４以下において、複数枚の画像を貼
り合せた合成画像を生成する動作に入る。まずステップ
Ｓ４において、どの画像を基準に合成画像を生成するか
を選択する。なお、このとき選択された画像が上記基準
画像であり、以下においては例として図１８に示される
画像ｉｍｊが基準画像として選択された場合について説
明する。また、この基準画像の設定は基準画像設定部２
０においてなされるが、基準画像設定部２０の構成及び
動作は上記実施の形態１における場合と同様である。

【０１０４】次に、ステップＳ５において、図１８
（ａ）に示された隣接する方向から撮影された画像対、
すなわち画像ｎと画像（ｎ＋１）（１≦ｎ≦ｋ−１）と
の間において特徴点と、該特徴点と同一の箇所を示す対
応点を検出する。この特徴点と対応点の検出は、対応検
出部２１により行われる。ここで、対応検出部２１の構
成及び動作は上記実施の形態１における場合と同様であ
る。

【０１０５】そして、特徴点と対応点の検出が終了する
と、得られた両点の関係を基に、基準画像に整合するよ
う座標変換した上で画像が貼り合わされる。ここで、座
標変換として射影変換を用いるとき、ステップＳ６にお
いて射影変換行列を計算すると共に、ステップＳ７にお
いて上記貼り合わせにより合成画像が生成される。この
ような射影変換行列の算出及び合成画像の生成は、画像
合成部２４により実行される。以下において、この画像
合成部２４の構成及び動作について詳しく説明する。

【０１０６】図２１は、図１９に示された画像合成部２
４の構成を示す図である。図２１に示されるように、画
像合成部２４は射影変換算出部２３１と座標変換部２３
２とを含む。ここで、射影変換算出部２３１は基準画像
設定部２０と対応検出部２１とに接続され、座標変換部
２３２は基準画像設定部２０とフレームメモリ１５及び
射影変換算出部２３１に接続される。

【０１０７】そして、射影変換算出部２３１は４つ以上
の特徴点と対応点の組を用いて、式（３）で示した射影
変換行列Ｂを算出する。その算出手順は上記実施の形態
１における場合と同様であり、式（５）の最小自乗計算
を行えばよい。ここで、本実施の形態においては、（ｋ
−１）個の画像対間における射影変換行列を計算し、さ
らに各々の画像から基準画像への射影変換行列を求める
必要がある。

【０１０８】より具体的には、図１８に示されるように
画像ｉｍｎ（ｎ＝１〜ｋ−１）から画像ｉｍ（ｎ＋１）
への射影変換行列をＢ_ｎ、また画像ｉｍｎから画像ｉｍ
ｊへの射影変換行列を

【０１０９】

【数２５】 とおくと、この射影変換行列は次式に基づいて計算でき
る。

【０１１０】

【数２６】 ここで、座標変換部２３２は、射影変換算出部２３１に
より算出された式（２６）により示される射影変換行列
を基に、画像ｎを基準とされる画像ｉｍｊに貼り合わさ
れる。具体的には、まず基準画像における座標変換後の
座標（Ｘ，Ｙ）に対応する、画像ｎにおける座標変換前
の座標（ｘ，ｙ）を次式に基づき計算する。

【０１１１】

【数２７】 但しｓは、式（２７）における左辺の列ベクトルの第三
成分を１とするための定数である。次に、座標変換前の
座標（ｘ，ｙ）近傍における画素値を基に、座標（Ｘ，
Ｙ）の画素値を補間演算により決定する。そして、この
補間演算は双一次補間法やＢ−スプライン補間法などの
既存の方法を用いて行えばよい。

【０１１２】以上のように、本実施の形態に係る画像処
理装置６によれば、互いに一部が重なり合うように被写
体面ＰＬを２枚以上撮影し、選択した基準画像に対して
他の画像を貼り合わせることにより、被写体面ＰＬの広
い領域に渡る合成画像が生成される。この場合基準画像
設定部２０により、被写体に対してほぼ正対する方向か
ら撮影された画像、すなわちあおり歪みの小さい画像を
基準画像として選ぶことができるため、結果的にあおり
歪みの小さい全体的な被写体像を、上記合成画像として
得ることができる。 ［実施の形態３］上記実施の形態１及び２に係る画像処
理装置においては、先に被写体像が２枚以上入力又は撮
影された後に、歪み補正の対象とされ又は合成画像の基
準とされる基準画像が選択される。これに対し、本実施
の形態３に係る画像処理装置は、被写体を撮影する前に
予め上記基準画像が設定される。

【０１１３】図２２は、本発明の実施の形態３に係る画
像処理装置８の構成を示す図である。図２２に示される
ように、本実施の形態に係る画像処理装置８は、図３に
示された実施の形態１に係る画像処理装置１と同様な構
成を有するが、通知部２６をさらに備える点で相違する
ものである。ここで、通知部２６は主制御部１４と基準
画像設定部２０に接続される。

【０１１４】なお、該画像処理装置８に含まれたシャッ
ター１１３及びインタフェース１６は主制御部１４に接
続され、ファインダ２４１はインタフェース１６に接続
される。

【０１１５】次に、本発明の実施の形態３に係る画像処
理装置８の動作を、図２３のフローチャートを参照しつ
つ説明する。まず、ステップＳ１においてあおり補正モ
ードを選択するか否か判断され、あおり補正モードが選
択されず通常モードが選択されると、ステップＳ１０へ
進みユーザにより所望の被写体のスナップ写真が撮影さ
れる。

【０１１６】一方、ステップＳ１においてあおり補正モ
ードが選択されると、ステップＳ２へ進む。そしてステ
ップＳ２においては、あおり歪みの補正対象とする画
像、すなわち基準画像が基準画像設定部２０に設定され
る。ここで基準画像設定部２０は、図２４に示されるよ
うに、カーソルキー２０４と決定キー２０３とを含む。
そして、表示部１７には「基準画像設定」という文字が
オーバレイ表示されると共に、ユーザにこれから撮影す
る枚数と、該撮影において何枚目に撮る画像を基準画像
とするのかを指定する基準画像指定値とを設定するよう
指示される。ここで、例えばユーザはカーソルキー２０
４の上又は下方向スクロールキーを操作することにより
撮影枚数と基準画像の設定間を切り替え、かつ左又は右
方向スクロールキーを操作することにより枠内の設定値
を増減させることによって、所望の撮影枚数と基準画像
指定値とを設定することができる。なお、決定キー２０
３が押されることにより上記基準画像の設定が完了され
る。

【０１１７】次に、ステップＳ３においてユーザは少な
くとも２枚以上の被写体像の撮影を開始する。なおこの
とき、互いに一部が重なり合うように各画像が撮影され
る必要がある。そして、画像を撮影する度にシャッター
１１３から主制御部１４へ撮影信号が供給されることに
よって、主制御部１４に内蔵されたカウンタがインクリ
メントされ、該カウンタから次の撮影が何枚目であるか
を示す枚数特定信号が通知部２６へ供給される。ここ
で、基準画像設定部２０より上記基準画像指定値を示す
信号が通知部２６に内蔵されたレジスタに供給され、該
レジスタに基準画像指定値が格納されているため、ステ
ップＳ４において通知部２６は常に該レジスタに格納さ
れた上記基準画像指定値と上記枚数特定信号が示す値と
を比較し、今度撮影する画像が基準画像とされるもので
あるか否かを判断する。

【０１１８】そして、上記比較において両者の値が一致
し、これから撮影しようとする画像が基準画像とされる
ものである場合には、ステップＳ５へ進み、通知部２６
はユーザに基準画像の撮影であることを通知する。すな
わち、このとき通知部２６からは主制御部１４を介して
インタフェース１６へ通知信号が供給され、図２５に示
されるように、該通知信号に応じてインタフェース１６
によりファインダ２４１内の被写体像３５横のインジケ
ータ２４２が点灯される。従って、撮影時にユーザによ
り容易に基準画像の撮影であるか否かが認識される。な
お上記における通知は、表示部１７へ所定のテキストや
シンボルを表示すること等によって行っても良い。

【０１１９】次にステップＳ６へ進むが、ステップＳ４
において次に撮影する画像が基準画像とされないと判断
された場合には、直接ステップＳ６へ進む。そして、こ
のステップＳ６においては、被写体の撮影（被写体画像
の入力）が終了したか否かが判断され、終了しないと判
断された場合にはステップＳ３へ戻る。一方、終了する
と判断された場合にはステップＳ７へ進む。ここで、撮
影の終了はユーザの指示に応じて判断され、該指示は撮
影モード設定部１９における設定が通常モードに切り替
えられ、又は撮影終了のために設けられたスイッチが押
されること等によりなされるものとすることができる。

【０１２０】次に、ステップＳ７では基準画像の中にお
いて特徴点が検出され、該基準画像の少なくとも一部に
おいて重複する画像の中においては上記特徴点と同一箇
所を示す対応点が検出される。このような特徴点と対応
点の検出は、図２２に示された対応検出部２１により行
われる。なお、該対応検出部２１の構成及び動作は、上
記実施の形態１の場合と同様である。

【０１２１】そして、ステップＳ８において基準画像の
あおり歪みを補正するためのパラメータを算出すると共
に、ステップＳ９において上記パラメータを基にあおり
歪みを補正した画像を生成して動作を終了する。なお、
該パラメータの算出及びあおり歪みを補正した画像の生
成は画像歪み補正部２２により行われるが、この画像歪
み補正部２２の構成及び動作は上記実施の形態１の場合
と同様である。

【０１２２】以上のように、本実施の形態３に係る画像
処理装置８によれば、撮影前に基準画像指定値を設定す
ることにより、ユーザによる画像撮影において、次に撮
影する画像が基準画像とされるものであるか否かが通知
部２６によってユーザに通知されるため、ユーザは基準
画像の撮影を容易に認識することができる。そしてユー
ザは、基準画像の撮影時には被写体の所望の領域が撮影
範囲に入るよう特に注意を払うことができる。またさら
に、基準画像の撮影ミスを減少させることができる。

【０１２３】なお、通知部２６により基準画像指定値の
設定に応じてユーザへ基準画像の撮影を通知する技術
は、上記実施の形態２に係る画像処理装置６にも適用可
能であることはいうまでもない。 ［実施の形態４］上記実施の形態に係る画像処理装置
は、撮像部に含まれた単一の光学系を移動させることに
より、被写体を異なる方向から少なくとも２度撮影する
必要があったが、本実施の形態に係る画像処理装置では
撮像部４１に２以上の光学系が並設され、一度の撮影で
異なる方向から撮影された被写体像が複数枚得られるよ
うにされる。

【０１２４】図２６は、本発明の実施の形態４に係る画
像処理装置４０の構成を示す図である。図２６に示され
るように、本実施の形態４に係る画像処理装置４０は、
図３に示された実施の形態１に係る画像処理装置１と同
様な構成を有するが、撮像部４１には２つの光学系１１
Ａ，１１Ｂを含む点で相違するものである。

【０１２５】以下において、本実施の形態に係る画像処
理装置の動作を図２７のフローチャートを参照しつつ説
明する。まず最初に、画像処理装置４０を起動し、撮影
モードの選択を行う。ここで、上記撮影モードは通常の
スナップ写真を撮影する通常モードと、撮影した画像の
あおり歪みを補正した画像を生成するあおり補正モード
よりなる。そして、この撮影モードの選択は、ユーザが
撮影モード設定キーを操作することによりなされる。な
お撮影モード設定部１９として、画像処理装置４０の本
体には撮影モード設定キー１０４が設けられる。但し、
撮影モード設定部１９は、本体とは別個に設けられるハ
ードウェア又はソフトウェア等で構成しても良い。

【０１２６】そして図２７に示されるように、ステップ
Ｓ１においてあおり補正モードを選択するか否か判断さ
れ、あおり補正モードが選択されず通常モードが選択さ
れると、ステップＳ１０へ進みユーザにより所望の被写
体のスナップ写真が撮影される。

【０１２７】一方、ステップＳ１においてあおり補正モ
ードが選択されるとステップＳ２へ進み、基準画像設定
部２０に対してあおり歪みを補正する対象としての基準
画像が設定される。ここで基準画像設定部２０には、図
２８に示されるように、上方向スクロールキー２０１及
び下方向スクロールキー２０２と決定キー２０３とが含
まれる。また、表示部１７には「基準画像設定」という
文字がオーバレイ表示されると共に、いずれの光学系１
１Ａ、１１Ｂで撮影された画像を上記基準画像とするか
という選択がユーザに求められる。

【０１２８】すると、ユーザは上方向スクロールキー２
０１又は下方向スクロールキー２０２を操作することに
より、例えば三角形で示されるポインタを表示部１７上
で動かし、光学系１１Ａを選択する「カメラ１」という
表示、あるいは光学系１１Ｂを選択する「カメラ２」と
いう表示のいずれかを指定する。そして、上記ポインタ
がいずれかの光学系を指定した状態で決定キー２０３を
押すと、該指定した光学系により撮影された画像が上記
基準画像とされる。ここで、上記基準画像の設定情報は
基準画像設定部２０から主制御部１４へ供給される。

【０１２９】次に、ステップＳ３においてユーザは被写
体の撮影を行う。このとき表示部１７には、主制御部１
４による制御により、ステップＳ２で選択された光学系
で撮影された画像のみを表示することとすれば、あおり
歪みを補正しようとする画像が被写体の所望の範囲を含
んでいるか否かがユーザにより容易に確認される。

【０１３０】そしてステップＳ４においては、基準画像
内で特徴点が検出されると共に、基準画像と重複した領
域を有する画像内で該特徴点と同一の箇所を示す対応点
が検出される。なお、この特徴点及び対応点の検出は、
対応検出部２１により実行されるが、この対応検出部２
１の構成及び動作は上記実施の形態１の場合と同様であ
る。

【０１３１】次に、ステップＳ５において基準画像のあ
おり歪みを補正するためのパラメータを算出すると共
に、ステップＳ６において該パラメータを基にあおり歪
みを補正した画像を生成し、動作を終了する。ここで、
上記パラメータの算出及びあおり歪みを補正した画像の
生成は画像歪み補正部２２により実行されるが、この画
像歪み補正部２２の構成及び動作は上記実施の形態１の
場合と同様である。

【０１３２】以上のように、本実施の形態４に係る画像
処理装置４０によれば、撮像部４１は光学系を少なくと
も２つ備えるため、ユーザは１回の撮影動作により上記
実施の形態に係る画像処理装置により得られる補正画像
を得ることができる。また、選択した光学系において撮
影された画像のみを表示部１７に表示するようにすれ
ば、あおり歪みを補正しようとする画像が被写体の所望
の範囲を含んでいるか否かがユーザにより容易に確認で
きるので、ユーザは基準画像の撮影に一層注意を払うこ
とができ、撮影ミスの可能性を減少させることができ
る。

【０１３３】また、図２６に示された撮像部４１には光
学系が３つ以上含まれてもよく、このような複数の光学
系を含む撮像部は、上記実施の形態２に係る画像処理装
置６に備えられてもよいことはいうまでもない。

【０１３４】なお、上記全ての実施の形態に係る画像処
理装置においては、被写体を撮像部により撮影する代わ
りに、ハードディスク等の記憶装置やＣＤ−ＲＯＭ等の
記憶媒体に格納された２枚以上の被写体像を外部記憶部
１８等に取り込み、これらの被写体像を用いて補正画像
を生成してもよい。また、撮影モード設定部１９や基準
画像設定部２０、対応検出部２１、画像歪み補正部２２
及び画像合成部２４等が撮像部１１，４１とは別の筐
体、例えば計算機等に収められているものも上記実施の
形態と同様に考えられる。

【０１３５】また、対応検出部２１では、相関法による
濃度マッチングにより対応点が検出されると説明した
が、時空間微分法など別の手法で行っても良い。さら
に、あおり歪みパラメータの算出においては、上記のよ
うな式（２０）に示された座標変換に限られず、他のパ
ラメータ算出方法を適用してもよい。 ［実施の形態５］上記実施の形態においては、画像処理
の対象とする基準画像に対して座標変換パラメータを算
出し、補間演算を用いて歪み補正画像が生成されたが、
該基準画像は豊富な書画情報を含み、かつ補間演算によ
る画像の劣化が少ない画像、すなわち比較的被写体に正
対した状態で撮影された画像であることが好ましい。そ
こで、以下においては、最適な基準画像を自動的に選択
する画像処理方法と、該方法を実行する画像処理装置に
ついて説明する。

【０１３６】図２９は、本発明の実施の形態５に係る画
像処理装置における第一の構成例を示す図である。図２
９に示されるように、本実施の形態５に係る画像処理装
置５０は、図３に示された実施の形態１に係る画像処理
装置１と同様な構成を有するが、基準画像設定部２０の
代わりに被写体領域判定部２５と基準画像自動選択部２
７とを備える点で相違するものである。

【０１３７】ここで、被写体領域判定部２５及び基準画
像自動選択部２７は、それぞれ主制御部１４に接続さ
れ、被写体領域判定部２５の出力端は基準画像自動選択
部２７に接続される。また、基準画像自動選択部２７の
出力端は、画像歪み補正部２２に接続される。

【０１３８】なお、本実施の形態５に係る画像処理装置
５０においても、図４に示されるように、上記実施の形
態１に係る画像処理装置１と同様な構成とすることがで
きる。

【０１３９】以下において、本実施の形態５に係る画像
処理装置５０の動作を、図３０に示されたフローチャー
トを参照しつつ説明する。ここで、本実施の形態５に係
る画像処理装置５０は、上記実施の形態１に係る画像処
理装置１と同様に動作するため、以下においては相違点
を中心に詳しく説明する。

【０１４０】まずステップＳ１において、ユーザによ
り、あおり補正モードを選択するか否か判断され、あお
り補正モードが選択されず通常モードが選択される場合
にはステップＳ１０へ進み、該ユーザにより所望のスナ
ップ写真が撮影される。

【０１４１】一方、ステップＳ１においてユーザにより
あおり補正モードが選択されるときには、ステップＳ２
へ進む。そして、ステップＳ２においては、撮像部１１
により少なくとも二回撮影された被写体像がフレームメ
モリ１５へ取り込まれる。なおこのとき、互いに該被写
体像の一部が重なり合うように、各々の画像が撮影され
る必要がある。

【０１４２】次に、ステップＳ３において被写体像の入
力が終了したか否かが判断され、終了していない場合に
はステップＳ２へ戻り、さらに被写体像の入力が継続さ
れる。一方、ユーザによる撮影終了の指示により被写体
像の入力を終了した場合には、ステップＳ４へ進む。

【０１４３】そして、ステップＳ４では、対応検出部２
１により被写体像の中において特徴点が検出され、該被
写体像の少なくとも一部において重複する参照画像の中
においては、上記特徴点と同一箇所を示す対応点が検出
される。次に、特徴点と対応点の検出が終了すると、以
下においてあおり歪みを補正する動作に入る。そしてま
ず、ステップＳ５において、基準画像自動選択部２７は
あおり歪み補正の対象とする基準画像を自動選択する。
以下において、基準画像自動選択部２７について詳しく
説明する。

【０１４４】なお、上記実施の形態１に係る画像処理装
置１と同様に、ステップＳ６においては、ステップＳ５
において選択された基準画像に対してあおり歪みを補正
するためのパラメータを計算し、ステップＳ７において
該パラメータを基に画像のあおり歪みを補正した画像を
作成し、動作を終了する。

【０１４５】あおり歪みを補正する場合、上記基準画像
としては、撮影された複数の画像の中で被写体面が最も
広い領域に渡って写っており、ユーザの必要とする書画
情報量が豊富である画像が選択されると好適である。ま
た、撮影時における撮像面の被写体面に対してなす角
（以下において、「あおり角」とも呼ぶ）ができるだけ
小さい画像が選択されると好適である。その理由につい
て、図３１を参照しつつ説明する。

【０１４６】図２９に示された画像歪み補正部２２は、
上記のように式（２５）による座標変換を実行すること
によってあおり歪み補正を行うが、あおり角φに応じて
該補正動作が変化する。ここでは、説明を簡単なものに
するためあおり角φがｙ軸周りに限られ、かつ被写体面
に平行な被投影面３１の大きさが撮像面３２の大きさに
等しいと仮定する。

【０１４７】図３１（ａ）に示されるように、あおり角
φが比較的小さい場合における該座標変換においては、
撮像面３２の左端近傍の点は、原点ｏに向かうベクトル
で示される変分により被投影面３１へ投影される。な
お、このような座標変換によって被投影面３１内におけ
る斜線部において、被写体像の解像度が低下する。

【０１４８】一方、図３１（ｂ）に示されるように、該
座標変換においてあおり角φが比較的大きい場合には、
撮像面３２の左端近傍の点は、図３１（ａ）に示される
変分より大きな変分を伴い、すなわち原点ｏに対する位
置ベクトルがより大きく縮小されるように被投影面３１
に投影される。そして、該座標変換により被写体像の解
像度が低下する領域は、図３１（ａ）の場合に比して大
きくなることが分かる。

【０１４９】従って、以上より、あおり角φが小さいほ
ど画像歪み補正部２２による座標変換に起因した解像度
の劣化は少なくなることが分かる。

【０１５０】また、図２９に示された被写体領域判定部
２５は、撮影した画像において被写体が占める領域を検
出するが、例えば文献『画像の処理と認識』（安居院猛
・長尾智晴共著、昭晃堂）に記載されているように、
（ａ）領域成長法や領域分割法のように画像上でクラス
タリングを行う方法、（ｂ）ヒストグラムによる領域分
割など、特徴空間上でクラスタリングを行う方法、
（ｃ）輪郭線追跡などの画像中のエッジを用いる方法、
（ｄ）テクスチャ解析、などの領域分割方法が適用され
る。そして、被写体領域判定部２５は、該判定結果に応
じて被写体の広い範囲を撮影した画像を上記基準画像と
して選択する。その結果、基準画像として豊富な書画情
報を含む画像を自動的に選択することができる。

【０１５１】ここで、本発明の実施の形態５に係る画像
処理装置は、図３２に示されるような構成とすることも
できる。すなわち、図３２に示された画像処理装置５１
は、図２９に示された画像処理装置５０と同様な構成を
有するが、被写体領域判定部２５の代わりに直線状パタ
ーン検出部２８を備える点で相違するものである。

【０１５２】一般的に、文書を初めとする被写体面にお
いては、文字列や罫線など互いに平行な関係にある直線
状パターンが多数存在する。しかし、撮影時におけるあ
おり角が大きい場合には、本来平行であるはずの直線状
パターンが、異なる向きを持つ直線状パターンとして画
像に投影される。従って、画像に投影された直線状パタ
ーンの向きのばらつきを調べることにより該あおり角の
大小を判別し、あおり角の小さな画像を自動的に基準画
像として選択することができる。

【０１５３】ここで、図３２に示された直線状パターン
検出部２８は、撮影された複数の画像において直線状パ
ターンを検出する処理を行う。そして、以下に該直線状
パターンの検出方法の一例を説明する。

【０１５４】まず、該複数の画像において微分を取るこ
とにより、エッジ画像を作成する。次に、作成されたエ
ッジ画像における断片的なエッジ点群を直線状セグメン
トに分割し、それぞれの直線状セグメントを以下の式
（２８）に示される直線方程式に当てはめる。 ａｘ＋ｂｙ＋ｃ＝０ （ａ^２＋ｂ^２＝１） （２８） ここで、上記式（２８）への当てはめは、直線状セグメ
ントを構成する点群を用いて、最小自乗法を適用するこ
とによりなされる。そして、直線状セグメントに対する
直線の当てはめが終了すると、直線の向きを表すパラメ
ータである（ａ，ｂ）のばらつきを求める。このように
して、上記複数の画像全てに対して（ａ，ｂ）のパラメ
ータのばらつきを求めることにより、各画像における直
線の向きのばらつきを知ることができる。そして、最も
直線の向きのばらつきが小さい画像を、自動的に基準画
像として選択することができる。

【０１５５】また、基準画像の自動選択においては、以
下のような方法を適用することもできる。まず、上記複
数の画像において上記と同様な方法でエッジ画像を作成
する。次に、該エッジ画像内の全ての点に対してHough
変換を施す。ここでHough変換とは、断片的なエッジよ
り直線を検出するために使用される数学的変換であり、
検出したい線を表現する式のパラメータにより構成され
る空間で、クラスタリングする方法をいう。そして、よ
り具体的には、画像上の点列をｘ軸となす角θと直線の
長さρとにより示されるθ−ρ空間へ投影する。

【０１５６】図３３は、図３３（ａ）に示された画像空
間から図３３（ｂ）に示されるθ−ρ空間へのHough変
換を説明する図である。図３３に示されるように、Houg
h変換により画像上の各点Ｐ１〜Ｐ３は、それぞれ対応
する曲線Ｌ１〜Ｌ３に変換される。そして、このような
変換を画像上の全点について実行すると、θ−ρ空間に
おいて該曲線の軌跡が集中している点ＣＰが生じるが、
この点ＣＰはエッジ画像において多くのエッジ点を通る
直線に相当する。ここで、この点ＣＰの座標を（θ，
ρ）とすれば、次の式（２９）に対応する直線が検出さ
れたことになる。 ρ＝ｘｃｏｓθ＋ｙｓｉｎθ （２９） そして、上記複数の画像すべてに対し、該曲線が集中す
る点ＣＰを多数抽出し、これらの点におけるθのばらつ
きを求めることにより、各画像における直線の向きのば
らつきを知ることができる。このようにして、最も直線
の向きのばらつきが小さな画像を、自動的に基準画像と
して選択すれば良い。

【０１５７】図３４は、本発明の実施の形態５に係る画
像処理装置における第三の構成例を示す図である。図３
４に示されるように、本実施の形態５に係る画像処理装
置は、図２９に示された被写体領域判定部２５や、図３
２に示された直線状パターン検出部２８を備えることな
く、基準画像自動選択部２７を対応検出部２１に接続す
ることとしても良い。

【０１５８】上記対応検出部２１により検出された特徴
点と対応点の組は射影変換行列Ｂ、すなわちあおり歪み
を補正するパラメータの計算に使用される。このとき一
般的には、該パラメータは、上記特徴点と対応点の組が
多数あり、かつそれらが広範囲に分散しているほど精度
良く算出される。そこで、撮影された複数の画像に対し
て、対応検出部２１により検出された特徴点と対応点の
組、及びそれらの画像における分散を調べ、それらの値
が最大である画像を自動的に基準画像として選択しても
良い。

【０１５９】また、上記の相関法に基づく対応検出にお
いては、一般的に画像中に特徴のあるパターンが多いほ
ど、数多くの特徴点と対応点が検出される。そして、特
徴のあるパターンが多いことは、ユーザにとって有用な
書画情報が画像中に多く含まれている可能性が高いの
で、特徴点及び対応点が豊富な画像を基準画像として自
動選択すれば、必要な書画情報を含む画像をあおり歪み
補正の対象とすることができ好適である。

【０１６０】図３５は、本発明の実施の形態５に係る画
像処理装置における第四の構成例を示す図である。図３
５に示されるように、本実施の形態５に係る画像処理装
置は、図２９に示された被写体領域判定部２５や、図３
２に示された直線状パターン検出部２８の代わりに、平
面計測部２９を備えることとしても良い。

【０１６１】ここで、平面計測部２９は、各画像の撮影
時における撮像部１１に対する被写体の向きを計測す
る。図３６は、図３５に示された平面計測部２９の構成
例を示す図である。図３６に示されるように、平面計測
部２９はスポット光源２７１と、受光素子２７２と、３
次元座標算出部２７３と、平面算出部２７４とを備え、
スポット光源２７１は発光ダイオードや半導体レーザ等
からなる光源２７１ａと、ポリゴンミラー等の走査ミラ
ー２７１ｂと、走査ミラー２７１ｂの動きを制御する駆
動部２７１ｃとを含む。

【０１６２】ここで、上記スポット光源２７１において
は、光源２７１ａにより発生されたスポット光が被写体
面ＰＬに当るように、走査ミラー２７１ｂが駆動部２７
１ｃにより制御される。また、受光素子２７２は、スポ
ット光源２７１に対する位置が予め測定されている場所
に設置されたＰＳＤ（Position sensitive detector）
やＣＣＤ等の光電変換素子により構成され、被写体面Ｐ
Ｌからの反射光の向きを検出する。なお、撮像部１１に
含まれた光電変換素子１１４を、上記における受光素子
２７２として使用してもよい。

【０１６３】また、３次元座標算出部２７３は、スポッ
ト光源２７１が照射したスポット光の向きと、スポット
光源２７１と受光素子２７２との位置関係、及び受光素
子２７２が検出した反射光の向きに応じて、三角測量の
原理を用いることにより画像処理装置５３を基準とした
被写体面ＰＬの３次元座標（Ｘ，Ｙ，Ｚ）を算出する。
そして、平面算出部２７４は、３次元座標算出部２７３
により算出された同一直線上にない３点以上の３次元座
標を用いて、平面方程式を推定する。例えば、求める平
面方程式を、 ａＸ＋ｂＹ＋ｃＺ＋ｄ＝０（ａ^２＋ｂ^２＋ｃ^２＝１，ｃ＞０） （３０） とおき、３点以上の３次元座標を用いて、上記平面方程
式における４つのパラメータ（ａ，ｂ，ｃ，ｄ）を最小
自乗法により計算する。その結果、上記あおり角φは次
式（３１）により計算される。 φ＝ｃｏｓ^−１ｃ （３１） 従って、撮影された複数の画像全てに対して被写体面の
向きを計測し、そのあおり角φが最小である画像を自動
的に基準画像として選択すればよい。

【０１６４】その他、画像歪み補正部２２の説明におい
て記したように、対応検出部２１により検出された特徴
点と対応点との組を用いることによっても、該被写体の
向きを求めることができる。従って、本実施の形態５に
係る画像処理装置は、いったん画像歪み補正部２２にお
いて式（１４）ないし式（１８）を実行して被写体の向
きを求め、得られた結果を基準画像自動選択部２７へ出
力するという構成とすることもできる。 ［実施の形態６］以下においては、図１８に示されるよ
うに、同一の被写体面ＰＬにおける静止画像が、画像の
一部においてそれぞれ重複するように複数の方向から撮
影された場合を前提とした実施の形態を説明する。な
お、ここでは図１８に示されるように、方向ｄ_ｊから撮
影することにより画像ｉｍｊ（１≦ｊ≦Ｋ）が得られ、
例えば画像ｉｍ１と画像ｉｍ２のように隣り合う方向に
おいて撮影することにより得られた画像ｉｍｊと画像ｉ
ｍ（ｊ＋１）（１≦ｊ≦Ｋ−１）との間ではそれぞれ重
複領域があるものとする。そして、本実施の形態６に係
る画像処理装置においては、基準画像として選択された
いずれか一つの画像に整合するように、他の画像が貼り
合わされ合成画像が生成される。

【０１６５】図３７は、本発明の実施の形態６に係る画
像処理装置６０の構成を示す図である。図３７に示され
るように、本実施の形態６に係る画像処理装置６０は、
図１９に示された実施の形態２に係る画像処理装置６と
同様な構成を有するが、基準画像設定部２０の代わりに
基準画像自動選択部２７を備える点で相違するものであ
る。

【０１６６】上記のような構成を有する本実施の形態６
に係る画像処理装置６０は、実施の形態２に係る画像処
理装置６と同様に動作するが、以下において、本実施の
形態６に係る画像処理装置６０の動作を、図３８に示さ
れたフローチャートを参照しつつ相違点を中心に説明す
る。

【０１６７】まずステップＳ１において、ユーザによ
り、画像合成モードを選択するか否か判断され、画像合
成モードが選択されず通常モードが選択される場合には
ステップＳ１０へ進み、該ユーザにより所望のスナップ
写真が撮影される。

【０１６８】一方、ステップＳ１においてユーザにより
画像合成モードが選択されるときには、ステップＳ２へ
進む。そして、ステップＳ２においては、撮像部１１に
より撮影された複数の被写体像がフレームメモリ１５へ
取り込まれる。なおこのとき、互いに該被写体像の一部
が重なり合うように、各々の画像が撮影される必要があ
る。

【０１６９】次に、ステップＳ３において被写体像の入
力が終了したか否かが判断され、終了していない場合に
はステップＳ２へ戻り、さらに被写体像の入力が継続さ
れる。一方、ユーザによる撮影終了の指示により被写体
像の入力を終了した場合には、ステップＳ４へ進む。

【０１７０】そして、ステップＳ４では、対応検出部２
１により画像ｉｍｊと画像ｉｍ（ｊ＋１）との間におい
て特徴点が検出され、該画像ｉｍｊの少なくとも一部に
おいて重複する画像ｉｍ（ｊ＋１）の中においては、上
記特徴点と同一箇所を示す対応点が検出される。

【０１７１】次に、該特徴点と該対応点の検出が終了す
ると、以下において複数枚の画像を貼り合せた合成画像
を生成する動作に入る。そしてまずステップＳ５におい
て、基準画像自動選択部２７は、該合成において基準と
する基準画像を自動的に選択する。ここで、基準画像自
動選択部２７は、上記あおり角ができるだけ小さい画像
を自動的に基準画像として選択する。そして、このよう
な選択を行うことにより、あおり歪みの小さな合成画像
を得ることができる。

【０１７２】そして、ステップＳ６においては、ステッ
プＳ５において選択された基準画像を基準とした合成を
行うための射影変換行列を算出し、ステップＳ７におい
て該射影変換行列を用いて合成画像を生成し、動作を終
了する。 ［実施の形態７］図３９は、本発明の実施の形態７に係
る画像処理装置の構成を示す図である。図３９に示され
るように、本実施の形態７に係る画像処理装置７０は、
図３に示された実施の形態１に係る画像処理装置１と同
様な構成を有するが、基準画像自動選択部２７と、切り
替え部４５とをさらに備える点で相違するものである。

【０１７３】ここで、基準画像自動選択部２７は主制御
部１４により制御される。また、切り替え部４５はその
入力端が基準画像設定部２０及び基準画像自動選択部２
７に接続されると共に、出力端が画像歪み補正部２２に
接続される。

【０１７４】また、切り替え部４５は、基準画像の選択
方法を切り替えるものであり、図４０に示されるよう
に、上方向スクロールキー２０１と下方向スクロールキ
ー２０２、及び決定キー２０３とを含む。ここで、表示
部１７に表示されるメニューキー（図示していない）を
ユーザが選択的に押すことにより、図４０に示されるよ
うな「基準画像の選択」という文字がオーバレイ表示さ
れた画面が表示部１７に表示される。

【０１７５】そして、上方向スクロールキー２０１又は
下方向スクロールキー２０２が該ユーザにより操作され
ることにより、図４０に示された三角形のカーソルが上
下移動する。このとき、該カーソルが「ＡＵＴＯ」の文
字を指している状態において決定キー２０３が押される
と基準画像を自動的に選択することが決定され、図３９
に示された基準画像自動選択部２７が選択的に活性化さ
れる。一方、該カーソルが「ＭＡＮＵＡＬ」の文字を指
している状態において決定キー２０３が押されると基準
画像を手動により設定することが決定され、図３９に示
された基準画像設定部２０が選択的に活性化される。

【０１７６】従って、本実施の形態７に係る画像処理装
置によれば、切り替え部４５による切り替えにより、基
準画像設定部２０又は基準画像自動選択部２７のいずれ
か一方を選択的に画像歪み補正部２２に接続することが
できるため、ユーザは基準画像の選択方法として自動又
は手動のいずれかを任意に選択することができる。

【０１７７】なお、上述したいずれの実施の形態におい
ても、該実施の形態に係る画像処理方法をコンピュータ
プログラムとして記述することができる。そして、図４
１に示されるように、該プログラムを格納した記録媒体
３０１を画像処理装置１に装着し、画像処理装置１に該
プログラムを実行させることにより、上記画像処理を容
易に実現することができる。

【０１７８】また、図４２に示されるように、該プログ
ラムを格納したＣＤ−ＲＯＭ３０２をパーソナルコンピ
ュータ（パソコン）ＰＣに装着し、該プログラムをパソ
コンＰＣで実行することによっても、上記画像処理を実
現することができる。なお、パソコンＰＣへ装着され該
プログラムを格納する記録媒体としては、上記ＣＤ−Ｒ
ＯＭ３０２に限られず、例えばＤＶＤ−ＲＯＭ等であっ
てもよいことはいうまでもない。

【０１７９】以下において、上記画像処理方法を該プロ
グラムの実行により実現する場合の具体例を説明する。
この場合には、画像処理装置１及びパソコンＰＣは、内
蔵されたメモリやハードディスクなどの記憶装置及びＣ
Ｄ−ＲＯＭ等の記録媒体に格納された２枚以上の被写体
像を、計算機に搭載された各種インタフェースを介して
上記信号処理部１２へ取り込む。

【０１８０】また、上記における撮影モードの設定は、
パソコンＰＣのキーボードにおける所定のキーを押し、
又は画面上に表示されたアイコンをマウスクリックする
ことにより遂行される。一方、基準画像を手動により選
択する場合には、入力された複数の画像を画面上に間引
きして表示し、計算機に使用されるキーボードの上下カ
ーソルキーを押すか、あるいはマウスによりアイコンを
クリックすること等により、上記間引きされた画像が選
択される。そして、所望の画像が選択された状態で改行
キーが押されると、該画像が基準画像として設定され
る。

【０１８１】また、撮像部１１を構成する光学系の焦点
距離ｆについては、予め該光学系の焦点距離を測定して
おき、該記録媒体の内部に記録しておく。そして、ユー
ザは画面上において、実際の撮影の際に使用した光学系
の焦点距離を選択する。ここで、該焦点距離はヘッダ情
報として記録しておくこともできる。すなわち、例えば
画像データとしてExifフォーマットを使用する場合、そ
のヘッダ情報として撮影時の焦点距離を記録することが
できる。そして、本実施の形態に係る画像処理装置はこ
のヘッダ情報を読み取ることにより、該焦点距離を得る
ことができる。なお、上記のような方法が取れない場合
には、ダイアログボックス等をパソコンＰＣなどの画面
に表示して、該ダイアログボックス内においてユーザに
直接焦点距離を手入力させるとよい。

【０１８２】また、上記における被写体の向きについて
も、上記焦点距離と同様に扱うことができる。すなわ
ち、平面計測部２９又は画像歪み補正部２２により計測
された被写体の向きを、予め画像データファイル内のヘ
ッダ情報として記録しておき、本実施の形態に係る画像
処理装置は該ヘッダ情報を読み込むことにより該被写体
の向きを得ることとしても良い。

【０１８３】このとき、例えば画像データとしてExifフ
ォーマットを使用する場合には、被写体の向きを記録す
るためのフィールドは存在しないが、Maker Noteと呼ば
れる製造者が自由に利用できるフィールドに被写体の向
きを記録することができる。

【０１８４】また、上記のような方法を取ることが出来
ない場合には、焦点距離の場合と同様に、ダイアログボ
ックス等をパソコンＰＣ等の画面上に表示して、ユーザ
に直接被写体の向きを入力させるようにすると良い。

【０１８５】なお、上記本発明の実施の形態は、デジタ
ルスチルカメラやデジタルビデオカメラを利用した紙面
情報入力、分割画像の貼り合わせ合成等の画像処理に適
用でき、また非接触ハンディスキャナやその他の画像機
器にも応用できる。

【発明の効果】上述の如く、本発明によれば、被写体に
対して少なくとも一部が重複するよう複数の方向から撮
影された画像の歪みを補正する画像処理方法において、
複数の画像の中から歪みを補正する対象を選択すること
により、適正な画像を得るために最適な画像を補正対象
とすることができるため、より精度のよい該補正を実現
することができる。

【０１８６】また、複数の画像の中から歪みが最も少な
い画像を選択して、歪みを補正した画像を該選択された
画像と合成すれば、より適正な合成画像を得ることがで
きる。

【０１８７】ここで、画像内において被写体が占める領
域の広さに応じて補正の対象を自動的に選択すれば、必
要とされる書画情報量が最も豊富な画像の歪みを自動的
に補正することができるため、確実に適正な画像を得る
ことができる。

【０１８８】また、画像内において検出される直線状パ
ターンの向きに応じて補正の対象を自動的に選択すれ
ば、被写体にほぼ正対した位置から撮影された画像を自
動的に補正対象とすることができるため、解像度が高い
適正な画像を得ることができる。

【０１８９】また、特定された対応関係に応じて補正の
対象を自動的に選択すれば、精度の高い補正を確実に実
行することができるため、画像処理の信頼性を高めるこ
とができる。

【０１９０】また、撮影毎に検出された被写体の向きに
応じて補正の対象を自動的に選択すれば、被写体に対し
てほぼ正対した位置から撮影された画像を自動的に補正
対象とすることができるため、解像度が高い適正な画像
を得ることができる。

【０１９１】また、次に撮影する画像が歪みを補正する
際の基準とされる画像となることをユーザへ通知する通
知手段を備えた画像処理装置によれば、歪みを補正する
際に基準とされる画像の撮影においてユーザへ注意が喚
起されるため、ユーザの不注意などによる撮影ミスが回
避され、動作の信頼性及び補正画像の品質を高めること
ができる。

【０１９２】また、被写体を同時に撮影する複数の光学
手段と、複数の光学手段で撮影される画像のうち補正の
対象とする画像を選択する選択手段とを備えた画像処理
装置によれば、一度の撮影により複数の方向から撮影さ
れた複数の被写体像を得ることができるため、歪みを補
正するために必要とされる撮影回数を減少させることに
よって操作が簡便にされると共に、より簡易に歪み補正
がされた画像を得ることができる。

【図面の簡単な説明】

【図１】従来の技術における問題点を説明するための図
である。

【図２】本発明の実施の形態１に係る画像処理方法及び
画像処理装置を説明するための図である。

【図３】本発明の実施の形態１に係る画像処理装置の構
成を示す図である。

【図４】図３に示された画像処理装置を示す斜視図であ
る。

【図５】本発明の実施の形態１に係る画像処理装置の動
作を示すフローチャートである。

【図６】図３に示された表示部における撮影時の表示例
を示す図である。

【図７】図３に示された基準画像設定部のレイアウトを
示す図である。

【図８】本発明の実施の形態１に係る画像処理装置の他
の例を示す図である。

【図９】図３に示された対応検出部の構成を示す図であ
る。

【図１０】図９に示された相関演算部の動作を説明する
図である。

【図１１】図３に示された画像歪み補正部の構成を示す
図である。

【図１２】図３に示された画像歪み補正部の動作を説明
する第一の図である。

【図１３】図３に示された撮像部の光学系を説明する図
である。

【図１４】図１１に示された３次元演算部による射影変
換を説明する図である。

【図１５】図３に示された画像歪み補正部の動作を説明
する第二の図である。

【図１６】図１１に示されたパラメータ算出部の動作を
説明する第一の図である。

【図１７】図１１に示されたパラメータ算出部の動作を
説明する第二の図である。

【図１８】本発明の実施の形態２に係る画像処理方法及
び画像処理装置を説明するための図である。

【図１９】本発明の実施の形態２に係る画像処理装置の
構成を示す図である。

【図２０】本発明の実施の形態２に係る画像処理装置の
動作を示すフローチャートである。

【図２１】図１９に示された画像合成部の構成を示す図
である。

【図２２】本発明の実施の形態３に係る画像処理装置の
構成を示す図である。

【図２３】本発明の実施の形態３に係る画像処理装置の
動作を示すフローチャートである。

【図２４】図２２に示された基準画像設定部に対する基
準画像の設定を説明する図である。

【図２５】図２２に示された通知部の動作を説明する図
である。

【図２６】本発明の実施の形態４に係る画像処理装置の
構成を示す図である。

【図２７】本発明の実施の形態４に係る画像処理装置の
動作を示すフローチャートである。

【図２８】図２６に示された基準画像設定部に対する基
準画像の設定を説明する図である。

【図２９】本発明の実施の形態５に係る画像処理装置に
おける第一の構成例を示す図である。

【図３０】本発明の実施の形態５に係る画像処理装置の
動作を示すフローチャートである。

【図３１】解像度劣化におけるあおり角依存性を説明す
る図である。

【図３２】本発明の実施の形態５に係る画像処理装置に
おける第二の構成例を示す図である。

【図３３】本発明の実施の形態５に係る画像処理方法に
おいて用いられるHough変換を説明する図である。

【図３４】本発明の実施の形態５に係る画像処理装置に
おける第三の構成例を示す図である。

【図３５】本発明の実施の形態５に係る画像処理装置に
おける第四の構成例を示す図である。

【図３６】図３５に示された平面計測部の構成を示す図
である。

【図３７】本発明の実施の形態６に係る画像処理装置の
構成を示す図である。

【図３８】本発明の実施の形態６に係る画像処理装置の
動作を示すフローチャートである。

【図３９】本発明の実施の形態７に係る画像処理装置の
構成を示す図である。

【図４０】図３９に示された切り替え部の動作を説明す
る図である。

【図４１】本発明の実施の形態に係る画像処理装置と記
録媒体を示す図である。

【図４２】本発明の実施の形態に係るコンピュータとコ
ンピュータ読み取り可能な記録媒体を示す図である。

【符号の説明】

１，２，６，８，４０，５０〜５３，６０，７０ 画像
処理装置 ３，４，１０，ＩＭ１〜ＩＭ３，ｉｍ１，ｉｍ２，ｉｍ
ｊ，ｉｍｋ 画像 ５ 歪み補正画像 ７ 基準画像 ９ 参照画像 １１，４１ 撮像部 １１Ａ，１１Ｂ 光学系 １２ 信号処理部 １３ メモリ制御部 １４ 主制御部 １５ フレームメモリ １６ インタフェース（Ｉ／Ｆ） １７ 表示部 １８ 外部記憶部 １９ 撮影モード設定部 ２０ 基準画像設定部 ２１ 対応検出部 ２２ 画像歪み補正部 ２３ 被写体領域決定部 ２４ 画像合成部 ２５ 被写体領域判定部 ２６ 通知部 ２７ 基準画像自動選択部 ２８ 直線状パターン検出部 ２９ 平面計測部 ３０ 画像面 ３１ 被投影面 ３２ 撮像面 ３３ 装置座標系 ３５ 被写体像 ４５ 切り替え部 １０１ 電源スイッチ １０２ シャッター １０３ ファインダ １０４ 撮影モード設定キー １１１ レンズ １１２ 絞り １１３ シャッター １１４ 光電変換素子 １１５ 前処理部 ２０１ 上方向スクロールキー ２０２ 下方向スクロールキー ２０３ 決定キー ２０４ カーソルキー ２１１ 特徴点設定部 ２１２ 相関演算部 ２１３ 特徴点 ２１５，２１６ 相関窓 ２１７ 対応点 ２２１ ３次元演算部 ２２２ パラメータ算出部 ２２３ 座標変換部 ２２４ 画像面 ２３１ 射影変換算出部 ２３２ 座標変換部 ２４１ ファインダ ２４２ インジケータ ２７１ スポット光源 ２７１ａ 光源 ２７１ｂ 走査ミラー ２７１ｃ 駆動部 ２７２ 受光素子 ２７３ ３次元座標算出部 ２７４ 平面算出部 ３０１ 記録媒体 ３０２ ＣＤ−ＲＯＭ ＰＬ 被写体面 ＰＣ パーソナルコンピュータ（パソコン） Ｄ_１〜Ｄ_３，ｄ_１，ｄ_２，ｄ_ｊ，ｄ_ｋ 方向 ＩＭＡ，ＩＭＢ，ＩＭＣ 合成画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 青木 伸 東京都大田区中馬込１丁目３番６号 株式 会社リコー内 Ｆターム(参考） 5B057 BA02 CD12 CD20 CE10 5C023 AA10 AA11 AA31 AA34 AA37 CA01 DA01 EA03 5C076 AA12 AA23 AA40 BA01 BA06

Claims (16)

【特許請求の範囲】
1. 【請求項１】 被写体に対して少なくとも一部が重複す
   るよう複数の方向から撮影された画像の歪みを補正する
   画像処理方法であって、 前記撮影により得られた複数の前記画像内における重複
   部分の対応関係を特定する第一のステップと、 前記複数の画像の中から前記歪みを補正する対象を選択
   する第二のステップと、 前記第一のステップにおいて特定された前記対応関係に
   応じて、前記第二のステップで選択された前記画像の前
   記歪みを補正する第三のステップとを有することを特徴
   とする画像処理方法。
2. 【請求項２】 前記第二のステップでは、前記画像内に
   おいて前記被写体が占める領域の広さに応じて前記補正
   の対象を自動的に選択する請求項１に記載の画像処理方
   法。
3. 【請求項３】 前記第二のステップでは、前記画像内に
   おいて検出される直線状パターンの向きに応じて前記補
   正の対象を自動的に選択する請求項１に記載の画像処理
   方法。
4. 【請求項４】 前記第二のステップでは、前記第一のス
   テップにおいて特定された前記対応関係に応じて前記補
   正の対象を自動的に選択する請求項１に記載の画像処理
   方法。
5. 【請求項５】 前記第二のステップでは、前記撮影毎に
   検出された前記被写体の向きに応じて前記補正の対象を
   自動的に選択する請求項１に記載の画像処理方法。
6. 【請求項６】 被写体に対して少なくとも一部が重複す
   るよう複数の方向から撮影された画像の歪みを補正する
   画像処理方法であって、 前記撮影により得られた複数の前記画像内における重複
   部分の対応関係をそれぞれ特定する第一のステップと、 前記複数の画像の中から前記歪みが最も少ない前記画像
   を選択する第二のステップと、 前記第一のステップにおいて特定された前記対応関係に
   応じて、前記複数の画像の前記歪みをそれぞれ補正し、
   前記第二のステップにおいて選択された前記画像と合成
   する第三のステップとを有することを特徴とする画像処
   理方法。
7. 【請求項７】 被写体に対して少なくとも一部が重複す
   るよう複数の方向から撮影された画像の歪みを補正する
   画像処理装置であって、 前記撮影により得られた複数の前記画像内における重複
   部分の対応関係を検出する対応検出手段と、 前記複数の画像の中から前記歪みが最も少ない前記画像
   を選択する選択手段と、 前記対応検出手段において検出された前記対応関係に応
   じて、前記複数の画像の前記歪みをそれぞれ補正し、前
   記選択手段において選択された前記画像と合成する画像
   合成手段とを備えたことを特徴とする画像処理装置。
8. 【請求項８】 被写体に対して少なくとも一部が重複す
   るよう複数の方向から撮影された画像の歪みを補正する
   画像処理装置であって、 これから撮影する複数の前記画像のうち、前記歪みを補
   正する際の基準とする前記画像を予め選択する選択手段
   と、 前記選択手段によりなされた前記選択に応じて、次に撮
   影する前記画像が前記基準とされる前記画像となること
   をユーザへ通知する通知手段と、 撮影することにより得られた前記基準とされる前記画像
   と他の前記画像との間における重複部分の対応関係を検
   出する対応検出手段と、 前記対応検出手段により検出された前記対応関係に応じ
   て、前記基準とされる前記画像の前記歪みを補正する補
   正手段とを備えたことを特徴とする画像処理装置。
9. 【請求項９】 被写体に対して少なくとも一部が重複す
   るよう複数の方向から撮影された画像の歪みを補正する
   画像処理装置であって、 前記撮影により得られた複数の前記画像内における重複
   部分の対応関係を検出する対応検出手段と、 前記複数の画像の中から前記歪みを補正する対象を選択
   する選択手段と、 前記対応検出手段により検出された前記対応関係に応じ
   て、前記選択手段により選択された前記画像の前記歪み
   を補正する補正手段とを備えたことを特徴とする画像処
   理装置。
10. 【請求項１０】 被写体に対して少なくとも一部が重複
    するよう複数の方向から撮影された画像の歪みを補正す
    る画像処理装置であって、 前記被写体を同時に撮影する複数の光学手段と、 前記複数の光学手段で撮影される前記画像のうち前記補
    正の対象とする前記画像を選択する選択手段と、 前記選択手段により選択された前記画像と他の前記画像
    との間における重複部分の対応関係を検出する対応検出
    手段と、 前記対応検出手段により検出された前記対応関係に応じ
    て、前記選択された画像の前記歪みを補正する補正手段
    とを備えたことを特徴とする画像処理装置。
11. 【請求項１１】 前記選択手段は、前記画像内において
    前記被写体が占める領域の広さに応じて前記補正の対象
    を自動的に選択する請求項９又は１０に記載の画像処理
    装置。
12. 【請求項１２】 前記選択手段は、前記画像内において
    検出される直線状パターンの向きに応じて前記補正の対
    象を自動的に選択する請求項９又は１０に記載の画像処
    理装置。
13. 【請求項１３】 前記選択手段は、前記対応検出手段に
    より検出された前記対応関係に応じて前記補正の対象を
    自動的に選択する請求項９に記載の画像処理装置。
14. 【請求項１４】 前記選択手段は、前記撮影毎に検出さ
    れた前記被写体の向きに応じて前記補正の対象を自動的
    に選択する請求項９又は１０に記載の画像処理装置。
15. 【請求項１５】 被写体に対して少なくとも一部が重複
    するよう複数の方向から撮影された画像の歪みをコンピ
    ュータにより補正するためのプログラムを記録したコン
    ピュータ読み取り可能な記録媒体であって、前記プログ
    ラムは、 前記コンピュータに対し、前記撮影により得られた複数
    の前記画像内における重複部分の対応関係を特定させ、 前記複数の画像の中から前記歪みを補正する対象を選択
    させ、 特定された前記対応関係に応じて、選択された前記画像
    の前記歪みを補正させることを特徴とするコンピュータ
    読み取り可能な記録媒体。
16. 【請求項１６】 被写体に対して少なくとも一部が重複
    するよう複数の方向から撮影された画像の歪みをコンピ
    ュータにより補正するためのプログラムを記録したコン
    ピュータ読み取り可能な記録媒体であって、前記プログ
    ラムは、 前記コンピュータに対し、前記撮影により得られた複数
    の前記画像内における重複部分の対応関係をそれぞれ特
    定させ、 前記複数の画像の中から前記歪みが最も少ない前記画像
    を選択させ、 特定された前記対応関係に応じて、前記複数の画像の前
    記歪みをそれぞれ補正させて、選択された前記画像と合
    成させることを特徴とするコンピュータ読み取り可能な
    記録媒体。