JP4513871B2 - 画像処理方法、画像処理プログラムおよび画像処理装置 - Google Patents

Description

この発明は、画像処理方法、画像処理プログラムおよび画像処理装置に関する。

図７Ａ〜Ｈは、自動車の助手席付近にデジタルスチルカメラをつりさげ、進行方向を例えば10秒ごとに自動的に撮影して得られた画像の一例を示す。これらの画像は間欠撮影された静止画であるが、内容に連続性を有しているので、短い時間間隔、例えば0.8秒の時間間隔で順に再生していくと、いわゆるぱらぱら動画のような再生画像となり、動きこそぎこちないが、一連の動作や風景の変化を読み取ることができる。

なお、以後、上記のように、所定の時間間隔で撮影した画像を、短い時間間隔で順に再生していく再生方法を「スライドショウ再生」と呼ぶ。

また、例えば、ユーザが観光地を歩きまわるとき、デジタルスチルカメラを首から下げて同様に間欠撮影をし、その撮影した画像をスライドショウ再生した場合には、観光地を歩き回ったときに観たものや様子をリアルに再現することができる。

なお、先行技術文献として例えば以下のものがある。
特開２００３−２５０１１７号公報

ところが、撮影時、デジタルスチルカメラが大きく揺れた場合には、その揺れにつれてデジタルスチルカメラの光軸の方向が大きく変化するので、例えば、図７に示すように、画像が図７Ａから図７Ｈに変わって行く間に、空の占める広さ（地平線の高さ）がランダムに変化している。すなわち、中心的な被写体の位置や全体の構図が画像によって大きく変化してしまう。

したがって、このような画像をスライドショウ再生した場合、画像の内容が似ているのに、あるいは画像の内容が少しずつ変化していくのに、中心的な被写体の位置や全体の構図が画像ごとに上下あるいは左右に大きく変化するので、非常に見づらく、疲れたり、乗り物酔いのような悪寒を感じてしまうことがある。

また、動画の場合も同様で、再生時、フレーム間で中心的な被写体や全体の構図が上下あるいは左右に移動すると、その映像は非常に見づらく、疲労や悪寒をもたらしてしまう。

この発明は、以上のような問題点を解決しようとするものである。

この発明においては、
複数の原画像のそれぞれに対してエッジ抽出を行ってエッジ画像を得るエッジ抽出処理と、
上記エッジ画像から直線を抽出して線画像を得る線画像処理と、
上記線画像を構成する直線について延長線を想定し、その延長線から消失点を求める消失点決定処理と、
上記複数の原画像のそれぞれにおける上記消失点の位置が互いに一致するように、上記複数の原画像のそれぞれをトリミングして上記最終的な画像を得るトリミング処理と
を有する画像処理方法
とするものである。

この発明によれば、スライドショウ再生をした場合、中心的な被写体や全体の構図などが画像ごとに大きくずれることがなく、したがって、非常に見やすく、疲れを感じたり、乗り物酔いのような悪寒を感じることがない。

〔１〕 この発明のアウトライン
図１は、この発明における画像処理のアウトラインを示すもので、図１Ａにおいて、符号１１は、デジタルスチルカメラにより間欠撮影した原画像の１枚を示す。この原画像１１は、例えば、上述のように、デジタルスチルカメラを自動車の助手席付近につりさげ、進行方向を例えば10秒ごとに自動的に撮影して得られた画像の一枚である。

そして、この原画像１１に対して、エッジ抽出処理を行うことにより、図１Ｂに示すように、エッジ画像１２を得る。次に、このエッジ画像１２から直線を抽出して、図１Ｃに示すように、線画像１３を得る。すると、この線画像１３を構成する直線のうち、いくつかの直線は、遠近法により描画したときに、無限遠点（消失点）から放射状に伸びる直線の一部と考えることができる。

そこで、この考えを利用し、図１Ｄに示すように、線画像１３を構成するすべて直線について延長線を想定し、その延長線が最も多く収束ないし交わる点Ｐxを消失点に決定する。

そして、消失点Ｐxが決定されたら、この消失点Ｐxがフレーム（最終的な画像）に含まれるように、原画像１１をトリミングし、例えば図１Ｅに示すようにトリミング画像１４を形成する。この場合、トリミングの範囲は、例えば図１Ｄに鎖線TRMGにより示すように、消失点Ｐxがフレームの例えば中央に位置し、かつ、原画像１１の例えば50％の面積となるように設定される。

続いて、このトリミング画像１４が、図１Ｆに示すように、原画像１１と例えば同じ大きさの画像１５となるように拡大され、この画像１５が、最終的な補正画像として保存される。また、以上の処理は、スライドショウ再生がされるすべての画像に対して、実行される。

以上のような処理を実行すれば、例えば図３に示すように、スライドショウ再生をした場合、中心的な被写体や全体の構図などが画像ごとに大きくずれることがなく、したがって、見やすく、疲れを感じにくいスライドショウ再生を提供できる。

〔２〕 画像の適正化について
上記の〔１〕を実行する場合、より適切なスライドショウ再生を実現する場合、以下のような補正処理をすることが望ましい。

〔２−１〕 トリミングエリアの設定
例えば、図１Ａに示す原画像１１は、図１Ｄにおいて鎖線TRMGにより囲った範囲がトリミングエリア（トリミングで有効となる範囲）となって最終的な補正画像１５となる。しかし、例えば、撮影時にデジタルスチルカメラが大きく揺れてデジタルスチルカメラの光軸が斜め下方を向いてしまい、原画像が図２Ａに符号１１により示すような内容となった場合には、トリミングエリアTRMGが図２Ｂに示すように、画像１１の線画像１３の上部からはみ出してしまう。

すると、このときの最終的な補正画像１５は、図２Ｃにより示すように、上部に非撮影部分（非画像エリア）BLNKを生じてしまい、スライドショウ再生時、その非撮影部分BLNKが例えば黒く表示され、見苦しいものとなってしまう。

そこで、図２に示す例においては、図２Ｃに示すように、非撮影部分BLNKを生じた場合には、例えば図２Ｄに示すように、非撮影部分BLNKを埋めるように、補正画像１５が全体に上部方向に伸張された画像１５Ａに補正される。

このようにすれば、スライドショウ再生時、非撮影部分BLNKの目立つことがない。また、補正画像１５Ａは画像１５が縦方向に伸張されたものであるが、内容が前後の画像と連続しているとともに、画像１５Ａがスライドショウ再生により表示されるのは、ごく一瞬（例えば0.8秒間）であるから、ユーザに違和感を与えることはない。

なお、図２Ｂに示すように、トリミングエリアTRMGが線画像１３（画像１１）からはみ出すか否かを検出するため、線画像１３に、トリミング可能エリアTROKが設定される。つまり、トリミングエリアTRMGが線画像１３（画像１１）からはみ出さないときには、消失点Ｐxがトリミング可能エリアTROKの中に位置し、トリミングエリアTRMGが線画像１３（画像１１）からはみ出すときには、消失点Ｐxがトリミング可能エリアTROKから外れるように、トリミング可能エリアTROKが設定される。

したがって、トリミング可能エリアTROKに対する消失点Ｐxの位置から、非撮影部分BLNKの有無、その方向（位置）および大きさを検出することができ、その検出結果により例えば図２Ｄに示すように補正した画像１５Ａを得ることができる。

〔２−２〕 トリミングの角度の補正
上記の〔２−１〕は、デジタルスチルカメラが自動車の助手席付近やユーザの首などから正しく水平に釣り下げられている場合であるが、実際には自動車の走行やユーザの歩行につれてデジタルスチルカメラが一時的に左右に傾くことがある。すると、そのとき撮影した画像の内容は傾いているので、そのスライドショウ再生も見苦しいものとなってしまう。

そこで、このような場合には、連続する２つの画像（ｎ−１）、ｎにおいて、それぞれの失点Ｐx、Ｐxを決定したら、次に、
(1) 画像ｎの消失点Ｐxが、画像（ｎ−１）の消失点Ｐxに一致するように画像ｎをシフトさせる。
(2) 画像ｎにおいて消失点Ｐxを与えている延長線が、画像（ｎ−１）において消失点Ｐxを与えている延長線に一致するように、画像ｎを消失点Ｐxを中心に回転させる。
(3) 以後、〔２−１〕のトリミング処理以降を実行する。
ものとする。

このようにすれば、デジタルスチルカメラは一時的に左右に傾いても、最終的な画像が傾くことがなく、スライドショウ再生が見苦しくなることがない。

〔３〕 処理結果
図３は、図７の画像に対して、上述の〔１〕および〔２〕の処理を実行した結果を示し、図３Ａ〜Ｈが図７Ａ〜Ｈにそれぞれ対応する。この図３によれば、画像の内容は、その撮影間隔にしたがって変化していくが、処理前の画像（図７Ａ〜Ｈ）に比べ、中心的な被写体の位置や全体の構図が安定している。したがって、この画像をスライドショウ再生した場合、非常に見やすく、観ていて疲れることもない。

〔４〕 装置の構成
上述した〔１〕および〔２〕の処理は専用のハードウェアにより実現することもできるが、以下においては、パーソナルコンピュータにより実現する場合である。

図４において、符号３０はパーソナルコンピュータを示し、このパーソナルコンピュータ３０は、各種のプログラムを実行するＣＰＵ３１と、イニシャルプログラムローダが保存されている不揮発性メモリ３２と、ワークエリア用のＲＡＭ３３と、大容量の記憶デバイスとしてハードディスクドライブ３４とを有する。そして、これら不揮発性メモリ３２、ＲＡＭ３３およびハードディスクドライブ３４は、システムバス３９を通じてＣＰＵ３１に接続されている。

この場合、ハードディスクドライブ３４には、ＯＳと、各種のアプリケーションプログラムとが用意されているとともに、そのアプリケーションプログラムの一部として、例えば図５に示すルーチン１００が用意されている。このルーチン１００の詳細については後述するが、ルーチン１００は上述した〔１〕を実行するためのものであり、図５においては、この発明に関係する部分だけを抜粋して示している。

さらに、ハードディスクドライブ３４には、図７に示すような原画像（原画像の画像データ）が用意されるとともに、ルーチン１００が実行されたとき、図３に示すように補正された画像（最終的な画像）が保存される。

また、システムバス３９には、入力デバイス３５と、カードリーダ３６と、ＵＳＢポート３７とが接続されている。この場合、入力デバイス３５は、キーボードやマウスなどのようにユーザが操作して指示やデータの入力を行うためのものであり、カードリーダ３６は、外部のメモリカード（図示せず）が挿入されたとき、そのメモリカードにデータなどをアクセスするためのものである。さらに、ＵＳＢポート３７は、ＵＳＢコネクタ３８に外部のＵＳＢ機器を接続したとき、そのＵＳＢ機器との間で、データなどをアクセスするためのものである。

なお、図４においては、ＵＳＢコネクタ３８にデジタルスチルカメラ５０が接続され、このデジタルスチルカメラ５０の撮影した画像、すなわち、〔１〕による補正の対象となる原画像の取り込みが行われる。ただし、デジタルスチルカメラ５０が、これに内蔵されているメモリカード（図示せず）に、撮影した画像を保存しているとともに、そのメモリカードがデジタルスチルカメラ５０から着脱自在なときには、そのメモリカードをカードリーダ３６にセットすることにより、デジタルスチルカメラ５０の撮影した原画像の取り込みも可能とされている。

また、デジタルスチルカメラ５０から取り込まれた原画像は、ハードディスクドライブ３４に保存され、ルーチン１００が実行されたとき、例えば図３に示すような画像に補正される。

さらに、パーソナルコンピュータ３０には、オーディオ再生回路４１および表示制御回路４３が設けられ、これらもシステムバス３９に接続されている。オーディオ再生回路４１は、これにデジタルオーディオデータが供給されたとき、必要に応じてＭＰ３などのデコード処理を行い、さらに、そのデジタルオーディオデータをアナログオーディオ信号にＤ／Ａ変換し、そのアナログオーディオ信号をスピーカ４２に供給するものである。

また、表示制御回路４３は、図示はしないがビデオＲＡＭを有し、このビデオＲＡＭに表示データが供給されるとともに、所定の周期で繰り返し読み出されてビデオ信号に変換され、このビデオ信号がディスプレイ４４に供給されて画像を表示するものである。

〔５〕 装置の動作
ここでは、図４のパーソナルコンピュータ３０について、その動作および処理内容を、図１および図２を参照して説明する。

〔５−１〕 〔１〕の補正だけを実行する場合の動作
この場合には、パーソナルコンピュータ３０の電源をオンにすると、ＣＰＵ３１により不揮発性メモリ３２のイニシャルプログラムローダが実行され、ハードディスクドライブ３４からＯＳが読み出されてＲＡＭ３３に転送されて実行され、アプリケーションプログラムの実行待ちとなる。そこで、入力デバイス３５を操作してルーチン１００の実行を指示すると、ハードディスクドライブ３４からルーチン１００が読み出されてＲＡＭ３３に転送され、ルーチン１００の実行が開始される。

このルーチン１００においては、ＣＰＵ３１の処理がステップ１０１から開始され、次にステップ１０２において、ハードディスクドライブ３４に保存されている原画像のうちの第１枚目の原画像１１（図１Ａ）が、処理対象として選択される。続いて、ステップ１１１において、その処理対象の画像１１に対して、エッジ抽出処理が行われる。

このステップ１１１におけるエッジ抽出処理の方法としては、例えば、J.Canny：“A Computational Approach to Edge Detection”，IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.8, No.6, Nov.1986 に示されている方法を使用することができる。

次に、ステップ１１２において、ステップ１１１により形成されたエッジ画像１２から直線が抽出されて線画像１３（図１Ｃ）が形成される。このエッジ画像１２から直線を抽出して線画像１３を得る方法として、例えばハフ変換による直線抽出法を採用することができる。このハフ変換については、P.V.C.Hough,“Method and means for recognizing complex patterns,” U.S.Patent 3069654, 1962. あるいは Duda,R.O. and P.E.Hart,“Use of the Hough Transformation to Detect Lines and Curves in Pictures,” Comm. ACM, Vol.15, pp.11-15 (January, 1972) に示されている。

続いて、ステップ１１３において、線画像１３における直線のうち、その延長線が最も多く収束ないし交わる点Ｐxが消失点に決定される（図１Ｄ）。

そして、次にステップ１１４において、図１Ｄの範囲TRMGが有効範囲となるように、原画像１１のトリミングが行われる（図１Ｅ）。すなわち、消失点Ｐxがフレーム（最終的な補正画像１５）の例えば中央に位置するように、かつ、面積が原画像１１の50％となるように、原画像１１のトリミングが行われて画像１４が形成される。

続いて、ステップ１１５において、ステップ１１４により形成されたトリミング画像１４が、原画像１１と同じ大きさとなるように拡大され、最終的な補正画像１５が形成され（図１Ｆ）、ステップ１１６において、その補正画像１５がハードディスクドライブ３４に保存される。

次にステップ１２１において、ハードディスクドライブ３４におけるすべての画像（補正対象となるすべての画像）に対して上述の補正処理が実行されたか否かが判別され、未補正の画像が残っている場合には、処理はステップ１２１からステップ１２２に進み、このステップ１２２において、次の未補正の画像が選択され、その後、処理はステップ１１１に戻る。したがって、ステップ１２２において選択された未補正の画像についても上述のように補正が行われる。

そして、ハードディスクドライブ３４におけるすべての画像に対して上述の補正処理が実行されると、これがステップ１２１により判別され、処理はステップ１２１からステップ１２３に進み、このステップ１２３によりルーチン１００を終了する。

こうして、ルーチン１００によれば、〔１〕の補正処理を実現することができ、スライドショウ再生をした場合、中心的な被写体や全体の構図などが画像ごとに大きくずれることがなく、したがって、見やすく、疲れを感じにくいスライドショウ再生を提供できる。

〔５−２〕 〔２〕の適正化も実行する場合の動作
この場合には、ハードディスクドライブ３４には、ルーチン１００に代わって図６に示すルーチン２００が用意され、このルーチン２００がＣＰＵ３１により実行される。すなわち、このルーチン２００においては、ＣＰＵ３１の処理がステップ２０１から開始され、次にステップ２０２において、ハードディスクドライブ３４に保存されている原画像のうちの第１枚目の原画像１１（図１Ａ）が、処理対象として選択される。続いて、ステップ２１１において、その処理対象の画像１１に対して、エッジ抽出処理が行われ、エッジ画像１２（図１Ｂ）が形成される。

次に、ステップ２１２において、ステップ２１１により形成されたエッジ画像１２から直線が抽出されて線画像１３（図１Ｃ）が形成され、続いて、ステップ２１３において、線画像１３における直線のうち、その延長線が最も多く収束ないし交わる点Ｐxが消失点に決定される（図１Ｄ）。

そして、次にステップ２２１において、ステップ２１３により消失点Ｐxを決定できたか否か（消失点Ｐxの有無）が判別され、消失点Ｐxを決定できた場合には、処理はステップ２２１からステップ２２２に進み、このステップ２２２において、上記(1)項が実行され、画像ｎの消失点Ｐxが、画像（ｎ−１）の消失点Ｐxに一致するように画像ｎがシフトされる。続いて、ステップ２２３において、上記(2)項が実行され、画像ｎにおいて消失点Ｐxを与えている延長線が、画像（ｎ−１）において消失点Ｐxを与えている延長線に一致するように、画像ｎが消失点Ｐxを中心に回転させられる。

なお、このステップ２２２、２２３のために、１つ前の画像（ｎ−１）がＲＡＭ３３に一時的に保存されている。また、処理対象の画像が第１枚目のとき（ｎ＝１）には、基準となるｎ＝０の画像が存在しないので、ステップ２２２、２２３は実行されない。

続いて、処理はステップ２２４に進み、このステップ２２４において、消失点Ｐxがトリミング可能エリアTROKの中に位置しているか否か（図２Ｂ）が判別され、位置している場合には、処理はステップ２２４からステップ２２６に進む。

しかし、消失点Ｐxがトリミング可能エリアTROKの中に位置していない場合には、処理はステップ２２４からステップ２２５に進み、図２Ｃ、Ｄに示すように、非撮影部分BLNKをカバーするように、原画像１１が伸張される。すなわち、消失点Ｐxが、トリミング可能エリアTROKから外れている方向に、その外れた大きさだけ、原画像１１が伸張される。そして、その後、処理はステップ２２６に進む。

そして、ステップ２２６において、図１Ｄの範囲TRMGがトリミング範囲となるように、原画像１１（あるいはステップ２２５により伸張された画像）のトリミングが行われる（図１Ｅ）。すなわち、消失点Ｐxがフレーム（最終的な補正画像１５）の例えば中央に位置するように、かつ、面積が原画像１１の50％となるように、原画像１１のトリミングが行われて画像１４が形成される。

続いて、ステップ２２７において、ステップ２２６により形成されたトリミング画像１４が、原画像１１と同じ大きさとなるように拡大され、最終的な補正画像１５（あるいは１５Ａ）が形成され（図１Ｆあるいは図２Ｄ）、ステップ２２８において、その補正画像１５がハードディスクドライブ３４に保存される。

次にステップ２３１において、ハードディスクドライブ３４におけるすべての画像（補正対象となるすべての画像）に対して上述の補正処理が実行されたか否かが判別され、未補正の画像が残っている場合には、処理はステップ２３１からステップ２３２に進み、このステップ２３２において、次の未補正の画像が選択される。

そして、ステップ２３３において、ステップ２３２により選択された画像ｎと、１つ前の画像（ｎ−１）とが比較され、次のステップ２３４において、両画像ｎ、（ｎ−１）の類似度が判別される。そして、その類似度が、所定の値以上の場合には、両画像ｎ、（ｎ−１）が連続した風景などであると見なされ、処理はステップ２３４からステップ２１１に戻る。したがって、ステップ２３２において選択された未補正の画像についても上述のように補正が行われる。

しかし、ステップ２３４において、両画像ｎ、（ｎ−１）の類似度が所定の値に達していない場合には、両画像ｎ、（ｎ−１）が連続した風景などではないと判断され、処理はステップ２３４からステップ２３５に進む。そして、このステップ２３５において、ステップ２３２により選択された未補正の画像が、ステップ２０２と同様、第１枚目の画像と見なされ、その後、処理はステップ２１１に戻る。したがって、ステップ２３２において選択された未補正の画像を第１枚目の画像として、ステップ２１１以降が実行され、上述のように補正が行われる。

そして、ハードディスクドライブ３４におけるすべての画像に対して上述の補正処理が実行されると、これがステップ２３１により判別され、処理はステップ２３１からステップ２３６に進み、このステップ２３６によりルーチン２００を終了する。

また、ステップ２２１において、消失点Ｐxを決定できなかった場合（例えば、水平線や人物しか撮影されていないような場合）には、処理はステップ２２１からステップ２４１に進み、このステップ２４１において、消失点Ｐxがない場合の処理が実行され、その後、処理はステップ２３１に進む。

こうして、ルーチン２００によれば、〔１〕の補正処理に加えて〔２〕の適正化処理も実現することができるので、より見やすく、疲れを感じにくいスライドショウ再生を提供できる。

〔６〕 まとめ
上述のシステムによれば、スライドショウ再生をした場合、例えば図３に示すように、中心的な被写体や全体の構図などが画像ごとに大きくずれることがなく、したがって、非常に見やすく、疲れを感じたり、乗り物酔いのような悪寒を感じてしまうことがない。

また、デジタルスチルカメラは一時的に左右に傾いても、最終的な画像が傾くことがなく、スライドショウ再生が見苦しくなることがない。

〔７〕 その他
上述において、原画像１１を処理が容易なサイズ（ドット数）に縮小し、その縮小画像に対して〔１〕により説明した処理を実行してトリミング範囲TRMGを決定し、このトリミング範囲TRMGを原画像１１に適用して最終的な補正画像１５を得ることもできる。

また、上述においては、消失点Ｐxがフレーム（最終的な補正画像１５）の中央に位置するようにしているが、連続するフレームにおいて消失点Ｐxの位置が固定されていればよく、必ずしもフレームの中央に位置しなくてもよい。例えばユーザが設定できるようにしてもよい。

また、上述のように、内容が関連して変化していく画像に対して効果的であるから、デジタルムービーカメラにより撮影した動画の場合に、より効果的である。

さらに、上述においては、ステップ２２７において、トリミング画像１４を拡大して原画像１１と同じ大きさの最終的な補正画像１５を得ているが、トリミング画像１４をユーザが設定した大きさ、例えばディスプレイ４４のドット数に等しいドット数の大きさに拡大あるいは縮小して最終的な補正画像１５とすることもできる。

〔略語の一覧〕
ＣＰＵ ：Central Processing Unit
Ｄ／Ａ ：Digital to Analog
ＭＰ３ ：MPEG-1/Audio Layer 3
ＭＰＥＧ：Motion Picture Experts Group
ＯＳ ：Operating System
ＲＡＭ ：Random Access Memory
ＵＳＢ ：Universal Serial Bus

この発明における処理内容の概要を説明するための図である。 この発明における処理内容の概要を説明するための図である。 この発明による効果を説明するための図である。 この発明の一形態を示す系統図である。 この発明の一形態を示すフローチャートである。 この発明の他の形態を示すフローチャートである。 従来の技術を説明するための図である。

符号の説明

１１…原画像、１２…エッジ画像、１３…線画像、１４…トリミング画像、１５…最終補正画像、３０…パーソナルコンピュータ、３１…ＣＰＵ、３４…ハードディスクドライブ、４４…ディスプレイ、Ｐx…消失点

Claims (6)

1. 複数の原画像のそれぞれに対してエッジ抽出を行ってエッジ画像を得るエッジ抽出処理と、
   上記エッジ画像から直線を抽出して線画像を得る線画像処理と、
   上記線画像を構成する直線について延長線を想定し、その延長線から消失点を求める消失点決定処理と、
   上記複数の原画像のそれぞれにおける上記消失点の位置が互いに一致するように、上記複数の原画像のそれぞれをトリミングして最終的な画像を得るトリミング処理と、
   を含み、
   上記複数の原画像のそれぞれにおける上記消失点の位置が互いに一致するように、上記トリミング処理を行った場合に、上記原画像に非画像エリアを生じるときには、その非画像エリアを埋めるように、上記原画像を伸張する、画像処理方法。
2. 請求項１に記載の画像処理方法において、
   上記複数の原画像のそれぞれにおける上記消失点の位置が互いに一致するように、上記トリミング処理を行うとき、上記複数の原画像のそれぞれから得た上記線画像における上記直線が一致するように、上記原画像の傾きを補正する
   ことを特徴とする画像処理方法。
3. 請求項１に記載の画像処理方法において、
   上記トリミングにより上記最終的な画像を得るとき、そのトリミング結果の画像を上記原画像に基づいた大きさとする
   ことを特徴とする画像処理方法。
4. 請求項１に記載の画像処理方法において、
   上記トリミング結果の画像を記憶デバイスに保存する
   ことを特徴とする画像処理方法。
5. 複数の画像を処理するためにコンピュータにより実行されるプログラムであって、
   複数の原画像のそれぞれに対してエッジ抽出を行ってエッジ画像を得るエッジ抽出ステップと、
   上記エッジ画像から直線を抽出して線画像を得る線画像ステップと、
   上記線画像を構成する直線について延長線を想定し、その延長線から消失点を求める消失点決定ステップと、
   上記複数の原画像のそれぞれにおける上記消失点の位置が互いに一致するように、上記複数の原画像のそれぞれをトリミングして上記最終的な画像を得るトリミングステップと、
   を有し、
   上記複数の原画像のそれぞれにおける上記消失点の位置が互いに一致するように、上記トリミングステップを行った場合に、上記原画像に非画像エリアを生じるときには、その非画像エリアを埋めるように、上記原画像を伸張する伸長ステップを、コンピュータに実行させるための画像処理プログラム。
6. 複数の原画像のそれぞれに対してエッジ抽出を行ってエッジ画像を得るエッジ抽出回路と、
   上記エッジ画像から直線を抽出して線画像を得る線画像回路と、
   上記線画像を構成する直線について延長線を想定し、その延長線から消失点を求める消失点決定回路と、
   上記複数の原画像のそれぞれにおける上記消失点の位置が互いに一致するように、上記複数の原画像のそれぞれをトリミングして上記最終的な画像を得るトリミング回路と、
   を備え、
   前記トリミング回路は、上記複数の原画像のそれぞれにおける上記消失点の位置が互いに一致するように、上記トリミング処理を行った場合に、上記原画像に非画像エリアを生じるときには、その非画像エリアを埋めるように、上記原画像を伸張する、画像処理装置。