JP4982343B2 - 画像処理装置、画像評価方法、プログラム及び情報記憶媒体 - Google Patents

Description

本発明は、画像処理装置、画像評価方法、プログラム及び情報記憶媒体に関する。

異なる視点から撮影された複数の写真などの画像のうちの少なくとも一方を変換して、これら複数の画像を滑らかに合成する技術が知られている。

例えば、特許文献１や非特許文献１には、異なる視点から撮影された２つの画像に基づいて、平面射影行列を推定し、この平面射影行列を用いて少なくとも１つの画像を変換した上で、画像を合成する技術が開示されている。

また、非特許文献１には、２つの画像を合成する際に用いられる平面射影行列を、少なくとも４組の、２つの画像を合成する際に互いに重なるべき接続点の組合せに基づいて、最小二乗法により推定する技術が開示されている。
特開２００４−２４６６６７号公報 千葉直樹 他著、「画像特徴に基づくイメージモザイキング」、電子情報通信学会論文誌 D-II Vol.J82-D-II No.10、1999年10月、pp.1581-1589

合成の対象となる複数の画像のそれぞれに、例えば、地面に引かれている白いラインや、人物の輪郭などといった、互いに連続する線である撮影対象が表されているような場合がある。このような場合に、非特許文献１に示されているような方法などを用いて、互いに重なるべき接続点が接続されるようにして複数の画像を合成しても、例えば、図１６（ａ）〜（ｄ）に示すように、画像が合成される境界付近において連続する線が滑らかにつながらないことがある。

本発明は、上記課題に鑑みてなされたものであって、互いに連続する線が表されている複数の画像を合成して合成画像を生成する際に、より滑らかに、互いに連続する線をつなげられる画像処理装置、プログラム及び情報記憶媒体を提供すること、また、合成画像の滑らかさを評価する画像評価方法を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、第１の線が表されている第１の撮影画像と、前記第１の線に連続する第２の線が表されている第２の撮影画像とを取得して、前記第１の撮影画像と、前記第２の撮影画像と、の少なくとも一方を変換して、前記第１の線、及び、前記第２の線が表される合成画像を生成し、出力する画像処理装置であって、前記第１の撮影画像と、前記第２の撮影画像と、の少なくとも一方を所与の変換方法によって仮変換することにより生成される仮の合成画像における、前記第１の線、及び、前記第２の線の配置を取得する線配置取得手段と、前記第１の線、及び、前記第２の線の配置に従って、前記仮の合成画像における前記第１の線、及び、前記第２の線の連続性を評価する線連続性評価手段と、前記線連続性評価手段における評価結果に従って、前記仮の合成画像を出力するか否かを判断する画像出力判断手段と、を含むことを特徴とする。

また、本発明に係る画像評価方法は、第１の線が表されている第１の撮影画像と、前記第１の線に連続する第２の線が表されている第２の撮影画像とを取得して、前記第１の撮影画像と、前記第２の撮影画像と、の少なくとも一方を変換することによって生成される、前記第１の線、及び、前記第２の線が表される合成画像の滑らかさを評価する画像評価方法であって、前記第１の撮影画像と、前記第２の撮影画像と、の少なくとも一方を所与の変換方法によって仮変換することにより生成される仮の合成画像における、前記第１の線、及び、前記第２の線の配置を取得する線配置取得ステップと、前記第１の線、及び、前記第２の線の配置に従って、前記仮の合成画像における前記第１の線、及び、前記第２の線の連続性を評価する線連続性評価ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、第１の線が表されている第１の撮影画像と、前記第１の線に連続する第２の線が表されている第２の撮影画像とを取得して、前記第１の撮影画像と、前記第２の撮影画像と、の少なくとも一方を変換して、前記第１の線、及び、前記第２の線が表される合成画像を生成し、出力する画像処理装置としてコンピュータを機能させるプログラムであって、前記第１の撮影画像と、前記第２の撮影画像と、の少なくとも一方を所与の変換方法によって仮変換することにより生成される仮の合成画像における、前記第１の線、及び、前記第２の線の配置を取得する線配置取得手段、前記第１の線、及び、前記第２の線の配置に従って、前記仮の合成画像における前記第１の線、及び、前記第２の線の連続性を評価する線連続性評価手段、前記線連続性評価手段における評価結果に従って、前記仮の合成画像を出力するか否かを判断する画像出力判断手段、として前記コンピュータを機能させることを特徴とする。コンピュータは、パーソナルコンピュータ、サーバコンピュータなどであってよい。また、プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの各種コンピュータ読取可能な情報記憶媒体に格納されてよい。

本発明によると、第１の撮影画像に表された第１の線と第２の撮影画像に表された第２の線の連続性の評価結果に従って、所与の変換方法によって仮変換することにより生成された仮の合成画像を出力するか否かを判断するので、互いに連続する線が表されている複数の画像を合成して合成画像を生成する際に、より滑らかに、互いに連続する線をつなげられる。

また、本発明の一態様では、前記第１の線、及び、前記第２の線は、有限の直線である、ことを特徴とする。こうすれば、第１の撮影画像に表された第１の線と第２の撮影画像に表された第２の線の連続性の評価の手間を軽減することができる。

また、本発明の一態様では、前記第１の撮影画像、及び、前記第２の撮影画像は、直線状の外観部分を有する撮影対象を撮影して得られるものである、ことを特徴とする。こうすれば、この撮影対象を撮影する位置や角度を問わず、第１の撮影画像に表される第１の線も、第２の撮影画像に表される第２の線も有限の直線となるので、第１の撮影画像に表された第１の線と第２の撮影画像に表された第２の線の連続性の評価の手間を軽減することができる。

また、本発明の一態様では、前記画像処理装置が、前記第１の撮影画像内の離散的な接続点候補のうちから選択される第１の接続点と、前記第２の撮影画像内の離散的な接続点候補のうちから選択される第２の接続点と、の組合せを決定する接続点組合せ決定手段をさらに含み、前記線配置取得手段が、前記組合せが決定してから、前記組合せに基づいて定められる変換方法によって仮変換することにより生成される仮の合成画像における、前記第１の線、及び、前記第２の線の配置を取得し、前記画像出力判断手段が、前記線連続性評価手段における評価結果により、前記接続点組合せ決定手段に、前記組合せに属する、前記第１の接続点と、前記第２の接続点と、の少なくとも一方を選択し直させるか否かを決定する、ことを特徴とする。こうすれば、適切な前記第１の接続点と前記第２の接続点との組合せを決定する作業の少なくとも一部を画像処理装置が行うので、画像処理装置を利用するユーザの作業負担を軽減することができる。

また、この態様では、前記接続点組合せ決定手段が、前記第１の接続点と、前記第２の接続点と、の少なくとも一方を選択し直すたびに、前記第１の接続点候補と、前記第２の接続点候補と、の少なくとも一方の接続点候補の間隔を狭めるようにしてもよい。こうすれば、接続点候補の間隔が広い場合において適切な第１の接続点と第２の接続点との組合せが決定できなかった場合にのみ、接続点候補の間隔を狭めて適切な第１の接続点と第２の接続点との組合せを決定するので、接続点候補の間隔が広くても適切な第１の接続点と第２の接続点との組合せが決定できる場合に、画像処理装置の負荷を下げることができる。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

まず、図１〜図３を参照しながら本発明の概要を説明する。

図１は、サッカーフィールド１０の一部を複数のカメラ１２（第１カメラ１２−１〜第３カメラ１２−３）で撮影する様子を示す図である。そして、図２は、これらのカメラ１２により撮影された撮影画像１４（第１の撮影画像１４−１〜第３の撮影画像１４−３）を示す図である。

図１に示すように、各カメラ１２は、異なる視点から、サッカーフィールド１０の一部を含むようにして撮影を行い、撮影画像１４を生成する。第１のカメラ１２−１は第１の撮影画像１４−１を生成し、第２のカメラ１２−２は第２の撮影画像１４−２を生成し、第３のカメラ１２−３は第３の撮影画像１４−３を生成する。

このとき、第１のカメラ１２−１と第２のカメラ１２−２の視野は一部重なっている。そのため、視野が重なっている領域に配置されている撮影対象は、第１の撮影画像１４−１にも第２の撮影画像１４−２にも表される。また、第２のカメラ１２−２の視野と第３のカメラ１２−３の視野も一部重なっている。そのため、視野が重なっている領域に配置されている撮影対象は、第２の撮影画像１４−２にも第３の撮影画像１４−３にも表される。

そして、それぞれのカメラ１２の視野を足し合わせると、サッカーフィールド１０全体は覆い尽くされる。そのため、各撮影画像１４を合成することによって、図３に示すような、サッカーフィールド１０全体が表された合成画像１６を生成することができる。

本発明の一実施形態に係る画像処理装置は、各撮影画像１４を取得して、各撮影画像１４のうちの少なくとも１つに変換（幾何学的な変換など）を行った上で合成して、図３に示すように、サッカーフィールド１０の一部であるサイドライン１８が滑らかにつなげられている、サッカーフィールド１０全体が表された合成画像１６を生成する。

以下、本発明の一実施形態に係る画像処理装置の詳細について説明する。

図４は、本実施形態に係る画像処理装置２０のハードウェア構成を示す図である。

画像処理装置２０は、制御部２２、記憶部２４、ユーザインタフェース（ＵＩ）部２６を含んで構成される。制御部２２、記憶部２４、ＵＩ部２６は、バス２８を介して接続される。

制御部２２はCentral Processing Unit（ＣＰＵ）等のプログラム制御デバイスであり、記憶部２４に格納されたプログラムに従って動作する。

記憶部２４は、Random Access Memory（ＲＡＭ）等の記憶素子やハードディスクなどである。記憶部２４には、制御部２２によって実行されるプログラムなどが格納される。また、制御部２２のワークメモリとしても動作する。

ＵＩ部２６は、ディスプレイ、キーボード、マウスなどであり、画像処理装置２０のユーザが行った操作の内容を制御部２２に出力する。また、このＵＩ部２６は、制御部２２から入力される指示に従って情報を表示出力する。

図５は、本発明の一実施形態に係る画像処理装置の機能ブロック図である。図５に示すように、本発明の一実施形態に係る画像処理装置２０は、機能的には、撮影画像取得部３０、接続点組合せ決定部３２、合成画像生成部３４、線配置取得部３６、線連続性評価部３８、画像出力判断部４０、画像出力部４２を含むものとして機能する。

これらの要素は、コンピュータである画像処理装置２０にインストールされたプログラムを、画像処理装置２０が備える制御部２２で実行することにより実現されている。なお、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の情報伝達媒体を介して、あるいは、インターネット等の通信ネットワークを介して画像処理装置２０に供給される。

撮影画像取得部３０は、例えば、図６に示すような、２本の第１の直線５０ａ（１本目の第１の直線５０ａ−１、及び、２本目の第１の直線５０ａ−２）が表されている第１の撮影画像１４−１と、２本の第２の直線５０ｂ（１本目の第２の直線５０ｂ−１、及び、２本目の第２の直線５０ｂ−２）が表されている第２の撮影画像１４−２とを取得する。

このように、撮影画像取得部３０は、第１の線が表されている第１の撮影画像１４−１と、前記第１の線に連続する第２の線が表されている第２の撮影画像１４−２とを取得する。また、上記のように、第１の線や第２の線は有限の直線５０であってもよい。

また、本実施形態では、これら第１の直線５０ａや第２の直線５０ｂは、図１に示すサイドライン１８の一部を示している。このように、第１の撮影画像１４−１、及び、第２の撮影画像１４−２は、直線状の外観部分を有する撮影対象（例えば、図１に示すサイドライン１８）を撮影して得られるものであってもよい。

なお、撮影画像取得部３０は、直線５０に限らず、楕円、円などの曲線などの線が表されている撮影画像１４を取得しても構わない。

先述の通り、第１のカメラ１２−１の視野と第２のカメラ１２−２の視野とは一部重なっているので、第１の撮影画像１４−１と第２の撮影画像１４−２とには、互いに対応する撮影対象（例えば、人物）が表されている領域が存在する。以後、互いに対応する撮影対象が表されていると考えられる領域を重複領域５２と呼ぶ。すなわち、図６に示す撮影画像１４の例では、撮影画像１４−１の右辺付近が重複領域５２（第１重複領域５２−１）であり、第２の撮影画像１４−２の左辺付近が重複領域５２（第２重複領域５２−２）である。重複領域５２内に表されている、互いに対応する撮影対象が重なるようにして、第１の撮影画像１４−１と第２の撮影画像１４−２とを合成すると、滑らかな合成画像１６が生成される。

接続点組合せ決定部３２は、第１の撮影画像１４−１内の接続点５４（第１の接続点５４−１）と、第２の撮影画像１４−２内の接続点５４（第２の接続点５４−２）と、の組合せを決定する。具体的には、接続点組合せ決定部３２は、例えば、図６に示すように、第１重複領域５２−１内の第１の接続点５４−１と、第２重複領域５２−１内の第２の接続点５４−２と、の組合せを決定する。ここで、接続点組合せ決定部３２は、第１の接続点５４−１と、第２の接続点５４−２と、の組合せを複数組決定してもよい。なお、接続点５４については後述する。また、接続点組合せ決定部３２が、第１の接続点５４−１と第２の接続点５４−２との組合せを決定する処理の詳細についても後述する。

合成画像生成部３４は、第１の撮影画像１４−１と、第２の撮影画像１４−２と、の少なくとも一方を所与の変換方法によって仮変換することにより仮の合成画像１６を生成する。ここで、合成画像生成部３４は、接続点組合せ決定部３２が第１の接続点５４−１と第２の接続点５４−２との組合せを決定してから、接続点組合せ決定部３２が決定した第１の接続点５４−１と第２の接続点５４−２との組合せに基づいて定められる変換方法によって、第１の撮影画像１４−１と、第２の撮影画像１４−２と、の少なくとも一方を仮変換して仮の合成画像１６を生成してもよい。

ここで、仮変換とは、仮の合成画像を生成するために撮影画像に対して行われる変換（幾何学的な変換など）を指す。

合成画像生成部３４は、例えば、接続点組合せ決定部３２が決定した組合せに属する４組の第１の接続点５４−１と第２の接続点５４−２との組合せに基づいて、例えば、非特許文献１に示されている方法などにより、平面射影行列を計算する。そして、合成画像生成部３４は、この平面射影行列を用いて、第１の撮影画像１４−１と、第２の撮影画像１４−２と、のうちの少なくとも一方を仮変換して、仮の合成画像１６を生成する。平面射影行列を用いて撮影画像１４を変換することによって、第１の撮影画像１４−１と、第２の撮影画像１４−２とが撮影された位置や向きの違いを吸収することができる。

なお、合成画像生成部３４が仮の合成画像１６を生成する方法は、上記方法のような平面射影行列を用いる方法には限られない。

線配置取得部３６は、第１の撮影画像１４−１と、前記第２の撮影画像１４−２と、の少なくとも一方を所与の変換方法によって仮変換することにより生成される仮の合成画像１６における、第１の線（例えば、第１の直線５０ａ）、及び、第２の線（例えば、第２の直線５０ｂ）の配置を取得する。

例えば、線配置取得部３６は、エッジ抽出やライン検出等の手法を用い、仮の合成画像１６における、第１の直線５０ａ、及び、第２の直線５０ｂの配置を取得する。第１の直線５０ａや第２の直線５０ｂの配置は、例えば、仮の合成画像１６内における、直線５０が表されている相対座標又は絶対座標、及び、傾き、などによって表される。

なお、線配置取得部３６が、第１の撮影画像１４−１内の第１の線（例えば、第１の直線５０ａ）や、第２の撮影画像１４−２内の第２の線（例えば、第２の直線５０ｂ）が、所与の変換方法によって仮変換された後の配置を計算して、計算された第１の線（例えば、第１の直線５０ａ）や第２の線（例えば、第２の直線５０ｂ）の配置を取得してもよい。すなわち、線配置取得部３６は、合成画像生成部３４が生成した仮の合成画像１６を用いずに、仮の合成画像１６における、第１の線（例えば、第１の直線５０ａ）、及び、第２の線（例えば、第２の直線５０ｂ）の配置を取得してもよい。この場合、合成画像生成部３４が、仮の合成画像１６を生成しなくてもよい。

線連続性評価部３８は、線配置取得部３６が取得した、第１の線（例えば、第１の直線５０ａ）、及び、第２の線（例えば、第２の直線５０ｂ）の配置に従って、仮の合成画像１６における第１の線（例えば、第１の直線５０ａ）、及び、第２の線（例えば、第２の直線５０ｂ）の連続性を評価する。

線連続性評価部３８は、例えば、第１の線と第２の線との連続性が所与の条件を満たすか否かを示す論理値や、第１の線と第２の線との連続性を所与の数式に基づいて計算された数値などで示される、連続性情報を生成することによって、仮の合成画像１６における第１の線、及び、第２の線の連続性を評価する。線連続性評価部３８が仮の合成画像１６における第１の線、及び、第２の線の連続性を評価する指標としては、例えば、第１の線の端と、第２の線の端との距離、第１の線や第２の線が直線５０である場合における傾きの差やなす角、第１の線や第２の線が曲線である場合における曲率の差などが挙げられる。なお、上記の指標はあくまでも例示であり、線連続性評価部３８が仮の合成画像１６における第１の線、及び、第２の線の連続性を他の数値指標を用いて評価しても構わない。また、線連続性評価部３８が、数値で表されない指標を用いて仮の合成画像１６における第１の線、及び、第２の線の連続性を評価しても構わない。

画像出力判断部４０は、線連続性評価部３８における評価結果に従って、仮の合成画像１６を出力するか否かを判断する。画像出力判断部４０は、例えば、線連続性評価部３８が生成する連続性情報を取得して、取得した連続性情報に基づいて、仮の合成画像１６を出力するか否かを判断する。

具体的には、画像出力判断部４０は、第１の線と第２の線との連続性が所与の条件を満たしていることを示す論理値で示される連続性情報を取得した際に、仮の合成画像１６を出力することを判断してもよい。一方、画像出力判断部４０は、第１の線と第２の線との連続性が所与の条件を満たしていないことを示す論理値で示される連続性情報を取得した際に、接続点組合せ決定部３２に、第１の接続点５４−１と、第２の接続点５４−２と、の少なくとも一方を選択し直させるようにしてもよい。このように、画像出力判断部４０は、線連続性評価部３８における評価結果により、接続点組合せ決定部３２に、第１の接続点５４−１と、第２の接続点５４−２と、の少なくとも一方を選択し直させる否かを決定してもよい。

また、画像出力判断部４０は、例えば、複数の第１の接続点５４−１と第２の接続点５４−２との組合せについて、線連続性評価部３８が生成する、所与の数式に基づいて計算された数値で示される連続性情報を取得する場合において、最も高い数値を示している連続性情報に対応する第１の接続点５４−１と第２の接続点５４−２との組合せに対応する仮の合成画像１６を出力することを判断してもよい。

なお、第１の線や第２の線が有限の直線である場合には、画像出力判断部４０が第１の撮影画像に表された第１の線と第２の撮影画像に表された第２の線の連続性を評価する手間を軽減することができる。具体的には、画像出力判断部４０は、第１の直線５０ａと第２の直線５０ｂとの距離、及び、なす角、などといった少ない種類のパラメータによって、第１の線と第２の線との連続性を評価することができる。

画像出力部４２は、画像出力判断部４０が出力することを判断した合成画像１６を記憶部２４などに出力する。この合成画像１６には、第１の線（例えば、第１の直線５０ａ）、及び、第２の線（例えば、第２の直線５０ｂ）が表されている。

次に、図６に示す撮影画像１４（第１撮影画像１４−１と第２撮影画像１４−２）を取得して、図３に示す出力用の合成画像１６を生成するまでの処理の流れの一例を、図７、及び、図８に示すフロー図を参照しながら説明する。

まず、撮影画像取得部３０が、図６に示す第１の撮影画像１４−１と、第２の撮影画像１４−２とを取得する（Ｓ１０１）。

そして、接続点組合せ決定部３２が、重複領域５２を決定する（Ｓ１０２）。具体的には、図６に示すように、接続点組合せ決定部３２が、第１の撮影画像１４−１を縦に５等分したうちの最も右側の領域、すなわち、第１の撮影画像１４−１全体のうちの右側２０％の領域を第１重複領域５２−１として決定し、第２の撮影画像１４−２を縦に５等分したうちの最も左側の領域、すなわち、第２の撮影画像１４−２全体のうちの左側２０％の領域を第２重複領域５２−２として決定する。図９は、Ｓ１０２に示す処理により、決定された第１重複領域５２−１と第２重複領域５２−２とを示す図である。なお、図９内に一点鎖線で示されている矢印については後述する。

なお、接続点組合せ決定部３２が重複領域５２の範囲を決定する方法は上記実施形態に限定されない。カメラ１２により撮影画像１４が撮影される状況などに応じて、接続点組合せ決定部３２が重複領域５２の範囲を決定しても構わない。

そして、接続点組合せ決定部３２が、図９に示すように、第１重複領域５２−１を縦３個、横１３個（計３９個）の長方形である第１分割重複領域６０−１に分割し、第２重複領域５２−２を縦３個、横１３個（計３９個）の長方形である第２分割重複領域６０−２に分割する（Ｓ１０３）。

そして、接続点組合せ決定部３２は、接続候補領域指定画面６２をディスプレイ等の出力部に出力する（Ｓ１０４）。図１０は、接続候補領域指定画面６２が表示された画像処理装置２０を示す図である。接続候補領域指定画面６２には、３９個の第１分割重複領域６０−１の配置が描画された第１の撮影画像１４−１、３９個の第２分割重複領域６０−２の配置が描画された第２の撮影画像１４−２、接続候補領域指定フォーム６４、ＯＫボタン６６が含まれる。このとき、第１分割重複領域６０−１のそれぞれと、第２分割重複領域６０−２のそれぞれには、１〜３９までのＩＤが対応付けられている。具体的には、例えば、第１行は左から順に１〜３のＩＤ、第２行は左から順に４〜６のＩＤというようにして、各分割重複領域６０は１〜３９までのＩＤが対応付けられている。

そして、画像処理装置２０のユーザは、合成画像１６を生成する際に互いに接続されるべき第１分割重複領域６０−１のうちの１つの領域と、第２分割重複領域６０−２のうちの１つの領域との組合せ、すなわち、互いに対応する撮影対象が表されている分割重複領域６０の組合せを、第１接続候補領域６６−１と第２接続候補領域６６−２との組合せとして４組選択する。具体的には、例えば、第１接続候補領域６６−１と第２接続候補領域６６−２のＩＤが（８，５）、（１１，８）、（３５，３４）、（３６，３５）である４組の分割重複領域６０の組合せを選択する。これらの分割重複領域６０の組合せの対応関係は、図９内に一点鎖線で示された矢印によって示されている。

そして、画像処理装置２０のユーザは、これらの４組の第１接続候補領域６６−１のＩＤと、第２接続候補領域６６−２のＩＤとを対応付けて接続候補領域指定フォーム６４に入力し、ＯＫボタン６６をクリックする。

そして、接続点組合せ決定部３２は、接続候補領域指定フォーム６４に入力された４組の第１接続候補領域６６−１のＩＤと第２接続候補領域６６−２のＩＤとの組合せを示す情報を取得する（Ｓ１０５）。

なお、このとき、接続点組合せ決定部３２は、画像処理装置２０のユーザに、それぞれの第１接続候補領域６６−１が、第１重複領域５２−１内においてなるべく互いに離れるよう第１接続候補領域６６−１を選択させるように促してもよい。また、接続点組合せ決定部３２は、画像処理装置２０のユーザに、それぞれの第２接続候補領域６６−２が、第２重複領域５２−２内においてなるべく互いに離れるよう第２接続候補領域６６−２を選択させるように促してもよい。具体的には、接続点組合せ決定部３２は、画像処理装置２０のユーザに、第１重複領域５２−１を所定の方法により区切った各サブ重複領域から第１接続候補領域６６−１を所定の個数選択させるようにしてもよい。また、接続点組合せ決定部３２は、画像処理装置２０のユーザに、第２重複領域５２−２を所定の方法により区切った各サブ重複領域から第２接続候補領域６６−２を所定の個数選択させるようにしてもよい。

接続点組合せ決定部３２は、例えば、画像処理装置２０のユーザに、重複領域５２の、上半分の領域と、下半分の領域と、に区切った各サブ重複領域から、２個ずつ接続候補領域６６を選択させるようにしてもよい。

ここで、画像処理装置２０のユーザが上記に示すようにして接続候補領域６６を選択しない場合に、接続点組合せ決定部３２が、接続候補領域指定フォーム６４に入力された４組の第１接続候補領域６６−１のＩＤと第２接続候補領域６６−２のＩＤとの組合せを示す情報を受け付けないようにしてもよい。

このように、第１重複領域５２−１内においてなるべく互いに離れるよう第１接続候補領域６６−１が選択されたり、第２重複領域５２−２内においてなるべく互いに離れるよう第２接続候補領域６６−２が選択されたりすると、平面射影行列の計算結果が局所解に陥るおそれが低減される。

そして、接続点組合せ決定部３２は、図１１（ａ）に示すような、取得したＩＤに対応する接続候補領域６６を、図１１（ｂ）に示すように、それぞれ、縦２個、横２個（計４個）の長方形の分割接続候補領域６８に分割する（Ｓ１０６）。それぞれの第１接続候補領域６６−１には４個の第１分割接続候補領域６８−１が含まれ、それぞれの第２接続候補領域６６−２には４個の第２分割接続候補領域６８−２が含まれる。

そして、接続点組合せ決定部３２は、それぞれの分割接続候補領域６８の中心を接続点候補７２に指定する。すなわち、接続点組合せ決定部３２は、第１の分割接続候補領域６８−１の中心を第１の接続点候補７２−１に指定し、第２の分割接続候補領域６８−２の中心を第２の接続点候補７２−２に指定する。これらの接続点候補７２が、後述する接続点５４の候補となる。図１１（ｂ）に示す接続領域７４、及び、図１１（ｃ）の内容については後述する。

そして、接続点組合せ決定部３２は、４組の第１接続候補領域６６−１と第２接続候補領域６６−２の組合せそれぞれについて、接続候補領域組合せデータ７０を生成する（Ｓ１０７）。本実施形態においては、接続点組合せ決定部３２は、接続候補領域組合せデータ７０を４個（第１接続候補領域組合せデータ７０ａ〜第４接続候補領域組合せデータ７０ｄ）生成する。

それぞれの接続候補領域組合せデータ７０には、第１接続候補領域６６−１に含まれる４個の第１分割候補領域６８−１それぞれに関する座標（４個の頂点の座標、及び、これら４個の頂点の座標から計算される中心の座標（すなわち、第１の接続点候補７２−１の座標））と、第２接続候補領域６６−２に含まれる４個の第２分割候補領域６８−２それぞれに関する座標（４個の頂点の座標、及び、これら４個の頂点の座標から計算される第２分割接続候補領域６８−２の中心の座標（すなわち、第２の接続点候補７２−２の座標））とが含まれる。

図１２に、第１接続候補領域組合せデータ７０ａのデータ構造の一例を示す。なお、図１２に示す具体的な数値は例示であり、示された数値に限定されるものではない。また、接続候補領域組合せデータ７０のデータ構造は図１２に示すものに限られない。

そして、接続点組合せ決定部３２は、第１接続候補領域組合せデータ７０ａについて、第１の接続点候補７２−１のうちの１つを第１の接続点５４−１として選択し、第２の接続点候補７２−２のうちの１つを第２の接続点５４−２として選択する。同様に、接続点組合せ決定部３２は、第２接続候補領域組合せデータ７０ｂ、第３接続候補領域組合せデータ７０ｃ、第４接続候補領域組合せデータ７０ｄについても、第１の接続点候補７２−１のうちの１つを第１の接続点５４−１として選択し、第２の接続点候補７２−２のうちの１つを第２の接続点５４−２として選択する。

本実施形態では、まず、図１１（ｂ）に示すように、接続点組合せ決定部３２は、各接続候補領域６６の左上の分割接続候補領域６８を接続領域７４として選択し、この接続領域７４の中心を接続点５４として選択する。

このように、接続点組合せ決定部３２は、第１の撮影画像１４−１内の離散的な第１の接続点候補７２−１のうちから選択される第１の接続点５４−１と、前記第２の撮影画像１４−２内の離散的な接続点候補７２−２のうちから選択される第２の接続点５４−２と、の組合せを決定する（Ｓ１０８）。

そして、接続点組合せ決定部３２が、Ｓ１０８の処理において選択した、それぞれの接続候補領域組合せデータ７０（第１接続候補領域組合せデータ７０ａ〜第４接続候補領域組合せデータ７０ｄ）に含まれる、第１の接続点５４−１の座標と、第２の接続点５４−２の座標を取得する（Ｓ１０９）。

そして、合成画像生成部３４が、それぞれの接続候補領域組合せデータ７０（第１接続候補領域組合せデータ７０ａ〜第４接続候補領域組合せデータ７０ｄ）について、第１の接続点５４−１が第２の接続点５４−２に接続されるように、第１の撮影画像１４−１を変換するための、３行３列の平面射影行列を、例えば、非特許文献１に示されている方法などを用いて計算する（Ｓ１１０）。すなわち、第１接続候補領域組合せデータ７０ａについての、第１の接続点５４−１が、第２の接続点５４−２に接続され、第２接続候補領域組合せデータ７０ｂについての、第１の接続点５４−１が、第２の接続点５４−２に接続され、第３接続候補領域組合せデータ７０ｃについての、第１の接続点５４−１が、第２の接続点５４−２に接続され、第４接続候補領域組合せデータ７０ｄについての、第１の接続点５４−１が、第２の接続点５４−２に接続されるように、第１の撮影画像１４−１を変換するための、３行３列の平面射影行列を合成画像生成部３４が計算する。このとき、合成画像生成部３４は、非特許文献１に示されているように最小二乗法によって平面射影行列のパラメータを推定してもよい。

そして、合成画像生成部３４が、Ｓ１１０の処理において計算した平面射影行列を用いて、第１の撮影画像１４−１を変換して、変換された第１の撮影画像１４−１と第２の撮影画像１４−２とを合成し、仮の合成画像１６を生成する（Ｓ１１１）。図１３は、仮の合成画像１６の一例を示す図である。図１３に示すように、仮の合成画像１６は、変換された第１の撮影画像１４−１に基づいて生成される第１合成画像部分７６−１と、第２の撮影画像１４−２に基づいて生成される第２合成画像部分７６−２とを含んでいる。ここで、本実施形態では、変換された第１の撮影画像１４−１の上に第２の撮影画像１４−２を重ねるようにして仮の合成画像１６を生成しているが、第２の撮影画像１４−２の上に、変換された第１の撮影画像１４−１を重ねるようにして仮の合成画像１６を生成しても構わない。

そして、線配置取得部３６が、第１の合成画像部分７６−１に表されている第１の直線５０ａの仮の合成画像１６内における、位置（座標）と傾き、及び、第２の合成画像部分７６−２に表されている第２の直線５０ｂの位置（座標）と傾きを、エッジ抽出やライン検出などの手法を用いて取得する（Ｓ１１２）。本実施形態では、線配置取得部３６は、２本の第１の直線５０ａ（１本目の第１の直線５０ａ−１、及び、２本目の第１の直線５０ａ−２）と、２本の第２の直線５０ｂ（１本目の第２の直線５０ｂ−１、及び、２本目の第２の直線５０ｂ−２）とを取得する。

そして、線連続性評価部３８が、第１の直線５０ａと第２の直線５０ｂとの連続性が所与の条件を満たすか否かを示す連続性情報を生成する（Ｓ１１３）。Ｓ１１３の詳細な処理の流れについては後述する。

そして、画像出力判断部４０が、Ｓ１１３の処理において線連続性評価部３８が生成した連続性情報が、第１の直線５０ａと第２の直線５０ｂとの連続性が所与の条件を満たすことを示しているか否かを判断する（Ｓ１１４）。ここで、線連続性評価部３８が生成した連続性情報が、第１の直線５０ａと第２の直線５０ｂとの連続性が所与の条件を満たすことを示している場合には（Ｓ１１４：Ｙ）、画像出力部４２が、Ｓ１１１に示す処理において生成された仮の合成画像１６を正式な合成画像１６として記憶部２４などに出力し（Ｓ１１５）、処理を終了する。

一方、線連続性評価部３８が生成された連続性情報が、第１の直線５０ａと第２の直線５０ｂとの連続性が所与の条件を満たさないことを示している場合は（Ｓ１１４：Ｎ）、接続点組合せ決定部３２が、第１の分割接続候補領域６８−１と第２の分割接続候補領域６８−２とのすべての組合せを第１接続領域７４−１と第２接続領域７４−２の組合せとして選択したか否かを確認する（Ｓ１１６）。そして、まだ、接続点組合せ決定部３２が、第１の分割接続候補領域６８−１と第２の分割接続候補領域６８−２とのすべての組合せを第１接続領域７４−１と第２接続領域７４−２の組合せとして選択していない場合（Ｓ１１６：Ｎ）は、接続点組合せ決定部３２が、それぞれの接続候補領域組合せデータ７０について、再度、分割接続候補領域６８のうちの１つを接続領域７４として選択する（Ｓ１０８）。このとき、接続点組合せ決定部３２は、第１接続領域７４−１と第２接続領域７４−２の組合せとして選択されていない、第１の分割接続候補領域６８−１と第２の分割接続候補領域６８−２との組合せとなるよう第１接続領域７４−１や第２接続領域７４−２を選択する。

接続点組合せ決定部３２が第１の分割接続候補領域６８−１と第２の分割接続候補領域６８−２とのすべての組合せを第１接続領域７４−１と第２接続領域７４−２の組合せとして選択した場合（Ｓ１１６：Ｙ）は、接続点組合せ決定部３２が、それぞれの接続候補領域組合せデータ７０について、図１１（ｃ）に示すように、各分割接続候補領域６８をさらにそれぞれ、縦２個、横２個（計４個）の長方形の領域に分割する。そして、これら分割された各領域を新たな分割接続候補領域６８として、これらの分割接続候補領域６８に対応するよう接続候補領域組合せデータ７０を変更する（Ｓ１１７）。それぞれの第１接続候補領域６６−１に４個の第１分割接続候補領域６８−１が含まれており、それぞれの第２接続候補領域６６−２に４個の第２分割接続候補領域６８−２が含まれていた場合には、接続点組合せ決定部３２が各分割接続候補領域６８をさらに分割することで、それぞれの第１接続候補領域６６−１には１６個の第１分割接続候補領域６８−１が含まれ、それぞれの第２接続候補領域６６−２には１６個の第２分割接続候補領域６８−２が含まれるようになる。そのため、接続点組合せ決定部３２は、それぞれの接続候補領域組合せデータ７０（第１接続候補領域組合せデータ７０ａ〜第４接続候補領域組合せデータ７０ｄ）を、第１接続候補領域６６−１に含まれる１６個の第１分割接続候補領域６８−１内の５つの点（４個の頂点と第１の接続点候補７２−１）の座標、及び、第２接続候補領域６６−２に含まれる１６個の第２分割接続候補領域６８−２内の５つの点（４個の頂点と第２の接続点候補７２−２）の座標を含むように変更する。このようにして、接続点候補７２間の距離が短くなる。

Ｓ１１７に示す処理が実行された後は、Ｓ１０８以降に示す処理が実行される。

なお、画像出力判断部４０が、接続点組合せ決定部３２に、第１の接続点５４−１と、第２の接続点５４−２と、の少なくとも一方を選択し直させることを判断して、接続点組合せ決定部３２が、第１の接続点５４−１と、第２の接続点５４−２と、の少なくとも一方を選択し直すたびに、第１の接続点候補７２−１と、第２の接続点候補７２−２と、の少なくとも一方の接続点候補の間隔を狭めるようにしてもよい。すなわち、選択し直しの際に、接続点候補７２間の距離が短くなるように、第１の接続点候補７２−１と、第２の接続点候補７２−２と、の少なくとも一方を再設定してもよい。また、このとき、例えば、Ｓ１１７に示す処理のように、分割接続候補領域６８を小さく再設定することによって、接続点組合せ決定部３２は接続点候補７２間距離が短くなるように第１の接続点候補７２−１と、第２の接続点候補７２−２と、の少なくとも一方を再設定してもよい。

また、画像出力判断部４０が、線連続性評価部３８が生成する、所与の数式に基づいて計算された数値で示される連続性情報を取得する場合において、最も高い数値を示している連続性情報に対応する第１の接続点５４−１付近と第２の接続点５４−２付近の領域内の点を接続点候補７２とした後で、接続点組合せ決定部３２が、第１の接続点５４−１と、第２の接続点５４−２と、の少なくとも一方を選択し直すようにしてもよい。このとき、接続点候補７２間の距離を短くしてから接続点組合せ決定部３２が第１の接続点５４−１と、第２の接続点５４−２と、の少なくとも一方を選択し直すようにしてもよい。

なお、重複領域５２や、分割重複領域６０や、接続候補領域６６や、分割接続候補領域６８や、接続領域７４は、長方形である必要はない。

また、上記の例のＳ１０６の処理やＳ１１７の処理に示すような、接続点組合せ決定部３２が、接続候補領域６６を分割接続候補領域６８に分割する方法はあくまでも一例にすぎない。例えば、接続点組合せ決定部３２は、接続候補領域６６をもっと細かく分割しても構わない。

また、上記の例のＳ１０４の処理、及び、Ｓ１０５の処理では、接続点組合せ決定部３２は、画像処理装置２０のユーザとの対話的な処理によって、第１接続候補領域６６−１や第２接続候補領域６６−２を決定しているが、第１接続候補領域６６−１や第２接続候補領域６６−２を決定する方法はこの限りではない。例えば、接続点組合せ決定部３２は、harrisオペレータによって重複領域５２から抽出された特徴点の位置関係を利用して第１接続候補領域６６−１や第２接続候補領域６６−２を決定したり、公知の画像処理技術であるヒストグラムマッチングの手法を用いて第１接続候補領域６６−１や第２接続候補領域６６−２を決定したりしてもよい。なお、サッカーフィールド１０が描画されていない領域を、色識別により予めヒストグラムマッチングの対象から除いてから、接続点組合せ決定部３２は、ヒストグラムマッチングの手法を用いて第１接続候補領域６６や第２接続候補領域６６を決定してもよい。

なお、上記の場合でも、接続点組合せ決定部３２が、それぞれの第１接続候補領域６６−１が第１重複領域５２−１内においてなるべく互いに離れるよう第１接続候補領域６６−１を選択しても構わない。また、接続点組合せ決定部３２が、それぞれの第２接続候補領域６６−２が第２重複領域５２−２内においてなるべく互いに離れるよう第２接続候補領域６６−２を選択しても構わない。

また、本実施形態では、接続点組合せ決定部３２は、第１の接続点５４−１と第２の接続点５４−２との組合せを４組決定しているが、接続点組合せ決定部３２は、第１の接続点５４−１と第２の接続点５４−１との組合せを何組決定しても構わない。ただし、非特許文献１に示されている方法を適用するのであれば、非特許文献１に示されているように、接続点組合せ決定部３２は、第１の接続点５４−１と第２の接続点５４−２との組合せを４組以上決定する必要がある。

次に、Ｓ１１３に示す、図１３に示す仮の合成画像１６について、線連続性評価部３８が、第１の直線５０ａと第２の直線５０ｂとの連続性を示す連続性情報を生成する処理の流れを、図１４に示すフロー図を参照しながら説明する。

まず、線連続性評価部３８が、Ｓ１０９において合成画像生成部３４が仮の合成画像１６を生成する際における、変換された第１の撮影画像１４−１と第２の撮影画像１４−２との重なる領域について、第１の合成画像部分７６−１と第２合成画像部分７６−２とのうち、合成画像１６に表されている方を上層部分として選択する（Ｓ２０１）。図１３に示すように、本実施形態では、変換された第１の撮影画像１４−１の上に第２の撮影画像１４−２を重ねるようにして合成画像生成部３４が仮の合成画像１６を生成しているので、変換された第１の撮影画像１４−１と、第２の撮影画像１４−２とが重複する領域については、第２合成画像部分７６−２が合成画像１６に表されている。そのため、本実施形態ではＳ２０１の処理において第２の合成画像部分７６−２を上層部分として選択する。

そして、線連続性評価部３８が、線配置取得部３６がＳ１１２に示す処理において取得した、第１の合成画像部分７６−１内に表されている２本の第１の直線５０ａのそれぞれ（１本目の第１の直線５０ａ−１、及び、２本目の第１の直線５０ａ−２）が、上層部分（本実施形態では、第２の合成画像部分７６−２）の端と交わる交点７８（１本目の第１の直線についての交点７８ａ−１、及び、２本目の第１の直線についての交点７８ａ−２）の座標、及び、第２の合成画像部分７６−２内に表されている２本の第２の直線５０ｂのそれぞれ（１本目の第２の直線５０ｂ−１、及び、２本目の第２の直線５０ｂ−２）が上層部分（本実施形態では、第２の合成画像部分７６−２）の端と交わる交点７８（１本目の第２の直線についての交点７８ｂ−１、及び、２本目の第２の直線についての交点７８ｂ−２）の座標を取得する（Ｓ２０２）。

なお、このとき、第１の合成画像部分７６−１内に表されている２本の第１の直線５０ａのそれぞれ（１本目の第１の直線５０ａ−１、及び、２本目の第１の直線５０ａ−２）が、上層部分（本実施形態では、第２の合成画像部分７６−２）の端に達していない場合は、第１の合成画像部分７６−１と第２の合成画像部分７６−２との境界に近い方の、第１の直線５０ａの端点の座標を取得する。また、第２の合成画像部分７６−２内に表されている２本の第２の直線５０ｂのそれぞれ（１本目の第２の直線５０ｂ−１、及び、２本目の第２の直線５０ｂ−２）が上層部分（本実施形態では、第２の合成画像部分７６−２）の端に達していない場合は、第１の合成画像部分７６−１と第２の合成画像部分７６−２との境界に近い方の、第２の直線５０ｂの端点の座標を取得する。

そして、線連続性評価部３８が、第１の直線５０ａ上の交点７８ａと、第２の直線５０ｂ上の交点７８ｂとが互いに最近隣となる交点７８同士の組合せを選択する（Ｓ２０３）。図１３に示す例では、１本目の第１の直線についての交点７８ａ−１と１本目の第２の直線についての交点７８ｂ−１の組合せ、及び、２本目の第１の直線についての交点７８ａ―１と２本目の第２の直線についての交点７８ｂ−２の組合せを選択する。

そして、線連続性評価部３８が、Ｓ２０３の処理により求めた互いに最近隣となる交点７８間距離（図１４に示す「Ｌｅｎｇｔｈ＿１」、及び、「Ｌｅｎｇｔｈ＿２」）の平均値ＬｅｎｇｔｈＭｅａｎを計算する（Ｓ２０４）。

そして、線連続性評価部３８が、Ｓ２０３の処理により求めた互いに最近隣となる交点７８に対応する、第１の直線５０ａと、第２の直線５０ｂとがなす角（図１４に示す「Ａｎｇｌｅ＿１」、及び、「Ａｎｇｌｅ＿２」）の平均値ＡｎｇｌｅＭｅａｎを計算する（Ｓ２０５）。

そして、線連続性評価部３８が、上記ＬｅｎｇｔｈＭｅａｎが、所与の閾値（Ｔｈｒｅｓｈｏｌｄ＿Ｌｅｎｇｔｈ）より小さく、かつ、上記ＡｎｇｌｅＭｅａｎが、所与の閾値（Ｔｈｒｅｓｈｏｌｄ＿Ａｎｇｌｅ）より小さいという条件を満たすか否かを判断し、第１の直線５０ａと第２の直線５０ｂとの連続性が所与の条件を満たすか否かを示す連続性情報を生成する（Ｓ２０６）。

なお、上記の例では、線連続性評価部３８は、すべての第１の線（第１の直線５０ａ）と第２の線（第２の直線５０ｂ）を用いて連続性情報を生成したが、線連続性評価部３８は、連続性情報を生成する処理に用いる第１の線と第２の線の数を所与の方法により選択して（例えば、線の長さの長いものからＮ本ずつ第１の線と第２の線を選択して）、選択された第１の線と第２の線を用いて連続性情報を生成しても構わない。また、線連続性評価部３８は、所与の基準を満たす線（例えば、撮影画像１４の横の長さの３０％以上の長さの線。すなわち、十分に長い線。）を選択して、選択された第１の線と第２の線を用いて連続性情報を生成しても構わない。

以上の説明からわかるように、Ｓ１１５の処理において、記憶部２４などに出力された合成画像１６は、第１の合成画像部分７６−１内に表されている第１の直線５０と、第２の合成画像部分７６−２内に表されている第２の直線５０とが、滑らかにつなげられたものとなっている。

そして、本実施形態に係る画像処理装置２０は、上記のようにして生成された合成画像１６と、図２に示す第３の撮影画像１４とを、上記と同様の方法により合成して、図３に示すような、サッカーフィールド１０の一部であるサイドライン１８が滑らかに連結された、サッカーフィールド１０全体が表された合成画像１６を生成する。

このようにして、本実施形態によると、互いに連続する線が表されている複数の画像を合成して、互いに連続する線がより滑らかにつなげられた合成画像を生成することができる。サッカーフィールド１０におけるサイドライン１８のように、連続すべき線が特に目立つ画像を生成する場合など、特に、第１の撮影画像１４−１内の第１の線と第２の撮影画像１４−２内の第２の線とを滑らかに合成する必要性が高い場合において、本発明は、特にその効果を発揮するといえる。

また、本実施形態においては、画像処理装置２０のユーザが接続候補領域６６の組合せを選択するだけで、適切な接続点５４の組合せを画像処理装置２０が計算するので、画像処理装置２０のユーザが接続点５４の組合せを選択する場合よりも、画像処理装置２０のユーザの作業負担が軽減される。また、harrisオペレータを用いたり、ヒストグラムマッチングの手法を用いたりすることで、さらに画像処理装置２０のユーザの作業負担は軽減される。

なお、本発明は上記実施形態に限定されるものではない。

例えば、本発明の適用範囲は静止画の写真に限定されるものではない。画像処理装置２０が、動画の各フレームの画像に対して上記の処理を実行してもよい。すなわち、本発明を動画に対しても適用してもよい。

また、本発明の適用範囲は２個や３個の画像の合成に限定されるものではない。本発明を任意個の画像の合成について適用してもよい。このとき、図１５に示すように、外側の画像から順に合成して最終的にすべての画像が合成された合成画像１６を生成してもよい。こうすれば、生成される合成画像１６の中心付近の歪みが低減されることが期待される。

また、本発明を、一つの物体（例えば、サッカーフィールド１０）が撮影された複数の撮影画像１４を合成する場面だけではなく、画像処理装置２０のユーザが、互いに連続させようと考えている線が表された複数の撮影画像１４を合成する場面に対して適用しても構わない。

サッカーフィールドを複数のカメラから撮影する様子を示す図である。 撮影画像の一例を示す図である。 合成画像の一例を示す図である。 本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。 本発明の一実施形態に係る画像処理装置の機能ブロック図である。 撮影画像の一例を示す図である。 画像処理装置で行われる処理のフローの一例を示す図である。 画像処理装置で行われる処理のフローの一例を示す図である。 重複領域の一例を示す図である。 接続候補領域指定画面が表示された、本発明の一実施形態に係る画像処理装置の一例を示す図である。 分割接続候補領域と接続点候補との関係の一例を示す図である。 接続候補領域組合せデータのデータ構造の一例を示す図である。 仮の合成画像の一例を示す図である。 画像処理装置で行われる処理のフローの一例を示す図である。 合成画像が生成される様子を示す図である。 従来の合成画像の一部分の一例を示す図である。

符号の説明

１０ サッカーフィールド、１２ カメラ、１４ 撮影画像、１６ 合成画像、１８ サイドライン、２０ 画像処理装置、２２ 制御部、２４ 記憶部、２６ ユーザインタフェース（ＵＩ）部、２８ バス、３０ 撮影画像取得部、３２ 接続点組合せ決定部、３４ 合成画像生成部、３６ 線配置取得部、３８ 線連続性評価部、４０ 画像出力判断部、４２ 画像出力部、５０ 直線、５２ 重複領域、５４ 接続点、６０ 分割重複領域、６２ 接続候補領域指定画面、６４ 接続候補領域指定フォーム、６６ ＯＫボタン、６６ 接続候補領域、６８ 分割接続候補領域、７０ 接続候補領域組合せデータ、７２ 接続点候補、７４ 接続領域、７６ 合成画像部分、７８ 交点。

Claims (7)

1. 第１の線が表されている第１の撮影画像と、前記第１の線に連続する第２の線が表されている第２の撮影画像とを取得して、前記第１の撮影画像と、前記第２の撮影画像と、の少なくとも一方を変換して、前記第１の線、及び、前記第２の線が表される合成画像を生成し、出力する画像処理装置であって、
   前記第１の撮影画像内の複数の離散的な接続点候補のうちから選択される第１の接続点と、前記第２の撮影画像内の複数の離散的な接続点候補のうちから選択される第２の接続点と、の組合せを決定する接続点組合せ決定手段と、
   前記組合せが決定してから、前記第１の撮影画像と、前記第２の撮影画像と、の少なくとも一方を、前記組合せに基づいて定められる、前記第１の接続点と前記第２の接続点とが接続される変換方法によって仮変換することにより生成される仮の合成画像における、前記第１の線、及び、前記第２の線の配置を取得する線配置取得手段と、
   前記第１の線、及び、前記第２の線の配置に従って、前記仮の合成画像における前記第１の線、及び、前記第２の線の連続性を評価する線連続性評価手段と、
   前記線連続性評価手段における評価結果に従って、前記仮の合成画像を出力するか否かを判断する画像出力判断手段と、を含み、
   前記仮の合成画像における前記第１の線及び前記第２の線の連続性の評価結果が線の滑らかさに関する所与の条件を満足するまで、前記組合せに属する前記第１の接続点と前記第２の接続点との少なくとも一方の変更、変更後の前記第１の接続点と前記第２の接続点とが接続される変換方法によって前記第１の撮影画像と前記第２の撮影画像との少なくとも一方を仮変換することにより生成される仮の合成画像における前記第１の線及び前記第２の線の配置の取得、及び、前記第１の線及び前記第２の線の連続性の評価、を繰り返す、
   ことを特徴とする画像処理装置。
2. 前記第１の線、及び、前記第２の線は、有限の直線である、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の撮影画像、及び、前記第２の撮影画像は、直線状の外観部分を有する撮影対象を撮影して得られるものである、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記接続点組合せ決定手段が、前記第１の接続点と、前記第２の接続点と、の少なくとも一方を変更するたびに、前記第１の接続点候補と、前記第２の接続点候補と、の少なくとも一方の接続点候補の間隔を狭める、
   ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 第１の線が表されている第１の撮影画像と、前記第１の線に連続する第２の線が表されている第２の撮影画像とを取得して、前記第１の撮影画像と、前記第２の撮影画像と、の少なくとも一方を変換することによって生成される、前記第１の線、及び、前記第２の線が表される合成画像の滑らかさを評価する画像評価方法であって、
   前記第１の撮影画像内の複数の離散的な接続点候補のうちから選択される第１の接続点と、前記第２の撮影画像内の複数の離散的な接続点候補のうちから選択される第２の接続点と、の組合せを決定する接続点組合せ決定ステップと、
   前記組合せが決定してから、前記第１の撮影画像と、前記第２の撮影画像と、の少なくとも一方を、前記組合せに基づいて定められる、前記第１の接続点と前記第２の接続点とが接続される変換方法によって仮変換することにより生成される仮の合成画像における、前記第１の線、及び、前記第２の線の配置を取得する線配置取得ステップと、
   前記第１の線、及び、前記第２の線の配置に従って、前記仮の合成画像における前記第１の線、及び、前記第２の線の連続性を評価する線連続性評価ステップと、を含み、
   前記仮の合成画像における前記第１の線及び前記第２の線の連続性の評価結果が線の滑らかさに関する所与の条件を満足するまで、前記組合せに属する前記第１の接続点と前記第２の接続点との少なくとも一方の変更、変更後の前記第１の接続点と前記第２の接続点とが接続される変換方法によって前記第１の撮影画像と前記第２の撮影画像との少なくとも一方を仮変換することにより生成される仮の合成画像における前記第１の線及び前記第２の線の配置の取得、及び、前記第１の線及び前記第２の線の連続性の評価、を繰り返す、
   ことを特徴とする画像評価方法。
6. 第１の線が表されている第１の撮影画像と、前記第１の線に連続する第２の線が表されている第２の撮影画像とを取得して、前記第１の撮影画像と、前記第２の撮影画像と、の少なくとも一方を変換して、前記第１の線、及び、前記第２の線が表される合成画像を生成し、出力する画像処理装置としてコンピュータを機能させるプログラムであって、
   前記第１の撮影画像内の複数の離散的な接続点候補のうちから選択される第１の接続点と、前記第２の撮影画像内の複数の離散的な接続点候補のうちから選択される第２の接続点と、の組合せを決定する接続点組合せ決定手段、
   前記組合せが決定してから、前記第１の撮影画像と、前記第２の撮影画像と、の少なくとも一方を、前記組合せに基づいて定められる、前記第１の接続点と前記第２の接続点とが接続される変換方法によって仮変換することにより生成される仮の合成画像における、前記第１の線、及び、前記第２の線の配置を取得する線配置取得手段、
   前記第１の線、及び、前記第２の線の配置に従って、前記仮の合成画像における前記第１の線、及び、前記第２の線の連続性を評価する線連続性評価手段、
   前記線連続性評価手段における評価結果に従って、前記仮の合成画像を出力するか否かを判断する画像出力判断手段、として前記コンピュータを機能させ、
   前記仮の合成画像における前記第１の線及び前記第２の線の連続性の評価結果が線の滑らかさに関する所与の条件を満足するまで、前記組合せに属する前記第１の接続点と前記第２の接続点との少なくとも一方の変更、変更後の前記第１の接続点と前記第２の接続点とが接続される変換方法によって前記第１の撮影画像と前記第２の撮影画像との少なくとも一方を仮変換することにより生成される仮の合成画像における前記第１の線及び前記第２の線の配置の取得、及び、前記第１の線及び前記第２の線の連続性の評価、を繰り返す、
   ことを特徴とするプログラム。
7. 請求項６に記載のプログラムを格納したコンピュータ読取可能な情報記憶媒体。

Images