JP5075182B2 - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Description

本発明は、画像データに対して画像の変換を行う画像処理装置、画像処理方法、および、画像処理プログラムの技術分野に関する。

近年、デジタルカメラが小型化し、携帯端末にもデジタルカメラが備え付けられている。ユーザは外出先等でも手軽にカメラ付き携帯端末等により、風景や書類や白板等に表示されたものを撮影できる。しかし、外出先等で気軽に撮影できる一方、ハイキングで山等に出かけ、撮影したい対象を見つけた場合、足場により撮影場所が限られたり、撮影者の席の位置により正面から黒板等を撮影することが難しかったり、撮影対象を照らす光の角度との関係等により撮影角度が限られたりしてしまうことが多い。

書類や白板等に板書された文字等の撮影対象物の画像を補正してあたかも正面から撮影したような画像を取得するため、例えば、特許文献１には、撮影対象物として白板を撮影した画像から、Ｒｏｂｅｒｔｓフィルタを用いて輪郭を取得し、取得した輪郭から白板の画像を形成する候補となる直線を検出し、白板の四角形の形状を取得し、四角形の頂点位置から白板の画像と実際の白板との関係を示す射影パラメータを求めて白板の画像を射影変換する画像処理装置が開示されている。

特開２００５−１２２３２０号公報

しかしながら、上記従来技術においては書類等の直線を手がかりに、撮影対象を補正しているため、直線部がほとんど無い花等のような撮影対象を撮影した場合、撮影対象を補正して、正面から撮影したような画像を得るのは難しい。

本発明は、このような問題に鑑みてなされたものであり、その課題の一例は、直線部分の輪郭が無い対象画像であっても所望の向きに表示された画像に変換する、画像処理装置、画像処理方法、および、画像処理プログラムを提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、対象画像に対して画像処理を行う画像処理装置であって、前記対象画像を近似する楕円を算出する楕円算出手段と、前記対象画像の中心候補を決定する中心候補決定手段と、前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出手段と、前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出手段と、前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得手段と、を備えたことを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、射影変換行列算出手段が、中心候補が射影変換される点を中心とする楕円が内接または外接する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出することを特徴とする。

請求項３に記載の発明は、射影変換行列算出手段における中心候補が射影変換される点を中心とする楕円は真円であることを特徴とする画像処理装置である。

請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の画像処理装置において、前記多角形算出手段が、前記中心候補を通る直線と前記楕円との交点を接点とする前記第１多角形を算出することを特徴とする。

請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記多角形算出手段が、前記中心候補を通る直線を前記楕円の長軸に平行な直線から求めることを特徴とする。

請求項６に記載の発明は、請求項４に記載の画像処理装置において、前記多角形算出手段が、前記対象画像を取り囲む画像枠のいずれかの辺に平行な直線と前記楕円とが接する点を前記接点とすることを特徴とする。

請求項７に記載の発明は、請求項１から請求項６のいずれか１項に記載の画像処理装置において、前記多角形算出手段が、前記楕円および前記中心候補に関連した四角形を算出し、前記射影変換行列算出手段が、前記中心候補が射影変換される点を中心とする楕円に関連する正方形へ前記四角形を射影変換する射影変換行列を算出することを特徴とする。

請求項８に記載の発明は、請求項１から請求項７のいずれか１項に記載の画像処理装置において、前記中心候補決定手段が、前記対象画像の中から前記中心候補を含む中心候補画像を抽出し、抽出した前記中心候補画像を楕円近似した楕円の長軸と短軸との交点から前記中心候補を決定することを特徴とする。

請求項９に記載の発明は、請求項１から請求項８のいずれか１項に記載の画像処理装置において、前記対象画像が花画像であって、前記楕円算出手段が、前記花画像を近似する前記楕円を算出し、前記中心候補決定手段が、前記花画像の花芯部分から前記花画像の前記中心候補を決定することを特徴とする。

請求項１０に記載の発明は、請求項１から請求項９のいずれか１項に記載の画像処理装置において、前記対象画像を含む画像を取得する画像取得手段を更に備えたことを特徴とする。

請求項１１に記載の発明は、請求項１０に記載の画像処理装置において、前記取得された画像から、前記対象画像を抽出する対象画像抽出手段を更に備えたことを特徴とする。

請求項１２に記載の発明は、請求項１から請求項１１のいずれか１項に記載の画像処理装置において、前記変換画像に基づき、前記対象画像を特定する情報を検索する検索手段を更に備えたことを特徴とする。

請求項１３に記載の発明は、請求項１２に記載の画像処理装置において、前記検索手段が、前記変換画像より画像の特徴量を抽出し、前記特徴量に基づき、前記対象画像を特定する情報を検索することを特徴とする。

請求項１４に記載の発明は、請求項１から１３のいずれか１項に記載の画像処理装置において、前記第２多角形が正多角形であることを特徴とする。請求項１５に記載の発明は、請求項１から１４のいずれか１項に記載の画像処理装置において、前記対象画像を記憶する記憶手段を更に備えたことを特徴とする。

請求項１６に記載の発明は、対象画像に対して画像処理を行う画像処理装置の画像処理方法であって、前記画像処理装置が、前記対象画像を近似する楕円を算出する楕円算出ステップと、前記画像処理装置が、前記画像処理後における前記対象画像の中心候補を決定する中心候補決定ステップと、前記画像処理装置が、前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出ステップと、前記画像処理装置が、前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出ステップと、前記画像処理装置が、前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得ステップと、を有することを特徴とする。

請求項１７に記載の発明は、コンピュータを、画像処理の対象画像を近似する楕円を算出する楕円算出手段、前記画像処理後における前記対象画像の中心候補を決定する中心候補決定手段、前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出手段、前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出手段、および、前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得手段として機能させることを特徴とする。

本発明によれば、画像処理を行う対象画像を記憶し、対象画像を近似する楕円を算出し、対象画像の中心候補を決定し、楕円および中心候補に関連した第１多角形を算出し、中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ第１多角形を射影変換する射影変換行列を算出し、記憶された対象画像を射影変換行列に基づき射影変換して、対象画像の変換画像を取得することにより、直線部分の輪郭が無い対象画像であっても所望の向きの画像に変換できる。

本発明に係る実施形態の画像検索システムの概要構成例を示す模式図である。 図１の携帯端末の概要構成の一例を示すブロック図である。 観察点から被写体を撮影した場合、被写体が写真に射影される様子の概念を示す概念図である。 図１の携帯端末による画像処理の一例を示すフローチャートである。 （Ａ）は対象画像を含む画像の一例を示す模式図であり、（Ｂ）は画像から抽出された対象画像の様子を示す模式図であり、（Ｃ）は対象画像から中心候補を含む中心候補画像を抽出した様子を示す模式図である。 射影変換された対象画像の一例を示す模式図である。 図１の検索サーバにおける検索処理の一例を示すフローチャートである。 図４のフローチャートにおける標準画像への変換のサブルーチンの一例を示すフローチャートである。 （Ａ）は、図５の対象画像の輪郭および対象画像を近似する楕円の一例を示す模式図であり、（Ｂ）は、対象画像から抽出された中心候補を含む中心候補画像および中心候補画像を近似する楕円の一例を示す模式図である。 図９（Ａ）の楕円と、図９（Ｂ）の楕円との関連を示す模式図である。 図５の対象画像と、楕円に接する四角形との関連を示す模式図である。 楕円から真円への射影変換の様子を示す模式図であって、（Ａ）は楕円に接する四角形を示す模式図であり、（Ｂ）は射影変換後の様子を示す模式図である。 （Ａ）は、射影変換行列を説明するための平面を示す模式図であり、（Ｂ）は２次曲線の射影変換を説明するための平面を示す模式図である。 図８のフローチャートにおける四角形算出のサブルーチンの一例を示すフローチャートである。 楕円に接する四角形を求める第１・２変形例における四角形算出のサブルーチンの一例を示すフローチャートである。 楕円に接する四角形を求める第１変形例を示す模式図である。 楕円に接する四角形を求める第２変形例を示す模式図である。 楕円に接する四角形を求める第３変形例であって、（Ａ）は、楕円に内接する四角形の一例を示す模式図であり、（Ｂ）は射影変換後の様子を示す模式図である。 楕円に接する四角形を求める第４変形例であって、（Ａ）は、楕円に接する四角形の一例を示す模式図であり、（Ｂ）は射影変換後の様子を示す模式図である。

以下、図面を参照して本発明を実施するための形態について説明する。

まず、本発明の実施形態に係る画像検索システムの概略構成および機能について、図に基づき説明する。

図１は、本発明に係る実施形態の画像検索システムの概要構成例を示す模式図である。図２は、図１の携帯端末の概要構成の一例を示すブロック図である。

図１に示すように、画像処理装置の一例の画像検索システム１は、携帯型無線電話機のように撮影対象を撮影する携帯端末１０と、携帯端末１０からの画像データにもとづき検索を行う画像検索サーバ２０と、を備える。

画像処理装置の一例として機能する携帯端末１０は、図２に示すように、撮影対象を撮影する撮像部１１と、撮像した画像等を表示する表示部１２と、無線基地局と送受信を行う無線通信部１３と、数字や文字等を入力する操作部１４と、撮像した画像を記憶する記憶部１５と、携帯端末１０の各種制御を行う制御部１６と、を有し、これらはバス１７により接続されている。

撮像部１１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（charge-coupled device）イメージセンサ等からなるデジタルカメラを有する。

表示部１２は、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。

無線通信部１３は、移動体通信網２やインターネット等のネットワーク３を通して画像検索サーバ２０と通信を行う。

操作部１４は、各種キーにより構成されている。ユーザは、操作部１４により、表示部１２に表示されたポインタを移動させたり、画像の部分を選択して確定させたりする。

記憶部１５は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）やフラッシュメモリ(flash memory)のような不揮発メモリ等を有し、画像処理のプログラムがロードされたり、画像データを保持するメモリ空間が形成されたりする。

制御部１６は、ＣＰＵ（Central Processing Unit）を有し、コンピュータとして画像処理のプログラムを実行等する。

次に、コンピュータとして機能する画像検索サーバ２０は、画像検索サーバ２０全体を制御したり画像処理の演算を行ったりする制御部２１と、画像検索用のデータベースが構築されたデータベース２２と、を有する。

図１に示すように、制御部２１は、コンピュータのプログラムを実行するＣＰＵ２１ａと、実行するプログラム等を記憶するＲＡＭやＲＯＭやフラッシュメモリのような不揮発メモリ等のメモリ２１ｂ等を有する。

制御部２１のＣＰＵ２１ａは、携帯端末１０から送信された検索要求に対してデータベース２２から情報を検索したり、受信した画像データから情報を検索するための画像処理を行ったり、データベース２２の管理を行ったりする。

メモリ２１ｂには、画像検索を実行するのためのプログラムが展開されたり、受信した画像データを記憶したり、一時的に演算結果が記憶されたりする。

データベース２２は、ハードディスクドライブやシリコンディスク等を有し、画像の特徴量に関連づけられた情報等を記憶する。例えば、花に関するデータベースの場合、データベース２２には、花を同定するために必要な特徴量として、花の色、花びらの数、花全体の形状の情報、花びらの切れ目等の花びら情報等に紐付けられて、花の名前や学名等の花に関する情報と、花や葉や実等の花に関する画像等が記憶されている。

携帯端末１０は、移動体通信網２に接続され、画像検索サーバ２０は、インターネット等のネットワーク３に接続され、移動体通信網２とネットワーク３とはプロトコル変換やコンテンツを記述する言語の変換等を行うためのゲートウエイ等により接続されている。

次に、本実施形態の原理の概略について図に基づき説明する。

図３は、観測点Ｖ１から被写体を撮影した場合、被写体が写真に射影される様子の概念を示す概念図である。

図３に示すように、観測点Ｖ１から斜めから撮影された花画像が擬似的に正面からの見た目になるように、画像変形を行う。ここで、被写体の花が楕円Ｅ１により近似され、四角形Ｐ１’の平面上にあるとする。

先ず、撮影画像から花全体と花芯とを抽出し、手法を単純化するため、それぞれの輪郭線を楕円に近似する。なお、花全体を近似した楕円が、楕円Ｅ１に相当し、その中心が点Ｏ_Ｂである。また花芯を近似した楕円の中心が点Ｏ_Ａに相当する。

次に、花の正面からの見た目の標準画像（変換画像）を得るため射影変換を行う。射影変換は写真に例えると、３次元空間の物体を２次元平面のフィルム上に写し込むことに相当する。この逆方向、つまり２次元から３次元への射影は一般的に不可能であるが、いくつかの条件を限定することで可能となる。本実施形態における手法では、３次元空間内にある平面（四角形Ｐ１を含む平面）上に、平面的な花が存在すると仮定することで、２次元平面から２次元平面への射影変換とした。さらに、手法を単純化するため、実際の花の形状が真円Ｅ１’に近似できると仮定する。入力画像で切り抜かれた花は楕円Ｅ１に近似されており、その楕円Ｅ１に外接する四角形Ｐ１を求め、これを変形対象領域とする。変形対象領域を正方形である四角形Ｐ１’に射影変換すると、楕円Ｅ１は先ほど仮定した真円Ｅ１’に射影される。このように、傾いた角度で撮影された花の写真から、射影変換を行うことで、正面から撮影した花の写真の標準画像を擬似的に得ることができる。なお、手法の詳細についてはフローチャートと共に後述する。

ここで、標準画像（変換画像）とは、所望の向きに表示されるように変換された画像である。標準画像（変換画像）は、例えば、花芯が花全体の中心付近にあるような角度で花が表示された画像であり、花等の対象画像を特定しやすい角度から見た画像であればよい。

次に、本実施形態の動作について図に基づき説明する。

図４は、図１の携帯端末による画像処理の一例を示すフローチャートである。図５の（Ａ）は対象画像を含む画像の一例を示す模式図であり、（Ｂ）は画像から抽出された対象画像の様子を示す模式図であり、（Ｃ）は対象画像から中心候補を含む中心候補画像を抽出した様子を示す模式図である。図６は、射影変換された対象画像の一例を示す模式図である。

まず、図４に示すように、携帯端末１０は、撮像部１１により、撮影対象の画像を取得する（ステップＳ１）。具体的には、携帯端末１０の制御部１６は、撮像部１１から、図５（Ａ）に示すような対象画像（花の画像）を含む画像を取得し、その画像の画像データを記憶部１５に記憶する。このように携帯端末１０は、対象画像を含む画像を取得する画像取得手段の一例として機能し、また、画像処理を行う対象画像を記憶する記憶手段の一例として機能する。ここで、図５（Ａ）の画像では、被写体の花が、正面から撮影されていない。

次に、携帯端末１０は、取得された画像から対象画像の抽出を行う（ステップＳ２）。具体的には、制御部１６は、図５（Ｂ）に示すように、花全体の輪郭を求め、花の画像を抽出する。なお、図５（Ｂ）では、花びらで特徴付けられる花全体を輪郭線により描き、背景の部分を暗くしてある。ここで、図５（Ｂ）に示すように、ユーザが、花の部分と、背景の部分とを操作部１４により表示部１２に表示されたポインタ等により指定し、その色の情報に基づき、制御部１６が対象画像の抽出を行ってもよい。このように、携帯端末１０は、取得された画像から、対象画像を抽出する対象画像抽出手段の一例として機能する。

具体的には、例えば、対象画像抽出手段は、取得された画像に含まれる花の部分（前景領域）上における少なくとも一つの前景ピクセル、及び当該取得された画像に含まれる背景の部分（背景領域）上における少なくとも一つの背景ピクセルの指定をユーザから受け付ける受付手段、指定された前景ピクセル及び指定された背景ピクセルを夫々基準ピクセルとして、３次元の色空間が複数に分割された分割色空間のうちから、各基準ピクセルが属する分割色空間を基準分割色空間として特定する分割色空間特定処理を行う分割色空間特定手段、各基準ピクセルとこれに隣接する隣接ピクセルとの色空間における色の距離を算出する色距離算出処理を行う色距離算出手段、各隣接ピクセルが各基準分割色空間に属するか否かを判別する属否判別処理を行う属否判別手段、各隣接ピクセルについて算出された色の距離と、各隣接ピクセルについて判別された基準分割色空間への属否に基づく重み付けと、に基づいて各隣接ピクセルについてのコストを算出するコスト算出処理を行うコスト算出手段、及び、算出されたコストが最も小さい隣接ピクセルを前景ピクセル又は背景ピクセルとして確定する確定処理を行う確定手段、とを備え、確定された隣接ピクセルを基準ピクセルとして、色距離算出処理、属否判別処理、コスト算出処理、及び確定処理をコンピュータに繰り返し行わせることにより、取得された画像から前景領域を抽出して、対象画像の抽出を行ってもよい。

次に、携帯端末１０は、対象画像から中心候補画像の抽出を行う（ステップＳ３）。具体的には、制御部１６は、図５（Ｃ）に示すように、花全体の輪郭にある、中心候補画像の一例である花芯部分の輪郭を抽出する。ここで、図５（Ｃ）に示すように、ユーザが、花びらの部分と、花芯の部分とを操作部１４により表示部１２に表示されたポインタ等により指定し、その色の情報に基づき、制御部１６が対象画像の抽出を行ってもよい。このように、携帯端末１０は、対象画像の中から中心候補を含む所定領域の画像である中心候補画像を抽出する中心候補決定手段の一例として機能する。中心候補画像は、例えば、中心候補を含み且つ奥行きまたは色情報等が周囲とは不連続に異なる対象画像中の領域の画像である。

次に、携帯端末１０は、対象画像を標準画像に変換する（ステップＳ４）。具体的には、後述する射影変換の手法を用い、制御部１６は、記憶部１５に記憶された対象画像を、図６に示すように、花を正面から撮影したような標準画像に変換する。このように、携帯端末１０は、記憶手段に記憶された対象画像を射影変換行列に基づき射影変換して、標準画像を取得する標準画像取得手段（変換画像取得手段）の一例として機能する。なお、ここでは、対象画像を含む近傍の画像データを、標準画像に変換している。

次に、携帯端末１０は、検索のため標準画像を画像検索サーバ２０に送信する（ステップＳ５）。具体的には、撮影した花が何の花であるかを検索するために、制御部１６は、無線通信部１３から移動体通信網２とネットワーク３とを通して、図６に示すような標準画像を画像検索サーバ２０に送信する。

次に、携帯端末１０は、画像検索サーバ２０から検索結果を受信して表示する（ステップＳ６）。具体的には、制御部１６は、検索された花の名前や花の情報を、無線通信部１３により画像検索サーバ２０から受信し、表示部１２に表示する。

次に、画像検索サーバ２０における検索処理について説明する。

図７は、画像検索サーバ２０における検索処理の一例を示すフローチャートである。

まず、図７に示すように、画像検索サーバ２０は、携帯端末１０から標準画像を受信する（ステップＳ７）。具体的には、画像検索サーバ２０の制御部２１は、携帯端末１０から移動体通信網２とネットワーク３とを通して標準画像を受信する。

次に、画像検索サーバ２０は、受信した標準画像から特徴量を抽出する（ステップＳ８）。具体的には、制御部２１は、対象画像が花の画像である場合、標準画像の特徴量として、花びらの数、花の色、花全体の形状の情報、花びらの切れ目等の花びら情報等を抽出する。

次に、画像検索サーバ２０は、抽出した標準画像の特徴量に基づき、データベース２２から標準画像を特定する情報を検索する（ステップＳ９）。具体的には、制御部２１は、花の標準画像の特徴量に基づき、データベース２２から類似している花を検索し、類似度等の上位の花に関する情報や花に関する画像を求める。このように、画像検索サーバ２０は、標準画像に基づき、対象画像を特定する情報を検索する検索手段の一例として機能する。また、画像検索サーバ２０は、標準画像より画像の特徴量を抽出し、特徴量に基づき、対象画像を特定する情報を検索する検索手段の一例として機能する。

次に、画像検索サーバ２０は、検索上位結果を携帯端末１０に送信する（ステップＳ１０）。具体的には、制御部２１は、花に関する情報や、花に関する画像を送信する。

これらのように、画像検索サーバ２０は、標準画像に基づき、対象画像を特定する情報を検索する検索手段の一例として機能する。また、画像検索サーバ２０は、標準画像より画像の特徴量を抽出し、特徴量に基づき、対象画像を特定する情報を検索する検索手段の一例として機能する。

なお、携帯端末１０が、画像検索サーバ２０のデータベース２２のようなデータベースを備え、標準画像から画像の情報を検索してもよい。

次に、ステップＳ４の対象画像を標準画像へ変換するサブルーチンについて図に基づき詳細に説明する。

図８は、図４のフローチャートにおける標準画像への変換のサブルーチンの一例を示すフローチャートである。図９（Ａ）は、図５の対象画像の輪郭および対象画像を近似する楕円の一例を示す模式図であり、（Ｂ）は、対象画像から抽出された中心候補を含む中心候補画像および中心候補画像を近似する楕円の一例を示す模式図である。図１０は、図９（Ａ）の楕円と、図９（Ｂ）の楕円との関連を示す模式図である。図１１は、図５の対象画像と、楕円に接する四角形との関連を示す模式図である。図１２は、楕円から真円への射影変換の様子を示す模式図であって、（Ａ）は楕円に接する四角形を示す模式図であり、（Ｂ）は射影変換後の様子を示す模式図である。

まず、携帯端末１０は、対象画像および中心候補画像の楕円近似を行う（ステップＳ２０）。具体的には、制御部１６は、図９（Ａ）に示すように、ステップＳ２で抽出した花全体の輪郭Ｆ１を最小二乗法により楕円Ｅ１に近似し、図９（ｂ）に示すように、ステップＳ３で抽出した花芯部分の輪郭Ｆ２を最小二乗法により楕円Ｅ２に近似する。このように、携帯端末１０は、対象画像を近似する楕円を算出する楕円算出手段の一例として機能する。楕円近似については後述する。

次に、携帯端末１０は、中心候補を決定する（ステップＳ２１）。具体的には、制御部１６は、図９（Ｂ）に示すように、花芯を近似した楕円Ｅ２の長軸Ｅ２_Ａと短軸Ｅ２_Ｂとの交点より、中心候補Ｏ_Ａを決定する。この中心候補Ｏ_Ａは奥行きの情報となる。花全体の楕円Ｅ１と、花芯の楕円Ｅ２との関連は図１０に示すようになる。このように、携帯端末１０は、対象画像の中心候補を決定する中心候補決定手段の一例として機能する。また、携帯端末１０は、抽出した中心候補画像を楕円近似した楕円の長軸と短軸との交点から中心候補を決定する中心候補決定手段の一例として機能する。また、携帯端末１０は、対象画像が花画像であって、花画像を近似する楕円を算出する楕円算出手段の一例として機能する。また、携帯端末１０は、対象画像が花画像であって、花画像の花芯部分から花画像の中心候補を決定する中心候補決定手段の一例として機能する。

次に、携帯端末１０は、楕円および中心候補に関連した四角形を求める（ステップＳ２２）。具体的には、図１１に示すように、制御部１６は、花全体の楕円Ｅ１と花芯の楕円Ｅ２の中心候補Ｏ_Ａとにより、楕円Ｅ１に接する第１多角形の一例として四角形Ｐ１を求める。このように、携帯端末１０は、楕円および中心候補に関連した第１多角形を算出する多角形算出手段の一例として機能する。また、携帯端末１０は、楕円および中心候補に関連した四角形を算出する多角形算出手段の一例として機能する。

次に、携帯端末１０は、第１多角形の一例である四角形と第２多角形の一例である正方形とに基づき射影変換行列を算出する（ステップＳ２３）。具体的には、図１２（Ａ）（Ｂ）に示すように、制御部１６は、第１多角形である四角形Ｐ１の頂点ｘ１、ｘ２、ｘ３、ｘ４と、第２多角形の一例である正方形Ｐ１’の頂点ｘ１’、ｘ２’、ｘ３’、ｘ４’とに基づき射影変換行列を算出する。このように、携帯端末１０は、中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ第１多角形を射影変換する射影変換行列を算出する射影変換行列算出手段の一例として機能する。また、携帯端末１０は、中心候補が射影変換される点を中心とする楕円に関連する正方形へ四角形を射影変換する射影変換行列を算出する射影変換行列算出手段として機能する。第２多角形は、例えば正多角形である。第２多角形の中心とは、例えば正多角形である第２多角形の重心、内心、または外心である。本実施形態では、第２多角形として正方形を用いている。また、本実施形態では、第２多角形である正方形Ｐ１’は、中心候補が射影変換される点を中心とする楕円（本実施形態では真円）Ｅ１’に外接する。なお、楕円の中心とは、楕円の長軸と短軸との交点をいう。楕円とは、長軸の長さと短軸の長さとが一致する真円も含む。射影変換行列については後述する。

次に、携帯端末１０は、射影変換行列に基づき、対象画像を標準画像に変換する（ステップＳ２４）。具体的には、制御部１６は、四角形Ｐ１（ｘ１、ｘ２、ｘ３、ｘ４）から正方形Ｐ１’（ｘ１’、ｘ２’、ｘ３’、ｘ４’）に変換する射影変換行列に基づき、記憶部に記憶しておいた対象画像の画像データの各ピクセルに対して変換を行う。

次に、携帯端末１０は、標準画像の修正が必要か否かを判定する（ステップＳ２５）。具体的には、制御部１６は、楕円近似と花全体の輪郭との誤差や、標準画像の歪や、標準画像の花芯部分の歪み等に基づき、標準画像の修正が必要か否かを判定する。または、人間が標準画像を見て、修正が必要な場合、制御部１６は、操作部１４から入力を受け付け、標準画像の修正が必要か否かを判定する。そして、修正が必要な場合（ステップＳ２５；ＹＥＳ）、制御部１６は、ステップＳ２０に戻り、楕円形状や中心候補の位置を調整する。一方、修正が不要の場合（ステップＳ２５；ＮＯ）、制御部１６は、サブルーチンを終了する。

ここで、楕円近似について説明する。なお、楕円を一般化した円錐曲線（２次曲線）により説明する。

２次曲線は係数Ａ〜Ｆを用いて以下の式で表すことができる。
Ａｘ^２＋ ２Ｂｘｙ ＋ Ｃｙ^２ ＋ ２Ｄｘ ＋ ２Ｅｙ ＋ Ｆ ＝ ０ ・・・（１）

特に、ＡＣ−Ｂ^２ ＞ ０ を満たすときに楕円を表す。さらにベクトルｖ、ｃを用いて置換すると、以下の式で書き換えられる。
ｖ^Ｔｃ ＝ １ ・・・（２）
ｃ＝−１／Ｆ［Ａ，２Ｂ，Ｃ，２Ｄ，２Ｅ］^Ｔ ・・・（３）
ｃ＝［ｘ^２，ｘｙ，ｙ^２，ｘ，ｙ］^Ｔ ・・・（４）

平面上にＮ（＝５）個の点列（ｘ_ｉ，ｙ_ｉ）（ｉ＝１・・・Ｎ）が与えられたとき、それらを近似する２次曲線は，ベクトルｖをＮ本束ねた行列Ｖ ＝ ［ｖ_１，・・・，ｖ_Ｎ］^Ｔを用いて，以下の５元連立方程式に帰着できる。
Ｖｃ＝１ ・・・（５）

Ｎ＞５のとき，過剰決定系の連立方程式となり解が一意に求まらないため、最小二乗法による近似を行う。与えられた点列からなるＶｃと，右辺の１との残差を最小にするために、以下の式（６）を解くことにより、式（７）に示すように近似解ｃ~が得られる。
∂／∂ｃ‖Ｖｃ−１‖^２＝０ ・・・（６）
ｃ~＝（Ｖ^ＴＶ）^−１Ｖ^Ｔ＝Ｖ^＋１ ・・・（７）
Ｖ^＋は擬似逆行列と呼ばれる。

次に、射影変換行列および２次曲線の射影変換について図に基づき説明する。

図１３において、（Ａ）は、射影変換行列を説明するための平面を示す模式図であり、（Ｂ）は２次曲線の射影変換を説明するための平面を示す模式図である。

図１３（Ａ）に示すように、空間に任意の２つの平面を取り、原点を観測点として平面π上の点ｘ＝（ｘ、ｙ）を、平面π’上の点ｘ’＝（ｘ’、ｙ’）に射影することを考える。

係数ａ_ｉｊ（ｉ，ｊ＝１，２，３）を用いると、同一点に対応する座標ｘとｘ’は、以下の式が成り立つ。

この式はそれぞれの方程式が任意定数で通分でき、独立した８係数からなる方程式である。よって、任意の１係数を固定することができ、ここではａ_３３＝１とする。８係数ａ_ｉｊは、同一点に対応する４組の座標ｘ_ｋ，ｘ_ｋ’（ｋ＝１，２，３，４） から一意に求められる。これは、平面π上のｘ_ｋからなる四角形の領域を、平面π’上のｘ_ｋ’からなる四角形の領域に射影変換することを意味する。これら８点の座標を式（８）に代入して解き、その係数から射影変換行列Ｐを以下で定義する。

次に、２次曲線の射影変換について説明する。

３個の数字の組｛Ｘ_１，Ｘ_２，Ｘ_３｝と｛ｋＸ_１，ｋＸ_２，ｋＸ_３｝（ｋ≠０）とが同じ座標を表すとき、これを同次座標と呼ぶ。図１３（Ｂ）において、平面σの上のｘｙ座標から平面σ’上のＸＹ座標への射影に相当する。点ｘとそれに対応する同次座標系の点Ｘは以下の関係を満たす。
Ｘ＝［Ｘ_１，Ｘ_２，Ｘ_３］^Ｔ ・・・（１０）
ｘ ＝ ［Ｘ_１／Ｘ_３， Ｘ_２／Ｘ_３］^Ｔ ・・・（１１）

同次座標を利用すると、式（１）の２次曲線は以下の式で書き換えられる。
ＡＸ_１ ^２＋２ＢＸ_１Ｘ_２＋ＣＸ_２ ^２＋２ＤＸ_１Ｘ_３＋２ＥＸ_２Ｘ_３＋ＦＸ_３ ^２＝０ ・・・（１２）

ここでＡ〜Ｆの係数より行列Ｑを以下で定義する。

これと式（１０）により，式（１２）は、さらに以下の式に置き換えることができる。
Ｘ^ＴＱＸ ＝ ０ ・・・（１４）

また，射影変換行列の逆行列をＰ’＝Ｐ^−１と置いたとき、同次座標形の点ＸからＸ’への射影変換と逆射影変換は、式（８）（９）（１０）より以下の式で表される。
Ｘ’ ＝ ＰＸ ・・・（１５）
Ｘ ＝ Ｐ’Ｘ’ ・・・（１６）

式（１６）を式（１４）に代入することで得られる方程式Ｘ’^Ｔ（Ｐ’^ＴＱＰ’）Ｘ’＝０についてＱ’＝Ｐ’^ＴＱＰ’と置換すると、式（１４）と対称な方程式Ｘ’^ＴＱ’Ｘ’＝０が得られる。このときの置換に用いた式は、Ｑ’がＱの射影変換だということを表している。よって、２次曲線ＱのＰによる射影変換と逆射影変換は、それぞれ射影変換行列を用いて以下の式で表すことができる。
Ｑ＝Ｐ^ＴＱ’Ｐ ・・・（１７）
Ｑ’＝Ｐ’^ＴＱＰ’ ・・・（１８）

従って、２次曲線は射影変換を適用しても２次曲線の性質を保つことが示された。

次に、四角形算出のサブルーチンについて図に基づき詳細に説明する。

図１４は、図８のフローチャートにおける四角形算出のサブルーチンの一例を示すフローチャートである。ここで、このサブルーチンでは、射影変換の対象を、２次曲線のうち楕円に限定し、楕円Ｅ１から求められる仮想の四角形(変形対象領域)Ｐ１から、真円Ｅ１’が内接する正方形Ｐ１’へと射影変換することを考える。すなわち、楕円Ｅ１から真円Ｅ１’への射影変換と考える。

このサブルーチンは、変形対象領域の四角形Ｐ１を以下の方法で求める。

図１４に示すように、まず、携帯端末１０は、中心候補を通る第１基準直線を決定する（ステップＳ３０）。具体的には、携帯端末１０の制御部１６は、図１２（Ａ）に示すように、1つの楕円Ｅ１とその内側の点（中心候補）Ｏ_Ａに対して、中心候補Ｏ_Ａを通る任意の直線、例えば、楕円Ｅ１の長軸Ｅ１_Ａに平行な第１基準直線ｌ_０を決定する。このように、携帯端末１０は、中心候補を通る直線（第１基準直線ｌ_０）を、楕円の長軸に平行な直線から求める多角形算出手段の一例として機能する。

次に、携帯端末１０は、第１基準直線と楕円との交点から第１接点および第２接点を算出する（ステップＳ３１）。具体的には、制御部１６は、第１基準直線ｌ_０と楕円Ｅ１と交点から第１接点ｑ_１および第２接点ｑ_２を算出する。

次に、携帯端末１０は、第１接点を接点とする第１接線と、第２接点を接点とする第２接線とを算出する（ステップＳ３２）。具体的には、制御部１６は、第１接点ｑ_１での楕円Ｅ１の第１接線ｍ_１と、第２接点ｑ_２での楕円Ｅ１の第２接線ｍ_２とを算出する。

次に、携帯端末１０は、第１接線と第２接線との交点より第１消失点を算出する（ステップＳ３３）。具体的には、制御部１６は、第１接線ｍ_１と第２接線ｍ_２との交点より第１消失点ｑ_∞を算出する。ここで、第１消失点ｑ_∞は極、基準直線ｌ_０は極線と呼ばれ、一方が定まればもう一方も定まる双対の関係にある。

次に、携帯端末１０は、第１消失点と中心候補とを通る第２基準直線を算出する（ステップＳ３４）。具体的には、制御部１６は、第１消失点q_∞と中心候補Ｏ_Ａとを共に通る極線として、第２基準直線ｍ_０を算出する。

次に、携帯端末１０は、第２基準直線と楕円と交点より第３・第４接点を算出する（ステップＳ３５）。具体的には、制御部１６は、第２基準直線ｍ_０と楕円Ｅ１と交点より第３接点ｐ_１および第４接点ｐ_２を算出する。

次に、携帯端末１０は、第３接点を接点とする第３接線と、第４接点を接点とする第４接線とを算出する（ステップＳ３６）。具体的には、制御部１６は、第３接点ｐ_１での楕円Ｅ１の第３接線ｌ_１と、第４接点ｐ_２での楕円Ｅ１の第４接線ｌ_２とを算出する。

次に、携帯端末１０は、第３接線と第４接線との交点より第２消失点を算出する（ステップＳ３７）。具体的には、制御部１６は、第３接線ｌ_１と第４接線ｌ_２との交点より極の第２消失点ｐ_∞を算出する。

次に、携帯端末１０は、第１〜第４接線の交点より四角形の頂点を算出する（ステップＳ３８）。具体的には、制御部１６は、第１接線ｍ_１と第４接線ｌ_２とから交点ｘ_１、第４接線ｌ_２と第２接線ｍ_２とから交点ｘ_２、第２接線ｍ_２と第３接線ｌ_１とから交点ｘ_３、および、第３接線ｌ_１と第２接線ｍ_１とから交点ｘ_４を算出し、四角形Ｐ１の頂点とする。ここで、第１〜第４接線によって囲まれた四角形Ｐ１が、変形対象領域であり、中心候補を通る直線と楕円との交点を接点とする第１多角形の一例である。このように、携帯端末１０は、中心候補を通る直線と楕円との交点を接点とする第１多角形の一例の四角形を算出する多角形算出手段の一例として機能する。

そして、制御部１６は、サブルーチンを終了後、ステップＳ２３として、図１２（Ａ）に示す四角形Ｐ１の頂点ｘ１〜ｘ４の座標と、図１２（Ｂ）に示す正方形Ｐ１’の頂点ｘ１’〜ｘ４’の座標から、射影変換行列Ｐを算出する。そして、射影変換行列Ｐによって、楕円Ｅ１は、標準画像の一例の真円Ｅ１’に射影変換され、同時に中心候補Ｏ_Ａは真円の中心Ｏ_Ａ’に射影される。

ここで、花の中央に位置している花芯の座標を用いれば、中心候補Ｏ_Ａを適切に取ることができる。よって、花全体から近似された楕円Ｅ１と、花芯から近似された楕円の中心座標（中心候補Ｏ_Ａの座標）から、変形対象領域の四角形Ｐ１を求められ、これを正方形Ｐ１’に射影変換することで正面の見た目が得られる。

このように本実施形態によれば、携帯端末１０は、画像処理を行う対象画像を記憶部１５に記憶し、対象画像（例えば、花の全体の輪郭Ｆ１）を近似する楕円Ｅ１を算出し、対象画像の中心候補Ｏ_Ａを決定し、楕円および中心候補に関連した第１多角形（例えば、四角形Ｐ１）を算出し、中心候補が射影変換される点を中心とする楕円に関連する第２多角形（例えば、正方形Ｐ１’）へ第１多角形を射影変換する射影変換行列Ｐを算出し、記憶部１５に記憶された対象画像を射影変換行列に基づき射影変換して、対象画像の変換画像を取得することにより、花等のように直線部分の輪郭が無い対象画像でも所望の向きに表示された画像に変換できる。

また、携帯端末１０は、被写体を正面から撮影したような標準画像、すなわち所望の向きに表示された画像に変換できるため、ユーザが撮影のアングルを気にしない等、ユーザの負担を軽減させることができる。例えば、従来は、被写体が花の場合は、花の向きや形状を揃えるためや不要な背景を自動で除去するため、ユーザが、花を黒い背景の上に置いたり、花の真正面から画面全体に撮影したりしていた。そのため、撮影時にアングルを調整する等、ユーザの負担が大きかった。また、山では簡単に撮影できない所に生息している花も多く、従来技術では、既に撮影された写真を後から所望の向きに表示された画像に直すことができなかった。しかし、本実施形態によれば、直線部分がない被写体でも、正面から撮影したような画像に変換できる。

また、携帯端末１０は、撮影後に画像に表示される向きを変換できるため、照明の反射を気にせず被写体を撮影でき、ユーザの利便性を向上させることができる。

また、野外で撮影したものが何であるかその場で検索する場合、キーワードによる検索と異なり、撮影対象の撮影角度により、様々な対象画像になり検索が難しくなる場合がある。これに対し、本実施形態によれば、対象画像に基づき対象画像に関する情報を検索する場合、対象画像を正面から撮影されたような画像に変換して、当該変換画像に基づき検索するため、標準化された特徴量により検索しやすく、検索速度や検索の精度を向上させることができる。

また、本実施形態によれば、例えば正面画像のように表示の向きが特定された画像のみに関連づけて検索のためのデータベースの構築でき、被写体の様々なアングルから撮影した画像データを予め用意する必要がないため、データベースを構築しやすく、また簡素化できる。そのため、携帯端末１０がデータベースを備え、検索を行うことも可能である。

また、携帯端末１０が、多角形算出手段として、中心候補Ｏ_Ａを通る直線ｌ_０、ｍ_０と楕円Ｅ１との交点ｑ_１、ｑ_２、ｐ_１、ｐ_２に接する第１多角形（例えば、四角形Ｐ１）を算出する場合、楕円および中心候補に関連した第１多角形を容易に一意的に求めることができ、第１多角形の頂点の座標等から射影変換行列を決定できる。

携帯端末１０が、多角形算出手段として、中心候補Ｏ_Ａを通る直線ｌ_０を楕円の長軸Ｅ１_Ａに平行な直線から求める場合、歪の少ない標準画像が求まり、変換後の画像が見やすくなる。また、歪の少ない標準画像のため、検索精度も向上する。

また、携帯端末１０が、多角形算出手段として、楕円Ｅ１および中心候補Ｏ_Ａに関連した四角形Ｐ１を算出し、射影変換行列算出手段として、中心候補Ｏ_Ａに対応した中心候補Ｏ_Ａ’を中心とする真円Ｅ１’に関連する正方形Ｐ１’へ四角形を射影変換する射影変換行列を算出する場合、射影変換行列を求めるための４つの座標を、四角形Ｐ１の頂点等から容易に算出することができる。

また、携帯端末１０が、中心候補決定手段として、花の全体画像等の対象画像の中から中心候補（花芯）を含む中心候補画像を抽出し、抽出した中心候補画像を楕円近似した楕円Ｅ２の長軸Ｅ２_Ａと短軸Ｅ２_Ｂとの交点（点Ｏ_Ａ）から中心候補を決定する場合、客観的に奥行きの情報が中心候補から得られ、正面から撮影された画像により近い標準画像を求めることができる。

また、対象画像が花画像（花の輪郭Ｆ１）であって、携帯端末１０が、楕円算出手段として、花画像を近似する楕円Ｅ１を算出し、中心候補決定手段として、花画像の花芯（花芯の輪郭Ｆ２）部分から花画像の中心候補Ｏ_Ａを決定する場合、撮影場所やアングルが限られた画像でも、花を雌しべの方から見た正面画像のような花の標準画像を求めることできる。また、携帯端末１０は、花の標準画像により、花の種類等が特定できる。

また、携帯端末１０が、対象画像を含む画像を取得する画像取得手段の一例として撮像部１１を備えた場合、山など外出先で、花等の対象画像を撮影して、その場で、花の正面画像等の所望の向きに表示された標準画像を得ることができ、花の種類を特定する等、対象画像を特定しやすくなる。

また、携帯端末１０が、ステップＳ２のように、取得された画像から、対象画像を抽出する対象画像抽出手段を備えた場合、背景画像と対象画像とを切り離し、背景画像の影響を除去できるため、精度が良い標準画像が得られたり、標準画像に基づく検索精度が向上したりする。また、花の部分および背景の部分の色の情報に基づき、対象画像の抽出をすると、ユーザは、コントラストを気にせず対象画像の撮影ができ、携帯端末１０が、撮影時のユーザの負担を軽減させることができる。

また、画像検索サーバ２０が、携帯端末１０から送信された標準画像に基づき対象画像を特定する情報を検索する場合、携帯端末１０が検索結果を受信することにより、山の中でも画像の情報検索が可能となり、例えば、山中で撮影した花の写真から、その花の情報を簡単に検索するシステムを構築することができる。また、例えば正面から撮影されたような標準画像に基づき対象画像を特定するため、標準化された特徴量によって検索することができ、検索速度や検索の精度を向上させたり、データベースを簡素化したりできる。

また、画像検索サーバ２０が、検索手段として、標準画像より画像の特徴量を抽出し、特徴量に基づき、対象画像を特定する情報を検索する場合、検索の精度を向上させることができる。

次に、変形対象領域の四角形を求める第１変形例について図に基づき説明する。

図１５は、楕円に接する四角形を求める第１・２変形例における四角形算出のサブルーチンの一例を示すフローチャートである。図１６は、楕円に接する四角形を求める第１変形例を示す模式図である。図１７は、楕円に接する四角形を求める第２変形例を示す模式図である。

図１５に示すように、まず、携帯端末１０は、画像枠に水平で楕円に接する第１接点および第１接線を決定する（ステップＳ４０）。具体的には、携帯端末１０の制御部１６は、図１６に示すように、画像枠３０の上辺３０ａまたは下辺に水平で楕円Ｅ１に接する第１接点ｑ２および第１接線ｍ_２を決定する。ここで画像枠３０は、例えば、撮像された２次元の画像全体を囲う長方形の枠である。

次に、携帯端末１０は、第１接点と中心候補とを通る第１基準直線を算出する（ステップＳ４１）。具体的には、制御部１６は、第１接点ｑ_２と中心候補Ｏ_Ａとを通る第１基準直線ｌ_０を算出する。

次に、携帯端末１０は、第１基準直線と楕円とにより第２接点および第２接線を算出する（ステップＳ４２）。具体的には、制御部１６は、第１基準直線ｌ_０と楕円Ｅ１との交点より第２接点ｑ_１を求め、第２接点ｑ_１で楕円Ｅ１に接する第２接線ｍ_１を算出する。

次に、携帯端末１０は、第１接線と第２接線との交点より第１消失点を算出する（ステップＳ４３）。具体的には、制御部１６は、第１接線ｍ_２と第２接線ｍ_１との交点より第１消失点ｑ_∞を算出する。なお、ステップＳ４４〜ステップＳ４８は、ステップＳ３４〜ステップＳ３８と同じであり、最終的に、図１６に示すような四角形Ｐ２を得ることができる。

このように、携帯端末１０は、中心候補Ｏ_Ａを通る直線と楕円Ｅ１との交点を接点ｑ_２とする第１多角形の一例の四角形を算出する多角形算出手段の一例として機能する。また、携帯端末１０は、対象画像を取り囲む画像枠３０のいずれかの辺３０ａに平行な直線ｍ_２と楕円Ｅ１とが接する点を接点ｑ_２とする多角形算出手段の一例として機能する。

本変形例によれば、四角形Ｐ２から正方形Ｐ１’への射影変換により、対象画像が射影変換された際、対象画像に対して、円周方向の画像回転が少ない標準画像を得ることができる。そのため、ユーザが対象画像と変換されて得た標準画像とを見比べやすくなり、画像の編集がしやすくなる。

なお、図１７に示すように、変形対象領域の四角形を求める第２変形例として、ステップＳ４０で、画像枠３０の上辺３０ａまたは下辺に水平で楕円Ｅ１に接する第１接点ｑ_１および第１接線ｍ_１を決定してもよい。最終的に、四角形Ｐ３の形状は異なるが、第１変形例と同様の効果が得られる。このように、携帯端末１０は、中心候補Ｏ_Ａを通る直線と楕円Ｅ１との交点を接点ｑ_１とする第１多角形の一例の四角形を算出する多角形算出手段の一例として機能する。また、携帯端末１０は、対象画像を取り囲む画像枠３０のいずれかの辺３０ａに平行な直線ｍ_１と楕円Ｅ１とが接する点を接点ｑ_１とする多角形算出手段の一例として機能する。なお、基準直線ｌ_０、ｍ_０は、中心候補Ｏ_Ａを通る任意の直線で、かつ、お互いに中心候補Ｏ_Ａで交差する直線であればよく、様々なバリエーションが考えられる。

次に、変形対象領域の四角形を求める第３変形例について図に基づき説明する。

図１８は、楕円に接する四角形を求める第３変形例であって、（Ａ）は、楕円に内接する四角形の一例を示す模式図であり、（Ｂ）は射影変換後の様子を示す模式図である。

図１８（Ａ）に示すように、射影変換行列Ｐを求めるための四角形は、接点ｐ_１、ｑ_１、ｐ_２、ｑ_２を頂点とする四角形Ｐ４になる。この四角形Ｐ４は、楕円Ｅ１に内接する。この場合、射影変換行列Ｐを求めるための第２多角形は、図１８（Ｂ）に示すように、接点ｐ_１’、ｑ_１’、ｐ_２’、ｑ_２’を頂点とし、真円Ｅ１’に内接する正方形Ｐ４’になる。この場合、射影変換行列算出手段は、中心候補Ｏ_Ａが射影変換される点Ｏ_Ａ’を中心とする楕円（本変形例では真円Ｅ１’）が内接する正方形Ｐ４’へ四角形Ｐ４を射影変換する射影変換行列を算出する。

本変形例の場合、ステップＳ３５までやステップＳ４５までにおいて、第１接点、第２接点、第３接点、第４接点が求まれば、四角形Ｐ４の頂点が算出されたことになる。

このように、携帯端末１０は、楕円および中心候補に関連した第１多角形を算出する多角形算出手段の一例として機能する。また、携帯端末１０は、中心候補を通る直線と楕円との交点を接点とする第１多角形の一例の四角形を算出する多角形算出手段の一例として機能する。

本変形例の場合、射影変換行列Ｐを求めるための四角形Ｐ４の頂点が、第１接点、第２接点、第３接点、第４接点として容易に求まる。

次に、変形対象領域の四角形を求める第４変形例について図に基づき説明する。

図１９は、楕円に接する四角形を求める第４変形例であって、（Ａ）は、楕円に接する四角形の一例を示す模式図であり、（Ｂ）は射影変換後の様子を示す模式図である。

本変形例は、図１９（Ａ）に示すように、中心候補Ｏ_Ａが楕円Ｅ１の縁の近傍にある場合である。本変形例の場合、楕円Ｅ１に外接する四角形は、四角形Ｐ５となり、楕円Ｅ１に内接する四角形は、四角形Ｐ６となる。なお、第１基準直線ｌ_０や第２基準直線ｍ_０は、中心候補Ｏ_Ａを通る任意の直線で、かつ、お互いに中心候補Ｏ_Ａで交差する直線として求めた。

本変形例の場合、楕円Ｅ１に接点ｐ_１、ｑ_１、ｐ_２、ｑ_２で外接する四角形Ｐ５が、楕円Ｅ１を囲まない。このため、射影変換行列Ｐを求めるための第２多角形は、頂点ｘ_３に対応するｘ_３’の座標が（−∞、−∞）となり、概念的には、図１９（Ｂ）において、点線で示した第２多角形Ｐ５’となる。このように、四角形Ｐ５が、楕円Ｅ１を囲まない場合でも、射影変換行列Ｐを算出できる。この場合、射影変換行列算出手段は、中心候補Ｏ_Ａが射影変換される点Ｏ_Ａ’を中心とする楕円（本変形例では真円Ｅ１’）に関連する多角形Ｐ５’へ四角形Ｐ５を射影変換する射影変換行列を算出する。

一方、楕円Ｅ１に接点ｐ_１、ｑ_１、ｐ_２、ｑ_２で内接する四角形Ｐ６の場合、射影変換行列Ｐを求めるための第２多角形は、図１９（Ｂ）に示すように、接点ｐ_１’、ｑ_１’、ｐ_２’、ｑ_２’を頂点とし、真円Ｅ１’に内接する正方形Ｐ６’になる。このように、内接の四角形Ｐ６の場合、中心候補が、楕円の縁に近い場合でも、直感的に第２多角形が観念しやすい。この場合、射影変換行列算出手段は、中心候補Ｏ_Ａが射影変換される点Ｏ_Ａ’を中心とする楕円（本変形例では真円Ｅ１’）が外接する正方形Ｐ６’へ四角形Ｐ６を射影変換する射影変換行列を算出する。

なお、多角形の一例として、三角形や五角形でもよい。射影変換行列Ｐが算出できるように、変換前の対象画像において、楕円Ｅ１および中心候補Ｏ_Ａに関連して少なくとも４点の座標が決まればよい。三角形の場合、射影変換行列Ｐを求めるため、３つの頂点以外に、ある辺上の点や、三角形の内部の重心、内心、外心等の点を第４の座標とすればよい。また、第２多角形は、例えば、正三角形、正方形、長方形、正五角形等の等角の多角形や、正多角形であり、射影変換後の真円Ｅ１’と関連づく図形で、射影変換行列Ｐが算出できればよい。また、第２多角形は、正多角形に限られない。中心候補が射影変換される点を中心とする、第２多角形に内接または外接する楕円は、真円に限られない。

また、画像検索サーバ２０側が、画像処理装置として、対象画像から所望の向きに表示された変換画像である標準画像を求めてもよい。例えば、携帯端末１０が撮像した対象画像を含む画像データを検索要求画像として、ネットワーク３を通して、画像検索サーバ２０側に送信する。そして、画像検索サーバ２０側の受信部が、画像取得手段として機能し、画像検索サーバ２０側で、標準画像に変換し、画像検索サーバ２０が、標準画像に基づき検索する。そして画像検索サーバ２０が、検索結果を携帯端末１０に送信する。

また、携帯型無線電話機のような携帯端末１０に限らず、デジタルカメラで撮影した対象画像を、本実施形態の方法が機能するプログラムがインストールされたパーソナルコンピュータに取り込み、所望の向きに表示された変換画像である標準画像を求める形態でもよい。また、画像検索システム１の画像検索サーバ２０の処理は、１台のサーバで行ってもよいし、複数のサーバに分散させてもよい。また、検索サーバを備えず、例えば単に標準画像を求めてもよく、あるいは、得られた標準画像を利用して検索とは異なる処理をしてもよい。

また、対象画像は花画像に限らず、例えば他の円形形状のものであってもよく、皿、カップ、ＣＤ、ＤＶＤ、時計の文字盤、道路標識などであってもよい。あるいは、対象画像は、花画像に限らず、例えば楕円形かつ平面的な物体であってもよい。

さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

１０：携帯端末
１５：記憶部
１４：撮像部
１６：制御部
２０：画像検索サーバ
２１：制御部
２１ｂ：記憶部
２２：データベース
３０：画像枠
Ｅ１：楕円
Ｆ１：花の輪郭
Ｆ２：花芯の輪郭
Ｏ_Ａ：中心候補
Ｐ１：四角形（第１多角形）
Ｐ１’：正方形（第２多角形）

Claims (17)

1. 対象画像に対して画像処理を行う画像処理装置であって、
   前記対象画像を近似する楕円を算出する楕円算出手段と、
   前記対象画像の中心候補を決定する中心候補決定手段と、
   前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出手段と、
   前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出手段と、
   前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得手段と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記射影変換行列算出手段が、前記中心候補が射影変換される点を中心とする楕円が内接または外接する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出することを特徴とする画像処理装置。
3. 前記射影変換行列算出手段における前記中心候補が射影変換される点を中心とする楕円は真円であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 請求項１から３のいずれか１項に記載の画像処理装置において、
   前記多角形算出手段が、
   前記中心候補を通る直線と前記楕円との交点を接点とする前記第１多角形を算出することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記多角形算出手段が、
   前記中心候補を通る直線を前記楕円の長軸に平行な直線から求めることを特徴とする画像処理装置。
6. 請求項４に記載の画像処理装置において、
   前記多角形算出手段が、
   前記対象画像を取り囲む画像枠のいずれかの辺に平行な直線と前記楕円とが接する点を前記接点とすることを特徴とする画像処理装置。
7. 請求項１から請求項６のいずれか１項に記載の画像処理装置において、
   前記多角形算出手段が、前記楕円および前記中心候補に関連した四角形を算出し、
   前記射影変換行列算出手段が、前記中心候補が射影変換される点を中心とする楕円に関連する正方形へ前記四角形を射影変換する射影変換行列を算出することを特徴とする画像処理装置。
8. 請求項１から請求項７のいずれか１項に記載の画像処理装置において、
   前記中心候補決定手段が、
   前記対象画像の中から前記中心候補を含む中心候補画像を抽出し、
   抽出した前記中心候補画像を楕円近似した楕円の長軸と短軸との交点から前記中心候補を決定することを特徴とする画像処理装置。
9. 請求項１から請求項８のいずれか１項に記載の画像処理装置において、
   前記対象画像が花画像であって、
   前記楕円算出手段が、前記花画像を近似する前記楕円を算出し、
   前記中心候補決定手段が、前記花画像の花芯部分から前記花画像の前記中心候補を決定することを特徴とする画像処理装置。
10. 請求項１から請求項９のいずれか１項に記載の画像処理装置において、
    前記対象画像を含む画像を取得する画像取得手段を更に備えたことを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前記取得された画像から、前記対象画像を抽出する対象画像抽出手段を更に備えたことを特徴とする画像処理装置。
12. 請求項１から請求項１１のいずれか１項に記載の画像処理装置において、
    前記変換画像に基づき、前記対象画像を特定する情報を検索する検索手段を更に備えたことを特徴とする画像処理装置。
13. 請求項１２に記載の画像処理装置において、
    前記検索手段が、
    前記変換画像より画像の特徴量を抽出し、
    前記特徴量に基づき、前記対象画像を特定する情報を検索することを特徴とする画像処理装置。
14. 請求項１から１３のいずれか１項に記載の画像処理装置において、
    前記第２多角形が正多角形であることを特徴とする画像処理装置。
15. 請求項１から１４のいずれか１項に記載の画像処理装置において、
    前記対象画像を記憶する記憶手段を更に備えたことを特徴とする画像処理装置。
16. 対象画像に対して画像処理を行う画像処理装置の画像処理方法であって、
    前記画像処理装置が、前記対象画像を近似する楕円を算出する楕円算出ステップと、
    前記画像処理装置が、前記画像処理後における前記対象画像の中心候補を決定する中心候補決定ステップと、
    前記画像処理装置が、前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出ステップと、
    前記画像処理装置が、前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出ステップと、
    前記画像処理装置が、前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得ステップと、
    を有することを特徴とする画像処理方法。
17. コンピュータを、
    画像処理の対象画像を近似する楕円を算出する楕円算出手段、
    前記画像処理後における前記対象画像の中心候補を決定する中心候補決定手段、
    前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出手段、
    前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出手段、および、
    前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得手段として機能させることを特徴とする画像処理プログラム。