JP5488548B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、紙面文書や名刺などの書類、ホワイトボードに書かれた文字や図形、液晶表示装置に表示された表示画面などを撮像して、画像データとして保存する機能を具備する撮像装置が知られている（例えば、特許文献１参照）。具体的には、撮像装置は、撮像画像の画像データに対する四辺形検出処理により四辺形領域を検出し、当該四辺形領域の画像を抽出した後、台形補正処理を行って矩形画像に変換する処理を行う。

特開２００５−２６７４５７号公報

しかしながら、上記特許文献１の場合、四辺形検出処理における撮像画像内の直線を検出する直線検出処理にて、撮像画像に含まれる表示画面の外側に存する直線も検出してしまう。この結果、四辺形領域の画像の抽出の候補領域として、表示画面の外側に存する直線を含んで構成される四辺形領域も特定されてしまうといった問題がある。

本発明は、このような問題に鑑みてなされたものであり、撮像画像から四辺形領域の画像の抽出を効率良く行うことができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、
撮像手段により撮像された撮像画像の画像データを取得する取得手段と、この取得手段により取得された撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定の時間周期で変化する明るさ変化領域を検出する検出手段と、前記取得手段により取得された撮像画像の画像データに対して直線を検出する直線検出処理を施して、前記明るさ変化領域に対応する対応領域以外の領域に含まれる直線を特定することなく、前記明るさ変化領域に対応する対応領域に含まれる直線を特定する第１特定手段と、前記撮像画像内で前記第１特定手段により特定された直線を含んで構成される四辺形領域を抽出候補領域として特定する第２特定手段と、を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、撮像手段により撮像された撮像画像の画像データを取得する処理と、取得された撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定の時間周期で変化する明るさ変化領域を検出する処理と、取得された撮像画像の画像データに対して直線を検出する直線検出処理を施して、前記明るさ変化領域に対応する対応領域以外の領域に含まれる直線を特定することなく、前記明るさ変化領域に対応する対応領域に含まれる直線を特定する処理と、前記撮像画像内で特定された直線を含んで構成される四辺形領域を抽出候補領域として特定する処理と、を含むことを特徴としている。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、撮像手段により撮像された撮像画像の画像データを取得する取得手段、この取得手段により取得された撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定の時間周期で変化する明るさ変化領域を検出する検出手段、前記取得手段により取得された撮像画像の画像データに対して直線を検出する直線検出処理を施して、前記明るさ変化領域に対応する対応領域以外の領域に含まれる直線を特定することなく、前記明るさ変化領域に対応する対応領域に含まれる直線を特定する第１特定手段、前記撮像画像内で前記第１特定手段により特定された直線を含んで構成される四辺形領域を抽出候補領域として特定する第２特定手段、として機能させることを特徴としている。

本発明によれば、撮像画像から四辺形領域画像の抽出を効率良く行うことができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。 図２の撮像処理における明るさ変化領域検出処理に係る動作の一例を示すフローチャートである。 図２の撮像処理における抽出候補領域特定処理に係る動作の一例を示すフローチャートである。 図２の撮像処理に係る画像の一例を模式的に示す図である。 図２の撮像処理に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

本実施形態の撮像装置１００は、撮像部１により撮像された撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定周期で変化する明るさ変化領域Ａを検出する。そして、撮像装置１００は、撮像画像の画像データに対して直線Ｌを検出する直線検出処理を施して、明るさ変化領域Ａに対応する対応領域Ｂに含まれる直線Ｌを特定し、当該撮像画像内で特定された直線Ｌを含んで構成される四辺形領域を抽出候補領域Ｃとして特定する。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像生成部３と、画像処理部４と、表示部５と、表示制御部６と、記録媒体制御部７と、操作入力部８と、メモリ部９と、中央制御部１０等を備えている。
また、撮像制御部２、画像生成部３、画像処理部４、表示制御部６、記録媒体制御部７、メモリ部９、中央制御部１０は、バスライン１１を介して接続されている。

撮像部１は、被写体を撮像する撮像手段を構成している。具体的には、撮像部１は、例えば、表示装置２００の表示画面２０１（図５（ａ）参照）を被写体として撮像する。

ここで、表示装置２００について説明する。
表示装置２００は、所定の周期で表示内容を書き換えて表示画面２０１に表示する公知のものを適用可能である。具体的には、表示装置２００は、例えば、図示は省略するが、ＣＲＴ（Cathode Ray Tube）、液晶表示パネル、有機ＥＬ表示パネル等から構成された表示画面２０１を有している。そして、表示装置２００は、例えば、文字や数値や動作状態などのヒトの視覚により認識される各種情報のビデオ信号を生成して、リフレッシュレート（例えば、毎秒７０Ｈｚ等）に対応する所定のフレームレートで各種情報に係る画像を書き換えて表示画面２０１に表示する。即ち、表示装置２００は、各種情報に係る画像をリフレッシュレートに応じて単位時間あたり所定回数（例えば、毎秒７０回等）書き換えるようにして表示画面２０１から出力する。
このように、表示装置２００は、所定の書き換え周期で画像を出力する出力装置を構成している。

なお、被写体として、表示装置２００の表示画面２０１を例示したが、一例であり、出力装置から所定の書き換え周期で出力された画像であればこれに限られるものではない。即ち、例えば、スクリーンや壁面等に対して投影装置（図示略）から投影されることで所定の周期で書き換えられるようにして表示された投影画像を被写体として適用しても良い。

また、撮像部１は、具体的には、レンズ部１ａ、電子撮像部１ｂ及びユニット回路部１ｃを備えている。
レンズ部１ａは、例えば、図示は省略するが、ズームレンズ、フォーカスレンズ、絞り等を有し、これらレンズを通過した被写体の光学像を結像する。

電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサなどから構成され、レンズ部１ａの各種レンズを通過した光学像を撮像フレームレートに応じた所定の撮像周期毎に二次元の画像信号（ＲＧＢ画像データ）に変換して、ユニット回路部１ｃに出力する。

ユニット回路部１ｃは、例えば、図示は省略するが、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）、ＡＧＣ（Auto Gain Control：ゲイン調整アンプ）、ＡＤＣ（Analog to Digital Converter：アナログ／デジタル変換器）等を具備している。このユニット回路部１ｃは、電子撮像部１ｂから出力されて入力される被写体の光学像に応じたアナログの画像信号をＣＤＳにより保持し、当該画像信号をＡＧＣにより増幅した後、増幅された画像信号をＡＤＣによりデジタルの画像信号に変換する。そして、ユニット回路部１ｃは、デジタルの画像信号を画像生成部３に送信する。

撮像制御部２は、撮像部１を構成するレンズ部１ａ、電子撮像部１ｂ及びユニット回路部１ｃ等の動作を制御する。
即ち、撮像制御部２は、例えば、モータ等の駆動源と、この駆動源を駆動するドライバ等（何れも図示略）を備え、レンズ部１ａのズームレンズやフォーカスレンズを光軸方向に駆動させる。また、撮像制御部２は、例えば、レンズ部１ａの絞りの拡径や縮径を行う絞り駆動部（図示略）を備え、露出調整条件に応じて絞りの拡径や縮径を行う。

また、撮像制御部２は、例えば、撮像フレームレート設定部２ａ、ＴＧ(Timing Generator；図示略）、電子撮像部１ｂを駆動するドライバ（図示略）等を備え、撮像フレームレートや各種の撮像条件（例えば、露光時間等）に従ってＴＧ及びドライバを介して電子撮像部１ｂやユニット回路部１ｃの動作タイミングを制御する。

撮像フレームレート設定部２ａは、電子撮像部１ｂやユニット回路部１ｃの駆動周期に係る撮像フレームレートを所定の値に設定する。
具体的には、撮像フレームレート設定部２ａは、撮像処理の明るさ変化領域検出処理（後述）にて、通常の動画像を撮像する通常撮影に対応する撮像フレームレート（例えば、１５ｆｐｓ等）よりも単位時間あたりのフレーム画像Ｆ（図５（ａ）参照）の撮像回数を多くした高速撮影に対応する撮像フレームレート（例えば、１２０ｆｐｓ等）に設定する。このとき、撮像フレームレート設定部２ａは、通常撮影に対応する撮像フレームレートから高速撮影に対応する撮像フレームレートに切り替えて設定しても良いし、通常撮影に対応する撮像フレームレートから連続的に、或いは、段階的に撮像フレームレートを変化させていき、高速撮影に対応する撮像フレームレートに設定しても良い。
また、ユーザが予め被写体としての表示装置２００等の出力装置のリフレッシュレート（例えば、４０Ｈｚ等）を知っている場合には、撮像フレームレート設定部２ａは、当該ユーザによる操作入力部８の所定操作に基づいて当該リフレッシュレートに対応する撮像フレームレート（例えば、４０ｆｐｓ等）に設定するようにしても良い。

そして、撮像制御部２は、撮像フレームレート設定部２ａにより設定された撮像フレームレートや各種の撮像条件（例えば、露光時間等）に基づいて、所定のタイミングで電子撮像部１ｂを動作させてレンズ部１ａを通過した被写体の光学像をアナログの画像信号に変換させる。また、撮像制御部２は、ユニット回路部１ｃを所定のタイミングで動作させて、電子撮像部１ｂから出力されて入力される各フレーム画像Ｆに係るアナログの画像信号をデジタルの画像信号に変換させる。
即ち、撮像制御部２は、撮像部１の電子撮像部１ｂ及びユニット回路部１ｃを制御して、複数のフレーム画像Ｆ、…の画像データを撮像フレームレートに応じた所定の撮像周期で撮像させる。

画像生成部３は、ユニット回路部１ｃから送られてきたデジタルの画像信号からデジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
具体的には、画像生成部３は、所定の周期毎にユニット回路部１ｃから送られてきた各フレーム画像Ｆのデジタルの画像データに対して、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理をそれぞれ行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を逐次生成する。
そして、画像生成部３は、生成された輝度色差信号の画像データを、画像処理部４に出力する。

画像処理部４は、画像生成部３により生成された各フレーム画像Ｆの画像データ（ＹＵＶデータ）を所定の符号化方式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ方式、ＪＰＥＧ方式等）により圧縮・符号化する符号化部や、記録媒体制御部７から読み出された符号化された画像データを当該符号化方式に対応する復号化方式で復号化する復号化部等（何れも図示略）を具備している。

また、画像処理部４は、画像取得部４ａと、明るさ変化領域検出部４ｂと、直線特定部４ｃと、候補領域特定部４ｄと、直角四辺形画像生成部４ｅとを具備している。

画像取得部４ａは、撮像部１により撮像された撮像画像の画像データを取得する。
即ち、画像取得部４ａは、撮像部１により所定の撮像周期で撮像されたフレーム画像Ｆの画像データを逐次取得する。具体的には、画像取得部４ａは、被写体としての表示装置２００の表示画面２０１、つまり、所定位置（例えば、略全面の領域）に各種情報が表示されている表示画面２０１を撮像部１が所定の撮像周期で撮像することによって、画像生成部３により逐次生成されて出力された複数のフレーム画像Ｆ、…のＹＵＶデータを逐次取得する。

なお、画像取得部４ａにより取得される撮像画像（フレーム画像Ｆ）の画像データとして、撮像部１により所定の撮像周期で撮像された撮像画像の画像データを例示したが、一例であってこれに限られるものではない。即ち、後述する明るさ変化領域検出部４ｂによって撮像画像内で明るさが所定周期で変化する明るさ変化領域を検出可能であれば、例えば、撮像部１により所定のタイミングで撮像された撮像画像の画像データであっても良い。
さらに、この場合には、画像取得部４ａは、撮像部１による撮像画像の撮像タイミングに対応させるように、所定のタイミングで断続的に撮像された所定数の撮像画像の画像データを取得するようにしても良いし、所定のタイミングで撮像された一の撮像画像の画像データを取得するようにしても良い。
このように、画像取得部４ａは、撮像部１により撮像された撮像画像の画像データを取得する取得手段を構成している。

また、画像取得部４ａは、ユーザによる操作入力部８のシャッタボタン８ａの全押し操作に基づいて、撮像部１により撮像された撮像画像（記録用画像Ｇ）の画像データを取得する。
具体的には、画像取得部４ａは、ユーザによるシャッタボタン８ａの全押し操作に基づいて、明るさ変化領域検出部４ｂによる明るさ変化領域Ａ（図５（ｂ）参照；後述）の検出に用いられる所定の撮像周期で撮像された複数のフレーム画像Ｆ、…と略等しい構図で、撮像部１により撮像されて画像生成部３により生成された記録用画像Ｇの画像データ（ＹＵＶデータ）を所定数（例えば、一つ）取得する。

明るさ変化領域検出部４ｂは、フレーム画像Ｆ内で明るさが所定周期で変化する明るさ変化領域Ａを検出する。
即ち、表示装置２００の表示画面２０１に所定の書き換え周期で表示されている各種情報の画像は、各画素の明るさ（輝度）が周期的に変化している。特に、リフレッシュレートが相対的に低い表示装置２００では、表示画像の各画素の明るさの変化が細かいちらつき（フリッカ）となって現れる。
明るさ変化領域検出部４ｂは、表示装置２００の表示画面２０１に所定の書き換え周期で表示されている画像（図５（ａ）参照）を被写体として撮像する場合に、画像取得部４ａにより逐次取得された複数のフレーム画像Ｆ、…の画像データに基づいて、フレーム画像Ｆ内で明るさが所定周期で変化する明るさ変化領域Ａを検出する。具体的には、明るさ変化領域検出部４ｂは、例えば、高速動画撮影に対応する撮像フレームレート（例えば、１２０ｆｐｓ等）で撮像された複数のフレーム画像Ｆ、…の中で、前後二つのフレーム画像Ｆ、Ｆの画像データを一組として、当該各組のフレーム画像Ｆ、Ｆの画像データに含まれる輝度成分（例えば、輝度信号Ｙ）の差分を算出し、前のフレーム画像Ｆに対する後のフレーム画像Ｆの各画素について明るさの変化量を特定する。そして、明るさ変化領域検出部４ｂは、全てのフレーム画像Ｆについて特定された各画素の明るさの変化量に基づいて、明るさが周期的に変化している全ての画素を特定して、当該画素からなる領域を明るさ変化領域Ａ（図５（ｂ）参照）として特定する。なお、図５（ｂ）にあっては、明るさ変化領域Ａの各画素の明るさが変化する状態を模式的に破線で表している。
また、明るさ変化領域検出部４ｂは、フレーム画像Ｆ内で明るさ変化領域Ａの位置を示す情報（例えば、明るさ変化領域Ａを構成する全ての画素の座標等）を取得して、所定の格納手段（例えば、バッファメモリ９ａ等）に一時的に格納する。

なお、上記した明るさ変化領域Ａの検出方法は、一例であってこれに限られるものではなく、公知のものであれば如何なる検出方法を適用しても良い。
また、電源周波数（例えば、５０Ｈｚや６０Ｈｚ）による光量が変動する光源（例えば、蛍光灯）下で撮像する場合、明るさ変化領域検出部４ｂは、当該電源周波数に対応する周期は除外して、各画素の明るさの変化の周期を特定することで明るさ変化領域Ａを検出しても良い。なお、表示装置２００のリフレッシュレートと電源周波数が一致すると、フレーム画像Ｆを構成する全ての画素の明るさが変化するため、この場合には、明るさ変化領域検出部４ｂは、光源の影響であると判断し、一方、フレーム画像Ｆ中の一部分（例えば、表示装置２００の表示画面２０１等）の画素の明るさが変化している場合には、光源の影響ではないと判断するようにしても良い。

なお、明るさ変化領域検出部４ｂによる撮像画像内での明るさ変化領域Ａの検出方法として、画像取得部４ａにより逐次取得された複数の撮像画像の画像データに基づいて行う方法を例示したが、一例であってこれに限られるものではなく、例えば、画像取得部４ａにより取得された一の撮像画像の画像データに基づいて行っても良い。
即ち、電子撮像部１ｂが、例えば、ＣＭＯＳイメージセンサーから構成されている場合、画素の位置に応じて電荷信号の読み出しタイミング、つまり、電荷の蓄積を開始するタイミングが異なる。そこで、明るさ変化領域検出部４ｂは、画像取得部４ａにより取得された一のフレーム画像Ｆの画像データに基づいて、ＣＭＯＳイメージセンサーの撮像領域における所定位置にて隣合う画素どうしに対応する輝度成分（例えば、輝度信号Ｙ）の差分や、或いは、撮像領域を所定方向（例えば、垂直方向）に分割するように設定された複数の領域どうしに対応する輝度成分の差分等を算出し、当該輝度成分の差分を基準としてフレーム画像Ｆ内で明るさ変化領域Ａを検出するようにしても良い。
また、電子撮像部１ｂが、例えば、ＣＣＤイメージセンサーから構成されている場合には、撮像制御部２は、ＣＣＤイメージセンサーから一のフレーム画像Ｆに係る電荷を複数の領域（例えば、撮像領域における複数の画素が所定方向に並んだ各行等）毎に時間差をつけて読み出し、明るさ変化領域検出部４ｂは、当該複数の領域どうしに対応する画像データの輝度成分の差分を算出し、当該輝度成分の差分を基準としてフレーム画像Ｆ内で明るさ変化領域Ａを検出するようにしても良い。

このように、明るさ変化領域検出部４ｂは、画像取得部４ａにより取得された撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定周期で変化する明るさ変化領域Ａを検出する検出手段を構成している。

直線特定部４ｃは、記録用画像Ｇ内の明るさ変化領域Ａに対応する対応領域Ｂに含まれる直線Ｌを特定する。
また、直線特定部４ｃは、画像取得部４ａにより取得された記録用画像Ｇに含まれる全ての直線Ｌから明るさ変化領域Ａ以外の領域から検出された直線Ｌ２を除外する除外部ｃ１を具備している。
具体的には、直線特定部４ｃは、処理対象領域を記録用画像Ｇの画像領域全体として当該撮像画像に含まれる全ての直線Ｌを検出する直線検出処理を行う。例えば、直線特定部４ｃは、画像取得部４ａにより取得された記録用画像Ｇの画像データに含まれる輝度成分（例えば、輝度信号Ｙ）を取得し、当該輝度成分に対して直線検出処理（例えば、ハフ変換処理など）を施して当該記録用画像Ｇ内の全ての直線Ｌを検出する。
そして、直線特定部４ｃは、格納手段（例えば、バッファメモリ９ａ等）から明るさ変化領域Ａの位置を示す情報を取得して、明るさ変化領域検出部４ｂによる明るさ変化領域Ａの検出に用いられたフレーム画像Ｆと略等しい構図の記録用画像Ｇ内で、明るさ変化領域Ａに対応する対応領域Ｂの位置を特定する。その後、除外部ｃ１は、記録用画像Ｇに含まれる全ての直線Ｌの中で、明るさ変化領域Ａに対応する対応領域Ｂ以外の領域から検出された直線Ｌ２を特定した後、全ての直線Ｌから対応領域Ｂ以外の領域から検出された直線Ｌ２（図６（ａ）中、模式的に二点鎖線で示す）を除外する。これにより、直線特定部４ｃは、表示装置２００の表示画面２０１の記録用画像Ｇ内の明るさ変化領域Ａに対応する対応領域Ｂに含まれる候補直線Ｌ１（図６（ａ）中、模式的に一点鎖線で示す）を特定する。

なお、直線検出処理として、ハフ変換処理を例示したが、一例であってこれに限られるものではなく、エッジ検出処理など適宜任意に変更可能である。なお、ハフ変換処理やエッジ検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
このように、直線特定部４ｃは、画像取得部４ａにより取得された撮像画像の画像データに対して直線Ｌを検出する直線検出処理を施して、明るさ変化領域Ａに対応する対応領域Ｂに含まれる直線Ｌを特定する第１特定手段を構成している。

候補領域特定部４ｄは、記録用画像Ｇから抽出される画像の候補領域となる抽出候補領域Ｃを特定する。
即ち、候補領域特定部４ｄは、記録用画像Ｇ内で直線特定部４ｃにより特定された直線Ｌ（候補直線Ｌ１）を含んで構成される四辺形領域を抽出候補領域Ｃとして特定する。具体的には、候補領域特定部４ｄは、表示部５に識別表示される複数の四辺形領域の中から抽出候補領域Ｃを特定する。例えば、候補領域特定部４ｄは、直線特定部４ｃにより特定された全ての候補直線Ｌ１のうち、所定方向に延在する４本の候補直線Ｌ１、…によって形成される各四辺形領域を特定する（図６（ａ）参照）。そして、候補領域特定部４ｄは、特定された全ての四辺形領域（例えば、複数の四辺形領域等）の中で、ユーザによる操作入力部８の選択ボタン８ｂや決定ボタン８ｃ等の所定操作に基づいて指定された四辺形領域を抽出候補領域Ｃとして特定する。
ここで、候補領域特定部４ｄは、撮像画像内で直線特定部４ｃにより特定された直線Ｌを含んで構成される四辺形領域を抽出候補領域Ｃとして特定する第２特定手段を構成している。

直角四辺形画像生成部４ｅは、四辺形領域の画像の直角四辺形画像Ｒ（図６（ｂ）参照）を生成する。
即ち、直角四辺形画像生成部４ｅは、候補領域特定部４ｄにより抽出候補領域Ｃとして特定された四辺形領域の画像に対して直角四辺形変換処理を行って直角四辺形画像Ｒを生成する。具体的には、直角四辺形画像生成部４ｅは、記録用画像Ｇから抽出候補領域Ｃ（四辺形領域）内の画像領域を抽出した後、当該画像領域の画像データに対して、直角四辺形変換処理（例えば、台形補正処理等）を行って直角四辺形画像Ｒ（例えば、矩形画像、正方形画像など）を生成する。つまり、直角四辺形画像生成部４ｅは、例えば、抽出候補領域Ｃ内の画像領域のうち、短辺側を長辺側に合わせるように相対的に拡大する処理や長辺側を短辺側に合わせるように相対的に縮小する処理等を行って、直角四辺形画像Ｒを生成する。
なお、図６（ｂ）には、図６（ａ）に示す抽出候補領域Ｃ（四辺形領域）に対応する画像データに対して直角四辺形変換処理を行うことで生成された直角四辺形画像Ｒを模式的に表している。
ここで、直角四辺形画像生成部４ｅは、候補領域特定部４ｄにより抽出候補領域Ｃとして特定された四辺形領域の画像に対して直角四辺形変換処理を行って直角四辺形画像Ｒを生成する生成手段を構成している。

表示部５は、例えば、液晶表示パネルや有機ＥＬ表示パネルなどから構成されている。そして、表示部５は、表示制御部６の制御下にて、表示画面に各種情報に係る画像を表示する。

表示制御部６は、メモリ部９のバッファメモリ９ａに一時的に記憶されている表示用の画像データを読み出して表示部５に表示させる制御を行う。
具体的には、表示制御部６は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、バッファメモリ９ａから読み出されてＶＲＡＭ（図示略）に記憶されている複数のフレーム画像Ｆ、…の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレートで読み出して、これらのデータを元にビデオ信号を発生して表示部５に出力する。これにより、表示部５は、撮像部１による被写体の撮像の際に、複数のフレーム画像Ｆ、…を所定の再生フレームレートで逐次更新しながらライブビュー画像を表示画面に表示する。
また、表示制御部６は、撮像部１により撮像された記録用画像Ｇのレックビュー用の画像のビデオ信号を表示部５に出力して、レックビュー画像を表示部５の表示画面に表示させる。

また、表示制御部６は、撮像部１により撮像された記録用画像Ｇ内で、候補領域特定部４ｄにより特定された複数の四辺形領域を所定の順序で表示部５に識別表示させる。
即ち、表示制御部６は、記録用画像Ｇ内で、複数の四辺形領域を明るさ変化領域Ａに対応する対応領域Ｂに対する距離を基準として所定の順序で表示部５に識別表示させる。具体的には、表示制御部６は、例えば、ユーザによる操作入力部８のシャッタボタン８ａの全押し操作に基づいて、撮像部１により撮像され画像生成部３により生成された記録用画像Ｇの画像データをレックビュー用の画像データとして取得する。そして、表示制御部６は、当該記録用画像Ｇのレックビュー画像に重畳させて、複数の四辺形領域の中で、明るさ変化領域Ａに対応する対応領域Ｂの位置を基準として当該対応領域Ｂに対して最も近い位置に存する一の四辺形領域の縁部に識別枠を所定色でＯＳＤ表示する。その後、ユーザによる操作入力部８の選択ボタン８ｂや決定ボタン８ｃ等の所定操作に基づいて次の四辺形領域の表示が指示されると、表示制御部６は、記録用画像Ｇのレックビュー画像に重畳させて、複数の四辺形領域の中で、明るさ変化領域Ａに対応する対応領域Ｂに対して次に近い位置に存する一の四辺形領域の縁部に識別枠をＯＳＤ表示する。なお、対応領域Ｂに対する四辺形領域の距離の判定は、例えば、中心位置や四隅の位置等を基準として行われても良い。
このように、表示制御部６は、撮像画像内で、候補領域特定部４ｄにより特定された複数の四辺形領域の各々を、明るさ変化領域Ａに対応する対応領域Ｂに対して最も近い位置に存するものから順番に表示部６に識別表示させるようになっている。

なお、撮像画像のレックビュー画像内における四辺形領域の表示態様として例示した識別枠のＯＳＤ表示は、一例であってこれに限られるものではなく、四辺形領域を識別可能な態様であれば適宜任意に変更可能である。
このように、表示制御部６は、撮像画像内で、候補領域特定部４ｄにより特定された複数の四辺形領域の各々を、明るさ変化領域Ａに対応する対応領域Ｂに対する距離を基準として所定の順序で表示部５に識別表示させる表示制御手段を構成している。

記録媒体制御部７は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

操作入力部８は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部８は、被写体の撮影指示に係り、半押し及び全押し操作可能なシャッタボタン８ａ、撮像モードや機能等の選択指示に係る選択ボタン８ｂ、撮像モードや機能等の決定指示に係る決定ボタン８ｃ等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。

メモリ部９は、バッファメモリ９ａと、プログラムメモリ９ｂを具備している。
バッファメモリ９ａは、画像データ等を一時保存するバッファであるとともに、中央制御部１０のワーキングメモリ等としても使用される。
プログラムメモリ９ｂには、当該撮像装置１００の機能に係る各種プログラムやデータが格納されている。

中央制御部１０は、撮像装置１００の各部を制御する。具体的には、中央制御部１０は、撮像装置１００の各部を制御するＣＰＵ（図示略）を具備し、各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による撮像処理について、図２〜図６を参照して説明する。
図２は、撮像処理に係る動作の一例を示すフローチャートである。
なお、以下の撮像処理は、ユーザによる操作入力部８の選択ボタン８ｂや決定ボタン８ｃ等の所定操作に基づいて、例えば、紙面文書、名刺、ホワイトボード、表示装置２００の表示画面２０１及び投影装置からの投影画像等を被写体とする撮像モードが選択指示された場合に実行される。

図２に示すように、先ず、表示制御部６は、撮像部１による被写体の撮像により画像生成部３により生成された複数のフレーム画像Ｆ、…に基づいてライブビュー画像を表示部５の表示画面に表示させる処理を行う（ステップＳ１；図５（ａ）参照）。
そして、中央制御部１０のＣＰＵは、ライブビュー表示処理中に、ユーザによる操作入力部８のシャッタボタン８ａの半押し操作に係る操作信号が入力されたか否かを判定する（ステップＳ２）。

ここで、半押し操作に係る操作信号が入力されていないと判定された場合には（ステップＳ２；ＮＯ）、中央制御部１０のＣＰＵは、処理をステップＳ１に移行させて、ライブビュー画像を表示させる処理を繰り返し行わせる。
一方、ステップＳ２にて、半押し操作に係る操作信号が入力されたと判定されると（ステップＳ２；ＹＥＳ）、中央制御部１０のＣＰＵは、明るさ変化領域検出処理（図３参照）の実行を制御する（ステップＳ３）。

ここで、明るさ変化領域検出処理について、図３を参照して説明する。
図３は、明るさ変化領域検出処理に係る動作の一例を示すフローチャートである。

図３に示すように、先ず、撮像制御部２の撮像フレームレート設定部２ａは、撮像フレームレートを所定の値に設定する（ステップＳ２１）。具体的には、撮像フレームレート設定部２ａは、例えば、通常撮影に対応する撮像フレームレート（例えば、１５ｆｐｓ等）よりも単位時間あたりのフレーム画像Ｆの撮像回数を多くした高速撮影に対応する撮像フレームレート（例えば、１２０ｆｐｓ等）に設定する。これにより、撮像部１は、設定された撮像フレームレートに応じた所定の撮像周期で被写体（例えば、表示装置２００の表示画面２０１等）を撮像する。

次に、画像処理部４の画像取得部４ａは、撮像部１により所定の撮像周期で撮像され、画像生成部３により生成された複数のフレーム画像Ｆ、…の画像データを逐次取得する（ステップＳ２２）。
続けて、画像処理部４の明るさ変化領域検出部４ｂは、画像取得部４ａにより逐次取得された複数のフレーム画像Ｆ、…内で明るさが所定周期で変化する明るさ変化領域Ａを検出する（ステップＳ２３）。具体的には、明るさ変化領域検出部４ｂは、画像取得部４ａにより取得された複数のフレーム画像Ｆ、…の各々について、一つ前のフレーム画像Ｆとの輝度成分（例えば、輝度信号Ｙ）の差分を算出し、前のフレーム画像Ｆに対する各画素の明るさの変化量を特定する。そして、明るさ変化領域検出部４ｂは、全てのフレーム画像Ｆについて特定された各画素の明るさの変化量に基づいて、明るさが周期的に変化している全ての画素を特定して、当該画素からなる領域を明るさ変化領域Ａ（図５（ｂ）参照）として特定する。
これにより、明るさ変化領域検出処理を終了する。

なお、明るさ変化領域検出処理が終了した場合には、撮像フレームレート設定部２ａは、撮像フレームレートが通常撮影に対応する撮像フレームレート（例えば、１５ｆｐｓ等）となるように設定し直しても良い。

図２に戻り、画像処理部４は、明るさ変化領域検出部４ｂにより明るさ変化領域Ａが検出されたか否かを判定する（ステップＳ４）。
ここで、明るさ変化領域Ａが検出されたと判定された場合（ステップＳ４；ＹＥＳ）、即ち、表示装置２００の表示画面２０１等の明るさが所定周期で変化するものを被写体として撮像している場合、明るさ変化領域検出部４ｂは、フレーム画像Ｆ内で明るさ変化領域Ａの位置を示す情報を取得してバッファメモリ９ａに一時的に記録させる（ステップＳ５）。

次に、中央制御部１０のＣＰＵは、ユーザによる操作入力部８のシャッタボタン８ａの全押し操作に係る操作信号が入力されたか否かを判定する（ステップＳ６）。
また、ステップＳ４にて、明るさ変化領域Ａが検出されていないと判定された場合には（ステップＳ４；ＮＯ）、中央制御部１０のＣＰＵは、ステップＳ５の処理をスキップして、ステップＳ６にて全押し操作に係る操作信号が入力されたか否かの判定を行う。
ステップＳ６にて、全押し操作に係る操作信号が入力されていないと判定されると（ステップＳ６；ＮＯ）、中央制御部１０のＣＰＵは、ユーザによる操作入力部８のシャッタボタン８ａの半押し操作が解除されたか否かを判定する（ステップＳ７）。

ステップＳ７にて、半押し操作が解除されていないと判定された場合には（ステップＳ７；ＮＯ）、中央制御部１０のＣＰＵは、処理をステップＳ６に移行させて、全押し操作に係る操作信号が入力されたか否かの判定を行う。
一方、半押し操作が解除されたと判定されると（ステップＳ７；ＹＥＳ）、中央制御部１０のＣＰＵは、処理をステップＳ１に移行させて、表示部５の表示画面にライブビュー画像を表示する処理を行わせる。

ステップＳ６にて、全押し操作に係る操作信号が入力されたと判定されると（ステップＳ６；ＹＥＳ）、撮像部１は、撮像制御部２により調整された所定の撮像条件で、明るさ変化領域Ａの検出に用いられた複数のフレーム画像Ｆ、…と略等しい構図で撮像して、画像取得部４ａは、画像生成部３により生成された記録用画像Ｇの画像データ（ＹＵＶデータ）を取得する（ステップＳ８）。
次に、中央制御部１０のＣＰＵは、抽出候補領域特定処理（図４参照）の実行を制御する（ステップＳ９）。

ここで、抽出候補領域特定処理について、図４を参照して説明する。
図４は、抽出候補領域特定処理に係る動作の一例を示すフローチャートである。

図４に示すように、先ず、画像処理部４の直線特定部４ｃは、画像取得部４ａにより取得された記録用画像Ｇの画像データに対して直線検出処理を施して、当該画像内の全ての直線Ｌを検出する（ステップＳ３１）。具体的には、直線特定部４ｃは、記録用画像Ｇの画像データに含まれる輝度成分（例えば、輝度信号Ｙ）を取得し、当該輝度成分に対して直線検出処理（例えば、ハフ変換処理など）を施して当該記録用画像Ｇ内の全ての直線Ｌを検出する。

次に、直線特定部４ｃは、バッファメモリ９ａに明るさ変化領域Ａの位置を示す情報が記録されているか否かを判定する（ステップＳ３２）。
ここで、明るさ変化領域Ａの位置を示す情報が記録されていると判定された場合（ステップＳ３２；ＹＥＳ）、即ち、表示装置２００の表示画面２０１等の明るさが所定周期で変化するものを被写体として撮像している場合、直線特定部４ｃは、バッファメモリ９ａから明るさ変化領域Ａの位置を示す情報を取得し、記録用画像Ｇ内で明るさ変化領域Ａに対応する対応領域Ｂの位置を特定した後、検出された全ての直線Ｌの中で、何れか一の直線Ｌを所定の指定条件に従って指定する（ステップＳ３３）。

次に、直線特定部４ｃの除外部ｃ１は、指定された直線Ｌが記録用画像Ｇにおける明るさ変化領域Ａに対応する対応領域Ｂ内に存するか否かを判定する（ステップＳ３４）。
ここで、指定された直線Ｌが対応領域Ｂ内に存すると判定されると（ステップＳ３４；ＹＥＳ）、直線特定部４ｃは、当該直線Ｌを四辺形領域の特定用の候補直線Ｌ１として指定する（ステップＳ３５）。一方、指定された直線Ｌ（例えば、直線Ｌ２等）が対応領域Ｂ内に存しないと判定されると（ステップＳ３４；ＮＯ）、直線特定部４ｃの除外部ｃ１は、当該直線Ｌを四辺形領域の特定用の候補から除外する（ステップＳ３６）。
その後、直線特定部４ｃは、記録用画像Ｇ内から検出された全ての直線Ｌについて、ステップＳ３４における判定処理が行われたか否かを判定する（ステップＳ３７）。

ステップＳ３７にて、全ての直線Ｌについて判定処理が行われていないと判定されると（ステップＳ３７；ＮＯ）、直線特定部４ｃは、所定の指定条件に従って処理対象となる次の直線Ｌを指定して（ステップＳ３８）、処理をステップＳ３４に移行させる。
上記の処理を、ステップＳ３７にて全ての直線Ｌについて処理したと判定されるまで（ステップＳ３７；ＹＥＳ）、繰り返すことで、直線特定部４ｃは、記録用画像Ｇ内の明るさ変化領域Ａに対応する対応領域Ｂに含まれる候補直線Ｌ（図６（ａ）参照）を特定する。

次に、画像処理部４の候補領域特定部４ｄは、直線特定部４ｃにより特定された候補直線Ｌ１に基づいて、記録用画像Ｇ内で当該候補直線Ｌ１を含んで構成される四辺形領域を特定する（ステップＳ３９）。具体的には、候補領域特定部４ｄは、直線特定部４ｃにより特定された全ての候補直線Ｌ１のうち、所定方向に延在する４本の候補直線Ｌ１、…によって形成される各四辺形領域を特定する。
続けて、候補領域特定部４ｄは、特定された所定数の四辺形領域の中で、明るさ変化領域Ａに対応する対応領域Ｂに対して最も近い位置に存する四辺形領域を指定する（ステップＳ４０）。そして、表示制御部６は、記録用画像Ｇ内で、候補領域特定部４ｄにより指定された四辺形領域を識別可能な態様で表示部５に表示させる（ステップＳ４１）。具体的には、表示制御部６は、記録用画像Ｇのレックビュー画像に重畳させて、四辺形領域の縁部に識別枠をＯＳＤ表示する。

次に、候補領域特定部４ｄは、ユーザにより操作された操作入力部８の操作ボタンに応じて処理を分岐させる（ステップＳ４２）。
具体的には、ユーザにより操作入力部８の選択ボタン８ｂが所定操作されると（ステップＳ４２；選択ボタン）、候補領域特定部４ｄは、特定された所定数の四辺形領域の中で、識別表示されている四辺形領域の次に対応領域Ｂに近い位置に存する四辺形領域を指定した後（ステップＳ４３）、処理をステップＳ４１に移行させる。これにより、表示制御部６は、記録用画像Ｇ内で、候補領域特定部４ｄにより新たに指定された四辺形領域を識別可能な態様で表示部５に表示させる（ステップＳ４１）。
一方、ステップＳ４２にて、ユーザにより操作入力部８の決定ボタン８ｃが所定操作されると（ステップＳ４２；決定ボタン）、候補領域特定部４ｄは、表示部５に識別可能な態様で表示されている四辺形領域を抽出候補領域Ｃとして特定して（ステップＳ４４；図６（ａ）参照）、抽出候補領域特定処理を終了する。

一方、ステップＳ３２にて、明るさ変化領域Ａの位置を示す情報が記録されていないと判定された場合（ステップＳ３２；ＮＯ）、即ち、紙面文書、名刺、ホワイトボード等の明るさが所定周期で変化しないものを被写体として撮像している場合、候補領域特定部４ｄは、直線特定部４ｃにより特定された全ての直線Ｌに基づいて、記録用画像Ｇ内で当該直線Ｌを含んで構成される四辺形領域を特定する（ステップＳ４５）。具体的には、候補領域特定部４ｄは、直線特定部４ｃにより特定された全ての直線Ｌのうち、所定方向に延在する４本の直線Ｌ、…によって形成される各四辺形領域を特定する。
続けて、候補領域特定部４ｄは、特定された所定数の四辺形領域の中で、所定の指定条件に従って一の四辺形領域を指定する（ステップＳ４６）。そして、表示制御部６は、記録用画像Ｇ内で、候補領域特定部４ｄにより指定された四辺形領域を識別可能な態様で表示部５に表示させる（ステップＳ４７）。

次に、候補領域特定部４ｄは、ユーザにより操作された操作入力部８の操作ボタンに応じて処理を分岐させる（ステップＳ４８）。
具体的には、ユーザにより操作入力部８の選択ボタン８ｂが所定操作されると（ステップＳ４８；選択ボタン）、候補領域特定部４ｄは、特定された所定数の四辺形領域の中で、所定の指定条件に従って処理対象となる次の四辺形領域を指定した後（ステップＳ４９）、処理をステップＳ４７に移行させる。これにより、表示制御部６は、記録用画像Ｇ内で、候補領域特定部４ｄにより新たに指定された四辺形領域を識別可能な態様で表示部５に表示させる（ステップＳ４７）。
一方、ステップＳ４８にて、ユーザにより操作入力部８の決定ボタン８ｃが所定操作されると（ステップＳ４８；決定ボタン）、候補領域特定部４ｄは、処理をステップＳ４４に移行して、表示部５に識別可能な態様で表示されている四辺形領域を抽出候補領域Ｃとして特定し（ステップＳ４４）、抽出候補領域特定処理を終了する。

図２に戻り、画像処理部４の直角四辺形画像生成部４ｅは、抽出候補領域特定処理にて特定された抽出候補領域Ｃ（四辺形領域）の画像に対して直角四辺形変換処理を行って直角四辺形画像Ｒを生成する（ステップＳ１０；図６（ｂ）参照）。具体的には、直角四辺形画像生成部４ｅは、記録用画像Ｇから抽出候補領域Ｃ内の画像領域を抽出した後、当該画像領域の画像データに対して、直角四辺形変換処理を行って直角四辺形画像Ｒを生成する。
その後、画像処理部４は、生成された直角四辺形画像Ｒの画像データを記録媒体制御部７に転送し、記録媒体制御部７は、当該直角四辺形画像Ｒの画像データを記録用画像Ｇの画像データと対応付けて記録媒体Ｍに記録させる（ステップＳ１１）。
これにより、撮像処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、記録用画像Ｇの画像データに対して直線Ｌを検出する直線検出処理を施して、明るさが所定周期で変化する明るさ変化領域Ａに対応する対応領域Ｂに含まれる候補直線Ｌ１を特定し、当該記録用画像Ｇ内で候補直線Ｌ１を含んで構成される四辺形領域を抽出候補領域Ｃとして特定するので、例えば、出力装置から所定の書き換え周期で出力された画像（例えば、表示装置２００の表示画面２０１内の画像）を主要被写体とする場合に、記録用画像Ｇ内で抽出候補領域Ｃとして特定される四辺形領域を、明るさ変化領域Ａに対応する対応領域Ｂに含まれる候補直線Ｌ１を含んで構成される四辺形領域に限定することができる。即ち、記録用画像Ｇ内で、明るさ変化領域Ａに対応する対応領域Ｂの外側に存する直線Ｌを含んで構成され、最終的に記録用画像Ｇから抽出される可能性の低い四辺形領域を除いて、明るさ変化領域Ａに対応する対応領域Ｂに含まれる候補直線Ｌ１を含んで構成され、当該記録用画像Ｇから抽出される可能性の高い四辺形領域を、抽出候補領域Ｃとして特定することができる。
このように、記録用画像Ｇ内での四辺形領域の特定を補助して当該記録用画像Ｇからの四辺形領域の画像の抽出を効率良く行うことができる。

また、直線検出処理の処理対象領域を記録用画像Ｇの画像領域全体として検出された当該記録用画像Ｇに含まれる全ての直線Ｌから、明るさ変化領域Ａに対応する対応領域Ｂ以外の領域から検出された直線Ｌ２を除外することで、明るさ変化領域Ａに対応する対応領域Ｂに含まれる候補直線Ｌ１の特定を効率良く行うことができ、この結果、記録用画像Ｇ内で当該候補直線Ｌ１を含んで構成される四辺形領域を抽出候補領域Ｃとして効率良く特定することができる。

また、記録用画像Ｇ内で、候補領域特定部４ｄにより特定された複数の四辺形領域の各々を明るさ変化領域Ａに対応する対応領域Ｂに対する距離を基準として所定の順序で表示部５に識別表示するので、複数の四辺形領域の中で、ユーザ所望の四辺形領域を抽出候補領域Ｃとして特定することができる。特に、例えば、複数の四辺形領域の各々を明るさ変化領域Ａに対応する対応領域Ｂの位置に対する距離の近い順に優先的に識別表示することで、ユーザにとっては当該対応領域Ｂの位置に対する距離が相対的に近い四辺形領域を抽出候補領域Ｃとして選択指定し易くなって、当該記録用画像Ｇからの四辺形領域の画像の抽出を効率良く行うことができる。

また、抽出候補領域Ｃとして特定された四辺形領域の画像に対して直角四辺形変換処理を行って直角四辺形画像Ｒを生成するので、四辺形領域の歪みが修正された直角四辺形画像Ｒを取得することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、直線特定部４ｃは、記録用画像Ｇ内の明るさ変化領域Ａに対応する対応領域Ｂに含まれる直線Ｌの特定方法として、記録用画像Ｇに含まれる全ての直線Ｌを特定した後、明るさ変化領域Ａに対応する対応領域Ｂ以外の領域から検出された直線Ｌ２を除外するようにしたが、一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、直線特定部４ｃは、除外部ｃ１を具備せずに、直線検出処理の処理対象領域を記録用画像Ｇの明るさ変化領域Ａに対応する対応領域Ｂとして当該対応領域Ｂに含まれる直線Ｌ（候補直線Ｌ１）を複数特定しても良い。
これにより、明るさ変化領域Ａに対応する対応領域Ｂに含まれる候補直線Ｌ１の特定を効率良く行うことができ、この結果、記録用画像Ｇ内で当該候補直線Ｌ１を含んで構成される四辺形領域を抽出候補領域Ｃとして効率良く特定することができる。

また、上記実施形態にあっては、候補領域特定部４ｄは、ユーザによる操作入力部８の選択ボタン８ｂや決定ボタン８ｃ等の所定操作に基づいて指定された四辺形領域を抽出候補領域Ｃとして特定するようにしたが、抽出候補領域Ｃ（四辺形領域）の特定方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、候補領域特定部４ｄは、抽出候補領域Ｃとなる四辺形領域を所定条件に基づいて自動的に特定する構成としても良い。例えば、候補領域特定部４ｄは、直線特定部４ｃにより特定された直線Ｌ（候補直線Ｌ１）を含む複数の四辺形領域を特定し、当該複数の四辺形領域の中で、明るさ変化領域Ａに対応する対応領域Ｂの位置を基準として当該対応領域Ｂに対して最も近い位置に存する一の四辺形領域を抽出候補領域Ｃとして自動的に特定しても良い。
従って、記録用画像Ｇ内で明るさ変化領域Ａに対応する対応領域Ｂの位置を基準として一の四辺形領域を抽出候補領域Ｃとして自動的に特定することができるので、抽出候補領域Ｃの特定にユーザによる操作入力部８の所定操作が不要となり、当該抽出候補領域Ｃの特定を簡便に行うことができる。

さらに、上記実施形態にあっては、例えば、紙面文書、名刺、ホワイトボード、表示装置２００の表示画面２０１及び投影装置からの投影画像等を被写体とする撮像処理（図２参照）を例示して説明したが、表示装置２００の表示画面２０１及び投影装置からの投影画像等の明るさが所定周期で変化するものを被写体とする専用の撮像処理を行っても良い。
即ち、明るさが所定周期で変化する被写体専用の撮像モードを設け、当該撮像モードがユーザによる操作入力部８の所定操作により選択指示された場合には、撮像装置１００は、上記撮像処理（図２参照）における明るさ変化領域検出部４ｂにより明るさ変化領域Ａが検出されたか否かの判定処理（ステップＳ４）、抽出候補領域特定処理（図４参照）における明るさ変化領域Ａの位置を示す情報が記録されているか否かの判定処理（ステップＳ３２）、当該判定の結果、明るさ変化領域Ａの位置を示す情報が記録されていないと判定された場合（ステップＳ３２；ＮＯ）に続けて行われる各種の処理（ステップＳ４５〜Ｓ４９）を行う必要がなくなる。

また、上記実施形態にあっては、抽出候補領域Ｃとして特定された四辺形領域の画像に対して直角四辺形変換処理を行って直角四辺形画像Ｒを生成するようにしたが、直角四辺形画像Ｒを生成するか否かは適宜任意に変更可能である。即ち、撮像装置１００は、必ずしも直角四辺形画像Ｒを生成する直角四辺形画像生成部４ｅを具備する必要はなく、記録用画像Ｇ内で直線特定部４ｃにより特定された候補直線Ｌ１を含んで構成される四辺形領域を抽出候補領域Ｃとして特定可能であれば如何なる構成であっても良い。

さらに、上記実施形態の撮像処理（図２参照）では、フレーム画像Ｆ内の明るさ変化領域を特定した後、記録用画像Ｇを撮像するようにしたが、処理の順序は一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、記録用画像Ｇの撮像後に、略等しい構図でフレーム画像Ｆを撮像して当該フレーム画像内の明るさ変化領域を特定するようにしても良い。

また、上記実施形態では、フレーム画像Ｆから明るさ変化領域Ａを検出し、記録用画像Ｇ内で四辺形領域（抽出候補領域Ｃ）を特定する、即ち、明るさ変化領域Ａの検出対象の撮像画像と四辺形領域（抽出候補領域Ｃ）の特定対象の撮像画像とを異ならせるようにしたが、同一の撮像画像を利用して、明るさ変化領域Ａの検出及び四辺形領域（抽出候補領域Ｃ）の特定を行うようにしても良い。
即ち、例えば、画像取得部４ａにより取得された記録用画像Ｇの画像データに基づいて、明るさ変化領域Ａの検出及び四辺形領域（抽出候補領域Ｃ）の特定を行っても良い。また、例えば、画像取得部４ａにより取得された少なくとも一のフレーム画像Ｆの画像データに基づいて、明るさ変化領域Ａの検出及び四辺形領域（抽出候補領域Ｃ）の特定を行っても良い。

さらに、画像処理装置として例示する撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではなく、少なくとも取得手段、検出手段、第１特定手段、第２特定手段を備える構成であれば適宜任意に変更することができる。

加えて、上記実施形態にあっては、取得手段、検出手段、第１特定手段、第２特定手段としての機能を、中央制御部１０の制御下にて、画像取得部４ａ、明るさ変化領域検出部４ｂ、直線特定部４ｃ、候補領域特定部４ｄが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ９ｂに、取得処理ルーチン、検出処理ルーチン、第１特定処理ルーチン、第２特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０のＣＰＵを、撮像手段により撮像された撮像画像の画像データを取得する取得手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１０のＣＰＵを、取得手段により取得された撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定周期で変化する明るさ変化領域Ａを検出する検出手段として機能させるようにしても良い。また、第１特定処理ルーチンにより中央制御部１０のＣＰＵを、取得手段により取得された撮像画像の画像データに対して直線Ｌを検出する直線検出処理を施して、明るさ変化領域Ａに対応する対応領域Ｂに含まれる直線Ｌを特定する第１特定手段として機能させるようにしても良い。また、第２特定処理ルーチンにより中央制御部１０のＣＰＵを、撮像画像内で第１特定手段により特定された直線Ｌを含んで構成される四辺形領域を抽出候補領域Ｃとして特定する第２特定手段として機能させるようにしても良い。

同様に、除外手段、表示制御手段、生成手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
撮像手段により撮像された撮像画像の画像データを取得する取得手段と、
この取得手段により取得された撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定周期で変化する明るさ変化領域を検出する検出手段と、
前記取得手段により取得された撮像画像の画像データに対して直線を検出する直線検出処理を施して、前記明るさ変化領域に対応する対応領域に含まれる直線を特定する第１特定手段と、
前記撮像画像内で前記第１特定手段により特定された直線を含んで構成される四辺形領域を抽出候補領域として特定する第２特定手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記取得手段は、出力装置から所定の書き換え周期で出力された画像が前記撮像手段により所定の撮像周期で撮像された撮像画像の画像データを逐次取得する手段を含み、
前記検出手段は、前記取得手段により逐次取得された複数の撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定周期で変化する明るさ変化領域を検出することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記第１特定手段は、
前記直線検出処理の処理対象領域を前記撮像画像の画像領域全体として検出された当該撮像画像に含まれる全ての直線から、前記明るさ変化領域に対応する対応領域以外の領域から検出された直線を除外する除外手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記第１特定手段は、
前記直線検出処理の処理対象領域を前記撮像画像の前記明るさ変化領域に対応する対応領域として当該対応領域に含まれる直線を特定することを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項５＞
前記第２特定手段は、前記第１特定手段により特定された直線を含んで構成される複数の四辺形領域を特定する手段を含み、
前記撮像画像内で、前記第２特定手段により特定された複数の四辺形領域の各々を、前記明るさ変化領域に対応する対応領域に対する距離を基準として所定の順序で表示手段に識別表示させる表示制御手段を更に備え、
前記第２特定手段は、前記表示手段に識別表示される複数の四辺形領域の中から前記抽出候補領域を特定することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
前記表示制御手段は、前記撮像画像内で、前記第２特定手段により特定された複数の四辺形領域の各々を、前記明るさ変化領域に対応する対応領域に対して最も近い位置に存するものから順番に前記表示手段に識別表示させることを特徴とする請求項５に記載の画像処理装置。
＜請求項７＞
前記第２特定手段は、
前記第１特定手段により特定された直線を含んで構成される複数の四辺形領域を特定する手段を含み、
前記複数の四辺形領域の中で、前記明るさ変化領域に対応する対応領域に対して最も近い位置に存する一の四辺形領域を前記抽出候補領域として特定することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項８＞
前記第２特定手段により前記抽出候補領域として特定された四辺形領域の画像に対して直角四辺形変換処理を行って直角四辺形画像を生成する生成手段を更に備えることを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
画像処理装置を用いた画像処理方法であって、
撮像手段により撮像された撮像画像の画像データを取得する処理と、
取得された撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定周期で変化する明るさ変化領域を検出する処理と、
取得された撮像画像の画像データに対して直線を検出する直線検出処理を施して、明るさ変化領域に対応する対応領域に含まれる直線を特定する処理と、
前記撮像画像内で特定された直線を含んで構成される四辺形領域を抽出候補領域として特定する処理と、
を含むことを特徴とする画像処理方法。
＜請求項１０＞
画像処理装置のコンピュータを、
撮像手段により撮像された撮像画像の画像データを取得する取得手段、
この取得手段により取得された撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定周期で変化する明るさ変化領域を検出する検出手段、
前記取得手段により取得された撮像画像の画像データに対して直線を検出する直線検出処理を施して、前記明るさ変化領域に対応する対応領域に含まれる直線を特定する第１特定手段、
前記撮像画像内で前記第１特定手段により特定された直線を含んで構成される四辺形領域を抽出候補領域として特定する第２特定手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ 撮像部
４ 画像処理部
４ａ 画像取得部
４ｂ 明るさ変化領域検出部
４ｃ 直線特定部
ｃ１ 除外部
４ｄ 候補領域特定部
４ｅ 直角四辺形画像生成部
５ 表示部
６ 表示制御部
１０ 中央制御部

Claims (11)

1. 撮像手段により撮像された撮像画像の画像データを取得する取得手段と、
   この取得手段により取得された撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定の時間周期で変化する明るさ変化領域を検出する検出手段と、
   前記取得手段により取得された撮像画像の画像データに対して直線を検出する直線検出処理を施して、前記明るさ変化領域に対応する対応領域以外の領域に含まれる直線を特定することなく、前記明るさ変化領域に対応する対応領域に含まれる直線を特定する第１特定手段と、
   前記撮像画像内で前記第１特定手段により特定された直線を含んで構成される四辺形領域を抽出候補領域として特定する第２特定手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記取得手段は、出力装置から所定の書き換え周期で出力された画像が前記撮像手段により所定の撮像周期で撮像された撮像画像の画像データを逐次取得する手段を含み、
   前記検出手段は、前記取得手段により逐次取得された複数の撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定の時間周期で変化する明るさ変化領域を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１特定手段は、
   前記直線検出処理の処理対象領域を前記撮像画像の画像領域全体として検出された当該撮像画像に含まれる全ての直線から、前記明るさ変化領域に対応する対応領域以外の領域から検出された直線を除外する除外手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１特定手段は、
   前記直線検出処理の処理対象領域を前記撮像画像の前記明るさ変化領域に対応する対応領域として当該対応領域に含まれる直線を特定することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記第２特定手段は、前記第１特定手段により特定された直線を含んで構成される複数の四辺形領域を特定する手段を含み、
   前記撮像画像内で、前記第２特定手段により特定された複数の四辺形領域の各々を、前記明るさ変化領域に対応する対応領域に対する距離を基準として所定の順序で表示手段に識別表示させる表示制御手段を更に備え、
   前記第２特定手段は、前記表示手段に識別表示される複数の四辺形領域の中から前記抽出候補領域を特定することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記表示制御手段は、前記撮像画像内で、前記第２特定手段により特定された複数の四辺形領域の各々を、前記明るさ変化領域に対応する対応領域に対して最も近い位置に存するものから順番に前記表示手段に識別表示させることを特徴とする請求項５に記載の画像処理装置。
7. 前記第２特定手段は、
   前記第１特定手段により特定された直線を含んで構成される複数の四辺形領域を特定する手段を含み、
   前記複数の四辺形領域の中で、前記明るさ変化領域に対応する対応領域に対して最も近い位置に存する一の四辺形領域を前記抽出候補領域として特定することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
8. 前記第２特定手段により前記抽出候補領域として特定された四辺形領域の画像に対して直角四辺形変換処理を行って直角四辺形画像を生成する生成手段を更に備えることを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
9. 前記検出手段により前記明るさ変化領域が検出されたか否かを判断する判断手段と、
   この判断手段により前記明るさ変化領域が検出されないと判断された場合、前記取得手段により取得された撮像画像に含まれる全ての直線を特定する第３特定手段と、
   前記撮像画像内で前記第３特定手段により特定された直線を含んで構成される四辺形領域を抽出候補領域として特定する第４特定手段とを更に備えることを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
10. 画像処理装置を用いた画像処理方法であって、
    撮像手段により撮像された撮像画像の画像データを取得する処理と、
    取得された撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定の時間周期で変化する明るさ変化領域を検出する処理と、
    取得された撮像画像の画像データに対して直線を検出する直線検出処理を施して、前記明るさ変化領域に対応する対応領域以外の領域に含まれる直線を特定することなく、前記明るさ変化領域に対応する対応領域に含まれる直線を特定する処理と、
    前記撮像画像内で特定された直線を含んで構成される四辺形領域を抽出候補領域として特定する処理と、
    を含むことを特徴とする画像処理方法。
11. 画像処理装置のコンピュータを、
    撮像手段により撮像された撮像画像の画像データを取得する取得手段、
    この取得手段により取得された撮像画像の画像データに基づいて、当該撮像画像内で明るさが所定の時間周期で変化する明るさ変化領域を検出する検出手段、
    前記取得手段により取得された撮像画像の画像データに対して直線を検出する直線検出処理を施して、前記明るさ変化領域に対応する対応領域以外の領域に含まれる直線を特定することなく、前記明るさ変化領域に対応する対応領域に含まれる直線を特定する第１特定手段、
    前記撮像画像内で前記第１特定手段により特定された直線を含んで構成される四辺形領域を抽出候補領域として特定する第２特定手段、
    として機能させることを特徴とするプログラム。

Images