JP2005122319A - 撮影装置、その画像処理方法及びプログラム - Google Patents

Abstract

【課題】撮影対象物の画像を補正してあたかも正面から撮影したような画像を取得する。
【解決手段】デジタルカメラ１は、ＣＰＵ、画像処理装置を備える。画像処理装置は、撮影対象物として白板２を撮影した画像から、Ｒｏｂｅｒｔｓフィルタを用いて輪郭を取得する。画像処理装置は、取得した輪郭から、白板２の画像を形成する候補となる直線を検出して、白板２の四角形の形状を取得する。画像処理装置は、取得した四角形の形状から、周辺部を除く実対象部を切り出し、切り出した、実対象部の画像から画像効果を補正するための画像効果補正用パラメータを抽出する。そして画像処理装置は、抽出した画像効果補正用パラメータを用いて、輝度の調整、カラー調整、輝度ムラ、背景の白色化を行う。
【選択図】図１

Description

本発明は、撮影装置、その画像処理方法及びプログラムに関するものである。

デジタルカメラの発達と蓄積型メモリの低価格化に伴い、デジタルカメラを単なる風景や人の撮影だけに用いるのではなく、紙面文書や名刺などの書類、また、会議での筆記された黒板等に表示されたものを撮影し、これらの画像をパーソナルコンピュータ等にデジタル的に保存し、管理をおこなう応用が考えられつつある。

しかしながら、このように書類や黒板の撮影をデジタルカメラで行う場合、撮影した画像は、フラットヘッドスキャナ等を用いる場合と比較すると明るさが不均一であり、ライティング条件などが撮影毎に代わってしまう。そのため、撮影した書類の白い背景が必ずしも白く撮影されず、光の明るさ不足やホワイトバランスの設定調整不足などにより、黄みがかったりしてしまう場合があった。このような画像は、認知しにくい画像になるばかりでなく、背景が白くないため印刷を行う際に大量のカラートナーが必要となり、印刷コストが高くなってしまう欠点がある。

このような画像を補正するものとして、輝度ヒストグラムの均一化や輝度の引き伸ばしを行ったり、色合いを変化させて画像を調整するツールや方法が考案されている（例えば、特許文献１参照）。
特開２００１−１２５５５７号公報

書類や黒板の撮影を行う場合、その撮影対象物を正面かつ垂直に撮影することが望ましい。しかし、机上におかれた書類の撮影を正面かつ垂直に撮影することは困難である。また、黒板を撮影する場合も、撮影者の位置によって、黒板を正面から撮影することが難しい場合もある。このように書類などの対象物を斜め方向から撮影した場合、撮影対象は必ずしも画角いっぱいに表示されない。例えば、投影スクリーンなどを撮影した場合、スクリーンの周りの暗い部屋が同時に写ってしまう。また、例えば薄い文字が書かれたノートを黒いテーブルに置いて撮影した場合、白いノートの周りに黒いテーブルが同時に写り込んでしまう。このような暗い部分と明るい部分とを同時に含む画像に対し、前述した特許文献１に記載されている方法を用いて輝度ヒストグラムの均一化や輝度の引き伸ばしを行っても、あまり画像効果を与えることはできない。

本発明は、上記問題点に鑑みてなされたものであり、容易に撮影対象物の画像の明るさや色合いを補正することが可能な撮影装置、その画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る撮影装置は、
撮影対象物を撮影する撮影装置において、
前記撮影対象物を撮影する撮影部と、
前記撮影部で撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影画像に対して画像処理を行う画像処理部と、を備え、
前記画像処理部は、
前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記撮影対象物の画像を取得する形状取得部と、
前記形状取得部が取得した前記撮影対象物の画像から、前記撮影対象物の輪郭内の実対象部を判別し、判別した実対象部の画像を切り出す画像切り出し部と、
前記画像切り出し部が切り出した実対象部の画像から、画像効果を補正するための画像効果補正パラメータを取得する補正用パラメータ取得部と、
前記補正用パラメータ取得部が取得した画像効果補正用パラメータを用いて、前記画像の画像効果処理を行う画像効果処理部と、を備えることを特徴とする。

前記補正用パラメータ取得部は、前記画像切り出し部が切り出した実対象部の画像データから輝度値と当該輝度値を有する画素の数とを取得して輝度ヒストグラムを生成し、生成した輝度ヒストグラムから前記画像効果補正用パラメータを取得するものであってもよい。

前記補正用パラメータ取得部は、前記画像切り出し部が切り出した実対象部の画像データから色差と当該色差を有する画素の数とを取得して色差ヒストグラムを生成し、生成した色差ヒストグラムから前記画像効果補正用パラメータを取得するものであってもよい。

前記補正用パラメータ取得部は、前記生成した色差ヒストグラムから、前記画像効果補正用パラメータとして画素数が最大となる色差を取得するものであってもよい。

前記画像効果処理部は、画素数が最大となる色差を調整することにより前記画像のカラー調整を行うものであってもよい。

前記補正用パラメータ取得部は、前記画像切り出し部が切り出した実対象部の画像データから、輝度値と当該輝度値を有する画素の数とを取得して輝度ヒストグラムを生成し、色差と当該色差を有する画素の数とを取得して色差ヒストグラムを生成し、生成した輝度ヒストグラムと色差ヒストグラムとから前記画像効果補正用パラメータを取得し、
前記画像効果処理部は、前記補正用パラメータ取得部が取得した画像補正用パラメータに基づいて白と判別した背景色を有する画素の輝度値と色差とを調整することによって背景を白色化するものであってもよい。

前記補正用パラメータ取得部は、前記切り出した実対象部の画像を複数のブロックに分割し、各ブロック毎に輝度ヒストグラムを生成し、生成した輝度ヒストグラムからブロック毎に前記画像効果補正用パラメータを取得し、
前記画像効果処理部は、取得した画像効果補正用パラメータを用いてブロック毎に前記実対象部の画像の輝度ムラを補正するものであってもよい。

前記画像効果処理部は、画像効果処理の指示情報を取得し、取得した指示情報に従って画像効果処理を実行するものであってもよい。

前記撮影対象物の画像データを記憶する記憶部を備えたものであってもよい。

前記記憶部は、前記撮影対象物の画像データとして、前記撮影部で撮影することによって得られた画像処理前の画像データを記憶するものであってもよい。

前記記憶部は、前記撮影対象物の画像データとして、前記画像処理部が画像処理を行った画像を記憶するものであってもよい。

前記撮影対象物の画像を表示する表示部を備えたものであってもよい。

前記画像処理部は、前記表示部に前記撮影対象物の画像を、画像処理を施す画像よりも低い解像度のプレビュー画像を表示させるものであってもよい。

本発明の第２の観点に係る撮影装置の画像処理方法は、
撮影対象物を撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影対象物の画像に対して画像処理を行う撮影装置の画像処理方法であって、
前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記画像を取得するステップと、
取得した前記画像から、前記撮影対象物の輪郭内の実対象部を判別し、判別した実対象部の画像を切り出すステップと、
切り出した前記実対象部の画像から、画像効果を補正するための画像効果補正用パラメータを取得するステップと、
取得した前記補正用パラメータを用いて、前記画像の画像効果処理を行うステップと、を備えたことを特徴とする。

本発明の第３の観点に係るプログラムは、
コンピュータに、
撮影対象物を撮影することによって得られた前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記撮影対象物の画像を取得する手順、
取得した前記画像から、前記撮影対象物の輪郭内の実対象部を判別し、判別した実対象部の画像を切り出す手順、
切り出した前記実対象部の画像から、画像効果を補正するための画像効果補正用パラメータを取得し、取得した前記補正用パラメータを用いて、前記画像の画像効果処理を行う手順、
を実行させるためのものである。

本発明によれば、容易に撮影対象物の画像の明るさや色合いを補正することができる。

以下、本発明の実施の形態に係る撮影装置を、図面を参照して説明する。
尚、実施形態では、撮影装置をデジタルカメラとして説明する。

本実施形態に係るデジタルカメラ１の構成を図１に示す。
本実施形態に係るデジタルカメラ１は、撮影対象物として、白板２等の文字、図、写真等を撮影し、撮影によって得られた画像から、画像の歪みを検出して補正し、あたかも正面から撮影したような画像を生成するものである。デジタルカメラ１は、撮影レンズ部１１と、液晶モニタ１２と、シャッタボタン１３と、を備える。

撮影レンズ部１１は、光を集光するレンズ等を備え、白板２等の文字、図、写真等からの光を集光するものである。

液晶モニタ１２は、撮影レンズ部１１を介して内部に取り込まれた画像を映し出すためのものである。
シャッタボタン１３は、撮影対象を撮影するときに押下するものである。

このデジタルカメラ１は、図２に示すように、光学レンズ装置２１と、イメージセンサ２２と、メモリ２３と、表示装置２４と、画像処理装置２５と、操作部２６と、コンピュータインタフェース部２７と、外部記憶ＩＯ装置２８と、プログラムコード記憶装置２９と、を備えて構成される。

光学レンズ装置２１は、撮影レンズ部１１とその駆動部とを備えたものであり、イメージセンサ２２上に、白板２の文字、図、写真等からの光を集光させて像を結像させる。

イメージセンサ２２は、結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ等によって構成される。イメージセンサ２２は、ＣＰＵ３０によって制御され、シャッタボタン１３が押下されなければ、プレビュー用の解像度の低いデジタルの画像データを生成し、この画像データを秒３０枚程度の間隔で、定期的にメモリ２３に送出する。また、イメージセンサ２２は、シャッタボタン１３が押下されると、解像度の高い画像データを生成し、生成した画像データをメモリ２３に送出する。

メモリ２３は、イメージセンサ２２からの低解像度のプレビュー画像、高解像度の画像データ又は画像処理装置２５が画像処理する元画像のデータ、処理後の画像データを一時記憶するものである。メモリ２３は、一時記憶した画像データを表示装置２４又は画像処理装置２５に送り出す。

表示装置２４は、液晶モニタ１２を備え、液晶モニタ１２に画像を表示させるためのものである。表示装置２４は、メモリ２３が一時記憶した低解像度のプレビュー画像又は解像度の高い画像を液晶モニタ１２に表示する。

画像処理装置２５は、メモリ２３に一時記憶された画像データに対して、画像データの圧縮、画像の歪み補正、画像効果処理等の画像処理を行うためのものである。

デジタルカメラ１が、図３（ａ）にそれぞれ示すように、白板２の文字等を、向かって左方向、右方向から撮影すると、液晶モニタ１２には、図３（ｂ），（ｃ）に示すように、白板２と文字、図、写真等の画像が歪んで表示される。画像処理装置２５は、この図３（ｂ），（ｃ）に示すような画像に対して画像処理を施すことにより、図３（ｄ）に示すような、正面から撮影したような画像を生成する。

画像処理装置２５は、画像歪みを補正するため、歪んだ画像から四角形を切り取り、切り取った四角形に撮影画像を射影変換する。

さらに具体的には、画像処理装置２５は、ＣＰＵ３０に制御されて、主に、以下の処理等を行う。
（１）撮影画像からのアフィンパラメータ抽出
（２）抽出したアフィンパラメータによる画像変換
（３）画像変換の調整処理
（４）輝度あるいは色差等に関する画像効果補正用パラメータの抽出及び画像効果処理
尚、これらの処理内容については、後述する。

操作部２６は、書画投影の機能を制御するためのスイッチ、キーを備えたものである。操作部２６は、ユーザが、これらのキー、スイッチを押下すると、応答してこのときの操作情報をＣＰＵ３０に送信する。

操作部２６は、図４に示すように、上縮小キー１１１と、下縮小キー１１２と、右縮小キー１１３と、左縮小キー１１４と、右回転キー１１５と、左回転キー１１６と、を備える。

上縮小キー１１１と、下縮小キー１１２と、右縮小キー１１３と、左縮小キー１１４とは、射影変換を行なうための射影変換キーである。上縮小キー１１１は、Ｘ軸を中心に画像の上部と下部とを比較し、上部が大きい場合に、上部を紙面に向かって下方向に回転させるときに押下するキーである。

下縮小キー１１２は、Ｘ軸を中心に画像の上部と下部を比較し、下部が大きい場合に、下部を紙面に向かって下方向に回転させるときに押下するキーである。

右縮小キー１１３と左縮小キー１１４とは、Ｙ軸側を中心に左右のひずみを調整するときに押下するキーであり、右縮小キー１１３は、右が大きいときに押下するキーであり、左縮小キー１１４は、左が大きいときに押下するキーである。

右回転キー１１５と左回転キー１１６とは、画像の回転を調整するための回転補正キーである。右回転キー１１５は、画像を右に回転するときに押下するキーであり、左回転キー１１６は、画像を左に回転するときに押下するキーである。

また、操作部２６は、この他に、撮影キー、再生キー、カーソルキー、コントロールキー等（図示せず）を備える。撮影キーは、撮影対象物を撮影するときの撮影モードを選択するためのキーである。再生キーは、撮影によって得られた撮影対象画像を再生するときの再生モードを選択するためのキーである。コントロールキーは、操作を確定させるＹＥＳキー、操作をキャンセルするためのＮＯキー、編集を行うための編集キー等の機能を有するキーである。

コンピュータインタフェース部２７は、デジタルカメラ１がコンピュータ（図示せず）に接続されたときに、ＵＳＢのストアレジクラスドライバとして動作するものである。これにより、コンピュータは、デジタルカメラ１に接続されると、メモリカード３１をコンピュータの外部記憶装置として取り扱う。

外部記憶ＩＯ装置２８は、メモリカード３１との間で、画像データ等の入出力を行うものである。メモリカード３１は、外部記憶ＩＯ装置２８から供給された画像データ等を記憶するものである。

プログラムコード記憶装置２９は、ＣＰＵ３０が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ３０は、プログラムコード記憶装置２９に格納されているプログラムに従って、システム全体を制御するものである。尚、メモリ２３は、ＣＰＵ３０の作業メモリとしても用いられる。

操作部２６のスイッチ、キーが押下されることにより、操作部２６から操作情報が送信されると、ＣＰＵ３０は、この操作情報に基づいて、イメージセンサ２２、メモリ２３、表示装置２４，画像処理装置２５等を制御する。

具体的には、ＣＰＵ３０は、操作部２６から、撮影キーが押下された旨の操作情報が送信されると、各部を撮影モードに設定する。ＣＰＵ３０は、撮影モードに設定した状態で、シャッタボタン１３が押下されなければ、イメージセンサ２２をプレビューモードに設定し、シャッタボタン１３が押下されれば、解像度の高い撮影対象画像を読み込む高解像度モードに設定する。また、ＣＰＵ３０は、再生キーが押下された旨の操作情報が送信されると、各部を再生モードに設定する。

また、ＣＰＵ３０は、操作部２６から、射影変換キー、回転補正キーが押下された旨の操作情報が送信されると、これらの操作情報を画像処理装置２５に送信して、画像処理装置２５を制御する。

また、ＣＰＵ３０は、外部記憶ＩＯ装置２８を介してメモリカード３１に、プレビュー画像、高解像度の画像のデータを記録したり、メモリカード３１から、記録された画像データを読み出したりする。ＣＰＵ３０は、メモリカード３１には、例えば、ＪＰＥＧフォーマットで圧縮した画像データを記録する。

ＣＰＵ３０は、メモリ２３に画像データを一時記憶する際、プレビュー画像、高解像度の画像データを異なる記憶領域に記録する。また、ＣＰＵ３０は、メモリカード３１には、画像データを画像ファイルに分けて記録し、記録する際、画像データに関するヘッダ情報も画像ファイルのヘッダ情報記憶領域に記録する

次に本実施形態に係るデジタルカメラ１の動作を説明する。
ユーザがデジタルカメラ１の電源をオン（投入）すると、ＣＰＵ３０はプログラムコード記憶装置２９に記憶されているプログラムのデータを取得する。ユーザが撮影ボタンを押下すると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０はこの操作情報を受信し、ＣＰＵ３０、画像処理装置２５等は、図５に示すフローチャートに従って撮影処理を実行する。

ＣＰＵ３０は、イメージセンサ２２をプレビューモードに設定する（ステップＳ１１）。
ＣＰＵ３０は、操作部２６から送信された操作情報に基づいてシャッタボタン１３が押下されたか否かを判定する（ステップＳ１２）。

シャッタボタン１３が押下されたと判定した場合（ステップＳ１２においてＹｅｓ）、ＣＰＵ３０は、イメージセンサ２２に対して、プレビューモードから高解像度モードに切り替えてイメージセンサ２２を制御する（ステップＳ１３）。

ＣＰＵ３０は、イメージセンサ２２が生成した高解像度の撮影対象画像のデータを、メモリ２３上のプレビュー画像とは異なる記憶領域に記録する（ステップＳ１４）。

ＣＰＵ３０は画像データの読み込みが終了したか否かを判定する（ステップＳ１５）。
読み込みが終了していないと判定した場合（ステップＳ１５においてＮｏ）、ＣＰＵ３０は、引き続き、画像データの読み込みを行うようにイメージセンサ２２を制御する。

画像データをすべて読み込んで画像転送も終了したと判定した場合（ステップＳ１５においてＹｅｓ）、ＣＰＵ３０は、この撮影画像（高解像度画像）から、低解像度のプレビュー画像を生成し、メモリ２３のプレビュー画像用の記憶領域上に、プレビュー画像のデータを書き込む（ステップＳ１６）。

ＣＰＵ３０は、圧縮データを作成するように画像処理装置２５を制御し、画像処理装置２５は、圧縮データを作成する（ステップＳ１７）。
ＣＰＵ３０は、この圧縮データを、外部記憶ＩＯ装置２８を介してメモリカード３１に記録し、画像処理装置２５が作成した圧縮データを保存する（ステップＳ１８）。

次に、画像処理装置２５は、ＣＰＵ３０の制御の下、撮影画像から正面画像を作るための射影パラメータを抽出する（ステップＳ１９）。

ＣＰＵ３０、画像処理装置２５は、射影パラメータを抽出できたか否かを判定する（ステップＳ２０）。
抽出できたと判定した場合（ステップＳ２０においてＹｅｓ）、画像処理装置２５は、抽出した射影パラメータに基づいて射影変換画像を作成する（ステップＳ２１）。

操作部２６の射影変換キー、回転補正キーが押下されると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、操作部２６からの操作情報を画像処理装置２５に送信し、画像処理装置２５は、送信された操作情報に従って、画像変換の調整処理を行う（ステップＳ２２）。

画像処理装置２５は、画像効果補正用パラメータを抽出し（ステップＳ２３）、画像効果処理を行う（ステップＳ２４）。

画像処理装置２５は、画像効果処理が行われた画像データに対して、圧縮処理を行い、圧縮データを作成する（ステップＳ２５）。

画像処理装置２５は、作成された圧縮データをメモリカード３１に記録する（ステップＳ２６）。

一方、射影パラメータを抽出することができなかったと判定した場合（ステップＳ２０においてＮｏ）、ＣＰＵ３０は、警告処理を行う（ステップＳ２７）。

ＣＰＵ３０等は、このようにして撮影処理を終了させる。尚、ユーザがキーを操作しない限り、ＣＰＵ３０等は、この撮影処理を繰り返し実行する。

次に、画像処理装置２５が行う画像処理について説明する。
まず、画像処理装置２５が画像処理に用いるアフィン変換についての基本的な考え方（実現方法）を説明する。

画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。これは、変換前の座標（u,v）の点が、移動、拡大縮小、回転などの変換によって、変換後の座標（x,y）が次の数１によって関係付けられることになる。射影変換もこのアフィン変換により行われることができる。
最終的な座標（ｘ，ｙ）は、次の数２によって算出される。
数２は、射影変換するための式であり、座標ｘ、ｙは、ｚ’の値に従い、０に向かって縮退する。即ち、ｚ’に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはa13,a23,a33である。また、他のパラメータは、パラメータa33で正規化されることができるので、a33を１としてもよい。

図６は、四角形の撮影画像の各頂点の座標を示したものである。デジタルカメラ１で撮影された四角形と実際の撮影対象物（白板２）との関係について、図７に基づいて説明する。

この図７において、Ｕ−Ｖ−Ｗ座標系は、デジタルカメラ１で撮影して得られた画像の３次元座標系である。Ａ（Ａu,Ａv,Ａw）)ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、撮影対象物をベクトルで表したものである。
また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と撮影対象物との距離を示す。

図７に示す投影スクリーンは、撮影対象物の画像の射影を行うためのものである。
投影スクリーン上の座標系をx,yとすると、この投影スクリーン上に投影される画像がデジタルカメラ１に撮影される画像と考えればよい。投影スクリーンは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。撮影対象物の任意の点Ｐ（u,v,w）と原点とを直線で結び、その直線と投影スクリーンと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ（x,y）とする。このとき、座標ｐは、射影変換より次の数３によって表される。
数３より、図７に示すように点Ｐ0，Ｐ1，Ｐ2，Ｐ3と投影スクリーンへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数４に示す関係が求められる。
このとき、射影係数α、βは次の数５によって表される。

次に、射影変換について説明する。
撮影対象物上の任意の点Ｐは、Ｓ，Ａ，Ｂベクトルを用いて、次の数６によって表される。
この数６に、数４の関係式を代入すると、座標ｘとｙとは、次の数７によって表される。

この関係を、アフィン変換の式に当てはめると、座標（x',y',z'）は、次の数８によって表される。

この数８にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。

上記ｍ，ｎは、予め補正画像ｐ（u,v）を出力する画像サイズ（0≦u＜umax, 0≦v＜vmax）を与えて、その画像サイズに合わせて画像を調整する方法が考えられる。この方法によれば、ｍ，ｎは次の数９によって表される。
しかし、作成される補正画像の縦横比と撮影対象物の縦横比とは一致しない。ここで、補正画像ｐ（u,v）とｍ、ｎの値との関係は、数３から、次の数１０によって表される。

カメラパラメータであるレンズの焦点距離ｆが既知であれば、数１０に従って、縦横比ｋを求めることができる。従って、補正画像ｐ（u,v）の画像サイズを（0≦u＜umax, 0≦v＜vmax）であるとすると、次の数１１に従ってｍ、ｎを求めることにより、撮影対象物と同じ縦横比ｋを得ることができる。
尚、カメラが固定焦点である場合、レンズの焦点距離ｆの値を、予め得ることができる。ズームレンズ等が存在する場合には、レンズの焦点距離ｆの値は、レンズのズーム倍率によって変化するので、そのズーム倍率とレンズの焦点距離ｆとの関係をを示すテーブルを予め作成して記憶し、ズーム倍率に基づいて焦点距離ｆを読み出し、数１０，数１１に従って、射影変換を行うことができる。

画像処理装置２５は、このようなアフィン変換を行うため、まず、撮影した撮影対象物の画像から射影パラメータを抽出する（図５のステップＳ１９）。
画像処理装置２５が実行する射影パラメータの抽出処理を図８に示すフローチャートに基づいて説明する。

画像処理装置２５は、撮影した撮影対象物の画像から、この撮影対象物の画像の４すみの座標点（四角形輪郭）を抽出する（ステップＳ３１）。画像処理装置２５は、図９に示すフローチャートに示す四角形の輪郭を抽出する。

即ち、画像処理装置２５は、画像処理の演算数を減らすため、入力画像から縮小輝度画像を生成する（ステップＳ４１）。
画像処理装置２５は、生成した縮小輝度画像から、撮影対象物のエッジ画像を生成する（ステップＳ４２）。

画像処理装置２５は、撮影対象物のエッジ画像から、このエッジ画像に含まれる直線パラメータを検出する（ステップＳ４３）。
画像処理装置２５は、検出した直線パラメータから、撮影対象物の輪郭を形成する候補となる四角形を作成する（ステップＳ４４）。

画像処理装置２５は、このように候補となる四角形を生成し、生成した各四角形に優先順位を付す（図８のステップＳ３２）。
画像処理装置２５は、優先順位に従って四角形を選択し、選択した四角形を抽出できたか否かを判定する（ステップＳ３３）。

四角形を抽出できなかったと判定した場合（ステップＳ３３においてＮｏ）、ＣＰＵ３０は、この射影パラメータ抽出処理を終了させる。

一方、四角形を抽出できたと判定した場合（ステップＳ３３においてＹｅｓ）、ＣＰＵ３０は、画像処理装置２５から、抽出した四角形を取得して、表示装置２４に送り、液晶モニタ１２に、四角形のプレビュー画像を表示させる（ステップＳ３４）。

ＣＰＵ３０は、操作部２６から送信された操作情報に基づいてＹＥＳキー、ＮＯキーのいずれが押下されたか否かを判定する（ステップＳ３５）。

ＮＯキーが押下されたとＣＰＵ３０が判定した場合（ステップＳ３５においてＮｏ）、画像処理装置２５は、次の候補の四角形を指定する（ステップＳ３６）。

一方、ＹＥＳキーが押下されたと判定した場合（ステップＳ３５においてＹｅｓ）、ＣＰＵ３０は、抽出した四角形の頂点から、アフィンパラメータを算出する（ステップＳ３７）。

次に、この射影パラメータの抽出処理を、さらに具体的に説明する。
画像処理装置２５がステップＳ４１において生成した縮小輝度画像の一例を図１０（ａ）に示す。画像処理装置２５は、このような縮小輝度画像から、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いて図１０（ｂ）に示すようなエッジ画像を生成する（ステップＳ４２）。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１、Δ２を取得して平均化することによって、画像のエッジを検出するフィルタである。

図１１（ａ）は、フィルタΔ１の係数を示し、図１１（ｂ）は、フィルタΔ２の係数を示す。この２つのフィルタΔ１，Δ２の係数を、ある着目した座標（x,y）の画素値ｆ（x,y）に適用すると、変換後の画素値ｇ（x,y）は、次の数１２によって表される。

図１０（ｂ）に示すエッジ画像には、直線パラメータが含まれている。画像処理装置２５は、このエッジ画像から、ラドン変換を行って直線パラメータを検出する（ステップＳ４３の処理）。

ラドン変換は、ｎ次元のデータを、（ｎ−１）次元の投影データに対応させる積分変換である。具体的には、図１２（ａ），（ｂ）に示すように、画像データをｆ（x,y）として、ｘ−ｙ座標系から角度θだけ回転したｒ−θ座標系を考える。θ方向の画像投影データｐ（r,θ）は、次の数１３によって定義される。

この数１３による変換がラドン変換と呼ばれるものである。
図１２（ａ）に示すような画像データｆ（x,y）は、ラドン変換により、図１２（ｂ）に示すような画像投影データｐ（r,θ）に変換される。

このようなラドン変換によれば、図１３（ａ）に示すようなｘ−ｙ座標系の直線Ｌは、極座標系では、ρ＝ｘcosα＋ｙsinαで表される。この直線Ｌは、ｐ（ρ,α）の点に全て投影されるので、ｐ（r,θ）のピークを検出することで、直線の検出が可能になる。画像処理装置２５は、この原理を用いて、エッジ画像から、ラドン変換によりデータｐ（r,θ）を生成する。

次に、画像処理装置２５は、生成したデータｐ（r,θ）から、そのピーク点を抽出する。このため、画像処理装置２５は、図１４に示すフローチャートに従って、このピーク点の抽出処理を実行する。

画像処理装置２５は、ｐ（r,θ）での最大値ｐmaxを探す（ステップＳ５１）。
画像処理装置２５は、閾値ｐth ＝ pmax * k（ｋは０以上１までの定数値）を求める（ステップＳ５２）。

画像処理装置２５は、ｐthを閾値にしてｐ（r,θ）から２値画像Ｂ（r,θ）を生成する（ステップＳ５３）。
画像処理装置２５は、Ｂ（r,θ）の画像ラベリングを行う。このとき得られたラベル数をＮ１とする（ステップＳ５４）。

画像処理装置２５は、各ラベル領域内でｐ（r,θ）が最大値のところのr,θを調べる。そして、画像処理装置２５は、この値を、それぞれｒi,θi （ｉ＝１〜Ｎl）として取得する（ステップＳ５５）。これが直線のパラメータとなる。

次に、画像処理装置２５は、検出した直線パラメータを用いて四角形候補を生成する場合（図９のステップＳ４４の処理）、図１５（ａ）に示すように、４本の直線が四角形を形成すれば、例えば、対向する直線ａ１，ａ３は、対向する直線ａ１，ａ３以外の２本の直線ａ２，ａ４と、それぞれ、交点ｐ１，ｐ４，ｐ２，ｐ３を有することになる。この場合、ＣＰＵ３０は、四角形を抽出できたと判定する（図８のステップＳ３３においてＹｅｓ）。

一方、図１５（ｂ），（ｃ）に示すように、４つの交点がなければ、ＣＰＵ３０は、四角形を抽出できなかったと判定する（ステップＳ３３においてＮｏ）。

次に、画像処理装置２５は、抽出した四角形の候補の中から、撮影対象物の辺を表すものとして、最もふさわしい四角形を選択する。
この方法はいくつか考えられ、本実施の形態では、撮影された四角形のうち、最外郭の四角形を選ぶものとする。最外郭の四角形とは、図６に示すように候補となる四角形をＸ，Ｙ軸の平行線で囲んで長方形を形成し、そのうち、面積が最も大きいものをいう。

長方形Ｒiの４つの頂点の座標を、それぞれ、（x0,y0），（x1,y1），（x2,y2），（x3,y3）とすると、四角形の面積Ｓiは、次の数１４によって表される。

画像処理装置２５は、図１６に示すフローチャートに従って、この四角形を選択する。
画像処理装置２５は、候補数Ｎｒの四角形のうちから、いずれかの四角形を選択する（ステップＳ６１）。
画像処理装置２５は、選択した四角形の面積Ｓiを、数１０に従って求める（ステップＳ６２）。

画像処理装置２５は、候補数Ｎｒをデクリメントする（ステップＳ６３）。
画像処理装置２５は、候補数Ｎｒが０になったか否かを判定する（ステップＳ６４）。
候補数Ｎｒが０にはなっていないと判定した場合（ステップＳ６４においてＮｏ）、画像処理装置２５は、ステップＳ６１〜Ｓ６３の処理を、再度、実行する。

このような処理を繰り返し行うことによって、候補数Ｎｒが０になったと判定した場合（ステップＳ６４においてＹｅｓ）、画像処理装置２５は、求めた面積Ｓiの大きい順に、候補となる四角形のデータを並べ替える（ステップＳ６５）。

そして、画像処理装置２５は、一番目の四角形を最優先の四角形の輪郭とする。このように複数の四角形の候補があっても常に最大外郭の四角形が優先的に選択される。このように最大外郭の四角形を優先的に選択するのは、通常、意識的に撮影対象物が撮影画角内の最大になるように、ズーム調整や撮影位置の調整が行われ、最大外郭の四角形が撮影対象物の輪郭と考えられるからである。

従って、概ね、撮影対象物の輪郭が自動的に抽出されることが期待される。また、誤って四角形が抽出されたとしても、ユーザは、一般には、最大外郭の四角形から順次、確認することになる。このため、撮影対象物の輪郭を示す直線が抽出されていれば、真の撮影対象物の四角形は、ＮＯキーを順次押下することによって選択されることになる。

このようにして、選択された撮影対象物の四角形の４点の頂点の座標（x0,y0）,（x1,y1）,（x2,y2）,（x3,y3）を用いて、数５，数８に従って、数８に示す行列内の各要素であるアフィンパラメータを求めることができる。

（１）撮影対象画像からのアフィンパラメータ抽出
このような考え方に基づいて、画像処理装置２５は、四角形の頂点からアフィンパラメータを取得する。この処理を、図１７に示すフローチャートに基づいて説明する。

画像処理装置２５は、四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数５に従って、射影係数α、βを算出する（ステップＳ７１）。

画像処理装置２５は、数１０に従って撮影対象物の縦横比ｋを算出する（ステップＳ７２）。
画像処理装置２５は、画像の中心点（ｕc,ｖc）を指定する（ステップＳ７３）。
画像処理装置２５は、最大画像サイズｖmax/ｕmaxと数１０で表される縦横比ｋとを比較する（ステップＳ７４）。

ｖmax/ｕmax≦ｋの場合（ステップＳ７４においてＮｏ）、縦横比ｋを変えないものとして、画像処理装置２５は、Ｕ軸側（横）の最大画像サイズｕmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、画像処理装置２５は、Ｖ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数１１の条件（１）に従って、ｍ，ｎの値を求める（ステップＳ７５）。

ｖmax/ｕmax＞ｋの場合（ステップＳ７４においてＹｅｓ）、縦横比ｋを変えないものとして、画像処理装置２５は、Ｖ軸側（縦）の最大画像サイズｖmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、画像処理装置２５は、Ｕ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数１１の条件（２）に従ってｍ，ｎの値を求める（ステップＳ７６）。

画像処理装置２５は、算出したｍ、ｎと四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数８に従って、アフィン変換行列Ａfを求める（ステップＳ７７）。
画像処理装置２５は、このアフィン変換行列Ａfの各要素をアフィンパラメータＡとして、このアフィンパラメータＡを取得する（ステップＳ７８）。

尚、四角形が認識できないような場合（図８のステップＳ３３においてＮｏ）のように、画像撮影条件等が不適であり、射影パラメータが得られない場合がある。このような場合、図１８（ａ）に示すような警告文を、液晶モニタ１２に表示させ、撮影者に領域が検出できなかったことを適切に警告し、撮影者に、図１８（ｂ）に示すようなカメラ撮影設定モードにして撮影条件を変更させ、再度撮影を促すようにしたほうが好ましい。さらに再度、撮影条件を変えるように警告をした方が好ましい場合がある。

ＣＰＵ３０は、このように適正な射影パラメータが得られなかった場合、図１９に示すフローチャートに従って、警告処理を行う（図５のステップＳ２７）。

ＣＰＵ３０は、表示装置２４を制御して、図１８（ａ）に示すような警告文を液晶モニタ１２に表示させる（ステップＳ８１）。

ＣＰＵ３０は、ＹＥＳキー、ＮＯキーのいずれが押下されたかを、操作部２６から送信された操作情報に基づいて判定する（ステップＳ８２）。

ＮＯキーが押下されたと判定した場合（ステップＳ８２においてＮｏ）、ＣＰＵ３０は、この警告処理を終了させる。

一方、ＹＥＳキーが押下されたと判定した場合（ステップＳ８２においてＹｅｓ）、ＣＰＵ３０は、撮影モードに切り替えて（ステップＳ８３）、この警告処理を終了させる。

（２）抽出したアフィンパラメータによる画像変換
次に、得られたアフィンパラメータを用いて補正画像を作成する画像処理方法について説明する。
まず、アフィンパラメータを用いて射影変換や他のアフィン変換を行なう場合、図２０に示すように、元の画像の点ｐ（x,y）が、変換行列Ａpによる射影変換等によって変換（後）画像の点Ｐ（u,v）に対応するものとする。この場合、元の画像の点ｐに対応する変換画像の点Ｐを求めるよりは、変換画像の点Ｐ（u,v）に対応する元の画像の点ｐ（x,y）を求めたほうが好ましい。

尚、変換画像の点Ｐの座標を求める際、バイリニア法による補間方法を用いるものとする。バイリニア法による補間方法は、一方の画像（元の画像）の座標点と対応する他方の画像（変換画像）の座標点を探し出して、一方の画像の座標点の周辺４点の（画素）値から変換画像の点Ｐ（u,v）の（画素）値を求める方法である。この方法によれば、変換画像の点Ｐの画素値Ｐは、次の数１５に従って算出される。

変換画像の点Ｐ（u,v）に対応する元の画像の点ｐ（x,y）を求めるため、画像処理装置２５は、図２１に示すフローチャートの処理を実行する。
画像処理装置２５は、変換画像の画素位置ｕを０に初期化する（ステップＳ９１）。

画像処理装置２５は、変換画像の画素位置ｖを０に初期化する（ステップＳ９２）。
画像処理装置２５は、数８及び数５で得られたアフィンパラメータＡを用いて変換画像の画素位置（u,v）を代入し、数２に従って、元の画像の画素位置（x,y）を求める（ステップＳ９３）。

画像処理装置２５は、求めた画素位置（x,y）から、数１５に従って、バイリニア法により画素値Ｐ（u,v）を求める（ステップＳ９４）。
画像処理装置２５は、補正後画像の座標ｖを１つだけインクリメントする（ステップＳ９５）。

画像処理装置２５は、補正後画像の座標ｖと座標ｖの最大値ｖmaxとを比較して、補正後画像の座標ｖが最大値ｖmax以上になったか否かを判定する（ステップＳ９６）。

座標ｖが最大値ｖmax未満であると判定した場合（ステップＳ９６においてＮｏ）、画像処理装置２５は、ステップＳ９３〜Ｓ９５を再度実行する。

ステップＳ９３〜Ｓ９５の処理を繰り返すことにより、座標ｖが最大値ｖmaxに達したと判定した場合（ステップＳ９６においてＹｅｓ）、画像処理装置２５は、補正後画像の座標ｕを１つだけインクリメントする（ステップＳ９７）。

画像処理装置２５は、座標ｕと座標ｕの最大値ｕmaxとを比較し、座標ｕが最大値ｕmax以上になったか否かを判定する（ステップＳ９８）。
座標ｕが最大値ｕmax未満であると判定した場合（ステップＳ９８においてＮｏ）、画像処理装置２５は、再度、ステップＳ９２〜Ｓ９７の処理を実行する。

ステップ９２〜Ｓ９７の処理を繰り返すことにより、座標ｕが最大値ｕmaxに達したと判定した場合（ステップ９８においてＹｅｓ）、画像処理装置２５は、この画像変換処理を終了させる。

（３）画像変換の調整
次に、一度画像変換を行った画像に対して行われる調整（図５のステップＳ２２）について説明する。
抽出された四角形の頂点の座標に若干の誤差等が含まれているような場合、図２２（ａ）に示すように、得られたアフィンパラメータで射影した結果が好ましくない場合がある。このため、本実施形態のデジタルカメラ１は、一度画像変換した画像に対して調整を行い、図２２（ｂ）に示すような画像を得るために、ユーザによって射影変換の調整を行えるように構成されている。

ユーザが操作部２６の射影変換キー、回転補正キーを操作すると、操作部２６は、ユーザの操作に応答して、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、この操作情報を判別し、判別結果に従って画像処理装置２５を制御する。

尚、図２３に示すように、補正画像の補間画素Ｑ（u',v'）を求める際に、補間画素Ｑ（u',v'）に対して逆変換Ａiを行って、補間画素Ｑ（u',v'）に対応する補正画像Ｐ（u,v）を求め、さらに補正画像Ｐ（u,v）に対して逆変換を行って、元の画像のｐ（x,y）を求め、画像ｐ（x,y）に対して画素補間を行う。また、射影変換と拡大変換等、画像変換を２段変換する場合は、２つの変換を合成した変換行列を求めておいて、元の画像に対して変換を一度で行う。この方が、変換を２回行うより画像を高速に求めることができ、かつ画像の劣化は少なくてすむ。

変換前の画像を、Ｘ軸，Ｙ軸を中心に角度θだけ回転して得られた変換後の画像から、変換前の画像を取得する場合の回転逆変換行列Ａrは、次の数１６によって表される。
変換前の画像を、Ｘ軸，Ｙ軸を中心にしてＳc倍拡大して得られた変換後の画像から、変換前の画像を取得する場合の拡大行列Ａscは、次の数１７によって表される。

尚、一度、画像を拡大すると、アフィンパラメータの調整や計算で丸め誤差の処理等が行われる場合がある。このため、画像を拡大する場合、その前に元の等倍のアフィンパラメータに復帰させるようにしておく必要がある。

変換前の画像をＸ，Ｙ方向に、それぞれ、Ｔx，Ｔyだけ移動させることによって得られた変換後の画像から、変換前の画像を取得する場合の移動行列Ａsは、次の数１８によって表される。

補正前の画像をＸ，Ｙ方向に、それぞれ、α，βだけ傾斜することによって得られた変換後の画像から、変換前の画像を取得する場合の射影効果行列Ａpは、次の数１９によって表される。
そして、２段の逆変換を実行する場合、その逆変換行列Ａは、次の数２０によって表される。

尚、本実施形態では、射影効果パラメータα、βは0.1刻み、角度補正パラメータθは１度刻みに設定するものとする。但し、実際の補正の効果を確かめながら各パラメータの調整幅を決定することができる。

このような考え方に基づいて実行される画像変換の調整処理を、図２４に示すフローチャートに基づいて説明する。
ＣＰＵ３０は、画像の中心座標Ｘc，Ｙcを設定する（ステップＳ１０１）。
ＣＰＵ３０は、操作部２６から送信された操作情報に基づいて射影補正キーが押下されたか否かを判定する（ステップ１０２）。
射影変換キーが押下されたと判定した場合（ステップＳ１０２においてＹｅｓ）、ＣＰＵ３０は、射影変換キーとして、上縮小キー１１１、下縮小キー１１２、右縮小キー１１３、左縮小キー１１４のうちの押下されたキーの種別を判別する（ステップＳ１０３〜Ｓ１０６）。

押下された射影変換キーが上縮小キー１１１であると判別した場合、ＣＰＵ３０は、数１９に示す射影効果行列Ａpに、α＝0.1、β＝０をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０３）。

押下された射影変換キーが下縮小キー１１２であると判別した場合、ＣＰＵ３０は、数１９に示す射影効果行列Ａpに、α＝-0.1，β＝０をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０４）。

押下された射影変換キーが右縮小キー１１３であると判別した場合、ＣＰＵ３０は、数１９に示す射影効果行列Ａpに、α＝０，β＝0.1をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０５）。

押下された射影変換キーが左縮小キー１１４であると判別した場合、ＣＰＵ３０は、数１９に示す射影効果行列Ａpに、α＝０，β＝-0.1をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０６）。

射影変換キーは押下されなかったと判定した場合（ステップ１０２においてＮｏ）、ＣＰＵ３０は、回転補正キーが押下されたか否かを判定する（ステップＳ１０７）。
回転補正キーが押下されたと判定した場合（ステップＳ１０７においてＹｅｓ）、ＣＰＵ３０は、押下された回転補正キーの種別を判別する（ステップＳ１０８、Ｓ１０９）。

押下された回転補正キーが右回転キー１１５であると判別した場合、ＣＰＵ３０は、数１６に示す回転逆変換行列Ａrに、θ＝−１を代入して、逆変換行列Ａi＝Ａrを取得する（ステップ１０８）。

押下された回転補正キーが左回転キー１１６であると判別した場合、ＣＰＵ３０は、数１６に示す回転逆変換行列Ａrに、θ＝１を代入して、逆変換行列Ａi＝Ａrを取得する（ステップ１０９）。

また、射影変換キー又は回転補正キーが押下されたと判定して、逆変換行列Ａiを設定した場合（ステップＳ１０３〜Ｓ１０６，Ｓ１０８，Ｓ１０９）、ＣＰＵ３０は、数２０に従って、逆変換行列Ａを求める（ステップＳ１１０）。

ＣＰＵ３０は、求めた変換行列Ａを画像処理装置２５に供給し、逆変換行列Ａに基づいて画像変換を行うように画像処理装置２５を制御する。画像処理装置２５は、供給された逆変換行列Ａに基づいて、アフィン変換による画像変換を行い（ステップＳ１１１）、この画像変換の調整処理を終了させる。
一方、回転補正キーが押下されていないと判定した場合（ステップＳ１０７においてＮｏ）、ＣＰＵ３０は、そのまま、この画像変換の調整処理を終了させる。

このようにして得られたアフィンパラメータを用いて、前述した方法にて画像変換を行うことにより、補正画像に対して、さらに画像をマニュアル調整することもできる。

例えば、図２２に示すような画像を調整する場合、画像が左方向に歪んでいるので、まず右回転キー１１５を押下すると、画像処理装置２５は、画像を右回転させる。このまま、右回転キー１１５が押下されて、文字列が正しく表示されたときに右回転キー１１５の押下が停止すると、画像処理装置２５は、画像の右回転を停止させる。

次に画像の左側が右側に比較して大きいので左縮小キー１１４が押下されると、画像処理装置２５は、画像の左右を調整する。このまま、左縮小キー１１４が押下されて左右のバランスが揃ったときに左縮小キー１１４の押下が停止すると、画像処理装置２５は、左縮小処理を停止させる。

この方法は、元画像に対して一度だけの画像変換だけで、画像を得ることができるので、一度射影補正をおこなった画像に対して再度、回転、射影変換するより画質の良い画像を得ることができる。

（３）輝度あるいは色差等に関する画像効果補正用パラメータの抽出及び画像効果処理
次に、このように得られた画像から、画像効果補正用パラメータを抽出する処理と、このパラメータを用いて行う画像効果処理と、について説明する。画像効果処理は、より鮮明な画像を得るための処理である。

画像効果補正用パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値、色差ヒストグラムのピーク値、平均値といった画像効果処理に必要な変数である。

画像効果補正用パラメータを抽出するには、さらに、（３−ａ）全体の画像から輪郭を除く実対象部の画像を切り出し、（３−ｂ）輝度、色差のヒストグラムを生成する必要がある。まず、画像効果補正用パラメータの抽出に必要な処理について説明する。

画像効果補正用パラメータを抽出するには、さらに、（３−ａ）全体の画像から輪郭を除く実対象部の画像を切り出し、（３−ｂ）輝度、色差のヒストグラムを生成する必要がある。まず、画像効果補正用パラメータの抽出に必要な処理について説明する。

（３−ａ）画像の切り出し
図２５に示すように、撮影対象物の画像には、写真、図形、文字等の実体的な画像だけでなく、白板２の面上の影等のように、撮影対象物の内容に無関係の画像も写っている場合がある。この全体画像に内枠と外枠とを設定し、撮影対象物の実体的な画像がある内枠内を実対象部、台座１３や、白板２の面上の影等が写っている内枠と外枠との間を周辺部とする。周辺部に写っている撮影対象物の輪郭は、概して黒であることが多い。画像データに、このような周辺部のデータがあった方が好ましい場合もある。

しかし、撮影対象物の周辺部の画像も含めてヒストグラムを生成すると、ヒストグラムの引き伸ばしなどが有効に機能しない場合がある。
このため、画像効果補正用パラメータを取り出すときにのみ、実対象部の画像を切り出して輝度、色差のヒストグラムを生成し、このヒストグラムから取り出した画像効果補正用パラメータを用いて画像全域に対して画像効果処理を行なうものとする。この方が、より効果的なパラメータを取得することができる。

具体的には、周辺部を含めた画像データがＭ行Ｎ列であって、Ｘ、Ｙ方向とも外枠と内枠との間のドット数がＫドットであるとすると、Ｘ軸側では、実対象部の画素データであるＫからＭ−Ｋ行までの画素データを取得し、Ｙ軸側では、実対象部の画素データであるＫからＮ−Ｋ列までの画素データを取得する。実対象部の画素データは、（M-2*K）行、（N-2*K）列のデータになる。

（３−ｂ）輝度、色差のヒストグラムの生成
このように切り出した実対象部の画像について、輝度ヒストグラム、色差ヒストグラムを生成する。

輝度ヒストグラムは、実対象部に存在する輝度値（Ｙ）の分布を示すものであり、輝度値毎に実対象部の画素の数を計数することにより生成される。図２６（ａ）に輝度ヒストグラムの一例を示す。図２６（ａ）において、横軸は、輝度値（Ｙ）を示し、縦軸は、画素数を示す。画像効果を補正するには、画像効果補正用パラメータとして、最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を求める必要がある。

最大値は、輝度値毎に画素の数を計数し、予め設定された所定数以上の計数値を有する輝度値のうちの最大輝度を示す値であり、最小値は、設定された所定数以上の計数値を有する輝度値のうちの最小輝度を示す値である。ピーク値は、計数値が最大となる輝度値である。ピーク値は、撮影対象である白板２の背景色の輝度値を示すものと考えられる。

また、色差ヒストグラムは、実対象部に存在する色差（Ｕ，Ｖ）の分布を示すものであり、色差毎に実対象部の画素の数を計数することにより生成される。図２６（ｂ）に、色差ヒストグラムの一例を示す。図２６（ｂ）において、横軸は、色差を示し、縦軸は、画素数を示す。色差ヒストグラムの場合も、画素の計数値が最大となる色差のピーク値（Ｕpeak，Ｖpeak）が現れる。このピーク値も撮影対象物の背景色の色差を示すものと考えられる。画像効果を補正するには、画像効果補正用パラメータとして色差ヒストグラムのピーク値と平均値（Ｕmean,Ｖmean）とを求める必要がある。尚、平均値は、平均計数値を有する色差の値である。

尚、画像効果を補正して視認性に優れた画像を得るには、撮影対象物の背景色によって補正効果が異なってくるため、画像効果の補正方法を撮影対象物の背景色によって変える必要がある。このため、撮影対象物の背景色の判別が必要になってくる。撮影対象物の背景色は、輝度ヒストグラム、色差ヒストグラムの各ピーク値から判別される。

ここで、撮影対象物の背景色を、３つに分類するものとする。第１は、ホワイトボード、ノート等のように背景色が白の場合である。第２は、黒板等のように背景色が黒の場合である。第３は、雑誌、パンフレットのように背景色が白又は黒以外の場合である。

具体的に、撮影対象物の背景色は、以下の判別式に従って判別される。
（２−ａ）白の判定条件
白判定条件は、次の数２１によって表され、数２１に示す条件を満足したときに、撮影対象物の背景色は白（Ｗ）と判定される。

（２−ｂ）黒の判定条件
黒判定条件は、次の数２２によって表され、数２２に示す条件を満足したときに、撮影対象物の背景色は黒（ｂ）と判定される。

また、数２１，２２に示す条件を満足しなかった場合、撮影対象物の背景色はカラー（Ｃ）と判定される。尚、カラー閾値は、例えば、５０に、白判定閾値は、例えば、１２８に、黒判定閾値は、例えば、５０に設定される。

このようにな考え方に基づいて、画像処理装置２５は、図２７に示すフローチャートに従って画像効果補正用パラメータの抽出処理を実行する。
画像処理装置２５は、実対象部の中で、各輝度（Ｙ）値を有する画素の数を計数して、図２６（ａ）に示すような輝度ヒストグラムを生成する（ステップＳ１２１）。

画像処理装置２５は、生成した輝度ヒストグラムから、輝度の最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を取得する（ステップＳ１２２）。
画像処理装置２５は、図２６（ｂ）に示すような色差（Ｕ，Ｖ）のヒストグラムを作成する（ステップＳ１２３）。

画像処理装置２５は、画像効果補正用パラメータとして、色差（Ｕ，Ｖ）のピーク値（Ｕpeak,Ｖpeak）を求める（ステップＳ１２４）。
画像処理装置２５は、画像効果補正用パラメータとして、色差の平均値（Ｕmean,Ｖmean）を求める（ステップＳ１２５）。

画像処理装置２５は、画像ヒストグラムのこれらのピーク値（Ｙpeak,Ｕpeak,Ｖpeak）から、数１３，１４に示す判定条件式に従って撮影対象物の背景色を判別する（ステップＳ１２６）。
画像処理装置２５は、画像効果補正用パラメータと撮影対象物の背景色のデータをメモリ２３に記憶する（ステップＳ１２７）。

次に、画像処理装置２５は、このように抽出した画像効果補正用パラメータを用いて画像効果処理（図５のステップＳ２４）を行う。
前述のように、画像効果処理を効果的に行うには、背景色によって処理内容を換える必要がある。

ホワイトボード、ノート等のように、背景色が白である場合、図２８（ａ）に示すような輝度変換を行う。黒板等のように、背景色が黒である場合、図２８（ｂ）に示すような輝度変換を行う。雑誌、パンフレット等のように、背景色が白または黒以外である場合、図２８（ｃ）に示すような変換を行う。尚、図２８（ａ），（ｂ），（ｃ）において、横軸は、画素値の入力値を示し、縦軸は、画素値の出力値を示す。

背景色が白である場合、図２８（ａ）に示すように、ピーク値を境にして、輝度変換線の傾斜角度を変える。所定輝度値を、例えば、２３０として、入力された輝度のピーク値を輝度値２３０まで引き上げる。そして、最大値を、最大輝度まで持ち上げる。従って、輝度変換線は、図２８（ａ）に示すように、２つの線分によって表される。

背景色が黒である場合、図２８（ｂ）に示すように、ピーク値をある一定の輝度値（２０）になるように輝度変換を行なう。この場合も、図２８（ｂ）に示すように、輝度変換線は２つの線分によって表される。

背景色が白または黒以外の色である場合、図２８（ｃ）に示すように、通常の引き伸ばし処理と同様に、最小値以下と最大値以上をカットし、１つの線分として表されるように輝度変換線を設定する。

尚、このように背景の輝度（Ｙ）と出力（Ｙ’）との変換テーブルを予め設定してメモリ２３に記憶してもよい。作成した変換テーブルに従って、入力された各画素の値から、それぞれの出力値を求め、画像効果処理を施す。このように変換された画像は、明るい画素はより明るく、暗い画素はより暗くなるので、輝度分布が広がり、視認性がすぐれた画像になる。

また、撮影された画像によっては、デジタルカメラのホワイトバランスの調整が適正に行われず、例えば、全体が黄色等に色が変わってしまう場合がある。この色の変化は、輝度ヒストグラムの画像効果処理を行うだけでは、修正することができない。

この場合、好ましい画像を得るためには、カラー調整を行う。図２９にカラー調整を行うための輝度変換グラフの一例を示す。
図２９において、横軸は、色差の入力値を示し、縦軸は、色差の出力値を示す。カラー調整は、図２６（ｂ）に示す色差（Ｕ，Ｖ）のそれぞれの平均値（Ｕmean,Ｖmean）がグレーになるように、図２９に示す輝度変換グラフに従って輝度変換が行なわれる。

色差ＵとＶの値がともに０である場合、色は無彩色となるため、ピーク値（Ｕpeak，Ｖpeak）が０になるようにカラー調整を行う。即ち、カラーの変換線は２つの線分によって表される。入力値Ｕに対する出力値Ｕ’は次の数２３で与えられる。
色差Ｖについても同様である。

次に、画像効果処理として、前述の輝度引き延ばしだけでは、十分に背景が白色化しない場合、背景の白色化を行い、画像内の背景と思われる部分の色を白（Ｙ：255, Ｕ：０, Ｖ：０）または、それに近い色にする。

図３０（ａ）は、ある画素の輝度値を基準（０）にして、この画素の輝度値に対する輝度値の引き上げ率を示す図である。横軸は、輝度値を示し、縦軸は輝度値の引き上げ率を示す。また、図３０（ｂ）は、色差と色差の変化率を示す図である。横軸は、色差を示し、縦軸は、色差の変化率を示す。

図中、C0は、輝度と色差とを１００％引き上げる０からの範囲を示し、C1は、輝度値に従って引き上げ率を可変する範囲を示す。図３０（ａ），（ｂ）に示すように、輝度（Ｙ）値が一定値以上（Ｙw）で、色差（Ｕ，Ｖ）が一定範囲内（Ｃ０）の画素の色を白色化範囲として、輝度値を引き上げ、色差を０にする。このような背景の白色化を行えば、輝度引き延ばしだけでは、十分に背景が白色化しない場合に、画像効果処理が非常に有効なものとなる。

このような考え方に基づいて、画像処理装置２５は、図３１に示すフローチャートに従って、画像効果処理を実行する。
画像処理装置２５は、保存した画像効果補正用パラメータをメモリ２３から読み出す（ステップＳ１３１）。

画像処理装置２５は、背景が白か否かを判定する（ステップＳ１３２）。
背景が白と判定した場合（ステップＳ１３２においてＹｅｓ）、画像処理装置２５は、背景をより白くして、視認性が良くなるように、図２８（ａ）に示すような輝度変換を行って、輝度ヒストグラムの調整を行う（ステップＳ１３３）。

背景が白ではないと判定した場合（ステップＳ１３２においてＮｏ）、画像処理装置２５は、背景が黒か否かを判定する（ステップＳ１３４）。

背景が黒であると判定した場合（ステップＳ１３４においてＹｅｓ）、画像処理装置２５は、背景が黒の場合、図２８（ｂ）に示すような輝度変換を行って、輝度ヒストグラムを調整する（ステップＳ１３５）。

背景が黒ではないと判定した場合（ステップＳ１３４においてＮｏ）、画像処理装置２５は、図２８（ｃ）に示すような輝度変換を行って、撮影対象物の背景色に応じたヒストグラム調整を行う（ステップＳ１３６）。
画像処理装置２５は、このように調整した画像に対して、図２９に示すような変換を行ってカラー調整を行う（Ｓ１３７）。

画像処理装置２５は、図３２に示すフローチャートに従って輝度ムラ補正処理（Ｓ１３８）を行う。この輝度ムラ補正処理は、ステップＳ１３９で行う背景の白色化処理の際に生じる処理のムラをなくすために行うものであり、撮影レンズ部１１に起因する周辺減光や撮影環境による影の影響を低減する。

まず、画像処理装置２５は、画像を小さなブロックに分割する（ステップＳ１４１）。
画像処理装置２５は、各ブロックにおいて図２６（ａ）に示すような輝度（Ｙ）のヒストグラムを作成し（ステップＳ１４２）、最大の画素数を持つピーク時のＹの値を取得する。

画像処理装置２５は、取得したピーク時のＹの値が、最初に行った輝度ヒストグラムの画像効果（図５のステップＳ２４）の際に指定した一定輝度値（２３０）以下か否かを判定する（ステップＳ１４３）。
ピーク時のＹの値が一定輝度値以下の場合（ステップＳ１４３においてＹｅｓ）、画像処理装置２５は、輝度値（Ｙ’＝一定輝度値−ピーク時）を算出する（ステップＳ１４４）。

画像処理装置２５は、カウント値ｊを０に初期化する（ステップＳ１４５）。
画像処理装置２５は、カウント値ｉを０に初期化する（ステップＳ１４６）。
画像処理装置２５は、輝度（Ｙ）が一定値以上であるか否かを判定する（ステップＳ１４７）。

輝度（Ｙ）が一定値以上であると判定した場合（ステップＳ１４７においてＹｅｓ）、画像処理装置２５は、色差Ｕ、Ｖの絶対値が所定値未満であるか否かを判定する（ステップＳ１４８）。

色差Ｕ、Ｖの絶対値が所定値未満であると判定した場合（ステップＳ１４８においてＹｅｓ）、画像処理装置２５は、ピーク時の輝度値が一定輝度値（２３０）となるように、ブロック内の各画素の輝度を、輝度値（Ｙ’）分だけ一様に上げる（ステップＳ１４９）。

色差Ｕ、Ｖの絶対値が所定値以上であると判定した場合（ステップＳ１４７においてＮｏ）、画像処理装置２５は、カウント値ｉをインクリメントする（ステップＳ１５０）。

画像処理装置２５は、カウント値ｉを、その最大値ｉmaxと比較して、カウント値ｉが最大値ｉmaxに達したか否かを判定する（ステップＳ１５１）。
カウント値ｉが最大値ｉmaxに達していないと判定した場合（ステップＳ１５１においてＮｏ）、画像処理装置２５は、ステップＳ１４７〜Ｓ１５０の処理を、再度、実行する。

ステップＳ１４７〜Ｓ１５０の処理を繰り返し実行することにより、カウント値ｉが最大値ｉmaxに達したと判定した場合（ステップＳ１５１においてＹｅｓ）、画像処理装置２５は、カウント値ｊをインクリメントする（ステップＳ１５２）。

画像処理装置２５は、カウント値ｊを、その最大値ｊmaxと比較して、カウント値ｊが最大値ｊmaxに達したか否かを判定する（ステップＳ１５３）。

カウント値ｊが最大値ｊmaxに達していないと判定した場合（ステップＳ１５３においてＮｏ）、画像処理装置２５は、ステップＳ１４６〜Ｓ１５２の処理を、再度、実行する。

ステップＳ１４６〜Ｓ１５２の処理を繰り返し実行することにより、カウント値ｊが最大値ｊmaxに達したと判定した場合（ステップＳ１５３においてＹｅｓ）、また、ピーク時のＹの値が一定輝度値以下ではない場合（ステップＳ１４３においてＮｏ）、画像処理装置２５は、全てのブロックについて処理が終了したか否かを判定する（ステップＳ１５４）。

全てのブロックについて処理を終えていないと判定した場合（ステップＳ１５４においてＮｏ）、画像処理装置２５は、処理対象を次のブロックに移し（ステップＳ１５５）、ステップＳ１４２〜Ｓ１５３の処理を、再度、実行する。

ステップＳ１４２〜Ｓ１５３の処理を繰り返し実行することにより、全てのブロックについて処理を終えたと判定した場合（ステップＳ１５４においてＹｅｓ）、画像処理装置２５は、この輝度ムラ補正処理を終了させる。

画像処理装置２５は、図３３に示すフローチャートに従って背景の白色化処理（図３１のＳ１３９）を行う。

即ち、画像処理装置２５は、カウント値ｊを０に初期化する（ステップＳ１６１）。
画像処理装置２５は、カウント値ｉを０に初期化する（ステップＳ１６２）。
画像処理装置２５は、輝度（Ｙ）が一定値以上（Ｙw）であるか否かを判定する（ステップＳ１６３）。

輝度（Ｙ）が一定値以上（Ｙw）であると判定した場合（ステップＳ１６３においてＹｅｓ）、画像処理装置２５は、色差Ｕ、Ｖの絶対値が所定値Ｃ０未満であるか否かを判定する（ステップＳ１６５）。

色差Ｕ、Ｖの絶対値が所定値Ｃ０未満であると判定した場合（ステップＳ１６４においてＹｅｓ）、画像処理装置２５は、輝度値を２５５に設定し、色差（ｕ，ｖ）を０にして（Ｓ１６５）、カウント値ｉをインクリメントする（ステップＳ１６６）。

一方、色差Ｕ、Ｖの絶対値が所定値Ｃ０未満ではないと判定した場合（ステップＳ１６４においてＮｏ）、画像処理装置２５は、色差Ｕ、Ｖの絶対値が所定値Ｃ１未満であるか否かを判定する（ステップＳ１６７）。

色差Ｕ、Ｖの絶対値が所定値Ｃ１未満であると判定した場合（ステップＳ１６７においてＹｅｓ）、画像処理装置２５は、輝度値Ｙ＝Ｙ＋ａ＊（255−Ｙ）として（ステップＳ１６８）、カウント値ｉをインクリメントする（ステップＳ１６６）。

色差Ｕ、Ｖの絶対値が所定値Ｃ１未満ではないと判定した場合（ステップＳ１６７においてＮｏ）、画像処理装置２５は、輝度値を変更せずに、カウント値ｉをインクリメントする（ステップＳ１６６）。

画像処理装置２５は、カウント値ｉを、その最大値ｉmaxと比較して、カウント値ｉが最大値ｉmaxに達したか否かを判定する（ステップＳ１６９）。
カウント値ｉが最大値ｉmaxに達していないと判定した場合（ステップＳ１６９においてＮｏ）、画像処理装置２５は、ステップＳ１６３〜Ｓ１６８の処理を、再度、実行する。

ステップＳ１６３〜Ｓ１６８の処理を繰り返し実行することにより、カウント値ｉが最大値ｉmaxに達したと判定した場合（ステップＳ１６９においてＹｅｓ）、画像処理装置２５は、カウント値ｊをインクリメントする（ステップＳ１７０）。

画像処理装置２５は、カウント値ｊを、その最大値ｊmaxと比較して、カウント値ｊが最大値ｊmaxに達したか否かを判定する（ステップＳ１７１）。

カウント値ｊが最大値ｊmaxに達していないと判定した場合（ステップＳ１７１においてＮｏ）、画像処理装置２５は、ステップＳ１６２〜Ｓ１７０の処理を、再度、実行する。

ステップＳ１６２〜Ｓ１７０の処理を繰り返し実行することにより、カウント値ｊが最大値ｊmaxに達したと判定した場合（ステップＳ１７１においてＹｅｓ）、画像処理装置２５は、この背景の白色化処理を終了させる。

本実施形態のデジタルカメラ１では、モードを撮影モードだけでなく再生モードに設定することもできる。
操作部２６の再生キーが押下されると、操作部２６は、この操作情報をＣＰＵ３０に送信する。

ＣＰＵ３０は、この操作情報に基づいて、モードが再生モードになったことを判別すると、図３４に示すフローチャートに従って、再生処理を実行する。
ＣＰＵ３０は、メモリカード３１内に記録されている画像ファイルの中から、ユーザの選択された一枚の画像を選択する（ステップＳ１８１）。

ＣＰＵ３０は、この選択した画像ファイルをメモリカード３１から読み出し、メモリ２３に書き込む（ステップＳ１８２）。
ＣＰＵ３０は、読み出した画像から縮小画像を作成する（ステップＳ１８３）。

ＣＰＵ３０は、メモリ２３上のプレビュー画像用の記憶領域に書き込む（ステップＳ１８４）。これにより撮影モード時と同じように、この縮小画像がプレビュー画像として表示装置２４から表示される。ユーザはこの表示を見ることで、再生画像を確認することができる。

ユーザがこの表示を視認して、他の画像を見たい場合にＮＯキーを押下すると、操作部２６はこの操作情報をＣＰＵ３０に送信する。
ＣＰＵ３０は、この操作情報に従って、次の画像が指定されたか否かを判定する（ステップＳ１８５）。

次の画像が指定されたと判定した場合（ステップＳ１８５においてＹｅｓ）、ＣＰＵ３０は、次の画像を選択し（ステップＳ１８６）、再度ステップＳ１８２〜Ｓ１８４を実行する。

次の画像が指定されなかったと判定した場合（ステップＳ１８５においてＮｏ）、ＣＰＵ３０は、この再生モードが終了したか否かを判定する（ステップＳ１８７）。
撮影キーが押下されなければ、ＣＰＵ３０は、再生モードは終了していないと判定して（ステップＳ１８７においてＮｏ）、ステップ１８５（次の画像が指定されたか否かの判定）に戻る。

一方、撮影キーが押下されると、ＣＰＵ３０は、操作部２６から、この操作情報を受信して再生モードが終了したと判定し（ステップＳ１８７においてＹｅｓ）、再生処理を終了させる。

次に、パラメータのファイルヘッダへの書き込みについて説明する。
元画像と補正画像とを、共にＪＰＥＧフォーマットの画像として記録する際に、元画像のファイル名を画像ファイルのヘッダ（オプションデータ）領域に記録する。補正画像を再度修正したい場合に、修正画像ファイルを補正するのでは元の画像から作成することによって劣化の少ない画像を作成することができる。この画像編集は、デジタルカメラ１内で行われてもよい。しかし、画像編集は、コンピュータで行われることもできる。コンピュータで画像編集を行えば、さらに高度な画像補正を行えることが期待される。

さらに、ヘッダに画像処理を行ったときのパラメータを記録することにより、コンピュータは、この元画像にこのパラメータを用いて、補正画像を再度、容易に作成することができる。このため、ユーザは即時、その前回の補正画像から手を加えやすくなる。

ヘッダ情報は、データの種類（データ名）と、それぞれのデータのバイト数と、その内容と、を含む。
ＣＰＵ３０は、このヘッダ情報を、ヘッダ情報記憶領域に順次、元画像データの画像ファイル名、補正画像の画像サイズ、アフィンパラメータ、ヒストグラムテーブルを作成するための入出力のデータセットを記憶する。

入出力データセットは、入力データと出力データとの関係を示すデータのセットであり、入出力関係を示す直線の傾斜が変化する変化点毎に、入力データの小さい方から順に並べて、入力データと出力データとを組にしたものである。

変化点の入力データが、小さい方から、順に、x1,x2,…,xmとして、対応する出力データがy1，y2，...，ymとすると、データセットは、（x1,y1），（x2,y2），…，（xm,ym）のｍ個のデータセットで表される。この場合、入力データｘは、xi＜ｘ＜xi+1であれば、出力データｙは次の数２４によって表される。

例えば、入力データと出力データとの関係が、図２８（ａ）に示すような関係である場合、ＣＰＵ３０は、（0，0）、（最小値，0），（ピーク値，一定輝度値(＝230)）、（最大値，２５５）、（255，255）の５つのデータセットをメモリカード３１に記憶する。

同様に、入出力データの関係が、図２８（ｂ）に示すような関係である場合、ＣＰＵ３０は、（0，0），（最小値，0），（ピーク値，一定輝度値(＝20)），（最大値，255），（255，255）の５つのデータセットをメモリカード３１に記憶する。

入出力データの関係が、図２８（ｃ）に示すような関係である場合、ＣＰＵ３０は、（0，0），（最小値，0），（最大値，255），（255，255）の４つのデータセットをメモリカード３１に記憶する。

このような輝度値のデータセットを記録することにより、様々なヒストグラムを記述することができる。ＣＰＵ３０は、このようなデータを補正画像データの記録（図５のステップＳ２６）と同時に、メモリカード３１に記録する。

次に、補正画像の編集処理について説明する。
画像データを一度保存した後、この画像データを再度補正したい場合がある。この場合、前述のように、元の画像データを一括して補正した方が、画像劣化が少ないという点で、好ましい。

ユーザがコントロールキーを操作して画像の編集モードを指定すると、ＣＰＵ３０は、図３６に示すフローチャートに従って、画像の編集処理を実行する。
ＣＰＵ３０は、操作部２６から送信された操作情報に従って、補正画像を選択する（ステップＳ１９１）。

ＣＰＵ３０は、メモリカード３１のヘッダ情報記憶領域からヘッダ情報を読み込む（ステップＳ１９２）。
ＣＰＵ３０は、元画像を読み込む（ステップＳ１９３）。
ＣＰＵ３０は、読み込んだ補正画像、ヘッダ情報、元画像を画像処理装置２５に送り、再度、補正するように、画像処理装置２５を制御する（ステップＳ１９４）。

画像処理装置２５は、補正画像、ヘッダ情報、元画像を、ＣＰＵ３０から取得して、射影変換画像を作成する（ステップＳ１９５）。画像処理装置２５は、作成した射影変換画像のデータを表示装置２４に送り、表示装置２４は、この画像を液晶モニタ１２に表示する。

ユーザが射影変換キー、回転補正キーを操作すると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、この操作情報を取得して、画像処理装置２５を射影手動補正処理を行うように制御する。

画像処理装置２５は、図２４に示すフローチャートに従って射影手動補正処理を行う（ステップＳ１９７）。
画像処理装置２５は、ヘッダ情報と共に射影手動補正処理された補正画像をメモリカード３１に記録し（ステップＳ１９８）、この編集処理を終了させる。

以上説明したように、本実施形態によれば、画像処理装置２５は、撮影対象物（白板２）の画像から輪郭を取得して、撮影対象物の形状を取得し、撮影対象物の四角形の頂点位置から、射影パラメータを求めて撮影対象物の画像を射影変換するようにした。

従って、撮影対象物が四角形であれば、自動的に画像の歪みを容易に補正することができる。また、その結果として、元の撮影対象物の画像に等しい判読性の高い画像を得ることができる。さらに、切り出す際に射影補正もおこなうことで、撮影被写体が正面画像となり、文字や図形の比率などが撮影被写体と同じになるため、さらなる有効な画像効果を施すことが期待できる。

切り出した画像に対して背景色を特定して画像効果の場合分けを行い、さらに最適な画像効果を施すことにより、判読性の高い画像が得られる。

背景色の特定を色ヒストグラムで行い、そのピーク値を背景色とするため、容易且つ高速に背景色を特定することができ、結果として判読性の高い最適な画像が高速に得られる。

さらにライティング効果も考慮し、切り出した画像に対して小さなブロック毎に最適な画像効果を行うので、さらに判読性の高い画像が得られる。

また、内側の画像からパラメータを作成するようにしたので、切り出した画像の外側付近が画像効果に与える影響を抑え、室の高い画像効果パラメータを得ることができる。

また、撮影対象物が縦、横の比が不明な四角形であり、かつ、任意の撮影対象物を任意の視点・姿勢で撮影した場合でもデジタルカメラ１の焦点距離を用いることにより、画像の歪みを補正することができる。

また、射影パラメータを求めるのにプレビューなどに用いる解像度の低い縮小画像を用いるので、演算数は低減され、効率よく演算処理を行うことができ、画像処理を高速に行うことができる。

また、撮影された画像から、複数の四角形が抽出された場合に、最大外郭の四角形を優先的に選択し、ＮＯキーやカーソルキー等によって、四角形が大きい方から順に選択されるように構成されているため、複数の撮影対象物の輪郭の候補があっても、速やかに撮影対象物の輪郭を取得することができ、結果として簡単な手法で判読性の高い画像を得ることができる。

また、歪み補正を行った画像から画像処理補正用パラメータを求めるようにしたので、より良好な画像効果補正を行うことができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態では、補正画像の作成に用いたパラメータを補正画像のファイルに保存した。しかし、元画像のファイルにこのパラメータを保存することもできる。元画像のファイルにパラメータを保存すれば、補正画像を保存しなくても、元画像から容易に補正画像を作成することができる。

この場合のヘッダ情報は、図３７に示すように、画像サイズと射影パラメータと画像効果補正用パラメータとのみで構成される。また、撮影処理を行う際、デジタルカメラ１は、変換後の画像を保存せずに、すぐに射影パラメータの抽出処理を行う。

この撮影処理（２）の内容を図３８のフローチャートに示す。
画像処理装置２５は、射影補正画像を作成し（ステップＳ２０１〜２０９）、画像変換の調整、画像効果補正用パラメータの抽出、画像効果処理を行う（ステップＳ２１０〜２１２）。

ＣＰＵ３０は、図３７に示すヘッダ情報を作成する（ステップＳ２１３）。
画像処理装置２５は、元画像データを圧縮し、ＣＰＵ３０は、作成したヘッダ情報を、圧縮した元画像データと共にメモリカード３１に記録する（ステップＳ２１４，２１５）。

また、再編集処理も図３６に示す処理内容とは異なるものになる。即ち、再編集処理は、補正画像ではなく、元画像に対して行われる。この処理内容を図３９のフローチャートに示す。
ＣＰＵ３０は、元画像を選択し、元画像のファイルからヘッダ情報を読み出す（ステップＳ２２１，Ｓ２２２）。

画像処理装置２５は、すぐに射影補正画像を作成し（ステップＳ２２３）、画像効果処理を行う（ステップＳ２２４）。
ＣＰＵ３０と画像処理装置２５とは、射影手動補正処理を行い、補正終了後、ＣＰＵ３０は、変更された射影補正パラメータに基づいてヘッダ情報を作成し、作成したヘッダ情報を元画像のファイルに再度記録する（ステップＳ２２５〜Ｓ２２７）。

また、上記実施形態では、画像補正をデジタルカメラ１で行うようにした。しかし、画像補正をコンピュータで行うことも可能である。この場合、コンピュータをコンピュータインタフェース部２７に接続し、コンピュータが図３６に示すフローチャートに従って画像の編集処理を実行する。コンピュータがこのような画像の編集処理を行えば、コンピュータは、マウス等を備え、デジタルカメラ１に比べて操作情報の入力も容易になるので、操作性が向上する。また、コンピュータの表示装置は、デジタルカメラ１の液晶モニタ１２よりも大きいのが一般的であるので、画像を詳細に視認して、画像補正を精度良く行うことが可能になる。

また、上記実施形態では、四角形を取得できない場合、警告を行うようにした。しかし、警告を行う代わりに、撮影した画像を表示して、コントロールキー等を用いて、ユーザに四角形の４点を指定させるように構成されることもできる。そして、この指定された４点を用いてアフィンパラメータを求めるようにすることもできる。

尚、上記実施の形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、コンピュータを、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係るデジタルカメラで白板を撮影するときの状態を示す説明図である。 図１に示すデジタルカメラの構成を示すブロック図である。 図２に示す画像処理装置の機能の説明図である。 図２に示す操作部が備える各キーの説明図である。 デジタルカメラが実行する撮影処理の内容を示すフローチャートである。 図２に示す画像処理装置の切り抜き対象の四角形を示す説明図である。 射影パラメータの抽出とアフィン変換の基本的な考え方の説明図である。 図２に示す画像処理装置が実行する射影パラメータ抽出処理の内容を示すフローチャートである。 図２に示す画像処理装置が実行する四角形輪郭抽出処理の内容を示すフローチャートである。 縮小輝度画像とエッジ画像の説明図である。 Robertsフィルタの機能の説明図である。 ラドン変換の原理を説明するためのイメージ図である。 Ｘ、Ｙ座標系の直線をラドン変換して極座標系のデータを取得する動作の説明図である。 図２に示す画像処理装置が実行する極座標系のデータからのピーク点検出処理の内容を示すフローチャートである。 ピーク点を検出して抽出した直線から、四角形を検出する考え方を示す説明図である。 図２に示す画像処理装置が実行する検出した四角形の選択処理の内容を示すフローチャートである。 図２に示す画像処理装置が実行する四角形の頂点からアフィンパラメータを求める処理の内容を示すフローチャートである。 四角形を抽出できなかった場合の警告の内容を示す説明図である。 図２に示すＣＰＵが実行する警告処理の内容を示すフローチャートである。 射影変換後の画像から元の画像を得るための逆変換を説明するための図である。 図２に示す画像処理装置が実行するアフィン変換による画像変換処理の内容を示すフローチャートである。 射影変換によって画像の歪みを補正することができなかった例を示す説明図である。 元の画像、射影変換画像、拡大した射影変換画像との対応関係を説明するための図である。 図２に示す画像処理装置が実行する補正調整と画像変換処理の内容を示すフローチャートである。 図２に示す画像処理装置が切りだした画像例を示す説明図である。 輝度ヒストグラムの一例を示す説明図であり、図２６（ａ）は、輝度ヒストグラムを示し、図２２（ｂ）は、色差ヒストグラムを示す。 図２に示す画像処理装置が実行する画像効果補正用パラメータの抽出処理の内容を示すフローチャートである。 画像効果処理を示す説明図であり、（ａ）は、背景色が白の場合の画像効果処理を示し、（ｂ）は、背景が黒の場合の画像効果処理を示し、（ｃ）は、背景が白又は黒以外の場合の画像効果処理を示す。 カラー調整を行うための輝度変換グラフの一例を示す説明図である。 背景の白色化を説明するための図である。 図２に示す画像処理装置が実行する画像効果処理の内容を示すフローチャートである。 図２に示す画像処理装置が実行する輝度ムラ補正処理の内容を示すフローチャートである。 図２に示す画像処理装置が実行する背景白色化処理の内容を示すフローチャートである。 図２に示すＣＰＵ、画像処理装置が実行する再生処理の内容を示すフローチャートである。 ヘッダ情報の内容を示す説明図である。 図２に示すＣＰＵ、画像処理装置が実行する補正画像の再編集処理の内容を示すフローチャートである。 元画像のみを保存する場合のヘッダ情報の内容を示す説明図である。 元画像のみを保存する場合に図２に示すＣＰＵ、画像処理装置が実行する撮影処理（２）の内容を示すフローチャートである。 元画像のみを保存する場合に図２に示すＣＰＵ、画像処理装置が実行する補正画像の再編集処理の内容を示すフローチャートである。

符号の説明

１・・・デジタルカメラ、２・・・白板、１１・・・撮影レンズ部、１２・・・液晶モニタ、１３・・・シャッタボタン、２１・・・光学レンズ装置、２２・・・イメージセンサ、２３・・・メモリ、２４・・・表示装置、２５・・・画像処理装置、３０・・・ＣＰＵ、３１・・・メモリカード

Claims (15)

1. 撮影対象物を撮影する撮影装置において、
   前記撮影対象物を撮影する撮影部と、
   前記撮影部で撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影画像に対して画像処理を行う画像処理部と、を備え、
   前記画像処理部は、
   前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記撮影対象物の画像を取得する形状取得部と、
   前記形状取得部が取得した前記撮影対象物の画像から、前記撮影対象物の輪郭内の実対象部を判別し、判別した実対象部の画像を切り出す画像切り出し部と、
   前記画像切り出し部が切り出した実対象部の画像から、画像効果を補正するための画像効果補正パラメータを取得する補正用パラメータ取得部と、
   前記補正用パラメータ取得部が取得した画像効果補正用パラメータを用いて、前記画像の画像効果処理を行う画像効果処理部と、を備える、
   ことを特徴とする撮影装置。
2. 前記補正用パラメータ取得部は、前記画像切り出し部が切り出した実対象部の画像データから輝度値と当該輝度値を有する画素の数とを取得して輝度ヒストグラムを生成し、生成した輝度ヒストグラムから前記画像効果補正用パラメータを取得する、
   ことを特徴とする請求項１に記載の撮影装置。
3. 前記補正用パラメータ取得部は、前記画像切り出し部が切り出した実対象部の画像データから色差と当該色差を有する画素の数とを取得して色差ヒストグラムを生成し、生成した色差ヒストグラムから前記画像効果補正用パラメータを取得する、
   ことを特徴とする請求項１又は２に記載の撮影装置。
4. 前記補正用パラメータ取得部は、前記生成した色差ヒストグラムから、前記画像効果補正用パラメータとして画素数が最大となる色差を取得する、
   ことを特徴とする請求項３に記載の撮影装置。
5. 前記画像効果処理部は、画素数が最大となる色差を調整することにより前記画像のカラー調整を行う、
   ことを特徴とする請求項４に記載の撮影装置。
6. 前記補正用パラメータ取得部は、前記画像切り出し部が切り出した実対象部の画像データから、輝度値と当該輝度値を有する画素の数とを取得して輝度ヒストグラムを生成し、色差と当該色差を有する画素の数とを取得して色差ヒストグラムを生成し、生成した輝度ヒストグラムと色差ヒストグラムとから前記画像効果補正用パラメータを取得し、
   前記画像効果処理部は、前記補正用パラメータ取得部が取得した画像補正用パラメータに基づいて白と判別した背景色を有する画素の輝度値と色差とを調整することによって背景を白色化する、
   ことを特徴とする請求項１に記載の撮影装置。
7. 前記補正用パラメータ取得部は、前記切り出した実対象部の画像を複数のブロックに分割し、各ブロック毎に輝度ヒストグラムを生成し、生成した輝度ヒストグラムからブロック毎に前記画像効果補正用パラメータを取得し、
   前記画像効果処理部は、取得した画像効果補正用パラメータを用いてブロック毎に前記実対象部の画像の輝度ムラを補正する、
   ことを特徴とする請求項１に記載の撮影装置。
8. 前記画像効果処理部は、画像効果処理の指示情報を取得し、取得した指示情報に従って画像効果処理を実行する、
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮影装置。
9. 前記撮影対象物の画像データを記憶する記憶部を備えた、
   ことを特徴とする請求項１乃至８のいずれか１項に記載の撮影装置。
10. 前記記憶部は、前記撮影対象物の画像データとして、前記撮影部で撮影することによって得られた画像処理前の画像データを記憶する、
    ことを特徴とする請求項９に記載の撮影装置。
11. 前記記憶部は、前記撮影対象物の画像データとして、前記画像処理部が画像処理を行った画像を記憶する、
    ことを特徴とする請求項９に記載の撮影装置。
12. 前記撮影対象物の画像を表示する表示部を備えた、
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の撮影装置。
13. 前記画像処理部は、前記表示部に前記撮影対象物の画像を、画像処理を施す画像よりも低い解像度のプレビュー画像を表示させる、
    ことを特徴とする請求項１２に記載の撮影装置。
14. 撮影対象物を撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影対象物の画像に対して画像処理を行う撮影装置の画像処理方法であって、
    前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記画像を取得するステップと、
    取得した前記画像から、前記撮影対象物の輪郭内の実対象部を判別し、判別した実対象部の画像を切り出すステップと、
    切り出した前記実対象部の画像から、画像効果を補正するための画像効果補正用パラメータを取得するステップと、
    取得した前記補正用パラメータを用いて、前記画像の画像効果処理を行うステップと、を備えた、
    ことを特徴とする撮影装置の画像処理方法。
15. コンピュータに、
    撮影対象物を撮影することによって得られた前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記撮影対象物の画像を取得する手順、
    取得した前記画像から、前記撮影対象物の輪郭内の実対象部を判別し、判別した実対象部の画像を切り出す手順、
    切り出した前記実対象部の画像から、画像効果を補正するための画像効果補正用パラメータを取得し、取得した前記補正用パラメータを用いて、前記画像の画像効果処理を行う手順、
    を実行させるためのプログラム。