JPWO2014167676A1

JPWO2014167676A1 - 電子機器および画像処理方法

Info

Publication number: JPWO2014167676A1
Application number: JP2015511019A
Authority: JP
Inventors: 山本　晃司; 晃司山本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2013-04-10
Filing date: 2013-04-10
Publication date: 2017-02-16
Anticipated expiration: 2033-04-10
Also published as: JP6092371B2; WO2014167676A1; US20160035075A1

Abstract

実施形態によれば、電子機器は、位置合わせ手段、重み算出手段および合成画像算出手段を具備する。位置合わせ手段は、被写体が撮影された第１画像に、当該第１画像とは異なる位置から前記被写体が撮影された第２画像を位置合わせする。重み算出手段は、前記第１画像内の画素に対応する第１評価値を算出し、前記位置合わせされた第２画像内の画素に対応する第２評価値を算出し、前記第１評価値と前記第２評価値とに基づいて重みを算出する。合成画像算出手段は、前記重みに基づいて、前記第１画像内の画素と前記位置合わせされた第２画像内の画素とを重み付け加算することによって、合成画像を算出する。

Description

本発明の実施形態は、画像を処理する電子機器および該機器に適用される画像処理方法に関する。

近年、カメラ付きのパーソナルコンピュータ、ＰＤＡ、携帯電話、スマートフォン等や、デジタルカメラのような画像を撮影できる様々な電子機器が普及している。

このような電子機器は、人物や風景を撮影するだけでなく、雑誌やノート、掲示板等に記載された内容を撮影するために用いられることもある。撮影によって得られた画像は、例えば、個人の記録として保存することや、複数人で閲覧すること等に利用される。

特開２００５−１３０３２６号公報

ところで、ホワイトボード（whiteboard）のように表面が反射しやすい被写体では、被写体上に、反射による写り込み（グレア：glare）が発生することがある。このような被写体を撮影した画像では、写り込みによって、被写体の情報（例えば、ホワイトボードに書き込まれた文字）が欠落する可能性がある。

本発明は、画像に捉えられた、被写体上の写り込みを軽減できる電子機器および画像処理方法を提供することを目的とする。

図１は、実施形態に係る電子機器の外観を示す斜視図である。図２は、同実施形態の電子機器のシステム構成を示すブロック図である。図３は、同実施形態の電子機器によって実行される画像処理プログラムの機能構成を示すブロック図である。図４は、同実施形態の電子機器によって、複数の画像を用いて、画像上の写り込みを低減する例を説明するための図である。図５は、図４の複数の画像を合成する例を説明するための図である。図６は、同実施形態の電子機器によって実行される反射低減処理の手順の例を示すフローチャートである。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ、またはデジタルカメラのような各種電子機器に内蔵される組み込みシステムとして実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。

また、本体１１には、本体１１の下面（裏面）側から画像を撮影するためのカメラモジュールが設けられている。

図２は、タブレットコンピュータ１０のシステム構成を示す図である。
タブレットコンピュータ１０は、図２に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８、カメラモジュール１０９等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、画像処理プログラム２０２が含まれている。この画像処理プログラム２０２は、例えば、カメラモジュール１０９を用いて撮影される画像に含まれる、被写体上の写り込みを低減する機能、画像に含まれるノイズを低減（除去）する機能、画像を鮮鋭化する機能、等を有する。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂが配置されている。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

カメラモジュール１０９は、例えば、ユーザが、タッチスクリーンディスプレイ１７の画面上に表示されたボタン（グラフィカルオブジェクト）をタッチ（タップ）したことに応じて、画像を撮影する。カメラモジュール１０９は、動画像のような、連続した複数の画像を撮影することもできる。

ところで、カメラモジュール１０９を用いて、ホワイトボードや光沢紙のような反射による写り込み（グレア）が生じやすい被写体を撮影した場合、撮影された画像上に、日光や室内の蛍光灯等に起因する、いわゆる白とび（flared highlights）が写り込むことがある。画像上で白とびが写り込んだ領域では、例えば、ホワイトボードに書き込まれた文字や図形が欠落してしまう可能性がある。

そのため、本実施形態では、異なる位置や角度から被写体を撮影することによって得られた複数の画像、すなわち、画像上の異なる位置に白とび（写り込み）が生じた複数の画像を用いて、写り込みが軽減された画像を生成する。

図３を参照して、本実施形態のコンピュータ１０によって実行される画像処理プログラム２０２の機能構成の例を説明する。画像処理プログラム２０２は、例えば、切り出し範囲検出部３１、対応点検出部３２、位置合わせ部３３、重みマップ生成部３４、合成画像算出部３５、歪み補正部３６を含む。この画像処理プログラム２０２には、例えば、カメラモジュール１０９を用いて撮影された複数の画像が入力される。なお、以下では、図４および図５を併せて参照して、撮影された２枚の画像４１，４２が入力される場合の例を説明するが、画像処理プログラム２０２は、任意の枚数の画像を同様にして処理することができる。

カメラモジュール１０９は、基準画像（第１画像）４１を生成する。カメラモジュール１０９は、例えば、ユーザによって撮影が指示されたことに応じて基準画像４１を生成（撮影）する。基準画像４１には反射による写り込み（すなわち、白とび）４１１が生じている。

切り出し範囲検出部３１は、基準画像４１から、出力画像として取得する範囲に対応する切り出し範囲４１２を検出する。例えば、切り出し範囲検出部３１は、基準画像４１に含まれる複数の画素の画素値（輝度値）を用いて、基準画像４１内のエッジを検出する。そして、切り出し範囲検出部３１は、検出されたエッジによって構成される最大の四角形を切り出し範囲４１２として検出する。これにより、例えば、基準画像４１内でホワイトボード（被写体）が写っている範囲を切り出し範囲４１２として検出することができる。

また、カメラモジュール１０９は、参照画像（第２画像）４２を生成する。カメラモジュール１０９は、基準画像４１と同様に、例えば、ユーザによって撮影が指示されたことに応じて参照画像４２を生成（撮影）する。カメラモジュール１０９は、基準画像４１を撮影した位置とは異なる位置から被写体を撮影することによって、基準画像４１上の写り込み４１１とは異なる位置に写り込み４２１が生じる参照画像４２を生成する。

対応点検出部３２および位置合わせ部３３は、被写体（例えば、ホワイトボード）が撮影された基準画像４１に対して、基準画像４１とは異なる位置から当該被写体が撮影された参照画像４２を位置合わせする。つまり、対応点検出部３２および位置合わせ部３３は、参照画像４２上の画素の位置が、基準画像４１上の対応する画素の位置と一致するように、参照画像４２を位置合わせする。

まず、対応点検出部３２は、生成された基準画像４１と参照画像４２との対応点を検出する。より具体的には、対応点検出部３２は、基準画像４１と参照画像４２の各々から特徴点を検出する。この特徴点は、ＳＩＦＴ（scale-invariant feature transform）やＳＵＲＦ（speeded up robust features）等の、画像上での被写体の回転や変形にロバストな局所特徴量を用いて検出された画像内の角等を示し、一枚の画像から複数検出され得る。対応点検出部３２は、基準画像４１および参照画像４２から検出された特徴点を用いて、基準画像４１上の特徴点に対応する、参照画像４２上の特徴点を検出することによって、基準画像４１と参照画像４２との対応点を検出する。

図４に示す例では、対応点検出部３２は、基準画像４１上の特徴点４１Ａに対応する、参照画像４２上の特徴点４２Ａを検出している。つまり、対応点検出部３２は、基準画像４１上の特徴点４１Ａと参照画像４２上の特徴点４２Ａとを対応点として検出する。同様に、対応点検出部３２は、基準画像４１上の特徴点４１Ｂに対応する、参照画像４２上の特徴点４２Ｂを検出する。つまり、対応点検出部３２は、基準画像４１上の特徴点４１Ｂと参照画像４２上の特徴点４２Ｂとを対応点として検出する。同様にして、対応点検出部３２は、基準画像４１と参照画像４２との多数の対応点を検出する。

位置合わせ部３３は、検出された対応点に基づいて参照画像４２を射影変換する。より具体的には、位置合わせ部３３は、対応点を用いて、参照画像４２上の画素を、対応する基準画像４１上の画素と同じ位置に配置するための射影変換係数を算出する。位置合わせ部３３は、例えば、最小二乗法やＲＡＮＳＡＣ（random sample consensus）を用いて、対応点から射影変換係数を推定する。なお、位置合わせ部３３は、信頼性に基づくフィルタリングによって信頼性が高い対応点を抽出し、抽出された対応点を用いて射影変換係数を推定してもよい。

位置合わせ部３３は、推定された射影変換係数に基づいて、参照画像４２を射影変換した変換画像（射影変換画像）４３を生成する。この射影変換によって、図４に示すように、参照画像４２上の写り込み４２１も、射影変換画像４３上の写り込み４３１に変換されている。なお、射影変換画像４３上の領域４３２は、射影変換画像４３上の画素に対応する、参照画像４２上の画素が存在しなかった領域を示している。

位置合わせ部３３は、例えば、基準画像４１と参照画像４２の両方を、画像上の被写体の切り出し範囲（例えば、ホワイトボードの範囲）に基づいて、歪み補正（矩形補正）することによって、基準画像４１と参照画像４２とを位置合わせすることもできる。しかし、このような位置合わせでは、複数の画像の各々から切り出し範囲を検出し、その切り出し範囲に対応する画像を用いて各画像の歪み補正を行う必要がある。

したがって、上述した基準画像４１から切り出し範囲４１２を検出し、基準画像４１と参照画像４２との対応点を用いて、参照画像４２から射影変換画像４３を生成する構成は、基準画像４１と参照画像４２の各々について、切り出し範囲を検出し、切り出し範囲に基づいて歪み補正する構成よりも処理時間を短縮することができるので、ユーザビリティを向上させることができる。

重みマップ生成部３４および合成画像算出部３５は、基準画像４１と射影変換画像４３（すなわち、射影変換された参照画像４２）とを合成することによって、反射軽減画像４４を生成する。

重みマップ生成部３４は、基準画像４１内の画素に対応する第１評価値を算出し、参照画像４２が変換された射影変換画像４３内の画素に対応する第２評価値を算出する。そして、重みマップ生成部３４は、第１評価値と第２評価値とに基づいて重みを算出する。第１評価値は、基準画像４１内の画素が、基準画像４１と射影変換画像４３との合成（すなわち、合成画像の算出）に適した画素である度合いを示す。第２評価値は、射影変換画像４３内の画素が、基準画像４１と射影変換画像４３との合成に適した画素である度合いを示す。重みマップ生成部３４は、例えば、ある画素に、写り込みに起因する白とびが発生しているか否かを推定し、白とびが発生している可能性が高いほど、その画素の評価値を小さくする。

より具体的には、重みマップ生成部３４は、図５に示すように、基準画像４１を用いて第１白とびマップ（第１評価値）５１を生成し、参照画像４２の射影変換画像４３を用いて第２白とびマップ（第２評価値）５２を生成する。

重みマップ生成部３４は、例えば、基準画像４１内の画素の画素値が第１範囲内である場合に、その画素が白とびであると認識し、また、射影変換画像４３内の画素の画素値が第２範囲内である場合に、その画素が白とびであると認識する。重みマップ生成部３４は、基準画像４１内の画素の画素値が第１範囲内である場合に、その画素の評価値に第１の値（例えば、０）を設定し、基準画像４１内の画素の画素値が第１範囲内でない場合に、その画素の評価値に第１の値よりも大きい第２の値（例えば、１）を設定する。同様に、重みマップ生成部３４は、射影変換画像４３内の画素の画素値が第２範囲内である場合に、その画素の評価値に第１の値（例えば、０）を設定し、射影変換画像４３内の画素の画素値が第２範囲内でない場合に、その画素の評価値に第１の値よりも大きい第２の値（例えば、１）を設定する。なお、第１範囲は、基準画像４１内の複数の画素を解析することによって決定され、第２範囲は、射影変換画像４３（または参照画像４２）内の複数の画素を解析することによって決定される。

なお、重みマップ生成部３４は、例えば、基準画像４１内の画素の画素値（輝度値）が第１しきい値以上である場合に、その画素が白とびであると認識し、また、射影変換画像４３内の画素の画素値が第２しきい値以上である場合に、その画素が白とびであると認識してもよい。重みマップ生成部３４は、基準画像４１内の画素の画素値が第１しきい値以上である場合に、その画素の評価値に第１の値（例えば、０）を設定し、基準画像４１内の画素の画素値が第１しきい値未満である場合に、その画素の評価値に第１の値よりも大きい第２の値（例えば、１）を設定する。同様に、重みマップ生成部３４は、射影変換画像４３内の画素の画素値が第２しきい値以上である場合に、その画素の評価値に第１の値（例えば、０）を設定し、射影変換画像４３内の画素の画素値が第２しきい値未満である場合に、その画素の評価値に第１の値よりも大きい第２の値（例えば、１）を設定する。なお、第１しきい値は、基準画像４１内の複数の画素を解析することによって決定され、第２しきい値は、射影変換画像４３（または参照画像４２）内の複数の画素を解析することによって決定される。

したがって、重みマップ生成部３４は、白とびマップ５１，５２において、例えば、白とびが認識された領域５１１，５２１に小さな評価値（例えば、０）を設定し、それ以外の領域５１２，５２２に大きな評価値（例えば、１）を設定する。

また、重みマップ生成部３４は、被写体がホワイトボードや黒板である場合には、画素の輝度と色が第３範囲内にあるか否かに応じて、ホワイトボードや黒板である領域を推定してもよい。その場合、重みマップ生成部３４は、ホワイトボードや黒板であると推定された領域の評価値を大きくする。なお、第３範囲は、被写体の既知の情報（例えば、ホワイトボードや黒板の既知の特徴量）を利用して決定される。

重みマップ生成部３４は、生成された第１白とびマップ５１と第２白とびマップ５２とを用いて、重みマップ（アルファマップ）５３を生成する。重みマップ５３は、例えば、射影変換画像４３と基準画像４１とをアルファブレンディングするための重みαを含む。重みマップ５３は、一方の画像上の画素に対する重みαを示す。重みαは、例えば、０から１までの値である。その場合、他方の画像上の画素に対する重みは（１−α）である。

重みマップ５３は、基準画像４１上で白とびが検出された位置（例えば、第１白とびマップ５１上で評価値＝０である位置）では、基準画像４１の画素（画素値）に対する重みを小さくし、参照画像４２の射影変換画像４３の画素に対する重みを大きくするように構成される。また、重みマップ５３は、射影変換画像４３上で白とびが検出された位置（例えば、第２白とびマップ５２上で評価値＝０である位置）では、基準画像４１の画素に対する重みを大きくし、射影変換画像４３の画素に対する重みを小さくするように構成される。

つまり、重みマップ５３は、第１白とびマップ５１上の評価値が、第２白とびマップ５２上の対応する評価値よりも大きい場合、基準画像４１の画素（画素値）に対する重みを、射影変換画像４３の画素に対する重みよりも大きくするように構成される。また、重みマップ５３は、第１白とびマップ５１上の評価値が、第２白とびマップ５２上の対応する評価値よりも小さい場合、基準画像４１の画素に対する重みを、射影変換画像４３の画素に対する重みよりも小さくするように構成される。さらに、第１白とびマップ５１上の評価値が、第２白とびマップ５２上の対応する評価値と等しい場合、基準画像４１の画素に対する重みと、射影変換画像４３の画素に対する重みとが等しくなるように構成される。

図５に示す例では、第１白とびマップ５１上の領域５１１に対応する、基準画像４１上の画素から白とび（基準画像４１上の画素の評価値＝０）が検出されている。また、第２白とびマップ５２上の領域５２１に対応する、射影変換画像４３上の画素から白とび（射影変換画像４３上の画素の評価値＝０）が検出されている。

そのため、第１白とびマップ５１上の領域５１１に対応する、重みマップ５３上の重み５３１は、基準画像４１の画素に対する重みが小さく、且つ射影変換画像４３の画素に対する重みが大きくなるように設定される。また、第２白とびマップ５２上の領域５２１に対応する、重みマップ５３上の重み５３２は、基準画像４１の画素に対する重みが大きく、且つ射影変換画像４３の画素に対する重みが小さくなるように設定される。さらに、領域５１１，５２１以外の領域５１２，５２２に対応する、重みマップ５３上の重み５３３は、例えば、基準画像４１上の画素に対する重みと射影変換画像４３上の画素に対する重みとが等しくなるように設定される。

例えば、重みマップ５３が射影変換画像４３上の画素に対する重みαを示すことを想定する。その場合、重みマップ５３では、重み５３１に“１”が設定され、重み５３２に“０”が設定され、重み５３３に“０．５”が設定される。

合成画像算出部３５は、生成された重みマップ５３に基づいて、基準画像４１と参照画像４２の射影変換画像４３とを重み付け加算（アルファブレンディング）することによって、反射軽減画像（合成画像）４４を生成する。合成画像算出部３５は、例えば、重みαで重み付けされた射影変換画像４３内の画素の画素値と、重み（１−α）で重み付けされた基準画像４１内の対応する画素の画素値との和を算出することによって、反射軽減画像４４を算出する。

なお、合成画像算出部３５は、基準画像４１と射影変換画像４３の両方で白とびが発生していない第１領域（例えば、重みマップ５３上の領域５３３に対応する画素）では、基準画像４１上の第１領域と、射影変換画像４３上の第１領域との輝度（輝度の範囲）が同等になるように、各画像４１，４３上の第１領域に含まれる画素の輝度を調整した後、反射軽減画像４４を生成してもよい。また、重みマップ生成部３４は、重みマップ３４上の境界（エッジ）によって生じる、反射軽減画像４４上の境界（不連続）を抑制するために、重みマップ３４をぼかす処理を予め行ってもよい。このような構成により、反射軽減画像４４上での画素値（輝度）の変化をより滑らかにすることができる。

歪み補正部３６は、算出された反射軽減画像４４から、切り出し範囲４１２に対応する画像を切り出す。そして、歪み補正部３６は、切り出された画像に歪み補正（矩形補正）を施すことによって、写り込みが軽減され、且つ矩形に補正された画像４５を取得する。

以上の構成により、画像に捉えられた、被写体上の写り込みを軽減することができる。なお、上述した例では、参照画像４２が１枚である場合について説明したが、参照画像４２は複数であってもよい。その場合、重みマップ生成部３４は、ある画素に対して、複数の参照画像４２に対応する複数の評価値を算出し、それら複数の評価値を用いて当該画素の１つの評価値を算出する。

例として、参照画像４２が３枚であって、画素が白とびである場合に評価値＝０と設定され、画素が白とびでない場合に評価値＝１と設定されることを想定する。その場合、重みマップ生成部３４は、例えば、多数決によって評価値を決定する。つまり、ある画素に対して、３枚の参照画像４２の内の２枚以上が評価値＝０である場合には、３枚の参照画像４２全体の評価値は０に設定される。また、ある画素に対して、３枚の参照画像４２の内の２枚以上が評価値＝１である場合には、３枚の参照画像４２全体の評価値は１に設定される。このような多数決により、外れ値を除くことができるので、白とびだけでなく、画像上のノイズも低減することができる。

さらに、上述した評価値のマップ（白とびマップ）５１，５２、又は重みマップ５３は、縮小された基準画像４１と縮小された射影変換画像４３とに基づいて算出されてもよい。その場合、合成画像算出部３５は、縮小された基準画像４１と縮小された射影変換画像４３とを、これら縮小された画像４１，４３に基づく重みマップ５３を用いて合成（重み付け加算）し、合成された画像に画素を補間することによって、画像を拡大し、反射軽減画像４４を生成する。これにより、処理時間を短縮でき、また、反射軽減画像４４上の境界（不連続）も抑制することができる。

次いで、図６のフローチャートを参照して、タブレットコンピュータ１０によって実行される反射低減処理の手順の例を説明する。

まず、カメラモジュール１０９は、第１画像（基準画像）４１を生成する（ブロックＢ１０１）。カメラモジュール１０９は、例えば、ユーザによって撮影が指示されたことに応じて第１画像４１を生成する。切り出し範囲検出部３１は、第１画像４１から、出力画像として取得する範囲に対応する切り出し範囲４１２を検出する（ブロックＢ１０２）。切り出し範囲検出部３１は、例えば、第１画像４１内でホワイトボード（被写体）が写っている範囲を切り出し範囲４１２として検出することができる。

また、カメラモジュール１０９は、第２画像（参照画像）４２を生成する（ブロックＢ１０３）。カメラモジュール１０９は、第１画像４１と同様に、例えば、ユーザによって撮影が指示されたことに応じて第２画像４２を生成する。なお、カメラモジュール１０９は、ブロックＢ１０２において、第１画像４１から切り出し範囲を検出する処理と並行して、第２画像４２を生成してもよい。これにより、全体の処理時間を短縮することができる。

対応点検出部３２は、生成された第１画像４１と第２画像４２との対応点を検出する（ブロックＢ１０４）。位置合わせ部３３は、検出された対応点に基づいて第２画像４２を射影変換する（ブロックＢ１０５）。

次いで、重みマップ生成部３４は、第１画像４１を用いて第１白とびマップ５１を生成し（ブロックＢ１０６）、第２画像４２の射影変換画像４３を用いて第２白とびマップ５２を生成する（ブロックＢ１０７）。重みマップ生成部３４は、生成された第１白とびマップ５１と第２白とびマップ５２とを用いて、重みマップ（アルファマップ）５３を生成する（ブロックＢ１０８）。重みマップ５３は、例えば、射影変換画像４３と第１画像４１とをアルファブレンディングするための重みαを含む。重みαは、例えば、０から１までの値である。

合成画像算出部３５は、生成された重みマップ５３に基づいて、第１画像４１と第２画像４２の射影変換画像４３とを合成（アルファブレンディング）することによって、反射軽減画像（合成画像）４４を生成する（ブロックＢ１０９）。合成画像算出部３５は、例えば、重みαで重み付けされた射影変換画像４３内の画素の画素値と、重み（１−α）で重み付けされた第１画像４１内の対応する画素の画素値との和を算出することによって、反射軽減画像４４を算出する。

歪み補正部３６は、算出された反射軽減画像４４から、切り出し範囲４１２に対応する画像を切り出す（ブロックＢ１１０）。そして、歪み補正部３６は、切り出された画像に歪み補正（矩形補正）を施すことによって、写り込みが軽減され、且つ矩形に補正された画像４５を取得する（ブロックＢ１１１）。

なお、上述した説明では、主に、被写体がホワイトボードである場合について述べたが、本実施形態は、ホワイトボードと同様に、反射による写り込みが発生するディスプレイの画面や光沢紙等のような様々な被写体に適用することができる。

以上説明したように、本実施形態によれば、画像に捉えられた、被写体上の写り込みを軽減することができる。位置合わせ部３３は、被写体が撮影された基準画像４１に、当該基準画像４１とは異なる位置から被写体が撮影された参照画像４２を位置合わせする。重みマップ生成部３４は、基準画像４１内の複数の画素に対応する第１評価値を算出し、位置合わせされた参照画像４２内の画素に対応する第２評価値を算出し、第１評価値と第２評価値とに基づいて重みを算出する。合成画像算出部は、算出された重みに基づいて、基準画像４１内の画素と位置合わせされた参照画像４２内の画素とを重み付け加算することによって、合成画像を算出する。これにより、異なる位置から撮影された被写体の画像４１，４２を用いて、被写体上の写り込みが軽減された画像を取得することができる。

なお、本実施形態の反射低減処理の手順は全てソフトウェアによって実行することができる。このため、反射低減処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

実施形態によれば、電子機器は、位置合わせ手段、重み算出手段および合成画像算出手段を具備する。位置合わせ手段は、被写体が撮影された第１画像と、当該第１画像とは異なる位置から前記被写体が撮影された第２画像とから対応点を検出し、検出された対応点に基づく変換係数を算出し、前記変換係数を用いて前記第２画像を変換することによって、前記第１画像に前記第２画像を位置合わせする。重み算出手段は、前記第１画像内の画素が、白とびの画素であるか否かを示す第１評価値を算出し、前記位置合わせされた第２画像内の画素が、白とびの画素であるか否かを示す第２評価値を算出し、前記第１評価値と前記第２評価値とに基づいて重みを算出する。合成画像算出手段は、前記重みに基づいて、前記第１画像内の画素と前記位置合わせされた第２画像内の画素とを重み付け加算することによって、合成画像を算出する。

Claims

被写体が撮影された第１画像に、当該第１画像とは異なる位置から前記被写体が撮影された第２画像を位置合わせする位置合わせ手段と、
前記第１画像内の画素に対応する第１評価値を算出し、前記位置合わせされた第２画像内の画素に対応する第２評価値を算出し、前記第１評価値と前記第２評価値とに基づいて重みを算出する重み算出手段と、
前記重みに基づいて、前記第１画像内の画素と前記位置合わせされた第２画像内の画素とを重み付け加算することによって、合成画像を算出する合成画像算出手段とを具備する電子機器。
前記重み算出手段は、前記第１評価値が前記第２評価値よりも大きい場合、前記第１画像内の画素に対する重みを、前記第２画像内の画素に対する重みよりも大きくする請求項１記載の電子機器。
前記位置合わせ手段は、前記第１画像と前記第２画像とから対応点を検出し、検出された対応点に基づく変換係数を算出し、前記変換係数を用いて前記第２画像を変換することによって、前記第１画像に前記第２画像を位置合わせする請求項１記載の電子機器。
前記変換は、射影変換を含む請求項３記載の電子機器。
前記第１評価値は、前記第１画像内の画素が、前記合成画像の算出に適している度合いを示し、
前記第２評価値は、前記第２画像内の画素が、前記合成画像の算出に適している度合いを示し、
前記重み算出手段は、前記第１画像内の画素の第１画素値が第１範囲内である場合、前記第１評価値に第１の値を設定し、当該第１画素値が前記第１範囲内でない場合、前記第１評価値に第１の値よりも大きい第２の値を設定し、前記第２画像内の画素の第２画素値が第２範囲内である場合、前記第２評価値に前記第１の値を設定し、当該第２画素値が前記第２範囲内でない場合、前記第２評価値に前記第２の値を設定する請求項１記載の電子機器。
前記第１評価値は、前記第１画像内の画素が、前記合成画像の算出に適している度合いを示し、
前記第２評価値は、前記第２画像内の画素が、前記合成画像の算出に適している度合いを示し、
前記重み算出手段は、前記第１画像内の画素の第１画素値が第１しきい値以上である場合、前記第１評価値に第１の値を設定し、当該第１画素値が前記第１しきい値未満である場合、前記第１評価値に第１の値よりも大きい第２の値を設定し、前記第２画像内の画素の第２画素値が第２しきい値以上である場合、前記第２評価値に前記第１の値を設定し、当該第２画素値が前記第２しきい値未満である場合、前記第２評価値に前記第２の値を設定する請求項１記載の電子機器。
前記第１評価値は、前記第１画像内の画素が、白とびの画素であるか否かを示し、
前記第２評価値は、前記第２画像内の画素が、白とびの画素であるか否かを示す請求項１記載の電子機器。
前記第１画像内の切り出し範囲を検出する切り出し範囲検出手段と、
前記合成画像から、前記切り出し範囲に対応する画像を切り出し、前記切り出し範囲を矩形に補正する補正手段とをさらに具備する請求項１記載の電子機器。
被写体が撮影された第１画像に、当該第１画像とは異なる位置から前記被写体が撮影された第２画像を位置合わせし、
前記第１画像内の画素に対応する第１評価値を算出し、前記位置合わせされた第２画像内の画素に対応する第２評価値を算出し、前記第１評価値と前記第２評価値とに基づいて重みを算出し、
前記重みに基づいて、前記第１画像内の画素と前記位置合わせされた第２画像内の画素とを重み付け加算することによって、合成画像を算出する画像処理方法。
コンピュータにより実行されるプログラムであって、前記プログラムは、
被写体が撮影された第１画像に、当該第１画像とは異なる位置から前記被写体が撮影された第２画像を位置合わせする手順と、
前記第１画像内の画素に対応する第１評価値を算出し、前記位置合わせされた第２画像内の画素に対応する第２評価値を算出し、前記第１評価値と前記第２評価値とに基づいて重みを算出する手順と、
前記重みに基づいて、前記第１画像内の画素と前記位置合わせされた第２画像内の画素とを重み付け加算することによって、合成画像を算出する手順とを前記コンピュータに実行させるプログラム。