JP4690473B2 - 画像解析装置、画像解析方法、撮像装置、画像解析プログラムおよび記録媒体 - Google Patents

Description

本発明は、撮像対象の撮像画像を解析することにより、撮像対象の位置を判定する画像解析装置、当該画像解析装置を備える撮像装置、および画像解析方法に関するものである。

タッチパネル上の任意の位置を指示するユーザの指またはタッチペン等の指示部材（以下、指示物体と総称する）の画像を撮像し、その画像に対してパターンマッチを行うことにより、指示物体が指示した位置を特定するタッチパネルが実現されている。このようなタッチパネルの一例が特許文献１に開示されている。図９は、特許文献１に記載の液晶表示パネル装置における処理の概要を説明する図である。

上記液晶表示パネル装置では、液晶パネル内にマトリクス状に配置された指検出用光センサの信号を画像処理して、液晶パネルにタッチした指先の位置を特定する。その場合に、上記液晶表示パネル装置は、図９に示すように、液晶パネルに入射する外光の明るさを検出し、外光の明るさが明るい場合（図９（ｂ））は、外光による指の影（図９において符号５６で示すスポット）を検出し、外光の明るさが暗い場合（図９（ａ））は、バックライト光を受けて指から反射する光（図９において符号５５で示すスポット）を検出する。このように、上記液晶表示パネル装置では、外光の明るさに応じて画像処理方法を切り替えている。

特開２００７-１８３７０６号公報（２００７年７月１６日公開）

図１０および図１１は、従来のタッチパネルの問題点を説明するための図である。図１０に示すように、外光の明るさが暗いものの、バックライトの反射光（図１０において符号６０で示すスポット）に比べて強い外光が部分的に入射した場合に、その外光が入射した部分（図１０において符号６１で示すスポット）を指であると誤検出する可能性がある。一般的な照度センサは、特定の領域のみセンシングしており、センシングしていない領域においてスポット的な強い光が入射しても、当該光を検出できない。

また、図１１に示すように、外光が明るい環境で指の影を検出する場合に、ユーザが位置する環境において光源が単一でかつその照度が高い場合、強い平行光が液晶パネルに入射するため、指のタッチ・非タッチの判定が難しい場合（図１１（ｂ））および複数の指を同時に検出するのが難しい場合（図１１（ａ））がある。なお、図１１において、符号６２で示す像は２本の指が重なった影を表し、符号６３で示す像は撮像画面に触れている指の影を表し、符号６４で示す像は撮像画面に触れていない指の影を表している。

また、太陽光のように、あらゆる方向から強い光が液晶パネルに入射する場合、指の像（符号６５で示す像）がほとんど見えなくなり検出が難しい場合（図１１（ｃ））がある。

しかしながら、上記従来の構成では、指示物体を適切に検出できる外光環境であるかどうかの判定が行われておらず、指示物体を適切に検出できない可能性がある場合にも、その可能性があることがユーザに報知されないという問題が生じる。

本発明は、上記の問題点を解決するためになされたもので、その目的は、撮像対象である指示物体を適切に検出できない可能性がある場合に、その可能性があることをユーザに報知することができる画像解析装置および撮像装置を提供することにある。

本発明に係る画像解析装置は、上記の課題を解決するために、撮像画面に接触した撮像対象を撮像した撮像画像を解析することにより、当該撮像画像における、上記撮像対象の像の位置を判定する画像解析装置であって、上記撮像画像を解析した結果に基づいて、上記位置を判定することが困難である旨を報知する報知部を備えることを特徴としている。

本発明に係る画像解析方法は、上記の課題を解決するために、撮像画面に接触した撮像対象を撮像した撮像画像を解析することにより、当該撮像画像における、上記撮像対象の像の位置を判定する画像解析装置における画像解析方法であって、上記撮像画像を解析した結果に基づいて、上記位置を判定することが困難である旨を報知する報知工程を含むことを特徴としている。

上記の構成によれば、上記画像解析装置は、撮像画面に接触した撮像対象を撮像した撮像画像を解析する。撮像対象とは、例えば、ユーザの指またはタッチペンであり、撮像画面上の特定の位置を指し示すものである。画像解析装置自身が撮像画面を備えている必要は必ずしもなく、画像解析装置は撮像画像を取得できればよい。

報知部は、撮像画像を解析した結果に基づいて、撮像画像における撮像対象の像の位置を判定することが困難である旨を報知する。

それゆえ、撮像対象を適切に検出できない可能性がある場合に、その可能性があることをユーザに報知することができる。この報知を受けたユーザは、画像解析装置を使用する場所を変えるか、または、周囲の光環境を変更することにより、撮像対象を適切に検出できる光環境を選択または調整することができる。

上記画像解析装置は、上記撮像画像において所定の画素値の範囲から外れた画素値を有する画素の数を算出する画素数算出手段と、上記画素数算出手段が算出した画素数が所定の画素数を超えているかどうかを判定する画素数判定手段とをさらに備え、上記報知部は、上記画素数が上記所定の画素数を超えていると上記画素数判定手段が判定した場合に、上記位置を判定することが困難である旨を報知することが好ましい。

上記の構成によれば、画素数算出手段は、撮像対象を撮像した撮像画像において、所定の画素値の範囲から外れた画素値を有する画素の数を算出する。例えば、画素数算出手段は、所定の画素値よりも大きい画素値を有する画素の数を算出する。画素数判定手段は、画素数算出手段が算出した画素数が所定の画素数を超えているかどうかを判定する。そして、報知部は、画素数算出手段が算出した画素数が所定の画素数を超えている場合に、撮像画像における撮像対象の像の位置を判定することが困難である旨を報知する。

それゆえ、撮像画像の画素値を解析することにより、撮像対象を適切に検出できるかどうかの判定を行うことができる。

上記撮像画像は、上記撮像対象に対して出射された光が当該撮像対象に反射した光の像を含むものであり、上記画素数算出手段は、上記撮像画像において所定の閾値よりも大きい画素値を有する画素の数を算出し、上記所定の閾値は、上記撮像画像が、上記位置を適切に判定できる光環境において撮像されたと見なすことができる画素の画素値の範囲の上限値であることが好ましい。

撮像対象からの反射光を利用して撮像対象を撮像する場合、撮像対象に光を照射する光源の光強度は通常一定のため、反射光の強度は一定の範囲内に収まる。このような場合に撮像対象からの反射光以外の光強度の高い外光がスポットとして入射すると、撮像対象の像の画素値よりも大きい画素値を有するスポットが撮像画像に形成される。このようなスポットは、撮像対象の像の位置を判定するときに誤認識される可能性が高い。

上記の構成によれば、撮像画像は、撮像対象に対して出射された光が当該撮像対象に反射した光の像を含むものである。すなわち、上記画像解析装置は、撮像対象に照射された光の反射光を利用して撮像対象の像を撮像した撮像画像を解析対象とする。画素数算出手段は、この撮像画像において所定の上限値よりも大きい画素値を有する画素の数を算出する。この所定の上限値は、撮像画像が、撮像対象の像の位置を適切に判定できる光環境において撮像されたと見なすことができる画素の画素値の範囲の上限値である。

したがって、この所定の上限値よりも大きい画素値を有する画素の数が所定の画素数を超えている場合に、撮像画像における撮像対象の像の位置を判定することが困難であると判定できる。

それゆえ、撮像画像における撮像対象の像の位置を判定することが外光の影響により困難である場合に、その旨をユーザに報知できる。

上記撮像画像は、上記撮像画面に入射する外光が上記撮像対象によって遮られることによって生じる影を含むものであり、上記画素数算出手段は、上記撮像画像において第１の閾値よりも小さい画素値を有する画素の数を算出し、上記第１の閾値は、上記撮像画像が、上記位置を適切に判定できる光環境において撮像されたと見なすことができる画素値の範囲の下限値であることが好ましい。

上記の構成によれば、撮像画像は、撮像画面に入射する外光が撮像対象によって遮られることによって生じる影を含むものである。すなわち、上記画像解析装置は、外光を利用して撮像対象の影の像を撮像した撮像画像を解析対象とする。画素数算出手段は、この撮像画像において第１の閾値よりも小さい画素値を有する画素の数を算出する。この第１の閾値は、撮像画像における撮像対象の像の位置を適切に判定できる光環境において撮像画像が撮像されたと見なすことができる画素値の範囲の下限値である。

外光を利用して撮像対象の影の像を撮像する場合、外光が強くなると、撮像画像における撮像対象の影に対応する画素の画素値は小さくなる。すなわち、影が濃くなる。外光が強くなり過ぎると、撮像対象が撮像画面に接触したかどうかの判定が難しくなる。これは、外光が強くなり過ぎると、撮像画面に接触していない撮像対象の影も濃くなることに起因する。

一方、複数の撮像対象の影が重なると、重なった部分の影に対応する画素の画素値は小さくなる。複数の撮像対象の影が重なると、撮像対象の位置を正確に判定することが困難になる。

それゆえ、画素数算出手段が第１の閾値よりも小さい画素値を有する画素の数を算出することにより、外光が強いため、または撮像対象が重なっているために当該撮像対象を適切に検出できない可能性の有無を判定することができる。

上記画素数算出手段は、上記撮像画像において上記第１の閾値よりも小さく第２の閾値よりも大きい画素値を有する画素の数を算出し、上記第２の閾値は、上記撮像画像に含まれる撮像対象の像が１つの場合のみ上記位置を適切に判定できる光環境において当該撮像画像が撮像されたと見なすことができる画素値の範囲の下限値であるであることが好ましい。

上記の構成によれば、第１の閾値よりも小さく第２の閾値よりも大きい画素値を有する画素の数が算出される。第１の閾値とは、撮像対象が複数であっても撮像画像における撮像対象の像の位置を適切に判定できる光環境において撮像画像が撮像されたと見なすことができる画素値の範囲の下限値であり、第２の閾値とは、撮像画像に含まれる撮像対象の像が１つの場合のみ撮像対象の位置を適切に判定できる光環境において当該撮像画像が撮像されたと見なすことができる画素値の範囲の下限値である。

第１の閾値よりも小さく第２の閾値よりも大きい画素値を有する画素が、所定の画素数を超えている場合とは、撮像対象が複数の場合には当該撮像対象の像の位置を適切に判定できないが、撮像対象が１つの場合には当該撮像対象の像の位置を適切に判定できる場合である。

それゆえ、撮像対象が１つの場合のみ撮像対象を適切に検出でき、撮像対象が２つの場合には、その両方を正確に検出できない可能性があることをユーザに報知することができる。その結果、ユーザに撮像対象が１つの入力処理を行うよう促すか、または、光環境を変えることを促すことができる。

上記画素数算出手段は、上記撮像対象の種類に対応した上記閾値を用いて画素の数の算出を行うことが好ましい。

上記閾値（第１および第２の閾値）は、撮像対象によって異なる。例えば、撮像対象が指である場合とタッチペンである場合とでは、撮像画面に接触する部分の面積が異なるため、外光を利用した撮像画像の場合には、タッチペンの閾値は、指の閾値よりも小さい。

それゆえ、上記の構成により、撮像対象の種類に応じて、撮像画像における撮像対象の像の位置を判定できるかどうかをより適切に判定できる。

また、上記画像解析装置を動作させる制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラムおよび当該制御プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。

また、上記画像解析装置を備える撮像装置であって、上記撮像画像を撮像する撮像部を備え、上記画像解析装置は、上記撮像部が撮像した撮像画像を解析する撮像装置も本発明の技術的範囲に含まれる。

本発明に係る画像解析装置は、以上のように、撮像画像を解析した結果に基づいて、撮像対象の像の位置を判定することが困難である旨を報知する報知部を備える構成である。

本発明に係る画像解析方法は、撮像画像を解析した結果に基づいて、撮像対象の像の位置位置を判定することが困難である旨を報知する報知工程を含む構成である。

それゆえ、撮像対象である指示物体を適切に検出できない可能性がある場合に、その可能性があることをユーザに報知することができるという効果を奏する。

本発明の一実施形態に係るタッチ位置検出装置の構成を示すブロック図である。 センサ内蔵ＬＣＤが反射像を撮像する原理を示す模式図である。 反射光認識モードにおける画素数算出部および画素数判定部の処理を説明するための図である。 影認識モードにおける画素数算出部および画素数判定部の行う処理の第１の例を説明するための図である。 影認識モードにおける画素数算出部および画素数判定部の行う処理の第２の例を説明するための図である。 反射光認識モードおよび影認識モードにおける、指およびタッチペンの検出困難状態を同時に判定する場合の、画素数算出部および画素数判定部の処理を説明するための図である。 指の位置が正確に検出できないことを報知するためのメッセージおよびアイコンの一例を示す図である。 タッチ位置検出装置におけるタッチ位置検出処理の流れの一例を示すフローチャートである。 （ａ）および（ｂ）は、従来の液晶表示パネル装置における処理の概要を説明するための図である。 従来のタッチパネルの問題点を説明するための図である。 （ａ）〜（ｃ）は従来のタッチパネルの問題点を説明するための図である。

本発明の実施の一形態について図１〜図８に基づいて説明すれば、以下のとおりである。ここでは、本発明の実施形態のひとつとして、タッチパネル上の任意の位置を指示するユーザの指またはタッチペン等の指示部材（指示物体と総称する）の画像を撮像し、その画像をもとに指示物体が指示した位置（タッチパネル上の接触位置）を検出するタッチ位置検出装置（撮像装置）１について説明する。

タッチ位置検出装置１は、複数の指を認識する多点認識を行うことができる。ユーザが複数の指を用いて多点入力する場合には、複数の指の像が撮像される。

（タッチ位置検出装置１の構成）
図１は、本実施形態のタッチ位置検出装置１の構成を示すブロック図である。図１に示すように、タッチ位置検出装置（画像解析装置、撮像装置）１は、タッチパネル部（撮像部、報知部）１０、主制御部（画像解析装置）９および記憶部４０を備えている。タッチ位置検出装置１は、タッチパネル部１０の撮像画面に接触した指示物体（撮像対象）を、タッチパネル部１０が備える光センサ（撮像素子、撮像装置）１２によって撮像した撮像画像を解析することにより、当該撮像画像における、上記指示物体の像の位置を判定する。

記憶部４０は、主制御部９が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部４０は、ハードディスク、フラッシュメモリなどの不揮発性の記憶装置によって構成される。

また、タッチ位置検出装置１は、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置によって構成される一次記憶部（不図示）を備えている。この一次記憶部は、主制御部９が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。

（タッチパネル部１０の構成）
次に、タッチパネル部１０の構成を説明する。タッチパネル部１０は、撮像素子としての光センサ１２を内蔵した光センサ内蔵ＬＣＤ（液晶パネル／ディスプレイ）１１、およびＡＤ（analog/digital）コンバータ１３を備えている。また、図２に示すように、タッチパネル部１０は、バックライト１５を備えている。

光センサ内蔵ＬＣＤ１１は、光センサ１２を内蔵しているため、表示だけではなく画像の撮像が可能である。それゆえ、光センサ内蔵ＬＣＤ１１は、タッチパネルとしての光センサ内蔵ＬＣＤ１１の表面をタッチする指示物体の像を含む画像（以下、撮像画像と称する）を撮像する撮像画面として機能する。

光センサ内蔵ＬＣＤ１１は、画素を形成するＲ（赤）・Ｇ（緑）・Ｂ（青）のカラーフィルタ１４ｒ・１４ｇ・１４ｂを備えており、光センサ１２は、光センサ内蔵ＬＣＤ１１の各画素に対して１つずつ設けられている。換言すれば、光センサ１２は、光センサ内蔵ＬＣＤ１１のアクティブマトリクス基板上に、マトリクス状に配置されている。ただし、光センサ１２の配置様式および個数は、上述のものに限定されず、適宜変更してもよい。

光センサ１２で取得した信号は、ＡＤコンバータ１３によりデジタル化された後、画像調整部２へ出力される。

図２は、センサ内蔵ＬＣＤ１１が反射像を撮像する原理を示す模式図である。バックライト１５から光５１が出射されると、光センサ１２は、指５０の指腹部５０ａにより反射された光を検知する。これにより、指腹部５０ａの反射像を撮像することができる。

また、タッチパネル部１０は、光センサ１２に入射する外光（指示物体の周囲の光）が指示物体によって遮られることによって生じる影を含む撮像画像を撮像することもできる。反射光を利用して指示物体の像を撮像するモードを反射光認識モードと称し、指示物体の影を撮像するモードを影認識モードと称する。反射光認識モードと影認識モードとの切り替えは、ユーザの指示に従って行ってもよいし、特許文献１に記載されているように、外光強度に応じて切り替えてもよい。

（主制御部９の構成）
次に、主制御部９の構成を説明する。主制御部９は、画像調整部２、画素数算出部（画素数算出手段）３、画素数判定部（画素数判定手段）４、特徴量抽出部５およびタッチ位置判定部６、タッチパネル制御部７、およびアプリケーション実行部８を備えている。

画像調整部２は、タッチパネル部１０で撮像された撮像画像のゲインおよびオフセットを調整するキャリブレーション処理などを行い、調整した撮像画像を画素数算出部３へ出力する。これ以降の説明では、８bit、２５６階調の精度でグレースケールの画像が出力されたものとして説明する。なお、画像調整部２はタッチパネル部１０から撮像画像を取得する取得手段としても機能している。また、画像調整部２は、取得した撮像画像または調整した撮像画像を記憶部４０に格納してもよい。

画素数算出部３は、画像調整部２から出力された撮像画像から、所定の画素値（輝度値）の範囲から外れた画素値を有する画素の数を算出し、算出した画素数（以下、閾値外画素数と称する）を画素数判定部４へ出力する。上記所定の画素値の範囲とは、指示物体の位置を適切に判定できる光環境において撮像画像が撮像されたと見なすことができる画素の画素値の範囲である。画素数算出部３における処理の詳細については後述する。

画素数判定部４は、画素数算出部３で算出された閾値外画素数が所定の画素数を超えているかどうかを判定し、判定結果をタッチパネル制御部７へ出力する。閾値外画素数が所定の画素数を超えている場合には、指示物体の位置を適切に判定できる光環境において撮像画像が撮像されていない可能性が高い。そのため、画素数判定部４は、指示物体の位置を適切に判定できる光環境において撮像画像が撮像されているかどうかを判定するものであると言える。画素数判定部４における処理の詳細については後述する。

タッチパネル制御部７は、タッチパネル部１０を制御するものであり、例えば、タッチパネル部１０の撮像モード（反射光認識モード／影認識モード）を切り替えるとともに、タッチパネル部１０の表示内容を指定する。特に、タッチパネル制御部７は、表示閾値外画素数が所定の画素数を超えている旨を示す情報を画素数判定部４から受け取ると、上記指示物体の位置を判定することが困難である旨を示すメッセージをタッチパネル部１０に表示する。換言すれば、タッチパネル制御部７は、指示物体の位置を適切に判定できる光環境において撮像画像が撮像されていないと画素数判定部４が判定した場合に、その旨を示すメッセージをタッチパネル部１０に表示する。

特徴量抽出部５は、閾値外画素数が所定の画素数を超えていない場合に、画像調整部２によって処理された撮像画像から、ソーベルフィルタなどのエッジ検出処理により指示物体の特徴を示す特徴量（エッジ特徴量）を撮像画像の画素ごとに抽出する。換言すれば、特徴量抽出部５は、指示物体の像（形状）の特徴を示す特徴領域を撮像画像から抽出する。

特徴量抽出部５は、指示物体の特徴量を、例えば、注目する画素の周囲８方向における画素値の勾配（グラデーション）方向を示す８方向のベクトルを含む特徴量として抽出する。この特徴量の抽出方法は、例えば、特開２００８−２５０９４９号公報に記載されている。特徴量抽出部５における特徴量抽出処理は、指示物体の形状（特にエッジ）を検出できるものであればよく、特に限定されない。特徴量抽出部５は、抽出した特徴量と、当該特徴量が抽出された画素（特徴領域）とを互いに対応付けてタッチ位置判定部６へ出力する。

タッチ位置判定部６は、特徴量抽出部５が抽出した特徴量を示す特徴領域に対して、パターンマッチすることによりタッチ位置を特定する。このパターンマッチの手法は、指示物体の像の位置を適切に特定できるものであれば、どのようなものであってもよい。タッチ位置判定部６は、特定したタッチ位置を示す座標をアプリケーション実行部８へ出力する。

アプリケーション実行部８は、タッチ位置判定部６が出力した座標を用いて、当該座標に対応したアプリケーションを実行するか、または、特定のアプリケーションにおいて、当該座標に対応した処理を行う。アプリケーション実行部８において実行されるアプリケーションはどのようなものであってもよい。

（画素数算出部３および画素数判定部４における処理の詳細）
次に、図３〜５を参照しつつ、画素数算出部３および画素数判定部４における処理について詳細に説明する。
（反射光認識モード）
まず、反射光認識モードにおける画素数算出部３の処理について、図３を参照しつつ詳細に説明する。

図３は、反射光認識モードにおける画素数算出部３および画素数判定部４の処理を説明するための図である。図３の（ａ）は、反射光認識モードにおいて正常に位置検出が可能な場合、図３の（ｂ）は、同モードにおいて強い外光が部分的に入射した場合における処理の内容を示している。ここで図３に示すヒストグラムは、撮像画像が有する画素の画素値を大きい順に並べた場合の、画素値と当該画素値を有する画素の個数との関係を示している。

図３の（ａ）に示すように反射光認識モードにおいて指腹部５０ａの反射光が入射したとき、タッチパネル部１０は反射光スポット６０を撮像する。ヒストグラム上のピーク６６は背景部分の画素の画素値を表し、ピーク６７は反射光スポット６０の画素値を表している。このとき、図３の（ｂ）に示すようにバックライトの反射光に比べて強い外光が部分的に入射すると、入射光スポット６１は、ヒストグラム上ではピーク６８のように表される。従来の構成であれば、このピーク６８は、指腹部５０ａの反射光として検出されてしまう。

画素数算出部３は、撮像画像において、図３に示す明るさ閾値（所定の閾値）７１よりも大きい画素値を有する画素の数を算出する。撮像画像の全画素数は一定のため、画素数算出部３は、明るさ閾値７１よりも大きい画素値を有する画素の割合を算出しているとも表現できる。上記明るさ閾値７１は、指腹部５０ａの反射光以外の外光が、指腹部５０ａの反射光として検出されないようにするための、画素の画素値の範囲の上限値である。換言すれば、明るさ閾値７１は、指腹部５０ａの反射光を撮像した画素の画素値が取り得る画素値の範囲の上限値である。明るさ閾値７１よりも大きい画素値を有する画素は、指腹部５０ａの反射光以外の不要な外光を撮像したものと見なすことができる。

画素数判定部４は、明るさ閾値７１よりも大きい画素値を有する画素の数が所定の画素数を超えているかどうかを判定する。上記所定の画素数は、当業者によって適宜設定されればよい。所定の画素数を小さく設定すれば、不要な外光が入射しているかどうかの判定が厳しくなる。入射光スポット６１は、指腹部５０ａの像であると誤認識されない程度の大きさであれば問題ないため、指腹部５０ａの像として認識されないスポットの大きさの上限値を考慮して上記所定の画素数を設定すればよい。

以上の構成により、明るさ閾値７１よりも大きい画素値を有する画素の数が所定の画素数を超えている場合に、撮像画像における撮像対象の像の位置を判定することが困難であると判定できる。

なお、画素数算出部３は、図３に示すようなヒストグラムを作成してもよいし、撮像画像に含まれる各画素の画素値を明るさ閾値７１と比較し、明るさ閾値７１よりも大きい画素値を有する画素の数をカウントしてもよい。
（影認識モード）
（第１の例）
次に、影認識モードにおける画素数算出部３および画素数判定部４の処理の第１の例について図４を参照しつつ詳細に説明する。

図４は、影認識モードにおける画素数算出部３および画素数判定部４の行う処理の第１の例を説明するための図である。図４の（ａ）は、影認識モードにおいて正常に検出が可能な場合、図４の（ｂ）は、２本の指５０を区別して検出不可能な場合、図４の（ｃ）は、指５０がタッチパネル部１０に触れているか否かの判別ができない場合、図４の（ｄ）は、多方向から強い光が入射して指５０の影がほぼ消失してしまう場合を示している。ヒストグラム上のピーク６６は背景部分の画素値（外光を撮像した画素の画素値）を、ピーク６７は指５０の影の画素値を表している。

図４の（ｃ）に示すように、外光を利用して指５０の影の像を撮像する場合、外光が強くなると、撮像画像における指５０の影に対応する画素の画素値は小さくなる。すなわち、影が濃くなる。外光が強くなり過ぎると、指５０がタッチパネル部１０に接触したかどうかの判定が難しくなる。これは、外光が強くなり過ぎると、タッチパネル部１０に接触していない指５０の影（図４の（ｃ）の右側の像）も濃くなることに起因する。

一方、図４（ｂ）に示すように、複数の指５０の影が重なると、指５０の位置を正確に判定することが困難になる。光源が１つであり、比較的強い光が出射されている場合に、複数の指５０の影が重なることが多い。複数の指５０の影が重なると、重なった部分の影に対応する画素の画素値は、１本の指の場合よりも小さくなる傾向にある。

このような撮像画像において図４に示す明るさ閾値（第１の閾値）７３よりも小さい画素値を有する画素の数を算出する。この明るさ閾値７３は、指５０がタッチパネル部１０に接触したかどうかの判定が可能で、かつ複数の指５０の影が重なった場合でも、指５０の位置を正確に判定することが可能な光環境において、撮像画像が撮像されたと見なすことができる画素値の範囲の下限値である。

画素数判定部４は、明るさ閾値７３よりも小さい画素値を有する画素の数が所定の画素数を超えているかどうかを判定する。そして、画素数判定部４は、その判定結果をタッチパネル制御部７へ出力する。上記所定の画素数は、当業者によって適宜設定されればよく、指腹部５０ａの像の標準的な大きさを考慮して設定すればよい。

以上の構成により、明るさ閾値７３よりも小さい画素値を有する指影の像の有無を判定することができ、外光が強いため、または指が重なっているために当該指の位置を適切に検出できない可能性の有無を判定することができる。

また多方向から強い光が入射すると、図４（ｄ）に示すように指影がほぼ消失してしまう。これは、多方向から強い光が入射すると、実際にタッチしても、タッチパネル部１０のガラス層において横から入射した光を光センサ１２が撮像し、影が写らないからである。ヒストグラム上のピーク６８、６９は、それぞれ入射光、指腹部５０ａの影の画素値を表している。

画素数算出部３は、撮像画像において、外光強度の明るさ閾値７２よりも大きい画素値を有する画素の数を算出する。この明るさ閾値７２は、外光によって指影が消失してしまわない場合の、画素の画素値の範囲の上限値である。

したがって、この所定の閾値７２よりも大きい画素値を有する画素の数が所定の画素数を超えている場合に、外光によって指５０の影が消失してしまうと判定できる。

画素数判定部４は、明るさ閾値７２よりも大きい画素値を有する画素の数が所定の画素数を超えているかどうかを判定する。上記所定の画素数は、当業者によって適宜設定されればよく、指影が消失し得る外光の量および強度を考慮して設定されればよい。

本例の場合には、画素数判定部４は、明るさ閾値７３よりも小さい画素値を有する画素の数が所定の画素数を超えているかどうか、および、明るさ閾値７２よりも大きい画素値を有する画素の数が所定の画素数を超えているかどうかを判定し、いずれか一方（または両方）の判定結果がＹＥＳの場合に、指示物体の位置を判定することが困難である旨を示すメッセージを表示することを命じる表示命令をタッチパネル制御部７へ出力すればよい。この表示命令に、表示すべきメッセージの種類を含めてもよい。タッチパネル制御部７は、上記表示命令に従って、メッセージをタッチパネル部１０に表示する。
（第２の例）
次に、影認識モードにおける画素数算出部３および画素数判定部４の処理の第２の例について図５を参照しつつ詳細に説明する。

図５は、影認識モードにおける画素数算出部３および画素数判定部４の行う処理の第２の例を説明するための図である。図５の（ａ）は、影認識モードにおいて正常に検出が可能な場合、図５の（ｂ）は、指５０が１本であれば検出が可能であるが２本の指５０を区別して検出するのは不可能な場合、図５の（ｃ）は、指５０がタッチパネル部１０に触れているか否かの判別ができない場合を示している。ヒストグラム上のピーク６６は背景部分の画素値（外光を撮像した画素の画素値）を、ピーク６７は光センサ内蔵ＬＣＤ１１の画面に触れた指５０の影の画素値を表している。また、ピーク６８は光センサ内蔵ＬＣＤ１１の画面に触れていない指５０の影の画素値を表している。

図５の（ｃ）に示すように、外光が強くなると、撮像画像における指５０の影に対応する画素の画素値は小さくなる。すなわち、影が濃くなる。外光が強くなり過ぎると、指５０がタッチパネル部１０に接触したかどうかの判定が難しくなる。これは、外光が強くなり過ぎると、タッチパネル部１０に接触していない指５０の影も濃くなることに起因する。

一方、図５の（ｂ）に示すように、（ｃ）の場合よりは弱いが比較的強い光が出射されている場合、指５０が１本のときは検出が可能であるが、指５０が複数で影が重なると、指５０の位置を正確に判定することが困難になる。

このような撮像画像において、画素数算出部３は、図５に示す明るさ閾値（第１の閾値）７４および明るさ閾値（第２の閾値）７５という複数の閾値を用いて、これらの閾値によって規定される複数の画素値の範囲に含まれる画素値を有する画素の数を算出する。

明るさ閾値７４とは、指５０が複数であっても撮像画像における指５０の像の位置を適切に判定できる光環境において指５０が撮像されたと見なすことができる画素値の範囲の下限値であり、明るさ閾値７５とは、撮像画像に含まれる指５０の像が１つの場合のみ指５０の位置を適切に判定できる光環境において当該撮像画像が撮像されたと見なすことができる画素値の範囲の下限値である。

明るさ閾値７４よりも小さく明るさ閾値７５よりも大きい画素値を有する画素が、所定の画素数を超えている場合とは、指５０が複数の場合には指５０の像の位置を適切に判定できないが、指５０が１つの場合には指５０の像の位置を適切に判定できる場合である。

画素数算出部３は、０以上明るさ閾値７５以下の画素値を有する画素の数（第１範囲画素数）、および明るさ閾値７５よりも大きく明るさ閾値７４よりも小さい画素値を有する画素の数（第２範囲画素数）をそれぞれ算出する。

画素数判定部４は、第１範囲画素数および第２範囲画素数が所定の画素数を超えているかどうかをそれぞれ判定する。そして、画素数判定部４は、その判定結果をタッチパネル制御部７へ出力する。上記所定の画素数として、第１範囲画素数に対応する画素数と、第２範囲画素数に対応する画素数を別々に設けてもよいし、共通の画素数を設けてもよい。上記所定の画素数は、当業者によって適宜設定されればよく、指腹部５０ａの像の標準的な大きさを考慮して設定すればよい。

以上の構成により、明るさ閾値７４よりも小さく明るさ閾値７５よりも大きい画素値を有する指影の像の有無、および明るさ閾値７５以下の画素値を有する指影の像の有無を判定することができる。その結果、指５０が１つの場合のみ指５０を適切に検出でき、指５０が２つの場合には、その両方を正確に検出できない可能性の有無を判定することができる。

なお本例は、前記第１の例と組み合わせて実施されてもよい。例えば、明るさ閾値７２を第２の例に適用してもよい。この場合には、閾値によって規定される画素値の範囲は４つになる。また、画素数判定部４は、表示命令をタッチパネル制御部７へ出力してもよい。
（指およびタッチペンの検出困難状態を同時に判定する例）
上述の説明では、撮像対象（指示物体）が指であるという前提で説明しており、上記明るさ閾値は指の位置を判定するためのものである。ここでは、撮像対象が指であってもタッチペンであっても適用できる明るさ閾値を用いる例について説明する。なお、タッチペンとは、ペン先にバックライト光を反射するような部材を設けたペンである。タッチペンの触れた位置の検出は、ペン先でバックライトを反射した光を撮像することによって行う。

図６は、反射光認識モードおよび影認識モードにおける、指５０およびタッチペンの検出困難状態を同時に判定する場合の、画素数算出部３および画素数判定部４の処理を説明するための図である。図６の（ａ）は、外光が暗いときにタッチペンでタッチパネル部１０に触れた状態、図６の（ｂ）は、外光が明るいとき、タッチパネル部１０に指で触れた状態、図６の（ｃ）は、外光が明るいときにタッチペンでタッチパネル部１０に触れた状態を表し、ヒストグラム上のピーク６６は背景部分の画素値（外光を撮像した画素の画素値）を、ピーク６７は指５０の影の画素値、ピーク８１はタッチペンが光センサ内蔵ＬＣＤ１１の画面に触れている部分の画素値を表している。

タッチペンは、図６の（ａ）のように、外光が暗いときは検出可能であるが、図６の（ｃ）に示すように外光が明るいとき、ペン先でバックライトを反射した光が外光と判別できず、検出不可能になる。指は、図６の（ｂ）のように、同じ外光環境においても判定可能である。このように、外光環境条件が同じであっても、撮像対象によって、その検出の可否は異なるので、指およびタッチペンの位置検出の困難性を区別して判定できる明るさ閾値を設定する。

画素数算出部３は、このような撮像画像において図６に示す指用明るさ閾値７６よりも大きい画素値を有する画素の数、およびペン用明るさ閾値７７より大きい画素値を有する画素の数をそれぞれ算出する。この指用明るさ閾値７６は、指５０がタッチパネル部１０に接触したかどうかの判定が可能であると見なすことができる画素値の範囲の上限値であり、ペン用明るさ閾値７７は、タッチペンがタッチパネル部１０に接触したかどうかの判定が可能と見なすことができる画素値の範囲の上限値である。

画素数判定部４は、指用明るさ閾値７６よりも大きい画素値を有する画素の数、およびペン用明るさ閾値７７よりも大きい画素値を有する画素の数がそれぞれ所定の画素数を超えているかどうかを判定する。そして、画素数判定部４は、その判定結果をタッチパネル制御部７へ出力する。具体的には、画素数判定部４は、ペン明るさ閾値７７よりも大きい画素値を有する画素の数が所定の画素数を超えているかどうか（第１判定）、指用明るさ閾値７６よりも大きい画素値を有する画素の数が所定の画素数を超えているかどうか（第２判定）を判定する。そして、画素数判定部４は、第１および第２判定がＹＥＳの場合、ペンも指も検出困難であるという判定結果を出力し、第１判定がＹＥＳであり第２判定がＮＯの場合、ペンは検出困難であるが指は検出可能であるという判定結果を出力し、第１および第２判定がＮＯの場合、ペンも指も検出可能であるという判定結果を出力する。なお、上述したように、画素数判定部４は、判定結果に基づく表示命令をタッチパネル制御部７に出力してもよい。

上記所定の画素数として、指用明るさ閾値７６に対応する画素数と、ペン用明るさ閾値７７に対応する画素数を別々に設けてもよいし、共通の画素数を設けてもよい。

上記所定の画素数は、当業者によって適宜設定されればよく、指腹部５０ａおよびタッチペンの像の標準的な大きさを考慮して設定すればよい。

以上のように、画素数算出部３は、撮像対象の種類に対応した明るさ閾値を用いて画素数を算出する。それゆえ、外光強度に基づいて指５０およびタッチペンの像の検出の可否を同時に判定することができる。

なお、ここでは指５０およびタッチペンの判定を同時に行う構成を示しているが、これらのうちのどちらを使って入力するかを、スイッチなどを用いてユーザが切り替えることができる場合には、指用明るさ閾値７６またはペン用明るさ閾値７７の一方のみを用いて判定を行ってもよい。

（メッセージの表示例）
次に、メッセージの表示例を、図７を参照しつつ説明する。図７は、指の位置が正確に検出できないことを報知するためのメッセージおよびアイコンの一例を示す図である。

タッチパネル制御部７は、指示物体の位置を適切に判定できる光環境において撮像画像が撮像されていないと画素数判定部４が判定した場合に、その旨を示すメッセージまたはアイコンをタッチパネル部１０に表示する。そのメッセージは、例えば、図７（ａ）に示すように、「指が検出できない環境です。場所を移動して下さい。」というものである。

このようなメッセージの他に、「指が検出できない環境です。不要な外光が入らない環境へ移動して下さい。」、「指が検出できない環境です。日陰など、直射光を避ける場所へ移動して下さい。」、「指が検出できない環境です。強い光を避けて使用して下さい。」というように、指示物体の位置が正確に検出できない原因をユーザに報知するメッセージを表示してもよい。

また、上述の第２の例の場合には、指が１本のときは指の位置を正確に判定できるが、指が複数の場合には、指の位置を正確に判定することができない旨のメッセージ、指が１本であっても指の位置を正確に判定できない旨のメッセージを表示してもよい。すなわち、その位置を正確に判定できる指の数をユーザに報知してもよい。

また、図７（ｂ）に示すように指を検出できない旨を表すアイコンを表示してもよい。さらに、音声またはアラーム音によって、指の位置が正確に検出できない旨を報知してもよい。

上記メッセージおよびアイコンの画像は、予め記憶部４０に格納されており、タッチパネル制御部７は、記憶部４０から表示すべきメッセージまたはアイコンの画像を取得すればよい。

（タッチ位置検出装置１における処理の流れ）
次に、図８を参照しつつタッチ位置検出装置１における処理の流れの一例について説明する。図８は、タッチ位置検出装置１におけるタッチ位置検出処理の流れの一例を示すフローチャートである。

まず、光センサ内蔵ＬＣＤ１１の光センサ１２によって指５０の撮像画像が撮像される。光センサ１２が取得した撮像画像は、ＡＤコンバータ１３を介して、画像調整部２へ出力される（Ｓ１）。

画像調整部２は、撮像画像を受け取ると（取得工程）、当該撮像画像のゲインおよびオフセットを調整するキャリブレーション処理などを行い、調整した撮像画像を画素数算出部３へ出力するとともに、記憶部４０へ格納する（Ｓ２）。

画素数算出部３は、撮像画像を受け取ると、当該撮像画像から上述したように画素数を算出し（画素数算出工程）、算出した画素数を画素数判定部４へ出力する（Ｓ３）。

画素数判定部４は、画素数算出部３で算出された画素数が所定の画素数（閾値）以内であるかどうか判定し（Ｓ４）、画素数以内であれば（Ｓ５にてＹＥＳ）、特徴量抽出部５へ特徴量の抽出を命じる特徴量抽出命令を出力する。

特徴量抽出部５は、画素数判定部４から特徴量抽出命令を受け取ると、記憶部４０から調整された撮像画像を受け取り、エッジ検出処理により指示物体の特徴を示す特徴量（エッジ特徴量）を撮像画像の画素ごとに抽出し、抽出した特徴量および当該特徴量を示す画素（特徴領域）の位置情報（画素の座標）をタッチ位置判定部６へ出力する（Ｓ６）。

タッチ位置判定部６は、特徴量および特徴領域の位置情報を受け取ると、当該特徴領域に対してパターンマッチすることによりタッチ位置を算出する。タッチ位置判定部６は、算出したタッチ位置を示す座標をアプリケーション実行部８へ出力する（Ｓ７）。

アプリケーション実行部８は、タッチ位置判定部６から受け取ったタッチ位置に基づき、アプリケーションを実行する（Ｓ８）。

一方、画素数算出部３で算出された画素数が所定の画素数を超えている場合（Ｓ５にてＮＯ）、画素数判定部４は、その判定結果をタッチパネル制御部７へ出力する。

タッチパネル制御部７は、画素数判定部４から判定結果を受け取ると、その判定結果に応じたメッセージをタッチパネル部に表示させる（Ｓ９）。

なお、画素数算出部３で算出された画素数が所定の画素数を超えている場合でも、上記メッセージを表示した上で、その時点で取得された撮像画像を用いて指示物体の像の位置を算出してもよい。

（変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

例えば、画像調整部２、画素数算出部３、画素数判定部４、特徴量抽出部５、タッチ位置判定部６およびタッチパネル制御部７を含む装置を画像解析装置として実現してもよい。

また、上述したタッチ位置検出装置１の各ブロック、特に主制御部９は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、タッチ位置検出装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるタッチ位置検出装置１の制御プログラム（画像解析プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記タッチ位置検出装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、タッチ位置検出装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、撮像対象の位置を正確に検出することが困難である場合に、その旨をユーザに報知することができるため、様々な光環境下で使用される、タッチパネルを有する位置検出装置、入力装置等に適用できる。

１ タッチ位置検出装置（画像解析装置、撮像装置）
３ 画素数算出部（画素数算出手段）
４ 画素数判定部（画素数判定手段）
９ 主制御部（画像解析装置）
１０ タッチパネル部（撮像部）
１１ センサ内蔵ＬＣＤ（撮像画面、報知部）
１２ 光センサ
５０ 指（撮像対象）

Claims (10)

1. 撮像画面に接触した撮像対象を撮像した撮像画像を解析することにより、当該撮像画像における、上記撮像対象の像の位置を判定する画像解析装置であって、
   上記撮像画像を解析した結果に基づいて、上記位置を判定することが困難である旨を報知する報知部を備えることを特徴とする画像解析装置。
2. 上記撮像画像において所定の画素値の範囲から外れた画素値を有する画素の数を算出する画素数算出手段と、
   上記画素数算出手段が算出した画素数が所定の画素数を超えているかどうかを判定する画素数判定手段とをさらに備え、
   上記報知部は、上記画素数が上記所定の画素数を超えていると上記画素数判定手段が判定した場合に、上記位置を判定することが困難である旨を報知することを特徴とする請求項１に記載の画像解析装置。
3. 上記撮像画像は、上記撮像対象に対して出射された光が当該撮像対象に反射した光の像を含むものであり、
   上記画素数算出手段は、上記撮像画像において所定の閾値よりも大きい画素値を有する画素の数を算出し、
   上記所定の閾値は、上記撮像画像が、上記位置を適切に判定できる光環境において撮像されたと見なすことができる画素の画素値の範囲の上限値であることを特徴とする請求項１または２に記載の画像解析装置。
4. 上記撮像画像は、上記撮像画面に入射する外光が上記撮像対象によって遮られることによって生じる影を含むものであり、
   上記画素数算出手段は、上記撮像画像において第１の閾値よりも小さい画素値を有する画素の数を算出し、
   上記第１の閾値は、上記撮像画像が、上記位置を適切に判定できる光環境において撮像されたと見なすことができる画素値の範囲の下限値であることを特徴とする請求項１または２に記載の画像解析装置。
5. 上記画素数算出手段は、上記撮像画像において上記第１の閾値よりも小さく第２の閾値よりも大きい画素値を有する画素の数を算出し、
   上記第２の閾値は、上記撮像画像に含まれる撮像対象の像が１つの場合のみ上記位置を適切に判定できる光環境において当該撮像画像が撮像されたと見なすことができる画素値の範囲の下限値であることを特徴とする請求項４に記載の画像解析装置。
6. 上記画素数算出手段は、上記撮像対象の種類に対応した上記閾値を用いて画素の数の算出を行うことを特徴とする請求項３〜５のいずれか１項に記載の画像解析装置。
7. 請求項２〜６のいずれか１項に記載の画像解析装置を動作させるための画像解析プログラムであって、コンピュータを上記各手段として機能させるための画像解析プログラム。
8. 請求項７に記載の画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体。
9. 撮像画面に接触した撮像対象を撮像した撮像画像を解析することにより、当該撮像画像における、上記撮像対象の像の位置を判定する画像解析装置における画像解析方法であって、
   上記撮像画像を解析した結果に基づいて、上記位置を判定することが困難である旨を報知する報知工程を含むことを特徴とする画像解析方法。
10. 請求項１〜６のいずれか１項に記載の画像解析装置を備える撮像装置であって、
    上記撮像画像を撮像する撮像部を備え、
    上記画像解析装置は、上記撮像部が撮像した撮像画像を解析することを特徴とする撮像装置。

Images