JP6714131B2 - プログラム及び情報処理装置 - Google Patents

Description

本発明の一態様は、プログラムまたは情報処理装置に関する。

なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の
一態様は、物、方法、または、製造方法に関する。または、本発明の一態様は、マシン、
プロセス、マニュファクチャ、または組成物（コンポジション・オブ・マター）に関する
。特に、本発明の一態様は、例えば、半導体装置、記憶装置、プロセッサ、表示装置、発
光装置、入力装置、入出力装置、検知装置、照明装置、蓄電装置、それらの製造方法、ま
たは、それらの駆動方法に関する。

モバイル電子機器の急速な発展において、タッチパネル等による情報の入力技術が重要な
役割を果たしている。

特に、光検出部をタッチパネルとして機能させる光学式タッチパネルが注目を集めている
。例えば、光検出部および表示部が互いに重なる領域に設けられた半導体装置では、光検
出部が生成したデータ信号に基づいて、表示部の表示状態を制御することができる。例え
ば、指で表示部をタッチした場合、光検出部が生成したデータ信号に基づいて、指の位置
を検出することで、光検出部をタッチパネルとして機能させることができる。

非特許文献１には、光学式タッチパネルにおいて、タッチ位置を検出する情報処理フロー
の例が記載されている。

光検出部には、環境光（光検出部の置かれる環境における光）も入射する。その場合、環
境光が、光検出部が生成したデータ信号に影響を与え、タッチ位置の検出が難しくなって
しまう場合がある。

特許文献１には、半導体装置が備えるライトユニットの状態を点灯状態及び消灯状態に切
り替え、点灯状態及び消灯状態のそれぞれの期間において、光検出部によるデータ生成を
行い、生成した２つのデータ信号の差分をとったデータ信号を生成することにより、タッ
チパネルにおける環境光の影響の抑制する方法が記載されている。

特開２０１２−８５４１号公報

Ａｄｉ Ａｂｉｌｅａｈ ａｎｄ Ｐａｔｒｉｃｋ Ｇｒｅｅｎ， "Ｏｐｔｉｃａｌ Ｓｅｎｓｏｒｓ Ｅｍｂｅｄｄｅｄ ｗｉｔｈｉｎ ＡＭＬＣＤ Ｐａｎｅｌ： Ｄｅｓｉｇｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，" ＡＣＭ ＳＩＧＧＲＡＰＨ ２００７

光学式タッチパネルは、上記のように環境光の影響を受けやすいだけでなく、表示する画
像の影響も受ける。従って、様々な環境光において、かつ、様々な画像の表示中に、より
安定してタッチ位置を検出することができるプログラム、あるいは、当該プログラムを備
えた情報処理装置が求められている。

本発明の一形態は、以下の少なくとも１つを課題とする。より安定して入力情報を抽出で
きるプログラムを提供すること、より高い精度で入力情報を抽出できるプログラムを提供
すること、より利便性に優れた情報処理装置を提供すること、または、新規な情報処理装
置を提供すること。

これらの課題の記載は、他の課題の存在を妨げるものではない。本発明の一態様は、これ
らの課題の全てを解決する必要はないものとする。これら以外の課題は、明細書、図面、
請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記
載から、これら以外の課題を抽出することが可能である。

（１）本発明の一態様は、第１乃至第４のステップを備え、第１のステップは、ライトユ
ニットが点灯状態における第１のセンサイメージと、ライトユニットが消灯状態における
第２のセンサイメージと、を取得するステップを有し、第２のステップは、第１の校正用
イメージを用いて第１のセンサイメージを校正することで、第３のイメージを計算するス
テップと、第２の校正用イメージを用いて第２のセンサイメージを校正することで、第４
のイメージを計算するステップと、を有し、第３のステップは、第３のイメージと第４の
イメージを用いて、第５乃至第７のイメージを計算するステップと、照度および表示画像
に従って第５乃至第７のイメージの加重平均をとることで、第８のイメージを計算するス
テップと、を有し、第４のステップは、第８のイメージを用いて、タッチデータを計算す
るステップを有するプログラムである。

（２）本発明の一態様は、第１乃至第４のステップを備え、第１のステップは、ライトユ
ニットが点灯状態における第１のセンサイメージと、ライトユニットが消灯状態における
第２のセンサイメージと、を取得するステップを有し、第２のステップは、第１の校正用
イメージを用いて第１のセンサイメージを校正することで第３のイメージを計算するステ
ップと、第２の校正用イメージを用いて第２のセンサイメージを校正することで第４のイ
メージを計算するステップと、を有し、第３のステップは、第３のイメージと第４のイメ
ージを用いて、第５乃至第７のイメージを計算するステップと、照度に従って前記第６お
よび第７のイメージの加重平均をとることで、第８のイメージを計算するステップと、表
示画像を取得するステップと、表示画像をグレイスケールに変換することで、第９のイメ
ージを計算するステップと、第９のイメージに従って第５および第８のイメージの加重平
均をとることで、第１０のイメージを計算するステップと、を有し、第４のステップは、
第１０のイメージを用いて、タッチデータを計算するステップを有するプログラムである
。

（３）本発明の一態様は、第１乃至第４のステップを備え、第１のステップは、ライトユ
ニットが点灯状態における第１のセンサイメージと、ライトユニットが消灯状態における
第２のセンサイメージと、を取得するステップを有し、第２のステップは、第１の校正用
イメージを用いて第１のセンサイメージを校正することで第３のイメージを計算するステ
ップと、第２の校正用イメージを用いて第２のセンサイメージを校正することで第４のイ
メージを計算するステップと、を有し、第３のステップは、第３および第４のイメージの
差分を規格化することで、第５のイメージを計算するステップと、第３のイメージを規格
化することで、第６のイメージを計算するステップと、第４のイメージを規格化すること
で、第７のイメージを計算するステップと、照度に従って第６および第７のイメージの加
重平均をとることで、第８のイメージを計算するステップと、表示画像を取得するステッ
プと、表示画像をグレイスケールに変換することで、第９のイメージを計算するステップ
と、第９のイメージに従って第５および第８のイメージの加重平均をとることで、第１０
のイメージを計算するステップと、を有し、第４のステップは、第１０のイメージを用い
て、タッチデータを計算するステップを有するプログラムである。

（４）本発明の一態様は、第１乃至第４のステップを備え、第１のステップは、ライトユ
ニットが点灯状態における第１のセンサイメージと、ライトユニットが消灯状態における
第２のセンサイメージと、を取得するステップを有し、第２のステップは、第１の校正用
イメージを用いて第１のセンサイメージを校正することで第３のイメージを計算するステ
ップと、第２の校正用イメージを用いて第２のセンサイメージを校正することで第４のイ
メージを計算するステップと、を有し、第３のステップは、第３および第４のイメージの
差分を規格化することで、第５のイメージを計算するステップと、第３のイメージを規格
化することで、第６のイメージを計算するステップと、
第４のイメージを規格化することで、第７のイメージを計算するステップと、照度がしき
い値となる照度より小さい場合には、第６および第７のイメージの重みはそれぞれ１およ
び０であり、それ以外の場合には、第６および第７のイメージの重みはそれぞれ０および
１であるとして、第６および第７のイメージの加重平均をとることで、第８のイメージを
計算するステップと、
表示画像を取得するステップと、表示画像をグレイスケールに変換することで、第９のイ
メージを計算するステップと、第９のイメージの値に従って、白表示部では第５および第
８のイメージの重みはそれぞれ１および０であり、黒表示部では第５および第８のイメー
ジの重みはそれぞれ０および１となるように、加重平均をとることで、第１０のイメージ
を計算するステップと、を有し、前記第４のステップは、第１０のイメージを用いて、タ
ッチデータを計算するステップを有するプログラムである。

（５）本発明の一態様は、第１乃至第３のステップを備え、第１のステップは、ライトユ
ニットが消灯状態におけるセンサイメージを取得するステップを有し、第２のステップは
、センサイメージから校正用イメージを差し引くことで第１のイメージを計算するステッ
プを有し、第３のステップは、第１のイメージのスムージングを行うことで、第２のイメ
ージを計算するステップと、第２のイメージのうち最も明るい要素を探すステップと、最
も明るい要素の値を用いて第１および第２の照度の見積もり値を計算するステップと、表
示画像を取得するステップと、表示画像をグレイスケールに変換することで、第３のイメ
ージを計算するステップと、最も明るい要素の座標と第３のイメージに従って、第１およ
び第２の照度の見積もり値の加重平均をとることで、第３の照度の見積もり値を計算する
ステップと、を有するプログラムである。

本発明の一態様は、（１）乃至（４）の何れか一の態様に係る第１のプログラムと、（５
）に記載の第２のプログラムと、を有し、第１のプログラムは、第２のプログラムで計算
される照度の見積もり値を用いるプログラムである。

（６）本発明の一態様は、第５乃至第７のステップを備え、第５のステップは、ライトユ
ニットが消灯状態における第３のセンサイメージを取得するステップを有し、第６のステ
ップは、第３のセンサイメージから第３の校正用イメージを差し引くことで第９のイメー
ジを計算するステップを有し、第７のステップは、第９のイメージのスムージングを行う
ことで、第１０のイメージを計算するステップと、第１０のイメージのうち最も明るい要
素を探すステップと、最も明るい要素の値を用いて第１および第２の照度の見積もり値を
計算するステップと、表示画像をグレイスケールに変換することで、第１１のイメージを
計算するステップと、最も明るい要素の座標と第１１のイメージに従って、第１および第
２の照度の見積もり値の加重平均をとることで、第３の照度の見積もり値を計算するステ
ップと、を有し、照度として第３の照度の見積もり値を用いる（１）に記載のプログラム
である。

（７）本発明の一態様は、第５乃至第７のステップを備え、第５のステップは、ライトユ
ニットが消灯状態における第３のセンサイメージを取得するステップを有し、第６のステ
ップは、第３のセンサイメージから第３の校正用イメージを差し引くことで第１１のイメ
ージを計算するステップを有し、第７のステップは、第１１のイメージのスムージングを
行うことで、第１２のイメージを計算するステップと、第１２のイメージのうち最も明る
い要素を探すステップと、最も明るい要素の値を用いて第１および第２の照度の見積もり
値を計算するステップと、最も明るい要素の座標と第９のイメージに従って、第１および
前記第２の照度の見積もり値の加重平均をとることで、第３の照度の見積もり値を計算す
るステップと、を有し、照度として第３の照度の見積もり値を用いる（２）に記載のプロ
グラムである。

（８）本発明の一態様は、記憶部と実行ユニットとを有し、記憶部はプログラムを有し、
実行ユニットはプログラムを実行し、プログラムは、第１乃至第４のステップを備え、第
１のステップは、ライトユニットが点灯状態における第１のセンサイメージと、ライトユ
ニットが消灯状態における第２のセンサイメージと、を取得するステップを有し、第２の
ステップは、第１の校正用イメージを用いて第１のセンサイメージを校正することで、第
３のイメージを計算するステップと、第２の校正用イメージを用いて第２のセンサイメー
ジを校正することで、第４のイメージを計算するステップと、を有し、第３のステップは
、第３のイメージと第４のイメージを用いて、第５乃至第７のイメージを計算するステッ
プと、照度および表示画像に従って第５乃至第７のイメージの加重平均をとることで、第
８のイメージを計算するステップと、を有し、第４のステップは、第８のイメージを用い
て、タッチデータを計算するステップを有する情報処理装置である。

（９）本発明の一態様は、（１）乃至（７）の何れか一の態様に係るプログラムを格納し
た記憶部と、光学式タッチパネルと、を有する情報処理装置である。

より安定して入力情報を抽出できるプログラムを提供することができる。または、より高
い精度で入力情報を抽出できるプログラムを提供することができる。または、より利便性
に優れた情報処理装置を提供することができる。または、新規な情報処理装置を提供する
ことができる。

これらの効果の記載は、他の効果の存在を妨げるものではない。本発明の一態様は、必ず
しも、これらの効果の全てを有する必要はない。なお、これら以外の効果は、明細書、図
面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項など
の記載から、これら以外の効果を抽出することが可能である。

本発明の一態様に係る情報処理装置のブロック図。 本発明の一態様に係る情報処理装置のブロック図。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係る情報処理装置のブロック図。 本発明の一態様に係る情報処理装置を示す図。 表示部および光検出部を有するモジュールのブロック図。 画素およびフォトダイオードを有するセルを示す回路図。 フォトダイオードを有するセルの動作を表すタイミングチャート。 本発明の一態様に係る情報処理装置のブロック図。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係るプログラムのフローチャート。 情報処理によって得られたタッチレベルを含むイメージ。 本発明の一態様に係るプログラムのフローチャート。 表示部および光検出部を有するモジュールの模式図。 照度の見積もり値と実測値を示す図。 比較例のフローチャート。 バックライトがオンとオフのときのそれぞれセンサ値と、その差分を示す図。

本発明の実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下の説
明に限定されず、その形態および詳細を様々に変更し得ることは、当業者であれば容易に
理解される。また、本発明は以下に示す実施の形態の記載内容に限定して解釈されるもの
ではない。なお、図面を用いて発明の構成を説明するにあたり、同じものを指す符号は異
なる図面間でも共通して用いる。なお、同様のものを指す際にはハッチパターンを同じく
し、特に符号を付さない場合がある。

図において、大きさ、膜（層）の厚さ、または領域は、明瞭化のために誇張されている場
合がある。

第１、第２として付される序数詞は便宜的に用いるものであり、工程順または積層順を示
すものではない。そのため、例えば、「第１の」を「第２の」又は「第３の」などと適宜
置き換えて説明することができる。また、本明細書等に記載されている序数詞と、本発明
の一態様を特定するために用いられる序数詞は一致しない場合がある。

本明細書において、要素Ｘを、単にＸと省略して記載する場合がある。数量Ｙを、単にＹ
と省略して記載する場合がある。要素とは、例えば、配線、信号線、電源線、回路、素子
、導電体、絶縁体、膜等である。数量とは、例えば、変数、関数、パラメータ等である。
例えば、照度ｉｌｌｕｍを単にｉｌｌｕｍと記載する場合がある。関数ｎｏｒｍを単にｎ
ｏｒｍと記載する場合がある。信号線ＳＬを単にＳＬと記載する場合がある。

（実施の形態１）
本実施の形態では、本発明の一態様に係るプログラムおよび情報処理装置について図面を
参照して説明する。

図１および図２を参照して、本発明の一態様に係る情報処理装置の構成例を説明する。

図１（Ａ）は、情報処理装置（ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖ
ｉｃｅ）１８０Ａの構成を説明するブロック図である。

図１（Ａ）に示す情報処理装置１８０Ａは、実行ユニット（ｅｘｅｃｕｔｉｏｎ ｕｎｉ
ｔ）１０１と、記憶部（ｍｅｍｏｒｙ）１０２とを有する。情報処理装置１８０Ａには、
外部にある光検出部から出力される２種類のセンサイメージが入力される。つまり、外部
にあるライトユニットが点灯状態におけるセンサイメージ（ｓｅｎｓｏｒ ｉｍａｇｅ
（ｌｉｇｈｔ ｕｎｉｔ＝ｏｎ））と、上記ライトユニットが消灯状態におけるセンサイ
メージ（ｓｅｎｓｏｒ ｉｍａｇｅ （ｌｉｇｈｔ ｕｎｉｔ＝ｏｆｆ））である。情報
処理装置１８０Ａは、外部にある表示部へ入力される表示画像（ｄｉｓｐｌａｙ ｉｍａ
ｇｅ）を出力する。記憶部１０２は、センサイメージを処理する、本願発明の一態様に係
るプログラムが格納されている。実行ユニット１０１は、上記プログラムを実行する。

実行ユニット１０１は、例えば、ＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ
）である。記憶部１０２は、例えば、キャッシュメモリである。または、実行ユニット１
０１は、ＣＰＵ（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよい。
記憶部１０２は、主記憶部であってもよい。

情報処理装置１８０Ａは、例えば、光学式タッチパネルと接続され、記憶部１０２に格納
されたプログラムを用いて、タッチ位置等のタッチデータを計算することが可能な情報処
理装置である。

図１（Ｂ）は、情報処理装置１８０Ｂの構成を説明するブロック図である。図１（Ｂ）に
示す情報処理装置１８０Ｂは、図１（Ａ）に示す情報処理装置１８０Ａと、表示画像の入
出力が異なるのみである。従って、他の構成は、図１（Ａ）に示す情報処理装置１８０Ａ
の説明を適宜参照することができる。図１（Ａ）に示す情報処理装置１８０Ａは、表示画
像を出力するのに対し、図１（Ｂ）に示す情報処理装置１８０Ｂは、表示画像が入力され
る。つまり、図１（Ａ）に示す情報処理装置１８０Ａは、表示画像を生成しているのに対
し、図１（Ｂ）に示す情報処理装置１８０Ｂは、表示画像を生成していない。本願発明の
一態様に係るプログラムは、表示画像を参照するため、情報処理装置１８０Ｂが表示画像
を生成していない場合には、外部から表示画像を入力する構成となる。

図２は、情報処理装置１９０Ａの構成を説明するブロック図である。

図２に示す情報処理装置１９０Ａは、表示部および光検出部（ｄｉｓｐｌａｙ ＆ ＰＳ
ｕｎｉｔ）１２０Ａと、情報処理ユニット（ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓ
ｉｎｇ ｕｎｉｔ）１１０と、を有する。表示部および光検出部１２０Ａは、光検出部（
ｐｈｏｔｏｓｅｎｓｏｒ ｕｎｉｔ）１２１と、表示部（ｄｉｓｐｌａｙ）１２２と、ラ
イトユニット（ｌｉｇｈｔ ｕｎｉｔ）１２３と、を有する。情報処理ユニット１１０は
、実行ユニット（ｅｘｅｃｕｔｉｏｎ ｕｎｉｔ）１０１と、記憶部（ｍｅｍｏｒｙ）１
０２とを有する。情報処理ユニット１１０には、光検出部１２１から出力される２種類の
センサイメージが入力される。つまり、ライトユニット１２３が点灯状態におけるセンサ
イメージと、ライトユニットが消灯状態におけるセンサイメージである。情報処理ユニッ
ト１１０は、表示部１２２へ入力される表示画像を出力する。記憶部１０２は、センサイ
メージを処理する、本願発明の一態様に係るプログラムが格納されている。実行ユニット
１０１は、上記プログラムを実行する。

光検出部１２１は、２次元的に配置されたセルを有する。各セルは、例えば、フォトダイ
オードを有し、入射する光の照度に応じた電圧を生成する機能を有する。表示部１２２は
、２次元的に配置された画素を有する。各画素は、例えば、赤、緑、青をそれぞれ表示す
る副画素を有する。各副画素は、例えば、液晶素子を有する。ライトユニット１２３は、
例えば、液晶表示部のバックライトとして機能する。

表示部１２２は、液晶素子のほか、例えば、発光素子を有していてもよい。発光素子は、
電流又は電圧によって輝度が制御される素子である。発光素子としては、エレクトロルミ
ネセンス素子（ＥＬ素子又は電界発光素子ともいう）などを用いることができる。

本明細書において、ライトユニットとは、光源を備え、該光源が発光することにより点灯
する機能を有する発光ユニットである。例えば、表示部が液晶素子を有する場合などに用
いられるバックライトは、ライトユニットである。上記ライトユニットは、白色発光ダイ
オードや、複数の色の発光ダイオードを光源とすることができる。例えば、表示部が発光
素子を有する場合、表示部自体が光源を備えるため、ライトユニットである。そのような
場合、表示部とは別にライトユニットが設けられていなくても良い。

情報処理装置１９０Ａは、例えば、光学式タッチパネルを備えた情報処理装置であり、記
憶部１０２に格納されたプログラムを用いて、タッチ位置等のタッチデータを計算するこ
とが可能な情報処理装置である。

次に、図３乃至図８、および図１８を参照して、本発明の一態様に係るプログラムの一例
を説明する。

図３（Ａ）および（Ｂ）は、本発明の一態様に係るプログラムを説明するフローチャート
の一例である。図３（Ａ）は、タッチ位置等のタッチデータを計算することが可能なプロ
グラムＰ１を説明するフローチャートの一例である。図３（Ｂ）は、環境光の下での照度
を見積もることが可能なプログラムＰ２を説明するフローチャートの一例である。プログ
ラムＰ１を用いてタッチ位置等のタッチデータを計算する際に、環境光の下での照度を用
いる。当該照度には、プログラムＰ２を用いて計算した照度を用いることができる。

図３（Ａ）に示すフローチャートは、ステップＳ１、Ｓ２、Ｓ３、およびＳ４を備える。

ステップＳ１は、ライトユニットが点灯状態におけるセンサイメージと、ライトユニット
が消灯状態におけるセンサイメージと、を取得するステップである。

ステップＳ２は、取得した２種類のセンサイメージを、キャリブレーションするステップ
である。上記キャリブレーションは、２種類のセンサイメージそれぞれに対して行われる
。上記キャリブレーションは、キャリブレーション用のセンサイメージを用いて行われる
。上記キャリブレーションは、各セルに対して、異なる基準値を用いて行われる。

ステップＳ３は、キャリブレーションが行われた２種類のセンサイメージを用いて、タッ
チレベルを含むイメージを計算するステップである。上記計算は、照度および表示画像を
用いて行われる。上記照度は、環境光の下での照度、またはその見積もり値を用いる。

ステップＳ４は、タッチレベルを含むイメージを用いて、タッチ位置等のタッチデータを
計算するステップである。

以上のステップに従って情報処理を行うことで、タッチ位置等のタッチデータを計算する
ことが可能となる。ライトユニットが点灯状態におけるセンサイメージとライトユニット
が消灯状態におけるセンサイメージに加えて、環境光の下での照度や表示画像を用いて情
報処理を行うことで、より安定してタッチデータの計算を行うことができる。

図３（Ｂ）に示すフローチャートは、ステップＴ１、Ｔ２，およびＴ３を備える。

ステップＴ１は、ライトユニットが消灯状態におけるセンサイメージを取得するステップ
である。

ステップＴ２は、取得したセンサイメージからバックグラウンドとなるセンサイメージを
差し引くステップである。

バックグラウンドとなるセンサイメージは、最も暗い環境光のもとで黒表示状態かつライ
トユニットが消灯状態で取得したセンサイメージとすることができる。ステップＴ２の処
理を行うことで、光検出部が有する欠陥やばらつきの影響を低減することができる。

ステップＴ３は、バックグラウンドとなるイメージを差し引いたセンサイメージを用いて
、環境光の下での照度の見積もり値を計算するステップである。

以上のステップに従って情報処理を行うことで、環境光の下での照度を見積もることが可
能となる。

図３（Ａ）および図３（Ｂ）に示すフローチャートについて、さらに詳細に説明する。

図４は、ステップＳ２（キャリブレーション）を説明するフローチャートの一例である。
図４に示すフローチャートは、ステップＳ２−１Ａ、Ｓ２−１Ｂを備える。

ステップＳ２では、スタート時点において、ライトユニットが点灯状態におけるセンサイ
メージと、ライトユニットが消灯状態におけるセンサイメージと、を取得した状態となっ
ている。ライトユニットが点灯状態におけるセンサイメージは、各セルにおけるセンサ入
力値ｓｉ＿ｏｎ（ｃ）の集合によって表される。ライトユニットが消灯状態におけるセン
サイメージは、各セルにおけるセンサ入力値ｓｉ＿ｏｆｆ（ｃ）の集合によって表される
。なお、センサ入力はセルから読み出されるデータである。センサ入力値はその値である
。引数ｃはセルの座標を示す。

ステップＳ２−１Ａでは、キャリブレーション用のセンサイメージを用いて、ライトユニ
ットが消灯状態におけるセンサイメージをノーマライズ（規格化）する。

キャリブレーション用のセンサイメージは、例えば、２種類の環境光のもとで取得した、
ライトユニットが消灯状態かつ白表示状態でのセンサイメージである。２種類の環境光は
、例えば、使用環境を想定した最も明るい環境光（以下、単に、最も明るい環境光とも記
す）と、最も暗い環境光（以下、単に、最も暗い環境光とも記す）とすることができる。
最も明るい環境光のもとで取得した上記センサ入力値をｓｉ＿ｏｆｆ＿ｌ（ｃ）、最も暗
い環境光のもとで取得した上記センサ入力値をｓｉ＿ｏｆｆ＿ｄ（ｃ）とする。以下では
、正常なセルでは、ｓｉ＿ｏｆｆ＿ｄ（ｃ）＜ｓｉ＿ｏｆｆ＿ｌ（ｃ）であるとして説明
する。

ノーマライズ（規格化）に用いる関数の一例を説明する。ノーマライズに用いる関数は、
ｓｉ＿ｏｆｆ（ｃ）を引数として、ｓ０以上、ｓ１以下の値を返す（ｓ０、ｓ１は実数）
。例えば、ｓｉ＿ｏｆｆ（ｃ）がｓｉ＿ｏｆｆ＿ｄ（ｃ）以上ｓｉ＿ｏｆｆ＿ｌ（ｃ）以
下である区間は、増加関数であり、ｓｉ＿ｏｆｆ（ｃ）がｓｉ＿ｏｆｆ＿ｄ（ｃ）と同じ
であればｓ０を返し、ｓｉ＿ｏｆｆ（ｃ）がｓｉ＿ｏｆｆ＿ｌ（ｃ）と同じであれば、ｓ
１を返す関数である。

ｆｎ（ｘ）が増加関数であるとは、ｘ１＜ｘ２であれば、ｆｎ（ｘ１）≦ｆｎ（ｘ２）が
成り立つ関数である。ｆｎ（ｘ）が減少関数であるとは、ｘ１＜ｘ２であれば、ｆｎ（ｘ
１）≧ｆｎ（ｘ２）が成り立つ関数である。

所定のセルにおいて、ｓｉ＿ｏｆｆ（ｃ）がｓｉ＿ｏｆｆ＿ｄ（ｃ）より小さい場合は、
そのセルを欠陥セルとラベリングしても良い。そのような場合、例えば、タッチデータの
計算において欠陥セルを区別、あるいは除外できるようにしても良い。ｓｉ＿ｏｆｆ（ｃ
）がｓｉ＿ｏｆｆ＿ｄ（ｃ）より小さい場合、関数はｓ０を返してもよい。

所定のセルにおいて、ｓｉ＿ｏｆｆ（ｃ）がｓｉ＿ｏｆｆ＿ｌ（ｃ）より大きい場合は、
そのセルを欠陥セルとラベリングしても良い。そのような場合、例えば、タッチデータの
計算において欠陥セルを区別、あるいは除外できるようにしても良い。例えば、ｓｉ＿ｏ
ｆｆ（ｃ）がｓｉ＿ｏｆｆ＿ｌ（ｃ）より大きい場合、関数はｓ１を返しても良い。

ノーマライズ（規格化）に用いる関数の具体的な例を示す。ノーマライズに用いる関数は
、数式（１）に示す関数ｎｏｒｍ１において、ｘ、ｘ０、ｘ１、をそれぞれ、ｓｉ＿ｏｆ
ｆ（ｃ）、ｓｉ＿ｏｆｆ＿ｄ（ｃ）、ｓｉ＿ｏｆｆ＿ｌ（ｃ）と置き換えた関数とするこ
とができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１
以下の値に変換する非線形の増加関数であっても良い。

ノーマライズ（規格化）に用いる関数の別の具体的な例を示す。ノーマライズに用いる関
数は、数式（２）に示す関数ｎｏｒｍ２において、ｘ、ｘ０、ｘ１、をそれぞれ、ｓｉ＿
ｏｆｆ（ｃ）、ｓｉ＿ｏｆｆ＿ｄ（ｃ）、ｓｉ＿ｏｆｆ＿ｌ（ｃ）と置き換えた関数とす
ることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１
以下の値に変換する非線形の増加関数であっても良い。

例えば、ｓ０を０としても良い。例えば、ｓ１を１としてもよい。

ステップＳ２−１Ｂは、キャリブレーション用のセンサイメージとして、ライトユニット
が点灯状態でのセンサイメージを用いる。この点の相違を除き、ステップＳ２−１Ａと同
様の処理を行えばよい。

以上のようにして、キャリブレーションが行われたセンサイメージが計算される。

また、ステップＳ２−１Ａにおいて、それぞれ、キャリブレーション用のセンサイメージ
として、例えば、２種類の環境光のもとで黒い画像と白い画像を表示した状態で取得した
４種類のセンサイメージを用い、２種類のキャリブレーションが行われたセンサイメージ
を得ることができる。２種類の環境光は、例えば、最も明るい環境光と、最も暗い環境光
とすることができる。

例えば、最も明るい環境光のもとで黒画像を表示した状態で取得した上記センサ入力値を
ｓｉ＿ｏｆｆ＿ｌｂ（ｃ）とし、最も明るい環境光のもとで白画像を表示した状態で取得
したセンサ入力値をｓｉ＿ｏｆｆ＿ｌｗ（ｃ）とする。最も暗い環境光のもとで黒画像を
表示した状態で取得したセンサ入力値をｓｉ＿ｏｆｆ＿ｄｂ（ｃ）とし、最も暗い環境光
のもとで白画像を表示した状態で取得したセンサ入力値をｓｉ＿ｏｆｆ＿ｄｗ（ｃ）とす
る。

正常なセルでは、ｓｉ＿ｏｆｆ＿ｄｗ（ｃ）＜ｓｉ＿ｏｆｆ＿ｌｗ（ｃ）かつｓｉ＿ｏｆ
ｆ＿ｄｂ（ｃ）＜ｓｉ＿ｏｆｆ＿ｌｂ（ｃ）であるとして、上掲の計算を行えばよい。ｓ
ｉ＿ｏｆｆ＿ｌｂ（ｃ）およびｓｉ＿ｏｆｆ＿ｄｂ（ｃ）を用いて、キャリブレーション
の行われたセンサイメージｃａｌｉｂ＿ｏｆｆ＿ｂｌａｃｋを生成する。同様に、ｓｉ＿
ｏｆｆ＿ｌｗ（ｃ）およびｓｉ＿ｏｆｆ＿ｄｗ（ｃ）を用いて、キャリブレーションの行
われたセンサイメージｃａｌｉｂ＿ｏｆｆ＿ｗｈｉｔｅを生成する。

また、ステップＳ２−１ＢもステップＳ１−１Ａと同様であり、それぞれ、キャリブレー
ション用のセンサイメージとして、最も明るい環境光および最も暗い環境光のもとで、黒
い画像と白い画像を表示した状態で取得した４種類のセンサイメージを用い、２種類のキ
ャリブレーションが行われたセンサイメージを生成することができる。

ステップＳ２−１Ｂでは、最も明るい環境光のもとで黒画像を表示した状態で取得したセ
ンサ入力値をｓｉ＿ｏｎ＿ｌｂ（ｃ）とし、最も明るい環境光のもとで白画像を表示した
状態で取得したセンサ入力値をｓｉ＿ｏｎ＿ｌｗ（ｃ）とする。最も暗い環境光のもとで
黒画像を表示した状態で取得したセンサ入力値をｓｉ＿ｏｎ＿ｄｂ（ｃ）とし、最も暗い
環境光のもとで白画像を表示した状態で取得したセンサ入力値をｓｉ＿ｏｎ＿ｄｗ（ｃ）
とする。

正常なセルでは、ｓｉ＿ｏｎ＿ｄｗ（ｃ）＜ｓｉ＿ｏｎ＿ｌｗ（ｃ）かつｓｉ＿ｏｎ＿ｄ
ｂ（ｃ）＜ｓｉ＿ｏｎ＿ｌｂ（ｃ）であるとして、上掲の計算を行えばよい。ｓｉ＿ｏｎ
＿ｌｂ（ｃ）およびｓｉ＿ｏｎ＿ｄｂ（ｃ）を用いて、キャリブレーションの行われたセ
ンサイメージｃａｌｉｂ＿ｏｎ＿ｂｌａｃｋを生成し、ｓｉ＿ｏｎ＿ｌｗ（ｃ）およびｓ
ｉ＿ｏｎ＿ｄｗ（ｃ）を用いてキャリブレーションの行われたセンサイメージｃａｌｉｂ
＿ｏｎ＿ｗｈｉｔｅを生成する。

上記は、正常なセルでは、ｓｉ＿ｏｆｆ＿ｄ（ｃ）＜ｓｉ＿ｏｆｆ＿ｌ（ｃ）であるとし
て説明した。この大小関係は、センサイメージの読み出し方法等に依存する。勿論、不等
号が逆の場合でも、同様な考え方で、キャリブレーションを行うことができる。

正常なセルにおいて、ｓｉ＿ｏｆｆ＿ｄ（ｃ）＞ｓｉ＿ｏｆｆ＿ｌ（ｃ）となる場合の例
を示す。この場合、ノーマライズ（規格化）に用いる関数は、例えば、数式（３）に示す
関数ｎｏｒｍ３において、ｘ、ｘ０、ｘ１、をそれぞれ、ｓｉ＿ｏｆｆ（ｃ）、ｓｉ＿ｏ
ｆｆ＿ｄ（ｃ）、ｓｉ＿ｏｆｆ＿ｌ（ｃ）と置き換えた関数とすることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１
以下の値に変換する非線形の増加関数であっても良い。

上記のようなステップＳ２の処理を行うことで、キャリブレーション用のセンサイメージ
を用いて、セルごとに異なる基準値を用いたキャリブレーションを行うことができる。そ
の結果、光検出部が欠陥セルを有する場合に、欠陥セルをラベリングし、その後の処理に
影響を与えないようにすることができる。また、光検出部が有するセルの特性ばらつきの
影響を低減することができる。

上記のようなステップＳ２の処理を行うことで、使用環境に合わせたキャリブレーション
を行うことができる。その結果、より高い精度で、または、より安定してタッチデータを
計算することができるプログラムを実現することができる。

上記のようなステップＳ２の処理では、ライトユニットが消灯状態でのセンサイメージの
キャリブレーションと、ライトユニットが点灯状態でのセンサイメージのキャリブレーシ
ョンと、をそれぞれ行う。その結果、より高い精度で、または、より安定してタッチデー
タを計算することができるプログラムを実現することができる。

なお、ステップＳ２は、キャリブレーション用のセンサイメージをもとに、各セルにおけ
るセンサ入力の最大値、および／またはセンサ入力の最小値を決めるステップと、当該最
大値、および／または最小値を用いて各セルのセンサ入力値をノーマライズ（規格化）す
るステップと、に分けることができる場合がある。

なお、ステップＳ２は、キャリブレーション用のセンサイメージをもとに、欠陥セルをラ
ベリングする処理するステップと、欠陥セルのセンサ入力値を処理するステップと、欠陥
セル以外のセル（正常セルとも呼ぶ）のセンサ入力値を処理するステップに分けることが
できる場合がある。

図１８は、ステップＳ３（タッチレベルを含むイメージの計算）を説明するフローチャー
トの一例である。
図１８に示すフローチャートは、ステップＳ３Ｃ−１Ａ、Ｓ３Ｃ−１Ｂ、Ｓ３Ｃ−１Ｃ、
Ｓ３Ｃ−３、Ｓ３Ｃ−４、Ｓ３Ｃ−５を備える。

ステップＳ３では、スタート時点において、キャリブレーションが行われたライトユニッ
トが点灯状態におけるセンサイメージと、キャリブレーションが行われたライトユニット
が消灯状態におけるセンサイメージと、が生成された状態となっている。表示画像が白で
あれば、環境光の照度によらず、上記２種類のキャリブレーションが行われたセンサイメ
ージを用いて、所定の計算を行うことで、タッチレベル（タッチの度合を表す量）が得ら
れる。表示画像が黒であれば、ライトユニットからの光が画素によって遮断されるため、
指によって反射されるライトユニットからの光の量が少ない。つまり、ライトユニットが
点灯状態におけるセンサイメージに含まれるタッチレベルの情報が減少する。一方、ライ
トユニットが消灯状態におけるセンサイメージに含まれるタッチレベルの情報は、環境光
が明るければ多く、環境光が暗ければ少ない。これは、環境光が明るければ、指の有無（
タッチの有無）による遮光の差が大きいためである。このように、タッチレベルの情報を
抽出するためには、照度を考慮することが有効となる。ステップＳ３では、このように、
環境光の下での照度および表示画像を考慮して、タッチレベルの情報を抽出する。

ステップＳ３Ｃ−１Ａでは、キャリブレーションが行われた２種類のセンサイメージの全
体もしくは一部を用いて、白表示時のタッチレベルを計算する計算方法を用いて、タッチ
レベルを含むイメージを計算する。

上記タッチレベルを含むイメージは、各セルにおけるタッチレベルｔｌ＿ｗ（ｃ）の集合
によって表される。タッチレベルは、タッチの度合を表す量である。引数のｃはセルの座
標を示す。例えば、基準となるタッチしている状態（フルタッチの状態）で０、基準とな
るタッチしていない状態（ノータッチの状態）で１となる量とすることができる。フルタ
ッチの状態は、例えば、実際の環境下で実際にタッチした状態であっても良い。ノータッ
チの状態は、例えば、実際の環境下で実際にタッチしていない状態であっても良い。いず
れの状態も、パラメータを適宜調整することで決まる、仮想的な状態であっても良い。

ステップＳ３Ｃ−１Ｂでは、キャリブレーションが行われた２種類のセンサイメージの全
体もしくは一部を用いて、最も明るい環境光のもとでの黒表示時のタッチレベルを計算す
る計算方法を用いて、タッチレベルを含むイメージを計算する。上記タッチレベルを含む
イメージは、各セルにおけるタッチレベルｔｌ＿ｂｌ（ｃ）の集合によって表される。

ステップＳ３Ｃ−１Ｃでは、キャリブレーションが行われた２種類のセンサイメージの全
体もしくは一部を用いて、最も暗い環境光のもとでの黒表示時のタッチレベルを計算する
計算方法を用いて、タッチレベルを含むイメージを計算する。上記タッチレベルを含むイ
メージは、各セルにおけるタッチレベルｔｌ＿ｂｄ（ｃ）の集合によって表される。

ステップＳ３Ｃ−３では、表示画像を取得する。

ステップＳ３Ｃ−４では、取得した表示画像をグレイスケールに変換する。

表示画像は、各画素に出力する表示出力値の集合によって表される。各画素が、赤、緑、
青の副画素を有する場合、表示出力値は、（ｄｏ＿ｒｅｄ（ｐ）、ｄｏ＿ｇｒｅｅｎ（ｐ
）、ｄｏ＿ｂｌｕｅ（ｐ））と表すことができる。ｄｏ＿ｒｅｄ（ｐ）、ｄｏ＿ｇｒｅｅ
ｎ（ｐ）、ｄｏ＿ｂｌｕｅ（ｐ）はそれぞれ、赤、緑、青の副画素の表示出力値である。
ｐは画素の座標を示す。８ビット階調を有する場合、ｄｏ＿ｒｅｄ（ｐ）、ｄｏ＿ｇｒｅ
ｅｎ（ｐ）、ｄｏ＿ｂｌｕｅ（ｐ）はそれぞれ０以上、２５５以下の整数となる。

グレイスケールへの変換は、色ごとの適切な重みを用いてもよい。例えば、画素の表示出
力値をグレイスケールに変換した値ｇｄｏ（ｐ）は、ｇｄｏ（ｐ）＝ｗ＿ｒｅｄ・ｄｏ＿
ｒｅｄ（ｐ）＋ｗ＿ｇｒｅｅｎ・ｄｏ＿ｇｒｅｅｎ（ｐ）＋ｗ＿ｂｌｕｅ・ｄｏ＿ｂｌｕ
ｅ（ｐ）と表すことができる。ｗ＿ｒｅｄ、ｗ＿ｇｒｅｅｎ、およびｗ＿ｂｌｕｅは、そ
れぞれ、グレイスケールへの変換における赤、緑、青の重みである。

ステップＳ３Ｃ−５では、照度ｉｌｌｕｍ、およびグレイスケールに変換された表示画像
に従って、ステップＳ３Ｃ−１Ａで計算したタッチレベルを含むイメージと、ステップＳ
３Ｃ−１Ｂで計算したタッチレベルを含むイメージと、ステップＳ３Ｃ−１Ｃで計算した
タッチレベルを含むイメージと、の加重平均をとる。照度ｉｌｌｕｍは、環境光の下での
照度、またはその見積もり値を用いる。その結果、実際の環境光および表示画像を考慮し
たタッチレベルを含むイメージが計算される。

グレイスケールに変換された表示画像はセルによって値が変わるため、セルごとに異なる
重み付けが行われる。

ステップＳ３では、照度ｉｌｌｕｍは、図３（Ｂ）に示すプログラムＰ２を用いて計算し
た、環境光の下での照度の見積もり値を用いることができる。光検出部の近傍に照度セン
サが設けられている場合は、照度センサから取得したデータを用いても良い。

例えば、指でタッチ動作を行う際に、光検出部（あるいは照度センサ等）が手などの影と
なることで、一時的に、照度が小さくなる場合がある。ステップＳ３で用いる照度を安定
させるために、過去の照度を保存しておき、最近のある一定期間の照度の中で最大値のも
のを使用してもよい。例えば、照度を０．５秒間隔で取得し、最新の５つ照度の中で最大
のものを用いてもよい。

ステップＳ３では、キャリブレーションが行われた複数のセンサイメージを用い、表示中
の画像と、実際の環境光の下での照度を考慮して、タッチレベルを含むイメージの計算を
行う。その結果、環境光や表示画像の影響をより抑えることができ、タッチレベルを含む
イメージを、より高い精度で、または、より安定して、計算することができる。

図５は、ステップＳ３（タッチレベルを含むイメージの計算）を説明する、より具体的な
フローチャートの一例である。図５に示すフローチャートは、ステップＳ３−１Ａ、Ｓ３
−１Ｂ、Ｓ３−１Ｃ、Ｓ３−２、Ｓ３−３、Ｓ３−４、Ｓ３−５を備える。

ステップＳ３−１Ａ、Ｓ３−１ＢおよびＳ３−１Ｃは、図１８に示すフローチャートにお
けるステップＳ３Ｃ−１Ａ、Ｓ３Ｃ−１ＢおよびＳ３Ｃ−１Ｃと、それぞれ同じ処理を行
えばよい。従って、図１８に示すフローチャートの説明を参照することができる。

ステップＳ３−２では、照度ｉｌｌｕｍに従って、ステップＳ３−１Ｂで計算したタッチ
レベルを含むイメージと、ステップＳ３−１Ｃで計算したタッチレベルを含むイメージの
加重平均をとる。照度ｉｌｌｕｍは、環境光の下での照度、またはその見積もり値を用い
る。その結果、実際の環境光を考慮した黒表示時のタッチレベルを計算する計算方法を用
いて、タッチレベルを含むイメージを計算することができる。上記タッチレベルを含むイ
メージは、各セルにおけるタッチレベルｔｌ＿ｂ（ｃ）の集合によって表される。

加重平均に用いる関数の一例を説明する。最も明るい環境光の下での照度をｉｌｌｕｍ＿
ｌ、最も暗い環境光の下での照度をｉｌｌｕｍ＿ｄとする。加重平均に用いる関数ｍｉｘ
１（ｔｌ＿ｂｄ（ｃ）、ｔｌ＿ｂｌ（ｃ）；ｉｌｌｕｍ）は、照度ｉｌｌｕｍに従って、
ｔｌ＿ｂｄ（ｃ）とｔｌ＿ｂｌ（ｃ）の間の値を返す。例えば、関数ｍｉｘ１は、照度ｉ
ｌｌｕｍの増加関数または減少関数であり、照度ｉｌｌｕｍがｉｌｌｕｍ＿ｄと同じであ
れば、ｔｌ＿ｂｄ（ｃ）を返し、照度ｉｌｌｕｍがｉｌｌｕｍ＿ｌと同じであれば、ｔｌ
＿ｂｌ（ｃ）を返す関数である。

ステップＳ３−３およびＳ３−４は、図１８に示すフローチャートにおけるステップＳ３
Ｃ−３およびＳ３Ｃ−４と、それぞれ同じ処理を行えばよい。従って、図１８に示すフロ
ーチャートの説明を参照することができる。

ステップＳ３−５では、グレイスケールに変換された表示画像に従って、ステップＳ３−
１Ａで計算したタッチレベルを含むイメージと、ステップＳ３−２で計算したタッチレベ
ルを含むイメージの加重平均をとる。その結果、実際の環境光および表示画像を考慮した
タッチレベルを含むイメージが計算される。

所定のセル（座標ｃ）におけるグレイスケールに変換した値ｇｄｏａ（ｃ）は、上記所定
のセルに最も近い一つ画素の表示出力値をグレイスケールに変換した値、または、上記所
定のセルに近い複数の画素の表示出力値をグレイスケールに変換した値の平均値でもよい
。ｇｄｏａ（ｃ）は、黒表示時にｇｄｏ＿ｂ、白表示時にｇｄｏ＿ｗとなるとする。

加重平均に用いる関数の一例を説明する。加重平均に用いる関数ｍｉｘ２（ｔｌ＿ｗ（ｃ
）、ｔｌ＿ｂ（ｃ）；ｇｄｏａ（ｃ））は、ｇｄｏａ（ｃ）に従って、ｔｌ＿ｗ（ｃ）と
ｔｌ＿ｂ（ｃ）の間の値を返す。例えば、関数ｍｉｘ２は、ｇｄｏａ（ｃ）の増加関数ま
たは減少関数であり、ｇｄｏａ（ｃ）がｇｄｏ＿ｗと同じであれば、ｔｌ＿ｗ（ｃ）を返
し、ｇｄｏａ（ｃ）がｇｄｏ＿ｂと同じであれば、ｔｌ＿ｂ（ｃ）を返す関数である。

加重平均に用いる関数ｍｉｘ２は、白表示部では、ｔｌ＿ｗ（ｃ）を返し、黒表示部では
ｔｌ＿ｂ（ｃ）を返す。つまり、白表示部ではｔｌ＿ｗ（ｃ）およびｔｌ＿ｂ（ｃ）の重
みはそれぞれ１および０であり、黒表示部ではｔｌ＿ｗ（ｃ）およびｔｌ＿ｂ（ｃ）の重
みはそれぞれ０および１となるように、加重平均をとる。

加重平均に用いる関数の具体的な例を示す。加重平均に用いる関数は、数式（４）に示す
関数ｍｉｘにおいて、ｙ０、ｙ１、ｘ、ｘ０、ｘ１、をそれぞれ、ｔｌ＿ｂ（ｃ）、ｔｌ
＿ｗ（ｃ）、ｇｄｏａ（ｃ）、ｇｄｏ＿ｂ、ｇｄｏ＿ｗと置き換えた関数とすることがで
きる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１
以下の値に変換する非線形の増加関数であっても良い。

以上のようにして、タッチレベルを含むイメージが計算される。

上記のようなステップＳ３では、キャリブレーションが行われた２種類のセンサイメージ
を用い、表示中の画像と、実際の環境光下での照度を考慮して計算を行う。その結果、環
境光や表示画像の影響をより抑えられたタッチレベルを含むイメージを、より高い精度で
、または、より安定して、計算することができる。

図６は、ステップＳ３（タッチレベルを含むイメージの計算）を説明する、さらに具体的
なフローチャートの一例である。図６に示すフローチャートは、ステップＳ３Ｂ−１Ａ、
Ｓ３Ｂ−１Ｂ、Ｓ３Ｂ−１Ｃ、Ｓ３Ｂ−２、Ｓ３Ｂ−３、Ｓ３Ｂ−４、Ｓ３Ｂ−５を備え
る。

ステップＳ３Ｂ−１Ａでは、キャリブレーションが行われたライトユニットが点灯状態で
のセンサ入力値ｃｉ＿ｏｎ（ｃ）と、キャリブレーションが行われたライトユニットが消
灯状態でのセンサ入力値ｃｉ＿ｏｆｆ（ｃ）との差Δｃｉ（ｃ）、つまり（ｃｉ＿ｏｎ（
ｃ）―ｃｉ＿ｏｆｆ（ｃ））を計算し、これをノーマライズ（規格化）する。

白表示時のフルタッチの状態で、タッチしている場所にあるセルにおいて、Δｃｉ（ｃ）
はΔｃｉ＿ｆｕｌｌとなり、ノータッチの状態でΔｃｉ（ｃ）はΔｃｉ＿ｎｏとなるとす
る。このときの環境光は、例えば、最も明るい状態とする。セルの位置によって、フルタ
ッチの状態のΔｃｉ（ｃ）やノータッチの状態のΔｃｉ（ｃ）が異なる場合は、例えば、
正常なセルにおけるΔｃｉ（ｃ）が全てΔｃｉ＿ｆｕｌｌとΔｃｉ＿ｎｏの間に含まれる
ように、Δｃｉ＿ｆｕｌｌとΔｃｉ＿ｎｏを決めてもよい。

ノーマライズ（規格化）に用いる関数の一例を説明する。ノーマライズに用いる関数は、
Δｃｉ（ｃ）を引数として、ｃ０以上、ｃ１以下の値を返す（ｃ０、ｃ１は実数）。例え
ば、Δｃｉ（ｃ）がΔｃｉ＿ｎｏとΔｃｉ＿ｆｕｌｌの間の区間では、増加関数または減
少関数であり、Δｃｉ（ｃ）がΔｃｉ＿ｎｏと同じであればｃ１を返し、Δｃｉ（ｃ）が
Δｃｉ＿ｆｕｌｌと同じであれば、ｃ０を返す関数である。

Δｃｉ（ｃ）がΔｃｉ＿ｆｕｌｌとΔｃｉ＿ｎｏの間に入らず、Δｃｉ＿ｆｕｌｌの外側
であればｃ０を返しても良い。Δｃｉ（ｃ）がΔｃｉ＿ｆｕｌｌとΔｃｉ＿ｎｏの間に入
らず、Δｃｉ＿ｎｏの外側であればｃ１を返しても良い。

ノーマライズ（規格化）に用いる関数の具体的な例を示す。Δｃｉ＿ｎｏ＜Δｃｉ＿ｆｕ
ｌｌとする。ノーマライズに用いる関数は、数式（５）に示す関数ｎｏｒｍ４において、
ｘ、ｘ０、ｘ１、をそれぞれ、Δｃｉ（ｃ）、Δｃｉ＿ｆｕｌｌ、Δｃｉ＿ｎｏと置き換
えた関数とすることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１
以下の値に変換する非線形の増加関数であっても良い。これにより、コントラストを変え
ることができる。その結果、タッチレベルの計算精度を向上できる場合がある。

例えば、ｃ０を０としてもよい。例えば、ｃ１を１としてもよい。

Δｃｉ＿ｎｏおよびΔｃｉ＿ｆｕｌｌは、パラメータとして、適宜変更することができる
。その結果、タッチレベルの計算精度を向上できる場合がある。特に、Δｃｉ＿ｎｏ＝０
としてもよい。

例えば、ｃ０を０、ｃ１を１として、Δｃｉ＿ｎｏを０、関数ｆを恒等関数とした場合、
１／Δｃｉ＿ｆｕｌｌをｋと表すと、ノーマライズ（規格化）に用いる関数は、数式（６
）に示す関数ｎｏｒｍ５において、ｘをΔｃｉ（ｃ）と置き換えた関数とすることができ
る。

ステップＳ３Ｂ−１Ａは、図１８に示すステップＳ３Ｃ−１Ａに対応する。ステップＳ３
Ｂ−１Ａの処理は、白表示時にタッチレベルを計算できる計算方法の一例である。Δｃｉ
（ｃ）は、白表示時にタッチレベルを表す場合がある。Δｃｉ（ｃ）を上記のようにノー
マライズ（規格化）することで、タッチレベルの計算精度を向上することができる。

ステップＳ３Ｂ−２では、照度ｉｌｌｕｍが、あるしきい値となる照度ｉｌｌｕｍ＿ｔよ
り小さいかどうかを判断する。照度ｉｌｌｕｍは、環境光の下での照度、またはその見積
もり値を用いる。ｉｌｌｕｍがｉｌｌｕｍ＿ｔより小さければ、ステップＳ３Ｂ−１Ｂを
処理し、それ以外では、ステップＳ３Ｂ−１Ｃを処理する。

ステップＳ３Ｂ−２は、図５に示すステップＳ３−２に対応する。照度ｉｌｌｕｍとある
しきい値となる照度ｉｌｌｕｍ＿ｔとの大小関係によって、２種類のタッチレベルのいず
れか一方を選択する処理は、２種類のタッチレベルの加重平均の一種である。この方式で
は、２種類のタッチレベルの両方を計算する必要がなく、選択する一方のタッチレベルの
みを計算すればよいので、計算量を減らすことができ好ましい。

ステップＳ３Ｂ−１Ｂでは、キャリブレーションが行われたライトユニットが点灯状態で
のセンサ入力値ｃｉ＿ｏｎ（ｃ）をノーマライズ（規格化）する。

最も暗い環境光のもとで黒表示時のフルタッチの状態で、タッチしている場所にあるセル
において、ｃｉ＿ｏｎ（ｃ）はｃｉ＿ｏｎ＿ｆｕｌｌとなり、ノータッチの状態でｃｉ＿
ｏｎ（ｃ）はｃｉ＿ｏｎ＿ｎｏとなるとする。セルの位置によって、フルタッチの状態の
ｃｉ＿ｏｎ（ｃ）やノータッチの状態のｃｉ＿ｏｎ（ｃ）が異なる場合は、例えば、正常
なセルにおけるｃｉ＿ｏｎ（ｃ）が全てｃｉ＿ｏｎ＿ｆｕｌｌとｃｉ＿ｏｎ＿ｎｏの間に
含まれるように、ｃｉ＿ｏｎ＿ｆｕｌｌとｃｉ＿ｏｎ＿ｎｏを決めてもよい。

ノーマライズ（規格化）に用いる関数の一例を説明する。ノーマライズに用いる関数は、
ｃｉ＿ｏｎ（ｃ）を引数として、ｃ０以上、ｃ１以下の値を返す（ｃ０、ｃ１は実数）。
例えば、ｃｉ＿ｏｎ（ｃ）がｃｉ＿ｏｎ＿ｎｏとｃｉ＿ｏｎ＿ｆｕｌｌの間の区間では、
増加関数または減少関数であり、ｃｉ＿ｏｎ（ｃ）がｃｉ＿ｏｎ＿ｎｏと同じであればｃ
１を返し、ｃｉ＿ｏｎ（ｃ）がｃｉ＿ｏｎ＿ｆｕｌｌと同じであれば、ｃ０を返す関数で
ある。

ｃｉ＿ｏｎ（ｃ）がｃｉ＿ｏｎ＿ｆｕｌｌとｃｉ＿ｏｎ＿ｎｏの間に入らず、ｃｉ＿ｏｎ
＿ｆｕｌｌの外側であればｃ０を返しても良い。ｃｉ＿ｏｎ（ｃ）がｃｉ＿ｏｎ＿ｆｕｌ
ｌとｃｉ＿ｏｎ＿ｎｏの間に入らず、ｃｉ＿ｏｎ＿ｎｏの外側であればｃ１を返しても良
い。

ノーマライズ（規格化）に用いる関数の具体的な例を示す。ｃｉ＿ｏｎ＿ｎｏ＜ｃｉ＿ｏ
ｎ＿ｆｕｌｌとする。ノーマライズに用いる関数は、数式（５）に示す関数ｎｏｒｍ４に
おいて、ｘ、ｘ０、ｘ１、をそれぞれ、ｃｉ＿ｏｎ（ｃ）、ｃｉ＿ｏｎ＿ｆｕｌｌ、ｃｉ
＿ｏｎ＿ｎｏと置き換えた関数とすることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１
以下の値に変換する非線形の増加関数であっても良い。これにより、コントラストを変え
ることができる。その結果、タッチレベルの計算精度を向上できる場合がある。

例えば、ｃ０を０としてもよい。例えば、ｃ１を１としてもよい。

ｃｉ＿ｏｎ＿ｎｏおよびｃｉ＿ｏｎ＿ｆｕｌｌは、パラメータとして、適宜変更すること
ができる。その結果、タッチレベルの計算精度を向上できる場合がある。

ステップＳ３Ｂ−１Ｂは、図１８に示すステップＳ３Ｃ−１Ｂに対応する。ステップＳ３
Ｂ−１Ｂの処理は、最も暗い環境光のもとで黒表示時にタッチレベルを計算できる計算方
法の一例である。ｃｉ＿ｏｎ（ｃ）は、最も暗い環境光のもとで黒表示時にタッチレベル
を表す場合がある。ｃｉ＿ｏｎ（ｃ）を上記のようにノーマライズ（規格化）することで
、タッチレベルの計算精度を向上することができる。

ステップＳ３Ｂ−１Ｃでは、キャリブレーションが行われたライトユニットが消灯状態で
のセンサ入力値ｃｉ＿ｏｆｆ（ｃ）をノーマライズ（規格化）する。

最も明るい環境光のもとで黒表示時にフルタッチの状態で、タッチしている場所にあるセ
ルにおいて、ｃｉ＿ｏｆｆ（ｃ）はｃｉ＿ｏｆｆ＿ｆｕｌｌとなり、ノータッチの状態で
ｃｉ＿ｏｆｆ（ｃ）はｃｉ＿ｏｆｆ＿ｎｏとなるとする。セルの位置によって、フルタッ
チの状態のｃｉ＿ｏｆｆ（ｃ）やノータッチの状態のｃｉ＿ｏｆｆ（ｃ）が異なる場合は
、例えば、正常なセルにおけるｃｉ＿ｏｆｆ（ｃ）が全てｃｉ＿ｏｆｆ＿ｆｕｌｌとｃｉ
＿ｏｆｆ＿ｎｏの間に含まれるように、ｃｉ＿ｏｆｆ＿ｆｕｌｌとｃｉ＿ｏｆｆ＿ｎｏを
決めればよい。

ノーマライズ（規格化）に用いる関数の一例を説明する。ノーマライズに用いる関数は、
ｃｉ＿ｏｆｆ（ｃ）を引数として、ｃ０以上、ｃ１以下の値を返す（ｃ０、ｃ１は実数）
。例えば、ｃｉ＿ｏｆｆ（ｃ）がｃｉ＿ｏｆｆ＿ｎｏとｃｉ＿ｏｆｆ＿ｆｕｌｌの間の区
間では、増加関数または減少関数であり、ｃｉ＿ｏｆｆ（ｃ）がｃｉ＿ｏｆｆ＿ｎｏと同
じであればｃ１を返し、ｃｉ＿ｏｎ（ｃ）がｃｉ＿ｏｎ＿ｆｕｌｌと同じであれば、ｃ０
を返す関数である。

ｃｉ＿ｏｆｆ（ｃ）がｃｉ＿ｏｆｆ＿ｆｕｌｌとｃｉ＿ｏｆｆ＿ｎｏの間に入らず、ｃｉ
＿ｏｆｆ＿ｆｕｌｌの外側であればｃ０を返しても良い。ｃｉ＿ｏｆｆ（ｃ）がｃｉ＿ｏ
ｆｆ＿ｆｕｌｌとｃｉ＿ｏｆｆ＿ｎｏの間に入らず、ｃｉ＿ｏｆｆ＿ｎｏの外側であれば
ｃ１を返しても良い。

ノーマライズ（規格化）に用いる関数の具体的な例を示す。ｃｉ＿ｏｆｆ＿ｆｕｌｌ＜ｃ
ｉ＿ｏｆｆ＿ｎｏとする。ノーマライズに用いる関数は、数式（７）に示す関数ｎｏｒｍ
６において、ｘ、ｘ０、ｘ１、をそれぞれ、ｃｉ＿ｏｆｆ（ｃ）、ｃｉ＿ｏｆｆ＿ｆｕｌ
ｌ、ｃｉ＿ｏｆｆ＿ｎｏと置き換えた関数とすることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１
以下の値に変換する非線形の増加関数であっても良い。これにより、コントラストを変え
ることができる。その結果、タッチレベルの計算精度を向上できる場合がある。

例えば、ｃ０を０としてもよい。例えば、ｃ１を１としてもよい。

ｃｉ＿ｏｆｆ＿ｎｏおよびｃｉ＿ｏｆｆ＿ｆｕｌｌは、パラメータとして、適宜変更する
ことができる。その結果、タッチレベルの計算精度を向上できる場合がある。

ステップＳ３Ｂ−１Ｃは、図１８に示すステップＳ３Ｃ−１Ｃに相当する。ステップＳ３
Ｂ−１Ｃの処理は、最も明るい環境光のもとで黒表示時にタッチレベルを計算できる計算
方法の一例である。ｃｉ＿ｏｆｆ（ｃ）は、最も明るい環境光のもとで黒表示時にタッチ
レベルを表す場合がある。ｃｉ＿ｏｆｆ（ｃ）を上記のようにノーマライズ（規格化）す
ることで、タッチレベルの計算精度を向上することができる。

ステップＳ３Ｂ−３、Ｓ３Ｂ−４およびＳ３Ｂ−５は、図１８に示すステップＳ３Ｃ−３
、Ｓ３Ｃ−４、および図５に示すステップＳ３−５と、それぞれ同じ処理を行えばよい。
従って、図５および図１８に示すフローチャートの説明を参照することができる。

以上のようにして、タッチレベルを含むイメージが計算される。

上記のようなステップＳ３では、ライトユニットが点灯状態でのセンサイメージと、ライ
トユニットが消灯状態でのセンサイメージの２種類のセンサイメージを用い、表示中の画
像と、実際の環境光下での照度を考慮して計算を行う。その結果、環境光や表示画像の影
響がより抑えられたタッチレベルを含むイメージを計算することができる。

図７は、ステップＴ３（照度の計算）を説明するフローチャートの一例である。図７に示
すフローチャートは、ステップＴ３−１、Ｔ３−２、Ｔ３−３Ａ、Ｔ３−３Ｂ、Ｔ３−４
、Ｔ３−５、Ｔ３−６を備える。

ステップＴ３では、スタート時点において、バックグラウンドとなるセンサイメージを差
し引いたセンサイメージが生成された状態となっている。

ステップＴ３−１では、ライトユニットが消灯状態でのセンサイメージのスムージングを
行う。

スムージングは、例えば、隣接するセルのセンサ入力値を平均化する処理である。例えば
、ｍ行ｎ列のセルアレイを有する場合、センサイメージは、ｍ×ｎ個のセンサ入力値を有
する。スムージングは、例えば、（ｘ０、ｙ０）、（ｘ０＋１、ｙ０）、（ｘ０、ｙ０＋
１）、（ｘ０＋１、ｙ０＋１）に位置する４つのセルのセンサ入力値を平均する処理であ
る（ｘ０は１以上ｎ以下の奇数、ｙ０は１以上、ｍ以下の奇数）。ここで、（ｘ、ｙ）は
ｘ列目かつｙ行目のセルの座標を示す。その結果、スムージングを行ったセンサイメージ
は、ｍ×ｎ／４個の平均化されたセンサ入力値となる。上記の例では平均化するセル数を
４としたが、これに限らない。例えば、１６セルを平均化してもよい。スムージングによ
り、点欠陥やノイズの影響を低減することができる。

ステップＴ３−２では、スムージングを行ったセンサイメージを用いて、最も明るい場所
を見つける。このセンサ入力値は、環境光の下での照度を反映した値となる場合がある。

ステップＴ３−３Ａでは、最も明るい場所のセンサ入力値を用いて、照度ｉｌｌｕｍ＿ｗ
を取得する。白表示状態における環境光とセンサ入力値との関係を示す関数、或いはテー
ブルを参照して、照度ｉｌｌｕｍ＿ｗを取得する。照度ｉｌｌｕｍ＿ｗは、取得したセン
サイメージが白表示であった場合に推定される環境光の下での照度を表す。上記関数、或
いはテーブルは、予め測定しておいたデータに基づいて、準備しておけばよい。

ステップＴ３−３Ｂでは、最も明るい場所のセンサ入力値を用いて、照度ｉｌｌｕｍ＿ｂ
を取得する。黒表示状態における環境光とセンサ入力値との関係を示す関数、或いはテー
ブルを参照して、照度ｉｌｌｕｍ＿ｂを取得する。照度ｉｌｌｕｍ＿ｂは、取得したセン
サイメージが黒表示であった場合に推定される環境光の下での照度を表す。上記関数、或
いはテーブルは、予め測定しておいたデータに基づいて、準備しておけばよい。

ステップＴ３−４では、表示画像を取得する。

ステップＴ３−５では、取得した表示画像をグレイスケールに変換する。図５に示すフロ
ーチャートにおけるステップＳ３−４と同様の処理を行えばよく、図５に示すフローチャ
ートの説明を参照することができる。

ステップＴ３−６では、グレイスケールに変換された表示画像に従って、ステップＴ３−
３Ａで計算した照度ｉｌｌｕｍ＿ｗと、ステップＴ３−３Ｂで計算した照度ｉｌｌｕｍ＿
ｂの加重平均をとる。その結果、実際の環境光の下での照度の見積もり値ｉｌｌｕｍが計
算される。

ステップＴ３−２で見つけた最も明るい場所におけるグレイスケールに変換した値ｇｄｏ
ｒは、当該場所に近い一つ画素の表示出力値をグレイスケールに変換した値、または、当
該場所を含む複数の画素の表示出力値をグレイスケールに変換した値の平均値でもよい。
ｇｄｏｒは、黒表示時にｇｄｏ＿ｂ、白表示時にｇｄｏ＿ｗとなるとする。

加重平均に用いる関数の一例を説明する。加重平均に用いる関数ｍｉｘ３（ｉｌｌｕｍ＿
ｗ、ｉｌｌｕｍ＿ｂ；ｇｄｏｒ）は、ｇｄｏｒに従って、ｉｌｌｕｍ＿ｗとｉｌｌｕｍ＿
ｂの間の値を返す。例えば、関数ｍｉｘ３は、ｇｄｏｒの増加関数または減少関数であり
、ｇｄｏｒがｇｄｏ＿ｗと同じであれば、ｉｌｌｕｍ＿ｗを返し、ｇｄｏｒがｇｄｏ＿ｂ
と同じであれば、ｉｌｌｕｍ＿ｂを返す関数である。

加重平均に用いる関数の具体的な例を示す。加重平均に用いる関数は、数式（４）に示す
関数ｍｉｘにおいて、ｙ０、ｙ１、ｘ、ｘ０、ｘ１、をそれぞれ、ｉｌｌｕｍ＿ｂ、ｉｌ
ｌｕｍ＿ｗ、ｇｄｏｒ、ｇｄｏ＿ｂ、ｇｄｏ＿ｗと置き換えた関数とすることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１
以下の値に変換する非線形の増加関数であっても良い。

以上のようにして、環境光の下での照度の見積もり値が計算される。

上記のようなステップＴ３の処理を行うことで、照度センサが設けられていなくても、環
境光の下での照度の見積もり値を取得することができる。タッチするパネル上での照度の
見積もり値を取得することができる。

図８は、ステップＳ４（タッチデータの計算）を説明するフローチャートの一例である。
図８に示すフローチャートは、ステップＳ４−１、Ｓ４−２、Ｓ４−３を備える。

ステップＳ４では、スタート時点において、タッチレベルを含むイメージが生成された状
態となっている。

ステップＳ４−１では、ブロブ検出（ｂｌｏｂ ｄｅｔｅｃｔｉｏｎ）を行う。例えば、
スレッショルディング（ｔｈｒｅｓｈｏｌｄｉｎｇ）、数理形態学（ｍａｔｈｅｍａｔｉ
ｃａｌ ｍｏｒｐｈｏｌｏｇｙ）を用いた手法、イメージセグメンテーション（ｉｍａｇ
ｅ ｓｅｇｍｅｎｔａｔｉｏｎ）を用いて、ブロブ検出を行うことができる。ブロブ検出
は、これらの手法に限定されず、その他の輪郭検出の手法などを用いても良い。

ステップＳ４−２では、ブロブが１つ以上検出されたかどうかを判断する。ブロブが１つ
以上検出されれば、ステップＳ４−３へ進む。ブロブが１つも検出されなければ、処理を
終了する。

ステップＳ４−３では、タッチ位置等のタッチデータを計算する。例えば、重心の計算や
、タッチ位置の座標の計算等を行う。

以上のようにして、本発明の一態様に係るプログラムは、タッチ位置等のタッチデータを
計算することができる。ライトユニットが点灯状態でのセンサイメージと、ライトユニッ
トが消灯状態でのセンサイメージの２種類のセンサイメージを用い、表示中の画像と、環
境光の下での照度を考慮して計算を行うことで、より安定してタッチデータの計算を行う
ことができる。また、より高い精度でタッチデータの計算を行うことができる。このよう
なプログラムを記憶部に備えることで、より利便性に優れた情報処理装置を実現できる。

なお、照度の見積もり値の取得の頻度と、タッチ位置等のタッチデータを計算する頻度と
、は同じであってもよいが、異なっていても良い。環境光の下での照度は頻繁には変化し
ない場合が多いため、照度の見積もり値の取得頻度をタッチデータの計算頻度より少なく
しても良い。例えば、照度の見積もり値の取得頻度を、タッチデータの計算頻度の１／６
０倍乃至１倍とすることができる。例えば、タッチデータの計算頻度を、表示画像の更新
頻度の１／１０倍乃至１倍とすることができる。

なお、本実施の形態は、本明細書で示す他の実施の形態と適宜組み合わせることができる
。

（実施の形態２）
本実施の形態では、本発明の一態様に係る情報処理装置について図面を参照して説明する
。

図９を参照して、本発明の一態様に係る情報処理装置の構成の一例を説明する。

図９は、情報処理装置１９０Ｂの構成を説明するブロック図である。

図９に示す情報処理装置１９０Ｂは、プロセッサ１００と、記憶部１０３と、表示部およ
び光検出部１２０Ｂと、センサユニット１４０と、通信ユニット１６０と、コントローラ
１３０、コントローラ１５０、およびコントローラ１７０と、を有する。プロセッサ１０
０は、実行ユニット１０１と、記憶部１０２と、を有する。表示部および光検出部１２０
Ｂは、光検出部１２１と、表示部１２２と、ライトユニット１２３と、を有する。コント
ローラ１３０は、記憶部１３１、記憶部１３２を有する。プロセッサ１００と、記憶部１
０３と、コントローラ１３０、コントローラ１５０、およびコントローラ１７０と、はバ
スを介して接続されている。

プロセッサ１００は、センサイメージを処理するプログラム等、各種プログラムを実行す
る。記憶部１０２は、センサイメージを処理する、本願発明の一態様に係るプログラムが
格納されている。実行ユニット１０１は、上記プログラムを実行する。記憶部１０３は、
表示画像等を格納する。記憶部１０３は記憶部１０２より記憶容量が大きい。

表示部および光検出部１２０Ｂは、表示部１２２において画像を表示し、光検出部１２１
においてタッチ位置等のタッチデータを入力することができる。光検出部１２１は、タッ
チパネルの機能を有しても良い。

コントローラ１３０は、光検出部１２１、表示部１２２、およびライトユニット１２３の
制御を行う。記憶部１３１は、光検出部から出力されるセンサイメージを格納しても良い
。記憶部１３２は表示部１２２に出力する表示画像を格納しても良い。

センサユニット１４０として、温度センサや照度センサ等が設けられていても良い。コン
トローラ１５０は、センサユニット１４０を制御する。例えば、温度センサから温度を取
得する。例えば、照度センサから照度を取得する。プロセッサ１００は、取得した温度や
照度に応じた処理を行うことができる。温度が高い場合には動作電圧を下げる、照度が高
い場合にはライトユニットの輝度を高くする、といった処理を行っても良い。本発明の一
態様のプログラムＰ１において、センサユニット１４０が有する照度センサから照度を取
得しても良い。

通信ユニット１６０は、例えば、無線通信を行うユニットである。コントローラ１７０は
、通信ユニット１６０を制御する。

情報処理装置１９０Ｂは、例えば、光学式タッチパネル付きの無線通信可能な情報処理装
置であり、記憶部１０２に格納されたプログラムを用いて、タッチ位置などのタッチデー
タを計算することが可能な情報処理装置である。

なお、本実施の形態は、本明細書で示す他の実施の形態と適宜組み合わせることができる
。

（実施の形態３）
本実施の形態では、本発明の一態様に係る情報処理装置について図面を参照して説明する
。

本発明の一態様に係る情報処理装置として、例えば、テレビジョン装置（テレビ、または
テレビジョン受信機ともいう）、コンピュータ、デジタルビデオカメラ、デジタルフォト
フレーム、携帯電話機（携帯電話、携帯電話装置ともいう）、携帯型ゲーム機、携帯情報
端末、ゲーム機などが挙げられる。これらの電子機器の具体例を以下に示す。

図１０（Ａ）は、テレビジョン装置の一例を示している。テレビジョン装置は、筐体４１
１に表示部４１３が組み込まれている。また、ここでは、取り付け具４１５により筐体４
１１を壁面に支持できる構成を示している。表示部４１３により、映像を表示することが
可能である。また、表示部４１３と重なる領域に光検出部が設けられている。

テレビジョン装置は、プロセッサや記憶部を有し、記憶部に格納された本発明の一態様に
係るプログラムを用いて、タッチ位置などのタッチデータを計算することができる。その
結果、様々な周囲の照度や表示画像においても、安定して、タッチデータを計算すること
ができる。その結果、チャンネルや音量の操作、あるいは映像の操作を、安定して行うこ
とができる。

テレビジョン装置の操作は、筐体４１１が備える操作スイッチや、別体のリモコン操作機
４０１によっても行うことができる。リモコン操作機４０１が備える操作キー４０３によ
り、テレビジョン装置を操作することができる。また、リモコン操作機４０１に表示部４
０２を設ける構成としてもよい。

図１０（Ｂ１）はコンピュータであり、本体４２１、筐体４２２、表示部４２３、キーボ
ード４２４、外部接続ポート４２５、ポインティングデバイス４２６等を含む。なお、こ
のコンピュータは、表示部４２３と重なる領域に光検出部が設けられている。

コンピュータは、図１０（Ｂ２）のような形態であっても良い。図１０（Ｂ２）に示すコ
ンピュータは、キーボード４２４、ポインティングデバイス４２６の代わりに表示部４３
０が設けられている。

表示部４２３、および表示部４３０と重なる領域に光検出部が設けられている。すなわち
、表示部４２３、および表示部４３０は、光学式タッチパネル式となっており、表示部４
２３、および表示部４３０に表示された入力用の表示を指やペンで操作することによって
入力を行うことができる。また、表示部４２３、および表示部４３０は入力用表示だけで
なく、その他の画像を表示することも可能である。表示部４２３、または表示部４３０の
どちらか一方が光学式タッチパネルであっても良い。

コンピュータは、プロセッサや記憶部を有し、記憶部に格納された本発明の一態様に係る
プログラムを用いて、タッチ位置などのタッチデータを計算することができる。その結果
、様々な周囲の照度や表示画像においても、安定して、タッチデータを計算することがで
きる。その結果、コンピュータの操作を、安定して行うことができる。

図１０（Ｃ）は携帯型遊技機であり、筐体４３１と筐体４３２の２つの筐体で構成されて
おり、連結部４３３により、開閉可能に連結されている。筐体４３１には、表示部４３４
が組み込まれ、筐体４３２には表示部４３５が組み込まれている。

表示部４３４および表示部４３５と重なる領域に光検出部が設けられ、光学式タッチパネ
ル式となっている。携帯型遊技機は、プロセッサや記憶部を有し、記憶部に格納された本
発明の一態様に係るプログラムを用いて、タッチ位置などのタッチデータを計算すること
ができる。その結果、様々な周囲の照度や表示画像においても、安定して、タッチデータ
を計算することができる。その結果、携帯型遊技機の操作を、安定して行うことができる
。

また、図１０（Ｃ）に示す携帯型遊技機は、スピーカ部４３６、記録媒体挿入部４３７、
ＬＥＤランプ４３８、入力手段（操作キー４３９、接続端子４４０、センサ４４１（力、
変位、位置、速度、加速度、角速度、回転数、距離、光、液、磁気、温度、化学物質、音
声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、におい又
は赤外線を測定する機能を含むもの）、マイクロフォン４４２）等を備えている。図１０
（Ｃ）に示す携帯型遊技機は、記録媒体に記録されているプログラム又はデータを読み出
して表示部に表示する機能や、他の携帯型遊技機と無線通信を行って情報を共有する機能
を有する。なお、図１０（Ｃ）に示す携帯型遊技機が有する機能はこれに限定されず、様
々な機能を有することができる。

図１０（Ｄ）は、携帯電話機の一例を示している。携帯電話機は、筐体４５１に組み込ま
れた表示部４５２の他、操作ボタン４５３、外部接続ポート４５４、スピーカ４５５、マ
イク４５６などを備えている。

図１０（Ｄ）に示す携帯電話機は、表示部４５２と重なる領域に光検出部が設けられ、光
学式タッチパネル式となっている。よって、表示部４５２を指などで触れることで、情報
を入力することができる構成とすることもできる。この場合、電話を掛ける、或いはメー
ルを作成するなどの操作は、表示部４５２を指などで触れることにより行うことができる
。

携帯電話機は、プロセッサや記憶部を有し、記憶部に格納された本発明の一態様に係るプ
ログラムを用いて、タッチ位置などのタッチデータを計算することができる。その結果、
様々な周囲の照度や表示画像においても、安定して、タッチデータを計算することができ
る。その結果、携帯電話機の操作を、安定して行うことができる。

表示部４５２と重なる領域に設けられた光検出部で信号を検知し、表示部４５２のタッチ
操作による入力が一定期間ない場合には、画面のモードを切り替えるように制御してもよ
い。

表示部４５２は、イメージセンサとして機能させることもできる。例えば、表示部４５２
に掌や指で触れ、掌紋、指紋等を撮像することで、本人認証を行うことができる。また、
表示部に近赤外光を発光するバックライトまたは近赤外光を発光するセンシング用光源を
用いれば、指静脈、掌静脈などを撮像することもできる。

なお、本実施の形態は、本明細書で示す他の実施の形態と適宜組み合わせることができる
。

なお、本明細書において半導体装置とは、半導体特性を利用することで機能しうる装置全
般を指す。半導体素子（トランジスタ、ダイオード等）を含む回路、同回路を有する装置
等を含む。例えば、電子回路、電子回路を備えたチップは、半導体装置の一例である。記
憶装置、表示装置、発光装置、照明装置、電気光学装置、および電子機器等は、半導体装
置を有している場合がある。

トランジスタは、ゲート、ソース、およびドレインと呼ばれる３つのノード（端子）を有
する。ゲートは、トランジスタの導通状態を制御する制御ノードとして機能するノードで
ある。ソースまたはドレインとして機能する一対の入出力ノードは、トランジスタのチャ
ネル型及び各ノード（端子）に与えられる電位の高低によって、一方がソースとなり他方
がドレインとなる。一般的に、ｎチャネル型トランジスタでは、低い電位が与えられるノ
ードがソースと呼ばれ、高い電位が与えられるノードがドレインと呼ばれる。逆に、ｐチ
ャネル型トランジスタでは、低い電位が与えられるノードがドレインと呼ばれ、高い電位
が与えられるノードがソースと呼ばれる。

本明細書では、回路構成やその動作の理解を容易にするため、トランジスタの２つの入出
力ノードの一方をソースに、他方をドレインに限定して説明する場合がある。もちろん、
駆動方法によっては、トランジスタの３つの端子に印加される電位の大小関係が変化し、
ソースとドレインが入れ替わる場合がある。したがって、本発明の一形態において、トラ
ンジスタのソースとドレインの区別は、明細書および図面での記載に限定されるものでは
ない。

トランジスタのゲートとして機能する導電体をゲート電極、トランジスタのソースとして
機能する導電体をソース電極、トランジスタのドレインとして機能する導電体をドレイン
電極、トランジスタのソースとして機能する領域をソース領域、トランジスタのドレイン
として機能する領域をドレイン領域、と呼ぶ。本明細書では、ゲート電極をゲート、ドレ
イン電極またはドレイン領域をドレイン、ソース電極またはソース領域をソース、と記す
場合がある。

電圧は、ある電位と、基準の電位（例えば接地電位（ＧＮＤ）またはソース電位）との電
位差のことを示す場合が多い。よって、電圧を電位と言い換えることが可能である。

図面における各回路ブロックの配置は、説明のため位置関係を特定するものであり、異な
る回路ブロックで別々の機能を実現するよう図面で示していても、実際の回路や領域では
、同じ回路ブロック内で別々の機能を実現しうるように設けられている場合もある。また
図面における各回路ブロックの機能は、説明のため機能を特定するものであり、一つの回
路ブロックとして示していても、実際の回路や領域では、一つの回路ブロックで行う処理
を複数の回路ブロックで行うよう設けられている場合もある。

本明細書において接続とは、電気的な接続を意味しており、電流、電圧または電位が、供
給可能、或いは伝送可能な状態にすることができるような回路構成であることに相当する
。従って、接続している回路構成とは、直接接続している回路構成を必ずしも指すわけで
はなく、電流、電圧または電位が、供給可能、或いは伝送可能であるように、素子（例え
ば、スイッチ、トランジスタ、容量素子、インダクタ、抵抗素子、ダイオード、表示素子
、発光素子、負荷など）が例えば、配線、抵抗、ダイオード、トランジスタなどの回路素
子を介して間接的に接続している回路構成も、その範疇に含む。

本明細書において、回路図上は独立している構成要素どうしが接続されている場合であっ
ても、実際には、例えば配線の一部が電極としても機能する場合など、一の導電体が、複
数の構成要素の機能を併せ持っている場合もある。本明細書において接続とは、このよう
な、一の導電体が、複数の構成要素の機能を併せ持っている場合も、その範疇に含める。

なお、ある一つの実施の形態の中で述べる内容（一部の内容でもよい）は、その実施の形
態で述べる別の内容（一部の内容でもよい）、及び／又は、一つ若しくは複数の別の実施
の形態で述べる内容（一部の内容でもよい）に対して、適用、組み合わせ、又は置き換え
などを行うことが出来る。

なお、実施の形態の中で述べる内容とは、各々の実施の形態において、様々な図を用いて
述べる内容、又は明細書に記載される文章を用いて述べる内容のことである。

なお、ある一つの実施の形態において述べる図（一部でもよい）は、その図の別の部分、
その実施の形態において述べる別の図（一部でもよい）、及び／又は、一つ若しくは複数
の別の実施の形態において述べる図（一部でもよい）に対して、組み合わせることにより
、さらに多くの図を構成させることが出来る。

なお、明細書の中の図面や文章において規定されていない内容について、その内容を除く
ことを規定した発明の一態様を構成することが出来る。または、ある値について、上限値
と下限値などで示される数値範囲が記載されている場合、その範囲を任意に狭めることで
、または、その範囲の中の一点を除くことで、その範囲を一部除いた発明の一態様を規定
することができる。これらにより、例えば、従来技術が本発明の一態様の技術的範囲内に
入らないことを規定することができる。

具体例としては、ある回路において、第１乃至第５のトランジスタを用いている回路図が
記載されているとする。その場合、その回路が、第６のトランジスタを有していないこと
を発明として規定することが可能である。または、その回路が、容量素子を有していない
ことを規定することが可能である。さらに、その回路が、ある特定の接続構造をとってい
るような第６のトランジスタを有していない、と規定して発明を構成することができる。
または、その回路が、ある特定の接続構造をとっている容量素子を有していない、と規定
して発明を構成することができる。例えば、ゲートが第３のトランジスタのゲートと接続
されている第６のトランジスタを有していない、と発明を規定することが可能である。ま
たは、例えば、第１の電極が第３のトランジスタのゲートと接続されている容量素子を有
していない、と発明を規定することが可能である。

なお、本明細書等においては、能動素子（トランジスタ、ダイオードなど）、受動素子（
容量素子、抵抗素子など）などが有するすべての端子について、その接続先を特定しなく
ても、当業者であれば、発明の一態様を構成することは可能な場合がある。つまり、接続
先を特定しなくても、発明の一態様が明確であると言える。そして、接続先が特定された
内容が、本明細書等に記載されている場合、接続先を特定しない発明の一態様が、本明細
書等に記載されていると判断することが可能な場合がある。特に、端子の接続先が複数の
ケース考えられる場合には、その端子の接続先を特定の箇所に限定する必要はない。した
がって、能動素子（トランジスタ、ダイオードなど）、受動素子（容量素子、抵抗素子な
ど）などが有する一部の端子についてのみ、その接続先を特定することによって、発明の
一態様を構成することが可能な場合がある。

なお、本明細書等においては、ある回路について、少なくとも接続先を特定すれば、当業
者であれば、発明を特定することが可能な場合がある。または、ある回路について、少な
くとも機能を特定すれば、当業者であれば、発明を特定することが可能な場合がある。つ
まり、機能を特定すれば、発明の一態様が明確であると言える。そして、機能が特定され
た発明の一態様が、本明細書等に記載されていると判断することが可能な場合がある。し
たがって、ある回路について、機能を特定しなくても、接続先を特定すれば、発明の一態
様として開示されているものであり、発明の一態様を構成することが可能である。または
、ある回路について、接続先を特定しなくても、機能を特定すれば、発明の一態様として
開示されているものであり、発明の一態様を構成することが可能である。

なお、本明細書等においては、ある一つの実施の形態において述べる図または文章におい
て、その一部分を取り出して、発明の一態様を構成することは可能である。したがって、
ある部分を述べる図または文章が記載されている場合、その一部分の図または文章を取り
出した内容も、発明の一態様として開示されているものであり、発明の一態様を構成する
ことが可能であるものとする。そして、その発明の一態様は明確であると言える。そのた
め、例えば、能動素子（トランジスタ、ダイオードなど）、配線、受動素子（容量素子、
抵抗素子など）、導電層、絶縁層、半導体層、有機材料、無機材料、部品、装置、動作方
法、製造方法などが単数もしくは複数記載された図面または文章において、その一部分を
取り出して、発明の一態様を構成することが可能であるものとする。例えば、Ｎ個（Ｎは
整数）の回路素子（トランジスタ、容量素子等）を有して構成される回路図から、Ｍ個（
Ｍは整数で、Ｍ＜Ｎ）の回路素子（トランジスタ、容量素子等）を抜き出して、発明の一
態様を構成することは可能である。別の例としては、Ｎ個（Ｎは整数）の層を有して構成
される断面図から、Ｍ個（Ｍは整数で、Ｍ＜Ｎ）の層を抜き出して、発明の一態様を構成
することは可能である。さらに別の例としては、Ｎ個（Ｎは整数）の要素を有して構成さ
れるフローチャートから、Ｍ個（Ｍは整数で、Ｍ＜Ｎ）の要素を抜き出して、発明の一態
様を構成することは可能である。さらに別の例としては、「Ａは、Ｂ、Ｃ、Ｄ、Ｅ、また
は、Ｆを有する」と記載されている文章から、一部の要素を任意に抜き出して、「Ａは、
ＢとＥとを有する」、「Ａは、ＥとＦとを有する」、「Ａは、ＣとＥとＦとを有する」、
または、「Ａは、ＢとＣとＤとＥとを有する」などの発明の一態様を構成することは可能
である。

なお、本明細書等においては、ある一つの実施の形態において述べる図または文章におい
て、少なくとも一つの具体例が記載される場合、その具体例の上位概念を導き出すことは
、当業者であれば容易に理解される。したがって、ある一つの実施の形態において述べる
図または文章において、少なくとも一つの具体例が記載される場合、その具体例の上位概
念も、発明の一態様として開示されているものであり、発明の一態様を構成することが可
能である。そして、その発明の一態様は、明確であると言える。

なお、本明細書等においては、少なくとも図に記載した内容（図の中の一部でもよい）は
、発明の一態様として開示されているものであり、発明の一態様を構成することが可能で
ある。したがって、ある内容について、図に記載されていれば、文章を用いて述べていな
くても、その内容は、発明の一態様として開示されているものであり、発明の一態様を構
成することが可能である。同様に、図の一部を取り出した図についても、発明の一態様と
して開示されているものであり、発明の一態様を構成することが可能である。そして、そ
の発明の一態様は明確であると言える。

本実施例では、本発明の一態様に係るプログラムおよび情報処理装置について図面を用い
て説明する。

図１４に示す情報処理装置１９０Ｃを用いて、タッチ位置の計算を行った。

図１４に示す情報処理装置１９０Ｃは、表示部および光検出部を有するモジュール１２０
Ｃと、ボード１３０Ｃと、コンピュータ１８０Ｃと、を有する。表示部および光検出部を
有するモジュール１２０Ｃは、光検出部１２１と、表示部１２２と、バックライト１２３
Ｂと、を有する。ボード１３０Ｃは、記憶部１３１、コントローラ１３３、コントローラ
１３４、及び１３５を有する。コンピュータ１８０Ｃは、プロセッサ１００と記憶部１０
３とを有する。プロセッサ１００は、実行ユニット１０１と記憶部１０２とを有する。

コントローラ１３３は、光検出部１２１からセンサイメージを取得して、記憶部１３１に
取得したセンサイメージを格納する。コントローラ１３４は、記憶部１３１に格納された
センサイメージを読み出して、コンピュータ１８０Ｃに供給する。コントローラ１３５は
、コンピュータ１８０Ｃから、表示画像を取得して、表示部１２２に取得した表示画像を
供給する。記憶部１０２は、センサイメージを処理する、本願発明の一態様に係るプログ
ラムが格納されている。実行ユニット１０１は、上記プログラムを実行する。

表示部および光検出部を有するモジュール１２０Ｃの構成について説明する。

評価では、酸化物半導体（好ましくはＩｎ、Ｇａ、及びＺｎを含む酸化物）をチャネル形
成領域に含むトランジスタ（以下、酸化物半導体トランジスタとも呼ぶ）を用いたインセ
ル型光学式タッチパネルを用いた。このパネルは、フォトダイオードを有するセルが４副
画素ごとに設けられている。このパネルは、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏ
ｎｄ）で書き換えを行う、解像度７６８（Ｈ）×１０２４（Ｖ）の６インチの液晶である
。

図１１は、表示部および光検出部を有するモジュール１２０Ｃの構成例を示すブロック図
である。

図１１に示すモジュール１２０Ｃは、表示選択信号出力回路（ＤＳＥＬＯＵＴ）３０１と
、表示データ信号出力回路（ＤＤＯＵＴ）３０２と、リセット信号出力回路（ＲＳＴＯＵ
Ｔ）３０３ａと、読み出し選択信号出力回路（ＲＳＥＬＯＵＴ）３０３ｂと、ライトユニ
ット３０４と、７６８×１０２４個の画素（ＰＩＸＥＬ）３０５ｐ及び３８４×５１２個
のセル（ＣＥＬＬ）３０５ｃが設けられた領域３０５と、読み出し回路３０６と、データ
出力回路３０７と、を具備する。

表示選択信号出力回路３０１と、表示データ信号出力回路３０２と、画素３０５ｐは、表
示部１２２が有していても良い。リセット信号出力回路３０３ａと、読み出し選択信号出
力回路３０３ｂと、セル３０５ｃは、光検出部１２１が有していても良い。表示部１２２
と光検出部１２１とは、互いに重なる領域に設けられている。ライトユニット３０４は、
バックライト１２３Ｂに対応する。

表示選択信号出力回路３０１は、複数の表示選択信号を出力する機能を有する。表示デー
タ信号出力回路３０２には、画像信号が入力される。表示データ信号出力回路３０２は、
入力された画像信号を元に表示データ信号を生成し、生成した表示データ信号を出力する
機能を有する。リセット信号出力回路３０３ａは、リセット信号を出力する機能を有する
。読み出し選択信号出力回路３０３ｂは、読み出し選択信号を出力する機能を有する。ラ
イトユニット３０４は、光源として白色ＬＥＤを備え、光源が発光することにより点灯す
る機能を有する。

画素３０５ｐは、例えば選択用トランジスタ及び液晶素子を備える。液晶素子は、電圧が
印加されることにより光の透過率が変化する素子である。選択用トランジスタは、表示選
択信号に応じてオン状態又はオフ状態になる。液晶素子は、表示データ信号に応じた表示
状態になる機能を有する。

セル３０５ｃは、入射する光の照度に応じた電圧を生成する機能を有する。セル３０５ｃ
には、リセット信号及び読み出し選択信号が入力される。セル３０５ｃは、リセット信号
に従ってリセット状態になる機能を有する。セル３０５ｃは、読み出し選択信号に従って
データ信号を出力する機能を有する。

読み出し回路３０６は、セル３０５ｃを選択し、選択したセル３０５ｃからデータ信号を
読み出す機能を有する。読み出し回路３０６は、読み出されたデータ信号をデータ出力回
路３０７に供給する機能を有する。データ出力回路３０７は、入力されたデータ信号を、
外部に出力する機能を有する。

図１１に示す表示部および光検出部を有するモジュール１２０Ｃの駆動方法は、センサ入
力動作及び表示動作に分けられる。

センサ入力動作では、例えば、ライトユニット３０４が点灯状態あるいは消灯状態になり
、セル３０５ｃによりデータ信号を出力して、読み出し回路３０６によりデータ信号を読
み出し、データ出力回路３０７において読み出されたデータ信号を出力する。本発明の一
態様のプログラムで用いるように、ライトユニット３０４が点灯状態及び消灯状態になり
、それぞれの状態のときにセル３０５ｃによりデータ信号を出力してもよい。

表示動作では、例えば、ライトユニット３０４が点灯状態になり、表示選択信号に従って
選択用トランジスタがオン状態になる。このとき、液晶素子に表示データ信号に応じた電
圧が印加され、液晶素子は、印加される電圧に応じた表示状態になる。その後、表示選択
信号に従って選択用トランジスタがオフ状態になる。

図１２に、画素３０５ｐ及びセル３０５ｃの回路構成の一例を示す。図１２では、４つの
副画素３０５ｓｐと、１つのセル３０５ｃが示されている。

副画素３０５ｓｐは、液晶素子２２２と、選択用トランジスタ２２３と、容量素子２２４
とを有する。選択用トランジスタ２２３のゲートは、走査線ＧＬに接続されて、ソースま
たはドレインの一方は信号線ＳＬに、他方は液晶素子２２２に接続されている。容量素子
２２４が有する一対の電極は、一方が液晶素子２２２に接続され、他方は配線ＣＯＭに接
続されている。

走査線ＧＬには、上記表示選択信号が与えられる。信号線ＳＬには、上記表示データ信号
が与えられる。

セル３０５ｃは、フォトダイオード２０２と、トランジスタ２０４と、トランジスタ２０
５と、トランジスタ２０６と、を有している。フォトダイオード２０２は、半導体の接合
部に光があたると電流が発生する性質を有する光電変換素子である。フォトダイオード２
０２の陽極が、配線ＰＲに接続されている。フォトダイオード２０２の陰極が、トランジ
スタ２０４のソースとドレインの一方に接続されている。トランジスタ２０４のソースと
ドレインの他方がトランジスタ２０５のゲートに接続されている。トランジスタ２０４の
ゲートは、配線ＴＸと接続されている。トランジスタ２０５のソースとドレインの一方は
、ハイレベルの電源電位ＶＤＤが与えられている配線ＶＲに接続されている。トランジス
タ２０５のソースとドレインの他方は、トランジスタ２０６のソースとドレインの一方に
接続されている。トランジスタ２０６のソースとドレインの他方は、配線ＯＵＴに接続さ
れている。トランジスタ２０６のゲートは、配線ＳＥに接続されており、配線ＳＥにはト
ランジスタ２０６のスイッチングを制御する信号の電位が与えられる。

配線ＰＲには、上記リセット信号が与えられる。配線ＳＥには、上記読み出し選択信号が
与えられる。

トランジスタ２０５のゲートが接続されているノードＦＤに蓄積される電荷の量によって
、配線ＯＵＴに出力する信号の電位が決まる。ノードＦＤにおいて電荷をより確実に保持
するために、トランジスタ２０４は、オフ電流の小さいトランジスタを用いることが好ま
しい。本実施例では、酸化物半導体トランジスタを用いることで、小さいオフ電流を実現
している。

セル３０５ｃの動作について説明する。図１３に、セル３０５ｃに与えられる各種電位の
タイミングチャートの一例を示す。

図１３に示すタイミングチャートでは、配線ＴＸには、ハイレベルの電位ＨＴＸと、ロー
レベルの電位ＬＴＸが与えられるものとし、配線ＳＥには、ハイレベルの電位ＨＳＥと、
ローレベルの電位ＬＳＥが与えられるものとし、配線ＰＲには、ハイレベルの電位ＨＰＲ
と、ローレベルの電位ＬＰＲが与えられるものとする。

まず、時刻ｔ１において、配線ＴＸの電位を、電位ＬＴＸから電位ＨＴＸに変化させる。
配線ＴＸの電位が電位ＨＴＸになると、トランジスタ２０４はオンになる。なお、時刻ｔ
１において、配線ＳＥには電位ＬＳＥが与えられ、配線ＰＲには電位ＬＰＲが与えられて
いる。

次いで、時刻ｔ２において、配線ＰＲの電位を、電位ＬＰＲから電位ＨＰＲに変化させる
。また、時刻ｔ２において、配線ＴＸの電位は電位ＨＴＸのままであり、配線ＳＥの電位
は電位ＬＳＥのままである。よって、ノードＦＤには配線ＰＲの電位ＨＰＲが与えられる
ため、ノードＦＤに保持されている電荷の量はリセットされる。

次いで、時刻ｔ３において、配線ＰＲの電位を、電位ＨＰＲから電位ＬＰＲに変化させる
。時刻ｔ３の直前まで、ノードＦＤの電位は電位ＨＰＲに保たれているため、配線ＰＲの
電位が電位ＬＰＲになると、フォトダイオード２０２に逆方向バイアスの電圧が印加され
ることになる。そして、フォトダイオード２０２に逆方向バイアスの電圧が印加された状
態で、フォトダイオード２０２に光が入射すると、フォトダイオード２０２の陰極から陽
極に向かって電流が流れる。上記電流値は、フォトダイオード２０２に入射する光の強度
が高いほど高くなり、ノードＦＤからの電荷の流出も大きくなる。よって、ノードＦＤの
電位は、光の強度が高いほど変化が大きい。

次いで、時刻ｔ４において、配線ＴＸの電位を電位ＨＴＸから電位ＬＴＸに変化させると
、トランジスタ２０４はオフになる。よって、ノードＦＤからフォトダイオード２０２へ
の電荷の移動が止まるため、ノードＦＤの電位が定まる。

次いで、時刻ｔ５において、配線ＳＥの電位を電位ＬＳＥから電位ＨＳＥに変化させると
、トランジスタ２０６はオンになる。すると、ノードＦＤの電位に応じて配線ＶＲから配
線ＯＵＴへと電荷が移動する。

次いで、時刻ｔ６において、配線ＳＥの電位を電位ＨＳＥから電位ＬＳＥに変化させると
、配線ＶＲから配線ＯＵＴへの電荷の移動が停止し、配線ＯＵＴの電位が決定する。この
配線ＯＵＴの電位が、セル３０５ｃの出力信号の電位に相当する。

上記一連の動作は、リセット動作、蓄積動作、読み出し動作に分類することができる。す
なわち、時刻ｔ２から時刻ｔ３までの動作がリセット動作、時刻ｔ３から時刻ｔ４までの
動作が蓄積動作、時刻ｔ５から時刻ｔ６までの動作が読み出し動作に相当する。リセット
動作、蓄積動作、読み出し動作を行うことで、センサ入力値を取得することができる。

評価では、フレームごとに２つのセンサイメージを取り込んだ。１つはライトユニットが
オンの状態のセンサイメージ、もう１つはライトユニットがオフの状態のセンサイメージ
である。以下に説明するように、本願発明の一態様に係るプログラムの手順（以下、アル
ゴリズムとも呼ぶ）に従って、これら２つのセンサイメージは、ホストシステムに送信さ
れ、タッチポイント検出のために画像処理された。

図１９は、表示部および光検出部を有するモジュール１２０の模式図を示す。モジュール
１２０は１フレームごとに２つのセンサイメージを取得することができる。１つのイメー
ジはライトユニットがオンのときに取得され、もう１つのイメージはライトユニットがオ
フときに取得される。

全セルで蓄積動作を一斉に行う方式を、グローバルシャッタ方式、セルにおける蓄積動作
を、行ごとに順次行う方式を、ローリングシャッタ方式を言う。本評価では、グローバル
シャッタ方式を採用した。グローバルシャッタ方式は、ローリングシャッタ方式よりも、
全セルにおいて蓄積動作を完了させるまでの期間が短く、高速なセンサイメージの取得が
可能である。フレームごとに２つのセンサイメージを取り込む本評価では、特に有効な方
式である。さらに、高速で移動する被写体を撮像する場合、ローリングシャッタ方式では
歪みの大きい被写体のセンサイメージが取得されるのに対し、グローバルシャッタ方式で
は、歪みの小さい被写体のセンサイメージを取得することができる。

一方、いずれの方式においても読み出し動作はセルの行ごとに行うため、読み出し期間が
開始されるタイミングはセルの行ごとに異なる。このため、グローバルシャッタ方式では
、蓄積期間が終了してから、読み出し期間が開始されるまでの期間（電荷保持期間とも呼
ぶ）の長さが、セルの行ごとに異なる。このため、セル内のノードＦＤに蓄積されている
電荷が時間の経過と共にリークしてしまうと、セルの出力信号の電位が行ごとに異なって
しまい、行ごとにその階調数が変化した画像データが得られてしまう場合がある。本実施
例では、図１２に示すセル３０５ｃにおいて、トランジスタ２０４として、オフ電流の小
さい酸化物半導体トランジスタを用いた。その結果、グローバルシャッタ方式においても
、電荷保持期間が異なることに起因する画像データの階調の変化を小さく抑え、撮像され
た画像の品質を向上させることができた。

評価に用いたアルゴリズムの概要を、図１５に示す。アルゴリズムは、タッチポイントの
検知と計算の際に周囲照度とパネル上の画素出力値を考慮している。本実施例では、画素
出力値は０から１までの浮動小数点数で表し、１が白表示で０が黒表示を示す。

白画像を映した状態で最も暗いときと最も明るいときに予め撮像した２つの校正用イメー
ジ（以下、暗い校正用イメージと明るい校正用イメージと呼ぶ）を用いて、センサイメー
ジをセルごとに校正する（図１５のブロック３）。セルごとのセンサ入力値は暗い校正用
イメージとの差分を求めて、それから暗い校正用イメージと明るい校正用イメージの差分
で割ることで、０から１の範囲に収まるように変換される。

黒画像を映した状態で最も暗い条件下で、第三の校正用イメージを予め取得する。ライト
ユニットオフで撮像したセンサイメージは、センサイメージのオフセットを調整するため
にこの校正用イメージとの差分を計算する（図１５のブロック６）。この差分を取ったイ
メージは照度の見積もりで利用される（図１５のブロック７）。表示画像をグレイスケー
ルに変換し（図１５のブロック５）、見積もった照度と共に、図１５のブロック８（選択
的な正規化）に入力される。ブロック８では、校正後のセンサイメージは、この入力に依
存して異なる方法で正規化される。

最後に、タッチの輪郭を一般的なブロブ検出方法で判別し（図１５のブロック９）、タッ
チデータを求める（図１５のブロック１０）。

照度の見積もりについて説明する。照度見積もりの概要を、図１６に示す。誤検出された
センサ入力値を除外するため、センサイメージにスムージングを掛けた後（図１６のブロ
ック２）、センサ入力の最大値を求める（図１６のブロック３）。この最大値は２つの別
々の関数の引数として与えられる。２つの関数は黒表示画像と白表示画像に対応するもの
である。これらの関数は予め測定しておいたデータに基づいて近似して求めた。これらの
関数はセンサ入力値を２つの照度に変換する（図１６のブロック４）。最後に、図１６の
ブロック３で検出した点（センサ入力が最大となる点）を用いて、表示している画像の画
素出力値を調べる。その画素出力値を用いて、図１６のブロック４で得られた２つの照度
の加重平均を求める（図１６のブロック６）。

さらに、ユーザがディスプレイを使用しているときに照度を安定させるために、過去の照
度を保存しておき、その中で最大値のものを使用した。実験では、照度を０．５秒間隔で
取得し、最新の５つ照度を用いた。

図１５のブロック８の処理では、校正後のセンサ入力値ｉｏｎとｉｏｆｆ（前者はライト
ユニットをオン、後者はライトユニットをオフ）を正規化して、０はフルタッチの状態、
１はノータッチの状態とする。表示画像の白い画素に対する処理は単純である。すなわち
、１−｜ｉｏｎ−ｉｏｆｆ｜を計算し、それから線形にスケールを変更する。

表示画像の黒い画素では、ライトユニットから光が画素に吸収されるため指で反射するラ
イトユニットの光の量が少ない。そのため照度を考慮することが有効となる。照度が固定
パラメータγより大きければ、遮光による差が大きいためｉｏｆｆのみを使用する。他方
、照度がγより小さければ、ライトユニットから光の反射が充分に大きいのでｉｏｎのみ
を使用する。黒い画素上に生じるセンサ入力値はタッチ以外の影を除外するためにコント
ラストを大きくすることによって鮮明になる。最終的には、黒い画素と白い画素用の２つ
の正規化された値は、表示画像の画素出力値を用いて加重平均化が為される。

上記アルゴリズムは、ＧＰＵを活用せずとも６０ｆｐｓで動作した。照度の見積もりは、
タッチパネル使用時における実際の照度から１５％以上外れることはなかった。

図１７に、上記アルゴリズムを用いた本願発明の一態様に係るプログラムに従って、画像
処理を行った結果を示す。つまり、図１７に示すのは、情報処理によって得られたタッチ
レベルを含むイメージである。図１７（Ａ）は、周囲が明るく白表示画像の場合の結果で
ある。図１７（Ｂ）は、周囲が暗く白表示画像の場合の結果である。図１７（Ｃ）は、周
囲が明るく黒表示画像の場合の結果である。図１７（Ｄ）は、周囲が暗く黒表示画像の場
合の結果である。図１７（Ｅ）は、明るい状態で表示画像のグレイスケールを変化させて
撮像した６つのセンサイメージの画像処理の結果である。

図１７に見られるように、表示画像が白のときは、照度に関わらず鮮明なタッチ領域を判
別できる。黒表示画像でも周囲が明るいときはタッチ領域がはっきり確認できる。照度が
小さい場合、黒表示画像におけるタッチ領域ははっきりしているが、ノイズがあり模様が
みられる。ダイナミックレンジも低くなる。全体的に見て、上記アルゴリズムは白表示画
像以外の画像を表示した状態でも動作することから、周囲の光や表示画像を考慮しない場
合と比較して、性能を改善することができた。

８通りの明るさについて、図１６に示すアルゴリズムに従って照度を見積もった。図２０
は照度の見積もりの結果と、照度計で測定した照度とを示す。黒表示画像の場合と、白画
像表示の場合について、それぞれ、照度を見積もった。ここでは、校正用のイメージとし
て第４の校正用センサイメージも取得しておいて、第１乃至第４の校正用イメージを用い
て照度を見積もっている。第４の校正用センサイメージは、黒画像を映した状態で最も明
るい条件下で取得したものである。

比較例として、バックライトがオンとオフのときのセンサイメージの差分のみを用いるタ
ッチ検出手法でタッチポイントを検出した。図２１は、比較例のタッチ検出方法のフロー
チャートを示す。図２２は、ライトユニットがオンとオフそれぞれの一行のセンサ値、お
よびセンサ値の差分を示す。差分の曲線において、一点鎖線で囲まれているピークは、タ
ッチ部分が存在していることを示唆している。実際のタッチポイントは点線で示している
。

図１５に示す本実施例のタッチ検出方法と図２１に示す比較例のタッチ検出方法とにより
、１２８点のタッチポイントを検出するテストを行った。両方の手法において、実際のタ
ッチ検出には同じアルゴリズム、静的しきい値法および連結成分法が用いられた。このテ
ストにおいて、本実施例のタッチ検出方法では、第１乃至第４の校正用イメージを用いて
照度を見積もっている。

本実施例のアルゴリズムは１０５点の正しいタッチポイントを検出することができた。そ
れに対して比較例では、検出することができた正しいタッチポイントは５８点であった。
また、本実施例のアルゴリズムでは、誤って検出したタッチポイントは１８点であったの
に対して、比較例では５８点を誤って検出した。この結果は、黒表示画像、白表示画像そ
れぞれに関して、０から１６００ルクスにわたっている１２８点のタッチポイントについ
てものである。

本実施例で示したように、上記アルゴリズムを用いた本願発明の一態様に係るプログラム
は、照度の見積もり値と表示画像とを考慮することで、より安定して、またより正確にタ
ッチデータの計算を行うことができた。

１００ プロセッサ
１０１ 実行ユニット
１０２ 記憶部
１０３ 記憶部
１１０ 情報処理ユニット
１２０Ａ 表示部および光検出部
１２０Ｂ 表示部および光検出部
１２０Ｃ モジュール
１３０ コントローラ
１３０Ｃ ボード
１３１ 記憶部
１３２ 記憶部
１３３ コントローラ
１３４ コントローラ
１３５ コントローラ
１５０ コントローラ
１７０ コントローラ
１８０Ａ 情報処理装置
１８０Ｂ 情報処理装置
１８０Ｃ コンピュータ
１９０Ａ 情報処理装置
１９０Ｂ 情報処理装置
１９０Ｃ 情報処理装置

Claims (2)

1. 表示部と、バックライトユニットと、光検出部と、を有する情報処理装置のプログラムであって、
   前記プログラムは、第１乃至第３のステップを備え、
   前記第１のステップは、前記バックライトユニットが消灯状態における前記光検出部から出力されるセンサイメージを取得するステップを有し、
   前記第２のステップは、前記センサイメージから校正用イメージを差し引くことで第１のイメージを計算するステップを有し、
   前記第３のステップは、
   前記第１のイメージのスムージングを行うことで、第２のイメージを計算するステップと、
   前記第２のイメージのうち最も明るい要素のセンサ入力値を探すステップと、
   前記最も明るい要素のセンサ入力値を用いて第１および第２の照度の見積もり値を計算するステップと、
   前記表示部から表示画像を取得するステップと、
   前記表示画像をグレイスケールに変換することで、第１の画像を計算するステップと、
   前記最も明るい要素の座標と前記第１の画像に従って、前記第１および前記第２の照度の見積もり値の加重平均をとることで、第３の照度の見積もり値を計算するステップと、を有するプログラム。
2. 請求項１に記載のプログラムを格納した記憶部と、
   ＣＰＵと、を有し、
   前記ＣＰＵは前記プログラムを実行する情報処理装置。