JP2010096909A - 画像表示／像検知装置および当該画像表示／像検知装置に備えられた表示部の検査方法 - Google Patents

Abstract

【課題】互いが異なる筐体に備えられている表示パネルの相対位置のずれを、容易かつ確実に検出することができる機能を有する画像表示／像検知装置を提供する。
【解決手段】本発明に係るデータ表示／センサ装置１００は、表示／光センサ部３００と表示部３１０とが対向する状態で表示部３１０に所定の検査用画像を表示させる画像表示制御部１６と、表示／光センサ部３００における光センサが検出した検出画像の画像情報が検査用画像の画像情報と一致するか否かを判定する判定部１１と、を備えている。
【選択図】図１

Description

本発明は、画像を表示する画像表示装置に関し、特には、画像を表示する表示パネルを有する表示部を複数備え、その少なくともいずれかの表示部が、センサ内蔵表示パネルを有している画像表示装置、および、当該画像表示装置に備えられた表示部同士の位置ずれを検査する検査方法に関する。

近年、携帯電話および携帯型ゲーム機器をはじめとする携帯型情報端末において、画像を表示する表示部を複数備えている機器が増加している。これらの機器では、少なくともいずれかの表示部が、画像を表示する機能に加えて、ユーザが指などでポインティング（タッチ）した位置を検出することが可能な、いわゆるタッチパネル機能を有していることが多い。

このように、複数の表示部を有しているような機器では、各表示部が、それぞれ異なる筐体に備えられていることが一般的である。そして、表示部の備えられている各筐体は、連結部により互いに連結されており、機器を使用しないときに、表示部が損傷しないように、上記連結部を支点として表示部同士が互いに対向する状態に折り畳むことができるようになっている。

また、文書に記載されている情報を読み取り、画像データとして電子化することができるスキャナ装置においても、ユーザの利便性を高めるため、一度の操作で文書の両面を同時に読み取ることができるスキャナ装置が従来から用いられている。そのようなスキャナ装置は、コピー機などのように、大型で据え置き型が一般的であるが、携帯型も登場している（例えば、特許文献１を参照）。

特許文献１に開示されているスキャナ装置は、２つのスキャナユニットをヒンジ部で折り畳める構造になっており、折り畳んだスキャナユニットの間に挟んだ文書の両面を、同時に読み取ることができる。
特開２００８−６６９６１号公報（公開日：平成２０年３月２１日）

しかし、筐体同士を連結する連結部にはひずみが生じやすいため、表示部同士を対向させるように機器を折り畳んだ場合、連結部のひずみに起因して、各筐体に備えられている表示部同士の相対位置がずれる可能性がある。また、機器の製造時における製造誤差、具体的には筐体に表示部を取り付ける際の製造誤差により、筐体に対して表示部が歪んで取り付けられてしまうことがある。

このような場合、検査者が製造された機器を目視することにより表示部同士の相対位置のずれ、および、製造時における表示部の取り付け誤差を確認することが一般的であるが、効率が悪く、また不良品を確実に検出することが非常に困難であるという問題を有している。

また、検査者の目視に頼ることなく、自動的に表示部同士の相対位置のずれを検出する検出方法としては、例えばカメラなどの撮像機器を用いて撮像した画像を画像処理する方法が知られている。しかし、このような検出方法では、撮像装置、画像処理装置をはじめとした検査装置が別途必要であるため、検査処理工程におけるコストが増加し、ひいては機器の製造コスト自体も増加してしまうという問題を有している。

本発明は、上記の各問題に鑑みてなされたものであり、その主たる目的は、互いが異なる筐体に備えられている表示部同士の相対位置のずれを、容易かつ確実に検出することができる機能を有する画像表示装置（画像表示／像検知装置）を提供することにある。

本発明に係る画像表示／像検知装置は、上記課題を解決するために、
２つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する２つの内面のうち、一方の内面に、画像を表示する第１面状部材が配設され、他方の内面に、近傍の像を検知する第２面状部材が配設された画像表示／像検知装置であって、
上記筐体を折り畳んだ状態で、上記第１面状部材に所定の検査用画像を表示させる表示制御手段と、
上記筐体を折り畳んだ状態で上記第２面状部材により検知された上記第１面状部材の像が、上記検査用画像と一致するか否かを判定する判定手段と、
を備えていることを特徴としている。

本発明に係る画像表示／像検知装置は、筐体を折り畳んだ状態、すなわち第１面状部材と第２面状部材とを対向させた状態で、上記第１面状部材に所定の検査用画像を表示させ、表示されている検査用画像を第２面状部材において検出する。そして、判定手段は、第２面状部材により検知された第１面状部材の像と、検査用画像とが一致するか否かを判定する。

すなわち、本発明に係る画像表示／像検知装置における判定手段では、第２面状部材により検知された第１面状部材の像と、検査用画像とが一致する場合には、第１面状部材に対する第２面状部材の相対位置にずれは生じていないと判定し、また、一致しない場合には、第１面状部材に対する第２面状部材の相対位置にずれが生じていると判定する。

このように、本発明に係る画像表示／像検知装置では、検査者による目視または別の検査機器に頼ることなく、自装置において第１面状部材に対する第２面状部材の相対位置のずれを検出することができる。また、第１面状部材と第２面状部材とを対向するように筐体を折り畳むという動作のみで、第１面状部材に対する第２面状部材の相対位置のずれを検出することができる。すなわち、検査者に煩雑な操作を強いることなく、第１面状部材に対する第２面状部材の相対位置のずれを検出することができる。

これによって、本発明に係る画像表示／像検知装置は、第１面状部材に対する第２面状部材の相対位置のずれを容易かつ確実に検出することができる効果を奏する。

本発明に係る画像表示／像検知装置では、さらに、上記判定手段が、上記第２面状部材により検知された上記第１面状部材の像と、上記検査用画像とが一致していないと判定したときに、上記第２面状部材により検知された上記第１面状部材の像と、上記検査用画像とのずれ量を算出する算出手段と、
上記第２面状部材により検知された像における高輝度領域の位置座標を、上記ずれ量に基づいて補正する補正手段と、
をさらに備えていることが好ましい。

上記の構成によれば、算出したずれ量に基づいて、上記第２面状部材により検知された像における高輝度領域の位置座標を補正することができる。これによって、第２面状表示部材により検知された像における高輝度領域の補正画像データを作成することができる効果を奏する。

なお、本明細書等における「高輝度領域」とは、近傍の像を検知する検知部において検知される像において、画素値の明度が所定の閾値より高くなっている部分を全て含む最小の矩形領域を意味している。

本発明に係る画像表示／像検知装置では、さらに、上記第２面状部材により検知された像を、上記算出手段により算出されたずれ量に応じて補正したうえで、上記第１面状部材に表示する補正画像表示制御手段をさらに備えていることが好ましい。

上記の構成によれば、ずれ量を考慮した補正画像を第１面状部材に表示することができる効果を奏する。

本発明に係る画像表示／像検知装置では、さらに、上記表示制御手段が上記第１面状部材に黒画像を表示させている状態で、上記第２面状部材により検知された上記第１面状部材の像に基づいて、上記第１面状部材において所定の閾値以上の輝度を有する領域の位置を特定する特定手段をさらに備えていることが好ましい。

本発明に係る画像表示／像検知装置では、さらに、上記表示制御手段が上記第１面状部材に白画像を表示させている状態で、上記第２面状部材により検知された上記第１面状部材の像に基づいて、上記第１面状部材において所定の閾値以下の輝度を有する領域の位置を特定する特定手段をさらに備えていることが好ましい。

上記の構成によれば、自装置において、第１面状部材と第２面状部材との相対位置のずれの検出以外にも、輝点の検出または黒点の検出を行うこともできる効果を奏する。

なお、本明細書等における「黒画像」とは、第１面状部材における各画素の画素値が全て最大値である画像を意味しており、「白画像」とは、第１面状部材における各画素の画素値が全て最小値である画像を意味している。

本発明に係る画像表示／像検知装置では、さらに、上記特定手段により特定された領域を上記第１面状部材に表示するとき、当該領域が上記第１面状部材に表示される位置を示すマーカーを、上記第１面状部材に表示するマーカー表示制御手段をさらに備えていることが好ましい。

上記の構成によれば、検査者が、第１面状部材において輝点または黒点が存在するか否かを容易に判定することができる効果を奏する。

また、特定手段により特定された領域を第１面状部材に表示することにより、輝点もしくは黒点が第２面状部材に設けられた近傍の像を検知するための検知部の不良に起因して生じているのか、または、第１面状部材におけるドット抜けに起因して生じているのかを判定することができる効果を奏する。

本発明に係る画像表示／像検知装置では、さらに、上記第１面状部材が、画像を表示すると共に、近傍の像を検知することが好ましい。

上記の構成によれば、筐体の間に挿入した物体の像を、第１面状部材と第２面状部材とにおいて同時に検知することができる効果を奏する。

本発明に係る画像表示／像検知装置の検査方法は、上記課題を解決するために、
２つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する２つの内面のうち、一方の内面に、画像を表示する第１面状部材が配設され、他方の内面に、近傍の像を検知する第２面状部材が配設された画像表示／像検知装置の検査方法であって、
上記筐体を折り畳んだ状態で、上記第１面状部材に所定の検査用画像を表示させる表示制御ステップと、
上記筐体を折り畳んだ状態で上記第２面状部材により検知された上記第１面状部材の像が、上記検査用画像と一致するか否かを判定する判定ステップと、
含むことを特徴としている。

上記の構成によれば、本発明に係る画像表示／像検知装置と同様の作用効果を奏する。

また、本発明に係る画像表示／像検知装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。

本発明に係る画像表示／像検知装置は、以上のように、筐体を折り畳んだ状態、すなわち第１面状部材と第２面状部材とを対向させた状態で、上記第１面状部材に所定の検査用画像を表示させる画像表示制御手段と、第２面状部材により検知された第１面状部材の像が、検査用画像と一致するか否かを判定する判定手段と、を備えている。これによって、本発明に係る画像表示／像検知装置は、第１面状部材に対する第２面状部材の相対位置のずれを容易かつ確実に検出することができる効果を奏する。

本発明に係るデータ表示／センサ装置（画像表示／像検知装置）の一実施形態について図１〜１６を参照しつつ、以下に説明する。

（データ表示／センサ装置の外観）
データ表示／センサ装置１００は、図２に示すように、上部筐体４０、下部筐体４１、および連結部４２を備えている。図２は、データ表示／センサ装置１００の外観を示す図である。図２に示すように、上部筐体４０には、表示部３１０が備えられており、また下部筐体４１には、表示／光センサ部３００が備えられている。連結部４２は、上部筐体４０および下部筐体４１を互いに連結すると共に、データ表示／センサ装置１００を表示／光センサ部３００と表示部３１０とが対向するように折り畳むためのヒンジとしての役目も有している。

図２には、上部筐体４０の一部と下部筐体４１の一部とが互いに連結することにより構成されている連結部４２を示しているが、もちろんこれに限定されるものではない。例えば、蝶番を連結部４２としてデータ表示／センサ装置１００に取り付けてもよい。

なお、図２には、折り畳み式のデータ表示／センサ装置１００を図示しているが、データ表示／センサ装置１００の形態はこれに限定されるものではなく、データ表示／センサ装置１００を使用しない時に表示／光センサ部３００と表示部３１０とが対向するように配置することができる形態であればよい。例えば、データ表示／センサ装置１００の形態は、上部筐体４０（または下部筐体４１）をスライドさせて、表示／光センサ部３００と表示部３１０とが対向するように配置する、いわゆるスライド式の形態であってもよい。

（データ表示／センサ装置の構成）
本発明に係るデータ表示／センサ装置１００の要部構成について、図１を参照しつつ以下に説明する。図１は、データ表示／センサ装置１００の要部構成を示すブロック図である。図１に示すように、データ表示／センサ装置１００は、表示／光センサ部３００、表示部３１０、主制御部８００、画像表示制御部１６、補正画像表示制御部１７、マーカー表示制御部１８、および記憶部９０１を備えている。各部材の詳細については、それぞれ以下に説明する。

（表示／光センサ部３００）
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１の他に、バックライト、ならびに、センサ内蔵液晶パネル３０１およびバックライトを駆動するための周辺回路を含んで構成される。また、センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路および光センサ回路を含んで構成される。センサ内蔵液晶パネル３０１のより詳細な構成については後述するため、ここではその記載を省略する。

（表示部３１０）
表示部３１０は、データを表示する液晶パネル３１１を備えている、従来公知の表示装置である。なお、表示部３１０の備えている表示パネルは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。また、表示部３１０の液晶パネル３１１は、表示／光センサ部３００と同様に、センサ内蔵液晶パネルであってもよい。

なお、表示／光センサ部３００の形状と表示部３１０の形状とは同一の形状に限定されるものではなく、異なる形状であってもよい。

（主制御部８００）
主制御部８００は、図１に示すように、判定部１１、算出部１２、補正部１３、検出部１４および変換部１５を備えている。主制御部８００における各部材について、以下に説明する。

（判定部１１）
判定部１１は、表示／光センサ部３００に備えられた光センサにおいて検出された検出画像の画像情報と、検査用画像の画像情報とを比較し、比較した画像情報が一致するか否かを判定する。

なお、本実施形態における「検出画像」とは、表示／光センサ部３００に備えられた光センサにおいて検知された表示部３１０の像における高輝度領域を意味している。

（算出部１２）
算出部１２は、判定部１１において、表示／光センサ部３００に備えられた光センサにおいて検出された検出画像の画像情報と、表示部３１０において表示している検査用画像の画像情報とが一致しないと判定された場合に、表示部３１０に対する表示／光センサ部３００の相対位置のずれの程度を示すずれ量を算出する。

（補正部１３）
補正部１３は、算出部１２において算出したずれ量に基づいて、表示／光センサ部３００において検出した検出画像における各画素の位置座標を補正する。また、補正部１３は、ずれ量に基づいて、各画素の輝度情報についても補正する。すなわち、補正部１３は、ずれ量に基づいて検出画像の補正画像データを生成する。

なお、本明細書等において、「位置座標」とは画素の位置座標を示すデータを意味している。

（検出部１４）
検出部１４は、表示／光センサ部３００に備えられた光センサにおいて検出された検出画像における所定の閾値以上の輝度値を有する画素を検出する。さらに、所定の閾値以上の輝度値を有する画素が存在する場合には、センサ内蔵液晶パネル３０１における当該画素の位置座標を検出する。

（変換部１５）
変換部１５は、補正部１３において生成した補正画像データに基いて表示される画像が上下または左右反転して表示されるように、位置座標を変換する。これは、表示／光センサ部３００において検出される画像が、元の画像の鏡像となるためである。なお、この際のアルゴリズムは従来公知のアルゴリズムを用いればよい。

（画像表示制御部１６、補正画像表示制御部１７）
画像表示制御部１６は、表示／光センサ部３００と表示部３１０とが折り畳まれた状態のときに、検査用画像を表示部３１０に表示する。また、補正画像表示制御部１７は、補正部１３において生成された補正画像データを、変換部１５において変換した位置座標に基いて表示部３１０に表示する。すなわち、補正画像表示制御部１７は、表示／光センサ部３００において検出画像された画像を上下または左右反転して表示する。

（マーカー表示制御部１８）
マーカー表示制御部１８は、変換部１５において変換された位置座標（表示部３１０における位置座標）により特定される画素を示すマーカーを、表示部３１０に表示する。

（記憶部９０１）
記憶部９０１は、算出部１２において算出されたずれ量を記録する。なお、記憶部９０１は、内部メモリとしてデータ表示／センサ装置１００に備えられているものに限定されるものではない。記憶部９０１は、データ表示／センサ装置１００の外部に取り付けられている外部メモリであってもよい。

（データ表示／センサ装置１００における表示部の検査方法）
次に、データ表示／センサ装置１００における表示部の検査方法の概要について、図３を参照しつつ以下に説明する。図３は、データ表示／センサ装置１００における表示部３１０の検査方法を示すフローチャートである。

まず、データ表示／センサ装置１００が折り畳まれると、すなわち上部筐体４０が備える表示／光センサ部３００と下部筐体４１が備える表示部３１０とが対向する状態になると、画像表示制御部１６は、所定の検査用画像を表示部３１０の液晶パネル３１１に表示する（ステップＳ１）。液晶パネル３１１に検査用画像が表示されると、表示／光センサ部３００のセンサ内蔵液晶パネル３０１に備えられた光センサが、液晶パネル３１１に表示されている検査用画像を検出する（ステップＳ２）。

続いて、判定部１１は、センサ内蔵液晶パネル３０１に備えられた光センサにより検出された検出画像の画像情報と、液晶パネル３１１に表示している検査用画像の画像情報とを比較し、比較した画像情報が一致しているか否かを判定する（ステップＳ３）。判定部１１において、検出画像の画像情報と検査用画像の画像情報とが一致していると判定された場合（ステップＳ４においてＹＥＳ）、判定部１１はデータ表示／センサ装置１００における表示／光センサ部３００と表示部３１０との相対位置にずれはないと判断し、検査処理を終了する。

一方、判定部１１において、検出画像の画像情報と検査用画像の画像情報とが一致していないと判定された場合、すなわち、判定部１１がデータ表示／センサ装置１００における表示／光センサ部３００と表示部３１０との相対位置にずれがあると判定した場合（ステップＳ４においてＮＯ）、算出部１２は表示／光センサ部３００と表示部３１０との相対位置のずれの程度を示すずれ量を算出する（ステップＳ５）。

算出部１２はずれ量を算出すると共に、算出したずれ量が所定の閾値Ｔｈ１以下であるか否かを判定する（ステップＳ６）。算出したずれ量が所定の閾値Ｔｈ１を超える場合（ステップＳ６においてＮＯ）、データ表示／センサ装置１００は、表示／光センサ部３００と表示部３１０との相対位置のずれに起因する画像のずれを修正することは不可能であると判断し、検査処理を終了する。すなわち、データ表示／センサ装置１００が不良品であると判断する。算出したずれ量が所定の閾値Ｔｈ１以下である場合（ステップＳ６においてＹＥＳ）、算出部１２は、算出したずれ量を記憶部９０１に記録し、検査処理を終了する（ステップＳ７）。

このように、データ表示／センサ装置１００では、ずれ量が閾値Ｔｈ１を超える場合には、自装置が不良品であると判断する。なお、自装置が不良品であることを判断したときには、データ表示／センサ装置１００がその旨を検査者に音や光などを用いて報知することが好ましい。

一方、ずれ量が閾値Ｔｈ１以下である場合には、ずれが発生している場合であっても、そのずれ量を後述のように補正することでカバーすることが可能であるため、自装置が不良品であると判断しない。

なお、上述した検査処理では、データ表示／センサ装置１００を折り畳むと同時に検査処理を実行する場合を例に挙げて説明しているが、もちろんこれに限定されるものではない。例えば、検査者（またはユーザ）がデータ表示／センサ装置１００に備えられたスイッチを押下することによって、データ表示／センサ装置１００を検査モードに切り換えた場合にのみ、上述した検査処理を行うようにしてもよい。なお、データ表示／センサ装置１００を検査モードにするスイッチは、ハードウェアスイッチに限定されるものではなく、ソフトウェアスイッチであってもよい。

また、上述した検査処理に用いられる検査用画像は、データ表示／センサ装置１００に予め記録されているものであれば特に限定されるものではない。また、表示する検査用画像を検査者（またはユーザ）が設定できるようにしてもよい。

（データ表示／センサ装置の利点）
以上説明したように、データ表示／センサ装置１００では、データ表示／センサ装置１００が折り畳まれ、表示／光センサ部３００と表示部３１０とが対向する位置に配置されると、画像表示制御部１６が表示部３１０に所定の検査用画像を表示させ、表示／光センサ部３００における光センサが、表示されている検査用画像を検出する。そして、判定部１１が、表示／光センサ部３００において検知した表示部３１０の像における検出画像の画像情報と、検査用画像の画像情報とが一致するか否かを判定する。

このように、データ表示／センサ装置１００では、検査者による目視または別の検査機器に頼ることなく、自装置において、表示部３１０に対する表示／光センサ部３００の相対位置のずれを検出することができる。

また、データ表示／センサ装置１００では、表示／光センサ部３００と表示部３１０とが対向するようにデータ表示／センサ装置１００を折り畳む動作のみで、表示部３１０に対する表示／光センサ部３００の相対位置のずれを検出することができる。すなわち、データ表示／センサ装置１００では、検査者に煩雑な操作を強いることなく、表示部３１０に対する表示／光センサ部３００の相対位置のずれを検出することができる。

これによって、データ表示／センサ装置１００は、表示部３１０に対する表示／光センサ部３００の相対位置のずれを容易かつ確実に検出することができる。

さらに、データ表示／センサ装置１００では、判定部１１が検出画像の画像情報と、表示部３１０に表示している検査用画像の画像情報とが一致していないと判定したときに、算出部１２が表示部３１０の位置座標に対する表示／光センサ部３００の位置座標のずれ量を算出する。そして、補正部１３が、表示／光センサ部３００において検出した検出画像における各画素の位置座標を、算出部１２において算出したずれ量に基づいて補正する。

これによって、データ表示／センサ装置１００では、算出したずれ量に基づいて検出画像を補正することにより得られる補正画像データに基づいて表示した補正画像をユーザに対して表示することができる。

（ずれ量の算出方法の詳細）
次に、算出部１２において算出するずれ量の詳細について、図４（ａ）〜（ｆ）を参照しつつ以下に説明する。図４（ａ）〜（ｆ）は、表示／光センサ部３００と表示部３１０との相対位置のずれの詳細な検出方法を示した図であり、（ａ）は検査用画像を示し、（ｂ）は検出画像を示し、（ｃ）は検出画像における画像情報の算出を示す図であり、（ｄ）は中心点の算出を示す図であり、（ｅ）は検査用画像における画像情報の算出を示す図であり、（ｆ）は検査用画像の画像情報と検出画像の画像情報との比較を示す図である。

まず、画像表示制御部１６は、表示部３１０の液晶パネル３１１に、図４（ａ）に示すような検査用画像を表示する。続いて、表示／光センサ部３００のセンサ内蔵液晶パネル３０１に備えられた光センサは、図４（ｂ）に示す検査用画像を検出する。

次に、判定部１１は、図４（ｃ）に示すように、検出画像の中心点ａ１、ｂ１およびｃ１の位置座標を取得する。さらに、図４（ｄ）に示すように、取得したｂ１およびｃ１の位置座標に基づいて、中心点ｄ１の位置座標を取得する。なお、中心点ｄ１は、中心点ｂ１を始点とし、中心点ｃ１を終点とするベクトル（または、中心点ｃ１を始点とし、中心点ｂ１を終点とするベクトル）の中間点の位置座標を算出することにより求めることができる。

同時に、判定部１１は、図４（ｅ）に示すように、検査用画像における検査マークの中心点ａ２、ｂ２およびｃ２を算出すると共に、検査用画像の中心である中心点ｄ２の位置座標を算出する。なお、中心点ｄ２は、表示部３０１における液晶パネル３１１の中心である。なお、本明細書等における「検査マーク」とは、近傍の像を検知する検知部において高輝度領域として検知される検査用画像の領域を意味している。

このように、本実施形態では、中心点ａ１、ｂ１、ｃ１およびｄ１の位置座標が検出画像の画像情報となり、中心点ａ２、ｂ２、ｃ２およびｄ２の位置座標が検査用画像の画像情報となる。なお、中心点ａ２、ｂ２、ｃ２の位置座標は、ずれ量を算出する毎に算出する必要はない。例えば、予め算出し、記録されているものを読み出すようにしてもよい。また、中心点ａ２、ｂ２、ｃ２の位置座標の算出方法としては、従来公知の算出方法を用いればよい。

最後に、判定部１１は、図４（ｆ）に示すように、中心点ａ１と中心点ａ２、中心点ｂ１と中心点ｂ２、中心点ｃ１と中心点ｃ２、および中心点ｄ１と中心点ｄ２の位置座標を比較することにより、検出画像と検査用画像とにずれが生じているか否かを判定する。

すなわち、中心点ａ１、ｂ１、ｃ１およびｄ１の位置座標と中心点ａ２、ｂ２、ｃ２およびｄ２の位置座標とが完全に一致する場合、判定部１１は、検出画像と検査用画像とにずれが生じていないと判定する。すなわち、表示部３１０に対する表示／光センサ部３００の相対位置にずれはないと判定する。

なお、図４（ｆ）において、検出画像と検査用画像とのずれの理解を容易にするために、便宜上、表示／光センサ部３００の外枠を破線により示している。また、中心点ａ２、ｂ２およびｃ２については、その記載を省略している。

図４（ｆ）に示す例では、中心点ａ１、ｂ１、ｃ１およびｄ１の位置座標と中心点ａ２、ｂ２、ｃ２およびｄ２の位置座標とが一致していない。したがって、判定部１１は、検出画像と検査用画像とにずれが生じていると判定する。すなわち、判定部１１は、表示部３１０に対する表示／光センサ部３００の相対位置にずれが生じていると判定する。

算出部１２は、中心点ｄ１の位置座標と中心点ｄ２の位置座標とのずれに基づいて、表示部３１０に対する表示／光センサ部３００の相対位置の並進ずれ量（ｄｘ、ｄｙ）を算出する。また、中心点ａ１を始点とし、中心点ｃ１を終点とするベクトルと中心点ａ２を始点とし、中心点ｃ２を終点とするベクトルとの角度のずれに基づいて、表示部３１０に対する表示／光センサ部３００の相対位置の回転ずれ量θを算出する。すなわち、本明細書等における「ずれ量」とは、中心点ｄ１とｄ２との位置座標の並進ずれ量（ｄｘ、ｄｙ）、および、中心点ｃ１を終点とするベクトルと中心点ａ２を始点とし、中心点ｃ２を終点とするベクトルとの回転ずれ量θを意味している。

算出部１２は、算出した並進ずれ量（ｄｘ、ｄｙ）および回転ずれ量θに基づいて、データ表示／センサ装置１００が不良品であるか否かを判定する。このとき、並進ずれ量（ｄｘ、ｄｙ）および回転ずれ量θそれぞれに閾値が設定されていることが好ましい。

また、算出部１２は、算出した並進ずれ量（ｄｘ、ｄｙ）および回転ずれ量θの少なくともいずれかが所定の閾値を超える場合に、データ表示／センサ装置１００を不良品として判定するようにしてもよいし、算出した並進ずれ量（ｄｘ、ｄｙ）および回転ずれ量θの双方が所定の閾値を超える場合に、データ表示／センサ装置１００不良品として判定するようにしてもよい。

なお、表示／光センサ部３００と表示部３１０との形状が異なる場合には、表示部３１０に表示する検査用画像における検査マークが表示／光センサ部３００において検出できる位置に表示されるようにすることが好ましい。

（検出画像の補正方法の詳細）
補正部１３は、算出部１２において算出したずれ量に基づいて、表示／光センサ部３００において検出した検出画像を補正し、補正画像データを生成する。より具体的には、まず、補正部１３は下記式（１）を用いて表示／光センサ部３００において検出した検出画像における各画素の位置座標を変換する。

ここで、式（１）中、座標（ｘ１、ｙ１）は、表示／光センサ部３００において検出した検出画像における任意の画素の位置座標であり、座標（ｘ２、ｙ２）は、座標（ｘ１、ｙ１）の変換後の位置座標であり、（ｄｘ、ｄｙ）は、並進ずれ量であり、θは回転ずれ量である。

なお、上記式（１）では、上部筐体４０における表示部３１０に表示された画像を、下部筐体４１における表示／光センサ部３００において検出し、補正する場合の式である。例えば、上部筐体４０における表示部３００にも光センサが備えられており、下部筐体４１における表示／光センサ部３００に表示した画像（または、下部筐体４１に載せた図形）を上部筐体４０における光センサにおいて検出し、補正する場合には、補正方向が逆になるため、上記式（１）におけるθおよび（ｄｘ、ｄｙ）の符号を逆にする必要がある。この場合、補正部１３は下記式（２）を用いて各画素の位置座標を変換する。

補正部１３は、上記式（１）または（２）を用いて変換した座標（ｘ２、ｙ２）の画素に対して、座標（ｘ１、ｙ１）の画素の色を適用する。これによって、補正部１３は、表示／光センサ部３００の光センサにより検出された検出画像を補正した補正画像データを作成することができる。また、変換部１４において補正画像が上下反転して表示されるように補正画像データにおける位置座標を変換することにより、表示／光センサ部３００と表示部３１０との相対位置のずれを考慮した補正画像を表示させることもできる。

なお、ずれ量を記憶部９０１に記録している場合には、判定部１１および算出部１２における処理をスキップすることも可能である。この場合、補正部１３は、センサ内蔵液晶パネル３０１において検出した検出画像を、記憶部９０１に記録されたずれ量に基づいて補正することにより補正画像データを生成すればよい。

（検出画像の補正の詳細）
ここで、表示／光センサ部３００おいて検出した検出画像の補正の具体例について、図５（ａ）〜（ｅ）を参照しつつ以下に説明する。図５（ａ）〜（ｅ）は、表示／光センサ部３００において検出した検出画像の補正の具体例を示す図であり、（ａ）は表示部３１０に表示された表示画像であり、（ｂ）は表示／光センサ部３００において検出された検出画像であり、（ｃ）は検出画像の補正を示す図であり、（ｄ）は補正後の検出画像であり、（ｅ）は補正後の検出画像を上下反転させた状態を示す図である。

まず、画像表示制御部１６は、表示部３１０の液晶パネル３１１に、図５（ａ）に示すような「Ｒ」の画像を表示する。続いて、表示／光センサ部３００のセンサ内蔵液晶パネル３０１は、図５（ａ）に示される画像を検出する。このとき、表示／光センサ部３００のセンサ内蔵液晶パネル３０１には、図５（ｂ）に示すように、図５（ａ）に示す表示画像と鏡像関係にある画像が検出される。また、表示／光センサ部３００おいて検出された検出画像には、図５（ｂ）に示すように、表示／光センサ部３００と表示部３１０との相対位置のずれに起因したずれが生じている。

補正部１３は、図５（ｃ）に示すように、記憶部９０１に記録されている並進ずれ量（ｄｘ、ｄｙ）および回転ずれ量θに基づいて、検出された画像における画素の位置座標を変換する。このとき、補正部１３は、上記式（１）を用いて画素の位置座標を変換する。図５（ｄ）は、上記式（１）を用いて画素の位置座標を変換した画像を示している。

しかし、図５（ｄ）に示すように、ずれ量に基づいて補正したのみでは、表示部３１０の液晶パネル３１１に表示した表示画像と鏡像関係にある画像であり、「Ｒ」の文字が鏡文字の状態となっている。そこで、変換部１５は、図５（ｅ）に示すように補正画像が表示されるように、位置座標を変換する。すなわち、変換部１５は、補正した画像を上下反転する。これによって、表示部３１０の液晶パネル３１１に表示した画像と同様の画像を表示／光センサ部３００のセンサ内蔵液晶パネル３０１に表示することができる。もちろん、図５（ｅ）に示す画像を表示部３１０の液晶パネル３１１に表示するようにしてもよい。

（輝点検出への応用）
上述した、表示／光センサ部３００と表示部３１０との相対位置のずれを示すずれ量を算出する場合には、データ表示／センサ装置１００における表示／光センサ部３００および表示部３１０における輝点の検出を行うことができる。すなわち、データ表示／センサ装置１００は、表示／光センサ部３００の光センサに不良箇所が存在するか否か、または、表示部３１０の液晶パネルにドット抜けが生じているか否かの判定を行うことができる。表示／光センサ部３００および表示部３１０における輝点の検出について、図６を参照しつつ以下に説明する。図６は、表示／光センサ部３００および表示部３１０における輝点の検出方法を示すフローチャートである。

まず、データ表示／センサ装置１００が折り畳まれ、上部筐体４０の備えられた表示／光センサ部３００と下部筐体４１の備えられた表示部３１０とが対向する状態になると、画像表示制御部１６は、所定の検査用画像（黒色画像）を表示部３１０の液晶パネル３１１に表示する（ステップＳ１０）。液晶パネル３１１に検査用画像が表示されると、表示光センサ部３００のセンサ内蔵液晶パネル３０１に備えられた光センサは、液晶パネル３１１に表示されている検査用画像を検出する（ステップＳ１１）。

続いて、検出部１４は、検出された検出画像において、所定の閾値Ｔｈ２以上の輝度を有する画素があるか否かを判定する（ステップＳ１２）。検出された検出画像において、輝度が閾値Ｔｈ２以上である画素がない場合（ステップＳ１２においてＮＯ）、検出部１４は、表示／光センサ部３００における光センサの不良および表示部３１０におけるドット抜けは存在しないと判定し、検査処理を終了する。

一方、検出された検出画像において、輝度が閾値Ｔｈ２以上である画素がある場合（ステップＳ１２においてＹＥＳ）、検出部１４は、表示／光センサ部３００の光センサに不良があるか、または、表示部３１０の液晶パネル３１１にドット抜けが存在すると判定し、閾値Ｔｈ２以上の輝度値を有する画素の位置座標を検出する（ステップＳ１３）。

次に、補正部１３は、記憶部９０１に記録されている、データ表示／センサ装置１００のずれ量に基づいて、閾値Ｔｈ２以上の輝度値を有する画素の位置座標を変換する（ステップＳ１４）。変換部１５は、検出部１４において検出された画素の位置座標を、表示部３１０における位置座標に変換する（ステップＳ１５）。

最後に、マーカー表示制御部１８は、変換部１５において変換された位置座標により示される画素を示すマーカーを、液晶パネル３１１に表示する（ステップＳ１６）。

なお、マーカーにより示された画素において輝点が生じているか否かは、検査者が目視することにより判定する。すなわち、表示部３１０の液晶パネル３１１においてマーカーの表示されている画素に輝点が生じている場合、検査者は、検出画像において検出された輝点が表示部３１０の液晶パネル３１１におけるドット抜けに起因していると判定する。一方、表示部３１０の液晶パネル３１１においてマーカーの表示されている画素に輝点がない場合、検査者は、検出画像において検出された輝点が表示／光センサ部３００における光センサの不良に起因していると判定する。

また、ステップＳ１３において複数の画素が検出された場合には、検出された画素全ての画素について上記の処理を実行する。すなわち、検査者は、輝点がセンサ内蔵液晶パネル３０１の光センサの不良に起因して生じているのか、または、液晶パネル３１１のドット抜けに起因して生じているのかをステップＳ１３において検出された全ての画素について判定することになる。

なお、データ表示／センサ装置１００が折り畳まれ、上部筐体４０が備える表示／光センサ部３００と下部筐体４１が備える表示部３１０とが対向する状態で、画像表示制御部１６が、白色画像を検査用画像として表示することにより、輝点ではなく、黒点を検出するようにすることもできる。ただし、この場合、検出部１４は所定の閾値以下の輝度を有する画素を黒点として検出する。

（輝点検出の詳細）
次に、輝点の検出方法の詳細について、図７（ａ）〜（ｆ）を参照しつつ以下に説明する。図７（ａ）〜（ｆ）は、表示／光センサ部３００のセンサ内蔵液晶パネル３０１および表示部３１０の液晶パネル３１１における輝点の検出方法の具体例を示す図であり、（ａ）は検査用画像を示す図であり、（ｂ）は検出画像を示す図であり、（ｃ）は検出画像における位置の補正を示す図であり、（ｄ）は検出画像における角度の補正を示す図であり、（ｅ）は補正画像の向きの回転を示す図であり、（ｆ）は液晶パネル３１１におけるマーカーの表示を示す図である。

まず、画像表示制御部１６は、表示部３１０の液晶パネル３１１に、図７（ａ）に示すような検査用画像を表示する。続いて、表示／光センサ部３００のセンサ内蔵液晶パネル３０１は、図７（ｂ）に示すような検査用画像を検出する。ここで、検出部１４において検出された輝点を図７（ｂ）において白色の点として示している。

補正部１３は、図７（ｃ）に示すように、記憶部９０１に記録されている並進ずれ量（ｄｘ、ｄｙ）に基づいて、検出画像において輝点とされた画素の位置座標を変換すると共に、図７（ｄ）に示すように、記憶部９０１に記録されている回転ずれ量θに基づいて、検出画像において輝点として検出された画素の位置座標を変換する。このとき、補正部１３は、上記式（１）を用いて画素の位置座標を変換する。なお、図７（ｃ）および（ｄ）では、並進ずれ量（ｄｘ、ｄｙ）に基づいて位置座標を変換した後に、回転ずれ量θに基づいて位置座標の変換しているが、これに限定されるものではなく、逆の順序によって検出画像において輝点として検出された画素の位置座標を変換するようにしてもよい。

次に、図７（ｅ）に示すように、補正部１３において生成した補正画像データの位置座標を、表示部３１０における位置座標に変換し、変換した位置座標に基づいた画像を表示部３１０の液晶パネル３１１に表示する。すなわち、補正した検出画像の向きを上下反転して表示部３１０の液晶パネル３１１に表示する。同時に、マーカー表示制御部１８は、図７（ｆ）に示すように、センサ内臓液晶パネル３０１における位置座標に対応する位置座標を示すマーカーを液晶パネル３１１に表示する。すなわち、輝点の表示されるであろう画素を示す。このとき、図７（ｆ）に示すように、マーカーの示す位置に輝点が見えるか否かを検査者に対して問うメッセージを同時に表示するようにしてもよい。

なお、表示部３１０に対する表示／光センサ部３００の相対位置のずれの検出と同様に、輝点の検出もユーザがデータ表示／センサ装置１００に備えられたスイッチを押下することによって、データ表示／センサ装置１００を検査モードに切り換えた場合にのみ、輝点の検出処理を行うようにすることもできる。なお、データ表示／センサ装置１００を輝点の検出モードにするスイッチは、ハードウェアスイッチに限定されるものではなく、ソフトウェアスイッチであってもよい。

また、本項では、表示／光センサ部３００と表示部３１０との相対位置のずれの検査を実行した後に、輝点の検出を実行する場合について例示しているが、これに限定されるものではなく、表示／光センサ部３００と表示部３１０との相対位置のずれの検査処理と一連の処理により輝点の検出処理を行うようにしてもよい。

表示部３１０の液晶パネル３１１における図７（ｅ）に示す画像は、検査者がマーカーにより示された画素を確認するために、データ表示／センサ装置１００を開いたときに検査用画像から変更して表示するようにしてもよいし、画像切り換えのスイッチを押下することにより、検査用画像から変更して表示するようにしてもよい。

なお、図７（ａ）に示すような検査用画像を白画像とすることにより黒点の検出を行うこともできる。この場合、図７（ｂ）における白色の点が黒色の点となり、背景の色が黒色から白色となる。

以上説明したように、上述した動作を実行することにより、表示／光センサ部３００における光センサの不良または表示部３１０にドット抜けを、他の検査装置を用いることなく、自装置において検出することができる。

また、検出画像において検出された輝点の位置座標に対応する表示部３１０の液晶パネル３１１における位置座標を示すマーカーを表示することにより、輝点が表示／光センサ部３００のセンサ内蔵液晶パネル３０１の光センサの不良に起因して生じているのか、または、表示部３１０の液晶パネル３１１のドット抜けに起因して生じているのかを判定することができる。

これによって、検査者は、表示／光センサ部３００における光センサの不良または表示部３１０における液晶パネル３１１のドット抜けについて、容易かつ確実に判定することができる。また、表示部３１０においてマーカーを表示することにより、検査者は、表示部３１０において輝点が存在するか否かをより一層容易に判定することができる。

（データ表示／センサ装置１００の変形例）
データ表示／センサ装置１００を、折り畳んだ筐体の間に挟んだ文書等を両面同時にスキャンすることが可能なスキャナに適用した場合には、算出したずれ量を用いて、上部筐体４０においてスキャンした画像と、下部筐体４１においてスキャンした画像との位置合わせを行うことができる。

データ表示／センサ装置１００を、スキャン対象物の両面を同時にスキャンすることが可能なスキャナとする場合は、上部筐体４０における表示部３１０も表示／光センサ部３００と同様の構成とすることが好ましい。このようなデータ表示／センサ装置の構成の一例を図８に示す。図８は、データ表示／センサ装置１００の変形例であるデータ表示／センサ装置１００ｂの要部構成を示すブロック図である。なお、図８では、図１に示した判定部１１、算出部１２、検出部１４およびマーカー表示制御部１８については、便宜上図示していない。

また、本項では、第１表示／光センサ部３００Ａが下部筐体４１に備えられているものとし、第２表示／光センサ部３００Ｂが上部筐体４０に備えられているものとする。第１表示／光センサ部３００Ａには、センサ内蔵液晶パネル３０１Ａが備えられており、表示／センサ部３００Ｂには、センサ内臓液晶パネル３０１Ｂが備えられている。

なお、本明細書等において、第１表示／光センサ部３００Ａと第２表示／光センサ部３００Ｂとを区別しない場合は、単に表示／光センサ部３００と表記し、センサ内臓液晶パネル３０１Ａとセンサ内臓液晶パネル３０１Ｂとを区別しない場合は、単にセンサ内蔵液晶パネル３０１と表記する。

上部筐体４０における第２表示／光センサ部３００Ｂにおいて検出した検出画像と下部筐体４１における第１表示／光センサ部３００Ａおいて検出した検出画像との位置合わせ方法の詳細について、図９を参照しつつ以下に説明する。図９は、第２表示／光センサ部３００Ｂにおいて検出した検出画像を補正する補正方法を示すフローチャートである。

ここで、「Ｗ」は第２表示／光センサ部３００Ｂにおいて検出した画像の水平方向の画素数であり、「Ｈ」は第２表示／光センサ部３００Ｂにおいて検出した画像の垂直方向の画素数である。以下に、第２表示／光センサ部３００Ｂにおいて検出した検出画像と第１表示／光センサ部３００Ａにおいて検出した検出画像とを位置合わせする位置合わせ方法について説明する。

まず、補正部１３は、ｙ１の値を初期化し（ステップＳ２０）、続いてｘ１の値を初期化する（ステップＳ２１）。すなわち、ｘ１＝０、ｙ１＝０に設定する。次に、補正部１３は、上記式（２）を用いて、第２表示／光センサ部３００Ｂにおいて検出した画像における座標（ｘ１、ｙ１）から座標（ｘ２、ｙ２）を算出する（ステップＳ２２）。続いて、補正部１３は、算出したｘ２およびｙ２が０≦ｘ２≦Ｗ、かつ、０≦ｙ２≦Ｈを満たしているかを判定する（ステップＳ２３）。

算出したｘ２およびｙ２が０≦ｘ２≦Ｗ、かつ、０≦ｙ２≦Ｈを満たしている場合（ステップＳ２３においてＹＥＳ）、補正部１３は、座標（ｘ２、ｙ２）の画素の輝度情報を、座標（ｘ１、ｙ１）の画素の輝度情報と同一に設定する（ステップＳ２４）。一方、算出したｘ２およびｙ２が０≦ｘ２≦Ｗ、かつ、０≦ｙ２≦Ｈを満たしていない場合（ステップＳ２３においてＮＯ）、補正部１３は、座標（ｘ２、ｙ２）の画素の輝度情報を背景部分の輝度情報と同一に設定する（ステップＳ２５）。

次に、補正部１３は、ｘ１の値に「１」を加算する（ステップＳ２６）。そして、「１」を加算したｘ１の値が、水平方向の画素数Ｗの値と一致するか否かを判定する（ステップＳ２７）。ｘ１の値がＷの値と一致しない場合（ステップＳ２７においてＮＯ）、補正部１３は、ステップＳ２２からの処理を再度実行する。

一方、ｘ１の値がＷの値と一致する場合（ステップＳ２７においてＹＥＳ）、補正部１３は、ｙ１の値に「１」を加算する（ステップＳ２８）。そして、「１」を加算したｙ１の値が垂直方向の画素数Ｈの値と一致するか否かを判定する（ステップＳ２９）。

ｙ１の値がＨの値と一致しない場合（ステップＳ２９においてＮＯ）、補正部１３は、ステップＳ２１からの処理を再度実行する。これを繰り返すことにより、補正部１３は、第２表示／光センサ部３００Ｂにおいて検出した画像の補正画像データを生成する。一方、ｙ１の値がＨの値と一致する場合（ステップＳ２９においてＹＥＳ）、変換部１５は、生成した補正画像データにより示される補正画像が上下反転して表示されるように、各画素の位置座標を変換する（ステップＳ３０）。

なお、上述した処理により補正された画像は、上部筐体４０における第２表示／光センサ部３００Ｂに表示されるようにしてもよいし、下部筐体４１における第１表示／光センサ部３００Ａに表示されるようにしてもよい。

（位置合わせ処理の詳細）
次に、上部筐体４０における第２表示／光センサ部３００Ｂおいて検出した検出画像を補正する補正方法の具体例について、図１０（ａ）〜（ｇ）を参照しつつ以下に説明する。図１０（ａ）〜（ｇ）は、第２表示／光センサ部３００Ｂにおいて検出した検出画像を補正する補正方法の具体例を示す図であり、（ａ）は両面に印字されている原稿を下部筐体４１上に載置した図であり、（ｂ）は第２表示／光センサ部３００Ｂにおいて検出した検出画像であり、（ｃ）は第１表示／光センサ部３００Ａにおいて検出した検出画像であり、（ｄ）は第２表示／光センサ部３００Ｂにおいて検出した検出画像を補正する状態を示す図であり、（ｅ）は第２表示／光センサ部３００Ｂにおいて検出した検出画像を補正した補正画像であり、（ｆ）は補正画像を上下反転させた画像であり、（ｇ）は第１表示／光センサ部３００Ａにおいて検出した検出画像を左右反転させた画像である。

なお、本項では、図１０（ａ）〜（ｇ）に示すように、第２表示／光センサ部３００Ｂにおいて検出される側に「Ｒ」が印字されており、第１表示／光センサ部３００Ａにおいて検出される側に「Ｑ」が印字されている原稿を読取る場合を例に挙げて説明する。

まず、図１０（ａ）に示すように、下部筐体４１上に両面に文字の印字された原稿を載置する。続いて、第２表示／光センサ部３００Ｂは、図１０（ａ）に示す文字「Ｒ」を検出する。このとき、データ表示／センサ装置１００は、検出した画像の水平方向の画素数「Ｗ」および垂直方向の画素数「Ｈ」の値も併せて取得する。第２表示／光センサ部３００Ｂに検出された文字「Ｒ」の画像は、図１０（ｂ）に示すように、図１０（ａ）に示す文字「Ｒ」の画像と鏡像関係となり、かつ、第１表示／光センサ部３００Ａと第２表示／光センサ部３００Ｂとの相対位置のずれに起因するずれが生じている。

また、第２表示／光センサ部３００Ｂにおける文字「Ｒ」の画像の検出処理と同時に、第１表示／光センサ部３００Ａも文字「Ｑ」の画像を検出する。第１表示／光センサ部３００Ａにより検出された文字「Ｑ」は、図１０（ｃ）に示すように鏡文字の状態となっている。

次に、図１０（ｄ）に示すように、補正部１３は、予め算出してあるずれ量に基づいてずれを補正し、第１表示／光センサ部３００Ａと第２表示／光センサ部３００Ｂとの相対位置のずれに起因する画像のずれを修正する。このとき、補正部１３は、上記式（２）を用いて、図１０（ｂ）に示す画像のずれを補正する。図１０（ｅ）は、上記式（２）を用いて画素の位置座標を変換した文字「Ｒ」の画像を示している。

この状態では、第２表示／光センサ部３００Ｂにおいて検出された文字「Ｒ」は鏡文字の状態であるため、変換部１５は、図１０（ｆ）に示すように表示されるように、図１０（ｅ）に示した補正画像位置座標を変換する。また、同様に、変換部１５は、図１０（ｇ）に示すように表示されるように、図１０（ｃ）に示す画像の位置座標を変換する。

以上説明したように、データ表示／センサ装置１００を両面同時にスキャンすることが可能なスキャナに適用した場合、上述したずれ量の算出処理に基づいて算出したずれ量を応用することによって、下部筐体４１における第１表示／光センサ部３００Ａに対する上部筐体４０における第２表示／光センサ部３００Ｂの相対位置のずれに起因する位置ずれを補正することができる。これにより、第１表示／光センサ部３００Ａに対して第２表示／光センサ部３００Ｂの相対位置がずれている場合であっても、第１表示／光センサ部３００Ａにより検出された画像と第２表示／光センサ部３００Ｂにより検出された画像との裏表がずれていない状態で画像を保存することができる。

なお、本項では、第１表示／光センサ部３００Ａに対する第２表示／光センサ部３００Ｂの相対位置のずれを修正する場合を例に挙げているが、逆もまた然りである。

また、スキャンは、データ表示／センサ装置１００を折り畳むと同時に実行するようにしてもよいし、ユーザがデータ表示／センサ装置１００に備えられたスイッチを押下することによって実行するようにすればよい。なお、スキャンを実行するスイッチは、ハードウェアスイッチに限定されるものではなく、ソフトウェアスイッチであってもよい。

（検査の他の例）
以上のように、データ表示／センサ装置１００およびデータ表示／センサ装置１００ｂによれば、表示部３１０に対する表示／光センサ部３００のずれを検出し、このずれを補正することができ、また、表示部３１０および表示／光センサ部３００の輝点欠陥、黒点欠陥を検出することもできる。

しかしながら、データ表示／センサ装置１００およびデータ表示／センサ装置１００ｂで検出可能な欠陥は、上記の例に限られない。すなわち、データ表示／センサ装置１００およびデータ表示／センサ装置１００ｂでは、表示／光センサ部３００で表示部３１０をスキャンした検出画像に基づいて検出可能な欠陥であれば、任意の欠陥の検出を行うことが可能である。

例えば、表示部３１０に線欠陥を検出するための検査用画像を表示することにより、表示部３１０に線欠陥が発生しているか否かを判定することもできる。また、例えば表示部３１０に検査用画像として動画像を表示することにより、動画像の表示性能の判定を行うことも可能である。さらに、例えば検査用画像をスキャンした検出画像の明度や色調が正常であるか否かの判定を行うことも可能である。

また、上述の例では、検査者がデータ表示／センサ装置１００の筐体の開閉等を行う例を示したが、検査者が行う処理の一部または全部を検査装置が実行する構成とすることも可能である。例えば、データ表示／センサ装置１００の筐体を折り畳み、検査画像のスキャンが終了した後、同筐体を開く動作を検査装置に実行させることにより、検査者の行う処理を減らすことができるので、検査時間および人件費を削減することも可能になる。

さらに、データ表示／センサ装置１００と検査装置とを通信可能に構成し、検出部１４が欠陥の検出の有無を検査装置に伝達するようにすることにより、検査装置は、検出部１４が欠陥を検出したデータ表示／センサ装置１００のみを検査者の目視検査に供することができる。これにより、検査者が目視検査を行うデータ表示／センサ装置１００の数を必要最小限に抑えることができるので、検査時間および人件費を削減することができる。

（センサ内蔵液晶パネルの概要）
ここで、本発明に係るデータ表示／センサ装置１００の備えるセンサ内蔵液晶パネル３０１の概要について説明する。

上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図１１を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図１１は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図１２（ａ）および図１２（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図１２（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図１２（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図１２（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（データ表示／センサ装置の要部構成）
次に、図１３を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図１３は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。

なお、図１では、主制御部８００に含まれる各ブロックについて詳細に説明したが、本項では、主制御部８００に含まれる各ブロック以外の構成について詳細に説明する。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

なお、図１における画像表示制御部１６、補正画像表示制御部１７、マーカー表示制御部１８はいずれも、表示制御部６０１に含まれる機能ブロックである。すなわち、上述したデータ表示／センサ装置１００の動作では、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００の動作については説明を省略している。

すなわち、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部がデータ処理部７００に対してコマンドを送信し、データ処理部７００がコ万とに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から全体画像データ、部分画像データ（検出画像）、および座標データ（検出画像における位置座標）を取得する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図１４および図１５を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図１４は、コマンドのフレーム構造の一例を模式的に示す図である。また、図１５は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図１４に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図１５に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図１６を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図１６（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図１６（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図１６（ｂ）に示す画像データでは、図１６（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図１６（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（主制御部８００の動作例）
次に、主制御部８００の動作例について、主制御部８００からデータ処理部７００に送信されるコマンドに触れながら説明する。なお、本項では、データ表示／センサ装置１００が２つの表示／光センサ部を備えており、上画面（第２表示／光センサ部３００Ｂ）において検査用画像を表示し、下画面（第１表示／光センサ部３００Ａ）において検査用画像を検出する場合を例に挙げて説明する。

まず、判定部１１は、検査用画像として予め設定されている表示データをデータ処理部７００に送信する。このとき、判定部１１は、「表示パネル」フィールドの値として上画面（“010”）を指定したコマンドを、データ処理部７００に送信する。

次に、上画面に表示されている検査用画像を下画面において検出する検出処理を行うために、判定部１１は、「データ取得タイミング」フィールドの値として、“イベント”または“オール”を指定し、「データ種別」フィールドの値として、“座標”（“001”）または“座標”および“部分画像”の両方（“011”）を指定したコマンドを、データ処理部７００に送信する。単に、第２表示／光センサ部３００Ｂに対する第１表示／光センサ部３００Ａの相対位置のずれを検出したい場合には、“座標”を指定したコマンドを送信すればよく、検出した検出画像をずれ量に基づいて補正する場合には、“座標”および“部分画像”を指定したコマンドを送信すればよい。

コマンドを上述したように設定することにより、下画面（第１の表示／光センサ部３００Ａ）におけるセンサ内蔵液晶パネル３０１の光センサ回路３２が、検査用画像に表示されている検査マークの影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部７００がセンサ制御部６０２から受信する画像データに変化が生じる。

したがって、データ処理部７００は、上述したコマンドの応答として、変化が生じた部分の座標データ（検出画像の位置座標）、または部分画像における座標データを含む部分画像データ（検出画像）を判定部１１に送信する。

そして、判定部１１は、データ処理部７００から、座標データ（中心点ａ１、ｂ１、ｃ１およびｄ１）または座標データを含む部分画像データを受信したとき、用いた検査用画像における検査マークの座標データを含む部分画像データを取得する。

また、予め算出したずれ量に基づいて、検出画像を補正する場合には、補正部１３が「データ種別」フィールドの値として、“部分画像”（“010”）を指定したコマンドを、データ処理部７００に送信すればよい。そして、補正部１３は、データ処理部７００から受け取った部分画像データ（検出画像）を、ずれ量に基づいて補正して、補正画像データを生成。

なお、補正部１３において生成される補正画像データに基づいて補正画像を表示する場合、補正画像データの位置座標を変換した変換部１５が、「表示パネル」フィールドの値として上画面（“010”）を指定したコマンドおよび上記生成した補正画像データを、データ処理部７００に送信する。これによって、補正画像を第２表示／光センサ部３００Ｂに表示することができる。

（センサ内蔵液晶パネルの構成）
次に、図１７を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図１７は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（プログラムおよび記録媒体）
最後に、データ表示／センサ装置１００に含まれている回路制御部６００、データ処理部７００、および主制御部８００は、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

すなわち、回路制御部６００、データ処理部７００および主制御部８００は、各機能を実現するプログラムの命令を実行するＭＰＵなどのＣＰＵ、このプログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを実行可能な形式に展開するＲＡＭ（Random Access Memory）、および、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）を備えている。

そして、本発明の目的は、回路制御部６００、データ処理部７００および主制御部８００のプログラムメモリに固定的に担持されている場合に限らず、上記プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、または、ソースプログラム）を記録した記録媒体をデータ表示／センサ装置１００に供給し、データ表示／センサ装置１００が上記記録媒体に記録されている上記プログラムコードを読み出して実行することによっても、達成可能である。

上記記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。

また、回路制御部６００、データ処理部７００および主制御部８００（またはデータ表示／センサ装置１００）を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して回路制御部６００、データ処理部７００および主制御部８００に供給する。この通信ネットワークは回路制御部６００、データ処理部７００および主制御部８００にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等であればよい。

この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

以上、本発明を実施形態に基づいて具体的に説明したが、本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲において種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明に係る画像表示／像検知装置は、携帯電話または携帯型ゲーム機などの携帯型情報端末に好適に利用することができる。また、画像表示／像検知装置に備えられた表示部がいずれも画像情報を取得可能な場合には、折り畳まれた筐体に挟まれた文書などを両面同時にスキャンすることが可能なスキャナとしても利用することができる。

本発明に係るデータ表示／センサ装置の要部構成を示すブロック図である。 本発明に係るデータ表示／センサ装置の外観を模式的に示す図である。 本発明に係るデータ表示／センサ装置における表示部同士の相対位置のずれを検出する検査処理を示すフローチャートである。 表示／光センサ部と表示部との相対位置のずれの詳細な検出方法を示した図であり、（ａ）は検査用画像を示し、（ｂ）は検出画像を示し、（ｃ）は検出画像における画像情報の算出を示す図であり、（ｄ）は中心点の算出を示す図であり、（ｅ）は検査用画像における画像情報の算出を示す図であり、（ｆ）は検査用画像の画像情報と検出画像の画像情報との比較を示す図である。 表示／光センサ部において検出した検出画像の補正の具体例を示す図であり、（ａ）は表示部に表示された表示画像であり、（ｂ）は表示／光センサ部において検出された検出画像であり、（ｃ）は検出画像の補正を示す図であり、（ｄ）は補正後の検出画像であり、（ｅ）は補正後の検出画像を上下反転させた状態を示す図である。 本発明に係るデータ表示／センサ装置に備えられた表示部における輝点を検出する検出方法を示すフローチャートである。 表示／光センサ部のセンサ内蔵液晶パネルおよび表示部の液晶パネルにおける輝点の検出方法の具体例を示す図であり、（ａ）は検査用画像を示す図であり、（ｂ）は検出画像を示す図であり、（ｃ）は検出画像における位置の補正を示す図であり、（ｄ）は検出画像における角度の補正を示す図であり、（ｅ）は補正画像の向きの回転を示す図であり、（ｆ）は液晶パネルにおけるマーカーの表示を示す図である。 本発明に係るデータ表示／センサ装置の変形例の要部構成を示すブロック図である。 上部筐体においてスキャンした画像の補正方法を示すフローチャートである。 第２表示／光センサ部において検出した検出画像を補正する補正方法の具体例を示す図であり、（ａ）は両面に印字されている原稿を下部筐体上に載置した図であり、（ｂ）は第２表示／光センサ部において検出した検出画像であり、（ｃ）は第１表示／光センサ部において検出した検出画像であり、（ｄ）は第２表示／光センサ部において検出した検出画像を補正する状態を示す図であり、（ｅ）は第２表示／光センサ部において検出した検出画像を補正した補正画像であり、（ｆ）は補正画像を上下反転させた画像であり、（ｇ）は第１表示／光センサ部において検出した検出画像を左右反転させた画像である。 センサ内蔵液晶パネルの断面を模式的に示す図である。 センサ内蔵液晶パネル上をタッチした位置を検出する検出方法を模式的に示す図であり、（ａ）は反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、（ｂ）は影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 本発明に係るデータ表示／センサ装置の構成を示すブロック図である。 コマンドのフレーム構造の一例を模式的に示す図である。 コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 センサ内蔵液晶パネルをスキャンした結果として得られる画像データを示す図であり、（ａ）は、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データであり、（ｂ）は、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。 センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。

符号の説明

１１ 判定部
１２ 算出部
１３ 補正部
１４ 検出部（特定手段）
１５ 変換部
１６ 画像表示制御部
１７ 補正画像表示制御部
１８ マーカー表示制御部
４０ 上部筐体
４１ 下部筐体
４２ 連結部
１００ データ表示／センサ装置（画像表示／像検知装置）
１００ｂ データ表示／センサ装置（画像表示／像検知装置）
３００ 表示／光センサ部（第１面状部材）
３００Ａ 第１表示／光センサ部
３００Ｂ 第２表示／光センサ部
３０１ センサ内蔵液晶パネル
３１０ 表示部（第２面状部材）
３１１ 液晶パネル
６００ 回路制御部
７００ データ処理部
８００ 主制御部
９０１ 記憶部

Claims (10)

1. ２つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する２つの内面のうち、一方の内面に、画像を表示する第１面状部材が配設され、他方の内面に、近傍の像を検知する第２面状部材が配設された画像表示／像検知装置であって、
   上記筐体を折り畳んだ状態で、上記第１面状部材に所定の検査用画像を表示させる表示制御手段と、
   上記筐体を折り畳んだ状態で上記第２面状部材により検知された上記第１面状部材の像が、上記検査用画像と一致するか否かを判定する判定手段と、
   を備えていることを特徴とする画像表示／像検知装置。
2. 上記判定手段が、上記第２面状部材により検知された上記第１面状部材の像と、上記検査用画像とが一致していないと判定したときに、上記第２面状部材により検知された上記第１面状部材の像と、上記検査用画像とのずれ量を算出する算出手段と、
   上記第２面状部材により検知された像における高輝度領域の位置座標を、上記ずれ量に基づいて補正する補正手段と、
   をさらに備えていることを特徴とする請求項１に記載の画像表示／像検知装置。
3. 上記第２面状部材により検知された像を、上記算出手段により算出されたずれ量に応じて補正したうえで、上記第１面状部材に表示する補正画像表示制御手段をさらに備えていることを特徴とする請求項２に記載の画像表示／像検知装置。
4. 上記表示制御手段が上記第１面状部材に黒画像を表示させている状態で、上記第２面状部材により検知された上記第１面状部材の像に基づいて、上記第１面状部材において所定の閾値以上の輝度を有する領域の位置を特定する特定手段をさらに備えていることを特徴とする請求項１から３のいずれか１項に記載の画像表示／像検知装置。
5. 上記表示制御手段が上記第１面状部材に白画像を表示させている状態で、上記第２面状部材により検知された上記第１面状部材の像に基づいて、上記第１面状部材において所定の閾値以下の輝度を有する領域の位置を特定する特定手段をさらに備えていることを特徴とする請求項１から３のいずれか１項に記載の画像表示／像検知装置。
6. 上記特定手段により特定された領域を上記第１面状部材に表示するとき、当該領域が上記第１面状部材に表示される位置を示すマーカーを、上記第１面状部材に表示するマーカー表示制御手段をさらに備えていることを特徴とする請求項４または５に記載の画像表示／像検知装置。
7. 上記第１面状部材が、画像を表示すると共に、近傍の像を検知することを特徴とする請求項１から６のいずれか１項に記載の画像表示／像検知装置。
8. ２つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する２つの内面のうち、一方の内面に、画像を表示する第１面状部材が配設され、他方の内面に、近傍の像を検知する第２面状部材が配設された画像表示／像検知装置の検査方法であって、
   上記筐体を折り畳んだ状態で、上記第１面状部材に所定の検査用画像を表示させる表示制御ステップと、
   上記筐体を折り畳んだ状態で上記第２面状部材により検知された上記第１面状部材の像が、上記検査用画像と一致するか否かを判定する判定ステップと、
   含むことを特徴とする検査方法。
9. 請求項１から７のいずれか１項に記載の画像表示／像検知装置が備えているコンピュータを動作させるプログラムであって、上記コンピュータを上記の各手段として機能させるためのプログラム。
10. 請求項９に記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。

Images