JP2010140248A - 表示装置および表示装置の制御方法 - Google Patents

Abstract

【課題】今までにない感覚で快適に画像を閲覧させる。
【解決手段】平面状のセンサ内蔵液晶パネル３０１Ａと、楕円体の一部を模した曲面状のメニュー画像をセンサ内蔵液晶パネル３０１Ａに投影して表示するメニュー表示部１４と、センサ内蔵液晶パネル３０１Ａが押されたことを検出するずれ検出部１１とを備え、メニュー表示部１４は、ずれ検出部１１が、センサ内蔵液晶パネル３０１Ａが押されたことを検出したときに、センサ内蔵液晶パネル３０１Ａが押された方向と平行であって上記楕円体の中心を通る平面を設定し、該平面と垂直であって、上記楕円体の中心を通る直線を軸として回転させた状態のメニュー画像をセンサ内蔵液晶パネル３０１Ａに投影して表示するので、ユーザは、球体または楕円体を直に触って回転させるような感覚で快適に画像を閲覧することができる。
【選択図】図１

Description

本発明は、平面状の表示部に画像を表示する表示装置及び表示装置の制御方法に関するものである。

従来から、表示部を備えた電子機器が広く用いられている。このような電子機器では、入力操作に応じて表示部に表示される画像が変化するようになっており、これにより、ユーザは、所望の情報を表示部に表示させて閲覧したり、電子機器に所望の処理を実行させたりすることができる。

例えば、携帯電話機のような複数の機能を備えた電子機器では、複数の機能のそれぞれに対応するアイコンを表示部に表示して、表示したアイコンを入力キーへの入力操作によって選択できるようにしている。これにより、ユーザは、所望の機能に対応するアイコンを選択して、携帯電話機に所望の機能を実行させることができる。

また、近年では表示部と入力部とを兼ねるデバイスであるタッチパネルを採用する電子機器が増えている。タッチパネルで入力操作を行うユーザは、表示される画像によって、その入力領域に割り当てられた入力信号によって実行される機能を認識することができるので、直感的に入力操作を行うことができる（例えば下記の特許文献１）。

また、下記の特許文献２には、タッチパネル機能をするサブ表示画面を携帯電話機の本体からスライドして引き出せるように設けたテレビ付き携帯電話機が開示されている。そして、特許文献２には、携帯電話機のメイン表示画面にテレビ映像を表示している状態で、サブ表示画面を引き出す入力操作が行われたときに、引き出したサブ表示画面にデータ放送等の文字情報を表示すること等が記載されている。

さらに、近年では表示部上の像を検知する機能を備えた、新たなデバイスが実用化されている。いわゆる光センサ内蔵液晶表示装置である。光センサ内蔵液晶表示装置は、像を検知することができるので、表示部上の指の軌跡を検知することによって、ジェスチャー入力を実現することもできる。これにより、ユーザは、より直感的な操作で電子機器を操作することができる。
特開２００８−１４１５１９号公報（2008年6月19日公開） 国際公開第０６／０５１６６９号パンフレット（2006年5月18日公開）

以上のように、表示部を有する電子機器において、入力操作が行われたときに、表示部にどのような画像を表示するかは、電子機器を直感的に操作し、また表示される画像をユーザが快適に閲覧することを可能にするという観点から、極めて重要である。

本発明は、上記の点に鑑みてなされたものであり、その目的は、入力操作と連動させて、今までにはない態様で表示を行うことにより、ユーザに、従来にはなかった新しい感覚で入力操作を行い、快適に画像の閲覧をすることができるようにする表示装置及び表示装置の制御方法を提供することにある。

また、本発明に係る表示装置は、上記課題を解決するために、平面状の表示部と、球体または楕円体の少なくとも一部を模した曲面状の元画像を上記表示部に投影した画像を表示する画像表示手段と、上記表示部に対する入力操作を検出する検出手段と、上記検出手段が入力操作を検出したときに、当該入力操作に対応付けられた方向と平行であって上記球体または楕円体の中心を通る平面を設定し、該平面と垂直であって、上記球体または楕円体の中心を通る直線を軸として回転させた状態の上記元画像が上記表示部に投影された画像を上記画像表示手段に表示させる回転表示手段とを備えていることを特徴としている。

そして、本発明に係る表示装置の制御方法は、上記課題を解決するために、平面状の表示部を備える表示装置の制御方法であって、球体または楕円体の少なくとも一部を模した曲面状の元画像を上記表示部に投影した画像を表示する画像表示ステップと、上記表示部に対する入力操作を検出する検出ステップと、上記検出ステップにて入力操作を検出したときに、当該入力操作に対応付けられた方向と平行であって上記球体または楕円体の中心を通る平面を設定し、該平面と垂直であって、上記球体または楕円体の中心を通る直線を軸として回転させた状態の上記元画像を上記表示部に投影した画像を表示させる回転表示ステップとを含むことを特徴としている。

上記の構成または方法によれば、球体または楕円体の少なくとも一部を模した曲面で構成される元画像の投影像が表示部に表示される。これにより、ユーザは、実際には平面状である表示部が曲面であるように感じることになる。

そして、ユーザが、表示部に対して所定の入力操作を行ったときには、元画像を回転させた状態における投影像が表示部に表示される。これにより、ユーザは、表示部上の画像が回転したように感じることになる。

つまり、上記の構成または方法によれば、ユーザは、球体または楕円体を直に触って回転させるような感覚で、元画像の所望の領域を表示部に表示させて閲覧することができる。つまり、ユーザは、従来にはなかった新しい感覚で入力操作を行い、快適に画像の閲覧をすることができる。

なお、表示部に対する入力操作には、ユーザが指等で表示部に直接触れて行う操作の他、表示部と一体に構成された部材（例えば表示部が設けられた板体や筐体）にユーザが指等で触れることによって、表示部の位置を変化させるような操作も含まれる。

また、上記表示部は、第１板体上に設けられており、該第１板体は、上記表示部が設けられている側と反対側の面で、第２板体とスライド可能に重ね合わされており、上記所定の入力操作は、上記表示部に触れて上記第１板体と第２板体とをスライドさせる操作であり、上記入力操作に対応付けられた方向は、上記第１板体が、上記第２板体に対してスライドした方向であることが好ましい。

上記の構成によれば、第１板体と第２板体とをスライドさせることによって、表示されていた画像が、球面または楕円体の表面に沿って移動するように表示が行われる。したがって、ユーザは、直感的な操作で元画像の所望の領域を表示部に表示させて閲覧することができる。

なお、上記の構成では、上記第１板体と第２板体とを片手で把持してスライドできるようなサイズ及び形状とすることが好ましい。これにより、ユーザは、片手の操作で元画像の所望の領域を表示部に表示させて閲覧することができる。

また、上記スライド方向は、２枚の板体のある位置関係を基準として求めることができる。例えば、２枚の板体の重なりが最も大きい（上側板体によって被覆される下側板体の上面の面積が最も広くなる）位置関係を基準として、そのときの２枚の板体の相対位置と、スライド後の相対位置とを比較することによってスライド方向を求めることもできる。

そして、２枚の板体は、少なくとも一方向にスライド可能になっていればよいが、スライド方向が多いほど、多様な方向に画像を回転させることができるので、スライド方向は多いほど好ましい。

さらに、元画像を回転させる量（回転角度）は、スライド量（２枚の板体のずらし幅）に応じて変化させることが好ましい。スライド量と回転量とを連動させることにより、ユーザは、２枚の板体をずらす量（ずらし幅）を調節することで、所望の移動量だけ移動させた領域の画像を表示させることができる。なお、回転量は、ずれ量に比例して大きくすることにより、ユーザが直感的な操作を行うことができるので好ましい。

また、上記第２板体の上記第１板体と対向する側の面には、上記第１板体の像を検知する像検知部材が設けられており、上記検出手段は、上記像検知部材が検知した上記第１板体の像に基づいて、上記第１板体が上記第２板体に対してスライドした方向を検出する構成であってもよい。

上記の構成において、第１板体と第２板体とは重ね合わされた構造になっているので、第２板体の第１板体と対向する側の面に像検知部材を設けることによって、第１板体の像を検知することができる。

ここで、像検知部材において、第１板体で被覆されている領域と、露出している領域とでは、光の当たり方が異なるので、検知される像の輝度や色等が異なることになる。したがって、検知された像において、例えば輝度値の変化等を調べることにより、第１板体と第２板体との相対位置を特定し、第１板体と第２板体とがスライドした方向を求めることができる。

したがって、上記の構成によれば、第１板体と第２板体とをずらすユーザの操作を検出し、検出したスライド方向に応じて、表示部に表示する画像を回転させることができる。

また、上記回転表示手段は、上記元画像を回転させることによって、上記表示部の表示領域外となった部分を当該回転の方向の上流側端部に配した画像が、上記表示部に投影された画像を上記画像表示手段に表示させることが好ましい。

上記の構成によれば、入力操作があった場合に元画像を回転した状態の投影像が表示されるが、元画像を回転させると、元画像の回転方向の下流側端部は、表示部に表示されなくなる。

そこで、上記の構成によれば、元画像の回転によって表示部の表示領域外となった部分を当該回転の方向の上流側端部に配した画像の投影像を表示部に表示するようにしている。

つまり、上記の構成によれば、画像が循環して表示される。そして、この画像は、球体または楕円体の投影像であるから、ユーザは、表示領域外となった画像の部位が、表示部上において次に表示される位置を直感的に認識することができる。

これは、例えばアイコンのような選択項目の表示に好適である。つまり、従来のタッチパネル入力式の電子機器では、複数のアイコンからアイコンを選択するときには、ユーザは、表示されているアイコンの中から所望のものを探し、所望のアイコンに指を運んで選択する。これに対し、上記の構成によれば、ユーザは表示部に入力操作を行うことにより、アイコンを循環表示させることができるので、所望のアイコンを容易に自分の手元に引き寄せて選択することができる。

また、上記第２板体の上記第１板体と対向する側の面には、第２表示部が設けられており、上記画像表示手段は、上記元画像において、上記表示部に表示されている画像に隣接する領域を、当該画像と連続するように、上記第２表示部の上記第１板体に覆われていない表示領域に表示することが好ましい。

上記構成によれば、第１板体の一方の面には表示部が設けられており、第２板体の第１板体と対向する側の面には、第２表示部が設けられている。したがって、上記表示装置を第１板体側から見れば、表示部の全表示領域が見えると共に、第２表示部の第１板体に覆われていない表示領域が見え、これらの表示領域は隣接して見える。

そこで、上記の構成では、元画像において、第１板体が有する表示部に表示されている画像に隣接する領域を、当該画像と連続するように、第２板体が有する第２表示部の第１板体に覆われていない表示領域に表示している。

これにより、表示部の表示領域と第２表示部の表示領域とを合わせた表示領域に対して、連続した画像が表示されるので、ユーザは、より広い範囲の画像を一度に閲覧することができる。

なお、第２表示部は、光センサ内蔵液晶表示パネルで構成することが好ましい。第２表示部を光センサ内蔵液晶表示パネルで構成することにより、第２表示部にて画像の表示と像検知との両方を行うことができる。

また、上記表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示装置の各手段として動作させることにより、上記表示装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

以上のように、本発明に係る表示装置は、平面状の表示部と、球体または楕円体の少なくとも一部を模した曲面状の元画像を上記表示部に投影した画像を表示する画像表示手段と、上記表示部に対する入力操作を検出する検出手段と、上記検出手段が入力操作を検出したときに、当該入力操作に対応付けられた方向と平行であって上記球体または楕円体の中心を通る平面を設定し、該平面と垂直であって、上記球体または楕円体の中心を通る直線を軸として回転させた状態の上記元画像が上記表示部に投影された画像を上記画像表示手段に表示させる回転表示手段とを備えている構成である。

また、以上のように、本発明に係る表示装置の制御方法は、球体または楕円体の少なくとも一部を模した曲面状の元画像を上記表示部に投影した画像を表示する画像表示ステップと、上記表示部に対する入力操作を検出する検出ステップと、上記検出ステップにて入力操作を検出したときに、当該入力操作に対応付けられた方向と平行であって上記球体または楕円体の中心を通る平面を設定し、該平面と垂直であって、上記球体または楕円体の中心を通る直線を軸として回転させた状態の上記元画像を上記表示部に投影した画像を表示させる回転表示ステップとを含む構成である。

したがって、ユーザは、球体または楕円体を直に触って回転させるような感覚で、元画像の所望の領域を表示部に表示させて閲覧することができる。つまり、ユーザは、従来にはなかった新しい感覚で入力操作を行い、快適に画像の閲覧をすることができるという効果を奏する。

本発明の一実施形態について図１から図１８に基づいて説明すると以下の通りである。まず、本実施形態に係るデータ表示／センサ装置（表示装置）１００の概要について、図９及び図１０に基づいて説明する。

〔データ表示／センサ装置の概要〕
図９は、データ表示／センサ装置１００の動作例を示す斜視図であり、同図（ａ）は筐体（板体）を閉じた状態を示し、同図（ｂ）は筐体を縦方向にずらした状態を示し、同図（ｃ）は筐体を斜め方向にずらした状態を示している。なお、筐体の長手方向を縦方向と呼び、２枚の筐体が対向する面上において上記縦方向に垂直な方向を横方向と呼び、２枚の筐体が対向する面上において上記縦方向でも横方向でもない方向を斜め方向と呼ぶ。

また、ここでは、２枚の筐体のずれ方向及びずれ量を、２枚の筐体のずれが最も小さい同図（ａ）の状態を基準として説明する。つまり、同図（ａ）の状態は２枚の筐体のずれ量が全方向についてゼロである状態と言え、同図（ｂ）の状態は縦方向にずれがあり、横方向のずれがゼロの状態と言え、同図（ｃ）の状態は斜め方向にずれがある状態と言える。

同図（ａ）に示すように、データ表示／センサ装置１００は、楕円形状の表示／光センサ部３００Ａの筐体（以下、単に表示／光センサ部３００Ａと呼ぶ）と、同じく楕円形状の表示／光センサ部３００Ｂの筐体（以下、単に表示／光センサ部３００Ｂと呼ぶ）とが重ねあわされた構成であり、表示／光センサ部３００Ａの上面（表示／光センサ部３００Ｂに対向していない側の面）は、センサ内蔵液晶パネル３０１Ａとなっている。

詳細については後述するが、表示／光センサ部３００Ａ（第１板体）は、センサ内蔵液晶パネル３０１Ａ（表示部）に画像を表示させることができると共に、表示／光センサ部３００Ａの近傍の像を検知することができる。

なお、図示の例では、表示／光センサ部３００Ａと表示／光センサ部３００Ｂとが、ぴったり重なり合う態様（データ表示／センサ装置１００の真上から見ると表示／光センサ部３００Ａのみが視認され、真下から見ると表示／光センサ部３００Ｂのみが視認される態様）を示しているが、表示／光センサ部３００Ａと表示／光センサ部３００Ｂとは、完全に重なり合う必要はなく、筐体を閉じたときの重なり程度は、必要に応じて適宜変更することができ、また両者の形状も適宜変更することができる。

また、データ表示／センサ装置１００は、同図（ｂ）に示すように、表示／光センサ部３００ＡとＢとを、縦方向にスライドさせる（ずらす）ことができるようになっている。表示／光センサ部３００ＡとＢとをずらすことにより、表示／光センサ部３００Ａで隠れていた表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１Ｂが外部から視認できるようになる。

詳細については後述するが、表示／光センサ部３００Ｂ（第２板体）も、表示／光センサ部３００Ａと同様に、センサ内蔵液晶パネル３０１Ｂ（第２表示部、像検知部材）に画像を表示させることができると共に、表示／光センサ部３００Ｂの近傍の像を検知することができる。

さらに、データ表示／センサ装置１００は、同図（ｃ）に示すように、表示／光センサ部３００ＡとＢとを、斜め方向にもスライドさせる（ずらす）ことができるようになっている。また、図示していないが、データ表示／センサ装置１００では、表示／光センサ部３００ＡとＢとを横方向にもずらすことができるようになっている。

つまり、データ表示／センサ装置１００では、表示／光センサ部３００ＡとＢとを縦方向及び横方向のみならず、斜め方向にもずらすことができるようになっている。このように表示／光センサ部３００ＡとＢとをスライドさせるための機構は、例えば、表示／光センサ部３００ＡとＢとが対向する面にヒンジを設けることによって実現することが可能である。

具体的には、表示／光センサ部３００Ａの表示／光センサ部３００Ｂに対向する側の面、または表示／光センサ部３００Ｂの表示／光センサ部３００Ａに対向する側の面の何れか一方に中心点から８方向に伸びるレールを設けておき、他方に該レールに沿ってスライドする突起部を設ける構成が考えられる。

なお、スライド機構の構成としては、特にこのような構成に限定されるものではなく、表示／光センサ部３００ＡとＢとが相対的に移動可能な構造であればどのようなものであってもよい。

また、データ表示／センサ装置１００を側方から見れば、図１０のようになっている。図１０は、データ表示／センサ装置１００の側面図である。図示のように、表示／光センサ部３００Ａの上面は、平面状に形成されており、この平面にセンサ内蔵液晶パネル３０１Ａが設けられている。同様に、表示／光センサ部３００Ｂの上面も、平面状に形成されており、この平面にセンサ内蔵液晶パネル３０１Ｂが設けられている。

そして、データ表示／センサ装置１００は、平面状に形成された表示／光センサ部３００Ａの下面とセンサ内蔵液晶パネル３０１Ｂが設けられている表示／光センサ部３００Ｂの上面とが対向した状態でスライドするように構成されている。

なお、表示／光センサ部３００Ｂの下面の形状は、どのようなものであってもよいが、図示の例のように、表示／光センサ部３００Ｂの下面を曲面とした場合には、ユーザがデータ表示／センサ装置１００を把持しやすくなるので好ましい。

データ表示／センサ装置１００の主な特徴点は、ユーザが球体または楕円体を直に触って回転させるような感覚で所望の領域を表示部に表示させて閲覧することができるようにする、センサ内蔵液晶パネル３０１Ａの表示にある。

次に、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１Ａ及びＢの概要について説明する。なお、センサ内蔵液晶パネル３０１Ａ及びＢは、同様の構成を備えているので、以下の説明では、センサ内蔵液晶パネル３０１Ａ及びＢをセンサ内蔵液晶パネル３０１と称して説明する。また、表示／光センサ部３００Ａ及びＢについても同様に、表示／光センサ部３００と称して説明する。

〔センサ内蔵液晶パネルの概要〕
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

〔データ表示／センサ装置の要部構成〕
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行うための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９を備えている。

データ表示／センサ装置１００では、外部通信部９０７の機能により、携帯電話通信網を介して他の携帯電話機等と通話したり、電子メールの送受信を行ったり、インターネットに接続したりすることができるようになっている。これらの機能は、一般の携帯電話機が備えているものを適用することもできる。

また、データ表示／センサ装置１００は、テレビ受信部（放送受信部）９１０を備えている。テレビ受信部９１０は、放送波を受信してデコードし、映像や音声などを出力するものであり、アンテナやチューナ等で構成されている。つまり、データ表示／センサ装置１００では、テレビ放送の視聴が可能になっている。

さらに、データ表示／センサ装置１００は、図示していないが、カメラを備えており、このカメラによって撮影を行うこともできるようになっている。

〔コマンドの詳細〕
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれを主制御部８００に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした領域のそれぞれを部分画像データとして抽出し、主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像における代表点を検出し、当該代表点の部分画像における位置を示す代表座標の座標データを主制御部８００に送信する。なお、上記代表点とは、例えば、上記部分画像データの中心、上記部分画像データの重心などが挙げられる。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれの代表点を検出し、当該検出された各代表点の、部分画像における位置を示す代表座標の座標データを主制御部８００に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、各領域における位置を示す代表座標の座標データを、主制御部８００に送信する。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表点の、全体画像データにおける位置を示す代表座標の座標データを主制御部８００に送信する。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像のそれぞれの代表点の、全体画像における位置を示す代表座標の座標データを主制御部８００に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、全体画像における位置を示す代表座標の座標データを、主制御部８００に送信する。

すなわち、データ表示／センサ装置１００は、ユーザが指やペンなどでセンサ内蔵液晶パネル３０１をタッチした数に関わらず、該タッチした領域の代表点を検出することができる（多点検出）。そして、該検出された代表点の、部分画像における位置を示す代表座標の座標データ、および、全体画像における位置を示す代表座標の座標データを主制御部８００にすることができる。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行う対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。

〔全体画像データ／部分画像データ／座標データ〕
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

〔センサ内蔵液晶パネルの構成〕
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

〔データ表示／センサ装置のより詳細な構成〕
次に、図１１を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。

図１１は、データ表示／センサ装置１００のより詳細な構成を示すブロック図である。図示のように、主制御部８００は、ずれ検出部（検出手段）１１、表示制御部１２、機能実行部１３を備え、記憶部９０１にはメニュー画像記憶部１６が含まれている。

ずれ検出部１１は、表示／光センサ部３００ＡとＢとのずれ量及びずれ方向を検出する。データ表示／センサ装置１００では、ずれ検出部１１が検出したずれ量及びずれ方向に基づいて、機能実行部１３が所定の動作を行うようになっている。なお、ずれの検出方法及び機能実行部１３の実行する動作の詳細については後述する。

表示制御部１２は、機能実行部１３の指示に従ってセンサ内蔵液晶パネル３０１Ａ及びＢの何れかまたは両方に画像を表示させる。

機能実行部１３は、データ表示／センサ装置１００が備える各機能を実行する。つまり、機能実行部１３によって、電子メールの送受信及び閲覧等に関するメール機能、カメラによる撮影等に関する写真機能、通話、履歴管理、電話帳管理等に関する電話機能、各種設定変更機能、音楽再生機能、データ管理機能、その他のアプリケーションソフト実行機能等が実現される。

また、機能実行部１３は、図示のように、メニュー表示部（画像表示手段、回転表示手段）１４とブラウザ制御部（画像表示手段、回転表示手段）１５とを備えている。なお、上記のように、機能実行部１３は、メール機能等の複数の機能を実行するが、これらの機能に対応するブロックを全て図示すると図面が煩雑になるので、図１１では機能実行部１３の主なブロックのみを示している。また、図示していないブロックが実行する処理の主体を、機能実行部１３として説明する。

メニュー表示部１４は、データ表示／センサ装置１００が備える上記各機能の何れを実行するかをユーザに選択させるためのメインメニューをセンサ内蔵液晶パネル３０１Ａに表示させる。ここでは、上記各機能に対応するアイコンが配列した画像をメニュー画像記憶部１６から読み出して表示させることによって、上記各機能の何れを実行するかをユーザに選択させる。

そして、メニュー表示部１４は、ずれ検出部１１の検出結果に基づいて、表示したアイコンの何れが選択されたかを判断し、選択されたアイコンに対応する機能を実行させるための入力信号を生成する。

ブラウザ制御部１５は、ウェブページの閲覧等を可能にするものであり、外部通信部９０７を介してインターネットに接続することで取得したデータ等をセンサ内蔵液晶パネル３０１Ａ及びＢの何れかまたは両方に表示する機能を有する。

ここで、例えばウェブサイトの閲覧をするときには、表示する画面のサイズが、センサ内蔵液晶パネル３０１Ａが一度に表示可能なサイズを超えていることがある。ブラウザ制御部１５は、このようなサイズの画像の一部分がセンサ内蔵液晶パネル３０１Ａに表示されている状態で、表示／光センサ部３００ＡとＢとをずらす操作が行われたときに、画像の表示領域を移動させる。これにより、センサ内蔵液晶パネル３０１Ａに表示される画像がスクロールされるので、ユーザは、大きい画像の所望の位置を直感的な操作で表示させることができる。

また、表示／光センサ部３００ＡとＢとをずらす操作が行われることによって、センサ内蔵液晶パネル３０１Ｂが外部に露出する。ここで、ブラウザ制御部１５は、外部に露出したセンサ内蔵液晶パネル３０１Ｂに、上記画像のセンサ内蔵液晶パネル３０１Ａに表示しきれていない部分を表示させる。これにより、センサ内蔵液晶パネル３０１ＡとＢとの両方の表示領域を合わせた表示領域に画像が表示されるので、センサ内蔵液晶パネル３０１Ａのみに画像を表示させる場合と比べて、ユーザは一度に広い範囲の画像を閲覧することができる。

〔ずれの検出方法〕
続いて、ずれ検出部１１が表示／光センサ部３００ＡとＢとのずれ量及びずれ方向を検出する方法について、図１２に基づいて説明する。図１２は、表示／光センサ部３００ＡとＢとのずれ量及びずれ方向を検出する方法を模式的に示した図である。なお、図１２では、表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１Ｂに画像が表示されていないことを想定している。

図示のように、表示／光センサ部３００ＡとＢとがずれている場合には、表示／光センサ部３００Ｂにおいて、表示／光センサ部３００Ａと重なっている部分には外光が入射せず、重なっていない部分には外光が入射する。

したがって、表示／光センサ部３００ＡとＢとがずれている状態において、表示／光センサ部３００Ｂにてスキャンを行うことにより、ＳＣＤ１のような画像が取得される。ＳＣＤ１では、表示／光センサ部３００Ｂにおいて、表示／光センサ部３００Ａと重なっている部分が暗く、重なっていない部分が明るくなっている。

このため、ＳＣＤ１における隣接する画素の輝度値や色の変化率が所定の閾値を越える部位を境界として特定することができる、これにより、表示／光センサ部３００ＡとＢとのずれ方向及びずれ量を算出することができる。

つまり、図示のように、表示／光センサ部３００Ａの影になっている部分（ＳＣＤ１の暗部）の形状から、表示／光センサ部３００Ａの中心位置を算出することができる。そして、表示／光センサ部３００Ｂの中心位置と、上記算出した表示／光センサ部３００Ａの中心位置とを比較することにより、移動方向及び移動距離を算出することができる。無論、移動方向及び移動距離を算出する基準となる位置は、表示／光センサ部３００Ａ及びＢの中心位置に限られず、表示／光センサ部３００ＡまたはＢに設定した任意の基準位置から移動方向及び移動距離を算出することができる。

なお、表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１Ｂに画像を表示させた状態においても、上記と同様の方法にて、ずれ量及びずれ方向を検出することができる。ただし、センサ内蔵液晶パネル３０１Ｂに画像を表示させた状態では、センサ内蔵液晶パネル３０１Ｂの発する光が表示／光センサ部３００Ａに反射して、センサ内蔵液晶パネル３０１Ｂで検出される。このため、ＳＣＤ１における明暗の境界の判別が困難となることが考えられる。また、外光の入射量が少ない場合にも、ＳＣＤ１における明暗の境界の判別が困難となることが考えられる。

そこで、ずれ検出部１１は、ＳＣＤ１における明暗の境界の判別に失敗したときには、センサ内蔵液晶パネル３０１Ｂに表示させる画像の輝度を変化させて、再度スキャンを行うことが好ましい。これにより、センサ内蔵液晶パネル３０１Ｂに画像を表示させた状態であっても、また暗い場所で使用する場合であってもずれ量及びずれ方向を正確かつ確実に求めることができる。

〔メインメニューからの機能選択〕
続いて、データ表示／センサ装置１００において、メインメニューから実行する機能を選択するときの処理について、図１に基づいて説明する。図１は、メインメニューの表示画面の一例を示す図であり、同図（ａ）はメインメニューが表示されたときの画面例を示し、同図（ｂ）は同図（ａ）の状態から表示／光センサ部３００ＡとＢとをスライドさせたときの画面例を示し、同図（ｃ）は同図（ｂ）の状態から、表示／光センサ部３００ＡとＢとをさらにスライドさせたときの画面例を示している。

同図（ａ）に示すメインメニューの画面例では、センサ内蔵液晶パネル３０１Ａに、データ表示／センサ装置１００の縦方向に３列、横方向に６列の、計１８個のアイコン２１が曲面状に配列した画像が表示されている。言い換えれば、センサ内蔵液晶パネル３０１Ａには、１８個のアイコン２１が配列した楕円体状の画像をセンサ内蔵液晶パネル３０１Ａに投影した画像が表示されている。

なお、アイコン２１は、センサ内蔵液晶パネル３０１Ａの表示領域の中央部付近が端部付近よりも凸となる曲面状に配置されていればよく、球面状に配置されていてもよい。また、上記球及び楕円体は、ユーザがそれと認識できるようなものであればよく、厳密な球体または楕円体とする必要はない。

そして、図示の１８個のアイコン２１は、それぞれデータ表示／センサ装置１００の各機能に対応付けられている。例えば、「ＭＡＩＬ」と表示されたアイコン２１はメール機能に対応し、「ＰＨＯＴＯ」と表示されたアイコン２１は写真機能に対応し、「ＰＨＯＮＥ」と表示されたアイコン２１は電話機能に対応し、「ＴＶ」と表示されたアイコン２１はテレビ機能に対応し、「ＳＥＴＴＩＮＧ」と表示されたアイコン２１は設定変更機能に対応し、「ＭＵＳＩＣ」と表示されたアイコン２１は音楽機能に対応し、「ＤＡＴＡ」と表示されたアイコン２１はデータ管理機能に対応し、「ＡＰＬＩ」と表示されたアイコン２１はその他のアプリ実行機能に対応し、「ＷＥＢ」と表示されたアイコン２１はウェブ接続に対応している。

また、センサ内蔵液晶パネル３０１Ａには、アイコン２１の選択位置を示すカーソル２２が表示されている。データ表示／センサ装置１００では、カーソル２２の表示位置は固定されており、表示／光センサ部３００ＡとＢとを閉じたときの、カーソル２２の位置のアイコン２１が選択されるようになっている。同図（ａ）では、カーソル２２の位置には、「ＰＨＯＮＥ」と表示されたアイコン２１が表示されているので、この状態で表示／光センサ部３００ＡとＢとを閉じた場合には、電話機能が実行される。

なお、ここではカーソル２２を表示することによって選択候補となるアイコン２１をユーザに認識させる例について説明するが、データ表示／センサ装置１００では、選択候補となっているアイコン２１をユーザが認識できるようになっていればよく、この例に限られない。

例えば、選択候補となっているアイコン２１の表示態様を他のアイコン２１と異ならせる（輝度値を明るくする、拡大表示する、画像を変化させる等）ことによって、選択候補となっているアイコン２１をユーザが認識できるようにしてもよい。

さて、図９及び図１０に示したように、表示／光センサ部３００ＡとＢとは、スライド可能な構成になっている。このため、図１（ａ）に示すように表示／光センサ部３００Ａを同図の矢印方向に押すことにより、同図（ｂ）に示すように表示／光センサ部３００ＡがＢに対して縦方向にスライドする。

表示／光センサ部３００ＡをＢに対して縦方向にスライドさせることにより、図示のように、アイコン２１の表示位置がスライドさせた方向と逆向きに１段階ずれる。つまり、縦方向に配列した中央の列に注目すれば、同図（ａ）では、カーソル２２の位置が「ＰＨＯＮＥ」であり、その１つ上側が「ＭＡＩＬ」であったが、同図（ｂ）では、「ＭＡＩＬ」がカーソル２２の位置に移動し、「ＰＨＯＮＥ」はカーソル２２の下側に移動している。また、同図（ａ）では中央列の一番下側に表示されていた「ＴＶ」が、同図（ｂ）では中央列の一番上側に移動している。そして、他の２列についても同様に、アイコン２１の表示位置が１段階ずれると共に、同図（ａ）で一番下側に表示されていたアイコン２１が一番上側に移動している。

つまり、表示／光センサ部３００ＡとＢとをずらしたときには、ずれの向きと逆向きに各アイコン２１の表示位置がずれる。そして、アイコン２１がずれる向きに対して最も下流側のアイコン２１は、アイコン２１がずれる向きに対して最も上流側に移動する。このように、データ表示／センサ装置１００では、表示／光センサ部３００ＡとＢとをずらすことにより、アイコン２１を循環表示することができるようになっている。

図１（ａ）に示すように、アイコン２１は、楕円体の表面を模した曲面上に配置されており、ユーザは、表示／光センサ部３００Ａを指で押すことによって、アイコン２１が曲面上を移動するようになっているので、楕円体を直に触って回転させているような感覚で、所望のアイコン２１を選択することができる。

また、上記の構成によれば、楕円体状の曲面上でアイコン２１を移動させているので、ユーザは、アイコン２１のずれの向きに対して最も下流側に位置するアイコン２１が、アイコン２１のずれの向きに対して最も上流側に再表示されることを直感的に認識することができる。

同図（ｂ）の状態から、さらに表示／光センサ部３００Ａを上向きにスライドさせると、同図（ｃ）に示すように、アイコン２１は、スライドさせた方向と逆向きにさらに１段階ずれる。

また、図１には示していないが、表示／光センサ部３００ＡをＢに対して、右向き、左向き、下向き、右斜め上向き、右斜め下向き、左斜め上向き、及び左斜め下向きにずらしたときにも同様に、アイコン２１がずれの向きと逆向きに循環するように表示が行われる。

例えば、同図（ａ）の状態から表示／光センサ部３００ＡをＢに対して右向きにずらしたときには、カーソル２２の位置にある「ＰＨＯＮＥ」はカーソル２２の左側に移動し、カーソル２２の右側の「ＴＯＯＬ」がカーソル２２の位置に移動し、カーソル２２の左側の「ＭＥＭＯ」がカーソル２２の右側に移動する。

また、例えば、同図（ａ）の状態から表示／光センサ部３００ＡをＢに対して右斜め上向きにずらしたときには、カーソル２２の位置にある「ＰＨＯＮＥ」はカーソル２２の左斜め下に移動し、カーソル２２の右斜め上の「ＡＰＬＩ」がカーソル２２の位置に移動し、カーソル２２の左斜め下の「ＣＬＯＣＫ」がカーソル２２の右斜め上に移動する。

以上のように、データ表示／センサ装置１００では、表示／光センサ部３００ＡとＢとをずらす操作によって、アイコン２１が曲面上を循環して移動するように表示が行われる。これにより、ユーザは、あたかも球体を転がしながらその表面を見ているかのような感覚で所望のアイコン２１を探し、選択することができる。

〔メインメニューから機能選択する処理の流れ〕
続いて、図１３に基づいて、メインメニューから機能選択する処理の流れについて説明する。図１３は、メインメニューから機能選択する処理の一例を示すフローチャートである。メインメニューから機能選択する処理は、メニュー表示部１４の制御に従って行われる。

まず、メニュー表示部１４は、メニュー画像記憶部１６からメインメニュー用の画像を読み出し、表示制御部１２に指示して、これをセンサ内蔵液晶パネル３０１Ａに表示させる（Ｓ１０）。なお、ここで表示する画像は、例えば図１（ａ）に示すような、楕円体または球体の少なくとも一部を模した曲面上にアイコン等の選択項目が配置された画像である。

そして、メニュー表示部１４は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとのずれを検出するのを待ち受ける（Ｓ１１）。ここで、ずれ検出部１１が、表示／光センサ部３００ＡとＢとのずれを検出したことを確認する（Ｓ１１でＹＥＳ）と、メニュー表示部１４は、検出されたずれ量とずれ方向とに基づいて、次に表示する画像を決定する（Ｓ１２）。

そして、メニュー表示部１４は、上記決定した画像をメニュー画像記憶部１６から読み出し、表示制御部１２に指示して、これを。センサ内蔵液晶パネル３０１Ａに表示させる（Ｓ１３）。これにより、センサ内蔵液晶パネル３０１Ａに表示される画像が更新される。

つまり、メニュー画像記憶部１６には、全てのパターンのメニュー画像が予め記憶されている。そして、メニュー表示部１４は、検出されたずれ量とずれ方向とに基づいて、メニュー画像記憶部１６に記憶されているメニュー画像の中から、次に表示するメニュー画像を選択する。

例えば、図１の例では、１８種類のアイコン２１が含まれているので、１８種類のメニュー画像と、各メニュー画像においてカーソル２２の位置となるアイコン２１とを対応付けて予め記憶しておけばよい。また、ずれ量に応じてアイコン２１を何段階移動させるかを予め設定しておく。

これにより、メニュー表示部１４は、ずれ検出部１１がずれ方向及びずれ量を検出したときに、現在カーソル２２の位置にあるアイコン２１から、次にカーソル２２の位置となるアイコン２１を特定することができ、次にカーソル２２の位置となるアイコン２１から、次に表示するメニュー画像を特定することができる。

例えば、ずれ量が５ｍｍ〜１０ｍｍのときにアイコン２１を１段階移動させるようにし、ずれ量がそれ以上であるときにアイコン２１を２段階移動させるように設定した場合に、図１（ａ）のようにアイコン２１が配置されている例について考える。

この場合に、表示／光センサ部３００Ａを左向きに８ｍｍだけスライドさせたときには、アイコン２１が右向きに１段階移動することになるので、メニュー表示部１４は、次にカーソル２２の位置となるアイコン２１が「ＭＥＭＯ」であると判断することができる。

したがって、この場合には、メニュー表示部１４は、カーソル２２の位置となるアイコン２１が「ＭＥＭＯ」となっているメニュー画像をメニュー画像記憶部１６から読み出して表示させる。

これにより、図１（ａ）のようにカーソル２２の位置となるアイコン２１が「ＰＨＯＮＥ」となっているメニュー画像が、カーソル２２の位置となるアイコン２１が「ＭＥＭＯ」となっているメニュー画像に切り換わる。この切り換えにより、ユーザは、アイコン２１が配置された曲面が回転したように感じる。

なお、切り換え前のメニュー画像と切り換え後のメニュー画像との間に、切り換えの遷移中のメニュー画像を挿入してもよい。これにより、メニュー画像が滑らかに切り換わるので、メニュー画面切り換え時のユーザの違和感を低減することができる。

そして、メニュー表示部１４は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとのずれ量またはずれ方向が変化したことを検出するのを待ち受ける（Ｓ１４）。ここで、ずれ量がまたはずれ方向の変化が検出された場合（Ｓ１４でＹＥＳ）には、メニュー表示部１４は、ずれ量がゼロになったか否か（データ表示／センサ装置１００が閉じられた状態となったか否か）を確認する（Ｓ１５）。

ずれ量がゼロになったことが確認されない場合（Ｓ１５でＮＯ）には、処理はＳ１２に戻り、メニュー表示部１４は、ずれ検出部１１が検出した最新のずれ方向及びずれ量に基づいて、次に表示する画像を決定する。

一方、ずれ量がゼロになったことが確認された場合（Ｓ１５でＹＥＳ）には、メニュー表示部１４は、選択されたアイコン（図１の例ではカーソル２２が合わさっているアイコン）に対応する処理を実行するように機能実行部１３の対応するブロックに指示を送り、これによりメインメニューから機能選択する処理は終了する。

なお、上記では、表示／光センサ部３００ＡとＢとをずらす操作を行ったときに、ずれ量及びずれ方向に基づいて表示するメニュー画像を切り換える例を示したが、表示／光センサ部３００ＡとＢとがずれている間は、メニュー画像を、ずれ方向に、ずれ量に応じた速度でスクロールさせるようにしてもよい。

また、上記では、カーソル２２を合わせてデータ表示／センサ装置１００を閉じることによってアイコン２１を選択する例を示したが、アイコン２１の選択方法はこの例に限られない。

例えば、センサ内蔵液晶パネル３０１Ａ及びＢは、像を検知することができるので、該センサ内蔵液晶パネル３０１Ａ及びＢに対する指やペン先などの接触を検知することもできる。そこで、指やペン先などで触れることによってアイコンを選択することができるように構成してもよい。

なお、データ表示／センサ装置１００では、図９及び図１０に示すように、表示／光センサ部３００ＡとＢとをずらすためにセンサ内蔵液晶パネル３０１Ａ上にユーザの指が置かれる。このため、表示／光センサ部３００ＡとＢとをずらすための指の接触と、アイコンを選択するための接触とを識別するための工夫を施しておくことが好ましい。例えば、アイコンを選択するためには、マウスのダブルクリックと同様に、アイコンが表示されている位置に２回連続タッチすることによって、当該アイコンが選択されたと判断するようにすればよい。

〔地図画像表示中の動作〕
上述のように、データ表示／センサ装置１００は、インターネット上のデータを閲覧するウェブブラウザ機能を備えている。ここでは、ウェブブラウザ機能の実行中におけるデータ表示／センサ装置１００の動作の一例として、地図の画像を表示しているときの動作例について、図１４に基づいて説明する。

図１４は、３Ｄ地図画像を表示しているときの画面例を示す図であり、同図（ａ）は表示／光センサ部３００ＡとＢとがずれていない状態の画面例を示し、同図（ｂ）は表示／光センサ部３００ＡをＢに対して上向きにずらしたときの画面例を示している。

データ表示／センサ装置１００では、地図等の画像を表示しているときに、表示／光センサ部３００ＡとＢとをずらすことによって、表示をスクロールすることができるようになっている。なお、ここで表示する地図画像は、センサ内蔵液晶パネル３０１Ａの表示領域に一度に表示可能なサイズを超えているものとする。つまり、センサ内蔵液晶パネル３０１Ａには、元の地図画像（以下、元画像と呼ぶ）の一部が切り出されて表示される。

同図（ａ）の例では、センサ内蔵液晶パネル３０１Ａに立体的な楕円体状の地図画像である３Ｄ地図画像が表示されている。この状態において、表示／光センサ部３００ＡをＢに対してずらすことにより、ずらした方向に、地図画像をスクロールして表示することができる。

つまり、同図（ｂ）に示すように、表示／光センサ部３００ＡをＢに対して上向きにずらしたときには、元画像から、同図（ａ）の切り出し位置よりも上向きに移動した切り出し位置で切り出された地図画像がセンサ内蔵液晶パネル３０１Ａ（表示領域Ａと呼ぶ）に表示される。

また、同図（ｂ）に示すように、表示／光センサ部３００ＡをＢに対してずらしたときには、表示／光センサ部３００ＡとＢとをずらすことによって外部から視認可能となったセンサ内蔵液晶パネル３０１Ｂの表示領域（表示領域Ｂと呼ぶ）にも、地図画像が表示される。つまり、表示／光センサ部３００ＡをＢに対してずらしたときには、表示領域Ａ＋Ｂに地図画像が表示される。

また、データ表示／センサ装置１００では、ずらし量を増やしたときには、スクロール速度が上がるようになっている。さらに、ずらし量を増やしたときには、センサ内蔵液晶パネル３０１Ｂの表示領域である表示領域Ｂが拡大する。このため、ユーザは、サイズの大きい地図画像をより広い表示領域に表示してスピーディに閲覧することができる。

〔地図画像表示中の処理の流れ〕
続いて、図１５に基づいて、地図画像表示中の処理の流れについて説明する。図１５は、地図画像表示中の処理の一例を示すフローチャートである。地図画像表示中の処理は、ブラウザ制御部１５の制御に従って行われる。

まず、ブラウザ制御部１５は、センサ内蔵液晶パネル３０１Ａの表示領域のサイズに合わせて、元画像（外部通信部９０７を介して取得した３Ｄ地図画像）における表示対象領域を設定する（Ｓ２０）。続いて、ブラウザ制御部１５は、表示制御部１２に指示して、元画像から上記設定した表示対象領域で切り出した画像をセンサ内蔵液晶パネル３０１Ａに表示させる（Ｓ２１）。これにより、センサ内蔵液晶パネル３０１Ａには、例えば図１４（ａ）に示すような画像が表示される。

次に、ブラウザ制御部１５は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとのずれを検出するのを待ち受ける（Ｓ２３）。ここで、ずれが検出された場合（Ｓ２３でＹＥＳ）には、ブラウザ制御部１５は、検出されたずれ量とずれ方向から次の表示対象領域を設定する（Ｓ２４）。

具体的には、ブラウザ制御部１５は、楕円体状の元画像を上記検出されたずれ方向と平行であって上記楕円体の中心を通る平面に垂直であり、上記楕円体の中心を通る直線を軸として回転させることによって、次に表示対象領域が設定される。これにより、センサ内蔵液晶パネル３０１Ａには、回転後の元画像をＳ２０と同じ位置で切り出した画像が表示されることになる。

ここで、上述のように、表示／光センサ部３００ＡとＢとがずれたときには、このずれによって露出したセンサ内蔵液晶パネル３０１Ｂも表示領域として使用される。つまり、ブラウザ制御部１５は、Ｓ２４で設定される表示対象領域が、センサ内蔵液晶パネル３０１Ａの表示領域とセンサ内蔵液晶パネル３０１Ｂの表示領域とを合わせた表示領域となるように設定する。

具体的には、ブラウザ制御部１５は、検出されたずれ量とずれ方向から露出したセンサ内蔵液晶パネル３０１Ｂの表示領域の形状を特定し、この表示領域のセンサ内蔵液晶パネル３０１Ａの表示領域に対する相対位置を特定する。そして、ブラウザ制御部１５は、センサ内蔵液晶パネル３０１Ａの表示領域に対し、上記特定した相対位置に上記特定した形状の表示領域を組み合わせて、新たな表示領域とする。

次に、ブラウザ制御部１５は、表示制御部１２に指示して、元画像から上記設定した表示対象領域で切り出した画像をセンサ内蔵液晶パネル３０１Ａに表示させる（Ｓ２４）。これにより、センサ内蔵液晶パネル３０１Ａには、例えば図１４（ｂ）に示すような画像が表示される。

そして、Ｓ２４の処理が終了すると、ブラウザ制御部１５はＳ２２の処理に戻ってずれの検出有無を確認し、ずれが検出された場合には表示対象領域が再設定される。つまり、データ表示／センサ装置１００では、表示／光センサ部３００ＡとＢとがずれた状態であれば、表示対象領域の位置が変化し続けるようになっている。

これにより、ユーザは、所望の方向に表示／光センサ部３００Ａをスライドさせることにより、実在の地球儀を回転させるような感覚で、地図画像をスクロールさせて、所望の位置を表示させることができる。

また、上述のように、元画像上における表示対象領域の移動距離（元画像を回転させる角度）は、ずれ検出部１１が検出したずれ量に応じて決定される。したがって、例えばずれ量に比例して回転角度を大きくした場合には、表示／光センサ部３００ＡとＢとを大きくずらしたときにスクロール速度が速くなり、小さくずらしたときにスクロール速度が遅くなることになる。これにより、ユーザは直感的な操作でスクロール速度を調節することができる。

なお、上記の例では、３Ｄの元画像を、外部通信部９０７を介して取得することを想定しているが、元画像が２Ｄ画像である場合には、ブラウザ制御部１５は、この２Ｄ画像の元画像から３Ｄの元画像を生成し、これを表示させるようにしてもよい。２Ｄ画像から３Ｄ画像を生成する方法としては、公知の手法を適用することも可能であるからここでは説明を省略する。

また、上記の例では、楕円体状の３Ｄ画像を表示する例を示したが、球体状の３Ｄ画像も同様にして表示することができる。なお、上記球及び楕円体は、ユーザがそれと認識できるようなものであればよく、厳密な球体または楕円体とする必要はない。

さらに、上記の例では、ブラウザ制御部１５がスクロール表示の制御を行う例を示したが、スクロール表示の制御を行う主体は、これに限られない。例えば、画像の閲覧用ソフトウェアがスクロール表示の制御を行うようにしてもよい。無論、スクロール表示させる対象は、地図画像に限られず、任意の画像、表示画面等をスクロール表示させることができる。

〔２Ｄ表示の例〕
以上のように、データ表示／センサ装置１００では、曲面状の画像を表示したセンサ内蔵液晶パネル３０１Ａをユーザが指で押すことによって、楕円体が回転したかのような画像が表示される。これにより、ユーザは、楕円体を回転させる感覚で表示をスクロールさせ、アイコンを選択したり、画像を閲覧したりすることができる。

このような表示は、アイコンの選択や球体の表面の画像（例えば地球の表面の広域衛星写真等）の表示等には好適であるが、表示する画像によっては２Ｄ表示が好ましい場合もある。そこで、データ表示／センサ装置１００では、表示する画像に応じて２Ｄ表示と３Ｄ表示とを切り換えるようにしている。

ここでは、２Ｄの地図画像を表示する例について、図１６に基づいて説明する。図１６は、２Ｄの地図画像を表示するときの表示画面例を示す図であり、同図（ａ）は表示／光センサ部３００ＡとＢとがずれていない状態の画面例を示し、同図（ｂ）は表示／光センサ部３００ＡをＢに対して左斜め上方向にずらしたときの画面例を示し、同図（ｃ）は表示／光センサ部３００ＡとＢとの左斜め上方向のずれ量をさらに大きくしたときの画面例を示している。

図示のように、センサ内蔵液晶パネル３０１Ａ及びＢに表示される画像は、何れも２Ｄの地図画像である。表示する地図が２Ｄである場合も、３Ｄの場合と同様に、表示／光センサ部３００ＡとＢとのずれ方向及びずれ量に応じたスクロール表示が行われる。

つまり、同図（ｂ）に示すように、表示／光センサ部３００ＡをＢに対して左斜め上方向にずらしたときには、元画像から、同図（ａ）の切り出し位置よりも左斜め上方に移動した切り出し位置で切り出された地図画像がセンサ内蔵液晶パネル３０１Ａ（表示領域Ａ）に表示される。

また、このときに、表示／光センサ部３００ＡとＢとをずらすことによって外部から視認可能となったセンサ内蔵液晶パネル３０１Ｂの表示領域（表示領域Ｂ）にも、表示領域Ａに表示される地図画像と連続する地図画像が表示される。つまり、表示／光センサ部３００ＡとＢとをずらしたときには、表示領域Ａ＋Ｂに地図画像が表示される。

そして、同図（ｃ）に示すように、左斜め上方向へのずらし量を増やしたときには、元画像から、同図（ｂ）の切り出し位置よりもさらに左斜め上方に、より大きい移動幅で移動した切り出し位置で切り出された地図画像がセンサ内蔵液晶パネル３０１Ａ（表示領域Ａ）に表示される。

また、図示のように、ずらし量を増やしたときには、センサ内蔵液晶パネル３０１Ｂの表示領域である表示領域Ｂが拡大するので、センサ内蔵液晶パネル３０１Ｂに表示される地図画像は、同図（ｂ）と比べて広い範囲を網羅した画像となっている。

なお、図１６の表示を行う処理は、図１５の例と同様であるから、ここでは説明を省略する。また、２Ｄ表示は、２Ｄの地図画像を表示する場合のみならず、３Ｄ表示の必要がない画像を表示する任意の場合に適用される。

〔コマンドを用いた処理〕
以上の説明では、簡単のためコマンドを用いなかったが、データ表示／センサ装置１００では、実際には以下のようにコマンドを用いてずれ量及びずれ方向の検出等の処理が行われる。

すなわち、まず、ずれ検出部１１は、「データ取得タイミング」フィールドの値を“イベント”、「データ種別」フィールドの値を“全体画像”、「スキャン方式」フィールドの値を“反射”、そして「スキャンパネル」フィールドの値を“第２表示／光センサ部”としたコマンドをデータ処理部７００に送信する。

これにより、センサ内蔵液晶パネル３０１Ｂで、表示／光センサ部３００Ａの背面（センサ内蔵液晶パネル３０１Ａが設けられていない側の面）のスキャンが実行され、スキャンした結果として、光センサ回路３２からセンサ制御部６０２を介して得られる画像データの全体が、データ処理部７００から取得される。ずれ検出部１１は、この画像データに基づいて、表示／光センサ部３００ＡとＢとのずれ量及びずれ方向を判断する。なお、この判断手法については、既に説明した通りである。

また、表示制御部１２は、以下のようにして画像の表示を行う。すなわち、表示制御部１２は、表示の指示を受けた画像データをデータ処理部７００に送信すると共に、「表示パネル」フィールドの値として、“第１表示／光センサ部”または“第２表示／光センサ部”を指定したコマンドをデータ処理部７００に送信する。これにより、表示／光センサ部３００ＡまたはＢに、表示を指示された画像が表示される。

〔変形例〕
上述の実施形態では、表示／光センサ部３００Ａ及びＢを楕円形状とした例について説明したが、表示／光センサ部３００Ａ及びＢの形状は、上述の例に限られず、必要に応じて適宜変更することができる。

しかしながら、上記実施形態のように、楕円体上にアイコンが配列したメニュー画面を表示する場合には、この表示に合わせて表示／光センサ部３００Ａ及びＢと、センサ内蔵液晶パネル３０１Ａ及びＢとを楕円形にすることで、ユーザに楕円体を回転させながら操作を行っている感覚をより強く認識させることができるので好ましい。

この観点から、表示／光センサ部３００Ａ及びＢと、センサ内蔵液晶パネル３０１Ａ及びＢとを円形にして、センサ内蔵液晶パネル３０１Ａに球体状の画像を表示するようにしても、上述の実施形態と同様の効果を奏する。センサ内蔵液晶パネル３０１Ａの形状のみを楕円形または円形とした場合も同様である。

また、上述の実施形態では、表示／光センサ部３００Ａ及びＢの上面の全面にセンサ内蔵液晶パネル３０１Ａ及びＢを設けた例について説明したが、センサ内蔵液晶パネル３０１Ａ及びＢは、必ずしも表示／光センサ部３００Ａ及びＢの上面の全面に設けられていなくてもよい。

しかしながら、センサ内蔵液晶パネル３０１ＡとＢとにまたがって画像を表示する場合には、上記実施形態の構成のごとく、センサ内蔵液晶パネル３０１Ａ及びＢの表示領域が連続して視認されるように、表示／光センサ部３００Ａ及びＢの端部までセンサ内蔵液晶パネル３０１Ａ及びＢが設けられていることが好ましい。

また、センサ内蔵液晶パネル３０１Ａは、像を検知する機能も有しているので、ジェスチャー入力によって、スクロール表示させるようにしてもよい。つまり、センサ内蔵液晶パネル３０１Ａによって、該センサ内蔵液晶パネル３０１Ａ上における指等の移動の向き及び移動距離を検知し、検知した向き及び移動距離に基づいて、メニュー画像を切り換えたり、３Ｄの地図画像をスクロールさせたりすることによっても、上記実施形態と同様の効果を奏する。

ただし、ジェスチャー入力を行う場合には、ユーザは、片手でデータ表示／センサ装置１００を保持し、もう一方の手でジェスチャー入力を行うことになる。つまり、この場合は、両手で操作を行うことになる。これに対し、上記実施形態で示した、表示／光センサ部３００ＡとＢとをスライドさせる操作は、図９、図１０に示すように、片手で行うことができるという利点がある。

また、上述の実施形態では、センサ内蔵液晶パネル３０１Ａ及びＢの両方が画像の表示と像検知とを行うことができる例を示したが、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１Ａへの入力操作を検出し、検出した入力操作に応じて画像の表示を行うことができるようになっていればよく、この例に限られない。

例えば、センサ内蔵液晶パネル３０１Ａがジェスチャー入力を検出する構成とした場合や、スライド機構に表示／光センサ部３００ＡとＢとのずれ量及びずれ方向を検出する構成を付加した場合には、センサ内蔵液晶パネル３０１Ｂは像検知機能を有していなくてもよい。また、センサ内蔵液晶パネル３０１Ａにタッチパネルとしての機能や、ジェスチャー入力を検出する機能が必要ない場合には、センサ内蔵液晶パネル３０１Ａは像検知機能を有していなくてもよい。

〔参考例：メニュー画面の他の例１〕
データ表示／センサ装置１００におけるメインメニューの他の例について、図１７に基づいて説明する。図１７は、メインメニューの画面例を示す図であり、同図（ａ）はメインメニューが表示されたときの画面例を示し、同図（ｂ）はメインメニューから１つのアイコンが選択されたときの画面例を示し、同図（ｃ）は選択されたアイコンに対応する機能を実行した後の画面例を示している。

同図（ａ）に示すメインメニューの画面例では、センサ内蔵液晶パネル３０１Ａに、各機能に対応するアイコン２１’が、センサ内蔵液晶パネル３０１Ａの外周に沿って表示されている。アイコン２１’の表示位置は、固定されていてもよいし、経時的に変化するようになっていてもよい。また、ユーザの入力操作でアイコン２１’の表示位置を変更できるようになっていてもよい。

同図（ａ）に示すように、アイコン２１’は、それぞれ大きさが異なっている。ここでは、アイコンの表示サイズを、該アイコンに対応する機能の実行頻度に応じて変化させることを想定している。

つまり、データ表示／センサ装置１００では、アイコン２１’のそれぞれについて、累積選択回数を記憶している。そして、選択された回数の多いアイコンを、他のアイコンと比べてより大きく表示する。これにより、ユーザは、使用頻度の高いアイコンを容易に発見することができる。

また、データ表示／センサ装置１００は、図９、図１０に示すように、表示／光センサ部３００ＡとＢとをずらすために、操作時にセンサ内蔵液晶パネル３０１Ａ上にユーザの指が触れることになる。このため、指と重なる位置に表示されたアイコンは、ユーザの視認性が低下してしまう。したがって、センサ内蔵液晶パネル３０１Ａでスキャンを行って得た画像から指の位置を検知し、指の位置にはアイコンを表示しないようにすることが好ましい。なお、アイコンの形状、表示位置等は、これらの例に限られず、適宜変更することができる。

ここで、同図（ａ）の例では、「ＭＡＩＬ」と表示されたアイコン２１’が、センサ内蔵液晶パネル３０１Ａの表示画面の中心部分に対して、左上に位置している。この状態において、同図（ｂ）に示すように、表示／光センサ部３００Ａを、表示／光センサ部３００Ｂに対して、左上方向にずらすことにより、「ＭＡＩＬ」と表示されたアイコン２１’を選択候補とすることができるようになっている。

そして、データ表示／センサ装置１００は、アイコンが選択候補とされると、選択候補とされたアイコンをユーザが確認できるように、選択候補とされたアイコンの表示態様を変化させる。図示の例では、輝度値を他のアイコンよりも上げることによって、選択候補とされたアイコン２１’をユーザに確認させることを想定しているが、選択候補とされたアイコンの表示態様は、この例に限られない。

また、図示の例では、選択候補とされなかったアイコンを、センサ内蔵液晶パネル３０１Ａから、表示／光センサ部３００ＡとＢとがずれたことによってユーザが視認可能となったセンサ内蔵液晶パネル３０１Ｂに移動していくように表示する。これにより、ユーザは、メニューからアイコンを選択する操作を視覚的に楽しむことができる。

そして、データ表示／センサ装置１００では、何れかのアイコンを選択候補として、表示／光センサ部３００ＡとＢとを閉じる、すなわち表示／光センサ部３００ＡとＢとが完全に重なり合う状態とすることによって、選択候補とされたアイコンに対応する機能を実行するようになっている。

つまり、同図（ｂ）の状態で、表示／光センサ部３００ＡとＢとを閉じることによって、「ＭＡＩＬ」と表示されたアイコン２１’に対応する機能であるメール機能が実行される。これにより、同図（ｃ）に示すように、センサ内蔵液晶パネル３０１Ａに、メールに関連する画像（図示の例ではメールの文面）が表示されるようになる。

なお、図１７には示していないが、実際にメール機能が実行されたときには、まず、メールの送信、受信メールの確認等の項目を含むサブメニューがセンサ内蔵液晶パネル３０１Ａに表示される。そして、ユーザが、サブメニューから受信メールの確認の項目を選択して、受信メールの一覧を表示させ、一覧からメールを選択することによって、同図（ｃ）に示すようなメールの文面が表示される。

ここで、同図（ｃ）の画面例では、メールの文面が表示されていると共に、上向きの矢印と「ＭＥＮＵ」の文字とで構成される操作ガイド、左下向きの矢印と「ＲＥＴＵＲＮ」の文字とで構成される操作ガイド、及び右下向きの矢印と「ＮＥＸＴ」の文字とで構成される操作ガイドが表示されている。

これらの操作ガイドに従って表示／光センサ部３００ＡとＢとをずらすことによって、各操作ガイドに記載の文字列に対応する処理をデータ表示／センサ装置１００に実行させることができる。

具体的には、画面左下の操作ガイドに従って表示／光センサ部３００ＡをＢに対して左下方向にずらしたときには、「ＲＥＴＵＲＮ」に対応する処理、すなわちメールの文面を表示する前に表示されていた画像（メールの一覧）を再度表示させる処理が行われる。

また、画面右下の操作ガイドに従って表示／光センサ部３００ＡをＢに対して右下方向にずらしたときには、「ＮＥＸＴ」に対応する処理、すなわちメールの一覧において、現在表示しているメールの文面に対応するメールの次に位置するメールの文面を表示する処理が行われる。

そして、画面上端の操作ガイドに従って表示／光センサ部３００ＡをＢに対して上方向にずらしたときには、「ＭＥＮＵ」に対応する処理、すなわち表示／光センサ部３００ＡをＢに対して上方向にずらすことによって、ユーザが視認可能となったセンサ内蔵液晶パネル３０１Ｂに、メインメニューから選択可能な各機能に対応するアイコンを表示させる処理が行われる。

つまり、従来の携帯電話機等では、実行する機能を切り換えるときには、現在実行中の機能を終了し、メインメニューを表示させ、メインメニューから切り換え先の機能を選択するという操作が必要であった。これに対し、図１７の例では、ある機能を実行しているときに、その機能を終了することなく、またメインメニュー画面に戻ることなく、機能選択用のメニューを表示させて、表示させたメニューから切り換え先の機能を選択することができる。

〔参考例：メニュー画面の他の例２〕
データ表示／センサ装置１００におけるメインメニューのさらに他の例について、図１８に基づいて説明する。図１８は、メインメニューの画面例を示す図であり、同図（ａ）はメインメニューが表示されたときの画面例を示し、同図（ｂ）は同図（ａ）の状態において、表示／光センサ部３００ＡとＢとをずらしたときの画面例を示している。

同図（ａ）に示すメインメニューの画面例では、センサ内蔵液晶パネル３０１Ａに、各機能に対応する球状のアイコン２１”が表示されている。ここで、表示／光センサ部３００Ａを同図の右上方向にずらしたときには、同図（ｂ）に示すように、アイコン２１”が表示／光センサ部３００ＡとＢとをずらした方向に転がった画像が表示される。

このように、本参考例のメインメニューでは、球状のアイコン２１”が、画像上において、表示／光センサ部３００ＡをＢに対してずらした方向に転がるように表示が行われる。これにより、ユーザは、メインメニューを視覚的に楽しむことができる。

〔付記事項〕
上述では、データ表示／センサ装置１００の構成として、データ処理部７００や回路制御部６００を備える構成について説明したが、この構成に限定されるものではない。例えば、主制御部８００が回路制御部６００を直接制御し、主制御部８００が全体画像データ／部分画像データ／座標データを生成するような構成であってもよい。また、主制御部８００が表示／光センサ部３００を直接制御するような構成であってもよい。

最後に、データ表示／センサ装置１００の主制御部８００、データ処理部７００、回路制御部６００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、様々な電子機器の入力装置として適用することが可能である。特に、携帯型の電子機器の入力装置として適用した場合には、片手で２枚の筐体をスライドさせて入力操作を行うことができるので、携帯電話機、ＰＤＡ（Personal Digital Assistance）、携帯型ゲーム機等に好適に適用できる。

メインメニューの表示画面の一例を示す図であり、同図（ａ）はメインメニューが表示されたときの画面例を示し、同図（ｂ）は同図（ａ）の状態から表示／光センサ部３００ＡとＢとをスライドさせたときの画面例を示し、同図（ｃ）は同図（ｂ）の状態から、表示／光センサ部３００ＡとＢとをさらにスライドさせたときの画面例を示している。 上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。 同図（ａ）は、上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、同図（ｂ）は、上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 上記データ表示／センサ装置の要部構成を示すブロック図である。 上記データ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。 上記コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 同図（ａ）は、上記データ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像の一例を示す図であり、同図（ｂ）は上記データ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像の一例を示す図である。 上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。 上記データ表示／センサ装置の動作例を示す斜視図であり、同図（ａ）は筐体（板体）を閉じた状態を示し、同図（ｂ）は筐体を縦方向にずらした状態を示し、同図（ｃ）は筐体を斜め方向にずらした状態を示している。 上記データ表示／センサ装置の側面図である。 上記データ表示／センサ装置のより詳細な構成を示すブロック図である。 上記データ表示／センサ装置が備える２つの表示／光センサ部のずれ量及びずれ方向を検出する方法を模式的に示した図である。 上記データ表示／センサ装置が実行する、メインメニューから機能選択する処理の一例を示すフローチャートである。 上記データ表示／センサ装置が３Ｄ地図画像を表示しているときの画面例を示す図であり、同図（ａ）は表示／光センサ部ＡとＢとがずれていない状態の画面例を示し、同図（ｂ）は表示／光センサ部ＡをＢに対して上向きにずらしたときの画面例を示している。 上記データ表示／センサ装置が実行する地図画像表示中の処理の一例を示すフローチャートである。 上記データ表示／センサ装置が２Ｄの地図画像を表示するときの表示画面例を示す図であり、同図（ａ）は表示／光センサ部ＡとＢとがずれていない状態の画面例を示し、同図（ｂ）は表示／光センサ部ＡをＢに対して左斜め上方向にずらしたときの画面例を示し、同図（ｃ）は表示／光センサ部ＡとＢとの左斜め上方向のずれ量をさらに大きくしたときの画面例を示している。 上記データ表示／センサ装置における、メインメニューの画面例を示す図であり、同図（ａ）はメインメニューが表示されたときの画面例を示し、同図（ｂ）はメインメニューから１つのアイコンが選択されたときの画面例を示し、同図（ｃ）は選択されたアイコンに対応する機能を実行した後の画面例を示している。 上記データ表示／センサ装置における、メインメニューの画面例を示す図であり、同図（ａ）はメインメニューが表示されたときの画面例を示し、同図（ｂ）は同図（ａ）の状態において、表示／光センサ部３００ＡとＢとをずらしたときの画面例を示している。

符号の説明

１１ ずれ検出部（検出手段）
１４ メニュー表示部（画像表示手段、回転表示手段）
１５ ブラウザ制御部（画像表示手段、回転表示手段）
１００ データ表示／センサ装置（表示装置）
３００ 表示／光センサ部
３００Ａ 表示／光センサ部（第１板体）
３００Ｂ 表示／光センサ部（第２板体）
３０１ センサ内蔵液晶パネル
３０１Ａ センサ内蔵液晶パネル（表示部）
３０１Ｂ センサ内蔵液晶パネル（第２表示部、像検知部材）

Claims (6)

1. 平面状の表示部と、
   球体または楕円体の少なくとも一部を模した曲面状の元画像を上記表示部に投影した画像を表示する画像表示手段と、
   上記表示部に対する入力操作を検出する検出手段と、
   上記検出手段が入力操作を検出したときに、当該入力操作に対応付けられた方向と平行であって上記球体または楕円体の中心を通る平面を設定し、該平面と垂直であって、上記球体または楕円体の中心を通る直線を軸として回転させた状態の上記元画像が上記表示部に投影された画像を上記画像表示手段に表示させる回転表示手段とを備えていることを特徴とする表示装置。
2. 上記表示部は、第１板体上に設けられており、
   該第１板体は、上記表示部が設けられている側と反対側の面で、第２板体とスライド可能に重ね合わされており、
   上記所定の入力操作は、上記表示部に触れて上記第１板体と第２板体とをスライドさせる操作であり、
   上記入力操作に対応付けられた方向は、上記第１板体が、上記第２板体に対してスライドした方向であることを特徴とする請求項１に記載の表示装置。
3. 上記第２板体の上記第１板体と対向する側の面には、上記第１板体の像を検知する像検知部材が設けられており、
   上記検出手段は、上記像検知部材が検知した上記第１板体の像に基づいて、上記第１板体が上記第２板体に対してスライドした方向を検出することを特徴とする請求項２に記載の表示装置。
4. 上記回転表示手段は、上記元画像を回転させることによって、上記表示部の表示領域外となった部分を当該回転の方向の上流側端部に配した画像が、上記表示部に投影された画像を上記画像表示手段に表示させることを特徴とする請求項１から３の何れか１項に記載の表示装置。
5. 上記第２板体の上記第１板体と対向する側の面には、第２表示部が設けられており、
   上記画像表示手段は、上記元画像において、上記表示部に表示されている画像に隣接する領域を、当該画像と連続するように、上記第２表示部の上記第１板体に覆われていない表示領域に表示することを特徴とする請求項２または３に記載の表示装置。
6. 平面状の表示部を備える表示装置の制御方法であって、
   球体または楕円体の少なくとも一部を模した曲面状の元画像を上記表示部に投影した画像を表示する画像表示ステップと、
   上記表示部に対する入力操作を検出する検出ステップと、
   上記検出ステップにて入力操作を検出したときに、当該入力操作に対応付けられた方向と平行であって上記球体または楕円体の中心を通る平面を設定し、該平面と垂直であって、上記球体または楕円体の中心を通る直線を軸として回転させた状態の上記元画像を上記表示部に投影した画像を表示させる回転表示ステップとを含むことを特徴とする表示装置の制御方法。

Images