JP2010140248A - 表示装置および表示装置の制御方法 - Google Patents
表示装置および表示装置の制御方法 Download PDFInfo
- Publication number
- JP2010140248A JP2010140248A JP2008315746A JP2008315746A JP2010140248A JP 2010140248 A JP2010140248 A JP 2010140248A JP 2008315746 A JP2008315746 A JP 2008315746A JP 2008315746 A JP2008315746 A JP 2008315746A JP 2010140248 A JP2010140248 A JP 2010140248A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- sensor
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】今までにない感覚で快適に画像を閲覧させる。
【解決手段】平面状のセンサ内蔵液晶パネル301Aと、楕円体の一部を模した曲面状のメニュー画像をセンサ内蔵液晶パネル301Aに投影して表示するメニュー表示部14と、センサ内蔵液晶パネル301Aが押されたことを検出するずれ検出部11とを備え、メニュー表示部14は、ずれ検出部11が、センサ内蔵液晶パネル301Aが押されたことを検出したときに、センサ内蔵液晶パネル301Aが押された方向と平行であって上記楕円体の中心を通る平面を設定し、該平面と垂直であって、上記楕円体の中心を通る直線を軸として回転させた状態のメニュー画像をセンサ内蔵液晶パネル301Aに投影して表示するので、ユーザは、球体または楕円体を直に触って回転させるような感覚で快適に画像を閲覧することができる。
【選択図】図1
【解決手段】平面状のセンサ内蔵液晶パネル301Aと、楕円体の一部を模した曲面状のメニュー画像をセンサ内蔵液晶パネル301Aに投影して表示するメニュー表示部14と、センサ内蔵液晶パネル301Aが押されたことを検出するずれ検出部11とを備え、メニュー表示部14は、ずれ検出部11が、センサ内蔵液晶パネル301Aが押されたことを検出したときに、センサ内蔵液晶パネル301Aが押された方向と平行であって上記楕円体の中心を通る平面を設定し、該平面と垂直であって、上記楕円体の中心を通る直線を軸として回転させた状態のメニュー画像をセンサ内蔵液晶パネル301Aに投影して表示するので、ユーザは、球体または楕円体を直に触って回転させるような感覚で快適に画像を閲覧することができる。
【選択図】図1
Description
本発明は、平面状の表示部に画像を表示する表示装置及び表示装置の制御方法に関するものである。
従来から、表示部を備えた電子機器が広く用いられている。このような電子機器では、入力操作に応じて表示部に表示される画像が変化するようになっており、これにより、ユーザは、所望の情報を表示部に表示させて閲覧したり、電子機器に所望の処理を実行させたりすることができる。
例えば、携帯電話機のような複数の機能を備えた電子機器では、複数の機能のそれぞれに対応するアイコンを表示部に表示して、表示したアイコンを入力キーへの入力操作によって選択できるようにしている。これにより、ユーザは、所望の機能に対応するアイコンを選択して、携帯電話機に所望の機能を実行させることができる。
また、近年では表示部と入力部とを兼ねるデバイスであるタッチパネルを採用する電子機器が増えている。タッチパネルで入力操作を行うユーザは、表示される画像によって、その入力領域に割り当てられた入力信号によって実行される機能を認識することができるので、直感的に入力操作を行うことができる(例えば下記の特許文献1)。
また、下記の特許文献2には、タッチパネル機能をするサブ表示画面を携帯電話機の本体からスライドして引き出せるように設けたテレビ付き携帯電話機が開示されている。そして、特許文献2には、携帯電話機のメイン表示画面にテレビ映像を表示している状態で、サブ表示画面を引き出す入力操作が行われたときに、引き出したサブ表示画面にデータ放送等の文字情報を表示すること等が記載されている。
さらに、近年では表示部上の像を検知する機能を備えた、新たなデバイスが実用化されている。いわゆる光センサ内蔵液晶表示装置である。光センサ内蔵液晶表示装置は、像を検知することができるので、表示部上の指の軌跡を検知することによって、ジェスチャー入力を実現することもできる。これにより、ユーザは、より直感的な操作で電子機器を操作することができる。
特開2008−141519号公報(2008年6月19日公開)
国際公開第06/051669号パンフレット(2006年5月18日公開)
以上のように、表示部を有する電子機器において、入力操作が行われたときに、表示部にどのような画像を表示するかは、電子機器を直感的に操作し、また表示される画像をユーザが快適に閲覧することを可能にするという観点から、極めて重要である。
本発明は、上記の点に鑑みてなされたものであり、その目的は、入力操作と連動させて、今までにはない態様で表示を行うことにより、ユーザに、従来にはなかった新しい感覚で入力操作を行い、快適に画像の閲覧をすることができるようにする表示装置及び表示装置の制御方法を提供することにある。
また、本発明に係る表示装置は、上記課題を解決するために、平面状の表示部と、球体または楕円体の少なくとも一部を模した曲面状の元画像を上記表示部に投影した画像を表示する画像表示手段と、上記表示部に対する入力操作を検出する検出手段と、上記検出手段が入力操作を検出したときに、当該入力操作に対応付けられた方向と平行であって上記球体または楕円体の中心を通る平面を設定し、該平面と垂直であって、上記球体または楕円体の中心を通る直線を軸として回転させた状態の上記元画像が上記表示部に投影された画像を上記画像表示手段に表示させる回転表示手段とを備えていることを特徴としている。
そして、本発明に係る表示装置の制御方法は、上記課題を解決するために、平面状の表示部を備える表示装置の制御方法であって、球体または楕円体の少なくとも一部を模した曲面状の元画像を上記表示部に投影した画像を表示する画像表示ステップと、上記表示部に対する入力操作を検出する検出ステップと、上記検出ステップにて入力操作を検出したときに、当該入力操作に対応付けられた方向と平行であって上記球体または楕円体の中心を通る平面を設定し、該平面と垂直であって、上記球体または楕円体の中心を通る直線を軸として回転させた状態の上記元画像を上記表示部に投影した画像を表示させる回転表示ステップとを含むことを特徴としている。
上記の構成または方法によれば、球体または楕円体の少なくとも一部を模した曲面で構成される元画像の投影像が表示部に表示される。これにより、ユーザは、実際には平面状である表示部が曲面であるように感じることになる。
そして、ユーザが、表示部に対して所定の入力操作を行ったときには、元画像を回転させた状態における投影像が表示部に表示される。これにより、ユーザは、表示部上の画像が回転したように感じることになる。
つまり、上記の構成または方法によれば、ユーザは、球体または楕円体を直に触って回転させるような感覚で、元画像の所望の領域を表示部に表示させて閲覧することができる。つまり、ユーザは、従来にはなかった新しい感覚で入力操作を行い、快適に画像の閲覧をすることができる。
なお、表示部に対する入力操作には、ユーザが指等で表示部に直接触れて行う操作の他、表示部と一体に構成された部材(例えば表示部が設けられた板体や筐体)にユーザが指等で触れることによって、表示部の位置を変化させるような操作も含まれる。
また、上記表示部は、第1板体上に設けられており、該第1板体は、上記表示部が設けられている側と反対側の面で、第2板体とスライド可能に重ね合わされており、上記所定の入力操作は、上記表示部に触れて上記第1板体と第2板体とをスライドさせる操作であり、上記入力操作に対応付けられた方向は、上記第1板体が、上記第2板体に対してスライドした方向であることが好ましい。
上記の構成によれば、第1板体と第2板体とをスライドさせることによって、表示されていた画像が、球面または楕円体の表面に沿って移動するように表示が行われる。したがって、ユーザは、直感的な操作で元画像の所望の領域を表示部に表示させて閲覧することができる。
なお、上記の構成では、上記第1板体と第2板体とを片手で把持してスライドできるようなサイズ及び形状とすることが好ましい。これにより、ユーザは、片手の操作で元画像の所望の領域を表示部に表示させて閲覧することができる。
また、上記スライド方向は、2枚の板体のある位置関係を基準として求めることができる。例えば、2枚の板体の重なりが最も大きい(上側板体によって被覆される下側板体の上面の面積が最も広くなる)位置関係を基準として、そのときの2枚の板体の相対位置と、スライド後の相対位置とを比較することによってスライド方向を求めることもできる。
そして、2枚の板体は、少なくとも一方向にスライド可能になっていればよいが、スライド方向が多いほど、多様な方向に画像を回転させることができるので、スライド方向は多いほど好ましい。
さらに、元画像を回転させる量(回転角度)は、スライド量(2枚の板体のずらし幅)に応じて変化させることが好ましい。スライド量と回転量とを連動させることにより、ユーザは、2枚の板体をずらす量(ずらし幅)を調節することで、所望の移動量だけ移動させた領域の画像を表示させることができる。なお、回転量は、ずれ量に比例して大きくすることにより、ユーザが直感的な操作を行うことができるので好ましい。
また、上記第2板体の上記第1板体と対向する側の面には、上記第1板体の像を検知する像検知部材が設けられており、上記検出手段は、上記像検知部材が検知した上記第1板体の像に基づいて、上記第1板体が上記第2板体に対してスライドした方向を検出する構成であってもよい。
上記の構成において、第1板体と第2板体とは重ね合わされた構造になっているので、第2板体の第1板体と対向する側の面に像検知部材を設けることによって、第1板体の像を検知することができる。
ここで、像検知部材において、第1板体で被覆されている領域と、露出している領域とでは、光の当たり方が異なるので、検知される像の輝度や色等が異なることになる。したがって、検知された像において、例えば輝度値の変化等を調べることにより、第1板体と第2板体との相対位置を特定し、第1板体と第2板体とがスライドした方向を求めることができる。
したがって、上記の構成によれば、第1板体と第2板体とをずらすユーザの操作を検出し、検出したスライド方向に応じて、表示部に表示する画像を回転させることができる。
また、上記回転表示手段は、上記元画像を回転させることによって、上記表示部の表示領域外となった部分を当該回転の方向の上流側端部に配した画像が、上記表示部に投影された画像を上記画像表示手段に表示させることが好ましい。
上記の構成によれば、入力操作があった場合に元画像を回転した状態の投影像が表示されるが、元画像を回転させると、元画像の回転方向の下流側端部は、表示部に表示されなくなる。
そこで、上記の構成によれば、元画像の回転によって表示部の表示領域外となった部分を当該回転の方向の上流側端部に配した画像の投影像を表示部に表示するようにしている。
つまり、上記の構成によれば、画像が循環して表示される。そして、この画像は、球体または楕円体の投影像であるから、ユーザは、表示領域外となった画像の部位が、表示部上において次に表示される位置を直感的に認識することができる。
これは、例えばアイコンのような選択項目の表示に好適である。つまり、従来のタッチパネル入力式の電子機器では、複数のアイコンからアイコンを選択するときには、ユーザは、表示されているアイコンの中から所望のものを探し、所望のアイコンに指を運んで選択する。これに対し、上記の構成によれば、ユーザは表示部に入力操作を行うことにより、アイコンを循環表示させることができるので、所望のアイコンを容易に自分の手元に引き寄せて選択することができる。
また、上記第2板体の上記第1板体と対向する側の面には、第2表示部が設けられており、上記画像表示手段は、上記元画像において、上記表示部に表示されている画像に隣接する領域を、当該画像と連続するように、上記第2表示部の上記第1板体に覆われていない表示領域に表示することが好ましい。
上記構成によれば、第1板体の一方の面には表示部が設けられており、第2板体の第1板体と対向する側の面には、第2表示部が設けられている。したがって、上記表示装置を第1板体側から見れば、表示部の全表示領域が見えると共に、第2表示部の第1板体に覆われていない表示領域が見え、これらの表示領域は隣接して見える。
そこで、上記の構成では、元画像において、第1板体が有する表示部に表示されている画像に隣接する領域を、当該画像と連続するように、第2板体が有する第2表示部の第1板体に覆われていない表示領域に表示している。
これにより、表示部の表示領域と第2表示部の表示領域とを合わせた表示領域に対して、連続した画像が表示されるので、ユーザは、より広い範囲の画像を一度に閲覧することができる。
なお、第2表示部は、光センサ内蔵液晶表示パネルで構成することが好ましい。第2表示部を光センサ内蔵液晶表示パネルで構成することにより、第2表示部にて画像の表示と像検知との両方を行うことができる。
また、上記表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示装置の各手段として動作させることにより、上記表示装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
以上のように、本発明に係る表示装置は、平面状の表示部と、球体または楕円体の少なくとも一部を模した曲面状の元画像を上記表示部に投影した画像を表示する画像表示手段と、上記表示部に対する入力操作を検出する検出手段と、上記検出手段が入力操作を検出したときに、当該入力操作に対応付けられた方向と平行であって上記球体または楕円体の中心を通る平面を設定し、該平面と垂直であって、上記球体または楕円体の中心を通る直線を軸として回転させた状態の上記元画像が上記表示部に投影された画像を上記画像表示手段に表示させる回転表示手段とを備えている構成である。
また、以上のように、本発明に係る表示装置の制御方法は、球体または楕円体の少なくとも一部を模した曲面状の元画像を上記表示部に投影した画像を表示する画像表示ステップと、上記表示部に対する入力操作を検出する検出ステップと、上記検出ステップにて入力操作を検出したときに、当該入力操作に対応付けられた方向と平行であって上記球体または楕円体の中心を通る平面を設定し、該平面と垂直であって、上記球体または楕円体の中心を通る直線を軸として回転させた状態の上記元画像を上記表示部に投影した画像を表示させる回転表示ステップとを含む構成である。
したがって、ユーザは、球体または楕円体を直に触って回転させるような感覚で、元画像の所望の領域を表示部に表示させて閲覧することができる。つまり、ユーザは、従来にはなかった新しい感覚で入力操作を行い、快適に画像の閲覧をすることができるという効果を奏する。
本発明の一実施形態について図1から図18に基づいて説明すると以下の通りである。まず、本実施形態に係るデータ表示/センサ装置(表示装置)100の概要について、図9及び図10に基づいて説明する。
〔データ表示/センサ装置の概要〕
図9は、データ表示/センサ装置100の動作例を示す斜視図であり、同図(a)は筐体(板体)を閉じた状態を示し、同図(b)は筐体を縦方向にずらした状態を示し、同図(c)は筐体を斜め方向にずらした状態を示している。なお、筐体の長手方向を縦方向と呼び、2枚の筐体が対向する面上において上記縦方向に垂直な方向を横方向と呼び、2枚の筐体が対向する面上において上記縦方向でも横方向でもない方向を斜め方向と呼ぶ。
図9は、データ表示/センサ装置100の動作例を示す斜視図であり、同図(a)は筐体(板体)を閉じた状態を示し、同図(b)は筐体を縦方向にずらした状態を示し、同図(c)は筐体を斜め方向にずらした状態を示している。なお、筐体の長手方向を縦方向と呼び、2枚の筐体が対向する面上において上記縦方向に垂直な方向を横方向と呼び、2枚の筐体が対向する面上において上記縦方向でも横方向でもない方向を斜め方向と呼ぶ。
また、ここでは、2枚の筐体のずれ方向及びずれ量を、2枚の筐体のずれが最も小さい同図(a)の状態を基準として説明する。つまり、同図(a)の状態は2枚の筐体のずれ量が全方向についてゼロである状態と言え、同図(b)の状態は縦方向にずれがあり、横方向のずれがゼロの状態と言え、同図(c)の状態は斜め方向にずれがある状態と言える。
同図(a)に示すように、データ表示/センサ装置100は、楕円形状の表示/光センサ部300Aの筐体(以下、単に表示/光センサ部300Aと呼ぶ)と、同じく楕円形状の表示/光センサ部300Bの筐体(以下、単に表示/光センサ部300Bと呼ぶ)とが重ねあわされた構成であり、表示/光センサ部300Aの上面(表示/光センサ部300Bに対向していない側の面)は、センサ内蔵液晶パネル301Aとなっている。
詳細については後述するが、表示/光センサ部300A(第1板体)は、センサ内蔵液晶パネル301A(表示部)に画像を表示させることができると共に、表示/光センサ部300Aの近傍の像を検知することができる。
なお、図示の例では、表示/光センサ部300Aと表示/光センサ部300Bとが、ぴったり重なり合う態様(データ表示/センサ装置100の真上から見ると表示/光センサ部300Aのみが視認され、真下から見ると表示/光センサ部300Bのみが視認される態様)を示しているが、表示/光センサ部300Aと表示/光センサ部300Bとは、完全に重なり合う必要はなく、筐体を閉じたときの重なり程度は、必要に応じて適宜変更することができ、また両者の形状も適宜変更することができる。
また、データ表示/センサ装置100は、同図(b)に示すように、表示/光センサ部300AとBとを、縦方向にスライドさせる(ずらす)ことができるようになっている。表示/光センサ部300AとBとをずらすことにより、表示/光センサ部300Aで隠れていた表示/光センサ部300Bのセンサ内蔵液晶パネル301Bが外部から視認できるようになる。
詳細については後述するが、表示/光センサ部300B(第2板体)も、表示/光センサ部300Aと同様に、センサ内蔵液晶パネル301B(第2表示部、像検知部材)に画像を表示させることができると共に、表示/光センサ部300Bの近傍の像を検知することができる。
さらに、データ表示/センサ装置100は、同図(c)に示すように、表示/光センサ部300AとBとを、斜め方向にもスライドさせる(ずらす)ことができるようになっている。また、図示していないが、データ表示/センサ装置100では、表示/光センサ部300AとBとを横方向にもずらすことができるようになっている。
つまり、データ表示/センサ装置100では、表示/光センサ部300AとBとを縦方向及び横方向のみならず、斜め方向にもずらすことができるようになっている。このように表示/光センサ部300AとBとをスライドさせるための機構は、例えば、表示/光センサ部300AとBとが対向する面にヒンジを設けることによって実現することが可能である。
具体的には、表示/光センサ部300Aの表示/光センサ部300Bに対向する側の面、または表示/光センサ部300Bの表示/光センサ部300Aに対向する側の面の何れか一方に中心点から8方向に伸びるレールを設けておき、他方に該レールに沿ってスライドする突起部を設ける構成が考えられる。
なお、スライド機構の構成としては、特にこのような構成に限定されるものではなく、表示/光センサ部300AとBとが相対的に移動可能な構造であればどのようなものであってもよい。
また、データ表示/センサ装置100を側方から見れば、図10のようになっている。図10は、データ表示/センサ装置100の側面図である。図示のように、表示/光センサ部300Aの上面は、平面状に形成されており、この平面にセンサ内蔵液晶パネル301Aが設けられている。同様に、表示/光センサ部300Bの上面も、平面状に形成されており、この平面にセンサ内蔵液晶パネル301Bが設けられている。
そして、データ表示/センサ装置100は、平面状に形成された表示/光センサ部300Aの下面とセンサ内蔵液晶パネル301Bが設けられている表示/光センサ部300Bの上面とが対向した状態でスライドするように構成されている。
なお、表示/光センサ部300Bの下面の形状は、どのようなものであってもよいが、図示の例のように、表示/光センサ部300Bの下面を曲面とした場合には、ユーザがデータ表示/センサ装置100を把持しやすくなるので好ましい。
データ表示/センサ装置100の主な特徴点は、ユーザが球体または楕円体を直に触って回転させるような感覚で所望の領域を表示部に表示させて閲覧することができるようにする、センサ内蔵液晶パネル301Aの表示にある。
次に、上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301A及びBの概要について説明する。なお、センサ内蔵液晶パネル301A及びBは、同様の構成を備えているので、以下の説明では、センサ内蔵液晶パネル301A及びBをセンサ内蔵液晶パネル301と称して説明する。また、表示/光センサ部300A及びBについても同様に、表示/光センサ部300と称して説明する。
〔センサ内蔵液晶パネルの概要〕
上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング(タッチ)した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング(タッチ)した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
図2を参照しながら、センサ内蔵液晶パネル301の構造について説明する。図2は、センサ内蔵液晶パネル301の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル301は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
図示のとおり、センサ内蔵液晶パネル301は、背面側に配置されるアクティブマトリクス基板51Aと、表面側に配置される対向基板51Bとを備え、これら基板の間に液晶層52を挟持した構造を有している。アクティブマトリクス基板51Aには、画素電極56、データ信号線57、光センサ回路32(図示せず)、配向膜58、偏光板59などが設けられる。対向基板51Bには、カラーフィルタ53r(赤)、53g(緑)、53b(青)、遮光膜54、対向電極55、配向膜58、偏光板59などが設けられる。また、センサ内蔵液晶パネル301の背面には、バックライト307が設けられている。
なお、光センサ回路32に含まれるフォトダイオード6は、青のカラーフィルタ53bを設けた画素電極56の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ53rを設けた画素電極56の近傍に設けてもよいし、緑のカラーフィルタ53gを設けた画素電極56の近傍に設けてもよい。
次に、図3(a)および図3(b)を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル301上をタッチした位置を検出する2種類の方法について説明する。
図3(a)は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト307から光63が出射されると、フォトダイオード6を含む光センサ回路32は、指などの対象物64により反射された光63を検知する。これにより、対象物64の反射像を検知することができる。このように、センサ内蔵液晶パネル301は、反射像を検知することにより、タッチした位置を検出することができる。
また、図3(b)は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図3(b)に示すように、フォトダイオード6を含む光センサ回路32は、対向基板51Bなどを透過した外光61を検知する。しかしながら、ペンなどの対象物62がある場合は、外光61の入射が妨げられるので、光センサ回路32が検知する光量が減る。これにより、対象物62の影像を検知することができる。このように、センサ内蔵液晶パネル301は、影像を検知することにより、タッチした位置を検出することもできる。
上述のように、フォトダイオード6は、バックライト307より出射された光の反射光(影像)を検知してもよいし、外光による影像を検知してもよい。また、上記2種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
〔データ表示/センサ装置の要部構成〕
次に、図4を参照しながら、上記データ表示/センサ装置100の要部構成について説明する。図4は、データ表示/センサ装置100の要部構成を示すブロック図である。図示のように、データ表示/センサ装置100は、1または複数の表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。ここでは、データ表示/センサ装置100は、表示/光センサ部300を2つ(第1表示/光センサ部300Aおよび第2表示/光センサ部300B)備えているものとして説明する。なお、第1表示/光センサ部300Aおよび第2表示/光センサ部300Bを区別しないときは、表示/光センサ部300と表記する。
次に、図4を参照しながら、上記データ表示/センサ装置100の要部構成について説明する。図4は、データ表示/センサ装置100の要部構成を示すブロック図である。図示のように、データ表示/センサ装置100は、1または複数の表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。ここでは、データ表示/センサ装置100は、表示/光センサ部300を2つ(第1表示/光センサ部300Aおよび第2表示/光センサ部300B)備えているものとして説明する。なお、第1表示/光センサ部300Aおよび第2表示/光センサ部300Bを区別しないときは、表示/光センサ部300と表記する。
表示/光センサ部300は、いわゆる光センサ内蔵液晶表示装置である。表示/光センサ部300は、センサ内蔵液晶パネル301、バックライト307、それらを駆動するための周辺回路309を含んで構成される。
センサ内蔵液晶パネル301は、マトリクス状に配置された複数の画素回路31および光センサ回路32を含んで構成される。センサ内蔵液晶パネル301の詳細な構成については後述する。
周辺回路309は、液晶パネル駆動回路304、光センサ駆動回路305、信号変換回路306、バックライト駆動回路308を含む。
液晶パネル駆動回路304は、回路制御部600の表示制御部601からのタイミング制御信号(TC1)およびデータ信号(D)に従って、制御信号(G)およびデータ信号(S)を出力し、画素回路31を駆動する回路である。画素回路31の駆動方法の詳細については後述する。
光センサ駆動回路305は、回路制御部600のセンサ制御部602からのタイミング制御信号(TC2)に従って、信号線(R)に電圧を印加し、光センサ回路32を駆動する回路である。光センサ回路32の駆動方法の詳細については後述する。
信号変換回路306は、光センサ回路32から出力されるセンサ出力信号(SS)をデジタル信号(DS)に変換し、該変換後の信号をセンサ制御部602に送信する回路である。
バックライト307は、複数の白色LED(Light Emitting Diode)を含んでおり、センサ内蔵液晶パネル301の背面に配置される。そして、バックライト駆動回路308から電源電圧が印加されると、バックライト307は点灯し、センサ内蔵液晶パネル301に光を照射する。なお、バックライト307は、白色LEDに限らず、他の色のLEDを含んでいてもよい。また、バックライト307は、LEDに代えて、例えば、冷陰極管(CCFL:Cold Cathode Fluorescent Lamp)を含むものであってもよい。
バックライト駆動回路308は、回路制御部600のバックライト制御部603からの制御信号(BK)がハイレベルであるときは、バックライト307に電源電圧を印加し、逆に、バックライト制御部603からの制御信号がローレベルであるときは、バックライト307に電源電圧を印加しない。
次に、回路制御部600について説明する。回路制御部600は、表示/光センサ部300の周辺回路309を制御するデバイスドライバとしての機能を備えるものである。回路制御部600は、表示制御部601、センサ制御部602、バックライト制御部603、および表示データ記憶部604を備えている。
表示制御部601は、データ処理部700の表示データ処理部701から表示データを受信するとともに、表示データ処理部701からの指示に従って、表示/光センサ部300の液晶パネル駆動回路304に、タイミング制御信号(TC1)およびデータ信号(D)を送信し、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。
なお、表示制御部601は、表示データ処理部701から受信した表示データを、表示データ記憶部604に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号(D)を生成する。表示データ記憶部604は、例えば、VRAM(video random access memory)などである。
センサ制御部602は、データ処理部700のセンサデータ処理部703からの指示に従って、表示/光センサ部300の光センサ駆動回路305に、タイミング制御信号(TC2)を送信し、センサ内蔵液晶パネル301にてスキャンを実行させる。
また、センサ制御部602は、信号変換回路306からデジタル信号(DS)を受信する。そして、センサ内蔵液晶パネル301に含まれる全ての光センサ回路32から出力されたセンサ出力信号(SS)に対応するデジタル信号(DS)に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル301の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部703に送信する。
バックライト制御部603は、表示データ処理部701およびセンサデータ処理部703からの指示に従って、表示/光センサ部300のバックライト駆動回路308に制御信号(BK)を送信し、バックライト307を駆動させる。
なお、データ表示/センサ装置100が、複数の表示/光センサ部300を備える場合、表示制御部601は、データ処理部700から、どの表示/光センサ部300にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示/光センサ部300の液晶パネル駆動回路304を制御する。また、センサ制御部602は、データ処理部700から、どの表示/光センサ部300にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示/光センサ部300の光センサ駆動回路305を制御するとともに、当該指示に応じた表示/光センサ部300の信号変換回路306からデジタル信号(DS)を受信する。
次に、データ処理部700について説明する。データ処理部700は、主制御部800から受信する「コマンド」に基づいて、回路制御部600に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
データ処理部700は、表示データ処理部701およびセンサデータ処理部703を備えている。そして、データ処理部700が、主制御部800からコマンドを受信すると、該受信したコマンドに含まれる各フィールド(後述する)の値に応じて、表示データ処理部701およびセンサデータ処理部703の少なくとも一方が動作する。
表示データ処理部701は、主制御部800から表示データを受信するとともに、データ処理部700が受信したコマンドに従って、表示制御部601およびバックライト制御部603に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。なお、コマンドに応じた、表示データ処理部701の動作については、後述する。
センサデータ処理部703は、データ処理部700が受信したコマンドに従って、センサ制御部602およびバックライト制御部603に指示を与える。
また、センサデータ処理部703は、センサ制御部602から画像データを受信し、当該画像データをそのまま画像データバッファ704に格納する。そして、センサデータ処理部703は、データ処理部700が受信したコマンドに従って、画像データバッファ704に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ(部分画像の座標データを含む)」、および「座標データ」の少なくともいずれか1つを、主制御部800に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部703の動作については、後述する。
次に、主制御部800は、アプリケーションプログラムを実行するものである。主制御部800は、記憶部901に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部902に読み出して実行する。
主制御部800で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル301に表示データを表示させたり、センサ内蔵液晶パネル301にて対象物のスキャンを行わせるために、データ処理部700に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか1つを、データ処理部700から受信する。
なお、回路制御部600、データ処理部700、および主制御部800は、それぞれ、CPU(Central Processing Unit)およびメモリ等で構成することができる。また、データ処理部700は、ASIC(application specific integrate circuit)などの回路で構成されていてもよい。
次に、記憶部901は、図示のように、主制御部800が実行するプログラムおよびデータを格納するものである。なお、主制御部800が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
次に、操作部903は、データ表示/センサ装置100のユーザの入力操作を受けつけるものである。操作部903は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部903は、データ表示/センサ装置100のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部800へ送信する。
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ905、予め所定の機能が割り当てられているユーザスイッチ906などのハードウェアスイッチを想定している。
その他、データ表示/センサ装置100は、無線/有線通信によって外部装置と通信を行うための外部通信部907、音声を出力するためのスピーカ等の音声出力部908、音声信号を入力するためのマイク等の音声入力部909を備えている。
データ表示/センサ装置100では、外部通信部907の機能により、携帯電話通信網を介して他の携帯電話機等と通話したり、電子メールの送受信を行ったり、インターネットに接続したりすることができるようになっている。これらの機能は、一般の携帯電話機が備えているものを適用することもできる。
また、データ表示/センサ装置100は、テレビ受信部(放送受信部)910を備えている。テレビ受信部910は、放送波を受信してデコードし、映像や音声などを出力するものであり、アンテナやチューナ等で構成されている。つまり、データ表示/センサ装置100では、テレビ放送の視聴が可能になっている。
さらに、データ表示/センサ装置100は、図示していないが、カメラを備えており、このカメラによって撮影を行うこともできるようになっている。
〔コマンドの詳細〕
次に、図5および図6を参照しながら、主制御部800からデータ処理部700に送信されるコマンドの詳細について説明する。図5は、コマンドのフレーム構造の一例を模式的に示す図である。また、図6は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
次に、図5および図6を参照しながら、主制御部800からデータ処理部700に送信されるコマンドの詳細について説明する。図5は、コマンドのフレーム構造の一例を模式的に示す図である。また、図6は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
図5に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図6に示す値が指定可能である。
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
次に、「データ取得タイミング」フィールドは、データを主制御部800へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”(センス)、“01”(イベント)、および“10”(オール)という値が指定可能である。
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部800に送信する。
また、“イベント”は、センサ制御部602から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部602から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部800に送信する。
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部800に送信する。なお、上記所定周期は、光センサ回路32にてスキャンを行う周期と一致する。
次に、「データ種別」フィールドは、センサデータ処理部703から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”(座標)、“010”(部分画像)、および“100”(全体画像)という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”/“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
センサデータ処理部703は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ704に記憶している画像データそのものを主制御部800に送信する。画像データバッファ704に記憶している画像データそのものを、「全体画像データ」と称する。
また、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部602から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部800に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出されたそれぞれの部分画像データを主制御部800に送信する。
なお、センサ制御部602から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部703は、該抽出された複数の部分画像データのそれぞれを主制御部800に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル301上の複数箇所を同時にタッチした場合、センサデータ処理部703は、該タッチした領域のそれぞれを部分画像データとして抽出し、主制御部800に送信する。
さらに、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像における代表点を検出し、当該代表点の部分画像における位置を示す代表座標の座標データを主制御部800に送信する。なお、上記代表点とは、例えば、上記部分画像データの中心、上記部分画像データの重心などが挙げられる。
なお、センサ制御部602から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部703は、該抽出された複数の部分画像データのそれぞれの代表点を検出し、当該検出された各代表点の、部分画像における位置を示す代表座標の座標データを主制御部800に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル301上の複数箇所を同時にタッチした場合、センサデータ処理部703は、該タッチした各領域の代表点の、各領域における位置を示す代表座標の座標データを、主制御部800に送信する。
次に、センサデータ処理部703は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表点の、全体画像データにおける位置を示す代表座標の座標データを主制御部800に送信する。
なお、センサ制御部602から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部703は、該抽出された複数の部分画像のそれぞれの代表点の、全体画像における位置を示す代表座標の座標データを主制御部800に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル301上の複数箇所を同時にタッチした場合、センサデータ処理部703は、該タッチした各領域の代表点の、全体画像における位置を示す代表座標の座標データを、主制御部800に送信する。
すなわち、データ表示/センサ装置100は、ユーザが指やペンなどでセンサ内蔵液晶パネル301をタッチした数に関わらず、該タッチした領域の代表点を検出することができる(多点検出)。そして、該検出された代表点の、部分画像における位置を示す代表座標の座標データ、および、全体画像における位置を示す代表座標の座標データを主制御部800にすることができる。
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト307を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”(反射)、“01”(透過)、および“10”(反射/透過)という値が指定可能である。
“反射”は、バックライト307を点灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路305とバックライト駆動回路308とが同期して動作するように、センサ制御部602とバックライト制御部603とに指示を与える。
また、“透過”は、バックライト307を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路305を動作させ、バックライト駆動回路308と動作させないようにセンサ制御部602とバックライト制御部603とに指示を与える。なお、“反射/透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”(2値)、および“01”(多値)という値が指定可能である。
ここで、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“2値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部800に送信する。
また、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部800に送信する。
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”(高)および“1”(低)という値が指定可能である。
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部800に送信する。例えば、画像認識などの画像処理を行う対象の画像データ(指紋などの画像データ)には、“高”を指定することが望ましい。
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部800に送信する。例えば、タッチした位置等が分かる程度でよい画像データ(タッチした指や手の画像データなど)には、“低”を指定することが望ましい。
次に、「スキャンパネル」フィールドは、どの表示/光センサ部300にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
ここで、センサデータ処理部703は、「スキャンパネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aの光センサ駆動回路305およびバックライト駆動回路308を制御するように、センサ制御部602およびバックライト制御部603に指示を与える。
次に、「表示パネル」フィールドは、どの表示/光センサ部300にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
ここで、表示データ処理部701は、例えば、「表示パネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aに表示データを表示させるために、第1表示/光センサ部300Aの液晶パネル駆動回路304およびバックライト駆動回路308を制御するように、表示制御部601およびバックライト制御部603に指示を与える。
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
なお、主制御部800にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値(NULL値など)を設定しておけばよい。
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部700に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル301を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる(多点検出)。
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部700に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
〔全体画像データ/部分画像データ/座標データ〕
次に、図7を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図7(a)に示す画像データは、対象物がセンサ内蔵液晶パネル301上に置かれていないときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。また、図7(b)に示す画像データは、ユーザが指でセンサ内蔵液晶パネル301をタッチしているときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。
次に、図7を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図7(a)に示す画像データは、対象物がセンサ内蔵液晶パネル301上に置かれていないときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。また、図7(b)に示す画像データは、ユーザが指でセンサ内蔵液晶パネル301をタッチしているときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。
ユーザが指でセンサ内蔵液晶パネル301をタッチしたとき、当該タッチした近傍の光センサ回路32が受光する光量が変化するため、当該光センサ回路32が出力する電圧に変化が生じ、その結果として、センサ制御部602が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
図7(b)に示す画像データでは、図7(a)に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図7(b)に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域(領域PP)が、“部分画像データ”である。
なお、領域APで示される画像データが、“全体画像データ”である。
また、部分画像データ(領域PP)の代表座標Zの、全体画像データ(領域AP)における座標データは(Xa,Ya)であり、部分画像データ(領域PP)における座標データは(Xp,Yp)である。
〔センサ内蔵液晶パネルの構成〕
次に、図8を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図8は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
次に、図8を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図8は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
センサ内蔵液晶パネル301は、光透過率(輝度)を設定するための画素回路31、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路32を備えている。なお、画素回路31は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するR画素回路31r、G画素回路31g、B画素回路31bの総称として用いる。
画素回路31は、センサ内蔵液晶パネル301上の列方向(縦方向)にm個、行方向(横方向)に3n個配置される。そして、R画素回路31r、G画素回路31g、およびB画素回路31bの組が、行方向(横方向)に連続して配置される。この組が1つの画素を形成する。
画素回路31の光透過率を設定するには、まず、画素回路31に含まれるTFT(Thin Film Transistor)33のゲート端子に接続される走査信号線Giにハイレベル電圧(TFT33をオン状態にする電圧)を印加する。その後、R画素回路31rのTFT33のソース端子に接続されているデータ信号線SRjに、所定の電圧を印加する。同様に、G画素回路31gおよびB画素回路31bについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル301上に画像が表示される。
次に、光センサ回路32は、一画素毎に配置される。なお、R画素回路31r、G画素回路31g、およびB画素回路31bのそれぞれの近傍に1つずつ配置されてもよい。
光センサ回路32にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ35の一方の電極に接続されているセンサ読み出し線RWiと、フォトダイオード36のアノード端子に接続されているセンサリセット線RSiとに所定の電圧を印加する。この状態において、フォトダイオード36に光が入射されると、入射した光量に応じた電流がフォトダイオード36に流れる。そして、当該電流に応じて、コンデンサ35の他方の電極とフォトダイオード36のカソード端子との接続点(以下、接続ノードV)の電圧が低下する。そして、センサプリアンプ37のドレイン端子に接続される電圧印加線SDjに電源電圧VDDを印加すると、接続ノードVの電圧は増幅され、センサプリアンプ37のソース端子からセンシングデータ出力線SPjに出力される。そして、当該出力された電圧に基づいて、光センサ回路32が受光した光量を算出することができる。
次に、センサ内蔵液晶パネル301の周辺回路である、液晶パネル駆動回路304、光センサ駆動回路305、およびセンサ出力アンプ44について説明する。
液晶パネル駆動回路304は、画素回路31を駆動するための回路であり、走査信号線駆動回路3041およびデータ信号線駆動回路3042を含んでいる。
走査信号線駆動回路3041は、表示制御部601から受信したタイミング制御信号TC1に基づいて、1ライン時間毎に、走査信号線G1〜Gmの中から1本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
データ信号線駆動回路3042は、表示制御部601から受信した表示データD(DR、DG、およびDB)に基づいて、1ライン時間毎に、1行分の表示データに対応する所定の電圧を、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnに印加する(線順次方式)。なお、データ信号線駆動回路3042は、点順次方式で駆動するものであってもよい。
光センサ駆動回路305は、光センサ回路32を駆動するための回路である。光センサ駆動回路305は、センサ制御部602から受信したタイミング制御信号TC2に基づいて、センサ読み出し信号線RW1〜RWmの中から、1ライン時間毎に1本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号TC2に基づいて、センサリセット信号線RS1〜RSmの中から、1ライン時間毎に1本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
センシングデータ出力信号線SP1〜SPnはp個(pは1以上n以下の整数)のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ47を介して、センサ出力アンプ44に接続される。センサ出力アンプ44は、スイッチ47により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号SS(SS1〜SSp)として、信号変換回路306へ出力する。
〔データ表示/センサ装置のより詳細な構成〕
次に、図11を参照しながら、データ表示/センサ装置100のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部800と表示/光センサ部300との間に位置するデータ処理部700および回路制御部600の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部800の各部が、データ処理部700にコマンドを送信し、データ処理部700がコマンドに基づいて回路制御部600を制御し、回路制御部600が表示/光センサ部300に対して信号を送信する。また、主制御部800は、データ処理部700に対して送信したコマンドに対する応答として、データ処理部700から、全体画像データ、部分画像データ、および座標データを取得する。
次に、図11を参照しながら、データ表示/センサ装置100のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部800と表示/光センサ部300との間に位置するデータ処理部700および回路制御部600の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部800の各部が、データ処理部700にコマンドを送信し、データ処理部700がコマンドに基づいて回路制御部600を制御し、回路制御部600が表示/光センサ部300に対して信号を送信する。また、主制御部800は、データ処理部700に対して送信したコマンドに対する応答として、データ処理部700から、全体画像データ、部分画像データ、および座標データを取得する。
図11は、データ表示/センサ装置100のより詳細な構成を示すブロック図である。図示のように、主制御部800は、ずれ検出部(検出手段)11、表示制御部12、機能実行部13を備え、記憶部901にはメニュー画像記憶部16が含まれている。
ずれ検出部11は、表示/光センサ部300AとBとのずれ量及びずれ方向を検出する。データ表示/センサ装置100では、ずれ検出部11が検出したずれ量及びずれ方向に基づいて、機能実行部13が所定の動作を行うようになっている。なお、ずれの検出方法及び機能実行部13の実行する動作の詳細については後述する。
表示制御部12は、機能実行部13の指示に従ってセンサ内蔵液晶パネル301A及びBの何れかまたは両方に画像を表示させる。
機能実行部13は、データ表示/センサ装置100が備える各機能を実行する。つまり、機能実行部13によって、電子メールの送受信及び閲覧等に関するメール機能、カメラによる撮影等に関する写真機能、通話、履歴管理、電話帳管理等に関する電話機能、各種設定変更機能、音楽再生機能、データ管理機能、その他のアプリケーションソフト実行機能等が実現される。
また、機能実行部13は、図示のように、メニュー表示部(画像表示手段、回転表示手段)14とブラウザ制御部(画像表示手段、回転表示手段)15とを備えている。なお、上記のように、機能実行部13は、メール機能等の複数の機能を実行するが、これらの機能に対応するブロックを全て図示すると図面が煩雑になるので、図11では機能実行部13の主なブロックのみを示している。また、図示していないブロックが実行する処理の主体を、機能実行部13として説明する。
メニュー表示部14は、データ表示/センサ装置100が備える上記各機能の何れを実行するかをユーザに選択させるためのメインメニューをセンサ内蔵液晶パネル301Aに表示させる。ここでは、上記各機能に対応するアイコンが配列した画像をメニュー画像記憶部16から読み出して表示させることによって、上記各機能の何れを実行するかをユーザに選択させる。
そして、メニュー表示部14は、ずれ検出部11の検出結果に基づいて、表示したアイコンの何れが選択されたかを判断し、選択されたアイコンに対応する機能を実行させるための入力信号を生成する。
ブラウザ制御部15は、ウェブページの閲覧等を可能にするものであり、外部通信部907を介してインターネットに接続することで取得したデータ等をセンサ内蔵液晶パネル301A及びBの何れかまたは両方に表示する機能を有する。
ここで、例えばウェブサイトの閲覧をするときには、表示する画面のサイズが、センサ内蔵液晶パネル301Aが一度に表示可能なサイズを超えていることがある。ブラウザ制御部15は、このようなサイズの画像の一部分がセンサ内蔵液晶パネル301Aに表示されている状態で、表示/光センサ部300AとBとをずらす操作が行われたときに、画像の表示領域を移動させる。これにより、センサ内蔵液晶パネル301Aに表示される画像がスクロールされるので、ユーザは、大きい画像の所望の位置を直感的な操作で表示させることができる。
また、表示/光センサ部300AとBとをずらす操作が行われることによって、センサ内蔵液晶パネル301Bが外部に露出する。ここで、ブラウザ制御部15は、外部に露出したセンサ内蔵液晶パネル301Bに、上記画像のセンサ内蔵液晶パネル301Aに表示しきれていない部分を表示させる。これにより、センサ内蔵液晶パネル301AとBとの両方の表示領域を合わせた表示領域に画像が表示されるので、センサ内蔵液晶パネル301Aのみに画像を表示させる場合と比べて、ユーザは一度に広い範囲の画像を閲覧することができる。
〔ずれの検出方法〕
続いて、ずれ検出部11が表示/光センサ部300AとBとのずれ量及びずれ方向を検出する方法について、図12に基づいて説明する。図12は、表示/光センサ部300AとBとのずれ量及びずれ方向を検出する方法を模式的に示した図である。なお、図12では、表示/光センサ部300Bのセンサ内蔵液晶パネル301Bに画像が表示されていないことを想定している。
続いて、ずれ検出部11が表示/光センサ部300AとBとのずれ量及びずれ方向を検出する方法について、図12に基づいて説明する。図12は、表示/光センサ部300AとBとのずれ量及びずれ方向を検出する方法を模式的に示した図である。なお、図12では、表示/光センサ部300Bのセンサ内蔵液晶パネル301Bに画像が表示されていないことを想定している。
図示のように、表示/光センサ部300AとBとがずれている場合には、表示/光センサ部300Bにおいて、表示/光センサ部300Aと重なっている部分には外光が入射せず、重なっていない部分には外光が入射する。
したがって、表示/光センサ部300AとBとがずれている状態において、表示/光センサ部300Bにてスキャンを行うことにより、SCD1のような画像が取得される。SCD1では、表示/光センサ部300Bにおいて、表示/光センサ部300Aと重なっている部分が暗く、重なっていない部分が明るくなっている。
このため、SCD1における隣接する画素の輝度値や色の変化率が所定の閾値を越える部位を境界として特定することができる、これにより、表示/光センサ部300AとBとのずれ方向及びずれ量を算出することができる。
つまり、図示のように、表示/光センサ部300Aの影になっている部分(SCD1の暗部)の形状から、表示/光センサ部300Aの中心位置を算出することができる。そして、表示/光センサ部300Bの中心位置と、上記算出した表示/光センサ部300Aの中心位置とを比較することにより、移動方向及び移動距離を算出することができる。無論、移動方向及び移動距離を算出する基準となる位置は、表示/光センサ部300A及びBの中心位置に限られず、表示/光センサ部300AまたはBに設定した任意の基準位置から移動方向及び移動距離を算出することができる。
なお、表示/光センサ部300Bのセンサ内蔵液晶パネル301Bに画像を表示させた状態においても、上記と同様の方法にて、ずれ量及びずれ方向を検出することができる。ただし、センサ内蔵液晶パネル301Bに画像を表示させた状態では、センサ内蔵液晶パネル301Bの発する光が表示/光センサ部300Aに反射して、センサ内蔵液晶パネル301Bで検出される。このため、SCD1における明暗の境界の判別が困難となることが考えられる。また、外光の入射量が少ない場合にも、SCD1における明暗の境界の判別が困難となることが考えられる。
そこで、ずれ検出部11は、SCD1における明暗の境界の判別に失敗したときには、センサ内蔵液晶パネル301Bに表示させる画像の輝度を変化させて、再度スキャンを行うことが好ましい。これにより、センサ内蔵液晶パネル301Bに画像を表示させた状態であっても、また暗い場所で使用する場合であってもずれ量及びずれ方向を正確かつ確実に求めることができる。
〔メインメニューからの機能選択〕
続いて、データ表示/センサ装置100において、メインメニューから実行する機能を選択するときの処理について、図1に基づいて説明する。図1は、メインメニューの表示画面の一例を示す図であり、同図(a)はメインメニューが表示されたときの画面例を示し、同図(b)は同図(a)の状態から表示/光センサ部300AとBとをスライドさせたときの画面例を示し、同図(c)は同図(b)の状態から、表示/光センサ部300AとBとをさらにスライドさせたときの画面例を示している。
続いて、データ表示/センサ装置100において、メインメニューから実行する機能を選択するときの処理について、図1に基づいて説明する。図1は、メインメニューの表示画面の一例を示す図であり、同図(a)はメインメニューが表示されたときの画面例を示し、同図(b)は同図(a)の状態から表示/光センサ部300AとBとをスライドさせたときの画面例を示し、同図(c)は同図(b)の状態から、表示/光センサ部300AとBとをさらにスライドさせたときの画面例を示している。
同図(a)に示すメインメニューの画面例では、センサ内蔵液晶パネル301Aに、データ表示/センサ装置100の縦方向に3列、横方向に6列の、計18個のアイコン21が曲面状に配列した画像が表示されている。言い換えれば、センサ内蔵液晶パネル301Aには、18個のアイコン21が配列した楕円体状の画像をセンサ内蔵液晶パネル301Aに投影した画像が表示されている。
なお、アイコン21は、センサ内蔵液晶パネル301Aの表示領域の中央部付近が端部付近よりも凸となる曲面状に配置されていればよく、球面状に配置されていてもよい。また、上記球及び楕円体は、ユーザがそれと認識できるようなものであればよく、厳密な球体または楕円体とする必要はない。
そして、図示の18個のアイコン21は、それぞれデータ表示/センサ装置100の各機能に対応付けられている。例えば、「MAIL」と表示されたアイコン21はメール機能に対応し、「PHOTO」と表示されたアイコン21は写真機能に対応し、「PHONE」と表示されたアイコン21は電話機能に対応し、「TV」と表示されたアイコン21はテレビ機能に対応し、「SETTING」と表示されたアイコン21は設定変更機能に対応し、「MUSIC」と表示されたアイコン21は音楽機能に対応し、「DATA」と表示されたアイコン21はデータ管理機能に対応し、「APLI」と表示されたアイコン21はその他のアプリ実行機能に対応し、「WEB」と表示されたアイコン21はウェブ接続に対応している。
また、センサ内蔵液晶パネル301Aには、アイコン21の選択位置を示すカーソル22が表示されている。データ表示/センサ装置100では、カーソル22の表示位置は固定されており、表示/光センサ部300AとBとを閉じたときの、カーソル22の位置のアイコン21が選択されるようになっている。同図(a)では、カーソル22の位置には、「PHONE」と表示されたアイコン21が表示されているので、この状態で表示/光センサ部300AとBとを閉じた場合には、電話機能が実行される。
なお、ここではカーソル22を表示することによって選択候補となるアイコン21をユーザに認識させる例について説明するが、データ表示/センサ装置100では、選択候補となっているアイコン21をユーザが認識できるようになっていればよく、この例に限られない。
例えば、選択候補となっているアイコン21の表示態様を他のアイコン21と異ならせる(輝度値を明るくする、拡大表示する、画像を変化させる等)ことによって、選択候補となっているアイコン21をユーザが認識できるようにしてもよい。
さて、図9及び図10に示したように、表示/光センサ部300AとBとは、スライド可能な構成になっている。このため、図1(a)に示すように表示/光センサ部300Aを同図の矢印方向に押すことにより、同図(b)に示すように表示/光センサ部300AがBに対して縦方向にスライドする。
表示/光センサ部300AをBに対して縦方向にスライドさせることにより、図示のように、アイコン21の表示位置がスライドさせた方向と逆向きに1段階ずれる。つまり、縦方向に配列した中央の列に注目すれば、同図(a)では、カーソル22の位置が「PHONE」であり、その1つ上側が「MAIL」であったが、同図(b)では、「MAIL」がカーソル22の位置に移動し、「PHONE」はカーソル22の下側に移動している。また、同図(a)では中央列の一番下側に表示されていた「TV」が、同図(b)では中央列の一番上側に移動している。そして、他の2列についても同様に、アイコン21の表示位置が1段階ずれると共に、同図(a)で一番下側に表示されていたアイコン21が一番上側に移動している。
つまり、表示/光センサ部300AとBとをずらしたときには、ずれの向きと逆向きに各アイコン21の表示位置がずれる。そして、アイコン21がずれる向きに対して最も下流側のアイコン21は、アイコン21がずれる向きに対して最も上流側に移動する。このように、データ表示/センサ装置100では、表示/光センサ部300AとBとをずらすことにより、アイコン21を循環表示することができるようになっている。
図1(a)に示すように、アイコン21は、楕円体の表面を模した曲面上に配置されており、ユーザは、表示/光センサ部300Aを指で押すことによって、アイコン21が曲面上を移動するようになっているので、楕円体を直に触って回転させているような感覚で、所望のアイコン21を選択することができる。
また、上記の構成によれば、楕円体状の曲面上でアイコン21を移動させているので、ユーザは、アイコン21のずれの向きに対して最も下流側に位置するアイコン21が、アイコン21のずれの向きに対して最も上流側に再表示されることを直感的に認識することができる。
同図(b)の状態から、さらに表示/光センサ部300Aを上向きにスライドさせると、同図(c)に示すように、アイコン21は、スライドさせた方向と逆向きにさらに1段階ずれる。
また、図1には示していないが、表示/光センサ部300AをBに対して、右向き、左向き、下向き、右斜め上向き、右斜め下向き、左斜め上向き、及び左斜め下向きにずらしたときにも同様に、アイコン21がずれの向きと逆向きに循環するように表示が行われる。
例えば、同図(a)の状態から表示/光センサ部300AをBに対して右向きにずらしたときには、カーソル22の位置にある「PHONE」はカーソル22の左側に移動し、カーソル22の右側の「TOOL」がカーソル22の位置に移動し、カーソル22の左側の「MEMO」がカーソル22の右側に移動する。
また、例えば、同図(a)の状態から表示/光センサ部300AをBに対して右斜め上向きにずらしたときには、カーソル22の位置にある「PHONE」はカーソル22の左斜め下に移動し、カーソル22の右斜め上の「APLI」がカーソル22の位置に移動し、カーソル22の左斜め下の「CLOCK」がカーソル22の右斜め上に移動する。
以上のように、データ表示/センサ装置100では、表示/光センサ部300AとBとをずらす操作によって、アイコン21が曲面上を循環して移動するように表示が行われる。これにより、ユーザは、あたかも球体を転がしながらその表面を見ているかのような感覚で所望のアイコン21を探し、選択することができる。
〔メインメニューから機能選択する処理の流れ〕
続いて、図13に基づいて、メインメニューから機能選択する処理の流れについて説明する。図13は、メインメニューから機能選択する処理の一例を示すフローチャートである。メインメニューから機能選択する処理は、メニュー表示部14の制御に従って行われる。
続いて、図13に基づいて、メインメニューから機能選択する処理の流れについて説明する。図13は、メインメニューから機能選択する処理の一例を示すフローチャートである。メインメニューから機能選択する処理は、メニュー表示部14の制御に従って行われる。
まず、メニュー表示部14は、メニュー画像記憶部16からメインメニュー用の画像を読み出し、表示制御部12に指示して、これをセンサ内蔵液晶パネル301Aに表示させる(S10)。なお、ここで表示する画像は、例えば図1(a)に示すような、楕円体または球体の少なくとも一部を模した曲面上にアイコン等の選択項目が配置された画像である。
そして、メニュー表示部14は、ずれ検出部11が、表示/光センサ部300AとBとのずれを検出するのを待ち受ける(S11)。ここで、ずれ検出部11が、表示/光センサ部300AとBとのずれを検出したことを確認する(S11でYES)と、メニュー表示部14は、検出されたずれ量とずれ方向とに基づいて、次に表示する画像を決定する(S12)。
そして、メニュー表示部14は、上記決定した画像をメニュー画像記憶部16から読み出し、表示制御部12に指示して、これを。センサ内蔵液晶パネル301Aに表示させる(S13)。これにより、センサ内蔵液晶パネル301Aに表示される画像が更新される。
つまり、メニュー画像記憶部16には、全てのパターンのメニュー画像が予め記憶されている。そして、メニュー表示部14は、検出されたずれ量とずれ方向とに基づいて、メニュー画像記憶部16に記憶されているメニュー画像の中から、次に表示するメニュー画像を選択する。
例えば、図1の例では、18種類のアイコン21が含まれているので、18種類のメニュー画像と、各メニュー画像においてカーソル22の位置となるアイコン21とを対応付けて予め記憶しておけばよい。また、ずれ量に応じてアイコン21を何段階移動させるかを予め設定しておく。
これにより、メニュー表示部14は、ずれ検出部11がずれ方向及びずれ量を検出したときに、現在カーソル22の位置にあるアイコン21から、次にカーソル22の位置となるアイコン21を特定することができ、次にカーソル22の位置となるアイコン21から、次に表示するメニュー画像を特定することができる。
例えば、ずれ量が5mm〜10mmのときにアイコン21を1段階移動させるようにし、ずれ量がそれ以上であるときにアイコン21を2段階移動させるように設定した場合に、図1(a)のようにアイコン21が配置されている例について考える。
この場合に、表示/光センサ部300Aを左向きに8mmだけスライドさせたときには、アイコン21が右向きに1段階移動することになるので、メニュー表示部14は、次にカーソル22の位置となるアイコン21が「MEMO」であると判断することができる。
したがって、この場合には、メニュー表示部14は、カーソル22の位置となるアイコン21が「MEMO」となっているメニュー画像をメニュー画像記憶部16から読み出して表示させる。
これにより、図1(a)のようにカーソル22の位置となるアイコン21が「PHONE」となっているメニュー画像が、カーソル22の位置となるアイコン21が「MEMO」となっているメニュー画像に切り換わる。この切り換えにより、ユーザは、アイコン21が配置された曲面が回転したように感じる。
なお、切り換え前のメニュー画像と切り換え後のメニュー画像との間に、切り換えの遷移中のメニュー画像を挿入してもよい。これにより、メニュー画像が滑らかに切り換わるので、メニュー画面切り換え時のユーザの違和感を低減することができる。
そして、メニュー表示部14は、ずれ検出部11が、表示/光センサ部300AとBとのずれ量またはずれ方向が変化したことを検出するのを待ち受ける(S14)。ここで、ずれ量がまたはずれ方向の変化が検出された場合(S14でYES)には、メニュー表示部14は、ずれ量がゼロになったか否か(データ表示/センサ装置100が閉じられた状態となったか否か)を確認する(S15)。
ずれ量がゼロになったことが確認されない場合(S15でNO)には、処理はS12に戻り、メニュー表示部14は、ずれ検出部11が検出した最新のずれ方向及びずれ量に基づいて、次に表示する画像を決定する。
一方、ずれ量がゼロになったことが確認された場合(S15でYES)には、メニュー表示部14は、選択されたアイコン(図1の例ではカーソル22が合わさっているアイコン)に対応する処理を実行するように機能実行部13の対応するブロックに指示を送り、これによりメインメニューから機能選択する処理は終了する。
なお、上記では、表示/光センサ部300AとBとをずらす操作を行ったときに、ずれ量及びずれ方向に基づいて表示するメニュー画像を切り換える例を示したが、表示/光センサ部300AとBとがずれている間は、メニュー画像を、ずれ方向に、ずれ量に応じた速度でスクロールさせるようにしてもよい。
また、上記では、カーソル22を合わせてデータ表示/センサ装置100を閉じることによってアイコン21を選択する例を示したが、アイコン21の選択方法はこの例に限られない。
例えば、センサ内蔵液晶パネル301A及びBは、像を検知することができるので、該センサ内蔵液晶パネル301A及びBに対する指やペン先などの接触を検知することもできる。そこで、指やペン先などで触れることによってアイコンを選択することができるように構成してもよい。
なお、データ表示/センサ装置100では、図9及び図10に示すように、表示/光センサ部300AとBとをずらすためにセンサ内蔵液晶パネル301A上にユーザの指が置かれる。このため、表示/光センサ部300AとBとをずらすための指の接触と、アイコンを選択するための接触とを識別するための工夫を施しておくことが好ましい。例えば、アイコンを選択するためには、マウスのダブルクリックと同様に、アイコンが表示されている位置に2回連続タッチすることによって、当該アイコンが選択されたと判断するようにすればよい。
〔地図画像表示中の動作〕
上述のように、データ表示/センサ装置100は、インターネット上のデータを閲覧するウェブブラウザ機能を備えている。ここでは、ウェブブラウザ機能の実行中におけるデータ表示/センサ装置100の動作の一例として、地図の画像を表示しているときの動作例について、図14に基づいて説明する。
上述のように、データ表示/センサ装置100は、インターネット上のデータを閲覧するウェブブラウザ機能を備えている。ここでは、ウェブブラウザ機能の実行中におけるデータ表示/センサ装置100の動作の一例として、地図の画像を表示しているときの動作例について、図14に基づいて説明する。
図14は、3D地図画像を表示しているときの画面例を示す図であり、同図(a)は表示/光センサ部300AとBとがずれていない状態の画面例を示し、同図(b)は表示/光センサ部300AをBに対して上向きにずらしたときの画面例を示している。
データ表示/センサ装置100では、地図等の画像を表示しているときに、表示/光センサ部300AとBとをずらすことによって、表示をスクロールすることができるようになっている。なお、ここで表示する地図画像は、センサ内蔵液晶パネル301Aの表示領域に一度に表示可能なサイズを超えているものとする。つまり、センサ内蔵液晶パネル301Aには、元の地図画像(以下、元画像と呼ぶ)の一部が切り出されて表示される。
同図(a)の例では、センサ内蔵液晶パネル301Aに立体的な楕円体状の地図画像である3D地図画像が表示されている。この状態において、表示/光センサ部300AをBに対してずらすことにより、ずらした方向に、地図画像をスクロールして表示することができる。
つまり、同図(b)に示すように、表示/光センサ部300AをBに対して上向きにずらしたときには、元画像から、同図(a)の切り出し位置よりも上向きに移動した切り出し位置で切り出された地図画像がセンサ内蔵液晶パネル301A(表示領域Aと呼ぶ)に表示される。
また、同図(b)に示すように、表示/光センサ部300AをBに対してずらしたときには、表示/光センサ部300AとBとをずらすことによって外部から視認可能となったセンサ内蔵液晶パネル301Bの表示領域(表示領域Bと呼ぶ)にも、地図画像が表示される。つまり、表示/光センサ部300AをBに対してずらしたときには、表示領域A+Bに地図画像が表示される。
また、データ表示/センサ装置100では、ずらし量を増やしたときには、スクロール速度が上がるようになっている。さらに、ずらし量を増やしたときには、センサ内蔵液晶パネル301Bの表示領域である表示領域Bが拡大する。このため、ユーザは、サイズの大きい地図画像をより広い表示領域に表示してスピーディに閲覧することができる。
〔地図画像表示中の処理の流れ〕
続いて、図15に基づいて、地図画像表示中の処理の流れについて説明する。図15は、地図画像表示中の処理の一例を示すフローチャートである。地図画像表示中の処理は、ブラウザ制御部15の制御に従って行われる。
続いて、図15に基づいて、地図画像表示中の処理の流れについて説明する。図15は、地図画像表示中の処理の一例を示すフローチャートである。地図画像表示中の処理は、ブラウザ制御部15の制御に従って行われる。
まず、ブラウザ制御部15は、センサ内蔵液晶パネル301Aの表示領域のサイズに合わせて、元画像(外部通信部907を介して取得した3D地図画像)における表示対象領域を設定する(S20)。続いて、ブラウザ制御部15は、表示制御部12に指示して、元画像から上記設定した表示対象領域で切り出した画像をセンサ内蔵液晶パネル301Aに表示させる(S21)。これにより、センサ内蔵液晶パネル301Aには、例えば図14(a)に示すような画像が表示される。
次に、ブラウザ制御部15は、ずれ検出部11が、表示/光センサ部300AとBとのずれを検出するのを待ち受ける(S23)。ここで、ずれが検出された場合(S23でYES)には、ブラウザ制御部15は、検出されたずれ量とずれ方向から次の表示対象領域を設定する(S24)。
具体的には、ブラウザ制御部15は、楕円体状の元画像を上記検出されたずれ方向と平行であって上記楕円体の中心を通る平面に垂直であり、上記楕円体の中心を通る直線を軸として回転させることによって、次に表示対象領域が設定される。これにより、センサ内蔵液晶パネル301Aには、回転後の元画像をS20と同じ位置で切り出した画像が表示されることになる。
ここで、上述のように、表示/光センサ部300AとBとがずれたときには、このずれによって露出したセンサ内蔵液晶パネル301Bも表示領域として使用される。つまり、ブラウザ制御部15は、S24で設定される表示対象領域が、センサ内蔵液晶パネル301Aの表示領域とセンサ内蔵液晶パネル301Bの表示領域とを合わせた表示領域となるように設定する。
具体的には、ブラウザ制御部15は、検出されたずれ量とずれ方向から露出したセンサ内蔵液晶パネル301Bの表示領域の形状を特定し、この表示領域のセンサ内蔵液晶パネル301Aの表示領域に対する相対位置を特定する。そして、ブラウザ制御部15は、センサ内蔵液晶パネル301Aの表示領域に対し、上記特定した相対位置に上記特定した形状の表示領域を組み合わせて、新たな表示領域とする。
次に、ブラウザ制御部15は、表示制御部12に指示して、元画像から上記設定した表示対象領域で切り出した画像をセンサ内蔵液晶パネル301Aに表示させる(S24)。これにより、センサ内蔵液晶パネル301Aには、例えば図14(b)に示すような画像が表示される。
そして、S24の処理が終了すると、ブラウザ制御部15はS22の処理に戻ってずれの検出有無を確認し、ずれが検出された場合には表示対象領域が再設定される。つまり、データ表示/センサ装置100では、表示/光センサ部300AとBとがずれた状態であれば、表示対象領域の位置が変化し続けるようになっている。
これにより、ユーザは、所望の方向に表示/光センサ部300Aをスライドさせることにより、実在の地球儀を回転させるような感覚で、地図画像をスクロールさせて、所望の位置を表示させることができる。
また、上述のように、元画像上における表示対象領域の移動距離(元画像を回転させる角度)は、ずれ検出部11が検出したずれ量に応じて決定される。したがって、例えばずれ量に比例して回転角度を大きくした場合には、表示/光センサ部300AとBとを大きくずらしたときにスクロール速度が速くなり、小さくずらしたときにスクロール速度が遅くなることになる。これにより、ユーザは直感的な操作でスクロール速度を調節することができる。
なお、上記の例では、3Dの元画像を、外部通信部907を介して取得することを想定しているが、元画像が2D画像である場合には、ブラウザ制御部15は、この2D画像の元画像から3Dの元画像を生成し、これを表示させるようにしてもよい。2D画像から3D画像を生成する方法としては、公知の手法を適用することも可能であるからここでは説明を省略する。
また、上記の例では、楕円体状の3D画像を表示する例を示したが、球体状の3D画像も同様にして表示することができる。なお、上記球及び楕円体は、ユーザがそれと認識できるようなものであればよく、厳密な球体または楕円体とする必要はない。
さらに、上記の例では、ブラウザ制御部15がスクロール表示の制御を行う例を示したが、スクロール表示の制御を行う主体は、これに限られない。例えば、画像の閲覧用ソフトウェアがスクロール表示の制御を行うようにしてもよい。無論、スクロール表示させる対象は、地図画像に限られず、任意の画像、表示画面等をスクロール表示させることができる。
〔2D表示の例〕
以上のように、データ表示/センサ装置100では、曲面状の画像を表示したセンサ内蔵液晶パネル301Aをユーザが指で押すことによって、楕円体が回転したかのような画像が表示される。これにより、ユーザは、楕円体を回転させる感覚で表示をスクロールさせ、アイコンを選択したり、画像を閲覧したりすることができる。
以上のように、データ表示/センサ装置100では、曲面状の画像を表示したセンサ内蔵液晶パネル301Aをユーザが指で押すことによって、楕円体が回転したかのような画像が表示される。これにより、ユーザは、楕円体を回転させる感覚で表示をスクロールさせ、アイコンを選択したり、画像を閲覧したりすることができる。
このような表示は、アイコンの選択や球体の表面の画像(例えば地球の表面の広域衛星写真等)の表示等には好適であるが、表示する画像によっては2D表示が好ましい場合もある。そこで、データ表示/センサ装置100では、表示する画像に応じて2D表示と3D表示とを切り換えるようにしている。
ここでは、2Dの地図画像を表示する例について、図16に基づいて説明する。図16は、2Dの地図画像を表示するときの表示画面例を示す図であり、同図(a)は表示/光センサ部300AとBとがずれていない状態の画面例を示し、同図(b)は表示/光センサ部300AをBに対して左斜め上方向にずらしたときの画面例を示し、同図(c)は表示/光センサ部300AとBとの左斜め上方向のずれ量をさらに大きくしたときの画面例を示している。
図示のように、センサ内蔵液晶パネル301A及びBに表示される画像は、何れも2Dの地図画像である。表示する地図が2Dである場合も、3Dの場合と同様に、表示/光センサ部300AとBとのずれ方向及びずれ量に応じたスクロール表示が行われる。
つまり、同図(b)に示すように、表示/光センサ部300AをBに対して左斜め上方向にずらしたときには、元画像から、同図(a)の切り出し位置よりも左斜め上方に移動した切り出し位置で切り出された地図画像がセンサ内蔵液晶パネル301A(表示領域A)に表示される。
また、このときに、表示/光センサ部300AとBとをずらすことによって外部から視認可能となったセンサ内蔵液晶パネル301Bの表示領域(表示領域B)にも、表示領域Aに表示される地図画像と連続する地図画像が表示される。つまり、表示/光センサ部300AとBとをずらしたときには、表示領域A+Bに地図画像が表示される。
そして、同図(c)に示すように、左斜め上方向へのずらし量を増やしたときには、元画像から、同図(b)の切り出し位置よりもさらに左斜め上方に、より大きい移動幅で移動した切り出し位置で切り出された地図画像がセンサ内蔵液晶パネル301A(表示領域A)に表示される。
また、図示のように、ずらし量を増やしたときには、センサ内蔵液晶パネル301Bの表示領域である表示領域Bが拡大するので、センサ内蔵液晶パネル301Bに表示される地図画像は、同図(b)と比べて広い範囲を網羅した画像となっている。
なお、図16の表示を行う処理は、図15の例と同様であるから、ここでは説明を省略する。また、2D表示は、2Dの地図画像を表示する場合のみならず、3D表示の必要がない画像を表示する任意の場合に適用される。
〔コマンドを用いた処理〕
以上の説明では、簡単のためコマンドを用いなかったが、データ表示/センサ装置100では、実際には以下のようにコマンドを用いてずれ量及びずれ方向の検出等の処理が行われる。
以上の説明では、簡単のためコマンドを用いなかったが、データ表示/センサ装置100では、実際には以下のようにコマンドを用いてずれ量及びずれ方向の検出等の処理が行われる。
すなわち、まず、ずれ検出部11は、「データ取得タイミング」フィールドの値を“イベント”、「データ種別」フィールドの値を“全体画像”、「スキャン方式」フィールドの値を“反射”、そして「スキャンパネル」フィールドの値を“第2表示/光センサ部”としたコマンドをデータ処理部700に送信する。
これにより、センサ内蔵液晶パネル301Bで、表示/光センサ部300Aの背面(センサ内蔵液晶パネル301Aが設けられていない側の面)のスキャンが実行され、スキャンした結果として、光センサ回路32からセンサ制御部602を介して得られる画像データの全体が、データ処理部700から取得される。ずれ検出部11は、この画像データに基づいて、表示/光センサ部300AとBとのずれ量及びずれ方向を判断する。なお、この判断手法については、既に説明した通りである。
また、表示制御部12は、以下のようにして画像の表示を行う。すなわち、表示制御部12は、表示の指示を受けた画像データをデータ処理部700に送信すると共に、「表示パネル」フィールドの値として、“第1表示/光センサ部”または“第2表示/光センサ部”を指定したコマンドをデータ処理部700に送信する。これにより、表示/光センサ部300AまたはBに、表示を指示された画像が表示される。
〔変形例〕
上述の実施形態では、表示/光センサ部300A及びBを楕円形状とした例について説明したが、表示/光センサ部300A及びBの形状は、上述の例に限られず、必要に応じて適宜変更することができる。
上述の実施形態では、表示/光センサ部300A及びBを楕円形状とした例について説明したが、表示/光センサ部300A及びBの形状は、上述の例に限られず、必要に応じて適宜変更することができる。
しかしながら、上記実施形態のように、楕円体上にアイコンが配列したメニュー画面を表示する場合には、この表示に合わせて表示/光センサ部300A及びBと、センサ内蔵液晶パネル301A及びBとを楕円形にすることで、ユーザに楕円体を回転させながら操作を行っている感覚をより強く認識させることができるので好ましい。
この観点から、表示/光センサ部300A及びBと、センサ内蔵液晶パネル301A及びBとを円形にして、センサ内蔵液晶パネル301Aに球体状の画像を表示するようにしても、上述の実施形態と同様の効果を奏する。センサ内蔵液晶パネル301Aの形状のみを楕円形または円形とした場合も同様である。
また、上述の実施形態では、表示/光センサ部300A及びBの上面の全面にセンサ内蔵液晶パネル301A及びBを設けた例について説明したが、センサ内蔵液晶パネル301A及びBは、必ずしも表示/光センサ部300A及びBの上面の全面に設けられていなくてもよい。
しかしながら、センサ内蔵液晶パネル301AとBとにまたがって画像を表示する場合には、上記実施形態の構成のごとく、センサ内蔵液晶パネル301A及びBの表示領域が連続して視認されるように、表示/光センサ部300A及びBの端部までセンサ内蔵液晶パネル301A及びBが設けられていることが好ましい。
また、センサ内蔵液晶パネル301Aは、像を検知する機能も有しているので、ジェスチャー入力によって、スクロール表示させるようにしてもよい。つまり、センサ内蔵液晶パネル301Aによって、該センサ内蔵液晶パネル301A上における指等の移動の向き及び移動距離を検知し、検知した向き及び移動距離に基づいて、メニュー画像を切り換えたり、3Dの地図画像をスクロールさせたりすることによっても、上記実施形態と同様の効果を奏する。
ただし、ジェスチャー入力を行う場合には、ユーザは、片手でデータ表示/センサ装置100を保持し、もう一方の手でジェスチャー入力を行うことになる。つまり、この場合は、両手で操作を行うことになる。これに対し、上記実施形態で示した、表示/光センサ部300AとBとをスライドさせる操作は、図9、図10に示すように、片手で行うことができるという利点がある。
また、上述の実施形態では、センサ内蔵液晶パネル301A及びBの両方が画像の表示と像検知とを行うことができる例を示したが、データ表示/センサ装置100は、センサ内蔵液晶パネル301Aへの入力操作を検出し、検出した入力操作に応じて画像の表示を行うことができるようになっていればよく、この例に限られない。
例えば、センサ内蔵液晶パネル301Aがジェスチャー入力を検出する構成とした場合や、スライド機構に表示/光センサ部300AとBとのずれ量及びずれ方向を検出する構成を付加した場合には、センサ内蔵液晶パネル301Bは像検知機能を有していなくてもよい。また、センサ内蔵液晶パネル301Aにタッチパネルとしての機能や、ジェスチャー入力を検出する機能が必要ない場合には、センサ内蔵液晶パネル301Aは像検知機能を有していなくてもよい。
〔参考例:メニュー画面の他の例1〕
データ表示/センサ装置100におけるメインメニューの他の例について、図17に基づいて説明する。図17は、メインメニューの画面例を示す図であり、同図(a)はメインメニューが表示されたときの画面例を示し、同図(b)はメインメニューから1つのアイコンが選択されたときの画面例を示し、同図(c)は選択されたアイコンに対応する機能を実行した後の画面例を示している。
データ表示/センサ装置100におけるメインメニューの他の例について、図17に基づいて説明する。図17は、メインメニューの画面例を示す図であり、同図(a)はメインメニューが表示されたときの画面例を示し、同図(b)はメインメニューから1つのアイコンが選択されたときの画面例を示し、同図(c)は選択されたアイコンに対応する機能を実行した後の画面例を示している。
同図(a)に示すメインメニューの画面例では、センサ内蔵液晶パネル301Aに、各機能に対応するアイコン21’が、センサ内蔵液晶パネル301Aの外周に沿って表示されている。アイコン21’の表示位置は、固定されていてもよいし、経時的に変化するようになっていてもよい。また、ユーザの入力操作でアイコン21’の表示位置を変更できるようになっていてもよい。
同図(a)に示すように、アイコン21’は、それぞれ大きさが異なっている。ここでは、アイコンの表示サイズを、該アイコンに対応する機能の実行頻度に応じて変化させることを想定している。
つまり、データ表示/センサ装置100では、アイコン21’のそれぞれについて、累積選択回数を記憶している。そして、選択された回数の多いアイコンを、他のアイコンと比べてより大きく表示する。これにより、ユーザは、使用頻度の高いアイコンを容易に発見することができる。
また、データ表示/センサ装置100は、図9、図10に示すように、表示/光センサ部300AとBとをずらすために、操作時にセンサ内蔵液晶パネル301A上にユーザの指が触れることになる。このため、指と重なる位置に表示されたアイコンは、ユーザの視認性が低下してしまう。したがって、センサ内蔵液晶パネル301Aでスキャンを行って得た画像から指の位置を検知し、指の位置にはアイコンを表示しないようにすることが好ましい。なお、アイコンの形状、表示位置等は、これらの例に限られず、適宜変更することができる。
ここで、同図(a)の例では、「MAIL」と表示されたアイコン21’が、センサ内蔵液晶パネル301Aの表示画面の中心部分に対して、左上に位置している。この状態において、同図(b)に示すように、表示/光センサ部300Aを、表示/光センサ部300Bに対して、左上方向にずらすことにより、「MAIL」と表示されたアイコン21’を選択候補とすることができるようになっている。
そして、データ表示/センサ装置100は、アイコンが選択候補とされると、選択候補とされたアイコンをユーザが確認できるように、選択候補とされたアイコンの表示態様を変化させる。図示の例では、輝度値を他のアイコンよりも上げることによって、選択候補とされたアイコン21’をユーザに確認させることを想定しているが、選択候補とされたアイコンの表示態様は、この例に限られない。
また、図示の例では、選択候補とされなかったアイコンを、センサ内蔵液晶パネル301Aから、表示/光センサ部300AとBとがずれたことによってユーザが視認可能となったセンサ内蔵液晶パネル301Bに移動していくように表示する。これにより、ユーザは、メニューからアイコンを選択する操作を視覚的に楽しむことができる。
そして、データ表示/センサ装置100では、何れかのアイコンを選択候補として、表示/光センサ部300AとBとを閉じる、すなわち表示/光センサ部300AとBとが完全に重なり合う状態とすることによって、選択候補とされたアイコンに対応する機能を実行するようになっている。
つまり、同図(b)の状態で、表示/光センサ部300AとBとを閉じることによって、「MAIL」と表示されたアイコン21’に対応する機能であるメール機能が実行される。これにより、同図(c)に示すように、センサ内蔵液晶パネル301Aに、メールに関連する画像(図示の例ではメールの文面)が表示されるようになる。
なお、図17には示していないが、実際にメール機能が実行されたときには、まず、メールの送信、受信メールの確認等の項目を含むサブメニューがセンサ内蔵液晶パネル301Aに表示される。そして、ユーザが、サブメニューから受信メールの確認の項目を選択して、受信メールの一覧を表示させ、一覧からメールを選択することによって、同図(c)に示すようなメールの文面が表示される。
ここで、同図(c)の画面例では、メールの文面が表示されていると共に、上向きの矢印と「MENU」の文字とで構成される操作ガイド、左下向きの矢印と「RETURN」の文字とで構成される操作ガイド、及び右下向きの矢印と「NEXT」の文字とで構成される操作ガイドが表示されている。
これらの操作ガイドに従って表示/光センサ部300AとBとをずらすことによって、各操作ガイドに記載の文字列に対応する処理をデータ表示/センサ装置100に実行させることができる。
具体的には、画面左下の操作ガイドに従って表示/光センサ部300AをBに対して左下方向にずらしたときには、「RETURN」に対応する処理、すなわちメールの文面を表示する前に表示されていた画像(メールの一覧)を再度表示させる処理が行われる。
また、画面右下の操作ガイドに従って表示/光センサ部300AをBに対して右下方向にずらしたときには、「NEXT」に対応する処理、すなわちメールの一覧において、現在表示しているメールの文面に対応するメールの次に位置するメールの文面を表示する処理が行われる。
そして、画面上端の操作ガイドに従って表示/光センサ部300AをBに対して上方向にずらしたときには、「MENU」に対応する処理、すなわち表示/光センサ部300AをBに対して上方向にずらすことによって、ユーザが視認可能となったセンサ内蔵液晶パネル301Bに、メインメニューから選択可能な各機能に対応するアイコンを表示させる処理が行われる。
つまり、従来の携帯電話機等では、実行する機能を切り換えるときには、現在実行中の機能を終了し、メインメニューを表示させ、メインメニューから切り換え先の機能を選択するという操作が必要であった。これに対し、図17の例では、ある機能を実行しているときに、その機能を終了することなく、またメインメニュー画面に戻ることなく、機能選択用のメニューを表示させて、表示させたメニューから切り換え先の機能を選択することができる。
〔参考例:メニュー画面の他の例2〕
データ表示/センサ装置100におけるメインメニューのさらに他の例について、図18に基づいて説明する。図18は、メインメニューの画面例を示す図であり、同図(a)はメインメニューが表示されたときの画面例を示し、同図(b)は同図(a)の状態において、表示/光センサ部300AとBとをずらしたときの画面例を示している。
データ表示/センサ装置100におけるメインメニューのさらに他の例について、図18に基づいて説明する。図18は、メインメニューの画面例を示す図であり、同図(a)はメインメニューが表示されたときの画面例を示し、同図(b)は同図(a)の状態において、表示/光センサ部300AとBとをずらしたときの画面例を示している。
同図(a)に示すメインメニューの画面例では、センサ内蔵液晶パネル301Aに、各機能に対応する球状のアイコン21”が表示されている。ここで、表示/光センサ部300Aを同図の右上方向にずらしたときには、同図(b)に示すように、アイコン21”が表示/光センサ部300AとBとをずらした方向に転がった画像が表示される。
このように、本参考例のメインメニューでは、球状のアイコン21”が、画像上において、表示/光センサ部300AをBに対してずらした方向に転がるように表示が行われる。これにより、ユーザは、メインメニューを視覚的に楽しむことができる。
〔付記事項〕
上述では、データ表示/センサ装置100の構成として、データ処理部700や回路制御部600を備える構成について説明したが、この構成に限定されるものではない。例えば、主制御部800が回路制御部600を直接制御し、主制御部800が全体画像データ/部分画像データ/座標データを生成するような構成であってもよい。また、主制御部800が表示/光センサ部300を直接制御するような構成であってもよい。
上述では、データ表示/センサ装置100の構成として、データ処理部700や回路制御部600を備える構成について説明したが、この構成に限定されるものではない。例えば、主制御部800が回路制御部600を直接制御し、主制御部800が全体画像データ/部分画像データ/座標データを生成するような構成であってもよい。また、主制御部800が表示/光センサ部300を直接制御するような構成であってもよい。
最後に、データ表示/センサ装置100の主制御部800、データ処理部700、回路制御部600は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、データ表示/センサ装置100は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示/センサ装置100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示/センサ装置100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、データ表示/センサ装置100を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、様々な電子機器の入力装置として適用することが可能である。特に、携帯型の電子機器の入力装置として適用した場合には、片手で2枚の筐体をスライドさせて入力操作を行うことができるので、携帯電話機、PDA(Personal Digital Assistance)、携帯型ゲーム機等に好適に適用できる。
11 ずれ検出部(検出手段)
14 メニュー表示部(画像表示手段、回転表示手段)
15 ブラウザ制御部(画像表示手段、回転表示手段)
100 データ表示/センサ装置(表示装置)
300 表示/光センサ部
300A 表示/光センサ部(第1板体)
300B 表示/光センサ部(第2板体)
301 センサ内蔵液晶パネル
301A センサ内蔵液晶パネル(表示部)
301B センサ内蔵液晶パネル(第2表示部、像検知部材)
14 メニュー表示部(画像表示手段、回転表示手段)
15 ブラウザ制御部(画像表示手段、回転表示手段)
100 データ表示/センサ装置(表示装置)
300 表示/光センサ部
300A 表示/光センサ部(第1板体)
300B 表示/光センサ部(第2板体)
301 センサ内蔵液晶パネル
301A センサ内蔵液晶パネル(表示部)
301B センサ内蔵液晶パネル(第2表示部、像検知部材)
Claims (6)
- 平面状の表示部と、
球体または楕円体の少なくとも一部を模した曲面状の元画像を上記表示部に投影した画像を表示する画像表示手段と、
上記表示部に対する入力操作を検出する検出手段と、
上記検出手段が入力操作を検出したときに、当該入力操作に対応付けられた方向と平行であって上記球体または楕円体の中心を通る平面を設定し、該平面と垂直であって、上記球体または楕円体の中心を通る直線を軸として回転させた状態の上記元画像が上記表示部に投影された画像を上記画像表示手段に表示させる回転表示手段とを備えていることを特徴とする表示装置。 - 上記表示部は、第1板体上に設けられており、
該第1板体は、上記表示部が設けられている側と反対側の面で、第2板体とスライド可能に重ね合わされており、
上記所定の入力操作は、上記表示部に触れて上記第1板体と第2板体とをスライドさせる操作であり、
上記入力操作に対応付けられた方向は、上記第1板体が、上記第2板体に対してスライドした方向であることを特徴とする請求項1に記載の表示装置。 - 上記第2板体の上記第1板体と対向する側の面には、上記第1板体の像を検知する像検知部材が設けられており、
上記検出手段は、上記像検知部材が検知した上記第1板体の像に基づいて、上記第1板体が上記第2板体に対してスライドした方向を検出することを特徴とする請求項2に記載の表示装置。 - 上記回転表示手段は、上記元画像を回転させることによって、上記表示部の表示領域外となった部分を当該回転の方向の上流側端部に配した画像が、上記表示部に投影された画像を上記画像表示手段に表示させることを特徴とする請求項1から3の何れか1項に記載の表示装置。
- 上記第2板体の上記第1板体と対向する側の面には、第2表示部が設けられており、
上記画像表示手段は、上記元画像において、上記表示部に表示されている画像に隣接する領域を、当該画像と連続するように、上記第2表示部の上記第1板体に覆われていない表示領域に表示することを特徴とする請求項2または3に記載の表示装置。 - 平面状の表示部を備える表示装置の制御方法であって、
球体または楕円体の少なくとも一部を模した曲面状の元画像を上記表示部に投影した画像を表示する画像表示ステップと、
上記表示部に対する入力操作を検出する検出ステップと、
上記検出ステップにて入力操作を検出したときに、当該入力操作に対応付けられた方向と平行であって上記球体または楕円体の中心を通る平面を設定し、該平面と垂直であって、上記球体または楕円体の中心を通る直線を軸として回転させた状態の上記元画像を上記表示部に投影した画像を表示させる回転表示ステップとを含むことを特徴とする表示装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008315746A JP2010140248A (ja) | 2008-12-11 | 2008-12-11 | 表示装置および表示装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008315746A JP2010140248A (ja) | 2008-12-11 | 2008-12-11 | 表示装置および表示装置の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010140248A true JP2010140248A (ja) | 2010-06-24 |
Family
ID=42350345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008315746A Pending JP2010140248A (ja) | 2008-12-11 | 2008-12-11 | 表示装置および表示装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010140248A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150045919A (ko) * | 2013-09-24 | 2015-04-29 | 시아오미 아이엔씨. | 가상 키보드 표시방법, 장치, 단말기, 프로그램 및 기록매체 |
-
2008
- 2008-12-11 JP JP2008315746A patent/JP2010140248A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150045919A (ko) * | 2013-09-24 | 2015-04-29 | 시아오미 아이엔씨. | 가상 키보드 표시방법, 장치, 단말기, 프로그램 및 기록매체 |
KR101652373B1 (ko) | 2013-09-24 | 2016-08-30 | 시아오미 아이엔씨. | 가상 키보드 표시방법, 장치, 단말기, 프로그램 및 기록매체 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10198178B2 (en) | Electronic apparatus with split display areas and split display method | |
JP2010146506A (ja) | 入力装置、入力装置の制御方法、入力装置の制御プログラム、コンピュータ読取可能な記録媒体、および情報端末装置 | |
JP5367339B2 (ja) | メニュー表示装置、メニュー表示装置の制御方法、およびメニュー表示プログラム | |
KR20140046329A (ko) | 멀티 디스플레이 장치 및 그 디스플레이 제어 방법 | |
WO2011102038A1 (ja) | タッチパネル付き表示装置およびその制御方法、並びに制御プログラムおよび記録媒体 | |
JP2010108081A (ja) | メニュー表示装置、メニュー表示装置の制御方法、およびメニュー表示プログラム | |
JP5095574B2 (ja) | 画像表示/像検知装置、画像表示方法、画像表示プログラムおよび当該プログラムを記録した記録媒体 | |
JP2010140300A (ja) | 表示装置、制御方法、制御プログラムおよび記録媒体 | |
JP5526397B2 (ja) | コンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラム | |
JP2010122972A (ja) | 画像表示/検出装置、選択方法、及び、プログラム | |
JP5306780B2 (ja) | 入力装置 | |
JP5185086B2 (ja) | 表示装置、表示装置の制御方法、表示装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2010204945A (ja) | 入力装置、及び入力方法 | |
JP5254753B2 (ja) | 数値入力装置、数値入力方法、数値入力プログラム、およびコンピュータ読み取り可能な記録媒体 | |
JP2010109467A (ja) | 画像表示/像検知装置 | |
JP5275754B2 (ja) | 処理実行指示装置、電子機器、及び処理実行指示装置の制御方法 | |
JP2010122383A (ja) | 表示装置 | |
JP2010140248A (ja) | 表示装置および表示装置の制御方法 | |
JP5259352B2 (ja) | 入力装置および入力装置の制御方法 | |
WO2010050567A1 (ja) | データ送信支援装置、電子機器、及びデータ送信支援装置の制御方法 | |
JP2010108446A (ja) | 情報処理装置、情報処理装置の制御方法、および、情報処理プログラム | |
JP2010062938A (ja) | 画像表示/像検知装置 | |
JP2010117841A (ja) | 像検知装置、入力位置の認識方法、およびプログラム | |
JP2010122444A (ja) | 地図表示装置、地図表示装置の制御方法、地図表示装置制御プログラムおよびコンピュータ読み取り可能な記録媒体 | |
JP5171572B2 (ja) | 画像表示装置、画像表示装置の制御方法、プログラム、および記録媒体 |