JPWO2014003012A1 - 端末装置、表示制御方法およびプログラム - Google Patents

端末装置、表示制御方法およびプログラム Download PDF

Info

Publication number
JPWO2014003012A1
JPWO2014003012A1 JP2014522642A JP2014522642A JPWO2014003012A1 JP WO2014003012 A1 JPWO2014003012 A1 JP WO2014003012A1 JP 2014522642 A JP2014522642 A JP 2014522642A JP 2014522642 A JP2014522642 A JP 2014522642A JP WO2014003012 A1 JPWO2014003012 A1 JP WO2014003012A1
Authority
JP
Japan
Prior art keywords
display unit
display
information
displayed
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014522642A
Other languages
English (en)
Other versions
JP6213467B2 (ja
Inventor
英司 千足
英司 千足
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014003012A1 publication Critical patent/JPWO2014003012A1/ja
Application granted granted Critical
Publication of JP6213467B2 publication Critical patent/JP6213467B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0382—Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

１つの文字データに対して複数の画像データを関連付けて表示する場合の操作性を向上させることができる端末装置を提供する。メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第１表示部と、前記第１表示部の表面側に入力される操作を検知する第１入力部と、前記第１表示部の裏面側に設置され、入力される操作を検知する第２入力部と、前記第２入力部が前記操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する制御部とを備える。

Description

本発明は、端末装置、表示制御方法およびプログラムに関する。
例えば、モニタの両面上のタッチパネルとして、モニタ上に重ねて設けられ、モニタ画面における操作対象のオブジェクトを選択させる第一のタッチパネルと、モニタの裏側に設けられ、選択されたオブジェクトを移動、拡大、または縮小させる第二のタッチパネルとを備え、第一及び第二のタッチパネルの各操作を統合して一つのモニタ画面に表示するタッチパネル付情報端末装置がある（例えば、特許文献１参照）。
また、機器本体の異なる面にそれぞれ配置される一対のタッチパネルを備え、一対のタッチパネルのそれぞれへの入力の組み合わせに応じて表示制御する情報表示装置がある（例えば、特許文献２参照）。
さらに、保持状態に応じてユーザインタフェースを最適化するため、表示部上及び表示部裏面に設けられている２つの操作部を用いて、端末装置の保持状態を検出し、保持状態に応じて、保持している左手又は右手に適切となるようにユーザインタフェースを変更したり、裏面の操作部における表示面全体との対応付けを変更したりする端末装置がある（例えば、特許文献３参照）。
日本特開２０１１−７０６０９号公報 日本特開２００９−２２３４２６号公報 日本特開２０１０−１０８０７１号公報
しかしながら、表示画面の大きさは物理的に決まっているため、表示できる情報量は限られる。複数の画像を重畳して表示部に表示すれば、より多くの情報を表示することができる。このように重畳して表示されている画像のそれぞれを操作したい場合、各画像の操作画面に遷移しなければならず、操作性が悪いという問題があった。また、この画像の操作画面に遷移する方法がわかりにくい場合もあり、不便であった。
本発明は、上記の事情を考慮してなされたものであり、上記の課題を解決することができる端末装置、表示制御方法およびプログラムを提供することを目的とする。
上記課題を解決するため、本発明の端末装置は、メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第１表示部と、前記第１表示部の表面側に入力される操作を検知する第１入力部と、前記第１表示部の裏面側に設置され、入力される操作を検知する第２入力部と、前記第２入力部が前記操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する制御部とを備える。
また、本発明の表示制御方法は、メイン情報を第１表示部の表示画面における上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示し、前記第１表示部の前記表示画面に対して裏面側に設置される第２入力部が入力される操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する。
また、本発明のプログラムは、コンピュータを、メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第１表示部、前記第１表示部の表面側に入力される操作を検知する第１入力部、前記第１表示部の裏面側に設置され、入力される操作を検知する第２入力部、および、前記第２入力部が前記操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する制御部として機能させるためのプログラムである。
本発明は、一の表示画面に重畳して表示されている画像のそれぞれを操作したい場合の操作性を向上させ、直感的で簡単な操作を実現させることができる。
本発明に係る端末装置の一実施形態を示すブロック図である。 本発明に係る端末装置の一実施形態を示すブロック図である。 図１Ａに示した第１表示部、第１入力部及び第２入力部の配置例を説明するための説明図である。 図１Ｂに示した第１表示部、第２表示部、第１入力部及び第２入力部の配置例を説明するための説明図である。 図１Ａに示した端末装置の外観構成例を示した斜視図である。 図１Ｂに示した端末装置の外観構成例を示した斜視図である。 図１Ｂに示した端末装置の外観構成例を示した斜視図である。 図１Ａおよび図１Ｂに示した第１表示部における画像表示例を示した図である。 図１Ａおよび図１Ｂに示した端末装置における処理の流れの一例を示したフローチャートである。 図５に示した画像データのみの切替処理の構成例を示したフローチャートである。 図１Ａおよび図１Ｂに示した第１表示部における画像表示例を示した図である。 本発明に係る端末装置の実施形態の基本構成を示すブロック図である。
以下、図面を参照して本発明に係る端末装置の実施形態について説明する。図１Ａおよび図１Ｂは、本発明の一実施形態としての端末装置の２つの回路構成例を、端末装置１ａ（図１Ａ）及び端末装置１ｂ（図１Ｂ）として表したブロック図である。図１Ａに示した本実施形態の端末装置１ａは、ＣＰＵ（中央処理装置）１０、第１表示部１１、第１入力部１２、第２入力部１３、記憶部１４及び報知部１５を備えている。図１Ｂに示した本実施形態の端末装置１ｂは、端末装置１ａが備える構成に、第２表示部２０を追加したものである。端末装置１ａ及び１ｂは、携帯電話端末、スマートフォン、タブレット端末、電子手帳、電子辞書、パーソナルコンピュータ、その他電子機器として構成することができる。なお、図１Ａおよび図１Ｂは、端末装置１ａ及び１ｂにおいて本発明の特徴に係る構成を示したものである。したがって、端末装置１ａ及び１ｂは、図１Ａおよび図１Ｂに示した構成のほか、カメラ、通信部、音声入出力部等の構成を備えることができる。
ＣＰＵ１０は、バスを介して装置内の各部と接続され、第１表示部１１、第２表示部２０（ただし、端末装置１ｂの場合のみ。以下、同様。）、第１入力部１２、第２入力部１３等の各部を制御する。このＣＰＵ１０は、記憶部１４に格納されているプログラムを実行することで動作する。本実施形態では、端末装置１ａ及び１ｂが、アドレス帳の管理機能や、スケジュール帳の管理機能を有している。アドレス帳の管理機能や、スケジュール帳の管理機能は、ＣＰＵ１０が所定のプログラムを実行することで実現する機能である。ここで、アドレス帳の管理機能は、１又は複数の連絡先を示すデータを登録、編集及び削除可能に記憶する機能である。連絡先を示すデータは、連絡先の氏名や名称、電話番号やメールアドレス等を示す文字データを含んで構成されている。さらに、連絡先を示すデータは、文字データに関連付けて、１又は複数の「画像データを示すデータ」を含むことができる。ここで、画像データは、例えば、端末装置１ａおよび１ｂが有するカメラを使用して撮像した画像ファイルに含まれる画像データや所定の通信等を行って外部から取得した画像ファイルに含まれる画像データである。また、連絡先を示すデータが含む「画像データを示すデータ」とは、画像データを含む画像ファイルのファイル名や画像ファイルの記憶アドレスを示す文字データである。
このように、記憶部１４には、メイン情報と、メイン情報に関連付けられた付属情報が格納されている。本実施形態において、メイン情報は、文字データであって、付属情報は、この文字データに関連付けられた画像データである。
また、スケジュール帳の管理機能は、１又は複数の予定を示すデータを、日付や時刻に対応付けて登録、編集及び削除可能に記憶する機能である。予定を示すデータは、日時、曜日や時刻、予定の内容を示す文字データを含んで構成されている。さらに、予定を示すデータは、文字データに関連付けて、１又は複数の「画像データを示すデータ」を含むことができる。ここで、画像データは、例えば、端末装置１が有するカメラを使用して撮像した画像ファイルに含まれる画像データや所定の通信等を行って外部から取得した画像ファイルに含まれる画像データである。また、予定を示すデータが含む「画像データを示すデータ」とは、画像データを含む画像ファイルのファイル名や画像ファイルの記憶アドレスを示す文字データである。
第１表示部１１及び第２表示部２０は、液晶ディスプレイ、有機ＥＬ（電子蛍光）ディスプレイ等の表示装置である。第１表示部１１及び第２表示部２０は、ＣＰＵ１０から受信した所定の制御信号に応じて画像を表示する。なお、第１表示部１１と第２表示部２０とは、独立して異なる画像を表示することができる。第１表示部１１及び第２表示部２０は２値の白黒表示、多階調（グレースケール）表示、およびカラー表示に対応している。
第１入力部１２は、第１表示部１１の表面側である表示画面に入力される操作を検知する。この第１入力部１２は、タッチセンサ等の接触センサから構成されていて、ユーザの指等が接触した位置を検知する。すなわち、第１入力部１２は、ユーザの指の接触等を利用した所定の入力操作を検知して、検知した結果をＣＰＵ１０に対して出力する。ＣＰＵ１０は、第１入力部１２の検知結果に応じて、ユーザの指の接触を利用した、タッチ（指等で表示画面に軽く触れる入力操作）、ドラッグ（指等で表示画面に触れたままなぞる入力操作）、フリック（指等で表示画面に触れながらはらう入力操作）等の入力操作を認識する。
第２入力部１３は、第１表示部１１の裏面側に設置される第２表示部２０の表示画面に入力される操作を検知する。この第２入力部１３は、タッチセンサ等の接触センサから構成されていて、ユーザの指等が接触した位置を検知する。第２入力部１３は、第１入力部１２とは離れて設置されている。第２入力部１３は、第１入力部１２と同様に、ユーザの指の接触等を利用した所定の入力操作を検知して、検知した結果をＣＰＵ１０に対して出力する。ＣＰＵ１０は、第２入力部１３の検知結果に応じて、ユーザの指の接触を利用した、タッチ、ドラッグ、フリック等の入力操作を認識する。
記憶部１４は、不揮発及び揮発の記憶装置を有して構成されていて、ＣＰＵ１０が実行するプログラムやＣＰＵ１０がプログラムを実行する上で一時的に必要とされるデータを格納する。また、記憶部１４は、アドレス帳管理機能やスケジュール帳管理機能において管理されている、文字データあるいは文字データに対して関連付け対象となる画像データを複数、記憶している。
報知部１５は、ＣＰＵ１０が制御する音響制御部やスピーカから構成されていて、音響制御部を介してスピーカから音響信号を発生する。報知部１５は、デイリーアラームや操作音などを発生する際に使用される。
次に、図２Ａ及び図２Ｂ並びに図３Ａ〜図３Ｃを参照して、図１Ａ及び図１Ｂに示した端末装置１ａ及び端末装置１ｂにおける、第１表示部１１及び第２表示部２０並びに第１入力部１２及び第２入力部１３の配置例について説明する。なお、図２Ａ及び図２Ｂ並びに図３Ａ〜図３Ｃに示した例では、端末装置１ａが一つの筐体１６ａから構成されていて、端末装置１ｂは２つの筐体１６ｂ及び１６ｃから構成されている。
図２Ａは、図１Ａに示した端末装置１ａにおける各部の配置例を示している。また、図２Ｂは、図１Ｂに示した端末装置１ｂの各部の配置例を示している。図２Ａに示した端末装置１ａの配置例では、第１表示部１１が、端末装置１ａの筐体１６ａの表側に配置されている。また、第１入力部１２は第１表示部１１の表面上に形成されたタッチセンサとして構成されている。また、第２入力部１３は、筐体１６ａの裏側に配置されていて、筐体１６ａの裏面上に形成されたタッチセンサとして構成されている。
他方、図２Ｂに示した端末装置１ｂの配置例では、第１表示部１１が、端末装置１ｂの一方の筐体１６ｂの一表面に配置されている。また、第１入力部１２は第１表示部１１の表面上に形成されたタッチセンサとして構成されている。また、第２表示部２０は、端末装置１ｂの他方の筐体１６ｃの一表面に配置されている。また、第２入力部１３は第２表示部２０の表面上に形成されたタッチセンサとして構成されている。
図３Ａは、図１Ａ及び図２Ａに示した端末装置１ａの外観構成例を示している。また、図３Ｂ及び図３Ｃは、図１Ｂ及び図２Ｂに示した端末装置１ｂの外観構成例を示している。ここで、図３Ｂは筐体１６ｂと筐体１６ｃとを閉じた状態、図３Ｃは筐体１６ｂと筐体１６ｃとを開いた状態を示している。
図３Ａに示したように、端末装置１ａでは、筐体１６ａの表側に第１表示部１１と第１入力部１２が配置され、筐体１６ａの裏側に第２入力部１３が配置されている。この場合、第１入力部１２と第２入力部１３とは例えば、互いに対向し、かつ、同一又はほぼ同一の範囲を検知範囲としている。図３Ａに示した構成では、ユーザは、例えば、端末装置１ａを片手で保持し、第１入力部１２と第２入力部１３とに対して保持した片手の互いに異なる指で同時に又は別々に入力操作を行うことができる。
他方、図３Ｂ及び図３Ｃに示したように、端末装置１ｂでは、筐体１６ｂの一方の面に第１表示部１１と第１入力部１２とが配置され、筐体１６ｃの一方の面に第２表示部２０と第２入力部１３とが配置されている。第１入力部１２及び第１表示部１１と第２入力部１３及び第２表示部２０とは、互いに同一又はほぼ同一の大きさの範囲を検知範囲又は表示範囲としている。また、筐体１６ｂと筐体１６ｃはヒンジ１７で組み合わされていて、閉じたり（図３Ｂの状態）、開いたり（図３Ｃの状態）することができる。すなわち、端末装置１ｂは、２つ折り構造を有し、閉じた場合は端末装置１ｂの表側と裏側の両面が表示部及び入力部になる状態、開いた場合は２画面が横並び（あるいは上下並び）の大画面になる。
図３Ｂに示した状態では、ユーザは、例えば、端末装置１ｂを片手で保持し、第１入力部１２と第２入力部１３とに対して保持した片手の互いに異なる指で同時に又は別々に入力操作を行うことができる。また、図３Ｃに示した状態では、ユーザは、例えば、端末装置１ｂを両手で保持し、第１入力部１２に対して保持した片手の指で、また、第２入力部１３に対して保持した他の片手の指で、同時に又は別々に入力操作を行うことができる。
このように、端末装置１ｂは、図３Ｂに示す状態から図３Ｃに示す状態に変形する構成である。言い換えると、端末装置１ｂは、第２表示部２０および第２入力部１３が、第１表示部１１の表面側で第１入力部１２と並べて位置するような状態に変形することができる。
第２表示部２０が第１表示部１１の裏面側に配置された場合、つまり、図３Ｂに示すような状態である場合、ＣＰＵ１０は、第１表示部１１にメイン情報および付属情報を表示させる。
第１表示部１１と第２表示部２０とが並べて配置される状態である場合、つまり、図３Ｃに示すような状態である場合、ＣＰＵ１０は、第１表示部１１にメイン情報を表示させるとともに、第２表示部２０に付属情報を表示させる。
次に、図４及び図５を参照して、図１Ａおよび図１Ｂに示した端末装置１ａおよび１ｂの動作例について説明する。図４は、図２Ａ及び図３Ａ又は図２Ｂ及び図３Ｂに示した第１表示部１１上の表示画像の変化を示している。
図４に示した例では、第１表示部１１上に、アドレス帳の管理機能で管理されている１つ連絡先を示すデータに含まれる文字データ（メイン情報）を表す第１画像１８が表示されている。さらに、第１表示部１１上には、第１画像１８が表す文字データに関連付けられている又は関連付けの候補となる画像データ（付属情報）を表す第２画像１９ａ又は１９ｂが、第１画像１８と重畳して表示されている。この場合、第１画像１８と、第２画像１９ａ又は１９ｂとは、第１画像１８が上の層に、また第２画像１９ａ又は１９ｂが下の層にというように、２層構造を有して重畳表示されている。
また、図４は、画像データを切り替えるための所定の入力操作（本実施形態において、裏側の第２入力部１３に対するフリック操作をいう）を行う前後の第１表示部１１上の２つの表示例を示している。所定の入力操作を行う前の表示画像が中央部の矢印左側の表示例であり、その入力操作を行った後の表示画像が矢印右側の表示例である。所定の入力操作を行う前の表示画像は、第１画像１８と第２画像１９ａとを重畳表示する。また、所定の入力操作を行った後の表示画像は、第１画像１８と第２画像１９ｂとを重畳表示する。
すなわち、図４は、第１画像１８と第２画像１９ａとが重畳表示されている状態で、画像データを切り替えるための所定の入力操作を行うと、第２画像１９ａが第２画像１９ｂに変更され、第１画像１８と第２画像１９ｂとが重畳表示されている状態に切り替わることを示している。
次に、図５を参照して、図４に示した画像データの切替処理の流れについて説明する。図５は、ＣＰＵ１０が実行するアドレス帳管理機能やスケジュール帳管理機能を構成するプログラムの一部の処理の流れを示したフローチャートである。ただし、ここではアドレス帳管理機能を例にして説明する。この場合、図５に示したフローチャートは、ユーザが行う所定の操作に応じてアドレス帳管理機能を構成するプログラムが呼び出された状態で実行されるプログラム（例えば１つのモジュールやサブルーチン）の流れを表している。
さらに、図５に示したフローチャートは、１つの連絡先を示すデータを表示している状態で、第１入力部１２又は第２入力部１３に対してユーザの入力操作が行われた場合（すなわち入力イベントが発生した場合）の処理を示している。１つの連絡先を示すデータの表示は、連絡先データを表示させる際の処理中（以下、表示モードと称する）に行われるものであってもよいし、連絡先のデータが含む文字データに対して関連付けする画像データを新規に登録したりあるいは変更したりする際の処理中（以下、編集モードと称する）に行われるものであってもよい。
まず、ＣＰＵ１０は、図５の処理を呼び出した処理（例えばアドレス帳管理プログラムのメインルーチン）で指示された現在の表示状態が、画像データに対応する第２画像（図４の第２画像１９ａ、１９ｂに対応）を表示するものであるのか否かを判定する（ステップＳ１１）。つまり、ＣＰＵ１０が、複数の画像を重畳して第１表示部１１に表示させている状態であるか（言い換えると、第１表示部１１に表示されている画像が２層構造のデータであるか）否かを判定する。
現在の表示状態が画像データに対応する第２画像を表示するものである場合、ステップＳ１１の判定結果はＹＥＳとなる。他方、現在の表示状態が画像データに対応する第２画像を表示しないものである場合、ステップＳ１１の判定結果はＮＯとなる。
現在の表示状態が画像データに対応する第２画像を表示するものである場合（ステップＳ１１でＹＥＳの場合）、ＣＰＵ１０は、ユーザの入力操作が、表側のフリック操作であるか否か、つまり、第１入力部１２に対する操作であるか否かを判定する（ステップＳ１２）。表側のフリック操作とは、メイン情報に対する操作であって、第１入力部１２に対するフリック操作である。
ユーザの入力操作が表側のフリック操作である場合（ステップＳ１２でＹＥＳの場合）、ＣＰＵ１０は、メイン情報の切り替え、つまり、連絡先データの切り替えを行う（ステップＳ１３）。すなわち、ステップＳ１３では、ＣＰＵ１０がアドレス帳に登録されている次の連絡先データを記憶部１４から呼び出し、呼び出した連絡先データが含む文字データを表す第１画像を表示する。それとともに、ＣＰＵ１０は、その文字データに関連付けられて記憶されている画像データを表す第２画像を、第１画像と重畳して第１表示部１１に表示する。つまり、ＣＰＵ１０は、第１入力部１２が画面切替の操作を検知した場合、第１表示部１１に表示されているメイン情報および付属情報を他のメイン情報および他のメイン情報に関連付けられた付属情報に切り替える。
ただし、アドレス帳に次の連絡先データが登録されていない場合にはＣＰＵ１０は表示画像の切り替えを行わない。ここで、次の連絡先データとは、アドレス帳の他の連絡先データであり、複数の連絡先データの所定の並び順における次の順番の連絡先データである。
なお、ステップＳ１３で呼び出す次の連絡先データが含む文字データに画像データが関連付けられていない場合、ＣＰＵ１０は、第２画像として、関連付けの候補となる画像データや所定の背景画像等を表示させる。ここで、関連付け候補となる画像データは、例えば、記憶部１４内でユーザが指定した所定のフォルダ等に格納されている複数の画像ファイルに含まれている１つの画像データとすることができる。
このように、ステップＳ１３の処理では、次の連絡先データがあり、かつ、次の連絡先データが含む文字データに画像データが関連付けられている場合に、ＣＰＵ１０は、上層の文字データを表す第１画像１８と、下層の画像データを表す第２画像１９ａ又は１９ｂとを同時に切り替える。
他方、ステップＳ１２でＮＯの場合、すなわち、ユーザの入力操作が表側のフリック操作でない場合、ＣＰＵ１０は、ユーザの入力操作が、裏側のフリック操作であるか否か、つまり、第２入力部１３に対する操作であるか否かを判定する（ステップＳ１４）。裏側のフリック操作とは、付属情報に対する操作であって、第２入力部１３に対するフリック操作である。ユーザの入力操作が裏側のフリック操作である場合（ステップＳ１４でＹＥＳの場合）、ＣＰＵ１０は、付属情報の切り替え、つまり、画像データの切り替えを行う（ステップＳ１５）。このステップＳ１５の処理は、表示モードの場合と編集モードの場合とで次のように異なる。
すなわち、表示モードにおいては、ステップＳ１５では、ＣＰＵ１０が第１画像１８として表示中の文字データに関連付けられている次の画像データを記憶部１４から呼び出す。そして、表示中の第１画像１８と、新たに呼び出した画像データを表す第２画像（図４では第２画像１９ｂ）とを重畳して第１表示部１１に表示する。ただし、アドレス帳中に、表示中の文字データに関連付けられた次の画像データが登録されていない場合、ＣＰＵ１０は表示画像の切り替えを行わない。次の画像データとは、表示中の１つの文字データに複数の画像データが関連付けられている場合に、それらの複数の画像データの所定の並び順における次の順番の画像データである。
他方、編集モードにおいては、ステップＳ１５では、ＣＰＵ１０が第１画像１８として表示中の文字データに対して関連付けの対象となる次の画像データを記憶部１４から呼び出す。そして、表示中の第１画像１８と、新たに呼び出した画像データを表す第２画像（図４では第２画像１９ｂ）とを重畳して第１表示部１１に表示する。ここで、関連付け候補となる画像データは、例えば、記憶部１４内でユーザが指定した所定のフォルダ等に格納されている複数の画像ファイルに含まれている１つの画像データとすることができる。ただし、記憶部１４中に、表示中の文字データに対して関連付けの対象となる未表示の画像データが残っていない場合にはＣＰＵ１０は表示画像の切り替えを行わない。
一方、ステップＳ１１でＮＯの場合、ＣＰＵ１０は、ユーザの入力操作が、表側のフリック操作であるか否かを判定する（ステップＳ１６）。ユーザの入力操作が表側のフリック操作である場合（ステップＳ１６でＹＥＳの場合）、ＣＰＵ１０は、メイン情報の切り替え、つまり、連絡先データの切替を行う（ステップＳ１７）。すなわち、ステップＳ１７では、ＣＰＵ１０がアドレス帳に登録されている次の連絡先データを記憶部１４から呼び出し、呼び出した連絡先データが含む文字データを表す第１画像を第１表示部１１に表示する。この場合、第２画像として無地あるいは所定の背景画像等を表示することができる。
他方、ステップＳ１６でＮＯの場合、すなわち、ユーザの入力操作が表側のフリック操作でない場合、ＣＰＵ１０は、表示画像の切り替えを行わない。この場合、第１表示部１１の表示画像は変更されない。
なお、上記の説明ではアドレス帳管理機能で記憶されている文字データと、関連付けられている又は関連付けようとする画像データとを切り替える場合の処理について説明した。しかし、スケジュール帳管理機能においても、ＣＰＵ１０は、図５に示したフローチャートに従って、予定データが含む文字データとその文字データに関連付けてられている又は関連付けようとする画像データの切替を同様に行うことができる。また、第１入力部１２や第２入力部１３に対する入力操作は、上述したようなフリック操作に限定されない。例えば、タッチ操作やドラッグ操作であってもよい。
また、上記の説明では、図２Ａ及び図３Ａを参照して説明した表示部を１つ備える端末装置１ａを対象にして、端末装置の動作を説明した。これに対して、図２Ｂ並びに図３Ｂ及び図３Ｃを参照して説明した表示部を２つ備える端末装置１ｂでは、次のようにして文字データと画像データとの切替処理を行うことができる。
すなわち、端末装置１ｂでは、図３Ｂに示したように筐体１６ｂと筐体１６ｃとを閉じた状態で使用する場合、端末装置１ａと同様にして各画像データを表示することができる。つまり、文字データを表す第１画像１８とそれに関連付けられている又は関連付けようとする画像データを表す第２画像１９ａ又は１９ｂとを、１つの第１表示部１１に重畳表示する。また、第１入力部１２と第２入力部１３に対する入力操作の仕方は、端末装置１ａと同一とすることができる。
他方、図３Ｃに示したように、筐体１６ｂと筐体１６ｃとを開いた状態で使用する場合、端末装置１ｂでは、文字データを表す第１画像を第１表示部１１に表示し、それに関連付けられている又は関連付けようとする画像データを表す第２画像を第２表示部２０に表示する。すなわち、文字データと画像データのそれぞれを表す画像を重畳表示するのではなく、各データを表す画像を別々に異なる表示部（表示画面）に表示するのである。ただし、第１入力部１２に対する入力操作に応じて文字データの切り替えを行い、第２入力部１３に対する入力操作に応じて画像データの切り替えを行う点は、重畳表示する場合と同様である。
２つ折り構造の端末装置１ｂでは、閉じた場合は端末装置１ａと同様の両面（表面と裏面）がタッチセンサの状態となり、開いた場合は２つの表示画面が横並びの大画面となる。端末装置１ｂで、アドレス帳やスケジュール帳などのデータを表示する画面は、閉じた場合は重畳表示となる。他方、開いた場合は文字データを表す画像を左側に表示し、関連付けられている又は関連付けようとする画像データを表す画像を右側に表示することができる。これにより、重なって見づらい表示が同サイズにて見やすい表示となることを実現できる。また、開いた状態から閉じた状態としたときに自動的に画像切り替えの編集状態（すなわち編集モード）に遷移してもよい。すなわち、端末装置１ｂを開いた状態で文字データと（画像データと）を表示中に閉じた状態とした場合、画像データを関連付けるモードに自動的に移行するようにしてもよい。また、裏面に指が当たって誤動作が発生する場合などは、表側の表示に編集ボタン等を配してもよい。すなわち、ＣＰＵ１０は、第１入力部１２の検知結果が所定の入力操作に対応する場合に、第２入力部１３の検知結果に応じて第２画像が表す画像データを変更するようにすることもできる。
以上説明したように本実施形態では、アドレス帳やスケジュール帳などとして管理されるデータの表示画面において、文字データを表す第１画像とともに画像データを表す第２画像を表示する場合、裏側（あるいは右側）の操作（フリック、タッチ等）で下層（あるいは右側）のデータ（画像データ）のみを切り替えることができる。したがって、直感的かつ簡単な操作で、下層の画像を切り替えることが可能となる。更に本実施形態では、表側操作（フリック、タッチ等）で上層（あるいは左側）のデータ（文字データ）と下層（あるいは右側）のデータ（画像データ）とを同時に切り替えることができる。これにより、表側操作（あるいは左側操作）で文字データと画像データとのデータ全体の切り替え、裏側操作（あるいは右側操作）で下層（右側のデータ（画像データ））のみの切り替えが可能となり、文字データの切替と、関連付けられている又は関連付けようとする画像データの選択とを、ほぼ並行して同時に行うことが可能となる。したがって、例えば、編集モードなどで画像データの関連付けを編集する場合に、複数の文字データに対して連続的に画像データの関連付けを編集する操作が容易になる。
なお、端末装置１ｂを開いた状態は、図３Ｃに示したように、２つの表示画面、第１表示部１１と第２表示部２０とが左右に置かれた状態とすることのほか、第１表示部１１と第２表示部２０とが上下に置かれた状態として使用することもできる。この場合、手動で又は姿勢検出を行うセンサを用いて自動で端末装置１ｂの状態を検出し、表示の向きを変更することもできる。
次に、図６を参照して、図５に示した画像データのみの切替処理（Ｓ１５）内の処理の構成例について説明する。この図６に示した処理では、画像データの切り替え時に切り替える画像データを絞り込んで、更に容易な画像データの切り替えを可能としている。ここでは、アドレス帳管理機能を対象として説明を行う。
ＣＰＵ１０は、まず、表示中の文字データに関連付けられている又は関連付けようとする次の画像データが存在するか否かを判定する（ステップＳ２１）。関連付けられている次の画像データがない場合（ステップＳ２１でＮＯの場合）、ＣＰＵ１０は、そのまま処理を終了する。
一方、次の画像データがある場合（ステップＳ２１でＹＥＳの場合）、ＣＰＵ１０は、次の画像データに対して顔認識処理を行う（ステップＳ２２）。次に、ＣＰＵ１０は、顔認識処理の結果、次の画像データで顔画像が認識されたか否かを判定する（ステップＳ２３）。次の画像に顔画像がある場合は（ステップＳ２３でＹＥＳの場合は）、ＣＰＵ１０は、第２画像（すなわち下層画像あるいは右側画像）が表す画像データを次の画像データに切り替える（ステップＳ２４）。そして、ＣＰＵ１０は、処理を終了する。
一方、次の画像データに顔画像がない場合は（ステップＳ２３でＮＯの場合は）、処理がステップＳ２１へ戻り、表示中の文字データに関連付けられている次の画像データがアドレス帳に登録されているか否かを判定する。
図６に示した処理では、ＣＰＵ１０は、第２入力部１３が画面切替の操作を検知した際、第１表示部１１に表示されているメイン情報に関連付けられた付属情報のうち、人間の顔を含む付属情報に切り替えることができる。この場合、メイン情報は、個人を示す情報であることが好ましい。これにより、表示される画像データを顔画像が含まれている画像に絞り込むことができる。したがって、アドレス帳を表示する際には、連絡先の相手の顔を確認したい場合に容易に顔画像を選択することができる。また、アドレス帳を編集あるいは新規に登録する際には、連絡先の文字データに関連付けて登録する画像を、容易に選び出すことができる。
なお、顔画像の有無の判定では、次のような設定を行うこともできる。すなわち、ユーザが指定した特定の顔の有無を判定するようにしてもよい。あるいは、顔が１人分のみの画像の有無を判定するようにしてもよい。あるいは、特定の顔が１人分のみ含まれているか否かを判定するようにしてもよい。
また、図５に示した画像データのみの切替処理（Ｓ１５）内の処理では、次のような絞り込みを行うこともできる。すなわち、ユーザが予め指定した画像をグループ化して登録しておき、そのグループに属する画像のみに限定して画像を切り替えることも可能である。つまり、第２入力部１３に対する操作（フリック、タップ）で画像データを切り替える際に、予めユーザが画像データをグループ化しておいて、指定したグループに属する画像データのみを選択できるようにしてもよい。
つまり、ＣＰＵ１０は、付属情報が属するグループを示すグループ情報が付属情報に付与されている場合、第２入力部１３が画面切替の操作を検知した際、第１表示部１１に表示されているメイン情報に関連付けられた付属情報のうち、指定されたグループに応じて、グループに属する付属情報に切り替えることができる。なお、グループの指定は、予め設定されているものであってもよく、ユーザが指定したものであってもよい。
なお、上記のユーザインタフェースは、アドレス帳管理機能やスケジュール帳管理機能のように、文字データと画像データとからなるデータに限らず、ホーム画面のような表示画像が２層構造を構成する画面でも使用することができる。すなわち、図７に示したように、ホーム画面では、第１表示部１１は、上層画面にアイコン２１やウィジェット２２などが並び、下層画面が壁紙２３ａとなる２層構造で画像が表示される。この場合、裏面操作を行って下層画面を切り替えることができる。すなわち、例えば裏面のフリック操作に応じて、壁紙２３ａを壁紙２３ｂに切り替えることができる。ホーム画面の場合は、例えばユーザがその日の気分で壁紙を変えたい場合があり、裏面操作だけで「簡単に」かつ「直感的に」下層画面の壁紙のみの切り替えが可能となる。
つまり、ＣＰＵ１０は、メイン情報として、決められたプログラムの実行を指示する指標（アイコン２１やウィジェット２２など）を表示させるとともに、付属情報として、壁紙画像を表示させる。
また、下層画面に表示するデータ（画像データ）が端末装置１ａまたは１ｂの画面サイズより大きい場合は、裏面操作で下層画面の切り替えだけでなく、指の動きに合わせた下層画面の移動も可能とすることもできる。また、下層画面に表示するデータ（画像データ）が端末装置１の画面サイズより小さい場合か同サイズの場合も、ピンチアウトを行ってデータ（画像データ）を拡大あるいは縮小し、指の動きに合わせた移動も可能とすることができる。
つまり、ＣＰＵ１０は、第２入力部１３が第１表示部１１に表示されている画像データの表示領域の移動あるいは表示されている画像データの縮小もしくは拡大の操作を検知した場合、第１表示部１１に表示されている画像データ（付属情報）についてのみ表示領域の移動あるいは表示画像の縮小もしくは拡大を行うことができる。
また、上記実施形態では、裏面操作を行うことで下層画面が切り替えられるが、ユーザの意図とは別に裏面に指が当たって誤動作することも考えられる。この誤動作を回避する為、表面（すなわち第１入力部１２）に指を当てた状態で裏面操作（すなわち第２入力部１３に対する操作）をした場合のみ画面を切り替える操作も可能とすることができる。
つまり、ＣＰＵ１０は、第１入力部１２が操作を検知している状態において、第２入力部１３が操作を検知した場合、第１表示部１１に表示されている付属情報を第２入力部１３が検知した操作に応じて処理することができる。
また、上記実施形態では、１つの文字データに複数の画像データが関連付けられている場合に、あるいは、１つの文字データに対する関連付け候補の画像データが複数存在する場合に、１つの文字データと、１つの画像データとを表示するようにしているが、画像データの表示数は複数とすることもできる。すなわち、１つの文字データと、それに関連付けられている又は関連づけしようとする複数の画像データのうちの１つの画像データを上記の実施形態のように重畳して、あるいは複数の表示部（表示画面）に分けて表示するとともに、その画像データの前あるいは後続の画像データを同時に表示することもできる。この場合、画像データの前あるいは後続の画像データは、例えば、サイズを小さくしたり、重畳する場合の輝度や透明度を変更したりして表示することができる。
なお、本発明の実施形態の基本構成は図８のように示すことができる。すなわち、本発明の実施形態としての端末装置１００は、第１表示部１０１、第１入力部１０２、第２入力部１０３及び制御部１０４を備えている。
第１表示部１０１（例えば、実施形態の第１表示部１１に相当する）は、メイン情報を上層に表示するとともに、メイン情報に関連付けられた付属情報をメイン情報の下層に重ねて表示する。
第１入力部１０２（例えば、実施形態の第１入力部１２に相当する）は、第１表示部１０１の表面側に入力される操作を検知する。
第２入力部１０３（例えば、実施形態の第２入力部１３に相当する）は、第１表示部１０１の裏面側に設置され、入力される操作を検知する。
制御部１０４（例えば、実施形態のＣＰＵ１０に相当する）は、第２入力部１０３が操作を検知した場合、第１表示部１０１に表示されている付属情報を第２入力部１０３が検知した操作に応じて処理する。
また、本発明の実施形態は、上記のものに限定されず、例えば図１Ａおよび図１Ｂや図２Ａおよび図２Ｂに示した各ブロックは、分割したり、統合したり、数を増加させたりする変更を適宜行うことができる。また、ＣＰＵ１０が実行するプログラムの一部又は全部は、コンピュータ読み取り可能な記録媒体や通信回線を介して流通させることができる。
なお、本発明の実施形態に係る端末装置１は、内部にコンピュータシステムを有している。そして、動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出し実行して、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ（オペレーティング・システム）、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷ（World Wide Web）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ実行して、上記処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ（Compact Disc）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波を介して他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、上記プログラムは、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
以上、実施形態を参照して本発明を説明したが、本発明は上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解し得る様々な変更を加えることができる。
この出願は、２０１２年６月２９日に出願された日本出願特願２０１２−１４６６６１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は各種の端末装置に適用することができる。本発明は、一の表示画面に重畳して表示されている画像のそれぞれを操作したい場合の操作性を向上させ、直感的で簡単な操作を実現させることができる。
１ａ、１ｂ 端末装置
１０ ＣＰＵ
１１ 第１表示部
１２ 第１入力部
１３ 第２入力部
１４ 記憶部
１５ 報知部
１８ 第１画像
１９ａ、１９ｂ 第２画像
２０ 第２表示部

Claims (10)

  1. メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第１表示部と、
    前記第１表示部の表面側に入力される操作を検知する第１入力部と、
    前記第１表示部の裏面側に設置され、入力される操作を検知する第２入力部と、
    前記第２入力部が前記操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する制御部と
    を備える端末装置。
  2. 前記制御部は、
    前記第２入力部が画面切替の操作を検知した場合、前記第１表示部に表示されている前記付属情報のみを他の付属情報に切り替え、前記第２入力部が表示画像の表示領域の移動あるいは前記表示画像の縮小もしくは拡大の操作を検知した場合、前記第１表示部に表示されている前記付属情報についてのみ前記表示領域の移動あるいは前記表示画像の縮小もしくは拡大を行う請求項１に記載の端末装置。
  3. 前記制御部は、
    前記第１入力部が画面切替の操作を検知した場合、前記第１表示部に表示されている前記メイン情報および前記付属情報を他のメイン情報および前記他のメイン情報に関連付けられた付属情報に切り替える請求項１または２に記載の端末装置。
  4. 前記制御部は、
    前記メイン情報が個人を示す情報である場合、前記第２入力部が画面切替の操作を検知した際、前記第１表示部に表示されている前記メイン情報に関連付けられた付属情報のうち、人間の顔を含む付属情報に切り替える請求項１から３のうちいずれか一項に記載の端末装置。
  5. 前記制御部は、
    前記付属情報が属するグループを示すグループ情報が前記付属情報に付与されている場合、前記第２入力部が画面切替の操作を検知した際、前記第１表示部に表示されている前記メイン情報に関連付けられた付属情報のうち、指定された前記グループに応じて、前記グループに属する付属情報に切り替える請求項１から４のうちいずれか一項に記載の端末装置。
  6. 前記第２入力部に設けられる第２表示部をさらに備え、
    前記第２表示部および前記第２入力部が、前記第１表示部の表面側で前記第１入力部と並べて位置するように前記端末装置が変形する構成である場合、
    前記制御部は、
    前記第１表示部と前記第２表示部とが並べて配置された場合、前記第１表示部に前記メイン情報を表示するとともに、前記第２表示部に前記付属情報を表示し、
    前記第２表示部が前記第１表示部の裏面側に配置された場合、前記第１表示部に前記メイン情報および前記付属情報を表示する請求項１から５のうちいずれか一項に記載の端末装置。
  7. 前記制御部は、
    前記メイン情報として、決められたプログラムの実行を指示する指標を表示させるとともに、前記付属情報として、壁紙画像を表示させる請求項１から６のうちいずれか一項に記載の端末装置。
  8. 前記制御部は、
    前記第１入力部が操作を検知している状態において、前記第２入力部が操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する請求項１から７のうちいずれか一項に記載の端末装置。
  9. メイン情報を第１表示部の表示画面における上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示し、
    前記第１表示部の前記表示画面に対して裏面側に設置される第２入力部が入力される操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する表示制御方法。
  10. コンピュータを、
    メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第１表示部、
    前記第１表示部の表面側に入力される操作を検知する第１入力部、
    前記第１表示部の裏面側に設置され、入力される操作を検知する第２入力部、および、
    前記第２入力部が前記操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する制御部、
    として機能させるためのプログラム。
JP2014522642A 2012-06-29 2013-06-25 端末装置、表示制御方法およびプログラム Active JP6213467B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012146661 2012-06-29
JP2012146661 2012-06-29
PCT/JP2013/067401 WO2014003012A1 (ja) 2012-06-29 2013-06-25 端末装置、表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2014003012A1 true JPWO2014003012A1 (ja) 2016-06-02
JP6213467B2 JP6213467B2 (ja) 2017-10-18

Family

ID=49783156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014522642A Active JP6213467B2 (ja) 2012-06-29 2013-06-25 端末装置、表示制御方法およびプログラム

Country Status (5)

Country Link
US (1) US10394366B2 (ja)
EP (1) EP2869172A4 (ja)
JP (1) JP6213467B2 (ja)
CN (1) CN104335151B (ja)
WO (1) WO2014003012A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102097639B1 (ko) * 2013-11-05 2020-04-06 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN104281349B (zh) * 2014-09-25 2016-11-09 京东方科技集团股份有限公司 双面触控基板、双面触控装置和双面触控显示装置
CN111311489B (zh) * 2020-01-17 2023-07-04 维沃移动通信有限公司 一种图像裁剪方法及电子设备

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293280A (ja) * 1999-04-07 2000-10-20 Sharp Corp 情報入力装置
JP2003198685A (ja) * 2001-12-25 2003-07-11 Kyocera Corp 携帯端末
JP2007220109A (ja) * 2006-02-14 2007-08-30 Internatl Business Mach Corp <Ibm> リバーシブル・ディスプレイ・インターフェース機構のための方法およびシステム
US20090167696A1 (en) * 2007-12-31 2009-07-02 Sony Ericsson Mobile Communications Ab Mobile terminals including multiple user interfaces on different faces thereof configured to be used in tandem and related methods of operation
JP2009187290A (ja) * 2008-02-06 2009-08-20 Yamaha Corp タッチパネル付制御装置およびプログラム
JP2010044533A (ja) * 2008-08-11 2010-02-25 Sony Corp 表示装置、表示方法及びプログラム
US20100056220A1 (en) * 2008-09-03 2010-03-04 Lg Electronics Inc. Mobile terminal and control method thereof
JP2010055599A (ja) * 2008-07-31 2010-03-11 Sony Corp 情報処理装置および方法、並びにプログラム
JP2010140417A (ja) * 2008-12-15 2010-06-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2010146506A (ja) * 2008-12-22 2010-07-01 Sharp Corp 入力装置、入力装置の制御方法、入力装置の制御プログラム、コンピュータ読取可能な記録媒体、および情報端末装置
JP2010182046A (ja) * 2009-02-04 2010-08-19 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20100277439A1 (en) * 2009-04-30 2010-11-04 Motorola, Inc. Dual Sided Transparent Display Module and Portable Electronic Device Incorporating the Same
US20110012921A1 (en) * 2009-07-20 2011-01-20 Motorola, Inc. Electronic Device and Method for Manipulating Graphic User Interface Elements
JP2011036424A (ja) * 2009-08-11 2011-02-24 Sony Computer Entertainment Inc ゲーム装置、ゲーム制御プログラム、及びゲーム制御方法
JP2011070609A (ja) * 2009-09-28 2011-04-07 Fujitsu Ltd タッチパネル付情報端末装置、表示制御方法、および表示制御プログラム
JP2011076233A (ja) * 2009-09-29 2011-04-14 Fujifilm Corp 画像表示装置、画像表示方法およびプログラム
JP2011512056A (ja) * 2007-12-24 2011-04-14 クゥアルコム・インコーポレイテッド ユーザ習性に基づいてワイヤレスデバイス上でのメディアコンテンツの提示を最適化するための方法および装置
JP2011203808A (ja) * 2010-03-24 2011-10-13 Panasonic Corp 携帯情報端末
JP2011221828A (ja) * 2010-04-09 2011-11-04 Sony Computer Entertainment Inc 情報処理装置
US20120081267A1 (en) * 2010-10-01 2012-04-05 Imerj LLC Desktop reveal expansion
JP2012073721A (ja) * 2010-09-28 2012-04-12 Kyocera Corp 携帯端末、プログラム及び表示制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909424B2 (en) * 1999-09-29 2005-06-21 Gateway Inc. Digital information appliance input device
JP4462819B2 (ja) 2002-09-26 2010-05-12 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US20090042619A1 (en) * 2007-08-10 2009-02-12 Pierce Paul M Electronic Device with Morphing User Interface
JP4762262B2 (ja) 2008-03-13 2011-08-31 シャープ株式会社 情報表示装置及び情報表示方法
JP5066055B2 (ja) 2008-10-28 2012-11-07 富士フイルム株式会社 画像表示装置、画像表示方法およびプログラム
US9017164B2 (en) * 2009-08-11 2015-04-28 Sony Corporation Game device provided with touch panel, game control program, and method for controlling game
KR101710545B1 (ko) * 2009-11-05 2017-02-27 엘지전자 주식회사 이동 단말기 및 이를 이용한 정보 제공 방법
CN102012783B (zh) 2010-09-16 2013-02-20 宇龙计算机通信科技(深圳)有限公司 一种终端壁纸的控制方法及终端
US9733665B2 (en) * 2010-10-01 2017-08-15 Z124 Windows position control for phone applications
CN101977255A (zh) 2010-10-27 2011-02-16 深圳桑菲消费通信有限公司 一种双卡手机的操作方法
JP5661547B2 (ja) * 2011-04-26 2015-01-28 京セラ株式会社 携帯端末装置およびプログラム
US8775966B2 (en) * 2011-06-29 2014-07-08 Motorola Mobility Llc Electronic device and method with dual mode rear TouchPad

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293280A (ja) * 1999-04-07 2000-10-20 Sharp Corp 情報入力装置
JP2003198685A (ja) * 2001-12-25 2003-07-11 Kyocera Corp 携帯端末
JP2007220109A (ja) * 2006-02-14 2007-08-30 Internatl Business Mach Corp <Ibm> リバーシブル・ディスプレイ・インターフェース機構のための方法およびシステム
JP2011512056A (ja) * 2007-12-24 2011-04-14 クゥアルコム・インコーポレイテッド ユーザ習性に基づいてワイヤレスデバイス上でのメディアコンテンツの提示を最適化するための方法および装置
US20090167696A1 (en) * 2007-12-31 2009-07-02 Sony Ericsson Mobile Communications Ab Mobile terminals including multiple user interfaces on different faces thereof configured to be used in tandem and related methods of operation
JP2009187290A (ja) * 2008-02-06 2009-08-20 Yamaha Corp タッチパネル付制御装置およびプログラム
JP2010055599A (ja) * 2008-07-31 2010-03-11 Sony Corp 情報処理装置および方法、並びにプログラム
JP2010044533A (ja) * 2008-08-11 2010-02-25 Sony Corp 表示装置、表示方法及びプログラム
US20100056220A1 (en) * 2008-09-03 2010-03-04 Lg Electronics Inc. Mobile terminal and control method thereof
JP2010140417A (ja) * 2008-12-15 2010-06-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2010146506A (ja) * 2008-12-22 2010-07-01 Sharp Corp 入力装置、入力装置の制御方法、入力装置の制御プログラム、コンピュータ読取可能な記録媒体、および情報端末装置
JP2010182046A (ja) * 2009-02-04 2010-08-19 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20100277439A1 (en) * 2009-04-30 2010-11-04 Motorola, Inc. Dual Sided Transparent Display Module and Portable Electronic Device Incorporating the Same
US20110012921A1 (en) * 2009-07-20 2011-01-20 Motorola, Inc. Electronic Device and Method for Manipulating Graphic User Interface Elements
JP2011036424A (ja) * 2009-08-11 2011-02-24 Sony Computer Entertainment Inc ゲーム装置、ゲーム制御プログラム、及びゲーム制御方法
JP2011070609A (ja) * 2009-09-28 2011-04-07 Fujitsu Ltd タッチパネル付情報端末装置、表示制御方法、および表示制御プログラム
JP2011076233A (ja) * 2009-09-29 2011-04-14 Fujifilm Corp 画像表示装置、画像表示方法およびプログラム
JP2011203808A (ja) * 2010-03-24 2011-10-13 Panasonic Corp 携帯情報端末
JP2011221828A (ja) * 2010-04-09 2011-11-04 Sony Computer Entertainment Inc 情報処理装置
JP2012073721A (ja) * 2010-09-28 2012-04-12 Kyocera Corp 携帯端末、プログラム及び表示制御方法
US20120081267A1 (en) * 2010-10-01 2012-04-05 Imerj LLC Desktop reveal expansion

Also Published As

Publication number Publication date
CN104335151B (zh) 2018-10-26
WO2014003012A1 (ja) 2014-01-03
EP2869172A1 (en) 2015-05-06
US10394366B2 (en) 2019-08-27
EP2869172A4 (en) 2015-12-02
CN104335151A (zh) 2015-02-04
JP6213467B2 (ja) 2017-10-18
US20150160775A1 (en) 2015-06-11

Similar Documents

Publication Publication Date Title
US8739053B2 (en) Electronic device capable of transferring object between two display units and controlling method thereof
JP5606686B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102060155B1 (ko) 양면 디스플레이를 사용하는 전자장치의 멀티태스킹 제어 방법 및 장치
US8786562B2 (en) Mobile electronic device, control method, and storage medium storing control program
US20100088654A1 (en) Electronic device having a state aware touchscreen
JP5883745B2 (ja) 携帯端末、カーソル位置制御プログラムおよびカーソル位置制御方法
WO2020192428A1 (zh) 对象管理方法及移动终端
JP5160337B2 (ja) 入力処理装置、入力処理方法、入力処理プログラム、及び携帯端末装置
CA2681778A1 (en) Multi-touch motion simulation using a non-touchscreen computer input device
JP5777645B2 (ja) 携帯端末機の文字入力方法及びこれをサポートする携帯端末機
WO2020259033A1 (zh) 文件管理方法及终端
KR102234400B1 (ko) 컨텐츠의 순서 또는 위치를 변경하는 전자 장치 및 방법
WO2014157357A1 (ja) 情報端末、表示制御方法及びそのプログラム
JP5594652B2 (ja) 携帯情報端末及びそのキー配置変更方法
KR20140089224A (ko) 터치 입력에 기초하여 동작을 실행하는 디바이스 및 동작 실행 방법
KR20140106801A (ko) 시각 장애인들을 위한 휴대 단말기의 음성 서비스 지원 방법 및 장치
WO2013176242A1 (ja) タッチ検出機能を有する電子機器、プログラムおよびタッチ検出機能を有する電子機器の制御方法
KR20150007889A (ko) 어플리케이션 운용 방법 및 그 전자 장치
JP6115470B2 (ja) 携帯型電子機器、タッチ操作処理方法およびプログラム
US9417724B2 (en) Electronic apparatus
JPWO2014141548A1 (ja) 表示制御
JP6213467B2 (ja) 端末装置、表示制御方法およびプログラム
JP2013225841A (ja) 電子装置の多機能提供方法及び装置
US20150042589A1 (en) Method and electronic device for wireless connection
CN111831196B (zh) 折叠屏幕的控制方法、终端设备以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170904

R150 Certificate of patent or registration of utility model

Ref document number: 6213467

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150