JP7213696B2 - Display control device, information display system, display control method and program - Google Patents
Display control device, information display system, display control method and program Download PDFInfo
- Publication number
- JP7213696B2 JP7213696B2 JP2019006540A JP2019006540A JP7213696B2 JP 7213696 B2 JP7213696 B2 JP 7213696B2 JP 2019006540 A JP2019006540 A JP 2019006540A JP 2019006540 A JP2019006540 A JP 2019006540A JP 7213696 B2 JP7213696 B2 JP 7213696B2
- Authority
- JP
- Japan
- Prior art keywords
- item
- display
- selection
- fingerprint
- finger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
- Telephone Function (AREA)
- Collating Specific Patterns (AREA)
Description
本発明は、表示制御装置、情報表示システム、表示制御方法及びプログラムに関する。 The present invention relates to a display control device, an information display system, a display control method and a program.
画像の表示及び触れた指の位置の検知のみならず、触れた指の指紋の検知も可能なタッチパネルディスプレイを利用して、操作性に優れたユーザインタフェースを実現する技術が知られている。特許文献１には、タッチパネルディスプレイにより検知された指紋を操作と対応付けることができるモバイルコンピュータが開示されている。当該モバイルコンピュータによれば、ユーザの指ごとに操作を対応付けることができるので、ユーザは操作する指を切り替えることにより様々な操作をすることができる。そのため、当該モバイルコンピュータにより、操作性に優れたユーザインタフェースを実現できる。 2. Description of the Related Art A technology is known that realizes a user interface with excellent operability by using a touch panel display capable of not only displaying an image and detecting the position of a finger that touches it, but also detecting the fingerprint of the finger that touches it. Patent Literature 1 discloses a mobile computer that can associate a fingerprint detected by a touch panel display with an operation. According to the mobile computer, each finger of the user can be associated with an operation, so that the user can perform various operations by switching the fingers to be operated. Therefore, the mobile computer can realize a user interface with excellent operability.
特許文献１のモバイルコンピュータには、指紋と操作とを対応付ける登録作業をユーザが行う必要があるという問題がある。そのため、特許文献１のモバイルコンピュータは、利便性が十分でない。 The mobile computer of Patent Literature 1 has a problem that the user needs to perform registration work to associate fingerprints with operations. Therefore, the mobile computer of Patent Document 1 is not convenient enough.
本発明の目的は、上記の事情に鑑み、操作性及び利便性に優れたユーザインタフェースを実現する表示制御装置などを提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide a display control device and the like that realize a user interface with excellent operability and convenience in view of the above circumstances.
上記の目的を達成するため、本発明に係る表示制御装置は、画像を表示し、指が触れた位置と触れた指の指紋とを検知するタッチパネルディスプレイから、ユーザの指が触れた位置を示す位置情報と前記ユーザの指の指紋を示す指紋情報とを取得する指情報取得手段と、前記タッチパネルディスプレイに表示すべき項目である表示項目を決定する表示項目決定手段と、前記表示項目を含む画像の構成である画像構成を決定する画像構成決定手段と、前記画像構成に基づく画像を前記タッチパネルディスプレイに表示させる表示制御手段と、前記位置情報と前記画像構成とに基づいて、前記表示項目のうち前記ユーザの指により選択された項目である選択項目を特定する選択項目特定手段と、前記指紋情報と前記選択項目とに基づいて、前記ユーザにより選択された項目の履歴である選択履歴を指紋ごとに関連付けて保存する履歴保存手段と、を備える。前記表示項目決定手段は、前記選択項目特定手段により前記選択項目が特定されたときは、前記選択項目に対応付けられた項目を前記表示項目として決定し、前記画像構成決定手段は、前記指紋情報に対応する前記選択履歴に基づいて前記画像構成を決定する。 In order to achieve the above object, a display control device according to the present invention displays an image and indicates the position touched by a user's finger from a touch panel display that detects the position touched by the finger and the fingerprint of the touched finger. finger information acquisition means for acquiring position information and fingerprint information indicating the fingerprint of the user's finger; display item determination means for determining display items to be displayed on the touch panel display; and an image including the display items. display control means for displaying an image based on the image configuration on the touch panel display; and based on the position information and the image configuration, among the display items, a selection item identifying means for identifying a selection item that is an item selected by the user's finger; and a selection history that is a history of items selected by the user based on the fingerprint information and the selection item for each fingerprint. and history storage means for storing in association with . When the selection item is specified by the selection item specification means, the display item determination means determines the item associated with the selection item as the display item, and the image configuration determination means determines the fingerprint information. and determining the image configuration based on the selection history corresponding to .
本発明によれば、指紋ごとに選択履歴を保存し、かつ、表示項目を含む画像の構成である画像構成を、取得された指紋情報に対応する選択履歴に基づいて決定する。そのため、本発明によれば、ユーザが指紋と操作とを対応付ける登録作業を行う必要がないため利便性に優れ、かつ、指紋ごとに選択履歴に基づく画像構成が決定されるため操作性にも優れたユーザインタフェースを実現できる。 According to the present invention, a selection history is stored for each fingerprint, and an image configuration, which is an image configuration including display items, is determined based on the selection history corresponding to the acquired fingerprint information. Therefore, according to the present invention, there is no need for the user to perform registration work for associating fingerprints with operations, so convenience is excellent, and since the image configuration is determined based on the selection history for each fingerprint, operability is also excellent. A user interface can be realized.
以下、図面を参照しながら、本発明に係る情報表示システムを端末装置等に適用した実施の形態を説明する。各図面においては、同一又は同等の部分に同一の符号を付す。 Hereinafter, embodiments in which an information display system according to the present invention is applied to a terminal device or the like will be described with reference to the drawings. In each drawing, the same code|symbol is attached|subjected to the same or equivalent part.
（実施の形態１）
図１を参照しながら、実施の形態１に係る端末装置１を説明する。端末装置１は、ネットワークＮＴを介してエアコン２を遠隔操作するための端末装置である。端末装置１は、例えばエアコン２を遠隔操作するためのプログラムがインストールされた携帯電話、タブレット端末などである。ネットワークＮＴは、例えばインターネットである。
(Embodiment 1)
A terminal device 1 according to Embodiment 1 will be described with reference to FIG. The terminal device 1 is a terminal device for remotely controlling the air conditioner 2 via the network NT. The terminal device 1 is, for example, a mobile phone, a tablet terminal, or the like in which a program for remotely controlling the air conditioner 2 is installed. Network NT is, for example, the Internet.
端末装置１は、タッチパネル１１を制御しエアコン２と通信する制御装置１０と、画像を表示し、指が触れた位置と触れた指の指紋とを検知するタッチパネルディスプレイであるタッチパネル１１とを備える。端末装置１は、エアコン２を遠隔操作するためのユーザインタフェースをユーザに提供する。後述のとおり、端末装置１によって操作性及び利便性に優れたユーザインタフェースを提供できる。端末装置１は、本発明に係る情報表示システムの一例である。
The terminal device 1 includes a
制御装置１０は、タッチパネル１１に触れた指の接触位置を示す位置情報と当該指の指紋を示す指紋情報とを含む指情報をタッチパネル１１から取得する。制御装置１０は、タッチパネル１１を制御してタッチパネル１１に画像を表示させる。制御装置１０は、インターネットＮＴを介してエアコン２と通信し、エアコン２を制御する。制御装置１０の機能的構成については後述する。制御装置１０は、本発明に係る表示制御装置の一例である。
The
タッチパネル１１は、指が触れた位置と当該指の指紋とを検知する。タッチパネル１１は、当該指が触れた位置を示す位置情報と当該指の指紋を示す指紋情報とを含む指情報を制御装置１０に出力する。タッチパネル１１は、制御装置１０の制御に基づいて画像を表示する。タッチパネル１１は、例えば指紋の凹凸による静電容量の変化を検知可能な静電容量式のタッチパネルディスプレイである。タッチパネル１１は、本発明に係るタッチパネルディスプレイの一例である。
The
次に、理解を容易にするため、図２及び図３を参照しながら、端末装置１のタッチパネル１１に表示される画像の変化の一例を説明する。図２及び図３に示される各画像には、ユーザのタッチ操作により選択可能な項目が表示されている。また、図２及び図３は、ユーザのタッチ操作により選択された項目に応じて画像が変化することを示している。図２及び図３においては、手のアイコンがタッチ操作された位置を示し、矢印がタッチ操作による画像の変化を示す。
Next, in order to facilitate understanding, an example of a change in an image displayed on the
以下の説明では、図２に示される操作が行われるより以前には、ユーザは端末装置１を操作したことがないものとし、図３に示される操作は、図２に示される操作が行われた直後に行われるものとする。「直後」とは、図２に示される操作が行われた後に他の操作が行われていないことをいう。また、図３に示される操作は、図２に示される操作にて使用された指と同一の指により行われるものとする。 In the following explanation, it is assumed that the user has not operated the terminal device 1 before the operation shown in FIG. 2 is performed, and the operation shown in FIG. shall be performed immediately after “Immediately after” means that other operations are not performed after the operation shown in FIG. 2 is performed. Also, the operation shown in FIG. 3 is assumed to be performed with the same finger as the finger used in the operation shown in FIG.
図２では、ユーザが「エアコン一覧」、「エアコンＺ」、「運転モード」、「暖房」の順に項目を選択し、項目を選択するごとに画像が変化することが示されている。なお、「暖房」の項目を選択すると、エアコン２の運転モードを「暖房」にする制御が行われ、再び「エアコン一覧」の項目を示す画像が表示される。 FIG. 2 shows that the user selects items in the order of "air conditioner list", "air conditioner Z", "operating mode", and "heating", and the image changes each time an item is selected. When the item "heating" is selected, the operation mode of the air conditioner 2 is controlled to be "heating", and the image showing the item "list of air conditioners" is displayed again.
図３でも、ユーザが「エアコン一覧」、「エアコンＺ」、「運転モード」の順に項目を選択し、最後に「暖房」、「冷房」、「除湿」及び「送風」の４項目を含む画像が表示されている。ただし、図３では、「エアコン一覧」が表示されている最初の画像を除き、項目の表示順が図２と異なっている。これは、直近の操作、つまり図２に示される操作にて選択された項目が一番上に表示されているからである。直近の操作により選択された項目を表示順に反映することにより、ユーザは直近に選択した項目を選択しやすくなる。 Also in FIG. 3, the user selects items in order of "air conditioner list", "air conditioner Z", and "operating mode", and finally an image including four items of "heating", "cooling", "dehumidification", and "ventilation". is displayed. However, in FIG. 3, the display order of the items is different from that in FIG. This is because the item selected by the most recent operation, that is, the operation shown in FIG. 2 is displayed at the top. Reflecting the items selected by the most recent operation in the display order makes it easier for the user to select the most recently selected item.
なお、ユーザが図２に示される操作を行った後、図２に示される操作を行った指とは異なる指にて「エアコン一覧」の項目を選択した場合には、表示される画像は図２に示されるものと同様となる。つまり、図２に示される操作にて使用された指と異なる指にて操作される場合、図２に示される操作にて選択された項目が表示順に反映されない。そのため、ユーザは、指を使い分けることにより様々な項目を選択しやすくなる。例えば、エアコンＺの運転モードを暖房に設定する操作を右手の人差し指で行い、エアコンＸのタイマーを設定する操作を左手の親指で行うことにより、エアコンＺの運転モードを暖房に設定する場合、エアコンＸのタイマーを設定する場合のいずれの場合にも、項目の選択が容易となる。 After the user performs the operation shown in FIG. 2, when the user selects the item "air conditioner list" with a finger different from the finger that performed the operation shown in FIG. 2 is similar to that shown in FIG. That is, when the finger used for the operation shown in FIG. 2 is operated with a finger different from that used for the operation shown in FIG. 2, the items selected by the operation shown in FIG. 2 are not reflected in the display order. Therefore, the user can easily select various items by using different fingers. For example, when setting the operation mode of the air conditioner Z to heating by performing an operation to set the operation mode of the air conditioner Z to heating with the index finger of the right hand and performing an operation to set the timer of the air conditioner X with the thumb of the left hand, the operation mode of the air conditioner Z is set to heating. In any case of setting X timers, selection of items is facilitated.
上記の説明では、直近に選択された項目が表示順に反映されるものとしたが、例えば各項目の選択回数を表示順に反映してもよい。例えば、最も選択回数の多い項目を一番上に表示し、最も選択回数の少ない項目を一番下に表示してもよい。 In the above description, the most recently selected items are reflected in the order of display, but for example, the number of times each item was selected may be reflected in the order of display. For example, the most frequently selected item may be displayed at the top, and the least selected item may be displayed at the bottom.
また、表示順を変更するのではなく、例えば項目が表示される領域の大きさを変更してもよい。例えば、図４に示すように、直近に選択された項目を大きく表示し、その他の項目を小さく表示してもよい。また、直近に選択された項目ではなく各項目の選択回数を領域の大きさに反映してもよい。 Also, instead of changing the display order, for example, the size of the area in which the items are displayed may be changed. For example, as shown in FIG. 4, the most recently selected item may be displayed large and other items may be displayed small. Also, the number of selections of each item may be reflected in the size of the area instead of the most recently selected item.
以下の説明では、特段の断りがない限り、タッチ操作は同一の指で行われるものとする。また、特段の断りがない限り、直近に選択された項目が項目の表示順に反映されるものとし、項目が表示される領域の大きさに変化はないものとする。 In the following description, touch operations are performed with the same finger unless otherwise specified. Also, unless otherwise specified, the most recently selected item is reflected in the display order of the items, and the size of the area in which the items are displayed does not change.
以上の説明をまとめると、端末装置１によれば、直近のユーザの操作により選択された項目が、次の操作における項目の表示順に反映される。また、表示順の反映は指ごとに別々である。 To summarize the above description, according to the terminal device 1, the item selected by the most recent user operation is reflected in the display order of the items in the next operation. Also, the display order is reflected differently for each finger.
次に、再び図１を参照しながら、制御装置１０の機能的構成を説明する。制御装置１０は、制御装置１０を統括制御する制御部１００と、項目対応データ１１１と指紋テーブル１１２と選択履歴テーブル１１３とを保存する記憶部１１０と、ネットワークＮＴを介してエアコン２と通信する通信部１２０とを備える。
Next, the functional configuration of the
制御部１００は、指情報を取得する指情報取得部１０１と、タッチパネル１１に表示すべき項目である表示項目を決定する表示項目決定部１０２と、表示項目を含む画像の構成である画像構成を決定する画像構成決定部１０３と、画像構成に基づく画像をタッチパネル１１に表示させる表示制御部１０４と、表示項目のうちユーザの指により選択された項目である選択項目を特定する選択項目特定部１０５と、指紋情報に対応する指紋ＩＤを取得する指紋ＩＤ取得部１０６と、ユーザにより選択された項目の履歴である選択履歴を指紋ごとに保存する履歴保存部１０７と、を備える。
The
指情報取得部１０１は、タッチパネル１１に触れた指の接触位置を示す位置情報と当該指の指紋を示す指紋情報とを含む指情報をタッチパネル１１から取得する。位置情報は、例えばＸＹ座標系にて表現されたタッチパネル１１上の接触位置を示す情報である。指紋情報は、例えば指紋の画像を示す情報である。指情報取得部１０１は、本発明に係る指情報取得手段の一例である。
The finger
表示項目決定部１０２は、タッチパネル１１に表示すべき項目である表示項目を決定する。タッチパネル１１に初期画面を表示すべきとき、表示項目決定部１０２は初期画面に表示すべき表示項目である初期表示項目を決定する。図２に示される一連の画像の変化を例に説明すると、表示項目決定部１０２は、「エアコン一覧」の項目を表示項目として決定する。ユーザにより項目が選択され、後述の選択項目特定部１０５により当該項目が選択項目として特定されたとき、表示項目決定部１０２は記憶部１１０に保存された項目対応データ１１１を参照し、当該選択項目に対応付けられた項目を表示項目として決定する。図２に示される一連の画像の変化を例に説明すると、ユーザが「運転モード」の項目を選択したとき、「運転モード」の項目が選択項目特定部１０５により選択項目として特定され、「運転モード」の項目に対応付けられた「冷房」、「除湿」、「暖房」及び「送風」の４項目が表示項目として決定される。表示項目決定部１０２は、本発明に係る表示項目決定手段の一例である。
The display
項目対応データ１１１の詳細を、図５を参照しながら説明する。各項目は、例えば図５に示すような木構造のデータ形式により表現される項目対応データ１１１によって対応付けられている。ルートに位置する「エアコン一覧」の項目が初期表示項目となる。図５の矢印は、矢印の根元の項目が選択項目となったときに矢印の先の項目が表示項目となることを示す。したがって、図５によれば、例えば、「運転モード」の項目が「冷房」、「除湿」、「暖房」及び「送風」の４項目と対応付けられており、「運転モード」が選択項目として特定されたときには「冷房」、「除湿」、「暖房」及び「送風」の４項目が表示項目として決定されることとなる。
Details of the
なお、図５では、「冷房」、「除湿」、「暖房」、「送風」など木構造の末端の項目（以下、末端項目という）には、さらに対応付けられている項目が存在しない。詳細は後述するが、末端項目が選択項目として特定されたとき、制御部１００は当該選択項目に応じてエアコン２を制御し、表示項目決定部１０２は、「エアコン一覧」の項目を初期表示項目として決定する。
Note that in FIG. 5, there are no further items associated with terminal items (hereinafter referred to as terminal items) of the tree structure such as "cooling", "dehumidifying", "heating", and "ventilation". Although the details will be described later, when a terminal item is specified as a selection item, the
再び図１を参照する。画像構成決定部１０３は、記憶部１１０に保存された選択履歴テーブル１１３を参照し、指紋情報に対応する選択履歴に基づいて、表示項目を含む画像の構成である画像構成を決定する。選択履歴の詳細は後述する。画像構成決定部１０３は、選択履歴に基づいて、表示項目のうち直近に選択された項目、各表示項目の選択回数などを特定することができる。したがって、画像構成決定部１０３は、直近に選択された項目、選択回数などに基づいて画像構成を決定することができる。画像構成により、表示項目を画像内のどの領域に表示すべきかが定められる。表示項目を表示すべき領域が画像構成によって定められることにより、例えば図３あるいは図４に示すような、ユーザの直近の操作が反映された表示が実現される。画像構成決定部１０３は、本発明に係る画像構成決定手段の一例である。
Refer to FIG. 1 again. The image
なお、選択履歴テーブル１１３の参照について、より詳細には、画像構成決定部１０３は、指紋ＩＤ取得部１０６により指紋情報に対応する指紋ＩＤを取得し、当該指紋ＩＤに対応する選択履歴に基づいて画像構成を決定することとなる。指紋ＩＤ及び指紋ＩＤ取得部１０６の詳細は後述する。
Regarding the reference to the selection history table 113, more specifically, the image
表示制御部１０４は、画像構成決定部１０３により決定された画像構成に基づいて画像を作成し、当該画像をタッチパネル１１に表示させる。表示制御部１０４は、本発明に係る表示制御手段の一例である。
The
選択項目特定部１０５は、指情報取得部１０１により取得された指情報に含まれる位置情報と画像構成決定部１０３により決定された画像構成とに基づいて、タッチパネル１１に表示された表示項目のうちユーザの指により選択された項目である選択項目を特定する。選択項目特定部１０５は、位置情報と画像構成とを照合することにより、タッチパネル１１に触れたユーザの指の接触位置が、表示項目が表示された領域に含まれるか否かを判定できる。したがって、選択項目特定部１０５は、ユーザの指により選択された表示項目を特定できる。選択項目特定部１０５は、本発明に係る選択項目特定手段の一例である。
The selection
なお、ピンチ操作によるズーム、フリック操作によるスクロールなど表示項目の選択以外の操作によりタッチパネル１１に表示される表示項目の領域が変わった場合には、選択項目特定部１０５は、当該ズーム、スクロールなどによる画像の変化を考慮して選択項目を特定することが好ましい。
When the area of the display items displayed on the
指紋ＩＤ取得部１０６は、記憶部１１０に保存された指紋テーブル１１２を参照して、指情報取得部１０１により取得された指紋情報に対応する指紋ＩＤを取得する。具体的には、指紋情報に対応する指紋データが指紋テーブル１１２に存在するときは、当該指紋データに関連付けられた指紋ＩＤを取得する。指紋情報に対応する指紋データが指紋テーブル１１２に存在しないときは、指紋情報に基づいて指紋データを作成し、作成した指紋データを新規の指紋ＩＤと関連付けて指紋テーブル１１２に保存し、当該新規の指紋ＩＤを指紋ＩＤとして取得する。「指紋情報に対応する指紋データ」とは、指紋情報が示す指紋と同一の指紋を示す指紋データのことをいう。「指紋情報に対応する指紋ＩＤ」とは、指紋情報が示す指紋と同一の指紋に関連付けられた指紋ＩＤのことをいう。
Fingerprint
図６に示す指紋テーブル１１２の一例を参照しながら、指紋データ及び指紋ＩＤを詳細に説明する。指紋テーブル１１２には、指紋ＩＤと指紋データとが関連付けて保存される。指紋データとは、指紋情報に基づいて作成される、指紋に関するデータである。図６の例では、指紋情報が示す指紋画像のデータを指紋データとしているが、例えば指紋情報に基づいて得られる特徴量を指紋データとしてもよい。指紋ＩＤとは、指紋データを一意に識別するために指紋データと関連付けられた識別子（Identifier）である。指紋ＩＤを指紋データと関連付けることにより、指紋ＩＤと指紋とが関連付けられる。 The fingerprint data and fingerprint ID will be described in detail with reference to an example of the fingerprint table 112 shown in FIG. The fingerprint table 112 stores fingerprint IDs and fingerprint data in association with each other. Fingerprint data is data related to fingerprints created based on fingerprint information. In the example of FIG. 6, the data of the fingerprint image indicated by the fingerprint information is used as the fingerprint data, but for example, the feature amount obtained based on the fingerprint information may be used as the fingerprint data. A fingerprint ID is an identifier associated with fingerprint data to uniquely identify the fingerprint data. Associating the fingerprint ID with the fingerprint data associates the fingerprint ID with the fingerprint.
図６の例において、指紋ＩＤ取得部１０６は、指情報取得部１０１により取得された指紋情報が示す指紋画像と、指紋テーブル１１２に保存された指紋データが示す指紋画像とを照合し、指紋情報が示す指紋と同一の指紋を示す指紋データが存在するか否かを判定する。指紋情報が示す指紋と同一の指紋を示す指紋データが存在する場合、当該指紋データに対応する指紋ＩＤを取得する。指紋情報が示す指紋と同一の指紋を示す指紋データが存在しない場合、指紋情報が示す指紋画像に基づいて指紋データを作成し、当該指紋データを新規の指紋ＩＤと関連付けて指紋テーブル１１２に保存する。
In the example of FIG. 6, the fingerprint
履歴保存部１０７は、指紋ＩＤ取得部１０６により取得された指紋ＩＤと、選択項目特定部１０５により特定された選択項目とを関連付けて、記憶部１１０に保存された選択履歴テーブル１１３に追加する。指紋ＩＤと選択項目とを関連付けて選択履歴テーブル１１３に追加することにより、履歴保存部１０７は、ユーザにより選択された項目の履歴である選択履歴を指紋ごとに保存することができる。履歴保存部１０７は、本発明に係る履歴保存手段の一例である。
図７に示す選択履歴テーブル１１３の一例を示しながら、選択履歴を詳細に説明する。選択履歴テーブル１１３には、指紋ＩＤごとに、ユーザにより選択された項目が時系列的に保存される。図７の例は、図２に示す操作が行われた直後の選択履歴テーブル１１３の一例を示すものであり、指紋ＩＤがａａａのユーザが、直近に「エアコン一覧」、「エアコンＺ」、「運転モード」、「暖房」の順に項目を選択していることを示す。このような選択履歴テーブル１１３により、表示項目のうち直近に選択された項目、各表示項目の選択回数などを指紋ごとに特定することができる。 The selection history will be described in detail while showing an example of the selection history table 113 shown in FIG. The selection history table 113 chronologically stores items selected by the user for each fingerprint ID. The example of FIG. 7 shows an example of the selection history table 113 immediately after the operation shown in FIG. 2 is performed. This indicates that the items are selected in the order of "operation mode" and "heating". With such a selection history table 113, it is possible to identify, for each fingerprint, the most recently selected item among display items, the number of times each display item was selected, and the like.
上記の各機能部による機能のほか、制御部１００は、選択項目特定部１０５により特定された選択項目が末端項目であるとき、当該末端項目に基づき、通信部１２０を介してエアコン２を制御する機能を有する。
In addition to the functions of the functional units described above, when the selection item specified by the selection
以上、制御装置１０の機能的構成を説明した。次に、制御装置１０のハードウェア構成の一例を、図８を参照しながら説明する。図８に示す制御装置１０は、例えばパーソナルコンピュータ、マイクロコントローラなどのコンピュータにより実現される。
The functional configuration of the
制御装置１０は、バス１０００を介して互いに接続された、プロセッサ１００１と、メモリ１００２と、インタフェース１００３と、二次記憶装置１００４と、を備える。
The
プロセッサ１００１は、例えばCPU（Central Processing Unit: 中央演算装置）である。プロセッサ１００１が、二次記憶装置１００４に記憶された動作プログラムをメモリ１００２に読み込んで実行することにより、制御装置１０の各機能が実現される。
The
メモリ１００２は、例えば、RAM（Random Access Memory）により構成される主記憶装置である。メモリ１００２は、プロセッサ１００１が二次記憶装置１００４から読み込んだ動作プログラムを記憶する。また、メモリ１００２は、プロセッサ１００１が動作プログラムを実行する際のワークメモリとして機能する。
The
インタフェース１００３は、例えばシリアルポート、USB（Universal Serial Bus）ポート、ネットワークインタフェースなどのI/O（Input/Output）インタフェースである。インタフェース１００３により通信部１２０の機能が実現される。また、インタフェース１００３にタッチパネル１１が接続されることにより、制御装置１０はタッチパネル１１を制御できる。
The
二次記憶装置１００４は、例えば、フラッシュメモリ、HDD（Hard Disk Drive）、SSD（Solid State Drive）である。二次記憶装置１００４は、プロセッサ１００１が実行する動作プログラムを記憶する。二次記憶装置１００４により、記憶部１１０の機能が実現される。
The
次に、図９を参照しながら、制御装置１０による表示制御の動作の一例を説明する。また、適宜、図３、図５及び図７を参照しながら、具体例を交えて説明する。具体例においては、項目対応データ１１１が図５に示すものであり、選択履歴テーブル１１３が図７に示すものであり、操作に用いられる指の指紋に対応する指紋ＩＤがａａａであり、直近に選択された項目が一番上に表示されるものとする。図９に示す動作は、例えば端末装置１にインストールされた遠隔操作用のプログラムをユーザが起動したときに開始される。
Next, an example of display control operation by the
制御装置１０の制御部１００は、表示項目決定部１０２により初期表示項目を決定し、画像構成決定部１０３により初期表示項目を含む画像構成を決定する（ステップＳ１０１）。例えば、項目対応データ１１１が図５に示すものの場合、「エアコン一覧」の項目が初期表示項目として決定される。
The
制御部１００の表示制御部１０４は、ステップＳ１０１にて決定された画像構成に基づいて画像を作成し、当該画像をタッチパネル１１に表示させる（ステップＳ１０２）。例えば、図３に示す例において、表示項目が「エアコン一覧」であるとき、当該「エアコン一覧」の項目を含む画像をタッチパネル１１に表示させる。同様に、表示項目が「エアコンＸ」、「エアコンＹ」及び「エアコンＺ」であるとき、当該「エアコンＸ」、「エアコンＹ」及び「エアコンＺ」の項目を含む画像をタッチパネル１１に表示させる。
The
ユーザの操作により指がタッチパネル１１に触れたとき、制御部１００の指情報取得部１０１は、指が触れた位置を示す位置情報と当該指の指紋を示す指紋情報とを含む指情報をタッチパネル１１から取得する（ステップＳ１０３）。
When a user's finger touches the
制御部１００の選択項目特定部１０５は、ステップＳ１０３にて取得された指情報に含まれる位置情報とステップＳ１０１にて決定された画像構成とに基づいて、ユーザの操作が項目の選択操作か否かを判定する（ステップＳ１０４）。
The selection
ユーザの操作が項目の選択操作でなかったとき（ステップＳ１０４：Ｎｏ）、制御部１００はステップＳ１０２からの動作の流れを繰り返す。なお、ステップＳ１０２まで戻るのは、ユーザの操作がピンチ操作によるズーム、フリック操作によるスクロールなど、タッチパネル１１に表示される画像を変化させる操作である場合が想定されるからである。
When the user's operation is not an item selection operation (step S104: No), the
ユーザの操作が項目の選択操作であるとき（ステップＳ１０４：Ｙｅｓ）、選択項目特定部１０５は、位置情報と画像構成とに基づいて、ユーザにより選択された表示項目である選択項目を特定する（ステップＳ１０５）。例えば、図３に示す例において、「エアコン一覧」の項目がユーザの指によりタッチされたときは、当該「エアコン一覧」の項目を選択項目として特定する。
When the user's operation is an item selection operation (step S104: Yes), the selection
制御部１００は、指紋ＩＤ取得部１０６及び履歴保存部１０７により、選択履歴を保存する（ステップＳ１０６）。選択履歴の保存の動作の詳細は後述する。
The
制御部１００は、ステップＳ１０５にて特定された選択項目が末端項目であるか否かを判定する（ステップＳ１０７）。
The
選択項目が末端項目であるとき（ステップＳ１０７：Ｙｅｓ）、制御部１００は、選択項目に基づいてエアコン２を制御し（ステップＳ１０８）、ステップＳ１０１からの動作の流れを繰り返す。例えば、項目対応データ１１１が図５に示すものである場合において、「暖房」の項目が選択項目として特定されたとき、当該「暖房」の項目は末端項目であるため、当該操作によりエアコン２の運転モードを「暖房」に変更する制御が行われ、その後に初期表示項目である「エアコン一覧」の項目を含む画像がタッチパネル１１に表示される。
When the selection item is the terminal item (step S107: Yes), the
選択項目が末端項目ではないとき（ステップＳ１０７：Ｎｏ）、表示項目決定部１０２は、選択項目に対応付けられた項目を表示項目として決定する（ステップＳ１０９）。例えば、項目対応データ１１１が図５に示すものである場合において、選択項目が「運転モード」の項目であるとき、「運転モード」の項目に対応付けられた「冷房」、「除湿」、「暖房」及び「送風」の４項目が表示項目として決定される。
When the selected item is not the terminal item (step S107: No), the display
画像構成決定部１０３は、記憶部１１０に保存された選択履歴テーブル１１３を参照し、ステップＳ１０９にて決定された表示項目と、ステップＳ１０３にて取得された指情報に含まれる指紋情報に対応する選択履歴とに基づいて、画像構成を決定する（ステップＳ１１０）。例えば、選択履歴テーブル１１３が図７に示すものである場合において、表示項目が「エアコンＸ」、「エアコンＹ」及び「エアコンＺ」の項目である場合について説明する。これらの項目のうち直近に選択された項目が「エアコンＺ」の項目であることが選択履歴テーブル１１３から特定されるので、図３に示すような、「エアコンＺ」の項目が一番上に表示された画像を作成するための画像構成が決定される。
The image
その後、制御部１００は、ステップＳ１０２からの動作の流れを繰り返す。
After that, the
次に、図９のステップＳ１０６にて示された選択履歴の保存の動作の一例を、図１０を参照しながら詳細に説明する。 Next, an example of the selection history saving operation shown in step S106 of FIG. 9 will be described in detail with reference to FIG.
指紋ＩＤ取得部１０６は、指情報取得部１０１により取得された指紋情報に対応する指紋データが、記憶部１１０に保存された指紋テーブル１１２に存在するか否かを判定する（ステップＳ１０６１）。
Fingerprint
指紋情報に対応する指紋データが存在するとき（ステップＳ１０６１：Ｙｅｓ）、指紋ＩＤ取得部１０６は、当該指紋データに対応する指紋ＩＤを、当該指紋情報に対応する指紋ＩＤとして取得する（ステップＳ１０６２）。
When fingerprint data corresponding to the fingerprint information exists (step S1061: Yes), the fingerprint
指紋情報に対応する指紋データが存在しないとき（ステップＳ１０６１：Ｎｏ）、指紋ＩＤ取得部１０６は、当該指紋情報に基づく指紋データを作成し、作成した指紋データを新規の指紋ＩＤと関連付けて指紋テーブル１１２に追加し、当該新規の指紋ＩＤを指紋ＩＤとして取得する（ステップＳ１０６３）。
When fingerprint data corresponding to the fingerprint information does not exist (step S1061: No), the fingerprint
履歴保存部１０７は、ステップＳ１０６２又はステップＳ１０６３にて取得された指紋ＩＤと、選択項目特定部１０５により特定された選択項目とを関連付けて選択履歴テーブル１１３に追加する（ステップＳ１０６４）。その後、制御部１００は、選択履歴の保存の動作を終了し、図９のステップＳ１０７以降の動作を実行する。
The
以上、実施の形態１に係る端末装置１を説明した。端末装置１によれば、指紋ごとに選択履歴を保存し、かつ、表示項目を含む画像の構成である画像構成を、取得された指紋情報に対応する選択履歴に基づいて決定する。そのため、端末装置１によれば、ユーザが指紋と操作とを対応付ける登録作業を行う必要がないため利便性に優れ、かつ、指紋ごとに選択履歴に基づく画像構成が決定されるため操作性にも優れたユーザインタフェースを実現できる。 The terminal device 1 according to the first embodiment has been described above. According to the terminal device 1, a selection history is stored for each fingerprint, and an image configuration, which is an image configuration including display items, is determined based on the selection history corresponding to the acquired fingerprint information. Therefore, according to the terminal device 1, it is not necessary for the user to perform registration work for associating fingerprints with operations, which is excellent in terms of convenience. An excellent user interface can be realized.
例えば、図３に示す例のように、直近の操作により選択された項目を表示順に反映することにより、登録作業を要することなく、ユーザは直近に選択した項目を選択しやすくなる。また、この場合において、ユーザは、指を使い分けることにより様々な項目を選択しやすくなる。また、端末装置１が複数のユーザに利用される場合にも、ユーザごとの登録作業を要することなく、各ユーザの指ごとに、直近の操作により選択された項目が表示順に反映される。そのため、各ユーザが、直近に選択した項目を選択しやすくなる。 For example, as in the example shown in FIG. 3, by reflecting the items selected by the most recent operation in the display order, the user can easily select the most recently selected item without requiring registration work. Also, in this case, the user can easily select various items by using different fingers. Also, even when the terminal device 1 is used by a plurality of users, the items selected by the most recent operation are reflected in the order of display for each user's finger without requiring registration work for each user. Therefore, each user can easily select the most recently selected item.
また、端末装置１によれば、複雑な操作を簡単化することもできる。例えば、端末装置１によれば、多数の表示項目のうちの直近に選択した項目を判別して選択することを複数回繰り返す操作を、単に同一の位置に表示される項目を連続して選択するだけの簡単な操作とすることができる。特に、表示項目が１画面内に収まりきらず、スクロール操作、フリック操作などにより表示しきれていない表示項目を選択する必要が生じてしまう場合に、操作が格段に簡単となる。 Further, according to the terminal device 1, complicated operations can be simplified. For example, according to the terminal device 1, the operation of determining and selecting the most recently selected item among a large number of display items is repeated multiple times, simply by continuously selecting items displayed at the same position. It can be a simple operation. In particular, when the display items do not fit in one screen and it is necessary to select the display items that cannot be displayed by scroll operation, flick operation, or the like, the operation is greatly simplified.
また、端末装置１によれば、ユーザが複雑なコマンドを覚えることなく操作を簡単化することができる。例えば、ユーザは、最も操作を行いやすい指のみを使うことにより、特段なにも覚えることなく操作を簡単化することができる。また、例えば、エアコンＸの操作とエアコンＹの操作とを指を使い分けることにより簡単化したい場合、ユーザは、エアコンＸの操作に使用する指及びエアコンＹの操作に使用する指のみを覚えていればよい。 Moreover, according to the terminal device 1, the user can simplify the operation without memorizing complicated commands. For example, the user can simplify the operation without memorizing anything by using only the fingers that are the easiest to operate. Further, for example, if the user wishes to simplify the operation of the air conditioner X and the air conditioner Y by using different fingers, the user only needs to remember which finger is used to operate the air conditioner X and which finger is used to operate the air conditioner Y. Just do it.
（実施の形態２）
図１１を参照しながら、実施の形態２に係る端末装置１Ａを説明する。実施の形態２は、実施の形態１の場合に加えてさらに、項目の自動選択操作を実現する。以下、実施の形態１と共通する点の説明は省略する。
(Embodiment 2)
A
端末装置１Ａについては、制御装置１０Ａが実施の形態１の制御装置１０と異なる。制御装置１０Ａについては、制御部１００Ａが実施の形態１の制御部１００と異なる。制御部１００Ａについては、予め定められた自動選択条件を満たす項目を抽出して新たな選択項目として特定する自動選択部１０８Ａをさらに備える点が実施の形態１と異なる。自動選択部１０８Ａの詳細は後述する。端末装置１Ａは、本発明に係る情報表示システムの一例である。制御装置１０Ａは、本発明に係る表示制御装置の一例である。
As for the
理解を容易にするため、図１２を参照しながら、端末装置１Ａのタッチパネル１１に表示される画像の変化の一例を説明する。この説明において、図１２に示される操作が行われるより以前に、「エアコン一覧」、「エアコンＺ」、「運転モード」、「暖房」の各項目を順に選択する操作が同一の指にて直近に連続して３セット繰り返されているものとする。この場合、選択履歴テーブル１１３は、例えば図１３に示すものとなる。
For easy understanding, an example of a change in an image displayed on the
上記の操作を３セット繰り返したあと、ユーザが再び同一の指で「エアコン一覧」の項目を選択すると、図１２に示すように、「エアコン一覧」の次に表示されるべき項目及びさらにその次に表示されるべき項目が表示されずに「暖房」、「冷房」、「除湿」及び「送風」の各末端項目を含む画像がタッチパネル１１に表示される。これは、「エアコン一覧」の項目の選択後、「エアコンＺ」の項目及び「運転モード」の項目が自動選択されたからである。例えば、選択項目と対応付けられた項目のうち、末端項目でなくかつ同一の項目を直近に３回連続で選択されたことを自動選択条件として予め定めることにより、このような動作を実現できる。
After repeating the above operation for three sets, when the user again selects the item "list of air conditioners" with the same finger, as shown in FIG. The
このような動作により、例えばユーザは、エアコンＺの運転モードを暖房に設定するときには常に特定の指を使用することにより、エアコンＺの運転モードを暖房に設定する際の操作を簡略化できる。 With such an operation, for example, the user can simplify the operation when setting the operation mode of the air conditioner Z to heating by always using a specific finger when setting the operation mode of the air conditioner Z to heating.
なお、「エアコン一覧」、「エアコンＺ」の項目の順に選択する操作は直近に３回連続で行われているが、「エアコンＺ」の次以降の項目については同一の項目が連続して選択されていない場合には、「エアコンＺ」の選択までが自動で行われる。 It should be noted that the operation of selecting the items "air conditioner list" and "air conditioner Z" in this order has been performed three times in a row most recently, but for the items after "air conditioner Z", the same item has been continuously selected. If not, the process up to the selection of "air conditioner Z" is automatically performed.
次に、再び図１１を参照しながら、自動選択部１０８Ａを説明する。自動選択部１０８Ａは、選択項目特定部１０５により特定された選択項目と対応付けられた項目を抽出する。自動選択部１０８Ａは、選択履歴テーブル１１３に含まれる、指情報取得部１０１により取得された指紋情報に対応する選択履歴を参照し、抽出した各項目のうち予め定められた自動選択条件を満たす項目を抽出し、抽出した項目を新たな選択項目として特定する。自動選択部１０８Ａは、自動選択部１０８Ａ自身により特定された選択項目に対しても同様の処理を実行する。以上を換言すると、自動選択部１０８Ａは、選択項目に対応付けられた項目のうち予め定められた自動選択条件を満たす項目を指紋情報と選択履歴とに基づいて抽出し、抽出した項目を新たな選択項目として特定するものである。自動選択部１０８Ａは、本発明に係る自動選択手段の一例である。
Next, the
次に、図１４及び図１５を参照しながら、制御装置１０Ａによる表示制御の動作の一例及び自動選択の動作の一例を説明する。図１４に示す動作は、図９に示す実施の形態１の場合と比べて、ステップＳ１０６とステップＳ１０７との間で、ステップＳ２００にて示される自動選択の動作が実行される点が異なる。以下、図１５を参照しながら、自動選択の動作の一例を説明する。
Next, an example of the display control operation and an example of the automatic selection operation by the
制御装置１０Ａの制御部１００Ａの自動選択部１０８Ａは、選択項目が末端項目か否かを判定する（ステップＳ２００１）。
The
選択項目が末端項目であるとき（ステップＳ２００１：Ｙｅｓ）、制御部１００Ａは、自動選択の動作を終了し、図１４に示すステップＳ１０７以降の動作を実行する。
When the selected item is the terminal item (step S2001: Yes), the
選択項目が末端項目ではないとき（ステップＳ２００１：Ｎｏ）、自動選択部１０８Ａは、項目対応データ１１１を参照して、当該選択項目に対応付けられた項目を抽出する（ステップＳ２００２）。
When the selected item is not the terminal item (step S2001: No), the
自動選択部１０８Ａは、指紋情報に対応する選択履歴を参照して、ステップＳ２００２にて抽出された各項目が予め定められた自動選択条件を満たすか否かを判定する（ステップＳ２００３）。
The
自動選択部１０８Ａは、ステップＳ２００３による判定の結果に基づき、自動選択条件を満たす項目があるか否かを判定する（ステップＳ２００４）。
The
自動選択条件を満たす項目がないとき（ステップＳ２００４：Ｎｏ）、制御部１００Ａは、自動選択の動作を終了し、図１４に示すステップＳ１０７以降の動作を実行する。
自動選択条件を満たす項目があるとき（ステップＳ２００４：Ｙｅｓ）、自動選択部１０８Ａは、当該項目を新たな選択項目として特定し、ステップＳ２００１からの動作の流れを繰り返す。
When there is no item that satisfies the automatic selection condition (step S2004: No), the
When there is an item that satisfies the automatic selection condition (step S2004: Yes), the
以上、実施の形態２に係る端末装置１Ａを説明した。端末装置１Ａによれば、指紋情報と選択履歴とに基づいて、自動選択条件を満たす項目を新たな選択項目として特定する。そのため、端末装置１Ａによれば、項目の選択操作を自動化できるので、ユーザ操作の簡略化を実現でき、操作性及び利便性に優れる。
The
（実施の形態３）
図１６を参照しながら、実施の形態３に係る遠隔操作システム１Ｂを説明する。図１６に示す各構成のうち、実施の形態１と同様の機能を有する構成には同一の名称及び同一の符号を付し、説明を省略する。遠隔操作システム１Ｂは、端末装置３Ｂの操作によりクラウドサーバ４Ｂを介してエアコン２を遠隔操作するためのシステムである。遠隔操作システム１Ｂは、本発明に係る情報表示システムの一例である。
(Embodiment 3)
A
遠隔操作システム１Ｂは、実施の形態１の制御装置１０の制御部１００の各機能部が、端末装置３Ｂとクラウドサーバ４Ｂとに分離して設けられていることを特徴とする。
The
端末装置３Ｂは、タッチパネル１１と制御部３００Ｂと通信部３１０Ｂとを備える。
通信部３１０Ｂは、ネットワークＮＴを介してクラウドサーバ４Ｂと通信する。制御部３００Ｂは、指情報取得部１０１と表示制御部１０４とを備える。
The
The
クラウドサーバ４Ｂは、制御部４００Ｂと記憶部１１０と通信部４１０Ｂとを備える。通信部４１０Ｂは、ネットワークＮＴを介して端末装置３Ｂ及びエアコン２と通信する。制御部４００Ｂは、表示項目決定部１０２と画像構成決定部１０３と選択項目特定部１０５と指紋ＩＤ取得部１０６と履歴保存部１０７とを備える。
The
制御部３００Ｂ及び制御部４００Ｂは、通信部３１０Ｂ及び通信部４１０Ｂを介して、制御部３００Ｂ及び制御部４００Ｂが必要とする情報を互いに送受信する。互いに送受信することにより、制御部３００Ｂ及び制御部４００Ｂが協働して、実施の形態１の制御部１００と同様の機能を実現できる。
The control unit 300B and the
遠隔操作システム１Ｂは、上記の構成により、実施の形態１の端末装置１と同様の動作が実現でき、実施の形態１の端末装置１と同様の効果を得ることができる。
With the configuration described above, the
（変形例）
上記の実施の形態の説明では、タッチ操作により項目を選択するユーザインタフェースを例示したが、例えば図１７に示すような、ドラムロール式のユーザインタフェースであってもよい。図１７において、手のアイコンに矢印が付されているものは、タッチ操作ではなく矢印方向へのフリック操作を表す。図１７は、設定温度の選択の際、初期状態では「２２．０℃」の項目が中央に表示されていることを示している。ユーザは、当該項目を下方向にフリック操作することにより項目を下方向にスクロールすることができる。図１７は、フリック操作により「２３．５℃」の項目が中央に表示された後、タッチ操作により「２３．５℃」の項目が選択されていることを示している。そして、図１７は、再び設定温度を設定する際には、直近に選択した「２３．５℃」の項目が初めから中央に表示されていることを示している。
(Modification)
In the description of the above embodiments, a user interface for selecting items by touch operation was exemplified, but a drum roll type user interface as shown in FIG. 17, for example, may be used. In FIG. 17, the hand icon with an arrow indicates a flick operation in the direction of the arrow instead of a touch operation. FIG. 17 shows that when selecting the set temperature, the item "22.0° C." is displayed in the center in the initial state. The user can scroll the item downward by flicking the item downward. FIG. 17 shows that after the item "23.5° C." is displayed in the center by the flick operation, the item "23.5° C." is selected by the touch operation. FIG. 17 shows that when setting the set temperature again, the most recently selected item "23.5° C." is displayed in the center from the beginning.
このような動作を実現するため、画像構成決定部１０３は、ユーザの操作による変化も考慮した画像構成を決定する。例えば、画像構成には、初期状態では表示されずフリック操作により初めて表示される項目についての情報も含むことにより、このような動作を実現することができる。
In order to realize such an operation, the image
上記の実施の形態では、エアコン２の遠隔操作を例示したが、エアコン２の遠隔操作以外にも本発明は適用可能である。例えば、通信機能を有さないデジタル歩数計にも本発明は適用可能である。 Although remote control of the air conditioner 2 has been exemplified in the above embodiment, the present invention can be applied to other than the remote control of the air conditioner 2 . For example, the present invention can also be applied to digital pedometers that do not have communication functions.
実施の形態３にて、実施の形態１の制御部１００の各機能部が端末装置３Ｂの制御部３００Ｂとクラウドサーバ４Ｂの制御部４００Ｂとに分離されて設けられていることを説明した。各機能部の分離は、実施の形態３に示された例に限られない。例えば、制御部４００Ｂではなく制御部３００Ｂが画像構成決定部１０３と選択項目特定部１０５とを備えてもよい。また、例えば、端末装置３Ｂにも記憶部を設け、クラウドサーバ４Ｂの記憶部１１０ではなく端末装置３Ｂの記憶部に項目対応データ１１１を保存し、制御部４００Ｂではなく制御部３００Ｂが表示項目決定部１０２を備えてもよい。
In the third embodiment, it has been explained that each functional unit of the
図８に示すハードウェア構成においては、制御装置１０が二次記憶装置１００４を備えている。しかし、これに限らず、二次記憶装置１００４を制御装置１０の外部に設け、インタフェース１００３を介して制御装置１０と二次記憶装置１００４とが接続される形態としてもよい。この形態においては、USBフラッシュドライブ、メモリカードなどのリムーバブルメディアも二次記憶装置１００４として使用可能である。
In the hardware configuration shown in FIG. 8, the
また、図８に示すハードウェア構成に代えて、ASIC（Application Specific Integrated Circuit: 特定用途向け集積回路）、FPGA（Field Programmable Gate Array）などを用いた専用回路により制御装置１０を構成してもよい。また、図８に示すハードウェア構成において、制御装置１０の機能の一部を、例えばインタフェース１００３に接続された専用回路により実現してもよい。
Further, instead of the hardware configuration shown in FIG. 8, the
１，１Ａ 端末装置、１Ｂ 遠隔操作システム、２ エアコン、３Ｂ 端末装置、４Ｂ クラウドサーバ、１０，１０Ａ 制御装置、１１ タッチパネル、１００，１００Ａ 制御部、１０１ 指情報取得部、１０２ 表示項目決定部、１０３ 画像構成決定部、１０４ 表示制御部、１０５ 選択項目特定部、１０６ 指紋ＩＤ取得部、１０７ 履歴保存部、１０８Ａ 自動選択部、１１０ 記憶部、１１１ 項目対応データ、１１２ 指紋テーブル、１１３ 選択履歴テーブル、１２０ 通信部、３００Ｂ 制御部、３１０Ｂ 通信部、４００Ｂ 制御部、４１０Ｂ 通信部、１０００ バス、１００１ プロセッサ、１００２ メモリ、１００３ インタフェース、１００４ 二次記憶装置、ＮＴ ネットワーク。
Claims (7)
前記タッチパネルディスプレイに表示すべき項目である表示項目を決定する表示項目決定手段と、
前記表示項目を含む画像の構成である画像構成を決定する画像構成決定手段と、
前記画像構成に基づく画像を前記タッチパネルディスプレイに表示させる表示制御手段と、
前記位置情報と前記画像構成とに基づいて、前記表示項目のうち前記ユーザの指により選択された項目である選択項目を特定する選択項目特定手段と、
前記指紋情報と前記選択項目とに基づいて、前記ユーザにより選択された項目の履歴である選択履歴を指紋ごとに関連付けて保存する履歴保存手段と、
を備え、
前記表示項目決定手段は、前記選択項目特定手段により前記選択項目が特定されたときは、前記選択項目に対応付けられた項目を前記表示項目として決定し、
前記画像構成決定手段は、前記指紋情報に対応する前記選択履歴に基づいて前記画像構成を決定する、
表示制御装置。 Acquiring position information indicating the position touched by the user's finger and fingerprint information indicating the fingerprint of the user's finger from a touch panel display that displays an image and detects the position touched by the finger and the fingerprint of the touched finger. finger information acquisition means;
display item determination means for determining display items to be displayed on the touch panel display;
image configuration determination means for determining an image configuration that is a configuration of an image including the display items;
display control means for displaying an image based on the image configuration on the touch panel display;
selection item identification means for identifying a selection item selected by the user's finger from among the display items, based on the position information and the image configuration;
history storage means for storing a selection history, which is a history of items selected by the user based on the fingerprint information and the selection items, in association with each fingerprint;
with
When the selection item is specified by the selection item specification means, the display item determination means determines the item associated with the selection item as the display item;
The image configuration determining means determines the image configuration based on the selection history corresponding to the fingerprint information.
Display controller.
請求項１に記載の表示制御装置。 The image configuration determining means determines an area in which the display items are displayed based on the selection history.
The display control device according to claim 1.
請求項１又は２に記載の表示制御装置。 The image configuration determining means determines the display order of the display items based on the selection history.
The display control device according to claim 1 or 2.
請求項１から３のいずれか１項に記載の表示制御装置。 Automatic selection means for extracting an item that satisfies a predetermined automatic selection condition among the items associated with the selection item based on the fingerprint information and the selection history, and specifying the extracted item as a new selection item. further comprising
The display control device according to any one of claims 1 to 3.
前記タッチパネルディスプレイに触れたユーザの指の位置を示す位置情報と前記ユーザの指の指紋を示す指紋情報とを取得する指情報取得手段と、
前記タッチパネルディスプレイに表示すべき項目である表示項目を決定する表示項目決定手段と、
前記表示項目を含む画像の構成である画像構成を決定する画像構成決定手段と、
前記画像構成に基づく画像を前記タッチパネルディスプレイに表示させる表示制御手段と、
前記位置情報と前記画像構成とに基づいて、前記表示項目のうち前記ユーザの指により選択された項目である選択項目を特定する選択項目特定手段と、
前記指紋情報と前記選択項目とに基づいて、前記ユーザにより選択された項目の履歴である選択履歴を指紋ごとに関連付けて保存する履歴保存手段と、
を備え、
前記表示項目決定手段は、前記選択項目特定手段により前記選択項目が特定されたときは、前記選択項目に対応付けられた項目を前記表示項目として決定し、
前記画像構成決定手段は、前記指紋情報に対応する前記選択履歴に基づいて前記画像構成を決定する、
情報表示システム。 a touch panel display that displays an image and detects the position touched by the finger and the fingerprint of the touched finger;
finger information acquisition means for acquiring position information indicating the position of the user's finger touching the touch panel display and fingerprint information indicating the fingerprint of the user's finger;
display item determination means for determining display items to be displayed on the touch panel display;
image configuration determination means for determining an image configuration that is a configuration of an image including the display items;
display control means for displaying an image based on the image configuration on the touch panel display;
selection item identification means for identifying a selection item selected by the user's finger from among the display items, based on the position information and the image configuration;
history storage means for storing a selection history, which is a history of items selected by the user based on the fingerprint information and the selection items, in association with each fingerprint;
with
When the selection item is specified by the selection item specification means, the display item determination means determines the item associated with the selection item as the display item;
The image composition determining means determines the image composition based on the selection history corresponding to the fingerprint information.
Information display system.
前記タッチパネルディスプレイに表示すべき項目である表示項目を決定する表示項目決定ステップと、
前記表示項目を含む画像の構成である画像構成を決定する画像構成決定ステップと、
前記画像構成に基づく画像を前記タッチパネルディスプレイに表示させる表示制御ステップと、
前記位置情報と前記画像構成とに基づいて、前記表示項目のうち前記ユーザの指により選択された項目である選択項目を特定する選択項目特定ステップと、
前記指紋情報と前記選択項目とに基づいて、前記ユーザにより選択された項目の履歴である選択履歴を指紋ごとに関連付けて保存する履歴保存ステップと、
を備え、
前記表示項目決定ステップでは、前記選択項目特定ステップにて前記選択項目が特定されたときは、前記選択項目に対応付けられた項目を前記表示項目として決定し、
前記画像構成決定ステップでは、前記指紋情報に対応する前記選択履歴に基づいて前記画像構成を決定する、
表示制御方法。 Acquiring position information indicating the position touched by the user's finger and fingerprint information indicating the fingerprint of the user's finger from a touch panel display that displays an image and detects the position touched by the finger and the fingerprint of the touched finger. a finger information acquisition step;
a display item determination step of determining display items to be displayed on the touch panel display;
an image configuration determining step of determining an image configuration that is a configuration of an image including the display items;
a display control step of displaying an image based on the image configuration on the touch panel display;
a selection item specifying step of specifying a selection item selected by the user's finger from among the display items, based on the position information and the image configuration;
a history saving step of storing a selection history, which is a history of items selected by the user, in association with each fingerprint based on the fingerprint information and the selection items;
with
In the display item determination step, when the selection item is specified in the selection item specifying step, an item associated with the selection item is determined as the display item;
In the image configuration determining step, the image configuration is determined based on the selection history corresponding to the fingerprint information.
Display control method.
画像を表示し、指が触れた位置と触れた指の指紋とを検知するタッチパネルディスプレイから、ユーザの指が触れた位置を示す位置情報と前記ユーザの指の指紋を示す指紋情報とを取得する指情報取得手段、
前記タッチパネルディスプレイに表示すべき項目である表示項目を決定する表示項目決定手段、
前記表示項目を含む画像の構成である画像構成を決定する画像構成決定手段、
前記画像構成に基づく画像を前記タッチパネルディスプレイに表示させる表示制御手段、
前記位置情報と前記画像構成とに基づいて、前記表示項目のうち前記ユーザの指により選択された項目である選択項目を特定する選択項目特定手段、
前記指紋情報と前記選択項目とに基づいて、前記ユーザにより選択された項目の履歴である選択履歴を指紋ごとに関連付けて保存する履歴保存手段、
として機能させ、
前記表示項目決定手段は、前記選択項目特定手段により前記選択項目が特定されたときは、前記選択項目に対応付けられた項目を前記表示項目として決定し、
前記画像構成決定手段は、前記指紋情報に対応する前記選択履歴に基づいて前記画像構成を決定する、
プログラム。 the computer,
Acquiring position information indicating the position touched by the user's finger and fingerprint information indicating the fingerprint of the user's finger from a touch panel display that displays an image and detects the position touched by the finger and the fingerprint of the touched finger. finger information acquisition means,
display item determination means for determining display items to be displayed on the touch panel display;
image configuration determination means for determining an image configuration that is a configuration of an image including the display items;
display control means for displaying an image based on the image configuration on the touch panel display;
selection item identification means for identifying a selection item selected by the user's finger from among the display items, based on the position information and the image configuration;
history storage means for storing a selection history, which is a history of items selected by the user based on the fingerprint information and the selection items, in association with each fingerprint;
function as
When the selection item is specified by the selection item specifying means, the display item determination means determines the item associated with the selection item as the display item;
The image composition determining means determines the image composition based on the selection history corresponding to the fingerprint information.
program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019006540A JP7213696B2 (en) | 2019-01-18 | 2019-01-18 | Display control device, information display system, display control method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019006540A JP7213696B2 (en) | 2019-01-18 | 2019-01-18 | Display control device, information display system, display control method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020115298A JP2020115298A (en) | 2020-07-30 |
| JP7213696B2 true JP7213696B2 (en) | 2023-01-27 |
Family
ID=71778591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019006540A Active JP7213696B2 (en) | 2019-01-18 | 2019-01-18 | Display control device, information display system, display control method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7213696B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7409405B2 (en) * | 2022-01-27 | 2024-01-09 | 株式会社富士通ゼネラル | Operation terminal device and its user interface display control method |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002244786A (en) | 2001-02-20 | 2002-08-30 | Sharp Corp | Information processor |
| JP2003266860A (en) | 2002-03-14 | 2003-09-25 | Canon Inc | Image processing device, method for controlling the image processing device, program and storage medium |
| JP2009015543A (en) | 2007-07-04 | 2009-01-22 | Casio Hitachi Mobile Communications Co Ltd | Portable terminal equipment and program |
| JP2009140390A (en) | 2007-12-10 | 2009-06-25 | Mega Chips Corp | Instruction device and fingerprint authentication semiconductor circuit |
| JP2010093635A (en) | 2008-10-09 | 2010-04-22 | Sharp Corp | Image forming apparatus |
| JP2012010062A (en) | 2010-06-24 | 2012-01-12 | Mitsubishi Electric Corp | Equipment control device |
| JP2017103541A (en) | 2015-11-30 | 2017-06-08 | 株式会社東芝 | Image processing apparatus and information management device |
| JP2017188960A (en) | 2017-07-18 | 2017-10-12 | 株式会社ニコン | Electronic device |
| US20170316250A1 (en) | 2016-04-27 | 2017-11-02 | Samsung Electronics Co., Ltd. | Fingerprint verification method and electronic device for performing the same |
| JP2018005521A (en) | 2016-06-30 | 2018-01-11 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, information processing method, and program therefor |
-
2019
- 2019-01-18 JP JP2019006540A patent/JP7213696B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002244786A (en) | 2001-02-20 | 2002-08-30 | Sharp Corp | Information processor |
| JP2003266860A (en) | 2002-03-14 | 2003-09-25 | Canon Inc | Image processing device, method for controlling the image processing device, program and storage medium |
| JP2009015543A (en) | 2007-07-04 | 2009-01-22 | Casio Hitachi Mobile Communications Co Ltd | Portable terminal equipment and program |
| JP2009140390A (en) | 2007-12-10 | 2009-06-25 | Mega Chips Corp | Instruction device and fingerprint authentication semiconductor circuit |
| JP2010093635A (en) | 2008-10-09 | 2010-04-22 | Sharp Corp | Image forming apparatus |
| JP2012010062A (en) | 2010-06-24 | 2012-01-12 | Mitsubishi Electric Corp | Equipment control device |
| JP2017103541A (en) | 2015-11-30 | 2017-06-08 | 株式会社東芝 | Image processing apparatus and information management device |
| US20170316250A1 (en) | 2016-04-27 | 2017-11-02 | Samsung Electronics Co., Ltd. | Fingerprint verification method and electronic device for performing the same |
| JP2018005521A (en) | 2016-06-30 | 2018-01-11 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, information processing method, and program therefor |
| JP2017188960A (en) | 2017-07-18 | 2017-10-12 | 株式会社ニコン | Electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020115298A (en) | 2020-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9696871B2 (en) | Method and portable terminal for moving icon | |
| US20020167545A1 (en) | Method and apparatus for assisting data input to a portable information terminal | |
| JPH06242885A (en) | Document editing method | |
| JP6006399B2 (en) | Programmable display, its program | |
| JP2008535114A (en) | Method and apparatus for visual management of metadata | |
| KR101368584B1 (en) | Portable terminal apparatus and computer readable medium | |
| KR100700141B1 (en) | A Method for Recognizing Name Card in Mobile Phone | |
| JPH0511962A (en) | Window management device | |
| JP6026363B2 (en) | Information processing apparatus and control program | |
| WO2014196639A1 (en) | Information processing apparatus and control program | |
| WO2014008789A1 (en) | Method and device for processing browser window | |
| CN103631490A (en) | Data processing device and method of performing data processing according to gesture operation | |
| JP7213696B2 (en) | Display control device, information display system, display control method and program | |
| US20150356064A1 (en) | Management system for displaying information relating to target | |
| US7131072B2 (en) | Command input device, command input method, and storage medium | |
| WO2019201223A1 (en) | Screen display switch method and apparatus, and storage medium | |
| US20110193812A1 (en) | Portable terminal device, data manipulation processing method and data manipulation processing program | |
| JP5917461B2 (en) | Information processing apparatus and program | |
| JP2017117002A (en) | Information processing device, sensing layout update method, and program | |
| JP6385616B1 (en) | Display screen creation support apparatus and display screen creation support program | |
| JP2003018516A (en) | Image evaluation support program and record medium | |
| CN106020703A (en) | One-hand operation method and mobile terminal | |
| EP2187300A1 (en) | Procedure and system of operator interaction with tactile surface computers | |
| WO2019218994A1 (en) | Object batching method and apparatus | |
| CN112905076A (en) | Information processing method and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220905 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7213696 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |