JP6377307B2 - ユーザーインターフェース制御装置及びユーザーインターフェース制御方法 - Google Patents

ユーザーインターフェース制御装置及びユーザーインターフェース制御方法 Download PDF

Info

Publication number
JP6377307B2
JP6377307B2 JP2018526966A JP2018526966A JP6377307B2 JP 6377307 B2 JP6377307 B2 JP 6377307B2 JP 2018526966 A JP2018526966 A JP 2018526966A JP 2018526966 A JP2018526966 A JP 2018526966A JP 6377307 B2 JP6377307 B2 JP 6377307B2
Authority
JP
Japan
Prior art keywords
screen
user interface
operation input
input device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018526966A
Other languages
English (en)
Other versions
JPWO2018029738A1 (ja
Inventor
彩花 田代
彩花 田代
喬樹 八木澤
喬樹 八木澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2018029738A1 publication Critical patent/JPWO2018029738A1/ja
Application granted granted Critical
Publication of JP6377307B2 publication Critical patent/JP6377307B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ユーザーインターフェース（以下「ＵＩ」という。）の制御に関するものであり、特に表示装置の画面におけるＵＩ（以下「画面ＵＩ」という。）の制御に関する。
近年、電子機器用の操作入力装置が多様化している。例えば、テレビジョン受信機の操作入力装置には、テレビジョン受信機が有する機能のうちの略すべての機能を操作可能なリモートコントローラー（いわゆる「フルリモコン」）、テレビジョン受信機が有する機能のうちの一部の機能のみを操作可能なリモートコントローラー（いわゆる「シンプルリモコン」）、ジェスチャー入力用のカメラ、又は音声入力用のマイクなどが用いられている。また、スマートフォンなどの携帯情報端末に専用のアプリケーションソフトウェアをインストールすることにより、この携帯情報端末がリモートコントローラー（以下「リモコン」という。）の機能を果たす技術も開発されている。
また、複数種類の操作入力装置を有する電子機器において、操作入力に用いられる操作入力装置（以下「操作入力用の操作入力装置」という。）が変更されたとき、当該変更に応じて画面ＵＩを切り替える技術が開発されている（例えば、特許文献１又は特許文献２参照）。
特許文献１には、タッチパネル、リモコン及び音声入力用のマイクを有する車載用ナビゲーション装置が開示されている。特許文献１の車載用ナビゲーション装置は、操作入力用の操作入力装置が変更されたとき、当該変更に応じて表示画面のモードを切り替えるものである（特許文献１の要約、図１等参照）。
特許文献２には、リモコン、マウス及びキーボードを有する情報処理装置が開示されている。特許文献２の情報処理装置は、操作入力用の操作入力装置が変更されたとき、当該変更に応じてグラフィカルユーザーインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ，ＧＵＩ）を切り替えるものである（特許文献２の要約、図１等参照）。
特開２００４−２５２８２０号公報 特開２００７−６６０５７号公報
特許文献１，２の装置は、いずれも、操作入力用の操作入力装置が変更されたとき、当該変更に応じて画面ＵＩを切り替えるものである。これらの装置は、画面ＵＩを切り替えるとき、切替前の画面と切替後の画面との対応関係を操作者に伝える手段を有しておらず、操作者が対応関係を把握しにくい問題があった。この結果、例えば、画面ＵＩが切り替えられたとき、切替後の画面において操作者が現在の操作状態を把握することができず、スムーズな操作の妨げになるなどの問題があった。
本発明は、上記のような課題を解決するためになされたものであり、操作入力装置の変更に応じて画面ＵＩを切り替えるとき、切替前の画面と切替後の画面との対応関係を視覚的に分かりやすく表示することができるユーザーインターフェース制御装置及びユーザーインターフェース制御方法を提供することを目的とする。
本発明のユーザーインターフェース制御装置は、複数種類の操作入力装置により操作自在な電子機器用のユーザーインターフェース制御装置であって、操作入力用の操作入力装置が第１操作入力装置から第２操作入力装置に変更されたとき、表示装置の画面におけるユーザーインターフェースを第１ユーザーインターフェースから第２ユーザーインターフェースに切り替えるか否かを判定する切替要否判定部と、切替要否判定部によりユーザーインターフェースを切り替えると判定された場合、第１ユーザーインターフェースに基づく第１画面と第２ユーザーインターフェースに基づく第２画面との中間画面を生成する中間画面生成部と、中間画面を用いたアニメーション表示により、表示装置の画面を第１画面から第２画面に切り替えるユーザーインターフェース切替部とを備え、第１ユーザーインターフェースは、第１操作入力装置の操作方法に対応するユーザーインターフェースであり、第２ユーザーインターフェースは、第２操作入力装置の操作方法に対応するユーザーインターフェースであり、第１ユーザーインターフェースは、さらに、第１操作入力装置による操作内容の制限に対応するユーザーインターフェースであり、第２ユーザーインターフェースは、さらに、第２操作入力装置による操作内容の制限に対応するユーザーインターフェースであり、切替要否判定部は、第１操作入力装置の操作方法及び第１操作入力装置による操作内容の制限を示す第１ユーザーインターフェース設定用情報と、第２操作入力装置の操作方法及び第２操作入力装置による操作内容の制限を示す第２ユーザーインターフェース設定用情報とを比較して、当該比較の結果を用いてユーザーインターフェースを切り替えるか否かを判定するものである。
本発明のユーザーインターフェース制御方法は、複数種類の操作入力装置により操作自在な電子機器用のユーザーインターフェース制御方法であって、切替要否判定部が、操作入力用の操作入力装置が第１操作入力装置から第２操作入力装置に変更されたとき、表示装置の画面におけるユーザーインターフェースを第１ユーザーインターフェースから第２ユーザーインターフェースに切り替えるか否かを判定するステップと、中間画面生成部が、切替要否判定部によりユーザーインターフェースを切り替えると判定された場合、第１ユーザーインターフェースに基づく第１画面と第２ユーザーインターフェースに基づく第２画面との中間画面を生成するステップと、ユーザーインターフェース切替部が、中間画面を用いたアニメーション表示により、表示装置の画面を第１画面から第２画面に切り替えるステップとを備え、第１ユーザーインターフェースは、第１操作入力装置の操作方法に対応するユーザーインターフェースであり、第２ユーザーインターフェースは、第２操作入力装置の操作方法に対応するユーザーインターフェースであり、第１ユーザーインターフェースは、さらに、第１操作入力装置による操作内容の制限に対応するユーザーインターフェースであり、第２ユーザーインターフェースは、さらに、第２操作入力装置による操作内容の制限に対応するユーザーインターフェースであり、切替要否判定部が、第１操作入力装置の操作方法及び第１操作入力装置による操作内容の制限を示す第１ユーザーインターフェース設定用情報と、第２操作入力装置の操作方法及び第２操作入力装置による操作内容の制限を示す第２ユーザーインターフェース設定用情報とを比較して、当該比較の結果を用いてユーザーインターフェースを切り替えるか否かを判定するものである。
本発明のユーザーインターフェース制御装置及びユーザーインターフェース制御方法は、操作入力装置の変更に応じて画面ＵＩを切り替えるとき、切替前の画面と切替後の画面との中間画面を生成して、アニメーション表示により画面を切り替える。これにより、切替前の画面と切替後の画面との対応関係を視覚的に分かりやすく表示することができる。
本発明の実施の形態１に係る電子機器の要部を示す機能ブロック図である。 本発明の実施の形態１に係る電子機器の要部を示すハードウェア構成図である。 本発明の実施の形態１に係る電子機器の要部を示す他のハードウェア構成図である。 本発明の実施の形態１に係る電子機器の動作を示すフローチャートである。 本発明の実施の形態１に係る第１画面の一例を示す説明図である。 本発明の実施の形態１に係る第２画面の一例を示す説明図である。 図７Ａは、本発明の実施の形態１に係る第１画面の一例を示す説明図である。図７Ｂは、本発明の実施の形態１に係る中間画面の一例を示す説明図である。図７Ｃは、本発明の実施の形態１に係る第２画面の一例を示す説明図である。 本発明の実施の形態１に係る他の電子機器の要部を示す機能ブロック図である。 本発明の実施の形態２に係る第１画面の一例を示す説明図である。 本発明の実施の形態２に係る第２画面の一例を示す説明図である。 図１１Ａは、本発明の実施の形態２に係る第１画面の一例を示す説明図である。図１１Ｂ及び図１１Ｃは、本発明の実施の形態２に係る中間画面の一例を示す説明図である。図１１Ｄは、本発明の実施の形態２に係る第２画面の一例を示す説明図である。 本発明の実施の形態２に係る他の電子機器の要部を示す機能ブロック図である。 本発明の実施の形態３に係る第１画面の一例を示す説明図である。 本発明の実施の形態３に係る第２画面の一例を示す説明図である。 図１５Ａは、本発明の実施の形態３に係る第１画面の一例を示す説明図である。図１５Ｂは、本発明の実施の形態３に係る中間画面の一例を示す説明図である。図１５Ｃは、本発明の実施の形態３に係る第２画面の一例を示す説明図である。 本発明の実施の形態３に係る他の電子機器の要部を示す機能ブロック図である。 本発明の実施の形態３に係る他の電子機器の要部を示す機能ブロック図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、本発明の実施の形態１に係る電子機器の要部を示す機能ブロック図である。図２は、本発明の実施の形態１に係る電子機器の要部を示すハードウェア構成図である。図３は、本発明の実施の形態１に係る電子機器の要部を示す他のハードウェア構成図である。図１〜図３を参照して、実施の形態１のユーザーインターフェース制御装置（以下「ＵＩ制御装置」という。）１００について、テレビジョン受信機からなる電子機器１に応用した例を中心に説明する。
第１表示装置２は、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プラズマディスプレイ又はブラウン管ディスプレイなどのディスプレイにより構成されている。第１表示装置２は、電子機器１と一体に設けられたものであっても良く、又は電子機器１と別部材に設けられたものであっても良い。
フルリモコン３は、方向キーを含む複数個の物理キーを有しており、この物理キーの押下による操作の入力を受け付けるものである。シンプルリモコン４は、少なくとも１個の物理キーを有しており、この物理キーの押下による操作の入力を受け付けるものである。
ジェスチャー入力装置５は、電子機器１の操作者（以下、単に「操作者」という。）を撮影するカメラを有している。ジェスチャー入力装置５は、当該カメラが撮影した画像に対する画像認識処理を実行して、ハンドサイン又は手の動きなどのジェスチャーによる操作の入力を受け付けるものである。
音声入力装置６は、操作者が発した音声を取得するマイクを有している。音声入力装置６は、このマイクが取得した音声に対する音声認識処理を実行して、音声による操作の入力を受け付けるものである。
携帯情報端末７は、例えば、スマートフォン又はタブレットコンピュータにより構成されている。携帯情報端末７は、専用のアプリケーションソフトウェアがインストールされており、テレビジョン受信機用のリモコンの機能を果たすものである。
すなわち、携帯情報端末７は、第２表示制御部８、第２表示装置９及びタッチパネル１０を有している。第２表示制御部８は、第２表示装置９の画面を制御するものである。第２表示装置９は、液晶ディスプレイ又は有機ＥＬディスプレイなどのディスプレイにより構成されており、第１表示装置２よりも低い解像度を有するものである。タッチパネル１０は、第２表示装置９と一体に構成されている。携帯情報端末７は、第２表示制御部８がリモコンの機能に対応する画面を第２表示装置９に表示させた状態にて、タッチパネル１０に対する操作の入力を受け付けることにより、当該リモコンの機能を果たすものである。
フルリモコン３、シンプルリモコン４、ジェスチャー入力装置５、音声入力装置６及び携帯情報端末７により、操作入力装置１１が構成されている。すなわち、図１に示す電子機器１は、５種類の操作入力装置を各１個ずつ有するものである。
各々の操作入力装置１１は、当該操作入力装置１１に対する操作の入力が開始されたとき、当該操作入力装置１１を示す信号（以下「操作開始信号」という。）を無線通信又は有線通信により電子機器１に送信するものである。各々の操作入力装置１１は、当該操作入力装置１１に対する操作が入力されたとき、当該操作の内容を示す信号（以下「操作内容信号」という。）を無線通信又は有線通信により電子機器１に送信するものである。
操作信号受信部２１は、操作入力装置１１が送信した操作開始信号及び操作内容信号を受信するものである。操作信号受信部２１は、受信した操作開始信号をＵＩ制御装置１００に出力するとともに、受信した操作内容信号を第１表示制御部２２に出力するものである。
第１表示制御部２２は、操作信号受信部２１から入力された操作内容信号が示す操作の内容に応じて、第１表示装置２の画面を制御するものである。以下、第１表示制御部２２及び第２表示制御部８を総称して単に「表示制御部」ということがある。また、第１表示装置２及び第２表示装置９を総称して単に「表示装置」ということがある。
ユーザーインターフェース設定用情報記憶部（以下「ＵＩ設定用情報記憶部」という。）２３は、表示装置２，９の画面ＵＩの設定に用いられる情報（以下「ＵＩ設定用情報」という。）を記憶するものである。ＵＩ設定用情報は、例えば、各々の操作入力装置１１の操作方法、各々の操作入力装置１１による操作内容の制限、及び各々の操作入力装置１１の操作に用いられる表示装置２，９を示すものである。これらの情報は、例えば、テーブル状のデータ構造にて個々の操作入力装置１１ごとに記憶されている。
例えば、フルリモコン３の操作方法は、方向キーを含む複数個の物理キーを用いたものである。フルリモコン３は、複数個の物理キーを用いた詳細な設定操作が可能であり、また方向キーを用いた詳細な方向操作が可能である。フルリモコン３の操作には、第１表示装置２が用いられる。よって、フルリモコン３に対応するＵＩ設定用情報は、操作方法が物理キーを用いたものであること、操作内容の制限がないこと、及び第１表示装置２が操作に用いられることを示すものである。
また、ジェスチャー入力装置５の操作方法は、ジェスチャー入力によるものである。ジェスチャー入力装置５は、ハンドサインによる大まかな設定操作のみが可能であり、また手の動きによる大まかな方向操作のみが可能である。ジェスチャー入力装置５の操作には、第１表示装置２が用いられる。よって、ジェスチャー入力装置５に対応するＵＩ設定用情報は、操作方法がジェスチャー入力によるものであること、操作内容が大まかな操作に制限されること、及び第１表示装置２が操作に用いられることを示すものである。
また、音声入力装置６の操作方法は、音声入力によるものである。音声入力装置６は、方向操作に用いることができず、また高い応答速度が要求される操作に用いることができない。音声入力装置６の操作には、第１表示装置２が用いられる。よって、音声入力装置６に対応するＵＩ設定用情報は、操作方法が音声入力によるものであること、方向操作及び高い応答速度が要求される操作に用いることができないこと、及び第１表示装置２が操作に用いられることを示すものである。
また、携帯情報端末７の操作方法は、第２表示装置９と一体に構成されたタッチパネル１０を用いたものである。携帯情報端末７は、第２表示装置９及びタッチパネル１０を用いて、フルリモコン３と同等の操作が可能である。携帯情報端末７の操作には、第２表示装置９が用いられる。よって、携帯情報端末７に対応するＵＩ設定用情報は、操作方法がタッチパネル１０を用いたものであること、操作内容の制限がないこと、及び第２表示装置９が操作に用いられることを示すものである。
さらに、ＵＩ設定用情報は、各々の操作入力装置１１に対応する上記情報に加えて、各々の表示装置２，９の解像度を示すものである。ＵＩ設定用情報は、電子機器１の製造時又は出荷時に予め記憶されたものであっても良く、又は電子機器１の出荷後に操作入力装置１１から受信したものであっても良い。
ＵＩ制御装置１００は、操作信号受信部２１から入力された操作開始信号を用いて、操作入力用の操作入力装置１１を判定するものである。ＵＩ制御装置１００は、操作入力用の操作入力装置１１に対応するＵＩ設定用情報と、表示装置２，９の解像度を示すＵＩ設定用情報とをＵＩ設定用情報記憶部２３から取得するものである。ＵＩ制御装置１００は、取得したＵＩ設定用情報を用いて、表示装置２，９の画面ＵＩを設定するものである。
すなわち、ＵＩ制御装置１００は、操作入力用の操作入力装置１１がフルリモコン３、シンプルリモコン４、ジェスチャー入力装置５又は音声入力装置６である場合、第１表示装置２の画面ＵＩを設定する。この画面ＵＩは、フルリモコン３、シンプルリモコン４、ジェスチャー入力装置５又は音声入力装置６の操作方法、フルリモコン３、シンプルリモコン４、ジェスチャー入力装置５又は音声入力装置６による操作内容の制限、及び第１表示装置２の解像度などに対応する画面ＵＩである。
また、ＵＩ制御装置１００は、操作入力用の操作入力装置１１が携帯情報端末７である場合、第２表示装置９の画面ＵＩを設定する。この画面ＵＩは、携帯情報端末７の操作方法、携帯情報端末７による操作内容の制限、及び第２表示装置９の解像度などに対応する画面ＵＩである。
第１表示制御部２２は、ＵＩ制御装置１００により設定された画面ＵＩに基づき、第１表示装置２の画面を制御するようになっている。第２表示制御部８は、ＵＩ制御装置１００により設定された画面ＵＩに基づき、第２表示装置９の画面を制御するようになっている。
ここで、ＵＩ制御装置１００は、変更有無判定部２４、切替要否判定部２５、中間画面生成部２６及びユーザーインターフェース切替部（以下「ＵＩ切替部」という。）２７を有している。
変更有無判定部２４は、操作信号受信部２１から入力された操作開始信号を用いて、操作入力用の操作入力装置１１が変更されたか否かを判定するものである。変更有無判定部２４は、操作入力用の操作入力装置１１が変更されたとき、変更前の操作入力装置１１を示す操作開始信号と変更後の操作入力装置１１を示す操作開始信号とを切替要否判定部２５に出力するものである。
以下、操作入力用の操作入力装置１１が変更された場合における、変更前の操作入力装置１１を「第１操作入力装置」といい、変更後の操作入力装置１１を「第２操作入力装置」という。
切替要否判定部２５は、操作入力用の操作入力装置１１が変更されたとき、変更有無判定部２４から入力された操作開始信号を用いて、第１操作入力装置及び第２操作入力装置を判定するものである。切替要否判定部２５は、第１操作入力装置に対応するＵＩ設定用情報（以下「第１ＵＩ設定用情報」という。）と、第２操作入力装置に対応するＵＩ設定用情報（以下「第２ＵＩ設定用情報」という。）とをＵＩ設定用情報記憶部２３から取得するものである。切替要否判定部２５は、第１ＵＩ設定用情報及び第２ＵＩ設定用情報を用いて、表示装置２，９の画面ＵＩを切り替えるか否かを判定するものである。
具体的には、例えば、切替要否判定部２５は、第１ＵＩ設定用情報の内容と第２ＵＩ設定用情報の内容とを比較する。切替要否判定部２５は、第１操作入力装置の操作方法と第２操作入力装置の操作方法とが相違する場合、第１操作入力装置による操作内容の制限と第２操作入力装置による操作内容の制限とが相違する場合、又は第１操作入力装置の操作に用いられる表示装置２，９と第２操作入力装置の操作に用いられる表示装置２，９とが相違する場合、画面ＵＩを切り替えると判定する。切替要否判定部２５は、画面ＵＩを切り替えると判定した場合、第１ＵＩ設定用情報及び第２ＵＩ設定用情報を中間画面生成部２６に出力するものである。
以下、表示装置２，９の画面ＵＩを切り替える場合における、切替前の画面ＵＩを「第１ＵＩ」といい、切替後の画面ＵＩを「第２ＵＩ」という。
中間画面生成部２６は、切替要否判定部２５により画面ＵＩを切り替えると判定された場合、切替要否判定部２５から入力された第１ＵＩ設定用情報及び第２ＵＩ設定用情報、ＵＩ設定用情報記憶部２３から取得した表示装置２，９の解像度を示すＵＩ設定用情報、並びに表示制御部８，２２から取得した表示中の画面に関する情報などを用いて、第１ＵＩに基づく画面（以下「第１画面」という。）と第２ＵＩに基づく画面（以下「第２画面」という。）との中間の画面（以下「中間画面」という。）を生成するものである。中間画面生成部２６は、生成した中間画面をＵＩ切替部２７に出力するものである。
すなわち、第１操作入力装置がフルリモコン３、シンプルリモコン４、ジェスチャー入力装置５又は音声入力装置６である場合、第１画面は、画面ＵＩの切替直前に第１表示制御部２２が第１表示装置２に表示させている画面である。この場合、第１ＵＩは、フルリモコン３、シンプルリモコン４、ジェスチャー入力装置５又は音声入力装置６の操作方法、フルリモコン３、シンプルリモコン４、ジェスチャー入力装置５又は音声入力装置６による操作内容の制限、及び第１表示装置２の解像度などに対応する画面ＵＩである。
また、第１操作入力装置が携帯情報端末７である場合、第１画面は、画面ＵＩの切替直前に第２表示制御部８が第２表示装置９に表示させている画面である。この場合、第１ＵＩは、携帯情報端末７の操作方法、携帯情報端末７による操作内容の制限、及び第２表示装置９の解像度などに対応する画面ＵＩである。
また、第２操作入力装置がフルリモコン３、シンプルリモコン４、ジェスチャー入力装置５又は音声入力装置６である場合、第２画面は、画面ＵＩの切替直後に第１表示制御部２２が第１表示装置２に表示させる画面である。この場合、第２ＵＩは、フルリモコン３、シンプルリモコン４、ジェスチャー入力装置５又は音声入力装置６の操作方法、フルリモコン３、シンプルリモコン４、ジェスチャー入力装置５又は音声入力装置６による操作内容の制限、及び第１表示装置２の解像度などに対応する画面ＵＩである。
また、第２操作入力用が携帯情報端末７である場合、第２画面は、画面ＵＩの切替直後に第２表示制御部８が第２表示装置９に表示させる画面である。この場合、第２ＵＩは、携帯情報端末７の操作方法、携帯情報端末７による操作内容の制限、及び第２表示装置９の解像度などに対応する画面ＵＩである。
中間画面は、表示装置２，９の画面が第１画面から第２画面に滑らかに切り替わる表示、いわゆる「アニメーション表示」における１枚以上の中間画面である。
すなわち、第１画面及び第２画面がいずれも第１表示装置２に表示される画面である場合、中間画面生成部２６は、第１表示装置２用の１枚以上の中間画面を生成する。この場合、第１表示装置２用の中間画面は、第１表示装置２の画面が第１画面から第２画面に滑らかに切り替わるような中間画面である。
また、第１画面が第１表示装置２に表示される画面であり、かつ、第２画面が第２表示装置９に表示される画面である場合、中間画面生成部２６は、第１表示装置２用の１枚以上の中間画面と、第２表示装置９用の１枚以上の中間画面とをそれぞれ生成する。この場合、第１表示装置２用の中間画面は、第１表示装置２の画面が第１画面から他の画面（例えば黒色の画面）に滑らかに切り替わるような中間画面である。第２表示装置９用の中間画面は、第２表示装置９の画面が他の画面（例えば黒色の画面）から第２画面に滑らかに切り替わるような中間画面である。
また、第１画面が第２表示装置９に表示される画面であり、かつ、第２画面が第１表示装置２に表示される画面である場合、中間画面生成部２６は、第２表示装置９用の１枚以上の中間画面と、第１表示装置２用の１枚以上の中間画面とをそれぞれ生成する。この場合、第２表示装置９用の中間画面は、第２表示装置９の画面が第１画面から他の画面（例えば黒色の画面）に滑らかに切り替わるような中間画面である。第１表示装置２用の中間画面は、第１表示装置２の画面が他の画面（例えば黒色の画面）から第２画面に滑らかに切り替わるような中間画面である。
ＵＩ切替部２７は、中間画面生成部２６から入力された中間画面を用いて、表示装置２，９の画面をアニメーション表示により第１画面から第２画面に切り替えるものである。
すなわち、第１画面及び第２画面がいずれも第１表示装置２に表示される画面である場合、ＵＩ切替部２７は、第１表示装置２用の中間画面を第１表示制御部２２に順次出力する。ＵＩ切替部２７は、第１表示装置２用の中間画面を第１表示装置２に順次表示させるように第１表示制御部２２に指示する。この結果、第１表示装置２の画面がアニメーション表示により第１画面から第２画面に切り替わる。
また、第１画面が第１表示装置２に表示される画面であり、かつ、第２画面が第２表示装置９に表示される画面である場合、ＵＩ切替部２７は、第１表示装置２用の中間画面を第１表示制御部２２に順次出力するととも、第２表示装置９用の中間画面を第２表示制御部８に順次出力する。ＵＩ切替部２７は、第１表示装置２用の中間画面を第１表示装置２に順次表示させるように第１表示制御部２２に指示するとともに、第２表示装置９用の中間画面を第２表示装置９に順次表示させるように第２表示制御部８に指示する。この結果、第１表示装置２の画面がアニメーション表示により第１画面から他の画面に切り替わるとともに、第２表示装置９の画面がアニメーション表示により他の画面から第２画面に切り替わる。
また、第１画面が第２表示装置９に表示される画面であり、かつ、第２画面が第１表示装置２に表示される画面である場合、ＵＩ切替部２７は、第２表示装置９用の中間画面を第２表示制御部８に順次出力するととも、第１表示装置２用の中間画面を第１表示制御部２２に順次出力する。ＵＩ切替部２７は、第２表示装置９用の中間画面を第２表示装置９に順次表示させるように第２表示制御部８に指示するとともに、第１表示装置２用の中間画面を第１表示装置２に順次表示させるように第１表示制御部２２に指示する。この結果、第２表示装置９の画面がアニメーション表示により第１画面から他の画面に切り替わるとともに、第１表示装置２の画面がアニメーション表示により他の画面から第２画面に切り替わる。
操作信号受信部２１、第１表示制御部２２、ＵＩ設定用情報記憶部２３及びＵＩ制御装置１００により、電子機器１の要部が構成されている。
図２に、電子機器１の要部のハードウェア構成の一例を示す。図１に示す操作信号受信部２１は、専用の受信機４１により構成されている。図１に示すＵＩ設定用情報記憶部２３は、メモリ４２により構成されている。また、メモリ４２には、図１に示す表示制御部２２、変更有無判定部２４、切替要否判定部２５、中間画面生成部２６及びＵＩ切替部２７の機能を実現するためのプログラムが記憶されている。メモリ４２に記憶されたプログラムをプロセッサ４３が読み出して実行することにより、図１に示す表示制御部２２、変更有無判定部２４、切替要否判定部２５、中間画面生成部２６及びＵＩ切替部２７の機能が実現される。
メモリ４２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などの半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクなどにより構成されている。プロセッサ４３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、マイクロコントローラ又はマイクロプロセッサなどにより構成されている。
図３に、電子機器１の要部のハードウェア構成の他の例を示す。図１に示す表示制御部２２、変更有無判定部２４、切替要否判定部２５、中間画面生成部２６及びＵＩ切替部２７は、専用の処理回路４４により構成されている。処理回路４４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）若しくはシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）又はこれらを組み合わせたものである。
なお、図１に示す表示制御部２２、変更有無判定部２４、切替要否判定部２５、中間画面生成部２６及びＵＩ切替部２７の各部の機能それぞれを処理回路４４で実現しても良いし、各部の機能をまとめて処理回路４４で実現しても良い。また、図１に示す表示制御部２２、変更有無判定部２４、切替要否判定部２５、中間画面生成部２６及びＵＩ切替部２７のうちの一部の機能を図２に示すメモリ４２及びプロセッサ４３により実現し、残余の機能を図３に示す処理回路４４により実現したものでも良い。
次に、図４のフローチャートを参照して、電子機器１の動作について、ＵＩ制御装置１００の動作を中心に説明する。
まず、ステップＳＴ１にて、操作信号受信部２１が操作開始信号を受信する。操作信号受信部２１は、受信した操作開始信号をＵＩ制御装置１００に出力する。
次いで、ステップＳＴ２にて、変更有無判定部２４は、ステップＳＴ１で操作信号受信部２１から入力された操作開始信号を用いて、操作入力用の操作入力装置１１が変更されたか否かを判定する。
具体的には、例えば、変更有無判定部２４は、直前のステップＳＴ１で操作信号受信部２１から入力された操作開始信号と、前回のステップＳＴ１で操作信号受信部２１から入力された操作開始信号とを比較する。変更有無判定部２４は、２つの操作開始信号が同一の操作入力装置１１を示している場合、操作入力用の操作入力装置１１が変更されていないと判定する。他方、２つの操作開始信号が互いに異なる操作入力装置１１を示している場合、変更有無判定部２４は操作入力用の操作入力装置１１が変更されたと判定する。
操作入力用の操作入力装置１１が変更されていない場合（ステップＳＴ２“ＮＯ”）、電子機器１の処理はステップＳＴ１に戻る。他方、操作入力用の操作入力装置１１が変更された場合（ステップＳＴ２“ＹＥＳ”）、変更有無判定部２４は、第１操作入力装置を示す操作開始信号と第２操作入力装置を示す操作開始信号とを切替要否判定部２５に出力する。
次いで、ステップＳＴ３にて、切替要否判定部２５は、ステップＳＴ２で変更有無判定部２４から入力された操作開始信号を用いて、第１操作入力装置及び第２操作入力装置を判定する。切替要否判定部２５は、第１操作入力装置に対応する第１ＵＩ設定用情報と、第２操作入力装置に対応する第２ＵＩ設定用情報とをＵＩ設定用情報記憶部２３から取得する。
次いで、ステップＳＴ４にて、切替要否判定部２５は、ステップＳＴ３で取得した第１ＵＩ設定用情報及び第２ＵＩ設定用情報を用いて、表示装置２，９の画面ＵＩを切り替えるか否かを判定する。
具体的には、例えば、切替要否判定部２５は、第１ＵＩ設定用情報の内容と第２ＵＩ設定用情報の内容とを比較する。切替要否判定部２５は、第１操作入力装置の操作方法と第２操作入力装置の操作方法とが相違する場合、第１操作入力装置による操作内容の制限と第２操作入力装置による操作内容の制限とが相違する場合、又は第１操作入力装置の操作に用いられる表示装置２，９と第２操作入力装置の操作に用いられる表示装置２，９とが相違する場合、画面ＵＩを切り替えると判定する。他方、第１操作入力装置の操作方法と第２操作入力装置の操作方法とが同一であり、第１操作入力装置による操作内容の制限と第２操作入力装置による操作内容の制限とが同一であり、かつ、第１操作入力装置の操作に用いられる表示装置２，９と第２操作入力装置の操作に用いられる表示装置２，９とが同一である場合、切替要否判定部２５は画面ＵＩを切り替えないと判定する。
画面ＵＩを切り替えない場合（ステップＳＴ４“ＮＯ”）、電子機器１の処理はステップＳＴ１に戻る。他方、画面ＵＩを切り替える場合（ステップＳＴ４“ＹＥＳ”）、切替要否判定部２５は、第１ＵＩ設定用情報及び第２ＵＩ設定用情報を中間画面生成部２６に出力する。
次いで、ステップＳＴ５にて、中間画面生成部２６は、中間画面の生成に用いる各種情報を取得する。具体的には、例えば、中間画面生成部２６は、表示装置２，９の解像度を示すＵＩ設定用情報をＵＩ設定用情報記憶部２３から取得する。また、中間画面生成部２６は、表示中の画面に関する情報を表示制御部８，２２から取得する。
次いで、ステップＳＴ６にて、中間画面生成部２６は、ステップＳＴ４で切替要否判定部２５から入力された第１ＵＩ設定用情報及び第２ＵＩ設定用情報、並びにステップＳＴ５で取得した各種情報を用いて、第１ＵＩに基づく第１画面と第２ＵＩに基づく第２画面との中間画像を生成する。中間画面生成部２６は、生成した中間画像をＵＩ切替部２７に出力する。
次いで、ステップＳＴ７にて、ＵＩ切替部２７は、ステップＳＴ６で中間画面生成部２６から入力された中間画面を用いて、表示装置２，９の画面をアニメーション表示により第１画面から第２画面に切り替える。
すなわち、第１画面及び第２画面がいずれも第１表示装置２に表示される画面である場合、ＵＩ切替部２７は、第１表示装置２用の中間画面を第１表示制御部２２に順次出力する。ＵＩ切替部２７は、第１表示装置２用の中間画面を第１表示装置２に順次表示させるように第１表示制御部２２に指示する。
または、第１画面が第１表示装置２に表示される画面であり、かつ、第２画面が第２表示装置９に表示される画面である場合、ＵＩ切替部２７は、第１表示装置２用の中間画面を第１表示制御部２２に順次出力するとともに、第２表示装置９用の中間画面を第２表示制御部８に順次出力する。ＵＩ切替部２７は、第１表示装置２用の中間画面を第１表示装置２に順次表示させるように第１表示制御部２２に指示するとともに、第２表示装置９用の中間画面を第２表示装置９に順次表示させるように第２表示制御部８に指示する。
または、第１画面が第２表示装置９に表示される画面であり、かつ、第２画面が第１表示装置２に表示される画面である場合、ＵＩ切替部２７は、第２表示装置９用の中間画面を第２表示制御部８に順次出力するとともに、第１表示装置２用の中間画面を第１表示制御部２２に順次出力する。ＵＩ切替部２７は、第２表示装置９用の中間画面を第２表示装置９に順次表示させるように第２表示制御部８に指示するとともに、第１表示装置２用の中間画面を第１表示装置２に順次表示させるように第１表示制御部２２に指示する。
ステップＳＴ７の処理により、表示装置２，９の画面がアニメーション表示により第１画面から第２画面に切り替わる。ステップＳＴ７の後、第１表示制御部２２が第２ＵＩに基づく画面を第１表示制御部２２に表示させる処理、又は第２表示制御部８が第２ＵＩに基づく画面を第２表示制御部８に表示させる処理が継続して実行される。
次に、図５〜図７を参照して、操作入力用の操作入力装置１１がフルリモコン３からジェスチャー入力装置５に変更されたときのアニメーション表示の具体例について説明する。
電子機器１は、ハードディスクレコーダーと一体型のテレビジョン受信機により構成されており、受信した番組を録画する機能（いわゆる「録画機能」）、及び録画した番組を再生する機能（いわゆる「再生機能」）を有している。第１表示制御部２２は、再生機能において、録画された複数個の番組の中から再生対象の番組を選択する画面を第１表示装置２に表示させている。
初期状態において、フルリモコン３が操作入力用の操作入力装置１１に設定されている。上記のとおり、フルリモコン３の操作方法は、方向キーを含む複数個の物理キーを用いたものである。フルリモコン３は、複数個の物理キーを用いた詳細な設定操作が可能であり、また方向キーを用いた詳細な方向操作が可能である。フルリモコン３の操作には、第１表示装置２が用いられる。これらの内容に対応する画面ＵＩとは、例えば、各番組に対応するサムネイル画像がタイル状に配列された画面において、方向キーの押下によりいずれかのサムネイル画像を選択自在にしたものである。
図５に、当該画面ＵＩに基づく第１画面の一例を示す。図５に示す如く、第１画面Ａ１は、各番組に対応するサムネイル画像Ｂがタイル状に配列された画面である。フルリモコン３に設けられた方向キーの押下により、複数個のサムネイル画像Ｂのうちのいずれかのサムネイル画像Ｂが選択自在になっている。図５の例では、第１画面Ａ１の中央部に配置されたサムネイル画像ＢＳが選択された状態であり、他のサムネイル画像Ｂと異なる色彩にて表示されている。
これに対して、操作入力用の操作入力装置１１がフルリモコン３からジェスチャー入力装置５に変更されたものとする。上記のとおり、ジェスチャー入力装置５の操作方法は、ジェスチャー入力によるものである。ジェスチャー入力装置５は、ハンドサインによる大まかな設定操作のみが可能であり、また手の動きによる大まかな方向操作のみが可能である。ジェスチャー入力装置５の操作には、第１表示装置２が用いられる。これらの内容に対応する画面ＵＩとは、例えば、横一列に配列された複数個のサムネイル画像のうちの一部のサムネイル画像のみが表示された画面において、操作者の手の動きに応じてこれらのサムネイル画像が横方向にスクロール自在であり、かつ、画面の中央部に配置されたサムネイル画像が常に選択された状態となるものである。
図６に、当該画面ＵＩに基づく第２画面の一例を示す。図６に示す如く、第２画面Ａ２は、横一列に配列された複数個のサムネイル画像Ｂのうちの一部のサムネイル画像Ｂのみが表示された画面である。これらのサムネイル画像Ｂは、操作者の手の動きに応じて横方向にスクロール自在である。第２画面Ａ２に表示された３個のサムネイル画像Ｂのうち、第２画面Ａ２の中央部に配置されたサムネイル画像ＢＳが常に選択された状態となる。
図５に示す第１画面Ａ１から図６に示す第２画面Ａ２へのアニメーション表示は、例えば、選択されたサムネイル画像ＢＳを含む領域を次第に拡大する表示となる。図７に、当該アニメーション表示の一例を示す。なお、図７は、説明を簡単にするために、中間画面生成部２６が１枚の中間画面ＡＭのみを生成する例を示している。
図７Ａは、図５と同様の第１画面Ａ１を示している。図７Ｂに示す中間画面ＡＭは、図７Ａに示す第１画面Ａ１のうちのサムネイル画像ＢＳを含む領域Ｃ１を画面全体に拡大してなるものである。図７Ｃに示す第２画面Ａ２は、図７Ｂに示す中間画面ＡＭのうちのサムネイル画像ＢＳを含む領域ＣＭを画面全体に拡大してなるものである。領域Ｃ１は所定サイズの領域であり、領域ＣＭは領域Ｃ１と同じサイズの領域である。
ここで、第１画面Ａ１及び第２画面Ａ２は、いずれも、再生機能において再生対象の番組を選択する画面である。すなわち、第２画面Ａ２は第１画面Ａ１と同一の機能に対応する画面である。また、第１画面Ａ１及び第２画面Ａ２は、同一のサムネイル画像ＢＳが選択された状態の画面である。すなわち、第２画面Ａ２は第１画面Ａ１と同一の操作状態に対応する画面である。
図７に示すアニメーション表示により、第１表示装置２の画面を第１画面Ａ１から第２画面Ａ２に切り替えるとき、第１画面Ａ１と第２画面Ａ２との対応関係を視覚的に分かりやすく表示することができる。この結果、操作者は、第２画面Ａ２が第１画面Ａ１と同一の機能及び同一の操作状態に対応する画面であることを無意識に把握して、スムーズに操作を続行することができる。
なお、操作入力用の操作入力装置１１がシンプルリモコン４からジェスチャー入力装置５に変更されたときのアニメーション表示の具体例は、図７に示すものと同様であるため、図示及び説明を省略する。
また、操作入力用の操作入力装置１１がジェスチャー入力装置５からフルリモコン３又はシンプルリモコン４に変更されたときのアニメーション表示の具体例は、図７に示すアニメーション表示を時間的に逆転したもの、すなわち図７Ｃ、図７Ｂ、図７Ａの順に画面が遷移するものと同様であるため、図示及び説明を省略する。
また、操作入力用の操作入力装置１１がフルリモコン３から携帯情報端末７に変更されたときのアニメーション表示の具体例は、実施の形態２にて後述する。操作入力用の操作入力装置１１がフルリモコン３から音声入力装置６に変更されたときのアニメーション表示の具体例は、実施の形態３にて後述する。
また、第１画面は、図５及び図７Ａに示す例に限定されるものではない。第１画面は、電子機器１が有する機能であれば、如何なる機能に対応する画面であっても良い。また、第１画面は、当該機能における如何なる操作状態に対応する画面であっても良い。
また、第２画面は、図６及び図７Ｃに示す例に限定されるものではない。第２画面は、第１画面と異なる機能に対応する画面であっても良い。この場合、アニメーション表示により、第２画面が第１画面と異なる機能に対応する画面であることを視覚的に分かりやすく表示することができる。また、第２画面は、第１画面と同一の機能に対応する画面において、第１画面と異なる操作状態に対応する画面であっても良い。この場合、アニメーション表示により、第２画面が第１画面と異なる操作状態に対応する画面であることを視覚的に分かりやすく表示することができる。
また、操作入力装置１１は、フルリモコン３、シンプルリモコン４、ジェスチャー入力装置５、音声入力装置６及び携帯情報端末７に限定されるものではない。操作入力装置１１の種類は５種類に限定されるものではなく、各種類の操作入力装置１１の個数は１個に限定されるものではない。
例えば、ジェスチャー入力装置５は、携帯情報端末７と一体に構成されたものであっても良い。音声入力装置６は、携帯情報端末７と一体に構成されたものであっても良い。音声入力装置６は、フルリモコン３又はシンプルリモコン４と一体に構成されたものであっても良い。
また、操作入力装置１１は、複数個の携帯情報端末７を含むものであっても良い。この場合、各々の携帯情報端末７に設けられた第２表示装置９の解像度が相違するものであっても良い。
また、操作入力装置１１は、電子機器１と異なる他の電子機器を含むものであっても良い。当該他の電子機器は、例えば、テレビジョン受信機、パーソナルコンピュータ又はビデオゲーム専用のコンピュータなどにより構成されている。当該他の電子機器は、携帯情報端末７と同様に第２表示制御部８及び第２表示装置９を有している。当該他の電子機器に設けられた第２表示装置９は、携帯情報端末７に設けられた第２表示装置９よりも解像度が高いものであってもよい。
また、電子機器１はテレビジョン受信機に限定されるものではない。ＵＩ制御装置１００は、複数種類の操作入力装置１１により操作自在な電子機器１であれば、如何なる電子機器１にも応用することができる。
また、各々の操作入力装置１１に対応するＵＩ設定用情報は、各々の操作入力装置１１の操作方法、各々の操作入力装置１１による操作内容の制限、及び各々の操作入力装置１１の操作に用いられる表示装置２，９のうちの一部のみを示すものであっても良い。
例えば、すべての操作入力装置１１が第２表示装置９を有しない場合、各々の操作入力装置１１に対応するＵＩ設定用情報は、各々の操作入力装置１１の操作方法のみを示すものであっても良い。この場合、第１ＵＩは第１操作入力装置の操作方法に対応する画面ＵＩであり、第２ＵＩは第２操作入力装置の操作方法に対応する画面ＵＩである。切替要否判定部２５は、第１ＵＩ設定用情報の内容と第２ＵＩ設定用情報の内容とを比較して、第１操作入力装置の操作方法と第２操作入力装置の操作方法とが相違する場合、画面ＵＩを切り替えると判定する。
または、すべての操作入力装置１１が第２表示装置９を有しない場合、各々の操作入力装置１１に対応するＵＩ設定用情報は、各々の操作入力装置１１の操作方法、及び各々の操作入力装置１１による操作内容の制限のみを示すものであっても良い。この場合、第１ＵＩは第１操作入力装置の操作方法及び第１操作入力装置による操作内容の制限に対応する画面ＵＩであり、第２ＵＩは第２操作入力装置の操作方法及び第２操作入力装置による操作内容の制限に対応する画面ＵＩである。切替要否判定部２５は、第１ＵＩ設定用情報の内容と第２ＵＩ設定用情報の内容とを比較して、第１操作入力装置の操作方法と第２操作入力装置の操作方法とが相違する場合、又は第１操作入力装置による操作内容の制限と第２操作入力装置による操作内容の制限とが相違する場合、画面ＵＩを切り替えると判定する。
または、少なくとも１つの操作入力装置１１が第２表示装置９を有する場合、各々の操作入力装置１１に対応するＵＩ設定用情報は、各々の操作入力装置１１の操作方法、及び各々の操作入力装置１１の操作に用いられる表示装置２，９のみを示すものであっても良い。この場合、第１ＵＩは第１操作入力装置の操作方法及び第１操作入力装置の操作に用いられる表示装置２，９の解像度に対応する画面ＵＩであり、第２ＵＩは第２操作入力装置の操作方法及び第２操作入力装置の操作に用いられる表示装置２，９の解像度に対応する画面ＵＩである。切替要否判定部２５は、第１ＵＩ設定用情報の内容と第２ＵＩ設定用情報の内容とを比較して、第１操作入力装置の操作方法と第２操作入力装置の操作方法とが相違する場合、又は第１操作入力装置の操作に用いられる表示装置２，９と第２操作入力装置の操作に用いられる表示装置２，９とが相違する場合、画面ＵＩを切り替えると判定する。
このように、個々の操作入力装置１１に対応するＵＩ設定用情報の内容を減らすことで、ＵＩ設定用情報のデータ量を削減することができる。他方、個々の操作入力装置１１に対応するＵＩ設定用情報の内容を増やすことで、電子機器１の操作環境により適した画面ＵＩを設定することが可能となる。
また、図１ではＵＩ制御装置１００及びＵＩ設定用情報記憶部２３が電子機器１内に設けられた例を示したが、ＵＩ制御装置１００及びＵＩ設定用情報記憶部２３は電子機器１外に設けられたものであっても良い。具体的には、例えば、ＵＩ制御装置１００及びＵＩ設定用情報記憶部２３は、電子機器１及び携帯情報端末７と通信自在なサーバ装置に設けられたものであっても良い。この場合、ＵＩ制御装置１００を有するサーバ装置が電子機器１及び携帯情報端末７と適宜通信することにより、図４に示すフローチャートと同様の処理が実行される。
また、ＵＩ制御装置１００は、図８に示す如く、属性検出部２８及び操作補助部２９を有するものであっても良い。
属性検出部２８は、電子機器１に設けられたセンサ１２を用いて、操作者の属性を検出するものである。操作補助部２９は、操作信号受信部２１から入力された操作開始信号を用いて、操作入力用の操作入力装置１１がジェスチャー入力装置５に設定されている否かを判定するものである。操作補助部２９は、操作入力用の操作入力装置１１がジェスチャー入力装置５に設定されている場合、操作者の属性に応じて、ジェスチャー入力による操作を補助する画像（以下「操作補助画像」という。）を生成するものである。操作補助部２９は、操作補助画像を第１表示装置２に表示させるように第１表示制御部２２に指示するものである。
具体的には、例えば、センサ１２は、操作者を撮影するカメラにより構成されている。属性検出部２８は、当該カメラが撮影した画像に対する画像認識処理を実行して、操作者が子供であるか否か、又は操作者が高齢者であるか否かなどの属性を検出する。操作補助部２９は、操作者が子供又は高齢者である場合、例えばジェスチャー入力により操作可能な方向を示す矢印状の操作補助画像を第１表示装置２に表示させる。操作補助画像は、第１画面、第２画面又は中間画面などの画面に重畳して表示される。
すなわち、操作入力用の操作入力装置１１がフルリモコン３又はシンプルリモコン４からジェスチャー入力装置５に変更されたとき、操作補助部２９は、中間画面（図７Ｂ）及び第２画面（図７Ｃ）に重畳して操作補助画像を表示させる。その後、操作補助部２９は、第２ＵＩに基づく画面に重畳して操作補助画像を表示させる処理を継続する。
他方、操作入力用の操作入力装置１１がジェスチャー入力装置５からフルリモコン３又はシンプルリモコン４に変更されたとき、操作補助部２９は、第１ＵＩに基づく画面に重畳して操作補助画像を表示させる処理から継続して、第１画面（図７Ｃ）及び中間画面（図７Ｂ）に重畳して操作補助画像を表示させる。その後、第１表示装置２に第２画面（図７Ａ）が表示されたとき、操作補助部２９は操作補助画像を表示させる処理を終了する。
以上のように、実施の形態１のＵＩ制御装置１００は、複数種類の操作入力装置１１により操作自在な電子機器１用のＵＩ制御装置１００であって、操作入力用の操作入力装置１１が第１操作入力装置から第２操作入力装置に変更されたとき、表示装置２，９の画面ＵＩを第１ＵＩから第２ＵＩに切り替えるか否かを判定する切替要否判定部２５と、切替要否判定部２５により画面ＵＩを切り替えると判定された場合、第１ＵＩに基づく第１画面と第２ＵＩに基づく第２画面との中間画面を生成する中間画面生成部２６と、中間画面を用いたアニメーション表示により、表示装置２，９の画面を第１画面から第２画面に切り替えるＵＩ切替部２７とを備える。操作入力装置１１の変更に応じて画面ＵＩを切り替えるとき、アニメーション表示より、第１画面と第２画面との対応関係を視覚的に分かりやすく表示することができる。この結果、操作者は、第１画面と第２画面との対応関係を無意識に把握することができ、スムーズに操作を続行することができる。
また、第２画面は、第１画面と同一の機能に対応する画面である。アニメーション表示より、第２画面が第１画面と同一の機能に対応する画面であることを視覚的に分かりやすく表示することができる。
また、第２画面は、第１画面と同一の操作状態に対応する画面である。アニメーション表示より、第２画面が第１画面と同一の操作状態に対応する画面であることを視覚的に分かりやすく表示することができる。
また、第１ＵＩは、第１操作入力装置の操作方法に対応する画面ＵＩであり、第２ＵＩは、第２操作入力装置の操作方法に対応する画面ＵＩである。これにより、画面ＵＩを切り替える前後の各々において、操作入力装置１１の操作方法（物理ボタンを用いたもの、ジェスチャー入力によるもの、音声入力によるもの、タッチパネル１０を用いたもの等）に適した操作環境を提供することができる。
また、切替要否判定部２５は、第１操作入力装置の操作方法を示す第１ＵＩ設定用情報と、第２操作入力装置の操作方法を示す第２ＵＩ設定用情報とを比較して、当該比較の結果を用いて画面ＵＩを切り替えるか否かを判定する。これにより、操作入力装置１１の操作方法に基づき、表示装置２，９の画面ＵＩを切り替えるか否かを判定することができる。
また、第１ＵＩは、第１操作入力装置による操作内容の制限に対応する画面ＵＩであり、第２ＵＩは、第２操作入力装置による操作内容の制限に対応する画面ＵＩである。これにより、画面ＵＩを切り替える前後の各々において、操作入力装置１１による操作内容の制限（制限がない、大まかな操作のみが可能である、方向操作及び高い応答得度が要求される操作に用いることができない等）に適した操作環境を提供することができる。
また、切替要否判定部２５は、第１操作入力装置の操作方法及び第１操作入力装置による操作内容の制限を示す第１ＵＩ設定用情報と、第２操作入力装置の操作方法及び第２操作入力装置による操作内容の制限を示す第２ＵＩ設定用情報とを比較して、当該比較の結果を用いて画面ＵＩを切り替えるか否かを判定する。これにより、操作入力装置１１の操作方法及び操作入力装置１１による操作内容の制限に基づき、表示装置２，９の画面ＵＩを切り替えるか否かを判定することができる。
また、表示装置２，９は、解像度が相違する複数個の表示装置２，９により構成されており、第１ＵＩは、第１操作入力装置の操作に用いられる表示装置２，９の解像度に対応する画面ＵＩであり、第２ＵＩは、第２操作入力装置の操作に用いられる表示装置２，９の解像度に対応する画面ＵＩである。これにより、画面ＵＩを切り替える前後の各々において、操作入力装置１１の操作に用いられる表示装置２，９の解像度に適した操作環境を提供することができる。
また、切替要否判定部２５は、第１操作入力装置の操作方法及び第１操作入力装置の操作に用いられる表示装置２，９を示す第１ＵＩ設定用情報と、第２操作入力装置の操作方法及び第２操作入力装置の操作に用いられる表示装置２，９を示す第２ＵＩ設定用情報とを比較して、当該比較の結果を用いて画面ＵＩを切り替えるか否かを判定する。これにより、操作入力装置１１の操作方法及び操作入力装置１１の操作に用いられる表示装置２，９に基づき、表示装置２，９の画面ＵＩを切り替えるか否かを判定することができる。
また、第２操作入力装置の操作方法は、ジェスチャー入力によるものである。この場合、図７に例示するアニメーション表示により、第１画面と第２画面との対応関係を視覚的に分かりやすく表示することができる。
また、ＵＩ制御装置１００は、操作者の属性に応じて、ジェスチャー入力による操作を補助する操作補助画像を中間画面及び第２画面に重畳して表示させる操作補助部２９を備える。これにより、例えば操作者の属性が子供又は高齢者である場合に、入力可能な方向を示す矢印状の操作補助画像などを表示させて、ジェスチャー入力による操作を補助することができる。
また、第１操作入力装置の操作方法は、ジェスチャー入力によるものである。この場合、図７に例示するアニメーション表示を時間的に逆転してなるアニメーション表示により、第１画面と第２画面との対応関係を視覚的に分かりやすく表示することができる。
また、ＵＩ制御装置１００は、操作者の属性に応じて、ジェスチャー入力による操作を補助する操作補助画像を第１画面及び中間画面に重畳して表示させる操作補助部２９を備える。これにより、例えば操作者の属性が子供又は高齢者である場合に、入力可能な方向を示す矢印状の操作補助画像などを表示させて、ジェスチャー入力による操作を補助することができる。
また、実施の形態１のユーザーインターフェース制御方法（以下「ＵＩ制御方法」という。）は、複数種類の操作入力装置１１により操作自在な電子機器１用のＵＩ制御方法であって、切替要否判定部２５が、操作入力用の操作入力装置１１が第１操作入力装置から第２操作入力装置に変更されたとき、表示装置２，９の画面ＵＩを第１ＵＩから第２ＵＩに切り替えるか否かを判定するステップ（ステップＳＴ４）と、中間画面生成部２６が、切替要否判定部２５により画面ＵＩを切り替えると判定された場合、第１ＵＩに基づく第１画面と第２ＵＩに基づく第２画面との中間画面を生成するステップ（ステップＳＴ６）と、ＵＩ切替部２７が、中間画面を用いたアニメーション表示により、表示装置２，９の画面を第１画面から第２画面に切り替えるステップ（ステップＳＴ７）とを備える。操作入力装置１１の変更に応じて画面ＵＩを切り替えるとき、アニメーション表示より、第１画面と第２画面との対応関係を視覚的に分かりやすく表示することができる。
実施の形態２．
実施の形態１では、図５〜図７を参照して、操作入力用の操作入力装置１１がフルリモコン３からジェスチャー入力装置５に変更されたときのアニメーション表示の具体例について説明した。実施の形態２では、図９〜図１１を参照して、操作入力用の操作入力装置１１がフルリモコン３から携帯情報端末７に変更されたときのアニメーション表示の具体例について説明する。
なお、電子機器１、第１表示装置２及び操作入力装置１１の構成は、実施の形態１にて図１〜図３を参照して説明したものと同様であるため、図１〜図３を援用するとともに説明は省略する。また、電子機器１の動作は、実施の形態１にて図４を参照して説明したものと同様であるため、図４を援用するとともに説明は省略する。
電子機器１は、ハードディスクレコーダーと一体型のテレビジョン受信機により構成されており、録画機能及び再生機能を有している。第１表示制御部２２は、再生機能において、録画された複数個の番組の中から再生対象の番組を選択する画面を第１表示装置２に表示させている。
初期状態において、フルリモコン３が操作入力用の操作入力装置１１に設定されている。図９に、フルリモコン３用の画面ＵＩに基づく第１画面の一例を示す。図９に示す第１画面Ａ１は、図５に示す第１画面Ａ１と同様の画面であるため、説明を省略する。
これに対して、操作入力用の操作入力装置１１がフルリモコン３から携帯情報端末７に変更されたものとする。実施の形態１にて説明したとおり、携帯情報端末７の操作方法は、第２表示装置９と一体に構成されたタッチパネル１０を用いたものである。携帯情報端末７は、第２表示装置９及びタッチパネル１０を用いて、フルリモコン３と同等の操作が可能である。携帯情報端末７の操作には、第２表示装置９が用いられる。これらの内容に対応する画面ＵＩとは、例えば、各番組に対応するサムネイル画像がタイル状に配列された画面において、タッチパネル１０の操作によりいずれかのサムネイル画像を選択自在にしたものである。
図１０に、当該画面ＵＩに基づく第２画面の一例を示す。図１０に示す如く、第２画面Ａ２は、各番組に対応するサムネイル画像Ｂがタイル状に配列された画面である。タッチパネル１０の操作により、複数個のサムネイル画像Ｂのうちのいずれかのサムネイル画像Ｂが選択自在になっている。図１０の例では、第２画面Ａ２の中央部に配置されたサムネイル画像ＢＳが選択された状態であり、他のサムネイル画像Ｂと異なる色彩にて表示されている。
ここで、図１０に示す第２画面Ａ２は、図９に示す第１画面Ａ１の一部を拡大したものである。当該拡大の倍率は、第１表示装置２の解像度に対する第２表示装置９の解像度の比率に応じた値である。これにより、第２画面Ａ２において個々のサムネイル画像Ｂが大きく表示されて、タッチパネル１０の操作による誤選択を防ぐことができる。
図９に示す第１画面Ａ１から図２の第２画面Ａ２へのアニメーション表示は、例えば、第１表示装置２の画面を第２表示装置９にスライド移動し、次いで、第２表示装置９に表示された画面の一部を拡大するものとなる。
図１１に、当該アニメーション表示の一例を示す。初期状態において、図１１Ａに示す如く、第１表示装置２には第１画面Ａ１が表示されており、第２表示装置９の画面は黒色である。
次いで、図１１Ｂに示す如く、第１表示装置２に中間画面ＡＭ１が表示されるとともに、第２表示装置９に中間画面ＡＭ２が表示される。第１表示装置２の中間画面ＡＭ１は、第１画面Ａ１が紙面下方に向けてスライドアウトしている途中の画面に対応している。図中、矢印ＤＭ１は、第１表示装置２における第１画面Ａ１のスライド方向を示している。
また、第２表示装置９の中間画面ＡＭ２は、第１画面Ａ１が紙面上方からスライドインしている途中の画面に対応している。図中、矢印ＤＭ２は第２表示装置９における第１画面Ａ１のスライド方向を示している。
次いで、図１１Ｃに示す如く、第１表示装置２の画面が黒色となり、第２表示装置９に中間画面ＡＭ３が表示される。第２表示装置９の中間画面ＡＭ３は、第１画面Ａ１のスライドインが完了した状態の画面に対応している。
次いで、図１１Ｄに示す如く、第２表示装置９に第２画面Ａ２が表示される。第２画面Ａ２は、中間画面ＡＭ３のうちのサムネイル画像ＢＳを含む領域ＣＭを画面全体に拡大してなるものである。当該拡大の倍率は、第１表示装置２の解像度に対する第２表示装置９に解像度の比率に応じた値である。
ここで、第１画面Ａ１及び第２画面Ａ２は、いずれも、再生機能において再生対象の番組を選択する画面である。すなわち、第２画面Ａ２は第１画面Ａ１と同一の機能に対応する画面である。また、第１画面Ａ１及び第２画面Ａ２は、同一のサムネイル画像ＢＳが選択された状態の画面である。すなわち、第２画面Ａ２は第１画面Ａ１と同一の操作状態に対応する画面である。
図１１に示すアニメーション表示により、表示装置２，９の画面を第１画面Ａ１から第２画面Ａ２に切り替えるとき、第１画面Ａ１と第２画面Ａ２との対応関係を視覚的に分かりやすく表示することができる。この結果、操作者は、第２画面Ａ２が第１画面Ａ１と同一の機能及び同一の操作状態に対応する画面であることを無意識に把握して、スムーズに操作を続行することができる。
また、第１表示装置２におけるスライドアウトの方向と第２表示装置９におけるスライドインの方向とを揃えることにより、第１表示装置２の画面が第２表示装置９に移動したことを視覚的に分かりやすく表示することができる。この結果、操作者が、操作用の画面が消えたと勘違いするのを防ぐことができる。
なお、操作入力用の操作入力装置１１がシンプルリモコン４から携帯情報端末７に変更されたときのアニメーション表示の具体例は、図１１に示すものと同様であるため、図示及び説明を省略する。
また、操作入力用の操作入力装置１１が携帯情報端末７からフルリモコン３又はシンプルリモコン４に変更されたときのアニメーション表示の具体例は、図１１に示すアニメーション表示を時間的に逆転したもの、すなわち図１１Ｄ、図１１Ｃ、図１１Ｂ、図１１Ａの順に画面が遷移するものと同様であるため、図示及び説明を省略する。
また、第１表示装置２において、第１画面からの切換後の他の画面、又は第２画面への切替前の他の画面は、黒色の画面に限定されるものではない。これらの他の画面は、例えば、電子機器１が有する他の機能に対応する画面であっても良い。
また、第２表示装置９において、第１画面からの切換後の他の画面、又は第２画面への切替前の他の画面は、黒色の画面に限定されるものではない。これらの他の画面は、例えば、携帯情報端末７が有する他の機能に対応する画面であっても良い。
また、アニメーション表示における画面のスライド方向は、図１１に示す紙面上下方向に限定されるものではない。スライド方向は、予め設定された一定方向であってもよく、又はアニメーション表示を実行するときにＵＩ制御装置１００が設定するものであっても良い。この場合の機能ブロック図を図１２に示す。
位置検出部３０は、携帯情報端末７が操作入力用の操作入力装置１１に設定されているとき、電子機器１に設けられたセンサ１２を用いて、第１表示装置２と第２表示装置９との位置関係を検出するものである。具体的には、例えば、第１表示装置２が電子機器１と一体に設けられている場合、センサ１２は携帯情報端末７を所持する操作者を撮影するカメラにより構成されている。第１表示装置２が電子機器１と別部材に設けられている場合、センサ１２は第１表示装置２と携帯情報端末７を所持する操作者とを撮影するカメラにより構成されている。位置検出部３０は、当該カメラが撮影した画像に対する画像認識処理を実行して、第１表示装置２と第２表示装置９との位置関係を検出する。
中間画面生成部２６は、位置検出部３０が検出した位置関係に応じて、アニメーション表示におけるスライド方向を設定する。すなわち、中間画面生成部２６は、操作入力用の操作入力装置１１がフルリモコン３又はシンプルリモコン４から携帯情報端末７に変更されたとき、第１表示装置２から第２表示装置９に向かう方向にスライド方向を設定する。これにより、電子機器１と携帯情報端末７との位置関係にかかわらず、第１表示装置２の画面が第２表示装置９に移動したことを視覚的に分かりやすく表示することができる。この結果、操作者が、操作用の画面が消えたと勘違いするのを防ぐことができる。
他方、操作入力用の操作入力装置１１が携帯情報端末７からフルリモコン３又はシンプルリモコン４に変更されたとき、中間画面生成部２６は、第２表示装置９から第１表示装置２に向かう方向にスライド方向を設定する。これにより、電子機器１と携帯情報端末７との位置関係にかかわらず、第２表示装置９の画面が第１表示装置２に移動したことを視覚的に分かりやすく表示することができる。この結果、操作者が、操作用の画面が消えたと勘違いするのを防ぐことができる。
そのほか、実施の形態２の電子機器１は、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。実施の形態２のＵＩ制御装置１００は、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。
以上のように、表示装置２，９は、電子機器１に設けられた第１表示装置２と、第２操作入力装置に設けられた第２表示装置９とにより構成されており、第１画面は第１表示装置２に表示される画面であり、かつ、第２画面は第２表示装置９に表示される画面であり、第２操作入力装置の操作方法は、第２表示装置９と一体に構成されたタッチパネル１０を用いたものである。第２操作入力装置が携帯情報端末７である場合、図１１に例示するアニメーション表示により、第１画面と第２画面との対応関係を視覚的に分かりやすく表示することができる。
また、中間画面生成部２６は、第１表示装置２と第２表示装置９との位置関係に応じた中間画面を生成する。これにより、電子機器１と携帯情報端末７との位置関係にかかわらず、第１表示装置２から第２表示装置９に向かう方向にスライド方向を設定することができる。この結果、第１表示装置２の画面が第２表示装置９に移動したことを視覚的に分かりやすく表示することができる。
また、表示装置２，９は、電子機器１に設けられた第１表示装置２と、第１操作入力装置に設けられた第２表示装置９とにより構成されており、第１画面は第２表示装置９に表示される画面であり、かつ、第２画面は第１表示装置２に表示される画面であり、第１操作入力装置の操作方法は、第２表示装置９と一体に構成されたタッチパネル１０を用いたものである。第１操作入力装置が携帯情報端末７である場合、図１１に例示するアニメーション表示を時間的に逆転してなるアニメーション表示により、第１画面と第２画面との対応関係を視覚的に分かりやすく表示することができる。
また、中間画面生成部２６は、第１表示装置２と第２表示装置９との位置関係に応じた中間画面を生成する。これにより、電子機器１と携帯情報端末７との位置関係にかかわらず、第２表示装置９から第１表示装置２に向かう方向にスライド方向を設定することができる。この結果、第２表示装置９の画面が第１表示装置２に移動したことを視覚的に分かりやすく表示することができる。
実施の形態３．
実施の形態１では、図５〜図７を参照して、操作入力用の操作入力装置１１がフルリモコン３からジェスチャー入力装置５に変更されたときのアニメーション表示の具体例について説明した。実施の形態３では、図１３〜図１５を参照して、操作入力用の操作入力装置１１がフルリモコン３から音声入力装置６に変更されたときのアニメーション表示の具体例について説明する。
なお、電子機器１、第１表示装置２及び操作入力装置１１の構成は、実施の形態１にて図１〜図３を参照して説明したものと同様であるため、図１〜図３を援用するとともに説明は省略する。また、電子機器１の動作は、実施の形態１にて図４を参照して説明したものと同様であるため、図４を援用するとともに説明は省略する。
電子機器１は、ハードディスクレコーダーと一体型のテレビジョン受信機により構成されており、録画機能及び再生機能を有している。第１表示制御部２２は、再生機能において、録画された複数個の番組の中から再生対象の番組を選択する画面を第１表示装置２に表示させている。
初期状態において、フルリモコン３が操作入力用の操作入力装置１１に設定されている。図１３に、フルリモコン３用の画面ＵＩに基づく第１画面の一例を示す。図１３に示す第１画面Ａ１は、図５に示す第１画面Ａ１と同様の画面であるため、説明を省略する。
これに対して、操作入力用の操作入力装置１１がフルリモコン３から音声入力装置６に変更されたものとする。実施の形態１にて説明したとおり、音声入力装置６の操作方法は、音声入力によるものである。音声入力装置６は、方向操作に用いることができず、また高い応答速度が要求される操作に用いることができない。音声入力装置６の操作には、第１表示装置２が用いられる。これらの内容に対応する画面ＵＩとは、例えば、各番組の番組名等を示す文字を含む所定形状のアイコン画像がタイル状に配列された画面において、番組名等の音声入力によりいずれかのアイコン画像を選択自在にしたものである。
図１４に、当該画面ＵＩに基づく第２画面の一例を示す。図１４に示す如く、第２画面Ａ２は、各番組の番組名等を示す文字（ＡＢＣ，ＤＥＦ，……）を含むアイコン画像Ｅがタイル状に配列された画面である。音声入力装置６に対する番組名等の音声入力により、複数個のアイコン画像Ｅのうちのいずれかのアイコン画像Ｅが選択自在になっている。図１４の例では、第２画面Ａ２の中央部に配置されたアイコン画像ＥＳが選択された状態であり、他のアイコン画像Ｅと異なる色彩にて表示されている。
図１４に示す第２画面Ａ２における個々のアイコン画像Ｅの大きさ及び配置は、図１３に示す第１画面Ａ１における個々のサムネイル画像Ｂの大きさ及び配置と同様である。第１画面Ａ１から第２画面Ａ２へのアニメーション表示は、例えば、個々のサムネイル画像Ｂを対応するアイコン画像Ｅにクロスフェードにより変化させる表示となる。
図１５に、当該アニメーション表示の一例を示す。なお、図１５は、説明を簡単にするために、中間画面生成部２６が１枚の中間画面ＡＭのみを生成する例を示している。図１５Ａは、図１３と同様の第１画面Ａ１を示している。図１５Ｃは、図１４と同様の第２画面Ａ２を示している。図１５Ｂは、第１画面Ａ１と第２画面Ａ２間の中間画面ＡＭを示している。中間画面ＡＭは、第１画面Ａ１及び第２画面Ａ２の各々を半透明にして、互いに重畳して表示させたものである。すなわち、図１５に示すアニメーション表示は、第１表示装置２の画面がクロスフェードにより第１画面Ａ１から第２画面Ａ２に切り替わるものである。
ここで、第１画面Ａ１及び第２画面Ａ２は、いずれも、再生機能において再生対象の番組を選択する画面である。すなわち、第２画面Ａ２は第１画面Ａ１と同一の機能に対応する画面である。また、第１画面Ａ１及び第２画面Ａ２は、同一の番組に対応するサムネイル画像ＢＳ又はアイコン画像ＥＳが選択された状態の画面である。すなわち、第２画面Ａ２は第１画面Ａ１と同一の操作状態に対応する画面である。
図１５に示すアニメーション表示により、第１表示装置２の画面を第１画面Ａ１から第２画面Ａ２に切り替えるとき、第１画面Ａ１と第２画面Ａ２との対応関係を視覚的に分かりやすく表示することができる。この結果、操作者は、第２画面Ａ２が第１画面Ａ１と同一の機能及び同一の操作状態に対応する画面であることを無意識に把握して、スムーズに操作を続行することができる。
なお、操作入力用の操作入力装置１１がシンプルリモコン４から音声入力装置６に変更されたときのアニメーション表示の具体例は、図１５に示すものと同様であるため、図示及び説明を省略する。
また、操作入力用の操作入力装置１１が音声入力装置６からフルリモコン３又はシンプルリモコン４に変更されたときのアニメーション表示の具体例は、図１５に示すアニメーション表示を時間的に逆転したもの、すなわち図１５Ｃ、図１５Ｂ、図１５Ａの順に画面が遷移するものと同様であるため、図示及び説明を省略する。
また、ＵＩ制御装置１００は、図１６に示す如く、属性検出部２８及び第１文字態様設定部３１を有するものであっても良い。
属性検出部２８は、電子機器１に設けられたセンサ１２を用いて、操作者の属性を検出するものである。属性検出部２８及びセンサ１２の具体例は、実施の形態１にて図８を参照して説明したものと同様であるため、説明を省略する。
第１文字態様設定部３１は、操作信号受信部２１から入力された操作開始信号を用いて、操作入力用の操作入力装置１１が音声入力装置６に設定されているか否かを判定するものである。第１文字態様設定部３１は、操作入力用の操作入力装置１１が音声入力装置６に設定されている場合、操作者の属性に応じて、アイコン画像における文字の表示態様を設定するものである。第１文字態様設定部３１は、設定した表示態様にて個々のアイコン画像を第１表示装置２に表示させるように第１表示制御部２２に指示するものである。
具体的には、例えば、第１文字態様設定部３１は、操作者が子供である場合、アイコン画像に含まれる漢字を平仮名に変換して表示させるものである。また、第１文字態様設定部３１は、操作者が高齢者である場合、アイコン画像に含まれる文字を拡大して表示させるものである。
すなわち、操作入力用の操作入力装置１１がフルリモコン３又はシンプルリモコン４から音声入力装置６に変更されたとき、操作者が子供である場合、第１文字態様設定部３１は、中間画面（図１５Ｂ）及び第２画面（図１５Ｃ）における個々のアイコン画像の漢字を平仮名に変換して表示させる。その後、第１文字態様設定部３１は、第２ＵＩに基づく画面における個々のアイコン画像の漢字を平仮名に変換して表示させる処理を継続する。
また、操作入力用の操作入力装置１１がフルリモコン３又はシンプルリモコン４から音声入力装置６に変更されたとき、操作者が高齢者である場合、第１文字態様設定部３１は、中間画面（図１５Ｂ）及び第２画面（図１５Ｃ）における個々のアイコン画像の文字を拡大して表示させる。その後、第１文字態様設定部３１は、第２ＵＩに基づく画面における個々のアイコン画像の文字を拡大して表示させる処理を継続する。
また、操作入力用の操作入力装置１１が音声入力装置６からフルリモコン３又はシンプルリモコン４に変更されたとき、操作者が子供である場合、第１文字態様設定部３１は、第１ＵＩに基づく画面における個々のアイコン画像の漢字を平仮名にして表示させる処理から継続して、第１画面（図１５Ｃ）及び中間画面（図１５Ｂ）における個々のアイコン画像の漢字を平仮名に変換して表示させる。その後、第１表示装置２に第２画面（図１５Ａ）が表示されたとき、第１文字態様設定部３１は当該処理を終了する。
また、操作入力用の操作入力装置１１が音声入力装置６からフルリモコン３又はシンプルリモコン４に変更されたとき、操作者が高齢者である場合、第１文字態様設定部３１は、第１ＵＩに基づく画面における個々のアイコン画像の文字を拡大して表示させる処理から継続して、第１画面（図１５Ｃ）及び中間画面（図１５Ｂ）における個々のアイコン画像の文字を拡大して表示させる。その後、第１表示装置２に第２画面（図１５Ａ）が表示されたとき、第１文字態様設定部３１は当該処理を終了する。
または、ＵＩ制御装置１００は、図１７に示す如く、距離検出部３２及び第２文字態様設定部３３を有するものであっても良い。
距離検出部３２は、電子機器１に設けられたセンサ１２を用いて、第１表示装置２と操作者間の距離を検出するものである。具体的には、例えば、第１表示装置２が電子機器１と一体に設けられている場合、センサ１２は操作者を撮影するカメラにより構成されている。他方、第１表示装置２が電子機器１と別部材に設けられている場合、センサ１２は操作者及び第１表示装置２を撮影するカメラにより構成されている。距離検出部３２は、当該カメラが撮影した画像に対する画像認識処理を実行して、第１表示装置２と操作者間の距離を検出する。
第２文字態様設定部３３は、操作信号受信部２１から入力された操作開始信号を用いて、操作入力用の操作入力装置１１が音声入力装置６に設定されている否かを判定するものである。第２文字態様設定部３３は、操作入力用の操作入力装置１１が音声入力装置６に設定されている場合、距離検出部３２が検出した距離に応じて、個々のアイコン画像における文字の表示態様を設定するものである。
具体的には、例えば、第２文字態様設定部３３は、距離に応じて文字の大きさを変化させる。すなわち、操作入力用の操作入力装置１１がフルリモコン３又はシンプルリモコン４から音声入力装置６に変更されたとき、第２文字態様設定部３３は、中間画面（図１５Ｂ）及び第２画面（図１５Ｃ）における個々のアイコン画像の文字の大きさを距離に応じて変化させる。その後、第２文字態様設定部３３は、第２ＵＩに基づく画面における個々のアイコン画像の文字の大きさを距離に応じて変化させる。
また、操作入力用の操作入力装置１１が音声入力装置６からフルリモコン３又はシンプルリモコン４に変更されたとき、第２文字態様設定部３３は、第１ＵＩに基づく画面における個々のアイコン画像の文字の大きさを距離に応じて変化させる処理から継続して、第１画面（図１５Ｃ）及び中間画面（図１５Ｂ）における個々のアイコン画像の文字の大きさを距離に応じて変化させる。その後、第１表示装置２に第２画面（図１５Ａ）が表示されたとき、第２文字態様設定部３３は当該処理を終了する。
第１文字態様設定部３１又は第２文字態様設定部３３がアイコン画像における文字の表示態様を設定することにより、当該文字の可読性を向上することができる。
そのほか、実施の形態３の電子機器１は、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。実施の形態３のＵＩ制御装置１００は、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。
以上のように、第２操作入力装置の操作方法は、音声入力によるものである。第２操作入力装置が音声入力装置６である場合、図１５に例示するアニメーション表示により、第１画面と第２画面との対応関係を視覚的に分かりやすく表示することができる。
また、中間画面及び第２画面は文字表示を含む画面であり、ＵＩ制御装置１００は、操作者の属性に応じて、文字表示における文字の表示態様を設定する第１文字態様設定部３１を備える。これにより、中間画面及び第２画面における文字の可読性を向上することができる。
また、中間画面及び第２画面は文字表示を含む画面であり、ＵＩ制御装置１００は、表示装置２と操作者間の距離に応じて、文字表示における文字の表示態様を設定する第２文字態様設定部３３を備える。これにより、中間画面及び第２画面における文字の可読性を向上することができる。
また、第１操作入力装置の操作方法は、音声入力によるものである。第１操作入力装置が音声入力装置６である場合、図１５に例示するアニメーション表示を時間的に逆転してなるアニメーション表示により、第１画面と第２画面との対応関係を視覚的に分かりやすく表示することができる。
また、第１画面及び中間画面は文字表示を含む画面であり、ＵＩ制御装置１００は、操作者の属性に応じて、文字表示における文字の表示態様を設定する第１文字態様設定部３１を備える。これにより、第１画面及び中間画面における文字の可読性を向上することができる。
また、第１画面及び中間画面は文字表示を含む画面であり、ＵＩ制御装置１００は、表示装置２と操作者間の距離に応じて、文字表示における文字の表示態様を設定する第２文字態様設定部３３を備える。これにより、第１画面及び中間画面における文字の可読性を向上することができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
本発明のＵＩ制御装置は、複数種類の操作入力装置を有する電子機器、例えばテレビジョン受信機における画面ＵＩの制御に用いることができる。
１ 電子機器、２ 第１表示装置、３ フルリモコン、４ シンプルリモコン、５ ジェスチャー入力装置、６ 音声入力装置、７ 携帯情報端末、８ 第２表示制御部、９ 第２表示装置、１０ タッチパネル、１１ 操作入力装置、１２ センサ、２１ 操作信号受信部、２２ 第１表示制御部、２３ ＵＩ設定用情報記憶部、２４ 変更有無判定部、２５ 切替要否判定部、２６ 中間画面生成部、２７ ＵＩ切替部、２８ 属性検出部、２９ 操作補助部、３０ 位置検出部、３１ 第１文字態様設定部、３２ 距離検出部、３３ 第２文字態様設定部、４１ 受信機、４２ メモリ、４３ プロセッサ、４４ 処理回路、１００ ＵＩ制御装置。

Claims (13)

  1. 複数種類の操作入力装置により操作自在な電子機器用のユーザーインターフェース制御装置であって、
    操作入力用の前記操作入力装置が第１操作入力装置から第２操作入力装置に変更されたとき、表示装置の画面におけるユーザーインターフェースを第１ユーザーインターフェースから第２ユーザーインターフェースに切り替えるか否かを判定する切替要否判定部と、
    前記切替要否判定部により前記ユーザーインターフェースを切り替えると判定された場合、前記第１ユーザーインターフェースに基づく第１画面と前記第２ユーザーインターフェースに基づく第２画面との中間画面を生成する中間画面生成部と、
    前記中間画面を用いたアニメーション表示により、前記表示装置の画面を前記第１画面から前記第２画面に切り替えるユーザーインターフェース切替部と、
    を備え、
    前記第１ユーザーインターフェースは、前記第１操作入力装置の操作方法に対応する前記ユーザーインターフェースであり、
    前記第２ユーザーインターフェースは、前記第２操作入力装置の操作方法に対応する前記ユーザーインターフェースであり、
    前記第１ユーザーインターフェースは、さらに、前記第１操作入力装置による操作内容の制限に対応する前記ユーザーインターフェースであり、
    前記第２ユーザーインターフェースは、さらに、前記第２操作入力装置による操作内容の制限に対応する前記ユーザーインターフェースであり、
    前記切替要否判定部は、前記第１操作入力装置の操作方法及び前記第１操作入力装置による操作内容の制限を示す第１ユーザーインターフェース設定用情報と、前記第２操作入力装置の操作方法及び前記第２操作入力装置による操作内容の制限を示す第２ユーザーインターフェース設定用情報とを比較して、当該比較の結果を用いて前記ユーザーインターフェースを切り替えるか否かを判定することを特徴とするユーザーインターフェース制御装置。
  2. 複数種類の操作入力装置により操作自在な電子機器用のユーザーインターフェース制御装置であって、
    操作入力用の前記操作入力装置が第１操作入力装置から第２操作入力装置に変更されたとき、表示装置の画面におけるユーザーインターフェースを第１ユーザーインターフェースから第２ユーザーインターフェースに切り替えるか否かを判定する切替要否判定部と、
    前記切替要否判定部により前記ユーザーインターフェースを切り替えると判定された場合、前記第１ユーザーインターフェースに基づく第１画面と前記第２ユーザーインターフェースに基づく第２画面との中間画面を生成する中間画面生成部と、
    前記中間画面を用いたアニメーション表示により、前記表示装置の画面を前記第１画面から前記第２画面に切り替えるユーザーインターフェース切替部と、
    を備え、
    前記第１ユーザーインターフェースは、前記第１操作入力装置の操作方法に対応する前記ユーザーインターフェースであり、
    前記第２ユーザーインターフェースは、前記第２操作入力装置の操作方法に対応する前記ユーザーインターフェースであり、
    前記表示装置は、解像度が相違する複数個の前記表示装置により構成されており、
    前記第１ユーザーインターフェースは、さらに、前記第１操作入力装置の操作に用いられる前記表示装置の解像度に対応する前記ユーザーインターフェースであり、
    前記第２ユーザーインターフェースは、さらに、前記第２操作入力装置の操作に用いられる前記表示装置の解像度に対応する前記ユーザーインターフェースであり、
    前記切替要否判定部は、前記第１操作入力装置の操作方法及び前記第１操作入力装置の操作に用いられる前記表示装置を示す第１ユーザーインターフェース設定用情報と、前記第２操作入力装置の操作方法及び前記第２操作入力装置の操作に用いられる前記表示装置を示す第２ユーザーインターフェース設定用情報とを比較して、当該比較の結果を用いて前記ユーザーインターフェースを切り替えるか否かを判定することを特徴とするユーザーインターフェース制御装置。
  3. 複数種類の操作入力装置により操作自在な電子機器用のユーザーインターフェース制御装置であって、
    操作入力用の前記操作入力装置が第１操作入力装置から第２操作入力装置に変更されたとき、表示装置の画面におけるユーザーインターフェースを第１ユーザーインターフェースから第２ユーザーインターフェースに切り替えるか否かを判定する切替要否判定部と、
    前記切替要否判定部により前記ユーザーインターフェースを切り替えると判定された場合、前記第１ユーザーインターフェースに基づく第１画面と前記第２ユーザーインターフェースに基づく第２画面との中間画面を生成する中間画面生成部と、
    前記中間画面を用いたアニメーション表示により、前記表示装置の画面を前記第１画面から前記第２画面に切り替えるユーザーインターフェース切替部と、
    を備え、
    前記第１ユーザーインターフェースは、前記第１操作入力装置の操作方法に対応する前記ユーザーインターフェースであり、
    前記第２ユーザーインターフェースは、前記第２操作入力装置の操作方法に対応する前記ユーザーインターフェースであり、
    前記表示装置は、解像度が相違する複数個の前記表示装置により構成されており、
    前記第１ユーザーインターフェースは、さらに、前記第１操作入力装置の操作に用いられる前記表示装置の解像度に対応する前記ユーザーインターフェースであり、
    前記第２ユーザーインターフェースは、さらに、前記第２操作入力装置の操作に用いられる前記表示装置の解像度に対応する前記ユーザーインターフェースであり、
    複数個の前記表示装置は、前記電子機器に設けられた第１表示装置と、前記第２操作入力装置に設けられた第２表示装置であり、
    前記第１画面は前記第１表示装置に表示される画面であり、かつ、前記第２画面は前記第２表示装置に表示される画面であり、
    前記第２操作入力装置の操作方法は、前記第２表示装置と一体に構成されたタッチパネルを用いたものであり、
    前記中間画面生成部は、前記第１表示装置と前記第２表示装置との位置関係に応じた前記中間画面を生成することを特徴とするユーザーインターフェース制御装置。
  4. 前記第２画面は、前記第１画面と同一の機能に対応する画面であることを特徴とする請求項１から請求項３のうちのいずれか１項記載のユーザーインターフェース制御装置。
  5. 前記第２画面は、前記第１画面と同一の操作状態に対応する画面であることを特徴とする請求項４記載のユーザーインターフェース制御装置。
  6. 前記第２操作入力装置の操作方法は、ジェスチャー入力によるものであることを特徴とする請求項１または請求項２記載のユーザーインターフェース制御装置。
  7. 操作者の属性に応じて、前記ジェスチャー入力による操作を補助する操作補助画像を前記中間画面及び前記第２画面に重畳して表示させる操作補助部を備えることを特徴とする請求項６記載のユーザーインターフェース制御装置。
  8. 前記第２操作入力装置の操作方法は、音声入力によるものであることを特徴とする請求項１から請求項５のうちのいずれか１項記載のユーザーインターフェース制御装置。
  9. 前記中間画面及び前記第２画面は文字表示を含む画面であり、
    操作者の属性に応じて、前記文字表示における文字の表示態様を設定する第１文字態様設定部を備える
    ことを特徴とする請求項８記載のユーザーインターフェース制御装置。
  10. 前記中間画面及び前記第２画面は文字表示を含む画面であり、
    前記表示装置と操作者間の距離に応じて、前記文字表示における文字の表示態様を設定する第２文字態様設定部を備える
    ことを特徴とする請求項８記載のユーザーインターフェース制御装置。
  11. 複数種類の操作入力装置により操作自在な電子機器用のユーザーインターフェース制御方法であって、
    切替要否判定部が、操作入力用の前記操作入力装置が第１操作入力装置から第２操作入力装置に変更されたとき、表示装置の画面におけるユーザーインターフェースを第１ユーザーインターフェースから第２ユーザーインターフェースに切り替えるか否かを判定するステップと、
    中間画面生成部が、前記切替要否判定部により前記ユーザーインターフェースを切り替えると判定された場合、前記第１ユーザーインターフェースに基づく第１画面と前記第２ユーザーインターフェースに基づく第２画面との中間画面を生成するステップと、
    ユーザーインターフェース切替部が、前記中間画面を用いたアニメーション表示により、前記表示装置の画面を前記第１画面から前記第２画面に切り替えるステップと、
    を備え、
    前記第１ユーザーインターフェースは、前記第１操作入力装置の操作方法に対応する前記ユーザーインターフェースであり、
    前記第２ユーザーインターフェースは、前記第２操作入力装置の操作方法に対応する前記ユーザーインターフェースであり、
    前記第１ユーザーインターフェースは、さらに、前記第１操作入力装置による操作内容の制限に対応する前記ユーザーインターフェースであり、
    前記第２ユーザーインターフェースは、さらに、前記第２操作入力装置による操作内容の制限に対応する前記ユーザーインターフェースであり、
    前記切替要否判定部が、前記第１操作入力装置の操作方法及び前記第１操作入力装置による操作内容の制限を示す第１ユーザーインターフェース設定用情報と、前記第２操作入力装置の操作方法及び前記第２操作入力装置による操作内容の制限を示す第２ユーザーインターフェース設定用情報とを比較して、当該比較の結果を用いて前記ユーザーインターフェースを切り替えるか否かを判定することを特徴とするユーザーインターフェース制御方法。
  12. 複数種類の操作入力装置により操作自在な電子機器用のユーザーインターフェース制御方法であって、
    切替要否判定部が、操作入力用の前記操作入力装置が第１操作入力装置から第２操作入力装置に変更されたとき、表示装置の画面におけるユーザーインターフェースを第１ユーザーインターフェースから第２ユーザーインターフェースに切り替えるか否かを判定するステップと、
    中間画面生成部が、前記切替要否判定部により前記ユーザーインターフェースを切り替えると判定された場合、前記第１ユーザーインターフェースに基づく第１画面と前記第２ユーザーインターフェースに基づく第２画面との中間画面を生成するステップと、
    ユーザーインターフェース切替部が、前記中間画面を用いたアニメーション表示により、前記表示装置の画面を前記第１画面から前記第２画面に切り替えるステップと、
    を備え、
    前記第１ユーザーインターフェースは、前記第１操作入力装置の操作方法に対応する前記ユーザーインターフェースであり、
    前記第２ユーザーインターフェースは、前記第２操作入力装置の操作方法に対応する前記ユーザーインターフェースであり、
    前記表示装置は、解像度が相違する複数個の前記表示装置により構成されており、
    前記第１ユーザーインターフェースは、さらに、前記第１操作入力装置の操作に用いられる前記表示装置の解像度に対応する前記ユーザーインターフェースであり、
    前記第２ユーザーインターフェースは、さらに、前記第２操作入力装置の操作に用いられる前記表示装置の解像度に対応する前記ユーザーインターフェースであり、
    前記切替要否判定部が、前記第１操作入力装置の操作方法及び前記第１操作入力装置の操作に用いられる前記表示装置を示す第１ユーザーインターフェース設定用情報と、前記第２操作入力装置の操作方法及び前記第２操作入力装置の操作に用いられる前記表示装置を示す第２ユーザーインターフェース設定用情報とを比較して、当該比較の結果を用いて前記ユーザーインターフェースを切り替えるか否かを判定することを特徴とするユーザーインターフェース制御方法。
  13. 複数種類の操作入力装置により操作自在な電子機器用のユーザーインターフェース制御方法であって、
    切替要否判定部が、操作入力用の前記操作入力装置が第１操作入力装置から第２操作入力装置に変更されたとき、表示装置の画面におけるユーザーインターフェースを第１ユーザーインターフェースから第２ユーザーインターフェースに切り替えるか否かを判定するステップと、
    中間画面生成部が、前記切替要否判定部により前記ユーザーインターフェースを切り替えると判定された場合、前記第１ユーザーインターフェースに基づく第１画面と前記第２ユーザーインターフェースに基づく第２画面との中間画面を生成するステップと、
    ユーザーインターフェース切替部が、前記中間画面を用いたアニメーション表示により、前記表示装置の画面を前記第１画面から前記第２画面に切り替えるステップと、
    を備え、
    前記第１ユーザーインターフェースは、前記第１操作入力装置の操作方法に対応する前記ユーザーインターフェースであり、
    前記第２ユーザーインターフェースは、前記第２操作入力装置の操作方法に対応する前記ユーザーインターフェースであり、
    前記表示装置は、解像度が相違する複数個の前記表示装置により構成されており、
    前記第１ユーザーインターフェースは、さらに、前記第１操作入力装置の操作に用いられる前記表示装置の解像度に対応する前記ユーザーインターフェースであり、
    前記第２ユーザーインターフェースは、さらに、前記第２操作入力装置の操作に用いられる前記表示装置の解像度に対応する前記ユーザーインターフェースであり、
    複数個の前記表示装置は、前記電子機器に設けられた第１表示装置と、前記第２操作入力装置に設けられた第２表示装置であり、
    前記第１画面は前記第１表示装置に表示される画面であり、かつ、前記第２画面は前記第２表示装置に表示される画面であり、
    前記第２操作入力装置の操作方法は、前記第２表示装置と一体に構成されたタッチパネルを用いたものであり、
    前記中間画面生成部が、前記第１表示装置と前記第２表示装置との位置関係に応じた前記中間画面を生成することを特徴とするユーザーインターフェース制御方法。
JP2018526966A 2016-08-08 2016-08-08 ユーザーインターフェース制御装置及びユーザーインターフェース制御方法 Expired - Fee Related JP6377307B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/073250 WO2018029738A1 (ja) 2016-08-08 2016-08-08 ユーザーインターフェース制御装置及びユーザーインターフェース制御方法

Publications (2)

Publication Number Publication Date
JPWO2018029738A1 JPWO2018029738A1 (ja) 2018-08-16
JP6377307B2 true JP6377307B2 (ja) 2018-08-22

Family

ID=61161805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018526966A Expired - Fee Related JP6377307B2 (ja) 2016-08-08 2016-08-08 ユーザーインターフェース制御装置及びユーザーインターフェース制御方法

Country Status (2)

Country Link
JP (1) JP6377307B2 (ja)
WO (1) WO2018029738A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8726175B2 (en) * 2008-02-27 2014-05-13 Kyocera Corporation User interface generation apparatus
WO2013022221A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
JP2015088086A (ja) * 2013-11-01 2015-05-07 ソニー株式会社 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
WO2018029738A1 (ja) 2018-02-15
JPWO2018029738A1 (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
JP5912014B2 (ja) ３ｄリモートコントローラ用のｇｕｉアプリケーション
JP4102827B2 (ja) 電子装置のディスプレイ部でメニューを検索する方法及び装置
KR101493603B1 (ko) 외부 표시 장치와 접속가능한 표시 단말 장치 및 방법
US20110138275A1 (en) Method for selecting functional icons on touch screen
US20120032988A1 (en) Display control apparatus that displays list of images onto display unit, display control method, and storage medium storing control program therefor
JP5900161B2 (ja) 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
TW200930096A (en) User interface for set top box
JP2013152693A (ja) 情報処理プログラム、情報処理装置、画像表示方法及び画像表示システム
US20060197751A1 (en) Display control apparatus and control method thereof
JP6647103B2 (ja) 表示制御装置およびその制御方法
CN103488388A (zh) 显示控制装置及其控制方法
US20130162501A1 (en) Method for controlling multiple displays
JP6758921B2 (ja) 電子機器及びその制御方法
JP4180462B2 (ja) 画面表示装置
US9753548B2 (en) Image display apparatus, control method of image display apparatus, and program
KR100703289B1 (ko) 문자 효과 아이템 입력 방법 및 장치
JP5113218B2 (ja) 携帯端末装置、表示制御方法、及び表示制御プログラム
KR20160097868A (ko) 디스플레이 장치 및 디스플레이 방법
JP6377307B2 (ja) ユーザーインターフェース制御装置及びユーザーインターフェース制御方法
US7594190B2 (en) Apparatus and method for user interfacing
JP6587553B2 (ja) 撮像装置及び表示方法
US20200257396A1 (en) Electronic device and control method therefor
WO2019102885A1 (ja) 画像の表示部分を変更可能な電子機器
JP2017215857A (ja) 表示装置、表示方法およびプログラム
JP6971573B2 (ja) 電子機器、その制御方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180524

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180524

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180724

R150 Certificate of patent or registration of utility model

Ref document number: 6377307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees