本出願に係る電子機器、制御方法及び制御プログラムを実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。
本出願に係る電子機器は、スマートフォン、モバイルフォン、タブレット、携帯型パソコン、メディアプレイヤ、電子書籍リーダ、ナビゲータ、ウエアラブルデバイス、又はゲーム機等の機器であってよい。
図1は、実施形態に係る電子機器の機能構成の一例を示すブロック図である。以下の説明において、同様の構成要素について同一の符号を付すことがある。以下の説明において、重複する説明は省略することがある。以下の説明において、コンテンツは、ウェブページなどに代表されるように、文字、図形、音声、画像、動画、及びこれらの組合せで構成されたデジタルデータの集合体、並びにアプリケーションなどのソフトウェアによって処理されるデジタルデータの集合体である。コンテンツは、ウェブページの画面(以下、ウェブ画面)などに代表されるように、文字、図形、音声、画像、動画、及びこれらの組合せで構成された状態でディスプレイなどに表示される画面、並びにアプリケーションなどのソフトウェアの実行に伴ってディスプレイなどに表示される画面を含むものとする。以下に説明する実施形態では、コンテンツの一例として、ウェブ画面およびソフトウェアの実行に伴ってディスプレイなどに表示される画面を取りあげて説明する。
図1に示すように、電子機器1は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、カメラ13と、コネクタ14と、モーションセンサ15とを含む。
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2A及びタッチスクリーン2Bは、例えば、重なって位置してよいし、並んで位置してよいし、離れて位置してよい。ディスプレイ2Aとタッチスクリーン2Bとが重なって位置する場合、例えば、ディスプレイ2Aの1ないし複数の辺は、タッチスクリーン2Bのいずれの辺とも沿っていなくてもよい。
ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、又は無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを含む。ディスプレイ2Aは、文字、画像、記号、及び図形等のオブジェクトを画面内に表示する。ディスプレイ2Aが表示するオブジェクトを含む画面は、ロック画面と呼ばれる画面、ホーム画面と呼ばれる画面、アプリケーションの実行中に表示されるアプリケーション画面を含む。ホーム画面は、デスクトップ、待受画面、アイドル画面、標準画面、アプリ一覧画面又はランチャー画面と呼ばれることもある。
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触又は近接を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン2Bに接触又は近接したときのタッチスクリーン2B上の位置を検出することができる。以下の説明において、タッチスクリーン2Bが検出する複数の指、ペン、及びスタイラスペン等がタッチスクリーン2Bに接触又は近接した位置を「検出位置」と表記する。タッチスクリーン2Bは、タッチスクリーン2Bに対する指の接触又は近接を、検出位置とともにコントローラ10に通知する。タッチスクリーン2Bは、検出位置の通知をもって接触又は近接の検出をコントローラ10に通知してよい。タッチスクリーン2Bが行える動作を、タッチスクリーン2Bを有するタッチスクリーンディスプレイ2は実行できる。言い換えると、タッチスクリーン2Bが行う動作は、タッチスクリーンディスプレイ2が行ってもよい。
コントローラ10は、タッチスクリーン2Bにより検出された接触又は近接、検出位置、検出位置の変化、接触又は近接が継続した時間、接触又は近接が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいて、ジェスチャの種別を判別する。コントローラ10が行える動作を、コントローラ10を有する電子機器1は実行できる。言い換えると、コントローラ10が行う動作は、電子機器1が行ってもよい。ジェスチャは、指を用いて、タッチスクリーン2Bに対して行われる操作である。タッチスクリーン2Bに対して行われる操作は、タッチスクリーン2Bを有するタッチスクリーンディスプレイ2に行われてもよい。コントローラ10が、タッチスクリーン2Bを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、及び荷重検出方式等の任意の方式でよい。
ボタン3は、ユーザからの操作入力を受け付ける。ボタン3は、電子機器1の筐体に縁に沿って並ぶ1又は複数の物理キーを含んでよい。ボタン3は、電子機器1の筐体の縁に沿った第1の列に並ぶ複数の物理キーを含む第1の物理キー群と、該筐体の縁に沿った第2の列に並ぶ複数の物理キーを含む第2の物理キー群とを含んでよい。
照度センサ4は、照度を検出する。照度は、照度センサ4の測定面の単位面積に入射する光束の値である。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。
近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ5は、例えば、ディスプレイ2Aと顔とが接近したことを検出する。照度センサ4及び近接センサ5は、1つのセンサとして構成されていてもよい。照度センサ4は、近接センサとして用いられてもよい。
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる無線通信規格には、例えば、2G、3G、4G、5G等のセルラーフォンの通信規格と、近距離無線の通信規格とが含まれる。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、WiMAX(登録商標)(Worldwide Interoperability for Microwave Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy−phone System)等がある。近距離無線の通信規格としては、例えば、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)、WPAN(Wireless Personal Area Network)等が含まれる。WPANの通信規格には、例えば、ZigBee(登録商標)が含まれる。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。
レシーバ7は、コントローラ10から送出される音信号を音として出力する。レシーバ7は、例えば、電子機器1にて再生される動画の音、音楽の音、及び通話時の相手の声を出力することができる。マイク8は、入力されるユーザの声等を音信号へ変換してコントローラ10へ送信する。
ストレージ9は、プログラム及びデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域として利用されてもよい。ストレージ9は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ9に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する支援プログラム(図示略)とが含まれる。アプリケーションは、例えば、フォアグランドで実行される場合、当該アプリケーションに係る画面を、ディスプレイ2Aに表示する。支援プログラムには、例えば、OSが含まれる。プログラムは、通信ユニット6による無線通信又は非一過的な記憶媒体を介してストレージ9にインストールされてもよい。
ストレージ9は、制御プログラム9A、キーデータ9B、要素分類規則9C、ユーザ属性対応優先度テーブル9D、及び設定データ9Zなどを記憶できる。制御プログラム9Aは、各種機能を提供するに際し、電子機器1が記憶する各種アプリケーションと連携できる。制御プログラム9Aは、通信ユニット6を介してクラウドストレージと連携し、当該クラウドストレージが記憶するファイル及びデータにアクセスしてもよい。クラウドストレージは、ストレージ9に記憶されるプログラム及びデータの一部又は全部を記憶してもよい。
制御プログラム9Aは、電子機器1の各種動作に関する処理を実現するための機能をそれぞれ提供できる。制御プログラム9Aが提供する機能には、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整する機能が含まれる。制御プログラム9Aが提供する機能には、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効とする機能が含まれる。制御プログラム9Aが提供する機能には、通信ユニット6、レシーバ7、及びマイク8等を制御することによって、通話を実現させる機能が含まれる。制御プログラム9Aが提供する機能には、カメラ12、及びカメラ13の撮影処理を制御する機能が含まれる。制御プログラム9Aが提供する機能には、コネクタ14を介して接続される外部機器との間の通信を制御する機能が含まれる。制御プログラム9Aが提供する機能には、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う機能が含まれる。制御プログラム9Aが提供する機能には、モーションセンサ15の検出結果に基づいて、電子機器1を携帯する利用者の移動、停止等を検出する機能が含まれる。
制御プログラム9Aが提供する機能には、コンテンツの操作等に関する機能が含まれる。コンテンツは、ウェブページなどに代表されるように、文字、図形、音声、画像、動画、及びこれらの組合せで構成されたデジタルデータの集合体、並びにアプリケーションなどのソフトウェアによって処理されるデジタルデータの集合体である。コンテンツは、ウェブページの画面(以下、ウェブ画面)などに代表されるように、文字、図形、音声、画像、動画、及びこれらの組合せで構成された状態でディスプレイなどに表示される画面、並びにアプリケーションなどのソフトウェアの実行に伴ってディスプレイなどに表示される画面を含む。
制御プログラム9Aが提供するコンテンツの操作等に関する機能には、例えば、電子機器1が、タッチスクリーンディスプレイ2に表示されるコンテンツをタッチスクリーンディスプレイ2上の所定の領域に設定し、設定した領域を第1の物理キー群の物理キーのいずれかに割り当てる処理を実現するための機能も含まれる。また、この機能には、例えば、電子機器1が、第1の物理キー群の物理キーの操作を検出すると、操作が検出された物理キーに対応する領域の中に含まれるコンテンツの要素を要素分類規則9Cに基づいて分類する処理を実現するための機能も含まれる。また、この機能には、電子機器1が、後述する設定データ9Z内のユーザ属性の設定値(以下、ユーザ属性データ)及びユーザ属性対応優先度テーブル9Dを参照し、要素分類規則9Cに基づいて分類した要素の中から、ユーザ属性データに対応する優先度に該当する要素を選別する処理を実現するための機能も含まれる。すなわち、ユーザ属性データに対応する優先度の範囲が優先度1〜3である場合には、要素分類規則9Cに基づいて分類した要素の中から、優先度1〜3の優先度に該当する要素のみを選別する。また、この機能には、例えば、電子機器1が、ユーザ属性データに基づいて選別した要素を第2の物理キー群の物理キーのいずれかに割り当てる処理を実現するための機能が含まれる。また、この機能には、例えば、電子機器1が、コンテンツの要素の数が物理キーの数よりも多い場合、予め定められたパターンに従って、同一の物理キーに対し異なる要素を重複して割り当てる処理を実現するための機能が含まれる。また、この機能には、例えば、電子機器1が、ユーザ属性データに基づいて選別した要素について要素ごとに一括したユーザ選択を可能とするための区分を設定して、設定した区分を第1の物理キー群の物理キーに割り当てる処理を実現するための機能を提供できる。例えば、アドレスバー、メニュー各部、リンク各部、ページ内テキスト、ページ内画像がコンテンツに含まれる要素として分類された場合、電子機器1は、アドレスバーに対応する区分として「アドレス」、メニュー各部に対応する区分として「メニュー」、リンク各部に対応する区分として「リンク」、ページ内テキストに対応する区分として「テキスト」、ページ内画像に対応する区分として「画像」、をそれぞれ設定し、第1の物理キー群の物理キーにそれぞれ割り当てることができる。
制御プログラム9Aが提供するコンテンツの操作等に関する機能には、例えば、電子機器1が、操作が検出した物理キーに割り当てられている区分又は要素に対応する音声を出力する処理を実現する機能も含まれる。操作が検出された物理キーにウェブ画面の要素である「アドレスバー」が割り当てられている場合、電子機器1が、アドレスバーに記述されているアドレスを読み上げる音声を出力する処理を実現できる。操作が検出された物理キーに、ウェブ画面の要素に対応する区分として「アドレス」が割り当てられている場合、電子機器1が、操作が検出された物理キーに、要素に対応する区分として「アドレス」が割り当てられている旨を通知するための音声を出力する処理を実現できる。操作が検出された物理キーにウェブ画面の要素である「メニュー各部」が割り当てられている場合、電子機器1が、メニューである旨およびメニューの内容などを読み上げる音声を出力する処理を実現できる。操作が検出された物理キーに、ウェブ画面の要素に対応する区分として「メニュー」が割り当てられている場合、電子機器1が、操作が検出された物理キーに、要素に対応する区分として「メニュー」が割り当てられている旨を通知するための音声を出力する処理を実現できる。操作が検出された物理キーにウェブ画面の要素である「ページ内テキスト」が割り当てられている場合、電子機器1が、テキストに記載されている内容を読み上げる音声を出力する処理を実現できる。操作が検出された物理キーに、ウェブ画面の要素に対応する区分として「テキスト」が割り当てられている場合、電子機器1が、操作が検出された物理キーに、要素に対応する区分として「テキスト」が割り当てられている旨を通知するための音声を出力する処理を実現できる。操作が検出された物理キーにウェブ画面の要素である「リンク各部」が割り当てられている場合、電子機器1が、リンクに記載されている内容を読み上げる音声を出力する処理を実現できる。操作が検出された物理キーに、ウェブ画面の要素に対応する区分として「リンク」が割り当てられている場合、電子機器1が、操作が検出された物理キーに、要素に対応する区分として「リンク」が割り当てられている旨を通知するための音声を出力する処理を実現できる。操作が検出された物理キーにウェブ画面の要素である「ページ内画像」が割り当てられている場合、電子機器1が、画像に付与されたIDを読み上げる音声を出力する処理を実現できる。操作が検出された物理キーに、ウェブ画面の要素に対応する区分として「画像」が割り当てられている場合、電子機器1が、操作が検出された物理キーに、要素に対応する区分として「画像」が割り当てられている旨を通知するための音声を出力する処理を実現できる。
キーデータ9Bは、電子機器1に備えられた物理キーの構成に関するデータを含む。例えば、キーデータ9Bは、電子機器1の所定位置を基準に設定された物理キーの配置位置、及び物理キーの個数などを含む。また、キーデータ9Bは、物理キーに割り当てられているコンテンツの要素及び区分の管理情報を含む。管理情報は、操作された物理キーに対応する処理(例えば、要素又は区分の内容を読み上げる音声出力など)を実行する際に参照される。
図2は、実施形態に係るキーデータ9Bの一例を示す図である。図2に例示するように、キーデータ9Bは、物理キー群ごとに、物理キー群を構成する物理キーのキー構成、物理キーに対する割当機能、物理キーに対する割当区分又は割当要素を示すデータを含んでいる。図2に示す例では、第1の物理キー群G1に対応するキー構成は「30a1〜30a5」の5個の物理キーとなっている。図2に示す例では、物理キー30a1には「1つ戻る」という操作機能が割り当てられ、物理キー30a5には「1つ進む」という操作機能が割り当てられている。図2に示す例では、割当区分の1巡目として、物理キー30a2〜30a4に、「アドレス」、「メニュー」、「リンク」の区分が割り当てられている。なお、図2に示す例では、割当区分として、第1の物理キー群G1を構成する物理キーに対して2巡目以降の割当が存在する。すなわち、図2に示すように、割当区分の2巡目として、物理キー30a2に「テキスト」の区分が割り当てられている。また、図2に示す例では、第2の物理キー群G2に対応するキー構成は「30b1〜30b10」の10個の物理キーとなっている。図2に示す例では、物理キー30b1には「1つ戻る」という操作機能が割り当てられ、物理キー30b10には「1つ進む」という操作機能が割り当てられている。図2に示す例では、割当要素の1巡目として、物理キー30b7〜30b9に、「メニューe1−(3)」、「メニューe1−(2)」、「アドレスe1−(1)」の要素が割り当てられている。なお、図2に示す例では、割当要素として、第2の物理キー群G2を構成する複数の物理キーに対して2巡目以降の割当が存在する。すなわち、図2に示すように、割当要素の2巡目として、物理キー30b2〜30b9に、「テキストe2−(8)」、「メニューe2−(7)」、「メニューe2−(6)」、「リンクe2−(5)」、「リンクe2−(4)」、「リンクe2−(3)」、「リンクe2−(2)」、「リンクe2−(1)」の要素が割り当てられている。また、図2に示すように、割当要素の3巡目として、物理キー30b6〜30b9に、「メニューe2−(12)」、「テキストe2−(11)」、「メニューe2−(10)」、「テキストe2−(9)」の要素が割り当てられている。また、図2に示すように、割当要素の4巡目として、物理キー30b8,30b9に、「メニューe3−(2)」、「メニューe3−(1)」の要素が割り当てられている。図2に示す割当区分および割当要素のデータは、制御プログラム9Aを実行することにより、コントローラ10により実現される処理に伴って、キーデータ9Bに記録される。また、キーデータ9Bに記録されている割当区分および割当要素のデータは、物理キーへの割当が変更されるたびに更新されてよい。物理キーの割当が変更されるタイミングは、タッチスクリーンディスプレイ2に表示される画面が変更されるタイミングを含む。
要素分類規則9Cは、コンテンツに含まれる要素を分類するための規則に該当する。図3は、実施形態に係る要素分類規則の一例を示す図である。図3に示すように、要素分類規則9Cは、ウェブページなどの所定のブラウザにより閲覧可能なウェブ画面、表計算アプリケーションの実行に伴い表示される表計算画面、文書編集アプリケーションの実行に伴い表示される文書編集画面などを対象画面とする。また、要素分類規則9Cは、ウェブ画面からの分類要素として、アドレスバー、メニュー各部、リンク各部、ページ内テキスト、ページ内画像などを含む。アドレスバーは、例えば、URL(Uniform Resorce Locater)、ホームページアドレスなどが記述されたウェブブラウザで使用されるウィジェットに相当する。メニュー各部は、例えば、ウェブ画面に配置された各種ナビゲーションメニューに相当する。リンク各部は、例えば、ウェブ画面上に記述されたハイパーリンク等に相当する。ページ内テキストは、例えば、ウェブ画面上に記述されたテキストデータに相当する。ページ内画像は、例えば、ウェブ画面上に貼り付けられた画像データに相当する。同様に、要素分類規則9Cは、表計算画面からの分類要素として、メニュー各部、ワークシート、図表、ワークシート(セル)内テキストなどを含む。同様に、要素分類規則9Cは、文書編集画面からの分類要素として、メニュー各部、文書入力エリア、図表、文書入力エリア内テキストなどを含む。
また、要素分類規則9Cは、図3に示すように、コンテンツから分類した要素を要素ごとに一括したユーザ選択を可能とするために設定される区分の情報を含む。例えば、要素分類規則9Cは、ウェブ画面に関し、アドレスバーに対応する区分として設定される「アドレス」、メニュー各部に対応する区分として設定される「メニュー」、リンク各部に対応する区分として設定される「リンク」、ページ内テキストに対応する区分として設定される「テキスト」、ページ内画像に対応する区分として設定される「画像」の情報を含む。同様に、要素分類規則9Cは、表計算画面及び文書編集画面についても、要素ごとに一括したユーザ選択を可能とするために設定される区分の情報を含む。
また、要素分類規則9Cは、図3に示すように、コンテンツの要素を物理キーに割り当てる際の優先度の情報を含む。要素分類規則9Cに含まれる優先度の情報は、対象画面(コンテンツの種別)に応じてあらかじめ設定済みの情報である。例えば、要素分類規則9Cは、ウェブ画面に関し、「ページ内テキスト」について優先度「1」、「リンク各部」について優先度「2」、「アドレスバー」について優先度「3」、「メニュー各部」について優先度「4」、「ページ内画像」について優先度「5」の情報を含む。同様に、要素分類規則9Cは、表計算画面及び文書編集画面についても、コンテンツの要素を物理キーに割り当てる際の優先度の情報を含む。要素分類規則9Cに含まれる優先度の情報は、分類要素に優劣をつけない場合(例えば、「優先度なし」)を含んでよい。優先度は、後述するユーザ属性対応優先度テーブル9Dに基づく物理キーの割当処理における参考データに過ぎない。なお、要素分類規則9Cに含まれる優先度の情報が、分類要素に優劣をつけない「優先度なし」の設定となっている場合、ユーザ属性に対応する優先度の情報が、コンテンツに含まれる要素の物理キーへの割当に用いられることがないので、後述するユーザ属性対応優先度テーブル9D(図4参照)、並びにユーザ属性データ(図5参照)をストレージ9に格納しなくてもよい。
ユーザ属性対応優先度テーブル9Dは、制御プログラム9Aが提供する機能により、電子機器1がコンテンツに含まれる要素(例えば、ウェブ画面上の要素)を物理キーに割り当てる処理を実行する際に参照される。図4は、実施形態に係るユーザ属性対応優先度テーブルの一例を示す図である。図4に示すように、ユーザ属性対応優先度テーブル9Dは、電子機器1のユーザ属性ごとに、物理キーへの割当を行う要素の優先度の範囲を示す情報を記憶する。ここで、ユーザ属性は、コンテンツに含まれる要素が電子機器1のユーザに有益な要素であるか否かを決定付けるために任意に設定することができる情報であり、例えば、ユーザの視力の情報などを採用できる。ユーザ属性が「属性1」に該当する場合(ユーザ属性として属性1が設定されている場合)には、コントローラ10は、ユーザ属性対応優先度テーブル9Dを参照し、コンテンツに含まれる全優先度の要素について、物理キーへの割当を行う。また、ユーザ属性が「属性2」に該当する場合(ユーザ属性として属性2が設定されている場合)には、コントローラ10は、ユーザ属性対応優先度テーブル9Dを参照し、コンテンツに含まれる要素の中から、優先度1〜3の要素について物理キーへの割当を行う。また、ユーザ属性が「属性3」に該当する場合(ユーザ属性として属性3が設定されている場合)には、コントローラ10は、ユーザ属性対応優先度テーブル9Dを参照し、コンテンツに含まれる要素の中から、優先度1の要素のみについて物理キーへの割当を行う。視力が両眼で0.7以上のユーザを「属性1」、視力が両眼で0.02以上〜0.7未満のユーザを「属性2」、全盲〜0.02未満のユーザを「属性3」というように区分けした場合、図4に示す例では、ユーザの視力が弱いほど、より視覚的な情報(視覚により認識される程度が大きいと考えられる情報)が物理キーの割当対象から除外される。このように、電子機器1は、コンテンツから分類した要素の物理キーへの割当をユーザ属性に応じて変更することにより、ユーザに応じた操作環境を提供できる結果、コンテンツの操作性を向上させることができる。
上述したユーザ属性対応優先度テーブル9Dは、ユーザ属性に対応する優先度の範囲が予め設定された状態であるが、例えば、電子機器1のユーザが不要と思う要素については物理キーの割当を行わないように任意の設定が可能なテーブルを電子機器に備えてもよい。
設定データ9Zは、制御プログラム9Aが提供する機能により、電子機器1が各種処理を実行する際に参照するデータである。図5は、実施形態に係るユーザ属性データの一例を示す図である。設定データ9Zは、図5に示すように、ユーザ属性として任意に設定されたデータ(例えば、「属性1」)を記憶することができる。
コントローラ10は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−Chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、およびコプロセッサを含むが、これらに限定されない。コントローラ10は、電子機器1の動作を統括的に制御して各種の機能を実現する。
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、マイク8、及びスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、カメラ13、モーションセンサ15を含むが、これらに限定されない。
コントローラ10は、制御プログラム9Aを実行することにより、電子機器1の各種動作に関する処理を実現できる。コントローラ10は、制御プログラム9Aを実行することにより、タッチスクリーンディスプレイ2に表示されるコンテンツの操作等に関する処理を実現できる。例えば、コントローラ10は、要素分類規則9Cに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素を1又は複数の物理キーに割り当てる処理を実現できる。例えば、コントローラ10は、タッチスクリーンディスプレイ2に表示されるコンテンツをタッチスクリーンディスプレイ2上の所定の領域に設定し、コンテンツの設定が行われた領域を第1の物理キー群の物理キーのいずれかに割り当てる処理を実現できる。例えば、コントローラ10は、第1の物理キー群の物理キーの操作を検出すると、操作が検出された物理キーに対応する領域の中に含まれるコンテンツの要素を要素分類規則9Cに基づいて分類する処理を実現できる。例えば、コントローラ10は、分類した要素から、ユーザ属性データに対応する優先度に該当する要素を選別する処理を実現できる。例えば、コントローラ10は、ユーザ属性に基づいて選別した要素を第2の物理キー群の物理キーのいずれかに割り当てる処理を実現できる。例えば、コントローラ10は、ユーザ属性に基づいて選別した要素について要素ごとに一括したユーザ選択を可能とするための区分を設定して、設定した区分を第1の物理キー群の物理キーに割り当てる処理を実現できる。例えば、コントローラ10は、操作が検出された物理キーに割り当てられている要素あるいは要素の区分に対応する音声を出力する処理を実現できる。
スピーカ11は、コントローラ10から送出される音信号を音として出力する。スピーカ11は、例えば、着信音及び音楽を出力するために用いられる。レシーバ7及びスピーカ11の一方が、他方の機能を兼ねてもよい。
カメラ12及びカメラ13は、撮影した画像を電気信号へ変換する。カメラ12は、ディスプレイ2Aに面している物体を撮影するインカメラである。カメラ13は、ディスプレイ2Aの反対側の面に面している物体を撮影するアウトカメラである。カメラ12及びカメラ13は、インカメラ及びアウトカメラを切り換えて利用可能なカメラユニットとして、機能的及び物理的に統合された状態で電子機器1に実装されてもよい。
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用の端子でもよい。コネクタ14に接続される装置は、例えば、外部ストレージ、スピーカ、及び通信装置を含むが、これらに限定されない。
モーションセンサ15は、電子機器1を携帯する利用者の動作を判定するための各種情報を検出できる。モーションセンサ15は、加速度センサ、方位センサ、ジャイロスコープ、磁気センサ及び気圧センサなどを備えるセンサユニットとして構成されてよい。
電子機器1は、上記の各機能部の他、GPS受信機、及びバイブレータを備えてもよい。GPS受信機は、GPS衛星からの所定の周波数帯の電波信号を受信する。GPS受信機は、受信した電波信号の復調処理を行って、処理後の信号をコントローラ10に送出する。GPS受信機は、電子機器1の現在位置の演算処理をサポートする。電子機器1は、GPS衛星以外の測位用人工衛星の信号を受信可能な受信機を備え、現在位置の演算処理を実行してもよい。バイブレータは、電子機器1の一部又は全体を振動させる。バイブレータは、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。電子機器1は、バッテリなど、電子機器1の機能を維持するために当然に用いられる機能部、及び電子機器1の制御を実現するために当然に用いられる制御部を実装する。
電子機器1は、通信ユニット6を介してクラウド上の記憶サーバにアクセスし、各種プログラム及びデータを取得してもよい。
図6から図12を参照しつつ、実施形態に係るウェブ画面に対応した物理キーの割当方法の一例を説明する。 図6から図12は、実施形態に係るウェブ画面の含まれる要素の物理キーへの割当の概要を示す図である。なお、以下の説明において、電子機器1のユーザのユーザ属性(例えば、属性1)が予め設定されているものとする。
図6に示す電子機器1は略直方体状の筐体を備え、電子機器1の平面は図6に示すように略長方形状の形態をなす。第1の物理キー群G1は、図6に示す物理キー30a1,・・・,物理キー30a5の合計5個の物理キーを含んで構成される。物理キー30a1,・・・,物理キー30a5は、電子機器1の筐体の縁F1に沿って、図6に示すy軸に平行な方向に1列に並んで配置される。第2の物理キー群G2は、図6に示す物理キー30b1,・・・,物理キー30b10の合計10個の物理キーを含んで構成される。物理キー30b1,・・・,物理キー30b10は、電子機器1の筐体の縁F2に沿って、図6に示すx軸に平行な方向に1列に並んで配置される。図6に示す第1の物理キー群G1及び第2の物理キー群G2のそれぞれを構成する物理キーの個数は一例であり、必ずしも、図6に示す例と同数の物理キーで構成されていなくてもよい。また、図6に示す第1の物理キー群G1の配置位置は一例であり、図6に示す筐体の縁F1とは別の筐体の縁に沿って配置されてよい。同様に、図6に示す第2の物理キー群G2についても、図6に示す筐体の縁F2とは別の筐体の縁に沿って配置されてよい。図6に示す例では、物理キー30a1,・・・,物理キー30a5は、電子機器1の筐体の縁F1に沿って配置されるが、タッチスクリーンディスプレイ2の輪郭を構成する1辺に沿った配置であってよい。同様に、物理キー30b1,・・・,物理キー30b10についても、タッチスクリーンディスプレイ2の輪郭を構成する1辺に沿った配置であってよい。図6に示す例では、電子機器1は、タッチスクリーンディスプレイ2に、ウェブ画面C1を表示する。
電子機器1は、例えば、ウェブ画面C1がタッチスクリーンディスプレイ2に表示されたタイミングで、図7に示すように、ウェブ画面C1を、タッチスクリーンディスプレイ2上の3つの領域、領域A1,A2,及びA3に設定する。続いて、電子機器1は、領域A1を第1の物理キー群G1の物理キー30a2に割り当て、領域A2を第1の物理キー群G1の物理キー30a3に割り当て、領域A3を第1の物理キー群G1の物理キー30a4に割り当てる。
電子機器1は、例えば、物理キー30a2の操作を検出すると、図8に示すように、物理キー30a2に対応する領域A1に含まれるウェブ画面C1の要素を、要素分類規則9Cに基づいて分類する。すなわち、電子機器1は、ウェブ画面C1に含まれるアドレスバー、メニュー各部、リンク各部、ページ内テキスト、ページ内画像などの各要素を、物理キーの割り当て対象として抽出する。図8に示す例では、領域A1に含まれるウェブ画面C1の要素として、要素e1−(1)、要素e1−(2)、及び要素e1−(3)が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Dを参照し、要素e1−(1)、要素e1−(2)、及び要素e1−(3)の中から、ユーザ属性データに対応する優先度に該当した要素を選別する。例えば、要素e1−(1)、要素e1−(2)、及び要素e1−(3)が選別されると、電子機器1は、要素e1−(1)を、第2の物理キー群G2に含まれる物理キー30b9に割り当て、要素e1−(2)を、第2の物理キー群G2に含まれる物理キー30b8に割り当て、要素e1−(3)を、第2の物理キー群G2に含まれる物理キー30b7に割り当てる。
電子機器1は、例えば、物理キー30a3の操作を検出すると、図9に示すように、物理キー30a3に対応する領域A2に含まれるウェブ画面C1の要素を、要素分類規則9Cに基づいて分類する。図9に示す例では、領域A2に含まれるウェブ画面C1の要素として、要素e2−(1)〜要素e2−(12)までの12個の要素が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Dを参照し、要素e2−(1)〜要素e2−(12)までの12個の要素の中から、ユーザ属性データに対応する優先度に該当した要素を選別する。例えば、要素e2−(1)〜要素e2−(12)までの全ての要素が選別されると、電子機器1は、まず、要素e2−(1)〜要素e2−(8)までの8個の要素を、第2の物理キー群G2に含まれる物理キー30b9から物理キー30b2にそれぞれ割り当てる。続いて、電子機器1は、折り返して再び物理キー30b9に戻り、要素e2−(9)〜要素e2−(12)までの4個の要素を、物理キー30b9から物理キー30b6にそれぞれ順番に割り当てる。このように、電子機器1は、物理キーを割り当てるべき要素の数が、第2の物理キー群G2に含まれる物理キーの数よりも多い場合については、第2の物理キー群G2に含まれる物理キーを循環利用して、同一の物理キーに異なる要素を重複して割り当てることにより対処できる。
電子機器1は、例えば、物理キー30a4の操作を検出すると、図10に示すように、物理キー30a4に対応する領域A3に含まれるウェブ画面C1の要素を、要素分類規則9Cに基づいて分類する。図10に示す例では、領域A3に含まれるウェブ画面C1の要素として、要素e3−(1)及び要素e3−(2)が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Dを参照し、要素e3−(1)及び要素e3−(2)の中から、ユーザ属性データに対応する優先度に該当した要素を選別する。例えば、要素e3−(1)及び要素e3−(2)が選別されると、電子機器1は、要素e3−(1)を、第2の物理キー群G2に含まれる物理キー30b9に割り当て、要素e3−(2)を、第2の物理キー群G2に含まれる物理キー30b8に割り当てる。
電子機器1は、例えば、図11に示すように、タッチスクリーンディスプレイ2の座標(X1,Y1)を基準として、y軸方向に平行な方向(1)及びx軸方向に平行な方向(2)にタッチスクリーンディスプレイ2上をスキャンすることにより、ウェブ画面C1上の要素を分類して、分類した順に採番することができる。図12は、例えば、ウェブ画面C1を設定したタッチスクリーンディスプレイ2上の領域A2に対するスキャンの推移を示している。電子機器1は、y軸方向に平行な方向(1)に向かってスキャンSC1を開始する(ステップS1)。電子機器1は、スキャンSC1により、ウェブ画面C1上の領域HT1を検出する(ステップS2)。電子機器1は、x軸方向に平行な方向(2)に向かって、領域HT1に対するスキャンSC2を開始する(ステップS3)。電子機器1は、スキャンSC2により検出した領域HT2に含まれる要素に対して識別番号e2−(1)を付与し、領域HT2に続いて検出された領域HT3に含まれる要素に対して識別番号e2−(2)を付与する(ステップS4)。このように、電子機器1は、領域A2の全域をスキャンした後、ウェブ画面C1を設定したタッチスクリーンディスプレイ2上の他の領域についても領域A2と同様の方法でスキャンし、ウェブ画面C1に含まれる要素の分類及び採番を実行する。電子機器1は、ウェブ画面C1上の要素を採番した順に、物理キーへ割り当てる。
電子機器1は、ウェブ画面C1から分類した要素を第2の物理キー群G2に含まれる物理キーにそれぞれ割り当てた後、物理キー30a2に対する領域A1の割り当て、物理キー30a3に対する領域A2の割り当て、並びに物理キー30a4に対する領域A3の割り当てを解除し、ウェブ画面C1に含まれる要素の中から選別された要素の区分を新たに第1の物理キー群G1の物理キーにそれぞれ割り当てる。電子機器1は、例えば、ウェブ画面C1から選別された要素のうち、ページ内画像に対応する区分である「画像」を物理キー30a2に割り当て、ページ内テキストに対応する区分である「テキスト」を物理キー30a3に割り当て、リンク各部に対応する区分である「リンク」を物理キー30a4に割り当てる。
上記図6から図12に示す割当の実行に際し、電子機器1は、物理キーと、物理キーに割り当てられた要素との対応関係が分かるように、割当に関するデータを管理情報としてキーデータ9Bに記録する(図2参照)。
上記図6から図12に示す例では、電子機器1が、第1の物理キー群G1の物理キーの操作検出を契機として、ウェブ画面C1のスキャンを実行し、ウェブ画面C1に含まれる要素の分類、選別及び選別した要素の物理キーへの割当が実行されるが、この例には限定されない。例えば、電子機器1は、ウェブ画面C1を、タッチスクリーンディスプレイ2上の3つの領域、領域A1,A2,及びA3に設定したタイミングで、領域A1,A2,及びA3ごとに、ウェブ画面C1に含まれる要素の分類、及び分類した要素の物理キーへの割当が自動的に実行されてもよい。
続いて、図13から図16を参照しつつ、実施形態に係る電子機器の動作の一例を説明する。図13から図16は、実施形態に係る電子機器の動作の一例を示す図である。以下に示す図13から図16は、コンテンツの含まれる要素の物理キーへの割当が終了した後、ユーザにより物理キーが操作されたときに、物理キーに対する操作に応じて電子機器1が実行する動作を示している。すなわち、電子機器1は、ユーザによる物理キーへの操作に応じて、物理キーに割り当てられている要素に関する情報等を音声として出力する処理などを実行する。
図13に示す例では、電子機器1は、ウェブ画面C2をタッチスクリーンディスプレイ2に表示する(ステップS11)。
電子機器1は、第1の物理キー群G1の物理キー30a2に対する操作を検出すると、物理キー30a2に割り当てられている要素の区分(「画像」)を読み上げる音声M1を出力する(ステップS12)。
物理キー30a2に対する操作を受け付けた後、電子機器1は、第2の物理キー群G2の物理キー30b2に対する操作を検出すると、物理キー30b2に割り当てられている画像のIDを読み上げる音声M2を出力する(ステップS13)。
図14に示す例では、図13に示す例と同様に、電子機器1は、ウェブ画面C2をタッチスクリーンディスプレイ2に表示する(ステップS21)。
電子機器1は、第1の物理キー群G1の物理キー30a3に対する操作を検出すると、物理キー30a3に割り当てられている要素の区分(「テキスト」)を読み上げる音声M3を出力する(ステップS22)。
物理キー30a3に対する操作を受け付けた後、電子機器1は、第2の物理キー群G2の物理キー30b2に対する操作を検出すると、物理キー30b2に割り当てられているテキストに記述された内容を読み上げる音声M4を出力する(ステップS23)。
図15に示す例では、図13に示す例と同様に、電子機器1は、ウェブ画面C2をタッチスクリーンディスプレイ2に表示する(ステップS31)。
電子機器1は、第1の物理キー群G1の物理キー30a4に対する操作を検出すると、物理キー30a4に割り当てられている要素の区分(「リンク」)を読み上げる音声M5を出力する(ステップS32)。
物理キー30a4に対する操作を受け付けた後、電子機器1は、第2の物理キー群G2の物理キー30b2に対する操作を検出すると、物理キー30b2に割り当てられているリンクに記述された内容を読み上げる音声M6を出力する(ステップS33)。物理キー30b2に対する操作に続いて、電子機器1は、物理キー30b3に対する操作を検出すると、物理キー30b3に割り当てられているリンクに記述された内容を読み上げる音声M7を出力する(ステップS34)。
図16に示す例では、図13に示す例と同様に、電子機器1は、ウェブ画面C2をタッチスクリーンディスプレイ2に表示する(ステップS41)。
電子機器1は、第1の物理キー群G1の物理キー30a5に対する操作を検出すると、物理キー30a2から物理キー30a4の2巡目以降に割り当てられている別の要素の区分の選択に移る旨の音声M8を出力する(ステップS42)。
物理キー30a5に対する操作に続いて、2巡目の物理キー30a2の操作を受け付けると、電子機器1は、2巡目の物理キー30a2に割り当てられている要素の区分(「アドレス」)を読み上げる音声M9を出力する(ステップS43)。
2巡目の物理キー30a2の操作を受け付けた後、第2の物理キー群G2の物理キー30b2に対する操作を検出すると、電子機器1は、物理キー30b2に割り当てられているアドレスバーに記述された内容を読み上げる音声M10を出力する(ステップS44)。
図17及び図18を用いて、実施形態に係る電子機器1の処理の流れを説明する。図17及び図18は、実施形態に係る電子機器の処理の流れの一例を示すフローチャートである。図17及び図18に示す処理は、コントローラ10が、制御プログラム9Aを実行することにより実現される。
図17を用いて、コンテンツの要素の物理キーへの割当に関する処理(図6〜図12等参照)を説明する。図17に示すように、コントローラ10は、タッチスクリーンディスプレイ2にコンテンツを表示したかを判定する(ステップS101)。
コントローラ10は、判定の結果、コンテンツを表示した場合(ステップS101,Yes)、表示中のコンテンツをタッチスクリーンディスプレイ2上の所定の領域に設定する(ステップS102)。
コントローラ10は、各領域を第1の物理キー群G1の物理キーに割り当てる(ステップS103)。
コントローラ10は、第1の物理キー群G1の物理キーに対する操作を検出したかを判定する(ステップS104)。
コントローラ10は、判定の結果、第1の物理キー群G1の物理キーに対する操作を検出した場合(ステップS104,Yes)、操作が検出された物理キーに対応する領域のスキャンを実行する(ステップS105)。
コントローラ10は、スキャンにより検出された要素を要素分類規則9Cに基づいて分類する(ステップS106)。
コントローラ10は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Dを参照し、ステップS106で分類した要素から、ユーザ属性データに対応する優先度に該当する要素を選別する(ステップS107)。
コントローラ10は、ステップS107で選別した要素を第2の物理キー群G2の物理キーに割り当てる(ステップS108)。
コントローラ10は、ステップS107で選別した要素の区分を第1の物理キー群G1の物理キーに割り当てる(ステップS109)。
コントローラ10は、表示中のコンテンツに対する処理を完了したかを判定する(ステップS110)。
コントローラ10は、判定の結果、表示中のコンテンツに対する処理を完了した場合(ステップS110,Yes)、図17に示す処理を終了する。
一方、コントローラ10は、判定の結果、表示中のコンテンツに対する処理を完了していない場合(ステップS110,No)、上記ステップS104の判定に戻る。
上記ステップS104において、コントローラ10は、判定の結果、第1の物理キー群G1の物理キーに対する操作を検出していない場合(ステップS104,No)、同判定を繰り返す。
上記ステップS101において、コントローラ10は、判定の結果、コンテンツを表示していない場合(ステップS101,No)、図17に示す処理を終了する。
上述してきた通り、実施形態に係る電子機器1は、コンテンツから分類した要素の物理キーへの割当をユーザ属性に応じて変更することにより、タッチスクリーンディスプレイ2上に表示されるウェブ画面及びアプリケーションの画面などの各種コンテンツの操作性を向上できる。
図18を用いて、コンテンツに含まれる要素の物理キーへの割当完了後に物理キーへの操作検出に応じて実行される処理(図13〜図16等参照)について説明する。図18に示すように、コントローラ10は、コンテンツを表示中であるかを判定する(ステップS201)。
コントローラ10は、判定の結果、コンテンツを表示中である場合(ステップS201,Yes)、物理キーへの操作を検出したかを判定する(ステップS202)。
コントローラ10は、判定の結果、物理キーへの操作を検出した場合(ステップS202,Yes)、第1の物理キー群G1の物理キーへの操作であるかを判定する(ステップS203)。
コントローラ10は、判定の結果、第1の物理キー群G1の物理キーへの操作である場合(ステップS203,Yes)、第1の物理キー群G1の物理キーに対応する処理を実行し(ステップS204)、上記ステップS201の判定に戻る。
一方、コントローラ10は、判定の結果、第1の物理キー群G1の物理キーへの操作ではない場合(ステップS203,No)、第2の物理キー群G2の物理キーへの操作であるかを判定する(ステップS205)。
コントローラ10は、判定の結果、第2の物理キー群G2の物理キーへの操作である場合(ステップS205,Yes)、第2の物理キー群G2の物理キーに対応する処理を実行し(ステップS206)、上記ステップS201の判定に戻る。
一方、コントローラ10は、判定の結果、第2の物理キー群G2の物理キーへの操作ではない場合(ステップS205,No)、上記ステップS201の判定に戻る。
上記ステップS202において、コントローラ10は、判定の結果、物理キーへの操作を検出していない場合(ステップS202,No)、上記ステップS201の判定に戻る。
上記ステップS201において、コントローラ10は、判定の結果、コンテンツを表示中でない場合(ステップS201,No)、図18に示す処理を終了する。
(他の実施形態)
上記の実施形態では、電子機器1がタッチスクリーンディスプレイ2に表示されるコンテンツをタッチスクリーンディスプレイ2の上の所定の領域に設定した後、コンテンツの要素を分類し、分類した要素をユーザ属性に応じて選別して、選別した要素の物理キーへの割当を実行する例を説明したが、この例に限定されない。例えば、電子機器1は、コンテンツをタッチスクリーンディスプレイ2の上の所定の領域に設定せずに、コンテンツから分類した要素の物理キーへの割当を実行してもよい。
制御プログラム9Aが、例えば、タッチスクリーンディスプレイ2の上の所定の領域に設定することなく、要素分類規則9Cに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素をユーザ属性に基づいて選別し、選別した要素を1又は複数の物理キーに割り当てる処理を実現するための機能を提供する。そして、コントローラ10が、当該制御プログラム9Aにより提供される機能により、要素分類規則9Cに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素をユーザ属性に基づいて選別し、選別した要素を1又は複数の物理キーに割り当てる処理を実現する。
図19は、実施形態に係るウェブ画面の全体像の一例を示す図である。例えば、図19に示すように、電子機器1は、タッチスクリーンディスプレイ2に表示されるコンテンツ(例えば、ウェブ画面C1)を全面に渡ってスキャンし、ウェブ画面C1から物理キーへの割当対象となる要素(例えば、要素e−(1)〜要素e−(33))を分類し、分類した要素をユーザ属性に基づいて選別し、選別した要素の物理キーへの割当を実行してもよい。以下、図20を用いて、コンテンツをタッチスクリーンディスプレイ2の上の所定の領域に設定しない場合の処理の流れを説明する。
図20は、実施形態に係る電子機器1の処理の流れの他の例を示すフローチャートである。
図20に示すように、コントローラ10は、タッチスクリーンディスプレイ2にコンテンツを表示したかを判定する(ステップS301)。
コントローラ10は、判定の結果、コンテンツを表示した場合(ステップS301,Yes)、コンテンツのスキャンを実行する(ステップS302)。
コントローラ10は、スキャンにより検出された要素を要素分類規則9Cに基づいて分類する(ステップS303)。
コントローラ10は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Dを参照し、ステップS303で分類した要素から、ユーザ属性データに対応する優先度に該当する要素を選別する(ステップS304)。
コントローラ10は、ステップS304で選別した要素を第2の物理キー群G2の物理キーに割り当てる(ステップS305)。
コントローラ10は、ステップS304で選別した要素の区分を第1の物理キー群G1の物理キーに割り当てて(ステップS306)、図20に示す処理を終了する。
上記ステップS301において、コントローラ10は、判定の結果、コンテンツを表示していない場合(ステップS301,No)、図20に示す処理を終了する。
図20に示す処理では、電子機器1が、タッチスクリーンディスプレイ2にコンテンツが表示されると、要素分類規則9Cに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素をユーザ属性に基づいて選別し、選別した要素を1又は複数の物理キーに割り当てる処理を実現する。このようなことから、図20に示す処理は、図17に示す処理のように、コンテンツをタッチスクリーンディスプレイ2の上の所定の領域に設定する必要がなく、さらには、コンテンツを設定した領域への操作を検出する必要もなく、タッチスクリーンディスプレイ2にコンテンツが表示されたタイミングでコンテンツに含まれる要素の物理キーへの割当を全て完了することができ、図17に示す処理に比較して、ユーザの利便性をさらに向上できる。
上記の実施形態において、電子機器1は、自らが備えるタッチスクリーンディスプレイ2上に表示されるコンテンツに含まれる要素を分類及び選別して、物理キーに割り当てる例を説明したが、この例には限定されない。電子機器1は、例えば、通信ユニット6あるいはコネクタ14を介して、データのやり取りが可能な状態で通信可能に接続された外付けの表示装置に表示されるコンテンツについても、上記の実施形態と同様に、コンテンツに含まれる要素を分類及び選別して、物理キーに割り当てることができる。
また、電子機器1は、上述したように、タッチスクリーンディスプレイ2に表示されたウェブ画面C1のスキャンを実行して、ウェブ画面C1に含まれる要素の分類、分類した要素の選別、選別した要素の物理キーへの割当を実行するが、この例には限定されない。電子機器1は、例えば、タッチスクリーンディスプレイ2にウェブ画面C1を表示する際に、ウェブ画面C1の元となるウェブページのソースコードの解析を実行することにより、ウェブ画面C1に含まれる要素を要素分類規則9Cに基づいて自動的に分類し、続いて、分類した要素の選別、選別した要素の物理キーへの割当を実行してもよい。すなわち、電子機器1は、タッチスクリーンディスプレイ2上に表示されていないコンテンツであっても、ウェブページのソースコード解析のように、コンテンツの要素を抽出する方法があれば、コンテンツに含まれる要素を分類及び選別して、物理キーに割り当てることができる。
図21から図28を用いて、実施形態に係るアプリケーションの画面に対応した物理キーへの割当の概要を説明する。
図21から図24を用いて、表計算画面に含まれる要素の物理キーへの割当の概要を示す。図21から図24は、実施形態に係る表計算画面に含まれる要素の物理キーへの割当の概要を示す図である。タッチスクリーンディスプレイ2に表示した表計算画面に含まれる要素の物理キーへの割当を行う場合も、図6から図12に例示したウェブ画面C1に含まれる要素の物理キーへの割当と基本的に同様である。すなわち、図21に示すように、電子機器1は、表計算画面C3を、タッチスクリーンディスプレイ2上の領域A4,A5,及びA6に設定する。電子機器1は、領域A4を第1の物理キー群G1の物理キー30a2に割り当て、領域A5を第1の物理キー群G1の物理キー30a3に割り当て、領域A6を第1の物理キー群G1の物理キー30a4に割り当てる。
電子機器1は、例えば、表計算画面C3のメニューに対応する領域A4が割り当てられた物理キー30a2の操作を受け付けると、図22に示すように、領域A4に含まれる表計算画面C3の要素を、要素分類規則9Cに基づいて分類する。すなわち、電子機器1は、表計算画面C3に含まれるメニュー各部に関する分類を実行する。図22に示す例では、領域A4に含まれる表計算画面C3の要素として、要素e101〜要素e122が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Dを参照し、分類した要素e101〜要素e122の中から、ユーザ属性データに対応する優先度に該当する要素を選別する。例えば、要素e101〜e122が選別されると、電子機器1は、要素e101を、第2の物理キー群G2に含まれる物理キー30b9に割り当て、要素e102を、第2の物理キー群G2に含まれる物理キー30b8に割り当てるというように、選別した各要素を第2の物理キー群G2に含まれる物理キーに割り当てる。
電子機器1は、例えば、表計算画面C3のワークシートに対応する領域A5が割り当てられた物理キー30a3の操作を受け付けると、図23に示すように、領域A5に含まれる表計算画面C3の要素を、要素分類規則9Cに基づいて分類する。すなわち、電子機器1は、表計算画面C3に含まれるワークシートに関する分類を実行する。図23に示す例では、領域A5に含まれる表計算画面C3の要素の一部として、例えば、要素e(n−b)−(1)〜要素e(n−b)−(10)の要素が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Dを参照し、例えば、要素e(n−b)−(1)〜要素e(n−b)−(10)の要素の中から、ユーザ属性データに対応する優先度に該当した要素を選別する。例えば、要素e(n−b)−(1)〜要素e(n−b)−(10)の要素が選別されると、電子機器1は、要素e(n−b)−(1)を、第2の物理キー群G2に含まれる物理キー30b9に割り当て、要素e(n−b)−(2)を、第2の物理キー群G2に含まれる物理キー30b8に割り当てるというように、選別した各要素を第2の物理キー群G2に含まれる物理キーに割り当てる。
電子機器1は、例えば、表計算画面C3のグラフに対応する領域A6が割り当てられた物理キー30a4の操作を受け付けると、図24に示すように、領域A6に含まれる表計算画面C3の要素を、要素分類規則9Cに基づいて分類する。すなわち、電子機器1は、表計算画面C3に含まれる図表に関する分類を実行する。図24に示す例では、領域A6に含まれる表計算画面C3の要素として、要素en−(1)及び要素en−(2)が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Dを参照し、分類した要素en−(1)及び要素en−(2)の中から、ユーザ属性データに対応する優先度に該当する要素を選別する。例えば、要素en−(1)及び要素en−(2)が選別されると、電子機器1は、要素en−(1)を、第2の物理キー群G2に含まれる物理キー30b9に割り当て、要素en−(2)を、第2の物理キー群G2に含まれる物理キー30b8に割り当てる。
図25は、実施形態に係るキーデータ9Bの他の例を示す図である。図26は、実施形態に係る物理キーと割当要素の対応関係を示す図である。図21から図24に示す割当の実行に際し、電子機器1は、図25に示すように、物理キーと、物理キーに割り当てられた要素との対応関係が分かるように、割当に関するデータをキーデータ9Bに記録する。図25に示す例では、割当区分/要素のn−a巡目(aは自然数)において、第1の物理キー群G1の物理キー30a2,物理キー30a3及び物理キー30a4に、ライン(1),ライン(2)及びライン(3)が割り当てられている。また、図25に示す例では、割当区分/要素のn−a巡目(aは自然数)において、第2の物理キー群G2の物理キー30b9〜物理キー30b3に、コラム(A)〜コラム(G)が割り当てられている。例えば、ライン(1)は、図26に示すように、ワークシートに配置された各行の中の1行目を示し、コラム(A)は、図26に示すように、ワークシートに配置された各列の中のA列目を示している。このように、表計算画面C3では、ワークシートの操作性を考慮して、第1の物理キー群G1の物理キーにワークシート上の各行を割り当て、第2の物理キー群G2の物理キーにワークシート上の各列を割り当ててもよい。
図27は、実施形態に係る電子機器の動作の他の例を示す図である。図27は、図21から図26を用いて概要を説明した表計算画面C3に含まれる要素の物理キーへの割当が終了した後、ユーザにより物理キーが操作されたときに、物理キーに対する操作に応じて電子機器1が実行する動作を示している。
図27に示すように、電子機器1は、第1の物理キー群G1の物理キーのうち、「1つ進む」の機能が割り当てられている物理キー30a5に対する操作が検出されると、第1の物理キー群G1の物理キーに割り当てられている要素を1巡目の要素から2巡目の要素に移行する(ステップS51)。
電子機器1は、第1の物理キー群G1の物理キーのうち、「テキスト」の要素が割り当てられている物理キー30a2に対する操作が検出されると、ワークシートに含まれるセル内テキストを第2の物理キー群G2の物理キーにより操作可能な状態に遷移する(ステップS52)。
電子機器1は、第2の物理キー群G2の物理キー30b9の操作を検出すると、物理キー30b9に割り当てられている要素であるセル内テキストに記述された内容(「時間(t)」)を読み上げる音声M11を出力する(ステップS53)。
電子機器1は、第2の物理キー群G2の物理キー30b8の操作を検出すると、物理キー30b8に割り当てられている要素であるセル内テキストに記述された内容(「2πt」)を読み上げる音声M12を出力する(ステップS54)。
図28は、実施形態に係る文書編集画面に含まれる要素の物理キーへの割当の概要を示す図である。タッチスクリーンディスプレイ2に表示した文書編集画面に含まれる要素の物理キーへの割当についても、ウェブ画面C1の場合(図6〜図12等)及び表計算画面C3の場合(図21〜図24等)と基本的に同様である。すなわち、図28に示すように、電子機器1は、タッチスクリーンディスプレイ2に表示される文書編集画面C4を、タッチスクリーンディスプレイ2上の領域A7,A8,及びA9に設定する。電子機器1は、領域A7を第1の物理キー群G1の物理キー30a2に割り当て、領域A8を第1の物理キー群G1の物理キー30a3に割り当て、領域A9を第1の物理キー群G1の物理キー30a4に割り当てる。詳細な説明は省略するが、電子機器1は、領域A7,A8,及びA9のそれぞれに含まれる文書編集画面C4の要素を、要素分類規則9Cに基づいて分類し、分類した要素をユーザ属性データに基づいて選別し、選別した要素を第2の物理キー群G2の物理キーに割り当てる。
本明細書では、添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。