JP2020017319A - 電子機器、制御方法、及び制御プログラム - Google Patents

電子機器、制御方法、及び制御プログラム Download PDF

Info

Publication number
JP2020017319A
JP2020017319A JP2019198290A JP2019198290A JP2020017319A JP 2020017319 A JP2020017319 A JP 2020017319A JP 2019198290 A JP2019198290 A JP 2019198290A JP 2019198290 A JP2019198290 A JP 2019198290A JP 2020017319 A JP2020017319 A JP 2020017319A
Authority
JP
Japan
Prior art keywords
touch screen
electronic device
elements
content
soft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019198290A
Other languages
English (en)
Other versions
JP6910410B2 (ja
Inventor
優志 長坂
Yushi Nagasaka
優志 長坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017041821A external-priority patent/JP6612799B2/ja
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2019198290A priority Critical patent/JP6910410B2/ja
Publication of JP2020017319A publication Critical patent/JP2020017319A/ja
Application granted granted Critical
Publication of JP6910410B2 publication Critical patent/JP6910410B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

【課題】従来の電子機器において、ディスプレイ上に表示されるコンテンツの操作性を改善すること。【解決手段】1つの態様において、電子機器は、タッチスクリーンと、前記タッチスクリーンの縁に沿って並ぶ1又は複数のソフトウェアキーと、コンテンツに含まれる要素を分類するための規則を記憶するストレージと、前記規則に基づいて前記コンテンツに含まれる要素を分類し、当該分類した要素を1又は複数のソフトウェアキーに割り当てるコントローラとを備える。【選択図】図1

Description

本出願は、電子機器、制御方法、及び制御プログラムに関する。
電子機器には、物理キー及びタッチスクリーンなどを搭載したものがある。例えば、特許文献1には、物理キー及びタッチスクリーンを介して検出した操作に応じて各種の機能を実行する電子機器が開示されている。
国際公開第2008/086302号
従来の電子機器において、ディスプレイ上に表示される文字、図形、音声、画像、動画、及びこれらの組合せで構成されたウェブページなどの各種コンテンツの操作性に関して改善の余地がある。
1つの態様に係る電子機器は、タッチスクリーンと、タッチスクリーンの縁に沿って並ぶ1又は複数のソフトウェアキーと、ストレージと、コントローラとを備える。ストレージは、コンテンツに含まれる要素を分類するための規則を記憶する。コントローラは、規則に基づいてコンテンツに含まれる要素を分類し、分類した要素を1又は複数のソフトウェアキーに割り当てる。
他の態様に係る電子機器は、タッチスクリーンと、第1のソフトウェアキー群と、第2のソフトウェアキー群と、ストレージと、コントローラとを備える。第1のソフトウェアキー群は、タッチスクリーンの縁に沿った第1の列に並ぶ複数のソフトウェアキーを含む。第2のソフトウェアキー群は、タッチスクリーンの縁に沿った第2の列に並ぶ複数のソフトウェアキーを含む。ストレージは、コンテンツに含まれる要素を分類するための規則を記憶する。コントローラは、規則に基づいてコンテンツに含まれる要素を分類する。コントローラは、コンテンツを前記タッチスクリーン上の所定の領域に設定し、前記領域を前記第1のソフトウェアキー群のソフトウェアキーのいずれかに割り当てる。コントローラは、第1のソフトウェアキー群のソフトウェアキーの操作を検出すると、操作が検出されたソフトウェアキーに対応する領域の中に含まれるコンテンツの要素を規則に基づいて分類し、分類した要素を第2のソフトウェアキー群のソフトウェアキーのいずれかに割り当てる。
1つの態様に係る制御方法は、タッチスクリーンと、タッチスクリーンの第1の縁に沿って並ぶ1又は複数のソフトウェアキーと、コンテンツに含まれる要素を分類するための規則を記憶するストレージとを備える電子機器の制御方法である。当該制御方法は、規則に基づいてコンテンツに含まれる要素を分類し、分類した要素を1又は複数のソフトウェアキーに割り当てる。
他の態様に係る制御方法は、タッチスクリーンと、タッチスクリーンの縁に沿った第1の列に並ぶ複数のソフトウェアキーを含む第1のソフトウェアキー群と、タッチスクリーンの縁に沿った第2の列に並ぶ複数のソフトウェアキーを含む第2のソフトウェアキー群と、コンテンツに含まれる要素を分類するための規則を記憶するストレージとを備える電子機器の制御方法である。当該制御方法は、コンテンツを前記タッチスクリーン上の所定の領域に設定し、前記領域を前記第1のソフトウェアキー群のソフトウェアキーのいずれかに割り当てる。該制御方法は、第1のソフトウェアキー群のソフトウェアキーの操作を検出すると、操作が検出されたソフトウェアキーに対応する領域の中に含まれるコンテンツの要素を規則に基づいて分類し、分類した要素を第2のソフトウェアキー群のソフトウェアキーのいずれかに割り当てる。
1つの態様に係る制御プログラムは、タッチスクリーンと、タッチスクリーンの第1の縁に沿って並ぶ1又は複数のソフトウェアキーと、コンテンツに含まれる要素を分類するための規則を記憶するストレージとを備える電子機器に次のステップを実行させる。すなわち、該制御プログラムは、該電子機器に、規則に基づいてコンテンツに含まれる要素を分類し、分類した要素を1又は複数のソフトウェアキーに割り当てるステップを実行させる。
他の態様に係る制御プログラムは、タッチスクリーンと、タッチスクリーンの縁に沿った第1の列に並ぶ複数のソフトウェアキーを含む第1のソフトウェアキー群と、タッチスクリーンの縁に沿った第2の列に並ぶ複数のソフトウェアキーを含む第2のソフトウェアキー群と、コンテンツに含まれる要素を分類するための規則を記憶するストレージとを備える電子機器に次の各ステップを実行させる。すなわち、該制御プログラムは、該電子機器に、コンテンツを前記タッチスクリーン上の所定の領域に設定し、前記領域を前記第1のソフトウェアキー群のソフトウェアキーのいずれかに割り当てるステップを実行させる。該制御プログラムは、該電子機器に、第1のソフトウェアキー群のソフトウェアキーの操作を検出すると、操作が検出されたソフトウェアキーに対応する領域の中に含まれるコンテンツの要素を規則に基づいて分類し、分類した要素を第2のソフトウェアキー群のソフトウェアキーのいずれかに割り当てるステップを実行させる。
図1は、実施形態に係る電子機器の機能構成の一例を示すブロック図である。 図2は、実施形態に係るキーデータの一例を示す図である。 図3は、実施形態に係る要素分類規則の一例を示す図である。 図4は、実施形態に係るユーザ属性対応優先度テーブルの一例を示す図である。 図5は、実施形態に係るユーザ属性データの一例を示す図である。 図6は、実施形態に係るウェブ画面の含まれる要素のソフトキーへの割当の概要を示す図である。 図7は、実施形態に係るウェブ画面の含まれる要素のソフトキーへの割当の概要を示す図である。 図8は、実施形態に係るウェブ画面の含まれる要素のソフトキーへの割当の概要を示す図である。 図9は、実施形態に係るウェブ画面の含まれる要素のソフトキーへの割当の概要を示す図である。 図10は、実施形態に係るウェブ画面の含まれる要素のソフトキーへの割当の概要を示す図である。 図11は、実施形態に係るウェブ画面の含まれる要素のソフトキーへの割当の概要を示す図である。 図12は、実施形態に係るウェブ画面の含まれる要素のソフトキーへの割当の概要を示す図である。 図13は、実施形態に係る電子機器の動作の一例を示す図である。 図14は、実施形態に係る電子機器の動作の一例を示す図である。 図15は、実施形態に係る電子機器の動作の一例を示す図である。 図16は、実施形態に係る電子機器の動作の一例を示す図である。 図17は、実施形態に係る電子機器の処理の流れの一例を示すフローチャートである。 図18は、実施形態に係る電子機器の処理の流れの一例を示すフローチャートである。 図19は、実施形態に係るウェブ画面の全体像の一例を示す図である。 図20は、実施形態に係る電子機器の処理の流れの他の例を示すフローチャートである。 図21は、実施形態に係る表計算画面に含まれる要素のソフトキーへの割当の概要を示す図である。 図22は、実施形態に係る表計算画面に含まれる要素のソフトキーへの割当の概要を示す図である。 図23は、実施形態に係る表計算画面に含まれる要素のソフトキーへの割当の概要を示す図である。 図24は、実施形態に係る表計算画面に含まれる要素のソフトキーへの割当の概要を示す図である。 図25は、実施形態に係るキーデータの他の例を示す図である。 図26は、実施形態に係るソフトキーと割当要素の対応関係を示す図である。 図27は、実施形態に係る電子機器の動作の他の例を示す図である。 図28は、実施形態に係る文書編集画面に含まれる要素のソフトキーへの割当の概要を示す図である。
本出願に係る電子機器、制御方法、及び制御プログラムを実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。
本出願に係る電子機器は、スマートフォン、モバイルフォン、タブレット、携帯型パソコン、メディアプレイヤ、電子書籍リーダ、ナビゲータ、ウエアラブルデバイス、又はゲーム機等の機器であってよい。
図1は、実施形態に係る電子機器の機能構成の一例を示すブロック図である。以下の説明において、同様の構成要素について同一の符号を付すことがある。以下の説明において、コンテンツは、ウェブページなどに代表されるように、文字、図形、音声、画像、動画、及びこれらの組合せで構成されたデジタルデータの集合体、並びにアプリケーションなどのソフトウェアによって処理されるデジタルデータの集合体である。コンテンツは、ウェブページの画面(以下、ウェブ画面)などに代表されるように、文字、図形、音声、画像、動画、及びこれらの組合せで構成された状態でディスプレイなどに表示される画面、並びにアプリケーションなどのソフトウェアの実行に伴ってディスプレイなどに表示される画面を含むものとする。以下に説明する実施形態では、コンテンツの一例として、ウェブ画面およびソフトウェアの実行に伴ってディスプレイなどに表示される画面を取りあげて説明する。
図1に示すように、電子機器1は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、カメラ13と、コネクタ14と、モーションセンサ15とを含む。
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2A及びタッチスクリーン2Bは、例えば、重なって位置してよいし、並んで位置してよいし、離れて位置してよい。ディスプレイ2Aとタッチスクリーン2Bとが重なって位置する場合、例えば、ディスプレイ2Aの1ないし複数の辺は、タッチスクリーン2Bのいずれの辺とも沿っていなくてもよい。
ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、又は無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを含む。ディスプレイ2Aは、文字、画像、記号、及び図形等のオブジェクトを画面内に表示する。ディスプレイ2Aが表示するオブジェクトを含む画面は、ロック画面と呼ばれる画面、ホーム画面と呼ばれる画面、アプリケーションの実行中に表示されるアプリケーション画面を含む。ホーム画面は、デスクトップ、待受画面、アイドル画面、標準画面、アプリ一覧画面又はランチャー画面と呼ばれることもある。
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触又は近接を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン2Bに接触又は近接したときのタッチスクリーン2B上の位置を検出することができる。以下の説明において、タッチスクリーン2Bが検出する複数の指、ペン、及びスタイラスペン等がタッチスクリーン2Bに接触又は近接した位置を「検出位置」と表記する。タッチスクリーン2Bは、タッチスクリーン2Bに対する指の接触又は近接を、検出位置とともにコントローラ10に通知する。タッチスクリーン2Bは、検出位置の通知をもって接触又は近接の検出をコントローラ10に通知してよい。タッチスクリーン2Bが行える動作を、タッチスクリーン2Bを有するタッチスクリーンディスプレイ2は実行できる。言い換えると、タッチスクリーン2Bが行う動作は、タッチスクリーンディスプレイ2が行ってもよい。
コントローラ10は、タッチスクリーン2Bにより検出された接触又は近接、検出位置、検出位置の変化、接触又は近接が継続した時間、接触又は近接が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいて、ジェスチャの種別を判別する。コントローラ10が行える動作を、コントローラ10を有する電子機器1は実行できる。言い換えると、コントローラ10が行う動作は、電子機器1が行ってもよい。ジェスチャは、指を用いて、タッチスクリーン2Bに対して行われる操作である。タッチスクリーン2Bに対して行われる操作は、タッチスクリーン2Bを有するタッチスクリーンディスプレイ2に行われてもよい。コントローラ10が、タッチスクリーン2Bを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、及び荷重検出方式等の任意の方式でよい。
ボタン3は、ユーザからの操作入力を受け付ける。
照度センサ4は、照度を検出する。照度は、照度センサ4の測定面の単位面積に入射する光束の値である。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。
近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ5は、例えば、ディスプレイ2Aと顔とが接近したことを検出する。照度センサ4及び近接センサ5は、1つのセンサとして構成されていてもよい。照度センサ4は、近接センサとして用いられてもよい。
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる無線通信規格には、例えば、2G、3G、4G、5G等のセルラーフォンの通信規格と、近距離無線の通信規格とが含まれる。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、WiMAX(登録商標)(Worldwide Interoperability for Microwave Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy−phone System)等がある。近距離無線の通信規格としては、例えば、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)、WPAN(Wireless Personal Area Network)等が含まれる。WPANの通信規格には、例えば、ZigBee(登録商標)が含まれる。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。
レシーバ7は、コントローラ10から送出される音信号を音として出力する。レシーバ7は、例えば、電子機器1にて再生される動画の音、音楽の音、及び通話時の相手の声を出力することができる。マイク8は、入力されるユーザの声等を音信号へ変換してコントローラ10へ送信する。
ストレージ9は、プログラム及びデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域として利用されてもよい。ストレージ9は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ9に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する基本プログラム(図示略)とが含まれる。アプリケーションは、例えば、フォアグランドで実行される場合、当該アプリケーションに係る画面を、ディスプレイ2Aに表示する。基本プログラムには、例えば、OSが含まれる。プログラムは、通信ユニット6による無線通信又は非一過的な記憶媒体を介してストレージ9にインストールされてもよい。
ストレージ9は、制御プログラム9A、ソフトキープログラム9B、キーデータ9C、要素分類規則9D、ユーザ属性対応優先度テーブル9E、及び設定データ9Zなどを記憶できる。制御プログラム9Aは、各種機能を提供するに際し、電子機器1が記憶するソフトキープログラム9B及び各種アプリケーションと連携できる。制御プログラム9Aは、通信ユニット6を介してクラウドストレージと連携し、当該クラウドストレージが記憶するファイル及びデータにアクセスしてもよい。クラウドストレージは、ストレージ9に記憶されるプログラム及びデータの一部又は全部を記憶してもよい。
制御プログラム9Aは、電子機器1の各種動作に関する処理を実現するための機能をそれぞれ提供できる。制御プログラム9Aが提供する機能には、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整する機能が含まれる。制御プログラム9Aが提供する機能には、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効とする機能が含まれる。制御プログラム9Aが提供する機能には、通信ユニット6、レシーバ7、及びマイク8等を制御することによって、通話を実現させる機能が含まれる。制御プログラム9Aが提供する機能には、カメラ12、及びカメラ13の撮影処理を制御する機能が含まれる。制御プログラム9Aが提供する機能には、コネクタ14を介して接続される外部機器との間の通信を制御する機能が含まれる。制御プログラム9Aが提供する機能には、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う機能が含まれる。制御プログラム9Aが提供する機能には、モーションセンサ15の検出結果に基づいて、電子機器1を携帯する利用者の移動、停止等を検出する機能が含まれる。
制御プログラム9Aが提供する機能には、コンテンツの操作等に関する機能が含まれる。コンテンツは、ウェブページなどに代表されるように、文字、図形、音声、画像、動画、及びこれらの組合せで構成されたデジタルデータの集合体、並びにアプリケーションなどのソフトウェアによって処理されるデジタルデータの集合体である。コンテンツは、ウェブページの画面(以下、ウェブ画面)などに代表されるように、文字、図形、音声、画像、動画、及びこれらの組合せで構成された状態でディスプレイなどに表示される画面、並びにアプリケーションなどのソフトウェアの実行に伴ってディスプレイなどに表示される画面を含む。この機能には、例えば、電子機器1が、所定の条件で、タッチスクリーンディスプレイ2に表示されるコンテンツを所定の倍率で縮小表示するための機能が含まれる。所定の条件は、ユーザからコンテンツを縮小表示させる操作を受け付けた場合、コンテンツをタッチスクリーンディスプレイ2に表示させてから一定時間が経過した場合、あるいはコンテンツの表示態様が縦長から横長の状態になるように電子機器1の姿勢を変更した場合など、種々の条件を採用できる。所定の倍率は、任意の倍率を採用できる。この機能には、ソフトキープログラム9Bと連携して、例えば、電子機器1が、コンテンツを縮小表示することにより、タッチスクリーンディスプレイ2上に形成される空白領域に、ソフトウェアキー(以下、適宜、「ソフトキー」と記載する)を含むソフトキーインタフェースを表示させる処理を実現するための機能が含まれる。この機能には、例えば、電子機器1が、要素分類規則9Dに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素を1又は複数のソフトキーに割り当てる処理を実現するための機能が含まれる。
制御プログラム9Aが提供するコンテンツの操作等に関する機能には、例えば、電子機器1が、タッチスクリーンディスプレイ2に表示されるコンテンツをタッチスクリーンディスプレイ2上の所定の領域に設定し、設定した領域を第1のソフトキー群のソフトキーのいずれかに割り当てる処理を実現するための機能も含まれる。また、この機能には、例えば、電子機器1が、第1のソフトキー群のソフトキーの操作を検出すると、操作が検出されたソフトキーに対応する領域の中に含まれるコンテンツの要素を要素分類規則9Dに基づいて分類する処理を実現するための機能も含まれる。また、この機能には、電子機器1が、後述する設定データ9Z内のユーザ属性の設定値(以下、ユーザ属性データ)及びユーザ属性対応優先度テーブル9Eを参照し、要素分類規則9Dに基づいて分類した要素の中から、ユーザ属性データに対応する優先度に該当する要素を選別する処理を実現するための機能も含まれる。すなわち、ユーザ属性データに対応する優先度の範囲が優先度1〜3である場合には、要素分類規則9Dに基づいて分類した要素の中から、優先度1〜3の優先度に該当する要素のみを選別する。また、この機能には、例えば、電子機器1が、ユーザ属性データに基づいて選別した要素を第2のソフトキー群のソフトキーのいずれかに割り当てる処理を実現するための機能が含まれる。また、この機能には、例えば、電子機器1が、コンテンツの要素の数がソフトキーの数よりも多い場合、予め定められたパターンに従って、同一のソフトキーに対し異なる要素を重複して割り当てる処理を実現するための機能が含まれる。また、この機能には、例えば、電子機器1が、ユーザ属性データに基づいて選別した要素について要素ごとに一括したユーザ選択を可能とするための区分を設定して、設定した区分を第1のソフトキー群のソフトキーに割り当てる処理を実現するための機能を提供できる。例えば、アドレスバー、メニュー各部、リンク各部、ページ内テキスト、ページ内画像がコンテンツに含まれる要素として分類された場合、電子機器1は、アドレスバーに対応する区分として「アドレス」、メニュー各部に対応する区分として「メニュー」、リンク各部に対応する区分として「リンク」、ページ内テキストに対応する区分として「テキスト」、ページ内画像に対応する区分として「画像」、をそれぞれ設定し、第1のソフトキー群のソフトキーにそれぞれ割り当てることができる。
制御プログラム9Aが提供するコンテンツの操作等に関する機能には、例えば、電子機器1が、操作が検出したソフトキーに割り当てられている区分又は要素に対応する音声を出力する処理を実現する機能も含まれる。操作が検出されたソフトキーにウェブ画面の要素である「アドレスバー」が割り当てられている場合、電子機器1が、アドレスバーに記述されているアドレスを読み上げる音声を出力する処理を実現できる。操作が検出されたソフトキーに、ウェブ画面の要素に対応する区分として「アドレス」が割り当てられている場合、電子機器1が、操作が検出されたソフトキーに、要素に対応する区分として「アドレス」が割り当てられている旨を通知するための音声を出力する処理を実現できる。操作が検出されたソフトキーにウェブ画面の要素である「メニュー各部」が割り当てられている場合、電子機器1が、メニューである旨およびメニューの内容などを読み上げる音声を出力する処理を実現できる。操作が検出されたソフトキーに、ウェブ画面の要素に対応する区分として「メニュー」が割り当てられている場合、電子機器1が、操作が検出されたソフトキーに、要素に対応する区分として「メニュー」が割り当てられている旨を通知するための音声を出力する処理を実現できる。操作が検出されたソフトキーにウェブ画面の要素である「ページ内テキスト」が割り当てられている場合、電子機器1が、テキストに記載されている内容を読み上げる音声を出力する処理を実現できる。操作が検出されたソフトキーに、ウェブ画面の要素に対応する区分として「テキスト」が割り当てられている場合、電子機器1が、操作が検出されたソフトキーに、要素に対応する区分として「テキスト」が割り当てられている旨を通知するための音声を出力する処理を実現できる。操作が検出されたソフトキーにウェブ画面の要素である「リンク各部」が割り当てられている場合、電子機器1が、リンクに記載されている内容を読み上げる音声を出力する処理を実現できる。操作が検出されたソフトキーに、ウェブ画面の要素に対応する区分として「リンク」が割り当てられている場合、電子機器1が、操作が検出されたソフトキーに、要素に対応する区分として「リンク」が割り当てられている旨を通知するための音声を出力する処理を実現できる。操作が検出されたソフトキーにウェブ画面の要素である「ページ内画像」が割り当てられている場合、電子機器1が、画像に付与されたIDを読み上げる音声を出力する処理を実現できる。操作が検出されたソフトキーに、ウェブ画面の要素に対応する区分として「画像」が割り当てられている場合、電子機器1が、操作が検出されたソフトキーに、要素に対応する区分として「画像」が割り当てられている旨を通知するための音声を出力する処理を実現できる。
ソフトキープログラム9Bは、電子機器1が、ソフトキーを介した操作入力に関する処理を実現するための機能を提供できる。ソフトキープログラム9Bが提供する機能には、電子機器1が、タッチスクリーンディスプレイ2の縁に沿って並ぶ1又は複数のソフトキーを含むソフトキーインタフェースをタッチスクリーンディスプレイ2に表示させる処理を実現する機能が含まれる。ソフトキープログラム9Bが提供する機能には、電子機器1が、タッチスクリーンディスプレイ2の縁に沿った第1の列に並ぶ複数のソフトキーを含む第1のソフトキー群と、タッチスクリーンディスプレイ2の縁に沿った第2の列に並ぶ複数のソフトキーを含む第2のソフトキー群とを含むソフトキーインタフェースをタッチスクリーンディスプレイ2に表示させる処理を実現する機能が含まれる。ソフトキープログラム9Bが提供するソフトキーインタフェースは、キーデータ9Cに基づいた構成で、タッチスクリーンディスプレイ2上に展開される。
キーデータ9Cは、ソフトキープログラム9Bがソフトキーインタフェースを構成するためのデータを含む。例えば、キーデータ9Cは、ソフトキー群の数、ソフトキー群の配置位置、ソフトキー群を構成するソフトキーの数などを決定するためのデータを含む。また、キーデータ9Cは、ソフトキーに割り当てられているコンテンツの要素及び区分の管理情報を含む。管理情報は、操作されたソフトキーに対応する処理(例えば、要素又は区分の内容を読み上げる音声出力など)を実行する際に参照される。
図2は、実施形態に係るキーデータ9Cの一例を示す図である。図2に例示するように、キーデータ9Bは、ソフトキー群ごとに、ソフトキー群を構成するソフトキーのキー構成、ソフトキーに対する割当機能、ソフトキーに対する割当区分又は割当要素を示すデータを含んでいる。図2に示す例では、第1のソフトキー群G1に対応するキー構成は「30a〜30a」の5個のソフトキーとなっている。図2に示す例では、ソフトキー30aには「1つ戻る」という操作機能が割り当てられ、ソフトキー30aには「1つ進む」という操作機能が割り当てられている。図2に示す例では、割当区分の1巡目として、ソフトキー30a〜30aに、「アドレス」、「メニュー」、「リンク」の区分が割り当てられている。なお、図2に示す例では、割当区分として、第1のソフトキー群G1を構成するソフトキーに対して2巡目以降の割当が存在する。すなわち、図2に示すように、割当区分の2巡目として、ソフトキー30aに「テキスト」の区分が割り当てられている。また、図2に示す例では、第2のソフトキー群G2に対応するキー構成は「30b〜30b10」の10個のソフトキーとなっている。図2に示す例では、ソフトキー30bには「1つ戻る」という操作機能が割り当てられ、ソフトキー30b10には「1つ進む」という操作機能が割り当てられている。図2に示す例では、割当要素の1巡目として、ソフトキー30b〜30bに、「メニューe1−(3)」、「メニューe1−(2)」、「アドレスe1−(1)」の要素が割り当てられている。なお、図2に示す例では、割当要素として、第2のソフトキー群G2を構成する複数のソフトキーに対して2巡目以降の割当が存在する。すなわち、図2に示すように、割当要素の2巡目として、ソフトキー30b〜30bに、「テキストe2−(8)」、「メニューe2−(7)」、「メニューe2−(6)」、「リンクe2−(5)」、「リンクe2−(4)」、「リンクe2−(3)」、「リンクe2−(2)」、「リンクe2−(1)」の要素が割り当てられている。また、図2に示すように、割当要素の3巡目として、ソフトキー30b〜30bに、「メニューe2−(12)」、「テキストe2−(11)」、「メニューe2−(10)」、「テキストe2−(9)」の要素が割り当てられている。また、図2に示すように、割当要素の4巡目として、ソフトキー30b,30bに、「メニューe3−(2)」、「メニューe3−(1)」の要素が割り当てられている。図2に示す割当区分および割当要素のデータは、制御プログラム9Aを実行することにより、コントローラ10により実現される処理に伴って、キーデータ9Cに記録される。また、キーデータ9Cに記録されている割当区分および割当要素のデータは、ソフトキーへの割当が変更されるたびに更新されてよい。ソフトキーの割当が変更されるタイミングは、タッチスクリーンディスプレイ2に表示される画面が変更されるタイミングを含む。
要素分類規則9Dは、コンテンツに含まれる要素を分類するための規則に該当する。図3は、実施形態に係る要素分類規則の一例を示す図である。図3に示すように、要素分類規則9Dは、ウェブページなどの所定のブラウザにより閲覧可能なウェブ画面、表計算アプリケーションの実行に伴い表示される表計算画面、文書編集アプリケーションの実行に伴い表示される文書編集画面などを対象画面とする。また、要素分類規則9Dは、ウェブ画面からの分類要素として、アドレスバー、メニュー各部、リンク各部、ページ内テキスト、ページ内画像などを含む。アドレスバーは、例えば、URL(Uniform Resorce Locater)、ホームページアドレスなどが記述されたウェブブラウザで使用されるウィジェットに相当する。メニュー各部は、例えば、ウェブ画面に配置された各種ナビゲーションメニューに相当する。リンク各部は、例えば、ウェブ画面上に記述されたハイパーリンク等に相当する。ページ内テキストは、例えば、ウェブ画面上に記述されたテキストデータに相当する。ページ内画像は、例えば、ウェブ画面上に貼り付けられた画像データに相当する。同様に、要素分類規則9Dは、表計算画面からの分類要素として、メニュー各部、ワークシート、図表、ワークシート(セル)内テキストなどを含む。同様に、要素分類規則9Dは、文書編集画面からの分類要素として、メニュー各部、文書入力エリア、図表、文書入力エリア内テキストなどを含む。
また、要素分類規則9Dは、図3に示すように、コンテンツから分類した要素を要素ごとに一括したユーザ選択を可能とするために設定される区分の情報を含む。例えば、要素分類規則9Dは、ウェブ画面に関し、アドレスバーに対応する区分として設定される「アドレス」、メニュー各部に対応する区分として設定される「メニュー」、リンク各部に対応する区分として設定される「リンク」、ページ内テキストに対応する区分として設定される「テキスト」、ページ内画像に対応する区分として設定される「画像」の情報を含む。同様に、要素分類規則9Dは、表計算画面及び文書編集画面についても、要素ごとに一括したユーザ選択を可能とするために設定される区分の情報を含む。
また、要素分類規則9Dは、図3に示すように、コンテンツの要素をソフトキーに割り当てる際の優先度の情報を含む。要素分類規則9Dに含まれる優先度の情報は、対象画面(コンテンツの種別)に応じてあらかじめ設定済みの情報である。例えば、要素分類規則9Dは、ウェブ画面に関し、「ページ内テキスト」について優先度「1」、「リンク各部」について優先度「2」、「アドレスバー」について優先度「3」、「メニュー各部」について優先度「4」、「ページ内画像」について優先度「5」の情報を含む。同様に、要素分類規則9Dは、表計算画面及び文書編集画面についても、コンテンツの要素をソフトキーに割り当てる際の優先度の情報を含む。要素分類規則9Dに含まれる優先度の情報は、分類要素に優劣をつけない場合(例えば、「優先度なし」)を含んでよい。優先度は、後述するユーザ属性対応優先度テーブル9Dに基づくソフトキーの割当処理における参考データに過ぎない。なお、要素分類規則9Dに含まれる優先度の情報が、分類要素に優劣をつけない「優先度なし」の設定となっている場合、ユーザ属性に対応する優先度の情報が、コンテンツに含まれる要素のソフトキーへの割当に用いられることがないので、後述するユーザ属性対応優先度テーブル9D(図4参照)、並びにユーザ属性データ(図5参照)をストレージ9に格納しなくてもよい。
ユーザ属性対応優先度テーブル9Eは、制御プログラム9Aが提供する機能により、電子機器1がコンテンツに含まれる要素(例えば、ウェブ画面上の要素)をソフトキーに割り当てる処理を実行する際に参照される。図4は、実施形態に係るユーザ属性対応優先度テーブルの一例を示す図である。図4に示すように、ユーザ属性対応優先度テーブル9Eは、電子機器1のユーザ属性ごとに、ソフトキーへの割当を行う要素の優先度の範囲を示す情報を記憶する。ここで、ユーザ属性は、コンテンツに含まれる要素が電子機器1のユーザに有益な要素であるか否かを決定付けるために任意に設定することができる情報であり、例えば、ユーザの視力の情報などを採用できる。ユーザ属性が「属性1」に該当する場合(ユーザ属性として属性1が設定されている場合)には、コントローラ10は、ユーザ属性対応優先度テーブル9Eを参照し、コンテンツに含まれる全優先度の要素について、ソフトキーへの割当を行う。また、ユーザ属性が「属性2」に該当する場合(ユーザ属性として属性2が設定されている場合)には、コントローラ10は、ユーザ属性対応優先度テーブル9Eを参照し、コンテンツに含まれる要素の中から、優先度1〜3の要素についてソフトキーへの割当を行う。また、ユーザ属性が「属性3」に該当する場合(ユーザ属性として属性3が設定されている場合)には、コントローラ10は、ユーザ属性対応優先度テーブル9Eを参照し、コンテンツに含まれる要素の中から、優先度1の要素のみについてソフトキーへの割当を行う。視力が両眼で0.7以上のユーザを「属性1」、視力が両眼で0.02以上〜0.7未満のユーザを「属性2」、全盲〜0.02未満のユーザを「属性3」というように区分けした場合、図4に示す例では、ユーザの視力が弱いほど、より視覚的な情報(視覚により認識される程度が大きいと考えられる情報)がソフトキーの割当対象から除外される。このように、電子機器1は、コンテンツから分類した要素のソフトキーへの割当をユーザ属性に応じて変更することにより、ユーザに応じた操作環境を提供できる結果、コンテンツの操作性を向上させることができる。
上述したユーザ属性対応優先度テーブル9Eは、ユーザ属性に対応する優先度の範囲が予め設定された状態であるが、例えば、電子機器1のユーザが不要と思う要素についてはソフトキーの割当を行わないように任意の設定が可能なテーブルを電子機器に備えてもよい。
設定データ9Zは、制御プログラム9Aが提供する機能により、電子機器1が各種処理を実行する際に参照するデータである。図5は、実施形態に係るユーザ属性データの一例を示す図である。設定データ9Zは、図5に示すように、ユーザ属性として任意に設定されたデータ(例えば、「属性1」)を記憶することができる。
コントローラ10は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−Chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、およびコプロセッサを含むが、これらに限定されない。コントローラ10は、電子機器1の動作を統括的に制御して各種の機能を実現する。
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、マイク8、及びスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、カメラ13、モーションセンサ15を含むが、これらに限定されない。
コントローラ10は、制御プログラム9Aを実行することにより、電子機器1の各種動作に関する処理を実現できる。コントローラ10は、制御プログラム9Aを実行することにより、タッチスクリーンディスプレイ2に表示されるコンテンツの操作等に関する処理を実現できる。例えば、コントローラ10は、要素分類規則9Dに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素を1又は複数のソフトキーに割り当てる処理を実現できる。例えば、コントローラ10は、タッチスクリーンディスプレイ2に表示されるコンテンツをタッチスクリーンディスプレイ2上の所定の領域に設定し、コンテンツの設定が行われた領域を第1のソフトキー群のソフトキーのいずれかに割り当てる処理を実現できる。例えば、コントローラ10は、第1のソフトキー群のソフトキーの操作を検出すると、操作が検出されたソフトキーに対応する領域の中に含まれるコンテンツの要素を要素分類規則9Dに基づいて分類する処理を実現できる。例えば、コントローラ10は、分類した要素から、ユーザ属性データに対応する優先度に該当する要素を選別する処理を実現できる。例えば、コントローラ10は、ユーザ属性に基づいて選別した要素を第2のソフトキー群のソフトキーのいずれかに割り当てる処理を実現できる。例えば、コントローラ10は、ユーザ属性に基づいて選別した要素について要素ごとに一括したユーザ選択を可能とするための区分を設定して、設定した区分を第1のソフトキー群のソフトキーに割り当てる処理を実現できる。例えば、コントローラ10は、操作が検出されたソフトキーに割り当てられている要素あるいは要素の区分に対応する音声を出力する処理を実現できる。
スピーカ11は、コントローラ10から送出される音信号を音として出力する。スピーカ11は、例えば、着信音及び音楽を出力するために用いられる。レシーバ7及びスピーカ11の一方が、他方の機能を兼ねてもよい。
カメラ12及びカメラ13は、撮影した画像を電気信号へ変換する。カメラ12は、ディスプレイ2Aに面している物体を撮影するインカメラである。カメラ13は、ディスプレイ2Aの反対側の面に面している物体を撮影するアウトカメラである。カメラ12及びカメラ13は、インカメラ及びアウトカメラを切り換えて利用可能なカメラユニットとして、機能的及び物理的に統合された状態で電子機器1に実装されてもよい。
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用の端子でもよい。コネクタ14に接続される装置は、例えば、外部ストレージ、スピーカ、及び通信装置を含むが、これらに限定されない。
モーションセンサ15は、電子機器1を携帯する利用者の動作を判定するための各種情報を検出できる。モーションセンサ15は、加速度センサ、方位センサ、ジャイロスコープ、磁気センサ及び気圧センサなどを備えるセンサユニットとして構成されてよい。
電子機器1は、上記の各機能部の他、GPS受信機、及びバイブレータを備えてもよい。GPS受信機は、GPS衛星からの所定の周波数帯の電波信号を受信する。GPS受信機は、受信した電波信号の復調処理を行って、処理後の信号をコントローラ10に送出する。GPS受信機は、電子機器1の現在位置の演算処理をサポートする。電子機器1は、GPS衛星以外の測位用人工衛星の信号を受信可能な受信機を備え、現在位置の演算処理を実行してもよい。バイブレータは、電子機器1の一部又は全体を振動させる。バイブレータは、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。電子機器1は、バッテリなど、電子機器1の機能を維持するために当然に用いられる機能部、及び電子機器1の制御を実現するために当然に用いられる制御部を実装する。
電子機器1は、通信ユニット6を介してクラウド上の記憶サーバにアクセスし、各種プログラム及びデータを取得してもよい。
図6から図12を参照しつつ、実施形態に係るウェブ画面に対応したソフトキーの割当方法の一例を説明する。図6から図12は、実施形態に係るウェブ画面の含まれる要素のソフトキーへの割当の概要を示す図である。なお、以下の説明において、電子機器1のユーザのユーザ属性(例えば、属性1)が予め設定されているものとする。
図6に示す電子機器1は、タッチスクリーンディスプレイ2の縁F1に沿って、y軸に平行な方向に1列に並ぶ複数のソフトキーを含む第1のソフトキー群G1と、タッチスクリーンディスプレイ2の縁F2に沿ってx軸に平行な方向に1列に並ぶ複数のソフトキーを含む第2のソフトキー群G2とを、タッチスクリーンディスプレイ2上に表示する。第1のソフトキー群G1は、図6に示すソフトキー30a,・・・,ソフトキー30aの合計5個のソフトキーを含んで構成される。第2のソフトキー群G2は、図6に示すソフトキー30b,・・・,ソフトキー30b10の合計10個のソフトキーを含んで構成される。図6に示す第1のソフトキー群G1及び第2のソフトキー群G2のそれぞれを構成するソフトキーの個数は一例であり、必ずしも、図6に示す例と同数のソフトキーで構成されていなくてもよい。また、図6に示す第1のソフトキー群G1の配置位置は一例であり、図6に示すタッチスクリーンディスプレイ2の縁F1とは別の縁に沿って配置されてよい。同様に、図6に示す第2のソフトキー群G2についても、図6に示すタッチスクリーンディスプレイ2の縁F2とは別の縁に沿って配置されてよい。図6に示す例では、ソフトキー30a,・・・,ソフトキー30aは、電子機器1の筐体の縁F1に沿って配置されるが、電子機器1の筐体の輪郭を構成する1辺に沿った配置であってよい。同様に、ソフトキー30b,・・・,ソフトキー30b10についても、電子機器1の筐体の輪郭を構成する1辺に沿った配置であってよい。図6に示す例では、電子機器1は、タッチスクリーンディスプレイ2に、ウェブ画面C1を表示する。
電子機器1は、例えば、ウェブ画面C1を縮小表示することによりタッチスクリーンディスプレイ2上に形成された空白領域20にソフトキーインタフェースを表示させたタイミングで、図7に示すように、タッチスクリーンディスプレイ2に表示されるウェブ画面C1を、領域A1,A2,及びA3の3つの領域に設定する。続いて、電子機器1は、領域A1を第1のソフトキー群G1のソフトキー30aに割り当て、領域A2を第1のソフトキー群G1のソフトキー30aに割り当て、領域A3を第1のソフトキー群G1のソフトキー30aに割り当てる。
電子機器1は、例えば、ソフトキー30aの操作を検出すると、図8に示すように、ソフトキー30aに対応する領域A1に含まれるウェブ画面C1の要素を、要素分類規則9Dに基づいて分類する。すなわち、電子機器1は、ウェブ画面C1に含まれるアドレスバー、メニュー各部、リンク各部、ページ内テキスト、ページ内画像などの各要素を、ソフトキーの割り当て対象として抽出する。図8に示す例では、領域A1に含まれるウェブ画面C1の要素として、要素e1−(1)、要素e1−(2)、及び要素e1−(3)が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、要素e1−(1)、要素e1−(2)、及び要素e1−(3)の中から、ユーザ属性データに対応する優先度に該当した要素を選別する。例えば、要素e1−(1)、要素e1−(2)、及び要素e1−(3)が選別されると、電子機器1は、要素e1−(1)を、第2のソフトキー群G2に含まれるソフトキー30bに割り当て、要素e1−(2)を、第2のソフトキー群G2に含まれるソフトキー30bに割り当て、要素e1−(3)を、第2のソフトキー群G2に含まれるソフトキー30bに割り当てる。
電子機器1は、例えば、ソフトキー30aの操作を検出すると、図9に示すように、ソフトキー30aに対応する領域A2に含まれるウェブ画面C1の要素を、要素分類規則9Dに基づいて分類する。図9に示す例では、領域A2に含まれるウェブ画面C1の要素として、要素e2−(1)〜要素e2−(12)までの12個の要素が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、要素e2−(1)〜要素e2−(12)までの12個の要素の中から、ユーザ属性データに対応する優先度に該当した要素を選別する。例えば、要素e2−(1)〜要素e2−(12)までの全ての要素が選別されると、電子機器1は、まず、要素e2−(1)〜要素e2−(8)までの8個の要素を、第2のソフトキー群G2に含まれるソフトキー30bからソフトキー30bにそれぞれ割り当てる。続いて、電子機器1は、折り返して再びソフトキー30bに戻り、要素e2−(9)〜要素e2−(12)までの4個の要素を、ソフトキー30bからソフトキー30bにそれぞれ順番に割り当てる。このように、電子機器1は、ソフトキーを割り当てるべき要素の数が、第2のソフトキー群G2に含まれるソフトキーの数よりも多い場合については、第2のソフトキー群G2に含まれるソフトキーを循環利用して、同一のソフトキーに異なる要素を重複して割り当てることにより対処できる。
電子機器1は、例えば、ソフトキー30aの操作を検出すると、図10に示すように、ソフトキー30aに対応する領域A3に含まれるウェブ画面C1の要素を、要素分類規則9Dに基づいて分類する。図10に示す例では、領域A3に含まれるウェブ画面C1の要素として、要素e3−(1)及び要素e3−(2)が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、要素e3−(1)及び要素e3−(2)の中から、ユーザ属性データに対応する優先度に該当した要素を選別する。例えば、要素e3−(1)及び要素e3−(2)が選別されると、電子機器1は、要素e3−(1)を、第2のソフトキー群G2に含まれるソフトキー30bに割り当て、要素e3−(2)を、第2のソフトキー群G2に含まれるソフトキー30bに割り当てる。
電子機器1は、例えば、図11に示すように、タッチスクリーンディスプレイ2の座標(X1,Y1)を基準として、y軸方向に平行な方向(1)及びx軸方向に平行な方向(2)にタッチスクリーンディスプレイ2上をスキャンすることにより、ウェブ画面C1上の要素を分類して、分類した順に採番することができる。図12には、例えば、ウェブ画面C1を設定したタッチスクリーンディスプレイ2上の領域A2に対するスキャンの推移を示している。電子機器1は、y軸方向に平行な方向(1)に向かってスキャンSC1を開始する(ステップS1)。電子機器1は、スキャンSC1により、ウェブ画面C1上の領域HT1を検出する(ステップS2)。電子機器1は、x軸方向に平行な方向(2)に向かって、領域HT1に対するスキャンSC2を開始する(ステップS3)。電子機器1は、スキャンSC2により検出した領域HT2に含まれる要素に対して識別番号e2−(1)を付与し、領域HT2に続いて検出された領域HT3に含まれる要素に対して識別番号e2−(2)を付与する(ステップS4)。このように、領域A2の全域をスキャンした後、ウェブ画面C1を設定したタッチスクリーンディスプレイ2上の他の領域についても領域A2と同様の方法でスキャンし、ウェブ画面C1に含まれる要素の分類及び採番を実行する。電子機器1は、ウェブ画面C1上の要素を採番した順に、ソフトキーへ割り当てる。
電子機器1は、ウェブ画面C1から分類した要素を第2のソフトキー群G2に含まれるソフトキーにそれぞれ割り当てた後、ソフトキー30aに対する領域A1の割り当て、ソフトキー30aに対する領域A2の割り当て、並びにソフトキー30aに対する領域A3の割り当てを解除し、ウェブ画面C1に含まれる要素の中から選別された要素の区分を新たに第1のソフトキー群G1のソフトキーにそれぞれ割り当てる。電子機器1は、例えば、ウェブ画面C1から選別された要素のうち、ページ内画像に対応する区分である「画像」をソフトキー30aに割り当て、ページ内テキストに対応する区分である「テキスト」をソフトキー30aに割り当て、リンク各部に対応する区分である「リンク」をソフトキー30aに割り当てる。
上記図6から図12に示す割当の実行に際し、電子機器1は、ソフトキーと、ソフトキーに割り当てられた要素との対応関係が分かるように、割当に関するデータを管理情報としてキーデータ9Cに記録する(図2参照)。
上記図6から図12に示す例では、電子機器1が、第1のソフトキー群G1のソフトキーの操作検出を契機として、ウェブ画面C1のスキャンを実行し、ウェブ画面C1に含まれる要素の分類、選別及び選別した要素のソフトキーへの割当が実行されるが、この例には限定されない。例えば、電子機器1は、ウェブ画面C1を、タッチスクリーンディスプレイ2上の3つの領域、領域A1,A2,及びA3に設定したタイミングで、領域A1,A2,及びA3ごとに、ウェブ画面C1に含まれる要素の分類、及び分類した要素のソフトキーへの割当が自動的に実行されてもよい。
続いて、図13から図16を参照しつつ、実施形態に係る電子機器の動作の一例を説明する。図13から図16は、実施形態に係る電子機器の動作の一例を示す図である。以下に示す図13から図16は、コンテンツの含まれる要素のソフトキーへの割当が終了した後、ユーザによりソフトキーが操作されたときに、ソフトキーに対する操作に応じて電子機器1が実行する動作を示している。すなわち、電子機器1は、ユーザによるソフトキーへの操作に応じて、ソフトキーに割り当てられている要素に関する情報等を音声として出力する処理などを実行する。
図13に示す例では、電子機器1は、ウェブ画面C2をタッチスクリーンディスプレイ2に表示する(ステップS11)。
電子機器1は、第1のソフトキー群G1のソフトキー30aに対する操作を検出すると、ソフトキー30aに割り当てられている要素の区分(「画像」)を読み上げる音声M1を出力する(ステップS12)。
ソフトキー30aに対する操作を受け付けた後、電子機器1は、第2のソフトキー群G2のソフトキー30bに対する操作を検出すると、ソフトキー30bに割り当てられている画像のIDを読み上げる音声M2を出力する(ステップS13)。
図14に示す例では、図13に示す例と同様に、電子機器1は、ウェブ画面C2をタッチスクリーンディスプレイ2に表示する(ステップS21)。
電子機器1は、第1のソフトキー群G1のソフトキー30aに対する操作を検出すると、ソフトキー30aに割り当てられている要素の区分(「テキスト」)を読み上げる音声M3を出力する(ステップS22)。
ソフトキー30aに対する操作を受け付けた後、電子機器1は、第2のソフトキー群G2のソフトキー30bに対する操作を検出すると、ソフトキー30bに割り当てられているテキストに記述された内容を読み上げる音声M4を出力する(ステップS23)。
図15に示す例では、図13に示す例と同様に、電子機器1は、ウェブ画面C2をタッチスクリーンディスプレイ2に表示する(ステップS31)。
電子機器1は、第1のソフトキー群G1のソフトキー30aに対する操作を検出すると、ソフトキー30aに割り当てられている要素の区分(「リンク」)を読み上げる音声M5を出力する(ステップS32)。
ソフトキー30aに対する操作を受け付けた後、電子機器1は、第2のソフトキー群G2のソフトキー30bに対する操作を検出すると、ソフトキー30bに割り当てられているリンクに記述された内容を読み上げる音声M6を出力する(ステップS33)。ソフトキー30bに対する操作に続いて、電子機器1は、ソフトキー30bに対する操作を検出すると、ソフトキー30bに割り当てられているリンクに記述された内容を読み上げる音声M7を出力する(ステップS34)。
図16に示す例では、図13に示す例と同様に、電子機器1は、ウェブ画面C2をタッチスクリーンディスプレイ2に表示する(ステップS41)。
電子機器1は、第1のソフトキー群G1のソフトキー30aに対する操作を検出すると、ソフトキー30aからソフトキー30aの2巡目以降に割り当てられている別の要素の区分の選択に移る旨の音声M8を出力する(ステップS42)。
ソフトキー30aに対する操作に続いて、2巡目のソフトキー30aの操作を受け付けると、電子機器1は、2巡目のソフトキー30aに割り当てられている要素の区分(「アドレス」)を読み上げる音声M9を出力する(ステップS43)。
2巡目のソフトキー30aの操作を受け付けた後、第2のソフトキー群G2のソフトキー30bに対する操作を検出すると、電子機器1は、ソフトキー30bに割り当てられているアドレスバーに記述された内容を読み上げる音声M10を出力する(ステップS44)。
図17及び図18を用いて、実施形態に係る電子機器1の処理の流れを説明する。図17及び図18は、実施形態に係る電子機器の処理の流れの一例を示すフローチャートである。図17及び図18に示す処理は、コントローラ10が、制御プログラム9Aを実行することにより実現される。
図17を用いて、コンテンツの要素のソフトキーへの割当に関する処理(図6〜図12等参照)を説明する。図17に示すように、コントローラ10は、タッチスクリーンディスプレイ2にコンテンツを表示したかを判定する(ステップS101)。
コントローラ10は、判定の結果、コンテンツを表示した場合(ステップS101,Yes)、表示中のコンテンツをタッチスクリーンディスプレイ2上の所定の領域に設定する(ステップS102)。
コントローラ10は、各領域を第1のソフトキー群G1のソフトキーに割り当てる(ステップS103)。
コントローラ10は、第1のソフトキー群G1のソフトキーに対する操作を検出したかを判定する(ステップS104)。
コントローラ10は、判定の結果、第1のソフトキー群G1のソフトキーに対する操作を検出した場合(ステップS104,Yes)、操作が検出されたソフトキーに対応する領域のスキャンを実行する(ステップS105)。
コントローラ10は、スキャンにより検出された要素を要素分類規則9Dに基づいて分類する(ステップS106)。
コントローラ10は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、ステップS106で分類した要素から、ユーザ属性データに対応する優先度に該当する要素を選別する(ステップS107)。
コントローラ10は、ステップS107で選別した要素を第2のソフトキー群G2のソフトキーに割り当てる(ステップS108)。
コントローラ10は、ステップS107で選別した要素の区分を第1のソフトキー群G1のソフトキーに割り当てる(ステップS109)。
コントローラ10は、表示中のコンテンツに対する処理を完了したかを判定する(ステップS110)。
コントローラ10は、判定の結果、表示中のコンテンツに対する処理を完了した場合(ステップS110,Yes)、図17に示す処理を終了する。
一方、コントローラ10は、判定の結果、表示中のコンテンツに対する処理を完了していない場合(ステップS110,No)、上記ステップS104の判定に戻る。
上記ステップS104において、コントローラ10は、判定の結果、第1のソフトキー群G1のソフトキーに対する操作を検出していない場合(ステップS104,No)、同判定を繰り返す。
上記ステップS101において、コントローラ10は、判定の結果、コンテンツを表示していない場合(ステップS101,No)、図17に示す処理を終了する。
上述してきた通り、実施形態に係る電子機器1は、コンテンツから分類した要素のソフトキーへの割当をユーザ属性に応じて変更することにより、タッチスクリーンディスプレイ2上に表示されるウェブ画面及びアプリケーションの画面などの各種コンテンツの操作性を向上できる。
図18を用いて、コンテンツに含まれる要素のソフトキーへの割当完了後にソフトキーへの操作検出に応じて実行される処理(図13〜図16等参照)について説明する。図18に示すように、コントローラ10は、コンテンツを表示中であるかを判定する(ステップS201)。
コントローラ10は、判定の結果、コンテンツを表示中である場合(ステップS201,Yes)、ソフトキーへの操作を検出したかを判定する(ステップS202)。
コントローラ10は、判定の結果、ソフトキーへの操作を検出した場合(ステップS202,Yes)、第1のソフトキー群G1のソフトキーへの操作であるかを判定する(ステップS203)。
コントローラ10は、判定の結果、第1のソフトキー群G1のソフトキーへの操作である場合(ステップS203,Yes)、第1のソフトキー群G1のソフトキーに対応する処理を実行し(ステップS204)、上記ステップS201の判定に戻る。
一方、コントローラ10は、判定の結果、第1のソフトキー群G1のソフトキーへの操作ではない場合(ステップS203,No)、第2のソフトキー群G2のソフトキーへの操作であるかを判定する(ステップS205)。
コントローラ10は、判定の結果、第2のソフトキー群G2のソフトキーへの操作である場合(ステップS205,Yes)、第2のソフトキー群G2のソフトキーに対応する処理を実行し(ステップS206)、上記ステップS201の判定に戻る。
一方、コントローラ10は、判定の結果、第2のソフトキー群G2のソフトキーへの操作ではない場合(ステップS205,No)、上記ステップS201の判定に戻る。
上記ステップS202において、コントローラ10は、判定の結果、ソフトキーへの操作を検出していない場合(ステップS202,No)、上記ステップS201の判定に戻る。
上記ステップS201において、コントローラ10は、判定の結果、コンテンツを表示中でない場合(ステップS201,No)、図18に示す処理を終了する。
上記の実施形態では、電子機器1が、ウェブ画面C1をタッチスクリーンディスプレイ2に縮小表示した後、ソフトキーインタフェースを表示させる例を説明したが、この例には限定されない。例えば、電子機器1は、ウェブ画面C1を縮小表示させることなく、ウェブ画面C1に対してソフトキーインタフェースをオーバーレイ表示してもよい。なお、ウェブ画面C1に対してソフトキーインタフェースをオーバーレイ表示する際、ソフトキーインタフェースの透過性を任意に設定可能としてもよい。
(他の実施形態)
上記の実施形態では、電子機器1がタッチスクリーンディスプレイ2に表示されるコンテンツをタッチスクリーンディスプレイ2の上の所定の領域に設定した後、コンテンツの要素を分類し、分類した要素をユーザ属性に応じて選別して、選別した要素のソフトキーへの割当を実行する例を説明したが、この例に限定されない。例えば、電子機器1は、コンテンツをタッチスクリーンディスプレイ2の上の所定の領域に設定せずに、コンテンツから分類した要素のソフトキーへの割当を実行してもよい。
制御プログラム9Aが、例えば、タッチスクリーンディスプレイ2の上の所定の領域に設定することなく、要素分類規則9Dに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素をユーザ属性に基づいて選別し、選別した要素を1又は複数のソフトキーに割り当てる処理を実現するための機能を提供する。そして、コントローラ10が、当該制御プログラム9Aにより提供される機能により、要素分類規則9Dに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素をユーザ属性に基づいて選別し、選別した要素を1又は複数のソフトキーに割り当てる処理を実現する。
図19は、実施形態に係るウェブ画面の全体像の一例を示す図である。例えば、図19に示すように、電子機器1は、タッチスクリーンディスプレイ2に表示されるコンテンツ(例えば、ウェブ画面C1)を全面に渡ってスキャンし、ウェブ画面C1からソフトキーへの割当対象となる要素(例えば、要素e−(1)〜要素e−(33))を分類し、分類した要素をユーザ属性に基づいて選別し、選別した要素のソフトキーへの割当を実行してもよい。以下、図20を用いて、コンテンツをタッチスクリーンディスプレイ2の上の所定の領域に設定しない場合の処理の流れを説明する。
図20は、実施形態に係る電子機器1の処理の流れの他の例を示すフローチャートである。
図20に示すように、コントローラ10は、タッチスクリーンディスプレイ2にコンテンツを表示したかを判定する(ステップS301)。
コントローラ10は、判定の結果、コンテンツを表示した場合(ステップS301,Yes)、コンテンツのスキャンを実行する(ステップS302)。
コントローラ10は、スキャンにより検出された要素を要素分類規則9Dに基づいて分類する(ステップS303)。
コントローラ10は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、ステップS303で分類した要素から、ユーザ属性データに対応する優先度に該当する要素を選別する(ステップS304)。
コントローラ10は、ステップS304で選別した要素を第2のソフトキー群G2のソフトキーに割り当てる(ステップS305)。
コントローラ10は、ステップS304で選別した要素の区分を第1のソフトキー群G1のソフトキーに割り当てて(ステップS306)、図20に示す処理を終了する。
上記ステップS301において、コントローラ10は、判定の結果、コンテンツを表示していない場合(ステップS301,No)、図20に示す処理を終了する。
図20に示す処理では、電子機器1が、タッチスクリーンディスプレイ2にコンテンツが表示されると、要素分類規則9Dに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素をユーザ属性に基づいて選別し、選別した要素を1又は複数のソフトキーに割り当てる処理を実現する。このようなことから、図20に示す処理は、図17に示す処理のように、コンテンツをタッチスクリーンディスプレイ2の上の所定の領域に設定する必要がなく、さらには、コンテンツを設定した領域への操作を検出する必要もなく、タッチスクリーンディスプレイ2にコンテンツが表示されたタイミングでコンテンツに含まれる要素のソフトキーへの割当を全て完了することができ、図17に示す処理に比較して、ユーザの利便性をさらに向上できる。
また、電子機器1は、上述したように、タッチスクリーンディスプレイ2に表示されたウェブ画面C1のスキャンを実行して、ウェブ画面C1に含まれる要素の分類、分類した要素の選別、選別した要素のソフトキーへの割当を実行するが、この例には限定されない。電子機器1は、例えば、タッチスクリーンディスプレイ2にウェブ画面C1を表示する際に、ウェブ画面C1の元となるウェブページのソースコードの解析を実行することにより、ウェブ画面C1に含まれる要素を要素分類規則9Dに基づいて自動的に分類し、続いて、分類した要素の選別、選別した要素のソフトキーへの割当を実行してもよい。すなわち、電子機器1は、タッチスクリーンディスプレイ2上に表示されていないコンテンツであっても、ウェブページのソースコード解析のように、コンテンツの要素を抽出する方法があれば、コンテンツに含まれる要素を分類及び選別して、ソフトキーに割り当てることができる。
図21から図28を用いて、実施形態に係るアプリケーションの画面に対応したソフトキーへの割当の概要を説明する。
図21から図24を用いて、表計算画面に含まれる要素のソフトキーへの割当の概要を示す。図21から図24は、実施形態に係る表計算画面に含まれる要素のソフトキーへの割当の概要を示す図である。タッチスクリーンディスプレイ2に表示した表計算画面に含まれる要素のソフトキーへの割当を行う場合も、図6から図12に例示したウェブ画面C1に含まれる要素のソフトキーへの割当と基本的に同様である。すなわち、図21に示すように、電子機器1は、表計算画面C3を、タッチスクリーンディスプレイ2上の領域A4,A5,及びA6に設定する。電子機器1は、領域A4を第1のソフトキー群G1のソフトキー30aに割り当て、領域A5を第1のソフトキー群G1のソフトキー30aに割り当て、領域A6を第1のソフトキー群G1のソフトキー30aに割り当てる。
電子機器1は、例えば、表計算画面C3のメニューに対応する領域A4が割り当てられたソフトキー30aの操作を受け付けると、図22に示すように、領域A4に含まれる表計算画面C3の要素を、要素分類規則9Dに基づいて分類する。すなわち、電子機器1は、表計算画面C3に含まれるメニュー各部に関する分類を実行する。図22に示す例では、領域A4に含まれる表計算画面C3の要素として、要素e101〜要素e122が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、分類した要素e101〜要素e122の中から、ユーザ属性データに対応する優先度に該当する要素を選別する。例えば、要素e101〜e122が選別されると、電子機器1は、要素e101を、第2のソフトキー群G2に含まれるソフトキー30bに割り当て、要素e102を、第2のソフトキー群G2に含まれるソフトキー30bに割り当てるというように、選別した各要素を第2のソフトキー群G2に含まれるソフトキーに割り当てる。
電子機器1は、例えば、表計算画面C3のワークシートに対応する領域A5が割り当てられたソフトキー30aの操作を受け付けると、図23に示すように、領域A5に含まれる表計算画面C3の要素を、要素分類規則9Dに基づいて分類する。すなわち、電子機器1は、表計算画面C3に含まれるワークシートに関する分類を実行する。図23に示す例では、領域A5に含まれる表計算画面C3の要素の一部として、例えば、要素e(n−b)−(1)〜要素e(n−b)−(10)の要素が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、例えば、要素e(n−b)−(1)〜要素e(n−b)−(10)の要素の中から、ユーザ属性データに対応する優先度に該当した要素を選別する。例えば、要素e(n−b)−(1)〜要素e(n−b)−(10)の要素が選別されると、電子機器1は、要素e(n−b)−(1)を、第2のソフトキー群G2に含まれるソフトキー30bに割り当て、要素e(n−b)−(2)を、第2のソフトキー群G2に含まれるソフトキー30bに割り当てるというように、選別した各要素を第2のソフトキー群G2に含まれるソフトキーに割り当てる。
電子機器1は、例えば、表計算画面C3のグラフに対応する領域A6が割り当てられたソフトキー30aの操作を受け付けると、図24に示すように、領域A6に含まれる表計算画面C3の要素を、要素分類規則9Dに基づいて分類する。すなわち、電子機器1は、表計算画面C3に含まれる図表に関する分類を実行する。図24に示す例では、領域A6に含まれる表計算画面C3の要素として、要素en−(1)及び要素en−(2)が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、分類した要素en−(1)及び要素en−(2)の中から、ユーザ属性データに対応する優先度に該当する要素を選別する。例えば、要素en−(1)及び要素en−(2)が選別されると、電子機器1は、要素en−(1)を、第2のソフトキー群G2に含まれるソフトキー30bに割り当て、要素en−(2)を、第2のソフトキー群G2に含まれるソフトキー30bに割り当てる。
図25は、実施形態に係るキーデータ9Cの他の例を示す図である。図26は、実施形態に係るソフトキーと割当要素の対応関係を示す図である。図21から図24に示す割当の実行に際し、電子機器1は、図25に示すように、ソフトキーと、ソフトキーに割り当てられた要素との対応関係が分かるように、割当に関するデータをキーデータ9Cに記録する。図25に示す例では、割当区分/要素のn−a巡目(aは自然数)において、第1のソフトキー群G1のソフトキー30a,ソフトキー30a及びソフトキー30aに、ライン(1),ライン(2)及びライン(3)が割り当てられている。また、図25に示す例では、割当区分/要素のn−a巡目(aは自然数)において、第2のソフトキー群G2のソフトキー30b〜ソフトキー30bに、コラム(A)〜コラム(G)が割り当てられている。例えば、ライン(1)は、図26に示すように、ワークシートに配置された各行の中の1行目を示し、コラム(A)は、図26に示すように、ワークシートに配置された各列の中のA列目を示している。このように、表計算画面C3では、ワークシートの操作性を考慮して、第1のソフトキー群G1のソフトキーにワークシート上の各行を割り当て、第2のソフトキー群G2のソフトキーにワークシート上の各列を割り当ててもよい。
図27は、実施形態に係る電子機器の動作の他の例を示す図である。図27は、図21から図26を用いて概要を説明した表計算画面C3に含まれる要素のソフトキーへの割当が終了した後、ユーザによりソフトキーが操作されたときに、ソフトキーに対する操作に応じて電子機器1が実行する動作を示している。
図27に示すように、電子機器1は、第1のソフトキー群G1のソフトキーのうち、「1つ進む」の機能が割り当てられているソフトキー30aに対する操作が検出されると、第1のソフトキー群G1のソフトキーに割り当てられている要素を1巡目の要素から2巡目の要素に移行する(ステップS51)。
電子機器1は、第1のソフトキー群G1のソフトキーのうち、「テキスト」の要素が割り当てられているソフトキー30aに対する操作が検出されると、ワークシートに含まれるセル内テキストを第2のソフトキー群G2のソフトキーにより操作可能な状態に遷移する(ステップS52)。
電子機器1は、第2のソフトキー群G2のソフトキー30bの操作を検出すると、ソフトキー30bに割り当てられている要素であるセル内テキストに記述された内容(「時間(t)」)を読み上げる音声M11を出力する(ステップS53)。
電子機器1は、第2のソフトキー群G2のソフトキー30bの操作を検出すると、ソフトキー30bに割り当てられている要素であるセル内テキストに記述された内容(「2πt」)を読み上げる音声M12を出力する(ステップS54)。
図28は、実施形態に係る文書編集画面に含まれる要素のソフトキーへの割当の概要を示す図である。タッチスクリーンディスプレイ2に表示した文書編集画面に含まれる要素のソフトキーへの割当についても、ウェブ画面C1の場合(図6〜図12等)及び表計算画面C3の場合(図21〜図24等)と基本的に同様である。すなわち、図28に示すように、電子機器1は、タッチスクリーンディスプレイ2に表示される文書編集画面C4を、タッチスクリーンディスプレイ2上の領域A7,A8,及びA9に設定する。電子機器1は、領域A7を第1のソフトキー群G1のソフトキー30aに割り当て、領域A8を第1のソフトキー群G1のソフトキー30aに割り当て、領域A9を第1のソフトキー群G1のソフトキー30aに割り当てる。詳細な説明は省略するが、電子機器1は、領域A7,A8,及びA9のそれぞれに含まれる文書編集画面C4の要素を、要素分類規則9Dに基づいて分類し、分類した要素をユーザ属性データに基づいて選別し、選別した要素を第2のソフトキー群G2のソフトキーに割り当てる。
本明細書では、添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。
1 電子機器
2 タッチスクリーンディスプレイ
2A ディスプレイ
2B タッチスクリーン
3 ボタン
4 照度センサ
5 近接センサ
6 通信ユニット
7 レシーバ
8 マイク
9 ストレージ
9A 制御プログラム
9B ソフトキープログラム
9C キーデータ
9D 要素分類規則
9E ユーザ属性対応優先度テーブル
9Z 設定データ
10 コントローラ
11 スピーカ
12 カメラ
13 カメラ
14 コネクタ
15 モーションセンサ

Claims (6)

  1. タッチスクリーンと、
    前記タッチスクリーンの縁に沿って並ぶ1又は複数のソフトウェアキーと、
    コンテンツに含まれる要素を分類するための規則を記憶するストレージと、
    前記規則に基づいて前記コンテンツに含まれる要素を分類し、当該分類した要素を1又は複数のソフトウェアキーに割り当てるコントローラと
    を備える電子機器。
  2. タッチスクリーンと、
    前記タッチスクリーンの縁に沿った第1の列に並ぶ複数のソフトウェアキーを含む第1のソフトウェアキー群と、
    前記タッチスクリーンの縁に沿った第2の列に並ぶ複数のソフトウェアキーを含む第2のソフトウェアキー群と、
    コンテンツに含まれる要素を分類するための規則を記憶するストレージと、
    前記規則に基づいて前記コンテンツに含まれる要素を分類するコントローラと
    を備え、
    前記コントローラは、
    前記コンテンツを前記タッチスクリーン上の所定の領域に設定し、前記領域を前記第1のソフトウェアキー群のソフトウェアキーのいずれかに割り当てて、
    前記第1のソフトウェアキー群のソフトウェアキーの操作を検出すると、操作が検出されたソフトウェアキーに対応する前記領域の中に含まれる前記コンテンツの要素を前記規則に基づいて分類し、
    分類した要素を前記第2のソフトウェアキー群のソフトウェアキーのいずれかに割り当てる、電子機器。
  3. タッチスクリーンと、
    前記タッチスクリーンの第1の縁に沿って並ぶ1又は複数のソフトウェアキーと、
    コンテンツに含まれる要素を分類するための規則を記憶するストレージと
    を備える電子機器の制御方法において、
    前記規則に基づいて前記コンテンツに含まれる要素を分類し、当該分類した要素を1又は複数のソフトウェアキーに割り当てる、制御方法。
  4. タッチスクリーンと、
    前記タッチスクリーンの縁に沿った第1の列に並ぶ複数のソフトウェアキーを含む第1のソフトウェアキー群と、
    前記タッチスクリーンの縁に沿った第2の列に並ぶ複数のソフトウェアキーを含む第2のソフトウェアキー群と、
    コンテンツに含まれる要素を分類するための規則を記憶するストレージと
    を備える電子機器の制御方法において、
    前記コンテンツを前記タッチスクリーン上の所定の領域に設定し、前記領域を前記第1のソフトウェアキー群のソフトウェアキーのいずれかに割り当てて、
    前記第1のソフトウェアキー群のソフトウェアキーの操作を検出すると、操作が検出されたソフトウェアキーに対応する前記領域の中に含まれる前記コンテンツの要素を前記規則に基づいて分類し、
    分類した要素を前記第2のソフトウェアキー群のソフトウェアキーのいずれかに割り当てる、制御方法。
  5. タッチスクリーンと、
    前記タッチスクリーンの第1の縁に沿って並ぶ1又は複数のソフトウェアキーと、
    コンテンツに含まれる要素を分類するための規則を記憶するストレージと
    を備える電子機器に、
    前記規則に基づいて前記コンテンツに含まれる要素を分類し、当該分類した要素を1又は複数のソフトウェアキーに割り当てるステップを実行させる制御プログラム。
  6. タッチスクリーンと、
    前記タッチスクリーンの縁に沿った第1の列に並ぶ複数のソフトウェアキーを含む第1のソフトウェアキー群と、
    前記タッチスクリーンの縁に沿った第2の列に並ぶ複数のソフトウェアキーを含む第2のソフトウェアキー群と、
    コンテンツに含まれる要素を分類するための規則を記憶するストレージと
    を備える電子機器に、
    前記コンテンツを前記タッチスクリーン上の所定の領域に設定し、前記領域を前記第1のソフトウェアキー群のソフトウェアキーのいずれかに割り当てるステップと、
    前記第1のソフトウェアキー群のソフトウェアキーの操作を検出すると、操作が検出されたソフトウェアキーに対応する前記領域の中に含まれる前記コンテンツの要素を前記規則に基づいて分類し、分類した要素を前記第2のソフトウェアキー群のソフトウェアキーのいずれかに割り当てるステップと
    を実行させる制御プログラム。
JP2019198290A 2017-03-06 2019-10-31 電子機器、制御方法、及び制御プログラム Active JP6910410B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019198290A JP6910410B2 (ja) 2017-03-06 2019-10-31 電子機器、制御方法、及び制御プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017041821A JP6612799B2 (ja) 2017-03-06 2017-03-06 電子機器、制御方法、及び制御プログラム
JP2019198290A JP6910410B2 (ja) 2017-03-06 2019-10-31 電子機器、制御方法、及び制御プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017041821A Division JP6612799B2 (ja) 2017-03-06 2017-03-06 電子機器、制御方法、及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2020017319A true JP2020017319A (ja) 2020-01-30
JP6910410B2 JP6910410B2 (ja) 2021-07-28

Family

ID=69580775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019198290A Active JP6910410B2 (ja) 2017-03-06 2019-10-31 電子機器、制御方法、及び制御プログラム

Country Status (1)

Country Link
JP (1) JP6910410B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005072922A (ja) * 2003-08-25 2005-03-17 Murata Mach Ltd 通信端末装置
JP2006260266A (ja) * 2005-03-17 2006-09-28 Clarion Co Ltd 車載器
US20120233539A1 (en) * 2011-03-10 2012-09-13 Reed Michael J Electronic book reader
JP2013117797A (ja) * 2011-12-01 2013-06-13 Internatl Business Mach Corp <Ibm> 表示装置、表示方法、およびプログラム
JP2015156087A (ja) * 2014-02-20 2015-08-27 日本電気株式会社 入力装置、入力方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005072922A (ja) * 2003-08-25 2005-03-17 Murata Mach Ltd 通信端末装置
JP2006260266A (ja) * 2005-03-17 2006-09-28 Clarion Co Ltd 車載器
US20120233539A1 (en) * 2011-03-10 2012-09-13 Reed Michael J Electronic book reader
JP2013117797A (ja) * 2011-12-01 2013-06-13 Internatl Business Mach Corp <Ibm> 表示装置、表示方法、およびプログラム
JP2015156087A (ja) * 2014-02-20 2015-08-27 日本電気株式会社 入力装置、入力方法及びプログラム

Also Published As

Publication number Publication date
JP6910410B2 (ja) 2021-07-28

Similar Documents

Publication Publication Date Title
CN105549819B (zh) 后台应用信息的显示方法及装置
US8595638B2 (en) User interface, device and method for displaying special locations on a map
US9852491B2 (en) Objects in screen images
US11762529B2 (en) Method for displaying application icon and electronic device
JP2024041816A (ja) コメント追加方法及び電子デバイス
US8339451B2 (en) Image navigation with multiple images
US20130159900A1 (en) Method, apparatus and computer program product for graphically enhancing the user interface of a device
CN111147660B (zh) 一种控件的操作方法及电子设备
KR20140036576A (ko) 카테고리 디스플레이를 위한 방법 및 그 방법을 처리하는 전자 장치
CN105739854A (zh) 交互信息处理方法及装置
JP6612799B2 (ja) 電子機器、制御方法、及び制御プログラム
CN110806826A (zh) 一种信息显示方法、装置及电子设备
WO2010037899A1 (en) User interface, device and method for providing a use case based interface
US10289212B2 (en) Electronic device and non transitory storage medium
JP6618942B2 (ja) 電子機器、制御方法及び制御プログラム
JP6910410B2 (ja) 電子機器、制御方法、及び制御プログラム
JP6957578B2 (ja) 電子機器、制御方法及び制御プログラム
JP6139912B2 (ja) 携帯電子機器、制御方法及び制御プログラム
JP6886249B2 (ja) 電子機器、制御方法、及びプログラム
JP6615706B2 (ja) 電子機器、制御方法、及びプログラム
JP7101710B2 (ja) 電子機器、制御方法、及びプログラム
JP6754633B2 (ja) 電子機器、制御方法、及びプログラム
JP6969863B2 (ja) 電子機器、制御方法、及びプログラム
CN115700431A (zh) 一种桌面的显示方法及电子设备
JP2019213240A (ja) 電子機器、制御方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191031

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191031

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210423

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210423

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210510

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210706

R150 Certificate of patent or registration of utility model

Ref document number: 6910410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150