JP6910410B2 - Electronics, control methods, and control programs - Google Patents
Electronics, control methods, and control programs Download PDFInfo
- Publication number
- JP6910410B2 JP6910410B2 JP2019198290A JP2019198290A JP6910410B2 JP 6910410 B2 JP6910410 B2 JP 6910410B2 JP 2019198290 A JP2019198290 A JP 2019198290A JP 2019198290 A JP2019198290 A JP 2019198290A JP 6910410 B2 JP6910410 B2 JP 6910410B2
- Authority
- JP
- Japan
- Prior art keywords
- elements
- electronic device
- content
- touch screen
- softkey
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Input From Keyboards Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Description
本出願は、電子機器、制御方法、及び制御プログラムに関する。 The present application relates to electronic devices, control methods, and control programs.
電子機器には、物理キー及びタッチスクリーンなどを搭載したものがある。例えば、特許文献1には、物理キー及びタッチスクリーンを介して検出した操作に応じて各種の機能を実行する電子機器が開示されている。
Some electronic devices are equipped with physical keys, a touch screen, and the like. For example,
従来の電子機器において、ディスプレイ上に表示される文字、図形、音声、画像、動画、及びこれらの組合せで構成されたウェブページなどの各種コンテンツの操作性に関して改善の余地がある。 In conventional electronic devices, there is room for improvement in the operability of various contents such as characters, figures, sounds, images, moving images, and web pages composed of combinations thereof displayed on a display.
1つの態様に係る電子機器は、タッチスクリーンと、タッチスクリーンの縁に沿って並ぶ1又は複数のソフトウェアキーと、ストレージと、コントローラとを備える。ストレージは、コンテンツに含まれる要素を分類するための規則を記憶する。コントローラは、規則に基づいてコンテンツに含まれる要素を分類し、分類した要素を1又は複数のソフトウェアキーに割り当てる。 The electronic device according to one embodiment includes a touch screen, one or more software keys arranged along the edge of the touch screen, storage, and a controller. Storage stores rules for classifying the elements contained in the content. The controller classifies the elements contained in the content according to the rules and assigns the classified elements to one or more software keys.
他の態様に係る電子機器は、タッチスクリーンと、第1のソフトウェアキー群と、第2のソフトウェアキー群と、ストレージと、コントローラとを備える。第1のソフトウェアキー群は、タッチスクリーンの縁に沿った第1の列に並ぶ複数のソフトウェアキーを含む。第2のソフトウェアキー群は、タッチスクリーンの縁に沿った第2の列に並ぶ複数のソフトウェアキーを含む。ストレージは、コンテンツに含まれる要素を分類するための規則を記憶する。コントローラは、規則に基づいてコンテンツに含まれる要素を分類する。コントローラは、コンテンツを前記タッチスクリーン上の所定の領域に設定し、前記領域を前記第1のソフトウェアキー群のソフトウェアキーのいずれかに割り当てる。コントローラは、第1のソフトウェアキー群のソフトウェアキーの操作を検出すると、操作が検出されたソフトウェアキーに対応する領域の中に含まれるコンテンツの要素を規則に基づいて分類し、分類した要素を第2のソフトウェアキー群のソフトウェアキーのいずれかに割り当てる。 The electronic device according to the other aspect includes a touch screen, a first software key group, a second software key group, a storage, and a controller. The first set of software keys includes a plurality of software keys arranged in a first row along the edge of the touch screen. The second set of software keys includes a plurality of software keys arranged in a second row along the edge of the touch screen. Storage stores rules for classifying the elements contained in the content. The controller classifies the elements contained in the content according to the rules. The controller sets the content in a predetermined area on the touch screen and assigns the area to any of the software keys in the first software key group. When the controller detects the operation of the software key of the first software key group, the controller classifies the elements of the content contained in the area corresponding to the software key in which the operation is detected based on the rule, and classifies the classified elements into the first. Assign to one of the software keys in the software key group of 2.
1つの態様に係る制御方法は、タッチスクリーンと、タッチスクリーンの第1の縁に沿って並ぶ1又は複数のソフトウェアキーと、コンテンツに含まれる要素を分類するための規則を記憶するストレージとを備える電子機器の制御方法である。当該制御方法は、規則に基づいてコンテンツに含まれる要素を分類し、分類した要素を1又は複数のソフトウェアキーに割り当てる。 A control method according to one aspect comprises a touch screen, one or more software keys aligned along a first edge of the touch screen, and storage for storing rules for classifying elements contained in the content. This is a control method for electronic devices. The control method classifies the elements contained in the content based on the rules and assigns the classified elements to one or more software keys.
他の態様に係る制御方法は、タッチスクリーンと、タッチスクリーンの縁に沿った第1の列に並ぶ複数のソフトウェアキーを含む第1のソフトウェアキー群と、タッチスクリーンの縁に沿った第2の列に並ぶ複数のソフトウェアキーを含む第2のソフトウェアキー群と、コンテンツに含まれる要素を分類するための規則を記憶するストレージとを備える電子機器の制御方法である。当該制御方法は、コンテンツを前記タッチスクリーン上の所定の領域に設定し、前記領域を前記第1のソフトウェアキー群のソフトウェアキーのいずれかに割り当てる。該制御方法は、第1のソフトウェアキー群のソフトウェアキーの操作を検出すると、操作が検出されたソフトウェアキーに対応する領域の中に含まれるコンテンツの要素を規則に基づいて分類し、分類した要素を第2のソフトウェアキー群のソフトウェアキーのいずれかに割り当てる。 A control method according to another aspect includes a touch screen, a first group of software keys including a plurality of software keys arranged in a first row along the edge of the touch screen, and a second along the edge of the touch screen. It is a control method of an electronic device including a second software key group including a plurality of software keys arranged in a row and a storage for storing rules for classifying elements included in the content. The control method sets the content in a predetermined area on the touch screen and assigns the area to any of the software keys in the first software key group. When the control method detects the operation of the software key of the first software key group, the elements of the content included in the area corresponding to the software key in which the operation is detected are classified according to the rules, and the classified elements are classified. Is assigned to one of the software keys in the second software key group.
1つの態様に係る制御プログラムは、タッチスクリーンと、タッチスクリーンの第1の縁に沿って並ぶ1又は複数のソフトウェアキーと、コンテンツに含まれる要素を分類するための規則を記憶するストレージとを備える電子機器に次のステップを実行させる。すなわち、該制御プログラムは、該電子機器に、規則に基づいてコンテンツに含まれる要素を分類し、分類した要素を1又は複数のソフトウェアキーに割り当てるステップを実行させる。 The control program according to one embodiment includes a touch screen, one or more software keys arranged along a first edge of the touch screen, and storage for storing rules for classifying elements contained in the content. Have the electronic device perform the next step. That is, the control program causes the electronic device to perform a step of classifying the elements included in the content based on the rules and assigning the classified elements to one or a plurality of software keys.
他の態様に係る制御プログラムは、タッチスクリーンと、タッチスクリーンの縁に沿った第1の列に並ぶ複数のソフトウェアキーを含む第1のソフトウェアキー群と、タッチスクリーンの縁に沿った第2の列に並ぶ複数のソフトウェアキーを含む第2のソフトウェアキー群と、コンテンツに含まれる要素を分類するための規則を記憶するストレージとを備える電子機器に次の各ステップを実行させる。すなわち、該制御プログラムは、該電子機器に、コンテンツを前記タッチスクリーン上の所定の領域に設定し、前記領域を前記第1のソフトウェアキー群のソフトウェアキーのいずれかに割り当てるステップを実行させる。該制御プログラムは、該電子機器に、第1のソフトウェアキー群のソフトウェアキーの操作を検出すると、操作が検出されたソフトウェアキーに対応する領域の中に含まれるコンテンツの要素を規則に基づいて分類し、分類した要素を第2のソフトウェアキー群のソフトウェアキーのいずれかに割り当てるステップを実行させる。 The control program according to the other aspect includes a touch screen, a first group of software keys including a plurality of software keys arranged in a first row along the edge of the touch screen, and a second group of software keys along the edge of the touch screen. Have an electronic device with a second set of software keys, including a plurality of software keys in a row, and a storage that stores rules for classifying the elements contained in the content, perform each of the following steps. That is, the control program causes the electronic device to perform a step of setting the content in a predetermined area on the touch screen and allocating the area to any of the software keys of the first software key group. When the control program detects the operation of the software key of the first software key group in the electronic device, the control program classifies the elements of the content contained in the area corresponding to the software key in which the operation is detected based on the rule. Then, the step of assigning the classified element to one of the software keys of the second software key group is executed.
本出願に係る電子機器、制御方法、及び制御プログラムを実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。 A plurality of embodiments for implementing the electronic device, the control method, and the control program according to the present application will be described in detail with reference to the drawings.
本出願に係る電子機器は、スマートフォン、モバイルフォン、タブレット、携帯型パソコン、メディアプレイヤ、電子書籍リーダ、ナビゲータ、ウエアラブルデバイス、又はゲーム機等の機器であってよい。 The electronic device according to the present application may be a device such as a smartphone, a mobile phone, a tablet, a portable personal computer, a media player, an electronic book reader, a navigator, a wearable device, or a game machine.
図1は、実施形態に係る電子機器の機能構成の一例を示すブロック図である。以下の説明において、同様の構成要素について同一の符号を付すことがある。以下の説明において、コンテンツは、ウェブページなどに代表されるように、文字、図形、音声、画像、動画、及びこれらの組合せで構成されたデジタルデータの集合体、並びにアプリケーションなどのソフトウェアによって処理されるデジタルデータの集合体である。コンテンツは、ウェブページの画面(以下、ウェブ画面)などに代表されるように、文字、図形、音声、画像、動画、及びこれらの組合せで構成された状態でディスプレイなどに表示される画面、並びにアプリケーションなどのソフトウェアの実行に伴ってディスプレイなどに表示される画面を含むものとする。以下に説明する実施形態では、コンテンツの一例として、ウェブ画面およびソフトウェアの実行に伴ってディスプレイなどに表示される画面を取りあげて説明する。 FIG. 1 is a block diagram showing an example of a functional configuration of an electronic device according to an embodiment. In the following description, similar components may be designated by the same reference numerals. In the following description, content is processed by software such as characters, figures, sounds, images, moving images, a collection of digital data composed of combinations thereof, and applications, as typified by web pages. It is a collection of digital data. As represented by the screen of a web page (hereinafter referred to as a web screen), the content includes characters, figures, sounds, images, moving images, and a screen displayed on a display or the like in a state composed of a combination thereof. It shall include the screen displayed on the display etc. as the software such as the application is executed. In the embodiment described below, as an example of the content, a web screen and a screen displayed on a display or the like as the software is executed will be taken up and described.
図1に示すように、電子機器1は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、カメラ13と、コネクタ14と、モーションセンサ15とを含む。
As shown in FIG. 1, the
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2A及びタッチスクリーン2Bは、例えば、重なって位置してよいし、並んで位置してよいし、離れて位置してよい。ディスプレイ2Aとタッチスクリーン2Bとが重なって位置する場合、例えば、ディスプレイ2Aの1ないし複数の辺は、タッチスクリーン2Bのいずれの辺とも沿っていなくてもよい。
The
ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、又は無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを含む。ディスプレイ2Aは、文字、画像、記号、及び図形等のオブジェクトを画面内に表示する。ディスプレイ2Aが表示するオブジェクトを含む画面は、ロック画面と呼ばれる画面、ホーム画面と呼ばれる画面、アプリケーションの実行中に表示されるアプリケーション画面を含む。ホーム画面は、デスクトップ、待受画面、アイドル画面、標準画面、アプリ一覧画面又はランチャー画面と呼ばれることもある。 The display 2A is a display such as a liquid crystal display (LCD: Liquid Crystal Display), an organic EL display (OELD: Organic Electro-Luminence Display), or an inorganic EL display (IELD: Organic Electro-Luminence Display). The display 2A displays objects such as characters, images, symbols, and figures on the screen. The screen including the objects displayed by the display 2A includes a screen called a lock screen, a screen called a home screen, and an application screen displayed while the application is being executed. The home screen may be called a desktop, a standby screen, an idle screen, a standard screen, an application list screen, or a launcher screen.
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触又は近接を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン2Bに接触又は近接したときのタッチスクリーン2B上の位置を検出することができる。以下の説明において、タッチスクリーン2Bが検出する複数の指、ペン、及びスタイラスペン等がタッチスクリーン2Bに接触又は近接した位置を「検出位置」と表記する。タッチスクリーン2Bは、タッチスクリーン2Bに対する指の接触又は近接を、検出位置とともにコントローラ10に通知する。タッチスクリーン2Bは、検出位置の通知をもって接触又は近接の検出をコントローラ10に通知してよい。タッチスクリーン2Bが行える動作を、タッチスクリーン2Bを有するタッチスクリーンディスプレイ2は実行できる。言い換えると、タッチスクリーン2Bが行う動作は、タッチスクリーンディスプレイ2が行ってもよい。
The touch screen 2B detects contact or proximity of a finger, pen, stylus pen, or the like to the touch screen 2B. The touch screen 2B can detect a position on the touch screen 2B when a plurality of fingers, pens, stylus pens, or the like touch or approach the touch screen 2B. In the following description, a position where a plurality of fingers, pens, stylus pens, etc. detected by the touch screen 2B are in contact with or close to the touch screen 2B is referred to as a “detection position”. The touch screen 2B notifies the
コントローラ10は、タッチスクリーン2Bにより検出された接触又は近接、検出位置、検出位置の変化、接触又は近接が継続した時間、接触又は近接が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいて、ジェスチャの種別を判別する。コントローラ10が行える動作を、コントローラ10を有する電子機器1は実行できる。言い換えると、コントローラ10が行う動作は、電子機器1が行ってもよい。ジェスチャは、指を用いて、タッチスクリーン2Bに対して行われる操作である。タッチスクリーン2Bに対して行われる操作は、タッチスクリーン2Bを有するタッチスクリーンディスプレイ2に行われてもよい。コントローラ10が、タッチスクリーン2Bを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。
The
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、及び荷重検出方式等の任意の方式でよい。 The detection method of the touch screen 2B may be any method such as a capacitance method, a resistance film method, a surface acoustic wave method, an infrared method, and a load detection method.
ボタン3は、ユーザからの操作入力を受け付ける。
The
照度センサ4は、照度を検出する。照度は、照度センサ4の測定面の単位面積に入射する光束の値である。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。
The
近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ5は、例えば、ディスプレイ2Aと顔とが接近したことを検出する。照度センサ4及び近接センサ5は、1つのセンサとして構成されていてもよい。照度センサ4は、近接センサとして用いられてもよい。
The
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる無線通信規格には、例えば、2G、3G、4G、5G等のセルラーフォンの通信規格と、近距離無線の通信規格とが含まれる。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、WiMAX(登録商標)(Worldwide Interoperability for Microwave Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy−phone System)等がある。近距離無線の通信規格としては、例えば、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)、WPAN(Wireless Personal Area Network)等が含まれる。WPANの通信規格には、例えば、ZigBee(登録商標)が含まれる。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。
The
レシーバ7は、コントローラ10から送出される音信号を音として出力する。レシーバ7は、例えば、電子機器1にて再生される動画の音、音楽の音、及び通話時の相手の声を出力することができる。マイク8は、入力されるユーザの声等を音信号へ変換してコントローラ10へ送信する。
The
ストレージ9は、プログラム及びデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域として利用されてもよい。ストレージ9は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
The
ストレージ9に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する基本プログラム(図示略)とが含まれる。アプリケーションは、例えば、フォアグランドで実行される場合、当該アプリケーションに係る画面を、ディスプレイ2Aに表示する。基本プログラムには、例えば、OSが含まれる。プログラムは、通信ユニット6による無線通信又は非一過的な記憶媒体を介してストレージ9にインストールされてもよい。
The program stored in the
ストレージ9は、制御プログラム9A、ソフトキープログラム9B、キーデータ9C、要素分類規則9D、ユーザ属性対応優先度テーブル9E、及び設定データ9Zなどを記憶できる。制御プログラム9Aは、各種機能を提供するに際し、電子機器1が記憶するソフトキープログラム9B及び各種アプリケーションと連携できる。制御プログラム9Aは、通信ユニット6を介してクラウドストレージと連携し、当該クラウドストレージが記憶するファイル及びデータにアクセスしてもよい。クラウドストレージは、ストレージ9に記憶されるプログラム及びデータの一部又は全部を記憶してもよい。
The
制御プログラム9Aは、電子機器1の各種動作に関する処理を実現するための機能をそれぞれ提供できる。制御プログラム9Aが提供する機能には、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整する機能が含まれる。制御プログラム9Aが提供する機能には、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効とする機能が含まれる。制御プログラム9Aが提供する機能には、通信ユニット6、レシーバ7、及びマイク8等を制御することによって、通話を実現させる機能が含まれる。制御プログラム9Aが提供する機能には、カメラ12、及びカメラ13の撮影処理を制御する機能が含まれる。制御プログラム9Aが提供する機能には、コネクタ14を介して接続される外部機器との間の通信を制御する機能が含まれる。制御プログラム9Aが提供する機能には、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う機能が含まれる。制御プログラム9Aが提供する機能には、モーションセンサ15の検出結果に基づいて、電子機器1を携帯する利用者の移動、停止等を検出する機能が含まれる。
The
制御プログラム9Aが提供する機能には、コンテンツの操作等に関する機能が含まれる。コンテンツは、ウェブページなどに代表されるように、文字、図形、音声、画像、動画、及びこれらの組合せで構成されたデジタルデータの集合体、並びにアプリケーションなどのソフトウェアによって処理されるデジタルデータの集合体である。コンテンツは、ウェブページの画面(以下、ウェブ画面)などに代表されるように、文字、図形、音声、画像、動画、及びこれらの組合せで構成された状態でディスプレイなどに表示される画面、並びにアプリケーションなどのソフトウェアの実行に伴ってディスプレイなどに表示される画面を含む。この機能には、例えば、電子機器1が、所定の条件で、タッチスクリーンディスプレイ2に表示されるコンテンツを所定の倍率で縮小表示するための機能が含まれる。所定の条件は、ユーザからコンテンツを縮小表示させる操作を受け付けた場合、コンテンツをタッチスクリーンディスプレイ2に表示させてから一定時間が経過した場合、あるいはコンテンツの表示態様が縦長から横長の状態になるように電子機器1の姿勢を変更した場合など、種々の条件を採用できる。所定の倍率は、任意の倍率を採用できる。この機能には、ソフトキープログラム9Bと連携して、例えば、電子機器1が、コンテンツを縮小表示することにより、タッチスクリーンディスプレイ2上に形成される空白領域に、ソフトウェアキー(以下、適宜、「ソフトキー」と記載する)を含むソフトキーインタフェースを表示させる処理を実現するための機能が含まれる。この機能には、例えば、電子機器1が、要素分類規則9Dに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素を1又は複数のソフトキーに割り当てる処理を実現するための機能が含まれる。
The functions provided by the
制御プログラム9Aが提供するコンテンツの操作等に関する機能には、例えば、電子機器1が、タッチスクリーンディスプレイ2に表示されるコンテンツをタッチスクリーンディスプレイ2上の所定の領域に設定し、設定した領域を第1のソフトキー群のソフトキーのいずれかに割り当てる処理を実現するための機能も含まれる。また、この機能には、例えば、電子機器1が、第1のソフトキー群のソフトキーの操作を検出すると、操作が検出されたソフトキーに対応する領域の中に含まれるコンテンツの要素を要素分類規則9Dに基づいて分類する処理を実現するための機能も含まれる。また、この機能には、電子機器1が、後述する設定データ9Z内のユーザ属性の設定値(以下、ユーザ属性データ)及びユーザ属性対応優先度テーブル9Eを参照し、要素分類規則9Dに基づいて分類した要素の中から、ユーザ属性データに対応する優先度に該当する要素を選別する処理を実現するための機能も含まれる。すなわち、ユーザ属性データに対応する優先度の範囲が優先度1〜3である場合には、要素分類規則9Dに基づいて分類した要素の中から、優先度1〜3の優先度に該当する要素のみを選別する。また、この機能には、例えば、電子機器1が、ユーザ属性データに基づいて選別した要素を第2のソフトキー群のソフトキーのいずれかに割り当てる処理を実現するための機能が含まれる。また、この機能には、例えば、電子機器1が、コンテンツの要素の数がソフトキーの数よりも多い場合、予め定められたパターンに従って、同一のソフトキーに対し異なる要素を重複して割り当てる処理を実現するための機能が含まれる。また、この機能には、例えば、電子機器1が、ユーザ属性データに基づいて選別した要素について要素ごとに一括したユーザ選択を可能とするための区分を設定して、設定した区分を第1のソフトキー群のソフトキーに割り当てる処理を実現するための機能を提供できる。例えば、アドレスバー、メニュー各部、リンク各部、ページ内テキスト、ページ内画像がコンテンツに含まれる要素として分類された場合、電子機器1は、アドレスバーに対応する区分として「アドレス」、メニュー各部に対応する区分として「メニュー」、リンク各部に対応する区分として「リンク」、ページ内テキストに対応する区分として「テキスト」、ページ内画像に対応する区分として「画像」、をそれぞれ設定し、第1のソフトキー群のソフトキーにそれぞれ割り当てることができる。
For the functions related to the operation of the content provided by the
制御プログラム9Aが提供するコンテンツの操作等に関する機能には、例えば、電子機器1が、操作が検出したソフトキーに割り当てられている区分又は要素に対応する音声を出力する処理を実現する機能も含まれる。操作が検出されたソフトキーにウェブ画面の要素である「アドレスバー」が割り当てられている場合、電子機器1が、アドレスバーに記述されているアドレスを読み上げる音声を出力する処理を実現できる。操作が検出されたソフトキーに、ウェブ画面の要素に対応する区分として「アドレス」が割り当てられている場合、電子機器1が、操作が検出されたソフトキーに、要素に対応する区分として「アドレス」が割り当てられている旨を通知するための音声を出力する処理を実現できる。操作が検出されたソフトキーにウェブ画面の要素である「メニュー各部」が割り当てられている場合、電子機器1が、メニューである旨およびメニューの内容などを読み上げる音声を出力する処理を実現できる。操作が検出されたソフトキーに、ウェブ画面の要素に対応する区分として「メニュー」が割り当てられている場合、電子機器1が、操作が検出されたソフトキーに、要素に対応する区分として「メニュー」が割り当てられている旨を通知するための音声を出力する処理を実現できる。操作が検出されたソフトキーにウェブ画面の要素である「ページ内テキスト」が割り当てられている場合、電子機器1が、テキストに記載されている内容を読み上げる音声を出力する処理を実現できる。操作が検出されたソフトキーに、ウェブ画面の要素に対応する区分として「テキスト」が割り当てられている場合、電子機器1が、操作が検出されたソフトキーに、要素に対応する区分として「テキスト」が割り当てられている旨を通知するための音声を出力する処理を実現できる。操作が検出されたソフトキーにウェブ画面の要素である「リンク各部」が割り当てられている場合、電子機器1が、リンクに記載されている内容を読み上げる音声を出力する処理を実現できる。操作が検出されたソフトキーに、ウェブ画面の要素に対応する区分として「リンク」が割り当てられている場合、電子機器1が、操作が検出されたソフトキーに、要素に対応する区分として「リンク」が割り当てられている旨を通知するための音声を出力する処理を実現できる。操作が検出されたソフトキーにウェブ画面の要素である「ページ内画像」が割り当てられている場合、電子機器1が、画像に付与されたIDを読み上げる音声を出力する処理を実現できる。操作が検出されたソフトキーに、ウェブ画面の要素に対応する区分として「画像」が割り当てられている場合、電子機器1が、操作が検出されたソフトキーに、要素に対応する区分として「画像」が割り当てられている旨を通知するための音声を出力する処理を実現できる。
The functions related to the operation of the content provided by the
ソフトキープログラム9Bは、電子機器1が、ソフトキーを介した操作入力に関する処理を実現するための機能を提供できる。ソフトキープログラム9Bが提供する機能には、電子機器1が、タッチスクリーンディスプレイ2の縁に沿って並ぶ1又は複数のソフトキーを含むソフトキーインタフェースをタッチスクリーンディスプレイ2に表示させる処理を実現する機能が含まれる。ソフトキープログラム9Bが提供する機能には、電子機器1が、タッチスクリーンディスプレイ2の縁に沿った第1の列に並ぶ複数のソフトキーを含む第1のソフトキー群と、タッチスクリーンディスプレイ2の縁に沿った第2の列に並ぶ複数のソフトキーを含む第2のソフトキー群とを含むソフトキーインタフェースをタッチスクリーンディスプレイ2に表示させる処理を実現する機能が含まれる。ソフトキープログラム9Bが提供するソフトキーインタフェースは、キーデータ9Cに基づいた構成で、タッチスクリーンディスプレイ2上に展開される。
The softkey program 9B can provide a function for the
キーデータ9Cは、ソフトキープログラム9Bがソフトキーインタフェースを構成するためのデータを含む。例えば、キーデータ9Cは、ソフトキー群の数、ソフトキー群の配置位置、ソフトキー群を構成するソフトキーの数などを決定するためのデータを含む。また、キーデータ9Cは、ソフトキーに割り当てられているコンテンツの要素及び区分の管理情報を含む。管理情報は、操作されたソフトキーに対応する処理(例えば、要素又は区分の内容を読み上げる音声出力など)を実行する際に参照される。
The
図2は、実施形態に係るキーデータ9Cの一例を示す図である。図2に例示するように、キーデータ9Bは、ソフトキー群ごとに、ソフトキー群を構成するソフトキーのキー構成、ソフトキーに対する割当機能、ソフトキーに対する割当区分又は割当要素を示すデータを含んでいる。図2に示す例では、第1のソフトキー群G1に対応するキー構成は「30a1〜30a5」の5個のソフトキーとなっている。図2に示す例では、ソフトキー30a1には「1つ戻る」という操作機能が割り当てられ、ソフトキー30a5には「1つ進む」という操作機能が割り当てられている。図2に示す例では、割当区分の1巡目として、ソフトキー30a2〜30a4に、「アドレス」、「メニュー」、「リンク」の区分が割り当てられている。なお、図2に示す例では、割当区分として、第1のソフトキー群G1を構成するソフトキーに対して2巡目以降の割当が存在する。すなわち、図2に示すように、割当区分の2巡目として、ソフトキー30a2に「テキスト」の区分が割り当てられている。また、図2に示す例では、第2のソフトキー群G2に対応するキー構成は「30b1〜30b10」の10個のソフトキーとなっている。図2に示す例では、ソフトキー30b1には「1つ戻る」という操作機能が割り当てられ、ソフトキー30b10には「1つ進む」という操作機能が割り当てられている。図2に示す例では、割当要素の1巡目として、ソフトキー30b7〜30b9に、「メニューe1−(3)」、「メニューe1−(2)」、「アドレスe1−(1)」の要素が割り当てられている。なお、図2に示す例では、割当要素として、第2のソフトキー群G2を構成する複数のソフトキーに対して2巡目以降の割当が存在する。すなわち、図2に示すように、割当要素の2巡目として、ソフトキー30b2〜30b9に、「テキストe2−(8)」、「メニューe2−(7)」、「メニューe2−(6)」、「リンクe2−(5)」、「リンクe2−(4)」、「リンクe2−(3)」、「リンクe2−(2)」、「リンクe2−(1)」の要素が割り当てられている。また、図2に示すように、割当要素の3巡目として、ソフトキー30b6〜30b9に、「メニューe2−(12)」、「テキストe2−(11)」、「メニューe2−(10)」、「テキストe2−(9)」の要素が割り当てられている。また、図2に示すように、割当要素の4巡目として、ソフトキー30b8,30b9に、「メニューe3−(2)」、「メニューe3−(1)」の要素が割り当てられている。図2に示す割当区分および割当要素のデータは、制御プログラム9Aを実行することにより、コントローラ10により実現される処理に伴って、キーデータ9Cに記録される。また、キーデータ9Cに記録されている割当区分および割当要素のデータは、ソフトキーへの割当が変更されるたびに更新されてよい。ソフトキーの割当が変更されるタイミングは、タッチスクリーンディスプレイ2に表示される画面が変更されるタイミングを含む。
FIG. 2 is a diagram showing an example of
要素分類規則9Dは、コンテンツに含まれる要素を分類するための規則に該当する。図3は、実施形態に係る要素分類規則の一例を示す図である。図3に示すように、要素分類規則9Dは、ウェブページなどの所定のブラウザにより閲覧可能なウェブ画面、表計算アプリケーションの実行に伴い表示される表計算画面、文書編集アプリケーションの実行に伴い表示される文書編集画面などを対象画面とする。また、要素分類規則9Dは、ウェブ画面からの分類要素として、アドレスバー、メニュー各部、リンク各部、ページ内テキスト、ページ内画像などを含む。アドレスバーは、例えば、URL(Uniform Resorce Locater)、ホームページアドレスなどが記述されたウェブブラウザで使用されるウィジェットに相当する。メニュー各部は、例えば、ウェブ画面に配置された各種ナビゲーションメニューに相当する。リンク各部は、例えば、ウェブ画面上に記述されたハイパーリンク等に相当する。ページ内テキストは、例えば、ウェブ画面上に記述されたテキストデータに相当する。ページ内画像は、例えば、ウェブ画面上に貼り付けられた画像データに相当する。同様に、要素分類規則9Dは、表計算画面からの分類要素として、メニュー各部、ワークシート、図表、ワークシート(セル)内テキストなどを含む。同様に、要素分類規則9Dは、文書編集画面からの分類要素として、メニュー各部、文書入力エリア、図表、文書入力エリア内テキストなどを含む。
The
また、要素分類規則9Dは、図3に示すように、コンテンツから分類した要素を要素ごとに一括したユーザ選択を可能とするために設定される区分の情報を含む。例えば、要素分類規則9Dは、ウェブ画面に関し、アドレスバーに対応する区分として設定される「アドレス」、メニュー各部に対応する区分として設定される「メニュー」、リンク各部に対応する区分として設定される「リンク」、ページ内テキストに対応する区分として設定される「テキスト」、ページ内画像に対応する区分として設定される「画像」の情報を含む。同様に、要素分類規則9Dは、表計算画面及び文書編集画面についても、要素ごとに一括したユーザ選択を可能とするために設定される区分の情報を含む。
Further, as shown in FIG. 3, the
また、要素分類規則9Dは、図3に示すように、コンテンツの要素をソフトキーに割り当てる際の優先度の情報を含む。要素分類規則9Dに含まれる優先度の情報は、対象画面(コンテンツの種別)に応じてあらかじめ設定済みの情報である。例えば、要素分類規則9Dは、ウェブ画面に関し、「ページ内テキスト」について優先度「1」、「リンク各部」について優先度「2」、「アドレスバー」について優先度「3」、「メニュー各部」について優先度「4」、「ページ内画像」について優先度「5」の情報を含む。同様に、要素分類規則9Dは、表計算画面及び文書編集画面についても、コンテンツの要素をソフトキーに割り当てる際の優先度の情報を含む。要素分類規則9Dに含まれる優先度の情報は、分類要素に優劣をつけない場合(例えば、「優先度なし」)を含んでよい。優先度は、後述するユーザ属性対応優先度テーブル9Dに基づくソフトキーの割当処理における参考データに過ぎない。なお、要素分類規則9Dに含まれる優先度の情報が、分類要素に優劣をつけない「優先度なし」の設定となっている場合、ユーザ属性に対応する優先度の情報が、コンテンツに含まれる要素のソフトキーへの割当に用いられることがないので、後述するユーザ属性対応優先度テーブル9D(図4参照)、並びにユーザ属性データ(図5参照)をストレージ9に格納しなくてもよい。
Further, as shown in FIG. 3, the
ユーザ属性対応優先度テーブル9Eは、制御プログラム9Aが提供する機能により、電子機器1がコンテンツに含まれる要素(例えば、ウェブ画面上の要素)をソフトキーに割り当てる処理を実行する際に参照される。図4は、実施形態に係るユーザ属性対応優先度テーブルの一例を示す図である。図4に示すように、ユーザ属性対応優先度テーブル9Eは、電子機器1のユーザ属性ごとに、ソフトキーへの割当を行う要素の優先度の範囲を示す情報を記憶する。ここで、ユーザ属性は、コンテンツに含まれる要素が電子機器1のユーザに有益な要素であるか否かを決定付けるために任意に設定することができる情報であり、例えば、ユーザの視力の情報などを採用できる。ユーザ属性が「属性1」に該当する場合(ユーザ属性として属性1が設定されている場合)には、コントローラ10は、ユーザ属性対応優先度テーブル9Eを参照し、コンテンツに含まれる全優先度の要素について、ソフトキーへの割当を行う。また、ユーザ属性が「属性2」に該当する場合(ユーザ属性として属性2が設定されている場合)には、コントローラ10は、ユーザ属性対応優先度テーブル9Eを参照し、コンテンツに含まれる要素の中から、優先度1〜3の要素についてソフトキーへの割当を行う。また、ユーザ属性が「属性3」に該当する場合(ユーザ属性として属性3が設定されている場合)には、コントローラ10は、ユーザ属性対応優先度テーブル9Eを参照し、コンテンツに含まれる要素の中から、優先度1の要素のみについてソフトキーへの割当を行う。視力が両眼で0.7以上のユーザを「属性1」、視力が両眼で0.02以上〜0.7未満のユーザを「属性2」、全盲〜0.02未満のユーザを「属性3」というように区分けした場合、図4に示す例では、ユーザの視力が弱いほど、より視覚的な情報(視覚により認識される程度が大きいと考えられる情報)がソフトキーの割当対象から除外される。このように、電子機器1は、コンテンツから分類した要素のソフトキーへの割当をユーザ属性に応じて変更することにより、ユーザに応じた操作環境を提供できる結果、コンテンツの操作性を向上させることができる。
The user attribute correspondence priority table 9E is referred to when the
上述したユーザ属性対応優先度テーブル9Eは、ユーザ属性に対応する優先度の範囲が予め設定された状態であるが、例えば、電子機器1のユーザが不要と思う要素についてはソフトキーの割当を行わないように任意の設定が可能なテーブルを電子機器に備えてもよい。
The user attribute correspondence priority table 9E described above is in a state in which the priority range corresponding to the user attribute is set in advance. For example, softkeys are assigned to elements that the user of the
設定データ9Zは、制御プログラム9Aが提供する機能により、電子機器1が各種処理を実行する際に参照するデータである。図5は、実施形態に係るユーザ属性データの一例を示す図である。設定データ9Zは、図5に示すように、ユーザ属性として任意に設定されたデータ(例えば、「属性1」)を記憶することができる。
The setting data 9Z is data referred to when the
コントローラ10は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−Chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、およびコプロセッサを含むが、これらに限定されない。コントローラ10は、電子機器1の動作を統括的に制御して各種の機能を実現する。
The
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、マイク8、及びスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、カメラ13、モーションセンサ15を含むが、これらに限定されない。
Specifically, the
コントローラ10は、制御プログラム9Aを実行することにより、電子機器1の各種動作に関する処理を実現できる。コントローラ10は、制御プログラム9Aを実行することにより、タッチスクリーンディスプレイ2に表示されるコンテンツの操作等に関する処理を実現できる。例えば、コントローラ10は、要素分類規則9Dに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素を1又は複数のソフトキーに割り当てる処理を実現できる。例えば、コントローラ10は、タッチスクリーンディスプレイ2に表示されるコンテンツをタッチスクリーンディスプレイ2上の所定の領域に設定し、コンテンツの設定が行われた領域を第1のソフトキー群のソフトキーのいずれかに割り当てる処理を実現できる。例えば、コントローラ10は、第1のソフトキー群のソフトキーの操作を検出すると、操作が検出されたソフトキーに対応する領域の中に含まれるコンテンツの要素を要素分類規則9Dに基づいて分類する処理を実現できる。例えば、コントローラ10は、分類した要素から、ユーザ属性データに対応する優先度に該当する要素を選別する処理を実現できる。例えば、コントローラ10は、ユーザ属性に基づいて選別した要素を第2のソフトキー群のソフトキーのいずれかに割り当てる処理を実現できる。例えば、コントローラ10は、ユーザ属性に基づいて選別した要素について要素ごとに一括したユーザ選択を可能とするための区分を設定して、設定した区分を第1のソフトキー群のソフトキーに割り当てる処理を実現できる。例えば、コントローラ10は、操作が検出されたソフトキーに割り当てられている要素あるいは要素の区分に対応する音声を出力する処理を実現できる。
By executing the
スピーカ11は、コントローラ10から送出される音信号を音として出力する。スピーカ11は、例えば、着信音及び音楽を出力するために用いられる。レシーバ7及びスピーカ11の一方が、他方の機能を兼ねてもよい。
The
カメラ12及びカメラ13は、撮影した画像を電気信号へ変換する。カメラ12は、ディスプレイ2Aに面している物体を撮影するインカメラである。カメラ13は、ディスプレイ2Aの反対側の面に面している物体を撮影するアウトカメラである。カメラ12及びカメラ13は、インカメラ及びアウトカメラを切り換えて利用可能なカメラユニットとして、機能的及び物理的に統合された状態で電子機器1に実装されてもよい。
The
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用の端子でもよい。コネクタ14に接続される装置は、例えば、外部ストレージ、スピーカ、及び通信装置を含むが、これらに限定されない。
The
モーションセンサ15は、電子機器1を携帯する利用者の動作を判定するための各種情報を検出できる。モーションセンサ15は、加速度センサ、方位センサ、ジャイロスコープ、磁気センサ及び気圧センサなどを備えるセンサユニットとして構成されてよい。
The
電子機器1は、上記の各機能部の他、GPS受信機、及びバイブレータを備えてもよい。GPS受信機は、GPS衛星からの所定の周波数帯の電波信号を受信する。GPS受信機は、受信した電波信号の復調処理を行って、処理後の信号をコントローラ10に送出する。GPS受信機は、電子機器1の現在位置の演算処理をサポートする。電子機器1は、GPS衛星以外の測位用人工衛星の信号を受信可能な受信機を備え、現在位置の演算処理を実行してもよい。バイブレータは、電子機器1の一部又は全体を振動させる。バイブレータは、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。電子機器1は、バッテリなど、電子機器1の機能を維持するために当然に用いられる機能部、及び電子機器1の制御を実現するために当然に用いられる制御部を実装する。
The
電子機器1は、通信ユニット6を介してクラウド上の記憶サーバにアクセスし、各種プログラム及びデータを取得してもよい。
The
図6から図12を参照しつつ、実施形態に係るウェブ画面に対応したソフトキーの割当方法の一例を説明する。図6から図12は、実施形態に係るウェブ画面の含まれる要素のソフトキーへの割当の概要を示す図である。なお、以下の説明において、電子機器1のユーザのユーザ属性(例えば、属性1)が予め設定されているものとする。
An example of a soft key allocation method corresponding to the web screen according to the embodiment will be described with reference to FIGS. 6 to 12. 6 to 12 are diagrams showing an outline of assignment of elements included in the web screen according to the embodiment to softkeys. In the following description, it is assumed that the user attributes (for example, attribute 1) of the user of the
図6に示す電子機器1は、タッチスクリーンディスプレイ2の縁F1に沿って、y軸に平行な方向に1列に並ぶ複数のソフトキーを含む第1のソフトキー群G1と、タッチスクリーンディスプレイ2の縁F2に沿ってx軸に平行な方向に1列に並ぶ複数のソフトキーを含む第2のソフトキー群G2とを、タッチスクリーンディスプレイ2上に表示する。第1のソフトキー群G1は、図6に示すソフトキー30a1,・・・,ソフトキー30a5の合計5個のソフトキーを含んで構成される。第2のソフトキー群G2は、図6に示すソフトキー30b1,・・・,ソフトキー30b10の合計10個のソフトキーを含んで構成される。図6に示す第1のソフトキー群G1及び第2のソフトキー群G2のそれぞれを構成するソフトキーの個数は一例であり、必ずしも、図6に示す例と同数のソフトキーで構成されていなくてもよい。また、図6に示す第1のソフトキー群G1の配置位置は一例であり、図6に示すタッチスクリーンディスプレイ2の縁F1とは別の縁に沿って配置されてよい。同様に、図6に示す第2のソフトキー群G2についても、図6に示すタッチスクリーンディスプレイ2の縁F2とは別の縁に沿って配置されてよい。図6に示す例では、ソフトキー30a1,・・・,ソフトキー30a5は、電子機器1の筐体の縁F1に沿って配置されるが、電子機器1の筐体の輪郭を構成する1辺に沿った配置であってよい。同様に、ソフトキー30b1,・・・,ソフトキー30b10についても、電子機器1の筐体の輪郭を構成する1辺に沿った配置であってよい。図6に示す例では、電子機器1は、タッチスクリーンディスプレイ2に、ウェブ画面C1を表示する。
The
電子機器1は、例えば、ウェブ画面C1を縮小表示することによりタッチスクリーンディスプレイ2上に形成された空白領域20にソフトキーインタフェースを表示させたタイミングで、図7に示すように、タッチスクリーンディスプレイ2に表示されるウェブ画面C1を、領域A1,A2,及びA3の3つの領域に設定する。続いて、電子機器1は、領域A1を第1のソフトキー群G1のソフトキー30a2に割り当て、領域A2を第1のソフトキー群G1のソフトキー30a3に割り当て、領域A3を第1のソフトキー群G1のソフトキー30a4に割り当てる。
As shown in FIG. 7, the
電子機器1は、例えば、ソフトキー30a2の操作を検出すると、図8に示すように、ソフトキー30a2に対応する領域A1に含まれるウェブ画面C1の要素を、要素分類規則9Dに基づいて分類する。すなわち、電子機器1は、ウェブ画面C1に含まれるアドレスバー、メニュー各部、リンク各部、ページ内テキスト、ページ内画像などの各要素を、ソフトキーの割り当て対象として抽出する。図8に示す例では、領域A1に含まれるウェブ画面C1の要素として、要素e1−(1)、要素e1−(2)、及び要素e1−(3)が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、要素e1−(1)、要素e1−(2)、及び要素e1−(3)の中から、ユーザ属性データに対応する優先度に該当した要素を選別する。例えば、要素e1−(1)、要素e1−(2)、及び要素e1−(3)が選別されると、電子機器1は、要素e1−(1)を、第2のソフトキー群G2に含まれるソフトキー30b9に割り当て、要素e1−(2)を、第2のソフトキー群G2に含まれるソフトキー30b8に割り当て、要素e1−(3)を、第2のソフトキー群G2に含まれるソフトキー30b7に割り当てる。
When the
電子機器1は、例えば、ソフトキー30a3の操作を検出すると、図9に示すように、ソフトキー30a3に対応する領域A2に含まれるウェブ画面C1の要素を、要素分類規則9Dに基づいて分類する。図9に示す例では、領域A2に含まれるウェブ画面C1の要素として、要素e2−(1)〜要素e2−(12)までの12個の要素が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、要素e2−(1)〜要素e2−(12)までの12個の要素の中から、ユーザ属性データに対応する優先度に該当した要素を選別する。例えば、要素e2−(1)〜要素e2−(12)までの全ての要素が選別されると、電子機器1は、まず、要素e2−(1)〜要素e2−(8)までの8個の要素を、第2のソフトキー群G2に含まれるソフトキー30b9からソフトキー30b2にそれぞれ割り当てる。続いて、電子機器1は、折り返して再びソフトキー30b9に戻り、要素e2−(9)〜要素e2−(12)までの4個の要素を、ソフトキー30b9からソフトキー30b6にそれぞれ順番に割り当てる。このように、電子機器1は、ソフトキーを割り当てるべき要素の数が、第2のソフトキー群G2に含まれるソフトキーの数よりも多い場合については、第2のソフトキー群G2に含まれるソフトキーを循環利用して、同一のソフトキーに異なる要素を重複して割り当てることにより対処できる。
When the
電子機器1は、例えば、ソフトキー30a4の操作を検出すると、図10に示すように、ソフトキー30a4に対応する領域A3に含まれるウェブ画面C1の要素を、要素分類規則9Dに基づいて分類する。図10に示す例では、領域A3に含まれるウェブ画面C1の要素として、要素e3−(1)及び要素e3−(2)が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、要素e3−(1)及び要素e3−(2)の中から、ユーザ属性データに対応する優先度に該当した要素を選別する。例えば、要素e3−(1)及び要素e3−(2)が選別されると、電子機器1は、要素e3−(1)を、第2のソフトキー群G2に含まれるソフトキー30b9に割り当て、要素e3−(2)を、第2のソフトキー群G2に含まれるソフトキー30b8に割り当てる。
When the
電子機器1は、例えば、図11に示すように、タッチスクリーンディスプレイ2の座標(X1,Y1)を基準として、y軸方向に平行な方向(1)及びx軸方向に平行な方向(2)にタッチスクリーンディスプレイ2上をスキャンすることにより、ウェブ画面C1上の要素を分類して、分類した順に採番することができる。図12には、例えば、ウェブ画面C1を設定したタッチスクリーンディスプレイ2上の領域A2に対するスキャンの推移を示している。電子機器1は、y軸方向に平行な方向(1)に向かってスキャンSC1を開始する(ステップS1)。電子機器1は、スキャンSC1により、ウェブ画面C1上の領域HT1を検出する(ステップS2)。電子機器1は、x軸方向に平行な方向(2)に向かって、領域HT1に対するスキャンSC2を開始する(ステップS3)。電子機器1は、スキャンSC2により検出した領域HT2に含まれる要素に対して識別番号e2−(1)を付与し、領域HT2に続いて検出された領域HT3に含まれる要素に対して識別番号e2−(2)を付与する(ステップS4)。このように、領域A2の全域をスキャンした後、ウェブ画面C1を設定したタッチスクリーンディスプレイ2上の他の領域についても領域A2と同様の方法でスキャンし、ウェブ画面C1に含まれる要素の分類及び採番を実行する。電子機器1は、ウェブ画面C1上の要素を採番した順に、ソフトキーへ割り当てる。
For example, as shown in FIG. 11, the
電子機器1は、ウェブ画面C1から分類した要素を第2のソフトキー群G2に含まれるソフトキーにそれぞれ割り当てた後、ソフトキー30a2に対する領域A1の割り当て、ソフトキー30a3に対する領域A2の割り当て、並びにソフトキー30a4に対する領域A3の割り当てを解除し、ウェブ画面C1に含まれる要素の中から選別された要素の区分を新たに第1のソフトキー群G1のソフトキーにそれぞれ割り当てる。電子機器1は、例えば、ウェブ画面C1から選別された要素のうち、ページ内画像に対応する区分である「画像」をソフトキー30a2に割り当て、ページ内テキストに対応する区分である「テキスト」をソフトキー30a3に割り当て、リンク各部に対応する区分である「リンク」をソフトキー30a4に割り当てる。
The
上記図6から図12に示す割当の実行に際し、電子機器1は、ソフトキーと、ソフトキーに割り当てられた要素との対応関係が分かるように、割当に関するデータを管理情報としてキーデータ9Cに記録する(図2参照)。
When executing the allocation shown in FIGS. 6 to 12, the
上記図6から図12に示す例では、電子機器1が、第1のソフトキー群G1のソフトキーの操作検出を契機として、ウェブ画面C1のスキャンを実行し、ウェブ画面C1に含まれる要素の分類、選別及び選別した要素のソフトキーへの割当が実行されるが、この例には限定されない。例えば、電子機器1は、ウェブ画面C1を、タッチスクリーンディスプレイ2上の3つの領域、領域A1,A2,及びA3に設定したタイミングで、領域A1,A2,及びA3ごとに、ウェブ画面C1に含まれる要素の分類、及び分類した要素のソフトキーへの割当が自動的に実行されてもよい。
In the example shown in FIGS. 6 to 12, the
続いて、図13から図16を参照しつつ、実施形態に係る電子機器の動作の一例を説明する。図13から図16は、実施形態に係る電子機器の動作の一例を示す図である。以下に示す図13から図16は、コンテンツの含まれる要素のソフトキーへの割当が終了した後、ユーザによりソフトキーが操作されたときに、ソフトキーに対する操作に応じて電子機器1が実行する動作を示している。すなわち、電子機器1は、ユーザによるソフトキーへの操作に応じて、ソフトキーに割り当てられている要素に関する情報等を音声として出力する処理などを実行する。
Subsequently, an example of the operation of the electronic device according to the embodiment will be described with reference to FIGS. 13 to 16. 13 to 16 are diagrams showing an example of the operation of the electronic device according to the embodiment. 13 to 16 shown below show that when the softkey is operated by the user after the assignment of the element containing the content to the softkey is completed, the
図13に示す例では、電子機器1は、ウェブ画面C2をタッチスクリーンディスプレイ2に表示する(ステップS11)。
In the example shown in FIG. 13, the
電子機器1は、第1のソフトキー群G1のソフトキー30a2に対する操作を検出すると、ソフトキー30a2に割り当てられている要素の区分(「画像」)を読み上げる音声M1を出力する(ステップS12)。
When the
ソフトキー30a2に対する操作を受け付けた後、電子機器1は、第2のソフトキー群G2のソフトキー30b2に対する操作を検出すると、ソフトキー30b2に割り当てられている画像のIDを読み上げる音声M2を出力する(ステップS13)。
After an operation has been accepted for the
図14に示す例では、図13に示す例と同様に、電子機器1は、ウェブ画面C2をタッチスクリーンディスプレイ2に表示する(ステップS21)。
In the example shown in FIG. 14, the
電子機器1は、第1のソフトキー群G1のソフトキー30a3に対する操作を検出すると、ソフトキー30a3に割り当てられている要素の区分(「テキスト」)を読み上げる音声M3を出力する(ステップS22)。
When the
ソフトキー30a3に対する操作を受け付けた後、電子機器1は、第2のソフトキー群G2のソフトキー30b2に対する操作を検出すると、ソフトキー30b2に割り当てられているテキストに記述された内容を読み上げる音声M4を出力する(ステップS23)。
After an operation has been accepted for the
図15に示す例では、図13に示す例と同様に、電子機器1は、ウェブ画面C2をタッチスクリーンディスプレイ2に表示する(ステップS31)。
In the example shown in FIG. 15, similarly to the example shown in FIG. 13, the
電子機器1は、第1のソフトキー群G1のソフトキー30a4に対する操作を検出すると、ソフトキー30a4に割り当てられている要素の区分(「リンク」)を読み上げる音声M5を出力する(ステップS32)。
When the
ソフトキー30a4に対する操作を受け付けた後、電子機器1は、第2のソフトキー群G2のソフトキー30b2に対する操作を検出すると、ソフトキー30b2に割り当てられているリンクに記述された内容を読み上げる音声M6を出力する(ステップS33)。ソフトキー30b2に対する操作に続いて、電子機器1は、ソフトキー30b3に対する操作を検出すると、ソフトキー30b3に割り当てられているリンクに記述された内容を読み上げる音声M7を出力する(ステップS34)。
After accepting the operation for the
図16に示す例では、図13に示す例と同様に、電子機器1は、ウェブ画面C2をタッチスクリーンディスプレイ2に表示する(ステップS41)。
In the example shown in FIG. 16, similarly to the example shown in FIG. 13, the
電子機器1は、第1のソフトキー群G1のソフトキー30a5に対する操作を検出すると、ソフトキー30a2からソフトキー30a4の2巡目以降に割り当てられている別の要素の区分の選択に移る旨の音声M8を出力する(ステップS42)。
When the
ソフトキー30a5に対する操作に続いて、2巡目のソフトキー30a2の操作を受け付けると、電子機器1は、2巡目のソフトキー30a2に割り当てられている要素の区分(「アドレス」)を読み上げる音声M9を出力する(ステップS43)。 When the operation of the soft key 30a 2 in the second round is accepted following the operation for the soft key 30a 5 , the electronic device 1 classifies the elements assigned to the soft key 30a 2 in the second round (“address”). Is output (step S43).
2巡目のソフトキー30a2の操作を受け付けた後、第2のソフトキー群G2のソフトキー30b2に対する操作を検出すると、電子機器1は、ソフトキー30b2に割り当てられているアドレスバーに記述された内容を読み上げる音声M10を出力する(ステップS44)。
After accepting the operation of the soft key 30a 2 in the second round, when the operation for the soft key 30b 2 of the second soft key group G2 is detected, the
図17及び図18を用いて、実施形態に係る電子機器1の処理の流れを説明する。図17及び図18は、実施形態に係る電子機器の処理の流れの一例を示すフローチャートである。図17及び図18に示す処理は、コントローラ10が、制御プログラム9Aを実行することにより実現される。
The processing flow of the
図17を用いて、コンテンツの要素のソフトキーへの割当に関する処理(図6〜図12等参照)を説明する。図17に示すように、コントローラ10は、タッチスクリーンディスプレイ2にコンテンツを表示したかを判定する(ステップS101)。
A process relating to the assignment of content elements to softkeys (see FIGS. 6 to 12 and the like) will be described with reference to FIG. As shown in FIG. 17, the
コントローラ10は、判定の結果、コンテンツを表示した場合(ステップS101,Yes)、表示中のコンテンツをタッチスクリーンディスプレイ2上の所定の領域に設定する(ステップS102)。
When the
コントローラ10は、各領域を第1のソフトキー群G1のソフトキーに割り当てる(ステップS103)。
The
コントローラ10は、第1のソフトキー群G1のソフトキーに対する操作を検出したかを判定する(ステップS104)。
The
コントローラ10は、判定の結果、第1のソフトキー群G1のソフトキーに対する操作を検出した場合(ステップS104,Yes)、操作が検出されたソフトキーに対応する領域のスキャンを実行する(ステップS105)。
When the
コントローラ10は、スキャンにより検出された要素を要素分類規則9Dに基づいて分類する(ステップS106)。
The
コントローラ10は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、ステップS106で分類した要素から、ユーザ属性データに対応する優先度に該当する要素を選別する(ステップS107)。
The
コントローラ10は、ステップS107で選別した要素を第2のソフトキー群G2のソフトキーに割り当てる(ステップS108)。
The
コントローラ10は、ステップS107で選別した要素の区分を第1のソフトキー群G1のソフトキーに割り当てる(ステップS109)。
The
コントローラ10は、表示中のコンテンツに対する処理を完了したかを判定する(ステップS110)。
The
コントローラ10は、判定の結果、表示中のコンテンツに対する処理を完了した場合(ステップS110,Yes)、図17に示す処理を終了する。
As a result of the determination, when the
一方、コントローラ10は、判定の結果、表示中のコンテンツに対する処理を完了していない場合(ステップS110,No)、上記ステップS104の判定に戻る。
On the other hand, if the result of the determination is that the process for the displayed content is not completed (steps S110, No), the
上記ステップS104において、コントローラ10は、判定の結果、第1のソフトキー群G1のソフトキーに対する操作を検出していない場合(ステップS104,No)、同判定を繰り返す。
In step S104, if the
上記ステップS101において、コントローラ10は、判定の結果、コンテンツを表示していない場合(ステップS101,No)、図17に示す処理を終了する。
In step S101, when the result of the determination is that the content is not displayed (steps S101, No), the
上述してきた通り、実施形態に係る電子機器1は、コンテンツから分類した要素のソフトキーへの割当をユーザ属性に応じて変更することにより、タッチスクリーンディスプレイ2上に表示されるウェブ画面及びアプリケーションの画面などの各種コンテンツの操作性を向上できる。
As described above, the
図18を用いて、コンテンツに含まれる要素のソフトキーへの割当完了後にソフトキーへの操作検出に応じて実行される処理(図13〜図16等参照)について説明する。図18に示すように、コントローラ10は、コンテンツを表示中であるかを判定する(ステップS201)。
With reference to FIG. 18, a process (see FIGS. 13 to 16 and the like) executed in response to an operation detection to the soft key after the assignment of the element included in the content to the soft key is completed will be described. As shown in FIG. 18, the
コントローラ10は、判定の結果、コンテンツを表示中である場合(ステップS201,Yes)、ソフトキーへの操作を検出したかを判定する(ステップS202)。
As a result of the determination, when the content is being displayed (step S201, Yes), the
コントローラ10は、判定の結果、ソフトキーへの操作を検出した場合(ステップS202,Yes)、第1のソフトキー群G1のソフトキーへの操作であるかを判定する(ステップS203)。
When the
コントローラ10は、判定の結果、第1のソフトキー群G1のソフトキーへの操作である場合(ステップS203,Yes)、第1のソフトキー群G1のソフトキーに対応する処理を実行し(ステップS204)、上記ステップS201の判定に戻る。
As a result of the determination, when the
一方、コントローラ10は、判定の結果、第1のソフトキー群G1のソフトキーへの操作ではない場合(ステップS203,No)、第2のソフトキー群G2のソフトキーへの操作であるかを判定する(ステップS205)。
On the other hand, as a result of the determination, when the
コントローラ10は、判定の結果、第2のソフトキー群G2のソフトキーへの操作である場合(ステップS205,Yes)、第2のソフトキー群G2のソフトキーに対応する処理を実行し(ステップS206)、上記ステップS201の判定に戻る。
As a result of the determination, when the
一方、コントローラ10は、判定の結果、第2のソフトキー群G2のソフトキーへの操作ではない場合(ステップS205,No)、上記ステップS201の判定に戻る。
On the other hand, if the result of the determination is that the operation is not for the softkey of the second softkey group G2 (steps S205, No), the
上記ステップS202において、コントローラ10は、判定の結果、ソフトキーへの操作を検出していない場合(ステップS202,No)、上記ステップS201の判定に戻る。
In step S202, if the
上記ステップS201において、コントローラ10は、判定の結果、コンテンツを表示中でない場合(ステップS201,No)、図18に示す処理を終了する。
In step S201, if the result of the determination is that the content is not being displayed (steps S201, No), the
上記の実施形態では、電子機器1が、ウェブ画面C1をタッチスクリーンディスプレイ2に縮小表示した後、ソフトキーインタフェースを表示させる例を説明したが、この例には限定されない。例えば、電子機器1は、ウェブ画面C1を縮小表示させることなく、ウェブ画面C1に対してソフトキーインタフェースをオーバーレイ表示してもよい。なお、ウェブ画面C1に対してソフトキーインタフェースをオーバーレイ表示する際、ソフトキーインタフェースの透過性を任意に設定可能としてもよい。
In the above embodiment, the
(他の実施形態)
上記の実施形態では、電子機器1がタッチスクリーンディスプレイ2に表示されるコンテンツをタッチスクリーンディスプレイ2の上の所定の領域に設定した後、コンテンツの要素を分類し、分類した要素をユーザ属性に応じて選別して、選別した要素のソフトキーへの割当を実行する例を説明したが、この例に限定されない。例えば、電子機器1は、コンテンツをタッチスクリーンディスプレイ2の上の所定の領域に設定せずに、コンテンツから分類した要素のソフトキーへの割当を実行してもよい。
(Other embodiments)
In the above embodiment, after the
制御プログラム9Aが、例えば、タッチスクリーンディスプレイ2の上の所定の領域に設定することなく、要素分類規則9Dに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素をユーザ属性に基づいて選別し、選別した要素を1又は複数のソフトキーに割り当てる処理を実現するための機能を提供する。そして、コントローラ10が、当該制御プログラム9Aにより提供される機能により、要素分類規則9Dに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素をユーザ属性に基づいて選別し、選別した要素を1又は複数のソフトキーに割り当てる処理を実現する。
The
図19は、実施形態に係るウェブ画面の全体像の一例を示す図である。例えば、図19に示すように、電子機器1は、タッチスクリーンディスプレイ2に表示されるコンテンツ(例えば、ウェブ画面C1)を全面に渡ってスキャンし、ウェブ画面C1からソフトキーへの割当対象となる要素(例えば、要素e−(1)〜要素e−(33))を分類し、分類した要素をユーザ属性に基づいて選別し、選別した要素のソフトキーへの割当を実行してもよい。以下、図20を用いて、コンテンツをタッチスクリーンディスプレイ2の上の所定の領域に設定しない場合の処理の流れを説明する。
FIG. 19 is a diagram showing an example of an overall image of the web screen according to the embodiment. For example, as shown in FIG. 19, the
図20は、実施形態に係る電子機器1の処理の流れの他の例を示すフローチャートである。
FIG. 20 is a flowchart showing another example of the processing flow of the
図20に示すように、コントローラ10は、タッチスクリーンディスプレイ2にコンテンツを表示したかを判定する(ステップS301)。
As shown in FIG. 20, the
コントローラ10は、判定の結果、コンテンツを表示した場合(ステップS301,Yes)、コンテンツのスキャンを実行する(ステップS302)。
When the
コントローラ10は、スキャンにより検出された要素を要素分類規則9Dに基づいて分類する(ステップS303)。
The
コントローラ10は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、ステップS303で分類した要素から、ユーザ属性データに対応する優先度に該当する要素を選別する(ステップS304)。
The
コントローラ10は、ステップS304で選別した要素を第2のソフトキー群G2のソフトキーに割り当てる(ステップS305)。
The
コントローラ10は、ステップS304で選別した要素の区分を第1のソフトキー群G1のソフトキーに割り当てて(ステップS306)、図20に示す処理を終了する。
The
上記ステップS301において、コントローラ10は、判定の結果、コンテンツを表示していない場合(ステップS301,No)、図20に示す処理を終了する。
In step S301, when the result of the determination is that the content is not displayed (steps S301, No), the
図20に示す処理では、電子機器1が、タッチスクリーンディスプレイ2にコンテンツが表示されると、要素分類規則9Dに基づいて、タッチスクリーンディスプレイ2に表示されるコンテンツに含まれる要素を分類し、分類した要素をユーザ属性に基づいて選別し、選別した要素を1又は複数のソフトキーに割り当てる処理を実現する。このようなことから、図20に示す処理は、図17に示す処理のように、コンテンツをタッチスクリーンディスプレイ2の上の所定の領域に設定する必要がなく、さらには、コンテンツを設定した領域への操作を検出する必要もなく、タッチスクリーンディスプレイ2にコンテンツが表示されたタイミングでコンテンツに含まれる要素のソフトキーへの割当を全て完了することができ、図17に示す処理に比較して、ユーザの利便性をさらに向上できる。
In the process shown in FIG. 20, when the content is displayed on the
また、電子機器1は、上述したように、タッチスクリーンディスプレイ2に表示されたウェブ画面C1のスキャンを実行して、ウェブ画面C1に含まれる要素の分類、分類した要素の選別、選別した要素のソフトキーへの割当を実行するが、この例には限定されない。電子機器1は、例えば、タッチスクリーンディスプレイ2にウェブ画面C1を表示する際に、ウェブ画面C1の元となるウェブページのソースコードの解析を実行することにより、ウェブ画面C1に含まれる要素を要素分類規則9Dに基づいて自動的に分類し、続いて、分類した要素の選別、選別した要素のソフトキーへの割当を実行してもよい。すなわち、電子機器1は、タッチスクリーンディスプレイ2上に表示されていないコンテンツであっても、ウェブページのソースコード解析のように、コンテンツの要素を抽出する方法があれば、コンテンツに含まれる要素を分類及び選別して、ソフトキーに割り当てることができる。
Further, as described above, the
図21から図28を用いて、実施形態に係るアプリケーションの画面に対応したソフトキーへの割当の概要を説明する。 An outline of assignment to softkeys corresponding to the screen of the application according to the embodiment will be described with reference to FIGS. 21 to 28.
図21から図24を用いて、表計算画面に含まれる要素のソフトキーへの割当の概要を示す。図21から図24は、実施形態に係る表計算画面に含まれる要素のソフトキーへの割当の概要を示す図である。タッチスクリーンディスプレイ2に表示した表計算画面に含まれる要素のソフトキーへの割当を行う場合も、図6から図12に例示したウェブ画面C1に含まれる要素のソフトキーへの割当と基本的に同様である。すなわち、図21に示すように、電子機器1は、表計算画面C3を、タッチスクリーンディスプレイ2上の領域A4,A5,及びA6に設定する。電子機器1は、領域A4を第1のソフトキー群G1のソフトキー30a2に割り当て、領域A5を第1のソフトキー群G1のソフトキー30a3に割り当て、領域A6を第1のソフトキー群G1のソフトキー30a4に割り当てる。
21 to 24 are used to show an outline of assignment of elements included in the spreadsheet screen to softkeys. 21 to 24 are diagrams showing an outline of assignment of elements included in the spreadsheet screen according to the embodiment to softkeys. When assigning the elements included in the spreadsheet screen displayed on the
電子機器1は、例えば、表計算画面C3のメニューに対応する領域A4が割り当てられたソフトキー30a2の操作を受け付けると、図22に示すように、領域A4に含まれる表計算画面C3の要素を、要素分類規則9Dに基づいて分類する。すなわち、電子機器1は、表計算画面C3に含まれるメニュー各部に関する分類を実行する。図22に示す例では、領域A4に含まれる表計算画面C3の要素として、要素e101〜要素e122が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、分類した要素e101〜要素e122の中から、ユーザ属性データに対応する優先度に該当する要素を選別する。例えば、要素e101〜e122が選別されると、電子機器1は、要素e101を、第2のソフトキー群G2に含まれるソフトキー30b9に割り当て、要素e102を、第2のソフトキー群G2に含まれるソフトキー30b8に割り当てるというように、選別した各要素を第2のソフトキー群G2に含まれるソフトキーに割り当てる。
When the electronic device 1 receives an operation of the soft key 30a 2 to which the area A4 corresponding to the menu of the spreadsheet screen C3 is assigned, for example, as shown in FIG. 22, the element of the spreadsheet screen C3 included in the area A4. Is classified based on the
電子機器1は、例えば、表計算画面C3のワークシートに対応する領域A5が割り当てられたソフトキー30a3の操作を受け付けると、図23に示すように、領域A5に含まれる表計算画面C3の要素を、要素分類規則9Dに基づいて分類する。すなわち、電子機器1は、表計算画面C3に含まれるワークシートに関する分類を実行する。図23に示す例では、領域A5に含まれる表計算画面C3の要素の一部として、例えば、要素e(n−b)−(1)〜要素e(n−b)−(10)の要素が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、例えば、要素e(n−b)−(1)〜要素e(n−b)−(10)の要素の中から、ユーザ属性データに対応する優先度に該当した要素を選別する。例えば、要素e(n−b)−(1)〜要素e(n−b)−(10)の要素が選別されると、電子機器1は、要素e(n−b)−(1)を、第2のソフトキー群G2に含まれるソフトキー30b9に割り当て、要素e(n−b)−(2)を、第2のソフトキー群G2に含まれるソフトキー30b8に割り当てるというように、選別した各要素を第2のソフトキー群G2に含まれるソフトキーに割り当てる。
The
電子機器1は、例えば、表計算画面C3のグラフに対応する領域A6が割り当てられたソフトキー30a4の操作を受け付けると、図24に示すように、領域A6に含まれる表計算画面C3の要素を、要素分類規則9Dに基づいて分類する。すなわち、電子機器1は、表計算画面C3に含まれる図表に関する分類を実行する。図24に示す例では、領域A6に含まれる表計算画面C3の要素として、要素en−(1)及び要素en−(2)が分類されている。続いて、電子機器1は、ユーザ属性データ及びユーザ属性対応優先度テーブル9Eを参照し、分類した要素en−(1)及び要素en−(2)の中から、ユーザ属性データに対応する優先度に該当する要素を選別する。例えば、要素en−(1)及び要素en−(2)が選別されると、電子機器1は、要素en−(1)を、第2のソフトキー群G2に含まれるソフトキー30b9に割り当て、要素en−(2)を、第2のソフトキー群G2に含まれるソフトキー30b8に割り当てる。
When the electronic device 1 receives an operation of the soft key 30a 4 to which the area A6 corresponding to the graph of the spreadsheet screen C3 is assigned, for example, as shown in FIG. 24, the element of the spreadsheet screen C3 included in the area A6. Is classified based on the
図25は、実施形態に係るキーデータ9Cの他の例を示す図である。図26は、実施形態に係るソフトキーと割当要素の対応関係を示す図である。図21から図24に示す割当の実行に際し、電子機器1は、図25に示すように、ソフトキーと、ソフトキーに割り当てられた要素との対応関係が分かるように、割当に関するデータをキーデータ9Cに記録する。図25に示す例では、割当区分/要素のn−a巡目(aは自然数)において、第1のソフトキー群G1のソフトキー30a2,ソフトキー30a3及びソフトキー30a4に、ライン(1),ライン(2)及びライン(3)が割り当てられている。また、図25に示す例では、割当区分/要素のn−a巡目(aは自然数)において、第2のソフトキー群G2のソフトキー30b9〜ソフトキー30b3に、コラム(A)〜コラム(G)が割り当てられている。例えば、ライン(1)は、図26に示すように、ワークシートに配置された各行の中の1行目を示し、コラム(A)は、図26に示すように、ワークシートに配置された各列の中のA列目を示している。このように、表計算画面C3では、ワークシートの操作性を考慮して、第1のソフトキー群G1のソフトキーにワークシート上の各行を割り当て、第2のソフトキー群G2のソフトキーにワークシート上の各列を割り当ててもよい。
FIG. 25 is a diagram showing another example of the
図27は、実施形態に係る電子機器の動作の他の例を示す図である。図27は、図21から図26を用いて概要を説明した表計算画面C3に含まれる要素のソフトキーへの割当が終了した後、ユーザによりソフトキーが操作されたときに、ソフトキーに対する操作に応じて電子機器1が実行する動作を示している。
FIG. 27 is a diagram showing another example of the operation of the electronic device according to the embodiment. FIG. 27 shows an operation on the softkey when the softkey is operated by the user after the assignment of the element included in the spreadsheet screen C3 outlined with reference to FIGS. 21 to 26 to the softkey is completed. Indicates the operation executed by the
図27に示すように、電子機器1は、第1のソフトキー群G1のソフトキーのうち、「1つ進む」の機能が割り当てられているソフトキー30a5に対する操作が検出されると、第1のソフトキー群G1のソフトキーに割り当てられている要素を1巡目の要素から2巡目の要素に移行する(ステップS51)。
As shown in FIG. 27, when the
電子機器1は、第1のソフトキー群G1のソフトキーのうち、「テキスト」の要素が割り当てられているソフトキー30a2に対する操作が検出されると、ワークシートに含まれるセル内テキストを第2のソフトキー群G2のソフトキーにより操作可能な状態に遷移する(ステップS52)。 When the electronic device 1 detects an operation on the softkeys 30a 2 to which the "text" element is assigned among the softkeys of the first softkey group G1, the text in the cell included in the worksheet is set. The state transitions to an operable state by the soft keys of the soft key group G2 of 2 (step S52).
電子機器1は、第2のソフトキー群G2のソフトキー30b9の操作を検出すると、ソフトキー30b9に割り当てられている要素であるセル内テキストに記述された内容(「時間(t)」)を読み上げる音声M11を出力する(ステップS53)。 When the electronic device 1 detects the operation of the soft key 30b 9 of the second soft key group G2, the content (“time (t)” described in the text in the cell, which is an element assigned to the soft key 30b 9. ) Is output (step S53).
電子機器1は、第2のソフトキー群G2のソフトキー30b8の操作を検出すると、ソフトキー30b8に割り当てられている要素であるセル内テキストに記述された内容(「2πt」)を読み上げる音声M12を出力する(ステップS54)。 When the electronic device 1 detects the operation of the soft key 30b 8 of the second soft key group G2, it reads out the content (“2πt”) described in the text in the cell, which is an element assigned to the soft key 30b 8. The voice M12 is output (step S54).
図28は、実施形態に係る文書編集画面に含まれる要素のソフトキーへの割当の概要を示す図である。タッチスクリーンディスプレイ2に表示した文書編集画面に含まれる要素のソフトキーへの割当についても、ウェブ画面C1の場合(図6〜図12等)及び表計算画面C3の場合(図21〜図24等)と基本的に同様である。すなわち、図28に示すように、電子機器1は、タッチスクリーンディスプレイ2に表示される文書編集画面C4を、タッチスクリーンディスプレイ2上の領域A7,A8,及びA9に設定する。電子機器1は、領域A7を第1のソフトキー群G1のソフトキー30a2に割り当て、領域A8を第1のソフトキー群G1のソフトキー30a3に割り当て、領域A9を第1のソフトキー群G1のソフトキー30a4に割り当てる。詳細な説明は省略するが、電子機器1は、領域A7,A8,及びA9のそれぞれに含まれる文書編集画面C4の要素を、要素分類規則9Dに基づいて分類し、分類した要素をユーザ属性データに基づいて選別し、選別した要素を第2のソフトキー群G2のソフトキーに割り当てる。
FIG. 28 is a diagram showing an outline of assignment of elements included in the document editing screen according to the embodiment to softkeys. Regarding the assignment of the elements included in the document editing screen displayed on the
本明細書では、添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。 In the present specification, characteristic embodiments have been described in order to fully and clearly disclose the technology according to the accompanying claims. However, the accompanying claims are not limited to the above embodiments, and all modifications and alternatives that can be created by those skilled in the art within the scope of the basic matters set forth herein. It should be embodied in a possible configuration.
1 電子機器
2 タッチスクリーンディスプレイ
2A ディスプレイ
2B タッチスクリーン
3 ボタン
4 照度センサ
5 近接センサ
6 通信ユニット
7 レシーバ
8 マイク
9 ストレージ
9A 制御プログラム
9B ソフトキープログラム
9C キーデータ
9D 要素分類規則
9E ユーザ属性対応優先度テーブル
9Z 設定データ
10 コントローラ
11 スピーカ
12 カメラ
13 カメラ
14 コネクタ
15 モーションセンサ
1
Claims (4)
前記タッチスクリーンの縁に沿って並ぶ1又は複数のソフトウェアキーと、
コンテンツに含まれる要素を分類し、分類した要素を前記ソフトウェアキーに割り当てるための、前記コンテンツの種別ごとに前記コンテンツに含まれる要素に対してそれぞれ設定される優先度を含む規則を記憶するストレージと、
前記規則に基づいて前記コンテンツに含まれる要素を分類し、当該分類した要素の中からユーザ属性に対応付けられた前記優先度を有する要素を1又は複数のソフトウェアキーに割り当てるコントローラと
を備える電子機器。 With a touch screen
With one or more software keys along the edge of the touch screen,
A storage that stores rules including priorities set for each element included in the content for each type of the content in order to classify the elements included in the content and assign the classified elements to the software key. ,
An electronic device including a controller that classifies elements included in the content based on the rules and assigns elements having the priority associated with user attributes from the classified elements to one or a plurality of software keys. ..
請求項1に記載の電子機器。 The electronic device according to claim 1, wherein the user attribute is information on the user's eyesight.
前記タッチスクリーンの第1の縁に沿って並ぶ1又は複数のソフトウェアキーと、
コンテンツに含まれる要素を分類し、分類した要素を前記ソフトウェアキーに割り当てるための、前記コンテンツの種別ごとに前記コンテンツに含まれる要素に対してそれぞれ設定される優先度を含む規則を記憶するストレージと
を備える電子機器の制御方法において、
前記規則に基づいて前記コンテンツに含まれる要素を分類し、当該分類した要素の中からユーザ属性に対応付けられた前記優先度を有する要素を1又は複数のソフトウェアキーに割り当てる、制御方法。 With a touch screen
With one or more software keys aligned along the first edge of the touch screen,
A storage that stores rules including priorities set for each element included in the content for each type of the content in order to classify the elements included in the content and assign the classified elements to the software key. In the control method of electronic devices equipped with
A control method in which elements included in the content are classified based on the rules, and elements having the priority associated with user attributes are assigned to one or a plurality of software keys from the classified elements.
前記タッチスクリーンの第1の縁に沿って並ぶ1又は複数のソフトウェアキーと、
コンテンツに含まれる要素を分類し、分類した要素を前記ソフトウェアキーに割り当てるための、前記コンテンツの種別ごとに前記コンテンツに含まれる要素に対してそれぞれ設定される優先度を含む規則を記憶するストレージと
を備える電子機器に、
前記規則に基づいて前記コンテンツに含まれる要素を分類し、当該分類した要素の中からユーザ属性に対応付けられた前記優先度を有する要素を1又は複数のソフトウェアキーに割り当てるステップを実行させる制御プログラム。 With a touch screen
With one or more software keys aligned along the first edge of the touch screen,
A storage that stores rules including priorities set for each element included in the content for each type of the content in order to classify the elements included in the content and assign the classified elements to the software key. For electronic devices equipped with
A control program that classifies elements included in the content based on the rules and executes a step of assigning an element having the priority associated with a user attribute from the classified elements to one or a plurality of software keys. ..
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019198290A JP6910410B2 (en) | 2017-03-06 | 2019-10-31 | Electronics, control methods, and control programs |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017041821A JP6612799B2 (en) | 2017-03-06 | 2017-03-06 | Electronic device, control method, and control program |
JP2019198290A JP6910410B2 (en) | 2017-03-06 | 2019-10-31 | Electronics, control methods, and control programs |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017041821A Division JP6612799B2 (en) | 2017-03-06 | 2017-03-06 | Electronic device, control method, and control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020017319A JP2020017319A (en) | 2020-01-30 |
JP6910410B2 true JP6910410B2 (en) | 2021-07-28 |
Family
ID=69580775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019198290A Active JP6910410B2 (en) | 2017-03-06 | 2019-10-31 | Electronics, control methods, and control programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6910410B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005072922A (en) * | 2003-08-25 | 2005-03-17 | Murata Mach Ltd | Communication terminal device |
JP2006260266A (en) * | 2005-03-17 | 2006-09-28 | Clarion Co Ltd | On-vehicle device |
US8918711B2 (en) * | 2011-03-10 | 2014-12-23 | Michael J. Reed | System and method for visually presenting electronic media |
JP5804597B2 (en) * | 2011-12-01 | 2015-11-04 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Display device, display method, and program |
JP6291894B2 (en) * | 2014-02-20 | 2018-03-14 | 日本電気株式会社 | Input device, input method, and program |
-
2019
- 2019-10-31 JP JP2019198290A patent/JP6910410B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020017319A (en) | 2020-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200201901A1 (en) | Information search method and device and computer readable recording medium thereof | |
CN105549819B (en) | The display methods and device of background application information | |
US9001056B2 (en) | Operating method of terminal based on multiple inputs and portable terminal supporting the same | |
EP1983416B1 (en) | Editing of data using mobile communication terminal | |
JP2024041816A (en) | How to add comments and electronic devices | |
US20130159900A1 (en) | Method, apparatus and computer program product for graphically enhancing the user interface of a device | |
CN101076166B (en) | Device having display buttons and display method and medium for the device | |
US20130002706A1 (en) | Method and apparatus for customizing a display screen of a user interface | |
US20140306999A1 (en) | Objects in screen images | |
CN106210307A (en) | Mobile terminal and screen switching | |
US20150339018A1 (en) | User terminal device and method for providing information thereof | |
EP3995954A1 (en) | Method for operating widget, terminal and storage medium | |
CN105739854A (en) | Interaction information processing method and apparatus | |
JP6612799B2 (en) | Electronic device, control method, and control program | |
CN105745612A (en) | Resizing technique for display content | |
CN105955613A (en) | Control method and apparatus | |
CN106294549A (en) | A kind of image processing method and terminal | |
CN110806826A (en) | Information display method and device and electronic equipment | |
US10192523B2 (en) | Method and apparatus for providing an overview of a plurality of home screens | |
US20230186013A1 (en) | Annotation method and electronic device | |
JP6618942B2 (en) | Electronic device, control method, and control program | |
JP6910410B2 (en) | Electronics, control methods, and control programs | |
JP2018005531A (en) | Electronic device, control method, and program | |
JP6957578B2 (en) | Electronic devices, control methods and control programs | |
CN105872233A (en) | Display method and terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191031 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200721 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201119 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210423 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210423 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210510 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6910410 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |