JP2019139701A - Electronic apparatus - Google Patents
Electronic apparatus Download PDFInfo
- Publication number
- JP2019139701A JP2019139701A JP2018025082A JP2018025082A JP2019139701A JP 2019139701 A JP2019139701 A JP 2019139701A JP 2018025082 A JP2018025082 A JP 2018025082A JP 2018025082 A JP2018025082 A JP 2018025082A JP 2019139701 A JP2019139701 A JP 2019139701A
- Authority
- JP
- Japan
- Prior art keywords
- icon
- screen
- keyword
- control unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、音声認識によるＵＩ（User Interface）を搭載した電子機器に関する。 The present invention relates to an electronic device equipped with a UI (User Interface) based on voice recognition.
電子機器の一つとして、スマートフォン等の携帯端末がある。携帯端末に対しての指示は、タッチ操作が可能なパネル部を介して行うことができる。なお、近年では、音声認識の技術の進歩に伴い、パネル部を介しての指示と音声認識による指示とを組み合わせた技術も提案されている。 One electronic device is a mobile terminal such as a smartphone. The instruction to the portable terminal can be performed through a panel unit that can be touched. In recent years, with the advancement of speech recognition technology, a technology that combines an instruction via the panel unit and an instruction by speech recognition has also been proposed.
その一つとして、特許文献１では、次のような構成の表示画面制御装置を提案している。すなわち、音声認識部が音声認識を行う際に参照する辞書テーブルを、表示部に表示する階層構造の表示画面ごとに設定して記憶装置に記憶させる。表示画面ごとの辞書テーブルには、階層構造に従って表示部の表示画面を順次下位層の画面に遷移させていくための第１の認識候補群と、階層構造に従わずに表示部の表示画面を特定の画面にダイレクトに遷移させるための第２の認識候補群とが含まれている。そして、制御部は、音声認識部によって認識された音声が第２の認識候補群に含まれる音声である場合、表示部における表示画面を特定の画面に遷移させる。 As one of them, Patent Document 1 proposes a display screen control device having the following configuration. That is, a dictionary table that is referred to when the voice recognition unit performs voice recognition is set for each hierarchical display screen displayed on the display unit and stored in the storage device. The dictionary table for each display screen includes a first recognition candidate group for sequentially changing the display screen of the display unit to a lower layer screen according to the hierarchical structure, and the display screen of the display unit without following the hierarchical structure. A second recognition candidate group for making a direct transition to a specific screen is included. And a control part changes the display screen in a display part to a specific screen, when the audio | voice recognized by the audio | voice recognition part is an audio | voice contained in a 2nd recognition candidate group.
上述した特許文献１での表示画面制御装置では、音声認識によって認識された音声が第２の認識候補群に含まれる音声である場合、表示手段における表示画面を特定の画面に遷移させるので、ユーザーが所望する表示画面を表示するまでにユーザーが発声する回数を少なくすることができ、音声入力による操作性を改善できる。 In the above-described display screen control device in Patent Document 1, when the speech recognized by speech recognition is speech included in the second recognition candidate group, the display screen on the display means is changed to a specific screen, so that the user The number of times the user utters before displaying the desired display screen can be reduced, and the operability by voice input can be improved.
ところで、この表示画面制御装置は、音声認識により、表示部における表示画面を特定の画面に遷移させることができるものの、タッチ操作に関わるアイコンの表示についての仕組みを備えていないため、操作性をさらに高めることができないものと考えられる。 By the way, although this display screen control device can change the display screen in the display unit to a specific screen by voice recognition, it does not have a mechanism for displaying icons related to the touch operation. It cannot be increased.
この場合、使用状況に応じてタッチ操作に関わるアイコンが確認しやすい画面に表示されるようにすると、操作性をさらに高めることができるものと考えられる。このようなことから、操作性をさらに高めることができる装置の開発が望まれている。 In this case, it is considered that the operability can be further improved if icons related to the touch operation are displayed on a screen that can be easily confirmed according to the usage situation. For these reasons, development of an apparatus that can further improve operability is desired.
本発明は、このような状況に鑑みてなされたものであり、上記問題点を解消することができる電子機器を提供することを目的とする。 This invention is made | formed in view of such a condition, and it aims at providing the electronic device which can eliminate the said problem.
本発明の電子機器は、マイクと、複数の画面にアイコンを表示するパネル部と、前記マイクが取り込んだ音声によるキーワードを認識する音声認識部と、前記アイコンに関連する前記キーワードと、前記アイコンとを関連付けて管理する画面表示情報管理部と、前記音声認識部が前記キーワードを認識すると、この認識したキーワードに関連する前記アイコンを前記画面表示情報管理部が管理しているかどうかを確認し、管理している場合は認識した前記キーワードに関連する前記アイコンを前記パネル部の特定画面に表示させるシステム制御部とを備えることを特徴とする。
また、前記システム制御部は、前記キーワードに関連する前記アイコンを前記パネル部の特定画面に一時的に移動させることを特徴とする。
また、前記システム制御部は、一時的に移動させた前記アイコンの色を変えることを特徴とする。
また、前記システム制御部は、前記特定画面に前記キーワードに関連する前記アイコンを表示させるスペースがなくなった場合、前記特定画面の次画面に前記アイコンを表示させることを特徴とする。
また、前記システム制御部は、前記特定画面に前記キーワードに関連する前記アイコンを表示させる場合、前記アイコンの優先度の高い順に並べて表示させることを特徴とする。
また、前記システム制御部は、前記特定画面に前記キーワードに関連する前記アイコンを表示させる場合、既に表示されている前記アイコンに対し、新たに表示される前記アイコンの色を変えることを特徴とする。
また、前記システム制御部は、起動中の前記アイコンの周囲に、前記キーワードに関連するアイコンを一時的に移動させることを特徴とする。
また、前記システム制御部は、特定の前記アイコンの周囲に、前記キーワードに関連するアイコンを一時的に移動させることを特徴とする。
また、前記システム制御部は、前記特定画面に前記キーワードに関連する前記アイコンを表示させる場合、それぞれのアイコン毎に、それぞれのアイコンが元の画面に戻るまでの時間を表示させることを特徴とする。
本発明の電子機器では、パネル部により、複数の画面にアイコンを表示し、画面表示情報管理部により、アイコンに関連するキーワードと、アイコンとを関連付けて管理し、音声認識部により、マイクが取り込んだ音声によるキーワードを認識し、システム制御部により、音声認識部が認識したキーワードに関連するアイコンを画面表示情報管理部が管理しているかどうかを確認し、管理している場合は認識したキーワードに関連するアイコンをパネル部の特定画面に表示させる。
これにより、直ちに利用可能なアイコンの確認を容易且つ確実に行うことができる。
The electronic device according to the present invention includes a microphone, a panel unit that displays an icon on a plurality of screens, a voice recognition unit that recognizes a keyword based on voice captured by the microphone, the keyword related to the icon, and the icon. When the keyword is recognized by the voice recognition unit and the screen display information management unit that associates and manages the screen display information management unit, the screen display information management unit checks whether or not the icon related to the recognized keyword is managed. And a system control unit that displays the icon related to the recognized keyword on the specific screen of the panel unit.
The system control unit temporarily moves the icon related to the keyword to a specific screen of the panel unit.
The system control unit may change the color of the icon moved temporarily.
The system control unit may display the icon on the next screen of the specific screen when there is no space for displaying the icon related to the keyword on the specific screen.
The system control unit may display the icons related to the keyword on the specific screen by arranging them in descending order of priority of the icons.
The system control unit may change a color of the icon that is newly displayed with respect to the icon that is already displayed when the icon related to the keyword is displayed on the specific screen. .
The system control unit may temporarily move an icon related to the keyword around the activated icon.
The system control unit may temporarily move an icon related to the keyword around the specific icon.
The system control unit may display time for each icon to return to the original screen for each icon when the icon related to the keyword is displayed on the specific screen. .
In the electronic device of the present invention, the panel unit displays icons on a plurality of screens, the screen display information management unit manages the keywords related to the icons in association with the icons, and the voice recognition unit captures the microphone. The system control unit checks whether the icon related to the keyword recognized by the voice recognition unit is managed by the screen display information management unit. Display related icons on the specific screen of the panel.
As a result, it is possible to easily and reliably check the icons that can be used immediately.
本発明の電子機器によれば、直ちに利用可能なアイコンの確認を容易且つ確実に行うことができるので、操作性をさらに高めることができる。 According to the electronic apparatus of the present invention, it is possible to easily and surely check an icon that can be used immediately, so that the operability can be further improved.
以下、本発明の電子機器をスマートフォン等の携帯端末に適用した場合の一実施形態について、図１〜図７を参照しながら説明する Hereinafter, an embodiment in which the electronic apparatus of the present invention is applied to a mobile terminal such as a smartphone will be described with reference to FIGS.
まず、図１に示す携帯端末１００は、少なくともWi-Fi（登録商標）や、Wi-Fi Direct（登録商標）の規格に基づいた無線ＬＡＮ(Local Area Network)での無線通信機能を有しているものとする。また、携帯端末１００は、無線通信機能により図示しないＭＦＰ(Multifunction Peripheral)等の画像形成装置と通信し、印刷の指示や印刷設定の指示等を行うことができるものとする。また、携帯端末１００には、詳細については後述するが、たとえば後述の図３（ａ）に示すアイコンａ〜ｃ、ａ１〜ｃ１を、たとえば後述の図３（ｂ）に示すアイコン集約画面に集約させるアイコン集約アプリケーション（以下、アイコン集約アプリという）がインストールされている。
First, the
携帯端末１００は、アンテナ１０１、マイク１０２、パネル部１０３を制御する制御部１１０を備えている。アンテナ１０１は、図示しない無線基地局を介し、他の携帯端末１００との間での電波を送受信する。マイク１０２は、音声を取り込む。パネル部１０３は、携帯端末１００の各種機能の選択等を行うタッチパネル等のデバイスである。
The
制御部１１０は、制御プログラム等を実行して携帯端末１００全体の動作を制御するプロセッサーである。制御部１１０は、通信制御部１１１、マイク制御部１１２、ＲＡＭ(Random Access Memory)１１３、EEPROM(electrically erasable and programmable read-only memory)１１４、音声認識部１１５、パネル操作制御部１１６、画面表示情報管理部１１７、システム制御部１１８を備えている。また、これらは、データバス１１９に接続されている。
The
通信制御部１１１は、アンテナ１０１を介し、図示しない無線基地局を経由し、他の携帯端末１００との間での電波を送受信する。マイク制御部１１２は、マイク１０２の音声の取り込みを制御する。ＲＡＭ１１３は、プログラムを実行するためのワークメモリーである。EEPROM１１４には、各部の動作チェック等を行う制御プログラムが記憶されている。また、EEPROM１１４には、音声認識部１１５が音声認識を行う際に参照する音声パターンが記憶されている。ちなみに、音声パターンは、後述の図２に示すアイコンに関連するキーワードに関するものである。このように、音声パターンの内容を限定することで、音声パターンのデータ量を少なくできる。
The
音声認識部１１５は、マイク１０２が取り込んだ音声を認識する。なお、音声認識部１１５は、マイク１０２が取り込んだ音声を認識する際、EEPROM１１４に記憶されている音声パターンを参照する。これにより、音声認識部１１５は、後述の図２に示すキーワードに関するもの以外の音声については認識しない。パネル操作制御部１１６は、パネル部１０３の表示動作を制御する。また、パネル操作制御部１１６は、パネル部１０３でのタッチ操作を受け付ける。
The
画面表示情報管理部１１７は、後述の図２に示すキーワード検索関連テーブル１３０により、パネル部１０３の複数の画面に点在しているアイコンを管理する。なお、画面表示情報管理部１１７は、たとえばアイコンと、アイコンが示すアプリ名又はファイル名と、アイコンが表示されている画面とを関連づけてアイコンを管理する
The screen display
システム制御部１１８は、各部の連携動作を制御する。また、システム制御部１１８は、詳細については後述するが、後述の図３（ａ）に示すアイコン集約アプリを起動させるアイコン１４０がタッチ操作されると、アイコン集約アプリを起動させ、パネル操作制御部１１６を介し、パネル部１０３に後述の図３（ｂ）に示すアイコン集約画面を表示させる。また、システム制御部１１８は、音声認識部１１５が後述の図２に示すキーワードを認識すると、画面表示情報管理部１１７が管理するキーワード検索関連テーブル１３０を参照し、音声認識部１１５が認識したキーワードに関連するアイコンａ〜ｃ、ａ１〜ｃ１のいずれかを図３（ｂ）に示すアイコン集約画面に表示させる。
The
次に、図２を参照し、画面表示情報管理部１１７が管理するキーワード検索関連テーブル１３０について説明する。まず、キーワード検索関連テーブル１３０は、アイコンａ〜ｃ、ａ１〜ｃ１等を示す項目１３１、アイコンａ〜ｃ、ａ１〜ｃ１等の表示画面を示す項目１３２、アプリ／文書ファイル（アプリ又は文書ファイル）に関連するキーワードを示す項目１３３、アプリ／文書ファイルを示す項目１３４を有している。項目１３２の表示画面、項目１３３のキーワード、項目１３４のアプリ／文書ファイルは、項目１３１のアイコンａ〜ｃ、ａ１〜ｃ１等に関連付けられている。
Next, the keyword search related table 130 managed by the screen display
ちなみに、たとえば項目１３１のアイコンａ１は、項目１３２に示すＡ画面に表示されていて、項目１３３に示すキーワードは写真／画像（写真又は画像）であり、項目１３４に示すアプリ／文書ファイルはアルバム管理アプリである場合を示している。また、たとえば項目１３１のアイコンａは、項目１３２に示すＡ画面に表示されていて、項目１３３に示すキーワードはファイル名／ファイル番号（ファイル名又はファイル番号）であり、項目１３４に示すアプリ／文書ファイルはファイル名が報告書で、ファイル番号が０００１で示す文書ファイルである場合を示している。
Incidentally, for example, the icon a1 of the
次に、図３〜図５を参照し、パネル部１０３でのアイコンの集約例について説明する。
Next, with reference to FIGS. 3 to 5, an example of icon aggregation in the
（初期操作）
まず、図３により、携帯端末１００のパネル部１０３での初期操作について説明する。図３（ａ）は、パネル部１０３の初期画面の一例を示している。パネル部１０３の初期画面には、少なくともアイコン集約画面を起動させるアイコン１４０が表示されている。なお、点線で示すアイコンａ〜ｃ、ａ１〜ｃ１は、初期画面に表示されているものではなく、図２に示したキーワード検索関連テーブル１３０の項目１３２で示すＡ画面、Ｂ画面、Ｃ画面等に表示されている。
(Initial operation)
First, an initial operation on the
ここで、アイコン１４０をタッチ操作すると、システム制御部１１８がアイコン１４０に関連するアイコン集約アプリを起動させ、さらに、パネル操作制御部１１６を介し、パネル部１０３に図３（ｂ）に示すアイコン集約画面を表示させる。このアイコン集約画面は、音声認識部１１５が認識したキーワードに関連するアイコンａ〜ｃ、ａ１〜ｃ１のいずれかを表示させるものである。なお、アイコン集約アプリには、電話会議（通話）の機能が備わっていてもよい。電話会議（通話）の機能が備わっていることで、アイコン集約アプリの起動により、直ちに会議やミーティングでの電話会議（通話）を実施できる。また、アイコン集約アプリの起動により、会議で発言するたびに音声認識部１１５が認識したキーワードに関連するアイコンａ〜ｃ、ａ１〜ｃ１を、後述のアイコン集約画面に自動で表示させることができる。
Here, when the
（実施例１）
次に、図４を参照し、アイコン集約の実施例１について説明する。まず、図３（ｂ）のように、パネル部１０３にアイコン集約画面が表示されている状態で、マイク１０２により音声を取得する。なお、音声の取得は、たとえば会議、又はミーティング中である場合とする。
Example 1
Next, a first example of icon aggregation will be described with reference to FIG. First, as illustrated in FIG. 3B, sound is acquired by the
ここで、音声認識部１１５がたとえば「メモ」としたキーワードを認識したとする。このとき、システム制御部１１８は、画面表示情報管理部１１７が管理しているキーワード検索関連テーブル１３０を参照し、項目１３３に該当するキーワードが有るかどうかを確認する。また、システム制御部１１８は、キーワード検索関連テーブル１３０にたとえば「メモ」としたキーワードがある場合、そのキーワードに関連するアイコンｂ１と、項目１３２に示す表示画面であるＣ画面とを確認する。そして、システム制御部１１８は、図４（ａ）に示すように、パネル操作制御部１１６を介し、パネル部１０３のアイコン集約画面にアイコンｂ１を表示させる。
Here, it is assumed that the
また、音声認識部１１５がたとえば「写真」としたキーワードを認識したとする。このとき、システム制御部１１８は、画面表示情報管理部１１７が管理しているキーワード検索関連テーブル１３０を参照し、項目１３３に該当するキーワードが有るかどうかを確認する。また、システム制御部１１８は、キーワード検索関連テーブル１３０にたとえば「写真」としたキーワードがある場合、そのキーワードに関連するアイコンａ１と、項目１３２に示す表示画面であるＡ画面とを確認する。そして、システム制御部１１８は、図４（ｂ）に示すように、パネル操作制御部１１６を介し、パネル部１０３のアイコン集約画面にアイコンａ１を表示させる。
Further, it is assumed that the
また、音声認識部１１５がたとえば「０００３」としたキーワードを認識したとする。このとき、システム制御部１１８は、画面表示情報管理部１１７が管理しているキーワード検索関連テーブル１３０を参照し、項目１３３に該当するキーワードが有るかどうかを確認する。また、システム制御部１１８は、キーワード検索関連テーブル１３０にたとえば「０００３」としたキーワードがある場合、そのキーワードに関連するアイコンｃと、項目１３２に示す表示画面であるＢ画面とを確認する。そして、システム制御部１１８は、図４（ｂ）に示すように、パネル操作制御部１１６を介し、パネル部１０３のアイコン集約画面にアイコンｃを表示させる。
Further, it is assumed that the
以下同様にして、音声認識部１１５がたとえば「カメラ」としたキーワードを認識したとする。このとき、システム制御部１１８は、キーワード検索関連テーブル１３０からそのキーワードに関連するアイコンｃ１と、項目１３２に示す表示画面であるＢ画面とを確認し、図４（ｃ）に示すように、パネル操作制御部１１６を介し、パネル部１０３のアイコン集約画面にアイコンｃ１を表示させる。
Similarly, it is assumed that the
また、音声認識部１１５がたとえば「報告書」としたキーワードを認識したとする。このとき、システム制御部１１８は、キーワード検索関連テーブル１３０からそのキーワードに関連するアイコンａと、項目１３２に示す表示画面であるＡ画面とを確認し、図４（ｃ）に示すように、パネル操作制御部１１６を介し、パネル部１０３のアイコン集約画面にアイコンａを表示させる。
Further, it is assumed that the
また、音声認識部１１５がたとえば「決算書」としたキーワードを認識したとする。このとき、システム制御部１１８は、キーワード検索関連テーブル１３０からそのキーワードに関連するアイコンｂと、項目１３２に示す表示画面であるＡ画面とを確認し、図４（ｄ）に示すように、パネル操作制御部１１６を介し、パネル部１０３のアイコン集約画面にアイコンｂを表示させる。
Further, it is assumed that the
以上のように、アイコン集約画面に音声認識部１１５が認識したキーワードに関連するアイコンａ〜ｃ、ａ１〜ｃ１を表示させることで、直ちに必要なアイコンａ〜ｃ、ａ１〜ｃ１のいずれかを起動させることができ、たとえば会議、又はミーティング中に必要な情報を取得できる。
As described above, by displaying the icons ac to c and a1 to c1 related to the keyword recognized by the
なお、アイコン集約画面にアイコンａ〜ｃ、ａ１〜ｃ１を表示させる場合、キーワード検索関連テーブル１３０が示す項目１３２のそれぞれの画面に表示されているアイコンａ〜ｃ、ａ１〜ｃ１をアイコン集約画面に移動させてもよいし、それぞれの画面に表示されているアイコンａ〜ｃ、ａ１〜ｃ１のショートカットを表示させてもよい。また、アイコンａ〜ｃ、ａ１〜ｃ１をアイコン集約画面に移動させた場合、一定時間経過後に、元に画面に戻してもよい。また、アイコン集約画面に表示されたいずれかのアイコンａ〜ｃ、ａ１〜ｃ１がタッチ操作された場合、そのタッチ操作されたいずれかのアイコンａ〜ｃ、ａ１〜ｃ１をアイコン集約画面に残してもよい。
When icons a to c and a1 to c1 are displayed on the icon aggregation screen, the icons a to c and a1 to c1 displayed on the screens of the
（実施例２）
次に、図５を参照し、アイコン集約の実施例２について説明する。まず、キーワード検索関連テーブル１３０の項目１３１が示すアイコンｂ１がタッチ操作されたとする。この場合、図５（ａ）のように、パネル部１０３にメモ帳アプリ起動画面を表示させる。この場合、アイコンｂ１はメモ帳アプリ起動画面のたとえば中央部分等に表示されるようにしてもよい。この状態で、たとえば会議、又はミーティング中に、マイク１０２により音声を取得する。なお、図５（ａ）のように、パネル部１０３に表示されるメモ帳アプリ起動画面では、タッチペン等を用いることで、文字等を書き込むことができる。
(Example 2)
Next, a second example of icon aggregation will be described with reference to FIG. First, it is assumed that the icon b1 indicated by the
ここで、音声認識部１１５がたとえば「写真」としたキーワードを認識したとする。このとき、システム制御部１１８は、画面表示情報管理部１１７が管理しているキーワード検索関連テーブル１３０を参照し、項目１３３に該当するキーワードが有るかどうかを確認する。また、システム制御部１１８は、キーワード検索関連テーブル１３０にたとえば「写真」としたキーワードがある場合、そのキーワードに関連するアイコンａ１と、項目１３２に示す表示画面であるＡ画面とを確認する。そして、システム制御部１１８は、図５（ｂ）に示すように、パネル操作制御部１１６を介し、パネル部１０３のホーム画面にアイコンａ１を移動させ、アイコンｂ１の周囲にアイコンａ１を表示させる。なお、パネル部１０３に、図５（ａ）のメモ帳アプリ起動画面が表示されている場合、図５（ｂ）に示すパネル部１０３のホーム画面でのアイコンａ１の表示は、バックグラウンドで処理される。この場合、パネル部１０３のメモ帳アプリ起動画面からホーム画面に切り替えることで、アイコンｂ１の周囲に表示されるキーワードに関連したアイコンａ１等を確認できる。なお、ここでは、キーワードに関連したアイコンａ１等がホーム画面のメモ帳アプリに関連するアイコンｂ１の周囲に表示される場合としているが、この例に限らず、たとえば図５（ａ）のメモ帳アプリ起動画面にアイコンｂ１を表示させ、そのアイコンｂ１の周囲にキーワードに関連したアイコンａ１等が表示されるようにしてもよい。また、ここでは、メモ帳アプリに関連するアイコンｂ１の周囲にキーワードに関連したアイコンａ１等が表示される場合としているが、アイコンｂ１以外の特定のアイコンの周囲にキーワードに関連したアイコンａ１等が表示されてもよい。なお、特定のアイコンは、特定のアプリに間連したものであってもよいし、関連しないものであってもよい。また、たとえば指標アイコンを新たに設定しておき、キーワードに関連したアイコンａ１等がその指標アイコンの周囲に表示されるようにしてもよい。
Here, it is assumed that the
また、音声認識部１１５がたとえば「決算書」としたキーワードを認識したとする。このとき、システム制御部１１８は、キーワード検索関連テーブル１３０からそのキーワードに関連するアイコンｂと、項目１３２に示す表示画面であるＡ画面とを確認し、図５（ａ）に示すように、パネル操作制御部１１６を介し、パネル部１０３のメモ帳アプリ起動画面のアイコンｂ１の周囲にアイコンｂを表示させてもよい。
Further, it is assumed that the
なお、上述した実施例１、実施例２においては、アイコン集約画面、又はメモ帳アプリ起動画面に新たなアイコンａ〜ｃ、ａ１〜ｃ１を表示させるアイコンのスペースが無くなった場合、アイコン集約画面、又はメモ帳アプリ起動画面の次画面に新たなアイコンａ〜ｃ、ａ１〜ｃ１を表示させてもよい。これにより、新たなアイコンａ〜ｃ、ａ１〜ｃ１が増えても、検索されたアイコンａ〜ｃ、ａ１〜ｃ１を確認しやすいように集約しておくことができる。 In addition, in Example 1 and Example 2 mentioned above, when there is no icon space for displaying new icons a to c and a1 to c1 on the icon aggregation screen or the notepad application activation screen, the icon aggregation screen, Alternatively, new icons a to c and a1 to c1 may be displayed on the next screen of the notepad application startup screen. As a result, even if new icons a to c and a1 to c1 increase, the searched icons a to c and a1 to c1 can be collected so as to be easily confirmed.
また、上述した実施例１、実施例２においては、アイコンａ〜ｃ、ａ１〜ｃ１が検索された順にアイコン集約画面、又はメモ帳アプリ起動画面に表示されているが、アイコンａ〜ｃ、ａ１〜ｃ１に優先順位を設定しておき、優先順位の高いアイコンａ〜ｃ、ａ１〜ｃ１をアイコン集約画面、又はメモ帳アプリ起動画面のたとえば上部から順に並べて表示させてもよい。これにより、優先順位の高いアイコンａ〜ｃ、ａ１〜ｃ１を直ちに利用することができる。 Moreover, in Example 1 and Example 2 mentioned above, although icons a-c and a1-c1 are displayed on the icon aggregation screen or the notepad application starting screen in the order searched, icons a-c, a1 Priorities may be set for .about.c1, and icons a.about.c and a1.about.c1 having higher priorities may be arranged and displayed in order from the upper part of the icon aggregation screen or the notepad application activation screen, for example. As a result, the icons a to c and a1 to c1 having high priority can be used immediately.
また、上述した実施例１、実施例２においては、既に表示されているアイコンａ〜ｃ、ａ１〜ｃ１に対し、新たに検索されたアイコンａ〜ｃ、ａ１〜ｃ１を識別しやすいように、既に表示されているアイコンａ〜ｃ、ａ１〜ｃ１に対し、新たに検索されたアイコンａ〜ｃ、ａ１〜ｃ１の色を変えてもよい。これにより、新たに検索されたアイコンａ〜ｃ、ａ１〜ｃ１の確認をさらに容易に行うことができる。 Moreover, in Example 1 and Example 2 mentioned above, it is easy to identify the newly searched icons a to c and a1 to c1 with respect to the icons a to c and a1 to c1 already displayed. The colors of the newly searched icons a to c and a1 to c1 may be changed with respect to the icons a to c and a1 to c1 that are already displayed. Thereby, the newly searched icons a to c and a1 to c1 can be confirmed more easily.
また、上述した実施例１、実施例２においては、アイコン集約画面、又はメモ帳アプリ起動画面に集約されたアイコンａ〜ｃ、ａ１〜ｃ１毎に、それぞれのアイコンａ〜ｃ、ａ１〜ｃ１が元の画面に戻るまでの時間を表示させてもよい。これにより、アイコンａ〜ｃ、ａ１〜ｃ１の表示時間を容易に確認できる。 Moreover, in Example 1 and Example 2 mentioned above, each icon ac-c, a1-c1 is each for icon ac-c and a1-c1 consolidated on the icon aggregation screen or the notepad application starting screen. The time until returning to the original screen may be displayed. Thereby, the display time of icons a-c and a1-c1 can be confirmed easily.
次に、図６を参照し、携帯端末１００でのパネル部１０３でのアイコンの集約処理の一例について説明する。なお、以下では、図３に示したように、たとえばアイコン集約アプリを起動させるアイコン１４０がタッチ操作された場合として説明する。
Next, an example of icon aggregation processing in the
（ステップＳ１０１）
システム制御部１１８は、アイコン集約アプリが選択されたかどうかを判断する。
この場合、システム制御部１１８は、図３（ａ）の画面でパネル操作制御部１１６からのパネル部１０３のアイコン１４０へのタッチ操作が有ることを示す通知が無ければアイコン集約アプリが選択されていないと判断し（ステップＳ１０１：Ｎｏ）、アイコン集約アプリの選択待ちとなる。
これに対し、システム制御部１１８は、図３（ａ）の画面でパネル操作制御部１１６からのパネル部１０３のアイコン１４０へのタッチ操作が有ることを示す通知が有ればアイコン集約アプリが選択されたと判断し（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に移行する。
(Step S101)
The
In this case, the
On the other hand, the
（ステップＳ１０２）
システム制御部１１８は、音声認識部１１５に対し、音声認識を開始させる。
この場合、システム制御部１１８は、アイコン集約アプリを起動させ、パネル操作制御部１１６を介し、パネル部１０３に図３（ｂ）に示したアイコン集約画面を表示させる。また、システム制御部１１８は、音声認識部１１５に対し、音声認識を開始させる。
(Step S102)
The
In this case, the
（ステップＳ１０３）
システム制御部１１８は、音声を取得したかどうかを判断する。
この場合、システム制御部１１８は、マイク制御部１１２からのマイク１０２を介して音声を取得したことを示す通知が無ければ音声を取得していないと判断する（ステップＳ１０３：Ｎｏ）。
これに対し、システム制御部１１８は、マイク制御部１１２からのマイク１０２を介して音声を取得したことを示す通知が有れば音声を取得したと判断し（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に移行する。
(Step S103)
The
In this case, the
On the other hand, the
（ステップＳ１０４）
システム制御部１１８は、音声認識が完了したかどうかを判断する。
この場合、システム制御部１１８は、音声認識部１１５からの音声認識した内容（たとえば「メモ」としたキーワード）の通知が無ければ音声認識が完了していないと判断する（ステップＳ１０４：Ｎｏ）。
これに対し、システム制御部１１８は、音声認識部１１５からの音声認識した内容（たとえば「メモ」としたキーワード）の通知が有れば音声認識が完了したと判断し（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５に移行する。
(Step S104)
The
In this case, the
On the other hand, the
（ステップＳ１０５）
システム制御部１１８は、関連するアイコンａ〜ｃ、ａ１〜ｃ１が存在するかどうかを判断する。
この場合、システム制御部１１８は、画面表示情報管理部１１７が管理しているキーワード検索関連テーブル１３０を参照し、項目１３３に該当するキーワードが無い場合は、関連するアイコンａ〜ｃ、ａ１〜ｃ１が存在しないと判断し（ステップＳ１０５：Ｎｏ）、ステップＳ１０３に戻る。
これに対し、システム制御部１１８は、画面表示情報管理部１１７が管理しているキーワード検索関連テーブル１３０を参照し、項目１３３に該当するキーワードが有る場合は、関連するアイコンａ〜ｃ、ａ１〜ｃ１が存在すると判断し（ステップＳ１０５：Ｙｅｓ）、ステップＳ１０６に移行する。
(Step S105)
The
In this case, the
On the other hand, the
（ステップＳ１０６）
システム制御部１１８は、該当するアイコンａ〜ｃ、ａ１〜ｃ１をアイコン集約画面に移動させる。
この場合、システム制御部１１８は、キーワード検索関連テーブル１３０にたとえば「メモ」としたキーワードがある場合、そのキーワードに関連するアイコンｂ１と、項目１３２に示す表示画面であるＣ画面とを確認する。そして、システム制御部１１８は、図４（ａ）に示したように、パネル操作制御部１１６を介し、パネル部１０３のアイコン集約画面にアイコンｂ１を表示させる。
なお、システム制御部１１８は、音声認識部１１５がたとえば「写真」としたキーワードを認識した場合、図４（ｂ）に示したように、パネル操作制御部１１６を介し、パネル部１０３のアイコン集約画面にアイコンａ１を表示させる。
また、システム制御部１１８は、音声認識部１１５がたとえば「０００３」としたキーワードを認識した場合、図４（ｂ）に示したように、パネル操作制御部１１６を介し、パネル部１０３のアイコン集約画面にアイコンｃを表示させる。
また、システム制御部１１８は、音声認識部１１５がたとえば「カメラ」としたキーワードを認識した場合、図４（ｃ）に示したように、パネル操作制御部１１６を介し、パネル部１０３のアイコン集約画面にアイコンｃ１を表示させる。
また、システム制御部１１８は、音声認識部１１５がたとえば「報告書」としたキーワードを認識した場合、図４（ｃ）に示したように、パネル操作制御部１１６を介し、パネル部１０３のアイコン集約画面にアイコンａを表示させる。
また、システム制御部１１８は、音声認識部１１５がたとえば「決算書」としたキーワードを認識した場合、図４（ｄ）に示すように、パネル操作制御部１１６を介し、パネル部１０３のアイコン集約画面にアイコンｂを表示させる。
(Step S106)
The
In this case, when there is a keyword “memo”, for example, in the keyword search relation table 130, the
When the
Further, when the
Further, when the
Further, when the
In addition, when the
（ステップＳ１０７）
システム制御部１１８は、アイコン集約アプリの終了が選択されたかどうかを判断する。
ここで、たとえば図３（ｂ）の画面にアイコン集約アプリの終了ボタンが表示されているとする。
この場合、システム制御部１１８は、たとえば図３（ｂ）の画面でパネル操作制御部１１６からのパネル部１０３の終了ボタンへのタッチ操作が有ることを示す通知が無ければアイコン集約アプリの終了が選択されていないと判断し（ステップＳ１０７：Ｎｏ）、ステップＳ１０３に戻る。
これに対し、システム制御部１１８は、たとえば図３（ｂ）の画面でパネル操作制御部１１６からのパネル部１０３の終了ボタンへのタッチ操作が有ることを示す通知が有ればアイコン集約アプリの終了が選択されたと判断し（ステップＳ１０７：Ｙｅｓ）、処理を終了する。
なお、ここでは、たとえば図３（ｂ）の画面にアイコン集約アプリの終了ボタンが表示されているとした場合で説明したが、この例に限らず、システム制御部１１８は、音声認識部１１５が「終了」という音声を認識した場合、直ちに処理を終了してもよい。
(Step S107)
The
Here, for example, it is assumed that the end button of the icon aggregation application is displayed on the screen of FIG.
In this case, for example, if there is no notification from the panel
On the other hand, for example, if there is a notification indicating that there is a touch operation on the end button of the
Here, for example, the case where the end button of the icon aggregation application is displayed on the screen of FIG. 3B has been described, but not limited to this example, the
以上のように、アイコン集約画面に音声認識部１１５が認識したキーワードに関連するアイコンａ〜ｃ、ａ１〜ｃ１を表示させることで、直ちに必要なアイコンａ〜ｃ、ａ１〜ｃ１のいずれかを起動させることができ、たとえば会議、又はミーティング中に必要な情報を取得できる。
As described above, by displaying the icons ac to c and a1 to c1 related to the keyword recognized by the
このように、本実施形態では、パネル部１０３により、複数の画面にアイコンａ〜ｃ、ａ１〜ｃ１を表示し、画面表示情報管理部１１７により、アイコンａ〜ｃ、ａ１〜ｃ１に関連するキーワードと、アイコンａ〜ｃ、ａ１〜ｃ１とを関連付けて管理し、音声認識部１１５により、マイク１０２が取り込んだ音声によるキーワードを認識し、システム制御部１１８により、音声認識部１１５が認識したキーワードに関連するアイコンａ〜ｃ、ａ１〜ｃ１を画面表示情報管理部１１７が管理しているかどうかを確認し、管理している場合は認識したキーワードに関連するアイコンａ〜ｃ、ａ１〜ｃ１をパネル部１０３のたとえばアイコン集約画面（特定画面）に集約して表示させる。これにより、直ちに利用可能なアイコンａ〜ｃ、ａ１〜ｃ１の確認を容易且つ確実に行うことができるので、操作性をさらに高めることができる。
Thus, in this embodiment, the icons a to c and a1 to c1 are displayed on the plurality of screens by the
なお、本実施形態では、電子機器として携帯端末１００を例示したが、タッチ操作方式のパネル部を有する電子機器であればよく、たとえばＭＦＰ(Multifunction Peripheral)等の画像形成装置等にも適用可能である。
In the present embodiment, the
１００ 携帯端末
１０１ アンテナ
１０２ マイク
１０３ パネル部
１１０ 制御部
１１１ 通信制御部
１１２ マイク制御部
１１３ ＲＡＭ
１１４ EEPROM
１１５ 音声認識部
１１６ パネル操作制御部
１１７ 画面表示情報管理部
１１８ システム制御部
１１９ データバス
１３０ キーワード検索関連テーブル
１３１〜１３４ 項目
１４０、ａ〜ｃ、ａ１〜ｃ１ アイコン
DESCRIPTION OF
114 EEPROM
115
Claims (9)
複数の画面にアイコンを表示するパネル部と、
前記マイクが取り込んだ音声によるキーワードを認識する音声認識部と、
前記アイコンに関連する前記キーワードと、前記アイコンとを関連付けて管理する画面表示情報管理部と、
前記音声認識部が前記キーワードを認識すると、この認識したキーワードに関連する前記アイコンを前記画面表示情報管理部が管理しているかどうかを確認し、管理している場合は認識した前記キーワードに関連する前記アイコンを前記パネル部の特定画面に表示させるシステム制御部とを備える
ことを特徴とする電子機器。 With a microphone,
A panel that displays icons on multiple screens;
A voice recognition unit for recognizing a keyword by voice captured by the microphone;
A screen display information management unit for managing the keyword related to the icon and the icon in association with each other;
When the voice recognition unit recognizes the keyword, it checks whether the icon related to the recognized keyword is managed by the screen display information management unit, and if so, relates to the recognized keyword. An electronic apparatus comprising: a system control unit that displays the icon on a specific screen of the panel unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018025082A JP7069795B2 (en) | 2018-02-15 | 2018-02-15 | Electronics |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018025082A JP7069795B2 (en) | 2018-02-15 | 2018-02-15 | Electronics |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019139701A true JP2019139701A (en) | 2019-08-22 |
| JP7069795B2 JP7069795B2 (en) | 2022-05-18 |
Family
ID=67694172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018025082A Active JP7069795B2 (en) | 2018-02-15 | 2018-02-15 | Electronics |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7069795B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008014818A (en) * | 2006-07-06 | 2008-01-24 | Denso Corp | Operation control device and program |
| JP2010067104A (en) * | 2008-09-12 | 2010-03-25 | Olympus Corp | Digital photo-frame, information processing system, control method, program, and information storage medium |
| JP2013003625A (en) * | 2011-06-13 | 2013-01-07 | Ricoh Co Ltd | Image processing system, screen update method and screen update program |
| WO2014188512A1 (en) * | 2013-05-21 | 2014-11-27 | 三菱電機株式会社 | Voice recognition device, recognition result display device, and display method |
| JP2017118456A (en) * | 2015-12-25 | 2017-06-29 | 株式会社リコー | Information management system, control program for information management system, and control method for information management system |
-
2018
- 2018-02-15 JP JP2018025082A patent/JP7069795B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008014818A (en) * | 2006-07-06 | 2008-01-24 | Denso Corp | Operation control device and program |
| JP2010067104A (en) * | 2008-09-12 | 2010-03-25 | Olympus Corp | Digital photo-frame, information processing system, control method, program, and information storage medium |
| JP2013003625A (en) * | 2011-06-13 | 2013-01-07 | Ricoh Co Ltd | Image processing system, screen update method and screen update program |
| WO2014188512A1 (en) * | 2013-05-21 | 2014-11-27 | 三菱電機株式会社 | Voice recognition device, recognition result display device, and display method |
| JP2017118456A (en) * | 2015-12-25 | 2017-06-29 | 株式会社リコー | Information management system, control program for information management system, and control method for information management system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7069795B2 (en) | 2022-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11561680B2 (en) | Method and apparatus for adding icon to interface of android system, and mobile terminal | |
| US7778671B2 (en) | Mobile communications terminal having an improved user interface and method therefor | |
| US9003283B2 (en) | Copying text using parameters displayed on a clipboard | |
| US20150309704A1 (en) | Method and electronic device for managing object | |
| US20100146441A1 (en) | Search based user interface | |
| KR102220945B1 (en) | Apparatus and method for displaying an related contents information related the opponent party in terminal | |
| JP5160337B2 (en) | INPUT PROCESSING DEVICE, INPUT PROCESSING METHOD, INPUT PROCESSING PROGRAM, AND PORTABLE TERMINAL DEVICE | |
| US10394439B2 (en) | Managing user interface elements using gestures | |
| KR20100124429A (en) | Operation method of associated with a communication function and portable device supporting the same | |
| EP2461243B1 (en) | Display processing apparatus | |
| JP5436676B2 (en) | Portable electronic device, screen control method and additional display program | |
| WO2009157566A1 (en) | Mobile terminal and terminal operation program | |
| WO2015039517A1 (en) | Multimedia file search method, apparatus, and terminal device | |
| US20110099473A1 (en) | Input signal processing device for portable device and method of the same | |
| JP2007310650A (en) | Information processing apparatus | |
| CN101196791A (en) | Digital document choosing method and device | |
| KR101520896B1 (en) | Apparatus and method for managing data in portable terminal | |
| JP2013225841A (en) | Method and apparatus for providing electronic apparatus multifunction | |
| JP2004304725A (en) | Mobile phone | |
| US10303351B2 (en) | Method and apparatus for notifying of content change | |
| US20150234546A1 (en) | Method for Quickly Displaying a Skype Contacts List and Computer Program Thereof and Portable Electronic Device for Using the Same | |
| JP7069795B2 (en) | Electronics | |
| JP2019139674A (en) | Electronic apparatus | |
| KR101525025B1 (en) | Live capturing method in smartphone | |
| CN113625921A (en) | Method, device, storage medium and electronic equipment for displaying target message |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220418 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7069795 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |