JP6447474B2 - Electronics - Google Patents

Electronics Download PDF

Info

Publication number
JP6447474B2
JP6447474B2 JP2015232932A JP2015232932A JP6447474B2 JP 6447474 B2 JP6447474 B2 JP 6447474B2 JP 2015232932 A JP2015232932 A JP 2015232932A JP 2015232932 A JP2015232932 A JP 2015232932A JP 6447474 B2 JP6447474 B2 JP 6447474B2
Authority
JP
Japan
Prior art keywords
unit
voice
keyword
detected
device state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015232932A
Other languages
Japanese (ja)
Other versions
JP2017102522A (en
Inventor
内田　譲
譲 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2015232932A priority Critical patent/JP6447474B2/en
Publication of JP2017102522A publication Critical patent/JP2017102522A/en
Application granted granted Critical
Publication of JP6447474B2 publication Critical patent/JP6447474B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、音声認識機能を備えた電子機器に関する。   The present invention relates to an electronic device having a voice recognition function.

従来、電子機器においては、マウス操作やタッチ操作による操作が行われている。マウス操作やタッチ操作では、ユーザーが操作対象の操作キーに位置合わせを行って操作する必要があるが、操作キーが小さかったり文字サイズが小さかったりして、操作しにくい場合がある。そこで、ユーザーの操作ミスを防ぐため、音声認識により電子機器の操作を補助する技術が開発されている。例えば、ユーザーがマイクに向かって検索項目を話すと、検索項目を認識して情報検索を行ったり、予め登録された特定音を検出すると自動的にオーディオ装置の音量調整を行ったりする技術が提案されている（例えば、特許文献１、２を参照）。   Conventionally, in an electronic device, an operation by a mouse operation or a touch operation is performed. In mouse operation or touch operation, it is necessary for the user to perform an operation by aligning the operation key to be operated, but there are cases where the operation key is small or the character size is small, so that the operation is difficult. Therefore, in order to prevent user's operation mistakes, a technology for assisting operation of an electronic device by voice recognition has been developed. For example, when the user speaks a search item into the microphone, a technology is proposed that searches the information by recognizing the search item, or automatically adjusts the volume of the audio device when a specific sound registered in advance is detected. (For example, see Patent Documents 1 and 2).

特開平10-021254号公報Japanese Patent Laid-Open No. 10-021254 特開2002-305421号公報JP 2002-305421 A

しかしながら、特許文献１及び２の技術は、ユーザーの操作ミスを防ぐための技術であり、ユーザーが操作を間違えてしまった場合に、間違えた操作により実行された処理を簡単に元に戻すことはできなかった。   However, the techniques of Patent Documents 1 and 2 are techniques for preventing a user's operation mistake, and when the user makes a mistake in the operation, the process executed by the mistaken operation can be easily restored. could not.

本発明は上記課題に鑑みてなされたものであり、ユーザーが間違えた操作を簡単に元に戻すことができる技術を提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of easily returning an operation mistaken by a user.

本発明は、複数のアイコンが配置された操作画面を表示する表示部と、前記アイコンに対するドラッグアンドドロップ操作を受け付ける操作部と、受け付けられた前記ドラッグアンドドロップ操作に対応する操作処理を実行する操作処理部と、前記操作処理前の装置状態を保持する装置状態保持部と、音声を取得するマイクと、前記マイクを介して操作失敗を示す音声をキーワードとして登録するキーワード登録部と、前記操作部で前記ドラッグアンドドロップ操作が開始されてから予め設定された音声認識期間の間、前記マイクで取得された音声から前記キーワードを検出する音声認識部と、前記音声認識部により前記キーワードが検出された場合に、前記装置状態保持部で保持された前記装置状態に戻す状態戻し部とを備え、前記音声認識部は、操作失敗を示す音声として、音声レベルが所定の閾値以上である音声を検出し、前記状態戻し部は、前記音声認識部により音声レベルが所定の閾値以上である音声が検出された場合に、前記装置状態保持部で保持された前記装置状態に戻し、前記キーワード登録部は、前記音声認識部により音声レベルが所定の閾値以上である音声が検出され、検出された音声が前記キーワードとして登録されていない場合に、検出された音声を前記キーワードとして登録するか確認する確認画面を前記表示部に表示させ、登録する旨が指示された場合に、検出された音声を前記キーワードとして登録することを特徴とする。
また、前記音声認識部により前記キーワードが検出された場合に、装置状態を戻すか確認する確認画面を前記表示部に表示させ、前記確認画面を介して装置状態を戻す指示がされた場合に、前記装置状態保持部で保持された前記装置状態に戻してもよい。 The present invention provides a display unit that displays an operation screen on which a plurality of icons are arranged, an operation unit that receives a drag-and-drop operation on the icon, and an operation that executes an operation process corresponding to the received drag-and-drop operation A processing unit; a device state holding unit that holds a device state before the operation processing; a microphone that acquires voice; a keyword registration unit that registers voice indicating operation failure via the microphone as a keyword; and the operation unit between the drag and drop preset voice recognition period after the operation is started in the voice recognition unit for detecting the keyword from the voice acquired by the microphone, the keyword is detected by the voice recognition unit case, and a state return unit for returning the device state held by the device state storage section, the speech certification The unit detects a voice whose voice level is equal to or higher than a predetermined threshold as a voice indicating an operation failure, and the state returning unit detects the voice whose voice level is equal to or higher than a predetermined threshold by the voice recognition unit The keyword registration unit detects a voice whose voice level is equal to or higher than a predetermined threshold by the voice recognition unit, and the detected voice is used as the keyword. When not registered, a confirmation screen for confirming whether to detect the detected voice as the keyword is displayed on the display unit, and when the registration is instructed, the detected voice is registered as the keyword. It is characterized by that .
Also, when the keyword by the speech recognition unit is detected, to display the confirmation screen to confirm whether to return the device status on the display unit, when an instruction to return the device state via the confirmation screen is The apparatus state held by the apparatus state holding unit may be returned to.

本発明によれば、ユーザーが間違えた操作を簡単に元に戻すことができる。   According to the present invention, an operation mistaken by the user can be easily restored.

本発明に係る電子機器の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the electronic device which concerns on this invention. 図１に示す電子機器が操作されたときの処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process when the electronic device shown in FIG. 1 is operated. 正しくキー操作された場合の操作例を示すイメージ図である。It is an image figure which shows the example of operation when a key is operated correctly. 間違ってキー操作された場合の操作例を示すイメージ図である。It is an image figure which shows the example of operation when a key operation is carried out accidentally. 図１に示す操作部と操作処理部と音声認識部の実行タイミングを示した図である。It is the figure which showed the execution timing of the operation part shown in FIG. 1, an operation process part, and a speech recognition part.

以下、図を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態において、同様の機能を示す構成には、同一の符号を付してある。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that, in the following embodiments, the same reference numerals are given to configurations showing similar functions.

電子機器１は、スマートフォン、タブレット端末、パーソナルコンピューター等のように、タッチ操作やマウス操作が可能な操作装置であり、図１を参照すると、操作部１１と、記憶部１２と、通信部１３と、マイク１４と、制御部１５とを備えている。なお、以下では、電子機器１を装置として説明する場合がある。   The electronic device 1 is an operation device capable of touch operation and mouse operation, such as a smartphone, a tablet terminal, and a personal computer. Referring to FIG. 1, the operation unit 11, the storage unit 12, and the communication unit 13 The microphone 14 and the control unit 15 are provided. Hereinafter, the electronic device 1 may be described as an apparatus.

操作部１１は、タッチパネルと操作ボタンとを備えている。タッチパネルは、各種操作キーや動作状況を表示する表示部の表面に透明の感圧センサーが設けられており、表示手段及び入力手段として機能する。タッチパネルは、表示面へのタッチ操作を検知して、タッチ操作が検知された位置に対応する信号を出力することで、表示部に表示した操作キーへの操作を受け付ける。また、操作ボタンは、数値を入力するためのテンキー、アルファベットなどの文字を入力するための文字キー等の各種操作キーを備えている。また、操作部１１は、マウスが接続されてもよく、マウスを介したポインター操作を受け付けてもよい。   The operation unit 11 includes a touch panel and operation buttons. The touch panel is provided with a transparent pressure-sensitive sensor on the surface of a display unit that displays various operation keys and operation status, and functions as a display unit and an input unit. The touch panel detects a touch operation on the display surface and outputs a signal corresponding to the position where the touch operation is detected, thereby accepting an operation on the operation key displayed on the display unit. The operation buttons also include various operation keys such as a numeric keypad for inputting numerical values and character keys for inputting characters such as alphabets. The operation unit 11 may be connected to a mouse and may accept a pointer operation via the mouse.

記憶部１２は、半導体メモリーやＨＤＤ（Hard Disk Drive）等の記憶手段である。記憶部１２には、予め操作失敗を示す音声がキーワード１２１として登録されている。   The storage unit 12 is a storage unit such as a semiconductor memory or an HDD (Hard Disk Drive). In the storage unit 12, a voice indicating an operation failure is registered in advance as a keyword 121.

通信部１３は、ＬＡＮ（Local Area Network）等のネットワークを介して、外部端末と各種データを送受信する機能を有する。   The communication unit 13 has a function of transmitting / receiving various data to / from an external terminal via a network such as a LAN (Local Area Network).

マイク１４は、マイクロホン等であり、音声を取得する集音装置である。   The microphone 14 is a microphone or the like and is a sound collecting device that acquires sound.

制御部１５は、操作部１１、記憶部１２、通信部１３、及びマイク１４にそれぞれ接続され、操作部１１から入力された指示情報に応じて電子機器全体の動作制御を実行する。制御部１５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータ等の情報処理部である。ＲＯＭには電子機器の動作制御を行うための制御プログラムが記憶されている。制御部１５は、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、操作部１１から入力された指示情報に応じて機器全体の制御を行う。   The control unit 15 is connected to the operation unit 11, the storage unit 12, the communication unit 13, and the microphone 14, and executes operation control of the entire electronic device according to instruction information input from the operation unit 11. The control unit 15 is an information processing unit such as a microcomputer including a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The ROM stores a control program for controlling the operation of the electronic device. The control unit 15 reads the control program stored in the ROM and develops the control program in the RAM, thereby controlling the entire device according to the instruction information input from the operation unit 11.

また、制御部１５は、キーワード登録部１５１と、音声認識部１５２と、操作処理部１５３と、装置状態保持部１５４と、状態戻し部１５５として機能する。   In addition, the control unit 15 functions as a keyword registration unit 151, a voice recognition unit 152, an operation processing unit 153, a device state holding unit 154, and a state returning unit 155.

キーワード登録部１５１は、操作失敗を示す音声をキーワード１２１として登録する機能を有する。キーワード登録部１５１は、予めユーザーがマイク１４に向かって発した音声をキーワード１２１として登録する。キーワード１２１としては、ユーザーが操作失敗したときに思わず言ってしまう言葉として、例えば、「あっ」や「間違えた」等を登録することができる。   The keyword registration unit 151 has a function of registering voice indicating operation failure as the keyword 121. The keyword registration unit 151 registers the voice that the user utters toward the microphone 14 in advance as the keyword 121. As the keyword 121, for example, “Ah” or “I made a mistake” can be registered as words that the user unintentionally says when the operation fails.

音声認識部１５２は、マイク１４を介して取得された音声の音声認識を行って、キーワード登録部１５１により登録されたキーワード１２１を検出する機能を有する。音声認識部１５２は、操作部１１でキー操作が開始されたことが検出されると、音声認識処理を開始し、予め設定された音声認識期間の間、音声認識処理を行って、キーワード１２１を検出する。音声認識期間を限定することにより、電子機器への負荷を減らすことができる。 The voice recognition unit 152 has a function of performing voice recognition of voice acquired via the microphone 14 and detecting the keyword 121 registered by the keyword registration unit 151. The speech recognition unit 152 performs the lead to a key operation on the operation unit 11 has been started is detected, starts a speech recognition process, a preset speech recognition phase period of the speech recognition process, the keyword 121 Is detected. By limiting the voice recognition period, the load on the electronic device can be reduced.

操作処理部１５３は、操作部１１が受け付けたキー操作（操作キーに対する操作）に対応する操作処理を実行して電子機器を動作させる。   The operation processing unit 153 executes an operation process corresponding to the key operation (operation on the operation key) received by the operation unit 11 to operate the electronic device.

装置状態保持部１５４は、ＲＡＭ等で構成され、操作処理部１５３によりキー操作に対応する操作処理が実行される前の電子機器１の装置状態を一時的に保持する機能を有する。   The device state holding unit 154 includes a RAM and the like, and has a function of temporarily holding the device state of the electronic device 1 before the operation processing corresponding to the key operation is executed by the operation processing unit 153.

状態戻し部１５５は、音声認識部１５２により音声からキーワード１２１が検出された場合に、操作を元に戻すか確認する確認画面を操作部１１に表示させる。確認画面を介して操作を元に戻す指示がされた場合には、状態戻し部１５５は、装置状態保持部１５４で保持されている装置状態に基づいて、電子機器１における装置状態を操作部１１でキー操作が受け付けられる前の状態に戻す。確認画面を介して操作の続行が指示された場合には、状態戻し部１５５は、現在の装置状態を維持する。   When the speech recognition unit 152 detects the keyword 121 from the voice, the state return unit 155 causes the operation unit 11 to display a confirmation screen for confirming whether the operation is to be restored. When an instruction to restore the operation is given via the confirmation screen, the status returning unit 155 changes the device status of the electronic apparatus 1 based on the device status held by the device status holding unit 154 to the operation unit 11. To return to the state before the key operation was accepted. When the continuation of operation is instructed via the confirmation screen, the status returning unit 155 maintains the current device status.

次に、図２を参照して、本実施形態の電子機器が操作された場合の処理の流れを説明する。   Next, with reference to FIG. 2, the flow of processing when the electronic apparatus of this embodiment is operated will be described.

まず、装置状態保持部１５４により、電子機器１の装置状態が保持され（ステップｓ１１）、操作部１１はキー操作の開始を検出するまで待機する（ステップｓ１２、ステップｓ１２でＮｏ）。操作部１１がキー操作の開始を検出すると（ステップｓ１２でＹｅｓ）、音声認識部１５２は、マイク１４によって取得された音声の音声認識を開始する（ステップｓ１３）。   First, the device state holding unit 154 holds the device state of the electronic device 1 (step s11), and the operation unit 11 waits until it detects the start of a key operation (No in step s12 and step s12). When the operation unit 11 detects the start of key operation (Yes in step s12), the voice recognition unit 152 starts voice recognition of the voice acquired by the microphone 14 (step s13).

つづいて、操作部１１は、キー操作が終了するまで待機する（ステップｓ１４、ステップｓ１４でＮｏ）。例えば、ユーザーが操作キーを押して（キー操作開始）、押した状態から離したことが検出されると、キー操作の終了が検出される。この場合、ユーザーが操作キーを押した状態を維持した時間が短ければクリック操作として、押した状態を維持した時間が長ければ長押し操作として、押した状態のまま操作キーを移動すればドラッグアンドドロップ操作として操作部１１によりキー操作が受け付けられる。キー操作が終了すると（ステップｓ１４でＹｅｓ）、操作処理部１５３は、操作部１１が受け付けたキー操作に対応する操作処理を実行する（ステップｓ１５）。   Subsequently, the operation unit 11 stands by until the key operation is finished (No in Step s14 and Step s14). For example, when it is detected that the user has pressed an operation key (key operation start) and released from the pressed state, the end of the key operation is detected. In this case, if the user keeps pressing the operation key for a short time, the operation is performed as a click operation, and if the pressed state is maintained for a long time, the operation is performed as a long press operation. A key operation is accepted by the operation unit 11 as a drop operation. When the key operation ends (Yes in step s14), the operation processing unit 153 executes an operation process corresponding to the key operation accepted by the operation unit 11 (step s15).

つづいて、音声認識部１５２は、音声認識によりキーワード１２１を検出したか否かを判定する（ステップｓ１６）。キーワード１２１が検出されると（ステップｓ１６でＹｅｓ）、状態戻し部１５５は、操作を元に戻すか否かを確認する確認画面５０（図４を参照）を操作部１１に表示させる（ステップｓ１７）。確認画面５０には、操作を元に戻す指示を出すための「戻す」キー５１と、操作を続行するための「続行」キー５２とが設けられている。   Subsequently, the voice recognition unit 152 determines whether or not the keyword 121 is detected by voice recognition (step s16). When the keyword 121 is detected (Yes in step s16), the state returning unit 155 displays a confirmation screen 50 (see FIG. 4) for confirming whether or not to return the operation on the operating unit 11 (step s17). ). The confirmation screen 50 is provided with a “return” key 51 for issuing an instruction to return the operation, and a “continue” key 52 for continuing the operation.

「戻す」キー５１が押された場合（ステップｓ１８でＹｅｓ）、状態戻し部１５５は、装置状態保持部１５４で保持された装置状態に基づいて、現在の装置状態をキー操作前の装置状態に戻して（ステップｓ１９）、本処理を終了する。   When the “return” key 51 is pressed (Yes in step s18), the state return unit 155 changes the current device state to the device state before the key operation based on the device state held by the device state holding unit 154. Return (step s19), and the process is terminated.

キーワード１２１が検出されなかった場合や、「続行」キー５２が押された場合（ステップｓ１６でＮｏ、ステップｓ１８でＮｏ）、状態戻し部１５５は、現在の装置状態を維持して、本処理を終了する。   When the keyword 121 is not detected or when the “continue” key 52 is pressed (No in step s16, No in step s18), the status returning unit 155 maintains the current device status and performs this process. finish.

これにより、例えば、図３の操作画面Ｇ８０に示すように、本来であれば、ユーザーのドラッグアンドドロップ操作において、ドラッグしたアイコン４０ｄをアイコン４０ａとアイコン４０ｂとの間にドロップして、アイコン４０ａ〜４０ｄの並び順を操作画面Ｇ８１に示すようにアイコン４０ａ、４０ｄ、４０ｂ、４０ｃの順に並び替えたかったとする。ところが、間違えて、図４の操作画面Ｇ８２に示すように、ドラッグしたアイコン４０ｄをアイコン４０ｂの上に重ねてドロップしてしまい、操作画面Ｇ８３に示すようにアイコン４０ｂとアイコン４０ｄとが結合されたアイコン４０ｂｄになってしまったとする。そのため、ユーザーが思わず「あっ、間違えた」と言うと、キーワード１２１として「あっ」が音声認識部１５２により検出され、操作画面Ｇ８４に示すように操作を元に戻すか確認する確認画面５０が表示される。確認画面５０で「戻す」キー５１が押されると、装置状態保持部１５４により保持されていた装置状態に基づいて、ドラッグアンドドロップ操作が検出される前の装置状態に戻された操作画面Ｇ８５が表示される。   As a result, for example, as shown in the operation screen G80 of FIG. 3, the dragged icon 40d is dropped between the icon 40a and the icon 40b by the user's drag-and-drop operation. Assume that it is desired to rearrange the order of 40d in the order of icons 40a, 40d, 40b, and 40c as shown in the operation screen G81. However, by mistake, the dragged icon 40d is dropped on the icon 40b as shown in the operation screen G82 in FIG. 4, and the icon 40b and the icon 40d are combined as shown in the operation screen G83. Assume that the icon has become 40bd. Therefore, if the user unintentionally says “Oh, I made a mistake”, “Oh” is detected as the keyword 121 by the voice recognition unit 152, and a confirmation screen 50 is displayed to confirm whether the operation should be restored as shown in the operation screen G84. Is done. When the “return” key 51 is pressed on the confirmation screen 50, the operation screen G85 returned to the device state before the drag-and-drop operation is detected based on the device state held by the device state holding unit 154 is displayed. Is displayed.

このように、本実施形態の電子機器１は、キー操作を受け付ける操作部１１と、受け付けられたキー操作に対応する操作処理を実行する操作処理部１５３と、操作処理前の装置状態を保持する装置状態保持部１５４と、音声を取得するマイク１４と、操作部１１でキー操作が開始されてから予め設定された音声認識期間の間、マイク１４で取得された音声から操作失敗を示す音声を検出する音声認識部１５２と、音声認識部１５２により操作失敗を示す音声が検出された場合に、装置状態保持部１５４で保持された装置状態に戻す状態戻し部１５５とを備えている。これにより、操作中にユーザーが操作失敗を示す声を発すると、ユーザーが操作を行う前の装置状態に戻るので、簡単に操作をやり直すことができる。   As described above, the electronic apparatus 1 according to the present embodiment holds the operation unit 11 that receives a key operation, the operation processing unit 153 that executes an operation process corresponding to the received key operation, and the apparatus state before the operation process. The apparatus state holding unit 154, the microphone 14 for acquiring the voice, and the voice indicating the operation failure from the voice acquired by the microphone 14 during the voice recognition period set in advance after the key operation is started by the operation unit 11. A voice recognition unit 152 to be detected, and a state return unit 155 for returning to the device state held by the device state holding unit 154 when the voice recognition unit 152 detects a voice indicating an operation failure. Accordingly, when the user makes a voice indicating that the operation has failed during the operation, the apparatus returns to the state before the user performs the operation, and thus the operation can be easily performed again.

なお、音声認識部１５２は、操作失敗を示す音声として、予めマイク１４を介して登録された音声（キーワード１２１）を検出したが、音声レベルが所定の閾値以上である音声を検出するようにしてもよい。操作失敗したときは思わず大きな声を出してしまうことがあるからである。   The voice recognition unit 152 detects a voice (keyword 121) registered in advance via the microphone 14 as a voice indicating the operation failure, but detects a voice whose voice level is equal to or higher than a predetermined threshold. Also good. This is because when the operation fails, a loud voice may be produced unexpectedly.

また、キーワード登録部１５１は、音声認識部１５２により音声レベルが所定の閾値以上である音声が検出された場合に、検出された音声がキーワード１２１として登録されていない場合には、検出された音声をキーワード１２１として登録するか確認する確認画面を操作部１１に表示させてもよい。この確認画面を介して登録する旨が指示された場合には、キーワード登録部１５１は、検出された音声をキーワード１２１として登録する。これによれば、操作中に実際にユーザーが発する操作失敗を示す音声をキーワード１２１として登録することができる。   The keyword registration unit 151 also detects the detected voice when the voice recognition unit 152 detects a voice whose voice level is equal to or higher than a predetermined threshold and the detected voice is not registered as the keyword 121. May be displayed on the operation unit 11 for confirming whether or not to be registered as the keyword 121. When instructed to register via this confirmation screen, the keyword registration unit 151 registers the detected voice as the keyword 121. According to this, it is possible to register, as the keyword 121, a voice indicating an operation failure actually issued by the user during the operation.

また、図５に示すように、操作処理部１５３は、操作部１１で受け付けられたキー操作に対応する操作処理が通常の操作処理（重要な操作処理として設定されていない操作処理）である場合には、操作部１１でキー操作が受け付けられるとすぐにキー操作に対応する操作処理を実行する。一方で、操作部１１で受け付けられたキー操作に対応する操作処理が予め設定された重要な操作処理である場合には、操作処理部１５３は、例えば２，３秒等の一定の保留期間ｔ６１が経過するまで実行を保留する。   Further, as illustrated in FIG. 5, the operation processing unit 153 is configured such that the operation process corresponding to the key operation received by the operation unit 11 is a normal operation process (an operation process that is not set as an important operation process). As soon as a key operation is accepted by the operation unit 11, an operation process corresponding to the key operation is executed. On the other hand, when the operation process corresponding to the key operation received by the operation unit 11 is an important operation process set in advance, the operation processing unit 153, for example, has a certain holding period t61 such as a few seconds. Suspend execution until

予め設定された重要な操作処理としては、電話発信、ＬＩＮＥ（登録商標）送信、ＳＮＳ送信、メール送信、課金実行、データ削除等をユーザーが設定することができる。例えば、電話発信のように発呼処理が実行されると、状態戻し部１５５により装置状態を元に戻したとしても、相手に着信履歴が残る可能性がある。そこで、保留期間ｔ６１を設けることにより、予め設定された重要な操作処理がすぐに実行されないので、音声認識部１５２の音声認識期間ｔ６２に操作失敗の音声を検出した場合、状態戻し部１５５により装置状態を戻すことで失敗した操作を元に戻すことができる。音声認識部１５２により操作失敗の音声が検出された場合、確認画面５０を介して「戻す」キー５１又は「続行」キー５２が押されるまで、操作処理部１５３の予め設定された重要な操作処理は保留される。「戻す」キー５１が押された場合には、予め設定された重要な操作処理は中止され、「続行」キー５２が押された場合には、予め設定された重要な操作処理が実行される。   As important operation processes set in advance, the user can set telephone call, LINE (registered trademark) transmission, SNS transmission, mail transmission, charging execution, data deletion, and the like. For example, when a calling process is executed like a telephone call, there is a possibility that an incoming call history may remain in the other party even if the state returning unit 155 returns the apparatus state. Therefore, by providing the holding period t61, a preset important operation process is not immediately executed. Therefore, when a voice with an operation failure is detected in the voice recognition period t62 of the voice recognition unit 152, the state return unit 155 causes the device to return to the device. The failed operation can be restored by returning the status. When the voice of the operation failure is detected by the voice recognition unit 152, important operation processing set in advance by the operation processing unit 153 until the “return” key 51 or the “continue” key 52 is pressed via the confirmation screen 50. Is put on hold. When the “return” key 51 is pressed, the preset important operation processing is stopped, and when the “continue” key 52 is pressed, the preset important operation processing is executed. .

本発明は上述した実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々様々に変更が可能であることは言うまでもない。例えば、電子機器１を画像形成装置に適用してもよい。   The present invention is not limited to the above-described embodiment, and it goes without saying that various changes can be made without departing from the spirit of the present invention. For example, the electronic device 1 may be applied to an image forming apparatus.

１ 電子機器
１１ 操作部
１２ 記憶部
１３ 通信部
１４ マイク
１５ 制御部
１２１ キーワード
１５１ キーワード登録部
１５２ 音声認識部
１５３ 操作処理部
１５４ 装置状態保持部
１５５ 状態戻し部
４０ａ〜４０ｄ、４０ｂｄアイコン
Ｇ８０〜Ｇ８５ 操作画面
５０ 確認画面
５１、５２ キー
ｔ６１ 保留期間
ｔ６２ 音声認識期間 DESCRIPTION OF SYMBOLS 1 Electronic device 11 Operation part 12 Storage part 13 Communication part 14 Microphone 15 Control part 121 Keyword 151 Keyword registration part 152 Speech recognition part 153 Operation processing part 154 Device state holding | maintenance part 155 State return part 40a-40d, 40bd icon G80-G85 Operation Screen 50 Confirmation screen 51, 52 Key t61 Holding period t62 Voice recognition period

Claims (2)

複数のアイコンが配置された操作画面を表示する表示部と、
前記アイコンに対するドラッグアンドドロップ操作を受け付ける操作部と、
受け付けられた前記ドラッグアンドドロップ操作に対応する操作処理を実行する操作処理部と、
前記操作処理前の装置状態を保持する装置状態保持部と、
音声を取得するマイクと、
前記マイクを介して操作失敗を示す音声をキーワードとして登録するキーワード登録部と、
前記操作部で前記ドラッグアンドドロップ操作が開始されてから予め設定された音声認識期間の間、前記マイクで取得された音声から前記キーワードを検出する音声認識部と、
前記音声認識部により前記キーワードが検出された場合に、前記装置状態保持部で保持された前記装置状態に戻す状態戻し部とを備え、
前記音声認識部は、操作失敗を示す音声として、音声レベルが所定の閾値以上である音声を検出し、
前記状態戻し部は、前記音声認識部により音声レベルが所定の閾値以上である音声が検出された場合に、前記装置状態保持部で保持された前記装置状態に戻し、
前記キーワード登録部は、前記音声認識部により音声レベルが所定の閾値以上である音声が検出され、検出された音声が前記キーワードとして登録されていない場合に、検出された音声を前記キーワードとして登録するか確認する確認画面を前記表示部に表示させ、登録する旨が指示された場合に、検出された音声を前記キーワードとして登録することを特徴とする電子機器。 A display unit for displaying an operation screen on which a plurality of icons are arranged;
An operation unit for accepting a drag-and-drop operation on the icon ;
An operation processing unit that executes an operation process corresponding to the accepted drag-and-drop operation ;
A device state holding unit for holding a device state before the operation processing;
A microphone to capture audio,
A keyword registration unit for registering voice indicating operation failure as a keyword via the microphone;
A speech recognition unit that detects the keyword from speech acquired by the microphone during a speech recognition period set in advance after the drag-and-drop operation is started in the operation unit;
A state returning unit for returning to the device state held by the device state holding unit when the keyword is detected by the voice recognition unit ;
The voice recognition unit detects a voice having a voice level equal to or higher than a predetermined threshold as a voice indicating an operation failure,
The state returning unit returns to the device state held by the device state holding unit when a voice whose voice level is equal to or higher than a predetermined threshold is detected by the voice recognition unit,
The keyword registration unit registers a detected voice as the keyword when the voice recognition unit detects a voice whose voice level is equal to or higher than a predetermined threshold and the detected voice is not registered as the keyword. An electronic device characterized by displaying a confirmation screen for confirming whether or not to register the detected voice as the keyword when an instruction to register is displayed . 前記状態戻し部は、
前記音声認識部により前記キーワードが検出された場合に、装置状態を戻すか確認する確認画面を前記表示部に表示させ、前記確認画面を介して装置状態を戻す指示がされた場合に、前記装置状態保持部で保持された前記装置状態に戻す
ことを特徴とする請求項１に記載の電子機器。 The state returning unit is
When the keyword is detected by the voice recognition unit, a confirmation screen for confirming whether to return the device state is displayed on the display unit, and when an instruction to return the device state is given via the confirmation screen, the device The electronic device according to claim 1 , wherein the electronic device is returned to the device state held by the state holding unit.
JP2015232932A 2015-11-30 2015-11-30 Electronics Expired - Fee Related JP6447474B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015232932A JP6447474B2 (en) 2015-11-30 2015-11-30 Electronics

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015232932A JP6447474B2 (en) 2015-11-30 2015-11-30 Electronics

Publications (2)

Publication Number Publication Date
JP2017102522A JP2017102522A (en) 2017-06-08
JP6447474B2 true JP6447474B2 (en) 2019-01-09

Family

ID=59016903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015232932A Expired - Fee Related JP6447474B2 (en) 2015-11-30 2015-11-30 Electronics

Country Status (1)

Country Link
JP (1) JP6447474B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7137756B2 (en) 2018-11-30 2022-09-15 京セラドキュメントソリューションズ株式会社 image forming device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830290A (en) * 1994-07-18 1996-02-02 Hitachi Ltd Voice input possible information processing device and its malprocessing detection method
JPH10269092A (en) * 1997-03-24 1998-10-09 Brother Ind Ltd Information processor
JP3797003B2 (en) * 1999-03-05 2006-07-12 オムロン株式会社 Audio output device
JP4823388B2 (en) * 2011-03-10 2011-11-24 キヤノンＩｔソリューションズ株式会社 Information processing apparatus, control method therefor, and program
JP2015175983A (en) * 2014-03-14 2015-10-05 キヤノン株式会社 Voice recognition device, voice recognition method, and program

Also Published As

Publication number Publication date
JP2017102522A (en) 2017-06-08

Similar Documents

Publication Publication Date Title
US10616416B2 (en) User interface for phone call routing among devices
EP3779643B1 (en) Method for operating electronic device and electronic device
US8161400B2 (en) Apparatus and method for processing data of mobile terminal
TWI462003B (en) Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
KR20190137953A (en) Devices, methods, and graphical user interfaces for wireless pairing with peripheral devices and displaying status information concerning the peripheral devices
JP5091180B2 (en) Mobile terminal device
US11138982B2 (en) Method of controlling terminal using context awareness and terminal therof
US20080168353A1 (en) Voicemail Set-Up on a Portable Multifunction Device
KR20080073872A (en) Mobile communication terminal with touch screen and method of inputting information using same
CN108200264A (en) With the method for touching the mobile device of lock-out state and operating the mobile device
US9372981B2 (en) Electronic device and method for unlocking screen of electronic device
JP2007086977A (en) Portable equipment
CN104067525A (en) Method of unlocking in stages in mobile terminal and mobile terminal for the same
KR20080097789A (en) Mobile terminal with touch input device and method of displaying item using same
JP2018148286A (en) Electronic apparatus and control method
KR20130068303A (en) Apparatus for performing voice command, mobile terminal having the same and method for performing voice command
US8437804B2 (en) Mobile phone and dialing method thereof
US20230275985A1 (en) Dual-Display Electronic Device Operation During Incoming Call
CN106603801B (en) Call recording method and device
US20130232446A1 (en) Electronic device and method for unlocking electronic device
WO2014158101A1 (en) Methods, systems and devices for interacting with a computing device
JP6447474B2 (en) Electronics
JP2012108657A (en) Portable information terminal
WO2013008330A1 (en) Interactive-screen data transmission/reception system and interactive-screen data transmission/reception program
CN105159874A (en) Method and apparatus for modifying character

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181119

R150 Certificate of patent or registration of utility model

Ref document number: 6447474

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees