JP6447474B2

JP6447474B2 - 電子機器

Info

Publication number: JP6447474B2
Application number: JP2015232932A
Authority: JP
Inventors: 内田　譲; 譲内田
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2015-11-30
Filing date: 2015-11-30
Publication date: 2019-01-09
Anticipated expiration: 2035-11-30
Also published as: JP2017102522A

Description

本発明は、音声認識機能を備えた電子機器に関する。

従来、電子機器においては、マウス操作やタッチ操作による操作が行われている。マウス操作やタッチ操作では、ユーザーが操作対象の操作キーに位置合わせを行って操作する必要があるが、操作キーが小さかったり文字サイズが小さかったりして、操作しにくい場合がある。そこで、ユーザーの操作ミスを防ぐため、音声認識により電子機器の操作を補助する技術が開発されている。例えば、ユーザーがマイクに向かって検索項目を話すと、検索項目を認識して情報検索を行ったり、予め登録された特定音を検出すると自動的にオーディオ装置の音量調整を行ったりする技術が提案されている（例えば、特許文献１、２を参照）。

特開平10-021254号公報特開2002-305421号公報

しかしながら、特許文献１及び２の技術は、ユーザーの操作ミスを防ぐための技術であり、ユーザーが操作を間違えてしまった場合に、間違えた操作により実行された処理を簡単に元に戻すことはできなかった。

本発明は上記課題に鑑みてなされたものであり、ユーザーが間違えた操作を簡単に元に戻すことができる技術を提供することを目的とする。

本発明は、複数のアイコンが配置された操作画面を表示する表示部と、前記アイコンに対するドラッグアンドドロップ操作を受け付ける操作部と、受け付けられた前記ドラッグアンドドロップ操作に対応する操作処理を実行する操作処理部と、前記操作処理前の装置状態を保持する装置状態保持部と、音声を取得するマイクと、前記マイクを介して操作失敗を示す音声をキーワードとして登録するキーワード登録部と、前記操作部で前記ドラッグアンドドロップ操作が開始されてから予め設定された音声認識期間の間、前記マイクで取得された音声から前記キーワードを検出する音声認識部と、前記音声認識部により前記キーワードが検出された場合に、前記装置状態保持部で保持された前記装置状態に戻す状態戻し部とを備え、前記音声認識部は、操作失敗を示す音声として、音声レベルが所定の閾値以上である音声を検出し、前記状態戻し部は、前記音声認識部により音声レベルが所定の閾値以上である音声が検出された場合に、前記装置状態保持部で保持された前記装置状態に戻し、前記キーワード登録部は、前記音声認識部により音声レベルが所定の閾値以上である音声が検出され、検出された音声が前記キーワードとして登録されていない場合に、検出された音声を前記キーワードとして登録するか確認する確認画面を前記表示部に表示させ、登録する旨が指示された場合に、検出された音声を前記キーワードとして登録することを特徴とする。
また、前記音声認識部により前記キーワードが検出された場合に、装置状態を戻すか確認する確認画面を前記表示部に表示させ、前記確認画面を介して装置状態を戻す指示がされた場合に、前記装置状態保持部で保持された前記装置状態に戻してもよい。

本発明によれば、ユーザーが間違えた操作を簡単に元に戻すことができる。

本発明に係る電子機器の構成を示す機能ブロック図である。図１に示す電子機器が操作されたときの処理の流れを示すフローチャートである。正しくキー操作された場合の操作例を示すイメージ図である。間違ってキー操作された場合の操作例を示すイメージ図である。図１に示す操作部と操作処理部と音声認識部の実行タイミングを示した図である。

以下、図を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態において、同様の機能を示す構成には、同一の符号を付してある。

電子機器１は、スマートフォン、タブレット端末、パーソナルコンピューター等のように、タッチ操作やマウス操作が可能な操作装置であり、図１を参照すると、操作部１１と、記憶部１２と、通信部１３と、マイク１４と、制御部１５とを備えている。なお、以下では、電子機器１を装置として説明する場合がある。

操作部１１は、タッチパネルと操作ボタンとを備えている。タッチパネルは、各種操作キーや動作状況を表示する表示部の表面に透明の感圧センサーが設けられており、表示手段及び入力手段として機能する。タッチパネルは、表示面へのタッチ操作を検知して、タッチ操作が検知された位置に対応する信号を出力することで、表示部に表示した操作キーへの操作を受け付ける。また、操作ボタンは、数値を入力するためのテンキー、アルファベットなどの文字を入力するための文字キー等の各種操作キーを備えている。また、操作部１１は、マウスが接続されてもよく、マウスを介したポインター操作を受け付けてもよい。

記憶部１２は、半導体メモリーやＨＤＤ（Hard Disk Drive）等の記憶手段である。記憶部１２には、予め操作失敗を示す音声がキーワード１２１として登録されている。

通信部１３は、ＬＡＮ（Local Area Network）等のネットワークを介して、外部端末と各種データを送受信する機能を有する。

マイク１４は、マイクロホン等であり、音声を取得する集音装置である。

制御部１５は、操作部１１、記憶部１２、通信部１３、及びマイク１４にそれぞれ接続され、操作部１１から入力された指示情報に応じて電子機器全体の動作制御を実行する。制御部１５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータ等の情報処理部である。ＲＯＭには電子機器の動作制御を行うための制御プログラムが記憶されている。制御部１５は、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、操作部１１から入力された指示情報に応じて機器全体の制御を行う。

また、制御部１５は、キーワード登録部１５１と、音声認識部１５２と、操作処理部１５３と、装置状態保持部１５４と、状態戻し部１５５として機能する。

キーワード登録部１５１は、操作失敗を示す音声をキーワード１２１として登録する機能を有する。キーワード登録部１５１は、予めユーザーがマイク１４に向かって発した音声をキーワード１２１として登録する。キーワード１２１としては、ユーザーが操作失敗したときに思わず言ってしまう言葉として、例えば、「あっ」や「間違えた」等を登録することができる。

音声認識部１５２は、マイク１４を介して取得された音声の音声認識を行って、キーワード登録部１５１により登録されたキーワード１２１を検出する機能を有する。音声認識部１５２は、操作部１１でキー操作が開始されたことが検出されると、音声認識処理を開始し、予め設定された音声認識期間の間、音声認識処理を行って、キーワード１２１を検出する。音声認識期間を限定することにより、電子機器への負荷を減らすことができる。

操作処理部１５３は、操作部１１が受け付けたキー操作（操作キーに対する操作）に対応する操作処理を実行して電子機器を動作させる。

装置状態保持部１５４は、ＲＡＭ等で構成され、操作処理部１５３によりキー操作に対応する操作処理が実行される前の電子機器１の装置状態を一時的に保持する機能を有する。

状態戻し部１５５は、音声認識部１５２により音声からキーワード１２１が検出された場合に、操作を元に戻すか確認する確認画面を操作部１１に表示させる。確認画面を介して操作を元に戻す指示がされた場合には、状態戻し部１５５は、装置状態保持部１５４で保持されている装置状態に基づいて、電子機器１における装置状態を操作部１１でキー操作が受け付けられる前の状態に戻す。確認画面を介して操作の続行が指示された場合には、状態戻し部１５５は、現在の装置状態を維持する。

次に、図２を参照して、本実施形態の電子機器が操作された場合の処理の流れを説明する。

まず、装置状態保持部１５４により、電子機器１の装置状態が保持され（ステップｓ１１）、操作部１１はキー操作の開始を検出するまで待機する（ステップｓ１２、ステップｓ１２でＮｏ）。操作部１１がキー操作の開始を検出すると（ステップｓ１２でＹｅｓ）、音声認識部１５２は、マイク１４によって取得された音声の音声認識を開始する（ステップｓ１３）。

つづいて、操作部１１は、キー操作が終了するまで待機する（ステップｓ１４、ステップｓ１４でＮｏ）。例えば、ユーザーが操作キーを押して（キー操作開始）、押した状態から離したことが検出されると、キー操作の終了が検出される。この場合、ユーザーが操作キーを押した状態を維持した時間が短ければクリック操作として、押した状態を維持した時間が長ければ長押し操作として、押した状態のまま操作キーを移動すればドラッグアンドドロップ操作として操作部１１によりキー操作が受け付けられる。キー操作が終了すると（ステップｓ１４でＹｅｓ）、操作処理部１５３は、操作部１１が受け付けたキー操作に対応する操作処理を実行する（ステップｓ１５）。

つづいて、音声認識部１５２は、音声認識によりキーワード１２１を検出したか否かを判定する（ステップｓ１６）。キーワード１２１が検出されると（ステップｓ１６でＹｅｓ）、状態戻し部１５５は、操作を元に戻すか否かを確認する確認画面５０（図４を参照）を操作部１１に表示させる（ステップｓ１７）。確認画面５０には、操作を元に戻す指示を出すための「戻す」キー５１と、操作を続行するための「続行」キー５２とが設けられている。

「戻す」キー５１が押された場合（ステップｓ１８でＹｅｓ）、状態戻し部１５５は、装置状態保持部１５４で保持された装置状態に基づいて、現在の装置状態をキー操作前の装置状態に戻して（ステップｓ１９）、本処理を終了する。

キーワード１２１が検出されなかった場合や、「続行」キー５２が押された場合（ステップｓ１６でＮｏ、ステップｓ１８でＮｏ）、状態戻し部１５５は、現在の装置状態を維持して、本処理を終了する。

これにより、例えば、図３の操作画面Ｇ８０に示すように、本来であれば、ユーザーのドラッグアンドドロップ操作において、ドラッグしたアイコン４０ｄをアイコン４０ａとアイコン４０ｂとの間にドロップして、アイコン４０ａ〜４０ｄの並び順を操作画面Ｇ８１に示すようにアイコン４０ａ、４０ｄ、４０ｂ、４０ｃの順に並び替えたかったとする。ところが、間違えて、図４の操作画面Ｇ８２に示すように、ドラッグしたアイコン４０ｄをアイコン４０ｂの上に重ねてドロップしてしまい、操作画面Ｇ８３に示すようにアイコン４０ｂとアイコン４０ｄとが結合されたアイコン４０ｂｄになってしまったとする。そのため、ユーザーが思わず「あっ、間違えた」と言うと、キーワード１２１として「あっ」が音声認識部１５２により検出され、操作画面Ｇ８４に示すように操作を元に戻すか確認する確認画面５０が表示される。確認画面５０で「戻す」キー５１が押されると、装置状態保持部１５４により保持されていた装置状態に基づいて、ドラッグアンドドロップ操作が検出される前の装置状態に戻された操作画面Ｇ８５が表示される。

このように、本実施形態の電子機器１は、キー操作を受け付ける操作部１１と、受け付けられたキー操作に対応する操作処理を実行する操作処理部１５３と、操作処理前の装置状態を保持する装置状態保持部１５４と、音声を取得するマイク１４と、操作部１１でキー操作が開始されてから予め設定された音声認識期間の間、マイク１４で取得された音声から操作失敗を示す音声を検出する音声認識部１５２と、音声認識部１５２により操作失敗を示す音声が検出された場合に、装置状態保持部１５４で保持された装置状態に戻す状態戻し部１５５とを備えている。これにより、操作中にユーザーが操作失敗を示す声を発すると、ユーザーが操作を行う前の装置状態に戻るので、簡単に操作をやり直すことができる。

なお、音声認識部１５２は、操作失敗を示す音声として、予めマイク１４を介して登録された音声（キーワード１２１）を検出したが、音声レベルが所定の閾値以上である音声を検出するようにしてもよい。操作失敗したときは思わず大きな声を出してしまうことがあるからである。

また、キーワード登録部１５１は、音声認識部１５２により音声レベルが所定の閾値以上である音声が検出された場合に、検出された音声がキーワード１２１として登録されていない場合には、検出された音声をキーワード１２１として登録するか確認する確認画面を操作部１１に表示させてもよい。この確認画面を介して登録する旨が指示された場合には、キーワード登録部１５１は、検出された音声をキーワード１２１として登録する。これによれば、操作中に実際にユーザーが発する操作失敗を示す音声をキーワード１２１として登録することができる。

また、図５に示すように、操作処理部１５３は、操作部１１で受け付けられたキー操作に対応する操作処理が通常の操作処理（重要な操作処理として設定されていない操作処理）である場合には、操作部１１でキー操作が受け付けられるとすぐにキー操作に対応する操作処理を実行する。一方で、操作部１１で受け付けられたキー操作に対応する操作処理が予め設定された重要な操作処理である場合には、操作処理部１５３は、例えば２，３秒等の一定の保留期間ｔ６１が経過するまで実行を保留する。

予め設定された重要な操作処理としては、電話発信、ＬＩＮＥ（登録商標）送信、ＳＮＳ送信、メール送信、課金実行、データ削除等をユーザーが設定することができる。例えば、電話発信のように発呼処理が実行されると、状態戻し部１５５により装置状態を元に戻したとしても、相手に着信履歴が残る可能性がある。そこで、保留期間ｔ６１を設けることにより、予め設定された重要な操作処理がすぐに実行されないので、音声認識部１５２の音声認識期間ｔ６２に操作失敗の音声を検出した場合、状態戻し部１５５により装置状態を戻すことで失敗した操作を元に戻すことができる。音声認識部１５２により操作失敗の音声が検出された場合、確認画面５０を介して「戻す」キー５１又は「続行」キー５２が押されるまで、操作処理部１５３の予め設定された重要な操作処理は保留される。「戻す」キー５１が押された場合には、予め設定された重要な操作処理は中止され、「続行」キー５２が押された場合には、予め設定された重要な操作処理が実行される。

本発明は上述した実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々様々に変更が可能であることは言うまでもない。例えば、電子機器１を画像形成装置に適用してもよい。

１電子機器
１１操作部
１２記憶部
１３通信部
１４マイク
１５制御部
１２１キーワード
１５１キーワード登録部
１５２音声認識部
１５３操作処理部
１５４装置状態保持部
１５５状態戻し部
４０ａ〜４０ｄ、４０ｂｄアイコン
Ｇ８０〜Ｇ８５操作画面
５０確認画面
５１、５２キー
ｔ６１保留期間
ｔ６２音声認識期間

Claims

複数のアイコンが配置された操作画面を表示する表示部と、
前記アイコンに対するドラッグアンドドロップ操作を受け付ける操作部と、
受け付けられた前記ドラッグアンドドロップ操作に対応する操作処理を実行する操作処理部と、
前記操作処理前の装置状態を保持する装置状態保持部と、
音声を取得するマイクと、
前記マイクを介して操作失敗を示す音声をキーワードとして登録するキーワード登録部と、
前記操作部で前記ドラッグアンドドロップ操作が開始されてから予め設定された音声認識期間の間、前記マイクで取得された音声から前記キーワードを検出する音声認識部と、
前記音声認識部により前記キーワードが検出された場合に、前記装置状態保持部で保持された前記装置状態に戻す状態戻し部とを備え、
前記音声認識部は、操作失敗を示す音声として、音声レベルが所定の閾値以上である音声を検出し、
前記状態戻し部は、前記音声認識部により音声レベルが所定の閾値以上である音声が検出された場合に、前記装置状態保持部で保持された前記装置状態に戻し、
前記キーワード登録部は、前記音声認識部により音声レベルが所定の閾値以上である音声が検出され、検出された音声が前記キーワードとして登録されていない場合に、検出された音声を前記キーワードとして登録するか確認する確認画面を前記表示部に表示させ、登録する旨が指示された場合に、検出された音声を前記キーワードとして登録することを特徴とする電子機器。
前記状態戻し部は、
前記音声認識部により前記キーワードが検出された場合に、装置状態を戻すか確認する確認画面を前記表示部に表示させ、前記確認画面を介して装置状態を戻す指示がされた場合に、前記装置状態保持部で保持された前記装置状態に戻す
ことを特徴とする請求項１に記載の電子機器。