JP2014106394A - Voice information display device, voice information display method and program - Google Patents
Voice information display device, voice information display method and program Download PDFInfo
- Publication number
- JP2014106394A JP2014106394A JP2012259495A JP2012259495A JP2014106394A JP 2014106394 A JP2014106394 A JP 2014106394A JP 2012259495 A JP2012259495 A JP 2012259495A JP 2012259495 A JP2012259495 A JP 2012259495A JP 2014106394 A JP2014106394 A JP 2014106394A
- Authority
- JP
- Japan
- Prior art keywords
- display
- mode
- unit
- audio
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、周囲の音声を取得して表示するための、音声情報表示装置、音声情報表示方法およびプログラムに関する。 The present invention relates to an audio information display device, an audio information display method, and a program for acquiring and displaying surrounding audio.
聴覚に障害がある場合や、健常者であってもヘッドフォンの利用により周辺の音声情報を認識できない場合がある。このような場合において、周辺の音声情報を取得して視覚等を用いてユーザに音声情報を報知する装置がある（特許文献１、特許文献２）。
There are cases where hearing is impaired, and even a normal person cannot recognize surrounding audio information by using headphones. In such a case, there is a device that acquires peripheral audio information and notifies the user of the audio information using vision or the like (
ユーザが、周辺の音声に関する情報を表示部における表示に基づいて認識する場合、表示部を見ていなかったために音声を認識できない状態が発生する。通常、周辺の音声に関する情報を表示させる装置は、音声の発生期間のみの表示ではなく、例えば音声の発生後３秒間などの時間、音声に関する情報を表示させる。 When the user recognizes information related to surrounding sounds based on the display on the display unit, a state in which the user cannot recognize the sound occurs because the user has not seen the display unit. Normally, a device that displays information related to surrounding sound displays information related to sound for a time such as 3 seconds after the sound is generated, instead of displaying only the sound generation period.
このような音声に関する情報を表示する装置の利用形態は様々である。例えば、装置を手に把持して利用している場合は、表示画面の確認頻度が高く、音声に関する表示に気付くことができるが、装置を載置して利用している場合、手に把持している場合よりは表示画面を確認せず、さらにユーザは装置を置いたまま移動することもある。 There are various usage forms of such a device that displays information related to sound. For example, when the device is held and used, the frequency of confirmation of the display screen is high, and it is possible to notice the display related to the sound. However, when the device is mounted and used, the device is held by the hand. In some cases, the user does not check the display screen, and the user may move with the device placed.
このように、様々な利用形態であっても、ユーザに適切に音声に関する情報を伝える必要がある。 As described above, even in various usage forms, it is necessary to appropriately convey information about voice to the user.
本発明はこのような問題点に鑑みなされたものであり、ユーザの利用形態を問わず的確に音声に関する情報をユーザに認識させることを可能とする、音声情報表示装置、音声情報表示方法およびプログラムを提供することを目的とする。 The present invention has been made in view of such a problem, and enables a user to accurately recognize information related to voice regardless of a user's usage form, a voice information display device, a voice information display method, and a program. The purpose is to provide.
上記目的を達成するために、本発明に関わる音声情報表示装置（１００）は、音声信号が入力される音声入力部（１２０）、前記音声入力部（１２０）に入力された音声信号を分析する音声分析部（１１３）、装置の状態を検出するセンサ部（１７０）、前記センサ部（１７０）からの出力に基づき、装置が載置された状態で使用されている場合の載置モードおよび装置が載置されていない状態で使用されている把持モードのいずれかであるかを判断するモード判断部（１１４）、前記モード判断部（１１４）の判断結果に基づき、前記載置モードである場合は、前記音声分析部（１１３）において分析された音声信号に基づく表示を第1の時間表示させ、前記把持モードである場合は、前記音声信号部（１１３）において分析された音声信号に基づく表示を前記第１の表示時間とは異なる第２の時間表示させる表示制御部（１１１）、を備えることを特徴とする。 In order to achieve the above object, an audio information display device (100) according to the present invention analyzes an audio input unit (120) to which an audio signal is input, and an audio signal input to the audio input unit (120). A voice analysis unit (113), a sensor unit (170) for detecting the state of the device, and a mounting mode and device when the device is used in a mounted state based on the output from the sensor unit (170) A mode determination unit (114) for determining whether the grip mode is used in a state in which the device is not placed, and the mode determination unit (114) is based on the determination result of the mode determination unit (114). Displays a display based on the audio signal analyzed in the audio analysis unit (113) for a first time, and in the grip mode, the audio signal analyzed in the audio signal unit (113) And a display control unit (111) that displays a display based on the second time different from the first display time.
また、本発明に係る音声情報表示方法は、装置の状況を検出する検出ステップ、前記検出ステップにおいて検出された装置の状況に基づき、装置が載置された状態で使用されている場合の載置モードおよび装置が載置されていない状態で使用されている把持モードのいずれかであるかを判断するモード判断ステップ、入力された音声信号を分析する分析ステップ、前記モード判断ステップにおける判断結果に基づき、前記載置モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を第1の時間表示させ、前記把持モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を前記第１の表示時間とは異なる第２の時間表示させる表示ステップ、を備えることを特徴とする。 In addition, the audio information display method according to the present invention includes a detection step for detecting the status of the device, and a placement when the device is being used based on the status of the device detected in the detection step. Based on the mode determination step for determining whether the mode and any of the gripping modes used when the device is not placed, the analysis step for analyzing the input audio signal, and the determination result in the mode determination step The display based on the audio signal analyzed in the analysis step is displayed for a first time in the case of the placement mode, and the display based on the audio signal analyzed in the analysis step is in the grip mode. A display step of displaying a second time different from the first display time.
また、本発明に係るプログラムは、音声情報表示装置（１００）が備えるコンピュータ（１１０）に、装置の状況を検出する検出ステップ、前記検出ステップにおいて検出された装置の状況に基づき、装置が載置された状態で使用されている場合の載置モードおよび装置が載置されていない状態で使用されている把持モードのいずれかであるかを判断するモード判断ステップ、入力された音声信号を分析する分析ステップ、前記モード判断ステップにおける判断結果に基づき、前記載置モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を第1の時間表示させ、前記把持モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を前記第１の表示時間とは異なる第２の時間表示させる表示ステップ、を実行させることを特徴とする。 The program according to the present invention is installed in the computer (110) included in the audio information display device (100) based on the detection step of detecting the status of the device and the status of the device detected in the detection step. Mode determining step for determining whether the mounting mode is used when the device is used and the gripping mode is used when the device is not mounted, and the input audio signal is analyzed Based on the determination result in the analysis step, the mode determination step, if it is the pre-arranged mode, the display based on the audio signal analyzed in the analysis step is displayed for a first time, and if it is the grip mode, A display for displaying a display based on the audio signal analyzed in the analysis step for a second time different from the first display time. The step is executed.
本発明によれば、ユーザの利用形態を問わず的確に音声に関する情報をユーザに認識させることを可能とする。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to make a user recognize the information regarding an audio | voice exactly regardless of a user's utilization form.
以下、本発明の実施形態に係る音声情報表示装置１００の構成について、図１から図４を用いて説明する。
Hereinafter, the configuration of the audio
音声情報表示装置１００の一例として、図１に示すように表示機能を備えた小型の装置を用いる。具体的には、携帯電話端末やタブレット端末のように、小型で持ち運び容易であることが好ましい。また、音声情報表示装置１００は、専用の装置に加えて携帯電話や各種情報端末に音声情報表示装置１００として動作させるためのプログラムをインストールすることによって実現してもよい。この場合、音声情報表示装置１００として動作する携帯電話や各種情報端末には、複数のマイクロフォン２０を備えたユニット等を接続または装着し、マイクロフォン２０に入力された音声信号は携帯電話や各種情報端末に入力される。
As an example of the audio
音声情報表示装置１００は、図１に示すように、その筐体１０が構成する面に表示部１４０の表示面を備え、矩形の筐体１０の４隅に各々マイクロフォン２０を備える。
As shown in FIG. 1, the audio
音声情報表示装置１００の４隅に備えられたマイクロフォン２０は、便宜的に、マイクロフォン２０Ａ、マイクロフォン２０Ｂ、マイクロフォン２０Ｃ、マイクロフォン２０Ｄとしてそれらの位置を示す。本実施形態においては、マイクロフォン２０は表示部１４０を囲うように４箇所配置しているが、マイクロフォン２０の配置位置や個数は、音源方向が特定できる構成であれば限定されない。また、音声情報表示装置１００の形状も矩形に限定されない。マイクロフォン２０は、各々が音声を検出する方向に対して指向性を有するものであることが好ましい。
For convenience, the
音声情報表示装置１００は、その構成として図２に示すように、制御部１１０、音声入力部１２０、記憶部１３０、表示部１４０、操作部１５０、センサ部１７０、通信部１８０、マイクロフォン２０を備える。通信部１８０は、必要に応じて備えられていてもよい。また、音声情報表示装置１００は、例えば装置の各部を動作させる電源供給機能など他に図示しない各種必要な構成要素を備える。
As shown in FIG. 2, the voice
制御部１１０は、音声情報表示装置１００を構成する各部の動作制御、各種データの処理または演算等を行う。制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＤＳＰ（Digital Signal Processor）等により構成され、ＲＯＭに記憶された各種プログラムを実行することにより音声情報表示装置１００を構成する各部の動作制御や各部より入力された信号やデータの処理または演算、ファイルの処理等を行う。
The
制御部１１０は、実行されるプログラムによって各種機能を実現する。本実施形態において制御部１１０は、表示制御部１１１、操作制御部１１２、音声分析部１１３、モード判断部１１４、通信制御部１１５を実現する。
The
表示制御部１１１は、表示部１４０に対して各種情報を表示させる制御を行う。例えば、記憶部１３０に記憶されている各種表示形態や文字等の表示、図示しないタッチパネル操作部に連動した各種ＧＵＩ（Graphical User Interface）などを表示させる。
The
表示制御部１１１は、後述するモード判断部１１４において判断されるモードに基づいた異なる時間で、音声信号に基づく表示を表示させる。
The
操作制御部１１２は、操作部１５０が操作されることによって生成する操作信号に基づいた処理を実行させる制御を行う。
The
音声分析部１１３は、音声入力部１２０から入力された音声データに基づき、入力された音声の様々な分析処理を行う。音声分析部１１３は、実行されるプログラムによって図３に示すように、音圧分析部１１３１、周波数分析部１１３２、音方向分析部１１３３、音種別分析部１１３４が実現される。
The
音圧分析部１１３１は、音声入力部１２０から入力された音声データに対して、例えば入力信号のレベルに応じてパルス幅のＨレベルとＬレベルの比率を変えるＰＷＭ（Pulse Width Modulation）変換を行い、そのパルス幅により音圧を分析する。このＰＷＭ変換は、周波数帯域毎に行ってもよい。その場合は、ＰＷＭ変換前にＢＰＦ（Band Pass Filter）により、所望の周波数帯域毎に音声データを選別する。この分析処理は、複数のマイクロフォン２０からの入力信号毎に行ってもよく、複数のマイクロフォン２０からの入力信号が合成された音声データに対して行ってもよい。
The sound
周波数分析部１１３２は、音声入力部１２０から入力された音声データに対して、例えば一般的な高速フーリエ変換等により、周波数分布を分析する。この分析処理は、複数のマイクロフォン２０からの入力信号毎に行ってもよく、複数のマイクロフォン２０からの入力信号が合成された音声データに対して行ってもよい。
The
音方向分析部１１３３は、音声入力部１２０から入力された音声データに基づき、音声信号が発せられた方向である音源方向を分析する。具体例としては、複数のマイクロフォン２０の各々に入力された音声信号の音圧レベルを比較し、同一の音声信号における最大の音圧レベルの音声信号が入力されたマイクロフォン２０の方向を音源方向とする。
The sound
音種別分析部１１３４は、音声入力部１２０から入力された音声データに対して、例えば記憶部１３０に記憶されている各種音のパターンデータと照合し、入力された音声の特定を行う。音種別分析部１１３４による音声データの照合は、後述する通信制御部１１５の制御により通信部１８０を用いて外部のサーバ等により照合してもよい。
The sound
モード判断部１１４は、センサ部１７０からの出力に基づき、音声情報表示装置１００が載置された状態で使用されているか把持された状態で使用されているかを判断し、各々の使用状態に対応する載置モードまたは把持モードであるかを判断する。
Based on the output from the
通信制御部１１５は、通信部１８０による通信動作を制御する。具体的には、通信部１８０によるデータや制御情報等の送受信の制御等である。
The communication control unit 115 controls the communication operation by the
音声入力部１２０は、制御部１１０の制御によりマイクロフォン２０から入力された音声信号を制御部１１０が処理するための音声データに変換し、制御部１１０に送出する。音声入力部１２０は、例えば、Ａ／Ｄ変換部１２１および増幅部１２２を備えて構成される。増幅部１２２は、マイクロフォン２０から入力される音声信号を増幅する、例えばオペアンプ等である。Ａ／Ｄ変換部１２１は、増幅部１２２が増幅した音声信号を、Ａ／Ｄ（Analog - Digital）変換し、制御部１１０に音声データを送出する。
The voice input unit 120 converts the voice signal input from the
記憶部１３０は、例えばフラッシュメモリやＨＤＤ（Hard Disk Drive）より構成され、音声情報表示装置１００に必要な各種データや、マイクロフォン２０等外部から入力される記録対象のデータが記憶され、制御部１１０の処理によって記憶動作や読み出し動作が行われる。記憶部１３０は音声情報表示装置１００に内蔵されるものに限らず、所定のインターフェースによって接続される外部の記憶デバイスであってもよい。外部の記憶デバイスの一例としては、ＵＳＢ（Universal Serial Bus）端子に接続されるＵＳＢメモリや外部ＨＤＤ装置、所定のメモリカードスロットにより接続されるメモリカードなどである。
The
表示部１４０は、例えば液晶表示素子や有機ＥＬ（Electro Luminescence）表示素子、およびそれらを駆動する回路ユニット等からなり、表示制御部１１１の制御により各種表示内容や表示形態が表示される。
The
操作部１５０は、音声情報表示装置１００に対してユーザが各種処理や動作指示を行うためのユーザインターフェースであり、例えば、押ボタン式や回転式の操作手段、または表示部１４０に重ねて設けられた図示しないタッチパネル操作部により構成される。操作部１５０が操作されることにより、操作に基づく信号が後述する操作制御部１１２に出力され、操作に基づく各部の動作や各種処理が実行される。
The
センサ部１７０は、音声情報表示装置１００において用いる各種センサにより構成され、各種センサにおける信号を制御部１１０に送出する。本実施形態においてセンサ部１７０は図４に示すように、加速度センサ１７１および照度センサ１７２を備える。センサ部１７０は、上記に加え、必要に応じて他のセンサを備えていてもよい。
The
センサ部１７０は、加速度センサ１７１または照度センサ１７２により、音声情報表示装置１００の状態を検出する。具体的には、加速度センサ１７１は音声情報表示装置１００の対地向きにおける重力加速度に加えて、ユーザが音声情報表示装置１００を手に把持している場合などに生じる複数方向の加速度を検出する。また、照度センサ１７２は、音声情報表示装置１００が載置される場合の載置面に対向する位置に備えられることにより、載置された場合の照度がゼロであることを検出する。
The
通信部１８０は、通信制御部１１５の制御により他の装置や基地局等との通信を行う装置であり、通信のためのアンテナも含む。通信部１８０の通信方式は、Ｗｉ−Ｆｉ方式、携帯電話向け通信方式に加えてブルートゥース方式等の短距離通信方式であってもよく、複数備えられていてもよい。
The
次に、図５から図１８を用いて、本実施形態における処理を説明する。 Next, processing in the present embodiment will be described with reference to FIGS.
図５は、音声情報表示装置１００における本発明に係る処理の全体のフローであり、図５のフローによる処理は、音声情報表示装置１００の電源がＯＮとなっている間、または音声情報表示装置１００において、本実施形態の処理の実行が選択されている間は、逐次実行されている。
FIG. 5 is an overall flow of processing according to the present invention in the voice
先ず、モード判断部１１４は、センサ部１７０からの入力信号に基づいてモード判断処理を実行する（ステップＳ１０）。ステップＳ１０におけるモード判断処理の例を図６および図７を用いて説明する。モード判断処理は、音声情報表示装置１００の使用状態が適切に判断可能であればその処理形態は限定されない。ここでは、モード判断処理の実施例として図６により第１のモード判断処理例、図７により第２のモード判断処理例を説明する。
First, the
図６において、モード判断部１１４は加速度センサ１７１からの出力信号を逐次分析しており、その分析結果に基づいて所定時間以上の加速度の変動があるか否かを判断する（ステップＳ１０１）。ここでいう所定時間とは、音声情報表示装置１００が物体上に載置されているか、ユーザによる把持等によって載置されていない状態で用いられているかを判断可能な時間であり、具体的には３秒以上などである。
In FIG. 6, the
ステップＳ１０１の判断において、所定時間以上の加速度の変動が無いと判断された場合（ステップＳ１０１：Ｎｏ）、モード判断部１１４は、載置モードであると判断する。ステップＳ１０１の判断において、所定時間以上の加速度の変動があると判断された場合（ステップＳ１０１：Ｙｅｓ）、モード判断部１１４は、把持モードであると判断する。
If it is determined in step S101 that there is no change in acceleration for a predetermined time or longer (step S101: No), the
図７においては、図６におけるモード判断処理の例に加えて、ステップＳ１０１がＮｏの場合に、モード判断部１１４は音声情報表示装置１００の底面に配置されている照度センサ１７２が光を検出しているか否かを判断する（ステップＳ１１１）。音声情報表示装置１００の底面とは、一例としては図１における表示部１４０の表示面とは反対側の面であり、ユーザが音声情報表示装置１００を物体に載置したときに物体と接する面である。
In FIG. 7, in addition to the example of the mode determination process in FIG. 6, when step S <b> 101 is No, the
ステップＳ１１１の判断において、照度センサ１７２が光を検出していないと判断された場合（ステップＳ１１１：Ｎｏ）、モード判断部１１４は、載置モードであると判断する。ステップＳ１１１の判断において、照度センサ１７２が光を検出していると判断された場合（ステップＳ１１１：Ｙｅｓ）、モード判断部１１４は、把持モードであると判断する。
If it is determined in step S111 that the
ステップＳ１０におけるモード判断処理は、他の例として、音声情報表示装置１００の底面に、載置されることによって押圧される機械的スイッチを備え、機械的スイッチのオンとオフによってモードを判断する方法、ユーザが把持している場合に押圧される機械的スイッチや温度センサによる把持検出によるモード判断等でも可能である。
As another example, the mode determination process in step S10 includes a mechanical switch that is pressed by being placed on the bottom surface of the audio
また、図６および図７によるモード判断処理においては、ステップＳ１０１において所定時間以上の加速度変動があった場合であっても、加速度センサ１７１が検出している重力加速度の方向が所定時間以上、表示部１４０の表示面とは反対方向を中心としている場合は、把持モードとしなくともよい。この場合は、例えば音声情報表示装置１００をユーザが運搬している状態ではあるが、表示部１４０の表示画面を見ていない場合である。
Further, in the mode determination process according to FIGS. 6 and 7, even if there is an acceleration fluctuation for a predetermined time or more in step S101, the direction of the gravitational acceleration detected by the
図５に戻り、ステップＳ１０においてモードが判断された後、音声分析部１１３は表示対象の音声信号がマイクロフォン２０に入力されたか否かを判断する（ステップＳ２０）。表示対象の音声信号とは、一例としては音圧分析部１１３１の解析に基づく所定音圧以上の音声信号であり、例えば音圧レベルが６０ｄＢ以上の音声信号を対象とする。この音圧レベルは任意に設定されてもよく、例えばユーザの聴覚レベルに合わせて設定されてもよい。
Returning to FIG. 5, after the mode is determined in step S <b> 10, the
ステップＳ２０において入力されていないと判断された場合（ステップＳ２０：Ｎｏ）、ステップＳ１０に推移し、ステップＳ２０がＹｅｓとなるまで、モード判断（ステップＳ１０）および音声信号入力判断（ステップＳ２０）が繰り返される。ステップＳ２０において入力されたと判断された場合（ステップＳ２０：Ｙｅｓ）、音声分析部１１３は、ステップＳ２０において判断された音声信号に対して、音声分析処理を実行する（ステップＳ３０）。
When it is determined in step S20 that the input has not been made (step S20: No), the process proceeds to step S10, and the mode determination (step S10) and the audio signal input determination (step S20) are repeated until step S20 becomes Yes. It is. When it is determined in step S20 that the input has been made (step S20: Yes), the
図８は、ステップＳ３０における音声分析処理の例である。図８における各々の分析処理は、目的に応じて選択されて実行されてもよく、分析処理の順序は任意であり同時に実行されてもよい。本実施形態における最小限の構成は、ステップＳ３０３における音源方向分析処理である。 FIG. 8 is an example of the voice analysis process in step S30. Each analysis process in FIG. 8 may be selected and executed according to the purpose, and the order of the analysis processes is arbitrary and may be executed simultaneously. The minimum configuration in the present embodiment is the sound source direction analysis process in step S303.
先ず、音声分析部１１３はステップＳ２０において判断された音声信号に対して、その最大音圧レベルを分析する（ステップＳ３０１）。ステップＳ３０１の分析処理は、ステップＳ２０の処理と同時に実行されてもよい。
First, the
次に、音声分析部１１３における周波数分析部１１３２は、ステップＳ２０において判断された音声信号の周波数分布を分析する（ステップＳ３０２）。ステップＳ３０２において周波数分析される範囲は、ステップＳ２０の判断に基づく所定音圧以上の音声信号が入力された範囲、またはその範囲を所定時間毎に分割した範囲などである。
Next, the
次に、音声分析部１１３における音方向分析部１１３３は、ステップＳ２０において判断された音声信号に対して、音源方向を分析する（ステップＳ３０３）。ステップＳ３０３の分析処理について図９および図１０を用いて説明する。
Next, the sound
マイクロフォン２０は、例えば図９のように音声情報表示装置１００の長辺を縦方向とした場合に、右上の角部にマイクロフォン２０Ａ、右下にマイクロフォン２０Ｂ、左下にマイクロフォン２０Ｃ、左上にマイクロフォン２０Ｄを備える。マイクロフォン２０の位置は、必ずしも筐体１０の４隅に限定されず、筐体１０の中心からみて４方向に備えられ、音源の方向が判別可能な配置であればよい。
For example, when the long side of the audio
図９における矢印が指す方向Ａ〜Ｈは、マイクロフォン２０によって音源の方向が特定される方向の例を示している。実際の利用形態は、表示部１４０が地面に対して水平となるように載置または把持されるため、方向Ａ〜Ｈは、音声情報表示装置１００を中心として地面と水平方向の向きとなる。
9 indicate examples of directions in which the direction of a sound source is specified by the
図９に示すようなマイクロフォン２０の配置である場合、例えば、マイクロフォン２０Ａは、Ｂ方向を中心に指向性を有し、マイクロフォン２０Ｂは、Ｄ方向を中心に指向性を有する。また、マイクロフォン２０Ｃは、Ｆ方向を中心に指向性を有し、マイクロフォン２０Ｄは、Ｈ方向を中心に指向性を有する。
In the case of the arrangement of the
ステップＳ３０３における音源方向分析処理としては、先ず、音声分析部１１３は音声入力部１２０から入力されたマイクロフォン２０Ａ〜２０Ｄの各々に対応する音声データに基づき、入力された音声信号の音圧が最大のマイクロフォンを特定する（ステップＳ３０３１）。ステップＳ３０３１の処理を行うときに比較する各マイクロフォン２０の音声データは、所定の時間幅における最大値を検出してもよく、所定の時間幅の積分値における最大値を検出してもよい。また、複数のマイクロフォン２０間の最大値の差が所定以上小さい場合、例えば最大音圧の差が２ｄＢ以内である場合は、それらのマイクロフォン２０の音圧は同一であるとしてもよい。
As the sound source direction analysis processing in step S303, first, the
ステップＳ３０３１において、音圧が最大のマイクロフォン２０が特定できたと判断された場合（ステップＳ３０３１：Ｙｅｓ）、音声分析部１１３は音圧が最大と特定されたマイクロフォン２０の方向を音源方向であると判断する（ステップＳ３０３５）。図９における矢印が指す方向Ａ〜Ｈは、マイクロフォン２０によって音源の方向が特定される方向の例を示している。実際の利用形態は、表示部１４０が地面に対して水平となるように配置または把持されるため、方向Ａ〜Ｈは、音声情報表示装置１００を中心として地面と水平方向の向きとなる。例えば、図９においてマイクロフォン２０Ａが最大音圧の入力されたマイクロフォンであると特定された場合は、方向Ｂが音源方向であると判断される。同様に、マイクロフォン２０Ｂの場合は方向Ｄ、マイクロフォン２０Ｃの場合は方向Ｆ、マイクロフォン２０Ｄの場合は方向Ｈであると判断される。
If it is determined in step S3031 that the
ステップＳ３０３１において、音圧が最大のマイクロフォン２０が特定できないと判断された場合（ステップＳ３０３１：Ｎｏ）、音声分析部１１３は、音圧が他より大きい同一音圧の２つのマイクロフォン２０が特定できるか否かを判断する（ステップＳ３０３２）。ステップＳ３０３２の処理においても、同一音圧と判断する誤差はステップＳ３０３１と同様でよい。ステップＳ３０３２において、音圧が他より大きい同一音圧の２つのマイクロフォン２０が特定できた場合（ステップＳ３０３２：Ｙｅｓ）、音声分析部１１３は音圧が他より大きい同一音圧の２つのマイクロフォン２０の間の方向を音源方向であると判断する（ステップＳ３０３３）。
If it is determined in step S3031 that the
ステップＳ３０３３の判断は、例えば、図９においてマイクロフォン２０Ａとマイクロフォン２０Ｂが他より音圧の大きい同一音圧の２つのマイクロフォン２０であると特定された場合は、方向Ｃが音源方向であると判断される。同様に、マイクロフォン２０Ｂとマイクロフォン２０Ｃが他より音圧の大きい同一音圧の２つのマイクロフォン２０であると特定された場合は、方向Ｅが音源方向であると判断され、マイクロフォン２０Ｃとマイクロフォン２０Ｄが他より音圧の大きい同一音圧の２つのマイクロフォン２０であると特定された場合は、方向Ｇが音源方向であると判断され、マイクロフォン２０Ｄとマイクロフォン２０Ａが他より音圧の大きい同一音圧の２つのマイクロフォン２０であると特定された場合は、方向Ａが音源方向であると判断される。
The determination in step S3033 is, for example, when the
ステップＳ３０３２において、音圧が他より大きい同一音圧の２つのマイクロフォン２０が特定できなかった場合（ステップＳ３０３２：Ｎｏ）、音声分析部１１３は音源の方向が特定できないと判断する（ステップＳ３０３４）。
In step S3032, when two
図８に戻り、次に音声分析部１１３はステップＳ２０において判断された音声信号の音種別を分析する（ステップＳ３０４）。ステップＳ３０４の分析処理は、音のパターン認識によるもので、パターンを照合するデータベースは、記憶部１３０または通信部１８０を介した通信によって利用可能となる外部サーバ等に格納されている。また、照合データベースにおける音のパターンは、ユーザによって追加されてもよい。具体的には、緊急車両のサイレン音、各種警報機の警報音、家庭内電気製品の報知音などが照合される。
Returning to FIG. 8, the
図５に戻り、ステップＳ３０において音声信号が分析された後、表示制御部１１１は、ステップＳ１０において判断されたモードに基づき、ステップＳ３０における分析結果を、表示部１４０に表示させる（ステップＳ４０）。
Returning to FIG. 5, after the audio signal is analyzed in step S30, the
ステップＳ４０における表示処理の例を図１１から図１８を用いて説明する。表示処理は、モードによってユーザが音声信号の存在を適切に視認できる表示処理であればその表示形態は限定されない。ここでは、表示処理の例として図１１から図１５により第１の表示処理例、図１６および図１７により第２の表示処理例、図１８により第３の表示処理例を説明する。 An example of the display process in step S40 will be described with reference to FIGS. The display form is not limited as long as the display process allows the user to appropriately recognize the presence of the audio signal depending on the mode. Here, as an example of the display process, a first display process example will be described with reference to FIGS. 11 to 15, a second display process example with reference to FIGS. 16 and 17, and a third display process example with reference to FIG.
図１１は、ステップＳ３０３における音源方向分析処理において、音源方向が図９における方向Ｂであると判断された場合の表示例である。表示図形３００は音源方向から放射状に表示されており、音圧レベルを表示する表示図形３００Ａに加えて、順に表示が切り替わることによって音源方向を表現する表示図形３００Ｒ１〜３００Ｒ４から構成される。図１１においては、最大音圧レベルが８０ｄＢの音声信号が方向Ｂより入力されたことを示している。 FIG. 11 is a display example when the sound source direction is determined to be the direction B in FIG. 9 in the sound source direction analysis processing in step S303. The display graphic 300 is displayed radially from the sound source direction, and includes display graphics 300R1 to 300R4 expressing the sound source direction by switching the display in order in addition to the display graphic 300A displaying the sound pressure level. FIG. 11 shows that an audio signal having a maximum sound pressure level of 80 dB is input from direction B.
図１２は、ステップＳ３０３における音源方向分析処理において、音源方向が図９における方向Ａであると判断された場合の表示例である。図１２においても表示図形３００は図１１と同様であり、さらに音種別分析部１１３４より図８におけるステップＳ３０４で分析された音源種別が表示情報３１０として表示されている。図１２においては、最大音圧レベルが８０ｄＢの救急車（Ａｍｂｕｌａｎｃｅ）のサイレン音と認識された音声信号が方向Ａより入力されたことを示している。
FIG. 12 is a display example when the sound source direction is determined to be the direction A in FIG. 9 in the sound source direction analysis processing in step S303. 12, the display graphic 300 is the same as that in FIG. 11, and the sound source type analyzed in step S <b> 304 in FIG. 8 by the sound
図１３により、第１の表示処理例を説明すると、先ず表示制御部１１１は、表示対象となる音声信号のモードが載置であるか把持モードであるかを判断する（ステップＳ４０１）。把持モードであると判断された場合（ステップＳ４０１：把持モード）、ステップＳ４０２からステップＳ４０６に示す把持モードに対応した表示を実行する。載置モードであると判断された場合（ステップＳ４０１：載置モード）、ステップＳ４０７からステップＳ４１１に示す載置モードに対応した表示を実行する。
The first display processing example will be described with reference to FIG. 13. First, the
ステップＳ４０１において把持モードであると判断された場合、表示制御部１１１は表示時間を設定するタイマのカウントを０にリセットしタイマのカウントを開始する（ステップＳ４０２）。次に、音源方向に該当する表示図形３００Ｒ１から３００Ｒ４を順に表示させる（ステップＳ４０３）。ステップＳ４０３の表示と同時に、表示図形３００Ａおよび表示情報３１０を表示させてもよい。
When it is determined in step S401 that the grip mode is selected, the
ステップＳ４０３の表示は、図１４における時間が０秒から８秒の表示に該当する。図１４に示す例においては、表示図形３００Ｒ１から３００Ｒ４を０．５秒間隔で順に表示させている。 The display in step S403 corresponds to a display in which the time in FIG. 14 is 0 second to 8 seconds. In the example shown in FIG. 14, display graphics 300R1 to 300R4 are sequentially displayed at intervals of 0.5 seconds.
次に、表示制御部１１１はタイマのカウントが時間ｔ１に達したか否かを判断する（ステップＳ４０４）。時間ｔ１は、把持モードとして予め設定されており、図１４に示す例においては８秒として設定されている。ステップＳ４０４において時間ｔ１に達していないと判断された場合（ステップＳ４０４：Ｎｏ）、時間ｔ１となるまでステップＳ４０３の表示を継続させる。ステップＳ４０４において時間ｔ１に達したと判断された場合（ステップＳ４０４：Ｙｅｓ）、表示制御部１１１はステップＳ４０３に基づく表示を終了させ、表示図形３００Ｒ４を継続的に表示させる（ステップＳ４０５）。
Next, the
ステップＳ４０５の表示は、図１４における時間が８秒から１０秒の表示に該当する。図１４に示す例においては、表示図形３００Ｒ４を２秒間表示させている。 The display in step S405 corresponds to a display in which the time in FIG. 14 is 8 seconds to 10 seconds. In the example shown in FIG. 14, the display graphic 300R4 is displayed for 2 seconds.
次に、表示制御部１１１はタイマのカウントが時間ｔ２に達したか否かを判断する（ステップＳ４０６）。時間ｔ２は、把持モードとして予め設定されており、図１４に示す例においては１０秒として設定されている。ステップＳ４０６において時間ｔ２に達していないと判断された場合（ステップＳ４０６：Ｎｏ）、時間ｔ２となるまでステップＳ４０５の表示を継続させる。ステップＳ４０６において時間ｔ２に達したと判断された場合（ステップＳ４０６：Ｙｅｓ）、表示制御部１１１はステップＳ４０５に基づく表示を終了させる。
Next, the
ステップＳ４０１において載置モードであると判断された場合、表示制御部１１１は表示時間を設定するタイマのカウントを０にリセットしタイマのカウントを開始する（ステップＳ４０７）。次に、音源方向に該当する表示図形３００Ｒ１から３００Ｒ４を順に表示させる（ステップＳ４０８）。ステップＳ４０８の表示と同時に、表示図形３００Ａおよび表示情報３１０を表示させてもよい。
If it is determined in step S401 that it is the placement mode, the
ステップＳ４０８の表示は、図１５における時間が０秒から２０秒の表示に該当する。図１５に示す例においては、表示図形３００Ｒ１から３００Ｒ４を０．５秒間隔で順に表示させている。 The display in step S408 corresponds to a display in which the time in FIG. 15 is 0 second to 20 seconds. In the example shown in FIG. 15, display graphics 300R1 to 300R4 are displayed in order at intervals of 0.5 seconds.
次に、表示制御部１１１はタイマのカウントが時間ｔ３に達したか否かを判断する（ステップＳ４０９）。時間ｔ３は、載置モードとして予め設定されており、図１５に示す例においては２０秒として設定されている。ステップＳ４０８において時間ｔ３に達していないと判断された場合（ステップＳ４０８：Ｎｏ）、時間ｔ３となるまでステップＳ４０８の表示を継続させる。ステップＳ４０９において時間ｔ３に達したと判断された場合（ステップＳ４０９：Ｙｅｓ）、表示制御部１１１はステップＳ４０８に基づく表示を終了させ、表示図形３００Ｒ４を継続的に表示させる（ステップＳ４１０）。
Next, the
ステップＳ４１０の表示は、図１５における時間が２０秒から６０秒の表示に該当する。図１５に示す例においては、表示図形３００Ｒ４を４０秒間表示させている。 The display in step S410 corresponds to a display in which the time in FIG. 15 is 20 seconds to 60 seconds. In the example shown in FIG. 15, the display graphic 300R4 is displayed for 40 seconds.
次に、表示制御部１１１はタイマのカウントが時間ｔ４に達したか否かを判断する（ステップＳ４１１）。時間ｔ４は、載置モードとして予め設定されており、図１５に示す例においては６０秒として設定されている。ステップＳ４１１において時間ｔ４に達していないと判断された場合（ステップＳ４１１：Ｎｏ）、時間ｔ４となるまでステップＳ４１０の表示を継続させる。ステップＳ４１１において時間ｔ４に達したと判断された場合（ステップＳ４１１：Ｙｅｓ）、表示制御部１１１はステップＳ４１０に基づく表示を終了させる。
Next, the
図１６に示す表示例は、図１１に示す表示例に加えて音声履歴表示３２０が加えて表示されている。音声履歴表示３２０は、一例としてその横軸が時間であり縦軸が最大音圧レベルを示している。音声履歴表示３２０は、図５におけるステップＳ２０において入力されたと判断された音声信号の有無に関わらず、所定の時間幅の履歴について表示される。ここで表示される音声信号の履歴は、音声分析部１１３が分析した結果を入力された時間と対応付けて記憶部１３０に記憶されているものであり、音圧レベルや周波数分布、音源方向、音種別等が表示対象となる。
In the display example shown in FIG. 16, an
図１６に示す音声履歴表示３２０の例としては、横軸の時間幅が６０秒から１８０秒程度であることが好ましい。これ以上時間幅が長いと、表示対象となる履歴が多く表示され、視認困難となるためである。また、記憶部１３０には表示される時間幅に関わらずさらに長い時間帯に対する履歴が記憶されていてもよい。また、音声履歴表示３２０は、操作部１５０による操作により記憶部１３０に記憶されている履歴を任意に表示可能としてもよい。
As an example of the
図１６において、音声履歴表示３２０の時間幅を６０秒とし、音声履歴表示３２０の左方向が６０秒前であり右方向を現在時刻として説明すると、６０秒前から現在時刻までの間において、音声信号表示３２１ａから３２１ｄまでの履歴が表示されている。また、表示図形３００は音声信号表示３２１ｄに対する表示である。
In FIG. 16, when the time width of the
第２の表示処理例は図１７に示すように、図１３における第１の表示処理例に加え、ステップＳ４０１において載置モードであると判断された場合に、表示制御部１１１は時間幅ｔ６の音声履歴表示３２０を表示させる（ステップＳ４２２）ことが異なる。
As shown in FIG. 17, in the second display processing example, in addition to the first display processing example in FIG. 13, when it is determined that the placement mode is set in step S401, the
また、第３の表示処理例は、図１８に示すように、図１７における第２の表示処理例に加え、ステップＳ４０１において把持モードであると判断された場合に、表示制御部１１１は時間幅ｔ５の音声履歴表示３２０を表示させる（ステップＳ４２１）ことが異なる。この場合における時間幅ｔ５は時間幅ｔ６より短い時間幅であり、例えば１０秒から３０秒程度であることが好ましい。
In addition to the second display processing example in FIG. 17, the third display processing example displays the time width when the
このように、音声情報表示装置１００の状態に応じて、音声信号に関する表示の表示時間を変えた表示を行うことにより、表示部１４０に表示されたにも関わらず、ユーザがその音声信号の存在に気付かなかったという状態を低減することができる。
In this way, by performing display in which the display time of the display related to the audio signal is changed according to the state of the audio
また、音声情報表示装置１００の利用状態が、配置モードであると判断されている場合は、把持モードであると判断されている場合に比べて長い時間、表示図形３００を表示したり、長い時間幅を持った音声履歴表示３２０を表示する。このため、ユーザは、音声情報表示装置１００を頻繁に視認せずに他の作業を行っているような状態であっても、音声信号の存在を的確に確認することができる。
In addition, when the usage state of the audio
本発明の実施の形態は、その要旨を逸脱しない限り、様々に変更可能である。例えば、表示制御部１１１による表示形態は、図１１や図１２の例に限定されず、例えば表示図形３００Ｒ１から３００Ｒ４は、表示対象となる音声信号を構成する周波数によって表示色を変更してもよい。この場合の構成周波数は、周波数分析部１１３２により図８におけるステップＳ３０２で行われる。
The embodiment of the present invention can be variously modified without departing from the gist thereof. For example, the display form by the
また、表示時間を設定する時間ｔ１から時間ｔ４や表示時間幅を設定するｔ５およびｔ６は、任意に設定可能であり、ユーザの操作によって変更可能としてもよい。また、上記実施形態においては、載置モードにおける表示時間および表示時間幅を把持モードにおける表示時間および表示時間幅より長く設定したが、ユーザの表示確認タイミングによっては、把持モードにおける表示時間よび表示時間幅を載置モードにおける表示時間より長く設定してもよい。 Further, the time t1 to the time t4 for setting the display time and the times t5 and t6 for setting the display time width can be arbitrarily set, and may be changed by a user operation. In the above embodiment, the display time and the display time width in the placement mode are set longer than the display time and the display time width in the grip mode. However, depending on the display confirmation timing of the user, the display time and the display time in the grip mode are set. The width may be set longer than the display time in the placement mode.
また、上記実施形態においては、図１３におけるステップＳ４０２からステップＳ４０６がＹｅｓまでの間、およびステップＳ４０７からステップＳ４１１がＹｅｓまでの間に、単一の音声信号が入力された場合について説明した。しかし、これらの間に連続的に複数の音声信号が入力されることもある。このような場合、各々の音声信号に基づくステップＳ４０５およびステップＳ４１０における表示図形３００Ｒ４の表示が複数重畳しているような表示としてもよい。 Moreover, in the said embodiment, the case where the single audio | voice signal was input between step S402 in FIG. 13 from step S406 to Yes and between step S407 to step S411 Yes was demonstrated. However, a plurality of audio signals may be input continuously between them. In such a case, it is good also as a display which the display figure 300R4 display in step S405 and step S410 based on each audio | voice signal has superimposed on two or more.
２０：マイクロフォン、１００：音声情報表示装置、１１０：制御部、１１１：表示制御部、１１２：操作制御部、１１３：音声分析部、１１４：モード判断部、１２０：音声入力部、１４０：表示部、１７０：センサ部 20: Microphone, 100: Audio information display device, 110: Control unit, 111: Display control unit, 112: Operation control unit, 113: Audio analysis unit, 114: Mode determination unit, 120: Audio input unit, 140: Display unit , 170: Sensor unit
Claims (6)
前記音声入力部に入力された音声信号を分析する音声分析部、
装置の状態を検出するセンサ部、
前記センサ部からの出力に基づき、装置が載置された状態で使用されている場合の載置モードおよび装置が載置されていない状態で使用されている把持モードのいずれかであるかを判断するモード判断部、
前記モード判断部の判断結果に基づき、前記載置モードである場合は、前記音声分析部において分析された音声信号に基づく表示を第1の時間表示させ、前記把持モードである場合は、前記音声信号部において分析された音声信号に基づく表示を前記第１の表示時間とは異なる第２の時間表示させる表示制御部、
を備えることを特徴とする音声情報表示装置。 An audio input unit to which an audio signal is input,
A voice analysis unit for analyzing a voice signal input to the voice input unit;
A sensor unit for detecting the state of the device,
Based on the output from the sensor unit, it is determined whether the mounting mode is used when the device is mounted or the gripping mode is used when the device is not mounted. Mode decision unit to
Based on the determination result of the mode determination unit, the display based on the audio signal analyzed by the audio analysis unit is displayed for a first time in the case of the placement mode, and the audio in the case of the grip mode. A display control unit for displaying a display based on the audio signal analyzed in the signal unit for a second time different from the first display time;
An audio information display device comprising:
ことを特徴とする請求項１に記載の音声情報表示装置。 The display control unit performs display based on the audio signal analyzed in the audio analysis unit, with the first time being longer than the second time.
The audio information display device according to claim 1.
ことを特徴とする請求項１または請求項２に記載の音声情報表示装置。 The display control unit displays history information of the audio signal as a display based on the audio signal.
The voice information display device according to claim 1 or 2, wherein
前記音声分析部は、前記音声入力部に入力された前記複数のマイクロフォンからの音声信号に基づき音声信号が発せられた音源方向を分析し、
前記表示制御部は、前記音声分析部において分析された音声信号の音源方向を示す表示を前記音声信号に基づく表示として表示させる、
ことを特徴とする、請求項１から請求項３のいずれか１項に記載の音声情報表示装置。 The audio input unit receives audio signals from a plurality of microphones,
The voice analysis unit analyzes a sound source direction in which a voice signal is emitted based on voice signals from the plurality of microphones input to the voice input unit,
The display control unit displays a display indicating a sound source direction of the audio signal analyzed by the audio analysis unit as a display based on the audio signal;
The voice information display device according to any one of claims 1 to 3, wherein
前記検出ステップにおいて検出された装置の状況に基づき、装置が載置された状態で使用されている場合の載置モードおよび装置が載置されていない状態で使用されている把持モードのいずれかであるかを判断するモード判断ステップ、
入力された音声信号を分析する分析ステップ、
前記モード判断ステップにおける判断結果に基づき、前記載置モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を第1の時間表示させ、前記把持モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を前記第１の表示時間とは異なる第２の時間表示させる表示ステップ、
を備えることを特徴とする音声情報表示方法。 A detection step for detecting the status of the device;
Based on the status of the device detected in the detection step, either the placement mode when the device is used while being placed or the gripping mode that is used when the device is not placed A mode determination step for determining whether there is,
An analysis step for analyzing the input audio signal;
Based on the determination result in the mode determination step, when the display mode is the previous mode, the display based on the audio signal analyzed in the analysis step is displayed for a first time, and when the mode is the grip mode, the analysis step A display step of displaying a display based on the audio signal analyzed in step 2 for a second time different from the first display time;
An audio information display method comprising:
装置の状況を検出する検出ステップ、
前記検出ステップにおいて検出された装置の状況に基づき、装置が載置された状態で使用されている場合の載置モードおよび装置が載置されていない状態で使用されている把持モードのいずれかであるかを判断するモード判断ステップ、
入力された音声信号を分析する分析ステップ、
前記モード判断ステップにおける判断結果に基づき、前記載置モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を第1の時間表示させ、前記把持モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を前記第１の表示時間とは異なる第２の時間表示させる表示ステップ、
を実行させることを特徴とするプログラム。 In the computer provided in the voice information display device,
A detection step for detecting the status of the device;
Based on the status of the device detected in the detection step, either the placement mode when the device is used while being placed or the gripping mode that is used when the device is not placed A mode determination step for determining whether there is,
An analysis step for analyzing the input audio signal;
Based on the determination result in the mode determination step, when the display mode is the previous mode, the display based on the audio signal analyzed in the analysis step is displayed for a first time, and when the mode is the grip mode, the analysis step A display step of displaying a display based on the audio signal analyzed in step 2 for a second time different from the first display time;
A program characterized by having executed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012259495A JP2014106394A (en) | 2012-11-28 | 2012-11-28 | Voice information display device, voice information display method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012259495A JP2014106394A (en) | 2012-11-28 | 2012-11-28 | Voice information display device, voice information display method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014106394A true JP2014106394A (en) | 2014-06-09 |
Family
ID=51027930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012259495A Pending JP2014106394A (en) | 2012-11-28 | 2012-11-28 | Voice information display device, voice information display method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014106394A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017097076A (en) * | 2015-11-19 | 2017-06-01 | オリンパス株式会社 | Record reproduction device and record reproduction method |
| JP7216851B1 (en) | 2022-02-21 | 2023-02-01 | 真吾 澤田 | Hearing assist wearable device and program |
-
2012
- 2012-11-28 JP JP2012259495A patent/JP2014106394A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017097076A (en) * | 2015-11-19 | 2017-06-01 | オリンパス株式会社 | Record reproduction device and record reproduction method |
| JP7216851B1 (en) | 2022-02-21 | 2023-02-01 | 真吾 澤田 | Hearing assist wearable device and program |
| WO2023157912A1 (en) * | 2022-02-21 | 2023-08-24 | 真吾 澤田 | Hearing-aid wearable device and program |
| JP2023121436A (en) * | 2022-02-21 | 2023-08-31 | 真吾 澤田 | Hearing support wearable device and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200249346A1 (en) | Electronic device for checking proximity of external object by using signal in specified frequency band, and control method of electronic device | |
| KR102371212B1 (en) | Electronic device and method for managing geofence thereof | |
| US9990067B2 (en) | Evolutionary touch-based graphical user interface for electronic devices | |
| KR20140112900A (en) | Communication connecting method for bluetooth device and apparatus therefor | |
| WO2016121876A1 (en) | Electronic device, control method, and control program | |
| KR20070014809A (en) | Method and apparatus for providing information during a call, and a mobile device including the same | |
| KR102435697B1 (en) | Electronic device having structure with gas sensor | |
| JP6096854B1 (en) | Electronic device and method of operating electronic device | |
| JP2016019160A (en) | Electronic apparatus, method and program | |
| KR102652553B1 (en) | Electronic device and method for detecting block of microphone | |
| JP5983332B2 (en) | Audio information notification apparatus, audio information notification method, and program | |
| CN108614263B (en) | Mobile terminal, position detection method and related product | |
| KR20190019723A (en) | Electronic apparatus and method for controlling touch sensing signals and storage medium | |
| JP2014106394A (en) | Voice information display device, voice information display method and program | |
| KR20210091662A (en) | Electronic device for controlling external electronic device and method thereof | |
| KR20200017042A (en) | Electronic device for displaying information regarding stylus pen and method thereof | |
| CN108680181B (en) | Wireless earphone, step counting method based on earphone detection and related product | |
| CN108200290B (en) | Electronic device, method for determining drop damage and related product | |
| KR102462204B1 (en) | Method and apparatus for providing vibration | |
| CN108491074B (en) | Electronic device, exercise assisting method and related product | |
| JP6587927B2 (en) | Electronic device, control method of electronic device, control program, and control apparatus | |
| CN108418951B (en) | Electronic device, data storage method and related product | |
| CN109040425B (en) | Information processing method and related product | |
| KR20220003908A (en) | Method and electronic device for detecting surrounding audio signal | |
| CN108337372B (en) | Electronic device, physical key detection method, device and computer readable storage medium |