JP6893150B2 - オーディオ装置およびコンピュータで読み取り可能なプログラム - Google Patents

オーディオ装置およびコンピュータで読み取り可能なプログラム Download PDF

Info

Publication number
JP6893150B2
JP6893150B2 JP2017156673A JP2017156673A JP6893150B2 JP 6893150 B2 JP6893150 B2 JP 6893150B2 JP 2017156673 A JP2017156673 A JP 2017156673A JP 2017156673 A JP2017156673 A JP 2017156673A JP 6893150 B2 JP6893150 B2 JP 6893150B2
Authority
JP
Japan
Prior art keywords
voice
voice recognition
led
lighting pattern
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017156673A
Other languages
English (en)
Other versions
JP2019036103A5 (ja
JP2019036103A (ja
Inventor
吉田　幸弘
幸弘 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
D&M Holdings Inc
Original Assignee
D&M Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by D&M Holdings Inc filed Critical D&M Holdings Inc
Priority to JP2017156673A priority Critical patent/JP6893150B2/ja
Priority to PCT/JP2018/009883 priority patent/WO2019035235A1/ja
Priority to US16/638,540 priority patent/US11315561B2/en
Priority to EP18846799.7A priority patent/EP3671431A4/en
Publication of JP2019036103A publication Critical patent/JP2019036103A/ja
Publication of JP2019036103A5 publication Critical patent/JP2019036103A5/ja
Application granted granted Critical
Publication of JP6893150B2 publication Critical patent/JP6893150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/10—Controlling the intensity of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/20—Controlling the colour of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/30—Driver circuits
    • H05B45/32—Pulse-control circuits
    • H05B45/325—Pulse-width modulation [PWM]
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/12—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by detecting audible sound
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)

Description

本発明は、音声操作受付機能を有するオーディオ装置に関する。
特許文献１には、リモートコントローラを介してユーザから受け付けた操作に従い、メディアサーバ等からオーディオデータをワイヤレスでダウンロードし再生するオーディオ装置が開示されている。
また、特許文献２には、マイクへの入力音声に対する音声認識結果をＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）の表示形式を異ならせることにより、ユーザに目視で確認することができるようにした音声応答機能付電話装置が開示されている。
米国特許第７９８７２９４号明細書 特開２０００−１０６５８８号公報
近年、特許文献１に記載のようなオーディオ装置において、マイクへの入力音声に音声認識処理を実施して音声操作を受け付けることにより、リモートコントローラなしで各種操作を可能とする音声操作受付機能が求められている。ここで、オーディオ再生中に音声操作を受け付ける場合、入力音声の音声認識結果に対する応答を音声で出力すると、オーディオ再生音に音声認識結果を示す音声が混入することとなり、オーディオ再生環境に影響する。このため、音声認識結果は、特許文献２に記載の音声応答機能付電話装置のように、ＬＥＤを用いて表示することが好ましい。
しかしながら、特許文献２に記載の音声応答機能付電話装置では、ＬＥＤの表示形式を消灯状態、点滅状態、および点灯状態のいずれかとすることにより、音声応答がないと判断した場合（消灯状態）、所定の音声ではないと判断した場合（点滅状態）、および所定の音声であると判断した場合（点灯状態）をユーザに通知するのみであり、この技術をオーディオ装置に適用しても、音声認識処理の状態をより詳細にユーザに通知することができない。一方、複数のＬＥＤを用いたり、ＬＥＤに代えてＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を用いたりすることにより、音声認識処理の状態をより詳細にユーザに通知することができるが、その分、コストが嵩む。また、音声認識処理の状態を通知するための表示部がオーディオ装置の前面に占める割合が大きくなるため、オーディオ装置のデザイン上の制約となる。
本発明は上記事情に鑑みてなされたものであり、その目的は、オーディオ再生環境に影響することなく音声認識処理の状態を詳細に通知可能であり、かつ低コストでデザインの自由度に優れた音声操作受付機能を有するオーディオ装置を提供することにある。
上記課題を解決するために、本発明では、時間軸上で明るさを変化させた複数の点灯パターンを準備し、これら複数の点灯パターンに基づいてＬＥＤをＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）制御することにより、音声認識処理の状態を表現している。ここで、点灯パターンは、音声認識処理の状態を表す音声メッセージのイントネーションおよびアクセントに明るさの強弱を同期させてもよい。
例えば、本発明は、マイクへの入力音声により操作を受け付ける音声操作受付機能を有するオーディオ装置であって、
ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）と、
前記ＬＥＤをＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）制御するＬＥＤ制御手段と、
音声認識処理の状態毎に、時間軸上で明るさを変化させた点灯パターンを記憶する点灯パターン記憶手段と、を備え、
前記ＬＥＤ制御手段は、
前記マイクへの入力音声に対する音声認識処理の状態に対応付けられて前記点灯パターン記憶手段に記憶されている点灯パターンに従い、前記ＬＥＤをＰＷＭ制御し、
前記点灯パターンは、
明るさの強弱が当該点灯パターンに対応する音声認識処理の状態を表す音声メッセージのイントネーションおよびアクセントに同期している。
本発明では、時間軸上で明るさを変化させた複数の点灯パターンを準備し、これら複数の点灯パターンを用いてＬＥＤをＰＷＭ制御することにより、音声認識処理の状態を表現するので、一つのＬＥＤのみで音声認識処理の状態を詳細に表現することができる。したがって、本発明によれば、オーディオ再生環境に影響することなく音声認識処理の状態を詳細に通知可能であり、かつ低コストでデザインの自由度に優れた音声操作受付機能を有するオーディオ装置を提供することができる。
図１は、本発明の一実施の形態に係るワイヤレスオーディオシステムの概略構成図である。 図２は、ワイヤレススピーカ１の概略機能構成図である。 図３（Ａ）〜図３（Ｅ）は、点灯パターンの例を模式的に表した図である。 図４は、ワイヤレススピーカ１の動作フロー図である。 図５は、ワイヤレススピーカ１の動作フロー図（図４の続き）である。
以下に、本発明の一実施の形態について、図面を参照して説明する。
図１は、本実施の形態に係るワイヤレスオーディオシステムの概略構成図である。
図示するように、本実施の形態に係るワイヤレスオーディオシステムは、メディアサーバ４と、アクセスポイント２およびＷＡＮ、ＬＡＮ等のネットワーク３を介してメディアサーバ４に接続されたワイヤレススピーカ１と、を備えて構成されている。メディアサーバ４は、オーディオデータをワイヤレススピーカ１に提供する。
ワイヤレススピーカ１は、スピーカ１０が配置されている前面にマイク１１を備えており、マイク１１への入力音声に音声認識処理を実施して、ユーザから音声操作を受け付ける。そして、ユーザから受け付けた音声操作に従い、オーディオデータをメディアサーバ４からダウンロードして再生し、その再生音をスピーカ１０から出力する。また、ワイヤレススピーカ１は、スピーカ１０が配置されている前面にフルカラーのＬＥＤ１２を備えており、マイク１１への入力音声に対する音声認識処理の状態を、このＬＥＤ１２を用いてユーザに通知する。
図２は、ワイヤレススピーカ１の概略機能構成図である。
図示するように、ワイヤレススピーカ１は、スピーカ１０と、マイク１１と、フルカラーのＬＥＤ１２と、ネットワークインターフェース部１３と、オーディオ再生部１４と、音声認識辞書データ記憶部１５と、音声認識処理部１６と、点灯パターン記憶部１７と、ＬＥＤ制御部１８と、主制御部１９と、を備えている。
ネットワークインターフェース部１３は、アクセスポイント２およびネットワーク３を介してメディアサーバ４と通信するためのインターフェースである。
オーディオ再生部１４は、主制御部１９より受け取ったオーディオデータを再生し、その再生音をスピーカ１０から出力する。
音声認識辞書データ記憶部１５には、日本語、英語等の言語毎に、音声認識処理に用いる音声認識辞書データが記憶されている。
音声認識処理部１６は、音声認識辞書データ記憶部１５を参照して、マイク１１に入力された音声に音声認識処理を実施する。
点灯パターン記憶部１７には、日本語、英語等の言語毎に、時間軸上で明るさを変化させたＬＥＤ１２の点灯パターンが音声認識処理の状態に対応付けられて記憶されている。この点灯パターンは、対応する音声認識処理の状態をユーザに通知するためのものであり、時間軸上における明るさの強弱が、対応する言語で音声認識処理の状態を表す音声メッセージのイントネーションおよびアクセントに同期している。
図３（Ａ）〜図３（Ｅ）は、点灯パターンの例を模式的に表した図である。
ここでは、音声メッセージが日本語の場合を例示している。ここで、縦軸１７０は明るさの強度（Ｗ）を示しており、横軸１７１は時間（ｔ）を示している。
図３（Ａ）は、マイク１１への入力音声に対する音声認識処理の認識結果が音声操作の受付開始を要求するもの（例えば「開始」）であり、これに応答して、音声認識処理の状態が「音声操作受付開始」になったことをユーザに知らせるための点灯パターン１７２ａの一例を示している。この点灯パターン１７２ａでは、音声メッセージ「了解しました」のイントネーションおよびアクセントに同期して、時間軸上における明るさの強弱を変化させている。
図３（Ｂ）は、音声操作の受付開始後に、マイク１１に音声が入力された場合に、これに応答して、音声認識処理の状態が「音声入力」になったことをユーザに知らせるための点灯パターン１７２ｂの一例を示している。この点灯パターン１７２ｂでは、音声メッセージ「受信しました」のイントネーションおよびアクセントに同期して、時間軸上における明るさの強弱を変化させている。
図３（Ｃ）は、マイク１１への入力音声に対して音声認識を実施中の場合に、これに応答して、音声認識処理の状態が「音声認識中」になったことをユーザに知らせるための点灯パターン１７２ｃの一例を示している。この点灯パターン１７２ｃでは、音声メッセージ「認識中です」のイントネーションおよびアクセントに同期して、時間軸上における明るさの強弱を変化させている。
図３（Ｄ）は、マイク１１への入力音声に対する音声認識処理に成功してユーザから命令を受け付けた場合に、これに応答して、音声認識処理の状態が「認識成功」になったことをユーザに知らせるための点灯パターン１７２ｄの一例を示している。この点灯パターン１７２ｄでは、音声メッセージ「実行します」のイントネーションおよびアクセントに同期して、時間軸上における明るさの強弱を変化させている。
図３（Ｅ）は、マイク１１への入力音声に対する音声認識処理に失敗した場合に、これに応答して、音声認識処理の状態が「認識失敗」になったことをユーザに知らせるための点灯パターン１７２ｅの一例を示している。この点灯パターン１７２ｅでは、音声メッセージ「再度お願いします」のイントネーションおよびアクセントに同期して、時間軸上における明るさの強弱を変化させている。
なお、図３（Ａ）〜図３（Ｅ）では、音声メッセージが日本語の場合の点灯パターンを例示しているが、音声メッセージが英語等の他言語の場合の点灯パターンも、日本語の場合と同様に、イントネーションおよびアクセントに同期して、時間軸上における明るさの強弱を変化させたものとなる。
ＬＥＤ制御部１８は、点灯パターン記憶部１７を参照して、主制御部１９により指定された点灯パターンに従って時間軸上で明るさが変化するように、ＬＥＤ１２をＰＷＭ制御する。
主制御部１９は、ネットワークインターフェース部１３、オーディオ再生部１４、音声認識処理部１６、およびＬＥＤ制御部１８を、統括的に制御する。
つぎに、上記構成のワイヤレススピーカ１の動作について説明する。
図４および図５は、ワイヤレススピーカ１の動作フロー図である。
まず、マイク１１を介してユーザから音声が入力されると（Ｓ１でＹＥＳ）、音声認識処理部１６は、音声認識辞書データ記憶部１５に記憶されている各言語の音声認識辞書データを参照し、入力音声に対する音声認識処理を実施する（Ｓ２）。そして、音声認識処理の認識結果を主制御部１９に渡す。
これを受けて、主制御部１９は、音声認識処理の認識結果が音声操作の受付開始を要求するものであるか否かを判断する（Ｓ３）。例えば、入力音声が日本語ならば、認識内容が「開始」である場合に、それが音声操作の受付開始を要求するものと判断し、入力音声が英語ならば、認識内容が「ＳＴＡＲＴ」である場合に、それが音声操作の受付開始を要求するものと判断する。音声認識処理の認識結果が音声操作の受付開始を要求するものでない場合（Ｓ３でＮＯ）、Ｓ１に戻る。
一方、音声認識処理の認識結果が音声操作の受付開始を要求するものである場合（Ｓ３でＹＥＳ）、主制御部１９は、音声認識処理の認識結果が表す文章を構成する言語を認識言語に設定する。そして、音声認識処理部１６に対して音声認識辞書データの認識言語への絞り込みを指示する。これを受けて、音声認識処理部１６は、以降の音声認識処理で使用する音声認識辞書データを、認識言語の音声認識辞書データに絞り込む（Ｓ４）。
つぎに、主制御部１９は、ＬＥＤ制御部１８に、認識言語、音声認識処理の状態「音声操作受付開始」、および発光色「第一発光色（例えば青色）」を通知して、ＬＥＤ１２の点灯を指示する。これを受けて、ＬＥＤ制御部１８は、点灯パターン記憶部１７から認識言語および音声認識処理の状態「音声操作受付開始」に対応付けられた点灯パターンを特定する。そして、第一発光色で、特定した点灯パターンに従い明るさを変化させるように、ＬＥＤ１２をＰＷＭ制御する（Ｓ５）。これにより、音声操作の受付が可能になったことをユーザに通知する。
その後、主制御部１９は、ＬＥＤ制御部１８に発光色「第二発光色（例えば白色）」を通知して、ＬＥＤ１２の点灯を指示する。これを受けて、ＬＥＤ制御部１８は、ＬＥＤ１２を第二発光色で点灯させる（Ｓ６）。これにより、音声の入力待ちであることをユーザに通知する。
つぎに、音声認識処理部１６は、マイク１１を介してユーザから音声が入力されると（Ｓ７でＹＥＳ）、音声入力された旨を主制御部１９に通知する。主制御部１９は、ＬＥＤ制御部１８に、認識言語、音声認識処理の状態「音声入力」、および発光色「第一発光色」を通知して、ＬＥＤ１２の点灯を指示する。これを受けて、ＬＥＤ制御部１８は、点灯パターン記憶部１７から認識言語および音声認識処理の状態「音声入力」に対応付けられた点灯パターンを特定する。そして、第一発光色で、特定した点灯パターンに従い明るさを変化させるように、ＬＥＤ１２をＰＷＭ制御する（Ｓ１０）。これにより、音声入力を検知したことをユーザに通知する。
それから、音声認識処理部１６は、音声認識辞書データ記憶部１５に記憶されている認識言語の音声認識辞書データを参照し、入力音声に対する音声認識処理を開始する（Ｓ１１）。また、音声認識処理中である旨を主制御部１９に通知する。主制御部１９は、ＬＥＤ制御部１８に、認識言語、音声認識処理の状態「音声認識中」、および発光色「第一発光色」を通知して、ＬＥＤ１２の点灯を指示する。これを受けて、ＬＥＤ制御部１８は、点灯パターン記憶部１７から認識言語および音声認識処理の状態「音声認識中」に対応付けられた点灯パターンを特定する。そして、第一発光色で、特定した点灯パターンに従い明るさを変化させるように、ＬＥＤ１２をＰＷＭ制御する（Ｓ１２）。これにより、入力音声の音声認識処理中であることをユーザに通知する。
つぎに、音声認識処理部１６は、音声認識処理の認識結果を主制御部１９に渡す。ここで、音声認識処理に失敗したならば、その旨を主制御部１９に通知する。これを受けて、主制御部１９は、音声認識処理部１６での音声認識処理に失敗した場合（Ｓ１３でＮＯ）、ＬＥＤ制御部１８に、認識言語、音声認識処理の状態「認識失敗」、および発光色「第三発光色（例えば赤色）」を通知して、ＬＥＤ１２の点灯を指示する。これを受けて、ＬＥＤ制御部１８は、点灯パターン記憶部１７から認識言語および音声認識処理の状態「認識失敗」に対応付けられた点灯パターンを特定する。そして、第三発光色で、特定した点灯パターンに従い明るさを変化させるように、ＬＥＤ１２をＰＷＭ制御する（Ｓ１６）。これにより、音声操作の受付に失敗したので、音声の再入力が必要であることをユーザに通知する。その後、Ｓ６に戻る。
一方、主制御部１９は、音声認識処理部１６での音声認識処理に成功した場合（Ｓ１３でＹＥＳ）、ＬＥＤ制御部１８に、認識言語、音声認識処理の状態「認識成功」、および発光色「第一発光色」を通知して、ＬＥＤ１２の点灯を指示する。これを受けて、ＬＥＤ制御部１８は、点灯パターン記憶部１７から認識言語および音声認識処理の状態「認識成功」に対応付けられた点灯パターンを特定する。そして、第一発光色で、特定した点灯パターンに従い明るさを変化させるように、ＬＥＤ１２をＰＷＭ制御する（Ｓ１４）。これにより、音声操作の受付に成功したことをユーザに通知する。
それから、主制御部１９は、音声認識処理部１６から受け取った音声認識処理の処理結果が示す命令を実施する（Ｓ１５）。例えば、音声認識処理の処理結果が楽曲名である場合、ネットワークインターフェース部１３を介してメディアサーバ４にアクセスし、メディアサーバ４からこの楽曲名のオーディオデータをダウンロードする。また、音声認識処理の処理結果が再生開始を要求するもの（例えば、日本語ならば「再生」、英語ならば「ＰＬＡＹ」）である場合、オーディオ再生部１４にメディアサーバ４からダウンロードしたオーディオデータの再生開始を指示する。また、音声認識処理の処理結果が再生停止を要求するもの（例えば、日本語ならば「停止」、英語ならば「ＳＴＯＰ」）である場合、オーディオ再生部１４にオーディオデータの再生停止を指示する。また、音声認識処理の処理結果が再生音の音量増大を要求するもの（例えば、日本語ならば「音量増大」、英語ならば「ＶＯＬＵＭＥ ＵＰ」）である場合、オーディオ再生部１４に再生音の音量増大を指示する。また、音声認識処理の処理結果が再生音の音量減少を要求するもの（例えば、日本語ならば「音量減少」、英語ならば「ＶＯＬＵＭＥ ＤＯＷＮ」）である場合、オーディオ再生部１４に再生音の音量減少を指示する。その後、Ｓ６に戻る。
また、主制御部１９は、マイク１１から音声認識処理部１６に音声が入力されることなく（Ｓ７でＮＯ）、所定時間の経過によりタイムアウトした場合（Ｓ８でＹＥＳ）、ＬＥＤ制御部１８に、ＬＥＤ１２の消灯を指示する。これを受けて、ＬＥＤ制御部１８は、ＬＥＤ１２を消灯する（Ｓ９）。その後、Ｓ１に戻る。
以上、本発明の一実施の形態について説明した。
本実施の形態では、時間軸上で明るさを変化させた複数の点灯パターンを準備し、これら複数の点灯パターンを用いてＬＥＤ１２をＰＷＭ制御することにより、音声認識処理の状態を表現するので、ワイヤレススピーカ１の前面に配置された一つのＬＥＤ１２のみで音声認識処理の状態を詳細に表現することができる。したがって、本実施の形態によれば、オーディオ再生環境に影響することなく音声認識処理の状態を詳細に通知可能であり、かつ低コストでデザインの自由度に優れた音声操作受付機能を有するワイヤレススピーカ１を提供することができる。
また、本実施の形態では、音声認識処理の状態毎に、その音声認識処理の状態を表す音声メッセージのイントネーションおよびアクセントに明るさの強弱を同期させた点灯パターンを用いている。このため、点灯パターンによってＰＷＭ制御されたＬＥＤ１２から、この点灯パターンに対応する音声メッセージのイントネーションおよびアクセントを理解することができるので、音声認識処理の状態を直感的に把握することができる。
また、本実施の形態では、音声認識処理の状態が「音声入力待ち」の場合、ＬＥＤ１２を第二発光色で点灯させ、音声認識処理の状態が「認識失敗」の場合、ＬＥＤ１２を第三発光色かつ対応する点灯パターンで点灯させ、音声認識処理の状態が「音声入力待ち」および「認識失敗」以外の場合、すなわち、「音声操作受付開始」、「音声入力」、「音声認識中」および「認識成功」のいずれかである場合、ＬＥＤ１２を第一発光色かつ対応する点灯パターンで点灯させている。したがって、本実施の形態によれば、ＬＥＤ１２の発光色から音声認識処理の状態を把握することもできる。
また、本実施の形態では、マイク１１への入力音声に対する音声認識処理の認識結果が音声操作受付開始の要求を示している場合、以降のマイク１１への入力音声に対する音声認識処理に用いる音声認識辞書データを、この認識結果が表す文章を構成する言語（認識言語）の音声認識辞書データに絞り込んでいる。したがって、本実施の形態によれば、音声認識処理に係る時間を短縮して、効率的な音声認識処理を実施することができる。
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
例えば、上記の実施の形態において、点灯パターンに従ってＬＥＤ１２をＰＷＭ制御する場合に、ＬＥＤ１２の発光色を明るさの強弱に合わせて変化させてもよい。このようにすることで、この点灯パターンに対応する音声メッセージのイントネーションおよびアクセントをより容易に理解することができるので、音声認識処理の状態をさらに直感的に把握することができる。
また、上記の実施の形態では、入力音声の音声認識処理に成功した場合（図５のＳ１３でＹＥＳ）、認識言語および音声認識処理の状態「認識成功」に対応する点灯パターンでＬＥＤ１２をＰＷＭ制御している（図５のＳ１４）。この点灯パターンは、認識言語で音声認識処理の状態「認識成功」を表す音声メッセージのイントネーションおよびアクセントに明るさの強弱を同期させたものであるが、この音声メッセージに音声認識した命令を含めることにより、音声認識した命令の実行をユーザに通知するものとしてもよい。
例えば、音声認識した命令が楽曲名である場合、この楽曲名のオーディオデータのダウンロードを表す音声データ（例えば「ダウンロードします」）のイントネーションおよびアクセントに明るさの強弱を同期させた点灯パターンを用いてＬＥＤ１２をＰＷＭ制御する。また、音声認識した命令が再生開始である場合、再生開始を表す音声データ（例えば「再生します」）のイントネーションおよびアクセントに明るさの強弱を同期させた点灯パターンを用いてＬＥＤ１２をＰＷＭ制御する。また、音声認識した命令が再生停止である場合、再生停止を表す音声データ（例えば「停止します」）のイントネーションおよびアクセントに明るさの強弱を同期させた点灯パターンを用いてＬＥＤ１２をＰＷＭ制御する。また、音声認識した命令が再生音量の増大である場合、音量増大を表す音声データ（例えば「音量アップします」）のイントネーションおよびアクセントに明るさの強弱を同期させた点灯パターンを用いてＬＥＤ１２をＰＷＭ制御する。また、音声認識した命令が再生音量の減少である場合、音量減少を表す音声データ（例えば「音量ダウンします」）のイントネーションおよびアクセントに明るさの強弱を同期させた点灯パターンを用いてＬＥＤ１２をＰＷＭ制御する。
また、上記の実施の形態では、ワイヤレススピーカ１が音声認識処理を実施する場合を例にとり説明した。しかし、本発明はこれに限定されない。
例えば、ネットワーク３に接続された外部サーバ（音声認識サーバ）を用いて、音声認識処理を実施するようにしてもよい。すなわち、主制御部１９は、マイク１１に音声が入力されると、ネットワークインターフェース部１３を介して外部サーバに入力音声の音声データを送信して音声認識処理を依頼する。そして、外部サーバから音声認識処理の処理結果を取得する。この場合、ワイヤレススピーカ１から音声認識辞書データ記憶部１５および音声認識処理部１６を省略することができる。
あるいは、ワイヤレススピーカ１とは別個に設けられた音声入力端末を用いて、音声認識処理を実施するようにしてもよい。すなわち、音声入力端末は、入力音声に音声認識処理を実施して、ユーザから音声操作を受け付ける。そして、受け付けた音声操作に応じた制御命令をワイヤレススピーカ１に送信する。これにより、ワイヤレススピーカ１に、音声入力端末がユーザから受け付けた音声操作に応じた動作を実施させる。
また、上記の実施の形態では、マイク１１への入力音声に対する音声認識処理の認識結果が音声操作受付開始の要求を示している場合、以降のマイク１１への入力音声に対する音声認識処理に用いる音声認識辞書データを、この認識結果が表す文章を構成する言語（認識言語）の音声認識辞書データに絞り込んでいる。しかし、本発明はこれに限定されない。音声操作受付開始の要求以降のマイク１１への入力音声に対する音声認識処理においても、音声認識辞書データの絞り込みを行わないで、利用可能なすべての言語の音声認識辞書データを用いて音声認識処理を実施してもよい。
また、上記の実施の形態において、図２に示すワイヤレススピーカ１の機能構成は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積ロジックＩＣによりハード的に実現されるものでもよいし、あるいはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の計算機によりソフトウエア的に実現されるものでもよい。または、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、メモリと、フラッシュメモリ、ハードディスクドライブ等の補助記憶装置と、無線ＬＡＮアダプタ等の通信装置と、スピーカと、マイクと、を備えたパーソナルコンピュータ等の汎用コンピュータにおいて、ＣＰＵが所定のプログラムを補助記憶装置からメモリ上にロードして実行することにより実現されるものでもよい。
また、上記の実施の形態では、オーディオ装置として、メディアサーバ４からオーディオデータをダウンロードして再生し、スピーカ１０から音声出力するワイヤレススピーカ１を例にとり説明したが、本発明はこれに限定されない。本発明は、音声操作受付機能を有するオーディオ装置に広く適用可能である。
１：ワイヤレススピーカ、 ２：アクセスポイント、 ３：ネットワーク、 ４：メディアサーバ、 １０：スピーカ、 １１：マイク、 １２：ＬＥＤ、 １３：ネットワークインターフェース部、 １４：オーディオ再生部、 １５：音声認識辞書データ記憶部、 １６：音声認識処理部、 １７：点灯パターン記憶部、 １８：ＬＥＤ制御部、 １９：主制御部

Claims (4)

  1. マイクへの入力音声により操作を受け付ける音声操作受付機能を有するオーディオ装置であって、
    ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）と、
    前記ＬＥＤをＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）制御するＬＥＤ制御手段と、
    音声認識処理の状態毎に、時間軸上で明るさを変化させた点灯パターンを記憶する点灯パターン記憶手段と、を備え、
    前記ＬＥＤ制御手段は、
    前記マイクへの入力音声に対する音声認識処理の状態に対応付けられて前記点灯パターン記憶手段に記憶されている点灯パターンに従い、前記ＬＥＤをＰＷＭ制御し、
    前記点灯パターンは、
    明るさの強弱が当該点灯パターンに対応する音声認識処理の状態を表す音声メッセージのイントネーションおよびアクセントに同期している
    ことを特徴とするオーディオ装置。
  2. 請求項１に記載のオーディオ装置であって、
    前記ＬＥＤは、複数色で発光可能であり、
    前記ＬＥＤ制御手段は、
    前記マイクへの入力音声に対する音声認識処理の状態に応じて前記ＬＥＤの発光色を制御する
    ことを特徴とするオーディオ装置。
  3. 請求項１または２に記載のオーディオ装置であって、
    言語毎に音声認識辞書データが記憶された辞書データ記憶手段と、
    前記辞書データ記憶手段に記憶されている音声認識辞書データを用いて、前記マイクへの入力音声に対する音声認識処理を実施する音声認識処理手段と、をさらに備え、
    前記音声認識処理手段は、
    前記マイクへの入力音声に対する音声認識処理の認識結果が音声操作の受付開始の要求を示している場合、以降の前記マイクへの入力音声に対する音声認識処理に用いる音声認識辞書データを、当該認識結果が表す文章を構成する言語の音声認識辞書データに絞り込む
    ことを特徴とするオーディオ装置。
  4. コンピュータで読み取り可能なプログラムであって、
    前記コンピュータは、マイクおよびＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を備え、
    前記プログラムは、前記コンピュータを、前記マイクへの入力音声により操作を受け付ける音声操作受付機能を有するオーディオ装置として機能させ、
    前記オーディオ装置は、
    前記ＬＥＤをＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）制御するＬＥＤ制御手段と、
    音声認識処理の状態毎に、時間軸上で明るさを変化させた点灯パターンを記憶する点灯パターン記憶手段と、を備え、
    前記ＬＥＤ制御手段は、
    前記マイクへの入力音声に対する音声認識処理の状態に対応付けられて前記点灯パターン記憶手段に記憶されている点灯パターンに従い、前記ＬＥＤをＰＷＭ制御し、
    前記点灯パターンは、
    明るさの強弱が当該点灯パターンに対応する音声認識処理の状態を表す音声メッセージのイントネーションおよびアクセントに同期している
    ことを特徴とするコンピュータで読み取り可能なプログラム。
JP2017156673A 2017-08-14 2017-08-14 オーディオ装置およびコンピュータで読み取り可能なプログラム Active JP6893150B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017156673A JP6893150B2 (ja) 2017-08-14 2017-08-14 オーディオ装置およびコンピュータで読み取り可能なプログラム
PCT/JP2018/009883 WO2019035235A1 (ja) 2017-08-14 2018-03-14 オーディオ装置およびコンピュータで読み取り可能なプログラム
US16/638,540 US11315561B2 (en) 2017-08-14 2018-03-14 Audio device and computer readable program
EP18846799.7A EP3671431A4 (en) 2017-08-14 2018-03-14 AUDIO DEVICE AND COMPUTER READABLE PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017156673A JP6893150B2 (ja) 2017-08-14 2017-08-14 オーディオ装置およびコンピュータで読み取り可能なプログラム

Publications (3)

Publication Number Publication Date
JP2019036103A JP2019036103A (ja) 2019-03-07
JP2019036103A5 JP2019036103A5 (ja) 2020-05-14
JP6893150B2 true JP6893150B2 (ja) 2021-06-23

Family

ID=65362801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017156673A Active JP6893150B2 (ja) 2017-08-14 2017-08-14 オーディオ装置およびコンピュータで読み取り可能なプログラム

Country Status (4)

Country Link
US (1) US11315561B2 (ja)
EP (1) EP3671431A4 (ja)
JP (1) JP6893150B2 (ja)
WO (1) WO2019035235A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6893150B2 (ja) * 2017-08-14 2021-06-23 株式会社ディーアンドエムホールディングス オーディオ装置およびコンピュータで読み取り可能なプログラム
USD921612S1 (en) 2019-05-16 2021-06-08 Harman International Industries, Incorporated Illuminated loudspeaker
CN110569070A (zh) * 2019-07-22 2019-12-13 上海闻泰信息技术有限公司 灯光显示方法、装置、设备及存储介质
JP7440742B2 (ja) 2019-12-24 2024-02-29 株式会社ノーリツ 給湯システム
US20230328867A1 (en) * 2020-08-21 2023-10-12 Harman International Industries, Incorporated Method and system for lighting interaction
CN113890918A (zh) * 2021-11-12 2022-01-04 深圳康佳电子科技有限公司 多点式远场语音交互设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4107462A (en) * 1977-06-09 1978-08-15 Satya Pal Asija Electroventriloquist
JP2000106588A (ja) 1998-09-28 2000-04-11 Brother Ind Ltd 音声応答機能付電話装置
JP2000194393A (ja) * 1998-12-25 2000-07-14 Kojima Press Co Ltd 音声認識制御装置
JP2001210114A (ja) * 2000-01-24 2001-08-03 Ruasurekuna:Kk 発光装置
US7095981B1 (en) * 2000-04-04 2006-08-22 Great American Technologies Low power infrared portable communication system with wireless receiver and methods regarding same
US20050275626A1 (en) * 2000-06-21 2005-12-15 Color Kinetics Incorporated Entertainment lighting system
DE60137225D1 (de) * 2000-06-29 2009-02-12 Koninkl Philips Electronics Nv Sprachsqualitätsschätzung für off-line spracherkennung
AU2007312942A1 (en) 2006-10-17 2008-04-24 Altec Lansing Australia Pty Ltd Unification of multimedia devices
KR100891120B1 (ko) * 2008-09-01 2009-04-03 그로위드(주) 전기/전자기기의 감각소자 구동 및 제어용 패턴 파일 형성 방법과 패턴 파일을 이용한 전기/전자기기의 감각소자 구동 및 제어장치
KR101470015B1 (ko) * 2008-10-21 2014-12-08 현대자동차주식회사 스피커 조명 장치와 그 제어 방법
JP5477992B2 (ja) * 2009-12-08 2014-04-23 株式会社小糸製作所 警告灯
JP5250066B2 (ja) * 2011-03-04 2013-07-31 東芝テック株式会社 情報処理装置およびプログラム
US20140323183A1 (en) * 2012-08-02 2014-10-30 Eric Albert Klein Hinged Miniature Wireless Headset
JP2014108159A (ja) * 2012-11-30 2014-06-12 Panasonic Corp 頭皮ケア装置
CN103152925A (zh) * 2013-02-01 2013-06-12 浙江生辉照明有限公司 一种多功能led装置及多功能无线会议***
JP5593417B1 (ja) * 2013-04-30 2014-09-24 株式会社サンステート 色覚異常者用照明装置
JP2014219614A (ja) * 2013-05-10 2014-11-20 アルパイン株式会社 オーディオ装置、ビデオ装置及びコンピュータプログラム
CN104154439A (zh) * 2014-07-29 2014-11-19 浙江生辉照明有限公司 智能led照明装置及基于该装置的远程视频聊天***
US9641919B1 (en) * 2014-09-30 2017-05-02 Amazon Technologies, Inc. Audio assemblies for electronic devices
US9900957B2 (en) * 2015-06-11 2018-02-20 Cree, Inc. Lighting device including solid state emitters with adjustable control
US9854654B2 (en) * 2016-02-03 2017-12-26 Pqj Corp System and method of control of a programmable lighting fixture with embedded memory
US10176805B2 (en) * 2016-09-21 2019-01-08 John A. Carlin Networked audible and visual alarm light system and method with voice command control and base station having alarm for smoke, carbon monoxide and gas
KR20180037543A (ko) * 2016-10-04 2018-04-12 삼성전자주식회사 음성 인식 전자 장치
JP6893150B2 (ja) * 2017-08-14 2021-06-23 株式会社ディーアンドエムホールディングス オーディオ装置およびコンピュータで読み取り可能なプログラム
US10660187B1 (en) * 2019-09-19 2020-05-19 Brian Zima Smartphone controlled accent lighting system and associated method of operation

Also Published As

Publication number Publication date
JP2019036103A (ja) 2019-03-07
US11315561B2 (en) 2022-04-26
EP3671431A1 (en) 2020-06-24
WO2019035235A1 (ja) 2019-02-21
US20210151044A1 (en) 2021-05-20
EP3671431A4 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
JP6893150B2 (ja) オーディオ装置およびコンピュータで読み取り可能なプログラム
US20140108017A1 (en) Multi-Tiered Voice Feedback in an Electronic Device
KR20210016815A (ko) 복수의 지능형 에이전트를 관리하는 전자 장치 및 그의 동작 방법
US9786294B1 (en) Visual indication of an operational state
WO2007095591A2 (en) Voice command interface device
US11475892B2 (en) Speech control system, speech control method, image processing apparatus, speech control apparatus, and storage medium
US11188714B2 (en) Electronic apparatus, method for controlling the same, and storage medium for the same
JP6555553B2 (ja) 翻訳装置
US8780095B2 (en) Projector and control method
JP2005241971A (ja) プロジェクタシステム、マイク装置、プロジェクタ制御装置およびプロジェクタ
KR20210061091A (ko) 인텔리전트 어시스턴스 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
EP4220633A3 (en) Electronic device and method for controlling the electronic device
JP7459760B2 (ja) 表示システムの制御方法、表示システム
US20220382513A1 (en) Display system, display device, and control method for display device
KR20220046964A (ko) 멀티 챗봇을 이용하여 질의에 응답하는 전자 장치 및 그 제어 방법
JPWO2018066097A1 (ja) 照明制御装置
JP2010072895A (ja) 情報処理装置、入力支援方法および入力支援プログラム
EP4213503A1 (en) Audio device
WO2020069979A1 (en) Determining one or more light effects by looking ahead in a book
JP2016091487A (ja) 表示装置および表示制御方法
KR20190093268A (ko) 디바이스 제어 방법 및 그 장치
KR102360011B1 (ko) 인공지능 서비스 디바이스 및 그 디스플레이 처리 방법
US9191742B1 (en) Enhancing audio at a network-accessible computing platform
JP6258002B2 (ja) 音声認識システムおよび音声認識システムの制御方法
KR20130010210A (ko) 회의진행 제어장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200327

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210531

R150 Certificate of patent or registration of utility model

Ref document number: 6893150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150