JPWO2015098079A1 - 音声認識処理装置、音声認識処理方法、および表示装置 - Google Patents

音声認識処理装置、音声認識処理方法、および表示装置 Download PDF

Info

Publication number
JPWO2015098079A1
JPWO2015098079A1 JP2015554558A JP2015554558A JPWO2015098079A1 JP WO2015098079 A1 JPWO2015098079 A1 JP WO2015098079A1 JP 2015554558 A JP2015554558 A JP 2015554558A JP 2015554558 A JP2015554558 A JP 2015554558A JP WO2015098079 A1 JPWO2015098079 A1 JP WO2015098079A1
Authority
JP
Japan
Prior art keywords
information
voice
unit
command
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015554558A
Other languages
English (en)
Other versions
JP6244560B2 (ja
Inventor
智弘 小金井
智弘 小金井
小沼 知浩
知浩 小沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2015098079A1 publication Critical patent/JPWO2015098079A1/ja
Application granted granted Critical
Publication of JP6244560B2 publication Critical patent/JP6244560B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/083Recognition networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/32Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

音声操作の操作性を向上する。そのために、音声認識処理装置(100)において、音声処理部(102)は、音声情報をコマンド情報に変換する。音声認識部(50)は、音声情報を文字列情報に変換する。意図解釈処理部(104)は、文字列情報から予約語情報とフリーワード情報とを選別する。記憶部は、コマンド情報、予約語情報、およびフリーワード情報を記憶する。検索処理部(107)は、コマンド情報、予約語情報、およびフリーワード情報にもとづく検索処理を実行する。検索処理部(107)は、コマンド情報、予約語情報、およびフリーワード情報のうち1つまたは2つの不足情報があれば、その不足情報を記憶部(170)から読み出して検索処理を実行する。

Description

本開示は、ユーザが発した音声を認識して動作する音声認識処理装置、音声認識処理方法、および表示装置に関する。
特許文献1は、音声認識機能を有する音声入力装置を開示する。この音声入力装置は、ユーザが発した音声を受信し、受信した音声を解析することによりユーザの音声が示す命令を認識(音声認識)し、音声認識した命令に応じて機器を制御するように構成されている。すなわち、特許文献1の音声入力装置は、ユーザが任意に発した音声を音声認識し、その音声認識した結果である命令(コマンド)に応じて機器を制御することができる。
例えば、この音声入力装置を使用するユーザは、テレビジョン受像機(以下、「テレビ」と記す)やPC(Personal Computer)などでブラウザを操作しているときに、ブラウザ上に表示されているハイパーテキストの選択を、この音声入力装置の音声認識機能を利用して行うことができる。また、ユーザは、検索サービスを提供するウェブサイト(検索サイト)上での検索を、この音声認識機能を利用して行うこともできる。
日本国特許第4812941号公報
本開示は、ユーザの操作性を向上する音声認識処理装置および音声認識処理方法を提供する。
本開示における音声認識処理装置は、音声取得部と、第1音声認識部と、第2音声認識部と、選別部と、記憶部と、処理部と、を備えている。音声取得部は、ユーザが発する音声を取得して音声情報を出力するように構成されている。第1音声認識部は、音声情報を第1情報に変換するように構成されている。第2音声認識部は、音声情報を第2情報に変換するように構成されている。選別部は、第2情報から第3情報と第4情報とを選別するように構成されている。記憶部は、第1情報、第3情報、および第4情報を記憶するように構成されている。処理部は、第1情報、第3情報、および第4情報にもとづく処理を実行するように構成されている。そして、処理部は、第1情報、第3情報、および第4情報のうち1つまたは2つの不足情報があれば、その不足情報を記憶部に記憶された情報を用いて補完して処理を実行するように構成されている。
本開示における音声認識処理方法は、ユーザが発する音声を取得して音声情報に変換するステップと、音声情報を第1情報に変換するステップと、音声情報を第2情報に変換するステップと、第2情報から第3情報と第4情報とを選別するステップと、第1情報、第3情報、および第4情報を記憶部に記憶するステップと、第1情報、第3情報、および第4情報にもとづく処理を実行するステップと、第1情報、第3情報、および第4情報のうち1つまたは2つの不足情報があれば、記憶部に記憶された情報を用いて補完するステップと、を備える。
本開示における表示装置は、音声取得部と、第1音声認識部と、第2音声認識部と、選別部と、記憶部と、処理部と、表示部と、を備えている。音声取得部は、ユーザが発する音声を取得して音声情報を出力するように構成されている。第1音声認識部は、音声情報を第1情報に変換するように構成されている。第2音声認識部は、音声情報を第2情報に変換するように構成されている。選別部は、第2情報から第3情報と第4情報とを選別するように構成されている。記憶部は、第1情報、第3情報、および第4情報を記憶するように構成されている。処理部は、第1情報、第3情報、および第4情報にもとづく処理を実行するように構成されている。表示部は、処理部における処理結果を表示するように構成されている。そして、処理部は、第1情報、第3情報、および第4情報のうち1つまたは2つの不足情報があれば、その不足情報を記憶部に記憶された情報を用いて補完して処理を実行するように構成されている。
本開示における音声認識処理装置は、ユーザが音声操作するときの操作性を向上することができる。
図1は、実施の形態1における音声認識処理システムを概略的に示す図である。 図2は、実施の形態1における音声認識処理システムの一構成例を示すブロック図である。 図3は、実施の形態1における音声認識処理システムで行うディクテーションの概要を示す図である。 図4は、実施の形態1における音声認識処理装置で行うキーワード単一検索処理の一動作例を示すフローチャートである。 図5は、実施の形態1における音声認識処理装置で行うキーワード連想検索処理の一動作例を示すフローチャートである。 図6は、実施の形態1における音声認識処理装置で行う音声認識解釈処理の一動作例を示すフローチャートである。 図7は、実施の形態1における音声認識処理装置の予約語テーブルの一例を概略的に示す図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1)
以下、図1〜図7を用いて、実施の形態1を説明する。なお、本実施の形態では、音声認識処理装置を備えた表示装置の一例としてテレビジョン受像機(テレビ)10を挙げているが、表示装置は何らテレビ10に限定されるものではない。例えば、PCやタブレット端末等であってもよい。
[1−1.構成]
図1は、実施の形態1における音声認識処理システム11を概略的に示す図である。本実施の形態では、表示装置の一例であるテレビ10に音声認識処理装置が内蔵されている。
本実施の形態における音声認識処理システム11は、テレビ10と、音声認識部50と、を備える。また、音声認識処理システム11は、リモートコントローラ(以下、「リモコン」とも記す)20と携帯端末30の少なくとも一方を備えていてもよい。
テレビ10で音声認識処理装置が起動すると、テレビ10の表示部140には、入力映像信号や受信された放送信号等にもとづく映像とともに、音声認識アイコン201と、集音されている音声の音量を示すインジケータ202と、が表示される。これは、ユーザ700の音声にもとづくテレビ10の操作(以下、「音声操作」と記す)が可能な状態になったことをユーザ700に示すとともに、ユーザ700に発話を促すためである。
ユーザ700が音声を発すると、その音声は、ユーザ700が使用するリモートコントローラ20や携帯端末30に内蔵されたマイクで集音され、テレビ10に転送される。そして、ユーザ700が発した音声がテレビ10に内蔵された音声認識処理装置で音声認識される。テレビ10では、その音声認識の結果に応じてテレビ10の制御が行われる。
テレビ10は、内蔵マイク130を備えていてもよい。その場合、テレビ10が備える内蔵マイク130に向かってユーザ700が発話すると、その音声は内蔵マイク130で集音され、音声認識処理装置で音声認識される。したがって、音声認識処理システム11を、リモートコントローラ20および携帯端末30を備えない構成にすることも可能である。
また、テレビ10は、ネットワーク40を介して音声認識部50に接続されている。そして、テレビ10と音声認識部50との間で通信することができる。
図2は、実施の形態1における音声認識処理システム11の一構成例を示すブロック図である。
テレビ10は、音声認識処理装置100と、表示部140と、送受信部150と、チューナ160と、記憶部171と、内蔵マイク130と、無線通信部180と、を有する。
音声認識処理装置100は、ユーザ700が発する音声を取得し、取得した音声を解析するように構成されている。そして、その音声が示すキーワードおよびコマンドを認識し、認識した結果に応じてテレビ10の制御を行うように構成されている。音声認識処理装置100の具体的な構成については後述する。
内蔵マイク130は、主に表示部140の表示面に対向する方向から来る音声を集音するように構成されたマイクである。すなわち、内蔵マイク130は、テレビ10の表示部140に対面しているユーザ700が発する音声を集音できるように集音方向が設定されており、ユーザ700が発した音声を集音することが可能である。内蔵マイク130は、テレビ10の筐体内に設けられていてもよく、図1に一例を示したようにテレビ10の筐体外に設置されていてもよい。
リモートコントローラ20は、テレビ10をユーザ700が遠隔操作するためのコントローラである。リモートコントローラ20は、テレビ10の遠隔操作に必要な一般的な構成に加え、マイク21および入力部22を有する。マイク21は、ユーザ700が発した音声を集音し、音声信号を出力するように構成されている。入力部22は、ユーザ700が手動で行う入力操作を受け付け、入力操作に応じた入力信号を出力するように構成されている。入力部22は、例えばタッチパッドであるが、キーボードやボタン等であってもよい。マイク21で集音された音声により生じる音声信号、または、ユーザ700が入力部22に入力操作することで生じる入力信号は、例えば赤外線や電波等によってテレビ10に無線送信される。
表示部140は、例えば液晶ディスプレイであるが、プラズマディスプレイ、または有機EL(ElectroLuminescence)ディスプレイ等であってもよい。表示部140は、表示制御部108によって制御され、外部からの入力映像信号やチューナ160で受信された放送信号等にもとづく画像が表示される。
送受信部150は、ネットワーク40に接続されており、ネットワーク40に接続された外部機器(例えば、音声認識部50)と、ネットワーク40を通して通信を行うように構成されている。
チューナ160は、地上放送や衛星放送のテレビジョン放送信号をアンテナ(図示せず)を介して受信するように構成されている。チューナ160は、専用ケーブルを介して送信されるテレビジョン放送信号を受信するように構成されていてもよい。
記憶部171は、例えば不揮発性の半導体メモリであるが、揮発性の半導体メモリ、またはハードディスク、等であってもよい。記憶部171は、テレビ10の各部の制御に用いられる情報(データ)やプログラム等を記憶している。
携帯端末30は、例えばスマートフォンであり、テレビ10を遠隔操作するためのソフトウエアの動作が可能である。したがって、本実施の形態における音声認識処理システム11では、そのソフトウエアが動作している携帯端末30をテレビ10の遠隔操作に使用することができる。携帯端末30は、マイク31および入力部32を有する。マイク31は、携帯端末30に内蔵されたマイクであり、リモートコントローラ20に備えられたマイク21と同様に、ユーザ700が発した音声を集音し、音声信号を出力するように構成されている。入力部32は、ユーザ700が手動で行う入力操作を受け付け、入力操作に応じた入力信号を出力するように構成されている。入力部32は、例えばタッチパネルであるが、キーボードやボタン等であってもよい。そのソフトウエアが動作している携帯端末30は、リモートコントローラ20と同様に、マイク31で集音された音声による音声信号、または、ユーザ700が入力部32に入力操作することで生じる入力信号を、例えば赤外線や電波等によってテレビ10に無線送信する。
テレビ10と、リモートコントローラ20または携帯端末30とは、例えば、無線LAN(Local Area Network)、Bluetooth(登録商標)等の無線通信により接続されている。
ネットワーク40は、例えばインターネットであるが、他のネットワークであってもよい。
音声認識部50は、ネットワーク40を介してテレビ10と接続されるサーバ(クラウド上のサーバ)である。音声認識部50は、テレビ10から送信されてくる音声情報を受信し、受信した音声情報を文字列に変換する。なお、この文字列は、複数の文字であってもよく、1文字であってもよい。そして、音声認識部50は、変換後の文字列を示す文字列情報を、音声認識の結果として、ネットワーク40を介してテレビ10に送信する。
音声認識処理装置100は、音声取得部101と、音声処理部102と、認識結果取得部103と、意図解釈処理部104と、ワード記憶処理部105と、コマンド処理部106と、検索処理部107と、表示制御部108と、操作受付部110と、記憶部170と、を有する。
記憶部170は、例えば不揮発性の半導体メモリであるが、揮発性の半導体メモリ、またはハードディスク、等であってもよい。記憶部170は、ワード記憶処理部105によって制御され、任意にデータの書き込みと読み出しが可能である。また、記憶部170は、音声処理部102により参照される情報(例えば、後述する「音声−コマンド」対応情報)等も記憶している。「音声−コマンド」対応情報は、音声情報とコマンドとを対応付けた情報である。なお、記憶部170と記憶部171とは、一体に構成されていてもよい。
音声取得部101は、ユーザ700が発した音声による音声信号を取得する。音声取得部101は、ユーザ700が発した音声による音声信号を、テレビ10の内蔵マイク130から取得してもよいし、あるいは、リモートコントローラ20に内蔵されたマイク21、または携帯端末30に内蔵されたマイク31から、無線通信部180を介して取得してもよい。そして、音声取得部101は、その音声信号を、後段での各種処理に用いることができる音声情報に変換し、音声処理部102に出力する。なお、音声取得部101は、音声信号がデジタル信号であれば、その音声信号をそのまま音声情報として用いてもよい。
音声処理部102は、「第1音声認識部」の一例である。音声処理部102は、音声情報を、「第1情報」の一例であるコマンド情報に変換するように構成されている。音声処理部102は、「コマンド認識処理」を行う。「コマンド認識処理」とは、音声取得部101から取得した音声情報に、予め設定されたコマンドが含まれているかどうかを判断し、含まれている場合はそのコマンドを特定する処理である。具体的には、音声処理部102は、音声取得部101から取得した音声情報にもとづき、予め記憶部170に記憶されている「音声−コマンド」対応情報を参照する。「音声−コマンド」対応情報は、音声情報と、テレビ10に対する指示情報であるコマンドとが関連付けられた対応表である。コマンドには複数の種類があり、それぞれのコマンドに互いに異なる音声情報が対応付けられている。音声処理部102は、「音声−コマンド」対応情報を参照し、音声取得部101から取得した音声情報に含まれるコマンドを特定できれば、音声認識の結果として、そのコマンドを表す情報(コマンド情報)を認識結果取得部103に出力する。
また、音声処理部102は、音声取得部101から取得した音声情報を、送受信部150からネットワーク40を介して音声認識部50に送信する。
音声認識部50は、「第2音声認識部」の一例である。音声認識部50は、音声情報を、「第2情報」の一例である文字列情報に変換するように構成されており、「キーワード認識処理」を行う。音声認識部50は、テレビ10から送信されてくる音声情報を受信すると、キーワードとキーワード以外(例えば、助詞、等)とを区別するために、その音声情報を文節毎に区切り、各文節をそれぞれ文字列へ変換(以下、「ディクテーション」という)する。そして、音声認識部50は、ディクテーション後の文字列の情報(文字列情報)を、音声認識の結果としてテレビ10に送信する。音声認識部50は、受信した音声情報からコマンド以外の音声情報を取得してもよく、または、受信した音声情報からコマンド以外の音声情報を文字列に変換して返信してもよい。あるいは、テレビ10から音声認識部50へコマンドを除く音声情報を送信してもよい。
認識結果取得部103は、音声処理部102から、音声認識の結果としてのコマンド情報を取得する。また、認識結果取得部103は、音声認識部50から、音声認識の結果としての文字列情報を、ネットワーク40および送受信部150を介して、取得する。
意図解釈処理部104は、「選別部」の一例である。意図解釈処理部104は、文字列情報から、「第3情報」の一例である予約語情報と、「第4情報」の一例であるフリーワード情報と、を選別するように構成されている。意図解釈処理部104は、認識結果取得部103からコマンド情報と文字列情報とを取得すると、文字列情報から「フリーワード」と「予約語」を選別する。そして、選別されたフリーワードと予約語、およびコマンド情報にもとづき、ユーザ700が発話した音声操作の意図を特定するための意図解釈を行う。この動作の詳細は後述する。意図解釈処理部104は、意図解釈されたコマンド情報をコマンド処理部106に出力する。また、フリーワードを表すフリーワード情報、予約語を表す予約語情報、およびコマンド情報を、ワード記憶処理部105へ出力する。意図解釈処理部104は、フリーワード情報、および予約語情報をコマンド処理部106に出力してもよい。
ワード記憶処理部105は、意図解釈処理部104から出力されるコマンド情報、フリーワード情報、予約語情報を、記憶部170に記憶する。
コマンド処理部106は、「処理部」の一例である。コマンド処理部106は、コマンド情報、予約語情報、およびフリーワード情報にもとづく処理を実行するように構成されている。コマンド処理部106は、意図解釈処理部104により意図解釈されたコマンド情報に対応するコマンド処理を行う。また、コマンド処理部106は、操作受付部110で受け付けられたユーザ操作に対応するコマンド処理を行う。
さらに、コマンド処理部106は、ワード記憶処理部105により記憶部170に記憶されたコマンド情報、フリーワード情報、および予約語情報、の1つまたは2つにもとづく新たなコマンド処理を行うこともある。すなわち、コマンド処理部106は、コマンド情報、予約語情報、およびフリーワード情報のうち1つまたは2つの不足情報があれば、その不足情報を記憶部170に記憶された情報を用いて補完して、コマンド処理を実行するように構成されている。この詳細は、後述する。
検索処理部107は、「処理部」の一例である。検索処理部107は、コマンド情報が検索コマンドであれば、予約語情報、およびフリーワード情報にもとづく検索処理を実行するように構成されている。検索処理部107は、コマンド情報が、予め設定されたアプリケーションに関連付けられた検索コマンドに対応したものであれば、そのアプリケーションで、フリーワード情報および予約語情報にもとづく検索を行う。
例えば、検索処理部107は、コマンド情報が、予め設定されたアプリケーションの一つであるインターネット検索アプリケーションに関連付けられた検索コマンドであれば、そのインターネット検索アプリケーションで、フリーワード情報および予約語情報にもとづく検索を行う。
あるいは、検索処理部107は、コマンド情報が、予め設定されたアプリケーションの一つである番組表アプリケーションに関連付けられた検索コマンドであれば、その番組表アプリケーションで、フリーワード情報および予約語情報にもとづく検索を行う。
また、検索処理部107は、コマンド情報が、予め設定されたアプリケーションに関連付けられた検索コマンドでなければ、そのフリーワード情報および予約語情報にもとづく検索を行うことができる全てのアプリケーション(検索可能アプリケーション)で、そのフリーワード情報および予約語情報にもとづく検索を行う。
なお、検索処理部107は、予約語情報およびフリーワード情報のうち1つまたは2つの不足情報があれば、その不足情報を記憶部170に記憶された情報を用いて補完して、検索処理を実行するように構成されている。また、不足情報がコマンド情報であり、直前のコマンド処理が検索処理部107における検索処理であれば、検索処理を再度実行する。
表示制御部108は、検索処理部107における検索の結果を、表示部140に表示する。例えば、表示制御部108は、インターネット検索アプリケーションでのキーワード検索の結果や、番組表アプリケーションでのキーワード検索の結果、または検索可能アプリケーションでのキーワード検索の結果を、表示部140に表示する。
操作受付部110は、ユーザ700がリモートコントローラ20の入力部22で行った入力操作により生じる入力信号、または、ユーザ700が携帯端末30の入力部32で行った入力操作による入力信号を、リモートコントローラ20または携帯端末30から無線通信部180を介して受信する。こうして、操作受付部110は、ユーザ700が行った操作(ユーザ操作)を受け付ける。
[1−2.動作]
次に、本実施の形態におけるテレビ10の音声認識処理装置100の動作について説明する。
まず、テレビ10の音声認識処理装置100による音声認識処理の開始方法について説明する。音声認識処理の開始方法としては、主に、以下の2つの方法が挙げられる。
1つ目の開始方法は、次の通りである。ユーザ700は、音声認識処理を開始するために、リモートコントローラ20に設けられた入力部22の1つであるマイクボタン(図示せず)を押す。ユーザ700が、リモートコントローラ20のマイクボタンを押せば、テレビ10では、操作受付部110が、リモートコントローラ20のマイクボタンが押されたことを受け付ける。そして、テレビ10は、テレビ10のスピーカ(図示せず)の音量を、予め設定された音量に変更する。この音量は、マイク21による音声認識を妨げない程度の、十分に小さい音量である。そして、テレビ10のスピーカの音量が予め設定された音量になれば、音声認識処理装置100は音声認識処理を開始する。このとき、テレビ10は、スピーカの音量が予め設定された音量以下であれば、上記の音量調整を行う必要はないので、音量をそのままにする。
なお、この方法には、リモートコントローラ20に代えて、携帯端末30(例えば、タッチパネルを備えるスマートフォン)を使用することもできる。その場合、ユーザ700は、携帯端末30に備えられたソフトウエア(テレビ10を音声操作するためのソフトウエア)を起動し、そのソフトウエアが動作することでタッチパネルに表示されるマイクボタンを押す。このユーザ動作が、リモートコントローラ20のマイクボタンを押すユーザ動作に相当する。これにより、音声認識処理装置100は音声認識処理を開始する。
2つ目の開始方法は、次の通りである。ユーザ700は、テレビ10の内蔵マイク130に対して、予め設定された音声認識処理を開始するコマンド(開始コマンド)を表す音声(例えば、「音声操作開始」、等)を発話する。内蔵マイク130により集音された音声は予め設定された開始コマンドである、と音声認識処理装置100が認識すれば、テレビ10は、上述と同様にスピーカの音量を予め設定された音量に変更し、音声認識処理装置100による音声認識処理が開始される。
なお、上記の方法を組み合わせて、音声認識処理の開始方法としてもよい。
なお、テレビ10におけるこれらの制御は、テレビ10の各ブロックを制御する制御部(図示せず)によって行われるものとする。
音声認識処理装置100による音声認識処理が開始されれば、表示制御部108は、ユーザ700に発話を促すために、音声認識処理が開始されユーザ700による音声操作が可能になったことを示す音声認識アイコン201と、集音されている音声の音量を示すインジケータ202とを、表示部140の画像表示面に表示する。
なお、表示制御部108は、音声認識アイコン201に代えて、音声認識処理が開始されたことを示すメッセージを表示部140に表示してもよい。あるいは、音声認識処理が開始されたことを示すメッセージをスピーカから音声で出力してもよい。
なお、音声認識アイコン201およびインジケータ202は、何ら図1に示すデザインに限定されるものではない。目的とする効果が得られるものであれば、どのようなデザインであってもよい。
次に、テレビ10の音声認識処理装置100で行う音声認識処理について説明する。
本実施の形態において、音声認識処理装置100は、2種類の音声認識処理を行う。1つは、予め設定されているコマンドに対応する音声を認識するための音声認識処理(コマンド認識処理)である。もう1つは、予め設定されているコマンド以外のキーワードを認識するための音声認識処理(キーワード認識処理)である。
コマンド認識処理は、上述したように、音声処理部102で行われる。音声処理部102は、テレビ10に対してユーザ700が発した音声にもとづく音声情報を、予め記憶部170に記憶された「音声−コマンド」対応情報と比較する。そして、その音声情報に、「音声−コマンド」対応情報に登録されたコマンドがあれば、そのコマンドを特定する。なお、「音声−コマンド」対応情報には、テレビ10を操作するための様々なコマンドが登録されており、例えば、フリーワード検索の操作コマンド等も登録されている。
キーワード認識処理は、上述したように、ネットワーク40を介してテレビ10に接続されている音声認識部50を利用して行われる。音声認識部50は、音声情報を、テレビ10からネットワーク40を介して取得する。そして、音声認識部50は、取得した音声情報を文節毎に区切り、キーワードとキーワード以外(例えば、助詞、等)とに分ける。こうして、音声認識部50はディクテーションを行う。音声認識部50は、ディクテーションを行う際に、音声情報と文字列(1文字も含む)とを対応付けたデータベースを用いる。音声認識部50は、取得した音声情報を、そのデータベースと比較することによりキーワードとキーワード以外とに分離し、それぞれを文字列に変換する。
なお、本実施の形態では、音声認識部50は、音声取得部101で取得された全ての音声(音声情報)をテレビ10から受信し、それら全ての音声情報に対してディクテーションを行い、その結果の全ての文字列情報をテレビ10へ送信するように構成されている。しかし、テレビ10の音声処理部102は、「音声−コマンド」対応情報によって音声認識されたコマンド以外の音声情報を音声認識部50に送信するように構成されていてもよい。
次に、図3を用いてキーワード認識処理について説明する。
図3は、実施の形態1における音声認識処理システム11で行うディクテーションの概要を示す図である。
図3には、テレビ10の表示部140にウェブブラウザが表示された状態を示す。例えば、ユーザ700がウェブブラウザのインターネット検索アプリケーションでキーワードによる検索(キーワード検索)を行うとき、音声認識処理装置100で音声認識処理が開始すると、図3に一例として示す画像が表示部140に表示される。
入力欄203は、ウェブブラウザ上で検索に用いるキーワードを入力するための領域である。入力欄203にカーソルが表示されていれば、ユーザ700は、入力欄203にキーワードを入力することができる。
この状態で、ユーザ700がリモートコントローラ20または携帯端末30またはテレビ10の内蔵マイク130に向かって発話すると、その音声による音声信号は、音声取得部101に入力され、音声情報に変換される。そして、その音声情報は、テレビ10から、ネットワーク40を介して音声認識部50に送信される。例えば、ユーザ700が「ABC」と発話すれば、その音声にもとづく音声情報が、テレビ10から音声認識部50に送信される。
音声認識部50は、テレビ10から受信した音声情報を、データベースと比較することで文字列に変換する。そして、音声認識部50は、受信した音声情報による音声認識の結果として、その文字列の情報(文字列情報)を、ネットワーク40を介してテレビ10に送信する。音声認識部50は、受信した音声情報が「ABC」という音声によるものであれば、その音声情報をデータベースと比較して「ABC」という文字列に変換し、その文字列情報をテレビ10に送信する。
テレビ10は、音声認識部50から文字列情報を受信すると、その文字列情報にもとづき認識結果取得部103、意図解釈処理部104、コマンド処理部106、表示制御部108を動作させて、その文字列情報に対応した文字列を入力欄203に表示する。例えば、テレビ10は、「ABC」という文字列に対応した文字列情報を音声認識部50から受信すると、入力欄203に「ABC」という文字列を表示する。
そして、テレビ10の表示部140に表示されたウェブブラウザは、入力欄203に表示された文字列によるキーワード検索を行う。
次に、本実施の形態の音声認識処理装置100で行うキーワード単一検索処理とキーワード連想検索処理について、図4〜図7を用いて説明する。
図4は、実施の形態1における音声認識処理装置100で行うキーワード単一検索処理の一動作例を示すフローチャートである。
図5は、実施の形態1における音声認識処理装置100で行うキーワード連想検索処理の一動作例を示すフローチャートである。
図6は、実施の形態1における音声認識処理装置100で行う音声認識解釈処理の一動作例を示すフローチャートである。図6に示すフローチャートは、図4および図5に示した各検索処理における音声認識解釈処理ステップの詳細を示すフローチャートである。
図7は、実施の形態1における音声認識処理装置100の予約語テーブルの一例を概略的に示す図である。
本実施の形態における音声認識処理装置100では、図4に示すキーワード単一検索処理の音声認識解釈処理(ステップS101)と、図5に示すキーワード連想検索処理の音声認識解釈処理(ステップS201)とで、実質的に同じ処理を行う。まず、この音声認識解釈処理を、図6を用いて説明する。
上述したように、テレビ10では、ユーザ700が、例えばリモートコントローラ20のマイクボタンを押す等することで、音声認識処理装置100の音声認識処理が開始される。
この状態で、ユーザ700が発話すると、ユーザ700の音声は、内蔵マイク130、またはリモートコントローラ20のマイク21、または携帯端末30のマイク31、により音声信号に変換され、その音声信号が音声取得部101に入力される。こうして音声取得部101はユーザ700の音声信号を取得する(ステップS301)。
音声取得部101は、取得したユーザ700の音声信号を、後段での各種処理に用いることができる音声情報に変換する。ユーザ700が、例えば「ABCの画像を検索」と発話すれば、音声取得部101はその音声に基づく音声情報を出力する。
音声処理部102は、音声取得部101から出力される音声情報を、予め記憶部170に記憶された「音声−コマンド」対応情報と比較する。そして、音声取得部101から出力される音声情報に、「音声−コマンド」対応情報に登録されたコマンドに該当するものがあるかどうかを調べる(ステップS302)。
例えば、音声取得部101から出力される音声情報に、ユーザ700が発した「検索」という言葉にもとづく音声情報が含まれ、「音声−コマンド」対応情報にコマンド情報として「検索」が登録されていれば、音声処理部102は、音声情報に「検索」のコマンドが含まれていると判断する。
「音声−コマンド」対応情報には、テレビ10の動作や、表示部140に表示されているアプリケーションの動作、等に必要なコマンドが登録されている。これらのコマンド情報には、例えば、「検索」、「チャンネルアップ」、「音声アップ」、「プレイ」、「ストップ」、「ことば変換」、「文字表示」、等の音声情報に対応するコマンド情報が含まれている。
なお、「音声−コマンド」対応情報は、コマンド情報の追加、削除等による更新が可能である。例えば、ユーザ700が新たなコマンド情報を「音声−コマンド」対応情報に追加することができる。あるいは、ネットワーク40を介して新たなコマンド情報を「音声−コマンド」対応情報に追加することもできる。これにより音声認識処理装置100は、最新の「音声−コマンド」対応情報にもとづく音声認識処理を行うことが可能である。
また、ステップS302では、音声処理部102は、音声取得部101から出力される音声情報を、送受信部150からネットワーク40を介して音声認識部50に送信する。
音声認識部50は、受信した音声情報を、キーワードとキーワード以外(例えば、助詞、等)とに区切られた文字列に変換する。そのために、音声認識部50は、受信した音声情報にもとづくディクテーションを行う。
音声認識部50は、キーワードと文字列とを対応付けたデータベースと、受信した音声情報と、を比較する。データベースに登録されたキーワードが、受信した音声情報に含まれていれば、そのキーワードに対応する文字列(単語も含む)を選択する。このようにして音声認識部50は、ディクテーションを行い、受信した音声情報を文字列に変換する。例えば、ユーザ700が発話した「ABCの画像を検索」という音声にもとづく音声情報を音声認識部50が受信すれば、音声認識部50は、ディクテーションによりその音声情報を、「ABC」、「の」、「画像」、「を」、「検索」という文字列に変換する。音声認識部50は、変換された各文字列を表す文字列情報を、ネットワーク40を介してテレビ10へ送信する。
このデータベースは、音声認識部50に備えられているが、ネットワーク40上の他の場所にあってもよい。また、このデータベースは、定期的または不定期にキーワードの情報が更新されるように構成されていてもよい。
テレビ10の認識結果取得部103は、音声処理部102から音声認識の結果として出力されるコマンド情報と、音声認識部50から音声認識の結果として送信されてくる文字列情報とを取得し、意図解釈処理部104へ出力する。
意図解釈処理部104は、認識結果取得部103から取得したコマンド情報と文字列情報とにもとづき、ユーザ700が発話した音声操作の意図を特定するための意図解釈を行う(ステップS303)。
意図解釈処理部104は、意図解釈のために文字列情報の選別を行う。この選別の種類には、フリーワード、予約語、コマンド、がある。意図解釈処理部104は、文字列情報にコマンド情報と重複するものがあれば、それをコマンドと判断し、選別する。また、図7に一例を示す予約語テーブルにもとづき、文字列情報から予約語を選別する。残った文字列情報から、キーワードに該当しない助詞等の文字列を除くことで、フリーワードを選別する。
意図解釈処理部104は、例えば、「ABC」、「の」、「画像」、「を」、「検索」、といった文字列情報と、「検索」を表すコマンド情報と、を取得したときは、「ABC」をフリーワードに、「画像」を予約語に、「検索」をコマンドに、それぞれ選別する。意図解釈処理部104でこのような意図解釈が行われることで、音声認識処理装置100は、ユーザ700の意図(ユーザ700が発話した音声操作の意図)にもとづく動作が可能になる。例えば、音声認識処理装置100は、予約語「画像」に関して、フリーワード「ABC」を用いた、コマンド「検索」、を実行することができる。
なお、意図解釈処理部104は、図7に一例として示す予約語テーブルと文字列情報とを比較し、文字列情報の中に予約語テーブルに登録された用語が含まれていれば、その用語を予約語として文字列情報から選別する。予約語は、例えば図7に一例を示すような、「画像」、「動画」、「番組」、「Web」、等のあらかじめ定められた用語である。しかし、予約語は何らこれらの用語に限定されるものではない。
なお、意図解釈処理部104は、文字列情報に含まれる助詞等の文字列を用いて意図解釈を行ってもよい。
このようにして、意図解釈処理部104は、音声認識解釈処理(図4に示すステップS101、および図5に示すステップS201)を実行する。
次に、本実施の形態におけるキーワード単一検索処理を、図4を用いて説明する。
意図解釈処理部104は、ユーザ700が発した音声にもとづき、図6に示した音声認識解釈処理を実行する(ステップS101)。重複するので、ステップS101の詳細な説明は省略する。
意図解釈処理部104は、ステップS101での処理結果にもとづき、文字列情報に予約語情報が含まれているか否かを判断する(ステップS102)。
ステップS102において予約語情報は含まれていないと判断されたとき(No)は、ステップS104へ進む。
ステップS102において予約語情報が含まれていると判断されたとき(Yes)は、その予約語情報を、ワード記憶処理部105が記憶部170に記憶する(ステップS103)。上述した例では、予約語情報の「画像」が記憶部170に記憶される。
音声認識処理装置100は、ステップS101での処理結果にもとづき、文字列情報にフリーワード情報が含まれているか否かを判断する(ステップS104)。
ステップS104においてフリーワード情報は含まれていないと判断されたとき(No)は、ステップS106へ進む。
ステップS104においてフリーワード情報が含まれていると判断されたとき(Yes)は、そのフリーワード情報を、ワード記憶処理部105が記憶部170に記憶する(ステップS105)。上述した例では、フリーワード情報の「ABC」が記憶部170に記憶される。
また、ワード記憶処理部105は、コマンド情報を記憶部170に記憶する。
コマンド処理部106は、フリーワード情報、予約語情報、およびコマンド情報にもとづくコマンド処理を実行する(ステップS106)。
コマンド処理部106は、意図解釈処理部104からコマンド情報を受け取り、ワード記憶処理部105からフリーワード情報および(または)予約語情報を受け取ると、フリーワード情報と予約語情報のそれぞれ、または両方に対して、コマンド情報にもとづく命令(コマンド)を実行する。なお、コマンド処理部106は、意図解釈処理部104からフリーワード情報と予約語情報を受け取ってもよい。また、ワード記憶処理部105からコマンド情報を受け取ってもよい。
なお、コマンド処理部106では、主に、検索以外のコマンド処理を行う。このコマンド処理には、例えば、テレビ10のチャンネル変更や音量変更、等がある。
コマンド情報に「検索」が含まれていれば、検索処理部107で検索処理が実行される(ステップS107)。上述した例では、検索処理部107は、予約語情報の「画像」にもとづき検索対象コンテンツを「画像」とし、フリーワード情報の「ABC」による画像検索を行う。
ステップS107における検索結果は、表示制御部108により表示部140に表示される。こうして、キーワード単一検索処理が終了する。
次に、本実施の形態におけるキーワード連想検索処理を、図5を用いて説明する。
キーワード連想検索処理とは、ユーザ700が検索処理を連続して実行するときに、前回の検索で入力した内容を再び入力せずとも、前回の入力内容と、新たに入力する内容と、にもとづく新たな検索を実行する処理のことである。なお、本実施の形態では、ユーザ700が発する音声により入力操作が行われる例を説明するが、リモートコントローラ20の入力部22(例えば、タッチパッド)や携帯端末30の入力部32(例えば、タッチパネル)を使用した入力操作が行われてもよい。
以下、具体例を示しながらキーワード連想検索処理を説明する。ここでは、ユーザ700が、まず、「ABCの画像を検索」と発話し、フリーワード「ABC」による「画像」の検索がすでに行われたものとする。
続いて、ユーザ700は、直前の画像検索に用いたフリーワードと同じフリーワード「ABC」で、新たに「動画」の検索を行うものとする。この場合、本実施の形態では、ユーザ700は、前回の検索と重複するフリーワード「ABC」の発話を省略することができる。すなわち、ユーザ700は、「動画を検索」と発話すればよい。
意図解釈処理部104は、ユーザ700が発した音声にもとづき、図6に示した音声認識解釈処理を実行する(ステップS201)。重複するので、ステップS201の詳細な説明は省略する。
ユーザが発した音声にもとづく音声情報(例えば、「動画を検索」)は、音声認識処理装置100からネットワーク40を介して音声認識部50へ送信される。音声認識部50は、受信した音声情報にもとづく文字列情報を返信する。この文字列情報には予約語情報(例えば、「動画」)およびコマンド情報(例えば、「検索」)が含まれているが、フリーワード情報は含まれていない。返信された文字列情報は、認識結果取得部103で受信され、意図解釈処理部104へ出力される。
この動作例では、音声認識処理装置100の音声処理部102は、ユーザ700が発した音声にもとづく音声情報に、コマンド「検索」が含まれていると判断する。そして、音声処理部102は、コマンド「検索」に対応するコマンド情報を認識結果取得部103に出力する。また、認識結果取得部103は、音声認識部50から文字列「動画」が含まれた文字列情報を受信する。そして、意図解釈処理部104は、認識結果取得部103から取得する文字列情報に含まれる「動画」を予約語と判断する。また、文字列情報にフリーワード情報は含まれていないので、意図解釈処理部104からフリーワード情報は出力されない。
意図解釈処理部104は、ステップS201での処理結果にもとづき、文字列情報に予約語情報が含まれているか否かを判断する(ステップS202)。
ステップS202において予約語情報は含まれていないと判断されたとき(No)は、ステップS205へ進む。ステップS205以降の動作は後述する。
ステップS202において予約語情報が含まれていると判断されたとき(Yes)は、ワード記憶処理部105は、その予約語情報(例えば、「動画」)を、新たな検索対象コンテンツとして記憶部170に記憶する(ステップS203)。
新たな予約語情報が記憶部170に記憶されることで、予約語情報が更新される。上述の例では、前回の予約語情報「画像」が、新たな予約語情報「動画」に切り換えられる(ステップS204)。
この動作例では、意図解釈処理部104からフリーワード情報が出力されないので、ワード記憶処理部105は、記憶部170に記憶されているフリーワード情報(例えば、「ABC」)を読み出して、コマンド処理部106に出力する。コマンド処理部106は、意図解釈処理部104からコマンド情報を受け取り、ワード記憶処理部105から、読み出されたフリーワード情報と、新たな予約語情報と、を受け取る。そして、その読み出されたフリーワード情報と新たな予約語情報に対して、コマンド情報に応じたコマンド処理を行う(ステップS208)。なお、上述したように、コマンド処理部106では、主に検索以外のコマンド処理を行う。
コマンド情報に「検索」が含まれていれば、検索処理部107で検索処理が実行される(ステップS209)。上述した例では、検索処理部107は、新たな予約語情報の「動画」にもとづき検索対象コンテンツを「動画」とし、記憶部170から読み出されたフリーワード情報の「ABC」による動画検索を行う。
ステップS209における検索結果は、表示制御部108により表示部140に表示される。こうして、キーワード連想検索処理が終了する。
続いて、ステップS202において予約語情報は含まれていないと判断される(No)ときのキーワード連想検索処理を説明する。
以下、具体例を示しながら説明する。ここでは、ユーザ700が、まず、「ABCの画像を検索」と発話し、フリーワード「ABC」による「画像」の検索がすでに行われたものとする。
続いて、ユーザ700は、直前の画像検索に用いたフリーワードと異なるフリーワード「XYZ」で、「画像」の検索を行うものとする。この場合、本実施の形態では、ユーザ700は、前回の検索と重複する予約語「画像」とコマンド「検索」の発話を省略することができる。すなわち、ユーザ700は、「XYZ」と発話すればよい。
重複するので、ステップS201、S202の詳細な説明は省略する。
ユーザが発した音声にもとづく音声情報(例えば、「XYZ」)は、音声認識処理装置100からネットワーク40を介して音声認識部50へ送信される。音声認識部50は、受信した音声情報にもとづく文字列情報を返信する。この文字列情報にはフリーワード情報(例えば、「XYZ」)が含まれているが、予約語情報とコマンド情報は含まれていない。返信された文字列情報は、認識結果取得部103で受信され、意図解釈処理部104へ出力される。
このように、この動作例では、文字列情報に予約語情報は含まれず、音声処理部102からコマンド情報は出力されない。したがって、意図解釈処理部104から予約語情報およびコマンド情報は出力されない。
これにより、ステップS202では予約語情報は含まれていないと判断される(No)。意図解釈処理部104は、ステップS201での処理結果にもとづき、文字列情報にフリーワード情報が含まれているか否かを判断する(ステップS205)。
ステップS205においてフリーワード情報は含まれていないと判断されたとき(No)は、ステップS208へ進む。
ステップS205においてフリーワード情報が含まれていると判断されたとき(Yes)は、ワード記憶処理部105は、そのフリーワード情報(例えば、「XYZ」)を、新たなフリーワード情報として記憶部170に記憶する(ステップS206)。
新たなフリーワード情報が記憶部170に記憶されることで、フリーワード情報が更新される。上述の例では、前回のフリーワード情報「ABC」が、新たなフリーワード情報「XYZ」に切り換えられる(ステップS207)。
この動作例では、意図解釈処理部104から予約語情報およびコマンド情報が出力されないので、ワード記憶処理部105は、記憶部170に記憶されている予約語情報(例えば、「画像」)およびコマンド情報(例えば、「検索」)を読み出して、コマンド処理部106に出力する。コマンド処理部106は、ワード記憶処理部105が記憶部170から読み出した予約語情報およびコマンド情報と、新たなフリーワード情報(例えば、「XYZ」)と、を受け取る。そして、その読み出された予約語情報と新たなフリーワード情報に対して、読み出されたコマンド情報に応じたコマンド処理を行う(ステップS208)。
記憶部170から読み出されたコマンド情報に「検索」が含まれていれば、検索処理部107で検索処理が実行される(ステップS209)。上述した例では、検索処理部107は、記憶部170から読み出された予約語情報の「画像」にもとづき検索対象コンテンツを「画像」とし、新たなフリーワード情報の「XYZ」による画像検索を行う。
ステップS209における検索結果は、表示制御部108により表示部140に表示される。こうして、キーワード連想検索処理が終了する。
なお、ステップS205においてフリーワード情報は含まれていないと判断されたとき(No)は、検索処理部107は、ステップS208に進み通常のコマンド処理または検索処理を行うものとする。
[1−3.効果等]
以上のように、本実施の形態において、音声認識処理装置100は、音声取得部101と、第1音声認識部の一例である音声処理部102と、第2音声認識部の一例である音声認識部50と、選別部の一例である意図解釈処理部104と、記憶部170と、処理部の一例であるコマンド処理部106および検索処理部107と、を備えている。音声取得部101は、ユーザが発する音声を取得して音声情報を出力するように構成されている。音声処理部102は、音声情報を第1情報の一例であるコマンド情報に変換するように構成されている。音声認識部50は、音声情報を第2情報の一例である文字列情報に変換するように構成されている。意図解釈処理部104は、文字列情報から第3情報の一例である予約語情報と第4情報の一例であるフリーワード情報とを選別するように構成されている。記憶部170は、コマンド情報、予約語情報、およびフリーワード情報を記憶するように構成されている。コマンド処理部106は、コマンド情報、予約語情報、およびフリーワード情報にもとづく処理を実行するように構成されている。そして、コマンド処理部106および検索処理部107は、コマンド情報、予約語情報、およびフリーワード情報のうち1つまたは2つの不足情報があれば、その不足情報を記憶部170に記憶された情報を用いて補完して処理を実行するように構成されている。
検索処理部107は、第1情報が検索コマンドであるとき、その検索コマンドと、予約語情報およびフリーワード情報とにもとづく検索処理を実行するように構成されている。
音声認識部50はネットワーク40上に設置され、音声認識処理装置100は、ネットワーク40を介して音声認識部50と通信を行うように構成された送受信部150を備えていてもよい。
音声処理部102は、あらかじめ設定された、複数のコマンド情報と音声情報とを対応付けた「音声−コマンド」対応情報を用いて音声情報をコマンド情報に変換するように構成されていてもよい。
このように構成された音声認識処理装置100を使用するユーザ700は、音声操作を連続して行う場合、前回の音声操作で発話した内容を再び発話せずとも、前回の発話内容と、新たに発話する内容と、にもとづく新たな操作を行うことができる。例えば、ユーザ700は、検索処理を連続して行う場合、前回の検索で音声操作により入力した内容を再び発話せずとも、前回の発話内容と、新たに発話する内容と、にもとづく新たな検索を行うことができる。
具体的な一例としては、ユーザ700は、「ABCの画像を検索」と発話してフリーワード「ABC」で「画像」を検索し、その後に続けて「ABCの動画を検索」する場合、前回の検索と重複するフリーワード「ABC」の発話を省略し、「動画を検索」と発話するだけでよい。これにより、「ABCの動画を検索」と発話したときと同じ検索処理を実行することができる。
あるいは、ユーザ700は、「ABCの画像を検索」と発話してフリーワード「ABC」で「画像」を検索し、その後に続けて「XYZの画像を検索」する場合、前回の検索と重複する予約語「画像」とコマンド「検索」の発話を省略し、「XYZ」と発話するだけでよい。これにより、「XYZの画像を検索」と発話したときと同じ検索処理を実行することができる。
このように、本実施の形態における音声認識処理装置100は、ユーザ700が音声操作する際の煩雑さを軽減し、操作性を向上することができる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
実施の形態1では、コマンド情報が「検索」のときの動作例を説明したが、ここでは、その他のコマンドの例について記す。「音声−コマンド」対応情報には、例えば、「チャンネルアップ」、「音声アップ」、「再生」、「ストップ」、「ことば変更」、「文字表示」、等の音声情報に対応するコマンド情報が登録されていてもよい。
例えば、「光ディスクを再生」とユーザが発話したとする。その場合、音声認識処理装置100では、フリーワード「光ディスク」、コマンド情報「再生」が音声認識される。これにより、音声認識処理装置100が搭載された光ディスク再生装置では、光ディスクに記録された映像が再生される。この状態に続けて、ユーザ700が「ストップ」と発話すると、コマンド情報「ストップ」が音声認識処理装置100で音声認識され、その光ディスク再生装置では、光ディスクの再生がストップする。これは、ワード記憶処理部105により記憶部170にフリーワード「光ディスク」が記憶されているため、コマンド処理部106は、新たに入力されたコマンド情報「再生」の処理を、記憶部170から読み出したフリーワード「光ディスク」に対して実行するためである。すなわち、ユーザ700は「光ディスクをストップ」と発話しなくとも、単に「ストップ」と発話するだけで、光ディスク再生装置の動作を制御することができる。
また、別の例では、例えば、ユーザ700が「日本語の文字表示」と発話したとする。その場合、音声認識処理装置100では、フリーワード情報「日本語」、コマンド情報「文字表示」が音声認識される。これにより、音声認識処理装置100が搭載されたテレビ10では、日本語の字幕をテレビ10の表示部140に表示するコマンド「文字表示」が実行される。この状態に続けて、ユーザ700が「英語」と発話すると、フリーワード情報「英語」が音声認識処理装置100で音声認識される。そして、テレビ10は、記憶部170からコマンド情報「文字表示」を読み出し、「文字表示」の動作をそのまま継続し、表示部140に表示する文字を「日本語」から「英語」に変更する。すなわち、ユーザ700は、「英語の文字表示」と発話しなくとも、単に「英語」と発話するだけで、テレビ10の表示文字を「日本語」から「英語」に変更することができる。
このように、音声認識処理装置100は、音声情報に不足情報があれば、それを記憶部170から読み出して補完し、コマンド処理を実行するので、ユーザ700は、前回の音声操作時と重複する言葉を繰り返し発話する必要が無く、音声操作時の煩雑さが軽減され操作性が向上する。
なお、ここに挙げた2つの例では、ユーザ700の発話に予約語は含まれていないが、コマンド処理部106はそのコマンド処理を実行可能である。このように、予約語またはフリーワードが含まれていなくても実行が可能なコマンド情報であれば、意図解釈処理部104は、予約語またはフリーワードが含まれていなくてもよいことをワード記憶処理部105およびコマンド処理部106(検索処理部107)に発信する。したがって、コマンド処理部106(検索処理部107)は、意図解釈処理部104から発信される情報にもとづき、フリーワード情報と予約語情報とコマンド情報との組み合わせでコマンド処理すべきか、フリーワード情報とコマンド情報との組み合わせでコマンド処理すべきか、または、予約語情報とコマンド情報との組み合わせでコマンド処理すべきか、を判断し、コマンド処理を実行することができる。また、ワード記憶処理部105では、不要な情報を記憶部170から読み出す動作が防止される。上述の例では、音声情報に予約語情報は含まれていないが、予約語情報が不要なので、ワード記憶処理部105は予約語情報を記憶部170から読み出さない。
なお、「音声−コマンド」対応情報に、コマンド情報に関連付けて、そのコマンド処理には予約語およびフリーワードの両方が必要なのか、それともいずれか一方でよいのか、を示す情報をあらかじめ登録しておいてもよい。そして、音声処理部102は、コマンド情報とともにその情報を後段に出力するように動作してもよい。
なお、本実施の形態では、「画像」や「動画」を検索する動作例を説明したが、検索の対象は何ら「画像」や「動画」に限定されるものではなく、番組表や録画番組等を検索の対象としてもよい。
なお、本実施の形態では特に言及していないが、音声認識処理において、ユーザ700が発した音声に、コマンド情報の「検索」とキーワードとが含まれており、その「検索」の種類がインターネット検索アプリケーションによる検索である場合には、音声認識処理装置100では、インターネット検索アプリケーションで、そのキーワードによる検索が行われる。例えば、「ABCをインターネットで検索」とユーザ700が発話すれば、音声認識処理装置100は、「インターネットで検索」という音声をインターネット検索アプリケーションによる「検索」であると認識する。このため、ユーザ700は、その音声を発するだけで、そのキーワードによるインターネット検索をテレビ10に行わせることができる。
また、音声認識処理において、ユーザ700が発した音声に、コマンド情報の「検索」とキーワードとが含まれており、その「検索」の種類が番組表アプリケーションによる検索である場合には、音声認識処理装置100では、番組表アプリケーションで、そのキーワードによる検索が行われる。例えば、「ABCを番組表で検索」とユーザ700が発話すれば、音声認識処理装置100は、「番組表で検索」という音声を番組表アプリケーションによる「検索」であると認識する。このため、ユーザ700は、その音声を発話するだけで、そのキーワードによる番組表検索をテレビ10に行わせることができる。
また、音声認識処理において、ユーザ700が発した音声に、コマンド情報の「検索」とフリーワードとは含まれているが、予約語情報は含まれていないときは、音声認識処理装置100では、そのフリーワードが含まれる全てのアプリケーションで、そのフリーワードによる「検索」を行い、検索を行った全てのアプリケーションでの検索結果を表示部140に表示してもよい。
なお、テレビ10では、音声認識処理を、上述した方法で開始できる。そのため、音声認識処理が開始されれば、ユーザ700は、テレビ10により番組を視聴している途中であっても、上記のような検索を行うことができる。
なお、本実施の形態では、音声認識部50がネットワーク40上に配置された例を説明したが、音声認識部50は音声認識処理装置100に備えられていてもよい。
なお、本実施の形態では、フリーワード情報を記憶部170から読み出してコマンド処理を補完する動作例と、予約語情報およびコマンド情報を記憶部170から読み出してコマンド処理を補完する動作例を説明したが、本開示は何らこの構成に限定されない。例えば、予約語情報を記憶部170から読み出してコマンド処理を補完してもよく、コマンド情報を記憶部170から読み出してコマンド処理を補完してもよい。あるいは、予約語情報およびフリーワード情報を記憶部170から読み出してコマンド処理を補完してもよく、フリーワード情報およびコマンド情報を記憶部170から読み出してコマンド処理を補完してもよい。
なお、図2に示した各ブロックは、それぞれが独立した回路ブロックとして構成されてもよく、各ブロックの動作を実現するようにプログラムされたソフトウエアをプロセッサで実行する構成であってもよい。
本開示は、ユーザが指示する処理動作を実行する機器に適用可能である。具体的には、携帯端末機器、テレビジョン受像機、パーソナルコンピュータ、セットトップボックス、ビデオレコーダ、ゲーム機、スマートフォン、タブレット端末、等に本開示は適用可能である。
10 テレビジョン受像機
11 音声認識処理システム
20 リモートコントローラ
21,31 マイク
22,32 入力部
30 携帯端末
40 ネットワーク
50 音声認識部
100 音声認識処理装置
101 音声取得部
102 音声処理部
103 認識結果取得部
104 意図解釈処理部
105 ワード記憶処理部
106 コマンド処理部
107 検索処理部
108 表示制御部
110 操作受付部
130 内蔵マイク
140 表示部
150 送受信部
160 チューナ
170,171 記憶部
180 無線通信部
201 音声認識アイコン
202 インジケータ
700 ユーザ

Claims (6)

  1. ユーザが発する音声を取得して音声情報を出力するように構成された音声取得部と、
    前記音声情報を第1情報に変換するように構成された第1音声認識部と、
    前記音声情報を第2情報に変換するように構成された第2音声認識部と、
    前記第2情報から第3情報と第4情報とを選別するように構成された選別部と、
    前記第1情報、前記第3情報、および前記第4情報を記憶するように構成された記憶部と、
    前記第1情報、前記第3情報、および前記第4情報にもとづく処理を実行するように構成された処理部と、
    を備え、
    前記処理部は、前記第1情報、前記第3情報、および前記第4情報のうち1つまたは2つの不足情報があれば、前記不足情報を前記記憶部に記憶された情報を用いて補完して処理を実行するように構成された、
    音声認識処理装置。
  2. 前記処理部は、
    前記第1情報が検索コマンドであるとき、
    前記検索コマンドにもとづく検索処理を実行するように構成された、
    請求項1に記載の音声認識処理装置。
  3. 前記第2音声認識部はネットワーク上に設置され、
    前記ネットワークを介して、前記第2音声認識部と通信を行うように構成された送受信部を備えた、
    請求項1に記載の音声認識処理装置。
  4. 前記第1音声認識部は、
    あらかじめ設定された複数の第1情報と前記音声情報とを対応付けた情報、を用いて前記音声情報を前記第1情報に変換するように構成された、
    請求項1に記載の音声認識処理装置。
  5. ユーザが発する音声を取得して音声情報に変換するステップと、
    前記音声情報を第1情報に変換するステップと、
    前記音声情報を第2情報に変換するステップと、
    前記第2情報から第3情報と第4情報とを選別するステップと、
    前記第1情報、前記第3情報、および前記第4情報を記憶部に記憶するステップと、
    前記第1情報、前記第3情報、および前記第4情報にもとづく処理を実行するステップと、
    前記第1情報、前記第3情報、および前記第4情報のうち1つまたは2つの不足情報があれば、前記記憶部に記憶された情報を用いて補完するステップと、
    を備えた音声認識処理方法。
  6. ユーザが発する音声を取得して音声情報を出力するように構成された音声取得部と、
    前記音声情報を第1情報に変換するように構成された第1音声認識部と、
    前記音声情報を第2情報に変換するように構成された第2音声認識部と、
    前記第2情報から第3情報と第4情報とを選別するように構成された選別部と、
    前記第1情報、前記第3情報、および前記第4情報を記憶するように構成された記憶部と、
    前記第1情報、前記第3情報、および前記第4情報にもとづく処理を実行するように構成された処理部と、
    前記処理部における処理結果を表示するように構成された表示部と、
    を備え、
    前記処理部は、前記第1情報、前記第3情報、および前記第4情報のうち1つまたは2つの不足情報があれば、前記不足情報を前記記憶部に記憶された情報を用いて補完して処理を実行するように構成された、
    表示装置。
JP2015554558A 2013-12-26 2014-12-22 音声認識処理装置、音声認識処理方法、および表示装置 Active JP6244560B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013268669 2013-12-26
JP2013268669 2013-12-26
PCT/JP2014/006367 WO2015098079A1 (ja) 2013-12-26 2014-12-22 音声認識処理装置、音声認識処理方法、および表示装置

Publications (2)

Publication Number Publication Date
JPWO2015098079A1 true JPWO2015098079A1 (ja) 2017-03-23
JP6244560B2 JP6244560B2 (ja) 2017-12-13

Family

ID=53477977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015554558A Active JP6244560B2 (ja) 2013-12-26 2014-12-22 音声認識処理装置、音声認識処理方法、および表示装置

Country Status (5)

Country Link
US (1) US9905225B2 (ja)
EP (1) EP3089157B1 (ja)
JP (1) JP6244560B2 (ja)
CN (1) CN105659318B (ja)
WO (1) WO2015098079A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014103568A1 (ja) * 2012-12-28 2017-01-12 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR20160090584A (ko) * 2015-01-22 2016-08-01 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9858927B2 (en) * 2016-02-12 2018-01-02 Amazon Technologies, Inc Processing spoken commands to control distributed audio outputs
US9898250B1 (en) * 2016-02-12 2018-02-20 Amazon Technologies, Inc. Controlling distributed audio outputs to enable voice output
US10409550B2 (en) * 2016-03-04 2019-09-10 Ricoh Company, Ltd. Voice control of interactive whiteboard appliances
US10409552B1 (en) * 2016-09-19 2019-09-10 Amazon Technologies, Inc. Speech-based audio indicators
JP7339310B2 (ja) * 2017-06-13 2023-09-05 グーグル エルエルシー 登録されていないリソースによるオーディオベースのネットワークセッションの確立
JP7044633B2 (ja) * 2017-12-28 2022-03-30 シャープ株式会社 操作支援装置、操作支援システム、及び操作支援方法
CN109147784B (zh) * 2018-09-10 2021-06-08 百度在线网络技术(北京)有限公司 语音交互方法、设备以及存储介质
JP7227093B2 (ja) * 2019-07-05 2023-02-21 Tvs Regza株式会社 電子機器、プログラムおよび検索サービス選定方法
US11019402B2 (en) 2019-09-26 2021-05-25 Dish Network L.L.C. Method and system for implementing an elastic cloud-based voice search utilized by set-top box (STB) clients

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249685A (ja) * 2000-03-03 2001-09-14 Alpine Electronics Inc 音声対話装置
JP2005059185A (ja) * 2003-08-19 2005-03-10 Sony Corp ロボット装置及びその制御方法
JP2007226642A (ja) * 2006-02-24 2007-09-06 Honda Motor Co Ltd 音声認識機器制御装置
JP2012501480A (ja) * 2008-08-29 2012-01-19 マルチモーダル・テクノロジーズ・インク ハイブリッド型音声認識
JP2013205523A (ja) * 2012-03-27 2013-10-07 Yahoo Japan Corp 応答生成装置、応答生成方法および応答生成プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69941686D1 (de) 1999-01-06 2010-01-07 Koninkl Philips Electronics Nv Spracheingabegerät mit aufmerksamkeitsspanne
JP2000356999A (ja) 1999-06-16 2000-12-26 Ishikawajima Harima Heavy Ind Co Ltd 音声によるコマンド入力装置及び方法
JP4871491B2 (ja) * 2001-07-05 2012-02-08 ニュアンス コミュニケーションズ オーストリア ゲーエムベーハー 課金情報を生成する方法並びに口述トランスクリプション装置
FR2833103B1 (fr) * 2001-12-05 2004-07-09 France Telecom Systeme de detection de parole dans le bruit
JP4849662B2 (ja) * 2005-10-21 2012-01-11 株式会社ユニバーサルエンターテインメント 会話制御装置
JP2008076811A (ja) * 2006-09-22 2008-04-03 Honda Motor Co Ltd 音声認識装置、音声認識方法及び音声認識プログラム
US20090144056A1 (en) * 2007-11-29 2009-06-04 Netta Aizenbud-Reshef Method and computer program product for generating recognition error correction information
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
US8751229B2 (en) * 2008-11-21 2014-06-10 At&T Intellectual Property I, L.P. System and method for handling missing speech data
KR20130125067A (ko) 2012-05-08 2013-11-18 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR101914708B1 (ko) 2012-06-15 2019-01-14 삼성전자주식회사 서버 및 서버의 제어 방법
CN102833633B (zh) * 2012-09-04 2016-01-20 深圳创维-Rgb电子有限公司 一种电视机语音控制***及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249685A (ja) * 2000-03-03 2001-09-14 Alpine Electronics Inc 音声対話装置
JP2005059185A (ja) * 2003-08-19 2005-03-10 Sony Corp ロボット装置及びその制御方法
JP2007226642A (ja) * 2006-02-24 2007-09-06 Honda Motor Co Ltd 音声認識機器制御装置
JP2012501480A (ja) * 2008-08-29 2012-01-19 マルチモーダル・テクノロジーズ・インク ハイブリッド型音声認識
JP2013205523A (ja) * 2012-03-27 2013-10-07 Yahoo Japan Corp 応答生成装置、応答生成方法および応答生成プログラム

Also Published As

Publication number Publication date
CN105659318A (zh) 2016-06-08
US9905225B2 (en) 2018-02-27
JP6244560B2 (ja) 2017-12-13
EP3089157B1 (en) 2020-09-16
WO2015098079A1 (ja) 2015-07-02
EP3089157A1 (en) 2016-11-02
US20160210966A1 (en) 2016-07-21
EP3089157A4 (en) 2017-01-18
CN105659318B (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
JP6244560B2 (ja) 音声認識処理装置、音声認識処理方法、および表示装置
JP6375521B2 (ja) 音声検索装置、音声検索方法、および表示装置
USRE49493E1 (en) Display apparatus, electronic device, interactive system, and controlling methods thereof
CN106796496B (zh) 显示设备及其操作方法
JP5746111B2 (ja) 電子装置及びその制御方法
JP5819269B2 (ja) 電子装置及びその制御方法
JP6111030B2 (ja) 電子装置及びその制御方法
JP6603754B2 (ja) 情報処理装置
US20140191949A1 (en) Display apparatus and method of controlling a display apparatus in a voice recognition system
US20130041665A1 (en) Electronic Device and Method of Controlling the Same
JP2013037689A (ja) 電子装置及びその制御方法
KR20130018464A (ko) 전자 장치 및 그의 제어 방법
JP2014532933A (ja) 電子装置及びその制御方法
JPWO2015098109A1 (ja) 音声認識処理装置、音声認識処理方法、および表示装置
EP3386205A1 (en) Interactive server, display apparatus, and control method thereof
KR20150089145A (ko) 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
CN103546763A (zh) 用于提供内容信息的方法和广播接收设备
CN108111922B (zh) 电子设备和用于更新其频道映射表的方法
KR102089593B1 (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
KR102124396B1 (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
KR20190099676A (ko) 사용자의 발화를 기반으로 컨텐츠를 제공하는 장치 및 시스템
KR102051480B1 (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
KR102045539B1 (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
KR20190048334A (ko) 전자 장치, 음성 인식 방법 및 기록 매체

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171016

R151 Written notification of patent or utility model registration

Ref document number: 6244560

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151