JPWO2014002128A1 - 車載情報装置 - Google Patents
車載情報装置 Download PDFInfo
- Publication number
- JPWO2014002128A1 JPWO2014002128A1 JP2014522219A JP2014522219A JPWO2014002128A1 JP WO2014002128 A1 JPWO2014002128 A1 JP WO2014002128A1 JP 2014522219 A JP2014522219 A JP 2014522219A JP 2014522219 A JP2014522219 A JP 2014522219A JP WO2014002128 A1 JPWO2014002128 A1 JP WO2014002128A1
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- unit
- voice
- display
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 216
- 230000007613 environmental effect Effects 0.000 claims abstract description 40
- 238000000605 extraction Methods 0.000 claims description 22
- 230000002996 emotional effect Effects 0.000 claims description 19
- 230000001133 acceleration Effects 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 66
- 238000012545 processing Methods 0.000 description 46
- 238000000034 method Methods 0.000 description 40
- 230000008569 process Effects 0.000 description 32
- 238000006243 chemical reaction Methods 0.000 description 24
- 238000013500 data storage Methods 0.000 description 22
- 238000013075 data extraction Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 16
- 238000000926 separation method Methods 0.000 description 12
- 239000000725 suspension Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 239000012141 concentrate Substances 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000008707 rearrangement Effects 0.000 description 6
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/10—Interpretation of driver requests or demands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
これに関連する技術として、会議での発話内容をマイクにより集音し、議事録を自動的に作成する装置が種々提案されている。例えば特許文献2には、複数の話者ごとの発話内容を再現した議事録データを作成できる音声認識装置および会議システムが開示されている。
実施の形態1.
この発明は、車載ナビゲーション装置、車載オーディオ装置、車載映像装置等の車載情報装置において、この車載情報装置が起動されている場合は常時、車両内の搭乗者の発話内容を認識し、その認識結果に基づいて、リアルタイムに会話支援を行うものである。また、以下の実施の形態についても同様である。
図1は、この発明の実施の形態1による車載情報装置の基本構成を示すブロック図である。この車載情報装置は、音声取得部1と、音声認識部2と、表示制御部(出力制御部)3と、表示部(出力部)4とを備えている。また、図示は省略したが、この車載情報装置は、キーやタッチパネル等による入力信号を取得するキー入力部も備えている。
表示部4は、表示制御部3により生成された表示データを表示するものであり、例えばナビの表示画面、ダッシュボード上の表示部、フロントガラス、後部座席エンターテイメント(RSE(Rear Seat Entertainment))などである。
そして、この実施の形態1による車載情報装置は、搭乗者数(マイク本数)Nごとの音声取得部1(1−1,1−2,・・・,1−N)と、それぞれに対応する音声認識部2(2−1,2−2,・・・,2−N)と、車室内環境状態検出部(車両状態検出部)30と、表示制御部(出力制御部)3と、表示部(出力部)4から構成されており、音声取得部1および音声認識部2の対を、車両内の搭乗者ごとに複数備えている。
また、表示制御部3(出力制御部)は、音声認識部2により音声認識された音声認識結果を、車室内環境状態検出部(車両状態検出部)30により検出された搭乗者ごとの発話の位置に対応づけた発話内容として、表示データを生成および出力制御するものであり、例えば搭乗者ごとに時系列順等に並べるなど、発話した複数の搭乗者を識別可能な態様の表示データを生成する。
まず初めに、何らかの発話入力があると、各音声取得部1(1−1,1−2,・・・,1−N)が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST11)。次に、各音声取得部1により取得された音声データを対応する各音声認識部2(2−1,2−2,・・・,2−N)が認識する(ステップST12)。そして、車室内環境状態検出部30が、各音声認識部2の音声認識結果の各文字列を各音声認識部2ごと、すなわち、各音声認識部2に対応する各音声取得部1の位置に応じて、搭乗者の位置ごとに検出し(ステップST13)、表示制御部3が、それらを整理して搭乗者の位置ごとおよび時系列順等に並べた表示データを作成し、表示部4へその表示データを送信することにより、表示部4に会話内容が文字列で表示される(ステップST14)。
これにより、エンジン音やタイヤノイズ、あるいは車外からの騒音により阻害されて会話内容を聞き洩らしたり、運転操作への注力等により突発的に聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。
また、常に車内の会話を搭乗者ごとに聞き取って音声認識を行い、搭乗者ごとの発話の位置を区別して検出し、それらを整理して提示するようにしたので、騒音や運転操作への注力等により会話が聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。また、搭乗者ごとに音声認識することができるので、同時に発話した場合の音声認識率を高めることができる。
図6は、この発明の実施の形態2による車載情報装置の構成を示すブロック図である。なお、実施の形態1で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態2では、図3に示した実施の形態1の構成と比べると、音声取得部1がM個のマイク(1−1,1−2,・・・,1−M)をアレイ状に配置したアレイマイクであり、信号処理部5が追加されている。すなわち、この実施の形態2による車載情報装置では、M個のマイクをアレイ状に配置した音声取得部1(1−1,1−2,・・・,1−M)が音声(音源)を取得し、信号処理部5がその音源をN個に分離して、N個の音声認識部が各搭乗者N人ごとに発話内容を音声認識するものである。
また、表示制御部3(出力制御部)は、音声認識部2により音声認識された音声認識結果を、車室内環境状態検出部(車両状態検出部)30により検出された搭乗者ごとの発話の位置に対応づけた発話内容として、表示データを生成および出力制御するものであり、例えば搭乗者ごとに時系列順等に並べるなど、発話した複数の搭乗者を識別可能な態様の表示データを生成する。
まず初めに、何らかの発話入力があると、音声取得部1(1−1,1−2,・・・,1−M)が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST21)。次に、音声取得部1により取得された音声データから、信号処理部5がN個(搭乗者の人数N分)に音源分離を行う(ステップST22)。このN個に音源分離された会話の音声データを、各音声認識部2(2−1,2−2,・・・,2−N)が認識する(ステップST23)。そして、車室内環境状態検出部30が、各音声認識部2の音声認識結果の各文字列を搭乗者の位置ごとに検出し(ステップST24)、表示制御部3が、それらを整理して搭乗者の位置ごとおよび時系列順等に並べた表示データを作成し、表示部4へその表示データを送信することにより、表示部4に会話内容が文字列で表示される(ステップST25)。
これにより、エンジン音やタイヤノイズ、あるいは車外からの騒音により阻害されて会話内容を聞き洩らしたり、運転操作への注力等により突発的に聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。
図8は、この発明の実施の形態3による車載情報装置の構成を示すブロック図である。なお、実施の形態1,2で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態3では、図3に示した実施の形態1の構成と比べると、信号処理部5において分離したN個の音声データに対応させたN個の発話有無検出部6とN個の発話データ抽出部7と、発話データ順番整理部8と、音声認識待ち発話データ記憶部9とが追加されており、また、音声認識部2は1つのみの構成となっている。
なお、この実施の形態3では実施の形態2と同様、M個のマイクをアレイ状に配置したアレイマイクを用いる構成としているが、実施の形態1の図3に示した構成と同様に、搭乗者ごとにN本のマイクを備えるものとしてもよい。
発話データ抽出部7は、信号処理部5から出力される搭乗者の位置毎に音声を分離した音声データに対して、発話有無検出部6で指示された音声区間を抽出し、抽出した発話データ(音声データ)を発話データ順番整理部8に送信する。
また、表示制御部3(出力制御部)は、車室内環境状態検出部(車両状態検出部)30から受取った搭乗者の配置状態(発話位置情報)を元に、音声認識部2により認識された発話内容である音声認識結果を搭乗者の位置ごとに整理し、例えば搭乗者ごとに時系列順等に並べるなど、発話した複数の搭乗者を識別可能な態様の表示データを生成し、表示部4に対して提示内容の出力制御を行う。
まず初めに、何らかの発話入力があると、音声取得部1(1−1,1−2,・・・,1−M)が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST31)。次に、音声取得部1により取得された音声データから、信号処理部5がN個(搭乗者の人数N分)に音源分離を行う(ステップST32)。このN個に音源分離された会話の音声データの中に、発話が含まれているか否かを、各発話有無検出部6(6−1,6−2,・・・,6−N)が検出する(ステップST33)。この発話有無検出については、各音声データに対して音声量のレベルを検出する音声区間検出を行うことにより行えばよい。
その後、音声認識部2の音声認識処理が終わるのを待ち、音声認識処理が終わり次第、発話データ順番整理部8が、音声認識待ち発話データ記憶部9に保存した発話データと搭乗者の位置情報を取得し、それぞれ音声認識部2と車室内環境状態検出部30に送信する(ステップST37)。そして、音声認識部2で発話データの音声認識処理を行う(ステップST38)。
これにより、エンジン音やタイヤノイズ、あるいは車外からの騒音により阻害されて会話内容を聞き洩らしたり、運転操作への注力等により突発的に聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。
図10は、この発明の実施の形態4による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜3で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態4では、実施の形態1において説明した図1に示す基本構成と比べると、表示部4を複数(N個)備えており、各表示部4(4−1,4−2,・・・,4−N)の位置を検出する車室内環境状態検出部(車両状態検出部)30を備えている。そして、認識した音声データを文字列として表示する際に、車室内環境状態検出部(車両状態検出部)30において検出された各表示部4(4−1,4−2,・・・,4−N)の位置に応じて、表示形式(表示内容)を変えて表示するものである。
また、表示制御部3(出力制御部)は、車室内環境状態検出部(車両状態検出部)30により検出された表示部4(4−1,4−2,・・・,4−N)の配置状態に基づいて、すなわち、例えばその表示部4が運転席に位置するものであるか助手席に位置するものであるかに応じて、異なる表示態様の表示データを生成し、表示部4に対して提示内容の出力制御を行う。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST41)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST42)。一方、車室内環境状態検出部(車両状態検出部)30が、各表示部4(4−1,4−2,・・・,4−N)の位置を検出する(ステップST43)。そして、表示制御部3が、音声認識部2の音声認識結果の文字列を時系列順に並べ、車室内環境状態検出部(車両状態検出部)30において検出された各表示部4(4−1,4−2,・・・,4−N)の位置に応じて表示形式(表示内容)を変えて表示データを生成し、それぞれの表示部4へその表示データを送信することにより、各表示部4に会話内容が文字列で表示される(ステップST44)。
図15は、この発明の実施の形態5による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜4で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態5では、実施の形態1において説明した図1に示す基本構成と比べると、車室内環境状態検出部(車両状態検出部)30、音声のS/N取得部31、音響機器動作状態取得部32、空調機器動作状態取得部33、車室内の騒音状態取得部34、窓またはルーフの開閉状態取得部35を備えている。
音響機器動作状態取得部32、空調機器動作状態取得部33は、車室内のオーディオ機器等の音響機器や、エアコン等の空調機器の動作状態をそれぞれ取得する。
車室内の騒音状態取得部34は、車室内の騒音レベルが所定の閾値を超えているか否かという騒音状態を取得する。
窓またはルーフの開閉状態取得部35は、車両の窓またはルーフの開閉状態を車両からのCAN(Controller Area Network)信号等から取得する。
そして、この実施の形態5では、車室内環境状態検出部30により車室内の環境状態が騒がしいと判断される車両状態が検出された場合に、その検出された車両状態に基づいて、表示形式(表示内容)を変えて表示するものである。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST51)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST52)。
一方、会話の提示が必要であると判断された場合(ステップST53のYESの場合)には、表示制御部3が、ステップST52で認識された音声データを整理して時系列順等に並べた表示データを作成し、表示部4へその表示データを送信することにより、表示部4に会話内容が文字列で表示される(ステップST54)。
図17は、この発明の実施の形態6による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜5で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態6では、実施の形態1において説明した図1に示す基本構成に比べると、車室内環境状態検出部(車両状態検出部)30、音声特徴情報取得部36を備えている。
そして、この実施の形態6では、車室内環境状態検出部30により搭乗者の感情状態が明るい/暗い等と推定される車両状態が検出された場合に、その検出された車両状態に基づいて、表示形式(表示内容)を変えて表示するものである。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST51)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST52)。
一方、車室内における搭乗者の感情状態が暗いと推定され、会話の提示が必要であると判断された場合(ステップST53のYESの場合)には、表示制御部3が、ステップST52で認識された音声データを整理して時系列順等に並べた表示データを作成し、表示部4へその表示データを送信することにより、表示部4に会話内容が文字列で表示される(ステップST54)。
図18は、この発明の実施の形態7による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜6で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態7では、実施の形態4において説明した図10に示すブロック図に比べると、車室内環境状態検出部(車両状態検出部)30に代えて車両周辺環境状態検出部(車両状態検出部)40を備え、さらに時刻取得部41、天候状態取得部42を備えている。
そして、この実施の形態7では、車両周辺環境状態検出部40により車両周辺の環境状態から運転手が運転操作に注力しなければならない状況であることが検出された場合に、その検出された車両状態に基づいて、表示形式(表示内容)を変えて表示したり、運転席側の表示部4では表示を非表示にするなど、表示データを出力する表示部または出力しない表示部を選択、変更、切り換える等の制御を行うものである。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST71)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST72)。
一方、運転操作への注力が必要であると判断された場合(ステップST75のYESの場合)には、運転席側の表示部4を非表示状態にする(ステップST77)。ただし、既に非表示状態の場合には何もしない。
図20は、この発明の実施の形態8による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜7で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態8では、実施の形態5において説明した図10に示すブロック図に比べると、車室内環境状態検出部(車両状態検出部)30に代えて車両運行状態検出部(車両状態検出部)50を備え、さらにステアリング状態取得部51、シフトレバー使用状態取得部52、ブレーキ使用状態取得部53、ウィンカー使用状態取得部54、照明状態取得部55、ワイパー使用状態取得部56を備えている。
そして、この実施の形態8では、車両運行状態検出部50により上記の車両設備が使用されている状態であると検出された場合に、その検出された車両状態に基づいて、表示形式(表示内容)を変えて表示したり、運転席側の表示部4では表示を非表示にするなど、表示データを出力する表示部または出力しない表示部を選択、変更、切り換える等の制御を行うものである。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST71)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST72)。
一方、運転操作への注力が必要であると判断された場合(ステップST75のYESの場合)には、運転席側の表示部4を非表示状態にする(ステップST77)。ただし、既に非表示状態の場合には何もしない。
図21は、この発明の実施の形態9による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜8で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態9では、実施の形態4において説明した図10に示すブロック図と比べると、車室内環境状態検出部(車両状態検出部)30に代えて車両運行状態検出部(車両状態検出部)50を備え、さらに自車位置取得部61、車速信号取得部62、加速度取得部63、方位取得部64、走行継続距離取得部65、走行継続時間取得部66、走行道路種別取得部67、走行道路路面状態取得部68、走行道路渋滞状況取得部69、走行経路設定状態取得部70、走行経路誘導状態取得部71を備えている。
そして、この実施の形態9では、車両運行状態検出部50により検出された車両状態に基づいて、表示形式(表示内容)を変えて表示するものである。
なお、実施の形態4,7,8に示すように、表示部4を複数備えている場合には、車両運行状態検出部50により検出された車両状態に基づいて、表示形式(表示内容)を変えて表示したり、運転席側の表示部4では車両運行中は表示を非表示にするなど、表示データを出力する表示部または出力しない表示部を選択、変更、切り換える等の制御を行うこともできる。
車速信号取得部62は、車両からのCAN信号等から車両の速度情報を取得する。
加速度信号取得部63は、ジャイロスコープや、車両のアクセル・ブレーキ・ハンドル操作から、車両の加速度を取得する。
方位取得部64は、自車位置の移動方向や電子コンパスから車両の方位を取得する。
走行継続時間取得部65、走行継続距離取得部66は、カーナビゲーションや車両からのCAN信号等から、走行継続時間、走行継続距離をそれぞれ判断して取得する。
走行道路渋滞状況取得部69は、通信機器を介して自車位置の渋滞情報を取得したり、電波・光ビーコンからVICS(Vehicle Information and Communication System/登録商標)情報(道路交通情報)を取得したりする。
地図データ記憶部72には、例えば道路データ、トンネルデータ等の地図データが記憶されている。この地図データ記憶部72は、DVD−ROM、ハードディスク、SDカードなど、どのような形態のものでもよい。またネットワーク上に存在し、通信ネットワークを介して道路データなどの情報を取得できる構成としてもよい。
そして表示制御部3は、車両運行状態検出部50が走行中と判断した場合や、運転操作に影響を与える道路の状態であると判断した場合には、運転席側(運転手から見える位置)の表示部4の表示内容を非表示にする。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST71)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST72)。そして、表示制御部3が運転席側(運転手から見える位置)の表示部4に表示を行うわけではない場合(ステップST73のNOの場合)は、音声認識部2の音声認識結果の文字列を時系列順に並べ、各表示部4(4−1,4−2,・・・,4−N)の位置に応じて表示形式(表示内容)を変えて表示データを生成し、それぞれの表示部4へその表示データを送信することにより、各表示部4に会話内容が文字列で表示される(ステップST74)。
一方、運転操作への注力が必要であると判断された場合(ステップST75のYESの場合)には、運転席側の表示部4を非表示状態にする(ステップST77)。ただし、既に非表示状態の場合には何もしない。
図22は、この発明の実施の形態10による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜9で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態10では、実施の形態7において説明した図18に示すブロック図と比べると、音声出力制御部11および音声出力部12をさらに備えており、運転席側の表示部4において走行中は表示を非表示としたため、運転手への代わりの情報として音声出力により会話内容を提示するものである。なお、ここでは実施の形態7を元に説明するが、実施の形態8,9においても同様に、音声出力制御部および音声出力部を備えて同様の構成とすることができる。
なお、この実施の形態10では合成音声を出力する構成としているが、音声認識部2で音声区間検出した部分を合成音声の代わりに出力する構成としてもよい。
音声出力部12は、音声出力制御部11から送信された音声データをスピーカ等により出力する。
ステップST101〜ST107までの処理については、実施の形態7における図19のフローチャートのステップST71〜ST77と同じであるため、説明を省略する。そして、この実施の形態10では、ステップST107において運転席側の表示部4を非表示状態にした後に、音声出力制御部11が音声認識部2により認識した発話内容の音声データを音声出力部12に送信し、音声データを出力する(ステップST108)。
図24は、この発明の実施の形態11による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜10で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態11では、実施の形態8において説明した図20に示すブロック図と比べると、音声出力保留判定部10、音声出力制御部11および音声出力部12をさらに備えており、運転席側の表示部4において走行中は表示を非表示としたため、運転手への代わりの情報として音声出力により会話内容を提示するものである。なお、ここでは実施の形態8を元に説明するが、実施の形態9においても同様に、音声出力保留判定部、音声出力制御部および音声出力部を備えて同様の構成とすることができる。
音声出力保留判定部10は、ステアリング状態取得部51、シフトレバー使用状態取得部52、ブレーキ使用状態取得部53、ウィンカー使用状態取得部54、照明状態取得部55、ワイパー使用状態取得部56からの情報により、右左折時や車線変更時など、特に運転に注意を払う必要がある場面であるか否かを判断し、それにより音声出力の保留の要否を判定し、音声出力制御部11に通知する。
なお、この実施の形態10では合成音声を出力する構成としているが、音声認識部2で音声区間検出した部分を合成音声の代わりに出力する構成としてもよい。
音声出力部12は、音声出力制御部11から送信された音声データをスピーカ等により出力する。
ステップST111〜ST117までの処理については、実施の形態10における図23のフローチャートのステップST101〜ST107と同じであるため、説明を省略する。そして、この実施の形態11では、ステップST117において運転席側の表示部4を非表示状態にした後に、音声出力保留判定部10にて音声出力の保留の要否判断を行う(ステップST118)。音声出力の保留が必要であると判断された場合(ステップST118のYESの場合)は、音声出力の保留が解除されるまで音声出力部12への音声データを保留する(ステップST119のNOの場合)。
図26は、この発明の実施の形態12による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜11で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態12では、実施の形態1において説明した図1に示す基本構成と比べると、実施の形態5〜10において説明した各種取得部31〜36,41〜42,51〜56,61〜72のいずれかと、車両状態検出部30,40,50に加え、キーワード抽出部13および会話履歴記憶部14をさらに備えており、車両状態検出部30,40,50により検出された車両状態またはキーワード抽出部13により抽出された所定のキーワードに基づいて、発話内容の全部または部分の出力要否を判断し、出力要と判断された発話内容の全部または部分の表示データのみを生成したり、表示開始または表示停止のタイミングを判断し、表示するタイミングを変えたりするものである。
会話履歴記憶部14は、音声認識部2により認識した発話内容をすべて記憶しておくものであり、表示制御部3からの指示により直前の会話が必要とされた場合に、記憶されている会話内容の直前の会話を送信する。
b)窓が開いたら提示し、閉まったら提示しない。
c)トンネル内を走行していれば提示し、トンネル外であれば提示しない。
d)まもなくトンネル内に入ると通知された場合、その直後の会話から提示する。
e)入力音声のS/N比がある閾値以下であれば提示し、ある閾値より大きければ提示しない。
f)音声認識結果に「えっ、何?」等の会話を聞き取れなかったことを意味するキーワードが含まれていれば、その直前の会話から提示する。
g)音声認識結果に「会話をテロップで表示」等の表示を指示するキーワードが含まれていれば、その直後の会話から提示する。
h)音声認識結果に「会話をテロップに表示しない」「このテロップ邪魔」等の表示しないよう指示するキーワードが含まれていれば、会話を提示しない。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST121)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST122)。そして、音声認識部2で認識した発話内容を表示制御部3が後から参照することができるよう、認識した会話の文字列を会話履歴として会話履歴記憶部14に保存する(ステップST123)。
なお、会話の提示が不要であると判断された場合(ステップST124のNOの場合)にも、ステップST121に戻る。
また、提示するタイミングがその認識の直前でも直後でもない場合(ステップST126のNOの場合)には、音声認識部で認識した会話の文字列から生成した表示データを表示部4に送信して表示する(ステップST128)。
これにより、わかりにくい語句なども明確に提示されるので、会話内容を明確に確認することができる。
これに関連する技術として、会議での発話内容をマイクにより集音し、議事録を自動的に作成する装置が種々提案されている。例えば特許文献2には、複数の話者ごとの発話内容を再現した議事録データを作成できる音声認識装置および会議システムが開示されている。
実施の形態1.
この発明は、車載ナビゲーション装置、車載オーディオ装置、車載映像装置等の車載情報装置において、この車載情報装置が起動されている場合は常時、車両内の搭乗者の発話内容を認識し、その認識結果に基づいて、リアルタイムに会話支援を行うものである。また、以下の実施の形態についても同様である。
図1は、この発明の実施の形態1による車載情報装置の基本構成を示すブロック図である。この車載情報装置は、音声取得部1と、音声認識部2と、表示制御部(出力制御部)3と、表示部(出力部)4とを備えている。また、図示は省略したが、この車載情報装置は、キーやタッチパネル等による入力信号を取得するキー入力部も備えている。
表示部4は、表示制御部3により生成された表示データを表示するものであり、例えばナビの表示画面、ダッシュボード上の表示部、フロントガラス、後部座席エンターテイメント(RSE(Rear Seat Entertainment))などである。
そして、この実施の形態1による車載情報装置は、搭乗者数(マイク本数)Nごとの音声取得部1(1−1,1−2,・・・,1−N)と、それぞれに対応する音声認識部2(2−1,2−2,・・・,2−N)と、車室内環境状態検出部(車両状態検出部)30と、表示制御部(出力制御部)3と、表示部(出力部)4から構成されており、音声取得部1および音声認識部2の対を、車両内の搭乗者ごとに複数備えている。
また、表示制御部3(出力制御部)は、音声認識部2により音声認識された音声認識結果を、車室内環境状態検出部(車両状態検出部)30により検出された搭乗者ごとの発話の位置に対応づけた発話内容として、表示データを生成および出力制御するものであり、例えば搭乗者ごとに時系列順等に並べるなど、発話した複数の搭乗者を識別可能な態様の表示データを生成する。
まず初めに、何らかの発話入力があると、各音声取得部1(1−1,1−2,・・・,1−N)が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST11)。次に、各音声取得部1により取得された音声データを対応する各音声認識部2(2−1,2−2,・・・,2−N)が認識する(ステップST12)。そして、車室内環境状態検出部30が、各音声認識部2の音声認識結果の各文字列を各音声認識部2ごと、すなわち、各音声認識部2に対応する各音声取得部1の位置に応じて、搭乗者の位置ごとに検出し(ステップST13)、表示制御部3が、それらを整理して搭乗者の位置ごとおよび時系列順等に並べた表示データを作成し、表示部4へその表示データを送信することにより、表示部4に会話内容が文字列で表示される(ステップST14)。
これにより、エンジン音やタイヤノイズ、あるいは車外からの騒音により阻害されて会話内容を聞き洩らしたり、運転操作への注力等により突発的に聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。
また、常に車内の会話を搭乗者ごとに聞き取って音声認識を行い、搭乗者ごとの発話の位置を区別して検出し、それらを整理して提示するようにしたので、騒音や運転操作への注力等により会話が聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。また、搭乗者ごとに音声認識することができるので、同時に発話した場合の音声認識率を高めることができる。
図6は、この発明の実施の形態2による車載情報装置の構成を示すブロック図である。なお、実施の形態1で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態2では、図3に示した実施の形態1の構成と比べると、音声取得部1がM個のマイク(1−1,1−2,・・・,1−M)をアレイ状に配置したアレイマイクであり、信号処理部5が追加されている。すなわち、この実施の形態2による車載情報装置では、M個のマイクをアレイ状に配置した音声取得部1(1−1,1−2,・・・,1−M)が音声(音源)を取得し、信号処理部5がその音源をN個に分離して、N個の音声認識部が各搭乗者N人ごとに発話内容を音声認識するものである。
また、表示制御部3(出力制御部)は、音声認識部2により音声認識された音声認識結果を、車室内環境状態検出部(車両状態検出部)30により検出された搭乗者ごとの発話の位置に対応づけた発話内容として、表示データを生成および出力制御するものであり、例えば搭乗者ごとに時系列順等に並べるなど、発話した複数の搭乗者を識別可能な態様の表示データを生成する。
まず初めに、何らかの発話入力があると、音声取得部1(1−1,1−2,・・・,1−M)が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST21)。次に、音声取得部1により取得された音声データから、信号処理部5がN個(搭乗者の人数N分)に音源分離を行う(ステップST22)。このN個に音源分離された会話の音声データを、各音声認識部2(2−1,2−2,・・・,2−N)が認識する(ステップST23)。そして、車室内環境状態検出部30が、各音声認識部2の音声認識結果の各文字列を搭乗者の位置ごとに検出し(ステップST24)、表示制御部3が、それらを整理して搭乗者の位置ごとおよび時系列順等に並べた表示データを作成し、表示部4へその表示データを送信することにより、表示部4に会話内容が文字列で表示される(ステップST25)。
これにより、エンジン音やタイヤノイズ、あるいは車外からの騒音により阻害されて会話内容を聞き洩らしたり、運転操作への注力等により突発的に聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。
図8は、この発明の実施の形態3による車載情報装置の構成を示すブロック図である。なお、実施の形態1,2で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態3では、図3に示した実施の形態1の構成と比べると、信号処理部5において分離したN個の音声データに対応させたN個の発話有無検出部6とN個の発話データ抽出部7と、発話データ順番整理部8と、音声認識待ち発話データ記憶部9とが追加されており、また、音声認識部2は1つのみの構成となっている。
なお、この実施の形態3では実施の形態2と同様、M個のマイクをアレイ状に配置したアレイマイクを用いる構成としているが、実施の形態1の図3に示した構成と同様に、搭乗者ごとにN本のマイクを備えるものとしてもよい。
発話データ抽出部7は、信号処理部5から出力される搭乗者の位置毎に音声を分離した音声データに対して、発話有無検出部6で指示された音声区間を抽出し、抽出した発話データ(音声データ)を発話データ順番整理部8に送信する。
また、表示制御部3(出力制御部)は、車室内環境状態検出部(車両状態検出部)30から受取った搭乗者の配置状態(発話位置情報)を元に、音声認識部2により認識された発話内容である音声認識結果を搭乗者の位置ごとに整理し、例えば搭乗者ごとに時系列順等に並べるなど、発話した複数の搭乗者を識別可能な態様の表示データを生成し、表示部4に対して提示内容の出力制御を行う。
まず初めに、何らかの発話入力があると、音声取得部1(1−1,1−2,・・・,1−M)が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST31)。次に、音声取得部1により取得された音声データから、信号処理部5がN個(搭乗者の人数N分)に音源分離を行う(ステップST32)。このN個に音源分離された会話の音声データの中に、発話が含まれているか否かを、各発話有無検出部6(6−1,6−2,・・・,6−N)が検出する(ステップST33)。この発話有無検出については、各音声データに対して音声量のレベルを検出する音声区間検出を行うことにより行えばよい。
その後、音声認識部2の音声認識処理が終わるのを待ち、音声認識処理が終わり次第、発話データ順番整理部8が、音声認識待ち発話データ記憶部9に保存した発話データと搭乗者の位置情報を取得し、それぞれ音声認識部2と車室内環境状態検出部30に送信する(ステップST37)。そして、音声認識部2で発話データの音声認識処理を行う(ステップST38)。
これにより、エンジン音やタイヤノイズ、あるいは車外からの騒音により阻害されて会話内容を聞き洩らしたり、運転操作への注力等により突発的に聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。
図10は、この発明の実施の形態4による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜3で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態4では、実施の形態1において説明した図1に示す基本構成と比べると、表示部4を複数(N個)備えており、各表示部4(4−1,4−2,・・・,4−N)の位置を検出する車室内環境状態検出部(車両状態検出部)30を備えている。そして、認識した音声データを文字列として表示する際に、車室内環境状態検出部(車両状態検出部)30において検出された各表示部4(4−1,4−2,・・・,4−N)の位置に応じて、表示形式(表示内容)を変えて表示するものである。
また、表示制御部3(出力制御部)は、車室内環境状態検出部(車両状態検出部)30により検出された表示部4(4−1,4−2,・・・,4−N)の配置状態に基づいて、すなわち、例えばその表示部4が運転席に位置するものであるか助手席に位置するものであるかに応じて、異なる表示態様の表示データを生成し、表示部4に対して提示内容の出力制御を行う。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST41)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST42)。一方、車室内環境状態検出部(車両状態検出部)30が、各表示部4(4−1,4−2,・・・,4−N)の位置を検出する(ステップST43)。そして、表示制御部3が、音声認識部2の音声認識結果の文字列を時系列順に並べ、車室内環境状態検出部(車両状態検出部)30において検出された各表示部4(4−1,4−2,・・・,4−N)の位置に応じて表示形式(表示内容)を変えて表示データを生成し、それぞれの表示部4へその表示データを送信することにより、各表示部4に会話内容が文字列で表示される(ステップST44)。
図15は、この発明の実施の形態5による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜4で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態5では、実施の形態1において説明した図1に示す基本構成と比べると、車室内環境状態検出部(車両状態検出部)30、音声のS/N取得部31、音響機器動作状態取得部32、空調機器動作状態取得部33、車室内の騒音状態取得部34、窓またはルーフの開閉状態取得部35を備えている。
音響機器動作状態取得部32、空調機器動作状態取得部33は、車室内のオーディオ機器等の音響機器や、エアコン等の空調機器の動作状態をそれぞれ取得する。
車室内の騒音状態取得部34は、車室内の騒音レベルが所定の閾値を超えているか否かという騒音状態を取得する。
窓またはルーフの開閉状態取得部35は、車両の窓またはルーフの開閉状態を車両からのCAN(Controller Area Network)信号等から取得する。
そして、この実施の形態5では、車室内環境状態検出部30により車室内の環境状態が騒がしいと判断される車両状態が検出された場合に、その検出された車両状態に基づいて、表示形式(表示内容)を変えて表示するものである。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST51)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST52)。
一方、会話の提示が必要であると判断された場合(ステップST53のYESの場合)には、表示制御部3が、ステップST52で認識された音声データを整理して時系列順等に並べた表示データを作成し、表示部4へその表示データを送信することにより、表示部4に会話内容が文字列で表示される(ステップST54)。
図17は、この発明の実施の形態6による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜5で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態6では、実施の形態1において説明した図1に示す基本構成に比べると、車室内環境状態検出部(車両状態検出部)30、音声特徴情報取得部36を備えている。
そして、この実施の形態6では、車室内環境状態検出部30により搭乗者の感情状態が明るい/暗い等と推定される車両状態が検出された場合に、その検出された車両状態に基づいて、表示形式(表示内容)を変えて表示するものである。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST51)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST52)。
一方、車室内における搭乗者の感情状態が暗いと推定され、会話の提示が必要であると判断された場合(ステップST53のYESの場合)には、表示制御部3が、ステップST52で認識された音声データを整理して時系列順等に並べた表示データを作成し、表示部4へその表示データを送信することにより、表示部4に会話内容が文字列で表示される(ステップST54)。
図18は、この発明の実施の形態7による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜6で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態7では、実施の形態4において説明した図10に示すブロック図に比べると、車室内環境状態検出部(車両状態検出部)30に代えて車両周辺環境状態検出部(車両状態検出部)40を備え、さらに時刻取得部41、天候状態取得部42を備えている。
そして、この実施の形態7では、車両周辺環境状態検出部40により車両周辺の環境状態から運転手が運転操作に注力しなければならない状況であることが検出された場合に、その検出された車両状態に基づいて、表示形式(表示内容)を変えて表示したり、運転席側の表示部4では表示を非表示にするなど、表示データを出力する表示部または出力しない表示部を選択、変更、切り換える等の制御を行うものである。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST71)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST72)。
一方、運転操作への注力が必要であると判断された場合(ステップST75のYESの場合)には、運転席側の表示部4を非表示状態にする(ステップST77)。ただし、既に非表示状態の場合には何もしない。
図20は、この発明の実施の形態8による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜7で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態8では、実施の形態5において説明した図10に示すブロック図に比べると、車室内環境状態検出部(車両状態検出部)30に代えて車両運行状態検出部(車両状態検出部)50を備え、さらにステアリング状態取得部51、シフトレバー使用状態取得部52、ブレーキ使用状態取得部53、ウィンカー使用状態取得部54、照明状態取得部55、ワイパー使用状態取得部56を備えている。
そして、この実施の形態8では、車両運行状態検出部50により上記の車両設備が使用されている状態であると検出された場合に、その検出された車両状態に基づいて、表示形式(表示内容)を変えて表示したり、運転席側の表示部4では表示を非表示にするなど、表示データを出力する表示部または出力しない表示部を選択、変更、切り換える等の制御を行うものである。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST71)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST72)。
一方、運転操作への注力が必要であると判断された場合(ステップST75のYESの場合)には、運転席側の表示部4を非表示状態にする(ステップST77)。ただし、既に非表示状態の場合には何もしない。
図21は、この発明の実施の形態9による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜8で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態9では、実施の形態4において説明した図10に示すブロック図と比べると、車室内環境状態検出部(車両状態検出部)30に代えて車両運行状態検出部(車両状態検出部)50を備え、さらに自車位置取得部61、車速信号取得部62、加速度取得部63、方位取得部64、走行継続時間取得部65、走行継続距離取得部66、走行道路種別取得部67、走行道路路面状態取得部68、走行道路渋滞状況取得部69、走行経路設定状態取得部70、走行経路誘導状態取得部71を備えている。
そして、この実施の形態9では、車両運行状態検出部50により検出された車両状態に基づいて、表示形式(表示内容)を変えて表示するものである。
なお、実施の形態4,7,8に示すように、表示部4を複数備えている場合には、車両運行状態検出部50により検出された車両状態に基づいて、表示形式(表示内容)を変えて表示したり、運転席側の表示部4では車両運行中は表示を非表示にするなど、表示データを出力する表示部または出力しない表示部を選択、変更、切り換える等の制御を行うこともできる。
車速信号取得部62は、車両からのCAN信号等から車両の速度情報を取得する。
加速度取得部63は、ジャイロスコープや、車両のアクセル・ブレーキ・ハンドル操作から、車両の加速度を取得する。
方位取得部64は、自車位置の移動方向や電子コンパスから車両の方位を取得する。
走行継続時間取得部65、走行継続距離取得部66は、カーナビゲーションや車両からのCAN信号等から、走行継続時間、走行継続距離をそれぞれ判断して取得する。
走行道路渋滞状況取得部69は、通信機器を介して自車位置の渋滞情報を取得したり、電波・光ビーコンからVICS(Vehicle Information and Communication System/登録商標)情報(道路交通情報)を取得したりする。
地図データ記憶部72には、例えば道路データ、トンネルデータ等の地図データが記憶されている。この地図データ記憶部72は、DVD−ROM、ハードディスク、SDカードなど、どのような形態のものでもよい。またネットワーク上に存在し、通信ネットワークを介して道路データなどの情報を取得できる構成としてもよい。
そして表示制御部3は、車両運行状態検出部50が走行中と判断した場合や、運転操作に影響を与える道路の状態であると判断した場合には、運転席側(運転手から見える位置)の表示部4の表示内容を非表示にする。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST71)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST72)。そして、表示制御部3が運転席側(運転手から見える位置)の表示部4に表示を行うわけではない場合(ステップST73のNOの場合)は、音声認識部2の音声認識結果の文字列を時系列順に並べ、各表示部4(4−1,4−2,・・・,4−N)の位置に応じて表示形式(表示内容)を変えて表示データを生成し、それぞれの表示部4へその表示データを送信することにより、各表示部4に会話内容が文字列で表示される(ステップST74)。
一方、運転操作への注力が必要であると判断された場合(ステップST75のYESの場合)には、運転席側の表示部4を非表示状態にする(ステップST77)。ただし、既に非表示状態の場合には何もしない。
図22は、この発明の実施の形態10による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜9で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態10では、実施の形態7において説明した図18に示すブロック図と比べると、音声出力制御部11および音声出力部12をさらに備えており、運転席側の表示部4において走行中は表示を非表示としたため、運転手への代わりの情報として音声出力により会話内容を提示するものである。なお、ここでは実施の形態7を元に説明するが、実施の形態8,9においても同様に、音声出力制御部および音声出力部を備えて同様の構成とすることができる。
なお、この実施の形態10では合成音声を出力する構成としているが、音声認識部2で音声区間検出した部分を合成音声の代わりに出力する構成としてもよい。
音声出力部12は、音声出力制御部11から送信された音声データをスピーカ等により出力する。
ステップST101〜ST107までの処理については、実施の形態7における図19のフローチャートのステップST71〜ST77と同じであるため、説明を省略する。そして、この実施の形態10では、ステップST107において運転席側の表示部4を非表示状態にした後に、音声出力制御部11が音声認識部2により認識した発話内容の音声データを音声出力部12に送信し、音声データを出力する(ステップST108)。
図24は、この発明の実施の形態11による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜10で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態11では、実施の形態8において説明した図20に示すブロック図と比べると、音声出力保留判定部10、音声出力制御部11および音声出力部12をさらに備えており、運転席側の表示部4において走行中は表示を非表示としたため、運転手への代わりの情報として音声出力により会話内容を提示するものである。なお、ここでは実施の形態8を元に説明するが、実施の形態9においても同様に、音声出力保留判定部、音声出力制御部および音声出力部を備えて同様の構成とすることができる。
音声出力保留判定部10は、ステアリング状態取得部51、シフトレバー使用状態取得部52、ブレーキ使用状態取得部53、ウィンカー使用状態取得部54、照明状態取得部55、ワイパー使用状態取得部56からの情報により、右左折時や車線変更時など、特に運転に注意を払う必要がある場面であるか否かを判断し、それにより音声出力の保留の要否を判定し、音声出力制御部11に通知する。
なお、この実施の形態10では合成音声を出力する構成としているが、音声認識部2で音声区間検出した部分を合成音声の代わりに出力する構成としてもよい。
音声出力部12は、音声出力制御部11から送信された音声データをスピーカ等により出力する。
ステップST111〜ST117までの処理については、実施の形態10における図23のフローチャートのステップST101〜ST107と同じであるため、説明を省略する。そして、この実施の形態11では、ステップST117において運転席側の表示部4を非表示状態にした後に、音声出力保留判定部10にて音声出力の保留の要否判断を行う(ステップST118)。音声出力の保留が必要であると判断された場合(ステップST118のYESの場合)は、音声出力の保留が解除されるまで音声出力部12への音声データを保留する(ステップST119のNOの場合)。
図26は、この発明の実施の形態12による車載情報装置の構成を示すブロック図である。なお、実施の形態1〜11で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態12では、実施の形態1において説明した図1に示す基本構成と比べると、実施の形態5〜10において説明した各種取得部31〜36,41〜42,51〜56,61〜72のいずれかと、車両状態検出部30,40,50に加え、キーワード抽出部13および会話履歴記憶部14をさらに備えており、車両状態検出部30,40,50により検出された車両状態またはキーワード抽出部13により抽出された所定のキーワードに基づいて、発話内容の全部または部分の出力要否を判断し、出力要と判断された発話内容の全部または部分の表示データのみを生成したり、表示開始または表示停止のタイミングを判断し、表示するタイミングを変えたりするものである。
会話履歴記憶部14は、音声認識部2により認識した発話内容をすべて記憶しておくものであり、表示制御部3からの指示により直前の会話が必要とされた場合に、記憶されている会話内容の直前の会話を送信する。
b)窓が開いたら提示し、閉まったら提示しない。
c)トンネル内を走行していれば提示し、トンネル外であれば提示しない。
d)まもなくトンネル内に入ると通知された場合、その直後の会話から提示する。
e)入力音声のS/N比がある閾値以下であれば提示し、ある閾値より大きければ提示しない。
f)音声認識結果に「えっ、何?」等の会話を聞き取れなかったことを意味するキーワードが含まれていれば、その直前の会話から提示する。
g)音声認識結果に「会話をテロップで表示」等の表示を指示するキーワードが含まれていれば、その直後の会話から提示する。
h)音声認識結果に「会話をテロップに表示しない」「このテロップ邪魔」等の表示しないよう指示するキーワードが含まれていれば、会話を提示しない。
まず初めに、何らかの発話入力があると、音声取得部1が入力された音声を取得し、A/D変換して、例えばPCM形式の音声データとして取得する(ステップST121)。次に、音声取得部1により取得された音声データを音声認識部2が認識する(ステップST122)。そして、音声認識部2で認識した発話内容を表示制御部3が後から参照することができるよう、認識した会話の文字列を会話履歴として会話履歴記憶部14に保存する(ステップST123)。
なお、会話の提示が不要であると判断された場合(ステップST124のNOの場合)にも、ステップST121に戻る。
また、提示するタイミングがその認識の直前でも直後でもない場合(ステップST126のNOの場合)には、音声認識部で認識した会話の文字列から生成した表示データを表示部4に送信して表示する(ステップST128)。
これにより、わかりにくい語句なども明確に提示されるので、会話内容を明確に確認することができる。
Claims (18)
- 車両に搭載され、搭乗者を支援する情報を提供する車載情報装置において、
前記車載情報装置が起動されている場合は常時、前記搭乗者の発話した音声を検知して取得する音声取得部と、
前記音声取得部により取得した前記音声の発話内容を認識する音声認識部と、
前記車両の車室内の環境状態または前記車両周辺の環境状態または前記車両の運行状態を含む車両状態を検出する車両状態検出部と、
前記車両状態検出部により検出された前記車両状態に応じて前記音声認識部により認識された前記発話内容を表示データまたは音声データとして生成および出力制御をする出力制御部と、
前記出力制御部により生成された表示データまたは音声データを出力する出力部とを備えた
ことを特徴とする車載情報装置。 - 前記音声認識部が認識した発話内容から所定のキーワードを抽出するキーワード抽出部をさらに備え、
前記出力制御部は、前記車両状態検出部により検出された前記車両状態および前記キーワード抽出部により抽出されたキーワードに応じて前記発話内容の表示データまたは音声データを生成および出力制御をする
ことを特徴とする請求項1記載の車載情報装置。 - 前記音声認識部が認識した発話内容を記憶する会話履歴記憶部をさらに備え、
前記出力制御部は、前記会話履歴記憶部に記憶された発話内容を利用して表示データまたは音声データを生成する
ことを特徴とする請求項1記載の車載情報装置。 - 前記車両状態検出部は、車室内の環境状態として、搭乗者、音声取得部、出力部のいずれかの配置状態を検出することを特徴とする請求項1記載の車載情報装置。
- 前記車両状態検出部は、車室内の環境状態として、音声取得部が取得した音声のS/N比、車室内の音響機器または空調機器の動作状態、車室内の騒音状態、窓またはルーフの開閉状態のいずれかを検出することを特徴とする請求項1記載の車載情報装置。
- 前記車両状態検出部は、車室内の環境状態として、音声取得部が取得した音声の種類、音量、音程、音質、音色、声色、テンポ、周波数特性のいずれかを含む音声特徴情報に基づく推定により、前記音声を発話した搭乗者の感情状態を検出することを特徴とする請求項1記載の車載情報装置。
- 前記車両状態検出部は、車両周辺の環境状態として、車両周辺の現在の年月日、時刻、曜日、天候状態のいずれかを検出することを特徴とする請求項1記載の車載情報装置。
- 前記車両状態検出部は、車両の運行状態として、ステアリング、シフトレバー、ブレーキ、ウィンカー、照明、ワイパーのいずれかの操作状態を検出することを特徴とする請求項1記載の車載情報装置。
- 前記車両状態検出部は、車両の運行状態として、車両の現在の位置、速度、加速度、方位、走行継続距離、走行継続時間、走行道路種別、走行道路路面状態、走行道路渋滞状況、走行経路設定状態、走行経路誘導状態のいずれかを検出することを特徴とする請求項1記載の車載情報装置。
- 前記出力制御部は、前記車両状態検出部により検出された車両状態または前記キーワード抽出部により抽出されたキーワードに応じて、異なる態様の表示データまたは音声データを生成することを特徴とする請求項2記載の車載情報装置。
- 前記異なる態様の表示データまたは音声データとしては、表示文字または表示画像の種類、形状、大きさ、色、濃度、明度、画面内のレイアウトのいずれかが異なる表示データ、または、音声の種類、音量、音程、音質、音色、声色、テンポ、音像、残響、チャンネル数、周波数特性のいずれかが異なる音声データであることを特徴とする請求項10記載の車載情報装置。
- 前記出力制御部は、前記車両状態検出部により検出された車両状態または前記キーワード抽出部により抽出されたキーワードに応じて、前記発話内容の全部または部分の出力要否を判断し、前記発話内容の全部または部分の表示データまたは音声データを生成するまたは生成しないことを特徴とする請求項2記載の車載情報装置。
- 前記出力制御部は、前記キーワードに所定の語句が含まれるか否かを判断し、前記所定の語句が含まれると判断した場合には、前記所定の語句を、所定の異なる語句または所定の画像または所定の音声に変換した表示データまたは音声データを生成することを特徴とする請求項2記載の車載情報装置。
- 前記出力制御部は、前記キーワードに所定の略語または言い換え語または方言が含まれるか否かを判断し、前記所定の略語または言い換え語または方言が含まれると判断した場合には、前記所定の略語または言い換え語または方言を、所定の標準語句に変換した表示データまたは音声データを生成することを特徴とする請求項2記載の車載情報装置。
- 前記出力制御部は、前記車両状態検出部により検出された車両状態または前記キーワード抽出部により抽出されたキーワードに応じて、表示データまたは音声データの出力開始または出力停止のタイミングを判断し、当該判断したタイミングで、前記表示データまたは音声データが前記出力部から出力開始または出力停止されるように制御することを特徴とする請求項2記載の車載情報装置。
- 前記出力制御部は、前記搭乗者が複数いる場合には、発話した前記複数の搭乗者を識別可能な態様の表示データまたは音声データを生成することを特徴とする請求項1記載の車載情報装置。
- 前記出力制御部は、前記出力部が複数ある場合には、前記車両状態検出部により検出された車両状態または前記キーワード抽出部により抽出されたキーワードに応じて、表示データまたは音声データを出力する出力部または出力しない出力部を選択または変更または切り換えることを特徴とする請求項2記載の車載情報装置。
- 前記車載情報装置は、車載ナビゲーション装置、車載オーディオ装置、車載映像装置のいずれかであることを特徴とする請求項1記載の車載情報装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2012/004099 WO2014002128A1 (ja) | 2012-06-25 | 2012-06-25 | 車載情報装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014002128A1 true JPWO2014002128A1 (ja) | 2016-05-26 |
JP5972372B2 JP5972372B2 (ja) | 2016-08-17 |
Family
ID=49782371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014522219A Active JP5972372B2 (ja) | 2012-06-25 | 2012-06-25 | 車載情報装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9305555B2 (ja) |
JP (1) | JP5972372B2 (ja) |
CN (1) | CN104412323B (ja) |
DE (1) | DE112012006617B4 (ja) |
WO (1) | WO2014002128A1 (ja) |
Families Citing this family (114)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US20120309363A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
CN104428766B (zh) * | 2012-07-03 | 2017-07-11 | 三菱电机株式会社 | 语音识别装置 |
CN104969289B (zh) | 2013-02-07 | 2021-05-28 | 苹果公司 | 数字助理的语音触发器 |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US20140288939A1 (en) * | 2013-03-20 | 2014-09-25 | Navteq B.V. | Method and apparatus for optimizing timing of audio commands based on recognized audio patterns |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
WO2015020942A1 (en) | 2013-08-06 | 2015-02-12 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
JP6413263B2 (ja) * | 2014-03-06 | 2018-10-31 | 株式会社デンソー | 報知装置 |
US9520142B2 (en) | 2014-05-16 | 2016-12-13 | Alphonso Inc. | Efficient apparatus and method for audio signature generation using recognition history |
EP2949536B1 (en) * | 2014-05-30 | 2016-10-05 | Honda Research Institute Europe GmbH | Method for controlling a driver assistance system |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
WO2015184186A1 (en) | 2014-05-30 | 2015-12-03 | Apple Inc. | Multi-command single utterance input method |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
KR102249392B1 (ko) * | 2014-09-02 | 2021-05-07 | 현대모비스 주식회사 | 사용자 맞춤형 서비스를 위한 차량 기기 제어 장치 및 방법 |
JP6242773B2 (ja) * | 2014-09-16 | 2017-12-06 | 株式会社東芝 | 会議情報蓄積装置、方法およびプログラム |
WO2016103988A1 (ja) * | 2014-12-26 | 2016-06-30 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
CN106714026B (zh) * | 2015-07-30 | 2019-06-21 | 惠州市德赛西威汽车电子股份有限公司 | 多输出音源的识别方法以及基于该方法的车载多音源*** |
DE102015011023B4 (de) * | 2015-08-22 | 2022-01-05 | Audi Ag | Fahrzeug-Datenschreibervorrichtung, Fahrzeug und Verfahren zum Protokollieren eines Vorgangs in einem Fahrzeug |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
JP6227209B2 (ja) * | 2015-09-09 | 2017-11-08 | 三菱電機株式会社 | 車載用音声認識装置および車載機器 |
JP6760271B2 (ja) * | 2015-10-08 | 2020-09-23 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
WO2017212569A1 (ja) * | 2016-06-08 | 2017-12-14 | 三菱電機株式会社 | 車載情報処理装置、車載装置および車載情報処理方法 |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
KR102405295B1 (ko) * | 2016-08-29 | 2022-06-07 | 하만인터내셔날인더스트리스인코포레이티드 | 청취 공간에 대한 가상 현장들을 생성하기 위한 장치 및 방법 |
DE102016218270B4 (de) * | 2016-09-22 | 2018-04-26 | Audi Ag | Verfahren zum Betreiben einer Kraftfahrzeug-Bedienvorrichtung mit Spracherkenner, Bedienvorrichtung und Kraftfahrzeug |
US10950235B2 (en) * | 2016-09-29 | 2021-03-16 | Nec Corporation | Information processing device, information processing method and program recording medium |
WO2018061354A1 (ja) * | 2016-09-30 | 2018-04-05 | 本田技研工業株式会社 | 情報提供装置、及び移動体 |
JP6918471B2 (ja) * | 2016-11-24 | 2021-08-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 対話補助システムの制御方法、対話補助システム、及び、プログラム |
US10593328B1 (en) * | 2016-12-27 | 2020-03-17 | Amazon Technologies, Inc. | Voice control of remote device |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
JP6767082B2 (ja) | 2017-03-17 | 2020-10-14 | 三菱電機株式会社 | 車内通話制御装置、車内通話システムおよび車内通話制御方法 |
CN107230478A (zh) * | 2017-05-03 | 2017-10-03 | 上海斐讯数据通信技术有限公司 | 一种语音信息处理方法及*** |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK201770411A1 (en) * | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
DE102017213249A1 (de) * | 2017-08-01 | 2019-02-07 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und System zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs |
US20190156834A1 (en) * | 2017-11-22 | 2019-05-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vehicle virtual assistance systems for taking notes during calls |
CN109835280B (zh) * | 2017-11-27 | 2022-07-15 | 比亚迪股份有限公司 | 一种通过语音识别显示车辆状态及驾驶行为的***和车辆 |
KR102567188B1 (ko) | 2017-12-20 | 2023-08-16 | 현대자동차주식회사 | 차량 및 그 제어 방법 |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
JP7186375B2 (ja) * | 2018-03-29 | 2022-12-09 | パナソニックIpマネジメント株式会社 | 音声処理装置、音声処理方法および音声処理システム |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
KR20200042127A (ko) * | 2018-10-15 | 2020-04-23 | 현대자동차주식회사 | 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 |
KR20200001188A (ko) * | 2018-06-27 | 2020-01-06 | 현대자동차주식회사 | 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법 |
KR20200004054A (ko) | 2018-07-03 | 2020-01-13 | 현대자동차주식회사 | 대화 시스템 및 대화 처리 방법 |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
JP6936772B2 (ja) * | 2018-06-04 | 2021-09-22 | 株式会社ホンダアクセス | 情報提供装置 |
JP7163625B2 (ja) * | 2018-06-06 | 2022-11-01 | 日本電信電話株式会社 | 移動支援情報提示制御装置、方法およびプログラム |
CN112313137B (zh) * | 2018-06-19 | 2024-06-04 | 日产自动车株式会社 | 行驶信息处理装置和处理方法 |
EP3828883A4 (en) | 2018-07-24 | 2022-05-04 | Faurecia Clarion Electronics Co., Ltd. | INFORMATION COLLECTION DEVICE AND CONTROL METHOD |
JP7020554B2 (ja) * | 2018-08-02 | 2022-02-16 | 日本電信電話株式会社 | 会話サポートシステム、その方法、およびプログラム |
KR102109186B1 (ko) * | 2018-08-24 | 2020-05-11 | 정우주 | 차량 탑승자 대화기반 컨텐츠 추천 방법 및 장치 |
WO2020065771A1 (ja) * | 2018-09-26 | 2020-04-02 | 三菱電機株式会社 | 音声感情認識装置および音声感情認識方法 |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
JP2020060830A (ja) * | 2018-10-05 | 2020-04-16 | 本田技研工業株式会社 | エージェント装置、エージェント提示方法、およびプログラム |
JP7068986B2 (ja) * | 2018-10-09 | 2022-05-17 | 本田技研工業株式会社 | エージェントシステム、エージェント制御方法、およびプログラム |
JP2020060696A (ja) * | 2018-10-10 | 2020-04-16 | 本田技研工業株式会社 | コミュニケーション支援システム、コミュニケーション支援方法、およびプログラム |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
CN109733293A (zh) * | 2018-12-14 | 2019-05-10 | 江苏辰汉电子科技有限公司 | 一种支持语音识别的新型车载智能终端装置 |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
JP2020154013A (ja) | 2019-03-18 | 2020-09-24 | 株式会社Subaru | 車両用注意喚起装置、車両用注意喚起方法及びプログラム |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
CN111402868B (zh) * | 2020-03-17 | 2023-10-24 | 阿波罗智联(北京)科技有限公司 | 语音识别方法、装置、电子设备及计算机可读存储介质 |
CN115298737A (zh) * | 2020-03-19 | 2022-11-04 | 日产自动车株式会社 | 语音识别装置和语音识别方法 |
KR20210133600A (ko) * | 2020-04-29 | 2021-11-08 | 현대자동차주식회사 | 차량 음성 인식 방법 및 장치 |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11183193B1 (en) | 2020-05-11 | 2021-11-23 | Apple Inc. | Digital assistant hardware abstraction |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
CN111816189B (zh) * | 2020-07-03 | 2023-12-26 | 斑马网络技术有限公司 | 一种车辆用多音区语音交互方法及电子设备 |
CN114089943A (zh) | 2020-07-17 | 2022-02-25 | 阿尔卑斯阿尔派株式会社 | 声音输出装置及声音输出方法 |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US20220415321A1 (en) * | 2021-06-25 | 2022-12-29 | Samsung Electronics Co., Ltd. | Electronic device mounted in vehicle, and method of operating the same |
DE102022113817A1 (de) | 2022-06-01 | 2023-12-07 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und vorrichtung zum betreiben eines sprachsteuersystems eines automatisierten kraftfahrzeugs |
DE102022125547B4 (de) | 2022-10-04 | 2024-07-18 | Cariad Se | Kraftfahrzeug und Verfahren zum Zusammenfassen eines Gesprächs in einem Kraftfahrzeug |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000353294A (ja) * | 1999-06-11 | 2000-12-19 | Fujitsu Ten Ltd | 車載用情報提供装置及び音声認識装置 |
JP2001005487A (ja) * | 1999-06-18 | 2001-01-12 | Mitsubishi Electric Corp | 音声認識装置 |
JP2005100382A (ja) * | 2003-09-01 | 2005-04-14 | Matsushita Electric Ind Co Ltd | 対話装置及び対話方法 |
JP2005309185A (ja) * | 2004-04-23 | 2005-11-04 | Nissan Motor Co Ltd | 音声入力装置、および音声入力方法 |
JP2007208828A (ja) * | 2006-02-03 | 2007-08-16 | Denso Corp | 車両用音声入出力制御装置 |
WO2008004486A1 (fr) * | 2006-07-06 | 2008-01-10 | Panasonic Corporation | Dispositif d'entrée vocale |
JP2008242261A (ja) * | 2007-03-28 | 2008-10-09 | Denso Corp | 音声認識装置 |
JP2010156825A (ja) * | 2008-12-26 | 2010-07-15 | Fujitsu Ten Ltd | 音声出力装置 |
JP2010286627A (ja) * | 2009-06-11 | 2010-12-24 | Nissan Motor Co Ltd | 感情推定装置及び感情推定方法 |
JP2011170634A (ja) * | 2010-02-18 | 2011-09-01 | Nikon Corp | 情報処理装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8054203B2 (en) * | 1995-06-07 | 2011-11-08 | Automotive Technologies International, Inc. | Apparatus and method for determining presence of objects in a vehicle |
EP2587481B1 (en) * | 2002-10-23 | 2020-01-08 | Nuance Communications, Inc. | Controlling an apparatus based on speech |
JP4311190B2 (ja) * | 2003-12-17 | 2009-08-12 | 株式会社デンソー | 車載機器用インターフェース |
US8880047B2 (en) | 2005-08-03 | 2014-11-04 | Jeffrey C. Konicek | Realtime, location-based cell phone enhancements, uses, and applications |
US7949529B2 (en) | 2005-08-29 | 2011-05-24 | Voicebox Technologies, Inc. | Mobile systems and methods of supporting natural language human-machine interactions |
JP2008042390A (ja) | 2006-08-03 | 2008-02-21 | National Univ Corp Shizuoka Univ | 車内会話支援システム |
JP2008275987A (ja) | 2007-05-01 | 2008-11-13 | Yamaha Corp | 音声認識装置および会議システム |
US7881929B2 (en) * | 2007-07-25 | 2011-02-01 | General Motors Llc | Ambient noise injection for use in speech recognition |
US20090055180A1 (en) * | 2007-08-23 | 2009-02-26 | Coon Bradley S | System and method for optimizing speech recognition in a vehicle |
JP5106540B2 (ja) * | 2007-10-12 | 2012-12-26 | 三菱電機株式会社 | 車載情報提供装置 |
US8351581B2 (en) | 2008-12-19 | 2013-01-08 | At&T Mobility Ii Llc | Systems and methods for intelligent call transcription |
US8428227B2 (en) | 2010-05-18 | 2013-04-23 | Certicall, Llc | Certified communications system and method |
-
2012
- 2012-06-25 US US14/384,740 patent/US9305555B2/en active Active
- 2012-06-25 DE DE112012006617.0T patent/DE112012006617B4/de active Active
- 2012-06-25 WO PCT/JP2012/004099 patent/WO2014002128A1/ja active Application Filing
- 2012-06-25 JP JP2014522219A patent/JP5972372B2/ja active Active
- 2012-06-25 CN CN201280074229.9A patent/CN104412323B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000353294A (ja) * | 1999-06-11 | 2000-12-19 | Fujitsu Ten Ltd | 車載用情報提供装置及び音声認識装置 |
JP2001005487A (ja) * | 1999-06-18 | 2001-01-12 | Mitsubishi Electric Corp | 音声認識装置 |
JP2005100382A (ja) * | 2003-09-01 | 2005-04-14 | Matsushita Electric Ind Co Ltd | 対話装置及び対話方法 |
JP2005309185A (ja) * | 2004-04-23 | 2005-11-04 | Nissan Motor Co Ltd | 音声入力装置、および音声入力方法 |
JP2007208828A (ja) * | 2006-02-03 | 2007-08-16 | Denso Corp | 車両用音声入出力制御装置 |
WO2008004486A1 (fr) * | 2006-07-06 | 2008-01-10 | Panasonic Corporation | Dispositif d'entrée vocale |
JP2008242261A (ja) * | 2007-03-28 | 2008-10-09 | Denso Corp | 音声認識装置 |
JP2010156825A (ja) * | 2008-12-26 | 2010-07-15 | Fujitsu Ten Ltd | 音声出力装置 |
JP2010286627A (ja) * | 2009-06-11 | 2010-12-24 | Nissan Motor Co Ltd | 感情推定装置及び感情推定方法 |
JP2011170634A (ja) * | 2010-02-18 | 2011-09-01 | Nikon Corp | 情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5972372B2 (ja) | 2016-08-17 |
DE112012006617T5 (de) | 2015-04-09 |
WO2014002128A1 (ja) | 2014-01-03 |
US9305555B2 (en) | 2016-04-05 |
US20150006167A1 (en) | 2015-01-01 |
CN104412323B (zh) | 2017-12-12 |
DE112012006617B4 (de) | 2023-09-28 |
CN104412323A (zh) | 2015-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5972372B2 (ja) | 車載情報装置 | |
US6889189B2 (en) | Speech recognizer performance in car and home applications utilizing novel multiple microphone configurations | |
WO2017057170A1 (ja) | 対話装置及び対話方法 | |
JP6173477B2 (ja) | ナビゲーション用サーバ、ナビゲーションシステムおよびナビゲーション方法 | |
JP5677647B2 (ja) | ナビゲーション装置 | |
JP6604151B2 (ja) | 音声認識制御システム | |
JP5413321B2 (ja) | 通信システム、車載端末、および携帯端末 | |
JP2006317573A (ja) | 情報端末 | |
CN111261154A (zh) | 智能体装置、智能体提示方法及存储介质 | |
JP2009251388A (ja) | 母国語発話装置 | |
JP2007133728A (ja) | エージェント装置、エージェント機能付車載用ナビゲーション装置、エージェント出力方法 | |
JP5414951B2 (ja) | ナビゲーション装置、方法およびプログラム | |
JP5181533B2 (ja) | 音声対話装置 | |
KR101755308B1 (ko) | 음성 인식 모듈, 그를 가지는 단말기 및 차량 | |
JPH11351901A (ja) | 制御装置 | |
JP6741387B2 (ja) | 音声出力装置 | |
WO2019163060A1 (ja) | 操作制限制御装置及び操作制限制御方法 | |
JP2008003371A (ja) | 車載用音声認識装置及び音声コマンド登録方法 | |
JP2009086132A (ja) | 音声認識装置、音声認識装置を備えたナビゲーション装置、音声認識装置を備えた電子機器、音声認識方法、音声認識プログラム、および記録媒体 | |
JP2018087870A (ja) | 音声出力装置 | |
JP2022018605A (ja) | 電子機器及び音声起動方法 | |
CN112241248A (zh) | 信息提供装置、信息提供方法及存储介质 | |
JP2014232289A (ja) | 誘導音声調整装置、誘導音声調整方法および誘導音声調整プログラム | |
JP2021105769A (ja) | 車載装置及び応答出力制御方法 | |
CN116580699A (zh) | 车辆及其控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5972372 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |