JP7233918B2 - 車載装置、通信システム - Google Patents
車載装置、通信システム Download PDFInfo
- Publication number
- JP7233918B2 JP7233918B2 JP2018243753A JP2018243753A JP7233918B2 JP 7233918 B2 JP7233918 B2 JP 7233918B2 JP 2018243753 A JP2018243753 A JP 2018243753A JP 2018243753 A JP2018243753 A JP 2018243753A JP 7233918 B2 JP7233918 B2 JP 7233918B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- command
- sight direction
- vehicle
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- Position Input By Displaying (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Instructional Devices (AREA)
Description
まず、図3を用いて、本実施形態の検索方法の概略について説明する。図3は、車両の乗員の視線方向と車載装置が表示する電子地図301に表示される施設の検索結果の一例を説明する図である。
・図3(a)は車両の乗員が左側13を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。電子地図301にはルートに沿って左側にあるコンビニのみが検索され表示されている。
・図3(d)は車両の乗員が右側11を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。電子地図301にはルートに沿って右側にあるコンビニのみが検索され表示されている。
・図3(c)は車両の乗員が車載装置のディスプレイ14を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。ディスプレイ14が表示中の電子地図内にあるコンビニが検索され電子地図301に表示されている。
・図3(b)は車両の乗員が正面12を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。正面12を見ながら発言した場合、車両の乗員に検索要素を付加する意志がないと判断され、電子地図301にはルートの両側にあるコンビニが検索され表示されている。すなわち、従来と同様の検索も可能である。
車両の乗員とは、施設を検索する者をいう。例えば、運転者であるが、単なる乗員であってもよい。また、自動運転により移動する移動体では乗員が全く運転しない場合が含まれる。
図4は、車載装置10の構成例を説明する図である。まず、図4(a)は車両に搭載された車載装置10を示す。車載装置10は車両に搭載された装置であり、本実施形態では少なくとも施設を検索する機能を有している。また、施設までのルートを探索してディスプレイ14に表示する機能も有するとよい。このような車載装置10をカーナビゲーション装置と呼ぶ場合がある。
(i) サーバ50が音声認識して、施設の検索を行い、検索結果を車両に送信する。
(ii) サーバ50が音声認識して、コマンドを車載装置10に送信し、車載装置10が施設を検索する。
(iii) 車載装置10が音声認識してコマンドをサーバ50に送信し、サーバ50が施設の検索を行い、検索結果を車両に送信する。
図5は、車載装置10が有する機能をブロック状に示す機能ブロック図の一例である。車載装置10は、画像データ取得部21、視線方向認識部22、音声データ取得部23、音声認識部24、コマンド検出部25、施設検索部26、位置検出部27、ルート探索部28、ルート案内部29、操作受付部30、及び、ナビ画面作成部31を有している。
表1(a)は、施設情報DB35に記憶されているジャンル情報を模式的に示す。ジャンル情報は各施設のジャンルを索引的に検索できるデータベースであり、表1(b)の施設詳細情報の施設と対応付けられている。また、ジャンル情報には一般的な施設のジャンルが格納されている。このジャンルで施設詳細情報が検索される。したがって、音声認識でジャンルを特定できれば、このジャンルの施設を検索できる。
続いて、図6を用いて右側11、正面12、左側13、又はディスプレイ14と判断される視線方向について説明する。図6は、右側11、正面12、左側13、又は、ディスプレイ14と判断される視線方向を説明する図である。図示するように、視線方向の水平角度がφ1~φ2かつ垂直角度がθ1~θ2の間にある場合、視線方向が左側13であると判断される。正面12,右側11、及び、ディスプレイ14についても同様に、視線方向が水平角度と垂直角度の決まった範囲に入るかどうかにより視線方向が判断される。
車両の乗員がコマンドを発言するには一定の時間がかかるが、視線方向は瞬間の値としてフレームレートに応じて繰り返し判断される。一方、コマンドが認識されるためには、車両の乗員がコマンドを発言し終わっている必要がある。
続いて、図8、図9を用いて右側又は左側の施設の検索について説明する。まず、図8を用いて、車両の「近く」の施設の検索について説明する。図8は検索範囲の説明に関してディスプレイ14に表示された電子地図301の一例を示す。図8では、現在地マーク302とルート303が表示されているが、説明の便宜上、地物については省略した。
直線1×直線2が正 → 左側
直線1×直線2が負 → 右側
このように、施設検索部26は近くの施設を検索して、ルート又は走行中の道路に対し右側又は左側になる施設のみを検索できる(絞り込むことができる)。
右側11、正面12、左側13、又はディスプレイ14以外に、HUD(Head Up Display)を車両の乗員が見ているかどうかを判断してもよい。図10は、HUDの表示例を示す。図10に示すHUDには「300m前方を右折する」ことがアイコンで示されているが、このようにHUDには進行方向が表示される場合がある。
図11は、車載装置10が視線方向を検索要素として施設を検索する手順を示すフローチャート図の一例である。
・視線方向が左側13の場合、左側の施設に絞り込む(S9)。
・視線方向が正面12の場合、施設の絞り込みは行わない。
・視線方向が右側11の場合、右側の施設に絞り込む(S10)。
・視線方向がディスプレイ14の場合、電子地図301の表示範囲で検索する(S11)。この場合、ステップS7で検索しておけばステップS11は不要になる。
以上説明したように、本実施形態の車載装置10は、車両の乗員の視線方向を認識して、車両の乗員が見ている方向と音声操作を組み合わせて施設の検索を行うことができる。換言すると、車両の乗員が見ている方向に応じて施設の検索範囲を変更できる。したがって、施設を検索する音声とは別に方向など別の検索要素を指定する音声を発言する必要がないし、長い言葉や複雑な言葉を発言する必要がないので、音声の認識率が低下することもない。
図12は、車両の乗員の視線方向と探索された迂回ルートの一例を説明する図である。まず、図12(c)に示すように車両の乗員は運転席から前方を見ている。例えば、車両の乗員が右側11を見ながら「迂回ルート」と発言した場合、車載装置10はルート303に対し右側の(右折の)迂回ルート321だけ探索する。また、左側13を見ながら発言した場合、ルートに対し左側の(左折の)迂回ルート320だけ検索する。
・図12(a)は車両の乗員が左側13を見ながら「迂回ルート」と発言した場合に探索された迂回ルート320を示す図である。ルート303の左側に迂回ルート320が表示されている。
・図12(b)は車両の乗員が右側11を見ながら「迂回ルート」と発言した場合に探索された迂回ルート321を示す図である。ルート303の右側に迂回ルート321が表示されている。
本実施例では、実施例1の図5の機能ブロック図を援用して説明する。しかし、本実施例では視線方向認識部22が認識した視線方向がルート探索部28に入力される。ルート探索部28は、視線方向が入力された場合、視線方向に応じてルート303又は走行中の道路に対し右側又は左側の迂回ルートを検索する。処理の流れは以下のようになる。
・例えば、現在地よりも前方で交差点があるノードを起点、現在のルート303の混雑が緩和されるノードを終点としてルート探索を行う。あるいは、所定距離前方のノードを終点としてもよい。
・現在のルート303に含まれるリンクであって、起点から終点までのリンクのコストを最大値に設定する。
・視線方向が右側11の場合、ルート303に対し左方向に進路変更を伴うリンクのコストを最大値に設定し、視線方向が左側13の場合、ルート303に対し右方向に進路変更を伴うリンクのコストを最大値に設定する。こうすることで、ルート303に対し右側又は左側の迂回ルートを探索できる。なお、ルート303に対し左方向又は右方向に進路変更を伴うリンクは、ルート303が有するリンクとのなす角により判断できる。
図13は、車載装置10が視線方向を検索要素として迂回ルートを探索する手順を示すフローチャート図の一例である。なお、図13の説明では主に図11との相違を説明する。まず、ステップS11~S16はステップS1~S6と同様でよい。
・視線方向が左側13の場合、ルート探索部28はルート303又は走行中の道路に対し左側の迂回ルートを検索する(S18)。
・視線方向が右側11の場合、ルート探索部28はルート303又は走行中の道路に対し右側の迂回ルートを検索する(S19)。
まず、図14に示すように一台の車両には複数のカメラが搭載される場合がある。図14は車両に搭載されるカメラの配置例を示す。フロントカメラ51は主に広角カメラでT字路や十字路で左右の障害物を撮像するために使用される。右サイドカメラ54と左サイドカメラ53は、左サイド又は右サイドの死角を撮像するために使用される。バックカメラ52は主に後退時に後方を撮像するために使用される。
・車両の乗員が右側11を見ながら「サイドカメラ」と発言した場合、ディスプレイ14には映像55が表示される。映像55には車両8の右後側方が写っている。
・車両の乗員が左側13を見ながら「サイドカメラ」と発言した場合、ディスプレイ14には映像56が表示される。映像56には車両8の左後側方が写っている。
図15は、車載装置10が有する機能をブロック状に示す機能ブロック図の一例である。図15の説明に関して、図5において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
図16は、車載装置10が視線方向に応じてディスプレイ14に表示する映像を切り替える手順を示すフローチャート図の一例である。なお、図16の説明では主に図11との相違を説明する。まず、ステップS21~S26はステップS1~S6と同様でよい。
・視線方向が左側13の場合、カメラ切替部32はディスプレイ14に映像を表示するカメラを左サイドカメラ53に切り替える(S28)。
・視線方向が右側11の場合、カメラ切替部32はディスプレイ14に映像を表示するカメラを右サイドカメラ54に切り替える(S29)。
したがって、本実施例の車載装置10によれば、車両の乗員が視線方向を右又は左に向けて、カメラの映像の切り替えに関するコマンドを発言することで、ディスプレイ14に映像を表示するカメラを切り替えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
14 ディスプレイ
41 カメラ
42 マイク
43 スピーカ
Claims (11)
- 車両の乗員の音声操作を受け付ける車載装置であって、
前記車両の乗員の音声を認識する音声認識手段と、
前記車両の乗員の視線方向を認識する視線方向認識手段と、
前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、
前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、
電子地図を表示するディスプレイと、を有し、
前記コマンド処理手段は、前記視線方向が前記ディスプレイの範囲内である場合、前記ディスプレイに表示されている電子地図の表示範囲に存在するPOIを検索し、
前記コマンド検出手段は、前記音声認識手段が認識した音声から検索に関する前記コマンドを検出し、
前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向を、検索要素に付加して前記検索に関する前記コマンドを処理することを特徴とする車載装置。 - 前記コマンド検出手段は、前記音声認識手段が認識した音声から検索に関する前記コマンドを検出し、
前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向に応じて、前記検索の範囲を変更して前記検索に関する前記コマンドを処理することを特徴とする請求項1に記載の車載装置。 - 前記コマンドはPOI(Point Of Interest)の検索に関し、
前記コマンド処理手段は、前記視線方向に応じて検索するPOIの範囲を変更することを特徴とする請求項1又は2に記載の車載装置。 - 前記コマンド処理手段は、前記視線方向に応じて進行方向の右側に存在するPOIを検索するか、又は、左側に存在するPOIを検索するか変更することを特徴とする請求項3に記載の車載装置。
- 前記コマンド処理手段は、前記視線方向が正面の場合、進行方向の右側に存在するPOI、及び、左側に存在するPOIを検索することを特徴とする請求項1~4のいずれか1項に記載の車載装置。
- 前記コマンドはルートの探索に関し、
前記コマンド処理手段は、前記視線方向に応じてルートの探索方法を変更することを特徴とする請求項1に記載の車載装置。 - 車両の乗員の音声操作を受け付ける車載装置であって、
前記車両の乗員の音声を認識する音声認識手段と、
前記車両の乗員の視線方向を認識する視線方向認識手段と、
前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、
前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、を有し、
前記コマンド処理手段は、前記視線方向に応じて進行方向の右側の迂回ルートを探索するか、又は、左側の迂回ルートを探索するか変更することを特徴とする車載装置。 - 前記コマンド検出手段は、前記音声認識手段が認識した音声からディスプレイに表示する映像に関するコマンドを検出し、
前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向に応じて、前記ディスプレイに表示する映像を切り替えるコマンドを処理することを特徴とする請求項1に記載の車載装置。 - 前記コマンド処理手段は、前記視線方向に応じて右側のカメラの映像を前記ディスプレイに表示するか、又は、左側のカメラの映像を前記ディスプレイに表示するか切り替えることを特徴とする請求項8に記載の車載装置。
- 車両の乗員の音声操作を受け付ける車載装置と、前記車載装置とネットワークを介して通信するサーバとを有する通信システムであって、
前記車両の乗員の音声を認識する音声認識手段と、
前記車両の乗員の視線方向を認識する視線方向認識手段と、
前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、
前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、
電子地図を表示するディスプレイと、を有し、
前記コマンド処理手段は、前記視線方向が前記ディスプレイの範囲内である場合、前記ディスプレイに表示されている電子地図の表示範囲に存在するPOIを検索し、
前記コマンド検出手段は、前記音声認識手段が認識した音声から検索に関する前記コマンドを検出し、
前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向を、検索要素に付加して前記検索に関する前記コマンドを処理することを特徴とする通信システム。 - 車両の乗員の音声操作を受け付ける車載装置と、前記車載装置とネットワークを介して通信するサーバとを有する通信システムであって、
前記車両の乗員の音声を認識する音声認識手段と、
前記車両の乗員の視線方向を認識する視線方向認識手段と、
前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、
前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、を有し、
前記コマンド処理手段は、前記視線方向に応じて進行方向の右側の迂回ルートを探索するか、又は、左側の迂回ルートを探索するか変更することを特徴とする通信システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018243753A JP7233918B2 (ja) | 2018-12-26 | 2018-12-26 | 車載装置、通信システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018243753A JP7233918B2 (ja) | 2018-12-26 | 2018-12-26 | 車載装置、通信システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020106997A JP2020106997A (ja) | 2020-07-09 |
JP7233918B2 true JP7233918B2 (ja) | 2023-03-07 |
Family
ID=71450811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018243753A Active JP7233918B2 (ja) | 2018-12-26 | 2018-12-26 | 車載装置、通信システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7233918B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022254669A1 (ja) * | 2021-06-03 | 2022-12-08 | 日産自動車株式会社 | 対話サービス装置及び対話システム制御方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005267092A (ja) | 2004-03-17 | 2005-09-29 | Mitsubishi Electric Corp | 照応解析装置及びナビゲーション装置 |
JP2008013070A (ja) | 2006-07-06 | 2008-01-24 | Toyota Motor Corp | 車両用表示装置 |
JP2008298522A (ja) | 2007-05-30 | 2008-12-11 | Aisin Aw Co Ltd | ナビゲーション装置、ナビゲーション装置の検索方法及び検索プログラム |
JP2009085750A (ja) | 2007-09-28 | 2009-04-23 | Aisin Aw Co Ltd | 施設特定システム及び施設特定装置 |
JP2012167970A (ja) | 2011-02-14 | 2012-09-06 | Canvas Mapple Co Ltd | ナビゲーション装置、及びナビゲーションプログラム |
JP2016081513A (ja) | 2014-10-15 | 2016-05-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 情報取得方法、情報取得システム及び情報取得プログラム |
JP2017090614A (ja) | 2015-11-09 | 2017-05-25 | 三菱自動車工業株式会社 | 音声認識制御システム |
WO2018226248A1 (en) | 2017-06-09 | 2018-12-13 | Mitsubishi Electric Automotive America, Inc. | In-vehicle infotainment with multi-modal interface |
-
2018
- 2018-12-26 JP JP2018243753A patent/JP7233918B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005267092A (ja) | 2004-03-17 | 2005-09-29 | Mitsubishi Electric Corp | 照応解析装置及びナビゲーション装置 |
JP2008013070A (ja) | 2006-07-06 | 2008-01-24 | Toyota Motor Corp | 車両用表示装置 |
JP2008298522A (ja) | 2007-05-30 | 2008-12-11 | Aisin Aw Co Ltd | ナビゲーション装置、ナビゲーション装置の検索方法及び検索プログラム |
JP2009085750A (ja) | 2007-09-28 | 2009-04-23 | Aisin Aw Co Ltd | 施設特定システム及び施設特定装置 |
JP2012167970A (ja) | 2011-02-14 | 2012-09-06 | Canvas Mapple Co Ltd | ナビゲーション装置、及びナビゲーションプログラム |
JP2016081513A (ja) | 2014-10-15 | 2016-05-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 情報取得方法、情報取得システム及び情報取得プログラム |
JP2017090614A (ja) | 2015-11-09 | 2017-05-25 | 三菱自動車工業株式会社 | 音声認識制御システム |
WO2018226248A1 (en) | 2017-06-09 | 2018-12-13 | Mitsubishi Electric Automotive America, Inc. | In-vehicle infotainment with multi-modal interface |
Also Published As
Publication number | Publication date |
---|---|
JP2020106997A (ja) | 2020-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11366513B2 (en) | Systems and methods for user indication recognition | |
JP7345683B2 (ja) | シーン認識対話を行うためのシステム | |
US10949886B2 (en) | System and method for providing content to a user based on a predicted route identified from audio or images | |
US11176948B2 (en) | Agent device, agent presentation method, and storage medium | |
US20130030811A1 (en) | Natural query interface for connected car | |
EP2648077A1 (en) | User terminal device and control method thereof | |
JP4736982B2 (ja) | 作動制御装置、プログラム | |
JP6173477B2 (ja) | ナビゲーション用サーバ、ナビゲーションシステムおよびナビゲーション方法 | |
JP6604151B2 (ja) | 音声認識制御システム | |
JP2008058409A (ja) | 音声認識方法及び音声認識装置 | |
US10994612B2 (en) | Agent system, agent control method, and storage medium | |
US11450316B2 (en) | Agent device, agent presenting method, and storage medium | |
US10901503B2 (en) | Agent apparatus, agent control method, and storage medium | |
JP2010145262A (ja) | ナビゲーション装置 | |
CN112313137B (zh) | 行驶信息处理装置和处理方法 | |
JP2012215398A (ja) | 移動案内システム、移動案内装置、移動案内方法及びコンピュータプログラム | |
JP6214297B2 (ja) | ナビゲーション装置および方法 | |
JP7233918B2 (ja) | 車載装置、通信システム | |
CN111746435A (zh) | 信息提供装置、信息提供方法及存储介质 | |
JP2008298522A (ja) | ナビゲーション装置、ナビゲーション装置の検索方法及び検索プログラム | |
JP2019163938A (ja) | 車載装置、音声案内システム | |
JP2001215994A (ja) | 音声認識住所検索装置と車載ナビゲーション装置 | |
JP5831016B2 (ja) | 移動案内システム、移動案内装置、移動案内方法及びコンピュータプログラム | |
JP2014154125A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
JP5708325B2 (ja) | 移動案内システム、移動案内装置、移動案内方法及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7233918 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |