JP7345683B2 - シーン認識対話を行うためのシステム - Google Patents
シーン認識対話を行うためのシステム Download PDFInfo
- Publication number
- JP7345683B2 JP7345683B2 JP2022565025A JP2022565025A JP7345683B2 JP 7345683 B2 JP7345683 B2 JP 7345683B2 JP 2022565025 A JP2022565025 A JP 2022565025A JP 2022565025 A JP2022565025 A JP 2022565025A JP 7345683 B2 JP7345683 B2 JP 7345683B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- salient
- objects
- navigation system
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3667—Display of a road map
- G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3667—Display of a road map
- G01C21/3673—Labelling using text of road map data items, e.g. road names, POI names
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Atmospheric Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental & Geological Engineering (AREA)
- Environmental Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
マルチモーダル注目方法
例示的なマルチモーダル融合モデル
シーン認識対話ナビゲーションシステムの文生成の例示的な説明
文生成モデルを訓練するための構成
Claims (14)
- 車両の運転に関連するシーン内の物体のリアルタイム記述に基づいて、前記車両の運転者に運転指示を提供するように構成されたナビゲーションシステムであって、
前記車両を運転するための経路と、現在の時点において前記経路上の前記車両の状態と、前記現在の時点において前記車両の前記経路に関連する一組の顕著物体の動的マップとを受け入れるように構成された入力インターフェイスを含み、前記動的マップは、前記一組の顕著物体と、マルチモーダル検知情報によって検知された一組の物体属性とを含み、少なくとも1つの顕著物体は、前記車両の測定システムによって検知された物体であり、前記車両は、前記現在の時点における現在位置と将来の時点における将来位置との間の前記経路上に移動しており、前記一組の顕著物体は、1つ以上の静的物体と、1つ以上の動的物体とを含み、
前記ナビゲーションシステムは、
前記動的マップ内の顕著物体の記述に基づいて、運転指示を生成するように構成されたプロセッサを含み、前記動的マップ内の前記顕著物体は、前記車両の前記状態によって特定された運転者視点から得られ、前記車両の前記状態は、前記車両の位置と、前記動的マップに対する向きとを含み、
前記ナビゲーションシステムは、
前記運転指示を前記車両の前記運転者に出力するように構成された出力インターフェイスを含む、ナビゲーションシステム。 - 前記プロセッサは、前記車両の前記状態および前記動的マップを、前記運転指示を生成するように構成されたパラメトリック関数に提出するように構成される、請求項1に記載のナビゲーションシステム。
- 前記パラメトリック関数は、車両状態、動的マップ、および前記運転者視点に関連する運転指示の組み合わせを含む訓練データを用いて訓練される、請求項2に記載のナビゲーションシステム。
- 前記動的マップは、前記顕著物体の属性の値および前記顕著物体の間の空間関係を示す特徴を含み、
前記プロセッサは、前記顕著物体の属性および前記顕著物体の間の空間関係を決定し、前記属性および前記空間関係を更新し、更新された前記属性および前記空間関係を前記パラメトリック関数に提出することによって、前記運転指示を生成する、請求項2に記載のナビゲーションシステム。 - 前記顕著物体の前記属性は、前記顕著物体の種類、前記顕著物体の動的状態、前記顕著物体の形状、前記顕著物体のサイズ、前記顕著物体の可視部分のサイズ、前記顕著物体の位置、および前記顕著物体の色の1つまたは組み合わせを含み、
前記空間関係は、相対位置、標高、距離、および角度の1つまたは組み合わせを含み、
前記プロセッサは、前記車両の状態に基づいて、前記属性および前記空間関係を更新する、請求項4に記載のナビゲーションシステム。 - 前記測定システムから、前記現在の時点における前記シーンの測定値を受信するように構成された通信インターフェイスをさらに含み、
前記測定値は、カメラ、マイクロフォン、前記車両のGPS、および距離センサのセンサの1つまたは組み合わせを含む少なくとも1つのセンサまたはネットワークインターフェイスコントローラから受信される、請求項1に記載のナビゲーションシステム。 - 前記プロセッサは、前記測定値から特徴を抽出することによって、前記車両の前記状態および前記動的マップを決定するように訓練された第1のパラメトリック関数を実行する、請求項6に記載のナビゲーションシステム。
- 前記プロセッサは、前記第1のパラメトリック関数によって抽出された前記特徴から前記運転指示を生成するように訓練された第2のパラメトリック関数を実行し、
前記第1のパラメトリック関数と前記第2のパラメトリック関数とは、共同で訓練される、請求項7に記載のナビゲーションシステム。 - 前記プロセッサは、前記測定値から前記運転指示を生成するように訓練されたパラメトリック関数を実行する、請求項6に記載のナビゲーションシステム。
- 前記プロセッサは、
前記測定値から特徴を抽出することによって、前記車両の前記状態および前記動的マップを決定するように訓練された第1のパラメトリック関数を実行し、
前記車両の前記状態に基づいて前記動的マップを変換することによって、前記運転者視点から前記顕著物体の属性および空間関係を特定する変換後動的マップを生成するように訓練された第2のパラメトリック関数を実行し、
前記変換後動的マップ内の前記顕著物体の前記属性および前記空間関係に基づいて、前記一組の顕著物体から1つ以上の顕著物体を選択するように訓練された第3のパラメトリック関数を実行し、
選択された前記顕著物体の前記属性および前記空間関係に基づいて、前記運転指示を生成するように訓練された第4のパラメトリック関数を実行するように構成される、請求項6に記載のナビゲーションシステム。 - 前記運転指示は、言語規則に従った言語文の形で生成され、
前記出力インターフェイスは、前記言語文を放送するように構成されたスピーカに接続される、請求項1に記載のナビゲーションシステム。 - 前記ナビゲーションシステムは、前記運転者からの音声要求を受け入れ、前記運転者に音声応答を出力するように構成された音声対話システムをさらに含み、
前記プロセッサは、前記音声対話システムの動作履歴を用いて、前記言語文を生成する、請求項11に記載のナビゲーションシステム。 - 前記プロセッサは、
前記運転者視点から検知された前記顕著物体の属性を比較することによって、前記生成された運転指示に含まれる前記顕著物体の関連性を示す各顕著物体の関連性スコアを推定し、
前記関連性スコアに基づいて、前記一組の顕著物体から、前記生成された運転指示に含まれる顕著物体を選択するように構成され
る、請求項1に記載のナビゲーションシステム。 - 各顕著物体の前記関連性スコアの前記推定は、前記顕著物体から前記車両までの距離の関数、前記顕著物体から前記経路上の次の曲がり地点までの距離の関数、および前記車両から前記経路上の前記次の曲がり地点までの距離の関数の1つまたは組み合わせに基づいて行われる、請求項13に記載のナビゲーションシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/784,103 US11635299B2 (en) | 2020-02-06 | 2020-02-06 | Method and system for scene-aware interaction |
US16/784,103 | 2020-02-06 | ||
PCT/JP2020/048324 WO2021157243A1 (en) | 2020-02-06 | 2020-12-17 | Method and system for scene-aware interaction |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023508778A JP2023508778A (ja) | 2023-03-03 |
JP7345683B2 true JP7345683B2 (ja) | 2023-09-15 |
Family
ID=74561964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022565025A Active JP7345683B2 (ja) | 2020-02-06 | 2020-12-17 | シーン認識対話を行うためのシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11635299B2 (ja) |
EP (1) | EP3994426B1 (ja) |
JP (1) | JP7345683B2 (ja) |
CN (1) | CN115038936A (ja) |
WO (1) | WO2021157243A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11892311B2 (en) * | 2016-11-26 | 2024-02-06 | Thinkware Corporation | Image processing apparatus, image processing method, computer program and computer readable recording medium |
US11282385B2 (en) * | 2018-04-24 | 2022-03-22 | Qualcomm Incorproated | System and method of object-based navigation |
US11580723B2 (en) * | 2020-02-28 | 2023-02-14 | Invision Ai Inc. | Scene-aware object detection |
TWI767300B (zh) * | 2020-08-18 | 2022-06-11 | 廣達電腦股份有限公司 | 運算裝置及視訊影像的雨滴去除方法 |
CN112735130B (zh) * | 2020-12-25 | 2022-05-10 | 阿波罗智联(北京)科技有限公司 | 交通数据的处理方法、装置、电子设备和介质 |
US11620903B2 (en) * | 2021-01-14 | 2023-04-04 | Baidu Usa Llc | Machine learning model to fuse emergency vehicle audio and visual detection |
CN114537409B (zh) * | 2022-02-17 | 2022-11-11 | 上海交通大学 | 基于多模态分析的多感官车载交互方法及*** |
CN114943344B (zh) * | 2022-05-27 | 2024-04-05 | 武汉大学 | 联合svm和hmm的导航场景感知通用模型构建方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015007632A (ja) | 2014-07-14 | 2015-01-15 | コア ワイヤレス ライセンシング エス.アー.エール.エル. | 位置オフセット情報を決定する方法および装置 |
US20150160033A1 (en) | 2013-12-09 | 2015-06-11 | Harman International Industries, Inc. | Eye gaze enabled navigation system |
US20170314954A1 (en) | 2016-05-02 | 2017-11-02 | Google Inc. | Systems and Methods for Using Real-Time Imagery in Navigation |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10245335A1 (de) * | 2002-09-27 | 2004-04-08 | Robert Bosch Gmbh | Navigationsvorrichtung |
US7831433B1 (en) * | 2005-02-03 | 2010-11-09 | Hrl Laboratories, Llc | System and method for using context in navigation dialog |
US7912637B2 (en) * | 2007-06-25 | 2011-03-22 | Microsoft Corporation | Landmark-based routing |
US20110130956A1 (en) * | 2009-11-30 | 2011-06-02 | Nokia Corporation | Method and apparatus for presenting contextually appropriate navigation instructions |
US9412273B2 (en) * | 2012-03-14 | 2016-08-09 | Autoconnect Holdings Llc | Radar sensing and emergency response vehicle detection |
US10417498B2 (en) * | 2016-12-30 | 2019-09-17 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for multi-modal fusion model |
US10527443B2 (en) * | 2017-08-16 | 2020-01-07 | International Business Machines Corporation | Generating navigation instructions |
US11282385B2 (en) * | 2018-04-24 | 2022-03-22 | Qualcomm Incorproated | System and method of object-based navigation |
US10810792B2 (en) * | 2018-05-31 | 2020-10-20 | Toyota Research Institute, Inc. | Inferring locations of 3D objects in a spatial environment |
US11260872B2 (en) * | 2018-10-12 | 2022-03-01 | Honda Motor Co., Ltd. | System and method for utilizing a temporal recurrent network for online action detection |
US10943588B2 (en) * | 2019-01-03 | 2021-03-09 | International Business Machines Corporation | Methods and systems for managing voice response systems based on references to previous responses |
US11257493B2 (en) * | 2019-07-11 | 2022-02-22 | Soundhound, Inc. | Vision-assisted speech processing |
US11189007B2 (en) * | 2019-12-03 | 2021-11-30 | Imagry (Israel) Ltd | Real-time generation of functional road maps |
-
2020
- 2020-02-06 US US16/784,103 patent/US11635299B2/en active Active
- 2020-12-17 CN CN202080095350.4A patent/CN115038936A/zh active Pending
- 2020-12-17 EP EP20851348.1A patent/EP3994426B1/en active Active
- 2020-12-17 JP JP2022565025A patent/JP7345683B2/ja active Active
- 2020-12-17 WO PCT/JP2020/048324 patent/WO2021157243A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150160033A1 (en) | 2013-12-09 | 2015-06-11 | Harman International Industries, Inc. | Eye gaze enabled navigation system |
JP2015007632A (ja) | 2014-07-14 | 2015-01-15 | コア ワイヤレス ライセンシング エス.アー.エール.エル. | 位置オフセット情報を決定する方法および装置 |
US20170314954A1 (en) | 2016-05-02 | 2017-11-02 | Google Inc. | Systems and Methods for Using Real-Time Imagery in Navigation |
Also Published As
Publication number | Publication date |
---|---|
CN115038936A (zh) | 2022-09-09 |
US11635299B2 (en) | 2023-04-25 |
JP2023508778A (ja) | 2023-03-03 |
US20210247201A1 (en) | 2021-08-12 |
EP3994426A1 (en) | 2022-05-11 |
WO2021157243A1 (en) | 2021-08-12 |
EP3994426B1 (en) | 2023-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7345683B2 (ja) | シーン認識対話を行うためのシステム | |
US9747898B2 (en) | Interpretation of ambiguous vehicle instructions | |
KR102281515B1 (ko) | 개인화 언어 모델을 이용하여 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법 | |
WO2018066712A1 (ja) | 走行支援装置及びコンピュータプログラム | |
US11562573B2 (en) | Phrase recognition model for autonomous vehicles | |
CN110347145A (zh) | 用于自动驾驶车辆的感知辅助 | |
CN109215433A (zh) | 用于自动驾驶仿真的基于视觉的驾驶场景生成器 | |
CN109491375A (zh) | 用于自动驾驶车辆的基于驾驶场景的路径规划 | |
US20200307616A1 (en) | Methods and systems for driver assistance | |
KR102480416B1 (ko) | 차선 정보를 추정하는 방법 및 전자 장치 | |
US10647332B2 (en) | System and method for natural-language vehicle control | |
KR102458664B1 (ko) | 차량의 주행을 보조하는 전자 장치 및 방법 | |
JP2018173862A (ja) | 走行支援装置及びコンピュータプログラム | |
KR20180072523A (ko) | 전자 장치 및 그 동작 방법 | |
US11181386B2 (en) | Navigation device, destination guiding system, and non-transitory recording medium | |
JP6992893B2 (ja) | 走行情報処理装置及び処理方法 | |
CN110007752A (zh) | 增强现实车辆界面连接 | |
KR20190098089A (ko) | 사용자의 어플리케이션 사용 기록을 고려하여 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법 | |
KR20220058492A (ko) | 긴급 차량 오디오 및 시각적 감지를 융합한 기계 학습 모델 | |
WO2021033591A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
KR20190098934A (ko) | 인공 지능을 이용하여, 안내 서비스를 제공하는 로봇 및 그의 동작 방법 | |
US11322134B2 (en) | Artificial intelligence device and operating method thereof | |
KR20190095190A (ko) | 음성 인식 서비스를 제공하는 인공 지능 장치 및 그의 동작 방법 | |
JP2023136194A (ja) | 情報処理装置、移動体、それらの制御方法、プログラム、及び記憶媒体 | |
JP7233918B2 (ja) | 車載装置、通信システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7345683 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |