JP6468454B2 - 運転者支援を与えるために交通音データを処理するためのシステム及び方法 - Google Patents

運転者支援を与えるために交通音データを処理するためのシステム及び方法 Download PDF

Info

Publication number
JP6468454B2
JP6468454B2 JP2017157001A JP2017157001A JP6468454B2 JP 6468454 B2 JP6468454 B2 JP 6468454B2 JP 2017157001 A JP2017157001 A JP 2017157001A JP 2017157001 A JP2017157001 A JP 2017157001A JP 6468454 B2 JP6468454 B2 JP 6468454B2
Authority
JP
Japan
Prior art keywords
vehicle
sound
vehicles
ecu
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017157001A
Other languages
English (en)
Other versions
JP2018028911A (ja
Inventor
リンガナグーダ パティル シャラナッパグーダ
リンガナグーダ パティル シャラナッパグーダ
金章 藤下
金章 藤下
行雄 武鑓
行雄 武鑓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2018028911A publication Critical patent/JP2018028911A/ja
Application granted granted Critical
Publication of JP6468454B2 publication Critical patent/JP6468454B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00Responses or measures related to driver conditions
    • B60Y2302/03Actuating a signal or alarm device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/90Driver alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Description

本開示の種々の実施形態は、音声処理に関する。より具体的には、本開示の種々の実施形態は、運転支援のために交通音データ(traffic sound data)を処理するためのシステム及び方法に関する。
車両の運転は、多くの人々にとって面倒で難しいタスクであり得る。適切な車線での走行、制限速度の維持、危険のない追い越しなど、道路の交通状況に応じて運転し、交通規則を忠実に守るために、絶え間ない集中を必要とし得る。さらに、交通事故の場合には、著しい生命と財産への危険性があり得る。実際に、種々の地理及び期間にわたる幾つかの交通事故調査により、交通事故での死者及び負傷者の数が驚くほど多いことが判明している。従って、道路での安全は、車両の製造業者、車両の所有者、乗客及び運転者にとって最も重要であり得る。自動車及び関連産業が発達するにつれて、車両の運転者に、慎重に運転するよう案内するために、車両内に取り付け可能な幾つかの製品が開発されている。しかしながら、運転者が案内を無視する若しくは聞き漏らすか、又は与えられた案内が不正確であり若しくは騒々しくてして従えないことがある。従って、効率的な車両内運転者支援を与えるための改善されたシステム及び方法に対する必要性がある。さらに、近年、無人自動運転車(autonomous vehicle)の分野が急速に発展している。こうした自動運転車も、改善された運転支援方法及びシステムから恩恵を受けることができる。
本出願の残りの部分に図面を参照して述べられるように、説明されるシステムと本発明の幾つかの態様との比較を通じて、当業者には、従来の伝統的な手法のさらなる制限及び不利な点が明らかになるであろう。
特許請求の範囲においてより完全に述べられるように、図面の少なくとも1つに実質的に示される、及び/又はそれと関連して説明される運転支援のための交通音データを処理するためのシステム及び方法である。
車両内運転者支援を与えるための開示されるシステム及び方法において、以下に説明される実装形態を見出すことができる。本開示の例示的な態様は、第1の車両の電子制御ユニット(ECU)において実施できる方法を含むことができる。方法は、第1の車両と関連付けられた2又は3以上の音声入力装置によりキャプチャ(捕捉)される音データを受け取ることを含むことができる。音データは、1又は2以上の車両から生じた音に対応することができる。その後、受け取った音データに基づいて、1又は2以上の他の車両の第2の車両から第1の車両までの距離を判定することができる。さらに、判定した距離に基づいて、第1の車両に対した車両内警報を生成することができる。車両内警報は、第2の車両から生じた音を表す仮想音を含むことができる。
1つの実施形態によると、第1の車両は、第1のセットの音声出力装置及び第2のセットの音声出力装置を含むことができる。第1のセットの音声出力装置は第1の車両の運転者と関連付けることができ、一方、第2のセットの音声出力装置は、第1の車両の運転者及び1又は2以上の同乗者(co−passenger)と関連付けることができる。1つの実施形態によると、車両内警報は、第1の車両の運転者に対して、第1のセットの音声出力装置を介して再生することができる。1つの実施形態によると、車両内警報は、付加的に又は代替的に、第1の車両の進行経路と関連した交通状況に基づいて、第2のセットの音声出力装置を介して再生することができる。車両内警報の例は、これらに限定されるものではないが、事故警告、運転操作命令、速度変更推奨、車両追い越し推奨、車線変更推奨、走行条件情報、障害物警告、及び/又は選択された車両をさらに含むことができる。
1つの実施形態によると、第1の車両において仮想音を再生するために、第1の車両に対する第2の車両の相対位置及び/又は角度を判定することができる。相対位置及び/又は角度の判定は、受け取った音データに基づくことができる。さらに、第2の車両から生じた音を表す仮想音の再生のために、判定した距離及び/又は角度に基づいて、頭部伝達関数(Head−Related Transfer Function、HRTF)を適用することができる。
1つの実施形態によると、第2の車両と関連付けられた事前に格納された音声シグネチャと第2の車両から生じた音の比較に基づいて、第2の車両のタイプを判定することができる。1つの実施形態によると、車両内警報の仮想音は、第2の車両の判定したタイプに従って再生することができる。さらに、第1の車両と第2の車両との間の判定した距離が事前に指定された閾値距離を下回る場合、仮想音を再生することができる。
1つの実施形態によると、1又は2以上の他の車両から生じたキャプチャした音に基づいて、1又は2以上の他の車両の速度を判定することができる。さらに、第2の車両から生じた音に基づいて、第1の車両に対する第2の車両の相対速度を判定することができる。1つの実施形態によると、判定した距離及び/又は相対速度に基づいて、仮想音と共に、第1の車両の運転者に対して音声警告を生成することができる。
1つの実施形態によると、第1の車両と関連付けられた1又は2以上の画像キャプチャ装置は、第1の車両の進行経路内の1又は2以上の物体を含み得る1又は2以上の画像をキャプチャすることができる。人間、動物、又は他の物体のような1又は2以上の物体は、第1の車両と関連付けられた1又は2以上の画像キャプチャ装置によりキャプチャされる1又は2以上の画像に基づいて、認識することができる。さらに、第1の車両から1又は2以上の物体までの距離は、キャプチャした1又は2以上の画像に基づいて判定することができる。1つの実施形態によると、車両内警報は、第1の車両からの事前に指定された距離内の進行経路における1又は2以上の物体の存在を示す第2の音声出力をさらに含むことができる。
1つの実施形態によると、キャプチャした1又は2以上の画像に基づいて、第1の車両のインフォテインメント・システムを介して、仮想物体の表示を制御することができる。仮想物体は、第1の車両の進行経路内に存在する認識される1又は2以上の物体を表すことができる。1つの実施形態によると、車両内警報は、第1の車両の進行経路内に存在するこうした認識された1又は2以上の物体の表示を含むことができる。1つの実施形態によると、第1の車両のインフォテインメント・システムを介して、地図上に少なくとも第2の車両を表示することができる。地図上への第2の車両の表示は、キャプチャした1又は2以上の画像及び第1の車両と第2の車両との間の判定した距離に基づいて制御することができる。第1の車両と第2の車両との間の判定した距離は、第2の車両に対する第1の車両の相対位置及び/又は角度を含むことができる。1つの実施形態によると、インフォテインメント・システムのユーザは、音声キャプチャ装置及び画像キャプチャ装置のような、第1の車両の1又は2以上のセンサにより追跡される特定の車両を選択することができる。インフォテインメント・システムのユーザは、第1の車両の運転者又は第1の車両の1又は2以上の同乗者の一人のいずれかとすることができる。ユーザ選択の特定の車両の相対位置は、第1の車両の1又は2以上のセンサによりユーザ選択の特定の車両からキャプチャした音声及び/又は1又は2以上の画像に基づいて、第1の車両に対して追跡することができる。その後、ユーザ選択の特定の車両の追跡された相対位置は、車両内警告を通じてユーザに与えること、及び/又は第1の車両のインフォテインメント・システムを介して地図上に表示することができる。
1つの実施形態によると、第1の車両の進行経路と関連付けられた交通条件に対応することができる情報を、交通管理サーバ及び/又はユーザの電子デバイスに伝送することができる。交通条件情報の伝送は、第2の車両の判定した距離、相対速度、及び/又はタイプに基づくことができる。交通条件情報の伝送はさらに、第1の車両からの所定の距離内の1又は2以上の他の車両のカウントに基づくことができる。
本開示のこれら及び他の特徴並びに利点は、全体を通して同様の参照符号が同様の部品を示す添付図面と共に、本開示の以下の詳細な説明を検討することにより理解することができる。
本開示の1つの実施形態による、車両内運転者支援を与えるために交通音データを処理するためのネットワーク環境を示すブロック図である。 本開示の1つの実施形態による、車両の種々の例示的な構成要素又はシステムを示すブロック図である。 本開示の1つの実施形態による、第1の車両に近接する車両から生じた交通音のキャプチャを示す道路部分の第1の例示的な上面図を示す。 本開示の1つの実施形態による、交通音データの処理に基づく、第1の車両に対する周辺車両の位置の例示的な計算を示す。 本開示の1つの実施形態による、第1の車両に対する周辺車両の相対位置の判定のために、第1の車両により周辺車両からキャプチャした交通音データの第1の例示的なパターンを示す。 本開示の1つの実施形態による、第1の車両に近接する車両から生じた交通音のキャプチャを示す道路部分の第2の例示的な上面図を示す。 本開示の1つの実施形態による、第1の車両に対する周辺車両の相対位置の判定のために、第1の車両により1又は2以上の周辺車両からキャプチャした交通音データの第2の例示的なパターンを示す。 本開示の1つの実施形態による、第1の車両に対する周辺車両の相対位置を確認するために、第1の車両により実施される手順を形成する例示的なビームを示す。 本開示の1つの実施形態による、交通区域(traffic area)内の第2の車両又は他の物体の仮想音の生成を示す、第1の車両の内部の例示的な上面図を示す。 本開示の1つの実施形態による、交通区域内の第2の車両又は他の物体の仮想音(virtual sound)の生成を示す、第1の車両の内部の例示的な上面図を示す。 本開示の1つの実施形態による、車両内運転者支援を与えるために交通音データを処理するための第1の例示的な交通シナリオを示す。 本開示の1つの実施形態による、車両内運転者支援を与えるために交通音データを処理するための第2の例示的な交通シナリオを示す。 本開示の1つの実施形態による、車両内運転者支援を与えるために交通音データを処理するための第3の例示的な交通シナリオを示す。 本開示の1つの実施形態による、車両内運転者支援を与えるために交通音データを処理するための第4の例示的な交通シナリオを示す。 本開示の1つの実施形態による車両内運転者支援を与えるために交通音データを処理するための例示的な方法を示すフローチャートを示す。 本開示の1つの実施形態による、車両内運転者支援を与えるために交通音データを処理するための例示的な方法を示すフローチャートを示す。
図1は、本開示の実施形態による、車両内運転者支援を与えるために交通音データを処理するためのネットワーク環境を示す図である。図1を参照すると、ネットワーク環境100が示される。ネットワーク環境100は、複数の車両102、クラウド・サーバ104、無線通信ネットワーク106、及び1又は2以上のユーザを含むことができる。複数の車両102は、第1の車両102aと、第2の車両102bのような1又は2以上の他の車両とを含むことができる。さらに、第1の車両102a内には、1つの電子制御ユニット(ECU)108、2又は3以上の音声入力装置110a乃至110h、画像キャプチャ装置112a及び112bが示される。1又は2以上のユーザは、第1の車両102aと関連付けられた運転者114と、第2の車両102bと関連付けられた別の運転者116とを含むことができる。複数の車両102は、道路部分118に沿って往来することができる。さらに、道路側ユニット(RSU)120が示される。
ECU108は、第1の車両102aの車両内ネットワークを介して直接又は間接的に、2又は3以上の音声入力装置110a乃至110h及び1又は2以上の画像キャプチャ装置112a及び112bに通信可能に結合することができる。1つの実施形態によると、ECU108は、無線通信ネットワーク106を介して、RSU120に通信可能に結合することができる。RSU120は、インターネット又は当業者には公知の適切な通信プロトコルを介して、クラウド・サーバ104と通信することができる。ECU108は、RSU120を用いて、クラウド・サーバ104と通信するように構成することができる。1つの実施形態によると、1又は2以上の画像キャプチャ装置112a及び112bは、第1の車両102a内に設けることはできない。
複数の車両102は、第1の車両102a、第2の車両102b、及び道路部分118に沿って往来することができる他の車両を含むことができる。1つの実施形態によると、複数の車両102は、無線通信ネットワーク106に通信可能に結合することができる。1つの実施形態によると、無線通信ネットワーク106は、複数の車両102の間の車両対車両(V2V)通信のために用いることができる。無線通信ネットワーク106は、複数の車両102の1つとRSU120との間の車両対インフラストラクチャ(V2I)通信のために用いることもできる。
第1の車両102aは、自動モード、半自動モード、又は手動モードで動作することができる自動車両とすることができる。代替的に、第1の車両102aは、非自動車両とすることができる。第1の車両102aは、無線通信ネットワーク106を介して、クラウド・サーバ104、及び/又は複数の車両102の1又は2以上の他の車両と通信するように構成することができるECU108を含むことができる。複数の車両102(第1の車両102a及び第2の車両102bを含む)の例として、これらに限定されるものではないが、自動車、ハイブリッド車、及び/又は1又は2以上の別個の再生可能若しくは再生不能な動力源を用いる車両を挙げることができる。再生可能若しくは再生不能な動力源を用いる車両は、化石燃料車両、電気推進車両、水素燃料車両、ソーラー式車両、及び/又は他の形態の代替的なエネルギー源により動力供給される車両を含むことができる。
クラウド・サーバ104は、第1の車両102aのような1又は2以上の車両との通信チャネルを確立するように構成できる適切な論理、回路、インターフェース、及び/又はコードを含むことができる。クラウド・サーバ104は、第1の車両102aのような1又は2以上の車両から受け取った情報を格納するように構成することができる。クラウド・サーバ104は、ウェブ・サーバ、データベース・サーバ、ファイル・サーバ、アプリケーション・サーバ、クラウド・ベースのサーバ、又はそれらの組み合わせとすることができる。クラウド・サーバ104は、当業者には公知の幾つかの技術を用いて実装することができる。
無線通信ネットワーク106は、第1の車両102aが、RSU120、クラウド・サーバ104、及び/又は第2の車両102bのような1又は2以上の他の車両と通信することができる媒体を含むことができる。無線通信ネットワーク106の例として、これらに限定されるものではないが、専用短距離通信(DSRC)ネットワーク、モバイル・アドホック・ネットワーク(MANET)、車両アドホック・ネットワーク(VANET)、知的車両アドホック・ネットワーク(InVANET)、インターネット・ベースのモバイル・アドホック・ネットワーク(IMANET)、無線センサ・ネットワーク(WSN)、無線メッシュ・ネットワーク(WMN)、インターネット、long−term evolution(LTE)ネットワークのようなセルラー・ネットワーク、クラウド・ネットワーク、Wireless Fidelity(WiFi)ネットワーク、及び/又は無線ローカル・エリア・ネットワーク(WLAN)を含むことができる。ネットワーク環境100内の種々のデバイスは、種々の無線通信プロトコルに従って無線通信ネットワーク106に接続するように動作可能である。こうした無線通信プロトコルの例として、これらに限定されるものではないが、IEEE802.11、802.11p、802.15、802.16、1609、Worldwide Interoperability for Microwave Access(Wi−MAX)、車両環境における無線アクセス(Wireless Access in Vehicular Environments(WAVE)、セルラー通信プロトコル、Transmission Control Protocol and Internet Protocol(TCP/IP)、ユーザ・データグラム・プロトコル(UDP)、ハイパーテキスト転送プロトコル(HTTP)、Long−term Evolution(LTE)、ファイル転送プロトコル(FTP)、ZigBee、EDGE、赤外線(IR)、近距離無線通信(NFC)、及び/又はBluetooth(BT)通信プロトコルを挙げることができる。
ECU108は、運転者支援のために音データを処理するように構成することができる適切な論理、回路、インターフェース、及び/又はコードを含むことができる。ECU108は、2又は3以上の音声入力装置110a乃至110hによりキャプチャされる音データを受け取ることができる。音データは、道路部分118において、第2の車両102bのような1又は2以上の他の車両が発した音とすることができる。受け取った音データに基づいて、ECU108は、第1の車両102aと、第1の車両102aの近くの1又は2以上の他の車両の距離を判定することができる。さらに、ECU108は、判定した距離に基づいて、第1の車両102aに対する車両内警報を生成することができる。車両内警報は、第2の車両102bのような1又は2以上の他の周辺車両の少なくとも1つから生じた音を表す仮想音を含むことができる。
ECU108は、第1の車両102aのセンサ・データにアクセスするように、又は1又は2以上の制御コマンドを他のECU、構成要素、又は第1の車両102aのシステムに伝達するようにさらに構成することができる。センサ・データは、コントローラ・エリア・ネットワーク(CAN)バスのような車両内ネットワークを介して、ECU108によりアクセスすることができる。1つの実施形態によると、ECU108は、無線通信システムを介して車両対車両(V2V)通信で、複数の車両102からの1又は2以上の関連する車両(connected vehicle)から車両データを受け取るように構成することができる。1つの実施形態によると、ECU108は、インフラストラクチャ対車両(I2V)通信で、クラウド・サーバ104から1又は2以上の関連する車両の車両データを受け取るように構成することができる。こうした場合、複数の車両102からの1又は2以上の関連する車両は、車両対インフラストラクチャ(V2I)通信で、前もって対応する車両データをクラウド・サーバ104に伝達することができる。
2又は3以上の音声入力装置110a乃至110hは、センサ、マイクロフォン、又は音エネルギーを電気エネルギーに変換する変換器を指すことができる。2又は3以上の音声入力装置110a乃至110hは、これらに限定されるものではないが、二輪車、三輪車、四輪車、トラック、及び/又はトレーラのような1又は2以上の自動車から生じた音をキャプチャするように構成することができる。1又は2以上の自動車は、複数の車両102における他の車両を含むことができる。2又は3以上の音声入力装置110a乃至110hは、発生した音の音波のような、音場の音圧及び/又は音響粒子速度の測定に基づいて、音をキャプチャすることができる。四輪車、三輪車、又は二輪車のような自動車から生じた音は、エンジン、タイヤ、警笛、又は自動車の他の構成要素により生じる特定の異なるピッチ及びラウドネス値を含むことができる。2又は3以上の音声入力装置110a乃至110hは、道路部分118における他のノイズを除去するなど、所定の範囲のピッチ、ラウドネス、及び音の継続時間で音(エンジン又はタイヤ音)をキャプチャするように構成することができる音声フィルタを含むことができる。1つの実施形態によると、図1に示されるように、2又は3以上の音声入力装置110a乃至110hを第1の車両102a内に配置して、第1の車両102aの周りの種々の方向からの音をキャプチャすることができる。2又は3以上の音声入力装置110a乃至110hは、ECU108に通信可能に結合することができる。2又は3以上の音声入力装置110a乃至110hは、さらなる処理のために、キャプチャした音と関連付けられた音データをECU108に送ることができる。以下、2又は3以上の音声入力装置110a乃至110hは、まとめて音声入力装置110と呼ぶことができる。
1又は2以上の画像キャプチャ装置112a及び112bは、道路部分118のような道路部分の1又は2以上の映像ストリームをキャプチャするように構成できる適切な論理、回路、インターフェース、及び/又はコードを含むことができる。映像ストリームは、1又は2以上の画像キャプチャ装置112a及び112bの1又は2以上の視野(FOV)の複数の画像フレームを含むことができる。1又は2以上の画像キャプチャ装置112a及び112bは、キャプチャした1又は2以上の映像フレームにおける複数の画像フレームの各フレームのキャプチャ時間を記録するように構成することができる。1又は2以上の画像キャプチャ装置112a及び112bは、これらに限定されるものではないが、画像センサ、広角カメラ、閉回路テレビ(CCTV)カメラ、カムコーダ、スマートグラスの内蔵カメラ、及び/又は他のそうした車両カメラを挙げることができる。画像キャプチャ装置112a及び112bは、第1の車両102a(図示のような)のアウトサイド・リアビュー・ミラー(ORVM)に取り付けることができる。図1には示されないが、画像キャプチャ装置は、第1の車両102aの車体の前方、後方及び側部に取り付けられた1又は2以上の他のカメラを含むこともできる。例えば、1又は2以上の他のカメラは、2又は3以上の音声入力装置110a乃至110hに隣接した位置に取り付けることができる。1つの実施形態によると、複数の画像キャプチャ装置の代わりに、第1の車両102aの周りの道路部分118の360°ビューをキャプチャするよう構成できる、1つの回転可能な画像キャプチャ装置を備えることができる。以下、1又は2以上の画像キャプチャ装置112a及び112bは、まとめて画像キャプチャ装置112と呼ぶことができる。
RSU120は、道路部分118上の複数の車両に無線で通信するように構成することができる。RSU120は、インターネット、又は当技術分野で公知の適切な通信プロトコルを介して、クラウド・サーバ104と通信するようにさらに構成することができる。RSU120は、道路部分118に取り付けられたインフラストラクチャ・ユニット又は通信装置に対応することができる。1つの実施形態によると、RSU120と類似した複数のRSUを、道路部分118又は他の道路部分に沿って取り付けることができる。
動作において、2又は3以上の音声入力装置110a乃至110hは、複数の車両102の1又は2以上の他の車両から生じた音をキャプチャするように構成することができる。2又は3以上の音声入力装置110a乃至110hは、1又は2以上の音声フィルタを適用して、キャプチャした音からノイズを除去し、キャプチャした音と関連付けられた音データを生成することができる。次に、2又は3以上の音声入力装置110a乃至110hは、さらなる処理のために、音データを第1の車両102aのECU108に送ることができる。
1つの実施形態によると、ECU108は、複数の車両102における1又は2以上の他の車両からの少なくとも第2の車両102bから第1の車両102aまでの距離を判定することができる。この距離は、2又は3以上の音声入力装置110a乃至110hから受け取った音データに基づいて判定することができる。ECU108はさらに、判定した距離に基づいて、第1の車両102aに対する車両内警報を生成するように構成することができる。1つの実施形態によると、ECU108による車両内警報の生成は、第2の車両102bに対する、第1の車両102aの判定した相対位置及び/又は角度に基づくこともできる。車両内警報は、第2の車両102bから生じた音を表す仮想音を含むことができる。
1つの実施形態によると、車両内警報は、第1の車両102a内の第1のセットの音声出力装置(図示せず)を介して、第1の車両102aと関連付けられた運転者114に与えることができる。第1のセットの音声出力装置は、運転者114をターゲットにした音波ビームによって、車両内警報と関連付けられた音場を方向付けることができる。代替的に、車両内警報は、第1の車両102a内の第2のセットの音声出力装置(図示せず)によって、運転者114及び1又は2以上の同乗者を含む第1の車両102aの全乗客に与えることもできる。車両内警報は、第1の車両102aの道路部分118などの進行経路と関連した交通条件に基づいて、全乗客に与えることができる。仮想音に加えて、車両内警報は、事故警告、運転操作命令、速度変更推奨、車両追い越し推奨、車線変更推奨、走行条件情報、障害物警告、及び/又は選択された車両の追跡をさらに含むことができる。
1つの実施形態によると、ECU108は、受け取った音データに基づいて、第1の車両102aに対する第2の車両102bの位置及び/又は角度を判定するようにさらに構成することができる。さらに、ECU108は、第2の車両から生じた音を表す仮想音を再生するために、判定した距離及び/又は角度に基づいて、頭部伝達関数(HRTF)を適用することができる。さらに、ECU108は、第2の車両102bと関連付けられた事前に格納された音声シグネチャと第2の車両102bから生じた音との比較に基づいて、第2の車両102bのタイプを判定することができる。1つの実施形態によると、車両内警報の仮想音は、第2の車両102bの判定されたタイプに従って再生することができる。さらに、第1の車両102aと第2の車両102bとの間の判定した距離が所定の閾値距離を下回る場合、仮想音を再生することができる。
1つの実施形態によると、ECU108はさらに、1又は2以上の他の車両から生じたキャプチャした音に基づいて、複数の車両102からの1又は2以上の他の車両の速度を判定するように構成することができる。さらに、ECU108は、第2の車両102bから生じた音に基づいて、第1の車両102aに対する第2の車両102bの相対速度を判定することができる。1つの実施形態によると、判定した距離及び/又は相対速度に基づいて、音声警告を、仮想音と共に第1の車両102aの運転者114に対して生成することができる。
1つの実施形態によると、1又は2以上の物体が、第1の車両102aの、道路部分118のような進行経路内に存在することがある。1つの実施形態によると、画像キャプチャ装置112a乃至112g(存在する場合)は、第1の車両102aの進行経路内の1又は2以上の物体の1又は2以上の画像をキャプチャすることができる。1又は2以上の物体は、1又は2以上の画像キャプチャ装置112a及び112bによりキャプチャされる1又は2以上の画像に基づいて認識することができる。ECU108は、1又は2以上の画像キャプチャ装置112a及び112bから受け取った1又は2以上の画像に基づいて、第1の車両102aから1又は2以上の物体までの距離を判定するように構成することができる。1つの実施形態によると、車両内警報は、1又は2以上の物体と関連付けられた別の仮想音を含む第2の音声出力をさらに含むことができる。ECU108は、1又は2以上の物体の各タイプと関連付けられた1又は2以上の事前に記録された音声トラックに基づいて、他の仮想音を生成することができる。車両内警報に他の仮想音が含まれていることは、第1の車両102aから所定の距離内の第1の車両102aの進行経路における1又は2以上の物体の存在及びタイプを示し得る。
1つの実施形態によると、ECU108は、キャプチャした1又は2以上の画像に基づき、第1の車両102aのインフォテインメント・システムを介して仮想物体の表示を制御することができる。仮想物体は。第1の車両102aの進行経路内に存在する認識された1又は2以上の物体を表し得る。1つの実施形態によると、車両内警報は、第1の車両102aの進行経路内に存在する、そのような認識された1又は2以上の物体の表示を含むことができる。1つの実施形態によると、第2の車両102bは、第1の車両102aのインフォテインメント・システムを介して、地図上に表示することができる。地図上への第2の車両102bの表示は、キャプチャされる1又は2以上の物体及び第1の車両102aと第2の車両102bの判定した距離に基づいて、ECU108により制御することができる。1つの実施形態によると、地図上の第2の車両102bの表示と同様に、複数の車両102の他の周辺の又は高速で移動している車両を地図上に表示し、運転者114に、第1の車両102aの周囲の交通シナリオを認識させることができる。
1つの実施形態によると、第1の車両102aのインフォテインメント・システムのユーザは、2又は3以上の音声キャプチャ装置110a乃至110h及び画像キャプチャ装置(図1に図示せず)のような、第1の車両の1又は2以上のセンサにより追跡される特定の車両を選択することができる。インフォテインメント・システムのユーザは、第1の車両102aの運転者又は第1の車両102aの1又は2以上の同乗者のいずれかとすることができる。例えば、第1の車両102aの運転者114は、インフォテインメント・システムの表示画面上に与えられる接触型ユーザ・インターフェースを介するなど、インフォテインメント・システムのユーザ・インターフェースを介して、追跡のために第2の車両102bを選択することができる。第2の車両102bの相対位置は、第1の車両102aの1又は2以上のセンサにより第2の車両102bからキャプチャされる音声及び/又は1又は2以上の画像に基づいて、第1の車両102aに対して追跡することができる。その後、第2の車両102bの追跡された相対位置を、車両内警報を通じて与えること、及び/又は第1の車両102aのインフォテインメント・システムを介して地図上に表示することができる。
1つの実施形態によると、第1の車両102aの進行経路と関連付けられた交通条件に対応する情報を、無線通信ネットワーク106を介して、クラウド・サーバ104のような交通管理サーバ、及び/又はユーザのパーソナル・デバイスのような電子デバイスに伝送することができる。交通条件情報の伝送は、判定した距離、相対速度、及び/又は第2の車両102bのような1又は2以上の他の車両のタイプに基づくことができる。交通条件情報の伝送はさらに、第1の車両102aからの所定の距離内の複数の車両102における1又は2以上の他の車両のカウントに基づくことができる。
本開示の別の態様によると、第1の車両102aは、自動モード及び/又は半自動モードで動作可能な車両に対応することができる。ECU108は、受け取った音データに基づいて、第1の車両102aと第2の車両102bの間の距離を判定することができる。前述のように、音データは、2又は3以上の音声入力装置110a乃至110hによりキャプチャされる複数の車両102における1又は2以上の他の車両が発した音に対応することができる。判定した距離に基づいて、ECU108は、道路部分118に沿って第1の車両102aの進行経路上の第1の車両102aの自動運転(automatic−drive)を制御することができる。さらに、ECU108は、無線通信ネットワーク106を介して、自動運転の制御を示すメッセージを、第1の車両102aの人間ナビゲータ又は運転者(運転者114のような)のスマートフォンなどの電子デバイスに伝送するように構成することができる。第1の車両102aは、自動車両、半自動車両、及び/又は非自動車両の1つに対応することができる。
図2は、本開示の1つの実施形態による、車両の種々の例示的な構成要素又はシステムを示すブロック図である。図2は、図1からの要素と共に説明される。図2を参照すると、第1の車両102aが示される。第1の車両102aは、マイクロプロセッサ202及びメモリ204を含むことができるECU108を備えることができる。第1の車両102aは、無線通信システム206、インフォテインメント・システム208、表示画面210、アウトサイド・リアビュー・ミラー(ORVM)212、パワートレイン制御システム214、ステアリング(操舵)システム216、制動システム218、感知システム220、車両内ネットワーク222、及び音声インターフェース224をさらに備えることができる。感知システム220は、2又は3以上の音声入力装置110(音声入力装置110a乃至110hのような)と、1又は2以上の画像キャプチャ装置112(画像キャプチャ装置112a及び112bのような)とを含むことができる。音声インターフェース224は、第1の車両102aの運転者114に対する第1のセットの音声出力装置226a及び226b、並びに第1の車両102aの運転者114及び全同乗者に共通であり得る第2のセットの音声出力装置228a乃至228dを含むことができる。さらに、車体230が示される。
種々の構成要素又はシステムは、車両エリア・ネットワーク(VAN)、及び/又は車両内データ・バスのような車両内ネットワーク222を介して、互いに通信可能に結合することができる。マイクロプロセッサ202は、車両内ネットワーク222を介して、メモリ204、無線通信システム206、インフォテインメント・システム208、表示画面210、ORVM212、パワートレイン制御システム214、感知システム220及び音声インターフェース224に通信可能に結合することができる。第1の車両102aは、他の好適な構成要素又はシステムも含むこともできるが、簡略にするために、本開示の機能及び動作を記載及び説明するために用いられるこれらの構成要素又はシステムが、本明細書に示されることを理解されたい。
マイクロプロセッサ202は、メモリ204内に格納される命令のセットを実行するように構成できる好適な論理、回路、インターフェース、及び/又はコードを含むことができる。マイクロプロセッサ202の例は、X86ベースのプロセッサ、縮小命令セット・コンピューティング(RISC)プロセッサ、特定用途向け集積回路(ASIC)プロセッサ、コンプレックス命令セット・コンピューティング(CISC)プロセッサ、明示的並列命令コンピューティング(EPIC)プロセッサ、超長命令語(VLIW)プロセッサ、マイクロコントローラ、中央演算処理装置(CPU)、グラフィック処理装置(GPU)、状態機械、及び/又は他のプロセッサ若しくは回路とすることができる。
メモリ204は、機械コード、及び/又はマイクロプロセッサ202により実行可能な少なくとも1つのコード・セクションを有する命令のセットを格納するように構成できる好適な論理、回路、及び/又はインターフェースを含むことができる。メモリ204はさらに、複数の車両102の車両タイプを認識するための、車両に関連した音シグネチャを格納するように構成することができる。メモリ204はさらに、キャプチャした1又は2以上の画像から1又は2以上の物体を認識するための、種々のタイプの物体のテンプレート画像を格納するように構成することができる。メモリ204はさらに、種々のタイプの車両及び物体と関連付けられたピッチ及び周波数値を格納することができる。メモリ204の実装形態の例として、これらに限定されるものではないが、電気的消去可能プログラム可能読み出し専用メモリ(EEPROM)、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク・ドライブ(HDD)、フラッシュメモリ、セキュア・デジタル(SD)カード、ソリッド・ステート・ドライブ(SSD)、及び/又はCPUキャッシュ・メモリを挙げることができる。
無線通信システム206は、マイクロプロセッサ202の制御の下で、クラウド・サーバ104のような1又は2以上の外部デバイスと通信するように構成することができる、好適な論理、回路、インターフェース、及び/又はコードを含むことができる。1又は2以上の外部デバイスとのそうした通信は、無線通信ネットワーク106を用いて行うことができる。無線通信システム206は、アンテナ、テレマティック・ユニット、無線周波数(RF)送受信機、1又は2以上の増幅器、1又は2以上のオシレータ、デジタル信号プロセッサ、近距離場通信(NFC)回路、コーダ・デコーダ(CODEC)チップセット、及び/又は加入者識別モジュール(SIM)カードに限定されない、種々の構成要素を含むことができる。
無線通信システム206は、専用短距離通信(DSRC)プロトコルのような無線通信プロトコルを介して、マイクロプロセッサ202の制御下で、無線通信ネットワーク106のようなネットワークと通信することができる。無線通信システム206は、Global system for mobile communications(GSM)、enhanced data GSM environment(EDGE)、wideband code division multiple access(W−CDMA)、code division multiple access(CDMA)、long term evolution(LTE)、time division multiple access(TDMA)、Bluetooth(BT)、Wireless Fidelity(Wi−Fi)(IEEE802.11a、IEEE802.11b、IEEE802.11g、及び/又はIEEE802.11nのような)、voice over Internet Protocol(VoIP)、Wi−MAX、電子メール用プロトコル、インスタント・メッセージング、及び/又はショート・メッセージ・サービス(SMS)といった種々の通信標準、プロトコル及び技術を用いることができる。
インフォテインメント・システム208は、出力として娯楽及び情報媒体を第1の車両102aのユーザに提供することができる。インフォテインメント・システム208は、1又は2以上のサーバ(クラウド・サーバ104、及び/又は、媒体若しくはファイル・サーバのような1又は2以上の他のサーバを含む)に接続し、第1の車両102aのユーザに対して再生される媒体を受け取ることができる。インフォテインメント・システム208は、パーソナル・デバイスなどのユーザの電子デバイスに通信により結合して、結合された電子デバイスから媒体を受け取り、無線で再生することができる。媒体は、音声、映像、テキスト情報及びメタデータ、及び/又はサービス・オペレータからユーザへの付加価値サービスとして与えられる情報を含むことができる。
1つの実施形態によると、インフォテインメント・システム208は、無線通信ネットワーク106又は車両ネットワークを介して、1又は2以上のサーバ、及び/又は電子デバイスに接続することができる。1つの実施形態によると、インフォテインメント・システム208は、第1の車両102aの現在位置のGPS座標を検出することができる内蔵GPSシステムを含むことができる。或いは、インフォテインメント・システム208は、第1の車両102a内の別個の構成要素として取り付けることができるGPSシステムに通信可能に結合することができる。GPSシステムからの入力に基づいて、第1の車両102a及びECU108により認識される1又は2以上の他の車両又は物体を、表示画面210を介して、第1の車両102aに関連して地図上に表示することができる。
表示画面210は、運転者114から入力を受け取り、種々のタイプの情報を第1の車両102aの運転者114などの乗員に表示するために、タッチ・スクリーンを備えることができる。第1の車両102aは、マイクロプロセッサ202と通信するように構成できる他の入力/出力(I/O)デバイスを含むことができる。表示画面210の例として、これらに限定されるものではないが、ヘッド・ユニットのディスプレイ、タブレット・コンピュータ、電子ディスプレイを有するコンピューティング・デバイス、ヘッドアップ・ディスプレイ、拡張現実システムを有するヘッドアップ・ディスプレイ(AR−HUD)、運転者情報コンソール(DIC)、投影型ディスプレイ、シースルー・ディスプレイ、スマート・ガラス・ディスプレイ、及び/又はエレクトロ・クロミック・ディスプレイを挙げることができる。1つの実施形態によると、画像キャプチャ装置112d及び112eは、第1の車両102a(図1に示されるような)のORVM212に取り付けることができる。
パワートレイン制御システム214は、第1の車両102aのエンジン及びトランスミッション・システムの動作を制御する、第1の車両102aの車載コンピュータを指すことができる。パワートレイン制御システム214は、エンジンの点火、燃料噴射、排ガス・システム、及び/又は変速システム(自動変速システムのような)及び制動システム218の動作を制御することができる。変速システムは、手動変速機、同期変速機、全自動変速機、半自動変速機、無段変速機(CVT)、シーケンシャル変速機、デュアルクラッチ変速機(DCT)、又は当技術分野において公知の他の変速機を指すことができる。
ステアリング・システム216は、パワートレイン制御システム214と関連付けることができる。ステアリング・システム216は、第1の車両102aの移動を手動モード又は半自動モードで制御するために運転者114により用いることができるステアリングホイール(steering wheel)及び/又は電気モータ(パワーアシスト・ステアリングのために与えられる)を含むことができる。1つの実施形態によると、第1の車両102aが自動モードにあるとき、第1の車両102aの移動又はステアリングを自動的に制御することができる。ステアリング・システム216の例として、これらに限定されるものではないが、自動ステアリング制御、パワーアシスト・ステアリング・システム、真空/油圧式ステアリング・システム、電気油圧式パワーアシスト・システム(EHPAS)、又は当技術分野において公知の「ステア・バイ・ワイヤ」システムを挙げることができる。
制動システム218を用いて、摩擦力の付与により第1の車両102aを停止又は減速することができる。制動システム218は、第1の車両102aが自動モード又は半自動モードにあるとき、マイクロプロセッサ202の制御下でパワートレイン制御システム214からコマンドを受け取るように構成することができる。
感知システム220は、2又は3以上の音声入力装置110、及び第1の車両102a内に設けられた画像キャプチャ装置112を含むことができる。感知システム220は、車両内ネットワーク222を介してECU108に動作可能に接続し、入力信号をマイクロプロセッサ202に提供することができる。CANインターフェースのような1又は2以上の通信インターフェースを感知システム220内に設けて、車両内ネットワーク222に接続することができる。感知システム220はまた、RADAR装置、及び/又は光検出と測距(light detection and ranging、LIDAR)装置のようなレーザ式物体検出センサに対応し得る物体検出装置(図2に図示せず)を含むこともできる。さらに、感知システム220は、ひとたびキャプチャした交通音データが処理されると、第1の車両102aと第2の車両102bなどの他の車両との間の検出された距離の精度を向上させるために用いることができる1又は2以上の超音波センサ(図2に図示せず)を含むこともできる。さらに、1又は2以上の超音波センサを用いて、第1の車両102aに対する他の車両の速度又は相対速度を判定することもできる。感知システム220の1又は2以上の車両センサの例は、これらに限定されるものではないが、車両速度センサ、走行距離センサ、ヨーレート・センサ、速度計、全地球測位システム(GPS)、操舵角検出センサ、車両進行方向検出センサ、磁気センサ、画像センサ、タッチ・センサ、及び/又は赤外線センサをさらに含むことができる。感知システム220の1又は2以上の車両センサは、進行方向、地理空間位置、操舵角、ヨーレート、速度、及び/又は第1の車両102aの速度の変化率を検出するように構成することができる。
車両内ネットワーク222は、これを通じてECU108、音声インターフェース224、パワートレイン制御システム214、感知システム220、及び/又は無線通信システム206のような第1の車両102aの種々の構成要素又はシステムが互いに通信することができる媒体を含むことができる。車両内ネットワーク222は、マイクロプロセッサ202と、第1の車両102aの、音声インターフェース224又は車体制御モジュールのような他のECUとの間のアクセス制御及び/又は通信を容易にすることができる。第1の車両102a内の種々のデバイスは、種々の有線及び無線通信プロトコルに従って、車両内ネットワーク222に接続するように構成することができる。車両内ネットワーク222に接続するために、第1の車両102aの種々の構成要素又はシステムにより、CANインターフェース、Local Interconnect Network(LIN)インターフェース、Media Oriented Systems Transport(MOST)インターフェースのような1又は2以上の通信インターフェースを用いることができる。車両内ネットワーク222のための有線及び無線通信プロトコルの例として、これらに限定されるものではないが、車両エリア・ネットワーク(VAN)、CANバス、Domestic Digital Bus(D2B)、Time−Triggered Protocol(TTP)、FlexRay、IEEE1394、Carrier Sense Multiple Access With Collision Detection(CSMA/CD)ベースのデータ通信プロトコル、Inter−Integrated Circuit(I2C)、Inter Equipment Bus(IEBus)、Society of Automotive Engineers(SAE)J1708、国際標準化機構(International Organization for Standardization、ISO)11992、ISO11783、Media Oriented Systems Transport(MOST)、MOST25、MOST50、MOST150、プラスチック製光ファイバ(POF)、電力線通信(Power−line communication、PLC)、シリアル・ペリフェラル・インターフェース(SPI)バス、及び/又はLocal Interconnect Network(LIN)を挙げることができる。
音声インターフェース224は、第1のセットの音声出力装置226a及び226b、第2のセットの音声出力装置228a乃至228d、チャイム、ブザー、又は音を生成するように動作可能な他の装置に接続することができる。音声インターフェース224はまた、マイクロフォン、又は運転者114のような第1の車両102aの乗員から音声入力を受け取るための他の装置にも接続することができる。音声インターフェース224は、第1の車両102aのインフォテインメント・ユニット(インフォテインメント・システム208のような)又はヘッド・ユニットの一部とすることができる。1つの実施形態によると、マルチメディア構成要素のための音声/映像データの車両内通信は、車両内ネットワーク222のMedia Oriented Systems Transport(MOST)マルチメディア・ネットワーク・プロトコルを用いて行うことができる。第1のセットの音声出力装置226a及び226bは、運転席の近く又は運転席上に取り付けて、第1の車両102aの運転者114に向けられる音声出力をもたらすことができる。第2のセットの音声出力装置228a乃至228dは、第1の車両102aの内部のコーナー部に取り付けて、第1の車両102aの全乗客に音声出力をもたらすことができる。第1の車両102aが、バイク(bike)などの二輪車である場合、音声インターフェースと関連付けられた1又は2以上の音声出力装置を、バイクに乗っている人のヘルメット内に設けることができる。そうしたシナリオでは、車両内警報を、バイクに乗っている人のヘルメット内の1又は2以上の音声出力装置を通じて、バイクに乗っている人に与えることができるが、後部座席に乗っている人には、そうした車両内警報が聞こえない。後部座席に乗っている人のヘルメットは、音楽又は他の音声コンテンツを再生できる別の音声出力装置を含むことができる。別のシナリオでは、後部座席に乗っている人のヘルメットは、音声出力装置を含むことができない。
車体230は、上述のような種々の構成要素及びシステム、並びに第1の車両102aのような車両の他の機械的及び電気的機構又は構成要素を覆う、第1の車両102aの外殻(外側パネル及び/又はシャーシ以外のフレーム組立体のような)を指すことができる。車体230の車体タイプは、単体構造の車体(すなわち、ユニボディ)、ボディ・オン・フレーム、補助サブフレームを有する車体、デュアル・フレーム・ボディ、及び/又は当技術分野において公知の他の車体構造とすることができる。車体230の車体タイプは、スポーツ用多目的車(sports utility vehicle、SUV)、バン、トラック、セダン、クーペ、コンバーチブル車、ハッチバック車、スポーツカー、及び/又は当技術分野において公知の他の車体スタイルとすることができる。
動作において、2又は3以上の音声入力装置110a乃至110dは、複数の車両102の1又は2以上の他の車両から生じた音をキャプチャするように構成することができる。第2の車両102bを含むことができる1又は2以上の他の車両は、道路部分118上の第1の車両102aの近くとすることができる。2又は3以上の音声入力装置110a乃至110dは、1又は2以上の音声フィルタを適用して、キャプチャした音からノイズを取り除き、キャプチャした音と関連付けられた音データを生成することができる。次に、2又は3以上の音声入力装置110a乃至110dは、車両ネットワーク222を介して、音データを、さらなる処理のために第1の車両102aのECU108に送ることができる。
1つの実施形態によると、ECU108は、第2の車両102bのような1又は2以上の他の車両から第1の車両102aまでの相対位置(距離及び/又は角度)を判定することができる。相対位置は、2又は3以上の音声入力装置110a乃至110dから受け取った音データに基づいて判定することができる。相対位置の判定は、図3、図4、図5、図6、図7及び図8にさらに詳細に説明される。ECU108はさらに、判定した相対位置に基づいて、第1の車両102aに対して車両内警報を生成するように構成することができる。車両内警報は、第2の車両102bのような1又は2以上の他の車両から生じた音を表す仮想音を含むことができる。仮想音は、第1の車両102a内の第1のセットの音声出力装置226a及び226bにより再生することができる。第1のセットの音声出力装置226a及び226bは、運転者114をターゲットにした音ビームによって、車両内警報と関連付けられた音場を方向付けることができる。代替的に、車両内警報は、第1の車両102a内の第2のセットの音声出力装置228a乃至228dを介して、運転者114及び1又は2以上の同乗者を含む、第1の車両102aの全乗客に与えることができる。車両内警報は、道路部分118に沿った第1の車両102aの進行経路と関連付けられた交通条件に基づいて、全乗客に与えることができる。仮想音を含む車両内警報の生成及び再生は、図5、図9A及び図9Bにさらに詳細に説明される。さらに、種々の例示的な交通シナリオにおける車両内運転者支援システムの実装に関連する詳細が、図10乃至図13に説明される。車両内警報の例は、これらに限定されるものではないが、事故警告、運転操作命令、速度変更推奨、車両追い越し推奨、車線変更推奨、運転条件情報、障害物警告、及び/又は選択された車両の追跡を含むことができる。
図3は、本開示の1つの実施形態による、第1の車両102aに隣接する1又は2以上の他の車両から生じた交通音のキャプチャを示す道路部分の第1の例示的な上面図を示す。図3は、図1及び図2からの要素と共に説明される。図3を参照すると、第1の車線302及び第2の車線304を含むことができる道路部分306の上面図300が示される。複数の車両102は、道路部分306に沿って往来するように示される。複数の車両102は、第1の車両102aと、第2の車両102b、第3の車両102c、第4の車両102d、及び第5の車両102eのような1又は2以上の他の車両とを含むことができる。第3の車両102c、第4の車両102d、及び第5車両102eは、複数の車両102における新たに示される1又は2以上の他の車両である。
第2の車両102b、第3の車両102c、第4の車両102d、及び第5の車両102eから生じた音は、それぞれ、第1の音ビーム308a、第2の音ビーム308b、第3の音ビーム308c及び第4の音ビーム308dとして表すことができる。第1の車両102aは、2又は3以上の音声入力装置110a乃至110dを含むように示される。第1の車両102a、第2の車両102b及び第4の車両102dは、第1の車線302に沿って往来するように示されるが、第3の車両102c及び第5の車両102eは、第2の車線304に沿って往来するように示される。
1つの実施形態によると、音声入力装置110a、110b及び110c(それぞれ、第1の車両102aの後端、左側及び右側に配置される)は、道路部分306に沿って、音声入力装置110dよりも顕著に、第1の車両102aの後方にいる他の車両から生じた音をキャプチャすることができる。例えば、図3に示されるように、第2の車両102b及び第3の車両102cは、道路部分306上の第1の車両102aの後方に、それぞれ第1の車両102aの左側及び右側にいる。第2の車両102bから生じた第1の音ビーム308a及び第3の車両102cから生じた第2の音ビーム308bは、少なくとも音声入力装置110a、110b及び110cによりキャプチャすることができる。
同様に、音声入力装置110b、110c及び110d(示されるように、それぞれ、第1の車両102aの左側、右側及び前端に配置される)は、道路部分306に沿って、音声入力装置110aよりも顕著に、第1の車両102aの前方にいる(並んでいる)他の車両から生じた音をキャプチャすることができる。例えば、図3に示されるように、第4の車両102d及び第5の車両102eは、道路部分306上の第1の車両102aの前方に、それぞれ第1の車両102aの左側及び右側にいる。第4の車両102dから生じた第3の音ビーム308c及び第5の車両102eから生じた第4の音ビーム308dは、少なくとも音声入力装置110b、110c及び110dによりキャプチャすることができる。図3は、第1の車両102aの4つの音声入力装置110a乃至110dのみを用いて、周辺車両から生じた音をキャプチャすることができる1つの実施形態を表す。当業者であれば、第1の車両102a内に設けられる場合、付加的な音声入力装置を用いて他の車両から生じた音をキャプチャできることが理解できる。従って、4つより多い音声入力装置を使用するシナリオも可能である。例えば、第1の車両102aの8つの音声入力装置110a乃至110hの全てを用いて、周辺車両から生じた音をキャプチャできるシナリオが、図6に示される。
図4は、本開示の1つの実施形態による、第1の車両102aに対する周辺車両の位置の例示的な計算を示す。図4は、図1、図2及び図3からの要素と共に説明される。図4を参照すると、道路部分306の区域402を示す例示的な上面図400が示される。道路部分306の区域402は、第1の車両102a及び第2の車両102bを含む図3の第1の車線302の特定の部分を含むことができる。同じく図4には、第1の車両102aの音声入力装置110a乃至110d、及び第2の車両102bから生じた音に対応する第1の音ビーム308aが示される。
さらに、第1の車両102a及び第2の車両102bのブロック図は、道路部分306の区域402における第1の車両102aに対する第2の車両102bの位置の計算を示すように並んで示される。第1の車両102aに対する第2の車両102bの位置は、第2の車両102bから発生し、第1の車両102aにおいてキャプチャされる第1の音ビーム308aに基づいて確認することができる。さらに、第2の車両102bの前端の中央から音声入力装置110a、110b及び110cまでの、第1の距離404a、第2の距離404b及び第3の距離404c(同じく、距離又は辺「a」、「b」及び「c」としても表される)のような種々の距離が示される。
さらに、図4のブロック図は、音声入力装置110a、110b及び110cとの間の所定の距離408a、408b及び408c(「x」、「y」及び「z」としても表される)を示す。図示されるように、所定の距離408a、408b及び408cは、音声入力装置110a、110b及び110cの対との間の対をなす距離とすることができる。所定の距離408a、408b及び408cは、第1の車両102a内の音声入力装置110a乃至110dの取り付け位置に基づいて判定することができる。さらに、三角形の「ベイ」の辺「a」(第1の距離404a)と辺「b」(第2の距離404b)との間に形成される角度406(角度「A」とも表される)も示される。さらに、第1の車両102aに対する第2の車両102bの位置の計算は、以下の図5に説明される。
図5は、本開示の1つの実施形態による、第1の車両102aに対する周辺車両の判定のために、第1の車両102aにより周辺車両からキャプチャされる交通音データの第1の例示的なパターンを示す。図5は、図1、図2、図3及び図4からの要素と共に説明される。図5を参照すると、(図4の)第2の車両102bからの、音声入力装置110a乃至110cによりキャプチャされる音信号と関連付けられた音信号パターン500が示される。簡潔にするために、音信号パターン500は、1又は2以上の他の車両の第2の車両102bから生じた音のキャプチャを示す。
1つの実施形態によると、音信号パターン500は、第2の車両102bから生じた音(図4)に対応する、第1の音ビーム308aと関連付けられた音信号を含むことができる。音信号パターン500は、第1の音信号502a、第2の音信号502b及び第3の音信号502cを含むように示される。3つの音信号502a乃至502cの各々は、音声入力装置110a乃至110cからの音声入力装置によりキャプチャすることができる音チャネルに対応することができる。1つの実施形態によると、3つの音信号502a乃至502cの各々は、第2の車両102bから生じた第1の音ビーム308aに対応することができる。従って、3つの音信号502a乃至502cは、同じ音源、つまり第2の車両102bから同時に発生することができる。
動作において、音声入力装置110a乃至110dは、道路部分306を進行する、第2の車両102bのような1又は2以上の他の車両から生じた音を受け取ることができる。図4に示されるように、第2の車両102bは、道路部分306の第1の車線302において第1の車両102aの後方にいることがある。音声入力装置110a、110b及び110cは、第1の音ビーム308aのような、第2の車両102bから生じた音をキャプチャすることができる。ここで再び図5を参照すると、第1の音信号502aは、第2の車両102bと音声入力装置110b(第1の車両102aの左側の)との間の第1の距離404a(「a」としても表される)に対応することができる。第2の音信号502bは、第2の車両102bと音声入力装置110c(第1の車両102aの右側の)との間の第2の距離404b(「b」としても表される)に対応することができる。さらに、第3の音信号502cは、第2の車両102bと音声入力装置110a(第1の車両102aの後端の)との間の第3の距離404c(「c」としても表される)に対応することができる。
図5に示されるように、第1の車両102aの周りの音声入力装置110aの配置に起因して、第1の音信号502aは、音声入力装置110aによりキャプチャされる第1の車両102aにおける他の音信号よりも先に到達し得る。第1の音信号502aの後に第3の音信号502cが続き、次に第2の音信号502bが続くことができる。1つの実施形態によると、第1の車両102aにおける音信号の到着時間は、音信号をキャプチャする第1の車両102aのそれぞれの音声入力装置から第2の車両102bまでの距離に反比例する。例えば、また図4を参照すると、第2の車両102bと音声入力装置110cとの間の第2の距離404b(「b」のような)は、第1の距離404aと第3の距離404c(それぞれ「a」と「c」のような)との間の第1の距離404a及び第3の距離404cより大きい場合がある。従って、第2の距離404bに対応し得る第2の音信号502bは、第1の音信号502a及び第3の音信号502cの両方が第1の車両102aに到達した後、第1の車両102aに到達し得る。さらに、第1の距離404aが第3の距離404cを下回る場合、第1の音信号502aは、第3の音信号502cより先に到達することができ、逆もまた同様である。
1つの実施形態によると、ECU108は、この場合は、第1の車両102aの音声入力装置110a、110b及び110cにより受け取られる、第2の車両102bから生じた、第1の音ビーム308aのような音ビームの相対距離を判定することができる。従って、ECU108は、音声入力装置110b(第1の距離404a)、音声入力装置110c(第2の距離404b)及び音声入力装置110a(第3の距離404c)からの、第2の車両102bの相対距離の間の差を判定することができる。そのために、1つの実施形態によると、ECU108は、第1の車両102aにおける3つの音信号502a乃至502cの相対到達時間の間の差を判定することができる。さらに、ECU108は、3つの音信号502a乃至502cの各々の放出の増幅及び/又は方向に基づいて、第1の車両102aに対する第2の車両102bの位置と関連した方向を判断することができる。その後、ECU108は、到達時間差(TDOA)技術及び/又は三角測量技術の適用により、第1の距離404a、第2の距離404b及び第3の距離404c(「a」、「b」、「c」で表される)を判定することができる。さらに、ECU108は、判定した第1の距離404a、第2の距離404b及び第3の距離404cに基づいて、第2の車両102bと第1の車両102aとの間の最短距離を判定することができる。第2の車両102bと第1の車両102aとの間の最短距離は、第2の車両102bの前端と第1の車両102aの後端との間の垂直距離に対応し得る。
1つの実施形態によると、ECU108はさらに、第1の車両102aの感知システム220と関連付けられた1又は2以上の超音波センサを用いて、第1の車両102aと第2の車両102bとの間の判定した垂直距離を再評価することができる。ECU108は、第1の車両102aと第2の車両102bとの間の垂直距離を再評価して、以前に判定した垂直距離の精度を向上させることができる。1又は2以上の超音波センサは、ECU108の命令下で、1又は2以上の電磁信号(超音波のような)を、第2の車両102bの判定した方向に向けて伝送することができる。その後、1又は2以上の超音波センサは、第2の車両102bから、1又は2以上の反射した電磁信号を再び受け取ることができる。1又は2以上の電磁信号の送信と1又は2以上の反射した電磁信号の受信との間の経過時間に基づいて、ECU108は、第2の車両102bと第1の車両102aとの間の垂直距離を再評価することができる。ECU108はまた、垂直距離の再評価と類似した方法で、第1の距離404a、第2の距離404b及び第3の距離404cを再評価することもできる。1又は2以上の電磁信号は、第1の車両102aから第2の車両102bまでのそれぞれの距離と関連付けられた方向に送信することができる。
1つの実施形態によると、ECU108は、それぞれの車両からキャプチャした音データに基づいて、1又は2以上の他の車両(第2の車両102b、第3の車両102c及び第4の車両102dのような)の速度を判定することができる。さらに、ECU108は、第2の車両102bからキャプチャした音データに基づいて、第1の車両102aに対する第2の車両102bの相対速度を判定することができる。例えば、音声入力装置110a、110b及び110c、及び/又は判定したTDOAの振幅又はピッチの差を、速度及び/又は相対速度の判定のために用いることができる。或いは、第1の車両102aの速度が既知である(瞬間的な速度計読取値に基づいて)場合、速度及び/又は相対速度の判定のために、超音波センサ(存在する場合)をさらに用いることができる。
1つの実施形態によると、ECU108はさらに、第2の車両102bが第1の車両102aの音声入力装置110b(左側の)及び音声入力装置110c(右側の)に対して配置される角度406(角度「A」で表される)を計算するように構成することができる。つまり、角度406(角度「A」で表される)は、三角形「ベイ」の第1の距離404aと第2の距離404b(辺「a」と「b」で表される)に対応する線の間に形成される角度に対応し得る。角度406(角度「A」で表される)は、三角形「ベイ」についての次の数式に基づいて計算することができる。
1つの実施形態によると、角度406(角度「A」で表される)を計算した後、ECU108は、計算した角度406に基づいて、検出した第2の車両102bに向かう直接音ビームを送信することにより、ビーム形成手順を実施することができる。送信された直接音ビームは、第2の車両102bから反射され得る。反射した音ビームは、2又は3以上の音声入力装置110によりキャプチャすることができる。キャプチャした反射音ビームの分析に基づいて、ECU108は、第1の車両102aと第2の車両102bとの間の相対距離を評価することができる。ビーム形成手順の例示的な実施形態が、図8と共に説明される。
1つの実施形態によると、第1の車両102aに対する第2の車両102bの判定した相対距離及び角度情報は、取得されると、ECU108により用いて、第2の車両102bに対する仮想音を生成することができる。1つの実施形態によると、ECU108は、第1の車両102aに対する第2の車両102bの判定した相対距離及び角度を、ユークリッド座標系から球面座標系へ変換することができる。球面座標系で表される距離及び角度情報を用いて、頭部伝達関数(head−related transfer function、HRTF)を適用することができる。ECU108は、以下に記載する数式:
を用いてHRTFを適用することによって、仮想音を生成することができる。
ここで、HRTFは、球面座標系(r、θ、φ)で表される音源(第2の車両102bのような)から第1の車両102aまでの距離及び角度に関して測定され、かつ、
「r」は、頭部中心に対する音源距離を表し、
「θ」は、「0乃至360」°の水平面を表し、
「φ」は、頭部中心の上下の領域を表す「−90乃至90」°の間の高度を表し、
「f」は、異なる周波数を表し、
「a」は、個々の頭部を表し、
「PL]及び「PR]は、第1のセットの音声出力装置226a及び226bから再生される音のような、左耳及び右耳における音圧を表し、
「P0」は、頭部のない場合の頭部中心の音圧を表す。
1つの実施形態によると、ECU108は、音信号パターン500の成分信号として音声入力装置110a乃至110cによりキャプチャすることができる第1の音ビーム308aに1又は2以上の音フィルタを適用することができる。1又は2以上の音フィルタの適用に基づいて、ECU108は、第2の車両102bと関連付けられた音シグネチャを決定することができる。次に、ECU108は、第2の車両102bの決定した音シグネチャを、メモリ204内の事前に格納された音シグネチャと比較する。事前に格納された音シグネチャは、種々のタイプの車両及び物体に対応し得る。車両のタイプの例は、これらに限定されるものではないが、四輪車、三輪車、二輪車、トラック、車、SUV、及び/又は多用途車を含むことができる。車両以外の物体として、これらに限定されるものではないが、人間、動物、及び/又は他の音を生成する物体を挙げることができる。比較に基づいて、ECU108は、第2の車両102bのタイプを決定することができる。
1つの実施形態によると、第2の車両102bと関連付けられた仮想音は、第2の車両102bの決定したタイプに基づいて生成することができる。例えば、第1の車両102aにおける仮想音出力のピッチ及び周波数は、第2の車両102bの決定したタイプに基づくことができる。種々のタイプの車両及び物体に対する仮想音出力の生成のために用いられるピッチ及び周波数値は、メモリ204内の音シグネチャと共に格納することができる。従って、ECU108は、メモリ204から、第2の車両102bに対して決定された車両タイプのピッチ及び周波数値を抽出することができる。その後、ECU108は、これに応じて、第2の車両102bに対してメモリ204から抽出した関連するピッチ及び周波数値の仮想音出力を生成することができる。結果として生じる仮想音出力により、運転者114が、道路部分(道路部分306又は道路部分118)に沿った混雑した交通区域内を安全に運転するためにどこ着目すべきかが容易に理解できるようになる。
1つの実施形態によると、キャプチャした音における1又は2以上の音フィルタの適用に基づいて、ECU108は、第2の車両102bと関連付けられた1又は2以上の運転パラメータを決定することもできる。例えば、ECU108は、1又は2以上の音フィルタの適用に基づいて、第2の車両102bにより現在適用されているエンジン・ギアを決定することができる。ECU108により決定されるような、仮想音出力のピッチ及び/又は周波数は、第2の車両102bにより現在適用されているギアにも基づくことができる。1つの実施形態によると、仮想音出力の振幅値は、第1の車両102aから第2の車両102bまでの距離及び/又は相対速度に比例し得る。さらに、第2の車両102bと関連付けられた仮想音出力は、第2の車両102bの車両タイプと関連付けられた事前に記録された音声トラックを含むことができる。或いは、仮想音出力は、少なくとも、第2の車両102bからキャプチャされる音の、リアルタイムで又はほぼリアルタイムで記録された部分を含むことができる。次に、第2の車両102bの仮想音を含む車両内警報は、第2のセットの音声出力装置228a及び228d又は第1のセットの音声出力装置226a及び226bを通じて再生することができる。
図6は、本開示の1つの実施形態による、第1の車両に近接する車両から生じた交通音のキャプチャを示す道路部分の第2の例示的な上面図を示す。図6は、図1及び図2と共に説明される。図6を参照すると、第1の車線602及び第2の車線604を含むことができる道路部分606の上面図600が示される。第1の車両102a、車608a、トレーラ608b、トラック608c、バイク608d、バイク608e、車608fのような複数の車両が、道路部分606を往来するように示される。車608a及びトレーラ608bは、第1の車線602に沿って往来するように示されるが、トラック608c、バイク608d、第1の車両102a、バイク608e及び車608fは、反対方向に第2の車線604に沿って進行するように示される。
第1の車両102aは、110a乃至110hのような2又は3以上の音声入力装置を含むように示される。さらに、第1のセットの音ビーム610a、第2のセットの音ビーム610b及び第3のセットの音ビーム610cが、それぞれ、トラック608c、バイク608d及び車608aから、第1の車両102aに向けて発されるように示される。音声入力装置110e、110a及び110fは、第1の車両102aの左後端、後部及び右後端に取り付けられるように示される。上述の3つの音声入力装置110e、110a及び110fは、第1のセットの音ビーム610a、第2のセットの音ビーム610b及び第3のセットの音ビーム610c内の個々の直接音ビームをキャプチャすることができる。例えば、第1のセットの音ビーム610aは、3つの直接音ビームを含むことができる。3つの音ビームの第1のものを第1の車両102aの左後端に向け、従って、第1の車両102aの左後端に取り付けられた音声入力装置110eによりキャプチャすることができる。同様に、3つの音ビームの第2及び第3のものを、第1の車両102aの後部中心端及び右後端に向けることができる。第1のセットの音ビーム610aの第2の音ビームは、音声入力装置110a(後端部の)によりキャプチャすることができ、一方、第1のセットの音ビームの第3の音ビームは、音声入力装置110f(右後端部の)によってキャプチャすることができる。
図7は、本開示の1つの実施形態による、第1の車両に対する周辺車両の相対位置を判定するために、第1の車両により1又は2以上の周辺車両からキャプチャした交通音データの第2の例示的なパターンを示す。図7は、図1、図2及び図6と共に説明される。図7を参照すると、第1の信号ストリーム702a、第2の信号ストリーム702b及び第3の信号ストリーム702cが示される。さらに、第1の車両タイプ信号704a乃至704cのセット、第2の車両タイプ信号706a乃至706cのセット、及び第3の車両タイプ信号708a乃至708cのセットが示される。
図7に示されるように、第1の信号ストリーム702aは、第1の車両102aの左後端部に取り付けられた音声入力装置110eによりキャプチャされる音声信号に対応することができる。同様に、第2の信号ストリーム702b及び第3の信号ストリーム702cは、第1の車両102aの後部中心及び右後端部に取り付けられた音声入力装置110a及び110fによりキャプチャされる音声信号に対応することができる。説明のために、第1の車両タイプ信号704a乃至704cのセットは、トラック608cからキャプチャされる第1のセットの音ビーム610aを含むと考えられる。さらに、第2の車両タイプ信号706a乃至706cのセットは、車608a及びバイク608dからキャプチャされる第2のセットの音ビーム610bを含むと考えられる。さらに、第3の車両タイプ信号708a乃至708cのセットは、バイク608dからキャプチャされる第3のセットの音ビーム610cを含むと考えられる。
動作において、第1の車両102aに最も近い車両を決定するために、ECU108は、最も早い車両タイプ信号の発生を含む信号ストリームを識別することができる。つまり、ECU108は、音声入力装置のどれが、周辺車両から生じた音ビームを最初にキャプチャしたかについてチェックすることができる。例えば、図7に示されるように、後部中心の音声入力装置110aに対応する第2の信号ストリーム702bは、最も早い車両タイプ信号(つまり、第1のセットの音ビーム610aからの信号704b)を受け取る。その後、ECU108は、他の音声入力装置で受け取った同じ車両タイプの他の信号を相関させることができる。例えば、上記の場合、第1の車両タイプの信号704a及び704c(同じく第1のセットの音ビーム610aからの)は、これらが同じ車両(すなわち、トラック608c)からキャプチャされるので、信号704b(最も早く受け取った信号)と相関させることができる。
同じ車両に関連する信号の相関に基づいて、他の音声入力装置においてその車両から受け取った信号の開始位置を識別することができる。例えば、第1の信号ストリーム702a及び第3の信号ストリーム702cにおけるトラック608cの信号の受信の開始位置は、第1の車両タイプ信号704a乃至704cのセットの相関に基づいて識別することができる。さらに、開始位置の識別に基づいて、信号遅延を決定することができる。例えば、信号704a及び704cの互いに対する及び信号704bに対する遅延を決定することができる。決定した遅延に基づいて、第1の車両102aに対する、識別された周辺車両(例えば、トラック608c)の接近の相対角を決定することができる。同様に、他の周辺車両に対する第1の車両102aの相対角を決定することもできる。周辺車両の相対角の決定の代替的な実施形態が、図4に説明される。1つの実施形態によると、ECU108は、最も近い識別された車両(例えば、トラック608c)の相対位置の決定に基づいて、ビーム形成を行うことができる。ビーム形成は、第1の車両102aに対して最も近い車両(例えば、トラック608c)の接近の決定相対角に沿って行うことができる。例示的なビーム形成手順が、図8と共にさらに説明される。
図8は、本開示の1つの実施形態による、第1の車両に対する周辺車両の相対位置を確認するために、第1の車両により行われる例示的なビーム形成手順を示す。図8は、図1、図2、図6及び図7からの要素と共に説明される。図8を参照すると、同じく図6に示されるように、第1の車線602及び第2の車線604を含むことができる道路部分606の上面図800が示される。さらに、車608a及びトレーラ608bは第1の車線602内を進行するが、トラック608c、バイク608d、第1の車両102a、バイク608e及び車608fは、第2の車線604を往来するように示される。図6と同様に、第1の車線602内の車両は、第2の車線604内の車両に対して反対方向に進行する。
図6と同様に、第1の車両102aは、2又は3以上の音声入力装置110a乃至110hを含むように示される。図8に示されるように、音声入力装置110e、110a及び110fは、第1の車両102aの右後端部、後部中心及び左後端部に取り付けられ、周辺車両から生じた音ビームをキャプチャすることができる。車608a、トラック608c及びバイク608dのような周辺車両は、音声入力装置110e、110a及び110fに向けて音ビームを発生することができる。例えば、図8に示されるように、車608a、トラック608c及びバイク608dは、第1のセットの音ビーム610a、第2のセットの音ビーム610b及び第3のセットの音ビーム610cを発生することができる。周辺車両からキャプチャした音ビームのパターンの分析の例示的な実施形態が、図7と共に説明される。図7と共に説明されるように、キャプチャした音ビームのパターンの分析に基づいて、最も近い車両(例えば、トラック608c)及び第1の車両102aに対する最も近い車両の接近の相対角を決定することができる。
1つの実施形態によると、ECU108は、最も近い車両(例えば、トラック608c)の接近の決定された相対角に沿ってビーム形成を行うことができる。ビーム形成は、第1の車両102aによる最も近い車両(例えば、トラック608c)の接近の決定された相対角に向けて有向ビーム(例えば、直接音ビーム又は有向のミリメートル波の電波ビーム)を投影することによって行うことができる。第1の車両102aの音声入力装置110e、110a及び110fは、最も近い車両(例えば、トラック608c)から跳ね返る又は反射するビームを受け取ることができる。受け取ったビームに基づいて、ECU108は、第1の車両102aから最も近い車両(例えば、トラック608c)の相対位置を決定することができる。トラック608cに対して行われたビーム形成は、光線802により図8に示されている
図9A及び図9Bは、本開示の1つの実施形態による、交通区域における第2の車両102b又は他の物体の仮想音の再生を示す、第1の車両102aの内部の2つの例示的な上面図を示す。図9A及び図9Bは、図1乃至図8からの要素と共に説明される。図9Aを参照すると、第1の車両102aの内部の第1の上面図900Aが、第1の音場902、運転席904、1又は2以上の同乗者席906a乃至906c、ステアリングホイール216a及びECU108を含むように示される。運転者114に対する第1のセットの音声出力装置226a及び226b、並びに運転者114及び第1の車両102a及び全同乗者に対する第2のセットの音声出力装置228a乃至228dが、さらに示される。図9Aは、表示画面210をさらに示す。
動作において、ECU108は、第1の車両102aから第2の車両102bの決定された位置及び角度に基づいて、第1の車両102aと少なくとも第2の車両102bとの間の距離を決定するように構成することができる。距離は、第1の車両102の交通区域において、少なくとも第2の車両102b及び物体を含む他の車両から生じた音に対応する受け取った音データに基づいて決定することができる。第1の車両102aと第2の車両102bとの間の距離の決定は、図4及び図5に説明される(式1を参照されたい)。さらに、ECU108は、HRTFを適用して(式2を参照されたい)、第1の車両102a内の1又は2以上の音再生装置を通じて、車両内警報のような第2の車両102bの仮想音を生成することができる。以下に説明されるように、仮想音は、第1の車両102a内の1又は2以上の位置で再生し、運転者114又は運転者114と同乗者の両方に対して音場を制御又は生成することができる。
1つの実施形態によると、第2のセットの音声出力装置228a乃至228dは、ECU108により生成される車両内警報の仮想音出力を、第1の車両102aの全乗客に対して再生することができる。図9Aに示されるように、第2のセットの音声出力装置228a乃至228d内の各音声出力装置は、第1の音場902により表される仮想音出力の生成をもたらすことができる。第2のセットの音声出力装置228a乃至228dは、第1の車両102aの4つのコーナー部に取り付けることができる。例えば、音声出力装置228a及び228bを第1の車両102aの後部コーナー部に取り付けて、それぞれ後部乗客席906b及び906cに着座する乗客に対して音を再生することができる。さらに、音声出力装置228c及び228dを第1の車両102aの前部コーナー部に取り付けて、座席906aに座った前部同乗者及び運転席904に座った運転者114に対して音を再生することができる。従って、第2のセットの音声出力装置228a乃至228dにより生成される第1の音場902は、運転席904に座った運転者114及び同乗者席906a乃至906cに座った同乗者に聞こえる。
1つの実施形態によると、車両内警報は、第1の車両102aと関連付けられた交通区域の交通条件に基づいて、第1の音場902を通じて再生することができる。例えば、事故警告の場合、又は別の車両が第1の車両102aに向けて高速で接近している(又は第1の車両102aの所定の近さの範囲内にある)場合、第1の音場902を通じて車両内警報を全乗客に対して再生することができる。さらに、車両内警報は、夜間、霧の中、及び/又はラッシュアワー時のような特定の走行条件において、第1の音場902として再生することができる。通常の走行条件の際、車両内警報は、第1の車両102a内の他の同乗者を妨げることなく、図9Bに示されるように運転者114に対してのみ生成することができる。
図9Bを参照すると、第1の車両102aの内部の第2の上面図900Bが、第2の音場908a、第3の音場908b、運転席904、1又は2以上の同乗者席906a乃至906c、ステアリングホイール216a、及びECU108を含むように示される。さらに、図9Bは、第1のセットの音声出力装置226a及び226b、第2のセットの音声出力装置228a乃至228d、及び表示画面210を含むように示される。
動作において、第2の車両102bから生じた音を表す仮想音を含むことができる車両内警報を、第1の車両102aの運転者に対してのみ再生し、運転者114を支援することができる。第1の車両102aの同乗者には、車両内警報が与えられず、何の音も聞こえないか、又は第1の車両102aの音楽システム(又は、インフォテインメント・システム208)を通じて再生される音楽を聞くことができる。つまり、同乗者は、車両内警報に妨げられず、音楽を楽しむことができるか又は音が全く聞こえない。これは、車両間に十分な距離が維持され、交通規則に従い、及び/又は顕著な脅威若しくは障害物がない通常の走行条件においても同様である。
例えば、第1のセットの音声出力装置226a及び226bは、運転席904に座っている運転者114に向けられる車両内警報を再生することができる。図9Bに示されるように、第1のセットの音声出力装置226a及び226bの各々は、運転者114に向けられる第2の音場908aの生成をもたらすことができる。第1のセットの音声出力装置226a及び226bを運転席904上に又はその周りに取り付け、バイノーラル音出力を運転者114にもたらすことができる。バイノーラル音出力は、車両内警報の仮想音出力を含む第2の音場908aに対応することができる。
1つの実施形態によると、座席906a乃至906cに座っている、第1の車両102aの1又は2以上の同乗者に、第3の音場908bのような別個の音出力をもたらすことができる。第3の音場908bは、第1の車両102aの音楽システム又はインフォテインメント・システム208を用いて、1又は2以上の同乗者に対して再生される音楽トラック又はインフォテインメント・チャネルを含むことができる。ECU108は、第2のセットの音声出力装置228a乃至228dの1又は2以上の音声出力装置を用いて、第1の車両102aの同乗者に対して第3の音場908bを制御又は生成することができる。例えば、音声出力装置228a及び228cは、それぞれ、座席906b、906c及び906aに座っている同乗者に対して、第3の音場908bを再生することができる。代替的に、第3の音場908bを再生せず、同乗者には何も音が聞こえないこともある。
1つの実施形態によると、第1の車両102aの内部での音場の再生は、ECU108による交通条件の評価に基づいて自動的に切り替えることができる。例えば、ECU108は、第1の車両102aから1又は2以上の他の車両までの距離の判定を続行することができる。第1の車両102aに接近する高速で動いている車両の検出といった、交通条件の変化に基づいて、ECU108は、第1の音場902(図9Aの)の生成を切り替えることができる。1つの実施形態によると、ECU108はまた、特定のタイプの車両(トラック又は長いトレーラなど)が第1の車両102aの所定の近さの範囲内にあるとき、第1の音場902の生成に切り替えることもできる。しかしながら、通常の走行条件において、ECU108は、図9Bの第2の音場908a及び/又は第3の音場908bの生成を続行することができる(インフォテインメント・システムが同乗者により使用される場合)。1つの実施形態によると、車両内警報を再生するために(第1の音場902及び第2の音場908aからの)特定の音場を生成するための選択は、表示画面210のようなインターフェース又はインフォテインメント・システム208を介して、第1の車両102aの運転者114及び/又は同乗者によりカスタマイズ可能である。
1つの実施形態によると、ECU108は、第1の車両102aから所定の近さの範囲内にある他の車両の判定した距離に基づいて、車両内警報を生成することができる。生成された車両内警報は、現在第1の車両102aから所定の近さの範囲内にある特定の車両から生じた音を表すことができる仮想音を含むことができる。1つの実施形態によると、生成された車両内警報はまた、他の車両の判定した距離に基づく、2又は3以上の仮想音出力の組み合わせを含むこともできる。こうした仮想音出力の各々の再生は、それぞれの車両のタイプによって決まり得る。従って、別個の車両の仮想音出力は、運転者114によって明確に識別可能であると思われ、運転者114は、車両のタイプ、近接度、又は速度を評価し、それに応じて運転することができる。1つの実施形態によると、第1の車両102aの所定の近さの範囲内にある他の車両の表示は、表示画面210を通じて表示することができる。運転者114又は乗客のようなユーザは、表示画面210を通じて表示される表示に基づいて、地図上の他の車両の動きを追跡することができる。
1つの実施形態によると、ECU108は、少なくとも第2の車両102bを含む複数の車両102における1又は2以上の他の車両の相対速度(第1の車両102aに対する)を判定することができる。図4及び図5に上述されるように、第2の車両102bのような別の車両の相対速度の判定は、その車両から生じたキャプチャした音と、そこから判定した関連した距離とに基づくこともできる。第2の車両102bのような特定の他の車両の判定した距離及び/又は相対速度に基づいて、ECU108は、音声警告を生成することができる。音声警告は、車両内警報内に含ませることができる。例えば、第1の車両102aから特定の距離内にある別の車両が特定の閾値速度を超える相対速度で第1の車両102aに接近すると、音声警告を車両内警報と共に生成することができる。次に、運転者114は、高速で動いている車両を認識するようになる。1つの実施形態によると、音声警告は、第1の音場902を通じて再生することができる。こうしたシナリオにおいて、車両内警報は、既に切り替わってはいない場合、第2の音場908aから第1の音場902に切り替えることができる。或いは、車両内警報の再生のために、第1の音場902の現在の使用に関係なく、第2の音場908aを通じて運転者144に対してのみ再生することができる。従って、この場合、音声警告は、もっぱら運転者114のみに与えることができる。
1つの実施形態によると、第2の車両102bから生じた音は、第1の車両102aにおいて直接音ビームとしてキャプチャすることができる。これは、第2の車両102bが第1の車両102aと関連付けられた視線方向(line of sight、LOS)内にある場合も当てはまり得る。しかしながら、第2の車両102bが第1の車両102aの直接LOS内にない場合、第2の車両102bから生じた音は、第1の車両102aにおける間接的な又は反射した(マルチパス)音ビームとしてキャプチャすることができる。上述のように、ECU108は依然として、第2の車両102bのキャプチャした間接音に基づいて、TDOA及び/又は三角形技術を用いて、第1の車両102aと第2の車両102bとの間の距離を判定することができる。従って、第2の車両102bが直接見えないか又は第2の車両102bが運転者114の走行死角内にある場合でも、第2の車両102bを検出し、特定することができる。さらに、ECU108は、第1の車両102aに対する第1の車両102aの所定の近接度及び/又は相対速度に基づいて、運転者114に対する車両内警報を生成することができる。複数の車両が第1の車両102aの所定の近さの範囲内にあるとき、及び/又は1又は2以上の他の車両が相対的に高速で第1の車両102aに接近すると、ECU108は、車両内警報の一部として、適切な仮想音及び/又は警告メッセージを生成することができる。仮想音出力の各々は、それぞれの車両のタイプ、それぞれの距離、及び/又は第1の車両102aに対する相対速度に基づいて、特定の検出車両に特有であり得る。従って、運転者114は、現在の運転シナリオにおいて、第1の車両102aの周りの種々の車両を明確に識別し、第1の車両02aを適切に操作することができる。
1つの実施形態によると、ECU108はさらに、交通の管理及び制御のために、交通区域内の交通条件の統計データを、交通監視センタのような、第2の場所における遠隔制御センタに通信するように構成することができる。例えば、ECU108は、無線通信ネットワーク106を介して、統計データをクラウド・サーバ104にリアルタイムで又は定期的に伝送することができる。1つの実施形態によると、クラウド・サーバ104への統計データの伝送は、道路部分118(図1の)に沿って取り付けられたRSU120を介することができる。或いは、ECU108は、統計データをクラウド・サーバ104へ直接伝送することもできる。
1つの実施形態によると、クラウド・サーバ104は、複数の車両102から受け取った当該統計データをコンパイルし、ある期間にわたって交通区域内の交通条件と関連した傾向を分析するように構成することができる。さらに、コンパイルしたデータを、事故及び全体として一般の運転行動の分析のために用いることができる。ECU108は、統計データを、運転者114のような第1の車両102aのユーザの電子デバイスに伝送することもできる。電子デバイスの例として、これらに限定されるものではないが、スマートフォン、ラップトップ、パーソナル・コンピュータ、タブレット・コンピュータ、ウェアラブル・デバイス、及び/又は車両ネットワークに接続することができるインターネット・オブ・シングズ(IoT)デバイスを挙げることができる。統計データの例として、これらに限定されるものではないが、第1の車両102aから第2の車両102bまでの距離、第1の車両102aに対する第2の車両102bの相対速度、及び/又は第2の車両102bのタイプを挙げることができる。統計データは、第1の車両102aから所定の距離(又は所定の近接度)内の1又は2以上の他の車両のカウント、及び生成された車両内警報をさらに含むことができる。
1つの実施形態によると、クラウド・サーバ104は、他の非移動体手段のために、第1の車両102aのECU108から受け取った交通条件に関連する統計データを用いることができる。例えば、複数の車両102を含む複数の車両は、第1の車両102aと類似した方法でECU108を実装することができる。クラウド・サーバ104は、ある期間にわたって、複数の車両(複数の車両102のような)からこうした交通条件に関連した統計データを受け取ることができる。クラウド・サーバ104は、所定の期間、複数の車両(複数の車両102のような)により生成される対応する仮想音出力を受け取ることもできる。クラウド・サーバ104は、交通条件に関連する受け取った統計データ及び受け取った対応する仮想音出力を用いて、特定の道路部分及び車両のセット(複数の車両102のような)と関連したメタデータを生成することができる。1つの実施形態によると、クラウド・サーバ104は、仮想現実、強化現実、ゲーミング、運転者の訓練、自動車両の制御、及び/又は自動車両の運転のために用いられる機械学習アルゴリズムの訓練又は強化のような、種々の用途のシナリオにおいて、生成されたメタデータを用いることができる。
1つの実施形態によると、ECU108はさらに、表示画面210を介して、第1の車両102aの交通区域内の第2の車両102b及び/又は1又は2以上の物体の表現を表示するように構成することができる。表示画面210は、第1の車両102aのインフォテインメント・システム208と関連付けることができる。表示画面210はさらに、第1の車両102aの近くの交通条件の統計データを表示することができ、この統計データは、無線通信システム206を介して、クラウド・サーバ104に伝送することもできる。例えば、表示画面210は、第2の車両102b、1又は2以上の物体、及び/又は交通区域と関連した地図上の統計データを表すように仮想物体を示すことができる。
1つの実施形態によると、画像キャプチャ装置112a及び112bは、第2の車両102b及び1又は2以上の物体の1又は2以上の画像をキャプチャすることができる。表示画面210上の仮想物体の表示は、1又は2以上の画像からの1又は2以上の物体の認識、及び/又は第1の車両102aからの判定した距離に基づいて制御することができる。物体のタイプの識別と、第1の車両102aからの、位置、サイズ、距離のような関連した情報とに基づいて、ECU108は、道路部分306上で正しく運転するように運転者114を支援することができる音声及び/又は可視情報を生成することができる。
図10は、本開示の1つの実施形態による、車両内運転者支援を与えるために交通音データを処理するための第1の例示的な交通シナリオを示す。図10は、図1乃至図8、図9A及び図9Bからの要素を参照して説明される。図10を参照すると、第1の例示的な交通シナリオ1000の上面図が示される。第1の例示的な交通シナリオ1000は、道路部分1012の第1の車線1002及び第2の車線1004を含むことができる。第1の例示的な交通シナリオ1000は、道路部分1012の第1の車線1002又は第2の車線1004を走行する車両をさらに含む。第1の車線1002内の車両は、第1の車両102a(第1の車のような)、第2の車1006a、第3の車1006b、第4の車1006c及び第5の車1006dを含む。さらに、第2の車線1004内の車両は、第6の車1006e、トラック1008、及びトレーラ1010を含む。第1の車両102aを含む全ての車両は、第1の車線1002及び第2の車線1004上を、矢印で示される前方方向に移動するように示される。
図10において、第1の車両102a、車1006a乃至1006e、トラック1008及びトレーラ1010のような全ての車両は、車線変更せずに、それぞれの車線内で移動するように示される。第1の車両102aは、第4の車1006c及び第3の車1006bのような他の車両を追い越すように示される(第3の車1006bに対する第1の車両102aの相対速度に基づいて)。さらに、トラック1008及びトレーラ1010は、第1の車線1002内を走行する第1の車両102aのものとは異なる、別の車線、つまり第2の車線1004を走行するように示される。さらに、トラック1008及びトレーラ1010の両方とも、第1の車両102aから安全な距離であるものとすることができる。従って、現在のシナリオにおいて、第1の車両102aが運転規則に従っていることは明らかである。さらに、第1の例示的な交通シナリオ1000において。走行条件もまた、通常のものであり得る。
動作において、ECU108は、他の車両から生じた音のキャプチャに基づいて、道路部分1012を走行する他の車両に対する第1の車両102aの距離及び/又は相対速度を判定することができる。距離(及び/又は相対速度)に基づいて、ECU108は、上記に説明されるように、通常の走行条件のような現在の交通条件を判断することができる。従って、車両内警報を、第2の音場908aにおいて第1のセットの音声出力装置226a及び226bにより再生することができ、それにより、第1の車両102aの運転者114にだけ車両内警報が与えられる。1つの実施形態によると、ECU108は、通常の走行条件及び/又は交通規則に従っているときの車両内警報において心地よい音楽(音楽トラック又は所定の曲のような)を連続的に生成することができる。さらに、表示画面210は、これらが第1の車両102aから所定の距離内にある車両に対応するとき、第2の車1006a、第3の車1006b、及び第4の車1006cの仮想表現を表示することができる。ECU108が車両のキャプチャした画像に基づいて特定の車両を識別できるとき、ECU108は、インフォテインメント・システム208を用いて、表示画面210の地図上に、キャプチャした車両の画像を表示することができる。
図11は、本開示の1つの実施形態による、車両内運転者支援を与えるために交通音データを処理するための第2の例示的な交通シナリオを示す。図11は、図1乃至図8、図9A、図9B及び図10からの要素を参照して説明される。図11を参照すると、第2の例示的な交通シナリオ1100の上面図が示される。第2の例示的な交通シナリオ1100は、道路部分1106の第1の車線1102及び第2の車線1104を含むことができる。第2の例示的な交通シナリオ1100は、道路部分1016の第1の車線1102又は第2の車線1104を走行する車両をさらに含む。第1の車線1102内の車両は、第2の車1006a、第3の車1006b、第4の車1006c、第5の車1006d及び第6の車1006eを含む。さらに、第2の車線1104内の車両は、第1の車両102a(第1の車のような)、第7の車1006f、第8の車1006g及び第9の車1006hを含むことができる。
車1006a乃至1006hのような、第1の車両102aを除く全ての車両は、道路部分1106のそれぞれの車線内を前方方向に移動するように示される。他方、図11に点線矢印で示されるように、第1の車両102aは、第2の車線1104から第1の車線1102に車線変更するように示される。第2の例示的な交通シナリオ1100から明らかなように、第1の車線1102及び第2の車線1104の両方とも、車両で混雑している。従って、こうした交通条件における他の車両の追い越しは、安全運転上推奨することはできない。さらに、第1の車両102aと道路部分1106を走行する他の車両との間に、安全な距離の維持が必要とされ得る。
作動において、ECU108は、車両内ネットワーク222から抽出した車両内データ、又は画像キャプチャ装置112乃至112bの1つ又はそれ以上によりキャプチャされる1又は2以上の画像に基づき、第1の車両102aが車線を変更していると検出することができる。第1の車両102aの音声入力装置110a乃至110hは、道路部分1106における種々の車両から生じた音をキャプチャすることができる。受け取った音データに基づいて、ECU108は、第1の車両102aが追い越すことができる(又は追い越すことができた)1又は2以上の他の車両に、第1の車両102aが極めて接近している可能性があると判定することができる。さらに、ECU108は、第1の車両102aが、交通規則に反している可能性がある「誤った側」から他の車両を追い越しているかどうかを判定することができる。例えば、第7の車1006fが、第1の車両102aに極めて接近している可能性がある。第1の車両102aは、左側のような「誤った側」から第7の車1006fを超えて追い越している可能性がある。さらに、図11に示されるように、第1の車両102aは、第2の車線1104から第1の車線1102へと車線を変更し始めている可能性がある。
ECU108は、図9Bに論じたものと同様の方法で、第7の車1006fへの接近と関連した音声警告を生成することができる。音声警告は、第1の車両102aの運転者による違法の追い越し及び/又は車線変更を示し得る。さらに、ECU108が、第1の車両102aに対する第3の車1000b及び第8の車1000gの相対速度が所定の閾値を下回ることを検出した場合、ECU108は、車線変更により交通妨害が生じることがあると判定することができる。従って、ECU108は再び、車線変更に起因する潜在的な交通妨害状況を示す音声警告を生成することができる。1つの実施形態によると、第1の車両102aの運転者114だけに向けた第2の音場908aにおいて、音声警告を再生することができる。音声警告は、車両内警報内に含ませることができる。1つの実施形態によると、音声警告は、交通条件、及び/又は第1の車両102aの運転者114による誤った運転を示す記録されたメッセージを含むことができる。音声警告はまた、運転者114により即座にアクションをとるように注意を引くことができる、アラーム、警笛、クラクション、チャイム、ベルのような不快な音を含むこともできる。音声警告は、運転者114が第1の車両102aの走行コースを訂正するまで、車両内警報によって再生し続けることができる。
1つの実施形態によると、ECU108は、道路部分1106上の第1の車両102aの近くの他の車両の距離及び/又は相対速度の判定に基づいて、道路部分1106の現在の交通状況を評価することができる。現在の交通状況に基づいて、ECU108は、第1の車両102aが車線変更又は他の車両の追い越しを行うべきかどうかを判定することができる。例えば、混雑した(又は密な)交通状況の場合、ECU108は、第1の車両102aが車線変更も又は他の車両の追い越しも行うべきではないと判定することができる。さらに、ECU108は、雨、不十分な光、夜間、雪、霧、砂塵嵐/雹の嵐、又は交通妨害(ラッシュアワー又は歩行者殺到に起因するような)といった道路部分1106と関連した種々の悪走行条件を評価することができる。
1つの実施形態によると、ECU108は、インフォテインメント・システム208から、道路部分1106の周囲の場所と関連した気象及び走行条件と関連付けられた情報を受け取ることができる。インフォテインメント・システム208は、無線通信ネットワーク106上で、道路部分1106に沿って配置することができるRSU(RSU120のような)の1つを介して、クラウド・サーバ104から上述の情報を受け取ることができる。或いは、ECU108は、この情報をクラウド・サーバ104から直接受け取ることができる。受け取った気象及び走行条件情報に基づき、ECU108は、上記に列挙したように、現在の走行条件が悪走行条件に相当するかどうかを評価することができる。1つの実施形態によると、第1の車両102a内の画像キャプチャ装置112a及び112bの1又は2以上によりキャプチャされる画像を用いて、気象条件を分析することもできる。判断した気象条件に基づいて、ECU108は、第1のセットの音声出力装置226a及び226bにより再生できる別個の仮想音を運転者114に対して生成することができる。次に、第1の車両102aの速度を落とすよう、又は他の適切なアクションをとるよう、運転者114に命令することができる。代替的に、気象条件に関連する別個の仮想音を、第1の車両102aの全乗客に対して、第2のセットの音声出力装置228a乃至228dにより再生することができる。
例えば、ECU108は、悪走行条件の場合、第1の音場902aを通じて第1の車両の全乗客に対して再生できる車両内警報を生成することができる。車両内警報は、追い越し及び車線変更を回避するための命令を含むことができる。さらに、車両内警報は、道路部分1106を走行する他の車両からの安全な距離を維持できるように、第1の車両102aの減速を指示できる別の命令を含むことができる。車両内警報以外に、ECU108は、表示画面210を通じて、車両内警報に関連するメッセージを表示することもできる。メッセージは、評価された悪走行条件の表示に加えて、クラウド・サーバ104から受け取った気象及び走行条件情報を含むことができる。これらのメッセージは、第1の車両102aのインフォテインメント・システム208を介して表示することができる。電子デバイス(スマートフォン又はウェアラブル・デバイスなどの)がインフォテインメント・システム208に通信可能に結合される場合、メッセージは、第1の車両102aのユーザの電子デバイス上に表示することもできる。
1つの実施形態によると、画像キャプチャ装置112a及び112bは、ECU108による命令、又は特別なボタンの押圧に基づいて作動することができる。1つの実施形態によると、車両が後方、側方、又は前方から第1の車両102aに衝突すると、即座にアクションをとるよう、運転者114に対して明確な仮想音を瞬間的に生成することができる。画像キャプチャ装置112a及び112bは、種々の角度又は適切な側から画像をキャプチャし、ナンバープレート、運転者の写真、及び/又は同乗者の写真のような、衝突した車両に関連する具体的な詳細をキャプチャすることができる。具体的な詳細に関連するこの情報は、必要に応じて、保険金請求を検証するために車両の保険会社により、又は司法当局により使用されることがある。
図12は、本開示の1つの実施形態による、車両内運転者支援を与えるために交通音データを処理するための第3の例示的な交通シナリオを示す。図12は、図1乃至図8、図9A、図9B、図10及び図11からの要素を参照して説明される。図12を参照すると、第3の例示的な交通シナリオ1200の上面図が示される。第3の例示的な交通シナリオ1200は、道路部分1206の第1の車線1202及び第2の車線1204を含むことができる。第3の例示的な交通シナリオ1200は、道路部分1206の第1の車線1202又は第2の車線1204を走行する車両をさらに含む。第1の車線1202内の車両は、第2の車1006a、第4の車1006c及び第5の車1006dを含む。さらに、第2の車線1204内の車両は、第1の車両102a(第1の車のような)、第3の車1006b、第6の車1006e及びトラック1008を含むことができる。
図12において、車1006a乃至1006e及びトラック1008のような、第1の車線102aを除く全ての車両は、車線変更せずに、それぞれの車線内で移動するように示される。第1の車両102aは、第2の車線1204から第1の車線1202に車線変更するように示される。第3の例示的な交通シナリオ1200から、現在の交通状況は、適度な交通レベルに対応し得ることが明らかである。第1の車両102aと道路部分1206を走行する他の車両との間に、安全な運転距離を維持することができる。さらに、道路部分1206上の第1の車両102aの前にある、第2の車1006aと第3の車1006bとの間の間隙は、第1の車両102aを収容するのに十分なものであり得る。従って、第1の例示的な交通シナリオ1000と同様に、この場合、第1の車両102aが交通規則に従っているのは明らかである。さらに、現在のシナリオにおいて、走行又は気象条件もまた、通常とすることができる。
作動において、図4、図5、図6、図7及び図8に上述されるように、ECU108は、道路部分1206上の第1の車両120aの近くの他の車両の距離及び/又は相対速度を判定することができる。ECU108は、第1の車両102aの運転者114に対して車両内警報を生成することができる。車両内警報は、第2の音場908a内の第1のセットの音声出力装置226a及び226bにより再生し、第1の車両102aの運転者114にだけ、車両内警報と関連した音声を与えることができる。さらに、表示画面210は、これらが第1の車両102aから所定の距離内にある車両に対応するとき、第2の車1006a及び第3の車1006bの仮想表示を表示することができる。さらに、表示画面210は、車線変更を推奨し、特定の速度及び周辺車両(第2の車1006a及び第3の車1006bのような)からの距離を維持するよう、運転者に案内することができる。
1つの実施形態によると、ECU108は、第1の車両102aにおいて生成された車両内警報及び/又は音声警告を、第1の車両102aの所定の近さの範囲内にある1又は2以上の他の車両に伝送するように構成することができる。伝送は、V2Vネットワーキング・インフラストラクチャを介して行うことができる。或いは、伝送は、道路部分1206上に取り付けられたRSU(図12に図示されていない)の1つを通じて、無線通信ネットワークを介することも可能である。1つの実施形態によると、第1の車両102aにおいて生成された車両内警報及び/又は音声警告は、ECU108により第1の車両102aの所定の近さの範囲内の車両に向けて直接音ビームとして発することができる。さらに、第1の車両102aの運転者114が追い越し又は車線変更をしようと決めた場合、V2V通信を介して、適切な音声メッセージを所望の車両に伝送することができ、又は追い越し若しくは車線変更の表示として直接音ビームを所望の車両に送出することができる。
1つの実施形態によると、第1の車両102aは、自動車両、半自動車両、及び/又は非自動車両に対応することができる。第1の車両102aが自動モードで運転される自動又は半自動車両である例において、ECU108は、他の車両と第1の車両102aとの間の距離及び相対速度を監視することができる。他の車両の距離及び相対速度は、2又は3以上の音声入力装置110a乃至110dによりキャプチャされる、これらの車両(車1006a乃至1006e及びトラック1008のような)から生じた音に基づいて判定することができる。距離及び相対速度の判定は、図4、図5、図6、図7及び図8に説明される。距離(及び/又は相対速度)に基づいて、ECU108は、道路部分126上の第1の車両102aの自動運転を制御することができる。従って、ECU108は、ステアリング・システム216及び/又は制動システム218を含むパワートレイン制御システムに命令を発して、道路部分1206に沿った第1の車両102aの操舵方向及び/又は速度を制御することができる。命令は、車両内ネットワーク222を介して送出することができる。さらに、ECU108は、音データを受け取って処理したときに(図4、図5、図6、図7及び図8に説明されるように)判定した距離及び/又は相対速度に基づいて、車線変更コマンド又は追い越しコマンドを示す命令を送出することもできる。送出された命令は、車両内ネットワーク222を介して、パワートレイン制御システム214に送ることもできる。第1の車両102aが非自動車両である場合、ECU108は、前述のように、表示画面210、インフォテインメント・システム208、及び/又は車両内警報を介して、命令を運転者114に与えることができる。
図13は、本開示の1つの実施形態による、車両内運転者支援を与えるために交通音データを処理するための第4の例示的な交通シナリオを示す。図13は、図2、図9A及び図9Bからの要素を参照して説明される。図13を参照すると、第4の例示的な交通シナリオ1300の上面図が示される。第4の例示的な交通シナリオ1300は、道路部分1306の第1の車線1302及び第2の車線1304を含むことができる。第4の例示的な交通シナリオ1300は、道路部分1306の第1の車線1302又は第2の車線1304を走行する車両をさらに含む。第1の車線1302内の車両は、第1の車両102a(第1の車のような)第2の車1006a及び第3の車1006bを含む。さらに、第2の車線1304内の車両は、第4の車両102c、第5の車1006d、トラック1008及びトレーラ1010を含むことができる。図13に点線矢印で示されるように、第4の例示的な交通シナリオ1300は、第1の車線1302から第2の車線1304に向けて横断することがある人間(歩行者1308のような)をさらに示す。
動作において、第1の車両102aの画像キャプチャ装置112a及び112b(図1の;図13には図示されない)は、第1の車両102aの進行経路内に存在する1又は2以上の物体の画像をキャプチャすることができる。ECU108は、1又は2以上のキャプチャした画像の分析に基づいて、1又は2以上の物体を検出及び認識することができる。そのために、ECU108は、1又は2以上の画像を、メモリ204内に格納された種々のタイプの物体と関連付けられた1又は2以上の事前に格納されたテンプレート画像と比較することができる。例えば、1又は2以上の画像において運転者114の走行経路に接近している、人間(例えば、歩行者1308のような)又は動物などの1又は2以上の物体を検出及び認識することができる。1又は2以上の物体の他の例として、これらに限定されるものではないが、バリケード、道路ブロック、石、経路内の停止又は駐車車両、及び/又はスピード・ブレーカを含む、静止又は無生物の物体を含むことができる。
1つの実施形態によると、ECU108は、第1の車両102aから所定の距離内の進行経路における1又は2以上の物体の存在を示す第2の音声出力を生成することができる。第2の音声出力は、車両内警告内に警報メッセージとして含ませることができる。1つの実施形態によると、第2の音声出力は、認識された物体を明白に表し、第1の車両102aの運転者114に対する警告として働く仮想音に対応することができる。1つの実施形態によると、1又は2以上の認識された物体を表す仮想音は、種々のタイプの物体と関連付けられた事前に格納された音声トラックに基づいて生成することができる。仮想音の振幅、ピッチ及び周波数は、第1の車両102aから1又は2以上の物体までの距離と、第1の車両102aの現在の速度とに基づくことができる。例えば、歩行者1308の場合、ECU108は、第2の音声出力として、人間として識別された物体を表す仮想音を生成することができる。従って、運転者114は、第1の車両102aの速度を落とす、及び/又は第1の車両102aの走行コースを変更することができる。1つの実施形態によると、第1のセットの音声出力装置226a及び226bは、第1の車両102aの運転者114に対する第2の音声出力を再生することができる。第2の音声出力は、第2の音場608a(図6B)において運転者114にだけ向けることができる。或いは、第2のセットの音声出力装置228a乃至228dは、第1の音場902を通じて第2の音声出力を再生し、歩行者1308のすぐ近くといった脅威の範囲に応じて、第第1の車両102aの全乗客に警報を出すことができる。
1つの実施形態によると、ECU108は、第1の車両102aの近くの別の車両の相対速度が所定の閾値速度を超えたときに備えて、第2の音声出力を生成することもできる。ECU108は、こうした他の車両からキャプチャした音声及び画像を用いて他の車両を検出し、かつ、第1の車両102aに対する検出した車両の相対速度を判定することができる。例えば、図13の例示的なシナリオに示されるように、第3の車1006b及び第4の車1006cは、第1の車両102aの所定の近さの範囲内にある可能性がある。ECU108は、これらの2台の車両からキャプチャした音声及び画像に基づいて、第2の車1006b及び第4の車1006cの動きを追跡することができる。第3の車1006bが第1の車両102aより速い時速30kmとして検出された場合、ECU108は、高速で動いている第3の車1006bを示す第2の音声出力を生成することができる等である(時速25kmのような所定の閾値速度を考慮すれば)。
図14A及び図14Bは、本開示の1つの実施形態による、車両内運転者支援を与えるために交通音データを処理するための第4の例示的な交通シナリオをまとめて示す。図14A及び図14Bを参照すると、フローチャート1400が示される。フローチャート1400は、図1乃至図8、図9A、図9B及び図10乃至図13と共に説明される。方法は、ECU108において実施することができる。ステップ1402において、方法が開始する。ステップ1402から分岐し、方法のフローチャート1400は、互いに並列に行うことができる又は互いに対して任意の順序で行うことができるステップの2つのシーケンスを含むことができる。ステップの第1のシーケンスは、ステップ1404a乃至1420aを含み、一方、ステップの第2のシーケンスは、1404b乃至1414bを含む。図14にBに示されるように、ステップの上述の2つのシーケンスは、フローチャート1400のステップ1422で併合する。
ステップの第1のシーケンス、つまりステップ1404a乃至1420aを最初に説明する。ステップ1404aにおいて、2又は3以上の音声入力装置110によりキャプチャされる音データを受け取ることができる。受け取った音データは、複数の車両102の1又は2以上の他の車両から生じた音に対応し得る。発した音は、2又は3以上の音声入力装置110よりキャプチャすることができる。ECU108は、2又は3以上の音声入力装置110a乃至110hと関連して、1又は2以上の音フィルタを用いてキャプチャされる音を処理し、ノイズを除去することができる。その後、2又は3以上の音声入力装置110a乃至110hは、1又は2以上の他の車両から生じたキャプチャした音と関連付けられた音データを生成することができ、その音データは、車両内ネットワーク222を介して、ECU108に送ることができる。1又は2以上の他の車両から生じた音のキャプチャの例示的なシナリオは、図3及び図6に説明されている。
ステップ1406aにおいて、受け取った音データに基づいて、第1の車両102aから第2の車両102bの位置、距離及び角度を判定することができる。1つの実施形態によると、図4、図5、図6、図7及び図8に説明されるように、ECU108は、第1の車両102aに対する第2の車両102bの位置、距離及び/又は角度を判定するように構成することができる。
ステップ1408aにおいて、判定した距離及び/又は角度に基づいて、第2の車両102bの仮想音を生成するためにHRTFを適用することができる。1つの実施形態によると、ECU108は、図5に説明されるような式2に基づいて、第2の車両102bの仮想音を生成するためにHRTFを適用するように構成することができる。
ステップ1410aにおいて、事前に格納された音声シグネチャに基づいて、第2の車両102bの車両タイプを判定することができる。1つの実施形態によると、ECU108は、第2の車両102bの車両タイプを判定するように構成することができる。車両タイプを判定するために、ECU108は、1又は2以上の音フィルタを、第2の車両102bからキャプチャした音と関連付けられた音データに適用することができる。1又は2以上の音フィルタの適用に基づいて、ECU108は、第2の車両102bの音声シグネチャを判定することができる。ECU108は、メモリ204から、種々の車両タイプと関連付けられた事前に格納された音声シグネチャを抽出し、抽出した音声シグネチャを判定した音声シグネチャと比較して、第2の車両102bの車両タイプを確認することができる。
ステップ1412aにおいて、第1の車両102aから第2の車両102bまでの判定した距離に基づいて、車両内警報を生成することができる。車両内警報は、第2の車両102bから生じた音を表すことができる仮想音を含むことができる。1つの実施形態によると、ECU108は、第1の車両102aの1又は2以上の音声出力装置を用いて第1の車両102aにおいて車両内警報を生成するように構成することができる。
1つの実施形態によると、車両内警報は、その車両が第1の車両102aの所定の近さの範囲内に検出されたとき、車両(第2の車両102bのような)の仮想音を含むことができる。つまり、他の車両が第1の車両102aから所定の半径(又は距離)内にあるとき、車両内警報における関連した仮想音によって、他の車両の存在を示すことができる。これらの車両が第1の車両102aから所定の半径内に検出されたとき、車両内警報は、複数の車両の仮想音を含むことができる。車両内警報の生成は、図5、図9A及び図9Bに説明される。仮想音に加えて、車両内警報は、事故警告、運転操作命令、速度変更推奨、車両追い越し推奨、車線変更推奨、走行条件情報、障害物の警告、及び/又は選択された車両の追跡を含むことができる。
ステップ1414aにおいて、第1の車両102a第1のセットの音声出力装置226a及び226bを介して、第1の車両102aの内部に車両内警報を生成することができる。1つの実施形態によると、図9Bに説明されるように、ECU108は、第1のセットの音声出力装置226a及び226bを用いて、車両内警報を再生し、車両内警報を運転者114にだけ再生することができる。図9Aに説明されるように、特定のシナリオにおいて、車両内警報は、第2のセットの音声出力装置228a乃至228dを介して、第1の車両102aの全乗客に対して再生することができる。
ステップ1416aにおいて、受け取った音データに基づいて、第2の車両102bを含む1又は2以上の他の車両の速度及び/又は相対速度を判定することができる。1つの実施形態によると、ECU108は、受け取った音データに基づいて、1又は2以上の他の車両の速度を判定するように構成することができる。さらに、ECU108は、第1の車両102aに対する、第2の車両102bの相対速度を判定するように構成することができる。複数の車両102の1又は2以上の他の車両の速度、及び第2の車両102bの相対速度の判定は、図4、図5、図6、図7及び図8に説明される。
ステップ1418aにおいて、判定した距離及び/又は相対速度に基づいて、音声警告を生成することができる。1つの実施形態によると、ECU108は、第1の車両102aに対する第2の車両102bの判定した距離及び/又は相対速度に基づいて、音声警告を生成するように構成することができる。音声警告は、第2の車両102bが第1の車両102aの所定の近さの範囲内にあり、かつ所定の閾値を超える相対速度で第1の車両102aに接近するときに生成され得る。音声警告は、減速するか、又は第1の車両102aを第2の車両102bから遠ざかるように操作するよう、運転者114に命令することができる。例示的な交通シナリオ1000(図10)、1100(図11)、1200(図12)及び1300(図13)は、種々の交通及び走行条件における車両内警報及び/又は警告の再生の種々の例を提示する。
ステップ1420aにおいて、第1の車両102aの内部の車両内警報と共に、音声警告を再生することができる。1つの実施形態によると、ECU108は、車両内警報と共に音声警告を再生するように構成することができる。音声警告は、運転者114に向けられる第1のセットの音声出力装置226a及び226bを介して生成することができる。或いは、第2のセットの音声出力装置228a乃至228dは、音声警告を第1の車両102aの全乗客に対して再生することができる。ステップの第1のシーケンスのステップ1420aから、制御はステップ1422に進む。ステップ1422は、ステップの第2のシーケンス、つまり以下に与えられるステップ1404b乃至1414bの後に説明される。
ステップ1404bにおいて、第1の車両102aの進行経路の1又は2以上の画像を受け取る。1又は2以上の画像は、第1の車両102aの1又は2以上の画像キャプチャ装置112a及び112bによりキャプチャすることができる。1又は2以上の画像は、画像キャプチャ装置112a及び112bの1又は2以上の視野内に1又は2以上の車両及び/又は物体を含むことができる。画像キャプチャ装置112a及び112bは、車両内ネットワーク222を介して、さらなる処理、分析のために、1又は2以上の画像をECU108に送ることができる。
ステップ1406bにおいて、1又は2以上のキャプチャした画像内の1又は2以上の物体を検出し、認識することができる。1つの実施形態によると、ECU108は、メモリ204内の1又は2以上の事前に格納されたテンプレート画像に基づき、1又は2以上の画像処理技術を用いて1又は2以上の画像を分析するように構成することができる。1又は2以上の事前に格納されたテンプレート画像は、1又は2以上の既知の物体タイプと関連付けることができる。分析に基づいて、ECU108は、1又は2以上の画像から1又は2以上の物体を検出又は認識することができる。さらに、ECU108は、1又は2以上の事前に格納されたテンプレート画像に基づき、1又は2以上のキャプチャされる画像の分析に基づいて認識された物体の各々の物体タイプを判断することができる。
ステップ1408bにおいて、第1の車両102aからの1又は2以上の検出した物体の位置、距離、及び/又は角度を判定することができる。1つの実施形態によると、ECU108は、1又は2以上の検出した物体の位置、距離、及び/又は角度を判定するように構成することができる。1又は2以上の検出した物体の位置、距離、及び/又は角度の判定は、1又は2以上の画像処理技術、及び1又は2以上のキャプチャした画像に適用される1又は2以上の三角形技術を用いて実施することができる。1つの実施形態によると、1又は2以上の画像処理技術に加えて、感知システム220の1又は2以上のセンサを、1又は2以上の検出した物体の位置、距離、及び/又は角度の判定のために用いることができる。
ステップ1410bにおいて、1又は2以上の認識した物体と関連付けられた事前に格納された音声シグネチャを取り出すことができる。1つの実施形態によると、ECU108は、メモリ204から、種々の物体タイプと関連付けられた事前に格納された音声シグネチャを抽出することができる。さらに、ECU108は、1又は2以上の認識した物体の各々について判断した物体タイプを、抽出した事前に格納された音声シグネチャと関連付けられた物体タイプと比較することができる。比較に基づいて、ECU108は、関連した音声シグネチャを、種々の物体タイプの1又は2以上の認識した物体に割り当てることができる。
ステップ1412bにおいて、認識した物体の各々の仮想音を含むことができる音出力を生成することができる。1つの実施形態によると、ECU108は、第1の車両102aの所定の距離内の1又は2以上の物体の存在を示すことができる音出力を生成するように構成することができる。認識した物体の各々の仮想音は、物体タイプ、及び/又は第1の車両102aからのその物体の距離に基づいて生成することができる。1つの実施形態によると、認識した物体の各々に割り当てられた音声シグネチャは、その物体の物体タイプに基づいて認識及び検出した物体の各々を表す別個の仮想音出力を生成するために用いることができる。1つの実施形態によると、認識した物体と関連付けられた仮想音出力は、進行経路におけるその物体の存在を示すようにされた音響効果を含むことができる。例えば、牛のような動物と関連付けられた特定の音を、第1の車両102aの進行経路における牛の存在を示すようにすることができる。さらに、事前に録音された人間の声のような別の音を、道路部分に沿った進行経路における、歩行者1008のような人間の存在を示すようにすることができる。従って、実世界におけるこうした認識した物体によって通常もたらされる自然音を模倣する仮想音の再生によって、人間又は動物のような各物体は、音出力で明確に識別可能である。
ステップ1414bにおいて、第1の車両102aの内部の車両内警報と共に、音出力を再生することができる。1つの実施形態によると、ECU108は、第1の車両102aの運転者114に対して、第1のセットの音声出力装置226a及び226bを介して音出力を生成することができる。或いは、音出力は、第2のセットの音声出力装置228a乃至228dを介して、第1の車両102aの全乗客に対して再生することができる。音出力は、車両内警報の別の音出力と混合することができ、又は別個に再生することができる。ステップの第2のシーケンスのステップ1414bから、制御はステップ1422に進む。
ステップ1422において、仮想物体としての認識した1又は2以上の物体及び第2の車両102bの表示を制御することができる。表示は、第1の車両102aのインフォテインメント・システム208を介して与えられる地図上で制御することができる。ECU108は、インフォテインメント・システム208を介して、仮想物体として1又は2以上の物体及び第2の車両102bの表示を制御するように構成することができる。認識した1又は2以上の物体及び第2の車両102bを表す仮想物体の表示は、受け取った音データ及び/又は1又は2以上のキャプチャした画像におけるその認識に基づくそれぞれの判定した距離に基づいて、制御することができる。
ステップ1424において、第1の車両102aと関連付けられた交通条件に対応し得る統計データを、クラウド・サーバ104、及び/又は第1の車両102aのユーザの電子デバイス(スマートフォン、ウェラブル・デバイス、又はインターネット・オブ・シングズ・デバイスのような)に伝送することができる。ECU108はさらに、第1の車両102aと関連付けられた交通区域における交通条件に対応する統計データをコンパイルするように構成することができる。1つの実施形態によると、ECU108は、交通条件に対応するコンパイルした情報を交通管理サーバ(クラウド・サーバ104のような)及び/又は電子デバイスに伝送することができる。電子デバイスは、第1の車両102aのユーザ又は他の事前に登録されたユーザのものであり得る。交通条件情報の伝送は、第2の車両102bの判定した距離、相対速度、及び/又はタイプに基づくことができる。交通条件情報の伝送はさらに、第1の車両102aから所定の距離内にある1又は2以上の他の車両のカウントに基づくことができる。統計データは、無線通信ネットワーク106を介して、RSU(RSU120のような)の1つを通じてクラウド・サーバ104に伝送することができる。或いは、統計データは、無線通信ネットワーク106を介して、クラウド・サーバ104に直接伝送することができる。制御は、終了ステップ1426に進むことができる。
本開示の1つの実施形態によると、車両内運転者支援を与えるために交通音データを処理するためのシステムが開示される。システム(第1の車両102a(図1)のECU108(図1)のような)は、1又は2以上の回路(以下、マイクロプロセッサ202(図2)と呼ばれる)を含むことができる。マイクロプロセッサ202は、2又は3以上の音声入力装置110a乃至110h(図1)によりキャプチャされる音データを受け取るように構成することができる。音データは、第2の車両102b(図1)を含むことができる1又は2以上の他の車両から生じた音に対応することができる。マイクロプロセッサ202は、受け取った音データに基づいて、第2の車両102bから第1の車両102aまでの距離を判定するように構成することができる。さらに、マイクロプロセッサ202は、判定した距離に基づいて、車両内警報を生成するように構成することができる。車両内警報は、第2の車両102bから生じた音を表す仮想音を含むことができる。
本開示の別の態様によると、車両の1つの実施形態が開示される。開示される車両(第1の車両102a(図2)のような)の例示的な態様は、車体(車体230(図2)のような)と、車体230上に取り付けられた2又は3以上の音声入力装置110a乃至110h(図1)と、ECU108(図2)とを含むことができる。ECU108は、2又は3以上の音声入力装置110a乃至110hによりキャプチャされる音データを受け取るように構成できる2又は3以上の回路を含むことができる。音データは、1又は2以上の他の車両から生じた音に対応し得る。その後、1又は2以上の他の車両の少なくとも1台から第1の車両102aまでの距離は、受け取った音データに基づいて判定することができる。さらに、車両内警報は、判定した距離に基づいて、第1の車両102aに対して生成することができる。車両内警報は、1又は2以上の他の車両の少なくとも1台から生じた音を表す仮想音を含むことができる。
本開示の種々の実施形態は、車両内運転者支援を与えるために、マシン及び/又はコンピュータに交通音を処理させるコンピュータ実行可能命令のセットをそこに有する非一時コンピュータ可読媒体及び/又は記憶媒体を提供することができる。ECU108(図1)のようなECU内のコンピュータ実行可能命令のセットは、マシン及び/又はコンピュータに、2又は3以上の音声入力装置110a乃至110h(図1)によりキャプチャされる音データを受け取ることを含むステップを実施させることができる。音データは、第2の車両102b(図1)を含むことができる1又は2以上の他の車両から生じた音に対応し得る。第2の車両102bから第1の車両102aまでの距離は、受け取った音データに基づいて判定することができる。判定した距離に基づいて、第1の車両102aに対して、車両内警報を生成することができる。車両内警報は、第2の車両102bから生じた音を表す仮想音を含むことができる。
本開示は、ハードウェア、又はハードウェアとソフトウェアの組み合わせで実現することができる。本開示は、集中方式、少なくとも1つのコンピュータ・システム、又は分散方式で実現することができ、そこで異なる要素を幾つかの相互接続されたコンピュータ・システムにわたって分散させることができる。本明細書で説明される方法を実行するように適合されたコンピュータ・システム又は他の装置を適合させることができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行されたときに、コンピュータ・システムを制御し、その結果、本明細書で説明される方法を実行するコンピュータ・プログラムを有する汎用コンピュータ・システムとすることができる。本開示は、他の機能も実施する集積回路の一部を含むハードウェアの形で実現することができる。
本開示はまた、本明細書で説明される方法の実施を可能にする全ての特徴を含み、コンピュータ・システム内にロードされたときにこれらの方法の実行を可能にする、コンピュータ・プログラム製品内に組み込むこともできる。この文脈において、コンピュータ・プログラムとは、情報処理能力を有するシステムに、直接的に、又は次のa)別の言語、コード又は表記への変換、b)異なる材料形態での再生のいずれか若しくは両方の後に、特定の機能を実施させるように意図された命令のセットのいずれかの言語、コード又は表記におけるあらゆる表現を意味する。
本開示は、特定の実施形態を参照して説明されたが、当業者であれば、本開示の範囲から逸脱することなく、種々の変更を行い、均等物で置換できることを理解するであろう。さらに、本開示の範囲から逸脱することなく、多くの修正を行って、とくていの状況又は材料を本開示の教示に適合させることができる。従って、本開示は、開示される特定の実施形態に限定されないことが意図され、本開示は、添付の特許請求の範囲内に入る全ての実施形態を含む。
100:ネットワーク環境
102:複数の車両
102a:第1の車両
102b:第2の車両
102c:第3の車両
102d:第4の車両
102e:第5の車両
104:クラウド・サーバ
106、206:無線通信ネットワーク
108:電子制御ユニット(ECU)
110、110a〜110h:2又は3以上の音声入力装置
112、112a、112b:1又は2以上の画像キャプチャ装置
114、116:運転者
118、306、606、1012、1106、1206、1306:道路部分
120:道路側ユニット(RSU)
202:マイクロプロセッサ
204:メモリ
208:インフォテインメント・システム
210:表示画面
212:アウトサイド・リアビュー・ミラー(ORVM)
214:パワートレイン制御システム
216:ステアリング・システム
216a:ステアリングホイール
220:感知システム
222:車両内ネットワーク
224:音声インターフェース
226a、226b:第1のセットの音声出力装置
228a〜228d:第2のセットの音声出力装置
230:車体
302、602、1002、1102、1202、1302:第1の車線
304、604、1004、1104、1204、1304:第2の車線
308a〜308d、610a、610b、610c:音ビーム
404a:第1の距離
404b:第2の距離
404c:第3の距離
500:音信号パターン
502a:第1の音信号
502b:第2の音信号
502c:第3の音信号
608a、608f:車
608b、1010:トレーラ
608c、1008:トラック
608d、609e:バイク
610a〜610c:音ビーム
702a〜702c:信号ストリーム
704a〜704c:第1のセットの車両タイプ信号
706a〜706c:第2のセットの車両タイプ信号
708a〜708c:第3のセットの車両タイプ信号
802:光線
902:第1の音場
906a、906b、906c:座席
908a:第2の音場
908b:第3の音場
904:運転席
1000、1100、1200、1300:例示的な交通シナリオ

Claims (19)

  1. 車両内運転者支援を与えるためのシステムであって、
    第1の車両の電子制御ユニット(ECU)内の1又は2以上の回路を備え、前記1又は2以上の回路は、
    前記第1の車両と関連付けられた2又は3以上の音声入力装置によりキャプチャされ、1又は2以上の他の車両から生じた音に対応する音データを受け取り、
    前記受け取った音データに基づいて、前記1又は2以上の他の車両の第2の車両から前記第1の車両までの距離を判定し、
    前記判定した距離に基づいて、前記第2の車両から生じた音を表す仮想音を含む、前記第1の車両に対する車両内警報を生成
    前記第1の車両は、前記第1の車両の運転者と関連付けられた第1のセットの音声出力装置と、前記運転者及び前記第1の車両の1又は2以上の同乗者と関連付けられた第2のセットの音声出力装置とを含み、
    前記車両内警報は、前記第1の車両の前記運転者と関連付けられた前記第1のセットの音声出力装置を介して再生される、
    ように構成されることを特徴とする、システム。
  2. 前記車両内警報は、前記第1の車両の進行経路と関連付けられた交通状況に基づいて、前記第2のセットの音声出力装置を介して再生されることを特徴とする、請求項1に記載のシステム。
  3. 前記車両内警報は、事故警告、運転操作命令、速度変更推奨、車両追い越し推奨、車線変更推奨、走行条件情報、障害物警告、及び/又は選択された車両の追跡の1つ又はそれ以上を含むことを特徴とする、請求項1に記載のシステム。
  4. 前記1又は2以上の回路は、前記第1の車両において前記仮想音を再生するために、前記受け取った音データに基づき、前記第1の車両に対する前記第2の車両の位置及び/又は角度を判定するようにさらに構成されることを特徴とする、請求項1に記載のシステム。
  5. 前記1又は2以上の回路は、前記第2の車両から生じた音を表す前記仮想音の再生のために、前記判定した距離及び/又は前記角度に基づいて、頭部伝達関数(HRTF)を適用するようにさらに構成されることを特徴とする、請求項に記載のシステム。
  6. 前記1又は2以上の回路は、前記第2の車両と関連付けられた事前に格納された音声シグネチャと前記第2の車両から生じた前記音との比較に基づいて、前記第2の車両のタイプを判定するようにさらに構成されることを特徴とする、請求項1に記載のシステム。
  7. 前記判定した距離が事前に指定された閾値距離を下回る場合、及び/又は前記第1の車両に対する前記第2の車両の相対速度が所定の閾値速度を上回る場合、前記車両内警告の前記仮想音が、前記第2の車両の前記判定したタイプに従って再生されることを特徴とする、請求項に記載のシステム。
  8. 前記1又は2以上の回路は、前記1又は2以上の他の車両から生じた前記キャプチャした音に基づいて、前記1又は2以上の他の車両の速度を判定するようにさらに構成されることを特徴とする、請求項1に記載のシステム。
  9. 前記1又は2以上の回路は、前記第2の車両から生じた音に基づいて、前記第1の車両に対する前記第2の車両の相対速度を判定するようにさらに構成され、前記第1の車両の運転者に対する音声警告は、前記判定した距離及び/又は前記相対速度に基づいて、前記仮想音と共に生成されることを特徴とする、請求項1に記載のシステム。
  10. 前記1又は2以上の回路は、1又は2以上の画像キャプチャ装置を用いて、前記第1の車両の進行経路内に存在する1又は2以上の物体の1又は2以上の画像をキャプチャするようにさらに構成され、前記第1の車両から前記1又は2以上の物体までの距離は、前記キャプチャした1又は2以上の画像に基づいて判定されることを特徴とする、請求項1に記載のシステム。
  11. 前記1又は2以上の回路は、前記1又は2以上の物体を含む前記キャプチャした1又は2以上の画像に基づいて、前記第1の車両の前記進行経路内に存在する1又は2以上の物体を認識するようにさらに構成されることを特徴とする、請求項10に記載のシステム。
  12. 前記車両内警報は、前記第1の車両から所定の距離内の前記進行経路における前記1又は2以上の物体の存在を示す第2の音声出力をさらに含むことを特徴とする、請求項10に記載のシステム。
  13. 前記1又は2以上の回路は、前記キャプチャした1又は2以上の画像に基づいて、前記第1の車両のインフォテインメント・システムを介して、前記第1の車両の前記進行経路内に存在する前記認識した1又は2以上の物体を表す仮想物体の表示を制御するようにさらに構成されることを特徴とする、請求項12に記載のシステム。
  14. 前記1又は2以上の回路は、前記キャプチャした1又は2以上の画像及び前記判定した距離に基づいて、前記第1の車両のインフォテインメント・システムを介して、地図上の少なくとも前記第2の車両の表示を制御するようにさらに構成されることを特徴とする、請求項12に記載のシステム。
  15. 前記1又は2以上の回路は、特定の車両からキャプチャした音声及び/又は1又は2以上の画像に基づいて、前記第1の車両に対する特定の車両の相対位置を追跡するようにさらに構成され、前記特定の車両は、前記第1の車両の前記インフォテインメント・システムのユーザ・インターフェースを通じてユーザにより選択され、前記特定の車両の前記追跡される相対位置は、前記車両内警告を通して前記ユーザに与えられる、及び/又は前記第1の車両の前記インフォテインメント・システムを介して前記地図上に表示されることを特徴とする、請求項14に記載のシステム。
  16. 前記1又は2以上の回路は、前記第1の車両と前記第2の車両と間の前記判定した距離、前記第1の車両に対する前記第2の車両の相対速度、前記第2の車両のタイプ、及び/又は前記第1の車両から所定の距離内の前記1又は2以上の他の車両のカウントの1つ又はそれ以上に基づいて、前記第1の車両の進行経路と関連付けられた交通条件に対応する情報を、交通管理サーバ及び/又は前記第1の車両と関連付けられたユーザの電子デバイスに伝送するようにさらに構成されることを特徴とする、請求項1に記載のシステム。
  17. 車両内運転者支援のために音データを処理するための方法であって、
    第1の車両の電子制御ユニット(ECU)において、
    前記第1の車両と関連付けられた2又は3以上の音声入力装置によりキャプチャされ、1又は2以上の他の車両から生じた音に対応する音データを受け取るステップと、
    前記受け取った音データに基づいて、前記1又は2以上の他の車両の第2の車両から前記第1の車両までの距離を判定するステップと、
    前記判定した距離に基づいて、前記第2の車両から生じた音を表す仮想音を含む、前記第1の車両と関連付けられた車両内警報を生成するステップと、
    を含み、
    前記第1の車両は、前記第1の車両の運転者と関連付けられた第1のセットの音声出力装置と、前記運転者及び前記第1の車両の1又は2以上の同乗者と関連付けられた第2のセットの音声出力装置とを含み、
    前記車両内警報は、前記第1の車両の前記運転者と関連付けられた前記第1のセットの音声出力装置を介して再生される、
    ことを特徴とする、方法。
  18. 前記第1の車両において前記仮想音を再生するために、前記ECUにより、前記受け取った音データに基づいて、前記第1の車両に対する前記第2の車両の位置及び/又は角度を判定するステップをさらに含むことを特徴とする、請求項17に記載の方法。
  19. 車体と、
    前記車体上に取り付けられた2又は3以上の音声入力装置と、
    前記2又は3以上の音声入力装置によりキャプチャされ、1又は2以上の他の車両から生じた音に対応する音データを受け取り、
    前記受け取った音データに基づいて、前記1又は2以上の他の車両の少なくとも1つから前記車両までの距離を判定し、
    前記判定した距離に基づいて、前記1又は2以上の他の車両の前記少なくとも1つから生じた音を表す仮想音を含む、前記車両に対する車両内警報を生成する、
    ように構成された電子制御ユニット(ECU)と、
    を備え
    前記車体は、前記車体の運転者と関連付けられた第1のセットの音声出力装置と、前記運転者及び前記車体の1又は2以上の同乗者と関連付けられた第2のセットの音声出力装置とを含み、
    前記車両内警報は、前記車体の前記運転者と関連付けられた前記第1のセットの音声出力装置を介して再生される、
    ことを特徴とする、車両。
JP2017157001A 2016-08-19 2017-08-16 運転者支援を与えるために交通音データを処理するためのシステム及び方法 Active JP6468454B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/241,347 2016-08-19
US15/241,347 US10403141B2 (en) 2016-08-19 2016-08-19 System and method for processing traffic sound data to provide driver assistance

Publications (2)

Publication Number Publication Date
JP2018028911A JP2018028911A (ja) 2018-02-22
JP6468454B2 true JP6468454B2 (ja) 2019-02-13

Family

ID=59626491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017157001A Active JP6468454B2 (ja) 2016-08-19 2017-08-16 運転者支援を与えるために交通音データを処理するためのシステム及び方法

Country Status (5)

Country Link
US (1) US10403141B2 (ja)
EP (1) EP3285241B1 (ja)
JP (1) JP6468454B2 (ja)
KR (1) KR102027646B1 (ja)
CN (1) CN107767697A (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017163514A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 眼鏡型ウェアラブル端末、その制御方法および制御プログラム
US10347129B2 (en) 2016-12-07 2019-07-09 Magna Electronics Inc. Vehicle system with truck turn alert
US10380886B2 (en) * 2017-05-17 2019-08-13 Cavh Llc Connected automated vehicle highway systems and methods
US10145945B2 (en) * 2017-01-11 2018-12-04 Toyota Research Institute, Inc. Systems and methods for automatically calibrating a LIDAR using information from a secondary vehicle
WO2018207213A1 (en) * 2017-05-11 2018-11-15 Harichandan Jyotiranjan A system and method for controlling vehicle components using smartphone
US10692365B2 (en) 2017-06-20 2020-06-23 Cavh Llc Intelligent road infrastructure system (IRIS): systems and methods
US11735035B2 (en) 2017-05-17 2023-08-22 Cavh Llc Autonomous vehicle and cloud control (AVCC) system with roadside unit (RSU) network
US10699546B2 (en) * 2017-06-14 2020-06-30 Wipro Limited Headphone and headphone safety device for alerting user from impending hazard, and method thereof
US10567923B2 (en) * 2017-07-07 2020-02-18 Toyota Jidosha Kabushiki Kaisha Computation service for mobile nodes in a roadway environment
AU2019217434A1 (en) 2018-02-06 2020-07-30 Cavh Llc Intelligent road infrastructure system (IRIS): systems and methods
CN112106001B (zh) 2018-05-09 2024-07-05 上海丰豹商务咨询有限公司 一种车路驾驶任务智能化分配***和方法
JP2019200478A (ja) * 2018-05-14 2019-11-21 トヨタ自動車株式会社 サーバ、車両撮影システム及び車両撮影方法
WO2019225371A1 (ja) * 2018-05-25 2019-11-28 ソニー株式会社 路車間通信の路側装置、車側装置および路車間通信システム
US10909851B2 (en) * 2018-06-06 2021-02-02 Motional Ad Llc Vehicle intent communication system
US11842642B2 (en) * 2018-06-20 2023-12-12 Cavh Llc Connected automated vehicle highway systems and methods related to heavy vehicles
CN108960432A (zh) * 2018-06-22 2018-12-07 深圳市易成自动驾驶技术有限公司 决策规划方法、装置及计算机可读存储介质
GB201810755D0 (en) * 2018-06-29 2018-08-15 Univ Birmingham Vehicle power management system and method
WO2020014224A1 (en) 2018-07-10 2020-01-16 Cavh Llc Fixed-route service system for cavh systems
WO2020014227A1 (en) * 2018-07-10 2020-01-16 Cavh Llc Route-specific services for connected automated vehicle highway systems
CN109217944B (zh) * 2018-08-10 2020-09-01 厦门大学 一种用于车辆的声联网***
JP7145447B2 (ja) * 2018-08-14 2022-10-03 パナソニックIpマネジメント株式会社 データ送信装置及びデータ送信方法
US10976748B2 (en) * 2018-08-22 2021-04-13 Waymo Llc Detecting and responding to sounds for autonomous vehicles
US11486721B2 (en) * 2018-09-30 2022-11-01 Strong Force Intellectual Capital, Llc Intelligent transportation systems
CA3143234A1 (en) 2018-09-30 2020-04-02 Strong Force Intellectual Capital, Llc Intelligent transportation systems
US10970899B2 (en) * 2018-10-23 2021-04-06 International Business Machines Corporation Augmented reality display for a vehicle
US11079593B2 (en) * 2018-11-26 2021-08-03 International Business Machines Corporation Heads up display system
CN111762192A (zh) * 2019-03-13 2020-10-13 伟摩有限责任公司 用于自动驾驶车辆的可听通信
JP7379463B2 (ja) * 2019-03-15 2023-11-14 本田技研工業株式会社 車両用コミュニケーション装置及びプログラム
JP7379462B2 (ja) * 2019-03-15 2023-11-14 本田技研工業株式会社 車両用コミュニケーション装置及びプログラム
US11373527B2 (en) * 2019-03-25 2022-06-28 Micron Technology, Inc. Driver assistance for non-autonomous vehicle in an autonomous environment
US11267393B2 (en) 2019-05-16 2022-03-08 Magna Electronics Inc. Vehicular alert system for alerting drivers of other vehicles responsive to a change in driving conditions
US10755691B1 (en) 2019-05-21 2020-08-25 Ford Global Technologies, Llc Systems and methods for acoustic control of a vehicle's interior
KR102665443B1 (ko) * 2019-05-30 2024-05-09 삼성전자주식회사 반도체 장치
KR20200143965A (ko) * 2019-06-17 2020-12-28 현대자동차주식회사 음향 통신 시스템 및 그의 데이터 송수신 방법
US11433886B2 (en) * 2019-06-24 2022-09-06 GM Global Technology Operations LLC System, vehicle and method for adapting a driving condition of a vehicle upon detecting an event in an environment of the vehicle
JP7268581B2 (ja) * 2019-11-07 2023-05-08 トヨタ自動車株式会社 車両、音響制御装置、及び音響制御プログラム
US11480961B1 (en) * 2019-11-21 2022-10-25 Zoox, Inc. Immersive sound for teleoperators
US11393489B2 (en) 2019-12-02 2022-07-19 Here Global B.V. Method, apparatus, and computer program product for road noise mapping
US11788859B2 (en) 2019-12-02 2023-10-17 Here Global B.V. Method, apparatus, and computer program product for road noise mapping
CN114884737A (zh) * 2019-12-23 2022-08-09 华为技术有限公司 通信方法及相关产品
US11914390B2 (en) * 2020-03-31 2024-02-27 Zoox, Inc. Distinguishing between direct sounds and reflected sounds in an environment
US11548521B2 (en) 2020-03-31 2023-01-10 Toyota Research Institute, Inc. Systems, methods and vehicles for determining wrong direction driving
US11625042B2 (en) * 2020-03-31 2023-04-11 Zoox, Inc. Detecting occluded objects using sound
DE102020110974B3 (de) * 2020-04-22 2021-05-20 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Simulation eines Geräuschs in einem Kraftfahrzeug und Kraftfahrzeug
KR102247023B1 (ko) 2020-05-08 2021-05-03 주식회사 사운드에어 사운드 데이터 기반 자율주행 시스템, 이동체 이동 안전 시스템 및 방법
US11847919B2 (en) * 2020-05-19 2023-12-19 Toyota Motor North America, Inc. Control of transport en route
US11423925B2 (en) 2020-05-28 2022-08-23 Here Global B.V. Method and apparatus for determining vehicle class based upon audio data
US11483649B2 (en) 2020-08-21 2022-10-25 Waymo Llc External microphone arrays for sound source localization
CN111824159A (zh) * 2020-09-21 2020-10-27 李斯特技术中心(上海)有限公司 车辆控制方法、装置、车辆和计算机可读存储介质
CN114520944B (zh) * 2020-11-19 2023-07-28 上海汽车集团股份有限公司 一种三维警示音的防错***及方法
US11898870B2 (en) 2021-09-02 2024-02-13 Here Global B.V. Apparatus and methods for providing a route using a map layer of one or more sound events
CN114189790B (zh) * 2021-10-26 2022-11-29 北京荣耀终端有限公司 音频信息的处理方法、电子设备、***、产品及介质
CN113997863B (zh) * 2021-11-24 2024-05-28 北京字节跳动网络技术有限公司 数据处理方法、装置和车辆
CN114999201A (zh) * 2022-05-25 2022-09-02 浙江极氪智能科技有限公司 导航引导方法、装置、设备及存储介质
CN117351754A (zh) * 2022-06-29 2024-01-05 深圳市中兴微电子技术有限公司 路况提示方法、电子设备、计算机可读介质

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2689792B2 (ja) * 1991-10-30 1997-12-10 日産自動車株式会社 立体音場警報装置
US5979586A (en) 1997-02-05 1999-11-09 Automotive Systems Laboratory, Inc. Vehicle collision warning system
JPH1148886A (ja) 1997-08-06 1999-02-23 Fujitsu Ten Ltd 車載用緊急車両告知システム
US6449540B1 (en) * 1998-02-09 2002-09-10 I-Witness, Inc. Vehicle operator performance recorder triggered by detection of external waves
JP2001001851A (ja) 1999-06-16 2001-01-09 Honda Motor Co Ltd 車両用警報装置
JP2002190093A (ja) * 2000-12-22 2002-07-05 Toyota Motor Corp 車両用警報システム及び装置
DE10156509B4 (de) 2001-11-16 2007-12-06 Audi Ag Fahrerassistenzsystem
JP2003220911A (ja) * 2002-01-31 2003-08-05 Denso Corp 車両用警告装置
JP2005301751A (ja) 2004-04-13 2005-10-27 Matsushita Electric Ind Co Ltd 緊急車両走行位置検出装置
US7741962B2 (en) * 2006-10-09 2010-06-22 Toyota Motor Engineering & Manufacturing North America, Inc. Auditory display of vehicular environment
JP2008191742A (ja) 2007-02-01 2008-08-21 Nissan Motor Co Ltd 聴覚情報報知装置および方法
KR101384528B1 (ko) * 2007-03-02 2014-04-11 삼성전자주식회사 입체 음향을 이용한 방향 안내 처리 방법 및 그를 적용한네비게이션 시스템
JP4967927B2 (ja) 2007-08-27 2012-07-04 日産自動車株式会社 車両用聴覚モニタ装置
US8682004B2 (en) * 2008-03-07 2014-03-25 International Business Machines Corporation Positional audio in a vehicle-to-vehicle network
JP5391614B2 (ja) * 2008-09-12 2014-01-15 株式会社デンソー 物体検知装置
US9105187B2 (en) * 2009-05-14 2015-08-11 Woox Innovations Belgium N.V. Method and apparatus for providing information about the source of a sound via an audio device
WO2011001684A1 (ja) 2009-07-02 2011-01-06 パナソニック株式会社 車両位置検出装置及び車両位置検出方法
JP5516455B2 (ja) 2011-02-23 2014-06-11 トヨタ自動車株式会社 接近車両検出装置及び接近車両検出方法
CN102685382B (zh) * 2011-03-18 2016-01-20 安尼株式会社 图像处理装置和方法、及移动体防碰撞装置
US8744736B2 (en) * 2011-07-28 2014-06-03 GM Global Technology Operations LLC Method and apparatus for updating travel time estimation
US8976040B2 (en) 2012-02-16 2015-03-10 Bianca RAY AVALANI Intelligent driver assist system based on multimodal sensor fusion
JP5634649B2 (ja) * 2012-09-05 2014-12-03 三菱電機株式会社 車両接近報知音発生装置
US9469247B2 (en) * 2013-11-21 2016-10-18 Harman International Industries, Incorporated Using external sounds to alert vehicle occupants of external events and mask in-car conversations
WO2015160859A1 (en) * 2014-04-14 2015-10-22 Sirius Xm Radio Inc. Systems, methods and applications for using and enhancing vehicle to vehicle communications including synergies and interoperation with satellite radio
US20150319608A1 (en) * 2014-04-30 2015-11-05 Denso International America, Inc. Method For Detecting Smart Device Use While Operating A Motor Vehicle
US20150365743A1 (en) 2014-06-14 2015-12-17 GM Global Technology Operations LLC Method and apparatus for including sound from an external environment into a vehicle audio system
CN104867349A (zh) * 2015-04-16 2015-08-26 小米科技有限责任公司 信息提示方法及装置
KR101977090B1 (ko) * 2015-07-22 2019-05-10 엘지전자 주식회사 차량 제어 장치 및 이를 구비한 차량의 제어방법
US9840254B2 (en) * 2015-12-31 2017-12-12 Sony Corporation Method and system for adaptive detection and application of horn for an autonomous vehicle
DE102016103331A1 (de) * 2016-02-25 2017-08-31 Visteon Global Technologies, Inc. Vorrichtung und Verfahren zur Wiedergabe von Audiosignalen in einem Kraftfahrzeug

Also Published As

Publication number Publication date
EP3285241A3 (en) 2018-05-16
EP3285241B1 (en) 2023-05-24
US20180053413A1 (en) 2018-02-22
EP3285241A2 (en) 2018-02-21
KR20180020886A (ko) 2018-02-28
KR102027646B1 (ko) 2019-11-04
CN107767697A (zh) 2018-03-06
US10403141B2 (en) 2019-09-03
JP2018028911A (ja) 2018-02-22

Similar Documents

Publication Publication Date Title
JP6468454B2 (ja) 運転者支援を与えるために交通音データを処理するためのシステム及び方法
JP6724986B2 (ja) 自動運転車のためのホーンの適応検出および適用のための方法およびシステム
US10286905B2 (en) Driver assistance apparatus and control method for the same
US10095236B1 (en) Assisted perception for autonomous vehicles
CN105989749B (zh) 用于优先化驾驶员警报的***和方法
US10748428B2 (en) Vehicle and control method therefor
JP7115270B2 (ja) 自動運転システム
JP5979259B2 (ja) 衝突回避制御装置
US10055650B2 (en) Vehicle driving assistance device and vehicle having the same
US20180134285A1 (en) Autonomous driving apparatus and vehicle including the same
KR20180053657A (ko) 차량을 안전하게 추월하도록 운전 보조를 제공하기 위한 시스템 및 방법
WO2018180509A1 (ja) 画像処理装置、および画像処理方法
US11590985B2 (en) Information processing device, moving body, information processing method, and program
US20220383749A1 (en) Signal processing device, signal processing method, program, and mobile device
JP2022013838A (ja) トレーラーの後続車両およびトレーラーの状態を検知するためのトラック搭載型センサーを提供するシステムおよび方法
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018051810A1 (ja) 画像処理装置および方法、並びに画像処理システム
JP6981095B2 (ja) サーバ装置、記録方法、プログラム、および記録システム
WO2022145286A1 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
US20230162609A1 (en) Reporting device, vehicle, and reporting control method
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20240010231A1 (en) Apparatus for driver assistance and method of controlling the same
KR20200087896A (ko) 차량 및 그 제어 방법
CN117037535A (zh) 碰撞预警***、车辆、方法以及装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180606

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190101

R151 Written notification of patent or utility model registration

Ref document number: 6468454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151