JP6754425B2 - 車両監視システム - Google Patents

車両監視システム Download PDF

Info

Publication number
JP6754425B2
JP6754425B2 JP2018514771A JP2018514771A JP6754425B2 JP 6754425 B2 JP6754425 B2 JP 6754425B2 JP 2018514771 A JP2018514771 A JP 2018514771A JP 2018514771 A JP2018514771 A JP 2018514771A JP 6754425 B2 JP6754425 B2 JP 6754425B2
Authority
JP
Japan
Prior art keywords
electronic display
vehicle
light
monitoring system
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018514771A
Other languages
English (en)
Other versions
JP2018518000A (ja
Inventor
エー. ファッタル,デイビッド
エー. ファッタル,デイビッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leia Inc
Original Assignee
Leia Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leia Inc filed Critical Leia Inc
Publication of JP2018518000A publication Critical patent/JP2018518000A/ja
Application granted granted Critical
Publication of JP6754425B2 publication Critical patent/JP6754425B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30Collimators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033Means for improving the coupling-out of light from the light guide
    • G02B6/0035Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it
    • G02B6/0038Linear indentations or grooves, e.g. arc-shaped grooves or meandering grooves, extending over the full length or width of the light guide
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

関連出願の相互参照
該当なし
連邦政府資金による研究開発の記載
該当なし
車両監視システムは、状況認識および衝突回避を提供するための手段としてますます一般的になっている。そのような車両監視システムは、ユーザ(例えば車両の運転手)に情報を伝達するための電子ディスプレイを含むことが多い。特に電子ディスプレイは、車両に隣接した領域の視像を提供して、隣接領域にある物体をユーザに気付かせ、ユーザがそれを回避するのを容易にすることができる。
陰極線管(CRT)、プラズマディスプレイパネル(PDP)、液晶ディスプレイ(LCD)、電子発光(EL)ディスプレイ、有機発光ダイオード(OLED)およびアクティブマトリクスOLED(AMOLED)ディスプレイ、電気泳動(EP)ディスプレイ、ならびに電気機械または電気流体光変調(例えば、デジタルマイクロミラーデバイス、エレクトロウェッティングディスプレイなど)を使用した様々なディスプレイに基づくディスプレイを含むが、これらに限定されない多種多様な電子ディスプレイが、車両監視システムで用いられ得る。一般に、電子ディスプレイは、アクティブディスプレイ(すなわち、光を放射するディスプレイ)またはパッシブディスプレイ(すなわち、別の発生源により生成された光を変調するディスプレイ)に分類することができる。アクティブディスプレイの最も明らかな例には、CRT、PDP、およびOLED/AMOLEDがある。放射される光を考慮したときにパッシブとして通常分類されるディスプレイは、LCDおよびEPディスプレイである。パッシブディスプレイは、多くの場合、本質的に消費電力が低いことを含めて、これだけに限らず魅力的な性能特性を呈するが、光を放射する能力がないことを考えると、多くの実用的な用途においていくらか使用が制限される場合がある。
本開示は以下の[1]から[20]を含む。
[1]車両に隣接した領域を走査するように構成された3次元(3D)走査器であって、上記走査が、上記走査された領域内に位置する物体の空間構成を含む3Dモデルを提供するために用いられる、走査器と、
上記3Dモデルを用いて上記走査領域の一部分を表示し、上記車両からの閾値距離よりも近くに位置する上記表示された部分内の物体を視覚的に強調するように構成された電子ディスプレイと、を備え、
上記視覚的な強調が、上記閾値距離よりも上記車両に近い上記物体の、ユーザによる知覚を向上させるように構成された、車両監視システム。
[2]上記3D走査器が、互いにずれた複数のカメラを備え、上記3D走査器からの距離が、上記複数のうちの異なるカメラによって捕捉された別々の画像を用いた視差推定によって判定される、上記[1]に記載の車両監視システム。
[3]上記3D走査器が飛行時間カメラを備える、上記[1]に記載の車両監視システム。
[4]上記3D走査器が、
距離センサから上記走査領域内の複数の点までの距離を測定するように構成された上記距離センサと、
上記走査領域の2次元(2D)画像を捕捉するように構成されたカメラとを備え、上記測定された距離が、上記3Dモデルを提供するための点群および物体メッシュのうちの一方または両方を生成するために用いられ、上記2D画像が、上記3Dモデルをペイントするために用いられる、上記[1]に記載の車両監視システム。
[5]上記距離センサが、
上記走査領域を走査するように構成されたレーザと、
上記走査領域内の物体から反射されたレーザ光を用いて、上記複数の点までの距離を測定するように構成された光学センサとを備える、上記[4]に記載の車両監視システム。
[6]上記表示部分内で上記車両からの閾値距離よりも近くに位置する上記物体の視覚的な強調が、上記電子ディスプレイによる、上記表示された物体に適用されたマスク、上記表示された物体の周りの輪郭線、および上記表示された物体を示す警告アイコンのうちの1つまたは複数を備える、上記[1]に記載の車両監視システム。
[7]上記電子ディスプレイが、3D電子ディスプレイを備え、上記3D電子ディスプレイによって表示された上記走査領域の上記一部分に関連付けられたゼロ視差平面に、上記閾値距離が対応しており、上記車両からの閾値距離よりも近くに位置する上記物体の上記視覚的な強調が、上記3D電子ディスプレイの上記ゼロ視差平面の前方に上記物体があるという視覚的な知覚である、上記[1]に記載の車両監視システム。
[8]上記表示部分が上記3Dディスプレイ上にレンダリングされる前に、上記3Dモデルに対して投影変換を適用するように構成された画像プロセッサをさらに備え、上記投影変換が、上記ゼロ視差平面に対応する上記閾値距離よりも長い距離にある表示部分内の物体に比べて、上記強調された物体の相対サイズを大きくするように構成された、上記[7]に記載の車両監視システム。
[9]上記3D電子ディスプレイが、
非ゼロの伝播角度で光ビームを導波するように構成された平板ライトガイドと、
マルチビーム回折格子のアレイであって、上記アレイのマルチビーム回折格子が、上記3D電子ディスプレイの異なる視像に対応する異なる主角度方向を有する複数のカップリングして外へ出される光ビームとして、上記導波光ビームの一部分を回折によりカップリングして外へ出すように構成された、マルチビーム回折格子のアレイと、
上記3D電子ディスプレイの上記異なる視像に対応する上記複数のカップリングして外へ出される光ビームを変調するように構成されたライトバルブアレイであって、上記変調された光ビームが、上記3D電子ディスプレイの画素を表す、ライトバルブアレイとを備える、上記[7]に記載の車両監視システム。
[10]上記マルチビーム回折格子が、線形チャープ回折格子を備え、上記マルチビーム回折格子の回折特徴部が、上記平板ライトガイド表面内の曲線状の溝、および上記平板ライトガイド表面上の曲線状の隆線のうちの一方または両方を備える、上記[9]に記載の車両監視システム。
[11]上記3D走査器が、上記車両の後方の領域を走査するように構成され、上記向上したユーザによる知覚が、上記車両が後ろ向きに動いているときに衝突回避を補助するように構成され、上記車両監視システムが、リアビューの後進補助車両監視システムである、上記[1]に記載の車両監視システム。
[12]車両に隣接した領域の3D画像を捕捉するように構成された3Dカメラと、
上記3D画像を用いて、上記3D画像化された領域の3Dモデルを提供するように構成された画像プロセッサであって、上記3Dモデルが、上記3D画像化領域内の物体の空間構成を含む、画像プロセッサと、
上記3Dモデルを用いて上記3D画像化領域の一部分を表示し、上記車両からの閾値距離よりも近くに位置する上記表示部分内の物体を視覚的に強調するように構成された3D電子ディスプレイとを備え、
上記視覚的に強調された物体が、上記車両が上記隣接領域の方向に動いているときに衝突回避を提供するように構成された、3次元(3D)車両監視システム。
[13]上記3Dカメラが、互いにずれた複数のカメラ、飛行時間カメラ、およびレーザベースの距離センサと2次元(2D)カメラの複合体のうちの1つまたは複数を備える、上記[12]に記載の3D車両監視システム。
[14]上記閾値距離が、上記3D電子ディスプレイによって表示されるように構成された上記3D画像化領域の上記一部分に関連付けられたゼロ視差平面に対応しており、上記表示部分内の上記視覚的に強調された物体が、上記ゼロ視差平面の前方にあるものとして知覚される、上記[12]に記載の3D車両監視システム。
[15]上記画像プロセッサが、上記3D画像化領域の一部分が上記3D電子ディスプレイ上に表示される前に、上記3Dモデルに投影変換を適用するようにさらに構成され、上記投影変換が、上記表示部分内の他の物体に比べて、上記視覚的に強調された物体の相対サイズを大きくするように構成され、上記他の物体が、上記ゼロ視差平面に対応する上記閾値距離よりも長い距離に位置する、上記[14]に記載の3D車両監視システム。
[16]上記3D電子ディスプレイが、マルチビーム格子ベースの3D電子ディスプレイを備える、上記[12]に記載の3D車両監視システム。
[17]3D走査器を用いて、車両に隣接する領域の3D走査を捕捉するステップと、
上記捕捉された3D走査から3Dモデルを生成するステップであって、上記3Dモデルが、上記走査された領域内に位置する物体の空間構成を含む、生成するステップと、
上記3Dモデルを用いて、上記走査領域の一部分を表示するステップとを含み、
上記走査領域の一部分を表示するステップが、上記車両からの距離が閾値距離よりも短い上記表示部分内の物体を視覚的に強調するステップを含み、
上記視覚的に強調された物体が、上記閾値距離よりも上記車両に近い上記物体の、ユーザによる知覚を向上させるように構成された、車両監視方法。
[18]上記走査領域の一部分を表示するステップが、3D電子ディスプレイを用いるステップをさらに含み、上記視覚的に強調された物体が、上記閾値距離に対応する上記3D電子ディスプレイのゼロ視差平面の前方にあるように見え、上記3Dモデルを生成するステップが、上記3D電子ディスプレイ上に上記走査領域の上記一部分を表示するステップの前に、上記3Dモデルに対して投影変換を適用するステップを含む、上記[17]に記載の車両監視方法。
[19]上記投影変換が、上記ゼロ視差平面に対応する上記閾値距離よりも長い距離にある上記走査領域内の物体に比べて、上記視覚的に強調された物体の相対サイズを大きくするために、上記表示部分の奥行き圧縮を含む、上記[18]に記載の車両監視方法。
[20]上記3D電子ディスプレイを用いて上記走査領域の一部分を表示するステップが、
光を、非ゼロの伝播角度で光ビームとして平板ライトガイド内で導波するステップと、
上記平板ライトガイド上のマルチビーム回折格子のアレイを用いて、上記導波光ビームの一部分を回折によりカップリングして外へ出すステップであって、上記3D電子ディスプレイの異なる視像に対応する複数の異なる主角度方向に、上記平板ライトガイドから離れるように方向付けられた複数のカップリングして外へ出される光ビームを生成するステップを含む、上記導波光ビームの一部分を回折によりカップリングして外へ出すステップと、
複数のライトバルブを用いて、上記複数のカップリングして外へ出される光ビームを変調するステップであって、上記変調された光ビームが、上記一部分を3D画像として表示するための上記3D電子ディスプレイの画素を表す、変調するステップとを含む、上記[18]に記載の車両監視方法。
放射される光に関連するパッシブディスプレイの限界を克服するために、多くのパッシブディスプレイは外部光源に連結される。連結された光源は、通常ならばパッシブ型のこれらのディスプレイが光を放射し、実質的にアクティブディスプレイとして機能することを可能にし得る。このような連結された光源の例は、バックライトである。バックライトは、通常ならばパッシブ型のディスプレイの裏側に、このパッシブディスプレイを照射するように配置された光源(多くの場合、パネル光源)である。例えば、バックライトはLCDまたはEPディスプレイに連結されてもよい。バックライトは光を放射し、この光がLCDまたはEPディスプレイを通過する。放射された光は、LCDまたはEPディスプレイにより変調され、変調された光はその後、LCDまたはEPディスプレイから放射される。多くの場合、バックライトは白色光を放射するように構成される。その場合、白色光を、ディスプレイに用いられる様々な色に変換するために、カラーフィルタが用いられる。カラーフィルタは、例えばLCDまたはEPディスプレイの出力部に配置されてもよく(あまり一般的ではない)、またはバックライトと、LCDもしくはEPディスプレイとの間に配置されてもよい。
本明細書で説明する原理による例および実施形態の様々な特徴は、同様の参照番号が同様の構造要素を表す添付の図面と併せて以下の発明を実施するための形態を参照することにより、より容易に理解することができる。
本明細書で説明する原理と一致した一実施形態による、一例における車両監視システムのブロック図である。 本明細書で説明する原理と一致した一実施形態による、一例における図1の車両監視システムを用いて監視される領域の斜視図である。 本明細書で説明する原理と一致した一実施形態による、一例における図2Aの監視領域の側面図である。 本明細書で説明する原理と一致した一実施形態による、一例における走査された領域の表示部分を示す図である。 (B)本明細書で説明する原理と一致した一実施形態による、一例における図3Aの表示部分内の視覚的に強調された物体を示す図である。(C)本明細書で説明する原理と一致した別の実施形態による、一例における図3Aの表示部分内の視覚的に強調された物体を示す図である。 本明細書で説明する原理と一致した別の実施形態による、一例における視覚的に強調された物体を描く3D電子ディスプレイの斜視図である。 本明細書で説明する原理と一致した一実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する3次元(3D)電子ディスプレイの断面図である。 (B)本明細書で説明する原理と一致した別の実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する3次元(3D)電子ディスプレイの断面図である。(C)本明細書で説明する原理と一致した一実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する3D電子ディスプレイの一部分の斜視図である。 本明細書で説明する原理の一実施形態による、一例における3次元(3D)車両監視システムのブロック図である。 本明細書で説明する原理と一致した一実施形態による、一例における車両監視方法のフローチャートである。
いくつかの例および実施形態は、上記で参照した図に示される特徴の追加および代替のうちの1つである他の特徴を有している。これらおよび他の特徴は、上記で参照した図を参照して以下で詳述される。
本明細書で説明する原理と一致した一実施形態は、3次元(3D)情報を使用する車両監視システムを提供する。特に本明細書で説明する原理のいくつかの実施形態によれば、3D走査または画像を備える3D情報が、車両に隣接した監視領域に対して収集される。例えば監視領域は、車両の前方、側方、および後方のうちの1つまたは複数とすることができる。次いで監視領域からの3D情報は、監視領域内の物体の空間構成を含む3Dモデルを構築するために使用される。さらに、3Dモデルに基づく監視領域の一部分が表示され、車両からの所定の閾値距離よりも近くにある表示部分内の物体は、視覚的に強調される物体である。様々な実施形態によれば、視覚的に強調された物体の、ユーザによる知覚が向上し得る。さらに、例えば視覚的に強調された物体の向上した知覚によって、車両に近すぎる視覚的に強調された物体に対する衝突回避を容易にすることができる。
様々な実施形態によれば、3D走査器または3Dカメラは、車両に隣接した領域を監視するための車両監視システムとして電子ディスプレイと組み合わせられる。3D走査器は、監視領域の物体に関する3D情報を収集して3Dモデルの構築を容易にする。電子ディスプレイは、3Dモデルに基づき監視領域の画像を提供する。さらに、車両に近すぎるとみなされる物体(すなわち、車両からの所定の閾値距離よりも近くにある物体)の視覚的強調が、電子ディスプレイによって提供される。
本明細書で説明するいくつかの実施形態によれば、物体の視覚的強調は、3D電子ディスプレイ(単色およびカラーのうちの一方または両方)によって提供される。さらに様々な実施形態では、3D電子ディスプレイは、いわゆる「裸眼」の3Dまたはオートステレオスコピックな3Dの態様で、画像および関連情報を提示するように構成されてもよい。特にいくつかの実施形態では、3D電子ディスプレイは、回折格子ベースのまたは「格子ベースの」バックライトを使用して、3D画像または情報の異なる視像を生成してもよい。格子ベースのバックライトを使用する3D電子ディスプレイでは、複数の回折格子を用いて光がライトガイドからカップリングして外へ出される。カップリングして外へ出される光は、事前定義された方向(例えば視認方向)に向けられた複数の光ビームを形成する。さらに複数の光ビームのうちの光ビームは、互いに異なる主角度方向を有して、電子ディスプレイの視認方向に光照射野を形成または提供してもよく、いくつかの実施形態では、複数の原色を表してもよい。異なる主角度方向を有する光ビーム(「異なる方向に向けられた光ビーム」とも呼ばれる)、およびいくつかの実施形態では異なる色を表す光ビームは、3次元(3D)情報を含む情報をオートステレオスコピックに表示するために使用され得る。例えば、異なる方向に向けられた異なる色の光ビームは変調され、「
裸眼」3D電子ディスプレイの異なる視像の色画素として機能してもよく、またはその異なる視像を表してもよい。
本明細書では「ライトガイド」は、内部全反射を用いて構造体内で光を導波する構造体として定義される。特に、ライトガイドは、ライトガイドの動作波長において実質的に透明なコアを含んでもよい。様々な実施形態では、「ライトガイド」という用語は全般的に、ライトガイドの誘電体材料と、そのライトガイドを取り囲む材料または媒体との間の境界面において光を導波するために内部全反射を使用する誘電体光導波路を指す。定義上、内部全反射のための条件は、ライトガイドの屈折率が、ライトガイド材料の表面に隣接する周囲の媒体の屈折率より大きいことである。いくつかの実施形態では、ライトガイドは、内部全反射をさらに容易にするために、上述の屈折率差に加えてまたはその代わりにコーティングを含んでもよい。コーティングは、例えば反射コーティングであってもよい。ライトガイドは、平板またはスラブガイド、およびストリップガイドの一方または両方を含むがこれらに限定されないいくつかのライトガイドのうちの任意のものとすることができる。
さらに本明細書では、「平板」という用語は、「平板ライトガイド」のようにライトガイドに適用された場合は、区分的または個別的に平面状の層またはシートとして定義され、それはときに「スラブ」ガイドと呼ばれる。特に、平板ライトガイドは、ライトガイドの上面と下面(すなわち、対向する表面)により境界を画された2つの実質的に直交する方向に光を導波するように構成されたライトガイドとして定義される。さらに、本明細書における定義上、上面および下面はともに互いに隔てられ、少なくとも個別的な意味で互いに実質的に平行であり得る。すなわち、平板ライトガイドのいずれの個別的に小さな区分内でも、上面および下面は実質的に平行であるかまたは同一平面にある。
いくつかの実施形態では、平板ライトガイドは、実質的に平坦(すなわち、平面に制限される)であってよく、したがって平板ライトガイドは平面状ライトガイドとなる。他の実施形態では、平板ライトガイドは、1つまたは2つの直交する寸法において曲線状であってもよい。例えば、平板ライトガイドは、円筒形状の平板ライトガイドを形成するように、単一の寸法において曲線状であってもよい。しかしながら、いずれの曲率も、光を導波するために平板ライトガイド内での内部全反射が維持されることを確実にするように、十分大きな曲率半径を有する。
本明細書で説明する様々な実施形態によれば、回折格子(例えばマルチビーム回折格子)は、光を散乱させてまたはカップリングして、光ビームとしてライトガイド(例えば平板ライトガイド)から外へ出すために使用されてもよい。本明細書において、「回折格子」は、回折格子に入射する光の回折を実現するように配置された複数の特徴部(すなわち、回折特徴部)として全般的に定義される。いくつかの実施形態では、複数の特徴部は、周期的にまたは準周期的に配置されてもよい。例えば、回折格子は、1次元(1D)アレイに配置された複数の特徴部(例えば、材料表面における複数の溝)を含んでもよい。他の例では、回折格子は、特徴部の2次元(2D)アレイであってもよい。例えば、回折格子は、材料表面の突起または穴の2Dアレイであってもよい。
このように、また本明細書における定義上、「回折格子」は、回折格子に入射する光の回折を実現する構造体である。光がライトガイドから回折格子に入射すると、そこで実現される回折または回折散乱は、回折カップリングを生じ得、したがってそれは「回折カップリング」と呼ばれるが、回折格子が回折によりライトガイドから光をカップリングして外へ出すことができる。回折格子はまた、回折により光の角度(すなわち、回折角度)を方向変更する、または変化させる。特に、回折の結果として、回折格子を出る光(すなわち、回折された光)は、概して回折格子への光入射(すなわち、入射光)の伝播方向とは異なる伝播方向を有する。本明細書では、回折による光の伝播方向の変化は、「回折的方向変更(diffractive redirection)」と呼ばれる。したがって、回折格子は、回折格子に入射する光を回折により方向変更する回折特徴部を含む構造体であると理解することができ、光がライトガイドから入射する場合には、回折格子はライトガイドから光を回折によりカップリングして外へ出すこともできる。
さらに、本明細書における定義上、回折格子の特徴部は、「回折特徴部」と呼ばれ、表面(すなわち、ここで「表面」とは、2つの材料間の境界を指す)で、表面内、および表面上(at, in and on)のうちの1つまたは複数にあるものとすることができる。この表面は、平板ライトガイドの表面とすることができる。回折特徴部は、溝、隆線、穴、および突起のうちの1つまたは複数を含むがこれらに限定されない、光を回折する様々な構造体のうちの任意のものを含んでもよく、これらの構造体は、表面、表面内、表面上のうちの1つまたは複数にあってもよい。例えば、回折格子は、材料表面内の複数の平行な溝を含んでもよい。別の例では、回折格子は、材料表面から立ち上がった複数の平行な隆線を含むことができる。回折特徴部(溝、隆線、穴、突起などであっても)は、正弦波輪郭、長方形輪郭(例えば、バイナリ回折格子)、三角形輪郭、および鋸歯状輪郭(例えば、ブレーズ化格子)のうちの1つまたは複数を含むがこれらに限定されない、回折を実現する様々な断面形状または輪郭のうちの任意のものを有することができる。
本明細書における定義上、「マルチビーム回折格子」は、複数の光ビームを含む、カップリングして外へ出される光を生成する回折格子である。さらに、マルチビーム回折格子により生成される複数の光ビームは、本明細書における定義上、互いに異なる主角度方向(principal angular direction)を有する。特に、定義上、マルチビーム回折格子による入射光の回折カップリングおよび回折的方向変更の結果として、複数の光ビームのうちの1つの光ビームは、複数の光ビームのうちの別の光ビームとは異なる所定の主角度方向を有する。複数の光ビームは光照射野を形成してもよい。例えば、複数の光ビームは、8つの異なる主角度方向を有する8つの光ビームを含んでもよい。例えば、組み合わされた8つの光ビーム(すなわち、複数の光ビーム)が、光照射野(light field)を表してもよい。様々な実施形態によれば、様々な光ビームの異なる主角度方向は、それぞれの光ビームの原点でマルチビーム回折格子の回折特徴部の格子ピッチまたは間隔と、向きまたは回転とを組み合わせることによって、マルチビーム回折格子に入射する光の伝播方向に対して決定される。
本明細書で説明する様々な実施形態によれば、回折格子(例えばマルチビーム回折格子)によってカップリングしてライトガイドから外へ出される光は、電子ディスプレイの画素を表す。特に、異なる主角度方向を有する複数の光ビームを生成するためのマルチビーム回折格子を有するライトガイドは、「裸眼」3次元(3D)電子ディスプレイ(マルチビューもしくは「ホログラフィック」電子ディスプレイ、またはオートステレオスコピック・ディスプレイとも呼ばれる)などであるがこれらに限定されない電子ディスプレイのバックライト、またはそれらの電子ディスプレイと併せて用いられるバックライトの一部とすることができる。したがって、マルチビーム回折格子を用いて導波光をライトガイドからカップリングして外へ出すことにより生成される異なる方向に向けられた光ビームは、3D電子ディスプレイの「画素」とすることができる、または「画素」を表すことができる。
本明細書において、「コリメーション」ミラーは、コリメーションミラーによって反射される光をコリメートするように構成された曲線形状を有するミラーとして定義される。例えば、コリメーションミラーは、放物曲線または放物形状を特徴とする反射面を有してもよい。別の例では、コリメーションミラーは、形成された放物面ミラーを備えてもよい。「形成された放物面」とは、形成された放物面ミラーの曲線状の反射面が、所定の反射特性(例えばコリメーションの程度)を達成するように決定された態様で、「真の」放物曲線から逸脱していることを意味する。いくつかの実施形態では、コリメーションミラーは連続したミラー(すなわち実質的に滑らかな連続した反射面を有する)であってもよく、他の実施形態では、ミラーは、光のコリメーションを実現するフレネル反射体またはフレネルミラーを備えてもよい。様々な実施形態によれば、コリメーションミラーによって実現されるコリメーションの量は、実施形態に応じて所定の程度または量で変化してもよい。さらに、コリメーションミラーは、2つの直交する方向(例えば垂直方向および水平方向)のうちの一方または両方へのコリメーションを実現するように構成されてもよい。すなわち様々な例によれば、コリメーションミラーは、2つの直交する方向のうちの一方または両方において放物面または形成された放物形状を含んでもよい。
本明細書において、「ゼロ視差平面(zero disparity plane)」という用語は、3D電子ディスプレイに関して使用されるときには、表示またはレンダリングされる3Dシーンまたは領域のうちの、3D電子ディスプレイのすべての視像において同一に見える(すなわち視覚的な差を有さない)平面または平坦な区分として定義される。さらに、本明細書における定義上、ゼロ視差平面は、3D電子ディスプレイの物理的表面にあるように、それに対応しているように、またはそれと一致しているように見える。すなわち、3D領域内のゼロ視差平面に位置する表示シーンまたは領域にある物体は、3D電子ディスプレイによってレンダリングされ、その上で目視されるとき、3D電子ディスプレイの物理的表面に並置されているように見える。ゼロ視差平面よりも遠くにある物体は、物理的表面の後ろにあるように見え、ゼロ視差表面よりも近くにある物体は、物理的表面の前にあるように見える。
本明細書において「投影変換(projective transformation)」または同じことであるが「投影変換(projective transform)」は、線を線に(または光線を光線に)マッピングする、3D空間の(場合により非線形の)変換として定義される。投影変換は、4次元(4D)空間(すなわち「投影空間」)においての4×4のマトリクスを用いた線形変換という観点から概して表され得ることに留意されたい。いくつかの実施形態では、投影変換は、発散レンズ(例えば魚眼レンズ)を介してシーンを見るのと実質的に同じように奥行きコンテンツを圧縮するように構成された光学変換を含んでもよい。特に投影変換は、無限遠平面(infinite far plane)を、ゼロ視差平面から所望の距離1/hにマッピングする。無限遠平面を1/h距離マッピングに提供する投影変換は、式(1)によって
として与えられ得、ここで(x’,y’,z’,w’)は、座標(x,y,z,w)の投影変換に対応する画像座標である。さらに、本明細書における定義上、式(1)の投影変換は、ゼロ視差平面それ自体の近くの奥行きまたはパララックス(parallax)を概して圧縮しない。他の実施形態では、本明細書における投影変換として、別の光学変換(例えば4×4マトリクスによって表される)が使用されてもよい。本明細書で説明する原理のいくつかの実施形態によれば、例えば投影変換は、以下で説明するように、物体またはその一部分を強調する実質的に任意の投影変換とすることができる。さらに様々な実施形態によれば、本明細書において投影変換は、線形変換または非線形変換のいずれかを備えてもよい。
さらに、本明細書で用いられるとき、冠詞「a(1つ)」は、特許技術における通常の意味、すなわち、「1つまたは複数(one or more)」を有することを意図するものである。本明細書では例えば、「(1つの)格子(a grating)」は1つまたは複数の格子を意味し、したがって「その(1つの)格子(the grating)」は「その1つまたは複数の格子(the grating(s))」を意味する。また、本明細書における「上部(top)」、「下部(bottom)」、「上側(upper)」、「下側(lower)」、「上向き(up)」、「下向き(down)」、「前面(front)」、「背面(back)」、「第1の」、「第2の」、「左」、または「右」に対するいずれの参照も、本明細書では限定を意図するものではない。本明細書では、「約」という用語は、値に適用されたときは全般的にその値を生成するために用いられる機器の許容差範囲内を意味し、または他に明示的に指定されない限り、±10%、または±5%、または±1%を意味する場合がある。さらに、本明細書で用いられるとき「実質的に」という用語は、大多数、またはほとんどすべて、またはすべて、または約51%〜約100%の範囲内の量を意味する。さらに本明細書における例は、例示的にすぎず、考察の目的で示され、限定のためのものではないことが意図される。
本明細書で説明する原理のいくつかの実施形態によれば、車両監視システムが提供される。図1は、本明細書で説明する原理と一致した一実施形態による、一例における車両監視システム100のブロック図を示す。図2Aは、本明細書で説明する原理と一致した一実施形態による、一例における図1の車両監視システム100を用いて監視される領域102の斜視図を示す。図2Bは、本明細書で説明する原理と一致した一実施形態による、一例における図2Aの監視領域102の側面図を示す。本明細書における定義上、車両監視システム100によって監視される「領域」は、車両の近辺の、それに隣接した、またはその周りのエリアである(以降、「領域」は、集合的に「隣接領域」として呼ばれることもある)。様々な実施形態によれば、監視される領域102は、車両の前方、車両の後方、および車両の側方のうちの1つまたは複数を含んでもよい。
例えば車両監視システム100は、車両の後方の領域102を監視するために用いられてもよく、したがって後進またはリアビュー監視システムとして機能する。特に、車両監視システム100は、車両が後ろ向きに動いているときに衝突の回避を補助するためのリアビューまたは後進補助車両監視システムとして構成されてもよい。別の例では、監視される領域102は、車両の前方であってもよい。したがって、例えば車両監視システム100は、車両が前方に動いているときのための前端部衝突回避システムとして機能してもよい。
図1に示されるように、車両監視システム100は、3次元(3D)走査器110を備える。3D走査器110は、車両に隣接した領域102を走査するように構成される。この場合3D走査器による走査は、その領域102の3Dモデルを生成するまたは提供するために使用される。特に3Dモデルは、走査された領域102内に位置する物体104の空間構成を含む。車両に隣接した走査された領域102は、本明細書において「走査」領域102、または同じことであるが「画像化」領域102とも呼ばれ得る。
全般的に、3D走査器110は、走査領域102内の様々な物体104までの距離を判定することができる様々な異なる3D走査システムまたは画像システムのうちの任意のものを含んでもよい。いくつかの実施形態によれば、3D走査器110は、互いにずれた複数のカメラを備える。走査領域102内の3D走査器110から物体104までの距離は、例えば複数のカメラのうちの異なるカメラによって捕捉された別々の画像を用いて視差推定によって判定されてもよい。例えば複数のカメラは、カメラの両眼対を備えてもよく、物体104までの距離は、走査された領域102内の両眼視差推定を用いて判定されてもよい。いくつかの実施形態によれば、車両監視システム100の画像プロセッサ(図1、図2A、図2Bには示さず)は視差推定を実行してもよく、さらに視差推定により判定された物体104までの距離から3Dモデルを生成または他の態様で提供してもよい。例えば画像プロセッサは、3D走査器110の一部であってもよい。
別の実施形態では、3D走査器110は、走査された領域102にある物体によって反射された光のパルスの伝播時間から距離が判定される飛行時間カメラ(time-of-flight camera)などの、走査器のない光検出および測距(LIDAR:light detection and ranging)システムを備える。特に、飛行時間カメラは、レーザまたは別の同様の光源を用いて光のパルスを生成する。次いで光パルスは、走査領域102を照射するために用いられる。走査領域102内の任意の物体104は、照射光パルスを飛行時間カメラに反射し返す。物体104までの距離は、照射光パルスが物体まで伝播し、物体から反射して離れ、次いで飛行時間カメラの光学センサ(例えば焦点面アレイ)まで戻るのにかかる時間の長さ、すなわち飛行時間、から判定される。例えば飛行時間距離は、飛行時間カメラを用いて画素毎に決定されて、走査領域102の3Dモデルが提供されてもよい。
別の実施形態では、3D走査器110は、走査された領域102内の複数の点までの距離を測定するように構成された距離センサを備える。例えば複数の点は、物体104を含んでもよい。距離センサを含むいくつかの実施形態では、3D走査器110は、走査領域102の対応する2次元(2D)画像を捕捉するように構成されたカメラをさらに備えてもよい。距離センサによって提供された測定距離は、走査領域102の点群(point cloud)および物体メッシュ(object mesh)の一方または両方を生成するために使用されてもよい。次いで、点群および物体メッシュは、(例えば車両監視システム100の画像プロセッサにおいて)3Dモデルとして直接用いられるか、3Dモデルを生成するために使用されるかのいずれかであってもよい。カメラによって捕捉された2D画像は、3Dモデルをペイントするために使用されてもよい。「ペイントする」とは、(例えば3Dモデルがディスプレイ上にレンダリングされるときに)2Dモデルを3Dモデルに重ねる、または3Dモデルと組み合わせることを意味する。例えば、音響距離センサおよび光学(例えば走査レーザベースの)距離センサを含むがこれらに限定されない様々な距離センサが、3D走査器110のこの実施形態において使用されてもよい。
特に3D走査器110の距離センサは、領域102を走査するように構成されたレーザを備えてもよい。さらに距離センサは、走査された領域102内の1つまたは複数の物体104から反射されたレーザ光を用いて、複数の点までの距離を測定するように構成された光学センサを備えてもよい。例えば3D走査器110は、2Dカメラ、第2の赤外線カメラ、および赤外線レーザプロジェクタを組み合わせたIntel RealSense(登録商標)3Dカメラを備えてもよい。2Dカメラは、走査領域102の2D画像を捕捉するように構成され、赤外線レーザプロジェクタおよび第2の赤外線カメラは、走査領域102内の距離情報を収集するための距離センサとして協働する。Intel RealSense(登録商標)およびIntel(登録商標)は、米国カリフォルニア州サンタクララのインテル社の登録商標である。
図1に示される車両監視システム100は、電子ディスプレイ120をさらに備える。電子ディスプレイ120は、3Dモデルを用いて領域102の一部分を表示するように構成される。さらに電子ディスプレイ120は、車両からの(または同じことであるが、車両監視システム100からの)閾値距離よりも近くに位置する表示部分内の物体104’を視覚的に強調するように構成される。様々な実施形態によれば、視覚的強調は、閾値距離よりも車両に近い物体104’の、ユーザによる知覚を向上させるように構成される。例えば視覚的に強調された物体104’を知覚することが向上すると、物体104’と車両との衝突を回避することが容易になり得る。図2Aおよび図2Bでは、dと符号付けされた閾値距離は、車両監視システム100から、監視領域102内で物体104’と交わる(例えば二分する)破線の境界として示される平面106までの距離として示される。
図3Aは、本明細書で説明する原理と一致した一実施形態による、一例における領域102の表示部分108を示す。特に図3Aは、電子ディスプレイ120の表示画面に物体104が見え得るときの、走査された領域102内の様々な物体104を示す。例えば、電子ディスプレイ120は2次元(2D)電子ディスプレイ120(例えばLDCディスプレイ)であってもよく、走査領域102の表示部分108は、2D電子ディスプレイ上で2D画像として表示またはレンダリングされてもよい。さらに図3Aで示されるように、いずれの物体104も視覚的に強調されていない。
いくつかの実施形態によれば、閾値距離よりも近い物体104’は、物体104’に適用されるマスクを用いて、電子ディスプレイ120上でまたはそれによって、視覚的に強調されてもよい。例えば網掛けまたは色の陰影を備えるマスクが、強調される物体104’またはその一部分に適用されてもよい。さらに、例えばマスクは、マスクされた物体104’に注意を引きつけるように構成された色(例えば黄色、赤色など)を備えてもよい。いくつかの例では、マスクは、車両からの距離が閾値距離よりも短いと判定された、走査領域102の任意の部分(例えば任意の画素)に適用されてもよい。
図3Bは、本明細書で説明する原理と一致した一実施形態による、一例における図3Aの表示部分108内にある視覚的に強調された物体104’を示す。特に図3Bは、マスク210を用いて視覚的に強調された物体104’を含む走査領域102の表示部分を示す。図3Bに示されるように、マスク210は、閾値距離よりも近い物体104’にまたはその上に重なった網掛けを備える。この例では、物体104’全体が網掛けマスク210によって実質的に覆われている。他の例(図示せず)では、物体104’の実際に閾値距離よりも近い部分だけが、マスク210によって覆われて視覚的強調を提供し、物体104’の残りの部分は実質的にマスク210がない(すなわちマスク210によって覆われていない)状態であってもよい。
別の例では、電子ディスプレイ120に表示された視覚的強調は、閾値距離よりも近い物体の縁または周囲を囲む輪郭線を備えてもよい。例えば輪郭線は、物体に特別に注意を引きつけるための、黄色、オレンジ色、または赤色などであるがこれらに限定されない色を備えてもよい。さらにいくつかの例では、輪郭線は、車両からの閾値距離よりも近いと判定された領域102の任意の部分の周りに提供されてもよい。いくつかの例では、輪郭線は、マスクと併せて用いられてもよい(例えばマスクされた物体にさらに輪郭線が付けられてもよい)。
さらに他の例では、車両からの距離が閾値距離よりも短いと判定された物体を強調するために、電子ディスプレイ120上に警告アイコンが表示されてもよい。例えば警告アイコンは、閾値距離内にある物体、または同じことであるが走査領域102内の一部分に重ねられたものとして表示されてもよい。例えば警告アイコンは、注意を引きつける色でレンダリングされてもよく、三角形、円形、または四角形を含んでもよいが、これらに限定されない。いくつかの例では、三角形、円形、または四角形は、警告アイコンにさらに注意を引きつけるように、感嘆符または別の英数字を取り囲んでもよい。いくつかの実施形態では、警告アイコンは、マスクおよび輪郭線のうちの一方または両方と併せて用いられてもよい(例えば警告アイコンが、マスクまたは輪郭線内に位置してもよい)。
図3Cは、本明細書で説明する原理と一致した別の実施形態による、一例における図3Aの表示部分108にある視覚的に強調された物体104’を示す。特に図3Cは、輪郭線220を用いて視覚的に強調された物体104’を含む走査領域102の表示部分を示す。さらに、図3Cには警告アイコン230が示される。警告アイコン230は、全般的に表示部分のいずれの場所に位置してもよいが、例として図3Cでは、警告アイコン230が輪郭線220内に位置しており、物体104’上に重なっている。
再び図1を参照すると、いくつかの実施形態によれば、車両監視システム100の電子ディスプレイ120は、3D電子ディスプレイ120を備えてもよい。これらの実施形態のうちのいくつかでは、閾値距離は、3D電子ディスプレイ120に表示される領域102の一部分に関連付けられたゼロ視差平面に対応してもよい。さらにいくつかの実施形態によれば、視覚的に強調された物体104’は、3D電子ディスプレイ120のゼロ視差平面の前方にあると知覚される物体であってもよい。特に閾値距離よりも短い距離に位置する物体104’が表示またはレンダリングされるとき、物体104’は、3D電子ディスプレイ120上でゼロ視差平面の前方にレンダリングされる。したがって様々な実施形態によれば、物体は、3D電子ディスプレイ120の物理的表示面から突き出ている、または突出している、またはその前方にあるものとして(例えば目視者によって)知覚されて、物体104’が視覚的に強調される。
図4は、本明細書で説明する原理と一致した別の実施形態による、一例における視覚的に強調された物体104’を描く3D電子ディスプレイ120の斜視図を示す。特に図4は、ゼロ視差平面の前方にレンダリングされることによって視覚的に強調された物体104’を含む走査領域102の表示部分108を示す。物体104’(例えば子供用おもちゃの自転車)は、3D電子ディスプレイの物理的表面120’から突出している、またはその前方にあるものとして3D電子ディスプレイ上に見える。図4に示されるように、閾値距離よりも遠い距離にある他の物体104は、3D電子ディスプレイの物理的表面120’の後方に見える。
いくつかの実施形態では、投影変換は、表示部分が3D電子ディスプレイ120上にレンダリングされる前に3Dモデルに適用されてもよい。特に車両監視システム100は、例えば図6に関して下で説明するように、画像プロセッサをさらに備えてもよい。例えば画像プロセッサは、3D電子ディスプレイ120の一部であってもよい。別の例では、画像プロセッサは、3D走査器110の一部であり、または車両監視システム100の別の(例えば別個の)要素であってもよい。
画像プロセッサは、表示部分が3D電子ディスプレイ120上にレンダリングされる前に投影変換を3Dモデルに適用するように構成されてもよい。様々な実施形態によれば、投影変換は、ゼロ視差平面に対応する閾値距離よりも遠い距離にある画像内の他の物体104に比べて、視覚的に強調された物体104’の相対サイズを大きくするように構成される。その結果、視覚的に強調された物体104’が、3D電子ディスプレイ120の物理的表示面120’の前方に見えるだけでなく、視覚的に強調された物体104’が、3D電子ディスプレイ120にレンダリングされるときに、空間的にゆがめられる、またはサイズが大きくされる。その効果は、視覚的に強調された物体104’が、3D電子ディスプレイ120によって表示される他の物体と比べて、あたかも拡大される、大きくされる、視覚的に膨張される、または拡張されるようなものである。例えば図4に示される物体104’は、投影変換を適用することによって空間的にゆがめられる。したがって様々な実施形態によれば、視覚的に強調された物体104’の知覚は、投影変換を適用することによって得られるサイズがゆがめられたレンダリングによってさらに向上する。
様々な実施形態によれば、3D電子ディスプレイ120は、実質的に任意の3D電子ディスプレイとすることができる。特にいくつかの実施形態では、3D電子ディスプレイ120は、マルチビーム格子ベースのバックライトおよび光変調層を備えるマルチビーム格子ベースの3D電子ディスプレイ120である。図5Aは、本明細書で説明する原理と一致した一実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する3D電子ディスプレイ120の断面図を示す。図5Bは、本明細書で説明する原理と一致した別の実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する3D電子ディスプレイ120の断面図を示す。図5Cは、本明細書で説明する原理と一致した一実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する3D電子ディスプレイ120の一部分の斜視図を示す。例えば図5Cに示される3D電子ディスプレイ120の一部分は、図5Aまたは図5Bのいずれかに示される3D電子ディスプレイ120を表してもよい。様々な実施形態によれば、マルチビーム格子ベースのバックライトを有する3D電子ディスプレイ120は、上記で説明した視覚的に強調された物体の向上した知覚を提供することができる。
様々な実施形態によれば、図5A〜図5Cに示される3D電子ディスプレイ120は、変調された「指向性の」光、すなわち異なる主角度方向を有する光ビームを備える光、を提供するように構成される。例えば、図5A〜図5Cに示されるように、3D電子ディスプレイ120は、矢印で示される異なる所定の主角度方向に(例えば光照射野として)3D電子ディスプレイ120から出て行くように方向付けられる複数の光ビームをもたらす、または発生させることができる。次いで複数の光ビームは、視覚的に強調された物体を含むがそれに限定されない3Dコンテンツを有する情報の表示を容易にするように、変調されてもよい。いくつかの実施形態では、異なる所定の主角度方向を有する変調された光ビームは、3D電子ディスプレイ120の複数の画素を形成する。さらに、3D電子ディスプレイ120は、3D電子ディスプレイ120の異なる「視像」に関連する画素に光ビームが対応するいわゆる「裸眼」の3D電子ディスプレイ(例えば、マルチビュー、「ホログラフィック」、またはオートステレオスコピックなディスプレイ)である。
図5A、図5B、および図5Cに示されるように、3D電子ディスプレイ120のマルチビーム格子ベースのバックライトは、ライトガイド122を備える。特にいくつかの実施形態によれば、ライトガイド122は平板ライトガイド122であってもよい。平板ライトガイド122は、光源(図5A〜図5Cには示さず)からの光を、導波光(平板ライトガイド122内を伝播する長い矢印として示され、以下でさらに説明される)として導波するように構成される。例えば、平板ライトガイド122は、光導波路として構成される誘電体材料を含んでもよい。誘電体材料は、誘電体光導波路を囲む媒体の第2の屈折率よりも大きい第1の屈折率を有し得る。例えば、屈折率の差は、平板ライトガイド122の1つまたは複数の導波モードに従って、導波光の内部全反射を容易にするように構成される。
様々な実施形態では、光源からの光は、平板ライトガイド122の長さに沿って光のビームとして導波される。さらに、平板ライトガイド122は、非ゼロの伝播角度で光(すなわち導波光ビーム)を導波するように構成されてもよい。例えば、導波光ビームは、内部全反射を用いて平板ライトガイド122内で非ゼロの伝播角度で導波されてもよい。特に導波光ビームは、平板ライトガイド122の上面と下面との間で反射する、または「跳ね返る」ことによって非ゼロの伝播角度で伝播する(例えば、導波光ビームの光線を表す長い傾斜した矢印によって示される)。
本明細書において定義される「非ゼロの伝播角度」は、平板ライトガイド122の表面(例えば、上面または下面)に対する角度である。いくつかの例では、導波光ビームの非ゼロの伝播角度は、約10度〜約50度、またはいくつかの例では、約20度〜約40度、または約25度〜約35度とすることができる。例えば、非ゼロの伝播角度は約30度とすることができる。他の例では、非ゼロの伝播角度は、約20度、または約25度、または約35度とすることができる。
いくつかの例では、光源からの光は、非ゼロの伝播角度(例えば約30〜35度)で平板ライトガイド122内に導入される、またはカップリングして入れられる。例えば、レンズ、ミラー、または同様の反射体(例えば、傾斜したコリメート反射体(collimating reflector)、およびプリズム(図示せず))のうちの1つまたは複数が、光を、光のビームとして非ゼロの伝播角度で平板ライトガイド122の入力端部にカップリングして入れるのを容易にすることができる。平板ライトガイド122内にカップリングして入れられると、導波光ビームは、入力端部から概して離れる方向に平板ライトガイド122に沿って伝播する(例えば、図5A〜図5Bのx軸に沿った方向を指す太線の矢印によって示される)。
さらに、いくつかの例によれば、光を平板ライトガイド122にカップリングして入れることにより生成される導波光ビームは、コリメートされた導波光ビームとすることができる。特に、「コリメートされた光ビーム」とは、導波光ビーム内の複数の光線が、導波光ビーム内で互いに実質的に平行であることを意味する。本明細書における定義上、導波光ビームのコリメートされた光ビームから発散するまたは散乱する光線は、コリメートされた光ビームの一部とはみなされない。例えば、コリメートされた導波光ビームを生成するための光のコリメーションは、平板ライトガイド122に光をカップリングして入れるために用いられるレンズまたはミラー(例えば、傾斜したコリメート反射体など)によって実現することができる。
いくつかの例では、平板ライトガイド122は、光学的に透明な誘電体材料の長い実質的に平面状のシートを備えるスラブまたは平板の光導波路であってもよい。誘電体材料の実質的に平面状のシートは、内部全反射を用いて導波光ビームを導波するように構成される。様々な例によれば、平板ライトガイド122の光学的に透明な材料は、様々なタイプのガラス(例えば石英ガラス、アルカリ・アルミノシリケート・ガラス、ホウケイ酸ガラスなど)、および実質的に光学的に透明なプラスチックまたはポリマー(例えばポリ(メチルメタクリレート)または「アクリルガラス」、ポリカーボネートなど)のうちの1つまたは複数を含むがこれらに限定されない様々な誘電体材料のうちの任意のものを含んでもよく、またはこれらのうちの任意のもので形成されてもよい。いくつかの例では、平板ライトガイド122は、平板ライトガイド122の表面(例えば、上面および下面の一方または両方)の少なくとも一部分上にクラッド層をさらに含んでもよい(図示せず)。いくつかの例によれば、クラッド層は、内部全反射をさらに容易にするために用いられてもよい。
図5A、図5B、および図5Cでは、示される3D電子ディスプレイ120のマルチビーム格子ベースのバックライトは、マルチビーム回折格子124のアレイをさらに備える。図5A〜図5Bに示されるように、マルチビーム回折格子124は、平板ライトガイド122の表面(例えば上面または前面)に位置付けられる。他の例(図示せず)では、マルチビーム回折格子124の1つまたは複数は、平板ライトガイド122の中に位置付けられてもよい。さらに別の例(図示せず)では、マルチビーム回折格子124の1つまたは複数は、平板ライトガイド122の下面もしくは背面にまたはその上に(すなわちマルチビーム回折格子124によって示される面とは反対の面に)位置付けられてもよい。平板ライトガイド122とマルチビーム回折格子124のアレイとを組み合わせることによって、それらが3D電子ディスプレイ120のマルチビーム回折格子ベースのバックライトを実現する、またはそのバックライトとして機能する。
様々な実施形態によれば、アレイのマルチビーム回折格子124は、導波光ビームの一部分を散乱させてまたは回折によりカップリングして、3D電子ディスプレイ120の異なる視像に対応する異なる主角度方向を有する複数の光ビームとして外へ出すように
構成される。例えば、導波光ビームの一部分は、マルチビーム回折格子124によって平板ライトガイド表面を通って(例えば、平板ライトガイド122の上面を通って)回折によりカップリングして外へ出されてもよい。さらに、マルチビーム回折格子124は、導波光ビームの一部分を回折によりカップリングして、カップリングして外へ出される光ビームとして外へ出し、そのカップリングして外へ出される光ビームを、複数の光ビームとして平板ライトガイド表面から離れるように回折により方向変更するように構成される。上述したように、複数の光ビームうちのそれぞれは、マルチビーム回折格子124の回折特徴部の特徴によって決定される異なる所定の主角度方向を有する。
様々な実施形態によれば、アレイのマルチビーム回折格子124は、回折を実現する複数の回折特徴部を含む。実現される回折により、平板ライトガイド122からの導波光ビームの一部分の回折カップリングがもたらされる。例えば、マルチビーム回折格子124は、回折特徴部として機能する平板ライトガイド122の表面内の溝、および平板ライトガイド表面から突出した隆線の一方または両方を含んでもよい。溝および隆線は、互いに平行に配置されてもよく、回折特徴部に沿った少なくともある点では、溝および隆線は、マルチビーム回折格子124によりカップリングして外へ出されることになる導波光ビームの伝播方向に垂直である。
いくつかの例では、溝および隆線は、平板ライトガイド表面内へエッチング、ミリング、またはモールドされてもよい。したがって、マルチビーム回折格子124の材料は、平板ライトガイド122の材料を含み得る。図5Aに示すように、例えば、マルチビーム回折格子124は、平板ライトガイド122の表面を貫通する実質的に平行な複数の溝を含む。図5Bでは、マルチビーム回折格子124は、平板ライトガイド122の表面から突出する実質的に平行な複数の隆線を含む。他の例では(図示せず)、マルチビーム回折格子124は、平板ライトガイド表面に塗布された、または貼り付けられた膜または層とすることができる。
いくつかの実施形態によれば、マルチビーム回折格子124は、チャープ回折格子であってもよい、またはそれを含んでもよい。定義上、「チャープ」回折格子は、図5A〜図5Cに示されるように、チャープ回折格子の範囲または長さにわたって変化する回折特徴部の回折間隔(すなわち回折ピッチ)を呈する、または有する回折格子である。本明細書では、変化する回折間隔は、「チャープ」と定義され呼ばれる。チャープがあることによって、平板ライトガイド122から回折によりカップリングして外へ出される導波光ビームの部分は、マルチビーム回折格子124のチャープ回折格子にわたる異なる原点に対応する異なる回折角度でカップリングして外へ出される光ビームとして、チャープ回折格子から出射する、または放射される。事前定義されたチャープのおかげで、チャープ回折格子によって、カップリングして外へ出される複数の光ビームの所定の異なる主角度方向がもたらされる。
いくつかの例では、マルチビーム回折格子124のチャープ回折格子は、距離とともに線形に変化する回折間隔のチャープを有するまたは呈することができる。したがって、定義上、チャープ回折格子は、「線形チャープ」回折格子と呼ばれる。例えば、図5A〜図5Cは、マルチビーム回折格子124を線形チャープ回折格子として示している。特に、示されるように、回折特徴部は、マルチビーム回折格子124の第2の端部においては、第1の端部においてよりも互いに近くにある。さらに示される回折特徴部の回折間隔は、例としてであって限定としてではなく示される第1の端部から第2の端部まで線形に変化する。
別の例では(図示せず)、マルチビーム回折格子124のチャープ回折格子は、回折間隔の非線形チャープを呈してもよい。マルチビーム回折格子124を実現するために用いることができる様々な非線形チャープは、指数関数チャープ、対数チャープ、または別の実質的に不均一もしくはランダムであるが依然として単調に変化するチャープを含むが、これらに限定されない。正弦波チャープ、または三角形もしくは鋸歯状チャープなどであるが、これらに限定されない非単調なチャープも使用可能である。これらのタイプのチャープの任意の組み合わせも使用可能である。
いくつかの実施形態によれば、マルチビーム回折格子124は、曲線状でかつチャープされているか、またはそれらのうちのいずれかである回折特徴部を含んでもよい。図5Cは、平板ライトガイド122の表面内に、表面に、または表面上にある曲線状のかつチャープされたマルチビーム回折格子124の斜視図を示す(すなわち、マルチビーム回折格子124は曲線状のチャープ回折格子である)。図5Cでは、導波光ビームは、マルチビーム回折格子124の第1の端部において太線の矢印として示されるマルチビーム回折格子124に対する入射方向を有する。また、矢印で示される平板ライトガイド122の表面でマルチビーム回折格子124から離れる方向を指す複数のカップリングして外へ出されるまたは放射される光ビームが示される。示されるように、光ビームは、複数の所定の異なる主角度方向に放射される。特に、放射される光ビームの所定の異なる主角度方向は、示されるように方位角と仰角の両方において互いに異なる。様々な例によれば、回折特徴部の事前定義されたチャープと回折特徴部の曲線との両方によって、放射される光ビームの所定の異なる主角度方向がもたらされ得る。
特に、回折特徴部の曲線に沿った異なる点において、曲線状回折特徴部に関連するマルチビーム回折格子124の「下にある回折格子」は、異なる方位配向角度φfを有する。「下にある回折格子」とは、重なるとマルチビーム回折格子124の曲線状回折特徴部を作り出す複数の非曲線状回折格子のうちの1つの回折格子を意味する。曲線状回折特徴部に沿った所与の点において、曲線は、曲線状回折特徴部に沿った別の点における方位配向角度φfとは概して異なる特定の方位配向角度φfを有する。さらに、特定の方位配向角度φfによって、所与の点から放射される光ビームの主角度方向{θ,φ}の対応する方位角成分φが与えられる。いくつかの例では、回折特徴部(例えば溝、隆線など)の曲線は、円の一区分を表してもよい。円は、ライトガイド表面と同一平面上にあってもよい。他の例では、曲線は、例えばライトガイド表面と同一平面上にある楕円または別の曲線形状の一区分を表してもよい。
再び図5A〜図5Bを参照すると、3D電子ディスプレイ120の変調層は、ライトバルブアレイ126を備える。様々な実施形態によれば、ライトバルブアレイ126は、3D電子ディスプレイ120の異なる視像に対応する異なる方向に向けられた光ビーム(すなわち、異なる主角度方向を有する複数の光ビーム)を変調するように構成される。特に複数の光ビームのうちの光ビームは、ライトバルブアレイ126の個々のライトバルブを通過し、それによって変調される。様々な実施形態によれば、変調された異なる方向に向けられた光ビームは、3D電子ディスプレイ120の画素を表してもよい。様々な例では、液晶ライトバルブ、電気泳動ライトバルブ、およびエレクトロウェッティングに基づくライトバルブのうちの1つまたは複数を含むがこれらに限定されない異なるタイプのライトバルブがライトバルブアレイ126内で使用されてもよい。
本明細書で説明する原理のいくつかの例によれば、3次元(3D)車両監視システムが提供される。図6は、本明細書で説明する原理の一実施形態による、一例における3次元(3D)車両監視システム300のブロック図を示す。特に3D車両監視システム300は、車両が監視方向に動いているときに衝突回避を提供するように構成される。例えば3D車両監視システム300は、車両の後方の領域を監視するように構成されてもよく、したがって車両の操作者に後進補助を提供する。
図6に示されるように、3D車両監視システム300は、3Dカメラ310を備える。いくつかの実施形態では、3Dカメラ310は、後方に面した3Dカメラ310である。3Dカメラ310は、車両に隣接した領域(例えば車両の後方)の3D画像を捕捉するように構成される。様々な実施形態によれば、3Dカメラ310は、車両監視システム100に関して上記で説明した3D走査器110と実質的に同様であってもよい。特に3Dカメラ310は、車両に隣接した領域を監視するように構成された互いにずれた複数のカメラ、飛行時間カメラ、およびレーザベースの距離センサと2次元(2D)カメラの複合体のうちの1つまたは複数を備えてもよい。
図6に示される3D車両監視システム300は、画像プロセッサ320をさらに備える。画像プロセッサ320は、3Dカメラ310によって捕捉された3D画像を用いて、3D画像化領域の3Dモデルを提供するように構成される。様々な実施形態によれば、3Dモデルは、3D画像化領域内の物体の空間構成を含む。3D画像化領域および3D画像化領域内の物体は、車両監視システム100に関して上記で説明した領域102および物体104、104’と実質的に同様であってもよい。
様々な実施形態によれば、3D車両監視システム300は、3D電子ディスプレイ330をさらに備える。3D電子ディスプレイ330は、3Dモデルを用いて3D画像化領域の一部分を表示するように構成される。いくつかの実施形態によれば、閾値距離よりも短い車両からの距離(例えば車両の後方からの距離)に位置する表示部分内の任意の物体が、3D電子ディスプレイ330上で視覚的に強調されてもよい。特にいくつかの実施形態によれば、3D電子ディスプレイ330は、車両からの閾値距離よりも近くに位置する表示部分内の物体を視覚的に強調するようにさらに構成される。
いくつかの実施形態では、3D電子ディスプレイ330は、上記で説明した車両監視システム100の3D電子ディスプレイ120と実質的に同様である。例えば閾値距離は、3D電子ディスプレイ330によって表示される3D画像化領域の一部分に関連付けられたゼロ視差平面に対応してもよい。いくつかの実施形態では、視覚的に強調された物体は、ゼロ視差平面の前方にある(すなわち、3D電子ディスプレイ330の物理的表面の前方にある)ものとして知覚され得る。さらにいくつかの実施形態では、画像プロセッサ320は、表示部分が3D電子ディスプレイ330上にレンダリングされる前に、3Dモデルに対して投影変換を適用するようにさらに構成される。適用される投影変換は、ゼロ視差平面に対応する閾値距離よりも長い距離に位置する表示部分内の他の物体に比べて、視覚的に強調された物体の相対サイズを大きくするように構成されてもよい。
いくつかの実施形態では、3D電子ディスプレイ330は、マルチビーム格子ベースの3D電子ディスプレイを備えてもよい。例えばいくつかの実施形態では、3D電子ディスプレイ330は、車両監視システム100に関して上記で説明したマルチビーム格子ベースのバックライトおよび変調層を有する3D電子ディスプレイ120と実質的に同様であってもよい。特に3D電子ディスプレイ330は、マルチビーム格子ベースのバックライトおよび変調層を備えてもよい。マルチビーム格子ベースのバックライトは、光のビーム(例えばコリメートされた光ビーム)を導波するためのライトガイドと、導波光の一部分を回折によりカップリングして、ライトガイドから離れるように方向付けられた複数の異なる方向に向けられた光ビームとして外へ出すように構成されたマルチビーム回折格子のアレイとを備えてもよい。ライトガイドおよびマルチビーム回折格子は、車両監視システム100について上記で説明した平板ライトガイド122およびマルチビーム回折格子124と実質的に同様であってもよい。さらに、変調層は、異なる方向に向けられた光ビームを変調するためのライトバルブアレイを備えてもよい。様々な実施形態によれば、変調され、異なる方向に向けられた光ビームは、3D電子ディスプレイ330の複数の異なる視像を形成する。ライトバルブアレイは、車両監視システム100に関して上記で説明し
たライトバルブアレイ126と実質的に同様であってもよい。特に、変調され、異なる方向に向けられた光ビームは、3D電子ディスプレイ330の異なる「視像」に関連付けられた複数の画素を形成する異なる所定の主角度方向を有する。
いくつかの実施形態(図示せず)によれば、3D電子ディスプレイ330は、光源をさらに含んでもよい。光源は、導波光ビームとしてライトガイド内で伝播する光を提供するように構成される。特に、いくつかの実施形態によれば、導波光は、カップリングしてライトガイドの縁部(または入力端部)に入れられる、光源からの光である。例えば、レンズ、コリメート反射体、または同様の装置(図示せず)が、光をカップリングしてライトガイド内にその入力端部または縁部において入れることを、容易にすることができる。様々な例では、光源は、発光ダイオード(LED)を含むがそれに限定されない実質的に任意の光の発生源を備えてもよい。いくつかの例では、光源は、特定の色により表される狭帯域のスペクトルを有する実質的に単色の光を生成するように構成された光学エミッタを備えてもよい。特に、単色光の色は、特定の色空間または色モデル(例えば、赤−緑−青(RGB)色モデル)の原色とすることができる。
本明細書で説明する原理のいくつかの例によれば、車両監視方法が提供される。車両監視方法は、車両に隣接したエリアまたは領域を監視するために用いられ得る。例えばエリアまたは領域は、車両の前方、側方、および後方または後ろの領域を含んでもよいが、これらに限定されない。
図7は、本明細書で説明する原理と一致した一実施形態による、一例における車両監視方法400のフローチャートを示す。図7に示されるように、車両監視方法400は、3D走査器を用いて車両に隣接した領域の3D走査を捕捉するステップ410を備える。様々な実施形態によれば、捕捉するステップ410に用いられる3D走査器は、車両監視システム100に関して上記で説明した3D走査器110と実質的に同様であってもよい。例えば3D走査器は、互いにずれた複数のカメラ(例えばカメラの両眼対)、飛行時間カメラ、およびレーザベースの距離センサと2次元(2D)カメラの複合体のうちの1つまたは複数を備えてもよい。いくつかの例では、3D走査器は、3D車両監視システム300に関して上記で説明した3Dカメラ310と実質的に同様であってもよい。
図7に示された車両監視方法400は、捕捉された3D走査から3Dモデルを生成するステップをさらに備える。様々な実施形態によれば、3Dモデルは、走査領域内に位置する物体の空間構成を含む。例えば3Dモデルは、3D走査器によって生成される点群および物体メッシュのうちの一方または両方を用いて、3D走査から生成され得る。
様々な実施形態によれば、車両監視方法400は、3Dモデルを用いて走査領域の一部分を表示するステップ430をさらに備える。様々な実施形態によれば、走査領域の一部分を表示するステップ430は、車両からの距離が閾値距離よりも近い表示部分内の物体を視覚的に強調するステップを備える。いくつかの実施形態では、走査領域の一部分を表示するステップ430は、上記で説明した車両監視システム100の電子ディスプレイ120と実質的に同様の電子ディスプレイを使用してもよい。さらに、物体を視覚的に強調するステップは、上記で説明した視覚的な強調の任意の形態と実質的に同様であってもよい。例えば物体は、マスク、輪郭線、および警告アイコンのうちの1つまたは複数を用いて視覚的に強調されてもよい。別の例では、走査領域の一部分を表示するステップ430は、例えば3D車両監視システム300の3D電子ディスプレイ330に関して上記で説明した3D電子ディスプレイを用いるステップを備える。3D電子ディスプレイを用いると、視覚的に強調された物体は、閾値距離に対応した3D電子ディスプレイのゼロ視差平面の前方にあるように見える。
いくつかの実施形態によれば、3D電子ディスプレイ(例えばマルチビーム格子ベースのバックライトを有する3D電子ディスプレイ)を用いて走査領域の一部分を表示するステップ430は、光を平板ライトガイド内で光ビームとして非ゼロの伝播角度で導波するステップをさらに備えてもよい。3D電子ディスプレイを用いて走査領域の一部分を表示するステップ430は、平板ライトガイド上のマルチビーム回折格子のアレイを用いて、導波光ビームの一部分を回折によりカップリングして外へ出すステップをさらに備えてもよい。例えば導波光ビームの一部分を回折によりカップリングして外へ出すステップは、3D電子ディスプレイの異なる視像に対応する複数の異なる主角度方向に、平板ライトガイドから離れるように方向付けられた複数のカップリングして外へ出される光ビームを生成するステップを備えてもよい。さらに、3D電子ディスプレイを用いて走査領域の一部分を表示するステップ430は、複数のカップリングして外へ出される光ビームを、複数のライトバルブを用いて変調するステップをさらに備えてもよく、変調された光ビームは、3D電子ディスプレイの画素を表す。

さらに、車両監視方法400は、走査領域の一部分を3Dディスプレイ上に表示するステップ430の前に、3Dモデルに対して投影変換を適用するステップを備えてもよい。いくつかの実施形態では、投影変換は、ゼロ視差平面に対応する閾値距離よりも遠い距離にある画像内の物体に比べて、強調された物体の相対サイズを大きくするために、表示部分の奥行き圧縮を含んでもよい。
このように、閾値距離よりも車両に近い物体を視覚的に強調する車両監視システム、3D車両監視システム、および車両監視方法の例が説明された。上述の例は、本明細書で説明する原理を表す多数の特定の例のいくつかを単に例示するものであることが理解されるべきである。明らかに当業者は、添付の特許請求の範囲により定義される範囲から逸脱せずに数多くの他の構成を容易に考案することができる。
100 車両監視システム
102 走査領域
104 物体
106 平面
108 表示部分
110 3次元(3D)走査器
120 電子ディスプレイ
122 平板ライトガイド
124 マルチビーム回析格子
126 ライトバルブアレイ
210 マスク
220 輪郭線
230 警告アイコン
300 3次元(3D)車両監視システム
310 3Dカメラ
320 画像プロセッサ
330 3D電子ディスプレイ
400 車両監視方法

Claims (16)

  1. 車両に隣接した領域を走査するように構成された3次元(3D)走査器であって、前記走査が、前記走査された領域内に位置する物体の空間構成を含む3Dモデルを提供するために用いられる、走査器と、
    前記3Dモデルを用いて前記走査領域の一部分を表示し、前記車両からの閾値距離よりも近くに位置する前記表示された部分内の物体を視覚的に強調するように構成された電子ディスプレイであって、投影変換が、前記3D電子ディスプレイ上に前記表示された部分が表示される前に前記3Dモデルに適用される、電子ディスプレイであって、3D電子ディスプレイを備える、電子ディスプレイと、
    前記表示された部分が前記3Dディスプレイ上にレンダリングされる前に、前記3Dモデルに対して前記投影変換を適用するように構成された画像プロセッサと、を備え、
    前記3D電子ディスプレイによって表示された前記走査領域の前記一部分に関連付けられたゼロ視差平面に、前記閾値距離が対応しており、前記車両からの閾値距離よりも近くに位置する前記物体の前記視覚的な強調が、前記3D電子ディスプレイの前記ゼロ視差平面の前方に前記物体があるという視覚的な知覚であり、
    前記投影変換が、前記ゼロ視差平面に対応する前記閾値距離よりも長い距離にある表示された部分内の物体に比べて、前記強調された物体の相対サイズを大きくするように構成され、
    前記視覚的な強調が、前記閾値距離よりも前記車両に近い前記物体の、ユーザによる知覚を向上させるように構成された、車両監視システム。
  2. 前記3D走査器が、互いにずれた複数のカメラを備え、前記3D走査器からの距離が、前記複数のうちの異なるカメラによって捕捉された別々の画像を用いた視差推定によって判定される、請求項1に記載の車両監視システム。
  3. 前記3D走査器が飛行時間カメラを備える、請求項1または2に記載の車両監視システム。
  4. 前記3D走査器が、
    距離センサから前記走査領域内の複数の点までの距離を測定するように構成された前記距離センサと、
    前記走査領域の2次元(2D)画像を捕捉するように構成されたカメラとを備え、
    前記測定された距離が、前記3Dモデルを提供するための点群および物体メッシュのうちの一方または両方を生成するために用いられ、前記2D画像が、前記3Dモデルをペイントするために用いられる、請求項1から3のいずれか一項に記載の車両監視システム。
  5. 前記距離センサが、
    前記走査領域を走査するように構成されたレーザと、
    前記走査領域内の物体から反射されたレーザ光を用いて、前記複数の点までの距離を測定するように構成された光学センサとを備える、請求項4に記載の車両監視システム。
  6. 前記表示された部分内で前記車両からの閾値距離よりも近くに位置する前記物体の視覚的な強調が、前記電子ディスプレイによる、前記表示された物体に適用されたマスク、前記表示された物体の周りの輪郭線、および前記表示された物体を示す警告アイコンのうちの1つまたは複数を備える、請求項1から5のいずれか一項に記載の車両監視システム。
  7. 前記3D電子ディスプレイが、
    非ゼロの伝播角度で光ビームを導波するように構成された平板ライトガイドと、
    マルチビーム回折格子のアレイであって、前記アレイのマルチビーム回折格子が、前記3D電子ディスプレイの異なる視像に対応する異なる主角度方向を有する複数のカップリングして外へ出される光ビームとして、前記導波光ビームの一部分を回折によりカップリングして外へ出すように構成された、マルチビーム回折格子のアレイと、
    前記3D電子ディスプレイの前記異なる視像に対応する前記複数のカップリングして外へ出される光ビームを変調するように構成されたライトバルブアレイであって、前記変調された光ビームが、前記3D電子ディスプレイの画素を表す、ライトバルブアレイとを備える、請求項1から6のいずれか一項に記載の車両監視システム。
  8. 前記マルチビーム回折格子が、線形チャープ回折格子を備え、前記マルチビーム回折格子の回折特徴部が、前記平板ライトガイド表面内の曲線状の溝、および前記平板ライトガイド表面上の曲線状の隆線のうちの一方または両方を備える、請求項に記載の車両監視システム。
  9. 前記3D走査器が、前記車両の後方の領域を走査するように構成され、前記向上したユーザによる知覚が、前記車両が後ろ向きに動いているときに衝突回避を補助するように構成され、前記車両監視システムが、リアビューの後進補助車両監視システムである、請求項1から8のいずれか一項に記載の車両監視システム。
  10. 車両に隣接した領域の3D画像を捕捉するように構成された3Dカメラと、
    前記3D画像を用いて、前記3D画像化された領域の3Dモデルを提供し、前記3Dモデルに投影変換を適用するように構成された画像プロセッサであって、前記3Dモデルが、前記3D画像化領域内の物体の空間構成を含む、画像プロセッサと、
    前記3Dモデルを用いて前記3D画像化領域の一部分を表示し、前記車両からの閾値距離よりも近くに位置する前記表示された部分内の物体を視覚的に強調するように構成された3D電子ディスプレイであって、前記3D電子ディスプレイ上に前記3D画像化領域の一部分が表示される前に前記投影変換が適用される、3D電子ディスプレイとを備え、
    前記閾値距離が、前記3D電子ディスプレイによって表示されるように構成された前記3D画像化領域の前記一部分に関連付けられたゼロ視差平面に対応しており、前記表示された部分内の前記視覚的に強調された物体が、前記ゼロ視差平面の前方にあるものとして知覚され、
    前記投影変換が、前記表示された部分内の他の物体に比べて、前記視覚的に強調された物体の相対サイズを大きくするように構成され、前記他の物体が、前記ゼロ視差平面に対応する前記閾値距離よりも長い距離に位置し、
    前記視覚的に強調された物体が、前記車両が前記隣接領域の方向に動いているときに衝突回避を提供するように構成された、3次元(3D)車両監視システム。
  11. 前記3Dカメラが、互いにずれた複数のカメラ、飛行時間カメラ、およびレーザベースの距離センサと2次元(2D)カメラの複合体のうちの1つまたは複数を備える、請求項10に記載の3D車両監視システム。
  12. 前記3D電子ディスプレイが、マルチビーム格子ベースの3D電子ディスプレイを備える、請求項10または11に記載の3D車両監視システム。
  13. 3D走査器を用いて、車両に隣接する領域の3D走査を捕捉するステップと、
    前記捕捉された3D走査から3Dモデルを生成するステップであって、前記3Dモデルが、前記走査された領域内に位置する物体の空間構成を含む、生成するステップと、
    前記3Dモデルを用いて、前記走査領域の一部分を表示するステップとを含み、
    前記走査領域の一部分を表示するステップが、前記車両からの距離が閾値距離よりも短い前記表示された部分内の物体を視覚的に強調するステップを含み、
    前記3Dモデルを生成するステップが、前記3D電子ディスプレイ上に前記走査領域の前記一部分を表示するステップの前に、前記3Dモデルに対して投影変換を適用するステップを含み、
    前記閾値距離が、3D電子ディスプレイによって表示されるように構成された前記走査領域の前記一部分に関連付けられたゼロ視差平面に対応しており、前記表示された部分内の前記視覚的に強調された物体が、前記ゼロ視差平面の前方にあるものとして知覚され、
    前記投影変換が、前記表示された部分内の他の物体に比べて、前記視覚的に強調された物体の相対サイズを大きくするように構成され、前記他の物体が、前記ゼロ視差平面に対応する前記閾値距離よりも長い距離に位置し、
    前記視覚的に強調された物体が、前記閾値距離よりも前記車両に近い前記物体の、ユーザによる知覚を向上させるように構成された、車両監視方法。
  14. 前記走査領域の一部分を表示するステップが、3D電子ディスプレイを用いるステップをさらに含み、前記視覚的に強調された物体が、前記閾値距離に対応する前記3D電子ディスプレイのゼロ視差平面の前方にあるように見える、請求項13に記載の車両監視方法。
  15. 前記投影変換が、前記ゼロ視差平面に対応する前記閾値距離よりも長い距離にある前記走査領域内の物体に比べて、前記視覚的に強調された物体の相対サイズを大きくするために、前記表示された部分の奥行き圧縮を含む、請求項14に記載の車両監視方法。
  16. 前記3D電子ディスプレイを用いて前記走査領域の一部分を表示するステップが、
    光を、非ゼロの伝播角度で光ビームとして平板ライトガイド内で導波するステップと、
    前記平板ライトガイド上のマルチビーム回折格子のアレイを用いて、前記導波光ビームの一部分を回折によりカップリングして外へ出すステップであって、前記3D電子ディスプレイの異なる視像に対応する複数の異なる主角度方向に、前記平板ライトガイドから離れるように方向付けられた複数のカップリングして外へ出される光ビームを生成するステップを含む、前記導波光ビームの一部分を回折によりカップリングして外へ出すステップと、
    複数のライトバルブを用いて、前記複数のカップリングして外へ出される光ビームを変調するステップであって、前記変調された光ビームが、前記一部分を3D画像として表示するための前記3D電子ディスプレイの画素を表す、変調するステップとを含む、請求項14に記載の車両監視方法。
JP2018514771A 2015-05-30 2015-05-30 車両監視システム Active JP6754425B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2015/033432 WO2016195647A1 (en) 2015-05-30 2015-05-30 Vehicle monitoring system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020114638A Division JP2020187762A (ja) 2020-07-02 2020-07-02 車両監視システム

Publications (2)

Publication Number Publication Date
JP2018518000A JP2018518000A (ja) 2018-07-05
JP6754425B2 true JP6754425B2 (ja) 2020-09-09

Family

ID=57440791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018514771A Active JP6754425B2 (ja) 2015-05-30 2015-05-30 車両監視システム

Country Status (9)

Country Link
US (2) US10703375B2 (ja)
EP (1) EP3303088B1 (ja)
JP (1) JP6754425B2 (ja)
KR (1) KR102329110B1 (ja)
CN (1) CN107771344B (ja)
ES (1) ES2819239T3 (ja)
HK (1) HK1246955A1 (ja)
TW (1) TWI615299B (ja)
WO (1) WO2016195647A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017200965A1 (de) * 2017-01-20 2018-07-26 Robert Bosch Gmbh Verfahren zur Darstellung einer Umgebung eines Fahrzeuges
KR20180086794A (ko) * 2017-01-23 2018-08-01 삼성전자주식회사 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치.
US11422292B1 (en) 2018-06-10 2022-08-23 Apple Inc. Super-blazed diffractive optical elements with sub-wavelength structures
DE102019133642A1 (de) 2018-12-12 2020-06-18 Magna Closures Inc. Digitales bildgebungssystem einschliesslich optischer plenoptik-vorrichtung und bilddaten-verarbeitungsverfahren zur erfassung von fahrzeughindernissen und gesten
US20190141310A1 (en) * 2018-12-28 2019-05-09 Intel Corporation Real-time, three-dimensional vehicle display
CN109760688B (zh) * 2018-12-29 2020-07-28 百度在线网络技术(北京)有限公司 路段信息确定方法、装置、车辆及计算机可读存储介质
US11204417B2 (en) * 2019-05-08 2021-12-21 GM Global Technology Operations LLC Selective attention mechanism for improved perception sensor performance in vehicular applications
US11137534B2 (en) 2019-06-26 2021-10-05 Synaptics Incorporated Systems and methods for optical imaging based on diffraction gratings
JP2022541653A (ja) * 2019-07-26 2022-09-26 アワーズ テクノロジー リミテッド ライアビリティー カンパニー FMCW LiDARのための焦点平面アレイシステム
TWI706335B (zh) 2019-10-17 2020-10-01 國立交通大學 物件特徵定位裝置及雷射與攝像整合系統
US11436876B2 (en) * 2019-11-01 2022-09-06 GM Global Technology Operations LLC Systems and methods for diagnosing perception systems of vehicles based on temporal continuity of sensor data
US11754767B1 (en) 2020-03-05 2023-09-12 Apple Inc. Display with overlaid waveguide
CN112698353A (zh) * 2020-12-31 2021-04-23 清华大学苏州汽车研究院(吴江) 一种结构线激光与倾斜双目组合的车载视觉雷达***
DE102021203482A1 (de) 2021-04-08 2022-10-13 Volkswagen Aktiengesellschaft Verfahren und optisches Ausgabesystem für ein Fahrzeug zur optischen Ausgabe eines Merkmals eines in einem Fahrzeugumfeld befindlichen zu erfassenden Fahrzeugs
CN113752832B (zh) * 2021-09-13 2022-03-29 黑龙江天有为电子有限责任公司 一种汽车仪表盘

Family Cites Families (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2269697A (en) 1992-08-11 1994-02-16 Sharp Kk Display device
JP2979951B2 (ja) 1994-04-18 1999-11-22 凸版印刷株式会社 回折格子パターンを有するディスプレイ
JP3528994B2 (ja) 1994-11-08 2004-05-24 大日本印刷株式会社 液晶表示装置用平行光源及びそれを用いた液晶表示装置
JP3778966B2 (ja) 1995-07-31 2006-05-24 凸版印刷株式会社 フルカラー画像表示装置
KR100388372B1 (ko) 1995-08-23 2003-11-28 코닌클리케 필립스 일렉트로닉스 엔.브이. 평면패널화상디스플레이장치용조사시스템
JP3336200B2 (ja) 1995-12-12 2002-10-21 シャープ株式会社 要素ホログラムパネルを有する3次元像表示装置
US5721598A (en) 1995-12-26 1998-02-24 Hughes Electronics High efficiency, high color purity, on-axis holographic color filter and full-color liquid crystal display
US7215451B1 (en) 1996-04-15 2007-05-08 Dai Nippon Printing Co., Ltd. Reflection type diffuse hologram, hologram for reflection hologram color filters, etc., and reflection type display device using such holograms
JPH10117340A (ja) * 1996-10-11 1998-05-06 Yazaki Corp 車両周辺監視装置、この装置に用いられる警報表示方法、及びこの表示方法を記憶した媒体
WO1999008257A1 (en) 1997-08-05 1999-02-18 Allan John Davie Liquid crystal controlled display apparatus
JPH11142863A (ja) 1997-11-13 1999-05-28 Nec Corp 液晶表示パネルおよびその製造方法
ATE254291T1 (de) 1998-04-02 2003-11-15 Elop Electrooptics Ind Ltd Optische holographische vorrichtungen
CN1213097A (zh) 1998-10-29 1999-04-07 厦门大学 制作医学影像诊断用的断层组合三维全息显示装置
FI106323B (fi) 1998-12-30 2001-01-15 Nokia Mobile Phones Ltd Taustavalaistuksen valonjohdin litteälle näytölle
JP2000267041A (ja) 1999-03-16 2000-09-29 Fuji Xerox Co Ltd 頭部搭載型カラー映像投影装置、カラーホログラム光学素子、およびカラーホログラム光学素子の製造方法
FI107085B (fi) 1999-05-28 2001-05-31 Ics Intelligent Control System Valopaneeli
JP4006918B2 (ja) 2000-02-28 2007-11-14 オムロン株式会社 面光源装置及びその製造方法
JP2002031788A (ja) 2000-07-18 2002-01-31 Sony Corp 光学装置
US6919950B2 (en) 2000-08-29 2005-07-19 Roman S. Dabrowski Liquid crystal device and a liquid crystal material
US6490393B1 (en) 2000-11-27 2002-12-03 Advanced Interfaces, Llc Integrated optical multiplexer and demultiplexer for wavelength division transmission of information
CN100440004C (zh) 2001-09-28 2008-12-03 西铁城控股株式会社 液晶显示装置
US7027671B2 (en) 2002-03-18 2006-04-11 Koninklijke Philips Electronics N.V. Polarized-light-emitting waveguide, illumination arrangement and display device comprising such
GB0210568D0 (en) 2002-05-08 2002-06-19 Screen Technology Ltd Display
JP3742038B2 (ja) 2002-08-01 2006-02-01 Nec液晶テクノロジー株式会社 液晶表示装置およびその製造方法
JP2004077897A (ja) 2002-08-20 2004-03-11 Nippon Telegr & Teleph Corp <Ntt> 表示装置
KR100624408B1 (ko) 2003-01-07 2006-09-18 삼성전자주식회사 백라이트 유닛
US7184625B2 (en) 2003-02-11 2007-02-27 Luxtera, Inc Optical waveguide grating coupler incorporating reflective optical elements and anti-reflection elements
JP2004302186A (ja) 2003-03-31 2004-10-28 Mitsubishi Electric Corp 携帯情報端末
TWI257490B (en) 2003-07-09 2006-07-01 Hon Hai Prec Ind Co Ltd A light guide plate and a method of manufacturing the same
JP4043416B2 (ja) * 2003-07-30 2008-02-06 オリンパス株式会社 安全移動支援装置
JP2005062692A (ja) 2003-08-19 2005-03-10 Internatl Business Mach Corp <Ibm> カラー表示装置、光学素子、およびカラー表示装置の製造方法
JP2005075190A (ja) * 2003-09-01 2005-03-24 Nissan Motor Co Ltd 車両用表示装置
CN1619373A (zh) 2003-11-17 2005-05-25 鸿富锦精密工业(深圳)有限公司 导光板及背光模组
US7369584B2 (en) 2003-12-31 2008-05-06 Symbol Technologies, Inc. Laser projection display
US8723779B2 (en) 2004-01-26 2014-05-13 Mcmaster University Tiled optical fiber display
TWI254166B (en) 2004-05-25 2006-05-01 Au Optronics Corp 3D display system and method
WO2005117458A2 (en) 2004-05-26 2005-12-08 Tibor Balogh Method and apparatus for generating 3d images
US7903332B2 (en) 2004-10-13 2011-03-08 Koninklijke Philips Electronics N.V. Stereoscopic display apparatus
US7171080B2 (en) 2004-11-15 2007-01-30 Seagate Technology Llc Coupling grating for focusing light within a waveguide for heat assisted magnetic recording
EP1666933A1 (fr) 2004-12-02 2006-06-07 Asulab S.A. Dispositif optique a double fonction d'illumination et de formation d'une image figurative
US7773849B2 (en) 2004-12-14 2010-08-10 Oms Displays Ltd. Device and method for optical resizing and backlighting
JP4687160B2 (ja) * 2005-03-14 2011-05-25 アイシン精機株式会社 周辺監視装置
EP1696669B1 (en) 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
DE102005017313A1 (de) * 2005-04-14 2006-10-19 Volkswagen Ag Verfahren zur Darstellung von Informationen in einem Verkehrsmittel und Kombiinstrument für ein Kraftfahrzeug
CN1932602A (zh) 2005-09-14 2007-03-21 鸿富锦精密工业(深圳)有限公司 导光板
CN101288105B (zh) 2005-10-11 2016-05-25 苹果公司 用于物体重现的方法和***
WO2007042852A1 (en) 2005-10-13 2007-04-19 Nokia Corporation Illumination method for displaying different graphical layouts
JP2007145158A (ja) 2005-11-28 2007-06-14 Fujitsu Ten Ltd 車載用表示装置及びその表示制御方法
JP2007163294A (ja) 2005-12-14 2007-06-28 Sony Corp 腕時計、腕時計の表示方法、および、プログラム
JP4600269B2 (ja) 2005-12-21 2010-12-15 カシオ計算機株式会社 液晶表示装置
EP1966636A2 (en) 2005-12-22 2008-09-10 Université Jean-Monnet Mirror structure and laser device comprising such a mirror structure
US7823785B2 (en) 2006-05-18 2010-11-02 Panasonic Corporation Planar light source device and liquid crystal display device
US7714368B2 (en) 2006-06-26 2010-05-11 Aptina Imaging Corporation Method and apparatus providing imager pixel array with grating structure and imager device containing the same
US8740443B2 (en) 2006-07-03 2014-06-03 Core Wireless Licensing S.A.R.L. Changing graphics in an apparatus including user interface illumination
EP2076813B1 (en) 2006-09-28 2017-12-20 Nokia Technologies Oy Beam expansion with three-dimensional diffractive elements
JP5157115B2 (ja) 2006-09-28 2013-03-06 凸版印刷株式会社 回折格子から成る表示体およびそれを応用した印刷物
CN101568889B (zh) 2006-10-26 2013-03-20 视瑞尔技术公司 全息显示装置
WO2008049907A1 (en) 2006-10-26 2008-05-02 Seereal Technologies S.A. 3d content generation system
RU2009119058A (ru) 2006-10-31 2010-12-10 Ой Модинес Лтд. (Fi) Выходная световая структура для светового устройства
CN101589326B (zh) 2006-12-28 2011-06-29 诺基亚公司 用于在二维上扩展出射光瞳的设备
JP2008164963A (ja) 2006-12-28 2008-07-17 Citizen Electronics Co Ltd 光学装置および表示装置
US20110002143A1 (en) 2006-12-28 2011-01-06 Nokia Corporation Light guide plate and a method of manufacturing thereof
KR101086422B1 (ko) * 2007-01-05 2011-11-25 삼성전자주식회사 고효율 2차원/3차원 겸용 영상 표시장치
US20080204873A1 (en) 2007-02-23 2008-08-28 Strategic Patent Acquisitions Llc Techniques for three dimensional displays
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US7507012B2 (en) 2007-05-16 2009-03-24 Rohm And Haas Denmark Finance A/S LCD displays with light redirection
JP5010527B2 (ja) 2007-06-04 2012-08-29 住友化学株式会社 導光板ユニット、面光源装置及び液晶表示装置
EP2158518B1 (en) 2007-06-14 2015-01-14 Nokia Corporation Displays with integrated backlighting
US8494252B2 (en) 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
JP2009053499A (ja) 2007-08-28 2009-03-12 Fuji Xerox Co Ltd 光変調器および光変調モジュール
TWI363900B (en) 2007-10-04 2012-05-11 Ind Tech Res Inst Light guiding film
EP2208106A1 (en) * 2007-10-04 2010-07-21 3M Innovative Properties Company Embedded stereoscopic 3d display and 2d display film stack
US8619363B1 (en) 2007-11-06 2013-12-31 Fusion Optix, Inc. Light redirecting element comprising a forward diffracting region and a scattering region
JP2009123553A (ja) 2007-11-15 2009-06-04 Sumitomo Chemical Co Ltd 導光板、面光源装置及び液晶表示装置
US20090290837A1 (en) 2008-05-22 2009-11-26 The Chinese University Of Hong Kong Optical devices for coupling of light
JP2009288718A (ja) 2008-05-30 2009-12-10 Kyoto Institute Of Technology 共振グレーティングカップラ
GB2461294B (en) 2008-06-26 2011-04-06 Light Blue Optics Ltd Holographic image display systems
TWI428645B (zh) 2008-06-30 2014-03-01 Cpt Technology Group Co Ltd 彩色導光板以及液晶顯示裝置
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
WO2010010749A1 (ja) 2008-07-22 2010-01-28 シャープ株式会社 バックライトユニットおよび液晶表示装置
DE102008034594B4 (de) 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
JP2010102188A (ja) 2008-10-24 2010-05-06 Colcoat Kk 発光表示盤
JP2010108264A (ja) * 2008-10-30 2010-05-13 Honda Motor Co Ltd 車両周辺監視装置
US8044781B2 (en) * 2008-11-10 2011-10-25 Volkswagen Ag System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
WO2010052366A1 (en) 2008-11-10 2010-05-14 Nokia Corporation Diffractive backlight structure
TWI387316B (zh) 2008-11-18 2013-02-21 Ind Tech Res Inst 立體影像顯示裝置與立體影像顯示方法
CN101750664B (zh) 2008-12-12 2012-05-23 比亚迪股份有限公司 一种衍射导光薄膜及其制备方法
WO2010070537A1 (en) 2008-12-16 2010-06-24 Koninklijke Philips Electronics N.V. Device for mixing light
WO2010072065A1 (zh) 2008-12-25 2010-07-01 深圳市泛彩溢实业有限公司 全息三维图像信息采集装置、方法及还原装置、方法
US8026997B2 (en) 2009-01-28 2011-09-27 Sharp Laboratories Of America, Inc. Area active backlight with steerable light source
JP2010237416A (ja) 2009-03-31 2010-10-21 Sharp Corp 立体表示装置
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
RU2011146337A (ru) 2009-04-16 2013-05-27 Конинклейке Филипс Электроникс Н.В. Световодное устройство
DE102009003069A1 (de) 2009-05-13 2010-11-25 Seereal Technologies S.A. 3D-Anzeigedisplay mit steuerbarer Vorrichtung zum Nachführen von Sichtbarkeitsbereichen
WO2010138761A1 (en) 2009-05-29 2010-12-02 Qualcomm Mems Technologies, Inc. Illumination devices and methods of fabrication thereof
US8251563B2 (en) 2009-05-29 2012-08-28 Sharp Kabushiki Kaisha Polarized diffractive backlight
JP5669212B2 (ja) * 2009-06-08 2015-02-12 国立大学法人 名古屋工業大学 3次元情報提示装置
JP2011029161A (ja) 2009-06-26 2011-02-10 Sumitomo Chemical Co Ltd 立体表示装置
CN104090319B (zh) 2009-08-13 2017-06-20 凸版印刷株式会社 图像显示体及带标签的物品
JP2009295598A (ja) 2009-09-18 2009-12-17 Toppan Printing Co Ltd 導光板、それを用いた照明装置および表示装置
JP5240149B2 (ja) 2009-09-28 2013-07-17 三菱自動車工業株式会社 車両周辺監視装置
CN101739843B (zh) * 2009-12-04 2012-08-29 河海大学常州校区 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法
CN102102829A (zh) 2009-12-21 2011-06-22 富准精密工业(深圳)有限公司 发光二极管灯具
JP2011133677A (ja) 2009-12-24 2011-07-07 Toppan Printing Co Ltd ブランク媒体、画像表示体及び情報媒体
US8964013B2 (en) 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
TW201126204A (en) 2010-01-25 2011-08-01 J Touch Corp Three-dimensional video imaging device
EP2372512A1 (en) * 2010-03-30 2011-10-05 Harman Becker Automotive Systems GmbH Vehicle user interface unit for a vehicle electronic device
TWI424206B (zh) 2010-04-06 2014-01-21 Coretronic Corp 導光板及光源模組
JP5512380B2 (ja) 2010-04-30 2014-06-04 株式会社フジクラ 表示装置
GB201008599D0 (en) 2010-05-24 2010-07-07 Design Led Products Ltd Light guide device
JP2011258532A (ja) 2010-06-11 2011-12-22 Omron Corp 面光源装置及び立体表示装置
KR101680770B1 (ko) 2010-07-09 2016-11-29 삼성전자주식회사 백라이트 유닛 및 이를 구비하는 디스플레이장치
JP5659589B2 (ja) 2010-07-13 2015-01-28 株式会社ニコン 表示装置および制御方法
US8200055B2 (en) 2010-07-19 2012-06-12 Harish Subbaraman Two-dimensional surface normal slow-light photonic crystal waveguide optical phased array
JP4930631B2 (ja) 2010-09-27 2012-05-16 ソニー株式会社 立体表示装置
JP2012108316A (ja) 2010-11-17 2012-06-07 Sony Corp 立体表示装置
EP3557310A1 (en) 2010-11-19 2019-10-23 RealD Spark, LLC Directional flat illuminators
WO2012069071A1 (en) 2010-11-24 2012-05-31 Fraunhofer-Gesellschaft zur Föderung der angewandten Forschung e.V. Method for compensating a misalignment between a subpixel array of a display and an optical grating and autostereoscopic display
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
CN102170558B (zh) * 2010-12-30 2012-12-19 财团法人车辆研究测试中心 障碍物侦测警示***及方法
KR101807691B1 (ko) 2011-01-11 2017-12-12 삼성전자주식회사 3차원 디스플레이장치
CN102141707B (zh) 2011-03-30 2013-01-23 昆山龙腾光电有限公司 透光模式切换装置及二维/三维可切换显示设备
TWI476483B (zh) 2011-03-31 2015-03-11 Chi Mei Materials Technology Corp 顯示裝置及液晶顯示裝置
EP2511656A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Vermessungssystem zur Bestimmung von 3D-Koordinaten einer Objektoberfläche
CN202126538U (zh) 2011-06-17 2012-01-25 中航华东光电有限公司 一种柱面光栅高清lcd自由立体显示器
JP5861293B2 (ja) * 2011-07-20 2016-02-16 日産自動車株式会社 車輌用映像表示装置
US20130021453A1 (en) 2011-07-22 2013-01-24 Jean-Paul Gignac Autostereoscopic rear-view display system for vehicles
KR20130025767A (ko) 2011-09-02 2013-03-12 엘지디스플레이 주식회사 배리어 패널 및 이를 포함하는 입체영상 표시장치
DE102011082483A1 (de) * 2011-09-12 2013-03-14 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
US9019240B2 (en) 2011-09-29 2015-04-28 Qualcomm Mems Technologies, Inc. Optical touch device with pixilated light-turning features
KR102072124B1 (ko) 2011-11-24 2020-02-04 에스케이텔레콤 주식회사 세밀한 예측 단위를 사용하는 효과적인 부호화/복호화 방법 및 장치
US9389415B2 (en) 2012-04-27 2016-07-12 Leia Inc. Directional pixel for use in a display screen
US9459461B2 (en) 2012-05-31 2016-10-04 Leia Inc. Directional backlight
US9201270B2 (en) 2012-06-01 2015-12-01 Leia Inc. Directional backlight with a modulation layer
US8681423B1 (en) 2013-01-29 2014-03-25 Hewlett-Packard Development Company, L.P. Light modulation employing fluid movement
WO2014120160A1 (en) 2013-01-30 2014-08-07 Hewlett-Packard Development Company, L.P. Directional grating-based backlighting
US9298168B2 (en) 2013-01-31 2016-03-29 Leia Inc. Multiview 3D wrist watch
WO2014142851A1 (en) 2013-03-13 2014-09-18 Hewlett-Packard Development Company, L.P. Backlight having collimating reflector
JP6136565B2 (ja) * 2013-05-23 2017-05-31 日産自動車株式会社 車両用表示装置
US20140354684A1 (en) * 2013-05-28 2014-12-04 Honda Motor Co., Ltd. Symbology system and augmented reality heads up display (hud) for communicating safety information
JP5983547B2 (ja) * 2013-07-02 2016-08-31 株式会社デンソー ヘッドアップディスプレイ及びプログラム
PT2938919T (pt) * 2013-07-30 2019-01-21 Leia Inc Retroiluminação à base de rede de difração multifeixe
US9488589B2 (en) * 2013-10-29 2016-11-08 The Boeing Company Mapping damaged regions on objects
US9557466B2 (en) 2014-07-30 2017-01-31 Leia, Inc Multibeam diffraction grating-based color backlighting
DE112015006458B4 (de) * 2015-04-17 2019-05-23 Mitsubishi Electric Corporation Anzeigesteuervorrichtung, Anzeigesystem, Anzeigesteuerverfahren und Anzeigesteuerprogramm

Also Published As

Publication number Publication date
WO2016195647A1 (en) 2016-12-08
CN107771344A (zh) 2018-03-06
EP3303088B1 (en) 2020-06-24
US20200290622A1 (en) 2020-09-17
KR20180015608A (ko) 2018-02-13
US10703375B2 (en) 2020-07-07
JP2018518000A (ja) 2018-07-05
CN107771344B (zh) 2021-05-07
US20180072320A1 (en) 2018-03-15
ES2819239T3 (es) 2021-04-15
EP3303088A4 (en) 2019-01-23
TW201700322A (zh) 2017-01-01
KR102329110B1 (ko) 2021-11-18
US11203346B2 (en) 2021-12-21
TWI615299B (zh) 2018-02-21
HK1246955A1 (zh) 2018-09-14
EP3303088A1 (en) 2018-04-11

Similar Documents

Publication Publication Date Title
JP6754425B2 (ja) 車両監視システム
JP6851369B2 (ja) ヘッドトラッキングを備えたマルチビーム回折格子型ディスプレイ
US10901212B2 (en) Multibeam diffraction grating-based head-up display
EP3326358B1 (en) Multiview camera
JP2019520594A (ja) シフトマルチビーム素子を使用した角度サブピクセルレンダリングマルチビューディスプレイ
JP2019500634A (ja) マルチビーム回折格子ベースのニアアイディスプレイ
JP7178415B2 (ja) マルチビューカメラアレイ、マルチビューシステム、およびカメラサブアレイに共有カメラを備えさせる方法
TWI695189B (zh) 交叉渲染多視域攝影機、系統、及方法
JP2021508383A (ja) マルチビーム素子ベースのヘッドアップディスプレイ、システム、および方法
JP2020187762A (ja) 車両監視システム
JP2022514069A (ja) シフト可能な収束面を有するマルチビューディスプレイ、システム、及び方法
TW202014761A (zh) 具有使用者追蹤功能的多視像顯示器、系統和方法
JP2022540131A (ja) 導光体内にマルチビーム要素を有するマルチビューバックライト、ディスプレイ、及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190903

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200702

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200821

R150 Certificate of patent or registration of utility model

Ref document number: 6754425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250