JP7081835B2 - 車両制御のためのリアルタイムhdrビデオ - Google Patents

車両制御のためのリアルタイムhdrビデオ Download PDF

Info

Publication number
JP7081835B2
JP7081835B2 JP2019529136A JP2019529136A JP7081835B2 JP 7081835 B2 JP7081835 B2 JP 7081835B2 JP 2019529136 A JP2019529136 A JP 2019529136A JP 2019529136 A JP2019529136 A JP 2019529136A JP 7081835 B2 JP7081835 B2 JP 7081835B2
Authority
JP
Japan
Prior art keywords
sensor
hdr
camera
vehicle
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019529136A
Other languages
English (en)
Other versions
JP2019525688A (ja
Inventor
ウィリー シー. カイザー,
ノラ トッチ,
マイケル ディー. トッチ,
Original Assignee
コントラスト, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コントラスト, インコーポレイテッド filed Critical コントラスト, インコーポレイテッド
Publication of JP2019525688A publication Critical patent/JP2019525688A/ja
Application granted granted Critical
Publication of JP7081835B2 publication Critical patent/JP7081835B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/106Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/144Beam splitting or combining systems operating by reflection only using partially transparent surfaces without spectral selectivity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/76Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/247Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

(関連出願の相互参照)
本出願は、2016年8月9日に出願された米国仮出願第62/372,527号に対して優先権を主張する。上記文献の内容は、参照することによって援用される。
(技術分野)
本発明は、自律走行車両のためのシステムに関する。
(背景)
いくつかの企業が、自律走行(すなわち、自動運転)車両を製造している。Nevada州では、自動運転車およびトラックは、道路を法的に使用することができると宣言されている。他の州も、Nevadaの後に続き、道路上の任意の数の自律走行タクシー、トレーラトラック、プライベート高級車、および他のそのような車両を許可するであろうことが可能性として考えられる。
残念ながら、自律走行車両は、従来の車と同一限界の多くを被る。例えば、車両が慎重に運転される場合でも、予測不能環境内での運転に付随する事故のリスクがある。加えて、可視性または静止摩擦等の物理的限界も、従来の車と変わりなく、自律走行車両に当てはまる。突然の視界不良、判別不能車道マーカ、激しい豪雨または猛吹雪条件、ならびに夜間の黒っぽい衣類または暗色動物は全て、路上で安全にナビゲートする車両の能力に干渉し得るものの実施例である。ライダおよびレーダをカメラと組み合わせて使用する、自律走行車両でも、種々の不良条件では、事故を被りやすい。したがって、自律走行車両の広範な実装および使用を補助するための改良された技術の必要がある。
(要約)
本発明は、リアルタイム高ダイナミックレンジ(HDR)カメラを利用する、自律走行車両のためのシステムを提供する。本発明において使用するためのHDRカメラは、複数の画像センサからのピクセル値のパイプライン処理を備え、車両の環境のビューを、リアルタイムで、フレーム独立様式において、車両が動作するにつれて提供する。ピクセル値が、カメラの画像センサによって提供されるにつれて、それらの値は、ビデオ情報を使用する前に、画像全体またはフレームを待機して、収集する任意の要件を伴わずに、直接、パイプライン処理動作を通して、HDRシステムにストリーミングされる。パイプラインは、画像の飽和した部分とより少ない光の画像の対応する部分を置換し、場面の非常に少ない光の部分および非常に強く照らされた部分を含むように拡張するダイナミックレンジを伴う、ビデオをストリーミングすることによって、異なる光レベルで撮影された画像を融合するように動作する。ダイナミックレンジが、高いため、車両は、場面が、近づいて来る車両のヘッドライトまたは太陽光等の明るい光によって占められている場合でも、ぼんやりし、判別することが困難な特徴を検出する。HDRビデオカメラは、車両の主要な道路視認システムであり得る、またはパノラマカメラ等の他の検出システムまたはライダもしくはレーダのような検出および測距システムと協働し得る。
リアルタイムストリーミングHDRビデオカメラを使用することによって、HDRシステムは、車両が特徴に応答して制御され得るように十分に急速に、環境内のそれらの特徴を検出および解釈することができる。例えば、不良に照らされた道路標識が、システムによって読み取られることができるだけではなく、予期しない危険も、事故が回避されるように間に合うように、確認および処理されることができる。カメラは、HDRであるため、危険は、環境がヒト視覚的検出を困難または不可能にさせるであろう場合でも、検出され得る。複数のセンサが、異なる光レベルで動作するため、目を眩ますような太陽が場面内に現れる場合でも、低露光センサが、道路上の障害物の画像を形成することができる。カメラは、HDRビデオを制御システムにリアルタイムでストリーミングするため、制御システムは、環境の突然の変化に応答することができる。例えば、車両は、あるオブジェクトが車道内に予想外に現れる場合、ブレーキをかけることができる。車両は、見え難いオブジェクトを検出および解釈するため、かつ車両は、予期しない特徴にリアルタイムで反応可能であるため、損失の大きい衝突は、回避されるであろう。自律走行車両の動作は、より安全であり、それらの車両を広範囲の商業用および娯楽用の使用のために好適なものにするであろう。
ある側面では、本発明は、車両のためのHDRシステムを提供する。本システムは、リアルタイムHDRビデオを生産するように動作可能である、HDRカメラと、処理システムとを含む。処理システムは、HDRカメラおよび車両の制御システムと通信する。HDRビデオを使用して、処理システムは、車両の環境内のアイテムの外観を判定し、制御システムに、アイテムの外観に基づいて、車両の動作の変更を指示する命令を発行する。
HDRシステムは、車両が工場から出荷される際、車両のOEM部品として据え付けられることができる。HDRシステムは、OEM車両製造業者に販売され、例えば、アセンブリライン上で車両の中に統合される、または販売業者オプションとして追加される、コンポーネントであることができる。HDRシステムは、例えば、既存の車両と併用されるために、消費者に販売される、アフターマーケット付属品であることができる。
HDRシステムは、車両のナビゲーション、安全性、またはエンターテインメントシステムを拡張させること等によって、完全自律走行車両内において、運転手補助特徴の一部として、または主要運転機能外の付属機能性を提供するために採用され得る、機能性をもたらす。HDRシステムは、車線マークを読み取り、車両を車線内に保つことを補助してもよい。本システムは、例えば、HDRカメラを使用して、路上標識または他の目印を読み取り、ナビゲーション補助を提供してもよい。加えて、または代替として、HDRカメラは、沈下、バンプ、くぼみ、工事、金属板等の道路条件を検出および解釈し、そのような特徴のための車の電子サスペンションダンピングを設定するために使用されてもよい。本システムは、1つ以上のHDRカメラを使用して、情報を収集し、例えば、道路の建設等の大規模な地図作成計画およびナビゲーションまたは緊急サービスシステムのための事業用データベースのために、情報をサーバにフィードしてもよい。好ましい実施形態では、HDRカメラベースのシステムは、完全自律走行車両の有用性および安全性を改良するために使用される。本明細書により詳細に議論されるように、完全自律走行車両は、HDRビデオカメラベースのシステムを使用して、道路および環境内のあらゆる様式の詳細を完全に確認および解釈し、動作時、最適化された安全性および効率を提供することができる。
HDRシステムは、消費者の「乗用車」または相乗り用の車もしくはレンタカー等の自動車の一部として、またはそこで使用するために提供されてもよい。そのような車両は、典型的には、2~7つの座席と、セダン、コンパクトSUVまたはCUV、SUV、ワゴン、クーペ、軽トラック、ロードスター、またはスポーツカー等の形状因子とを有するであろう。加えて、または代替として、HDRシステムは、貨物トラック、セミトレーラー、バス、または他の載荷車両の一部として、またはそこで使用するために提供されてもよい。HDRシステムは、HUMVEE、戦車、ジープ、消防車、警察車両、救急車、爆弾部隊車両、人員輸送車等、軍事または緊急応答車両の一部として、またはそこで使用するために提供されてもよい。HDRシステムは、フォークリフト、物流設備内の倉庫用ロボット、オフィス用メールカート、ゴルフカート、パーソナルモビリティデバイス、自律走行現金輸送車、Hollywood映画撮影機台、遊園地の乗り物、軌道式または無軌道式鉱石運搬車、またはその他等、多目的車両の一部として、またはそこで使用するために提供されてもよい。HDRシステムは、船舶、飛行機、電車、または潜水艦等の非道路走行車両の一部として、またはそこで使用するために提供されてもよい。実際、HDRカメラは、暗闇、急速に明滅する光、極めて明るい光、予期しないまたは予測不能な照明の変化、明滅する緊急光、ゲルまたは他のデバイスを通してフィルタリングされた光、暗視照明等、ヒトの眼にあまり好適ではない照明条件下で動作する、車両のための特定の利点をもたらすことが見出され得る。したがって、ヒトによってのみ制御される車両と比較して、制御システムを使用する車両は、夜間、地下、Times Square、雷鳴を伴う嵐、住宅火災または森林火災、非常道路条件、戦闘、深海ダイビング、鉱山等の環境内においてより良好な性能を発揮し得る。
HDRシステムは、軍事または緊急車両の一部として、またはそこで使用するために提供されてもよい。リアルタイムHDRビデオカメラは、多忙な環境内の多数の入力等、ヒトが処理することが困難である、または遠く離れた非常に小さな事物等、入力を検出することが難しいであろう、種々の入力を検出し、それに応答する能力を提供する。一実施例にすぎないが、HDRシステムを使用する飛行中隊は、相互ならびに周囲の雲、鳥、地形等を検出し、それに応答し、例えば、完璧な隊形で長距離にわたって飛行し、さらに、種々の地形にわたって、ある臨界高度下で飛行しながら、隊形を維持し得る。いくつかの実施形態では、HDRシステムは、軍事または緊急車両のためのものであり、自動操縦を提供する、または機能性を補助する。オペレータは、ある時間にわたって車両を制御するようにシステムを設定することができる。加えて、または代替として、本システムは、万一、オペレータが、意識を失う、注意が逸れる、パニックボタンを押下する等の場合、オペレータに介入するようにプログラムされることができる。例えば、本システムは、眼追跡装置または心拍数モニタ等の生理学的センサに接続されることができ、万一、そのようなセンサがある閾値を超える値(例えば、非常に低いまたは上昇心拍数、不自然または抑制された眼移動、もしくは目下の進行経路に向かって指向されていない眼移動)を検出する場合、バックアップ動作モードを開始することができる。本システムは、車両をある保持パターン下に設置する、例えば、パイロットが睡眠中、数時間にわたって、高高度で旋回飛行するように動作されることができる。様々な特徴および機能性が、車両によって提供され得ることを理解されるであろう。
好ましい実施形態では、本システムは、リアルタイムHDRビデオカメラと、カメラおよび車両の制御システムと通信する、処理システムとを含む。車両の制御システムは、典型的には、車両のOEM電子制御ユニット(ECU)、例えば、車両内に据え付けられる(例えば、防火壁にボルト留めされる)プロセッサに結合されるメモリと、燃料噴射マッピング、トルク感知/トルクベクトリング、操向等の制御機能とを含む、ハードウェアユニットを含むであろう。HDRカメラの処理システムは、車両ECUと「会話」するようにプログラムされる。車両は、ECU機能性を提供する、1つ以上のユニットを有してもよいことを理解されたい。本明細書で使用されるように、ECUは、車両上でともに動作する、全てのそのようなユニットを指すと見なされ得る。
好ましい実施形態では、HDRカメラは、処理デバイスに結合される、複数の画像センサ(順に、処理システムにリンクされ得る)を有する。HDRカメラは、ピクセル値を画像センサから、フレーム独立様式において、処理デバイス上のパイプラインを通してストリーミングする。パイプラインは、飽和したピクセル値を識別する、カーネル演算と、ピクセル値を融合し、HDRビデオをリアルタイムで生産するための融合モジュールとを含む。
カメラは、車両上に定常搭載されてもよい。カメラは、ある方向に向けられてもよい、または移動してもよい。例えば、カメラは、360度回転してもよい。HDRカメラは、例えば、環状形状の画像を捕捉する定常360度カメラまたは回転する指向性カメラのいずれかである、車両の周囲の360度ビューを捕捉する、360度カメラであってもよい。捕捉された360度ビューが環状形状である、実施形態では、処理システムは、デワーピングプロセスを実施し、360度ビューを長方形パノラマ画像に変換してもよい(例えば、ヒトへの表示のために)。
ある実施形態では、本システムは、検出および測距センサ(概して、レーダまたはライダセンサ)と協働する、またはそれを含むように動作可能である。処理システムは、検出および測距センサを用いて、オブジェクトを検出し、HDRカメラを用いて、オブジェクトを検出し、HDRビデオ内のオブジェクトの画像と検出および測距システムを介して判定されたオブジェクトの検出された範囲を相関させるように動作可能であってもよい。
本システムは、種々の特徴および利点を提供する。例えば、HDRカメラシステムは、特に、高グレア条件下で動作するように適合されてもよい。例えば、夜間の混雑時間の間、都市を運転する際、処理システムは、360度ビュー内の環境内のグレアを検出し、HDRカメラを使用して、グレアによって影響される環境の一部のHDR画像を捕捉するように動作可能であってもよい。本システムは、特に、光レベルが重要な情報を提供する状況に応答するように適合されてもよい。例えば、HDRカメラは、別の車両のテールライト等のアイテムの外観を検出し、テールライトの照明ステータスを検出することができる。HDRビデオは、太陽光の直接または反射されたビューを含む場合でも、HDRカメラは、場面内で移動するオブジェクトの存在を検出することができる。
HDRカメラ自体は、好ましくは、レンズと、少なくとも1つのビーム分割器とを含む。複数の画像センサは、少なくとも高露光(HE)センサと、中間露光(ME)センサとを含む。HEセンサ、MEセンサ、レンズ、および少なくとも1つのビーム分割器は、光の入射ビームを受信し、光のビームをHEセンサ上に衝突する少なくとも第1の経路と、MEセンサ上に衝突する第2の経路とに分割するように配列されてもよい。ビーム分割器は、光の大部分を第1の経路に、光のより少ない量を第2の経路に指向する。好ましい実施形態では、第1の経路および第2の経路は、それぞれ、HEおよびMEセンサ上に衝突し、光レベル以外光学的に同じである画像を生成する。HDRカメラの処理デバイスは、パイプラインを含む、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路であってもよい。いくつかの実施形態では、カーネル演算は、複数の画像センサのそれぞれからストリーミングされるにつれて、HEセンサ上の所与のピクセルに関して、所与のピクセルを囲繞するピクセルの近傍からの値を検査し、ピクセルの近傍内の飽和した値を見出し、MEセンサ上の対応する近傍からの情報を使用して、所与のピクセルに関する値を推定することによって、ピクセル値に作用する。随意に、パイプラインは、ピクセル値がフローする順序において、ピクセル値が処理デバイス上に複数の画像センサからストリーミングされるにつれて、ピクセル値を同期させるための同期モジュールと、カーネル演算と、融合モジュールと、デモザイク処理モジュールと、トーンマッピングオペレータとを含んでもよい。
ある側面では、本発明は、リアルタイムHDRビデオを生産するように動作可能である、HDRカメラと、車両の動作のために構成される、制御システムと、処理システムとを含む、車両を提供してもよい。処理システムは、HDRビデオに基づいて、車両の環境内のアイテムの外観を判定し、制御システムに、アイテムの外観に基づいて、車両の動作の変更を行わせるように動作可能である。好ましくは、HDRカメラは、処理デバイスに結合される、複数の画像センサを含み、HDRカメラは、フレーム独立様式において、処理デバイス上のパイプラインを通して複数の画像センサのそれぞれからのピクセル値をストリーミングされるように構成され、パイプラインは、飽和したピクセル値を識別する、カーネル演算と、ピクセル値を融合し、HDRビデオをリアルタイムで生産する、融合モジュールとを含む。
車両は、車両の周囲の360度ビューを捕捉する、360度カメラを含んでもよい。いくつかの実施形態では、捕捉された360度ビューは、環状形状であり、処理システムは、デワーピングプロセスを実施し、360度ビューを長方形パノラマ画像に変換する。360度カメラ自体が、パイプライン処理を実施する、リアルタイムHDRビデオカメラであってもよい。加えて、または代替として、HDRビデオカメラは、360度カメラの動作を補完してもよい。例えば、処理システムは、360度ビュー内の環境内のグレアを検出し、HDRカメラを使用して、グレアによって影響される環境の一部のHDR画像を捕捉してもよい。本発明のシステムはまた、車両上の離散位置に設置される、別個のリンクされたカメラを含んでもよい。
いくつかの実施形態では、車両は、レーダまたはライダデバイス等の検出および測距センサを含む。処理システムは、検出および測距センサとHDRカメラの両方を用いて、オブジェクトを検出し、HDRビデオ内のオブジェクトの画像と検出および測距システムを介して判定されたオブジェクトの検出された範囲を相関させる。
処理システムおよび制御システムは、アイテムの外観に基づいて、車両の動作の変更を行う。一実施例では、アイテムは、別の車両のテールライトであり、外観の判定は、テールライトの照明ステータスを検出することを含む。別の実施例では、HDRビデオは、太陽光を含み、アイテムは、移動するオブジェクトであり、外観の判定は、アイテムが存在することを判定することを含む。
好ましい実施形態では、HDRカメラは、複数の画像センサと、単一レンズとを使用する。画像センサは全て、光レベル以外同じである(例えば、組成および露光時間において)画像を捕捉する。HDRカメラは、レンズと、少なくとも1つのビーム分割器とを含んでもよい。複数の画像センサは、好ましくは、少なくとも、高露光(HE)センサと、中間露光(ME)センサとを含む。HEセンサ、MEセンサ、レンズ、および少なくとも1つのビーム分割器は、入射光のビームを受信し、光のビームを、少なくとも、HEセンサに衝突する第1の経路と、MEセンサに衝突する第2の経路とに分割するように配列されてもよい。ビーム分割器は、光の大部分を第1の経路に指向し、より少ない量の光を第2の経路に指向する。第1の経路および第2の経路は、HEおよびMEセンサに衝突し、それぞれ、光レベル以外光学的に同じである画像を生成する。
ある実施形態では、処理デバイスは、パイプラインを含む、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路を備える。カーネル演算は、複数の画像センサのそれぞれからストリーミングされるにつれて、HEセンサ上の所与のピクセルに関して、所与のピクセルを囲繞するピクセルの近傍からの値を検査し、ピクセルの近傍内の飽和した値を見出し、MEセンサ上の対応する近傍からの情報を使用して、所与のピクセルに関する値を推定することによって、ピクセル値に作用してもよい。いくつかの実施形態では、パイプラインは、ピクセル値がフローする順序において、ピクセル値が処理デバイス上に複数の画像センサからストリーミングされるにつれて、ピクセル値と同期するための同期モジュールと、カーネル演算と、融合モジュールと、デモザイク処理モジュールと、トーンマッピングオペレータとを含む。パイプラインはさらに、色補正モジュール、HDR変換モジュール、およびHDR圧縮モジュールのうちの1つ以上を含んでもよい。
本発明の側面は、車両を動作させるための方法を提供する。本方法は、車両上のHDRカメラを介して、光を受信するステップを含む。ビーム分割器は、センサ上の複数のピクセル毎に値を捕捉する、複数の画像センサ上に光を分割する。分割ステップとともに、本方法は、好ましくは、ピクセル値を、カーネル演算を使用して、飽和したピクセル値を識別する、処理デバイスと、ピクセル値を融合し、HDRビデオをリアルタイムで生産する、融合モジュールとにストリーミングするステップを含む。本方法は、ビデオをデモザイク処理するステップを含んでもよい。本方法は、処理システムによって、HDRビデオに基づいて、車両の環境内のアイテムの外観を判定するステップと、アイテムの外観に基づいて、制御システムに車両の動作の変更を行わせるステップとを含む。車両は、好ましくは、自律走行車両である。
本発明は、例えば、以下の項目を提供する。
(項目1)
HDRシステムであって、
リアルタイムHDRビデオを生産するように動作可能であるHDRカメラと、
前記HDRカメラおよび車両の制御システムと通信するように構成されている処理システムであって、前記処理システムは、前記HDRビデオに基づいて、前記車両の環境内の特徴の特性を判定し、前記制御システムに、前記特性に基づいて、前記車両の動作の変更を指示する命令を発行するように動作可能である、処理システムと
を備える、システム。
(項目2)
前記HDRカメラは、処理デバイスに結合された複数の画像センサを備え、前記HDRカメラは、ピクセル値を前記複数の画像センサのそれぞれから、フレーム独立様式において、パイプラインを通して、前記処理デバイス上にストリーミングするように構成され、前記パイプラインは、飽和したピクセル値を識別するカーネル演算と、前記ピクセル値を融合し、前記HDRビデオをリアルタイムで生産する、融合モジュールとを含む、項目1に記載のシステム。
(項目3)
前記HDRカメラは、前記車両の周囲の360度ビューを捕捉する、項目2に記載のシステム。
(項目4)
前記捕捉された360度ビューは、環状形状であり、さらに、前記処理システムは、デラッピングプロセスを実施し、前記360度ビューを長方形パノラマ画像に変換する、項目3に記載のシステム。
(項目5)
検出および測距センサをさらに備え、前記処理システムは、前記検出および測距センサを用いて、オブジェクトを検出し、HDRカメラを用いて、前記オブジェクトを検出し、前記HDRビデオ内のオブジェクトの画像と前記検出および測距システムを介して判定されたオブジェクトの検出された範囲を相関させるように動作可能である、項目4に記載のシステム。
(項目6)
前記処理システムは、前記360度ビュー内の前記環境内のグレアを検出し、前記HDRカメラを使用して、前記グレアによって影響される前記環境の一部のHDR画像を捕捉するように動作可能である、項目2に記載のシステム。
(項目7)
前記カメラはさらに、レンズと、少なくとも1つのビーム分割器とを備える、項目2に記載のシステム。
(項目8)
前記複数の画像センサは、少なくとも高露光(HE)センサと、中間露光(ME)センサとを含む、項目7に記載のシステム。
(項目9)
前記HEセンサ、前記MEセンサ、前記レンズ、および前記少なくとも1つのビーム分割器は、光の入射ビームを受信し、前記光のビームを、少なくとも、前記HEセンサ上に衝突する第1の経路と、前記MEセンサ上に衝突する第2の経路とに分割するように配列されている、項目8に記載のシステム。
(項目10)
前記ビーム分割器は、前記光の大部分を前記第1の経路に、前記光のより少ない量を前記第2の経路に指向する、項目9に記載のシステム。
(項目11)
前記第1の経路および前記第2の経路は、それぞれ、前記HEおよび前記MEセンサ上に衝突し、光レベル以外光学的に同じである画像を生成する、項目10に記載のシステム。
(項目12)
前記処理デバイスは、前記パイプラインを含む、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路を備える、項目11に記載のシステム。
(項目13)
前記カーネル演算は、前記HEセンサ上の所与のピクセルに関して、前記所与のピクセルを囲繞するピクセルの近傍からの値を検査し、前記ピクセルの近傍内の飽和した値を見出し、前記MEセンサ上の対応する近傍からの情報を使用して、前記所与のピクセルに関する値を推定することによって、前記複数の画像センサのそれぞれからストリーミングされるにつれて、ピクセル値に作用する、項目12に記載のシステム。
(項目14)
前記パイプラインは、前記ピクセル値がフローする順序において、
前記ピクセル値が前記処理デバイス上に前記複数の画像センサからストリーミングされるにつれて、前記ピクセル値を同期させるための同期モジュールと、
前記カーネル演算と、
前記融合モジュールと、
デモザイク処理モジュールと、
トーンマッピングオペレータと
を含む、項目13に記載のシステム。
(項目15)
前記パイプラインはさらに、色補正モジュール、HDR変換モジュール、およびHDR圧縮モジュールのうちの1つ以上を備える、項目14に記載のシステム。
図1は、リアルタイムHDRビデオカメラを含む、車両を示す。 図2は、HDRカメラによって記録され得る、場面を図示する。 図3は、HDRカメラによって確認され得る、幹線道路標識を図示する。 図4は、車両内の種々のセンサによって提供されるような視野を図示する。 図5は、360度カメラによって捕捉された環状形状のビューを示す。 図6は、環状形状のビューに対応する標準的ビューを図示する。 図7は、ある実施形態による、リアルタイムHDRビデオカメラを示す。 図8は、HDRカメラ内の複数のセンサのための配列を示す。 図9は、HDRカメラ上の処理デバイスを示す。 図10は、ピクセル値と同期するための同期モジュールの動作を示す。 図11は、カーネル演算に提示されるピクセル値を図示する。 図12は、現在のピクセルをその近傍に隣接して設置する、回路モデルを示す。 図13は、融合するためのアプローチを図示する。 図14は、カメラ応答曲線を示す。 図15は、色補正プロセスを図示する。 図16は、車両内に含まれ得る、情報フローを図示する。 図17は、車両を動作させるための方法のステップを図示する。 図18は、本発明の方法が有益であると証明され得る、場面を描写する。 図19は、本方法が使用され得る、別の場面を図示する。
(詳細な説明)
自律走行車両は、全体的先進運転支援システム(ADAS)の一部として、種々のデジタルセンサを使用する。ADASは、運転上の決定を行うために、複数のデータソースおよびセンサからの入力に依拠する。ADASは、安全性およびより良好な運転のため、車両システムを自動化する、適合させる、または向上させるために車両内に含まれる。ADASは、運転手に潜在的問題をアラートする技術をもたらすことによって、衝突および事故を回避する、または安全保護を実装し、車両の制御を引き継ぐことによって、衝突を回避するように設計される、特徴を含む。適応特徴は、照明を自動化する、アダプティブ・クルーズ・コントロールを提供する、制動を自動化する、GPSまたはトラフィック警告を組み込む、スマートフォンに接続する、運転手に他の車または危険をアラートする、車両を正しい車線内に保つ、または「盲点」内の対象を監視してもよい。本明細書で使用されるように、ADASは、車両を制御するためにともに動作する、コンポーネントの全てを指すと見なされ得る(例えば、カメラ、加えて、ECU、加えて、検出器等)。ADASのコンポーネントは、車に内蔵される、アフターマーケットアドオンパッケージとして追加される、または両方の組み合わせであってもよい。ADASは、自動撮像、ライダ、レーダ、画像処理、コンピュータビジョン、および車内ネットワーキングを含む、複数のデータソースからの入力を使用してもよい。車両間(V2V)または車両/インフラストラクチャ(移動電話またはWi-Fiデータネットワーク等)システムと称される、他の車両等の主要車両プラットフォームと別個の他のソースからの付加的入力も、可能性として考えられる。
ここでは、ADASの中に統合され得るリアルタイムHDRビデオカメラを伴う、自律走行車両のための制御システムが、提供される。リアルタイムHDRビデオの使用は、帯域幅および待ち時間を少量に保ちながら(リアルタイム)、コントラスト比、色情報、および安全性機能のために必要とされる重要な詳細を増加させることによって、ADAS全体を通した全ての撮像センサからのデータの品質を増加させ得る。
HDRシステムは、車両のナビゲーション、安全性、またはエンターテインメントシステムを拡張させること等によって、完全自律走行車両内、運転手補助特徴の一部として、または主要運転機能外の付属機能性を提供するために採用され得る、機能性をもたらす。本システムは、例えば、HDRカメラを使用して、路上標識または他の目印を読み取り、ナビゲーション補助を提供してもよい。加えて、または代替として、HDRカメラは、沈下、バンプ、くぼみ、工事、金属板等の道路条件を検出および解釈し、そのような特徴のための車の電子サスペンションダンピングを設定するために使用されてもよい。本システムは、1つ以上のHDRカメラを使用して、情報を収集し、例えば、道路の建設等の大規模な地図作成計画およびナビゲーションまたは緊急サービスシステムのための事業用データベースのために、情報をサーバにフィードしてもよい。好ましい実施形態では、HDRカメラベースのシステムは、完全自律走行車両の有用性および安全性を改良するために使用される。本明細書により詳細に議論されるように、完全自律走行車両は、HDRビデオカメラベースのシステムを使用して、道路および環境内のあらゆる様式の詳細を完全に確認および解釈し、動作時、最適化された安全性および効率を提供することができる。
本発明の実施形態は、軍事車両のためのHDRシステムを提供する。本システムは、リアルタイムHDRビデオを生産するように動作可能である、HDRカメラと、処理システムとを含む。処理システムは、HDRカメラおよび車両の制御システムと通信する。HDRビデオを使用して、処理システムは、車両の環境内のアイテムの外観を判定し、制御システムに、アイテムの外観に基づいて、車両の動作の変更を指示する命令を発行する。処理システムは、武器または標的追跡システム、ナビゲーションシステム、制御システム、またはそれらの組み合わせとインターフェースをとるようにプログラムされることができる。車両は、例えば、リアルタイムHDRビデオカメラを使用して、本質的に、悪照明条件下にあり、悪条件地形を通して運転する、Humveeまたは人員輸送車であってもよい。HDRビデオカメラは、ヒトオペレータのためのディスプレイを提供することができる、車両は、自律走行することができる、または車両は、ヒトオペレータを補助する、自律走行システムを有することができる。カメラは、HDRであるため、爆発等の明るい光の突然の閃光は、環境を確認およびナビゲートするHDRシステムの能力を損なわせない。
本発明の実施形態は、船舶のためのHDRシステムを提供する。本システムは、リアルタイムHDRビデオを生産するように動作可能である、HDRカメラと、処理システムとを含む。処理システムは、HDRカメラおよび船舶の制御システムと通信する。HDRビデオを使用して、処理システムは、船舶の環境内のアイテムの外観を判定し、制御システムに、アイテムの外観に基づいて、船舶を制御する命令を発行する。船舶は、本質的に、水によって囲繞され、車道と同一の視覚的キューをもたらさない。波間の***および谷が、空中の砕波波頭および海泡とともに、ヒトの眼に見えることが予期されるアンカポイントのタイプを伴うことなく、突然の明るい太陽光の輝きの場面および急速に変化するコントラスト場面を提示し得る。ヒトは、港へと航行することに試みることに注意力を消耗し、波のうねりを理解するための注意力が残っていない状態となり得る。さらに、波頭および海泡ならびに全てのブイが示す内容を読み取ることは、本質的に、広大な海におけるいりくんだパターン(空間および時間的の両方において)の視覚的コントラストに起因して、ヒトにとって困難であり得る。加えて、絶え間のない永久に続く波の喧騒は、内耳の平衡手段に対する手掛かりを与えず、上下および左右を含む、絶対基準フレームを正しく知覚するために必要なヒトオペレータの運動感覚を失わせ得る。HDRシステムは、波の表面を読み取り、ブイおよび他のナビゲーションマーカを検出および解釈し、船舶を制御する音を補助し得る。随意に、HDRシステムは、全地球測位システム、コンパス、レベル、または他のそのような計器と通信し、絶対基準フレームを維持してもよい。本システムは、海底を読み取る、または障害物を予期し得る、ソナーシステムと相互作用する、またはそれを含んでもよい。処理システムは、本情報を合成し、例えば、船舶を造船台から海に運転し、港から航行する、自動運転モード等の有用な利点をもたらすことができる
本発明の実施形態は、船舶、飛行機、または道路走行車両等の車両のための自動運転モードを提供する、HDRシステムを提供する。本システムは、リアルタイムHDRビデオを生産するように動作可能である、HDRカメラと、処理システムとを含む。処理システムは、HDRカメラおよび車両の制御システムと通信する。HDRビデオを使用して、処理システムは、環境内のアイテム、ナビゲーション目標、目印等を識別し、ヒトの関与を伴わずに、車両の動作を制御する。
図1は、HDRカメラ201と、処理システム113とを備える、HDRシステムを含む、車両101を示す。HDRカメラ201は、リアルタイムHDRビデオを生成する。HDRカメラ201は、処理システム113を通した車両の動作のために構成される、制御システム125と通信する。制御システム125は、概して、車両101を動作させる、スロットル、ブレーキ、操向等を含む、またはそれと相互作用する。制御システム125は、燃料噴射器を動作させる、電子制御ユニット(ECU)と、直接、車両101を動作させる、システム、モータ、スイッチ、およびコンピュータとを含むと見なされ得る。処理システム113は、HDRカメラ201からの画像と併用され、それらの画像からの情報に基づいて、有意義な決定を行う、プロセッサ(例えば、チップ)、メモリ、プログラミング、アセット(例えば、マップ、学習されたパターン等)を含む。
HDRシステムは、車両が工場から出荷される際、車両のOEM部品として据え付けられることができる。HDRシステムは、OEM車両製造業者に販売され、例えば、アセンブリライン上で車両の中に統合される、または販売業者オプションとして追加される、コンポーネントであることができる。HDRシステムは、例えば、既存の車両と併用されるために、消費者に販売される、アフターマーケット付属品であることができる。いったん車両上に据え付けられると、HDRシステムは、車両のADASの一部であると見なされ得る。
ADASは、制御システム125と、処理システム113とを含む。車両101は、随意に、ADASの一部として、レーダデバイス、ライダデバイス、その他、またはそれらの組み合わせ等の検出および測距センサ131を含む。処理システム113は、HDRビデオに基づいて、車両の環境内のアイテムの外観を判定し、制御システムに、アイテムの外観に基づいて、車両の動作の変更を行わせる。好ましい実施形態では、HDRカメラ201は、処理デバイスに結合される、複数の画像センサを備え、HDRカメラ201は、フレーム独立様式において、処理デバイス上のパイプラインを通して複数の画像センサのそれぞれからのピクセル値をストリーミングされるように構成される。以下により詳細に議論されるように、パイプラインは、飽和したピクセル値を識別する、カーネル演算と、ピクセル値を融合し、HDRビデオをリアルタイムで生産する、融合モジュールとを含む。車両101はまた、車両の周囲の360度ビューを捕捉する、360度カメラ129を含んでもよい。
HDRシステムは、消費者自動車および作業車両(例えば、セミトレーラー、バス等)等の道路走行車およびトラックを含む、任意の好適な車両の一部として、またはそこで使用するために提供されてもよい。ある実施形態では、HDRシステムは、軍事または緊急応答車両(例えば、ジープ、救急車、人員輸送車、HUMVEE)の一部として、またはそこで使用するために提供される。HDRシステムは、フォークリフトまたはパーソナルモビリティデバイス等の多目的車両の一部として、またはそこで使用するために提供されてもよい。HDRシステムは、船舶、飛行機、電車、または潜水艦等の非道路走行車両の一部として、またはそこで使用するために提供されてもよい
HDRシステムは、ヒトの眼および知能によって知覚され得るものを上回るダイナミックレンジにわたるものを含む、非常に高ダイナミックレンジを横断して「確認」する利点をもたらす。HDRシステムは、ヒトより優れたダイナミックレンジを横断してアイテムを検出することができるだけではなく、本システムは、ヒトの意識および思考プロセスにおける限界によって生じる知覚問題を被らない。例えば、路肩での激しい車の衝突等のある顕著な光景が、ヒト知覚の周縁にある場合、ヒトは、先の道路への注意を犠牲にして、その光景に注意を向ける傾向がある。HDRシステムは、そのような現象を被らない。ヒトが、光景に注意を払う場合、残っている注意力を前方の道路に払い得るが、限定されたコントラストによって特徴付けられる道路内の特徴(明るい空の背景を伴う、路上を横切る白色トラック)は、ヒト知覚の閾値を超え得ない。車両が、従来のカメラを装備する場合、明るい白色の空の背景に対する白色トラックは、提示される限定されたコントラストに起因して、知覚され得ない。したがって、HDRシステムは、従来のカメラおよびヒト知覚の限界によって提示される道路進行中の懸念に対処する。それらの理由から、HDRシステムは、過剰照明条件を伴う環境、刺激に溢れた環境、または予期しないおよび予測し難いコンテンツを含む他の環境下、特定の利点を有し得る。
例えば、HDRカメラは、暗闇、急速に明滅する光、極めて明るい光、予期しないまたは予測不能な照明の変化、明滅する緊急光、ゲルまたは他のデバイスを通してフィルタリングされた光、暗視照明等、ヒトの眼にあまり好適ではない照明条件下で動作する、車両のための特定の利点をもたらすことが見出され得る。したがって、ヒトによってのみ制御される車両と比較して、制御システムを使用する車両は、夜間、地下、Times Square、雷鳴を伴う嵐、住宅火災または森林火災、非常道路条件、戦闘、深海ダイビング、鉱山等の環境内においてより良好な性能を発揮し得る。一実施例を与えるために、法執行中、自動車運転者が警察の車に異常な頻度で衝突することは、公知の問題である。任意の機構によって拘束されるわけではないが、警察車両の明滅する光は、路肩に停まっているとき、そこから物事を推定するヒト知覚の能力を損なわせる、非一定信号を発すると理論化され得る。従来の車両が、定常特徴に向かって運転する場合、ヒトの知能は、目先のその特徴の同様の相対的位置付けを推測する。事実上、警察車両の閃光は、そのような知能的推測を行う能力を損なわせ得る。したがって、運転手は、明滅する光を伴う停止車両を避けて操向する、進行経路を予期不能となり得る。HDRシステムは、そのような限界を被らない。処理システム113は、明度または明滅率にかかわらず、警察の車のライトを検出する。本システムは、HDRであるため、警察の車が、暗闇下で路肩にあり得ることはあまり重要ではない。HDRカメラは、リアルタイムで動作するため、本システムは、目先の車両の相対的位置付けを推測し、衝突を回避することができる。
さらに言うと、特に、HDRシステムを軍事または緊急車両上に含むことは、それらの車両が明滅する光の近傍で頻繁に動作することが予期され得るため、貴重であり得る。HDRシステムは、極端なタイミング(頻繁なパルスまたは明滅)または極端な強度を含む、極端な光を伴う任意の状況において、有益であり得る。
図2は、車両101の運転席に着座しているヒトによって見られ、また、HDRカメラ201によって記録され得る、場面を図示する。描写される場面では、車両101は、まもなく太陽が沈もうとしている時間に、幹線道路を西に向かって進行している。太陽は、幹線道路の縁によって画定される近似消尽点における、水平線の近傍に現れている。したがって、ヒトの眼には、場面は、非常に明るい光源によって占められている。眼球生理学の本質によって、ヒトの眼は、光レベルに対する適応を受ける。場面は、高ルミネセンスレベルによって特徴付けられるため、ヒトの眼は、錐体機構を使用して、明所視で動作する(桿体機構を使用した暗所視と比較して)。その結果、ヒトの眼は、場面内のある特徴を判別不能である。図2では、ボックスが、注意を幹線道路標識に向けるために、破線で描かれている。
図3は、HDRカメラ201によって確認され得るような幹線道路標識を図示する。HDRカメラ201は、高ダイナミックレンジを横断して画像を検出可能であるため、幹線道路標識は、他の非常に明るいオブジェクトが場面内にある場合でも、撮像および解釈されることができる。したがって、ADAS内の光学キャラクタ認識またはパターン認識モジュールは、車両101が標識に接近するにつれて、標識のコンテンツを解釈することができる。図示される実施例では、ADASは、州間高速自動車道85に追従するための命令を含み得る、事前に設定されたナビゲーション命令のセット下で動作してもよい。幹線道路標識の解釈に応じて、車両101は、標識によって示されるように適切な車線に移動するように制御されるであろう。
図4は、ADAS内の種々のセンサによって提供されるような視野を図示する。ADASは、アダプティブ・クルーズ・コントロールにおいて使用され得る、長距離レーダシステム1407を含んでもよい。ライダシステム1413は、緊急制動、歩行者検出、および衝突回避において使用されてもよい。長距離レーダシステム1407およびライダシステム1413はそれぞれ、検出および測距システムの実施例であり、それぞれ、検出および測距センサ131のうちの1つ以上を使用してもよい。
カメラシステム1425は、交通標識認識、パーキングアシスト、周囲ビュー、および/または車線逸脱警告において使用されてもよい。短距離レーダシステム1429(別の検出および測距システム)は、クロストラフィックアラートを提供するために使用されてもよい。超音波システム1435は、例えば、パーキングアシストのために含まれてもよい。HDRカメラ201は、これらのシステムのいずれか内に含まれてもよい。好ましい実施形態では、HDRカメラは、ライダシステム1413およびカメラシステム1425のいずれかまたは両方のコンポーネントとして含まれる。
HDRカメラ201は、「標準的」視野を含んでもよいが、いくつかの実施形態では、HDRカメラは、360度カメラ129のために使用される。種々の実施形態が、本発明の範囲内であるが、いくつかの実施形態では、360度カメラ129は、略「環状」形状を保有する、リアルタイムHDRビデオをストリーミングする。
図5は、360度カメラ129によって捕捉された環状形状のビュー601を示す。いくつかの実施形態では、処理システム113は、デワーピングプロセスを実施し、360度ビューを長方形パノラマ画像に変換する。デワーピングは、必要ではないことが見出される場合もあり、制御システム125が車両の動作のために環状形状のビュー601を使用することは、有益であり得る。制御システム125は、ビューに偏らず、環状形状のリアルタイムHDRビデオを使用して、重要な特徴を検出および解釈することが可能であり得る。しかしながら、例えば、ヒト観察のための画面上への表示のために、環状形状のビューから「ワーピング除去」することが所望され得る。処理システム113は、環状形状のビューを「標準的」ビューに変換するためのモジュールを含む。
図6は、デワーピングプロセス後の環状形状のビュー601に対応する、標準的ビューを図示する。正方形エリア625は、環状形状のビュー601内に差し込まれた同一正方形エリアとの視覚的比較のために差し込まれている。所与の360度カメラ129に関して、環状形状のビュー601から標準的ビューへの変換は、概して、カメラの寿命にわたって実質的に一貫するであろう。故に、処理システム113は、図5に示されるような正方形エリア625を図6に示されるようなものに変換するための単純変換動作を含むようにプログラムされてもよい。環状形状のビュー601内の各ピクセルの場所が、x,y座標を使用して規定され得る場合、単純一次方程式系が、当業者によって判定され得るように、それらの座標を標準的ビューに変換し得る。
処理システム113は、HDRカメラとADASを統合する、種々の特徴および機能性に寄与し得る。
車両101のいくつかの実施形態では、ADASの1つ以上のコンポーネントは、オブジェクトを検出し、それらのオブジェクトまでの距離(または距離の範囲)を判定するように動作することができる。例えば、長距離レーダシステム1407は、検出および測距センサ131として動作し、車道内の他の車両を検出し、それらの車両に関する範囲を判定可能であり得る。HDRカメラ201は、検出および測距能力によって提供される情報を補足または補完するために使用されてもよい。例えば、処理システム113は、検出および測距センサを用いて、オブジェクトを検出し、HDRカメラ201を用いて、オブジェクトを検出し、HDRビデオ内のオブジェクトの画像と検出および測距システムを介して判定されたオブジェクトの検出された範囲を相関させるように動作可能であってもよい。
別の実施例として、処理システム113は、360度ビュー内の環境内のグレアを検出し、HDRカメラ201を使用して、グレアによって影響される環境の一部のHDR画像を捕捉するように動作可能であってもよい。
HDRカメラ201の使用によって提供される1つの利点は、そのような計器が、特に、貴重である情報が、主に、光レベルにおける差異によって提供される、場面の有意義な解釈を行うために非常に好適であるということである。実施例として、暗色ブレーキライトおよび照明されたブレーキ光との間の差異は、有意な情報を自動車の動作に提供するが、主に、光レベルにおける差異として露見する。したがって、いくつかの実施形態では、HDRカメラ201は、別の車両上のテールライト、方向指示灯、またはブレーキライト等のアイテムの外観を判定し、テールライトの照明ステータスを検出する際に有用である。
本システムによって提供される機能性の中核は、リアルタイムHDRビデオを生産するように動作する、HDRカメラ201である。HDRカメラ201は、処理システム113を通した車両の動作のために構成される、制御システム125に接続される。好ましい実施形態では、HDRカメラ201は、処理デバイスに結合される、複数の画像センサを備え、HDRカメラ201は、フレーム独立様式において、処理デバイス上のパイプラインを通して複数の画像センサのそれぞれからのピクセル値をストリーミングされるように構成される。パイプラインは、飽和したピクセル値を識別する、カーネル演算と、ピクセル値を融合し、HDRビデオをリアルタイムで生産する、融合モジュールとを含む。車両101はまた、車両の周囲の360度ビューを捕捉する、360度カメラ129を含んでもよい。
図7は、HDRカメラ201を示す。HDRカメラ201は、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)等の処理デバイス219を含む。複数の画像センサ265は、処理デバイス219に結合される。HDRカメラ201は、フレーム独立様式において、処理デバイス219上のパイプライン231を通して複数の画像センサ265のそれぞれからのピクセル値501をストリーミングされるように構成される。パイプライン231は、飽和したピクセル値501を識別する、カーネル演算413と、ピクセル値501を融合し、HDR画像を生産する、融合モジュールとを含む。
カーネル演算413は、HEセンサ213上の所与のピクセルに関して、所与のピクセルを囲繞するピクセルの近傍601からの値を検査し、ピクセルの近傍601内の飽和した値を見出し、MEセンサ211上の対応する近傍601からの情報を使用して、所与のピクセルに関する値を推定することによって、複数の画像センサ265のそれぞれからストリーミングされるにつれて、ピクセル値501に作用する。
HDRカメラ201の種々のコンポーネントは、印刷回路基板205を介して、接続されてもよい。HDRカメラ201はまた、メモリ221と、随意に、プロセッサ227(ARMマイクロコントローラのような汎用プロセッサ等)とを含んでもよい。HDRカメラ201はさらに、入出力デバイス239またはディスプレイ267のうちの1つ以上を含む、またはそれに接続されてもよい。メモリは、RAMまたはROMを含むことができ、好ましくは、少なくとも1つの有形非一過性媒体を含む。プロセッサ227は、Intel(Santa Clara,CA)によって商標名XEON E7で販売されているプロセッサまたはAMD(Sunnyvale,CA)によって商標名OPTERON 6200で販売されているプロセッサ等、当技術分野において公知の任意の好適なプロセッサであってもよい。本発明による入力/出力デバイスは、ビデオディスプレイユニット(例えば、液晶ディスプレイまたはLEDディスプレイ)、キー、ボタン、信号生成デバイス(例えば、スピーカ、チャイム、または光)、タッチスクリーン、加速度計、マイクロホン、セルラー無線周波数アンテナ、メモリカードのためのポート、および、例えば、ネットワークインターフェースカード(NIC)、Wi-Fiカード、またはセルラーモデムであることができる、ネットワークインターフェースデバイスを含んでもよい。HDRカメラ201は、記憶デバイス241を含む、またはそれに接続されてもよい。複数のセンサは、好ましくは、複数のセンサ265が光レベル以外同じである画像を同時に受信することを可能にする、配列で提供される。
図8は、複数のセンサ265のための配列を示す。複数のセンサは、好ましくは、少なくとも、高露光(HE)センサ213と、中間露光(ME)センサ211とを含む。各画像センサは、その独自のカラーフィルタアレイ307を有してもよい。カラーフィルタアレイ307は、各ピクセルが赤色、緑色、または青色光のいずれかを受信するように、Bayerフィルタとして動作してもよい。当技術分野において公知のように、Bayerフィルタは、センサからストリーミングされるピクセル値のシーケンスが、所定のパターンにおける赤色、緑色、青色に関する値に対応するように、赤色、緑色、青色、緑色カラーフィルタの反復グリッドを含む。
HDRカメラ201は、レンズ311と、少なくとも1つのビーム分割器301とを含んでもよい。HEセンサ213、MEセンサ211、レンズ311、および少なくとも1つのビーム分割器301は、光の入射ビーム305を受信し、光のビーム305を、少なくとも、HEセンサ213上に衝突する第1の経路と、MEセンサ211上に衝突する第2の経路との中に分割するように配列される。好ましい実施形態では、HDRカメラ201は、3つの撮像センサ上に同時に集束されるように、部分的反射表面のセットを使用して、単一写真レンズ311からの光を分割する。好ましい実施形態では、光は、ビーム分割器のうちの1つを通して、再度、逆施行され、3つのサブ画像は、赤色、緑色、および青色に分割されないが、代わりに、その光レベルを除き光学的に同じである。図3に示される本設計は、車両101が、カメラに進入する光の大部分を使用して、HDR画像を捕捉することを可能にする。
いくつかの実施形態では、光学分割システムは、空気/プラスチック界面におけるFresnel反射に依拠し、したがって、その実際の透過率/反射率(T/R)値が角度の関数である、2つのコーティングされていない2ミクロン厚のプラスチックビーム分割器を使用する。ガラスもまた、好適な材料オプションである。一実施形態では、第1のビーム分割器301は、45°角度であり、92/8の近似T/R比率を有し、これは、カメラレンズ311からの光の92%が、第1のビーム分割器301を通して伝送され、高露光(HE)センサ213上に直接指向されることを意味する。ビーム分割器301は、第1のものと同一光学性質を有するが、光経路に対して90°角度に位置付けられ、94/6の近似T/R比率を有する、第2のコーティングされていないビーム分割器319に向かって、レンズ311からの光の8%を上向きに反射させる(図3に示されるように)。
上向きに反射された全光の8%のうち、94%(または全光の7.52%)は、第2のビーム分割器319を通して伝送され、中間露光(ME)センサ211上に集束される。本上向きに反射された光の他の6%(または全光の0.48%)は、第2のビーム分割器319によって、第1のビーム分割器301(再び、45°である)に向かって下方に逆反射され、それを通して92%(または全光の0.44%)が、低露光(LE)センサ261上に伝送および集束される。本配列を用いることで、HE、MEおよびLEセンサは、それぞれ、カメラレンズ311によって集められた全光の92%、7.52%、および0.44%を用いて画像を捕捉する。したがって、カメラレンズ311によって集められた全光のうちの合計99.96%が、画像センサによって捕捉される。したがって、HEおよびME露光は、12.2倍(3.61絞り値)分離され、MEおよびLEは、17.0倍(4.09絞り値)分離され、これは、本構成がセンサのダイナミックレンジを7.7絞り値拡張させるように設計されることを意味する。
本ビーム分割器配列は、HDRカメラ201を光効率的にする。すなわち、レンズ311によって集められた全光のわずか0.04%のみが、無駄となる。これはまた、全3つのセンサが同一場面を「確認」することを可能にし、したがって、全3つの画像は、その光レベル以外光学的に同じである。当然ながら、描写される実施形態201の装置では、ME画像は、奇数回の反射を受け、したがって、他の画像と比較して、左右反転されるが、これは、ソフトウェア内で容易に修正される。好ましい実施形態では、3つのセンサは、独立して、直接、同期モジュールを含む、パイプラインの中に入射ピクセル値をストリーミングされる。本同期モジュールは、複数のセンサからシステムへのデータ到着時間におけるわずかな段階相違を補正することができる。
したがって、ビーム分割器301は、光の大部分を第1の経路に、光のより少ない量を第2の経路に指向することが分かる。好ましくは、第1の経路および第2の経路は、それぞれ、HEセンサ213およびMEセンサ211上に衝突し、光レベル以外光学的に同じである画像を生成する。描写される実施形態では、HDRカメラ201は、低露光(LE)センサを含む。
好ましい実施形態では、ピクセル値は、シーケンスで、HEセンサ213、MEセンサ211、およびLEセンサ261から、直接、処理デバイス219にストリーミングされる。それらのシーケンスは、それらが処理デバイス219上に到着するにつれて同期されなくてもよい。
HDRカメラ201(1)は、(1)運動を考慮するための画像操作を必要としない、光学的に整合された複数の露光画像を同時に捕捉し、(2)利用可能な画像センサのダイナミックレンジを拡張し(一実施形態では、7撮影絞り値を上回って)、(3)実装が安価であり、(4)単一の標準的カメラレンズ311を利用し、(5)レンズ311からの光を効率的に使用する。HDRカメラはまた、随意に、(1)露光において3つを上回る絞り値分だけ分離された画像を組み合わせ、(2)事前にデモザイク処理されたピクセルデータを空間的に混成し、望ましくないアーチファクトを低減させ、(3)放射測定的に正しいHDR画像を生産し、(4)利用可能な最高忠実性(最低量子化雑音)ピクセルデータを使用する。
図9は、HDRカメラ201上の処理デバイス219を示す。記載されるように、処理デバイス219は、1つ以上のFPGA、ASIC、または他の集積回路によって提供されてもよい。センサからのピクセル値は、処理デバイス219上のパイプライン231を通してストリーミングされる。処理デバイス219内のパイプライン231は、ピクセル値501がフローする順序において、ピクセル値501が処理デバイス219上に複数の画像センサ265からストリーミングされるにつれて、ピクセル値501を同期させるための同期モジュール405と、カーネル演算413と、融合モジュール421と、デモザイク処理モジュール425と、トーンマッピングオペレータ427とを含む。パイプライン231は、色補正モジュール、HDR変換モジュール、およびHDR圧縮モジュール等の1つ以上の補助モジュール431を含んでもよい。
動作時、光は、レンズを通して、HDRカメラ201に進入し、光を複数の画像センサ上に衝突する異なる経路に分割する、1つ以上のビーム分割器に衝合する。各画像センサは、次いで、センサのピクセル毎のピクセル値の形態で信号を捕捉する。各センサは、ピクセルのアレイを含む。任意の好適なサイズのピクセルアレイが、含まれてもよい。いくつかの実施形態では、センサのうちの1つ以上は、1920×1080ピクセルを有する。光が、センサに衝突するにつれて、ピクセル値は、センサから接続された処理デバイスにストリーミングされる。ピクセル値は、複数のセンサのそれぞれから、フレーム独立様式において、パイプラインを通して、処理デバイス219上にストリーミングされる。パイプライン231は、飽和したピクセル値を識別する、カーネル演算135を含む。ピクセル値501は、融合139される。典型的には、融合された画像は、デモザイク処理145され、これは、表示、伝送、記憶、またはブロードキャスト151され得る、HDR画像を生産する。車両101の動作時、複数の画像センサは全て、単一レンズ311を通して、画像を同時に捕捉125する。パイプライン231およびカーネル演算135は、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路等の集積回路によって提供されてもよい。画像センサはそれぞれ、カラーフィルタアレイ307を含んでもよい。好ましい実施形態では、HDR画像は、融合ステップ139後、デモザイク処理145される。複数の画像センサは、好ましくは、光レベルを除き光学的に同じである画像を捕捉する。
ある特徴は、ピクセル値501がフレーム独立様式においてパイプライン処理されることである。ピクセル値501のシーケンスが、ピクセル値501を画像センサ上の全てのピクセルから受信することを待機せずに、処理デバイス219を通してストリーミング129および融合139される。これは、取得125、ストリーミング129、および融合139ステップが、処理デバイス219上のいずれの場所も、完全画像を記憶しないように、ピクセル値501のシーケンスを、パイプライン231を通して、処理デバイス219上にストリーミング129することによって実施されてもよいことを意味する。ピクセル値は、パイプラインを通してストリーミングされるため、最終HDRビデオ信号は、リアルタイムで生産される。リアルタイムとは、カメラからのHDRビデオが、カメラが場面を捕捉するのと本質的に同時に表示され得ることを意味する(例えば、信号がセンサから表示するために進行する速度からビデオのフレームを上回らない待ち時間を差し引いた速度において)。画像データを後処理することに関する要件は存在せず、かつ画像の「フレーム」全体を捕捉、記憶、比較、または処理することに関する要件も存在しない。
出力は、HDRカメラ201が、異なる露光レベルにおける複数のセンサを使用して、複数の同型画像(すなわち、光レベル以外同じ)を捕捉し、それらを融合するため、HDRビデオ信号である。高露光(HE)センサからのデータは、画像の一部が暗い場合に使用され、中間露光(ME)(またはそれより低い)センサからのデータは、画像の一部がより明るく照明される場合に使用される。HDRカメラ201は、HEおよびME(および随意に、LE)画像を融合し、HDRビデオ信号を生産する。具体的には、HDRカメラ201は、画像内の飽和したピクセルを識別し、それらの飽和したピクセルとより低い露光のセンサから導出される値を置換する。好ましい実施形態では、画像センサのうちの1つ上の第1のピクセルからの第1のピクセル値は、ある規定されたレベル、例えば、最大可能ピクセル値の少なくとも90%を上回る場合、飽和していると識別される。
図10は、ピクセル値501が処理デバイス219上に複数の画像センサ265からストリーミングされるにつれて、ピクセル値501を同期させるための同期モジュール405の動作を示す。図5に描写されるように、HE_1ピクセル値およびME_1ピクセル値は、同期モジュール405にほぼ同時に到着する。しかしながら、HE_2ピクセル値は、ME_2と比較して遅れて到着し、LEピクセル値のシーケンス全体が、遅れて到着するであろう。同期モジュール405は、先に到着したピクセル値を巡回させ、それらを対応する後に着信するピクセル値と同時に解放する、小ラインバッファを含有することができる。同期されたピクセル値は、次いで、パイプライン231を通してカーネル演算413にストリーミングされる。
図11は、ピクセル値がカーネル演算413に提示される方法を図示する。図11の上部分は、HEセンサ213を描写する。各正方形は、センサ213の1つのピクセルを描写する。白色中心を伴う、塗り潰された黒色ボックスは、考慮のための所与のピクセル615と、所与のピクセル615を囲繞するピクセルの近傍601とを図示するために描かれている。塗り潰された黒色ボックスは、実際には、センサ213(CMOS動画撮影用カメラセンサ等)上には現れず、単に近傍601が含むものを図示し、近傍601がピクセル値501のシーケンス621がカーネル演算413に提示されるときに現れる状態を理解することを補助するために描かれている。
図11の下部分は、同期モジュール405後、それらがカーネル演算413の中にストリーミングされるにつれたピクセル値のシーケンス621を示す。センサ213上のピクセルの近傍601からのピクセル値501は、依然として、例証を補助するために、「黒く塗り潰されている」。考慮下の所与のピクセル615は、2つの黒色ピクセルによって両側が囲繞されているため、センサ上のピクセルの列から容易に見分けることができる。2つのシーケンス621が存在し、そのうちの1つは、描写されるHEセンサ213から生じ、そのうちの1つは、MEセンサ211から生じる。
ピクセル値501をカーネル演算413を通してストリーミングされるステップは、HEセンサ213上の第1のピクセル615を囲繞するピクセルの近傍601からの値を検査し、ピクセルの近傍601内の飽和した値を見出し、MEセンサ211からの対応する近傍613からの情報を使用して、第1のピクセル615に関する値を推定するステップを含む。これは、以下により詳細に説明されるであろう。これを遂行するために、処理デバイスは、異なるセンサからの対応するピクセル値間で比較を行わなければならない。これは、考慮下のピクセル615を近傍601からの各ピクセルに隣接させて、かつ別のセンサ上の対応する近傍からの各ピクセルに隣接させて設置する方式において、ピクセル値をカーネル演算を通してストリーミングされることが有用であり得る。
図12は、パイプラインが、以下のピクセル値、すなわち、センサ213上の右に1つ目のピクセルからのピクセル値、センサ213上の右に2つ目のピクセルからのピクセル値、左に1つ目のピクセルからのピクセル値、左に2つ目のピクセルからのピクセル値のそれぞれに隣接させて現在のピクセル615を設置するように、回路をモデル化するアプローチを示す。図12に示されるように、データは、パイプラインの本部分の中にフローし、さらに4回コピーされる。コピー毎に、異なりかつ具体的な量の遅延が、主分岐に追加される。5つのコピー全てが、並行してフローし続ける。したがって、全5つのコピーを横断した同時スナップショットは、所与の現在のピクセル値615および近傍601からの他のピクセル値を網羅する。このように、現在処理されているピクセルの両側のピクセル値が、現在処理されているピクセルとともに、その処理ステップにおいて使用されることができる。したがって、処理デバイスは、同時に、所与のピクセルのピクセル値を読み取り、近傍の値と比較することができる。図12に図示されるアプローチは、比較のために、上側および下側近傍、対角線近傍、ならびに別のセンサ上の対応する近傍からのピクセル値に拡張されることができる。したがって、いくつかの実施形態では、ピクセル値501をカーネル演算413を通してストリーム129させるステップは、一時的に、第1のピクセルからの値をピクセルの近傍601から生じる各値に近接させて設置する、ピクセル値501を処理デバイス219内の経路621を通してストリーム129させるステップを含む。
近傍比較は、飽和したピクセルに関する置換値を使用すべきかどうかと、どの置換値を使用すべきかとを判定するために使用されてもよい。近傍比較を使用するアプローチは、融合の議論の後に以下でさらに議論される。置換値は、ピクセル値501のシーケンス621が融合モジュール421によって融合139されるときに使用されるであろう。融合139するステップは、飽和したピクセル値501の少なくともいくつかをHDR画像から除外する。
異なる露光を伴うLDR画像のセットからのHDR画像を融合するための以前のアルゴリズムは、典型的には、LDR画像をデモザイク処理し、近傍ピクセル情報を考慮せずに、データをピクセル毎に融合した後に行われる。
最少数のカメラセンサを用いて可能な最広ダイナミックレンジを捕捉するために、LDR画像を従来のHDR取得方法を用いてよりも露光上さらに離して位置付けることが好ましい。先行技術方法は、量子化および雑音効果のため、望ましくないアーチファクトをもたらし、それらの問題は、あるトーンマッピングオペレータ(TMO)が適用されるとき、悪化される。それらのTMOは、ダイナミックレンジが圧縮されると、画像内でわずかな勾配差を増幅させ、それらを可視にし、融合アーチファクトも同様に増幅させる。
図13は、アーチファクトを低減させる(例えば、参照することによって組み込まれる、「Debevec and Malik,1997,Recovering high dynamic range radiance maps from photographs,Proceedings of ACM SIGGRAPH 1997:369-378」における融合アルゴリズムで使用される加重係数と比較して)、融合のアプローチを図示する。図8における「HEセンサ」、「MEセンサ」、および「LEセンサ」バーは、3つのセンサによって測定された場面照明の範囲を提示する。
例証のために、本システムは、16のみの一意の明るさ値を測定し、センサが、露光において1絞り値のみ(2倍)分離される、4ビットセンサ(HDRカメラ201内で使用され得るような12ビットセンサとは対照的に)を用いて簡略化される。CMOSセンサは、略線形関係を入射露光とその出力値との間に呈するため、3つのセンサからの値は、従来の対数スケールの代わりに、入射放射照度の線形関数としてグラフ化される。
常時、Debevec and Malikのもの等の単純加重関数を用いて、全3つのセンサからのデータを使用する、先行技術アルゴリズムによる画像の融合は、アーチファクトを導入する。先行技術では、各センサからのデータは、点線によって示されるように、三角関数を用いて加重され、したがって、LEセンサからのデータが、HEセンサのものより粗く量子化される場合でも、低明るさ値(示されるサンプル照明レベルのように)におけるLEセンサからの寄与は、ゼロではない。
本発明の方法は、対照的に、可能な限りより高い露光センサからのデータを使用し、飽和の近傍にあるとき、次により暗いセンサからのデータ内に混成させる。
図13は、LEセンサが場面放射照度を他の2つのセンサより粗く測定することを示す。例えば、HEセンサは、LEセンサが単一インクリメントを記録する前に、勾配内で4つの異なるピクセル値を測定し得る。加えて、常時、ある程度の少量の雑音がピクセル値に存在し、LEセンサ内の±1の誤差は、本実施例に関しては、HEセンサ内の12の値範囲に及ぶ。Debevec and Malikのアルゴリズムは、これらの値をともに混成するが、HDRカメラ201は、可能である場合、最長露光センサ(より低雑音)のみからのピクセル値を使用し、ピクセルが飽和に近づくと、次により暗い露光内に混成させる。
ある実施形態では、HDRカメラ201は、LDR画像を融合するとき、個々のピクセルのみを検査するのではなく、また、脱雑音プロセスに役立つための付加的情報を提供し得る、近傍ピクセル601(図11参照)も考慮する。
本発明による融合139の一側面は、可能な最も明るく最も良好に露光されるセンサからのピクセルデータを排他的に使用することである。したがって、HE画像からのピクセルが、可能な限り使用され、ME画像内のピクセルは、HEピクセルが飽和に近づく場合のみ使用される。対応するMEピクセルが、飽和レベルを下回る場合、MEピクセルがHEピクセルを12.2倍下回る放射照度を受信することを前提として、カメラの応答曲線に基づいて、HEピクセルに関連してそれを調節する、係数によって乗算される。
図14は、ピクセル値を調節するための係数を求めるために使用される、カメラ応答曲線901を示す。3センサ実施形態では、HEセンサが飽和レベルを上回るとき、対応するMEピクセルが飽和レベルを上回る場合、類似プロセスが、低露光LE画像内の同一ピクセルに適用される。
それらが飽和するまで、HEセンサからの値を排他的に使用し、次いで、単に、次のセンサに切り替える、「勝者総取り方式」アプローチによる融合は、遷移が生じる場所で黒白縞状アーチファクトをもたらすことが見出され得る。そのような黒白縞状アーチファクトを回避するために、HDRカメラ201は、随意に、2つのセンサ間のピクセル値を空間的に混成することによって、1つのセンサから次のセンサに遷移する。これを行うために、HDRカメラ201は、評価されているピクセル615の周囲の近傍601を走査する(図6参照)。本領域内の任意の近傍ピクセルが飽和される場合、考慮下のピクセルは、ピクセルクロストークまたは漏出を受け得、HDRカメラ201は、近傍601内のその近傍に基づいて、ピクセルに関する値を推定するであろう。
HDRカメラ201は、デモザイク処理が飽和した領域内の色を破損させ得るため、個々のBayerカラーフィルタアレイ画像をデモザイク処理145することに先立って、融合139を行う。例えば、場面の明るい橙色セクションは、飽和した赤色ピクセルを有し得る一方、緑色および青色ピクセルは、該当しない。画像が、HDRの中に融合される前にデモザイク処理される場合、デモザイク処理された橙色は、飽和した赤色ピクセルデータおよび非飽和緑色/青色ピクセルデータから算出されるであろう。その結果、橙色セクションの色相は、正しくなく再現されるであろう。これらのアーチファクトを回避するために、HDRカメラ201は、デモザイク処理に先立って、HDR融合を行う。
画像が、デモザイク処理ステップに先立って融合されるため、HDRカメラ201は、好ましくは、放射照度の代わりに、ピクセル値を用いて機能する。放射測定的に正しいHDR画像を生産するために、HDRカメラ201は、これらが波長の関数として若干変化するため、ピクセル色毎に適切なビーム分割器透過率値を使用して、HE、ME、およびLEセンサの放射照度レベルを整合させる。HDRカメラ201は、異なる値を使用して、色チャネルのそれぞれを整合させるが、便宜上、プロセスは、平均値を用いて説明される。ピクセル値は、カメラ応答曲線901を通して転換され、結果として生じる放射照度は、露光レベル比率(HE/MEに関しては平均12.2倍)によって調節され、本新しい放射照度値は、カメラ応答曲線901を通して新しいピクセル値に逆転換される。
図14は、HE、ME、およびLEセンサの放射照度レベルを整合させるための3ステップHDR変換プロセスを示す。HDR変換プロセスは、ピクセル比率曲線に到達するために全てのHEピクセル値(例えば、1から4096)に対して行われてもよく、これは、同一放射照度に関して各MEピクセル値をHEセンサ上の対応するピクセル値に転換するためのスケーリング係数を与える。実際は、別個のピクセル比率曲線が、Bayerパターンにおいて色(R、G、B)毎に計算される。ピクセル値をHEおよびME画像間(またはMEおよびLE画像間)で比較するとき、単純乗算器が、使用されてもよい、またはピクセル比率曲線は、ルックアップテーブル(LUT)として使用され、4096未満のHEピクセル値をMEピクセル値に、またはその逆に転換してもよい。HEピクセル値が、飽和されると、ピクセル比率曲線は、そこで得られる最後の値(約8)を使用して拡張される。
カメラ応答曲線901は、ブラケット露光のセットを求め、露光とピクセル値(線形ドメイン内のスケール定数内)を関連させる単調増加関数を解法することによって測定されることができる。未加工カメラデータから算出され得る曲線を示すが、線形最良適合から算出された曲線もまた、使用され得る。カメラが場面放射照度をピクセル値に転換する方法を示す、カメラ応答曲線を与える。所与のHE値に関してとられるべきMEピクセル値を算出するために、HEピクセル値(1)は、最初に、場面放射照度(2)に転換され、これは、次に、12.2の我々のHE/ME減衰比率によって除算される。本新しい放射照度値(3)は、カメラ応答曲線を通して予期されるMEピクセル値(4)に転換される。本グラフは、略線形であるが、有意な平滑化または線形適合の適用を伴わずに未加工データから算出されるため、それほど完璧ではない。3つの画像の放射照度レベルが整合されると、融合139は、行われてもよい。
融合139の例証的実施例では、2つの位置合わせされたLDR画像(1つは、高露光画像IHEであり、もう1つは、中間露光画像IMEである)が、HDR画像IHDRの中に融合139されることになる。融合139は、高露光画像IHE内の情報を用いて開始され、次いで、必要に応じて、次により暗い露光画像IMEからのデータ内で組み合わせられる。上記で説明された遷移アーチファクトを低減させるために、HDRカメラ201は、N(x,y)として示されるように、周囲(2k+1)×(2k+1)ピクセル近傍601からの情報を考慮することによって、各ピクセル場所(x,y)に作用する。
図11に図示されるようないくつかの実施形態では、HDRカメラ201は、5×5ピクセル近傍601(k=2)を使用して、その値がある具体的量、例えば、最大ピクセル値の90%(例えば、センサ213が12ビットCMOSセンサである場合、4096)を上回る場合、ピクセルが飽和したと定義する。
ある実施形態では、融合139は、センサ213上のピクセル615およびその近傍601(図6参照)に関する4つのケース毎に、具体的動作を含む。
ケース1:ピクセル615は、飽和されておらず、近傍601も、飽和したピクセルを有しておらず、したがって、ピクセル値は、そのまま使用される。
ケース2:ピクセル615は、飽和されていないが、近傍601が、1つ以上の飽和したピクセルを有し、したがって、近傍内に存在する飽和の量に応じて、IHE(x,y)におけるピクセル値と次により暗い露光IME(x,y)におけるものとの間で混成する。
ケース3:ピクセル615は、飽和したが、近傍601は、1つ以上の飽和されていないピクセルを有し、これは、IHE(x,y)に関する値をより良好に推定するために使用され得る。すなわち、近傍内の飽和されていないピクセルと中心ピクセルとの間のME画像内のピクセル値の比率を計算し、ME比率の本マップを使用して、考慮下の飽和したピクセルの実際の値を推定する。
ケース4:ピクセル615は、飽和されており、近傍601内の全てのピクセルも、飽和されており、したがって、高露光画像からの有効情報は存在せず、ME画像を使用して、IHDR(x,y)=IME(x,y)を設定する。
3つのLDR画像が存在するとき、上記のプロセスは、単に、2回目の反復において繰り返され、IHDRとIHEおよびILEとIMEを置換する。このように、データは、最低露光に向かって進みながら、より高い露光から融合139され、より高い露光データが飽和またはその近傍にあるとき、データは、より低い露光からのみ使用される。
これは、全3つの色チャネルを考慮して、図9のものに類似するカメラ応答曲線を使用して、デモザイク処理145され、ピクセル値から放射照度に転換され得る、HDR画像を生産する。最終HDRフルカラー画像は、次いで、トーンマッピングされてもよい(例えば、FDRTools、HDR Expose、Photomatix等の商業用ソフトウェアパッケージを用いて)
HDRカメラ201は、カメラ本体内に搭載される3つのSilicon Imaging SI-1920HD最高仕様動画撮影用CMOSセンサを使用して実装されてもよい。それらのセンサは、標準的Bayerカラーフィルタアレイとともに、1920×1080ピクセル(5平方ミクロン)を有し、約10絞り値(雑音を除外する)のダイナミックレンジを測定することができる。センサは、カメラを小ピンホール光源に照準し、HEセンサを下方に係止し、次いで、止めねじを調節し、MEおよびLEセンサを整合させることによって整合される。
カメラ本体は、Hasselbladレンズマウントを含み、高性能相互交換可能商業用レンズの使用を可能にしてもよい。ビーム分割器に関して、装置は、Edmund Opticsによって販売されているもの等のコーティングされていないペンシルビーム分割器[製品番号NT39-482]を含んでもよい。好ましくは、複数の画像センサは、少なくとも高露光(HE)センサ213と、中間露光(ME)センサ211とを含み、融合は、飽和されていないHEピクセル値501と、飽和したピクセル値に対応するMEピクセル値501との使用を含む。複数のセンサはさらに、低露光(LE)センサ261を含んでもよく、カーネル演算は、HEセンサ213およびMEセンサ211の両方から生じる飽和したピクセル値501を識別するステップを含んでもよい。ピクセル値は、パイプラインを通してストリーミングされるため、飽和したピクセル値501の少なくともいくつかは、処理デバイス219において複数の画像センサの全てのピクセルからの値を受信する前に識別されることが可能であり、融合動作は、依然として、後に着信するピクセル値501をカーネル演算413を通してストリーム129させながら、シーケンスの一部の融合139を開始するステップを含んでもよい。
ビーム分割器、レンズ、またはフィルタ等の光学コンポーネントは、「スペクトル的に中立」であると標識される場合でも、伝送される光の量に若干の波長依存差を有し得ることを理解されたい。すなわち、各画像センサは、その独自の「色補正空間」を有すると言え、それによって、そのセンサからの画像は、その色補正空間から真の色に補正される必要がある。光学システムは、較正されることができ(例えば、較正カードの写真を撮影することによって)、色補正行列が、画像センサ毎に、記憶されることができる。HDRビデオパイプラインは、次いで、ピクセル値を1つのセンサから別のセンサの色補正空間に向かって調節する反直感的ステップを行うことができ、これは、ある場合には、色を真の色から微調整することを伴い得る。これは、1つのセンサからのRGB値のベクトルを他のセンサの色補正行列の逆数によって乗算することによって遂行されてもよい。第2のセンサに対する本色補正後、ストリームは、融合され、結果として生じるHDRビデオ信号は、真の色に色補正される(例えば、RGBベクトルを適用可能な色補正行列によって乗算することによって)。本色補正プロセスは、各画像センサのスペクトル差を考慮する。
図15は、HDRパイプラインが複数のセンサのそれぞれのスペクトル特性における差異を補正し得る、色補正プロセス1001を示す。センサ間の若干の波長依存差を補正するために、電子入力と電子出力との間の関係が、既知の入力を使用して実験的に測定されることができる。センサ毎に、補正係数を算出することによって、センサによって検出された情報は、さらなる処理に先立って補正されることができる。したがって、いくつかの実施形態では、パイプライン231は、色補正のためのモジュールを含む。色補正プロセスのステップは、パイプラインに沿った複数の場所において適用されてもよく、したがって、色補正は、FPGA上の異なる場所において具体的モジュールを介して実装されてもよい。併せて、それらのモジュールは、色補正プロセス1001を実装する、色補正モジュールと称され得る。
色補正プロセス1001は、2つのセンサからの画像を融合する前に、その色補正空間からの1つのセンサのデータを別のセンサの色補正空間に転換する。融合された画像データは、次いで、第3のセンサからの画像データと組み合わせられる前に、その第3のセンサの色補正空間に転換されることができる。プロセスは、所望に応じた数のセンサに関して繰り返されてもよい。全てのセンサの画像が、組み合わせられた後、最終の組み合わせられた画像は、デモザイク処理145されてもよく、次いで、真の色に色補正されてもよい。
色補正プロセス1001は、1つのセンサから次のセンサに色情報を保存するように、2つの画像が一度に融合される段階において、複数のセンサからの画像が融合されることを可能にする。例示的目的のために、図15では、HEセンサからのHEピクセル値は、MEセンサからのMEピクセル値と融合される。融合の結果は、次いで、LEセンサからのLEピクセル値と融合される。
色補正プロセス1001を誘導する基本原理は、最初に、暗画像を次の最明画像の色補正空間に転換し、次いで、2つの「非デモザイク処理」(またはカラーフィルタアレイ[CFA]Bayerパターン化)画像をともに融合することである。
色補正プロセス1001は、MEセンサ、LEセンサ、およびSEセンサを伴うHDRカメラ201に関して、3つの一般的段階、すなわち、SE色補正空間(CCS)段階、ME色補正空間段階、およびLE色補正空間段階を含む。色補正プロセスは、最初に、SE色補正空間段階から開始し、これは、最初に、LEピクセル値をデモザイク処理1045するステップと、次いで、結果として生じるベクトルをME画像の色補正空間に変換1051するステップを含む。デモザイク処理プロセス1045は、ピクセル毎に、フルカラーRGBベクトル値をもたらす。
デモザイク処理1045された後、LE画像データが、次に、ME色補正空間に変換1045される。本目的は、LEピクセルの色(ここでは、RGBベクトルによって説明される)をMEアレイの色(MEアレイの色の不完全性の全てを伴う)に整合することである。変換1051を行うために、LE RGBベクトルは、色補正行列によって変換1051される。例えば、等式1-3は、色補正行列を使用して、それぞれ、HE、ME、およびLEセンサに関する色値を補正する方法を示す。等式1は、色補正行列を使用して、HEセンサの色値を補正する方法を示し、値A1-A9を含む、3×3行列係数は、ピクセル値を強化または弱化させるために選択された係数を表し、RGB行列(RLE、GLE、およびBLE)は、LEセンサからのデモザイク処理されたRGB出力信号を表す。ある場合には、3×3行列係数は、デモザイク処理された出力を期待(すなわち、いわゆる「真」)値に対して比較することによって導出されることができる。例えば、3×3行列係数は、デモザイク処理されたRGB出力値と基準色チャート(例えば、Macbethチャート)からの基準値との間の最小2乗多項式モデル化によって導出されることができる。同様に、等式2は、色補正行列を使用して、MEセンサの色値を補正する方法を示し、RGB行列(RME、GME、およびBME)は、MEセンサからのデモザイク処理されたRGB出力信号を表し、等式3は、色補正行列を使用して、SEセンサの色値を補正する方法を示し、RGB行列(RME、GME、およびBME)は、SEセンサからのデモザイク処理されたRGB出力信号を表す。
等式1-[A]、すなわち、LEセンサのための色補正行列を使用してSEピクセル値を補正する。
等式2-[B]、すなわち、MEセンサのための色補正行列を使用してMEピクセル値を補正する。
等式3-[C]、すなわち、SEセンサに関する色補正行列を使用してSEピクセル値を補正する。
画像を第1の色補正空間(CCS)から第2の色補正空間に転換するために、1つ以上のセンサからの色補正行列が、使用されることができる。本プロセスは、色補正空間間の転換または色補正空間の較正と称され得る。第1の色補正空間または第2の色補正空間のいずれも、捕捉された画像の真の色を正確に反映させていない。第1および第2の色補正空間両方とも、ずれを有し、それらのずれは、一般に、相互から異なる。したがって、各センサからのRGB値は、真の色として現れるために、それらのRGB値に関する一意の色補正行列によって乗算されなければならない。
本発明は、画像をLEセンサの色補正空間からMEセンサの色補正空間に転換するための方法を含み、以下の等式4に図示される。
等式4-LEピクセル値をLE色補正空間からME色補正空間に転換する。
等式4では、LEセンサのピクセル値(R、G、B)は、LEセンサの補正行列[C]によって乗算され、次いで、MEセンサの補正行列[B]の逆数によって乗算される。結果は、MEセンサの色補正空間内にある、ピクセル値(R、G、B)のセットとなる。
本発明の方法は、2つのセンサからの画像が、正確に組み合わせられる、または融合され得るように、第2のセンサの色補正空間と第1のセンサの色補正空間の整合を可能にする。2つのセンサからの画像をHDR画像の中に組み合わせることに先立って、第2の色補正空間の全てのずれを第1の色補正空間に適用するための方法は、これまで知られていない。複数のCFAセンサからのデータを組み合わせるための典型的方法は、画像を組み合わせることに先立って、各センサのデータを較正された色カードから測定された「真」値に色補正することに依拠する。これは、HDRシステムにおいて問題となり、より明るいセンサの画像は、飽和した有意な部分を有し、その飽和した部分は、実際には、組み合わせるとき、より暗いセンサの画像から利用されているはずであることが知られている。飽和したピクセルに基づいて、色情報を有する画像を色補正することは、色を誤識別させるであろう。したがって、HDRシステムでは、画像を組み合わせることに先立って、より明るい画像(例えば、「真」色値)を色補正することは、色をモザイクパターン化画像から作成する際、飽和したピクセルデータの使用のため、色が誤識別されることにつながるであろう。本理由から、我々は、以下を規定する。(1)より暗い画像は、その色情報をより明るい画像の色空間に整合するように変換させ、(2)本変換されたより暗い画像は、より明るい画像と組み合わせられ、次いで、(3)最終の組み合わせられた画像は、「真」色値に色変換される。
本発明に提供される解決策は、より暗いセンサからのデータの[(a)デモザイク処理1045、(b)色補正1051、および(c)モザイク処理1057]ステップを行い、それによって、全てのデータが、より暗いセンサのデータとより明るいセンサのデータを融合するステップに先立って、その非デモザイク処理された状態に正確に戻されることを確実にすることによって、本飽和ピクセル色誤識別問題を回避する。
さらに、2つのセンサからの画像の融合に先立って、本発明は、2つのセンサの色補正空間を整合させる。本変換は、2つの画像(第1および第2の色補正空間センサから)が非デモザイク処理されたフォーマットでピクセル毎に正確に融合され得ることを確実にする。これは、特に、第2のセンサの色補正空間が「真の」色補正空間と異なることが既知であるとき、1つのセンサの色補正空間を第2のセンサの色補正空間に整合させるように変化させるというように、一見、反直感的であるように考えられ得る。しかしながら、これは、(1)より明るいセンサの色情報が融合に先立ってデモザイク処理されないことと、(2)画像の融合に先立って両センサからの色データがともに整合されることとを確実にする際に重要な特徴である。色補正プロセス1001は、それ自体が処理デバイス219上のパイプライン231内のカーネルとして実装され得る、行列を使用する。したがって、色補正プロセス1001は、それらがピクセル値を受信するにつれて、カーネルが適用されるため、HDRパイプラインワークフローと互換性がある。
LE情報が、LE色補正空間からME色補正空間に変換1051された後、変換された値は、モザイク処理1057される(すなわち、デモザイク処理プロセスが逆転される)。変換されたスカラーピクセル値は、ここでは、MEセンサによって検出されたBayerパターン化スカラーMEピクセル値に匹敵し、プロセス1001は、MEおよびHE非デモザイク処理(すなわち、スカラー)センサデータの融合1061を含む。
ME色補正空間内の融合された非デモザイク処理画像は、次いで、デモザイク処理1067される。本デモザイク処理1064は、上記に説明されるデモザイク処理1045に類似するが、デモザイク処理プロセスを受けるCFAピクセル値は、ここでは、ME色補正空間と関連付けられる。デモザイク処理1067は、ME色空間内のRGBベクトルを生産する。それらのRGBベクトルは、HE色空間に変換1071される一方、また、色補正される([B][A]-1[RGB])。等式2は、色補正行列を使用して、MEセンサの色値を補正する方法を示す。色補正されたME情報は、ME色補正行列をSE色補正行列の逆数によって乗算することによって、ME色補正空間からHE色補正空間に変換1071される。
ME情報が、ME色補正空間からHE色補正空間に変換1071された後、変換されたベクトルは、モザイク処理1075される(すなわち、デモザイク処理プロセスが逆転される)。これは、変換されたME CFA Bayerパターン化ピクセル値が、HEセンサによって検出されたHEピクセル値と融合1079することを可能にする。色補正プロセス1001における本時点で、HEおよびMEセンサによって検出された変換された色情報は、ここで、HEセンサによって検出された色情報に整合するように較正される。本新しく融合された色値データセットは、ここでは、HE色補正空間205内の色値を表す。
色処理およびトーンマッピング後、パイプラインは、HDRビデオ信号を生産する。
図16は、車両101内に含まれ得る、情報フローを図示する。HDRビデオは、融合された非圧縮データとして処理システム113に送信されてもよい。これは、車両ECU、情報ネットワーク、または両方を使用して遂行されてもよい。処理システム113またはカメラ201は、トーンマッピングオペレータ427を含んでもよい。トーンマッピングは、HDRビデオを標準的画面上での表示のために好適な「標準的ダイナミックレンジ」(SDR)に変換する。リアルタイムでトーンマッピングされた信号は、車両101内の運転手または同乗者に表示されてもよい(例えば、ダッシュボード画面、無線パーソナルデバイス上の画面上に、またはヘッドアップディスプレイ(HUD)を介して)。
HDRカメラ201のうちの1つ以上は、同時に、かつ複数のカメラのビューをともにスティッチングする必要なく、360度リアルタイムで視認し得る、単一レンズシステムと併用されることができる。HDRは、一般的に、太陽光または視野内の他の明るい源を有するため、360度同時視認のために好ましい。HDRの拡張された光範囲能力は、場面が最も暗い陰影から最も明るい照らされるエリアまで可視であることを確実にする。処理システム113は、センサ融合およびレーダ/ライダハンドオフに関連し得るデータサブセットのために、360°ラッピング解除およびワーピング解除をリアルタイムで実施することができる。加えて、または代替として、360°ビューの一部は、基本表示目的のために(レーダと異なり)運転手または同乗者に提示されてもよい。本センサは、車の方向および進路に対して容易に較正され、一意の場所および/または方角データを提供することができる。
いくつかの実施形態では、パイプラインは、リアルタイムで、SDR信号をHDR信号から減算する(HDR-SDR=残留物)、減算のためのモジュールを含むことができる。減算モジュールからのフローは、一対のストリーム、すなわち、SDRビデオ信号および残留信号である。好ましくは、色情報は全て、SDR信号内にある。本段階で、HDR信号は、好適な演算(例えば、JPEGまたは類似物)によって、HDR圧縮を受けてもよい。対のストリームは、8ビットSDR信号と、HDR表示を提供する、圧縮されたHDR残留信号とを含む。
図17は、車両を動作させるための方法1701のステップを図示する。方法1701は、車両101上のHDRカメラ201を介して、光を受信するステップ1707を含む。ビーム分割器301は、センサ上の複数のピクセル毎に値を捕捉1725する複数の画像センサ265上に、光を分割1713する。
ピクセル値は、飽和したピクセル値を識別1735するためのカーネル演算と、ピクセル値を融合1739し、HDRビデオをリアルタイムで生産するための融合モジュールとを使用する、処理デバイス219にストリーミング1729される。ビデオは、好ましくは、デモザイク処理される。処理システム113は、HDRビデオに基づいて、車両101の環境内のアイテムの外観を判定1745し、制御システムに、アイテムの外観に基づいて、車両101の動作の変更1751を行わせる。車両は、好ましくは、自律走行車両である。
車両101の環境内のアイテムの外観の判定1745は、制御システムに、そのようなアクションの種々の実施例を含み得る、車両101の動作の変更1751を行わせ得る。例えば、ADASは、あるアイテムが車道上に新たに現れた(例えば、イヌが道路上に飛び出した)ことを判定し、ブレーキを動作させることによって、車両の動作を変更させることができる。別の実施例では、ADASは、道路が濡れているまたは雪が積もっているようであることを判定することができ、車両を慎重に減速させることができる。さらなる実施例に関して、ADASは、オブジェクトがヒトの眼またはSDRカメラによって検出することが非常に困難であろう場合でも(例えば、明るい空に対する白色トラック)オブジェクトが場面内に現れていることを判定し、操向および/または制動補正を適用し、車両101にオブジェクトを回避させることができる。さらなる実施例では、ADASは、HDRカメラを使用して、非常に少ない光の条件下でも、車両101の背後の私道に障害物がないようであることを判定することができ、車両に、そのエンジンをかけさせ、車庫からバックして出庫させることができる。他の判定および動作も、当業者に明白となるであろう。
図18は、方法1701が有益な可用性を有し得る、場面を描写する。本場面では、明るい太陽光が、ヒトの眼が車両の正面のあらゆるアイテムを見ることを困難にする。しかしながら、ダイナミックレンジのそのような問題は、HDRカメラ201によって対処される。HDRカメラ201は、例えば、車両101の正面の車の運転手が、ブレーキを軽く踏み、前方の可能性として考えられる注意の必要な条件を示していることを判定し得る。ADASは、車両101を減速させることができる。
HDRシステムは、軍事または緊急車両の一部として、またはそこで使用するために提供されてもよい。リアルタイムHDRビデオカメラは、多忙な環境内の多数の入力等、ヒトが処理することが困難である、または遠く離れた非常に小さな事物等、入力を検出することが難しいであろう、種々の入力を検出し、それに応答する能力を提供する。一実施例にすぎないが、HDRシステムを使用する飛行中隊は、相互ならびに周囲の雲、鳥、地形等を検出し、それに応答し、例えば、完璧な隊形で長距離にわたって飛行し、さらに、種々の地形にわたって、ある臨界高度下で飛行しながら、隊形を維持し得る。いくつかの実施形態では、HDRシステムは、軍事または緊急車両のためのものであり、自動操縦を提供する、または機能性を補助する。オペレータは、ある時間にわたって車両を制御するようにシステムを設定することができる。加えて、または代替として、本システムは、万一、オペレータが、意識を失う、注意が逸れる、パニックボタンを押下する等の場合、オペレータに介入するようにプログラムされることができる。例えば、本システムは、眼追跡装置または心拍数モニタ等の生理学的センサに接続されることができ、万一、そのようなセンサがある閾値を超える値(例えば、非常に低いまたは上昇心拍数、不自然または抑制された眼移動、もしくは目下の進行経路に向かって指向されていない眼移動)を検出する場合、バックアップ動作モードを開始することができる。本システムは、車両をある保持パターン下に設置する、例えば、パイロットが睡眠中、数時間にわたって、高高度で旋回飛行するように動作されることができる。様々な特徴および機能性が、車両によって提供され得ることを理解されるであろう。
図19は、方法1701が車両を動作させることを補助するために使用され得る、別の場面を図示する。車両は、Garden State Parkwayを探すためのナビゲーション命令下で動作し得る。図19に描写される標識への接近に応じて、SDRカメラは、低光条件に起因して、適切な標識を読取不可能であり得、ヒト関与者は、有効情報の過負荷に起因して、標識を検出不可能であり得る。しかしながら、HDRカメラ201および処理システム113(OCRまたはパターン認識を使用して)は、Garden State Parkwayに関する標識が、そのような道路が前方にあることを示す矢印とともに現れていることを判定する。ADASは、その情報を使用して、車両101を道路に沿って進ませることができる。加えて、HDRカメラ201は、車線マークを検出し、第2車線が前方方向に進む最も近い車線であることを示すために使用されてもよい。さらに、HDRカメラ201は、第2車線内の車両の照明されたブレーキライト光を検出してもよい。したがって、HDRカメラは、ADASに車線を第2車線に変更し、車両101を停止させ、進む機会を待機し、車両101をGarden State Parkwayにもたらすために必要な情報を提供する。
(参照による引用)
特許、特許出願、特許刊行物、雑誌、書籍、論文、ウェブコンテンツ等の他の文書の参照および引用が、本開示全体を通して行なわれる。そのような文書は全て、あらゆる目的のために、参照することによって、全体として本明細書に組み込まれる。
(均等物)
本明細書に図示および説明されるものに加え、本発明およびその多くのさらなる実施形態の種々の修正が、本明細書に引用される科学および特許文献の参考文献を含む、本書の全内容から、当業者に明白となるであろう。本明細書における主題は、その種々の実施形態およびその均等物における本発明の実践に適合され得る、重要な情報、例示、および指針を含有する。

Claims (13)

  1. HDRシステムであって、
    リアルタイムHDRビデオを生産するように動作可能であるHDRカメラと、
    前記HDRカメラおよび車両の制御システムと通信するように構成されている処理システムであって、前記処理システムは、前記HDRビデオに基づいて、前記車両の環境内の特徴の特性を判定し、記特性に基づいて、前記車両の動作の変更を指示する命令を前記制御システムに発行するように動作可能である、処理システムと
    を備え、前記HDRカメラは、少なくとも、処理デバイスに結合された第1のセンサおよび第2のセンサを備え、前記第1のセンサは、高露光センサであり、前記第2のセンサは、前記第1のセンサよりも低い露光を有し、前記HDRカメラは、ピクセル値を前記第1のセンサおよび前記第2のセンサのそれぞれから、フレーム独立様式において、前記処理デバイス上のパイプラインを通してストリーミングするように構成され、前記パイプラインは、カーネル演算と融合モジュールとを含み、前記カーネル演算は、ピクセル値が前記第1のセンサおよび前記第2のセンサのそれぞれからストリーミングされるにつれて、前記第1のセンサ上の所与のピクセルに関して、前記所与のピクセルを囲繞するピクセルの近傍からの値を検査し、前記ピクセルの近傍内の飽和した値を識別し、前記第2のセンサ上の対応する近傍からの情報を使用して、前記所与のピクセルに関する値を推定することによって、前記ピクセル値に作用し、前記融合モジュールは、前記ピクセル値を融合し、前記HDRビデオをリアルタイムで生産する、システム。
  2. 前記HDRカメラは、前記車両の周囲の360度ビューを捕捉する、請求項に記載のシステム。
  3. 前記捕捉された360度ビューは、環状形状であり、さらに、前記処理システムは、デラッピングプロセスを実施し、前記360度ビューを長方形パノラマ画像に変換する、請求項に記載のシステム。
  4. 検出および測距センサをさらに備え、前記処理システムは、前記検出および測距センサを用いて、オブジェクトを検出し、HDRカメラを用いて、前記オブジェクトを検出し、前記HDRビデオ内のオブジェクトの画像前記検出および測距システムを介して判定されたオブジェクトの検出された範囲相関させるように動作可能である、請求項に記載のシステム。
  5. 前記処理システムは、前記360度ビュー内の前記環境内のグレアを検出し、前記HDRカメラを使用して、前記グレアによって影響される前記環境の一部のHDR画像を捕捉するように動作可能である、請求項2に記載のシステム。
  6. 前記カメラはさらに、レンズと、少なくとも1つのビーム分割器とを備える、請求項に記載のシステム。
  7. 前記命令は、前記車両にブレーキをかけるよう指示する、請求項6に記載のシステム。
  8. 前記第1のセンサ、前記第2のセンサ、前記レンズ、および前記少なくとも1つのビーム分割器は、光の入射ビームを受信し、前記光のビームを、少なくとも、前記第1のセンサ上に衝突する第1の経路と、前記第2のセンサ上に衝突する第2の経路とに分割するように配列されている、請求項に記載のシステム。
  9. 前記ビーム分割器は、前記光の大部分を前記第1の経路に指向し、前記光のより少ない量を前記第2の経路に指向する、請求項に記載のシステム。
  10. 前記第1の経路および前記第2の経路は、それぞれ、前記第1のセンサおよび前記第2のセンサ上に衝突し、光レベル以外光学的に同じである画像を生成する、請求項に記載のシステム。
  11. 前記処理デバイスは、前記パイプラインを含む、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路を備える、請求項10に記載のシステム。
  12. 前記パイプラインは、前記ピクセル値がフローする順序において、
    前記ピクセル値が前記処理デバイス上に前記第1のセンサおよび前記第2のセンサからストリーミングされるにつれて、前記ピクセル値を同期させるための同期モジュールと、
    前記カーネル演算と、
    前記融合モジュールと、
    デモザイク処理モジュールと、
    トーンマッピングオペレータと
    を含む、請求項11に記載のシステム。
  13. 前記パイプラインはさらに、色補正モジュール、HDR変換モジュール、およびHDR圧縮モジュールのうちの1つ以上を備える、請求項12に記載のシステム。

JP2019529136A 2016-08-09 2017-08-07 車両制御のためのリアルタイムhdrビデオ Active JP7081835B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662372527P 2016-08-09 2016-08-09
US62/372,527 2016-08-09
PCT/US2017/045683 WO2018031441A1 (en) 2016-08-09 2017-08-07 Real-time hdr video for vehicle control

Publications (2)

Publication Number Publication Date
JP2019525688A JP2019525688A (ja) 2019-09-05
JP7081835B2 true JP7081835B2 (ja) 2022-06-07

Family

ID=61159711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019529136A Active JP7081835B2 (ja) 2016-08-09 2017-08-07 車両制御のためのリアルタイムhdrビデオ

Country Status (6)

Country Link
US (4) US10554901B2 (ja)
EP (1) EP3497925B1 (ja)
JP (1) JP7081835B2 (ja)
AU (2) AU2017308749A1 (ja)
CA (1) CA3033242A1 (ja)
WO (1) WO2018031441A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10257393B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10554901B2 (en) 2016-08-09 2020-02-04 Contrast Inc. Real-time HDR video for vehicle control
US10248874B2 (en) * 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
JP6938903B2 (ja) * 2016-12-14 2021-09-22 株式会社デンソー 車両における衝突回避装置および衝突回避方法
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
CN109033951B (zh) * 2017-06-12 2022-05-27 法拉第未来公司 用于基于图形处理来检测遮挡对象的***及方法
US10431082B2 (en) * 2017-06-19 2019-10-01 GM Global Technology Operations LLC Systems and methods for emergency vehicle response in an autonomous vehicle
WO2019014057A1 (en) 2017-07-10 2019-01-17 Contrast, Inc. STEREOSCOPIC CAMERA
JP7013730B2 (ja) * 2017-08-29 2022-02-15 株式会社Jvcケンウッド 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム
US11348265B1 (en) * 2017-09-15 2022-05-31 Snap Inc. Computing a point cloud from stitched images
DE102017122711A1 (de) * 2017-09-29 2019-04-04 Claas E-Systems Kgaa Mbh & Co. Kg Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine
JP7075271B2 (ja) * 2018-04-20 2022-05-25 キヤノン株式会社 画像処理装置、情報表示装置、制御方法、及びプログラム
JP7075272B2 (ja) 2018-04-20 2022-05-25 キヤノン株式会社 画像処理装置、情報表示装置、制御方法、及びプログラム
US11900672B2 (en) * 2018-04-23 2024-02-13 Alpine Electronics of Silicon Valley, Inc. Integrated internal and external camera system in vehicles
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
US11181619B2 (en) 2018-06-14 2021-11-23 Waymo Llc Camera ring structure for autonomous vehicles
EP3831048A4 (en) * 2018-07-31 2022-05-04 3M Innovative Properties Company VEHICLE ASSISTANCE SYSTEMS
US10609304B2 (en) 2018-08-08 2020-03-31 Joshua Soper System and method for providing and automobile image and information capturing and processing system
US11227409B1 (en) * 2018-08-20 2022-01-18 Waymo Llc Camera assessment techniques for autonomous vehicles
US11699207B2 (en) 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
US11250701B2 (en) * 2018-08-24 2022-02-15 Baidu Usa Llc Data transfer logic for transferring data between sensors and planning and control of an autonomous driving vehicle
CN110874921A (zh) * 2018-08-31 2020-03-10 百度在线网络技术(北京)有限公司 智能路侧单元及其信息处理方法
CN110874922A (zh) * 2018-08-31 2020-03-10 百度在线网络技术(北京)有限公司 智能路侧单元及其信息处理方法
GB2577734A (en) 2018-10-05 2020-04-08 Continental Automotive Gmbh Emergency vehicle detection
US11287523B2 (en) * 2018-12-03 2022-03-29 CMMB Vision USA Inc. Method and apparatus for enhanced camera and radar sensor fusion
CN109765820B (zh) * 2019-01-14 2019-08-09 南栖仙策(南京)科技有限公司 一种用于自动驾驶控制策略的训练***
US11148676B2 (en) * 2019-03-29 2021-10-19 Intel Corporation Detection of an anomalous image associated with image data from one or more cameras of a computer-aided or autonomous driving vehicle
DE102019206581A1 (de) * 2019-05-08 2020-11-12 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
EP3744568B1 (en) * 2019-05-29 2022-01-19 Ningbo Geely Automobile Research & Development Co. Ltd. A system and method for providing a desired view for a vehicle occupant
US10789851B1 (en) * 2019-09-04 2020-09-29 GM Global Technology Operations LLC System and method for vision sensor detection
US11650360B2 (en) * 2019-09-13 2023-05-16 GM Cruise Holdings LLC. Color filter array patterns for enhancing a low-light sensitivity while preserving a color accuracy in image signal processing applications
US20210229517A1 (en) * 2020-01-23 2021-07-29 Kawasaki Jukogyo Kabushiki Kaisha Utility vehicle
US11341621B2 (en) * 2020-03-04 2022-05-24 GM Global Technology Operations LLC Enhanced imaging system for a motor vehicle
JP7455620B2 (ja) * 2020-03-11 2024-03-26 三星電子株式会社 動画像処理装置及び動画像処理方法
JP7494536B2 (ja) 2020-04-02 2024-06-04 株式会社Jvcケンウッド 車両用撮像装置、画像処理方法、及び画像処理プログラム
US11729371B2 (en) 2020-10-14 2023-08-15 Ford Global Technologies, Llc Systems and methods for improved camera color calibration
CN112565728B (zh) * 2020-12-22 2022-10-11 京东方科技集团股份有限公司 白平衡调整方法、***及装置
US11776163B1 (en) * 2020-12-30 2023-10-03 Waymo Llc Systems, methods, and apparatus for correcting desaturation of images with transformed color values by appling a matrix
CN113379698B (zh) * 2021-06-08 2022-07-05 武汉大学 一种分步联合监督的光照估计方法
US11705006B2 (en) 2021-09-02 2023-07-18 Ford Global Technologies, Llc Systems and methods to issue a warning to an object near a vehicle

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096510A (ja) 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
JP2009017157A (ja) 2007-07-04 2009-01-22 Omron Corp 画像処理装置および方法、並びに、プログラム
US20100225783A1 (en) 2009-03-04 2010-09-09 Wagner Paul A Temporally Aligned Exposure Bracketing for High Dynamic Range Imaging
US20130021447A1 (en) 2011-07-20 2013-01-24 Broadcom Corporation Dual image capture processing
JP2013027021A (ja) 2011-07-26 2013-02-04 Canon Inc 全方位撮像装置及び全方位撮像方法
US20130250113A1 (en) 2010-02-26 2013-09-26 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
US20140152694A1 (en) 2012-12-05 2014-06-05 Texas Instruments Incorporated Merging Multiple Exposures to Generate a High Dynamic Range Image

Family Cites Families (339)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR956025A (ja) 1946-12-14 1950-01-23
US2642487A (en) 1947-02-28 1953-06-16 Rca Corp Component color separator
US2971051A (en) 1958-12-08 1961-02-07 Frank G Back Varifocal, long back-focal lens for color television
NL254460A (ja) 1960-08-02
US3381084A (en) 1964-06-01 1968-04-30 Mannie Feigenbaum Color television camera optical system
US3474451A (en) 1967-04-10 1969-10-21 William E Abel Loop antenna circuit coupling multiple transmitters
US3601480A (en) 1968-07-10 1971-08-24 Physics Int Co Optical tunnel high-speed camera system
US3653748A (en) 1968-12-26 1972-04-04 Int Video Corp Color divider for color video cameras
US3659918A (en) 1970-03-24 1972-05-02 Philips Corp Color separating prism system
US3668304A (en) 1970-06-29 1972-06-06 Bell Telephone Labor Inc Single pickup tube color television camera
GB1377627A (en) 1971-09-01 1974-12-18 Rank Organisation Ltd Beam splitting prisms
US3720146A (en) 1972-03-15 1973-03-13 Spectral Data Corp Multispectral camera
US3945034A (en) 1973-04-26 1976-03-16 Canon Kabushiki Kaisha Optical system for a color television camera
NL7400148A (nl) 1974-01-07 1975-07-09 Philips Nv Kleurensplitsend prismastelsel met enige opper- en die aan dichroitische lagen grenzen.
US4072405A (en) 1974-06-13 1978-02-07 Tokina Optical Co., Ltd. Prism system for use in tricolor separation
NL7511838A (nl) 1975-10-09 1977-04-13 Philips Nv Kleurscheidende prismacombinatie.
US4134683A (en) 1976-03-05 1979-01-16 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Multispectral imaging and analysis system
JPS599888B2 (ja) 1977-01-27 1984-03-06 ソニー株式会社 色分解光学装置
JPS53124028A (en) 1977-04-05 1978-10-30 Sony Corp Solid state image pickup device
US4395234A (en) 1977-09-16 1983-07-26 Farrand Optical Co., Inc. Optical scanning probe with multiple outputs
US4268119A (en) 1979-01-22 1981-05-19 Bell & Howell Company Color-separating optical system
SE457754B (sv) 1981-07-01 1989-01-23 Barr & Stroud Ltd Icke fokuserande teleskop
US4396188A (en) 1981-07-15 1983-08-02 Dreissigacker Peter D Stationary rowing unit
US4584606A (en) 1983-09-01 1986-04-22 Olympus Optical Co., Ltd. Image pickup means
US4555163A (en) 1983-09-22 1985-11-26 Rca Corporation Complementary color splitting filters used in a color camera
JPS60213178A (ja) 1984-04-06 1985-10-25 Olympus Optical Co Ltd 撮像装置
SE455646B (sv) 1984-10-22 1988-07-25 Radians Innova Ab Fluorescensanordning
US4743011A (en) 1986-07-07 1988-05-10 Calvin Coffey Exercise rowing machine
US4916529A (en) 1986-11-14 1990-04-10 Canon Kabushiki Kaisha Imaging device utilizing solid-state image sensors combined with a beam-splitting prism
JPS63160489A (ja) 1986-12-24 1988-07-04 Mitsubishi Electric Corp 固体撮像装置
US5093563A (en) 1987-02-05 1992-03-03 Hughes Aircraft Company Electronically phased detector arrays for optical imaging
JPS6468190A (en) 1987-09-09 1989-03-14 Victor Company Of Japan Three-color separation optical system
US4805037A (en) 1987-10-15 1989-02-14 Eastman Kodak Company Image recording system
US5155623A (en) 1988-09-23 1992-10-13 At&T Bell Laboratories Arrangement for imaging multiple arrays of light beams
US5134468A (en) 1989-02-21 1992-07-28 Canon Kabushiki Kaisha Optical apparatus for varying the lengths of optical path of color component light beams
US5194959A (en) 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
US5024530A (en) 1989-12-26 1991-06-18 Lockheed Missiles & Space Company, Inc. Multichannel telecentric filtered imager
US5646265A (en) 1990-01-11 1997-07-08 Isis Pharmceuticals, Inc. Process for the preparation of 2'-O-alkyl purine phosphoramidites
US5092581A (en) 1990-07-02 1992-03-03 Michael Koz Rowing exercise apparatus
JP2510768B2 (ja) 1990-07-05 1996-06-26 学校法人近畿大学 高速流速場測定用ビデオ撮影装置
DE4035145A1 (de) 1990-11-06 1992-05-07 Bio Photonics Gmbh Optisches system zur aufteilung einer reellen abbildung
DE4035144A1 (de) 1990-11-06 1992-05-07 Bio Photonics Gmbh Optisches strahlenteilersystem zur erzeugung einer mehrzahl von reellen abbildungen
US5272518A (en) 1990-12-17 1993-12-21 Hewlett-Packard Company Colorimeter and calibration system
JPH05134192A (ja) 1991-05-02 1993-05-28 Hughes Aircraft Co 多数の同時機能を有する光学系
JP2777847B2 (ja) 1991-08-30 1998-07-23 富士写真フイルム株式会社 撮像装置および方法ならびに画像処理装置および方法
US5153621A (en) 1991-10-31 1992-10-06 Nview Corporation Optical system for projecting multiple images in adjoining relation without illuminance discontinuities
US5355165A (en) 1992-08-06 1994-10-11 Princeton Scientific Instruments, Inc. Very high frame rate CCD imager
US5275518A (en) 1993-01-29 1994-01-04 C. D. Sparling Company Hand rail fastener
JPH06335006A (ja) 1993-05-19 1994-12-02 Matsushita Electric Ind Co Ltd 固体撮像装置
JP3385432B2 (ja) 1993-09-29 2003-03-10 株式会社ニュークリエイション 検査装置
US5801773A (en) 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
GB2284273B (en) 1993-11-29 1997-01-08 Hadland Photonics Limited Electronic high speed camera incorporating a beam splitter
US5707322A (en) 1994-02-28 1998-01-13 Concept Ii, Inc. Exercise machine
US5644432A (en) 1995-01-17 1997-07-01 Ibm Corporation Three prism color separator
US5929908A (en) 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
JPH08220585A (ja) 1995-02-13 1996-08-30 Nikon Corp 電子カメラ
JPH08233658A (ja) 1995-02-24 1996-09-13 Olympus Optical Co Ltd 分光装置及び分光画像記録装置
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7426437B2 (en) * 1997-10-22 2008-09-16 Intelligent Technologies International, Inc. Accident avoidance systems and methods
US5642191A (en) 1995-07-20 1997-06-24 Lockheed Missiles & Space Company, Inc. Multi-channel imaging spectrophotometer
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US5881180A (en) 1996-02-08 1999-03-09 Sony Corporation Method and apparatus for the reduction of blocking effects in images
US5905490A (en) 1996-02-26 1999-05-18 Seiko Epson Corporation Generating color-correction look-up-table addresses by multi-level half-toning
US6011876A (en) 1997-02-26 2000-01-04 Raytheon Company System and method for converting an incoming image into electronic form
JPH10269616A (ja) 1997-03-19 1998-10-09 Fujitsu Ltd 光ピックアップ
US6058215A (en) 1997-04-30 2000-05-02 Ricoh Company, Ltd. Reversible DCT for lossless-lossy compression
US6356296B1 (en) 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
US5926283A (en) 1997-07-12 1999-07-20 Optical Insights, Llc Multi-spectral two dimensional imaging spectrometer
US5900942A (en) 1997-09-26 1999-05-04 The United States Of America As Represented By Administrator Of National Aeronautics And Space Administration Multi spectral imaging system
JP3808610B2 (ja) 1997-10-21 2006-08-16 東芝テリー株式会社 撮像装置
JP2000019407A (ja) 1998-07-06 2000-01-21 Olympus Optical Co Ltd 結像光学系
US6603103B1 (en) 1998-07-08 2003-08-05 Ppt Vision, Inc. Circuit for machine-vision system
US6614478B1 (en) 1999-04-30 2003-09-02 Foveon, Inc. Color separation prisms having solid-state imagers mounted thereon and camera employing same
JP2000338313A (ja) 1999-05-26 2000-12-08 Sony Corp 色分解プリズム
KR100363826B1 (ko) 1999-06-07 2002-12-06 히다치덴시 가부시키가이샤 넓은 다이내믹레인지의 영상신호를 생성하는텔레비젼신호처리장치와 그 신호처리장치를 가지는텔레비젼카메라 및 텔레비젼신호처리방법
US6429016B1 (en) * 1999-10-01 2002-08-06 Isis Pharmaceuticals, Inc. System and method for sample positioning in a robotic system
JP2001136434A (ja) 1999-11-09 2001-05-18 Ricoh Co Ltd 撮像装置
US6215597B1 (en) 1999-11-17 2001-04-10 Duncan Technologies, Inc. Apparatus for forming a plurality of subimages having different characteristics
US20010055034A1 (en) 2000-02-02 2001-12-27 Goertzen Kenbe D. System and method for optimizing image resolution using pixelated imaging devices
US7084905B1 (en) 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
US6674487B1 (en) 2000-03-31 2004-01-06 Intel Corporation Controlling hue using a saturation control circuit
US6633683B1 (en) 2000-06-26 2003-10-14 Miranda Technologies Inc. Apparatus and method for adaptively reducing noise in a noisy input image signal
US6646716B1 (en) 2000-07-27 2003-11-11 Eastman Kodak Company Method and apparatus for printing multiple simultaneous images onto a photosensitive media
US8719326B2 (en) 2003-08-18 2014-05-06 S.F. Ip Properties 14 Llc Adaptive data transformation engine
JP2002165108A (ja) 2000-11-28 2002-06-07 Fuji Photo Film Co Ltd 画像取得装置
US6937770B1 (en) 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video
US7554596B2 (en) 2001-04-13 2009-06-30 The Trustees Of Columbia University In The City Of New York Method and apparatus for recording a sequence of images using a moving optical element
JP4734768B2 (ja) 2001-06-04 2011-07-27 ソニー株式会社 撮影装置および方法、記録媒体、並びにプログラム
US6609795B2 (en) 2001-06-11 2003-08-26 3M Innovative Properties Company Polarizing beam splitter
US6856466B2 (en) 2001-07-05 2005-02-15 Science & Engineering Associates, Inc. Multiple imaging system
JP2003035881A (ja) 2001-07-25 2003-02-07 Minolta Co Ltd 画像表示装置
US20040125228A1 (en) 2001-07-25 2004-07-01 Robert Dougherty Apparatus and method for determining the range of remote objects
US20030048493A1 (en) 2001-09-10 2003-03-13 Pontifex Brian Decoursey Two sensor quantitative low-light color camera
US6882685B2 (en) 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
AU2002356548A1 (en) 2001-10-09 2003-04-22 Dimensional Photonics, Inc. Device for imaging a three-dimensional object
US7049597B2 (en) 2001-12-21 2006-05-23 Andrew Bodkin Multi-mode optical imager
EP1335607A3 (en) 2001-12-28 2003-10-22 Ricoh Company, Ltd. Image smoothing apparatus and method
US6954580B2 (en) 2002-03-01 2005-10-11 Jds Uniphase Corporation Optical receiver with high dynamic range
CA2483744A1 (en) 2002-03-14 2003-09-25 Science & Engineering Associates, Inc. Multiple imaging system and method for designing same
US9428186B2 (en) * 2002-04-09 2016-08-30 Intelligent Technologies International, Inc. Exterior monitoring for vehicles
US9007197B2 (en) * 2002-05-20 2015-04-14 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
MXPA05001880A (es) * 2002-08-21 2005-06-03 Gentex Corp Metodos de adquisicion y procesamiento de imagen para control automatico de iluminacion exterior vehicular.
EP1395062A1 (en) 2002-09-02 2004-03-03 Thomson Licensing S.A. Color image pickup device
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US7307787B2 (en) 2002-12-20 2007-12-11 Fuji Xerox Co., Ltd. Beam splitting prism, method of manufacturing beam splitting prism, and all-optical switching device
US20070182844A1 (en) 2003-03-09 2007-08-09 Latia Imaging Pty Ltd Optical system for producing differently focused images
US6801719B1 (en) 2003-03-14 2004-10-05 Eastman Kodak Company Camera using beam splitter with micro-lens image amplification
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
US7535647B1 (en) 2003-08-29 2009-05-19 Otten Iii Leonard John Beam splitters for, for instance, high efficiency spectral imagers
US7572211B2 (en) 2003-09-15 2009-08-11 Matthew Duncan Roach Rowing simulation machine
JP2005117524A (ja) 2003-10-10 2005-04-28 Canon Inc 画像処理システム
US20050117799A1 (en) 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US20060001761A1 (en) 2003-12-23 2006-01-05 Tessera, Inc. Hermetically sealed image sensor module and method of fabricating same
US20050151860A1 (en) 2004-01-08 2005-07-14 Silverstein D. A. Image sensing device and method
US7308159B2 (en) 2004-01-16 2007-12-11 Enuclia Semiconductor, Inc. Image processing system and method with dynamically controlled pixel processing
US8872914B2 (en) 2004-02-04 2014-10-28 Acushnet Company One camera stereo system
US20050198482A1 (en) 2004-03-02 2005-09-08 Altek Corporation Central processing unit having a micro-code engine
JP4223420B2 (ja) 2004-03-05 2009-02-12 メガビジョン株式会社 撮影装置
US20050219659A1 (en) 2004-03-31 2005-10-06 Shuxue Quan Reproduction of alternative forms of light from an object using digital imaging system
JP4594688B2 (ja) 2004-06-29 2010-12-08 オリンパス株式会社 画像符号化処理方法、画像復号化処理方法、動画圧縮処理方法、動画伸張処理方法、画像符号化処理プログラム、画像符号化装置、画像復号化装置、画像符号化/復号化システム、拡張画像圧縮伸張処理システム
US7483486B2 (en) 2004-07-02 2009-01-27 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for encoding high dynamic range video
US7283307B2 (en) 2004-07-07 2007-10-16 Oasys Technology, Llc Common aperture vision system
JP4059233B2 (ja) 2004-07-23 2008-03-12 セイコーエプソン株式会社 画像表示装置およびプロジェクタ
US7397509B2 (en) 2004-08-27 2008-07-08 Micron Technology, Inc. High dynamic range imager with a rolling shutter
US7777199B2 (en) 2004-09-17 2010-08-17 Wichita State University System and method for capturing image sequences at ultra-high framing rates
US7138619B1 (en) 2004-09-28 2006-11-21 Rockwell Collins, Inc. Method and apparatus for coincident viewing at a plurality of wavelengths
US8050511B2 (en) 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
US20060184040A1 (en) 2004-12-09 2006-08-17 Keller Kurtis P Apparatus, system and method for optically analyzing a substrate
CN101142812A (zh) * 2005-03-15 2008-03-12 欧姆龙株式会社 图像处理装置和方法、程序、及记录介质
CA2511220C (en) 2005-03-21 2012-08-14 Sunnybrook Technologies Inc. Multiple exposure methods and apparatus for electronic cameras
JP4766302B2 (ja) * 2005-03-22 2011-09-07 オムロン株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US20060221209A1 (en) 2005-03-29 2006-10-05 Mcguire Morgan Apparatus and method for acquiring and combining images of a scene with multiple optical characteristics at multiple resolutions
US20060249652A1 (en) 2005-05-03 2006-11-09 Kyle Schleifer Methods and systems for pixilation processing of precision, high-speed scanning
US7387391B2 (en) 2005-05-20 2008-06-17 3M Innovative Properties Company Apparatus and method for mounting imagers on stress-sensitive polarizing beam splitters
US7454136B2 (en) 2005-07-28 2008-11-18 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for acquiring HDR flash images
KR100695003B1 (ko) 2005-10-10 2007-03-13 엘지전자 주식회사 주파수 영상 정보에서 잡음을 제거하는 영상 복원 방법 및이를 위한 장치
US7471451B2 (en) 2005-10-14 2008-12-30 Flir Systems, Inc. Multiple field of view optical system
JP4687492B2 (ja) 2006-02-14 2011-05-25 株式会社ニコン カメラ、撮像方法、露出演算装置およびプログラム
US20070189750A1 (en) 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
JP2007281816A (ja) 2006-04-05 2007-10-25 Shimadzu Corp カメラ装置
JP4469956B2 (ja) 2006-04-26 2010-06-02 独立行政法人産業技術総合研究所 多焦点撮像装置
US8880571B2 (en) 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
US20080013051A1 (en) 2006-07-14 2008-01-17 3M Innovative Properties Company Polarizing beam splitters incorporating reflective and absorptive polarizers and image display systems thereof
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US7903888B2 (en) 2006-08-08 2011-03-08 Canon Kabushiki Kaisha Image encoding apparatus and image decoding apparatus
KR100843087B1 (ko) 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
US7551359B2 (en) 2006-09-14 2009-06-23 3M Innovative Properties Company Beam splitter apparatus and system
TW200820123A (en) 2006-10-20 2008-05-01 Primax Electronics Ltd Method and system of generating high dynamic range image corresponding to specific scene
KR20080038929A (ko) 2006-10-31 2008-05-07 삼성전기주식회사 적외선 차단막 일체형 렌즈 및 이를 이용한 카메라 모듈
KR100834763B1 (ko) 2006-11-14 2008-06-05 삼성전자주식회사 동적 촬영 대역의 확장을 위한 이미지 센서 및 화소에수광된 광량을 측정하는 방법
US7719674B2 (en) 2006-11-28 2010-05-18 Applied Materials South East Asia Pte. Ltd. Image splitting in optical inspection systems
US7714998B2 (en) 2006-11-28 2010-05-11 Applied Materials South East Asia Pte. Ltd. Image splitting in optical inspection systems
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US20080198235A1 (en) 2007-02-16 2008-08-21 Shou-Lung Chen High dynamic range image recorder
US20080198266A1 (en) 2007-02-20 2008-08-21 Seiko Epson Corporation Video output device, video output method, video output program, video processing system, video processing device, video processing method, and video processing program
US8323047B2 (en) 2007-03-16 2012-12-04 Allied Precision Industries, Inc. Cordset assembly
US7903900B2 (en) 2007-03-30 2011-03-08 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Low complexity color de-noising filter
CA2729935A1 (en) 2007-05-11 2008-11-20 Michael D'eredita Simulated rowing machine
US8207931B2 (en) 2007-05-31 2012-06-26 Hong Kong Applied Science and Technology Research Institute Company Limited Method of displaying a low dynamic range image in a high dynamic range
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
CN101344706B (zh) 2007-07-11 2010-09-15 宏达国际电子股份有限公司 可携式电子装置及可携式电子装置的照相模块
US8022994B2 (en) 2007-08-31 2011-09-20 Omnivision Technologies, Inc. Image sensor with high dynamic range in down-sampling mode
DE102007046210A1 (de) 2007-09-27 2009-04-02 Carl Zeiss Meditec Ag Anordnung und Verfahren zur Erzeugung von Bildern mit erweiterter Dynamik
KR101385961B1 (ko) 2007-12-21 2014-04-16 삼성전자주식회사 영상신호의 색 노이즈 제거 장치 및 방법
US8723961B2 (en) 2008-02-26 2014-05-13 Aptina Imaging Corporation Apparatus and method for forming and displaying high dynamic range (HDR) images
WO2009111642A1 (en) 2008-03-05 2009-09-11 Contrast Optical Design & Engineering, Inc. Multiple image camera and lens system
EP2265993B8 (en) 2008-03-28 2021-07-07 Contrast, Inc. Whole beam image splitting system
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8035711B2 (en) 2008-05-22 2011-10-11 Panavision Imaging, Llc Sub-pixel array optical sensor
CN102077572B (zh) 2008-06-19 2014-06-11 松下电器产业株式会社 用于在成像***中防止运动模糊和重影的方法及装置
US8843938B2 (en) 2008-07-02 2014-09-23 International Business Machines Corporation Methods, systems, and computer program products for asynchronous resumption of a dataflow
JP5132517B2 (ja) 2008-10-22 2013-01-30 キヤノン株式会社 画像処理装置および画像処理方法
US7973940B2 (en) 2008-12-11 2011-07-05 Kowa Company Ltd. Optical object measurement apparatus
US20100172409A1 (en) 2009-01-06 2010-07-08 Qualcom Incorporated Low-complexity transforms for data compression and decompression
JP5589006B2 (ja) 2009-03-13 2014-09-10 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
US9110849B2 (en) 2009-04-15 2015-08-18 Qualcomm Incorporated Computing even-sized discrete cosine transforms
US8237813B2 (en) 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
US20110028278A1 (en) 2009-06-09 2011-02-03 Roach Matthew D Dynamic Rowing Machine
WO2011014207A1 (en) 2009-07-31 2011-02-03 University Of Utah Research Foundation Beam splitter module
WO2011032028A2 (en) 2009-09-10 2011-03-17 Contrast Optical Design & Engineering, Inc. Whole beam image splitting system
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8340442B1 (en) 2010-02-12 2012-12-25 Pacific Data Images Llc Lossy compression of high-dynamic range image files
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9754629B2 (en) * 2010-03-03 2017-09-05 Koninklijke Philips N.V. Methods and apparatuses for processing or defining luminance/color regimes
US8659683B1 (en) 2010-03-25 2014-02-25 Ambarella, Inc. Digital picture noise reduction by combining high-noise and low-noise processed pictures
US8622876B2 (en) 2010-04-01 2014-01-07 Rowing Innovations Inc. Rowing simulator
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US9264659B2 (en) 2010-04-07 2016-02-16 Apple Inc. Video conference network management for a mobile device
EP2577489A4 (en) 2010-06-02 2014-09-10 Onmobile Global Ltd METHOD AND APPARATUS FOR ADAPTING MULTIMEDIA CONTENT
US8947410B2 (en) 2010-06-07 2015-02-03 Prysm, Inc. Power calibration of multiple light sources in a display screen
WO2011160629A1 (en) 2010-06-21 2011-12-29 Sirius Digital Aps Double stacked projection
US8885978B2 (en) 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
US8357899B2 (en) 2010-07-30 2013-01-22 Aptina Imaging Corporation Color correction circuitry and methods for dual-band imaging systems
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US9237252B2 (en) 2010-10-01 2016-01-12 Contex A/S Signal intensity matching of image sensors
US8699801B2 (en) 2010-11-26 2014-04-15 Agfa Healthcare Inc. Systems and methods for transmitting high dynamic range images
GB2500835B (en) 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
GB2501402B (en) 2010-12-21 2015-06-24 Syndiant Inc Spatial light modulator with storage reducer
EP2469295A1 (en) 2010-12-23 2012-06-27 André Borowski 3D landscape real-time imager and corresponding imaging methods
CN102651442B (zh) 2011-02-23 2015-01-07 展晶科技(深圳)有限公司 发光二极管光源
JP2012204384A (ja) 2011-03-23 2012-10-22 Toshiba Corp 不揮発性半導体記憶装置およびその製造方法
US8593565B2 (en) 2011-03-25 2013-11-26 Gary S. Shuster Simulated large aperture lens
JP2012222550A (ja) 2011-04-07 2012-11-12 Sony Corp 再生装置および映像制作システム
US9013352B2 (en) 2011-04-25 2015-04-21 Saudi Arabian Oil Company Method, system, and machine to track and anticipate the movement of fluid spills when moving with water flow
US20140085422A1 (en) 2011-05-30 2014-03-27 Sony Ericsson Mobile Communications Ab Image processing method and device
US20120307893A1 (en) 2011-06-02 2012-12-06 Qualcomm Incorporated Fast computing of discrete cosine and sine transforms of types vi and vii
CN103765885B (zh) 2011-07-11 2017-04-12 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置
US8553109B2 (en) 2011-07-20 2013-10-08 Broadcom Corporation Concurrent image processing for generating an output image
US8730330B2 (en) * 2011-07-25 2014-05-20 Aptina Imaging Corporation Image sensors with dark pixels for real-time verification of imaging systems
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
KR102274896B1 (ko) 2011-08-12 2021-07-09 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술기기 내의 이미지 캡쳐 장치
US8672838B2 (en) 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
JP5220172B2 (ja) 2011-08-22 2013-06-26 キヤノン株式会社 画像取得装置、画像取得システム、および対物光学系
JP2013066142A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR20130025137A (ko) 2011-09-01 2013-03-11 삼성전자주식회사 파노라마 촬상 렌즈 및 이를 이용한 파노라마 촬상 시스템
ITVI20110243A1 (it) 2011-09-09 2013-03-10 Stmicroelectronics Grenoble 2 Riduzione di rumore croma di una immagine
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
CA2850037C (en) 2011-09-27 2022-10-04 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
EP2754125B1 (en) 2011-10-14 2017-01-18 Omron Corporation A method and apparatus for projective volume monitoring
JP5832855B2 (ja) 2011-11-01 2015-12-16 クラリオン株式会社 画像処理装置、撮像装置および画像処理プログラム
WO2013076531A1 (en) 2011-11-23 2013-05-30 Nokia Corporation An apparatus and method comprising a beam splitter
JP6019573B2 (ja) 2011-12-07 2016-11-02 セイコーエプソン株式会社 記録装置および画像処理方法
US9177988B2 (en) 2011-12-16 2015-11-03 Chromatra, Llc. Systems and methods for creating full-color image in low light
KR101310140B1 (ko) 2012-01-19 2013-09-23 금오공과대학교 산학협력단 가역 워터마킹 기술을 이용한 영상의 무결성 인증 방법
EP2620050B1 (en) * 2012-01-25 2016-07-27 Honda Research Institute Europe GmbH System, method and apparatus for unsupervised adaptation of the perception of an autonomous mower
US9258468B2 (en) 2012-02-15 2016-02-09 Fluxdata, Inc. Method and apparatus for separate spectral imaging and sensing
US9185307B2 (en) * 2012-02-21 2015-11-10 Semiconductor Components Industries, Llc Detecting transient signals using stacked-chip imaging systems
US9129445B2 (en) 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
JP2015520582A (ja) 2012-05-18 2015-07-16 トムソン ライセンシングThomson Licensing ネイティブ3色イメージ及びハイダイナミックレンジイメージ
JP5781978B2 (ja) 2012-05-22 2015-09-24 株式会社小松製作所 ダンプトラック
US8964040B2 (en) * 2012-06-06 2015-02-24 Apple Inc. High dynamic range image registration using motion sensor data
US9489706B2 (en) 2012-07-02 2016-11-08 Qualcomm Technologies, Inc. Device and algorithm for capturing high dynamic range (HDR) video
JP6382805B2 (ja) 2012-07-13 2018-08-29 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 改良されたhdr画像符号化及び復号方法並びに装置
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US20140063300A1 (en) 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
JP6019964B2 (ja) 2012-09-10 2016-11-02 株式会社リコー 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法
DE102012216065A1 (de) * 2012-09-11 2014-03-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von zumindest einer gepulsten Lichtquelle für ein Fahrzeug
US9720231B2 (en) 2012-09-26 2017-08-01 Dolby Laboratories Licensing Corporation Display, imaging system and controller for eyewear display device
US8975594B2 (en) 2012-11-09 2015-03-10 Ge Aviation Systems Llc Mixed-material multispectral staring array sensor
US9679365B2 (en) 2012-11-16 2017-06-13 Thomson Licensing Processing high dynamic range images
KR101932587B1 (ko) 2012-11-20 2018-12-26 삼성전자주식회사 컬러-깊이 디모자이킹 영상 처리 장치 및 방법
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9071765B2 (en) 2012-12-28 2015-06-30 Nvidia Corporation System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
US9671595B2 (en) 2013-01-05 2017-06-06 Light Labs Inc. Methods and apparatus for using multiple optical chains in paralell
US10271038B2 (en) 2013-01-15 2019-04-23 Disney Enterprise, Inc. Camera with plenoptic lens
US9068390B2 (en) * 2013-01-21 2015-06-30 Magna Electronics Inc. Vehicle hatch control system
CN104995911B (zh) 2013-02-15 2017-02-22 富士胶片株式会社 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序
US9106851B2 (en) 2013-03-12 2015-08-11 Tower Semiconductor Ltd. Single-exposure high dynamic range CMOS image sensor pixel with internal charge amplifier
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
CA2902430C (en) * 2013-03-15 2020-09-01 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US10382674B2 (en) * 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
CN104125408B (zh) 2013-04-28 2018-06-12 比亚迪股份有限公司 一种高动态范围图像处理方法及装置
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
JP6419807B2 (ja) 2013-07-19 2018-11-07 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdrメタデータ転送
TWI632810B (zh) 2013-07-19 2018-08-11 新力股份有限公司 Data generating device, data generating method, data reproducing device, and data reproducing method
BR112016002269A2 (pt) 2013-07-31 2017-08-01 Aquahydrex Pty Ltd método e célula eletroquímica para gerenciar reações eletroquímicas
US9654738B1 (en) * 2013-08-07 2017-05-16 Waymo Llc Using multiple exposures to improve image processing for autonomous vehicles
EP3061241A4 (en) 2013-08-20 2017-04-05 Smarter TV Ltd. System and method for real-time processing of ultra-high resolution digital video
US9275445B2 (en) * 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
JP6294489B2 (ja) 2013-09-06 2018-03-14 エルジー エレクトロニクス インコーポレイティド デジタル放送システムにおける広域明るさ表現のための超高画質放送信号送受信方法及び装置
JP2016541140A (ja) 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Hdr放送サービスの提供のための放送信号送受信方法及び装置
EP2873314B1 (en) * 2013-11-19 2017-05-24 Honda Research Institute Europe GmbH Control system for an autonomous garden tool, method and apparatus
EP3808634A1 (en) * 2013-12-04 2021-04-21 Mobileye Vision Technologies Ltd. Navigating a vehicle to pass another vehicle
GB2521408B (en) 2013-12-18 2015-12-16 Imagination Tech Ltd Defective pixel fixing
CN109922344B (zh) 2014-01-07 2023-01-06 杜比实验室特许公司 用于对高动态范围图像进行编码、解码和表示的技术
EP3576415A1 (en) 2014-02-07 2019-12-04 SONY Corporation Transmission device, transmission method, reception device, reception method, display device, and display method
US10271054B2 (en) 2014-02-25 2019-04-23 Apple, Inc. Display-side adaptive video processing
GB2526047B (en) 2014-02-27 2021-04-07 British Broadcasting Corp Method and apparatus for improved signal processing for high dynamic range
US9368535B2 (en) 2014-02-28 2016-06-14 Semiconductor Components Industries, Llc Imaging systems with flip chip ball grid arrays
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9677840B2 (en) 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
US20150296140A1 (en) * 2014-04-11 2015-10-15 Grey Matter Fusion, Inc. Panoramic view blind spot eliminator system and method
DE102014207315A1 (de) 2014-04-16 2015-10-22 Spheronvr Ag Kameraanordnung
JP2015210702A (ja) * 2014-04-28 2015-11-24 キヤノン株式会社 画像処理装置及び画像処理方法
GB201408618D0 (en) 2014-05-15 2014-06-25 Univ Warwick Compressing high dynamic range images
US9131150B1 (en) 2014-06-06 2015-09-08 Amazon Technologies, Inc. Automatic exposure control and illumination for head tracking
WO2015199911A1 (en) 2014-06-23 2015-12-30 Exxonmobil Upstream Research Company Methods and systems for detecting a chemical species
US20160007052A1 (en) 2014-07-03 2016-01-07 Anthem Digital Media, Inc. Live streaming broadcast service with artist and fan competitive reward system
US20160007910A1 (en) 2014-07-10 2016-01-14 International Business Machines Corporation Avoidance of cognitive impairment events
US9344639B2 (en) 2014-08-12 2016-05-17 Google Technology Holdings LLC High dynamic range array camera
WO2016041953A1 (en) * 2014-09-15 2016-03-24 Dmitry Gorilovsky A system comprising multiple digital cameras viewing a large scene
US9613408B2 (en) * 2014-09-25 2017-04-04 Intel Corporation High dynamic range image composition using multiple images
WO2016072347A1 (ja) 2014-11-07 2016-05-12 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6533050B2 (ja) * 2014-11-13 2019-06-19 クラリオン株式会社 車載カメラシステム
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Hdr 기능을 이용한 차량용 디스플레이 장치 및 방법
US10163195B2 (en) * 2014-12-12 2018-12-25 Andrew Berlin Spatio-temporal differential synthesis ofdetail images for high dynamic range imaging
US20160191795A1 (en) 2014-12-30 2016-06-30 Alpine Electronics, Inc. Method and system for presenting panoramic surround view in vehicle
EP3043289B1 (en) * 2015-01-07 2023-04-19 Honda Research Institute Europe GmbH Control system for an autonomous vehicle and a method for generating a control signal and autonomous vehicle equipped with such control system
US9560330B2 (en) 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with reconfigurable architecture and methods for use therewith
EP3051821A1 (en) 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
WO2016119979A1 (en) * 2015-01-30 2016-08-04 Koninklijke Philips N.V. Simple but versatile dynamic range coding
GB2535230B (en) 2015-02-13 2019-05-08 Raptor Oil Ltd Dynamically adjustable data flow graph for digital signal processing
WO2016138428A1 (en) 2015-02-27 2016-09-01 LAFORGE Optical, Inc. Augmented reality eyewear
JP6390512B2 (ja) * 2015-05-21 2018-09-19 株式会社デンソー 車載カメラ装置
US10880557B2 (en) 2015-06-05 2020-12-29 Fastvdo Llc High dynamic range image/video coding
US10397585B2 (en) 2015-06-08 2019-08-27 Qualcomm Incorporated Processing high dynamic range and wide color gamut video data for video coding
US9974996B2 (en) 2015-06-23 2018-05-22 Contrast, Inc. Adaptor for an indoor rowing machine
US9998692B1 (en) 2015-06-26 2018-06-12 The United States Of America As Represented By The Secretary Of The Navy Motion picture high dynamic range imaging
GB2539917B (en) 2015-06-30 2021-04-07 British Broadcasting Corp Method and apparatus for conversion of HDR signals
JP2017028490A (ja) * 2015-07-22 2017-02-02 ルネサスエレクトロニクス株式会社 撮像センサ及びセンサモジュール
US9277122B1 (en) 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US9979895B2 (en) 2015-09-04 2018-05-22 Disney Enterprises, Inc. High dynamic range tone mapping
US10839487B2 (en) 2015-09-17 2020-11-17 Michael Edwin Stewart Methods and apparatus for enhancing optical images and parametric databases
US10200701B2 (en) 2015-10-14 2019-02-05 Qualcomm Incorporated HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding
US9826171B2 (en) 2015-10-29 2017-11-21 Novatek Microelectronics Corp. Apparatus and method for reconstructing high dynamic range video
US20170155873A1 (en) 2015-11-30 2017-06-01 Sensors Unlimited, Inc. Sensor systems and methods
CN105472265B (zh) * 2015-12-04 2018-12-14 中国神华能源股份有限公司 一种获取高动态范围图像的装置和方法
US9984446B2 (en) 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10257393B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
CA3016428C (en) 2016-02-12 2024-01-09 Contrast Optical Design & Engineering, Inc. Devices and methods for high dynamic range video
US10478720B2 (en) 2016-03-15 2019-11-19 Unity IPR ApS Dynamic assets for creating game experiences
US9488984B1 (en) * 2016-03-17 2016-11-08 Jeff Williams Method, device and system for navigation of an autonomous supply chain node vehicle in a storage center using virtual image-code tape
EP3220645A1 (en) 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
US9459692B1 (en) 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
CN109076148B (zh) 2016-04-12 2021-02-05 奎蒂安特有限公司 日常场景重建引擎
GB2549696A (en) 2016-04-13 2017-11-01 Sony Corp Image processing method and apparatus, integrated circuitry and recording medium
US10554901B2 (en) 2016-08-09 2020-02-04 Contrast Inc. Real-time HDR video for vehicle control
JP6726060B2 (ja) 2016-08-16 2020-07-22 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
US10979729B2 (en) 2016-11-30 2021-04-13 Qualcomm Incorporated Systems and methods for signaling and constraining a high dynamic range (HDR) video system with dynamic metadata
JP6822122B2 (ja) 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US10165182B1 (en) 2016-12-29 2018-12-25 Scott Zhihao Chen Panoramic imaging systems based on two laterally-offset and vertically-overlap camera modules
US10409712B2 (en) 2016-12-30 2019-09-10 Accenture Global Solutions Limited Device based visual test automation
GB201709199D0 (en) 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
WO2019014057A1 (en) 2017-07-10 2019-01-17 Contrast, Inc. STEREOSCOPIC CAMERA
US10949328B2 (en) 2017-08-19 2021-03-16 Wave Computing, Inc. Data flow graph computation using exceptions
EP3685491B1 (en) 2017-09-22 2024-03-13 BTU Research LLC Uninterruptible power over ethernet technology for real world environments
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
US10679320B1 (en) * 2018-07-23 2020-06-09 Ambarella International Lp High dynamic range sensor system with row increment operation
US10616512B2 (en) * 2018-07-27 2020-04-07 Wisconsin Alumni Research Foundation Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors
EP3837843A4 (en) 2018-08-14 2022-05-18 Contrast, Inc. NOISE REDUCTION IN IMAGE PROCESSING
CA3109671A1 (en) 2018-08-14 2020-02-20 Contrast, Inc. Image compression
US10853079B2 (en) 2018-09-26 2020-12-01 Side Effects Software Inc. Dependency-based streamlined processing
US10601908B1 (en) 2018-10-04 2020-03-24 Cisco Technology, Inc. Partitioning of container workload based on a temporal relationship
US20200320955A1 (en) 2019-04-03 2020-10-08 Contrast, Inc. Augmented reality systems
US10809801B1 (en) * 2019-05-16 2020-10-20 Ambarella International Lp Electronic mirror visual parameter adjustment method
US11561776B2 (en) 2019-08-02 2023-01-24 Contrast, Inc. Code-independent graph technology

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096510A (ja) 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
JP2009017157A (ja) 2007-07-04 2009-01-22 Omron Corp 画像処理装置および方法、並びに、プログラム
US20100225783A1 (en) 2009-03-04 2010-09-09 Wagner Paul A Temporally Aligned Exposure Bracketing for High Dynamic Range Imaging
US20130250113A1 (en) 2010-02-26 2013-09-26 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
US20130021447A1 (en) 2011-07-20 2013-01-24 Broadcom Corporation Dual image capture processing
JP2013027021A (ja) 2011-07-26 2013-02-04 Canon Inc 全方位撮像装置及び全方位撮像方法
US20140152694A1 (en) 2012-12-05 2014-06-05 Texas Instruments Incorporated Merging Multiple Exposures to Generate a High Dynamic Range Image

Also Published As

Publication number Publication date
US10554901B2 (en) 2020-02-04
EP3497925B1 (en) 2022-11-23
AU2022203095B2 (en) 2023-10-05
US11910099B2 (en) 2024-02-20
AU2022203095A1 (en) 2022-05-26
JP2019525688A (ja) 2019-09-05
EP3497925A4 (en) 2020-03-11
US20220311926A1 (en) 2022-09-29
WO2018031441A1 (en) 2018-02-15
CA3033242A1 (en) 2018-02-15
US20240187741A1 (en) 2024-06-06
US11375135B2 (en) 2022-06-28
US20180048801A1 (en) 2018-02-15
AU2017308749A1 (en) 2019-02-21
EP3497925A1 (en) 2019-06-19
US20200154030A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
JP7081835B2 (ja) 車両制御のためのリアルタイムhdrビデオ
CA3087048C (en) Multiple operating modes to expand dynamic range
JP6176028B2 (ja) 車両制御システム、画像センサ
JP3300341B2 (ja) 監視システムおよびカメラ調整方法
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
US10750093B2 (en) Image processing device and image processing method
US11970156B1 (en) Parking assistance using a stereo camera and an added light source
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
US20240223882A1 (en) Multiple Operating Modes to Expand Dynamic Range
US11681047B2 (en) Ground surface imaging combining LiDAR and camera data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220519

R150 Certificate of patent or registration of utility model

Ref document number: 7081835

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150