JP7239478B2 - 車両の周辺領域の周辺適応した捕捉を実施するためのカメラ手段並びに方法 - Google Patents

車両の周辺領域の周辺適応した捕捉を実施するためのカメラ手段並びに方法 Download PDF

Info

Publication number
JP7239478B2
JP7239478B2 JP2019544067A JP2019544067A JP7239478B2 JP 7239478 B2 JP7239478 B2 JP 7239478B2 JP 2019544067 A JP2019544067 A JP 2019544067A JP 2019544067 A JP2019544067 A JP 2019544067A JP 7239478 B2 JP7239478 B2 JP 7239478B2
Authority
JP
Japan
Prior art keywords
image
exposure
camera means
optronics
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019544067A
Other languages
English (en)
Other versions
JP2020526048A (ja
Inventor
ブロイアー・カルステン
クレーケル・ディーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2020526048A publication Critical patent/JP2020526048A/ja
Application granted granted Critical
Publication of JP7239478B2 publication Critical patent/JP7239478B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両の周辺領域の最適化された捕捉を実施するためのカメラ手段、並びに、方法に関する。更に、本発明は、このようなカメラ手段を装備した車両にも関する。
例えば、交通標識認識やレーン維持アシスタントなどと言ったドライバー・アシスタント手段を実現するためには、カメラシステムは、水平画角約50度、垂直画角約30度を必要としている。しかしながら、側方からの交通の認識や一列目に停止した際の信号認識などと言った最新の機能では、接近した際でも画像の周辺領域にあるオブジェクトも捕捉できるように、有意に広い視角が必要とされる。それに対して、例えば、高度に自動化された走行やレーン維持アシスタントでは、オブジェクトと道路ストラクチャを遠方からも認識できなくてはならず、これには、相応の分解能が必要である。
DE 102015208889 A1は、ピクセル画像を撮影するための画像センサ手段と、ピクセル画像の隣接するピクセルを一枚の調整されたピクセル画像に統合することができる仕様になっているプロセッサ手段を備えた動力車両用の周辺データを描写するためのカメラ手段を開示している。様々な調整されたピクセル画像は、様々な解像度において、隣接するピクセルのピクセル値を、2-x-2画像ピラミッドの形に、n-x-n画像ピラミッドの形に、或いは、m-x-n画像ピラミッドの形に統合することにより、生成することができる。隣接するピクセルのピクセル値の統合は、予め定められているピクセル画像の部分領域でのみ実施できるが、該部分領域の位置と大きさは、可変である。
本解決策の出発点としては、以下に記載する様な自車両の周辺領域を捕捉するためのカメラ手段を用いた。
ここで言う「周辺領域」とは、自車両の走行方向の前方、側方、及び/或いは、後方にある周辺領域のことである。
該カメラ手段は、周辺領域の画像シーケンスを撮影することができるように構成されたオプトロニクスを有している。
該オプトロニクスは、一つの広角レンズを包含している。該広角レンズは、好ましくは、水平、及び/或いは、垂直の、光軸に対して、例えば、少なくとも+/-50度、特に、少なくとも+/-70度、及び/或いは、大きくとも+/-100度の画角を有する様に構成されている。広角レンズを用いれば、例えば、交差点などの周辺環境を、交差する交通参加者のタイムリーなオブジェクト評価を実施するために、捕捉することができる。画角が、該カメラ手段の視野(Field of View,FoV)を定める。
更に、該オプトロニクスは、高解像度の画像撮影センサも包含している。高解像度画像撮影センサを用いることにより、特に、例えば、遠距離領域、即ち、特に好ましくは、自車両から50メートル離れた距離領域の交通標識や走行レーンの評価などと言ったオブジェクト評価も可能になる。ここで言う「高解像度画像撮影センサ」とは、数メガピクセル、例えば、少なくとも、5メガピクセル、特に、少なくとも、7メガピクセル、特に好ましくは、少なくとも10メガピクセルを有する画像撮影センサであると解釈できる。尚、該画像撮影センサは、均一なピクセル/cm解像度を有していることが好ましい。
このような高解像度画像撮影センサは、これまで、多大なピクセル数を、煩雑な画像処理アルゴリズムによって効率良く処理できないため、特に、広角レンズとの組み合わせにおける使用では、自動車技術分野における使用に、適していないとされてきた。
ある本発明に係る自車両の周辺領域を捕捉するためのカメラ手段は、周辺領域の画像シーケンスを撮影するように構成された一つのオプトロニクスと一つの画像捕捉制御ユニットを包含している。
該オプトロニクスは、一つの広角レンズと一つの高解像度画像撮影センサを包含している。該オプトロニクスと該画像捕捉制御ユニットは、画像シーケンスの撮影中、画像撮影センサの少なくとも二つの異なる露光モードを、少なくとも二つの異なる「ビニングモード」と組み合わせて実施できるように形成、乃至、構成されている。
異なる露光モードは、その時点の周辺の明るさに対して、例えば、異なる露光時間によって設定されることができる。その時点の周辺の明るさには、多くの場合、最適な露光時間が採用され、これにより、普通に露光された画像が得られる。最適な露光時間よりも短い露光時間の場合、露出不足の画像が得られる。しかしながらこれは、アクティブな光源や照射された反射体などがそこにある輝度の高い周辺領域の検出には、そこが、通常の露光時間では、露出オーバーしてしまう画像領域であるため、十分、或いは、より好ましい場合もある。露光時間を短くすることにより、車両自らとそれに固定されているカメラ手段の高い速度における動きを要因とする不鮮明さ(英語:motion blur)を低減することもできる。
一方、最適な露光時間よりも長い露光時間の場合、露出オーバーの画像が得られる。しかしこれは、暗い周辺領域内にある/いるオブジェクト、例えば、道路脇の歩行者や動物を検出できる様にするには、効果がある。
WO 2009/135460 A1は、様々なドライバー・アシスタント機能のために、長い露光時間の画像と短い露光時間の画像を入れ替わり撮影することができる、動力車両内のカメラシステム用に露光制御を実施する方法が、開示されている。
「ビニング」とは、隣接するピクセルを大きなユニットに、例えば、水平に隣り合う二つのピクセルを幅広いピクセルに、或いは、垂直に隣り合う二つのピクセルを背の高いピクセルに統合することを言い、これを実施することで、最大限の解像度で撮影された画像(ビニングされていない画像)から解像度を低減することで、該画像は、より迅速に処理できる様になる。個々のピクセルに対する組み合わされたピクセルの輝度も高まる。これにより、場合によっては、一枚の画像を撮影するための露光時間を短縮することもできる。
2x2ビニングの場合、4つのピクセルスクエアを形成する隣接するピクセルが統合され、3x3ビニングでは、九つのピクセルが、・・・と言う風に統合される。
二つの異なるビニングモードは、即ち、例えば、ビニングされていない画像vs.2x2ビニング画像の撮影、乃至、作成によって得られる。ビニングされていない画像は、非常に多いデータ量を有しているため、更なる処理が施される部分領域(Region of Interest,ROI)を選択することができる。
ピクセル・ビニングは、既に、画像センサ(イメージャ)上においてアナログ乃至デジタルに実施されることができる。代案的に該ピクセル・ビニングは、画像センサと接続されているプロセッサーユニットによって実施されることもできる。これは、ハードワイヤード・ロジックによって、乃至、プログラム/ソフトウェアによって実施されることができる。この場合、処理されていない元画像から、解像度が下げられた調整された画像が作成される。
画像撮影センサの二つの異なる露光モードと二つの異なるビニングモードを組み合わせて使用する単純なケースは、ビニングされ露光時間の短い画像の撮影乃至作成とビニングされていない露光時間の長い画像の撮影を切り替えることにより実施できる。
画像撮影センサの二つの異なる露光モードと二つの異なるビニングモードにより、合計四つの異なる組合せモード、即ち、ビニングされ露光が短い、ビニングされず露光が短い、ビニングされ露光が長い、ビニングされず露光が長いモードが、実現できる。
該画像捕捉制御手段は、イメージ・コントロール(画像捕捉制御)の「制御プログラム」がそこにおいて実施されるプロセスを実行するユニット(例えば、System-on-chip,SoC)に相当する、或いは、少なくともの構成部品である。該画像捕捉制御手段の役割の一つは、特に、解像度が下げられた画像の作成、或いは、オプトロニクスによって、最大解像度を有する部分領域の画像の捕捉を制御することである。
ある有利な実施形態によれば、オプトロニクスと画像捕捉制御ユニットは、予め定められた順番通りの露光モードとビニングモードの組合せにおいて画像シーケンスの撮影を実施できる様に構成されている。
該オプトロニクスと画像捕捉制御ユニットは、好ましくは、画像シーケンスを撮影するために、三つの異なる露光モード、即ち:最適な露光時間の第一露光モード(通常露光)、最適な露光時間よりも短い露光時間の第二露光モード(露光不足)、及び、最適な露光時間よりも長い露光時間の第三露光モード(露光過剰)を実施できる様に構成されている。
また、該オプトロニクスと画像捕捉制御ユニットは、好ましくは、ビニングされた「概要画像」、即ち、該カメラ手段の全捕捉領域の低減された解像度の画像を、撮影乃至作成するための第一ビニングモード、及び、ビニングされていない部分領域、即ち、該カメラ手段の最大解像度を有する画像領域(ROI)を撮影するための第二ビニングモードを予め定めることができる様に構成されている。
有利な発展形態によれば、該オプトロニクスと画像捕捉制御ユニットは、少なくとも一枚の以前のビニングされた撮影から、ビニングされない部分領域の撮影用の露光モードが、定められることができる様に構成されている。
複数の異なる露光モードにおいてビニングされた概要画像が撮影乃至作成されさえすれば、ビニングされていない部分領域の撮影用に、興味のある画像領域様に最適な結果(特に、コントラスト)を得ることができる露光モードを選択することができる。
ある更なる好ましい実施形態においては、該オプトロニクスと画像捕捉制御ユニットは、「切替」(即ち、各々一枚の次に撮影される画像用の変更された露光モード及び/或いはビニングモードの設定)を、画像シーケンスの画像を撮影乃至作成するためのビニングモードと露光モードの有る定まった組合せを設定することにより、アダプティブに実施できるように構成されているが、これは、以下に依存して実施される:
-画像シーケンスの少なくとも一枚の以前の画像の画像評価の結果
-車両データ(車両運動データ、車両速度、・・・)、及び/或いは、
-カメラ手段のシステム状態(温度、プロセッサリソース、・・・)。この実施形態では、定義され組み合わされた露光モードと作動モードの厳密に周期的な切り替えは、無い。
その時点の交通シチュエーション、乃至、周辺シチュエーションに応じて、例えば、その時点において、オプトロニクスの捕捉領域全体のビニングされた「概要図」が撮影されるべきなのか、或いは、予め定められた部分領域の、或いは、捕捉領域全体のビニングされていない画像が作成されるべきなのかを、予め指定することができる。該部分領域は、位置、高さ、及び、幅に関して、その時点のシチュエーションに合わせることができる。尚、状況に合わせた露光モードは、必要であれば、予め設定しておくことができる。
その時点の交通シチュエーション、乃至、周辺シチュエーションとは、以下のことであり得る:
-アウトバーン走行
-郊外の走行
-直線的走行
-カーブの多い走行
-市街地の交通
-交差点シチュエーション
-信号機制御
-横断歩道
-追抜きマヌーバ、及び/或いは、
-衝突リスク(不動な障害物、可動な障害物、歩行者、自転車、動物など)。
ある好ましい実施形態によれば、該オプトロニクスと画像捕捉制御ユニットは、選択された露光モードとビニングモードにおいて撮影/作成された画像シーケンスのどの画像が、画像評価に送られるのかの選択を実施できる様に構成されているが、これは、以下に依存して実施される:
-画像シーケンスの少なくとも一枚の以前の画像の画像評価の結果
-車両データ、及び/或いは、
-カメラ手段のシステム状態。
これは、周期的に三枚の画像が、予め定められた組合せのモードにおいて作成乃至撮影されるが、これら三枚の画像のうち一枚だけが、画像処理において、例えば、オブジェクト認識のために評価されると言う場合に、特に好ましい。
好ましくは、該オプトロニクスと画像捕捉制御ユニットは、画像撮影センサの露光時間乃至その他のパラメータの調整を、個々に、様々な露光モードにおいて実施できる様に構成されているが、これは、以下に依存して実施される:
-画像シーケンスの少なくとも一枚の以前の画像の画像評価の結果
-車両データ、及び/或いは、
-カメラ手段のシステム状態。
尚、該オプトロニクスと画像捕捉制御ユニットは、画像評価の結果として、車両の周辺部、交通参加者、周辺部の光の状況を割り出すことができる様に構成されていることが、好ましい。
本発明は、更に、以下を包含するカメラ手段による自車両の周辺領域を捕捉するための方法にも関する:
-オプトロニクスを用いた車両の周辺領域の画像シーケンスの撮影、但し、該オプトロニクスは、広角レンズと高解像度の画像撮影センサを包含している、
-但し、画像シーケンスの撮影中、画像撮影センサの少なくとも二つの異なる露光モードが、少なくとも二つの異なるビニングモードとの組み合わせで用いられる。
以下、本発明の好ましい実施例を、模式的な図面を用いて詳細に説明する。
図1は、画像捕捉制御ユニットを備えた自車両の周辺領域を捕捉するためのカメラ手段1を概略的に; 図2は、異なる露光モードとビニングモードで撮影乃至作成された三枚の画像のシーケンス、そして、 図3は、三枚の画像:一枚の概要画像と二枚の詳細画像からなるシーケンスを示している。
図1は、オプトロニクスと広角レンズ(図示せず)と高解像度画像センサ2を備えた自車両の周辺領域を捕捉するためのカメラ手段1、並びに、画像捕捉制御ユニット3の図を模式的に示している。
該画像捕捉制御ユニット3は、次に撮影される画像用の露光のモード、例えば、露光パラメータ-特に、露出時間t-とビニングのモード、場合によっては、Region-of-Interest(ROI,画像領域)を与える。
ピクセル・ビニングとは、複数の隣接するピクセルを解像度が下げられた画像を作成するために統合することを指している。該ピクセル・ビニングは、既に、画像センサ2(矢印A1)上においてアナログ乃至デジタルに実施されることができる。代案的に該ピクセル・ビニングは、画像センサ2と接続されているプロセッサーユニットによって実施されることもできる(破線の矢印A2)。これは、ハードワイヤード・ロジックによって、乃至、プログラム/ソフトウェアによって実施されることができる。処理されていない元画像からは、解像度が下げられ、調整された画像が作成される(矢印C)。
該画像評価は、元画像、即ち、最大解像度の画像(矢印B1)、或いは、調整された画像(矢印B2)が、供給される。
様々なモード組合せの順番が、予め固定的に定められている場合、画像捕捉制御ユニット3は、元画像が捕捉されたまま(矢印D)、画像センサ2の情報を受信することができる。画像センサは、特に好ましくは、撮影された画像のヒストグラムデータも、画像捕捉制御ユニット3に提供している。そうすれば、該画像捕捉制御ユニット3は、次に撮影する画像の露光モードとビニングモードを決定することができる。
次に撮影する画像用の組み合わされた露光モードとビニングモードの設定は、この際、画像評価の結果や、例えば、車両データやカメラ手段1のシステム状態と言った外部データにではなく、時間にのみ依存している。画像捕捉制御ユニット3は、予め定められている順番で、露光モードとビニングモードの組合せを周期的に切り替える。
カメラ手段1の周期的に切り替える最も簡単な動作モードの一つでは、ビニングされ短く露光された画像の撮影乃至作成と、ビニングされず長く露光された画像の撮影が、切り替えられる。
二番目の動作モードは、ビニングされていない短く露光された画像の撮影とビニングされた長く露光された画像の撮影乃至作成を切り替えるものである。
集約すると、これによれば、露光とビニングにそれぞれ二つのモード、即ち、四つの異なる組合せがある。
図2は、三枚の画像からなるシーケンスが撮影される実施例を例示している。第一画像21は、最適な露光時間よりも短い露光時間と2x2ビニング(セルaは、4つのシングルピクセルに対応)で撮影される、乃至、ビニングされていない撮影から作成される。第二画像22は、最適な露光時間においてビニングせずに撮影された(四つのピクセルa1からa4で示した)。第三画像23は、最適な露光時間よりも長い露光時間と2x2ピクセル・ビニング(セルa)で撮影される。
この順番は、全画像シーケンスを捕捉している間、変更せずに維持することができる。
予め固定的に定められている順番の代案的な実施バリエーションでは、三枚の画像の捕捉後、図2の様に、露光時間は、それぞれ継続される(4枚目=短、5毎目=最適、6枚目=長)が、どの画像が、ビニングされずに撮影されるかは、入れ替えられる、即ち、例えば、5枚目の画像の代わりに6枚目をビニングし、8枚目乃至9枚目の画像の代わりに、7枚目(露光時間は、短)をビニングする。
図3は、代案的な好ましい実施例を、説明するものである:
第一画像31としては、ビニングされた画像が、最適な露光時間で撮影される(或いは、撮影画像から作成される)。該画像は、夕暮れに撮影されたものであることができる。ここでは、第一画像に捕捉された、信号5と歩行者6を、模式的に認識することができる。第一画像31は、それにおいて該画像31内に、該車両の周辺領域内の注意対象となり得るオブジェクト5.6を含む画像領域35,36(ROIs)、乃至、該車両の周りの交通参加者を認識する画像処理に供給される。画像評価の際には、輝度が超過している信号5を含む領域35が、捕捉される。これは、信号5が、能動的光源であるためである。更に、画像評価により、歩行者36がいる領域36が、例えば、該歩行者が暗い色の服を着用していたために、低い輝度において捕捉されたことが解る。
これらの情報は、画像評価から画像捕捉制御ユニット3に伝達される。続いて、画像捕捉制御ユニット3は、短い露光時間で撮影され、信号5を含む画像領域35に限定されてはいるがビニングはされていない第二画像32を捕捉することを決める。
更に、画像捕捉制御ユニット3は、長い露光時間の、歩行者6を含む画像領域36の第三画像33をビニングせずに捕捉することを決める。
第二画像と第三画像は、それらにおいて、露光や解像度(乃至、ビニング)が最適に設定されたことにより、該第二乃至第三画像内に、対象となるオブジェクト、即ち、青色である信号5、並びに、第一画像31のその方向において、画像の中心を歩いている歩行者6を実際に認識できる画像処理に提供される、該画像評価を基にして、車両に対する信号が青色であるにもかかわらず前方の車線、乃至、交差点を横断しようとしている歩行者との衝突が迫っていたため、該車両のドライバーに警告が、ドライバー・アシスタント機能として出力される。この様にすることで、従来のカメラ手段と比較して、車両の周辺部と周辺の交通の前方をより迅速かつ信頼性高く認識することが可能になる。
図1は、画像捕捉制御ユニット3から考慮され得る更なるインプット源を模式的に示している。
直前に撮影された画像の画像評価からは、その時点の明るさに関する条件(周辺輝度)を割出すことが可能であり、後の画像用の露光モードは、その時点の輝度条件に調整されることができる。
例えば、一つのカメラ手段の温度が閾値を超えているなど、カメラ手段のシステム状態は、画像捕捉制御ユニット3が、露光モードと動作モードを、システム全体のエネルギー消費やプロセッサ能力を下げるために考慮されることができる。
次に撮影される画像における動きによる不鮮明さを最適に回避するためには、該画像捕捉制御ユニット3は、車両データ、特に、該車両が、その時点に動いているダイナミクス、即ち、例えば、その時点の車両速度を受信することができる。これらの車両データに基づき、露光時間を調整することが可能になる。
この際、露光モード、即ち、露光時間やオプトロニクス乃至画像センサ用のその他のパラメータが、一つの周期的画像シーケンスの一枚の画像用に調整される様に画像捕捉制御ユニット3によって設定することが可能である。図2の例では、例えば、第一画像21の露光時間は、その時点の車両速度に合わせて調整され、第二画像21と第三画像23の露光時間は、車両速度に対しては変化しない様にすることも可能である。
なお、本発明は、以下の態様も包含し得る:
1.自車両の周辺領域を捕捉するためのカメラ手段(1)であって、
以下を包含することを特徴とするカメラ手段:
周辺領域の画像シーケンス(21,22,23;31,32,33)を撮影するように構成された一つのオプトロニクスと一つの画像捕捉制御ユニット(3)、
但し、該オプトロニクスは、広角レンズと高解像度の画像撮影センサ(2)を包含している、且つ、
該オプトロニクスと画像捕捉制御ユニット(3)は、以下を実施できるように構成されている:
画像シーケンス(21,22,23;31,32,33)の撮影中、画像撮影センサの少なくとも二つの異なる露光モードを、少なくとも二つの異なるビニングモードと組み合わせること。
2.該オプトロニクスと画像捕捉制御ユニット(3)が、予め定められた順番通りの露光モードとビニングモードの組合せにおいて画像シーケンス(21,22,23;31,32,33)の撮影を実施できる様に構成されていることを特徴とする上記1.に記載のカメラ手段(1)。
3.オプトロニクスと画像捕捉制御ユニット(3)が、画像シーケンス(21,22,23;31,32,33)を撮影するために、三つの異なる露光モード、即ち:最適な露光時間の第一露光モード、最適な露光時間よりも短い露光時間の第二露光モード、及び、最適な露光時間よりも長い露光時間の第三露光モードを実施できる様に構成されていることを特徴とする上記1.或いは2.に記載のカメラ手段(1)。
4.該オプトロニクスと画像捕捉制御ユニット(3)が、ビニングされた「概要画像」(21;23;31)、即ち、該カメラ手段の全捕捉領域の低減された解像度の画像を、撮影乃至作成するための第一ビニングモード、及び、ビニングされていない部分領域(32;33)、即ち、該カメラ手段の最大解像度を有する画像領域(ROI)を撮影するための第二ビニングモードを予め定めることができる様に構成されていることを特徴とする上記1.~3.のうち何れか一つに記載のカメラ手段(1)。
5.該オプトロニクスと画像捕捉制御ユニット(3)が、少なくとも一枚の以前のビニングされた撮影(31)から、ビニングされない部分領域(32;33)の撮影用の露光モードを定めることを実施できる様に構成されていることを特徴とする上記4.に記載のカメラ手段(1)。
6.該オプトロニクスと画像捕捉制御ユニット(3)が、各々一枚の次に撮影される画像用の変更された露光モード及び/或いはビニングモードの設定を、画像シーケンス(21,22,23;31,32,33)の画像を撮影乃至作成するためのビニングモードと露光モードの有る定まった組合せを設定することにより、アダプティブに実施できるように構成されている、但し、これが、以下に依存して実施されることを特徴とする上記1.,3.,4.或いは5.に記載のカメラ手段(1):
-画像シーケンス(21,22,23;31,32,33)の少なくとも一枚の以前の画像の画像評価の結果;
-車両データ、及び/或いは、
-カメラ手段(1)のシステム状態。
7.該オプトロニクスと画像捕捉制御ユニット(3)が、選択された露光モードとビニングモードにおいて撮影/作成された画像シーケンスのどの画像が、画像評価に送られるのかの選択を実施できるように構成されている、但し、これが、以下に依存して実施されることを特徴とする上記1.~6.のうち何れか一つに記載のカメラ手段(1):
-画像シーケンス(21,22,23;31,32,33)の少なくとも一枚の以前の画像の画像評価の結果;
-車両データ、及び/或いは、
-カメラ手段(1)のシステム状態。
8.該オプトロニクスと画像捕捉制御ユニット(3)が、画像撮影センサ(2)の露光時間乃至その他のパラメータの調整を、個々に、様々な露光モードの一つにおいて実施できる様に構成されている、但し、これが、以下に依存して実施されることを特徴とする上記1.~7.のうち何れか一つに記載のカメラ手段(1):
-画像シーケンス(21,22,23;31,32,33)の少なくとも一枚の以前の画像の画像評価の結果;
-車両データ、及び/或いは、
-カメラ手段(1)のシステム状態。
9.該オプトロニクスと画像捕捉制御ユニット(3)が、画像評価の結果として、車両の周辺部、交通参加者、周辺部の光の状況を割り出すことができる様に構成されていることを特徴とする上記6.から8.のうち何れか一つに記載のカメラ手段(1)。
10.カメラ手段(1)を用いて自車両の周辺領域を捕捉するための方法であって、
以下を包含することを特徴とする方法:
-オプトロニクスを用いた車両の周辺領域の画像シーケンス(21,22,23;31,32,33)の撮影、但し、該オプトロニクスは、広角レンズと高解像度の画像撮影センサ(2)を包含している、
-但し、画像シーケンス(21,22,23;31,32,33)の撮影中、画像撮影センサ(2)の少なくとも二つの異なる露光モードが、少なくとも二つの異なる「ビニングモード」との組み合わせで用いられる。

Claims (8)

  1. 自車両の周辺領域を捕捉するためのカメラ手段(1)であって、
    以下を包含することを特徴とするカメラ手段:
    周辺領域の画像シーケンス(21,22,23;31,32,33)を撮影するように構成された一つのオプトロニクスと一つの画像捕捉制御ユニット(3)、
    但し、該オプトロニクスは、広角レンズと高解像度の画像撮影センサ(2)を包含している、且つ、
    該オプトロニクスと画像捕捉制御ユニット(3)は、以下を実施できるように構成されている:
    画像シーケンス(21,22,23;31,32,33)の撮影中、画像撮影センサの少なくとも二つの異なる露光モードを、少なくとも二つの異なるビニングモードと組み合わせること
    及び該オプトロニクスと画像捕捉制御ユニット(3)が、予め定められた順番通りの露光モードとビニングモードの組合せにおいて画像シーケンス(21,22,23;31,32,33)の撮影を実施できる様に構成されており、オプトロニクスと画像捕捉制御ユニット(3)が、画像シーケンス(21,22,23;31,32,33)を撮影するために、三つの異なる露光モード、即ち:最適な露光時間の第一露光モード、最適な露光時間よりも短い露光時間の第二露光モード、及び、最適な露光時間よりも長い露光時間の第三露光モードを実施できる様に構成されていることを特徴とするカメラ手段(1)。
  2. 該オプトロニクスと画像捕捉制御ユニット(3)が、ビニングされた「概要画像」(21;23;31)、即ち、該カメラ手段の全捕捉領域の低減された解像度の画像を、撮影乃至作成するための第一ビニングモード、及び、ビニングされていない部分領域(32;33)、即ち、該カメラ手段の最大解像度を有する画像領域(ROI)を撮影するための第二ビニングモードを予め定めることができる様に構成されていることを特徴とする請求項1に記載のカメラ手段(1)。
  3. 該オプトロニクスと画像捕捉制御ユニット(3)が、少なくとも一枚の以前のビニングされた撮影(31)から、ビニングされない部分領域(32;33)の撮影用の露光モードを定めることを実施できる様に構成されていることを特徴とする請求項に記載のカメラ手段(1)。
  4. 該オプトロニクスと画像捕捉制御ユニット(3)が、各々一枚の次に撮影される画像用の変更された露光モード及び/或いはビニングモードの設定を、画像シーケンス(21,22,23;31,32,33)の画像を撮影乃至作成するためのビニングモードと露光モードの有る定まった組合せを設定することにより、実施できるように構成されている、但し、これが、以下に依存して実施されることを特徴とする請求項1~3のいずれか1項に記載のカメラ手段(1):
    -画像シーケンス(21,22,23;31,32,33)の少なくとも一枚の以前の画像の画像評価の結果;
    -車両速度、及び/或いは、
    -カメラ手段(1)の、閾値を超える温度及びプロセッサリソース
  5. 該オプトロニクスと画像捕捉制御ユニット(3)が、選択された露光モードとビニングモードにおいて撮影又は作成された画像シーケンスのどの画像が、画像評価に送られるのかの選択を実施できるように構成されている、但し、これが、以下に依存して実施されることを特徴とする請求項1~4のうち何れか一項に記載のカメラ手段(1):
    -画像シーケンス(21,22,23;31,32,33)の少なくとも一枚の以前の画像の画像評価の結果;
    -車両速度、及び/或いは、
    -カメラ手段(1)の、閾値を超える温度及びプロセッサリソース
  6. 該オプトロニクスと画像捕捉制御ユニット(3)が、画像撮影センサ(2)の露光時間の調整を、個々に、露光モードの一つにおいて実施できる様に構成されている、但し、これが、以下に依存して実施されることを特徴とする請求項1~5のうち何れか一項に記載のカメラ手段(1):
    -画像シーケンス(21,22,23;31,32,33)の少なくとも一枚の以前の画像の画像評価の結果;
    -車両速度、及び/或いは、
    -カメラ手段(1)の、閾値を超える温度及びプロセッサリソース
  7. 該オプトロニクスと画像捕捉制御ユニット(3)が、画像評価の結果として、車両の周辺部、交通参加者、及び周辺部の光の状況のうち少なくともいずれかを割り出すことができる様に構成されていることを特徴とする請求項からのうち何れか一項に記載のカメラ手段(1)。
  8. 請求項1~7のいずれか1項に記載のカメラ手段(1)を用いて自車両の周辺領域を捕捉するための方法であって、
    以下を包含することを特徴とする方法:
    -オプトロニクスを用いた車両の周辺領域の画像シーケンス(21,22,23;31,32,33)の撮影、但し、該オプトロニクスは、広角レンズと高解像度の画像撮影センサ(2)を包含している、
    -但し、画像シーケンス(21,22,23;31,32,33)の撮影中、画像撮影センサ(2)の少なくとも二つの異なる露光モードが、少なくとも二つの異なる「ビニングモード」との組み合わせで用いられる。
JP2019544067A 2017-06-27 2018-06-12 車両の周辺領域の周辺適応した捕捉を実施するためのカメラ手段並びに方法 Active JP7239478B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017210845.2 2017-06-27
DE102017210845.2A DE102017210845A1 (de) 2017-06-27 2017-06-27 Kameravorrichtung sowie Verfahren zur umgebungsangepassten Erfassung eines Umgebungsbereichs eines Fahrzeugs
PCT/DE2018/200060 WO2019001648A1 (de) 2017-06-27 2018-06-12 Kameravorrichtung sowie verfahren zur umgebungsangepassten erfassung eines umgebungsbereichs eines fahrzeugs

Publications (2)

Publication Number Publication Date
JP2020526048A JP2020526048A (ja) 2020-08-27
JP7239478B2 true JP7239478B2 (ja) 2023-03-14

Family

ID=62845907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019544067A Active JP7239478B2 (ja) 2017-06-27 2018-06-12 車両の周辺領域の周辺適応した捕捉を実施するためのカメラ手段並びに方法

Country Status (6)

Country Link
US (1) US11159736B2 (ja)
EP (1) EP3645343B1 (ja)
JP (1) JP7239478B2 (ja)
CN (1) CN110536814B (ja)
DE (2) DE102017210845A1 (ja)
WO (1) WO2019001648A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4097554B1 (en) 2021-04-20 2023-12-06 Baidu.com Times Technology (Beijing) Co., Ltd. Traffic light detection and classification for autonomous driving vehicles
CN114500864B (zh) * 2022-01-27 2024-02-27 上海豫兴电子科技有限公司 一种自动调整曝光方法和装置
DE102022206757A1 (de) 2022-07-01 2024-01-04 Continental Autonomous Mobility Germany GmbH Dynamische Positionierung von Bildausschnitten zur effizienten Ausnutzung hochauflösender Kameras

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008053901A (ja) 2006-08-23 2008-03-06 Konica Minolta Holdings Inc 撮像装置および撮像方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4287532B2 (ja) 1999-03-01 2009-07-01 矢崎総業株式会社 車両用後側方監視装置
US8427538B2 (en) 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP3722485B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
US20080165258A1 (en) * 2005-05-10 2008-07-10 Andrew Augustine Wajs Method of Controlling an Image Capturing System, Image Capturing System and Digital Camera
US7272207B1 (en) * 2006-03-24 2007-09-18 Richard Aufrichtig Processes and apparatus for variable binning of data in non-destructive imaging
US20080129541A1 (en) * 2006-12-01 2008-06-05 Magna Electronics Black ice detection and warning system
US7800657B2 (en) * 2006-12-29 2010-09-21 Micron Technology, Inc. Method, apparatus and system using hierarchical histogram for automatic exposure adjustment of an image
US9584710B2 (en) * 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
DE102008022064A1 (de) 2008-05-03 2009-11-05 Adc Automotive Distance Control Systems Gmbh Verfahren zur Belichtungssteuerung für eine Kamera in einem Kraftfahrzeug
DE102009000550B4 (de) * 2009-02-02 2018-10-04 Ford Global Technologies, Llc Weitwinkelbildgebungssystem für die Bereitstellung eines Bildes der Umgebung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs
JP2010239277A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置および撮像方法
US8294560B2 (en) 2009-07-20 2012-10-23 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for identifying threats using multiple sensors in a graphical user interface
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US8558913B2 (en) * 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
KR101030763B1 (ko) * 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
EP2455891A1 (en) 2010-11-23 2012-05-23 Synoptics Limited Methods and systems for automatic capture of an image of a faint pattern of light emitted by a specimen
US9058648B2 (en) * 2012-03-15 2015-06-16 Bio-Rad Laboratories, Inc. Image acquisition for chemiluminescent samples
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
US9160912B2 (en) * 2012-06-08 2015-10-13 Apple Inc. System and method for automatic image capture control in digital imaging
EP2909808B1 (en) 2012-10-17 2020-02-19 Cathx Research Ltd. Improvements in and relating to processing survey data of an underwater scene
KR20140054909A (ko) 2012-10-30 2014-05-09 팅크웨어(주) 광각 렌즈 카메라 영상을 이용한 내비게이션 안내 장치 및 방법
DE102012024650A1 (de) 2012-12-17 2014-06-18 Connaught Electronics Ltd. Verfahren zur Reduktion einer HDR-Bewegungsunschärfe bei einem HDR-Bild, HDR-Kameraeinrichtung und Kraftfahrzeug
KR102170627B1 (ko) * 2014-01-08 2020-10-27 삼성전자주식회사 이미지 센서
US10572008B2 (en) * 2014-02-21 2020-02-25 Tobii Ab Apparatus and method for robust eye/gaze tracking
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
WO2015188146A2 (en) * 2014-06-05 2015-12-10 Edward Hartley Sargent Sensors and systems for the capture of scenes and events in space and time
DE102014213801A1 (de) 2014-07-16 2016-01-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Generieren einer Bildfolge zur Wiedergabe auf einem Anzeigegerät eines Fahrzeugs sowie Bilderfassungsgerät für ein Fahrzeug
KR102195311B1 (ko) * 2014-09-15 2020-12-24 삼성전자주식회사 이미지의 잡음 특성 개선 방법 및 그 전자 장치
DE102015208889A1 (de) 2015-05-13 2016-11-17 Conti Temic Microelectronic Gmbh Kameravorrichtung und Verfahren zum Abbilden eines Umfeldes für ein Kraftfahrzeug
US9813635B2 (en) * 2015-08-24 2017-11-07 Motorola Mobility Llc Method and apparatus for auto exposure value detection for high dynamic range imaging
US11354783B2 (en) * 2015-10-16 2022-06-07 Capsovision Inc. Method and apparatus of sharpening of gastrointestinal images based on depth information
US20170212253A1 (en) * 2016-01-22 2017-07-27 General Electric Company Adaptive ct detector having integrated readout electronics
JP6838248B2 (ja) 2016-02-22 2021-03-03 日立Astemo株式会社 情報処理装置
EP3229172A1 (en) * 2016-04-04 2017-10-11 Conti Temic microelectronic GmbH Driver assistance system with variable image resolution
WO2018103795A1 (de) * 2016-12-06 2018-06-14 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie verfahren zur situationsangepassten erfassung eines umgebungsbereichs eines fahrzeugs
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
JP7150709B2 (ja) * 2017-05-30 2022-10-11 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び、プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008053901A (ja) 2006-08-23 2008-03-06 Konica Minolta Holdings Inc 撮像装置および撮像方法

Also Published As

Publication number Publication date
WO2019001648A1 (de) 2019-01-03
DE102017210845A1 (de) 2018-12-27
EP3645343A1 (de) 2020-05-06
US11159736B2 (en) 2021-10-26
DE112018001319A5 (de) 2019-11-28
CN110536814B (zh) 2023-08-01
EP3645343B1 (de) 2022-03-09
US20210084210A1 (en) 2021-03-18
CN110536814A (zh) 2019-12-03
JP2020526048A (ja) 2020-08-27

Similar Documents

Publication Publication Date Title
JP7500962B2 (ja) 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2020501423A (ja) 車両の周辺領域を状況に依存した捕捉を実施するためのカメラ手段及び方法
JP4970516B2 (ja) 周囲確認支援装置
JP5622648B2 (ja) 画像処理装置
JP7239478B2 (ja) 車両の周辺領域の周辺適応した捕捉を実施するためのカメラ手段並びに方法
CN110087946B (zh) 车辆用照明***和车辆
WO2019194256A1 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
JP2008060873A (ja) 複数画角カメラ
KR102431215B1 (ko) 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법
JP2010088045A (ja) ナイトビューシステム、夜間歩行者表示方法
JP2004289786A (ja) 撮像装置
JP2007124676A (ja) 車載用画像処理装置
JP6161582B2 (ja) 画像処理装置
US20200374465A1 (en) Imaging processing apparatus
CN113632450A (zh) 摄影***及图像处理装置
JP2017039463A (ja) 対象物検出装置
US20230254600A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
JP4305116B2 (ja) 画像処理装置
CN113411476A (zh) 图像传感器控制装置、方法、存储介质和可移动对象
JP2007013774A (ja) 対象物探索装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230302

R150 Certificate of patent or registration of utility model

Ref document number: 7239478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150