JP2022034720A - 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム - Google Patents
情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム Download PDFInfo
- Publication number
- JP2022034720A JP2022034720A JP2020138556A JP2020138556A JP2022034720A JP 2022034720 A JP2022034720 A JP 2022034720A JP 2020138556 A JP2020138556 A JP 2020138556A JP 2020138556 A JP2020138556 A JP 2020138556A JP 2022034720 A JP2022034720 A JP 2022034720A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- correction amount
- image data
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
【課題】車載カメラの露光を制御し、撮像により得た画像を現像処理、画像調整及びHDR合成する。【解決手段】情報処理装置は、イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部とを具備する。【選択図】図4
Description
本開示は、車載カメラの露光を制御し、撮像により得た画像を現像処理、画像調整及びHDR合成するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムに関する。
自動運転やADAS(Advanced Driver Assistance System)の実現のために、他の車両や人、レーンなど、さまざまな物体を検出する必要があり、また、晴天時の昼間に限らず、雨天時や夜間などさまざまな環境で物体を検出する必要がある。このため、カメラ、ミリ波レーダー、レーザーレーダーなど、さまざまな外界認識センサが車両に搭載され始めている。
例えば、車載カメラによる撮像画像において認識領域よりも遠方の明るさを測定し、時間差をもって測定された明るさを比較することで明るさの変化を検出し、明るさの変化が認識領域で生じるタイミングを車両の走行速度に基づき予測し、予測したタイミングで車載カメラの露出制御を行う露出制御装置について提案がなされている(特許文献1を参照のこと)。
また、ターゲットを撮像範囲に配置した状態での車載カメラによる撮像画像からターゲットを検出し、検出した撮像画像におけるターゲットの輝度を測定し、測定した輝度をターゲットの認識に適した目標値とするための露出制御値を算出する車載カメラの露出制御値の決定方法について提案がなされている(特許文献2を参照のこと)。
また、所定の基準露出値でオートブラケティング撮影を行なった後、得られた複数個の画像データから適正露出又は適正露出に最も近い画像データを選択して新たな基準露出値とする、オートブラケティング撮影の機能を有する車載監視カメラの露出制御方法について提案がなされている(特許文献3を参照のこと)。
本明細書で開示する技術の目的は、車載カメラの露光を制御し、撮像により得た画像を現像処理、画像調整及びHDR合成するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムを提供することにある。
本開示の一実施形態に係る情報処理装置は、
イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
を具備する。
イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
を具備する。
これにより、第1の画像データの第1の物体の色調に拘わらず、第1の物体の色調に特化した第1の補正量に基づき生成された第2の画像データを用いて、第1の物体の色調を高精度に認識できる。
前記認識部は、前記第1の画像データから前記第1の物体と異なる第2の物体を認識し、
前記処理部は、前記第2の物体の諧調を検波し、前記諧調を補正するための第2の補正量を算出し、前記第2の補正量に基づき前記第1の画像データの諧調を補正したデータであるさらに別の第2の画像データを生成する。
前記処理部は、前記第2の物体の諧調を検波し、前記諧調を補正するための第2の補正量を算出し、前記第2の補正量に基づき前記第1の画像データの諧調を補正したデータであるさらに別の第2の画像データを生成する。
これにより、第1の画像データの第2の物体の諧調に拘わらず、第2の物体の諧調に特化した第2の補正量に基づき生成されたさらに別の第2の画像データを用いて、第2の物体の諧調を高精度に認識できる。
前記処理部は、前記複数の異なる第2の画像データを合成する場合の画像合成比を算出し、前記画像合成比に基づき前記複数の異なる第2の画像データを合成した合成画像を生成する。
これにより、第1の物体の色調及び第2の物体の諧調を高精度に認識できる。
情報処理装置は、前記第1の補正量及び前記第2の補正量に基づき前記イメージセンサの撮像制御を行う制御部をさらに具備する。
これにより、制御部は、処理部が得た補正値をフィードバックして、イメージセンサの撮像制御(例えば、露光制御)を行う。従ってこれ以降、イメージセンサはより適切な撮像データを撮像できる。
情報処理装置は、
前記第1の物体の前記色調を検波し、検波値が所定範囲外であると判定すると、前記第1の物体の明滅を判定する判定部をさらに具備し、
前記処理部は、前記判定結果に基づき算出された前記第1の補正量を得る。
前記第1の物体の前記色調を検波し、検波値が所定範囲外であると判定すると、前記第1の物体の明滅を判定する判定部をさらに具備し、
前記処理部は、前記判定結果に基づき算出された前記第1の補正量を得る。
これにより、検波値が所定範囲外である場合には、判定部の第1の物体の明滅を判定結果に基づき、補正値が算出される。これにより、第1の物体の色調に拘わらず、第1の物体の色調に特化した第1の補正量に基づき生成された第2の画像データを用いて、第1の物体の色調を高精度に認識できる。
情報処理装置は、前記判定結果に基づき算出された前記第1の補正量に基づき前記イメージセンサの撮像制御を行う制御部をさらに具備する。
制御部は、処理部が得た補正値をフィードバックして、イメージセンサの撮像制御(例えば、露光制御)を行う。従ってこれ以降、イメージセンサはより適切な撮像データを撮像できる。
制御部は、処理部が得た補正値をフィードバックして、イメージセンサの撮像制御(例えば、露光制御)を行う。従ってこれ以降、イメージセンサはより適切な撮像データを撮像できる。
前記イメージセンサは移動体に搭載して用いられ、
前記第1の物体は信号機である。
前記第1の物体は信号機である。
これにより、第1の画像データの信号機の色調に拘わらず、信号機の色調に特化した第1の補正量に基づき生成された第2の画像データを用いて、信号機の色調(赤、黄、青)を高精度に認識できる。移動体が自動運転車両である場合、自動運転車両の進行や停止の判断を適切に行うことを図れる。
前記認識部は、前記イメージセンサが出力した、異なる撮像制御で同時に撮像された複数の異なる撮像データを前記処理部が現像することにより生成された複数の異なる前記第1の画像データから、前記第1の物体と、前記第1の物体と異なる第2の物体とを、それぞれ認識し、
前記処理部は、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき、前記第1の物体を認識するのに用いた1個の第1の画像データの色調を補正したデータである、1個の第2の画像データを生成し、
前記第2の物体の諧調を検波し、前記諧調を補正するための第2の補正量を算出し、前記第2の補正量に基づき、前記第2の物体を認識するのに用いた別個の第1の画像データの諧調を補正したデータである、別個の第2の画像データを生成する
前記処理部は、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき、前記第1の物体を認識するのに用いた1個の第1の画像データの色調を補正したデータである、1個の第2の画像データを生成し、
前記第2の物体の諧調を検波し、前記諧調を補正するための第2の補正量を算出し、前記第2の補正量に基づき、前記第2の物体を認識するのに用いた別個の第1の画像データの諧調を補正したデータである、別個の第2の画像データを生成する
これにより、異なる撮像制御で同時に撮像された複数の異なる撮像データを前記処理部が現像することにより生成された複数の異なる前記第1の画像データの、第1の物体の色調及び第2の物体の諧調に拘わらず、第1の物体の色調に特化した第1の補正量に基づき生成された1個の第1の画像データを用いて、第1の物体の色調を高精度に認識できる。さらに、第2の物体の諧調に特化した第2の補正量に基づき生成された別個の第2の画像データを用いて、第2の物体の諧調を高精度に認識できる。
本開示の一実施形態に係る情報処理方法は、
イメージセンサが出力した撮像データを現像することにより生成された第1の画像データから第1の物体を認識し、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する。
イメージセンサが出力した撮像データを現像することにより生成された第1の画像データから第1の物体を認識し、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する。
本開示の一実施形態に係る撮像装置は、
イメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
を具備する。
イメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
を具備する。
本開示の一実施形態に係る移動体装置は、
移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
前記第2の画像データを認識した結果に基づいて前記移動体における動作を制御する動作制御部と
を具備する。
移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
前記第2の画像データを認識した結果に基づいて前記移動体における動作を制御する動作制御部と
を具備する。
本開示の一実施形態に係るコンピュータプログラムは、
イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部
としてコンピュータを機能させるようにコンピュータ可読形式で記述された。
イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部
としてコンピュータを機能させるようにコンピュータ可読形式で記述された。
本明細書で開示する技術によれば、車載カメラの露光を制御し、撮像により得た画像を現像処理、画像調整及びHDR合成するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムを提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本開示の効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図1は、本技術が適用され得る移動体制御システムの一例である車両制御システム100の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム100が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。
データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。
例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、偏光カメラ及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダー、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
さらに、例えば、データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部105は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。
車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
状況分析部133は、自車及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。
マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
ルート計画部161は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する
動作計画部163は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。
動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。
緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。
加減速制御部172は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
方向制御部173は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
自動運転やADASの実現に向けて、より高精度な外界認識を行うために、カメラ、ミリ波レーダー、レーザーレーダーなどさまざまな外界認識センサが車両に搭載され始めている。各センサは、検出原理にも依拠して、得手不得手がある。例えば、可視光を撮影するカメラは暗所を苦手とし、電波の反射を検出するレーダーは人や動物などの電波を反射し難い物体を苦手とする。また、2以上のセンサを組み合わせるフュージョン技術を利用することによって、各センサの特徴を生かして、より高精度な外界認識を実現することができる。
一般的なデジタルカメラが撮影した画像のビューイング若しくは観賞を目的とするのに対し、車載カメラは衝突回避やレーン制御といった自車両の自動運転やADASの実現を目的とするものである。したがって、車載カメラで撮影した画像は、撮影した風景を忠実に再現して人が見て違和感がないものとするよりも、むしろ車両や歩行者を始めとする障害物や路面など特定の物体を高い精度で画像認識できる画像であることが好ましい。さらに、自動運転車両の進行や停止の判断に係わるため、信号機の赤、黄、青の信号灯の色相を高い精度で画像認識できる画像であることが好ましい。
画像認識の精度を向上するには、認識対象となる物体を認識し易くなる露光条件で撮影を行う必要がある。例えば、特許文献2には、ターゲットを撮像範囲に配置した状態での車載カメラによる撮像画像からターゲットを検出し、検出した撮像画像におけるターゲットの輝度を測定し、測定した輝度をターゲットの認識に適した目標値とするための露出制御値を算出する車載カメラの露出制御値の決定方法が開示されている。しかしながら、撮影画像中のターゲットが存在し得る範囲からターゲットが有するターゲットパターンを走査して、ターゲットパターンを有しない物体に合わせて露出制御を行うことができない。また、所定の範囲から外れた物体に合わせて露光制御を行うこともできない。
そこで、本明細書では、カメラで撮影した画像の認識結果に基づいて、認識対象とする物体毎に適した自動露光制御、現像処理、画像調整及びHDR合成を実施することによって、物体毎に認識精度が高い画像を得る技術について、以下で提案する。
第1の実施形態
図2には、本明細書で開示する技術の第1の実施形態に係る撮像装置200の機能的構成例を模式的に示している。撮像装置200は主に車両に搭載して用いられることを想定している。撮像装置200は、車両制御システム100内のデータ取得部102が備える撮像装置の1つに相当する。図示の撮像装置200は、レンズ201と、イメージセンサ202と、信号処理部203と、認識部204と、制御部205を備えている。
イメージセンサ202は、例えばCMOS(Complementary Metal Oxyde Semiconductor)やCCD(Charge Couopled Device)などの素子を用いて構成され、レンズ201によって撮像面に結像された画像を撮像する。
信号処理部203は、イメージセンサ202から出力されるRAWデータに対する「現像」及び「HDR合成」とも呼ばれる処理を実施する。例えば、デモザイク、ノイズリダクション、ホワイトバランス調整、ガンマ補正、センサ分光補正、エッジ補正、YC変換などが現像処理に該当する。
認識部204は、信号処理部203による処理後の撮像画像に含まれる物体を認識する。認識部204は、周辺車両や路面及び信号機といった、自動運転やADASを実現するためには認識若しくは検出することが必須となる物体を認識対象とする。もちろん、認識部204は、バイクや自転車、歩行者、道路標識、レーン、中央分離帯、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもできる。ドライバなど自車両の搭乗者のマニュアル操作に応じて、認識対象となる物体を追加、削除、変更できるようにしてもよい。また、撮像装置200が車載カメラ以外に用いられる場合には、用途に応じて認識対象となる物体を追加、削除、変更できるようにしてもよい。認識部204は、機械学習や深層学習のモデルや、人工知能(AI)を利用して、物体を認識してもよい。
制御部205は、イメージセンサ202の撮像画像のうち、認識部204が認識した物体毎の領域の状態に基づいて、イメージセンサ202における撮像動作や、信号処理部203における信号処理を制御する。
制御部205では、車両や路面及び信号機といった、自動運転やADASの実現のために認識若しくは検出が必須となる物体を高精度で認識できるようにするために、イメージセンサ202や信号処理部203に対する制御を行う。したがって、制御部205による制御下においてイメージセンサ202で撮影され且つ信号処理部203で現像処理された画像は、後段の車両制御システム100内で行われる認識処理において、車両や路面及び信号機などの特定の物体を認識し易くなるように画質調整された画像となる。このため、撮像装置200から車両制御システム100に出力される画像は、元の風景を忠実に再現したものとは限らず、人がビューイング若しくは観賞した際には違和感を覚えさせることもある。
後段の車両制御システム100では、制御部205による制御下においてイメージセンサ202で撮影され且つ信号処理部203で現像処理された画像を認識処理することにより、高精度若しくは高い認識率で周辺車両や路面及び信号機を認識することができる。そして、車両制御システム100は、このような画像認識結果に基づいて、例えば、自動車間制御(ACC)、車線逸脱警報(LDW)、レーンキープアシスト(LKA)、自動緊急ブレーキ(AEB)、死角検知(BSD)といった、自動運転又はADASのための車両制御を実施し、さらにはアクティブコーナリングライト(ACL)、ブレーキアクチュエータ(BRK)、操舵装置(STR)など各駆動部の駆動を制御する。これによって、自車両の安全運転に寄与することができる。
図9は、撮像装置200の動作フローの第1の実施例を概略的に示す。
イメージセンサ202は、撮像した撮像データを信号処理部203に入力する(ステップS11)。信号処理部203は、撮像データを現像して第1の画像データ(物体認識用画像データ)を生成して認識部204に入力する(ステップS12)。認識部204は、第1の画像データ(物体認識用画像データ)から対象となる被写体(車両、路面、信号機等)を検出して信号処理部203に通知する(ステップS13)。信号処理部203は、認識部204からの情報に基づき対象となる被写体(車両、路面、信号機等)に特化した補正値を得、画質調整(露光調整、ノイズ除去、エッジ補正、諧調補正、色調補正、HDR合成)する。これにより、信号処理部203は、現像した第1の画像データ(物体認識用画像データ)を補正したデータである、第2の画像データ(車両制御システム100に出力されるセンシング向け画像データ)を生成する(ステップS14)。制御部205は、信号処理部203が得た補正値をフィードバックして、イメージセンサ202の撮像制御(例えば、露光制御)を行う(ステップS15)。従ってこれ以降、イメージセンサ202はより適切な撮像データを撮像できる。
図10は、撮像装置200の動作フローの第2の実施例を概略的に示す。
イメージセンサ202は、撮像した複数の異なる撮像データを信号処理部203に入力する(ステップS21)。複数の異なる撮像データは、被写体(車両、路面、信号機等)に特化してそれぞれ異なる露光値等で同時に撮像された、被写体(車両、路面、信号機等)に特化した複数の異なる撮像データである。信号処理部203は、複数の異なる撮像データを現像して複数の異なる第1の画像データ(物体認識用画像データ)を生成して認識部204に入力する(ステップS22)。複数の異なる画像データは、例えば、遠くの被写体を認識しやすい画像データ、ノイズを除去して夜間の被写体を認識しやすい画像データ、露光時間を長くして信号の灯色を認識しやすい画像データ、トンネル入り口等の明暗のコントラストが高い場合の被写体を認識しやすい画像データ、等である。認識部204は、被写体(車両、路面、信号機等)に特化した複数の異なる第1の画像データ(物体認識用画像データ)から、それぞれ対象となる被写体(車両、路面、信号機等)を検出して信号処理部203に通知する(ステップS23)。信号処理部203は、認識部204からの情報に基づき対象となる被写体(車両、路面、信号機等)に特化した補正値を得、画質調整(露光調整、ノイズ除去、エッジ補正、諧調補正、色調補正、HDR合成)する。これにより、信号処理部203は、現像した複数の異なる第1の画像データ(物体認識用画像データ)を補正したデータである、複数の異なる第2の画像データ(車両制御システム100に出力されるセンシング向け画像データ)を生成する(ステップS24)。信号処理部203は、複数の異なる第2の画像データをHDR合成してHDR合成画像を生成し、車両制御システム100に出力してもよい。制御部205は、信号処理部203が得た補正値をフィードバックして、イメージセンサ202の撮像制御(例えば、露光制御)を行う(ステップS25)。従ってこれ以降、イメージセンサ202はより適切な撮像データを撮像できる。
本実施形態は第1の実施例(図9)及び第2の実施例(図10)にも適用可能であるが、第2の実施例(図10)を中心に説明する。すなわち、信号処理部203が、被写体(車両、路面、信号機等)に特化した複数の撮像データを画像処理するケースを説明する。
図3には、撮像装置200における一般的な露光制御ループを模式的に示している。
イメージセンサ202は、シャッター301と、素子部302と、アナログゲイン処理部303を含んでいる。レンズ201によって集光された光は、シャッター301を通過して素子部302の撮像面に到達する。素子部302は、2次元画素アレイからなり、各画素から受光量に応じた画素信号が出力される。各画素信号は、アナログゲイン処理部303によりアナログ領域で増幅処理が行われた後、デジタル変換して、信号処理部203に出力される。
信号処理部203は、現像処理部304と、検波部305と、比較部306を含んでいる。現像処理部304は、イメージセンサ202から出力されるデジタル画素信号に対し、デジタルゲイン処理やガンマ処理及びHDR(High Dynamic Range)処理を含む現像処理を施す。また、検波部305は、イメージセンサ202で撮像した画面全体をOPD(Optical Detection)検波して、画面の明るさ(輝度)及び画面の色調(比率)を検出する。そして、比較部306は、検波部305で検出した画面全体の明るさを所定の基準値(Ref)と比較する。
制御部205は、比較部306から出力される画面の明るさと基準値の差分に基づいて、シャッター301の開閉タイミング(すなわち露光時間)を制御したり、アナログゲイン処理部303のアナログゲインを調整したり、現像処理部304におけるデジタルゲイン、ガンマ、HDR及びその他の現像パラメータを調整したりして、イメージセンサ202の撮像画像が適当な明るさ及び適当な色調となるように制御する。
図3に示すような一般的な露光制御ループによれば、画面全体として明るさを調整することができるが、周辺車両や路面及び信号機といった必要な被写体が必ずしも適切な明るさ(若しくは、画像認識に適した明るさ)で撮影されているとは限らない。例えば、日差しの強い炎天下のドライブで、街路樹の下を走行していると、陽が当たる部分と日陰の部分でコントラストが強過ぎて、日陰の部分の車両や路面を高い精度では画像認識できないような撮像画像になってしまうことが懸念される。また、信号機の滅灯状態(フリッカにより全ての灯色が滅灯した状態)である撮像画像や、日差しの影響により、信号機の灯色の赤色と黄色が区別できないような撮像画像になってしまうことが懸念される。
図4には、撮像装置200において、本明細書で開示する技術を適用した露光制御ループを模式的に示している。図4に示す制御ループは、認識部204が撮像画像から認識した物体毎に最適な画作りを実施するように構成されている。ここでは、認識部204は、自動運転やADASの実現のために認識若しくは検出が必須となる物体として、車両(直近の先行車両)と路面及び信号機をそれぞれ検出することを想定している。
イメージセンサ202は、シャッター401と、素子部402と、アナログゲイン処理部403を含んでいる。レンズ201によって集光された光は、シャッター401を通過して素子部402の撮像面に到達する。素子部402は、2次元画素アレイからなり、各画素から受光量に応じた画素信号が出力される。各画素信号は、アナログゲイン処理部403によりアナログ領域で増幅処理が行われた後、デジタル変換して、信号処理部203に出力される。
なお、以下ではイメージセンサ202は単一露光(すなわち、1フレーム期間内に単一の露光タイミングを持つ)を行うものとして説明する。
信号処理部203は、現像処理部404と、検波部405と、比較部406を含んでいる。但し、検波部405は、認識部204が撮像画像から認識した物体毎にOPD検波を行うことができるように、撮像画像中の車両部分の明るさを検波する車両用検波部405-1と、撮像画像中の路面部分の明るさを検波する路面用検波部405-2と、撮像画像中の信号機部分の明るさ及び色調を検波する信号機用検波部405-3とを備えている。また、検波部405は、イメージセンサ202で撮像した画面全体をOPD検波する画面全体検波部405-4も備えている。また、認識部204が車両、路面及び信号機以外の物体を追加して検出する場合には、追加した物体の明るさを検波する検波部をさらに備えていてもよい。
また、現像処理部404は、認識部204が撮像画像から認識した物体毎に適した現像処理を個々に行うことができるように、車両用現像処理部404-1と、路面用現像処理部404-2と、信号機用現像処理部404-3とを備えている。また、現像処理部は、画面全体に適した現像処理を行う画面全体現像処理部404-4も備えている。また、認識部204が車両、路面及び信号機以外の物体を追加して検出する場合には、追加した物体用の現像処理部をさらに備えていてもよい。現像処理部404は、HDR処理部407をさらに有する。
図4中、参照番号410で示す範囲内では、通常の自動露光制御が実施される。すなわち、画面全体検波部405-4は、イメージセンサ202で撮像した画面全体をOPD検波して、画面の明るさを検出する。そして、比較部406は、検波部405で検出した画面全体の明るさを所定の基準値(Ref)と比較する。制御部205は、比較部406から出力される画面の明るさと基準値の差分に基づいて、シャッター401の開閉タイミング(すなわち露光時間)を制御したり、アナログゲイン処理部403のアナログゲインを調整したり、画面全体現像処理部404-4におけるデジタルゲインやその他の現像パラメータを調整したりして、イメージセンサ202の撮像画像が最適な明るさとなるように制御する。
一方、認識部204は、信号処理部203による処理後の撮像画像420に含まれる物体を認識する。ここでは、撮像装置200が車載カメラ(若しくは、車両制御システム100内のデータ取得部102)として用いられることを想定して、認識部204は、自動運転やADASの実現のために認識若しくは検出が必須となる物体として、車両421(第2の物体)、路面422(第2の物体)及び信号機423(第1の物体)を認識する。もちろん、バイクや自転車、歩行者、道路標識、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもできる。
車両用検波部405-1は、認識部204による車両421の認識結果に基づいて、撮像画像420中に車両421の検波枠を設定し、その検波枠内の明るさを検波して、画面全体検波部405-4で検波した画面全体の明るさと、車両421の検波枠内の明るさの差分を算出する。そして、車両用現像処理部404-1は、その差分に基づいてデジタルゲインやガンマ値を調整して、車両421の枠内の明るさを調整するとともに、被写体の距離に応じた解像度として、解像特性からエッジ補正して現像する。すなわち、車両用現像処理部404-1は、撮像画像から車両421を物体認識するのに最適となる現像処理を行う(画面全体に対して車両421の検波枠が暗過ぎれば、車両421がもっと明るくなるように現像処理し、画面全体に対して車両421の検波枠が明る過ぎれば、車両421が暗くなるように現像処理する)。車両用現像処理部404-1によって現像処理された撮像画像は、元の風景を必ずしも忠実に再現したものではなく、人がビューイング若しくは観賞した際には違和感を覚えさせることもあるが、車両421を高精度に認識できる画像である。
また、路面用検波部405-2は、認識部204による路面422の認識結果に基づいて、撮像画像420中の路面422の検波枠を設定し、その検波枠内の明るさを検波して、画面全体検波部405-4で検波した画面全体の明るさと、路面422の検波枠内の明るさの差分を算出する。そして、路面用現像処理部404-2は、その差分に基づいてデジタルゲインやガンマ値を調整して、路面422の枠内の明るさを調整するとともに、被写体の距離に応じた解像度として、解像特性からエッジ補正して現像する。すなわち、路面用現像処理部404-2は、撮像画像から路面422を物体認識するのに最適となる現像処理を行う(画面全体に対して路面422の検波枠が暗過ぎれば、路面422がもっと明るくなるように現像処理し、画面全体に対して路面422の検波枠が明る過ぎれば、路面422が暗くなるように現像処理する)。路面用現像処理部404-2によって現像処理された撮像画像は、元の風景を必ずしも忠実に再現したものではなく、人がビューイング若しくは観賞した際には違和感を覚えさせることもあるが、路面422を高精度に認識できる画像である。
信号機用検波部405-3は、認識部204による信号機423の認識結果に基づいて、撮像画像420中の信号機423の検波枠を設定し、その検波枠内の明るさを検波して、画面全体検波部405-4で検波した画面全体の明るさと、信号機423の検波枠内の明るさの差分を算出する。そして、信号機用現像処理部404-3は、その差分に基づいてデジタルゲインやガンマ値を調整して、信号機423の枠内の明るさを調整するとともに、被写体の距離に応じた解像度として、解像特性からエッジ補正して現像する。すなわち、信号機用現像処理部404-3は、撮像画像から信号機423を物体認識するのに最適となる現像処理を行う(画面全体に対して信号機423の検波枠が暗過ぎれば、信号機423がもっと明るくなるように現像処理し、画面全体に対して信号機423の検波枠が明る過ぎれば、信号機423が暗くなるように現像処理する)。信号機用検波部405-3は、認識部204による信号機423の認識結果に基づいて、撮像画像420中の信号機423の検波枠を設定し、その検波枠内の色調を検波して、所定の基準値との差分を算出する。そして、信号機用現像処理部404-3は、その差分に基づいて色調補正値を調整して、信号機423の枠内の色調を調整する(信号機423の赤、黄、青の信号灯の色相が基準値の範囲外であれば、色相が範囲内になるように彩度、明度の調整と合わせて現像処理する)。信号機用現像処理404-3によって現像処理された撮像画像は、元の風景を必ずしも忠実に再現したものではなく、人がビューイング若しくは観賞した際に違和感を覚えさせることもあるが、信号機423を高精度に認識できる画像である。
HDR処理部407は、車両用現像処理部404-1が車両用の諧調と画質に現像処理した画像と、路面用現像処理部404-2が路面用の諧調と画質に現像処理した画像と、信号機用現像処理部404-3が信号機用の諧調及び色調と画質に現像処理した画像とを、HDR合成する。これにより、HDR処理部407は、画面全体用の諧調及び色調と画質に現像処理したHDR合成画像を作成する。
なお、信号機用検波部405-3と同様に、車両用検波部405-1は、車両421の検波枠の色調を検波して、所定の基準値との差分を算出し、その差分に基づいて色調補正値を調整して、車両421の枠内の色調を調整してもよい。路面用検波部405-2は、路面422の検波枠の色調を検波して、所定の基準値との差分を算出し、その差分に基づいて色調補正値を調整して、路面422の枠内の色調を調整してもよい。この場合、HDR処理部407は、車両用現像処理部404-1が車両用の諧調及び色調と画質に現像処理した画像と、路面用現像処理部404-2が路面用の諧調及び色調と画質に現像処理した画像と、信号機用現像処理部404-3が信号機用の諧調及び色調と画質に現像処理した画像とを、HDR合成すればよい。
図4に示した撮像装置200は、認識部204を備えるとともに、この認識部204が認識する物体毎に複数の現像処理部404及び複数の検波部405を搭載することにより、通常の自動露光制御及び自動色調補正を安定して実施すると同時に、各物体の画像認識に最適な現像を行うことが可能である。
自動運転やADASの実現のためには、車両、路面及び信号機の画像認識が最重要である。この観点から、図4に示した撮像装置200では、認識部204は車両、路面及び信号機の3種類の物体を認識し、車両用、路面用及び信号機用の複数の検波部405及び複数の現像処理部404を搭載するという構成である。もちろん、認識部204は、バイクや自転車、歩行者、道路標識、レーン、中央分離帯、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもでき、これに対応して、追加した認識物体毎の複数の検波部及び現像処理部を増設することによって、多種類の物体の画像認識に最適な現像を行うことが可能となる。
また、上記では、イメージセンサ202が単一露光を行うものとして説明してきたが、もちろん、複数同時露光(すなわち、1フレーム期間内に複数の露光タイミングを持ち、1フレーム期間内に複数の画像を撮像する)を実施可能であってもよい。撮像装置200は、複数同時露光を利用して、低輝度側自動露光並びに高輝度側自動露光といった輝度グループ毎の自動露光制御と、LED(Light Emitting Diode)フリッカ対策用など、用途に分けて画像を出力するようにしてもよい。
図5には、図4に示した撮像装置200において自動露光制御及び自動色調補正するための基本的な動作手順をフローチャートの形式で示している。但し、ここではイメージセンサ202が複数同時露光可能であり、車両用、路面用、信号機用及び画面全体用の4回露光を行うものとする。
画面全体検波部405-4は、イメージセンサ202による撮影画像の画面全体の明るさを検波する(ステップS501)。
次いで、比較部406は、画面全体検波部405-4で検出した画面全体の明るさ(輝度)及び画面全体の色調(比率)を所定の基準値(Ref)と比較して、エラー量を算出する(ステップS502)。
そして、制御部205は、ステップS502で算出したエラー量に基づいて、シャッター401の開閉タイミング(すなわち露光時間)や、アナログゲイン処理部403のアナログゲイン調整といったデバイス制御を実施する(ステップS503)。
ここでは、イメージセンサ202が複数同時露光を行うことを想定している。したがって、ステップS503では、低輝度用、高輝度用、信号機用及び画面全体用に、各々のデバイス制御(ステップS503-1、S503-2、S503-3、S503-4)を実施するようにしてもよい。また、各デバイス制御は同様の内容であってもよい。
なお、ステップS501~S503で実施される処理は、通常の自動露光制御に相当する処理である。
認識部204は、ステップS503-1乃至S503-3のデバイス制御に基づいて処理された各撮像画像に対して画像認識処理を実施する(ステップS504)。
認識部204が撮像画像から対象とする物体(車両、路面、信号機)を認識できなかった場合には(ステップS504のNo)、本処理を終了する。
一方、認識部204が撮像画像から対象とする物体(車両、路面、信号機)を認識できた場合には(ステップS504のYes)、信号処理部203は、認識部204から、対象とする物体(車両、路面、信号機)に関する画像認識情報を取得する(ステップS505)。
車両用検波部405-1は、認識部204から取得した画像認識情報に基づいて車両の検波枠を設定して、車両の検波枠内の物体の明るさを検波する(ステップS506)。ここで、認識部204が撮像画像からN台(但し、Nは2以上の整数)の車両を認識できた場合には、車両用検波部405-1は、N台分の検波枠を設定してすべての車両の明るさを個別に検波してもよいし、すべての検波枠内の物体の明るさの平均を検波してもよいし、優先順位が上位の所定台数までの明るさを検波するようにしてもよい。車両の優先順位は、自車両からの距離など自車両と衝突する可能性に基づいて割り振ってもよい。
次いで、車両用検波部405-1は、車両の検波枠内の物体の明るさを、画面全体検波部405-4で検出した画面全体の明るさと比較して、エラー量を算出する(ステップS507)。そして、車両用現像処理部404-1は、複数同時露光によって車両用に撮像した画像に対して、ステップS507で算出したエラー量と、認識部204から取得した画像情報と車両用検波部405-1の検波情報に基づいて、ノイズを調整して車両用の諧調と画質に現像処理するための、車両用補正量を算出する(ステップS513)。車両用現像処理部404-1は、車両用補正量に基づいて、車両用に撮像した画像を、車両用の諧調と画質に現像処理する(ステップS508)。
また、路面用検波部405-2は、認識部204から取得した画像認識情報に基づいて路面の検波枠を設定して、路面の検波枠内の物体の明るさを検波する(ステップS509)。次いで、路面用検波部405-2は、路面の検波枠内の物体の明るさを、画面全体検波部405-4で検出した画面全体の明るさと比較して、エラー量を算出する(ステップS510)。そして、路面用現像処理部404-2は、複数同時露光によって路面用に撮像した画像に対して、ステップS510で算出したエラー量に基づいて、ノイズを調整して路面用の諧調と画質に現像処理するための、路面用補正量を算出する(ステップS514)。路面用現像処理部404-2は、路面用補正量に基づいて、路面用に撮像した画像を、路面用の諧調と画質に現像処理する(ステップS511)。
信号機用検波部405-3は、認識部204から取得した画像認識情報に基づいて信号機の検波枠を設定して、信号機の検波枠内の物体の明るさ及び色調を検波する(ステップS515)。次いで、信号機用検波部405-3は、信号機の検波枠内の物体の明るさ及び色調を、画面全体検波部405-4で検出した画面全体の明るさ及び色調と比較して、エラー量を算出する(ステップS516)。そして、信号機用現像処理部404-3は、複数同時露光によって信号機用に撮像した画像に対して、ステップS507で算出したエラー量と、認識部204から取得した画像情報と信号機用検波部405-3の検波情報に基づいて、ノイズを調整して信号機用の諧調及び色調と画質に現像処理するための、信号機用補正量を算出する(ステップS517)。信号機用現像処理部404-3は、信号機用補正量に基づいて、信号機用に撮像した画像を、信号機用の諧調及び色調と画質に現像処理する(ステップS518)。
他方、現像処理部404は、LEDフリッカ対策用の現像処理を実施する(ステップS512)。
最後に、第1の実施形態についてまとめておく。撮像装置200は、図4にも示したように、複数同時露光機能、複数検波機能、及び複数現像機能を装備している。かかる構成により、撮像装置200は、LEDフリッカを抑制しつつ、急激な被写体変化にも安定した露出を維持することができる。これによって、撮像装置200は、複数の被写体に対して、お互いの露光に依存せずに最適な現像処理が可能であるとともに、現像時のエラー量を即時に反映することができるという特徴がある。また、撮像装置200は、被写体検知機能を維持できるという特徴がある。
第2の実施形態
画像認識の精度を向上するには、認識対象となる物体を認識したり、信号機の灯色を認識したりし易くなる露光条件で撮影を行う必要がある。しかしながら、逆光や暗闇では、認識不能なシーンを撮影することになる。例えば、日差しの強い炎天下のドライブで、街路樹の下を走行していると、陽が当たる部分と日陰の部分でコントラストが強過ぎて、自動露光制御が明暗の変化に追い付かない。通常のカメラの制御では、適正な露光条件になるまでに時間がかかり過ぎて、追従できない。その結果として、露光オーバー又は露光アンダーが長く続き、この間、画像認識ができない状態が続くため、車両制御システム100による自動運転やADASが十分に機能しない。画像認識ができない状態の他の例として、トンネルの出入り口や、対向車のヘッドライトを浴びている状態を挙げることができる。また、信号機の灯色認識ができない状態として、信号機の滅灯状態(フリッカにより全ての灯色が滅灯した状態)や、日差しの影響により、信号機の灯色の赤色と黄色が区別できない状態を挙げることができる。
そこで、第2の実施形態では、信号機の灯色認識ができない状態となる問題シーンを画像認識結果に基づいて判定し、かかる問題シーンにおいて自動露光を適応的に制御する撮像装置について説明する。
ここで、信号機の灯色認識ができない状態となる問題シーンとして、上述したように、信号機の滅灯状態(フリッカにより全ての灯色が滅灯した状態)や、日差しの影響により、信号機の灯色の赤色と黄色が区別できない状態を挙げることができる。このような問題シーンにおける自動露光の適応制御として、自動露光の収束速度の可変制御や自動露光検波領域の可変制御を挙げることができる。問題シーンの判定方法並びに自動露光の適応制御の詳細については後述に譲る。
図6には、第2の実施形態に係る撮像装置600の機能的構成例を模式的に示している。撮像装置600は主に車両に搭載して用いられることを想定している。図示の撮像装置600は、レンズ601と、イメージセンサ602と、信号処理部603と、認識部604と、判定部605と、制御部606を備えている。
イメージセンサ602は、例えばCMOSやCCDなどの素子を用いて構成され、レンズ601によって撮像面に結像された画像を撮像及びHDR合成する。信号処理部603は、イメージセンサ602から出力されるRAWデータに対する現像処理を実施する。例えば、デモザイク、ノイズリダクション、ホワイトバランス調整、ガンマ補正、センサ分光補正、エッジ補正、YC変換などが現像処理に該当する。
認識部604は、信号処理部603による処理後の撮像画像に含まれる物体を認識する。本実施例では、認識部604は、基本的には、後段の判定部605で問題シーンの判定に用いる物体として、周辺車両と車線(レーン)を画像認識する。もちろん、認識部604は、バイクや自転車、歩行者、道路標識、信号機、ガードレール、街路樹や街灯など、他の物体をさらに認識対象に取り入れることもできる。
判定部605は、信号機の灯色認識ができない状態となる問題シーンを、認識部604における画像認識結果に基づいて判定する。具体的には、判定部605は、信号機の滅灯状態(フリッカにより全ての灯色が滅灯した状態)や、日差しの影響により、信号機の灯色の赤色と黄色が区別できない状態を判定する。
また、判定部605は、OPD検波に基づいて、画像のコントラスト度合いを算出する。本実施例では、判定部605は、撮像画像中の路面領域の検波値とそれ以外の領域の検波値を比較する方法と、ヒストグラム(画像の輝度分布)の形状に基づいて判定する方法の2通りによってコントラスト度合いを算出するものとする。
制御部606は、判定部605が信号機の灯色認識ができない状態であると判定する問題シーンにおいて、イメージセンサ602における撮像動作や、信号処理部603における現像処理を制御して、自動露光を適応的に制御する。具体的には、制御部606は、問題シーンにおける自動露光の適応制御として、自動露光の収束速度の可変制御や自動露光検波領域の可変制御を実施する。
後段の車両制御システム100では、制御部606による制御下においてイメージセンサ602で撮影され且つ信号処理部603で現像処理された画像を認識処理することにより、高精度若しくは高い認識率で周辺車両を認識することができる。そして、車両制御システム100は、このような画像認識結果に基づいて、例えば、自動車間制御(ACC)、車線逸脱警報(LDW)、レーンキープアシスト(LKA)、自動緊急ブレーキ(AEB)、死角検知(BSD)といった、自動運転又はADASのための車両制御を実施し、さらにはアクティブコーナリングライト(ACL)、ブレーキアクチュエータ(BRK)、操舵装置(STR)など各駆動部の駆動を制御する。これによって、自車両の安全運転に寄与することができる。
第2の実施形態に係る撮像装置600は、第1の実施形態(すなわち、図4に示した撮像装置200)と同様であり、イメージセンサ602は複数露光であり、且つ、信号処理部603及び検波部604は物体毎の複数系統を有する。このため、以下、第1の実施形態(すなわち、図4に示した撮像装置200)と同様の構成(即ち、判定部605を除き全て)は、図4の名称及び参照符号を用いて説明する場合がある。
図7には、図6に示した撮像装置600において自動露光制御するための基本的な動作手順をフローチャートの形式で示している。
判定部605は、認識部604による画像認識情報を取得する(ステップS701)。認識部604は、イメージセンサ602による撮像画像から、路面、路面上の車線や車両及び信号機など物体を認識することができる。そして、認識部604による画像認識結果に基づいて、撮像画像に対して、地面(路面)、空、車両及び信号機などに検波枠を配置することができる。
判定部605は、認識部604による画像認識情報に基づいて、信号機を算出し、算出した信号機領域から信号灯及び矢印灯等を抽出する(ステップS702)。判定部605は、さらに信号機領域の検波値を取得する(ステップS703)。
また、判定部605は、OPD検波に基づいて、画像のコントラスト度合い、画面の明るさ(輝度)及び画面の色調(比率)を算出する。具体的には、判定部605は、撮像画像中の信号機の検波値とそれ以外の領域の検波値を比較することによってコントラスト度合いを算出するとともに、ヒストグラム(画像の輝度分布)の形状に基づいてコントラスト度合いを算出する。
次いで、判定部605は、ステップS703で取得した信号機領域の検波値が下限閾値以上で且つ上限閾値未満(所定範囲内)であるかどうかをチェックする(ステップS704)。要するに、判定部605は、信号機領域が白飛びや反射等していないかどうかをチェックする。
信号機領域の検波値が下限閾値以上で且つ上限閾値未満でない(所定範囲外)場合には(ステップS704のNo)、信号機領域の検波値は不適切である。この場合、判定部605は、認識部604が信号機の明滅を認識できているかどうかを判定する(ステップS705)。ここで、「信号機の明滅を認識できている」とは、信号機が点灯しており且つ認識の尤度(信頼度)が高いことなどを意味する。一方、「信号機の明滅を認識できていない」とは、例えば、信号機領域が白飛びや反射している場合や、信号機が点灯しているが灯色が赤色か黄色か区別がつかない場合や、信号機の滅灯状態(フリッカにより全ての灯色が滅灯した状態)である場合を意味する。
一方、信号機領域の検波値が下限閾値以上で且つ上限閾値未満(所定範囲内)である場合には(ステップS704のYes)、信号機領域の検波値は適切である。この場合、制御部606は、撮像画像のうち信号機領域の検波値を取得して、信号機明滅補正処理を行うために用いる信号機用補正値を算出する(ステップS706)。制御部606は、信号機用補正値をイメージセンサ602に入力し、信号機領域の検波値のみを使ってイメージセンサ602の自動露光制御並びに信号処理部603における現像処理の制御を行う(ステップS707)。さらに、制御部606は、信号機用補正値を信号処理部603(図4の信号処理部203の現像処理部404)に入力(次フレームの現像処理のためにフィードバック)する。これにより、信号機用現像処理部404-3は、信号機用補正量に基づいて、信号機用に撮像した画像を、信号機用の諧調及び色調と画質に現像処理する。
一方、信号機領域の検波値が下限閾値以上で且つ上限閾値未満でない場合には(ステップS704のNo)、判定部605の判定結果に基づき(ステップS705)、制御部606は、撮像画像のうち信号機領域の検波値を取得して、信号機明滅補正処理を行うために用いる信号機用補正値を算出する(ステップS706)。制御部606は、信号機用補正値をイメージセンサ602に入力し、信号機領域の検波値のみを使ってイメージセンサ602の自動露光制御並びに信号処理部603における現像処理の制御を行う(ステップS707)。さらに、制御部606は、信号機用補正値を信号処理部603(図4の信号処理部203の現像処理部404)に入力(次フレームの現像処理のためにフィードバック)する。これにより、信号機用現像処理部404-3は、信号機用補正量に基づいて、信号機用に撮像した画像を、信号機用の諧調及び色調と画質に現像処理する。
図8は、図4に示した撮像装置200においてHDR合成処理するための基本的な動作手順をフローチャートの形式で示している。
信号処理部203は、認識部204から、撮像画像から認識した対象とする物体(車両、路面、信号機)に関する画像認識情報を取得する(ステップS801)。
車両用検波部405-1は、認識部204から取得した画像認識情報に基づいて車両の検波枠を設定して、車両の検波枠内の物体の明るさを検波する。路面用検波部405-2は、認識部204から取得した画像認識情報に基づいて路面の検波枠を設定して、路面の検波枠内の物体の明るさを検波する。信号機用検波部405-3は、認識部204から取得した画像認識情報に基づいて信号機の検波枠を設定して、信号機の検波枠内の物体の明るさ及び色調を検波する(ステップS802)。
車両用現像処理部404-1は、車両用補正量に基づいて、車両用に撮像した画像を、車両用の諧調と画質に現像処理する。路面用現像処理部404-2は、路面用補正量に基づいて、路面用に撮像した画像を、路面用の諧調と画質に現像処理する。信号機用現像処理部404-3は、信号機用補正量に基づいて、信号機用に撮像した画像を、信号機用の諧調及び色調と画質に現像処理する。HDR処理部407は、車両用現像処理部404-1が生成した車両用の現像処理画像と、路面用現像処理部404-2が生成した路面用の現像処理画像と、信号機用現像処理部404-3が生成した信号機用の現像処理画像とを取得する(ステップS803)。
HDR処理部407は、車両用の現像処理画像と、路面用の現像処理画像と、信号機用の現像処理画像とを合成する場合の画像合成比を算出する(ステップS804)。例えば、HDR処理部407は、ダイナミックレンジ拡張のため、現像処理画像の諧調比を優先して合成比を算出する。あるいは、HDR処理部407は、信号灯のフリッカ軽減のため、現像処理画像の露光比を優先して合成比を算出する。あるいは、HDR処理部407は、ランダムノイズ軽減のため、現像処理画像の制御量を優先して合成比を算出する。
HDR処理部407は、車両用の現像処理画像の諧調と色調を補正するための車両用補正量と、路面用の現像処理画像の諧調と色調を補正するための路面用補正量と、信号機用の現像処理画像の諧調と色調を補正するための信号機用補正量とを算出する(ステップS805)。例えば、HDR処理部407は、信号灯のにじみ軽減のため、認識検波の明るさと色調に連動して、諧調と色調を補正するための補正量を算出する。また、HDR処理部407は、トンネル出入り口、昼間又は夜間等のシーンの影響を抑えるため、認識検波の明るさと色調に連動して、諧調と色調を補正するための補正量を算出する。
HDR処理部407は、車両用の現像処理画像と、路面用の現像処理画像と、信号機用の現像処理画像とを、算出した補正量(ステップS805)に基づき補正する。HDR処理部407は、補正後の車両用の現像処理画像と、補正後の路面用の現像処理画像と、補正後の信号機用の現像処理画像とを、算出した画像合成比(ステップS804)に基づき合成する。これにより、HDR処理部407は、車両用の現像処理画像と、路面用の現像処理画像と、信号機用の現像処理画像とから、HDR合成画像を生成する(ステップS806)。
実施例
図11に示すように、トンネル入り口内が暗く場合、HDR処理部407は、ダイナミックレンジ拡張のため、複数の現像処理画像(車両用、路面用、信号機用)の諧調比を優先して合成比を算出し、算出した合成比に基づき複数の現像処理画像をHDR合成する。これにより、車両を含むトンネル入り口内の諧調が補正されたHDR合成画像が生成される。
図12に示すように、霧のためコントラストが低い場合、HDR処理部407は、コントラストを上げるため、複数の現像処理画像(車両用、路面用、信号機用)の露出を調整しノイズを除去するための合成比を算出し、算出した合成比に基づき複数の現像処理画像をHDR合成する。これにより、霧によるかすみが改善したHDR合成画像が生成される。
図13に示すように、逆光が強い場合、HDR処理部407は、複数の現像処理画像(車両用、路面用、信号機用)の露出を調整し色調を補正するための合成比を算出し、算出した合成比に基づき複数の現像処理画像をHDR合成する。これにより、逆光による諧調が改善されたHDR合成画像が生成される。
図14に示すように、遠方の被写体の解像度が低い場合、HDR処理部407は、複数の現像処理画像(車両用、路面用、信号機用)のエッジを補正し諧調を補正するため、解像度と色調を優先して合成比を算出し、算出した合成比に基づき複数の現像処理画像をHDR合成する。これにより、遠方の被写体の解像度が改善されたHDR合成画像が生成される。
図15に示すように、夜間で画面全体が暗い(ノイズが高い)場合、HDR処理部407は、複数の現像処理画像(車両用、路面用、信号機用)の露出を調整しノイズを除去するため、信号機用の現像処理画像の合成比を高くし、S/N比を優先して合成比を算出し、算出した合成比に基づき複数の現像処理画像をHDR合成する。これにより、暗部のノイズが軽減したHDR合成画像が生成される。
図16に示すように、車両用の現像処理画像や路面用の現像処理画像(撮像データ1)に含まれる信号機の滅灯状態(フリッカにより全ての灯色が滅灯した状態)である場合、信号機用の現像処理画像(撮像データ2)の合成比を高くし、露出を調整し色調を補正するための合成比を算出し、算出した合成比に基づき複数の現像処理画像をHDR合成する。これにより、LED信号機のフリッカが軽減したHDR合成画像が生成される。
結語
典型的に、ビューイング向けの画質調整システムは、主観評価(人間による評価)に基づいて調整されることが一般的であり、主観評価法は、心理学的測定法とデータ分析のための統計処理からなっている。
コンピュータビジョンでは対象となる項目に特化した画質が求められるため、ビューイング向けの画質基準に基づいて調整された画質がセンシングでは最適とならないケースがある。例えば、画面全体が適切な画質となるように調整されているため、遠方にある被写体の解像度を重視するような画質に動的に切り換えない。距離や位置が頻繁に移動する被写体が認識できない場合が生じる。夜間では露光時間が長くなるので、LED光源など点滅する被写体に有利となるが、特定の被写体を重視するような画質に動的に切り換えない。S/N、ノイズ、エッジ強調、コントラストをバランスよく調整することが困難であった。被写体の変化に対し主観評価が考慮されるため、急激な画質の変化に対応できない場合がある。
また、HDR合成は、諧調が線形となるように調整されているため、複数枚の露光画像を合成した画像は画面全体の諧調が表現される。ビューイング向けの画質基準に基づいて調整されたHDR合成がセンシングで最適とならないケースがある。諧調が線形となるように調整されており、HDR合成のアルゴリズムが動的に変化しないため、LED光源など点滅する領域が合成に反映されない場合が生じる。諧調を伸張するアルゴリズムはあるが、LED光源など点滅する輝度の変化と動被写体の対応を両立することが困難であった。時系列の変化に対し主観評価が考慮されるため、急激な輝度の変化に対応できない場合がある。
以上のような事情に鑑み、全てのシーンで白飛びや黒潰れのない、破綻しない画質が求められている。想定外のシーンでは、調整データで統計処理に優先と重みを設けて画質を調整する必要があり、対象となる被写体に対して画質の追従が遅くなる。また画像データは領域や時間で分析するので、複数の被写体が存在する場合は、被写体の特徴(形状・遠近・大小・明暗・色調)から対象となる被写体を判断することが困難である。
そこで、本実施形態によれば、信号処理部203に認識部204からフィードバックが掛けられるように構成する。認識部204は認識に必要な情報を信号処理部203に指示する。これにより、信号処理部203は特定領域の特定画質に特化した画像を取得することが可能となる。信号処理部203は、フィードバックされた情報から特定領域に特化した画質となるように調整及びHDR合成することで、センシングに最適な画質の画像を実現することが可能となる。
本実施形態によれば、信号処理部203が画質調整を行う際、調整データで統計処理に優先と重みを設けない。複数の被写体が存在するシーンで、対象となる被写体に画質が追従できるように、信号処理部203と認識部204を通信(一体化)させる。認識部204に画像データが入力できるように設定する。認識部204は画像データから対象となる被写体を検出する。認識部204は対象となる被写体を信号処理部203に通知する。信号処理部203は対象となる被写体に特化して画質調整する。高画素のイメージセンサ202は対象となる被写体を広範囲で即時に追従できる。高速フレームのイメージセンサ202は対象となる被写体に即時に追従できる。高感度のイメージセンサ202は対象となる被写体を広い照度で即時に追従できる。複数枚撮像できるイメージセンサ202は複数の対象となる被写体に即時に追従できる。
これにより、信号処理部203は、主観評価に基づいた調整データなしで最適な画質に調整できる。信号処理部203は、統計処理に優先と重みを設けずに被写体に特化した画質に調整できる。信号処理部203は、調整データと合わせて統計処理しないので、信号処理が高速化できる。信号処理部203は、対象となる被写体に特化した画質を生成するので、認識の精度が向上できる。高画素のイメージセンサ202は、広い視野で構図に影響されずに画質調整できる。高速フレームのイメージセンサ202は、即時に動被写体に追従した画質が得られる。高感度のイメージセンサ202は、広い照度で輝度に影響されずに画質調整できる。複数枚撮像できるイメージセンサ202は、複数の被写体に追従した画質が得られる。信号処理部203と認識部204を通信させることは、従来の信号処理部203に応用でき、より対象となる被写体に特化した画質が得られる。信号処理部203と測距システムを通信させることで、被写体の距離に応じて優先度が設定でき、対象となる被写体に特化した画質が得られる。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、車載カメラに関する実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は車両に限定されない。例えば、ドローンなどの無人航空機、所定の作業空間(家庭、オフィス、工場など)を自律的に移動するロボット、船舶、航空機など、さまざまなタイプの移動体装置に対して、同様に本明細書で開示する技術を適用することができる。もちろん、移動体装置に設置される情報端末や、移動型でないさまざまな装置に対しても、同様に本明細書で開示する技術を適用することができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
を具備する情報処理装置。
(2)上記(1)に記載の情報処理装置であって、
前記認識部は、前記第1の画像データから前記第1の物体と異なる第2の物体を認識し、
前記処理部は、前記第2の物体の諧調を検波し、前記諧調を補正するための第2の補正量を算出し、前記第2の補正量に基づき前記第1の画像データの諧調を補正したデータであるさらに別の第2の画像データを生成する
情報処理装置。
(3)上記(2)に記載の情報処理装置であって、
前記処理部は、前記複数の異なる第2の画像データを合成する場合の画像合成比を算出し、前記画像合成比に基づき前記複数の異なる第2の画像データを合成した合成画像を生成する
情報処理装置。
(4)上記(1)又は(2)に記載の情報処理装置であって、
前記第1の補正量及び前記第2の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。
(5)上記(1)乃至(4)の何れかに記載の情報処理装置であって、
前記第1の物体の前記色調を検波し、検波値が所定範囲外であると判定すると、前記第1の物体の明滅を判定する判定部をさらに具備し、
前記処理部は、前記判定結果に基づき算出された前記第1の補正量を得る
情報処理装置。
(6)上記(5)に記載の情報処理装置であって、
前記判定結果に基づき算出された前記第1の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。
(7)上記(1)に記載の情報処理装置であって、
前記認識部は、前記イメージセンサが出力した、異なる撮像制御で同時に撮像された複数の異なる撮像データを前記処理部が現像することにより生成された複数の異なる前記第1の画像データから、前記第1の物体と、前記第1の物体と異なる第2の物体とを、それぞれ認識し、
前記処理部は、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき、前記第1の物体を認識するのに用いた1個の第1の画像データの色調を補正したデータである、1個の第2の画像データを生成し、
前記第2の物体の諧調を検波し、前記諧調を補正するための第2の補正量を算出し、前記第2の補正量に基づき、前記第2の物体を認識するのに用いた別個の第1の画像データの諧調を補正したデータである、別個の第2の画像データを生成する
情報処理装置。
(8)上記(7)に記載の情報処理装置であって、
前記処理部は、前記複数の異なる第2の画像データを合成する場合の画像合成比を算出し、前記画像合成比に基づき前記複数の異なる第2の画像データを合成した合成画像を生成する
情報処理装置。
(9)上記(7)又は(8)に記載の情報処理装置であって、
前記第1の補正量及び前記第2の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。
(10)上記(7)乃至(9)の何れかに記載の情報処理装置であって、
前記第1の物体の前記色調を検波し、検波値が所定範囲外であると判定すると、前記第1の物体の明滅を判定する判定部をさらに具備し、
前記処理部は、前記判定結果に基づき算出された前記第1の補正量を得る
情報処理装置。
(11)上記(10)に記載の情報処理装置であって、
前記判定結果に基づき算出された前記第1の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。
(12)上記(1)乃至(11)に記載の情報処理装置であって、
前記イメージセンサは移動体に搭載して用いられ、
前記第1の物体は信号機である
情報処理装置。
(13)イメージセンサが出力した撮像データを現像することにより生成された第1の画像データから第1の物体を認識し、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する
情報処理方法。
(14)イメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
を具備する
撮像装置。
(15)移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
前記第2の画像データを認識した結果に基づいて前記移動体における動作を制御する動作制御部と
を具備する移動体装置。
(16)
イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
(17)
イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム
を記録した非一過性のコンピュータ読み取り可能な記憶媒体。
(1)イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
を具備する情報処理装置。
(2)上記(1)に記載の情報処理装置であって、
前記認識部は、前記第1の画像データから前記第1の物体と異なる第2の物体を認識し、
前記処理部は、前記第2の物体の諧調を検波し、前記諧調を補正するための第2の補正量を算出し、前記第2の補正量に基づき前記第1の画像データの諧調を補正したデータであるさらに別の第2の画像データを生成する
情報処理装置。
(3)上記(2)に記載の情報処理装置であって、
前記処理部は、前記複数の異なる第2の画像データを合成する場合の画像合成比を算出し、前記画像合成比に基づき前記複数の異なる第2の画像データを合成した合成画像を生成する
情報処理装置。
(4)上記(1)又は(2)に記載の情報処理装置であって、
前記第1の補正量及び前記第2の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。
(5)上記(1)乃至(4)の何れかに記載の情報処理装置であって、
前記第1の物体の前記色調を検波し、検波値が所定範囲外であると判定すると、前記第1の物体の明滅を判定する判定部をさらに具備し、
前記処理部は、前記判定結果に基づき算出された前記第1の補正量を得る
情報処理装置。
(6)上記(5)に記載の情報処理装置であって、
前記判定結果に基づき算出された前記第1の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。
(7)上記(1)に記載の情報処理装置であって、
前記認識部は、前記イメージセンサが出力した、異なる撮像制御で同時に撮像された複数の異なる撮像データを前記処理部が現像することにより生成された複数の異なる前記第1の画像データから、前記第1の物体と、前記第1の物体と異なる第2の物体とを、それぞれ認識し、
前記処理部は、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき、前記第1の物体を認識するのに用いた1個の第1の画像データの色調を補正したデータである、1個の第2の画像データを生成し、
前記第2の物体の諧調を検波し、前記諧調を補正するための第2の補正量を算出し、前記第2の補正量に基づき、前記第2の物体を認識するのに用いた別個の第1の画像データの諧調を補正したデータである、別個の第2の画像データを生成する
情報処理装置。
(8)上記(7)に記載の情報処理装置であって、
前記処理部は、前記複数の異なる第2の画像データを合成する場合の画像合成比を算出し、前記画像合成比に基づき前記複数の異なる第2の画像データを合成した合成画像を生成する
情報処理装置。
(9)上記(7)又は(8)に記載の情報処理装置であって、
前記第1の補正量及び前記第2の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。
(10)上記(7)乃至(9)の何れかに記載の情報処理装置であって、
前記第1の物体の前記色調を検波し、検波値が所定範囲外であると判定すると、前記第1の物体の明滅を判定する判定部をさらに具備し、
前記処理部は、前記判定結果に基づき算出された前記第1の補正量を得る
情報処理装置。
(11)上記(10)に記載の情報処理装置であって、
前記判定結果に基づき算出された前記第1の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。
(12)上記(1)乃至(11)に記載の情報処理装置であって、
前記イメージセンサは移動体に搭載して用いられ、
前記第1の物体は信号機である
情報処理装置。
(13)イメージセンサが出力した撮像データを現像することにより生成された第1の画像データから第1の物体を認識し、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する
情報処理方法。
(14)イメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
を具備する
撮像装置。
(15)移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
前記第2の画像データを認識した結果に基づいて前記移動体における動作を制御する動作制御部と
を具備する移動体装置。
(16)
イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
(17)
イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム
を記録した非一過性のコンピュータ読み取り可能な記憶媒体。
本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
100…車両制御システム
101…入力部、102…データ取得部、103…通信部
104…車内機器、105…出力制御部、106…出力部
107…駆動系制御部、108…駆動系システム
109…ボディ系制御部、110…ボディ系システム、111記憶部
112…自動運転制御部、121…通信ネットワーク
131…検出部、132…自己位置推定部、133…状況分析部
134…計画部、135…動作制御部
141…車外情報検出部、142…車内情報検出部
143…車両状態検出部
151…マップ解析部、152…交通ルール認識部
153…状況認識部、154…状況予測部
161…ルート計画部、162…行動計画部、163…動作計画部
171…緊急事態回避部、172…加減速制御部、173…方向制御部
200…撮像装置、201…レンズ、202…イメージセンサ
203…信号処理部、204…認識部、205…制御部
301…シャッター、302…素子部、303…アナログゲイン処理部
304…現像処理部、305…検波部、306…比較部
401…シャッター、402…素子部、403…アナログゲイン処理部
404-1…車両用現像処理部、404-2…路面用現像処理部
404-4…画面全体現像処理部、405-1…車両用検波部
405-2…路面用検波部、405-4…画面全体検波部
406…比較部、407…HDR処理部
600…撮像装置、601…レンズ、602…イメージセンサ
603…信号処理部、604…認識部、605…判定部
606…制御部
101…入力部、102…データ取得部、103…通信部
104…車内機器、105…出力制御部、106…出力部
107…駆動系制御部、108…駆動系システム
109…ボディ系制御部、110…ボディ系システム、111記憶部
112…自動運転制御部、121…通信ネットワーク
131…検出部、132…自己位置推定部、133…状況分析部
134…計画部、135…動作制御部
141…車外情報検出部、142…車内情報検出部
143…車両状態検出部
151…マップ解析部、152…交通ルール認識部
153…状況認識部、154…状況予測部
161…ルート計画部、162…行動計画部、163…動作計画部
171…緊急事態回避部、172…加減速制御部、173…方向制御部
200…撮像装置、201…レンズ、202…イメージセンサ
203…信号処理部、204…認識部、205…制御部
301…シャッター、302…素子部、303…アナログゲイン処理部
304…現像処理部、305…検波部、306…比較部
401…シャッター、402…素子部、403…アナログゲイン処理部
404-1…車両用現像処理部、404-2…路面用現像処理部
404-4…画面全体現像処理部、405-1…車両用検波部
405-2…路面用検波部、405-4…画面全体検波部
406…比較部、407…HDR処理部
600…撮像装置、601…レンズ、602…イメージセンサ
603…信号処理部、604…認識部、605…判定部
606…制御部
Claims (16)
- イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記認識部は、前記第1の画像データから前記第1の物体と異なる第2の物体を認識し、
前記処理部は、前記第2の物体の諧調を検波し、前記諧調を補正するための第2の補正量を算出し、前記第2の補正量に基づき前記第1の画像データの諧調を補正したデータであるさらに別の第2の画像データを生成する
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記処理部は、前記複数の異なる第2の画像データを合成する場合の画像合成比を算出し、前記画像合成比に基づき前記複数の異なる第2の画像データを合成した合成画像を生成する
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記第1の補正量及び前記第2の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記第1の物体の前記色調を検波し、検波値が所定範囲外であると判定すると、前記第1の物体の明滅を判定する判定部をさらに具備し、
前記処理部は、前記判定結果に基づき算出された前記第1の補正量を得る
情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記判定結果に基づき算出された前記第1の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記認識部は、前記イメージセンサが出力した、異なる撮像制御で同時に撮像された複数の異なる撮像データを前記処理部が現像することにより生成された複数の異なる前記第1の画像データから、前記第1の物体と、前記第1の物体と異なる第2の物体とを、それぞれ認識し、
前記処理部は、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき、前記第1の物体を認識するのに用いた1個の第1の画像データの色調を補正したデータである、1個の第2の画像データを生成し、
前記第2の物体の諧調を検波し、前記諧調を補正するための第2の補正量を算出し、前記第2の補正量に基づき、前記第2の物体を認識するのに用いた別個の第1の画像データの諧調を補正したデータである、別個の第2の画像データを生成する
情報処理装置。 - 請求項7に記載の情報処理装置であって、
前記処理部は、前記複数の異なる第2の画像データを合成する場合の画像合成比を算出し、前記画像合成比に基づき前記複数の異なる第2の画像データを合成した合成画像を生成する
情報処理装置。 - 請求項7に記載の情報処理装置であって、
前記第1の補正量及び前記第2の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。 - 請求項7に記載の情報処理装置であって、
前記第1の物体の前記色調を検波し、検波値が所定範囲外であると判定すると、前記第1の物体の明滅を判定する判定部をさらに具備し、
前記処理部は、前記判定結果に基づき算出された前記第1の補正量を得る
情報処理装置。 - 請求項10に記載の情報処理装置であって、
前記判定結果に基づき算出された前記第1の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記イメージセンサは移動体に搭載して用いられ、
前記第1の物体は信号機である
情報処理装置。 - イメージセンサが出力した撮像データを現像することにより生成された第1の画像データから第1の物体を認識し、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する
情報処理方法。 - イメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
を具備する
撮像装置。 - 移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部と
前記第2の画像データを認識した結果に基づいて前記移動体における動作を制御する動作制御部と
を具備する移動体装置。 - イメージセンサが出力した撮像データを処理部が現像することにより生成された第1の画像データから第1の物体を認識する認識部と、
前記第1の物体の色調を検波し、前記色調を補正するための第1の補正量を算出し、前記第1の補正量に基づき前記第1の画像データの色調を補正したデータである第2の画像データを生成する前記処理部
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020138556A JP2022034720A (ja) | 2020-08-19 | 2020-08-19 | 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム |
PCT/JP2021/027934 WO2022038981A1 (ja) | 2020-08-19 | 2021-07-28 | 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020138556A JP2022034720A (ja) | 2020-08-19 | 2020-08-19 | 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022034720A true JP2022034720A (ja) | 2022-03-04 |
Family
ID=80350356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020138556A Pending JP2022034720A (ja) | 2020-08-19 | 2020-08-19 | 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022034720A (ja) |
WO (1) | WO2022038981A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102540632B1 (ko) * | 2022-10-27 | 2023-06-13 | 주식회사 모빌테크 | 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011254340A (ja) * | 2010-06-03 | 2011-12-15 | Hitachi Ltd | 撮像装置 |
JP6705533B2 (ja) * | 2018-10-19 | 2020-06-03 | ソニー株式会社 | センサ装置、パラメータ設定方法 |
-
2020
- 2020-08-19 JP JP2020138556A patent/JP2022034720A/ja active Pending
-
2021
- 2021-07-28 WO PCT/JP2021/027934 patent/WO2022038981A1/ja active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102540632B1 (ko) * | 2022-10-27 | 2023-06-13 | 주식회사 모빌테크 | 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Also Published As
Publication number | Publication date |
---|---|
WO2022038981A1 (ja) | 2022-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11815799B2 (en) | Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program | |
KR102533860B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
US20230237799A1 (en) | Information processing apparatus, information processing method, program, and moving body | |
US11698642B2 (en) | Information processing apparatus, mobile object, control system, and information processing method | |
JP6939283B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US11272115B2 (en) | Control apparatus for controlling multiple camera, and associated control method | |
JP7226440B2 (ja) | 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体 | |
JP6977722B2 (ja) | 撮像装置、および画像処理システム | |
JP2018019387A (ja) | 信号処理装置、撮影装置、及び、信号処理方法 | |
JPWO2019082669A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
JP7243714B2 (ja) | 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体 | |
US20230045772A9 (en) | Information processing apparatus, information processing method, and program | |
CN110012215B (zh) | 图像处理装置和图像处理方法 | |
WO2022038981A1 (ja) | 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム | |
KR20190054069A (ko) | 신호 처리 장치, 촬영 장치 및 신호 처리 방법 | |
WO2021229983A1 (ja) | 撮像装置及びプログラム | |
KR102685934B1 (ko) | 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램 | |
EP3863282B1 (en) | Image processing device, and image processing method and program | |
WO2022085479A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
KR20200119790A (ko) | 인식 장치와 인식 방법 그리고 프로그램 |