JP7113283B2 - 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置 - Google Patents

撮像装置、撮像システム、車両走行制御システム、及び画像処理装置 Download PDF

Info

Publication number
JP7113283B2
JP7113283B2 JP2018086282A JP2018086282A JP7113283B2 JP 7113283 B2 JP7113283 B2 JP 7113283B2 JP 2018086282 A JP2018086282 A JP 2018086282A JP 2018086282 A JP2018086282 A JP 2018086282A JP 7113283 B2 JP7113283 B2 JP 7113283B2
Authority
JP
Japan
Prior art keywords
image data
image
code
pixels
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018086282A
Other languages
English (en)
Other versions
JP2018201196A (ja
Inventor
嘉晃 佐藤
佳壽子 西村
康夫 三宅
修 柴田
浩 岩井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2018201196A publication Critical patent/JP2018201196A/ja
Priority to JP2022081981A priority Critical patent/JP7331201B2/ja
Application granted granted Critical
Publication of JP7113283B2 publication Critical patent/JP7113283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G03B11/045—Lens hoods or shields
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Optical Communication System (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Description

本開示は、撮像装置、撮像システム、車両走行制御システム及び画像処理装置に関する。
撮像装置を利用した情報の取得方法として、画像読み取り方式が知られている。画像読み取り方式とは、バーコード又はＱＲコード（登録商標）に代表される一次元又は二次元のコードから、情報を取得する技術である。この方式は、撮像された１枚の画像から情報を取得できる。また、この方式は、１枚の画像内に存在する複数のコードから情報を取得することも可能である。よって、この方式は、車両等の対象が移動中に情報を取得し、取得した情報に基づいて制御又は判断を行う際に有用である。例えば、テールランプ又は信号機にコードを表示し、コードから得られた情報を利用して車両を制御する方法も提案されている（例えば特許文献１及び２参照）。
特開２０１２－２２１３０３号公報 特開２０１４－９３７００号公報
画像読み取り方式により情報を取得するためには、高精度にコードを抽出できることが望まれている。
本開示の限定的ではないある例示的な実施形態によれば、以下が提供される。
非可視光によりコードを表示する対象物の像を含む、第１画像データ及び第２画像データを取得する撮影部と、前記第１画像データ及び前記第２画像データに基づいて、前記コードを抽出する画像処理部とを備え、前記撮影部は、可視光に感度を有する複数の第１画素により前記第１画像データを取得し、非可視光に感度を有する複数の第２画素により前記第２画像データを取得し、前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理後の前記第１画像データ及び前記第２画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出する、撮像装置。
包括的または具体的な態様は、素子、デバイス、モジュール、システム、集積回路または方法で実現されてもよい。また、包括的または具体的な態様は、素子、デバイス、モジュール、システム、集積回路および方法の任意の組み合わせによって実現されてもよい。
開示された実施形態の追加的な効果および利点は、明細書および図面から明らかになる。効果および／または利点は、明細書および図面に開示の様々な実施形態または特徴によって個々に提供され、これらの１つ以上を得るために全てを必要とはしない。
本開示は、高精度にコードを抽出できる撮像装置、撮像システム、車両走行制御システム又は画像処理装置を提供できる。
第１の実施形態に係る、赤外光により表示されたコードを含む画像の一例を示す図である。 第１の実施形態に係る第３画像の一例を示す図である。 第１の実施形態に係る車両走行制御システムの構成例を示す図である。 第１の実施形態に係る撮影部の構成例を示す図である。 第１の実施形態に係る画素の回路構成の一例を示す図である。 第１の実施形態に係る画素の回路構成の一例を示す図である。 第１の実施形態に係る光電変換部の一例を示す断面図である。 第１の実施形態に係る単位画素の色配列の一例を示す図である。 第１の実施形態に係る単位画素の色配列の一例を示す図である。 第１の実施形態に係る単位画素の色配列の一例を示す図である。 第１の実施形態に係る単位画素の色配列の一例を示す図である。 第１の実施形態に係るコードの一例を示す図である。 第１の実施形態に係るコードの一例を示す図である。 第１の実施形態に係るコードの一例を示す図である。 第１の実施形態に係るコードの一例を示す図である。 第１の実施形態に係る車両走行制御システムのブロック図である。 第２の実施形態に係る撮像システムのブロック図である。 第２の実施形態に係る、第１画像と第２画像とを同時に取得する場合の情報取得処理のフローチャートである。 第２の実施形態に係る、第１画像と第２画像とを順次に取得する場合の情報取得処理のフローチャートである。 第３の実施形態に係る画像処理装置のブロック図である。 第３の実施形態に係る、第１画像と第２画像とを同時に取得する場合の情報取得処理のフローチャートである。 第３の実施形態に係るＲ画素、Ｇ画素及びＢ画素の分光感度特性の一例を示す図である。 第３の実施形態に係るＩＲ画素の分光感度特性の一例を示す図である。 第３の実施形態に係る、第１画像と第２画像とを順次に取得する場合の情報取得処理のフローチャートである。 第３の実施形態に係るＧ画素の分光感度特性の一例を示す図である。 第３の実施形態に係るＧ＋ＩＲ画素の分光感度特性の一例を示す図である。 第４の実施形態に係る太陽光のスペクトルの一例を示す図である。 第４の実施形態に係る、Ｒ画素、Ｇ画素及びＢ画素の分光感度特性と太陽光のスペクトルとの乗算結果を示す図である。 第４の実施形態に係る、ＩＲ画素の分光感度特性と太陽光のスペクトルとの乗算結果を示す図である。 第５の実施形態に係る画像処理装置のブロック図である。 第５の実施形態に係る、第１画像と第２画像とを同時に取得する場合の情報取得処理のフローチャートである。 実施形態に係る、ローリングシャッタ動作によって撮像されたコードの像の一例を示す図である。 実施形態に係る、グローバルシャッタ動作によって撮像されたコードの像の一例を示す図である。
（本開示に至った知見）
画像読み取り方式による情報の取得においては、高精度にコードを抽出することが課題である。撮像された画像内に存在する複数のコードを高速かつ高精度に抽出できれば、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）技術又は自動運転技術等に対して、車両制御の自動化又は乗員に対する新たな情報提供手段として有用である。
本開示の一態様の概要は以下のとおりである。
本開示の一態様に係る撮像装置は、非可視光によりコードを表示する対象物の像を含む、第１画像データ及び第２画像データを取得する撮影部と、前記第１画像データ及び前記第２画像データに基づいて、前記コードを抽出する画像処理部とを備え、前記撮影部は、可視光に感度を有する複数の第１画素により前記第１画像データを取得し、非可視光に感度を有する複数の第２画素により前記第２画像データを取得し、前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理後の前記第１画像データ及び前記第２画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出する。
これによれば、撮像装置は、可視光が撮影された第１画像データと、非可視光が撮影された第２画像データとの差分処理により第３画像データを生成する。これにより、第３画像データにおけるコードのコントラストを高くすることができるので、撮像装置は、高精度にコードを抽出できる。
また、これによれば、撮像装置は、第１画像データと第２画像データとの信号強度の差を小さくできるので、第３画像データにおけるコードのコントラストをより高くできる。これにより、撮像装置は、より高精度にコードを抽出できる。
例えば、前記画像処理部は、前記第２画像データにおける前記コード以外の像の信号強度が、前記第１画像データにおける前記コード以外の像の信号強度よりも大きくなるように、前記第１画像データ及び前記第２画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行ってもよい。
例えば、前記対象物の一部は、非可視光を発光し、前記対象物は、前記一部において非可視光を発光することで前記コードを表示してもよい。
例えば、前記対象物の一部は、非可視光に対する反射率が可視光に対する反射率よりも高く、前記対象物は、前記一部において非可視光を反射することで前記コードを表示してもよい。
例えば、前記第２画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第１強度とし、前記コード以外の像の信号強度のうち最も大きいものを第２強度とし、前記第３画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第３強度とし、前記コード以外の像の信号強度のうち最も大きいものを第４強度としたとき、前記第４強度に対する前記第３強度の比は、前記第２強度に対する前記第１強度の比よりも大きくてもよい。
例えば、前記画像処理部は、前記第１画像データにおける前記コード以外の像の信号強度と、前記第２画像データにおける前記コード以外の像の信号強度との差が小さくなるように、前記第１画像データ及び前記第２画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行ってもよい。
これによれば、第１画像データと第２画像データとの信号強度の差を小さくできるので、第３画像データにおけるコードのコントラストをより高くできる。これにより、撮像装置は、より高精度にコードを抽出できる。
例えば、前記補正係数は、前記第１画素の第１分光感度特性と、前記第２画素の第２分光感度特性とに基づいて算出されてもよい。
例えば、前記補正係数は、前記第１分光感度特性に太陽光スペクトルを乗算することで得られる第１特性と、前記第２分光感度特性に前記太陽光スペクトルを乗算することで得られる第２特性とに基づいて算出されてもよい。
これによれば、太陽光のスペクトルを考慮することで、第３画像データにおけるコードのコントラストをより高くできる。これにより、撮像装置は、より高精度にコードを抽出できる。
例えば、前記第２画素は可視光にも感度を有していてもよい。
例えば、昼間か夜間かを判断する昼夜判断部をさらに備え、前記昼夜判断部が昼間であると判断した場合は、前記画像処理部は前記第３画像データに基づいて前記コードを抽出し、前記昼夜判断部が夜間であると判断した場合は、前記画像処理部は前記第２画像データに基づいて前記コードを抽出してもよい。
これによれば、太陽光に含まれる非可視光の影響が少ない夜間において、撮像装置の処理量を低減できる。
例えば、前記画像処理部は、抽出された前記コードに対応付けられている情報を取得してもよい。また例えば、前記情報は、交通情報を含んでいてもよい。
例えば、前記第１画素と前記第２画素とは、別個の画素であってもよい。
これによれば、撮像装置は、第１画像データと第２画像データとを同時に取得できる。よって、撮像装置は、動きにより生じる第１画像データと第２画像データとの間の像のずれを低減できるので、より高精度にコードを抽出できる。
例えば、前記第１画素と前記第２画素とは同一の第３画素であり、前記第３画素は、可視光に感度を有する第１状態と、非可視光に感度を有する第２状態とを有し、前記撮影部は、前記第１状態にある前記第３画素により前記第１画像データを取得し、前記第２状態にある前記第３画素により前記第２画像データを取得してもよい。
これによれば、撮像装置は、第１画像データと第２画像データとを同一の画素で取得できる。よって、撮像装置は、画素数を低減できる。
例えば、前記第１画素が前記第１画像データを取得するときの露光期間の開始及び終了のタイミングは、前記第２画素が前記第２画像データを取得するときの露光期間の開始及び終了のタイミングと同一であってもよい。
これによれば、撮像装置は、動きにより生じるコードの像の歪みを低減できるので、より高精度にコードを抽出できる。
例えば、前記撮影部は、複数のフレーム期間のそれぞれにおいて前記第１画像データ及び第２画像データを取得し、前記画像処理部は、前記複数のフレーム期間のうちの一部のフレーム期間に対してのみ前記コードを抽出してもよい。
本開示の一態様に係る撮像システムは、前記撮像装置と、前記情報をユーザに通知する通知部とを備える。
本開示の一態様に係る車両走行制御システムは、前記撮像装置と、前記情報に基づいて、車両の制動及び加速を制御する車両制御部とを備える。
本開示の一態様に係る画像処理装置は、非可視光によりコードを表示する対象物の可視光像を含む第１画像データと、前記対象物の非可視光像を含む第２画像データとに基づいて、前記コードを抽出する画像処理部を備え、前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた２つの画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出する。
これによれば、画像処理装置は、可視光が撮影された第１画像データと、非可視光が撮影された第２画像データとの差分処理により第３画像データを生成する。これにより、画像処理装置は、第３画像データにおけるコードの像のコントラストを高くすることができるので、高精度にコードを抽出できる。
例えば、前記画像処理部は、抽出された前記コードに対応づけられている情報を取得してもよい。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは一例であり、本開示を限定する主旨ではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。本明細書において、「画像データ」は画像情報を含むデータを意味する。また、「画像データ」を単に「画像」と表記することがある。
（第１の実施形態）
まず、本実施形態に係る車両走行制御システム１００の構成及び動作を説明する。
車両走行制御システム１００は、車両に搭載した撮像装置１０１を含む。撮像装置１０１がコードを読み取り、コードに対応付けられた情報を取得する。
図３は、本実施形態に係る車両走行制御システム１００のハードウェア構成の一例を示す図である。図３に示す車両走行制御システム１００は、撮像装置１０１と、光学系１０２と、表示部１０３と、ネットワーク通信部１０４と、電子制御ユニットであるＥＣＵ１０５とを含む。撮像装置１０１は、撮影部１１１と、ＩＳＰ１１２と、システムコントローラ１１５と、画像送信部１１３と、情報取得部１１４とを備えている。ＩＳＰ１１２は、撮影部１１１からの出力データを画像処理する画像処理プロセッサである。システムコントローラ１１５は、ＩＳＰ１１２がどのように画像処理を行うかを制御する。画像送信部１１３は、ＩＳＰ１１２から出力されたデータを外部に送信する。
光学系１０２は、周知のレンズ群を有する。レンズ群において、例えばフォーカスレンズは光軸方向に移動してもよい。これにより、撮影部１１１において被写体像の合焦位置を調整できる。
撮影部１１１は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサである。図４は、撮影部１１１の構成例を示す図である。図４に示すように、撮影部１１１は、行列方向に配列された複数の画素２０１を含む画素アレイと、行走査回路２０２と、列走査回路２０３と、列毎に設けられた電流源２０４と、列毎に設けられたＡＤ変換回路２０５と、を含む。
各画素２０１は、対応する行の水平信号線２０７と、対応する行の垂直信号線２０８とに接続されている。行走査回路２０２及び列走査回路２０３により、各画素２０１が個々に選択される。なお、各画素２０１には、共通の電源線２０６により電源電圧が供給される。各画素２０１は、入力された光信号を電気信号に変換する。ＡＤ変換回路２０５は、画素２０１で得られた電気信号をデジタル信号に変換する。このデジタル信号は、列走査回路２０３から出力信号線２０９に出力される。なお、ＡＤ変換回路２０５が設けられず、電気信号がアナログ信号のまま出力されもよい。又は、複数の画素２０１の出力信号が加減算され、演算後の値が出力されてもよい。
図５Ａ及び図５Ｂは、画素２０１の一例である画素２０１Ａ及び２０１Ｂの構成を示す図である。画素２０１Ａは、図５Ａに示すように、光電変換部２１０と、電荷蓄積部２２５と、リセットトランジスタＭ３と、増幅トランジスタＭ１と、選択トランジスタＭ２と、を有する。光電変換部２１０は、入射光を光電変換する。電荷蓄積部２２５は、電荷を蓄積する。リセットトランジスタＭ３は、電荷蓄積部２２５の電位を所望のリセット電位Ｖ１にリセットする。増幅トランジスタＭ１は、電荷蓄積部２２５に蓄積された電荷の量に応じた信号を出力する。選択トランジスタＭ２は、信号を垂直信号線２０８に選択的に出力する。
なお、光電変換部として、図５Ｂに示すようにフォトダイオード２１１が用いられてもよい。
図６は、図５Ａに示した画素２０１Ａの構成例を示す断面図である。図６に示すように、光電変換部２１０は、透明電極２２１と、画素電極２２３と、光電変換層２２２と、を有する。光電変換層２２２は、透明電極２２１及び画素電極２２３の間に位置する。電荷蓄積部２２５は、少なくとも一部が半導体基板２２６内に位置していてもよい。電荷蓄積部２２５は、コンタクトプラグ２２４を介して画素電極２２３に電気的に接続されてもよい。透明電極２２１と画素電極２２３との間にバイアス電圧が印加されると電界が生じる。この電界により、光電変換層２２２で光電変換によって生じた正及び負の電荷のうちの一方が、画素電極２２３によって収集される。収集された電荷は電荷蓄積部２２５に蓄積される。
画素２０１は可視光及び非可視光に対して感度を有する。図７Ａ～図７Ｄは、画素２０１の配置の一例を示す。また、非可視光の一例として、赤外光を対象とする場合で例示する。図７Ａ～図７Ｄにおいて、四角形のそれぞれが単一の画素を示す。画素に記載されたＧは緑色の波長帯域、Ｒは赤色の波長帯域、Ｂは青色の波長帯域、ＩＲは赤外光の波長帯域、Ｗは可視光から赤外光の波長帯域に、それぞれの画素が感度を有することを示す。以下、緑色の波長帯域に感度を有する画素をＧ画素、赤色の波長帯域に感度を有する画素をＲ画素、青色の波長帯域に感度を有する画素をＢ画素、赤外光の波長帯域に感度を有する画素をＩＲ画素、可視光から赤外光の波長帯域に感度を有する画素をＷ画素と呼ぶ。画素アレイは４画素を１単位として縦横に同構成を配置している。
図７Ａは、ベイヤー配列において、Ｇ画素の一つをＩＲ画素に置き換えた構成例を示す。ＩＲ画素は、典型的には可視光カットフィルタを画素上に形成することで実現される。ベイヤー配列とは、一つのＲ画素と、二つのＧ画素と、一つのＢ画素との４画素を１単位として、縦横に同構成を配置した配列である。また、二つのＧ画素は斜め方向に配置され、互いに上下又は左右に隣接しない。
図７Ｂは、ベイヤー配列において、Ｇ画素の一つをＷ画素に置き換えた構成例を示す。Ｗ画素は、典型的にはオンチップカラーフィルタを画素上に形成しないことで実現される。
図７Ｃは、ベイヤー配列において、全ての画素が赤外光の波長帯域に感度を有する構成例を示す。典型的には、各画素上のオンチップカラーフィルタを、可視光（赤色光、緑色光又は青色光）の波長帯域の光と、赤外光の波長帯域の光とが透過するように構成する。さらに、赤外光カットフィルタを搭載し、撮影部１１１の前面において、赤外光カットフィルタを撮影部１１１への光路上に配置した状態と配置しない状態とを切り替える。このように制御することにより、各画素について、可視光（赤色光、緑色光又は青色光）による信号取得と、可視光（赤色光、緑色光又は青色光）及び赤外光による信号取得とを切り替えることができる。
図７Ｄは、ベイヤー配列における各画素において、赤外光の波長帯域に感度を有する状態と赤外光の波長帯域に感度を有さない状態とを切り替える構成例を示す。典型的には、画素に印加される電圧を制御することにより状態の切り替えが行われる。
例えば、図６に示す画素において、透明電極２２１と画素電極２２３との間の電位差を切り替えることで、各画素によって取得される光の波長帯域を変更できる。例えば、光電変換層２２２を吸収スペクトルの異なる２種類の材料で構成してもよい。また、透明電極２２１と画素電極２２３との間の電位差が、所定の値よりも大きい場合には画素２０１が赤外光に感度を有し、所定の値よりも小さい場合には画素２０１が赤外光に感度を有さないように構成してもよい。あるいはフォトダイオードを備える画素において、例えば、フォトダイオードの下方に位置するキャリア排出領域へのバイアス電圧を変化させて電荷の捕獲領域を変化させてもよい。これにより、各画素によって取得される光の波長帯域を変更することができる。また、例えば、キャリア排出領域に高いバイアス電圧を印加することにより、画素２０１が可視光にのみ感度を有するようにし、キャリア排出領域に低いバイアス電圧を印加することにより、赤外光にも感度を有するようにすることができる。
具体的には、光電変換部が図６に示す構成を有する場合、透明電極２２１及び画素電極２２３の間の電位差を変化させることで、画素２０１の単位時間当たりの感度を変更することが可能である。例えば透明電極２２１及び画素電極２２３の間の電位差を小さくすることにより、光電変換層２２２において光電変換によって生じた電荷を検出させないようにすることもできる。つまり、画素２０１の感度を実質的にゼロにすることもできる。例えば全画素において透明電極２２１を共通とし、全画素の感度を同時にゼロにすることにより、グローバルシャッタ動作が可能になる。なお、光電変換部がフォトダイオード２１１の場合には、電荷転送トランジスタ及び電荷蓄積容量を設ける構成にすることで、グローバルシャッタ動作が可能になる。撮影部１１１がグローバルシャッタ機能を備えることにより、車両が高速に移動している際も、撮影部１１１はコードを歪まずに撮像することができる。これにより、撮像装置１０１のコードの認識精度を向上させることができる。コードについての詳細は後述する。
再度、図３を参照する。ＩＳＰ１１２は、撮影部１１１から出力されるデータに対して、必要に応じて画像処理を行う。撮影部１１１から出力されるデータは、例えばＲＡＷデータである。画像処理は、例えば圧縮処理あるいは補正処理である。なお、撮影部１１１とＩＳＰ１１２とは同一の１チップに設けられていてもよい。それにより、処理の高速化及び装置の低コスト化を実現できる。ＩＳＰ１１２は、撮影部１１１から出力されたデータをそのまま、あるいは画像処理を行って、画像送信部１１３及び情報取得部１１４に出力する。ＩＳＰ１１２から出力されるデータは、例えば画像処理が施されていないＲＡＷデータであってもよいし、ＲＡＷデータに画像処理が行われた、所定のフォーマットのデータであってもよい。
画像送信部１１３は、ＩＳＰ１１２から出力されたデータを、例えば、ＥＣＵ１０５等の外部装置に出力する。情報取得部１１４は、撮像画像からコード５０を抽出する。コード５０は、情報を一定の規則に従ってコードに変換したものである。また、情報取得部１１４は、抽出したコード５０を復号することで、コード５０を交通情報等の情報に変換する。図８Ａ～図８Ｄは、コード５０の例を示す図である。例えば、図８Ａ～図８Ｃに示すように、コード５０は二次元のパターンである。具体的には、コード５０として、図８Ａに示すようなＱＲコード（登録商標）、図８Ｂに示すような任意のパターン、又は、図８Ｃに示すような文字或いは記号を用いることができる。もしくは、コード５０として、図８Ｄに示すような、一次元のパターンであるバーコードが用いられてもよい。
また、情報取得部１１４は、復号化処理として、例えば、ＱＲコード（登録商標）に対するＪＩＳ Ｘ ０５１０：２００４記載の復号化処理、又はパターンマッチングによる対応情報の取得を行う。また、コード５０が情報そのものである場合は、情報取得部１１４は、復号化処理として文字認識等を行う。なお、情報取得部１１４はＩＳＰ１１２で実現されてもよい。
抽出された情報は、例えば、後述するＥＣＵ１０５に送られ、車両の速度及び制動の制御に利用されてもよい。又は、抽出された情報は、表示部１０３に送られ、交通情報の運転者への提示、又は表示或いは音による危険の警告等に利用されてもよい。
システムコントローラ１１５は、入力部１２２と、出力部１２１と、プログラムメモリ１２３と、ワーキングメモリ１２５と、制御用マイコン１２６と、を備えている。プログラムメモリ１２３には、プログラム１２４が格納されている。マイコン１２６は、プログラム１２４を、ワーキングメモリ１２５を使いつつ実行することで、例えば、撮像装置１０１の制御部として機能する。なお、システムコントローラ１１５は、ＩＳＰ１１２を制御するだけでなく撮影部１１１を制御してもよい。出力部１２１は、システムコントローラ１１５での制御結果を撮影部１１１に出力する。
表示部１０３はカメラ画像を表示する。ネットワーク通信部１０４はワイヤレスにインターネットに接続する手段である。例えば、ネットワーク通信部１０４は、情報取得部１１４での情報取得処理で必要な情報を、ネットワーク通信部１０４を介してインターネット上から取得する。ＥＣＵ１０５は、エンジン、制動、又は加速など、様々な車体の制御をつかさどるユニットである。
なお、これらの構成要素はそれぞれ独立に構成される必要はなく、統合されていてもよい。
図９は、本実施形態に係る車両走行制御システム１００の機能構成を示すブロック図である。車両走行制御システム１００は、例えば、車両に搭載される。図９に示すように、車両走行制御システム１００は、撮像装置１０１と、車両制御部１３１とを備える。
撮像装置１０１は、撮影部１１１と、画像処理装置１４０とを備える。画像処理装置１４０は、例えば、図３に示すＩＳＰ１１２及び情報取得部１１４により実現される。この画像処理装置１４０は、画像処理部１４２を備える。
なお、画像処理装置１４０は、撮像装置１０１の外部に存在してもよい。例えば、撮像装置１０１は、撮影した画像を、外部にある画像処理装置１４０に送信してもよい。画像処理装置１４０は、受信した画像に対して処理を行ってもよい。
撮影部１１１は、可視光が撮影された画像であって、対象物の像を含む第１画像１６１と、非可視光が撮影された画像であって、対象物の像を含む第２画像１６２とを撮影する。なお、第２画像１６２は、可視光及び非可視光が撮影された画像であってもよい。また、非可視光とは、例えば、赤外光である。また、撮影部１１１で撮影された第１画像１６１及び第２画像１６２は、フレームメモリにそれぞれ格納される。フレームメモリは撮影部１１１又はＩＳＰ１１２に内蔵されていてもよいし、ディスクリートのメモリ素子でもよい。
対象物とは、例えば、コード５０を表示する表示媒体である。コード５０は、例えば、情報に対応付けられている。対象物は、例えば、標識、看板、電光掲示板、又は建造物であってもよい。コード５０は、非可視光で表示される。これにより、対象物は、可視光により観察される外観の視認性又はデザイン性を損なうことなく、情報を表示することができる。具体的には、対象物は、非可視光を発光することでコード５０を表示してもよい。例えば、対象物は、非可視光を発光する光源であってもよい。あるいは、対象物は、非可視光を反射することでコード５０を表示してもよい。例えば、対象物のコード５０を表示している部分において、非可視光に対する反射率を可視光に対する反射率よりも高くしてもよい。本明細書においてコード５０とは、例えば非可視光をより多く発光又は反射する部分とその他の部分とからなるパターンであり、特定の情報に対応付けられたものをいう。
図１において、表示媒体５１は道路標識であり、表示媒体５２は看板であり、表示媒体５３は車両である。図１は、表示媒体５１、表示媒体５２、表示媒体５３を、非可視光成分を撮像できるカメラで撮像した場合の画像の一例を示している。図１では、コード５０以外の背景部分も写っている。これは、日中の屋外においては、太陽光に含まれる非可視光により、人、車両、及び建築物等の一般的な対象物も非可視光を発しているためである。つまり、例え赤外領域に感度を有する撮像装置で撮像したとしても、図１に示すように、コード５０を高コントラストで抽出することが困難な場合がある。本実施形態では、後述する画像処理により、図２に示すようにコード５０を高精度に抽出する。
例えば、撮影部１１１は、可視光に感度を有する複数の第１画素と、非可視光に感度を有する複数の第２画素とを含んでもよい。第１画像１６１は、複数の第１画素により得られる。第２画像１６２は、複数の第２画素により得られる。第１画素とは、例えば、図７Ａ又は図７Ｂに示す、Ｒ画素、Ｇ画素及びＢ画素である。第２画素とは、例えば、図７Ａに示すＩＲ画素、又は、図７Ｂに示すＷ画素である。
あるいは、撮影部１１１は、複数の画素２０１を備え、各画素２０１が可視光に対する感度を有する第１撮影状態と、複数の画素２０１が非可視光に対する感度を有する第２撮影状態とを有してもよい。これにより、第１撮影状態において第１画像１６１が得られる。第２撮影状態において第２画像１６２が得られる。つまり、同一の画素２０１により第１画像１６１と第２画像１６２とが得られる。例えば、図７Ｃ又は図７Ｄに示す構成のように、同一の画素２０１について、可視光の波長帯域に感度を有する状態と、非可視光の波長帯域に感度を有する状態とを切り替えてもよい。これにより、同一の画素２０１により第１画像１６１と第２画像１６２とを得ることができる。
画像処理部１４２は、撮影部１１１から第１画像１６１及び第２画像１６２を取得する。画像処理部１４２は、差分処理部１５１と、抽出部１５２とを備える。
差分処理部１５１は、第１画像１６１と第２画像１６２との差分処理によって対象物の像を含む第３画像１６３を生成する。この差分処理により、コード５０の発光部分の像の信号強度と、コード５０以外の像の信号強度との比が、第２画像１６２よりも大きい第３画像１６３が生成される。これにより、第３画像１６３からコード５０の像を抽出しやすくしている。つまり、第２画像１６２において、コード５０の像の信号強度のうち最も大きいものを第１強度とし、コード５０以外の像の信号強度のうち最も大きいものを第２強度とする。また、第３画像１６３において、コード５０の像の信号強度のうち最も大きいものを第３強度とし、コード５０以外の像の信号強度のうち最も大きいものを第４強度とする。この場合、第４強度に対する第３強度の比は、第２強度に対する第１強度の比よりも大きい。
抽出部１５２は、第３画像１６３からコード５０を抽出する。また、抽出部１５２は、抽出したコード５０に対応付けられている情報１４４を取得する。情報１４４は、例えば交通情報である。交通情報とは、例えば道路標識の内容を示す情報である。具体的には、例えば、接近禁止又は進入禁止を示す情報である。
車両制御部１３１は、情報１４４に基づいて、車両の制動及び加速を制御する。例えば、車両制御部１３１は、図２に示すＥＣＵ１０５により実現される。
なお、本開示は、車両走行制御システム１００として実現できるだけでなく、撮像装置１０１又は画像処理装置１４０として実現されてもよい。
（第２の実施形態）
本実施形態においては、情報１４４は、ユーザに通知される。ユーザは、例えば車両の運転手である。図１０は、本実施形態に係る撮像システム１００Ａのブロック図である。撮像システム１００Ａは、車両制御部１３１の代わりに通知部１３２を備える点で、第１の実施形態の車両走行制御システム１００と異なる。
通知部１３２は、情報１４４をユーザに通知する。例えば、通知部１３２は情報１４４を表示する。又は、通知部１３２は、音声等により情報１４４をユーザに通知してもよい。例えば、通知部１３２は、図３に示す表示部１０３により実現される。なお、情報１４４そのものがユーザに通知されてもよいし、情報１４４に基づく警告等がユーザに通知されてもよい。なお、車両走行制御システム１００がさらに通知部１３２を備えてもよい。
以下、上記のように構成された車両走行制御システム１００の動作を説明する。
以下、図１１に示すフローチャートに基づいて、撮影部１１１による情報取得処理について説明する。本実施形態においては、撮影部１１１は、図７Ａ又は図７Ｂに示す画素構成を備えている。すなわち、撮影部１１１は第１画像１６１と第２画像１６２とを同時に取得可能である。
撮影部１１１は撮像を開始する。撮像は、車両の乗員による手動制御によって開始されてもよい。あるいは、撮像は、車両のエンジンスタート等の起点となる動作に対応して自動的に開始されてもよい。
次に、撮影部１１１は、第１画像１６１及び第２画像１６２を撮影する（Ｓ１０１）。
次に、画像処理部１４２は、撮影部１１１で撮影された第１画像１６１及び第２画像１６２を取得する。差分処理部１５１は第１画像１６１と第２画像１６２との差分処理により第３画像１６３を生成する（Ｓ１０２）。例えば、差分処理部１５１は、Ｒ画素、Ｇ画素及びＢ画素の出力値の合計と、ＩＲ画素又はＷ画素の出力値との差分を演算する。なお、差分処理部１５１は、Ｒ画素、Ｇ画素及びＢ画素のうち予め定められたいずれか１つの出力値と、ＩＲ画素又はＷ画素の出力値との差分を演算してもよい。また、差分処理部１５１は、第１画像１６１及び第２画像１６２の対応する画素同士について差分処理を行う。
次に、抽出部１５２は、得られた第３画像１６３に対して予め定められた閾値で二値化処理を行うことで二値画像を生成する（Ｓ１０３）。閾値は撮影部１１１の特性又は実験結果をもとに予め設定される。
次に、抽出部１５２は、パターンマッチング等既知の手法を用いて、二値画像からコード５０を抽出する（Ｓ１０４）。具体的には、抽出部１５２は、画像内の全てのコード５０を抽出し、抽出したコード５０と、そのコード５０の種類とをメモリに格納する。ここでコード５０の種類とは、バーコード又はＱＲコード（登録商標）等である。
最後に、抽出部１５２は、抽出されたコード５０に対応する情報１４４を取得する（Ｓ１０５）。例えば、抽出部１５２は、コード５０に対応する情報１４４を示すテーブルを保持している。抽出部１５２は、このテーブルを用いて、コード５０に対応する情報１４４を取得する。なお、抽出部１５２は、ネットワーク上のデータと照合することで、コード５０に対応する情報１４４を取得してもよい。又は、情報１４４の取得処理自体がクラウド上で行われてもよい。
なお、コード５０の抽出（Ｓ１０４）では、複数のコード５０が抽出される可能性がある。複数のコード５０が抽出された場合には、抽出部１５２は、複数のコード５０のそれぞれについて情報１４４を取得する。この場合、抽出部１５２は、１つ目のコード５０が抽出された時点で、そのコード５０に対応する情報１４４の取得処理を行うことが可能である。よって、抽出部１５２は、ステップＳ１０４とＳ１０５とを並列に実行してもよい。
図１２は、撮影部１１１の構成が異なる場合の情報取得処理のフローチャートを示す。この場合、撮影部１１１は、図７Ｃ又は図７Ｄに示す構成を有する。すなわち、撮影部１１１は第１画像１６１と第２画像１６２とをこの順に取得する。図１２に示すフローチャートでは、ステップＳ１０１がステップＳ１０１Ａ及びＳ１０１Ｂに置き換えられている点で図９に示すフローチャートと異なる。
撮影部１１１は、第１画像１６１を撮像する（Ｓ１０１Ａ）。その後、撮影状態を切り替え、第２画像１６２を撮像する（Ｓ１０１Ｂ）。例えば、図７Ｃに示す構成では、ステップＳ１０１Ａでは赤外光カットフィルタを撮影部１１１への光路上に配置する。一方、ステップＳ１０１Ｂでは赤外光カットフィルタを撮影部１１１への光路上から除く。このことにより撮影状態の切り替えが行われる。また、図７Ｄに示す構成では、画素２０１への印加電圧を制御することで撮影状態の切り替えが行われる。具体的には、透明電極２２１と画素電極２２３の間の電位差を変更することにより、撮影状態を切り替えることができる。
なお、以降の処理は図１１と同一のため説明を省略する。なお、本例において、第１画像１６１及び第２画像１６２の撮像順は逆でもよい。
本実施形態に示すような差分処理を行うことにより、第２画像１６２の出力値のうち太陽光に含まれる非可視光に起因するものを、第１画像１６１を用いて低減することができる。これにより、コード５０をコード５０以外の部分に比べて高コントラストにできるので、高速かつ高精度にコードを抽出できる。
図１１又は図１２に示す情報取得処理は、車両のエンジンがかかっている間は常に行われてもよい。あるいは、ある一定の間隔で行われてもよい。また、この情報取得処理は、外部情報を起点にして行われてもよい。例えば、車両がスクールゾーン等の特定の地域に入ったことを検知し、それを起点にして情報取得処理が開始されてもよい。また、この情報取得処理は、ギアが変更された等の車両内部の制御情報の変化を起点にして開始されてもよい。
上記した説明では、第１画像１６１及び第２画像１６２の差分処理によって第３画像１６３を生成している。しかし状況によっては、単なる差分処理だけでは正確にコード５０を検出し難い場合があり得る。例えば、第２画像１６２におけるコード５０の発光部分の像の信号強度が、第１画像１６１におけるコード５０の発光部分の像の信号強度よりも小さい場合である。このような場合には、第２画像１６２から第１画像１６１を減算すると、コード５０の発光部分の像の差分の絶対値がコード５０以外の像の差分の絶対値よりも小さくなる場合がある。すなわち、第３画像１６３においてコード５０の像が反転してしまうことが起こり得る。
ここで、第２画像１６２におけるコード５０の発光部分の像の信号強度は、コード５０が非可視光を発光しないと仮定したときのコード５０の発光部分の像の信号強度に、コード５０の発光部分が発光する非可視光に起因する信号強度が加算されたものである。また、コード５０が非可視光を発光しないと仮定したときのコード５０の発光部分の像の信号強度は、コード５０以外の像の信号強度と同等と考えられる。したがって、第２画像１６２におけるコード５０以外の像の信号強度が、第１画像１６１におけるコード５０以外の像の信号強度とほぼ同じかより大きくなるように補正すれば、第２画像１６２におけるコード５０の発光部分の像の信号強度を、第１画像１６１におけるコード５０の発光部分の像の信号強度よりも大きくできる。すなわち、第３画像１６３におけるコード５０の像の反転を抑制できる。
このような補正として、例えば、第１画像１６１及び第２画像１６２においてコード５０以外の任意の領域を設定し、その領域における第２画像１６２の信号強度の最小値が、同じ領域における第１画像１６１の信号強度の最小値よりも大きくなるように補正係数を算出してもよい。あるいは、第１画像１６１を取得する第１画素の分光感度特性と、第２画像１６２を取得する第２画素の分光感度特性とに基づいて、第２画像１６２におけるコード５０以外の像の信号強度が、第１画像１６１におけるコード５０以外の像の信号強度とほぼ等しくなるように補正係数を算出してもよい。また、補正係数の算出において太陽光のスペクトルを考慮してもよい。具体的な実施形態を次に説明する。
（第３の実施形態）
本実施形態では、画像処理装置１４０Ａは、第１画像１６１及び第２画像１６２の対応する画素の出力値が同じ強度の光に対して同一となるように、第１画像１６１及び第２画像１６２の少なくとも一方を補正する。より詳細には、画像処理装置１４０Ａは、第１画像１６１及び第２画像１６２の撮像に用いられた画素の量子効率及び分光感度特性の違いに基づいて補正を行う。これにより、第２画像１６２におけるコード５０の発光部分の像の信号強度が、第１画像１６１におけるコード５０の発光部分の像の信号強度よりも大きくなるように補正することができる。
図１３は、本実施形態に係る画像処理装置１４０Ａの構成を示すブロック図である。画像処理装置１４０Ａは、画像処理部１４２Ａが補正部１５３を備える点で画像処理装置１４０と異なる。
以下、画像処理装置１４０Ａを用いた情報取得処理を図１４に示すフローチャートを用いて説明する。なお、撮影部１１１は、図７Ａ又は図７Ｂに示す画素構成を有する。すなわち、撮影部１１１は、第１画像１６１と第２画像１６２とを同時に取得する。図１４に示す処理は、図１１に示す処理に対して、ステップＳ１０６が追加されている点が異なる。
ステップＳ１０６では、補正部１５３は、コード５０以外の領域において、第１画像１６１及び第２画像１６２の対応する画素の出力値の差が小さくなるように、第１画像１６１及び第２画像１６２に補正係数を乗算する。すなわち、補正部１５３は、第１画像１６１に第１補正係数を乗算することで補正後の第１画像１６１Ａを生成する。また、補正部１５３は、第２画像１６２に第２補正係数を乗算することで補正後の第２画像１６２Ａを生成する。なお、補正部１５３は、第１画像１６１及び第２画像１６２のいずれか一方のみに補正係数を乗算してもよい。
次に、差分処理部１５１は、補正後の第１画像１６１Ａと補正後の第２画像１６２Ａとの差分処理により第３画像１６３を生成する（Ｓ１０２）。なお、以降の処理は図１１と同様であり、説明は省略する。
第１補正係数及び第２補正係数、又は補正係数は、第１画像１６１の撮像に用いられた画素２０１の第１分光感度特性と、第２画像１６２の撮像に用いられた画素２０１の第２分光感度特性とに基づき算出される。
図１５Ａは、Ｒ画素、Ｇ画素及びＢ画素の分光感度特性の一例を示す図である。図１５Ｂは、ＩＲ画素の分光感度特性の一例を示す図である。例えば、補正係数は、Ｒ画素、Ｇ画素及びＢ画素の分光感度特性のグラフの積分値の合計と、ＩＲ画素の分光感度特性のグラフの積分値とが同じになるように予め設定されている。本例においては、Ｒ画素のグラフの積分値が４．１であり、Ｇ画素のグラフの積分値が４．３であり、Ｂ画素のグラフの積分値が２．６であり、ＩＲ画素のグラフの積分値が５．４である。よって、例えば第１画像１６１のみに補正係数を乗算する場合には、補正係数として５．４／（４．１＋４．３＋２．６）＝０．４９を用いることで、Ｒ画素、Ｇ画素及びＢ画素の各出力値の合計とＩＲ画素の出力値とが同等になるように補正できる。
また、第２画像１６２のみに補正係数を乗算する場合には、補正係数は、本例の数値の逆数となる。すなわち、補正係数として１／０．４９＝２．０４を用いる。また、第１画像１６１及び第２画像１６２の両方を補正する場合には、第１画像１６１に乗算される第１補正係数と、第２画像１６２に乗算される第２補正係数との比が、第２画像１６２の出力値と第１画像１６１の出力値との比と同じになるように設定される。
なお、図７Ｂに示すように、ＩＲ画素の代わりにＷ画素が用いられる場合も同様である。なお、各画素の分光感度特性は予め設定されていてもよく、補正係数はシステム開発時に予め設定されていてもよい。
図１６は、撮影部１１１の構成が異なる場合の情報取得処理のフローチャートを示す。この場合、撮影部１１１は、図７Ｃ又は図７Ｄに示す画素構成を有する。すなわち、撮影部１１１は第１画像１６１と第２画像１６２とをこの順に取得する。図１６に示すフローチャートは、ステップＳ１０１がステップＳ１０１Ａ及びステップＳ１０１Ｂに置き換えられている点で、図１４に示すフローチャートと異なる。
図１７Ａ及び図１７Ｂを用いて、Ｇ＋ＩＲ画素の分光感度特性について説明する。Ｇ＋ＩＲ画素は、緑色光の波長帯域及び赤外光の波長帯域に感度を有し得る。図１７Ａは、Ｇ＋ＩＲ画素を緑色光の波長帯域に感度を有するように設定した場合の分光感度特性の一例を示す図である。以下、図１７ＡをＧ状態のグラフと呼ぶ。図１７Ｂは、Ｇ＋ＩＲ画素を緑色光の波長帯域及び赤外光の波長帯域に感度を有するように設定した場合の分光感度特性の一例を示す図である。以下、図１７ＢをＧ＋ＩＲ状態のグラフと呼ぶ。例えば、補正係数は、Ｇ状態のグラフの積分値と、Ｇ＋ＩＲ状態のグラフの積分値とが同じになるように予め設定されている。本例においては、Ｇ状態のグラフの積分値が４．３であり、Ｇ＋ＩＲ状態のグラフの積分値が９．７である。よって、第１画像１６１のみに補正係数を乗算する場合には、補正係数として９．７／４．３＝２．２５を用いることで、第１画像１６１の取得時のＧ画素の出力値と、第２画像１６２の取得時のＧ＋ＩＲ画素の出力値とが同等になるように補正できる。
また、第２画像１６２のみに補正係数を乗算する場合には、補正係数は、本例の数値の逆数となる。すなわち、補正係数として１／２．２５＝０．４４を用いる。また、第１画像１６１及び第２画像１６２の両方を補正する場合には、第１画像１６１に乗算される第１補正係数と、第２画像１６２に乗算される第２補正係数との比が第２画像１６２の出力値と第１画像１６１の出力値との比と同じになるように設定される。
このように、第１画像１６１及び第２画像１６２の対応する画素の感度が同一となるように、補正部１５３が補正を行う。これにより、コード５０の背景の出力値をさらに低減できる。従って、抽出部１５２は、コード５０のみを精度よく抽出できる。
（第４の実施形態）
本実施形態では、第３の実施形態の変形例について説明する。本実施形態では、さらに太陽光のスペクトルを補正係数の算出に用いる。より詳細には、第１画像１６１の撮像に用いられた画素の分光感度特性と第２画像１６２の撮像に用いられた画素の分光感度特性に対して、太陽光のスペクトルを掛け合わせたものを補正係数として使用する。これにより、第２画像１６２におけるコード５０の発光部分の像の信号強度が、第１画像１６１におけるコード５０の発光部分の像の信号強度よりも大きくなるように、より精度よく補正できる。
図１８は、太陽光のスペクトルを示す図である。このように太陽光は５００ｎｍ付近を最大値とし、長波長側に緩やかに強度が低下するスペクトルを持つ。そのため、この太陽光のスペクトルの影響を考慮した補正係数を導入することで、より精度よく太陽光の影響を除去することが可能となる。太陽光入射時の撮影部１１１の出力値は、太陽光のスペクトルと撮影部１１１の分光感度特性との各波長での掛け合わせで得られる。つまり、本実施形態では、補正係数、又は第１補正係数及び第２補正係数は、第１画像１６１が得られた際の画素２０１の第１分光感度特性に太陽光スペクトルを乗算することで得られた第１特性と、第２画像１６２が得られた際の画素２０１の第２分光感度特性に太陽光スペクトルを乗算することで得られた第２特性と、に基づき算出される。
図１９Ａは、図１８に示す太陽光のスペクトルと図１５Ａに示すＲ画素、Ｇ画素及びＢ画素の各分光感度特性との乗算結果を示すグラフである。図１９Ｂは、図１８に示す太陽光のスペクトルと図１５Ｂに示すＩＲ画素の分光感度特性との乗算結果を示すグラフである。第３の実施形態と同様に、例えば、図１９Ａに示すグラフの積分値の合計と、図１９Ｂに示すグラフの積分値とが同じになるように補正係数が設定される。本例においては、図１９Ａに示す、Ｒ画素に対応するグラフの積分値が３．４であり、Ｇ画素に対応するグラフの積分値が３．９であり、Ｂ画素に対応するグラフの積分値が２．０である。また、図１９Ｂに示すＩＲ画素に対応するグラフの積分値が３．２である。よって、第１画像１６１のみを補正する場合には、補正係数として３．２／（３．４＋３．９＋２．０）＝０．３４を用いることで、Ｒ画素とＧ画素とＢ画素との出力の合計とＩＲ画素の出力とを同等にできる。なお、図７ＢのようにＩＲ画素の代わりにＷ画素が用いられる場合も同様である。
また、第２画像１６２のみを補正する場合には、補正係数は、本例の数値の逆数となる。また、第１画像１６１及び第２画像１６２の両方を補正する場合には、第１画像１６１に乗算される第１補正係数と、第２画像１６２に乗算される第２補正係数との比が第２画像１６２の出力と第１画像１６１の出力との比と同じになるように設定される。
このように、太陽光のスペクトルを考慮して、第１画像１６１及び第２画像１６２の対応する画素の出力値が同一となるように、補正部１５３が補正を行う。これにより、コード５０の背景部分の出力値をさらに低減できる。従って、抽出部１５２は、コード５０のみを精度よく抽出できる。
（第５の実施形態）
図２０は、本実施形態に係る画像処理装置１４０Ｂの構成を示すブロック図である。図２０に示す画像処理装置１４０Ｂは、昼夜判断部１４３を備える点で画像処理装置１４０と異なる。
図２１は、本実施形態に係る情報取得処理のフローチャートである。図２１に示す処理は、ステップＳ１１１～Ｓ１１３が追加されている点で図１１に示す処理と異なる。
まず、昼夜判断部１４３は、現在が昼間であるか夜間であるかを判定する（Ｓ１１１）。例えば、昼夜判断部１４３は、車両に設けられた照度センサの検知結果に基づき、現在が昼間であるか夜間であるかを判定する。又は、昼夜判断部１４３は、現在の時刻に基づき、現在が昼間であるか夜間であるかを判定してもよい。
現在が昼間である場合（Ｓ１１１でＹｅｓ）、図１１に示す処理と同様に、ステップＳ１０１以降の処理が行われる。つまり、差分処理部１５１により第３画像１６３が生成され、抽出部１５２は、第３画像１６３からコード５０を抽出する。
一方、現在が夜間である場合（Ｓ１１１でＮｏ）、画像処理装置１４０Ｂは、第３画像１６３の生成は行わず、第２画像１６２からコード５０を抽出する。具体的には、撮影部１１１は第２画像１６２を撮影し、画像処理部１４２は、撮影された第２画像１６２を取得する（Ｓ１１２）。次に、抽出部１５２は、第２画像１６２に対して予め定められた閾値で二値化処理を行うことで二値画像を生成する（Ｓ１１３）。次に、抽出部１５２は、二値画像からコード５０を抽出する（Ｓ１０４）。そして、抽出部１５２は、抽出されたコード５０に対応する情報１４４を取得する（Ｓ１０５）。
夜間においては、非可視光成分の大きな発生源である太陽の影響が小さい。そのため、差分処理を行わなくとも、比較的高い精度でコードを抽出することができる。画像処理装置１４０Ｂは、夜間においては差分処理を行わないことにより、処理量を低減し、高速にコードを抽出することができる。
なお、ここでは、第１画像１６１と第２画像１６２とを同時に取得する場合の例を説明したが、第１画像１６１と第２画像１６２とを、順次に取得する場合も同様である。また、ここでは、第１の実施形態の構成をベースに説明を行ったが、第２の実施形態、第３の実施形態又は第４の実施形態の構成に対しても同様の変形例を適用できる。
また、上記第１～第５の実施形態において、撮像装置１０１はグローバルシャッタ機能を有してもよい。つまり、撮影部１１１は、複数の第１画素と複数の第２画素を用いて、１フレーム期間内の単一の露光期間において第１画像１６１及び第２画像１６２を撮影する。上記露光期間において、複数の第１画素と複数の第２画素との露光の開始及び終了のタイミングは同一である。
図２２Ａは、ローリングシャッタ動作により得られた画像におけるコード５０の像一例を示す図である。図２２Ｂは、グローバルシャッタ動作により得られた画像におけるコード５０の像の一例を示す図である。図２２Ａ及び図２２Ｂに示すように、グローバルシャッタ動作により、コード５０の像の歪みを低減できる。例えば、車両が高速に移動している際も、撮影部１１１は、コード５０の像を歪まさずに撮像することができる。よって、コード５０の認識精度を向上できる。
また、上記第１～第５の実施形態において、画像処理部１４２は、複数のフレーム期間のうちの一部のフレーム期間に対してのみコードを抽出するようにしてもよい。すなわち、撮像装置１０１は複数のフレーム期間のそれぞれにおいて第１画像１６１及び第２画像１６２を取得し、画像処理部１４２は、そのうちのある一部のフレーム期間に対してのみ前記コードを抽出するようにしてもよい。
以上、それぞれの実施形態により、図２に示すようなコード５０を高精度に抽出することが可能になる。
以上、実施形態に係るシステム及び装置について説明したが、本開示は、この実施の形態に限定されるものではない。
例えば、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
また、上記実施形態に係る各装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態において、各構成要素の一部は、当該構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
以上、一つ又は複数の態様に係るシステム及び装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
本開示は、種々の撮像装置として有用である。また、本開示は、デジタルカメラ、デジタルビデオカメラ、カメラ付携帯電話、電子内視鏡などの医療用カメラ、車載カメラ、及びロボット用カメラ等の用途にも応用できる。
５０ コード
５１、５２、５３ 表示媒体
１００ 車両走行制御システム
１００Ａ 撮像システム
１０１ 撮像装置
１０２ 光学系
１０３ 表示部
１０４ ネットワーク通信部
１０５ 電子制御ユニット（ＥＣＵ）
１１１ 撮影部
１１２ ＩＳＰ
１１３ 画像送信部
１１４ 情報取得部
１１５ システムコントローラ
１２１ 出力部
１２２ 入力部
１２３ プログラムメモリ
１２４ プログラム
１２５ ワーキングメモリ
１２６ マイコン
１３１ 車両制御部
１３２ 通知部
１４０、１４０Ａ、１４０Ｂ 画像処理装置
１４２、１４２Ａ 画像処理部
１４３ 昼夜判断部
１４４ 情報
１５１ 差分処理部
１５２ 抽出部
１５３ 補正部
１６１、１６１Ａ 第１画像
１６２、１６２Ａ 第２画像
１６３ 第３画像
２０１、２０１Ａ、２０１Ｂ 画素
２０２ 行走査回路
２０３ 列走査回路
２０４ 電流源
２０５ ＡＤ変換回路
２０６ 電源線
２０７ 水平信号線
２０８ 垂直信号線
２０９ 出力信号線
２１０ 光電変換部
２１１ フォトダイオード
２２１ 透明電極
２２２ 光電変換層
２２３ 画素電極
２２４ コンタクトプラグ
２２５ 電荷蓄積部
２２６ 半導体基板
Ｍ１ 増幅トランジスタ
Ｍ２ 選択トランジスタ
Ｍ３ リセットトランジスタ

Claims (21)

  1. 非可視光によりコードを表示する対象物の像を含む、第１画像データ及び第２画像データを取得する撮影部と、
    前記第１画像データ及び前記第２画像データに基づいて、前記コードを抽出する画像処理部と、
    を備え、
    前記撮影部は、可視光に感度を有する複数の第１画素と、非可視光に感度を有する複数の第２画素とを含み、前記複数の第１画素により前記第１画像データを取得し、前記複数の第２画素により前記第２画像データを取得し、
    前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた２つの画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出し、
    前記画像処理部は、前記第２画像データにおける前記コード以外の像の信号強度が、前記第１画像データにおける前記コード以外の像の信号強度よりも大きくなるように、前記第１画像データ及び前記第２画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行う、
    撮像装置。
  2. 非可視光によりコードを表示する対象物の像を含む、第１画像データ及び第２画像データを取得する撮影部と、
    前記第１画像データ及び前記第２画像データに基づいて、前記コードを抽出する画像処理部と、
    を備え、
    前記撮影部は、可視光に感度を有する複数の第１画素と、非可視光に感度を有する複数の第２画素とを含み、前記複数の第１画素により前記第１画像データを取得し、前記複数の第２画素により前記第２画像データを取得し、
    前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた２つの画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出し、
    前記第２画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第１強度とし、前記コード以外の像の信号強度のうち最も大きいものを第２強度とし、前記第３画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第３強度とし、前記コード以外の像の信号強度のうち最も大きいものを第４強度としたとき、前記第４強度に対する前記第３強度の比は、前記第２強度に対する前記第１強度の比よりも大きい、
    撮像装置。
  3. 非可視光によりコードを表示する対象物の像を含む、第１画像データ及び第２画像データを取得する撮影部と、
    前記第１画像データ及び前記第２画像データに基づいて、前記コードを抽出する画像処理部と、
    を備え、
    前記撮影部は、可視光に感度を有する複数の第１画素と、非可視光に感度を有する複数の第２画素とを含み、前記複数の第１画素により前記第１画像データを取得し、前記複数の第２画素により前記第２画像データを取得し、
    前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた２つの画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出し、
    前記画像処理部は、前記第１画像データにおける前記コード以外の像の信号強度と、前記第２画像データにおける前記コード以外の像の信号強度との差が小さくなるように、前記第１画像データ及び前記第２画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行う、
    撮像装置。
  4. 非可視光によりコードを表示する対象物の像を含む、第１画像データ及び第２画像データを取得する撮影部と、
    前記第１画像データ及び前記第２画像データに基づいて、前記コードを抽出する画像処理部と、
    を備え、
    前記撮影部は、可視光に感度を有する複数の第１画素と、非可視光に感度を有する複数の第２画素とを含み、前記複数の第１画素により前記第１画像データを取得し、前記複数の第２画素により前記第２画像データを取得し、
    前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた２つの画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出し、
    昼間か夜間かを判断する昼夜判断部をさらに備え、
    前記昼夜判断部が昼間であると判断した場合は、前記画像処理部は前記第３画像データに基づいて前記コードを抽出し、
    前記昼夜判断部が夜間であると判断した場合は、前記画像処理部は前記第２画像データに基づいて前記コードを抽出する、
    撮像装置。
  5. 前記補正係数は、前記第１画素の第１分光感度特性と、前記第２画素の第２分光感度特性とに基づいて算出される、請求項２に記載の撮像装置。
  6. 前記補正係数は、前記第１分光感度特性に太陽光スペクトルを乗算することで得られる第１特性と、前記第２分光感度特性に前記太陽光スペクトルを乗算することで得られる第２特性とに基づいて算出される、請求項５に記載の撮像装置。
  7. 前記対象物の一部は、非可視光を発光し、
    前記対象物は、前記一部において非可視光を発光することで前記コードを表示する、請求項１～４のいずれか１項に記載の撮像装置。
  8. 前記対象物の一部は、非可視光に対する反射率が可視光に対する反射率よりも高く、
    前記対象物は、前記一部において非可視光を反射することで前記コードを表示する、請求項１～４のいずれか１項に記載の撮像装置。
  9. 前記第２画素は可視光にも感度を有する、請求項１～４のいずれか１項に記載の撮像装置。
  10. 前記画像処理部は、抽出された前記コードに対応付けられている情報を取得する、請求項１～４のいずれか１項に記載の撮像装置。
  11. 前記情報は、交通情報を含む、請求項１０に記載の撮像装置。
  12. 前記第１画素と前記第２画素とは同一の第３画素であり、
    前記第３画素は、可視光に感度を有する第１状態と、非可視光に感度を有する第２状態とを有し、
    前記撮影部は、前記第１状態にある前記第３画素により前記第１画像データを取得し、前記第２状態にある前記第３画素により前記第２画像データを取得する、請求項１～４のいずれか１項に記載の撮像装置。
  13. 前記第１画素が前記第１画像データを取得するときの露光期間の開始及び終了のタイミングは、前記第２画素が前記第２画像データを取得するときの露光期間の開始及び終了のタイミングと同一である、請求項１～４のいずれか１項に記載の撮像装置。
  14. 前記撮影部は、複数のフレーム期間のそれぞれにおいて前記第１画像データ及び第２画像データを取得し、
    前記画像処理部は、前記複数のフレーム期間のうちの一部のフレーム期間に対してのみ前記コードを抽出する、請求項１～４のいずれか１項に記載の撮像装置。
  15. 請求項１０に記載の撮像装置と、
    前記情報をユーザに通知する通知部と、
    を備える、撮像システム。
  16. 請求項１０に記載の撮像装置と、
    前記情報に基づいて、車両の制動及び加速を制御する車両制御部と、
    を備える、車両走行制御システム。
  17. 非可視光によりコードを表示する対象物の可視光像を含む第１画像データと、前記対象物の非可視光像を含む第２画像データとに基づいて、前記コードを抽出する画像処理部を備え、
    前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた２つの画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出し、
    前記画像処理部は、前記第２画像データにおける前記コード以外の像の信号強度が、前記第１画像データにおける前記コード以外の像の信号強度よりも大きくなるように、前記第１画像データ及び前記第２画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行う、
    画像処理装置。
  18. 非可視光によりコードを表示する対象物の可視光像を含む第１画像データと、前記対象物の非可視光像を含む第２画像データとに基づいて、前記コードを抽出する画像処理部を備え、
    前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた２つの画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出し、
    前記第２画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第１強度とし、前記コード以外の像の信号強度のうち最も大きいものを第２強度とし、前記第３画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第３強度とし、前記コード以外の像の信号強度のうち最も大きいものを第４強度としたとき、前記第４強度に対する前記第３強度の比は、前記第２強度に対する前記第１強度の比よりも大きい、
    画像処理装置。
  19. 非可視光によりコードを表示する対象物の可視光像を含む第１画像データと、前記対象物の非可視光像を含む第２画像データとに基づいて、前記コードを抽出する画像処理部を備え、
    前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた２つの画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出し、
    前記画像処理部は、前記第１画像データにおける前記コード以外の像の信号強度と、前記第２画像データにおける前記コード以外の像の信号強度との差が小さくなるように、前記第１画像データ及び前記第２画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行う、
    画像処理装置。
  20. 非可視光によりコードを表示する対象物の可視光像を含む第１画像データと、前記対象物の非可視光像を含む第２画像データとに基づいて、前記コードを抽出する画像処理部を備え、
    前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた２つの画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出し、
    昼間か夜間かを判断する昼夜判断部をさらに備え、
    前記昼夜判断部が昼間であると判断した場合は、前記画像処理部は前記第３画像データに基づいて前記コードを抽出し、
    前記昼夜判断部が夜間であると判断した場合は、前記画像処理部は前記第２画像データに基づいて前記コードを抽出する、
    画像処理装置。
  21. 前記画像処理部は、抽出された前記コードに対応づけられている情報を取得する、請求項１７～２０のいずれか１項に記載の画像処理装置。
JP2018086282A 2017-05-26 2018-04-27 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置 Active JP7113283B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022081981A JP7331201B2 (ja) 2017-05-26 2022-05-19 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017104721 2017-05-26
JP2017104721 2017-05-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022081981A Division JP7331201B2 (ja) 2017-05-26 2022-05-19 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置

Publications (2)

Publication Number Publication Date
JP2018201196A JP2018201196A (ja) 2018-12-20
JP7113283B2 true JP7113283B2 (ja) 2022-08-05

Family

ID=64400455

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018086282A Active JP7113283B2 (ja) 2017-05-26 2018-04-27 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置
JP2022081981A Active JP7331201B2 (ja) 2017-05-26 2022-05-19 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022081981A Active JP7331201B2 (ja) 2017-05-26 2022-05-19 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置

Country Status (2)

Country Link
US (4) US10616495B2 (ja)
JP (2) JP7113283B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019207618A (ja) * 2018-05-30 2019-12-05 日本電気株式会社 情報処理システム
JP2019207617A (ja) * 2018-05-30 2019-12-05 日本電気株式会社 情報処理システム
JP2019214903A (ja) * 2018-06-14 2019-12-19 国立大学法人群馬大学 道路関連情報表示装置および道路関連情報通知システム
US11315483B2 (en) * 2019-04-18 2022-04-26 Google Llc Systems, devices, and methods for an infrared emitting display
CN111586314B (zh) * 2020-05-25 2021-09-10 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
WO2022024688A1 (ja) * 2020-07-27 2022-02-03 株式会社小糸製作所 被検知体および周辺監視システム
CN115185152A (zh) * 2022-06-24 2022-10-14 长春理工大学 一种具有防曝光***的折反射全景视觉检测设备及防曝光方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163367A (ja) 2005-12-15 2007-06-28 Nippon Hoso Kyokai <Nhk> カメラ情報解析装置
JP2009037487A (ja) 2007-08-02 2009-02-19 Canon Inc システム、頭部装着型表示装置、その制御方法
JP2010092436A5 (ja) 2008-10-10 2011-11-24
JP2012221303A (ja) 2011-04-11 2012-11-12 Mitsubishi Electric Corp 運転支援用車載点灯装置、車載運転支援装置及び運転支援システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001202497A (ja) 2000-01-18 2001-07-27 Toyota Motor Corp 先行車検出システム及び方法
JP2003296659A (ja) 2002-04-01 2003-10-17 Denso Corp 公告媒体、その読み出し装置、及び読み出しシステム
JP4306671B2 (ja) * 2005-11-04 2009-08-05 セイコーエプソン株式会社 動画像表示装置および動画像表示方法
JP2008252327A (ja) 2007-03-29 2008-10-16 Toyota Motor Corp 車両周辺監視装置
JP5200861B2 (ja) 2007-12-10 2013-06-05 富士通株式会社 標識判定装置および標識判定方法
JP5156571B2 (ja) 2008-10-10 2013-03-06 キヤノン株式会社 画像処理装置、画像処理方法
US8432404B2 (en) * 2008-12-15 2013-04-30 Leonovus Usa Inc. Media action script acceleration method
JP2013529348A (ja) * 2010-06-10 2013-07-18 タタ コンサルタンシー サービシズ リミテッド 種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法
JP5867355B2 (ja) 2012-10-02 2016-02-24 株式会社デンソー 状態監視装置及び状態監視プログラム
JP6062214B2 (ja) 2012-11-06 2017-01-18 株式会社小糸製作所 路車間通信システムおよび送受信装置
US11509880B2 (en) * 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
US9013590B2 (en) * 2012-12-13 2015-04-21 Raytheon Company Pixel multiplication using code spread functions
GB2520338A (en) * 2013-11-19 2015-05-20 Nokia Corp Automatic scene parsing
JP6336337B2 (ja) 2014-06-16 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US10863202B2 (en) * 2015-06-12 2020-12-08 Shaoher Pan Encoding data in a source image with watermark image codes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163367A (ja) 2005-12-15 2007-06-28 Nippon Hoso Kyokai <Nhk> カメラ情報解析装置
JP2009037487A (ja) 2007-08-02 2009-02-19 Canon Inc システム、頭部装着型表示装置、その制御方法
JP2010092436A5 (ja) 2008-10-10 2011-11-24
JP2012221303A (ja) 2011-04-11 2012-11-12 Mitsubishi Electric Corp 運転支援用車載点灯装置、車載運転支援装置及び運転支援システム

Also Published As

Publication number Publication date
US10841505B2 (en) 2020-11-17
JP7331201B2 (ja) 2023-08-22
US11528424B2 (en) 2022-12-13
US20180343373A1 (en) 2018-11-29
US20200195830A1 (en) 2020-06-18
US10616495B2 (en) 2020-04-07
US20230060498A1 (en) 2023-03-02
JP2022119859A (ja) 2022-08-17
US20210051261A1 (en) 2021-02-18
JP2018201196A (ja) 2018-12-20

Similar Documents

Publication Publication Date Title
JP7331201B2 (ja) 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置
KR102560795B1 (ko) 촬상 장치, 및 전자 기기
US9966396B2 (en) High dynamic range image sensor with reduced sensitivity to high intensity light
KR101887988B1 (ko) 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US20180160027A1 (en) Image Sensor with In-Pixel Depth Sensing
CN103460105B (zh) 成像装置及其自动对焦控制方法
US20140263951A1 (en) Image sensor with flexible pixel summing
US9307207B2 (en) Glaring reduction for dynamic rearview mirror
US20130026384A1 (en) Time-of-flight imaging systems
JP2009141813A (ja) 撮像装置、カメラ、車両及び撮像方法
US20130070140A1 (en) Image sensors with multiple lenses of varying polarizations
CN113676679B (zh) 摄像装置和摄像***
CN112740659A (zh) 固态摄像元件和摄像装置
JP2010268264A (ja) 撮像素子及び撮像装置
US10574872B2 (en) Methods and apparatus for single-chip multispectral object detection
CN113785561B (zh) 摄像装置
CN110235432B (zh) 固态成像装置及其驱动方法
US11928848B2 (en) Light receiving device, solid-state imaging apparatus, electronic equipment, and information processing system
WO2017101864A1 (zh) 图像传感器、控制方法和电子装置
KR20230116082A (ko) 촬상 장치, 및 전자 기기
JP7410675B2 (ja) 撮像装置及びその制御方法
TWI577971B (zh) 雙孔徑測距系統
WO2015008635A1 (ja) 固体撮像素子及びその駆動方法、並びに電子機器
JP6907029B2 (ja) 撮像装置
JP2007282028A (ja) 車載カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220519

R151 Written notification of patent or utility model registration

Ref document number: 7113283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151