JP7331201B2 - 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置 - Google Patents
撮像装置、撮像システム、車両走行制御システム、及び画像処理装置 Download PDFInfo
- Publication number
- JP7331201B2 JP7331201B2 JP2022081981A JP2022081981A JP7331201B2 JP 7331201 B2 JP7331201 B2 JP 7331201B2 JP 2022081981 A JP2022081981 A JP 2022081981A JP 2022081981 A JP2022081981 A JP 2022081981A JP 7331201 B2 JP7331201 B2 JP 7331201B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- code
- wavelength range
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 143
- 238000003384 imaging method Methods 0.000 title claims description 123
- 238000012937 correction Methods 0.000 claims description 102
- 230000035945 sensitivity Effects 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 47
- 230000003595 spectral effect Effects 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 33
- 239000000284 extract Substances 0.000 claims description 31
- 238000001228 spectrum Methods 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000004148 unit process Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 35
- 238000000605 extraction Methods 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000003936 working memory Effects 0.000 description 3
- 230000005684 electric field Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000000862 absorption spectrum Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
- G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
- G03B11/045—Lens hoods or shields
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Vascular Medicine (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Optical Communication System (AREA)
- Image Processing (AREA)
Description
本開示は、撮像装置、撮像システム、車両走行制御システム及び画像処理装置に関する。
撮像装置を利用した情報の取得方法として、画像読み取り方式が知られている。画像読み取り方式とは、バーコード又はQRコード(登録商標)に代表される一次元又は二次元のコードから、情報を取得する技術である。この方式は、撮像された1枚の画像から情報を取得できる。また、この方式は、1枚の画像内に存在する複数のコードから情報を取得することも可能である。よって、この方式は、車両等の対象が移動中に情報を取得し、取得した情報に基づいて制御又は判断を行う際に有用である。例えば、テールランプ又は信号機にコードを表示し、コードから得られた情報を利用して車両を制御する方法も提案されている(例えば特許文献1及び2参照)。
画像読み取り方式により情報を取得するためには、高精度にコードを抽出できることが望まれている。
本開示の限定的ではないある例示的な実施形態によれば、以下が提供される。
第2波長範囲の光によりコードを表示する対象物の像を含む、第1画像データ及び第2画像データを取得する撮影部と、画像処理部と、を備え、前記撮影部は、前記第2波長範囲と異なる第1波長範囲の光に感度を有する複数の第1画素と、前記第2波長範囲の光に感度を有する複数の第2画素とを含み、前記複数の第1画素により第1画像データを取得し、前記複数の第2画素により第2画像データを取得し、前記画像処理部は、前記第1画像データ及び前記第2画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた2つの画像データに基づいて前記コードを抽出し、前記画像処理部は、前記第2画像データにおける前記コード以外の像の信号強度が、前記第1画像データにおける前記コード以外の像の信号強度よりも大きくなるように、前記第1画像データ及び前記第2画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行う。
包括的または具体的な態様は、素子、デバイス、モジュール、システム、集積回路または方法で実現されてもよい。また、包括的または具体的な態様は、素子、デバイス、モジュール、システム、集積回路および方法の任意の組み合わせによって実現されてもよい。
開示された実施形態の追加的な効果および利点は、明細書および図面から明らかになる。効果および/または利点は、明細書および図面に開示の様々な実施形態または特徴によって個々に提供され、これらの1つ以上を得るために全てを必要とはしない。
本開示は、高精度にコードを抽出できる撮像装置、撮像システム、車両走行制御システム又は画像処理装置を提供できる。
(本開示に至った知見)
画像読み取り方式による情報の取得においては、高精度にコードを抽出することが課題である。撮像された画像内に存在する複数のコードを高速かつ高精度に抽出できれば、ADAS(Advanced Driver Assistance System)技術又は自動運転技術等に対して、車両制御の自動化又は乗員に対する新たな情報提供手段として有用である。
画像読み取り方式による情報の取得においては、高精度にコードを抽出することが課題である。撮像された画像内に存在する複数のコードを高速かつ高精度に抽出できれば、ADAS(Advanced Driver Assistance System)技術又は自動運転技術等に対して、車両制御の自動化又は乗員に対する新たな情報提供手段として有用である。
本開示の一態様の概要は以下のとおりである。
本開示の一態様に係る撮像装置は、非可視光によりコードを表示する対象物の像を含む、第1画像データ及び第2画像データを取得する撮影部と、前記第1画像データ及び前記第2画像データに基づいて、前記コードを抽出する画像処理部とを備え、前記撮影部は、可視光に感度を有する複数の第1画素により前記第1画像データを取得し、非可視光に感度を有する複数の第2画素により前記第2画像データを取得し、前記画像処理部は、前記第1画像データ及び前記第2画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理後の前記第1画像データ及び前記第2画像データの差分より第3画像データを生成し、前記第3画像データに基づいて前記コードを抽出する。
これによれば、撮像装置は、可視光が撮影された第1画像データと、非可視光が撮影された第2画像データとの差分処理により第3画像データを生成する。これにより、第3画像データにおけるコードのコントラストを高くすることができるので、撮像装置は、高精度にコードを抽出できる。
また、これによれば、撮像装置は、第1画像データと第2画像データとの信号強度の差を小さくできるので、第3画像データにおけるコードのコントラストをより高くできる。これにより、撮像装置は、より高精度にコードを抽出できる。
例えば、前記画像処理部は、前記第2画像データにおける前記コード以外の像の信号強度が、前記第1画像データにおける前記コード以外の像の信号強度よりも大きくなるように、前記第1画像データ及び前記第2画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行ってもよい。
例えば、前記対象物の一部は、非可視光を発光し、前記対象物は、前記一部において非可視光を発光することで前記コードを表示してもよい。
例えば、前記対象物の一部は、非可視光に対する反射率が可視光に対する反射率よりも高く、前記対象物は、前記一部において非可視光を反射することで前記コードを表示してもよい。
例えば、前記第2画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第1強度とし、前記コード以外の像の信号強度のうち最も大きいものを第2強度とし、前記第3画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第3強度とし、前記コード以外の像の信号強度のうち最も大きいものを第4強度としたとき、前記第4強度に対する前記第3強度の比は、前記第2強度に対する前記第1強度の比よりも大きくてもよい。
例えば、前記画像処理部は、前記第1画像データにおける前記コード以外の像の信号強度と、前記第2画像データにおける前記コード以外の像の信号強度との差が小さくなるように、前記第1画像データ及び前記第2画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行ってもよい。
これによれば、第1画像データと第2画像データとの信号強度の差を小さくできるので、第3画像データにおけるコードのコントラストをより高くできる。これにより、撮像装置は、より高精度にコードを抽出できる。
例えば、前記補正係数は、前記第1画素の第1分光感度特性と、前記第2画素の第2分光感度特性とに基づいて算出されてもよい。
例えば、前記補正係数は、前記第1分光感度特性に太陽光スペクトルを乗算することで得られる第1特性と、前記第2分光感度特性に前記太陽光スペクトルを乗算することで得られる第2特性とに基づいて算出されてもよい。
これによれば、太陽光のスペクトルを考慮することで、第3画像データにおけるコードのコントラストをより高くできる。これにより、撮像装置は、より高精度にコードを抽出できる。
例えば、前記第2画素は可視光にも感度を有していてもよい。
例えば、昼間か夜間かを判断する昼夜判断部をさらに備え、前記昼夜判断部が昼間であると判断した場合は、前記画像処理部は前記第3画像データに基づいて前記コードを抽出し、前記昼夜判断部が夜間であると判断した場合は、前記画像処理部は前記第2画像データに基づいて前記コードを抽出してもよい。
これによれば、太陽光に含まれる非可視光の影響が少ない夜間において、撮像装置の処理量を低減できる。
例えば、前記画像処理部は、抽出された前記コードに対応付けられている情報を取得してもよい。また例えば、前記情報は、交通情報を含んでいてもよい。
例えば、前記第1画素と前記第2画素とは、別個の画素であってもよい。
これによれば、撮像装置は、第1画像データと第2画像データとを同時に取得できる。よって、撮像装置は、動きにより生じる第1画像データと第2画像データとの間の像のずれを低減できるので、より高精度にコードを抽出できる。
例えば、前記第1画素と前記第2画素とは同一の第3画素であり、前記第3画素は、可視光に感度を有する第1状態と、非可視光に感度を有する第2状態とを有し、前記撮影部は、前記第1状態にある前記第3画素により前記第1画像データを取得し、前記第2状態にある前記第3画素により前記第2画像データを取得してもよい。
これによれば、撮像装置は、第1画像データと第2画像データとを同一の画素で取得できる。よって、撮像装置は、画素数を低減できる。
例えば、前記第1画素が前記第1画像データを取得するときの露光期間の開始及び終了のタイミングは、前記第2画素が前記第2画像データを取得するときの露光期間の開始及び終了のタイミングと同一であってもよい。
これによれば、撮像装置は、動きにより生じるコードの像の歪みを低減できるので、より高精度にコードを抽出できる。
例えば、前記撮影部は、複数のフレーム期間のそれぞれにおいて前記第1画像データ及び第2画像データを取得し、前記画像処理部は、前記複数のフレーム期間のうちの一部のフレーム期間に対してのみ前記コードを抽出してもよい。
本開示の一態様に係る撮像システムは、前記撮像装置と、前記情報をユーザに通知する通知部とを備える。
本開示の一態様に係る車両走行制御システムは、前記撮像装置と、前記情報に基づいて、車両の制動及び加速を制御する車両制御部とを備える。
本開示の一態様に係る画像処理装置は、非可視光によりコードを表示する対象物の可視光像を含む第1画像データと、前記対象物の非可視光像を含む第2画像データとに基づいて、前記コードを抽出する画像処理部を備え、前記画像処理部は、前記第1画像データ及び前記第2画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた2つの画像データの差分より第3画像データを生成し、前記第3画像データに基づいて前記コードを抽出する。
これによれば、画像処理装置は、可視光が撮影された第1画像データと、非可視光が撮影された第2画像データとの差分処理により第3画像データを生成する。これにより、画像処理装置は、第3画像データにおけるコードの像のコントラストを高くすることができるので、高精度にコードを抽出できる。
例えば、前記画像処理部は、抽出された前記コードに対応づけられている情報を取得してもよい。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは一例であり、本開示を限定する主旨ではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。本明細書において、「画像データ」は画像情報を含むデータを意味する。また、「画像データ」を単に「画像」と表記することがある。
(第1の実施形態)
まず、本実施形態に係る車両走行制御システム100の構成及び動作を説明する。
まず、本実施形態に係る車両走行制御システム100の構成及び動作を説明する。
車両走行制御システム100は、車両に搭載した撮像装置101を含む。撮像装置101がコードを読み取り、コードに対応付けられた情報を取得する。
図3は、本実施形態に係る車両走行制御システム100のハードウェア構成の一例を示す図である。図3に示す車両走行制御システム100は、撮像装置101と、光学系102と、表示部103と、ネットワーク通信部104と、電子制御ユニットであるECU105とを含む。撮像装置101は、撮影部111と、ISP112と、システムコントローラ115と、画像送信部113と、情報取得部114とを備えている。ISP112は、撮影部111からの出力データを画像処理する画像処理プロセッサである。システムコントローラ115は、ISP112がどのように画像処理を行うかを制御する。画像送信部113は、ISP112から出力されたデータを外部に送信する。
光学系102は、周知のレンズ群を有する。レンズ群において、例えばフォーカスレンズは光軸方向に移動してもよい。これにより、撮影部111において被写体像の合焦位置を調整できる。
撮影部111は、例えばCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサである。図4は、撮影部111の構成例を示す図である。図4に示すように、撮影部111は、行列方向に配列された複数の画素201を含む画素アレイと、行走査回路202と、列走査回路203と、列毎に設けられた電流源204と、列毎に設けられたAD変換回路205と、を含む。
各画素201は、対応する行の水平信号線207と、対応する行の垂直信号線208とに接続されている。行走査回路202及び列走査回路203により、各画素201が個々に選択される。なお、各画素201には、共通の電源線206により電源電圧が供給される。各画素201は、入力された光信号を電気信号に変換する。AD変換回路205は、画素201で得られた電気信号をデジタル信号に変換する。このデジタル信号は、列走査回路203から出力信号線209に出力される。なお、AD変換回路205が設けられず、電気信号がアナログ信号のまま出力されもよい。又は、複数の画素201の出力信号が加減算され、演算後の値が出力されてもよい。
図5A及び図5Bは、画素201の一例である画素201A及び201Bの構成を示す図である。画素201Aは、図5Aに示すように、光電変換部210と、電荷蓄積部225と、リセットトランジスタM3と、増幅トランジスタM1と、選択トランジスタM2と、を有する。光電変換部210は、入射光を光電変換する。電荷蓄積部225は、電荷を蓄積する。リセットトランジスタM3は、電荷蓄積部225の電位を所望のリセット電位V1にリセットする。増幅トランジスタM1は、電荷蓄積部225に蓄積された電荷の量に応じた信号を出力する。選択トランジスタM2は、信号を垂直信号線208に選択的に出力する。
なお、光電変換部として、図5Bに示すようにフォトダイオード211が用いられてもよい。
図6は、図5Aに示した画素201Aの構成例を示す断面図である。図6に示すように、光電変換部210は、透明電極221と、画素電極223と、光電変換層222と、を有する。光電変換層222は、透明電極221及び画素電極223の間に位置する。電荷蓄積部225は、少なくとも一部が半導体基板226内に位置していてもよい。電荷蓄積部225は、コンタクトプラグ224を介して画素電極223に電気的に接続されてもよい。透明電極221と画素電極223との間にバイアス電圧が印加されると電界が生じる。この電界により、光電変換層222で光電変換によって生じた正及び負の電荷のうちの一方が、画素電極223によって収集される。収集された電荷は電荷蓄積部225に蓄積される。
画素201は可視光及び非可視光に対して感度を有する。図7A~図7Dは、画素201の配置の一例を示す。また、非可視光の一例として、赤外光を対象とする場合で例示する。図7A~図7Dにおいて、四角形のそれぞれが単一の画素を示す。画素に記載されたGは緑色の波長帯域、Rは赤色の波長帯域、Bは青色の波長帯域、IRは赤外光の波長帯域、Wは可視光から赤外光の波長帯域に、それぞれの画素が感度を有することを示す。以下、緑色の波長帯域に感度を有する画素をG画素、赤色の波長帯域に感度を有する画素をR画素、青色の波長帯域に感度を有する画素をB画素、赤外光の波長帯域に感度を有する画素をIR画素、可視光から赤外光の波長帯域に感度を有する画素をW画素と呼ぶ。画素アレイは4画素を1単位として縦横に同構成を配置している。
図7Aは、ベイヤー配列において、G画素の一つをIR画素に置き換えた構成例を示す。IR画素は、典型的には可視光カットフィルタを画素上に形成することで実現される。ベイヤー配列とは、一つのR画素と、二つのG画素と、一つのB画素との4画素を1単位として、縦横に同構成を配置した配列である。また、二つのG画素は斜め方向に配置され、互いに上下又は左右に隣接しない。
図7Bは、ベイヤー配列において、G画素の一つをW画素に置き換えた構成例を示す。W画素は、典型的にはオンチップカラーフィルタを画素上に形成しないことで実現される。
図7Cは、ベイヤー配列において、全ての画素が赤外光の波長帯域に感度を有する構成例を示す。典型的には、各画素上のオンチップカラーフィルタを、可視光(赤色光、緑色光又は青色光)の波長帯域の光と、赤外光の波長帯域の光とが透過するように構成する。さらに、赤外光カットフィルタを搭載し、撮影部111の前面において、赤外光カットフィルタを撮影部111への光路上に配置した状態と配置しない状態とを切り替える。このように制御することにより、各画素について、可視光(赤色光、緑色光又は青色光)による信号取得と、可視光(赤色光、緑色光又は青色光)及び赤外光による信号取得とを切り替えることができる。
図7Dは、ベイヤー配列における各画素において、赤外光の波長帯域に感度を有する状態と赤外光の波長帯域に感度を有さない状態とを切り替える構成例を示す。典型的には、画素に印加される電圧を制御することにより状態の切り替えが行われる。
例えば、図6に示す画素において、透明電極221と画素電極223との間の電位差を切り替えることで、各画素によって取得される光の波長帯域を変更できる。例えば、光電変換層222を吸収スペクトルの異なる2種類の材料で構成してもよい。また、透明電極221と画素電極223との間の電位差が、所定の値よりも大きい場合には画素201が赤外光に感度を有し、所定の値よりも小さい場合には画素201が赤外光に感度を有さないように構成してもよい。あるいはフォトダイオードを備える画素において、例えば、フォトダイオードの下方に位置するキャリア排出領域へのバイアス電圧を変化させて電荷の捕獲領域を変化させてもよい。これにより、各画素によって取得される光の波長帯域を変更することができる。また、例えば、キャリア排出領域に高いバイアス電圧を印加することにより、画素201が可視光にのみ感度を有するようにし、キャリア排出領域に低いバイアス電圧を印加することにより、赤外光にも感度を有するようにすることができる。
具体的には、光電変換部が図6に示す構成を有する場合、透明電極221及び画素電極223の間の電位差を変化させることで、画素201の単位時間当たりの感度を変更することが可能である。例えば透明電極221及び画素電極223の間の電位差を小さくすることにより、光電変換層222において光電変換によって生じた電荷を検出させないようにすることもできる。つまり、画素201の感度を実質的にゼロにすることもできる。例えば全画素において透明電極221を共通とし、全画素の感度を同時にゼロにすることにより、グローバルシャッタ動作が可能になる。なお、光電変換部がフォトダイオード211の場合には、電荷転送トランジスタ及び電荷蓄積容量を設ける構成にすることで、グローバルシャッタ動作が可能になる。撮影部111がグローバルシャッタ機能を備えることにより、車両が高速に移動している際も、撮影部111はコードを歪まずに撮像することができる。これにより、撮像装置101のコードの認識精度を向上させることができる。コードについての詳細は後述する。
再度、図3を参照する。ISP112は、撮影部111から出力されるデータに対して、必要に応じて画像処理を行う。撮影部111から出力されるデータは、例えばRAWデータである。画像処理は、例えば圧縮処理あるいは補正処理である。なお、撮影部111とISP112とは同一の1チップに設けられていてもよい。それにより、処理の高速化及び装置の低コスト化を実現できる。ISP112は、撮影部111から出力されたデータをそのまま、あるいは画像処理を行って、画像送信部113及び情報取得部114に出力する。ISP112から出力されるデータは、例えば画像処理が施されていないRAWデータであってもよいし、RAWデータに画像処理が行われた、所定のフォーマットのデータであってもよい。
画像送信部113は、ISP112から出力されたデータを、例えば、ECU105等の外部装置に出力する。情報取得部114は、撮像画像からコード50を抽出する。コード50は、情報を一定の規則に従ってコードに変換したものである。また、情報取得部114は、抽出したコード50を復号することで、コード50を交通情報等の情報に変換する。図8A~図8Dは、コード50の例を示す図である。例えば、図8A~図8Cに示すように、コード50は二次元のパターンである。具体的には、コード50として、図8Aに示すようなQRコード(登録商標)、図8Bに示すような任意のパターン、又は、図8Cに示すような文字或いは記号を用いることができる。もしくは、コード50として、図8Dに示すような、一次元のパターンであるバーコードが用いられてもよい。
また、情報取得部114は、復号化処理として、例えば、QRコード(登録商標)に対するJIS X 0510:2004記載の復号化処理、又はパターンマッチングによる対応情報の取得を行う。また、コード50が情報そのものである場合は、情報取得部114は、復号化処理として文字認識等を行う。なお、情報取得部114はISP112で実現されてもよい。
抽出された情報は、例えば、後述するECU105に送られ、車両の速度及び制動の制御に利用されてもよい。又は、抽出された情報は、表示部103に送られ、交通情報の運転者への提示、又は表示或いは音による危険の警告等に利用されてもよい。
システムコントローラ115は、入力部122と、出力部121と、プログラムメモリ123と、ワーキングメモリ125と、制御用マイコン126と、を備えている。プログラムメモリ123には、プログラム124が格納されている。マイコン126は、プログラム124を、ワーキングメモリ125を使いつつ実行することで、例えば、撮像装置101の制御部として機能する。なお、システムコントローラ115は、ISP112を制御するだけでなく撮影部111を制御してもよい。出力部121は、システムコントローラ115での制御結果を撮影部111に出力する。
表示部103はカメラ画像を表示する。ネットワーク通信部104はワイヤレスにインターネットに接続する手段である。例えば、ネットワーク通信部104は、情報取得部114での情報取得処理で必要な情報を、ネットワーク通信部104を介してインターネット上から取得する。ECU105は、エンジン、制動、又は加速など、様々な車体の制御をつかさどるユニットである。
なお、これらの構成要素はそれぞれ独立に構成される必要はなく、統合されていてもよい。
図9は、本実施形態に係る車両走行制御システム100の機能構成を示すブロック図である。車両走行制御システム100は、例えば、車両に搭載される。図9に示すように、車両走行制御システム100は、撮像装置101と、車両制御部131とを備える。
撮像装置101は、撮影部111と、画像処理装置140とを備える。画像処理装置140は、例えば、図3に示すISP112及び情報取得部114により実現される。この画像処理装置140は、画像処理部142を備える。
なお、画像処理装置140は、撮像装置101の外部に存在してもよい。例えば、撮像装置101は、撮影した画像を、外部にある画像処理装置140に送信してもよい。画像処理装置140は、受信した画像に対して処理を行ってもよい。
撮影部111は、可視光が撮影された画像であって、対象物の像を含む第1画像161と、非可視光が撮影された画像であって、対象物の像を含む第2画像162とを撮影する。なお、第2画像162は、可視光及び非可視光が撮影された画像であってもよい。また、非可視光とは、例えば、赤外光である。また、撮影部111で撮影された第1画像161及び第2画像162は、フレームメモリにそれぞれ格納される。フレームメモリは撮影部111又はISP112に内蔵されていてもよいし、ディスクリートのメモリ素子でもよい。
対象物とは、例えば、コード50を表示する表示媒体である。コード50は、例えば、情報に対応付けられている。対象物は、例えば、標識、看板、電光掲示板、又は建造物であってもよい。コード50は、非可視光で表示される。これにより、対象物は、可視光により観察される外観の視認性又はデザイン性を損なうことなく、情報を表示することができる。具体的には、対象物は、非可視光を発光することでコード50を表示してもよい。例えば、対象物は、非可視光を発光する光源であってもよい。あるいは、対象物は、非可視光を反射することでコード50を表示してもよい。例えば、対象物のコード50を表示している部分において、非可視光に対する反射率を可視光に対する反射率よりも高くしてもよい。本明細書においてコード50とは、例えば非可視光をより多く発光又は反射する部分とその他の部分とからなるパターンであり、特定の情報に対応付けられたものをいう。
図1において、表示媒体51は道路標識であり、表示媒体52は看板であり、表示媒体53は車両である。図1は、表示媒体51、表示媒体52、表示媒体53を、非可視光成分を撮像できるカメラで撮像した場合の画像の一例を示している。図1では、コード50以外の背景部分も写っている。これは、日中の屋外においては、太陽光に含まれる非可視光により、人、車両、及び建築物等の一般的な対象物も非可視光を発しているためである。つまり、例え赤外領域に感度を有する撮像装置で撮像したとしても、図1に示すように、コード50を高コントラストで抽出することが困難な場合がある。本実施形態では、後述する画像処理により、図2に示すようにコード50を高精度に抽出する。
例えば、撮影部111は、可視光に感度を有する複数の第1画素と、非可視光に感度を有する複数の第2画素とを含んでもよい。第1画像161は、複数の第1画素により得られる。第2画像162は、複数の第2画素により得られる。第1画素とは、例えば、図7A又は図7Bに示す、R画素、G画素及びB画素である。第2画素とは、例えば、図7Aに示すIR画素、又は、図7Bに示すW画素である。
あるいは、撮影部111は、複数の画素201を備え、各画素201が可視光に対する感度を有する第1撮影状態と、複数の画素201が非可視光に対する感度を有する第2撮影状態とを有してもよい。これにより、第1撮影状態において第1画像161が得られる。第2撮影状態において第2画像162が得られる。つまり、同一の画素201により第1画像161と第2画像162とが得られる。例えば、図7C又は図7Dに示す構成のように、同一の画素201について、可視光の波長帯域に感度を有する状態と、非可視光の波長帯域に感度を有する状態とを切り替えてもよい。これにより、同一の画素201により第1画像161と第2画像162とを得ることができる。
画像処理部142は、撮影部111から第1画像161及び第2画像162を取得する。画像処理部142は、差分処理部151と、抽出部152とを備える。
差分処理部151は、第1画像161と第2画像162との差分処理によって対象物の像を含む第3画像163を生成する。この差分処理により、コード50の発光部分の像の信号強度と、コード50以外の像の信号強度との比が、第2画像162よりも大きい第3画像163が生成される。これにより、第3画像163からコード50の像を抽出しやすくしている。つまり、第2画像162において、コード50の像の信号強度のうち最も大きいものを第1強度とし、コード50以外の像の信号強度のうち最も大きいものを第2強度とする。また、第3画像163において、コード50の像の信号強度のうち最も大きいものを第3強度とし、コード50以外の像の信号強度のうち最も大きいものを第4強度とする。この場合、第4強度に対する第3強度の比は、第2強度に対する第1強度の比よりも大きい。
抽出部152は、第3画像163からコード50を抽出する。また、抽出部152は、抽出したコード50に対応付けられている情報144を取得する。情報144は、例えば交通情報である。交通情報とは、例えば道路標識の内容を示す情報である。具体的には、例えば、接近禁止又は進入禁止を示す情報である。
車両制御部131は、情報144に基づいて、車両の制動及び加速を制御する。例えば、車両制御部131は、図2に示すECU105により実現される。
なお、本開示は、車両走行制御システム100として実現できるだけでなく、撮像装置101又は画像処理装置140として実現されてもよい。
(第2の実施形態)
本実施形態においては、情報144は、ユーザに通知される。ユーザは、例えば車両の運転手である。図10は、本実施形態に係る撮像システム100Aのブロック図である。撮像システム100Aは、車両制御部131の代わりに通知部132を備える点で、第1の実施形態の車両走行制御システム100と異なる。
本実施形態においては、情報144は、ユーザに通知される。ユーザは、例えば車両の運転手である。図10は、本実施形態に係る撮像システム100Aのブロック図である。撮像システム100Aは、車両制御部131の代わりに通知部132を備える点で、第1の実施形態の車両走行制御システム100と異なる。
通知部132は、情報144をユーザに通知する。例えば、通知部132は情報144を表示する。又は、通知部132は、音声等により情報144をユーザに通知してもよい。例えば、通知部132は、図3に示す表示部103により実現される。なお、情報144そのものがユーザに通知されてもよいし、情報144に基づく警告等がユーザに通知されてもよい。なお、車両走行制御システム100がさらに通知部132を備えてもよい。
以下、上記のように構成された車両走行制御システム100の動作を説明する。
以下、図11に示すフローチャートに基づいて、撮影部111による情報取得処理について説明する。本実施形態においては、撮影部111は、図7A又は図7Bに示す画素構成を備えている。すなわち、撮影部111は第1画像161と第2画像162とを同時に取得可能である。
撮影部111は撮像を開始する。撮像は、車両の乗員による手動制御によって開始されてもよい。あるいは、撮像は、車両のエンジンスタート等の起点となる動作に対応して自動的に開始されてもよい。
次に、撮影部111は、第1画像161及び第2画像162を撮影する(S101)。
次に、画像処理部142は、撮影部111で撮影された第1画像161及び第2画像162を取得する。差分処理部151は第1画像161と第2画像162との差分処理により第3画像163を生成する(S102)。例えば、差分処理部151は、R画素、G画素及びB画素の出力値の合計と、IR画素又はW画素の出力値との差分を演算する。なお、差分処理部151は、R画素、G画素及びB画素のうち予め定められたいずれか1つの出力値と、IR画素又はW画素の出力値との差分を演算してもよい。また、差分処理部151は、第1画像161及び第2画像162の対応する画素同士について差分処理を行う。
次に、抽出部152は、得られた第3画像163に対して予め定められた閾値で二値化処理を行うことで二値画像を生成する(S103)。閾値は撮影部111の特性又は実験結果をもとに予め設定される。
次に、抽出部152は、パターンマッチング等既知の手法を用いて、二値画像からコード50を抽出する(S104)。具体的には、抽出部152は、画像内の全てのコード50を抽出し、抽出したコード50と、そのコード50の種類とをメモリに格納する。ここでコード50の種類とは、バーコード又はQRコード(登録商標)等である。
最後に、抽出部152は、抽出されたコード50に対応する情報144を取得する(S105)。例えば、抽出部152は、コード50に対応する情報144を示すテーブルを保持している。抽出部152は、このテーブルを用いて、コード50に対応する情報144を取得する。なお、抽出部152は、ネットワーク上のデータと照合することで、コード50に対応する情報144を取得してもよい。又は、情報144の取得処理自体がクラウド上で行われてもよい。
なお、コード50の抽出(S104)では、複数のコード50が抽出される可能性がある。複数のコード50が抽出された場合には、抽出部152は、複数のコード50のそれぞれについて情報144を取得する。この場合、抽出部152は、1つ目のコード50が抽出された時点で、そのコード50に対応する情報144の取得処理を行うことが可能である。よって、抽出部152は、ステップS104とS105とを並列に実行してもよい。
図12は、撮影部111の構成が異なる場合の情報取得処理のフローチャートを示す。この場合、撮影部111は、図7C又は図7Dに示す構成を有する。すなわち、撮影部111は第1画像161と第2画像162とをこの順に取得する。図12に示すフローチャートでは、ステップS101がステップS101A及びS101Bに置き換えられている点で図9に示すフローチャートと異なる。
撮影部111は、第1画像161を撮像する(S101A)。その後、撮影状態を切り替え、第2画像162を撮像する(S101B)。例えば、図7Cに示す構成では、ステップS101Aでは赤外光カットフィルタを撮影部111への光路上に配置する。一方、ステップS101Bでは赤外光カットフィルタを撮影部111への光路上から除く。このことにより撮影状態の切り替えが行われる。また、図7Dに示す構成では、画素201への印加電圧を制御することで撮影状態の切り替えが行われる。具体的には、透明電極221と画素電極223の間の電位差を変更することにより、撮影状態を切り替えることができる。
なお、以降の処理は図11と同一のため説明を省略する。なお、本例において、第1画像161及び第2画像162の撮像順は逆でもよい。
本実施形態に示すような差分処理を行うことにより、第2画像162の出力値のうち太陽光に含まれる非可視光に起因するものを、第1画像161を用いて低減することができる。これにより、コード50をコード50以外の部分に比べて高コントラストにできるので、高速かつ高精度にコードを抽出できる。
図11又は図12に示す情報取得処理は、車両のエンジンがかかっている間は常に行われてもよい。あるいは、ある一定の間隔で行われてもよい。また、この情報取得処理は、外部情報を起点にして行われてもよい。例えば、車両がスクールゾーン等の特定の地域に入ったことを検知し、それを起点にして情報取得処理が開始されてもよい。また、この情報取得処理は、ギアが変更された等の車両内部の制御情報の変化を起点にして開始されてもよい。
上記した説明では、第1画像161及び第2画像162の差分処理によって第3画像163を生成している。しかし状況によっては、単なる差分処理だけでは正確にコード50を検出し難い場合があり得る。例えば、第2画像162におけるコード50の発光部分の像の信号強度が、第1画像161におけるコード50の発光部分の像の信号強度よりも小さい場合である。このような場合には、第2画像162から第1画像161を減算すると、コード50の発光部分の像の差分の絶対値がコード50以外の像の差分の絶対値よりも小さくなる場合がある。すなわち、第3画像163においてコード50の像が反転してしまうことが起こり得る。
ここで、第2画像162におけるコード50の発光部分の像の信号強度は、コード50が非可視光を発光しないと仮定したときのコード50の発光部分の像の信号強度に、コード50の発光部分が発光する非可視光に起因する信号強度が加算されたものである。また、コード50が非可視光を発光しないと仮定したときのコード50の発光部分の像の信号強度は、コード50以外の像の信号強度と同等と考えられる。したがって、第2画像162におけるコード50以外の像の信号強度が、第1画像161におけるコード50以外の像の信号強度とほぼ同じかより大きくなるように補正すれば、第2画像162におけるコード50の発光部分の像の信号強度を、第1画像161におけるコード50の発光部分の像の信号強度よりも大きくできる。すなわち、第3画像163におけるコード50の像の反転を抑制できる。
このような補正として、例えば、第1画像161及び第2画像162においてコード50以外の任意の領域を設定し、その領域における第2画像162の信号強度の最小値が、同じ領域における第1画像161の信号強度の最小値よりも大きくなるように補正係数を算出してもよい。あるいは、第1画像161を取得する第1画素の分光感度特性と、第2画像162を取得する第2画素の分光感度特性とに基づいて、第2画像162におけるコード50以外の像の信号強度が、第1画像161におけるコード50以外の像の信号強度とほぼ等しくなるように補正係数を算出してもよい。また、補正係数の算出において太陽光のスペクトルを考慮してもよい。具体的な実施形態を次に説明する。
(第3の実施形態)
本実施形態では、画像処理装置140Aは、第1画像161及び第2画像162の対応する画素の出力値が同じ強度の光に対して同一となるように、第1画像161及び第2画像162の少なくとも一方を補正する。より詳細には、画像処理装置140Aは、第1画像161及び第2画像162の撮像に用いられた画素の量子効率及び分光感度特性の違いに基づいて補正を行う。これにより、第2画像162におけるコード50の発光部分の像の信号強度が、第1画像161におけるコード50の発光部分の像の信号強度よりも大きくなるように補正することができる。
本実施形態では、画像処理装置140Aは、第1画像161及び第2画像162の対応する画素の出力値が同じ強度の光に対して同一となるように、第1画像161及び第2画像162の少なくとも一方を補正する。より詳細には、画像処理装置140Aは、第1画像161及び第2画像162の撮像に用いられた画素の量子効率及び分光感度特性の違いに基づいて補正を行う。これにより、第2画像162におけるコード50の発光部分の像の信号強度が、第1画像161におけるコード50の発光部分の像の信号強度よりも大きくなるように補正することができる。
図13は、本実施形態に係る画像処理装置140Aの構成を示すブロック図である。画像処理装置140Aは、画像処理部142Aが補正部153を備える点で画像処理装置140と異なる。
以下、画像処理装置140Aを用いた情報取得処理を図14に示すフローチャートを用いて説明する。なお、撮影部111は、図7A又は図7Bに示す画素構成を有する。すなわち、撮影部111は、第1画像161と第2画像162とを同時に取得する。図14に示す処理は、図11に示す処理に対して、ステップS106が追加されている点が異なる。
ステップS106では、補正部153は、コード50以外の領域において、第1画像161及び第2画像162の対応する画素の出力値の差が小さくなるように、第1画像161及び第2画像162に補正係数を乗算する。すなわち、補正部153は、第1画像161に第1補正係数を乗算することで補正後の第1画像161Aを生成する。また、補正部153は、第2画像162に第2補正係数を乗算することで補正後の第2画像162Aを生成する。なお、補正部153は、第1画像161及び第2画像162のいずれか一方のみに補正係数を乗算してもよい。
次に、差分処理部151は、補正後の第1画像161Aと補正後の第2画像162Aとの差分処理により第3画像163を生成する(S102)。なお、以降の処理は図11と同様であり、説明は省略する。
第1補正係数及び第2補正係数、又は補正係数は、第1画像161の撮像に用いられた画素201の第1分光感度特性と、第2画像162の撮像に用いられた画素201の第2分光感度特性とに基づき算出される。
図15Aは、R画素、G画素及びB画素の分光感度特性の一例を示す図である。図15Bは、IR画素の分光感度特性の一例を示す図である。例えば、補正係数は、R画素、G画素及びB画素の分光感度特性のグラフの積分値の合計と、IR画素の分光感度特性のグラフの積分値とが同じになるように予め設定されている。本例においては、R画素のグラフの積分値が4.1であり、G画素のグラフの積分値が4.3であり、B画素のグラフの積分値が2.6であり、IR画素のグラフの積分値が5.4である。よって、例えば第1画像161のみに補正係数を乗算する場合には、補正係数として5.4/(4.1+4.3+2.6)=0.49を用いることで、R画素、G画素及びB画素の各出力値の合計とIR画素の出力値とが同等になるように補正できる。
また、第2画像162のみに補正係数を乗算する場合には、補正係数は、本例の数値の逆数となる。すなわち、補正係数として1/0.49=2.04を用いる。また、第1画像161及び第2画像162の両方を補正する場合には、第1画像161に乗算される第1補正係数と、第2画像162に乗算される第2補正係数との比が、第2画像162の出力値と第1画像161の出力値との比と同じになるように設定される。
なお、図7Bに示すように、IR画素の代わりにW画素が用いられる場合も同様である。なお、各画素の分光感度特性は予め設定されていてもよく、補正係数はシステム開発時に予め設定されていてもよい。
図16は、撮影部111の構成が異なる場合の情報取得処理のフローチャートを示す。この場合、撮影部111は、図7C又は図7Dに示す画素構成を有する。すなわち、撮影部111は第1画像161と第2画像162とをこの順に取得する。図16に示すフローチャートは、ステップS101がステップS101A及びステップS101Bに置き換えられている点で、図14に示すフローチャートと異なる。
図17A及び図17Bを用いて、G+IR画素の分光感度特性について説明する。G+IR画素は、緑色光の波長帯域及び赤外光の波長帯域に感度を有し得る。図17Aは、G+IR画素を緑色光の波長帯域に感度を有するように設定した場合の分光感度特性の一例を示す図である。以下、図17AをG状態のグラフと呼ぶ。図17Bは、G+IR画素を緑色光の波長帯域及び赤外光の波長帯域に感度を有するように設定した場合の分光感度特性の一例を示す図である。以下、図17BをG+IR状態のグラフと呼ぶ。例えば、補正係数は、G状態のグラフの積分値と、G+IR状態のグラフの積分値とが同じになるように予め設定されている。本例においては、G状態のグラフの積分値が4.3であり、G+IR状態のグラフの積分値が9.7である。よって、第1画像161のみに補正係数を乗算する場合には、補正係数として9.7/4.3=2.25を用いることで、第1画像161の取得時のG画素の出力値と、第2画像162の取得時のG+IR画素の出力値とが同等になるように補正できる。
また、第2画像162のみに補正係数を乗算する場合には、補正係数は、本例の数値の逆数となる。すなわち、補正係数として1/2.25=0.44を用いる。また、第1画像161及び第2画像162の両方を補正する場合には、第1画像161に乗算される第1補正係数と、第2画像162に乗算される第2補正係数との比が第2画像162の出力値と第1画像161の出力値との比と同じになるように設定される。
このように、第1画像161及び第2画像162の対応する画素の感度が同一となるように、補正部153が補正を行う。これにより、コード50の背景の出力値をさらに低減できる。従って、抽出部152は、コード50のみを精度よく抽出できる。
(第4の実施形態)
本実施形態では、第3の実施形態の変形例について説明する。本実施形態では、さらに太陽光のスペクトルを補正係数の算出に用いる。より詳細には、第1画像161の撮像に用いられた画素の分光感度特性と第2画像162の撮像に用いられた画素の分光感度特性に対して、太陽光のスペクトルを掛け合わせたものを補正係数として使用する。これにより、第2画像162におけるコード50の発光部分の像の信号強度が、第1画像161におけるコード50の発光部分の像の信号強度よりも大きくなるように、より精度よく補正できる。
本実施形態では、第3の実施形態の変形例について説明する。本実施形態では、さらに太陽光のスペクトルを補正係数の算出に用いる。より詳細には、第1画像161の撮像に用いられた画素の分光感度特性と第2画像162の撮像に用いられた画素の分光感度特性に対して、太陽光のスペクトルを掛け合わせたものを補正係数として使用する。これにより、第2画像162におけるコード50の発光部分の像の信号強度が、第1画像161におけるコード50の発光部分の像の信号強度よりも大きくなるように、より精度よく補正できる。
図18は、太陽光のスペクトルを示す図である。このように太陽光は500nm付近を最大値とし、長波長側に緩やかに強度が低下するスペクトルを持つ。そのため、この太陽光のスペクトルの影響を考慮した補正係数を導入することで、より精度よく太陽光の影響を除去することが可能となる。太陽光入射時の撮影部111の出力値は、太陽光のスペクトルと撮影部111の分光感度特性との各波長での掛け合わせで得られる。つまり、本実施形態では、補正係数、又は第1補正係数及び第2補正係数は、第1画像161が得られた際の画素201の第1分光感度特性に太陽光スペクトルを乗算することで得られた第1特性と、第2画像162が得られた際の画素201の第2分光感度特性に太陽光スペクトルを乗算することで得られた第2特性と、に基づき算出される。
図19Aは、図18に示す太陽光のスペクトルと図15Aに示すR画素、G画素及びB画素の各分光感度特性との乗算結果を示すグラフである。図19Bは、図18に示す太陽光のスペクトルと図15Bに示すIR画素の分光感度特性との乗算結果を示すグラフである。第3の実施形態と同様に、例えば、図19Aに示すグラフの積分値の合計と、図19Bに示すグラフの積分値とが同じになるように補正係数が設定される。本例においては、図19Aに示す、R画素に対応するグラフの積分値が3.4であり、G画素に対応するグラフの積分値が3.9であり、B画素に対応するグラフの積分値が2.0である。また、図19Bに示すIR画素に対応するグラフの積分値が3.2である。よって、第1画像161のみを補正する場合には、補正係数として3.2/(3.4+3.9+2.0)=0.34を用いることで、R画素とG画素とB画素との出力の合計とIR画素の出力とを同等にできる。なお、図7BのようにIR画素の代わりにW画素が用いられる場合も同様である。
また、第2画像162のみを補正する場合には、補正係数は、本例の数値の逆数となる。また、第1画像161及び第2画像162の両方を補正する場合には、第1画像161に乗算される第1補正係数と、第2画像162に乗算される第2補正係数との比が第2画像162の出力と第1画像161の出力との比と同じになるように設定される。
このように、太陽光のスペクトルを考慮して、第1画像161及び第2画像162の対応する画素の出力値が同一となるように、補正部153が補正を行う。これにより、コード50の背景部分の出力値をさらに低減できる。従って、抽出部152は、コード50のみを精度よく抽出できる。
(第5の実施形態)
図20は、本実施形態に係る画像処理装置140Bの構成を示すブロック図である。図20に示す画像処理装置140Bは、昼夜判断部143を備える点で画像処理装置140と異なる。
図20は、本実施形態に係る画像処理装置140Bの構成を示すブロック図である。図20に示す画像処理装置140Bは、昼夜判断部143を備える点で画像処理装置140と異なる。
図21は、本実施形態に係る情報取得処理のフローチャートである。図21に示す処理は、ステップS111~S113が追加されている点で図11に示す処理と異なる。
まず、昼夜判断部143は、現在が昼間であるか夜間であるかを判定する(S111)。例えば、昼夜判断部143は、車両に設けられた照度センサの検知結果に基づき、現在が昼間であるか夜間であるかを判定する。又は、昼夜判断部143は、現在の時刻に基づき、現在が昼間であるか夜間であるかを判定してもよい。
現在が昼間である場合(S111でYes)、図11に示す処理と同様に、ステップS101以降の処理が行われる。つまり、差分処理部151により第3画像163が生成され、抽出部152は、第3画像163からコード50を抽出する。
一方、現在が夜間である場合(S111でNo)、画像処理装置140Bは、第3画像163の生成は行わず、第2画像162からコード50を抽出する。具体的には、撮影部111は第2画像162を撮影し、画像処理部142は、撮影された第2画像162を取得する(S112)。次に、抽出部152は、第2画像162に対して予め定められた閾値で二値化処理を行うことで二値画像を生成する(S113)。次に、抽出部152は、二値画像からコード50を抽出する(S104)。そして、抽出部152は、抽出されたコード50に対応する情報144を取得する(S105)。
夜間においては、非可視光成分の大きな発生源である太陽の影響が小さい。そのため、差分処理を行わなくとも、比較的高い精度でコードを抽出することができる。画像処理装置140Bは、夜間においては差分処理を行わないことにより、処理量を低減し、高速にコードを抽出することができる。
なお、ここでは、第1画像161と第2画像162とを同時に取得する場合の例を説明したが、第1画像161と第2画像162とを、順次に取得する場合も同様である。また、ここでは、第1の実施形態の構成をベースに説明を行ったが、第2の実施形態、第3の実施形態又は第4の実施形態の構成に対しても同様の変形例を適用できる。
また、上記第1~第5の実施形態において、撮像装置101はグローバルシャッタ機能を有してもよい。つまり、撮影部111は、複数の第1画素と複数の第2画素を用いて、1フレーム期間内の単一の露光期間において第1画像161及び第2画像162を撮影する。上記露光期間において、複数の第1画素と複数の第2画素との露光の開始及び終了のタイミングは同一である。
図22Aは、ローリングシャッタ動作により得られた画像におけるコード50の像一例を示す図である。図22Bは、グローバルシャッタ動作により得られた画像におけるコード50の像の一例を示す図である。図22A及び図22Bに示すように、グローバルシャッタ動作により、コード50の像の歪みを低減できる。例えば、車両が高速に移動している際も、撮影部111は、コード50の像を歪まさずに撮像することができる。よって、コード50の認識精度を向上できる。
また、上記第1~第5の実施形態において、画像処理部142は、複数のフレーム期間のうちの一部のフレーム期間に対してのみコードを抽出するようにしてもよい。すなわち、撮像装置101は複数のフレーム期間のそれぞれにおいて第1画像161及び第2画像162を取得し、画像処理部142は、そのうちのある一部のフレーム期間に対してのみ前記コードを抽出するようにしてもよい。
以上、それぞれの実施形態により、図2に示すようなコード50を高精度に抽出することが可能になる。
以上、実施形態に係るシステム及び装置について説明したが、本開示は、この実施の形態に限定されるものではない。
例えば、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
また、上記実施形態に係る各装置に含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態において、各構成要素の一部は、当該構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
以上、一つ又は複数の態様に係るシステム及び装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
本開示は、種々の撮像装置として有用である。また、本開示は、デジタルカメラ、デジタルビデオカメラ、カメラ付携帯電話、電子内視鏡などの医療用カメラ、車載カメラ、及びロボット用カメラ等の用途にも応用できる。
50 コード
51、52、53 表示媒体
100 車両走行制御システム
100A 撮像システム
101 撮像装置
102 光学系
103 表示部
104 ネットワーク通信部
105 電子制御ユニット(ECU)
111 撮影部
112 ISP
113 画像送信部
114 情報取得部
115 システムコントローラ
121 出力部
122 入力部
123 プログラムメモリ
124 プログラム
125 ワーキングメモリ
126 マイコン
131 車両制御部
132 通知部
140、140A、140B 画像処理装置
142、142A 画像処理部
143 昼夜判断部
144 情報
151 差分処理部
152 抽出部
153 補正部
161、161A 第1画像
162、162A 第2画像
163 第3画像
201、201A、201B 画素
202 行走査回路
203 列走査回路
204 電流源
205 AD変換回路
206 電源線
207 水平信号線
208 垂直信号線
209 出力信号線
210 光電変換部
211 フォトダイオード
221 透明電極
222 光電変換層
223 画素電極
224 コンタクトプラグ
225 電荷蓄積部
226 半導体基板
M1 増幅トランジスタ
M2 選択トランジスタ
M3 リセットトランジスタ
51、52、53 表示媒体
100 車両走行制御システム
100A 撮像システム
101 撮像装置
102 光学系
103 表示部
104 ネットワーク通信部
105 電子制御ユニット(ECU)
111 撮影部
112 ISP
113 画像送信部
114 情報取得部
115 システムコントローラ
121 出力部
122 入力部
123 プログラムメモリ
124 プログラム
125 ワーキングメモリ
126 マイコン
131 車両制御部
132 通知部
140、140A、140B 画像処理装置
142、142A 画像処理部
143 昼夜判断部
144 情報
151 差分処理部
152 抽出部
153 補正部
161、161A 第1画像
162、162A 第2画像
163 第3画像
201、201A、201B 画素
202 行走査回路
203 列走査回路
204 電流源
205 AD変換回路
206 電源線
207 水平信号線
208 垂直信号線
209 出力信号線
210 光電変換部
211 フォトダイオード
221 透明電極
222 光電変換層
223 画素電極
224 コンタクトプラグ
225 電荷蓄積部
226 半導体基板
M1 増幅トランジスタ
M2 選択トランジスタ
M3 リセットトランジスタ
Claims (21)
- 第2波長範囲の光によりコードを表示する対象物の像を含む、第1画像データ及び第2画像データを取得する撮影部と、
画像処理部と、
を備え、
前記撮影部は、前記第2波長範囲と異なる第1波長範囲の光に感度を有する複数の第1画素と、前記第2波長範囲の光に感度を有する複数の第2画素とを含み、前記複数の第1画素により第1画像データを取得し、前記複数の第2画素により第2画像データを取得し、
前記画像処理部は、前記第1画像データ及び前記第2画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた2つの画像データに基づいて前記コードを抽出し、
前記画像処理部は、前記第2画像データにおける前記コード以外の像の信号強度が、前記第1画像データにおける前記コード以外の像の信号強度よりも大きくなるように、前記第1画像データ及び前記第2画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行う、
撮像装置。 - 第2波長範囲の光によりコードを表示する対象物の像を含む、第1画像データ及び第2画像データを取得する撮影部と、
前記第1画像データ及び前記第2画像データに基づいて、前記コードを抽出する画像処理部と、
を備え、
前記撮影部は、前記第2波長範囲と異なる第1波長範囲の光に感度を有する複数の第1画素と、前記第2波長範囲の光に感度を有する複数の第2画素とを含み、前記複数の第1画素により前記第1画像データを取得し、前記複数の第2画素により前記第2画像データを取得し、
前記画像処理部は、前記第1画像データ及び前記第2画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた2つの画像データの差分より第3画像データを生成し、前記第3画像データに基づいて前記コードを抽出し、
前記第2画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第1強度とし、前記コード以外の像の信号強度のうち最も大きいものを第2強度とし、前記第3画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第3強度とし、前記コード以外の像の信号強度のうち最も大きいものを第4強度としたとき、前記第4強度に対する前記第3強度の比は、前記第2強度に対する前記第1強度の比よりも大きい、
撮像装置。 - 第2波長範囲の光によりコードを表示する対象物の像を含む、第1画像データ及び第2画像データを取得する撮影部と、
前記第1画像データ及び前記第2画像データに基づいて、前記コードを抽出する画像処理部と、
を備え、
前記撮影部は、前記第2波長範囲と異なる第1波長範囲の光に感度を有する複数の第1画素と、前記第2波長範囲の光に感度を有する複数の第2画素とを含み、前記複数の第1画素により前記第1画像データを取得し、前記複数の第2画素により前記第2画像データを取得し、
前記画像処理部は、前記第1画像データ及び前記第2画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた2つの画像データに基づいて前記コードを抽出し、
前記画像処理部は、前記第1画像データにおける前記コード以外の像の信号強度と、前記第2画像データにおける前記コード以外の像の信号強度との差が小さくなるように、前記第1画像データ及び前記第2画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行う、
撮像装置。 - 第2波長範囲の光によりコードを表示する対象物の像を含む、第1画像データ及び第2画像データを取得する撮影部と、
前記第1画像データ及び前記第2画像データに基づいて、前記コードを抽出する画像処理部と、
を備え、
前記撮影部は、前記第2波長範囲と異なる第1波長範囲の光に感度を有する複数の第1画素と、前記第2波長範囲の光に感度を有する複数の第2画素とを含み、前記複数の第1画素により前記第1画像データを取得し、前記複数の第2画素により前記第2画像データを取得し、
前記画像処理部は、前記第1画像データ及び前記第2画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた2つの画像データに基づいて前記コードを抽出し、
昼間か夜間かを判断する昼夜判断部をさらに備え、
前記昼夜判断部が昼間であると判断した場合は、前記画像処理部は前記2つの画像データに基づいて前記コードを抽出し、
前記昼夜判断部が夜間であると判断した場合は、前記画像処理部は前記第2画像データに基づいて前記コードを抽出する、
撮像装置。 - 前記補正係数は、前記第1画素の第1分光感度特性と、前記第2画素の第2分光感度特性とに基づいて算出される、請求項2に記載の撮像装置。
- 前記補正係数は、前記第1分光感度特性に太陽光スペクトルを乗算することで得られる第1特性と、前記第2分光感度特性に前記太陽光スペクトルを乗算することで得られる第2特性とに基づいて算出される、請求項5に記載の撮像装置。
- 前記対象物の一部は、前記第2波長範囲の光を発光し、
前記対象物は、前記一部において前記第2波長範囲の光を発光することで前記コードを表示する、請求項1~4のいずれか1項に記載の撮像装置。 - 前記対象物の一部は、前記第2波長範囲の光に対する反射率が前記第1波長範囲の光に対する反射率よりも高く、
前記対象物は、前記一部において前記第2波長範囲の光を反射することで前記コードを表示する、請求項1~4のいずれか1項に記載の撮像装置。 - 前記第2画素は前記第1波長範囲の光にも感度を有する、請求項1~4のいずれか1項に記載の撮像装置。
- 前記画像処理部は、抽出された前記コードに対応付けられている情報を取得する、請求項1~4のいずれか1項に記載の撮像装置。
- 前記情報は、交通情報を含む、請求項10に記載の撮像装置。
- 前記第1画素と前記第2画素とは同一の第3画素であり、
前記第3画素は、前記第1波長範囲の光に感度を有する第1状態と、前記第2波長範囲の光に感度を有する第2状態とを有し、
前記撮影部は、前記第1状態にある前記第3画素により前記第1画像データを取得し、前記第2状態にある前記第3画素により前記第2画像データを取得する、請求項1~4のいずれか1項に記載の撮像装置。 - 前記第1画素が前記第1画像データを取得するときの露光期間の開始及び終了のタイミングは、前記第2画素が前記第2画像データを取得するときの露光期間の開始及び終了のタイミングと同一である、請求項1~4のいずれか1項に記載の撮像装置。
- 前記撮影部は、複数のフレーム期間のそれぞれにおいて前記第1画像データ及び第2画像データを取得し、
前記画像処理部は、前記複数のフレーム期間のうちの一部のフレーム期間に対してのみ前記コードを抽出する、請求項1~4のいずれか1項に記載の撮像装置。 - 請求項10に記載の撮像装置と、
前記情報をユーザに通知する通知部と、
を備える、撮像システム。 - 請求項10に記載の撮像装置と、
前記情報に基づいて、車両の制動及び加速を制御する車両制御部と、
を備える、車両走行制御システム。 - 第2波長範囲の光によりコードを表示する対象物の前記第2波長範囲と異なる第1波長範囲の光の像を含む第1画像データと、前記対象物の前記第2波長範囲の光の像を含む第2画像データとに基づいて、前記コードを抽出する画像処理部を備え、
前記画像処理部は、前記第1画像データ及び前記第2画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた2つの画像データに基づいて前記コードを抽出し、
前記画像処理部は、前記第2画像データにおける前記コード以外の像の信号強度が、前記第1画像データにおける前記コード以外の像の信号強度よりも大きくなるように、前記第1画像データ及び前記第2画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行う、
画像処理装置。 - 第2波長範囲の光によりコードを表示する対象物の前記第2波長範囲と異なる第1波長範囲の光の像を含む第1画像データと、前記対象物の前記第2波長範囲の光の像を含む第2画像データとに基づいて、前記コードを抽出する画像処理部を備え、
前記画像処理部は、前記第1画像データ及び前記第2画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた2つの画像データの差分より第3画像データを生成し、前記第3画像データに基づいて前記コードを抽出し、
前記第2画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第1強度とし、前記コード以外の像の信号強度のうち最も大きいものを第2強度とし、前記第3画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第3強度とし、前記コード以外の像の信号強度のうち最も大きいものを第4強度としたとき、前記第4強度に対する前記第3強度の比は、前記第2強度に対する前記第1強度の比よりも大きい、
画像処理装置。 - 第2波長範囲の光によりコードを表示する対象物の前記第2波長範囲と異なる第1波長範囲の光の像を含む第1画像データと、前記対象物の前記第2波長範囲の光の像を含む第2画像データとに基づいて、前記コードを抽出する画像処理部を備え、
前記画像処理部は、前記第1画像データ及び前記第2画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた2つの画像データに基づいて前記コードを抽出し、
前記画像処理部は、前記第1画像データにおける前記コード以外の像の信号強度と、前記第2画像データにおける前記コード以外の像の信号強度との差が小さくなるように、前記第1画像データ及び前記第2画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行う、
画像処理装置。 - 第2波長範囲の光によりコードを表示する対象物の前記第2波長範囲と異なる第1波長範囲の光の像を含む第1画像データと、前記対象物の前記第2波長範囲の光の像を含む第2画像データとに基づいて、前記コードを抽出する画像処理部を備え、
前記画像処理部は、前記第1画像データ及び前記第2画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた2つの画像データに基づいて前記コードを抽出し、
昼間か夜間かを判断する昼夜判断部をさらに備え、
前記昼夜判断部が昼間であると判断した場合は、前記画像処理部は前記2つの画像データに基づいて前記コードを抽出し、
前記昼夜判断部が夜間であると判断した場合は、前記画像処理部は前記第2画像データに基づいて前記コードを抽出する、
画像処理装置。 - 前記画像処理部は、抽出された前記コードに対応づけられている情報を取得する、請求項17~20のいずれか1項に記載の画像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017104721 | 2017-05-26 | ||
JP2017104721 | 2017-05-26 | ||
JP2018086282A JP7113283B2 (ja) | 2017-05-26 | 2018-04-27 | 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018086282A Division JP7113283B2 (ja) | 2017-05-26 | 2018-04-27 | 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022119859A JP2022119859A (ja) | 2022-08-17 |
JP7331201B2 true JP7331201B2 (ja) | 2023-08-22 |
Family
ID=64400455
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018086282A Active JP7113283B2 (ja) | 2017-05-26 | 2018-04-27 | 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置 |
JP2022081981A Active JP7331201B2 (ja) | 2017-05-26 | 2022-05-19 | 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018086282A Active JP7113283B2 (ja) | 2017-05-26 | 2018-04-27 | 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (4) | US10616495B2 (ja) |
JP (2) | JP7113283B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019207618A (ja) * | 2018-05-30 | 2019-12-05 | 日本電気株式会社 | 情報処理システム |
JP2019207617A (ja) * | 2018-05-30 | 2019-12-05 | 日本電気株式会社 | 情報処理システム |
JP2019214903A (ja) * | 2018-06-14 | 2019-12-19 | 国立大学法人群馬大学 | 道路関連情報表示装置および道路関連情報通知システム |
US11315483B2 (en) * | 2019-04-18 | 2022-04-26 | Google Llc | Systems, devices, and methods for an infrared emitting display |
CN111586314B (zh) * | 2020-05-25 | 2021-09-10 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置以及计算机存储介质 |
WO2022024688A1 (ja) * | 2020-07-27 | 2022-02-03 | 株式会社小糸製作所 | 被検知体および周辺監視システム |
CN115185152A (zh) * | 2022-06-24 | 2022-10-14 | 长春理工大学 | 一种具有防曝光***的折反射全景视觉检测设备及防曝光方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007163367A (ja) | 2005-12-15 | 2007-06-28 | Nippon Hoso Kyokai <Nhk> | カメラ情報解析装置 |
JP2009037487A (ja) | 2007-08-02 | 2009-02-19 | Canon Inc | システム、頭部装着型表示装置、その制御方法 |
JP2010092436A5 (ja) | 2008-10-10 | 2011-11-24 | ||
JP2012221303A (ja) | 2011-04-11 | 2012-11-12 | Mitsubishi Electric Corp | 運転支援用車載点灯装置、車載運転支援装置及び運転支援システム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001202497A (ja) | 2000-01-18 | 2001-07-27 | Toyota Motor Corp | 先行車検出システム及び方法 |
JP2003296659A (ja) | 2002-04-01 | 2003-10-17 | Denso Corp | 公告媒体、その読み出し装置、及び読み出しシステム |
JP4306671B2 (ja) * | 2005-11-04 | 2009-08-05 | セイコーエプソン株式会社 | 動画像表示装置および動画像表示方法 |
JP2008252327A (ja) | 2007-03-29 | 2008-10-16 | Toyota Motor Corp | 車両周辺監視装置 |
JP5200861B2 (ja) | 2007-12-10 | 2013-06-05 | 富士通株式会社 | 標識判定装置および標識判定方法 |
JP5156571B2 (ja) * | 2008-10-10 | 2013-03-06 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US8432404B2 (en) * | 2008-12-15 | 2013-04-30 | Leonovus Usa Inc. | Media action script acceleration method |
JP2013529348A (ja) * | 2010-06-10 | 2013-07-18 | タタ コンサルタンシー サービシズ リミテッド | 種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法 |
JP5867355B2 (ja) | 2012-10-02 | 2016-02-24 | 株式会社デンソー | 状態監視装置及び状態監視プログラム |
JP6062214B2 (ja) | 2012-11-06 | 2017-01-18 | 株式会社小糸製作所 | 路車間通信システムおよび送受信装置 |
US11509880B2 (en) * | 2012-11-14 | 2022-11-22 | Qualcomm Incorporated | Dynamic adjustment of light source power in structured light active depth sensing systems |
US9013590B2 (en) * | 2012-12-13 | 2015-04-21 | Raytheon Company | Pixel multiplication using code spread functions |
GB2520338A (en) * | 2013-11-19 | 2015-05-20 | Nokia Corp | Automatic scene parsing |
JP6336337B2 (ja) | 2014-06-16 | 2018-06-06 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
US10863202B2 (en) * | 2015-06-12 | 2020-12-08 | Shaoher Pan | Encoding data in a source image with watermark image codes |
-
2018
- 2018-04-27 JP JP2018086282A patent/JP7113283B2/ja active Active
- 2018-05-22 US US15/985,951 patent/US10616495B2/en active Active
-
2020
- 2020-02-26 US US16/802,501 patent/US10841505B2/en active Active
- 2020-10-14 US US17/070,241 patent/US11528424B2/en active Active
-
2022
- 2022-05-19 JP JP2022081981A patent/JP7331201B2/ja active Active
- 2022-11-07 US US17/982,057 patent/US12041382B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007163367A (ja) | 2005-12-15 | 2007-06-28 | Nippon Hoso Kyokai <Nhk> | カメラ情報解析装置 |
JP2009037487A (ja) | 2007-08-02 | 2009-02-19 | Canon Inc | システム、頭部装着型表示装置、その制御方法 |
JP2010092436A5 (ja) | 2008-10-10 | 2011-11-24 | ||
JP2012221303A (ja) | 2011-04-11 | 2012-11-12 | Mitsubishi Electric Corp | 運転支援用車載点灯装置、車載運転支援装置及び運転支援システム |
Also Published As
Publication number | Publication date |
---|---|
US20200195830A1 (en) | 2020-06-18 |
US20210051261A1 (en) | 2021-02-18 |
US10841505B2 (en) | 2020-11-17 |
JP2022119859A (ja) | 2022-08-17 |
US20180343373A1 (en) | 2018-11-29 |
JP2018201196A (ja) | 2018-12-20 |
JP7113283B2 (ja) | 2022-08-05 |
US12041382B2 (en) | 2024-07-16 |
US10616495B2 (en) | 2020-04-07 |
US11528424B2 (en) | 2022-12-13 |
US20230060498A1 (en) | 2023-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7331201B2 (ja) | 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置 | |
KR102560795B1 (ko) | 촬상 장치, 및 전자 기기 | |
US9030583B2 (en) | Imaging system with foveated imaging capabilites | |
US20180160027A1 (en) | Image Sensor with In-Pixel Depth Sensing | |
CN103460105B (zh) | 成像装置及其自动对焦控制方法 | |
US20140263951A1 (en) | Image sensor with flexible pixel summing | |
US20170213863A1 (en) | High dynamic range image sensor with reduced sensitivity to high intensity light | |
US9307207B2 (en) | Glaring reduction for dynamic rearview mirror | |
JP2009141813A (ja) | 撮像装置、カメラ、車両及び撮像方法 | |
US20130070140A1 (en) | Image sensors with multiple lenses of varying polarizations | |
CN112740659A (zh) | 固态摄像元件和摄像装置 | |
JP2010268264A (ja) | 撮像素子及び撮像装置 | |
CN113676679B (zh) | 摄像装置和摄像*** | |
US20160353017A1 (en) | Electronic device and method for photographing image | |
US20180158208A1 (en) | Methods and apparatus for single-chip multispectral object detection | |
CN110235432B (zh) | 固态成像装置及其驱动方法 | |
US11928848B2 (en) | Light receiving device, solid-state imaging apparatus, electronic equipment, and information processing system | |
CN113785561B (zh) | 摄像装置 | |
TWI577971B (zh) | 雙孔徑測距系統 | |
JP2017046020A (ja) | 固体撮像装置 | |
KR102552966B1 (ko) | 휴대용 단말기 및 그 구동 방법 | |
WO2015008635A1 (ja) | 固体撮像素子及びその駆動方法、並びに電子機器 | |
JP2007282028A (ja) | 車載カメラ | |
WO2022201898A1 (ja) | 撮像素子および撮像装置 | |
WO2023021780A1 (ja) | 撮像装置、電子機器及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230809 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7331201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |