JP2016111661A - 撮像装置、物体検出装置及び移動体機器制御システム - Google Patents
撮像装置、物体検出装置及び移動体機器制御システム Download PDFInfo
- Publication number
- JP2016111661A JP2016111661A JP2015012169A JP2015012169A JP2016111661A JP 2016111661 A JP2016111661 A JP 2016111661A JP 2015012169 A JP2015012169 A JP 2015012169A JP 2015012169 A JP2015012169 A JP 2015012169A JP 2016111661 A JP2016111661 A JP 2016111661A
- Authority
- JP
- Japan
- Prior art keywords
- light
- image
- imaging
- image sensor
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 227
- 238000001514 detection method Methods 0.000 title claims description 122
- 238000005286 illumination Methods 0.000 claims abstract description 89
- 230000003287 optical effect Effects 0.000 claims abstract description 70
- 230000005540 biological transmission Effects 0.000 claims abstract description 27
- 230000010287 polarization Effects 0.000 claims description 142
- 238000000034 method Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 32
- 230000001678 irradiating effect Effects 0.000 claims description 7
- 230000005855 radiation Effects 0.000 abstract 1
- 230000003595 spectral effect Effects 0.000 description 72
- 238000010191 image analysis Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 8
- 239000000758 substrate Substances 0.000 description 8
- 230000004907 flux Effects 0.000 description 6
- 239000010426 asphalt Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000945 filler Substances 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 239000012466 permeate Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000001771 vacuum deposition Methods 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000003566 sealing material Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
- B60Q1/1415—Dimming circuits
- B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
- B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/04—Wipers or the like, e.g. scrapers
- B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
- B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
- B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
- B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
- B60S1/0833—Optical rain sensor
- B60S1/0844—Optical rain sensor including a camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
- B60Q2300/40—Indexing codes relating to other road users or special conditions
- B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
- B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
- B60R2011/0026—Windows, e.g. windscreen
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Vascular Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Geophysics And Detection Of Objects (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
Description
本発明に係る撮像装置は、車載機器制御システムに限らず、例えば、当該撮像装置で撮像した撮像画像データに基づいて検出対象物を検出する物体検出装置を利用するその他のシステムなどにも適用できる。
本車載機器制御システムは、移動体である自動車などの自車両100に搭載された撮像部により撮像した撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
撮像部200は、主に、撮像レンズ204と、光学フィルタ205と、受光素子が2次元配置された画像センサ206を含んだセンサ基板207と、センサ基板207から出力されるアナログ電気信号(画像センサ206上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部208とから構成されている。
図4は、撮像ユニット101の斜視図である。
本実施形態の光源部202は、フロントガラス105上に付着した付着物(雨滴、凍結、曇り等)を検出するための照明光を照射するものである。本実施形態の光源部202は、その光源としてのLEDを複数備えた構成となっている。このように光源を複数具備することにより、光源が1つである場合と比較して、フロントガラス105上の付着物を検出するための検出領域が広がり、フロントガラス105の付着物の検出精度が向上する。LEDの配置方法は、図3中のY方向に沿って1列又は複数列に配置することで、後述するとおり、車両前方領域の画像が映し出される画像領域の下側に映し出されるフロントガラス画像を撮像するための照明を均一化したり、検出領域を広げたりすることが可能となる。
図8は、撮像画像データの画像例を示す説明図である。
本実施形態の光学フィルタ205は、前段フィルタ210と後段フィルタ220とを光透過方向に重ね合わせた構造となっている。前段フィルタ210は、図7に示すように、撮像画像上部2/3であるフロントセンシング用画像領域213に対応する画像センサ206上のフロントセンシング用受光領域に配置される赤外光カットフィルタ領域211と、撮像画像下部1/3である付着物検出用画像領域214に対応する画像センサ206上の付着物検出用受光領域に配置される赤外光透過フィルタ領域212とに、領域分割されている。赤外光透過フィルタ領域212には、図5に示したカットフィルタや図6に示したバンドパスフィルタを用いる。
画像センサ206は、上述したようにCCDやCMOSなどを用いたイメージセンサであり、その受光素子にはフォトダイオード206Aを用いている。フォトダイオード206Aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード206Aの集光効率を上げるために、各フォトダイオード206Aの入射側にはマイクロレンズ206Bが設けられている。この画像センサ206がワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板207が形成されている。
偏光フィルタ層222と分光フィルタ層223は、フロントセンシング用画像領域213に対応する箇所に設けられ、それぞれ、第1領域及び第2領域という2種類の領域が、画像センサ206上の1つのフォトダイオード206Aに対応して配置されたものである。これにより、画像センサ206上の各フォトダイオード206Aによって受光される受光量は、受光する光が透過した偏光フィルタ層222と分光フィルタ層223の領域の種類に応じて、偏光情報や分光情報等として取得することができる。
自車両のヘッドライトの赤外光の波長帯(第一赤外帯域)と、光源部202が照明光として照射する赤外光の波長帯(第二赤外帯域)とを、互いに重複しない波長帯をもつように設定する。具体例としては、第一赤外帯域を750〜900nmとし、第二赤外帯域を900〜1000nmとする。なお、可視光帯域は400〜750nm程度である。第一赤外帯域と第二赤外帯域とを完全に重複しないように設定することが望ましいが、このように設定しても、後述するフィルタの性能上、これらの帯域を完全に選択して透過、非透過(カット)させることが困難であることから、第一赤外帯域と第二赤外帯域とが多少重複していても問題ない。
また、撮像画素bでは、光学フィルタ205の偏光フィルタ層222における鉛直偏光領域(第1領域)と分光フィルタ層223の非分光領域(第2領域)を透過した光が受光される。したがって、撮像画素bは、鉛直偏光成分Pにおける非分光Cの光P/Cを受光することになる。
また、撮像画素cでは、光学フィルタ205の偏光フィルタ層222における水平偏光領域(第2領域)と分光フィルタ層223の非分光領域(第2領域)を透過した光が受光される。したがって、撮像画素cは、水平偏光成分Sにおける非分光Cの光S/Cを受光することになる。
撮像画素dでは、光学フィルタ205の偏光フィルタ層222における鉛直偏光領域(第1領域)と分光フィルタ層223の赤色分光領域(第1領域)を透過した光が受光される。したがって、撮像画素dは、撮像画素aと同様、鉛直偏光成分Pにおける赤色波長帯Rの光P/Rを受光することになる。
以下、本実施形態におけるヘッドランプの配光制御について説明する。
本実施形態におけるヘッドランプの配光制御は、撮像部200で撮像された撮像画像データを解析して車両のテールランプとヘッドランプを識別し、識別したテールランプから先行車両を検出するとともに、識別したヘッドランプから対向車両を検出する。そして、先行車両や対向車両の運転者の目に自車両100のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両100の運転者の視界確保を実現できるように、ヘッドランプ104のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ104の部分的な遮光制御を行ったりする。
図17は、本実施形態における車両検出処理の流れを示すフローチャートである。
本実施形態の車両検出処理では、撮像部200が撮像した画像データに対して画像処理を施し、検出対象物であると思われる画像領域を抽出する。そして、その画像領域に映し出されている光源体の種類が2種類の検出対象物のいずれであるかを識別することで、先行車両、対向車両の検出を行う。
以下、本実施形態における白線検出処理について説明する。
本実施形態では、自車両が走行可能領域から逸脱するのを防止する目的で、検出対象物としての白線(区画線)を検出する処理を行う。ここでいう白線とは、実線、破線、点線、二重線等の道路を区画するあらゆる白線を含む。なお、黄色線等の白色以外の色の区画線などについても同様に検出可能である。
以下、本実施形態における雨滴検出処理について説明する。
本実施形態では、ワイパー107の駆動制御やウォッシャー液の吐出制御を行う目的で、付着物としての雨滴を検出する処理を行う。なお、ここでは、フロントガラス上に付着した付着物が雨滴である場合を例に挙げて説明するが、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきなどの付着物についても同様である。
本実施形態の雨滴検出処理では、撮像ユニット101から取得した撮像画像データの付着物検出用画像領域214の情報を用い、雨滴量が一定量を超えたと判断したらワイパー107を駆動させる。詳しくは、付着物検出用画像領域214を例えば図18に示すように画像横方向に8区分に分割し、各区分内の合計画素値IL1〜IL8を算出する。そして、いずれかの区分の合計画素値IL1〜IL8が予め決められた閾値ILthを下回ったら、雨滴量が一定量を超えたと判断してワイパー107を駆動させる。逆に、いずれかの区分の合計画素値IL1〜IL8が予め決められた閾値ILth以上になったら、ワイパー107の駆動を停止させる。なお、ワイパー107の駆動を開始させる条件や停止させる条件は、これに限らず適宜設定できる。例えば、閾値は固定値である必要はなく、撮像部200が搭載される自車両周辺の状況変化等に応じて適宜変更するようにしてもよい。また、開始条件と停止条件の閾値は同じ値でも異なる値でもよい。
図19は、従来の反射偏向プリズム230’を用いた撮像ユニットの一例の概略構成を示す説明図である。
従来は、図19に示すように、反射偏向プリズム230’から射出された照明光をそのまま撮像レンズ204に入射させる構成であった。このような構成においては、撮像レンズ204の画角範囲内(視野角の範囲内)に反射偏向プリズム230’が入り込むことになる。この場合、反射偏向プリズム230’が、車両前方の撮像領域から画像センサ206へ向かう光束の一部を遮ることになる。このとき、反射偏向プリズム230’を撮像レンズ204からなるべく離れた位置に配置すれば、反射偏向プリズム230’によって遮られてしまう光束の量を減らすことも可能である。しかしながら、反射偏向プリズム230’によって遮られる光束の量を十分に減らすには、反射偏向プリズム230’と撮像レンズ204との距離が長くなりすぎて、当該撮像ユニットの前後方向長さが大幅に長くなり、当該撮像ユニットの大型化を招く。
なお、本実施形態では、撮像レンズ204の特性により、撮像領域内の光景と画像センサ206上の像とでは天地が逆になる構成であるため、画像センサ206上では、付着物検出用受光領域が上部に位置し、フロントセンシング用受光領域が下部に位置する。
このグラフでは、横軸にフロントセンシング用画像領域213の上下方向位置をとり、縦軸に輝度値をとったものである。なお、横軸は、図中右側ほど付着物検出用画像領域214に近づく。すなわち、図中右側ほど画像下部に向かう。レンズやセンサの特性を除いて、本来であれば、フロントセンシング用画像領域213の上下方向におけるどの位置でも、輝度値は同じになるはずであるが、図21に示すグラフのとおり、グラフ右側部分において右側へ向かうほど輝度値が下がっている。これは、画像センサ206のフロントセンシング用受光領域に受光される光束のうち、反射偏向プリズム230’によって遮られる光束の量が、付着物検出用受光領域に近いほど多くなることに起因している。
すなわち、本実施形態において、撮像レンズ204の画角範囲にわたって配置されている波長フィルタ209は、光学フィルタ205の赤外光透過フィルタ領域212と同様、図5に示したカットフィルタや図6に示したバンドパスフィルタで構成される。これにより、車両前方の撮像領域から入射してくる光のうちの可視光領域の光については、波長フィルタ209を透過し、撮像レンズ204によって画像センサ206のフロントセンシング用受光領域へ集光される。一方、本実施形態の波長フィルタ209は、光源部202からの照明光と同じ波長帯である赤外波長帯の光を透過させずに反射させる。そのため、車両前方の撮像領域から入射してくる可視光が波長フィルタ209から出射する面(波長フィルタ209の内面209a)で、フロントガラス105の外壁面上の非付着箇所で反射した照明光を反射させて、その反射光を画像センサ206の付着物検出用受光領域へ入射させることができる。
(態様A)
フロントガラス105等の光透過性部材の一方の面(内壁面等)側から該光透過性部材を照明する照明光を照射する光源部202等の光照射手段と、前記光照射手段から照射された照明光が入射される被入射面232、及び、前記光透過性部材の前記一方の面に接して配置され該被入射面から入射した照明光を該一方の面へ透過させる透過面231を有する反射偏向プリズム230等の照明光案内部材と、前記光透過性部材を透過した自車両前方等の所定の撮像領域からの光を画像センサ206のフロントセンシング用受光領域等の第一受光部分で受光して該撮像領域の画像データを出力するとともに、前記光透過性部材の前記一方の面とは反対側の面(外壁面等)で反射した照明光を前記画像センサの第一受光部分に隣り合う付着物検出用受光領域等の第二受光部分で受光して該光透過性部材の画像データを出力する撮像部200等の撮像手段とを備えた撮像装置において、前記所定の撮像領域から入射した光を前記画像センサの第一受光部分へ出射させるとともに、前記光透過性部材の前記反対側の面で反射した照明光を該画像センサの第二受光部分へ出射させる波長フィルタ209等の光学部材を設けたことを特徴とする。
これによれば、このような光学部材を有することで、照明光案内部材を撮像手段の画角範囲外に配置しても、光透過性部材の前記反対側の面で反射した照明光を、画像センサの第二受光部分に受光させることが可能となる。これにより、上述したとおり、画像センサの第一受光部分に受光される撮像領域からの光は反射偏向プリズム230に遮られることがなくなる。よって、画像センサの第二受光部分に近い第一受光部分の領域で、撮像領域からの受光量が相対的に少なくなることを抑制することができる。
前記態様Aにおいて、前記光学部材は、前記光透過性部材を透過した前記所定の撮像領域からの光が前記画像センサへ受光されるまでの光路上に配置され、該所定の撮像領域から入射した光を透過して内面209a等の所定の出口面から前記画像センサの第一受光部分へ出射するとともに、前記光透過性部材の前記反対側の面で反射した照明光を該所定の出口面で反射させて該画像センサの第二受光部分へ出射するものであることを特徴とする。
これによれば、照明光案内部材の配置の自由度が高まる。
前記態様Bにおいて、前記光照射手段は、可視光波長帯から外れた赤外波長帯等の特定波長帯の照明光を照射するものであり、前記光学部材は、前記所定の撮像領域から入射する可視光波長帯の光を透過し、前記特定波長帯の光を前記所定の出口面で反射させる波長フィルタ209等の波長選択部材であることを特徴とする。
これによれば、波長の違いを利用した光学部材を簡易に実現できる。
前記態様Cにおいて、前記画像センサの第一受光部分へ入射する光路上には、可視光波長帯の光は透過させるが前記特定波長帯の光は透過させない赤外光カットフィルタ領域211等の波長フィルタが配置されていることを特徴とする。
これによれば、光学部材の出口面で反射した光照射手段からの照明光が画像センサの第一受光部分へ入射するのを抑制でき、画像センサの第一受光部分に対する外乱光を抑制することができる。
前記態様C又はDにおいて、前記画像センサの第二受光部分へ入射する光路上には、前記特定波長帯の光は透過させるが可視光波長帯の光は透過させない赤外光透過フィルタ領域212等の波長フィルタが配置されていることを特徴とする。
これによれば、光学部材を透過した撮像領域からの光が画像センサの第二受光部分へ入射するのを抑制でき、画像センサの第二受光部分に対する外乱光を抑制することができる。
前記態様B〜Eのいずれかの態様において、前記光照射手段は、水平偏光成分S等の特定偏光成分をもつ照明光を照射するものであり、前記光学部材は、前記特定偏光成分とは異なる鉛直偏光成分P等の別の偏光成分の光を透過し、該特定偏光成分の光を前記所定の出口面で反射させる偏光成分選択部材であることを特徴とする。
これによれば、偏光特性の違いを利用した光学部材を簡易に実現できる。
前記態様Fにおいて、前記画像センサの第一受光部分へ入射する光路上には、前記別の偏光成分の光は透過させるが前記特定偏光成分の光は透過させない偏光フィルタが配置されていることを特徴とする。
これによれば、光学部材の出口面で反射した光照射手段からの照明光が画像センサの第一受光部分へ入射するのを抑制でき、画像センサの第一受光部分に対する外乱光を抑制することができる。
前記態様F又はGにおいて、前記画像センサの第二受光部分へ入射する光路上には、前記特定偏光成分の光は透過させるが前記別の偏光成分の光は透過させない偏光フィルタが配置されていることを特徴とする。
これによれば、光学部材を透過した撮像領域からの光が画像センサの第二受光部分へ入射するのを抑制でき、画像センサの第二受光部分に対する外乱光を抑制することができる。
フロントガラス105等の光透過性部材の一方の面(内壁面等)側から、該光透過性部材を透過した車両前方等の撮像領域からの光を受光して該撮像領域の画像(フロントセンシング用画像領域213)を撮像するとともに、該光透過性部材の該一方の面とは反対側の面(外壁面等)の画像(付着物検出用画像領域214)を撮像する撮像ユニット101等の撮像装置と、前記撮像装置が撮像した撮像画像データに基づいて、前記撮像領域内に存在する他車両や白線等の検出対象物を検出する物体検出処理及び前記光透過性部材の前記反対側の面上に付着する雨滴等の付着物を検出する付着物検出処理を実行する画像解析ユニット102の検出処理部102A等の検出処理手段とを備えた物体検出装置であって、前記撮像装置として、前記態様A〜Hのいずれかの態様に係る撮像装置を用いることを特徴とする。
これによれば、画像センサの第一受光部分に隣接又は近接する第二受光部分で受光した受光量に基づく光透過性部材の画像(付着物検出用画像領域214等)から雨滴等の付着物を検出する場合でも、画像センサの第一受光部分のうち第二受光部分に近い領域において撮像領域からの受光量が相対的に少なくなることが抑制される。これにより、撮像領域の高精度な撮像画像データを得ることができるので、撮像領域の高精度な画像データを用いる後段の処理において、処理精度を高めることができる。
自車両100等の移動体のフロントガラス105等の窓部材の内壁面側に設置された撮像ユニット101等の撮像装置で撮像した撮像画像データに基づいて、当該移動体の外部の撮像領域内に存在する他車両や白線等の検出対象物を検出するとともに、前記窓部材の外壁面上に付着する雨滴等の付着物を検出する物体検出装置と、前記物体検出装置による検出結果に基づいて、移動体に搭載されたワイパー、ヘッドランプ、ハンドルやブレーキ等の所定の制御対象機器を制御するワイパー制御ユニット106、ヘッドランプ制御ユニット103、車両走行制御ユニット108等の移動体機器制御手段とを備えた移動体機器制御システムであって、前記物体検出装置として、前記態様Iの物体検出装置を用いることを特徴とする。
これによれば、撮像領域の高精度な画像データを用いて移動体の制御対象機器を制御できるので、移動体の機器制御を高精度に行うことが可能となる。
101 撮像ユニット
102 画像解析ユニット
102A 検出処理部
102B 光源制御部
103 ヘッドランプ制御ユニット
104 ヘッドランプ
105 フロントガラス
106 ワイパー制御ユニット
107 ワイパー
108 車両走行制御ユニット
200 撮像部
202 光源部
204 撮像レンズ
205 光学フィルタ
206 画像センサ
207 センサ基板
208 信号処理部
209 波長フィルタ
210 前段フィルタ
211 赤外光カットフィルタ領域
212 赤外光透過フィルタ領域
213 フロントセンシング用画像領域
214 付着物検出用画像領域
220 後段フィルタ
221 フィルタ基板
222 偏光フィルタ層
223 分光フィルタ層
230,230’ 反射偏向プリズム
231 透過面
232 被入射面
233 出射面
Claims (10)
- 光透過性部材の一方の面側から該光透過性部材を照明する照明光を照射する光照射手段と、
前記光照射手段から照射された照明光が入射される被入射面、及び、前記光透過性部材の前記一方の面に接して配置され該被入射面から入射した照明光を該一方の面へ透過させる透過面を有する照明光案内部材と、
前記光透過性部材を透過した所定の撮像領域からの光を画像センサの第一受光部分で受光して該撮像領域の画像データを出力するとともに、前記光透過性部材の前記一方の面とは反対側の面で反射した照明光を前記画像センサの第一受光部分に隣り合う第二受光部分で受光して該光透過性部材の画像データを出力する撮像手段とを備えた撮像装置において、
前記所定の撮像領域から入射した光を前記画像センサの第一受光部分へ出射させるとともに、前記光透過性部材の前記反対側の面で反射した照明光を該画像センサの第二受光部分へ出射させる光学部材を設けたことを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記光学部材は、前記光透過性部材を透過した前記所定の撮像領域からの光が前記画像センサへ受光されるまでの光路上に配置され、該所定の撮像領域から入射した光を透過して所定の出口面から前記画像センサの第一受光部分へ出射するとともに、前記光透過性部材の前記反対側の面で反射した照明光を該所定の出口面で反射させて該画像センサの第二受光部分へ出射するものであることを特徴とする撮像装置。 - 請求項2に記載の撮像装置において、
前記光照射手段は、可視光波長帯から外れた特定波長帯の照明光を照射するものであり、
前記光学部材は、前記所定の撮像領域から入射する可視光波長帯の光を透過し、前記特定波長帯の光を前記所定の出口面で反射させる波長選択部材であることを特徴とする撮像装置。 - 請求項3に記載の撮像装置において、
前記画像センサの第一受光部分へ入射する光路上には、可視光波長帯の光は透過させるが前記特定波長帯の光は透過させない波長フィルタが配置されていることを特徴とする撮像装置。 - 請求項3又は4に記載の撮像装置において、
前記画像センサの第二受光部分へ入射する光路上には、前記特定波長帯の光は透過させるが可視光波長帯の光は透過させない波長フィルタが配置されていることを特徴とする撮像装置。 - 請求項2乃至5のいずれか1項に記載の撮像装置において、
前記光照射手段は、特定偏光成分をもつ照明光を照射するものであり、
前記光学部材は、前記特定偏光成分とは異なる別の偏光成分の光を透過し、該特定偏光成分の光を前記所定の出口面で反射させる偏光成分選択部材であることを特徴とする撮像装置。 - 請求項6に記載の撮像装置において、
前記画像センサの第一受光部分へ入射する光路上には、前記別の偏光成分の光は透過させるが前記特定偏光成分の光は透過させない偏光フィルタが配置されていることを特徴とする撮像装置。 - 請求項6又は7に記載の撮像装置において、
前記画像センサの第二受光部分へ入射する光路上には、前記特定偏光成分の光は透過させるが前記別の偏光成分の光は透過させない偏光フィルタが配置されていることを特徴とする撮像装置。 - 光透過性部材の一方の面側から、該光透過性部材を透過した撮像領域からの光を受光して該撮像領域の画像を撮像するとともに、該光透過性部材の該一方の面とは反対側の面の画像を撮像する撮像装置と、
前記撮像装置が撮像した撮像画像データに基づいて、前記撮像領域内に存在する検出対象物を検出する物体検出処理及び前記光透過性部材の前記反対側の面上に付着する付着物を検出する付着物検出処理を実行する検出処理手段とを備えた物体検出装置であって、
前記撮像装置として、請求項1乃至8のいずれか1項に記載の撮像装置を用いることを特徴とする物体検出装置。 - 移動体の窓部材の内壁面側に設置された撮像装置で撮像した撮像画像データに基づいて、当該移動体の外部の撮像領域内に存在する検出対象物を検出するとともに、前記窓部材の外壁面上に付着する付着物を検出する物体検出装置と、
前記物体検出装置による検出結果に基づいて、移動体に搭載された所定の制御対象機器を制御する移動体機器制御手段とを備えた移動体機器制御システムであって、
前記物体検出装置として、請求項9の物体検出装置を用いることを特徴とする移動体機器制御システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/005812 WO2016084359A1 (en) | 2014-11-26 | 2015-11-20 | Imaging device, object detector and mobile device control system |
US15/515,849 US10628696B2 (en) | 2014-11-26 | 2015-11-20 | Imaging device, object detector and mobile device control system |
EP15863353.7A EP3225020A4 (en) | 2014-11-26 | 2015-11-20 | Imaging device, object detector and mobile device control system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014238793 | 2014-11-26 | ||
JP2014238793 | 2014-11-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016111661A true JP2016111661A (ja) | 2016-06-20 |
JP6468482B2 JP6468482B2 (ja) | 2019-02-13 |
Family
ID=56125054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015012169A Expired - Fee Related JP6468482B2 (ja) | 2014-11-26 | 2015-01-26 | 撮像装置、物体検出装置及び移動体機器制御システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10628696B2 (ja) |
EP (1) | EP3225020A4 (ja) |
JP (1) | JP6468482B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019082359A (ja) * | 2017-10-30 | 2019-05-30 | 国立研究開発法人宇宙航空研究開発機構 | モニタリング装置、及びモニタリングシステム |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6690955B2 (ja) * | 2016-02-02 | 2020-04-28 | 株式会社デンソーテン | 画像処理装置及び水滴除去システム |
JP6589760B2 (ja) * | 2016-07-07 | 2019-10-16 | 株式会社デンソー | 車両制御装置 |
JP2018044828A (ja) * | 2016-09-13 | 2018-03-22 | 株式会社東芝 | 物体認識方法、プログラム、および光学システム |
US10936884B2 (en) * | 2017-01-23 | 2021-03-02 | Magna Electronics Inc. | Vehicle vision system with object detection failsafe |
US10307780B2 (en) * | 2017-06-08 | 2019-06-04 | Meyer Products, Llc | Video monitoring system for a spreader hopper |
US11460550B2 (en) | 2017-09-19 | 2022-10-04 | Veoneer Us, Llc | Direct detection LiDAR system and method with synthetic doppler processing |
US11194022B2 (en) * | 2017-09-29 | 2021-12-07 | Veoneer Us, Inc. | Detection system with reflection member and offset detection array |
JP2019082615A (ja) * | 2017-10-31 | 2019-05-30 | スリーエム イノベイティブ プロパティズ カンパニー | 撮像装置 |
US11585901B2 (en) | 2017-11-15 | 2023-02-21 | Veoneer Us, Llc | Scanning lidar system and method with spatial filtering for reduction of ambient light |
JP6627127B2 (ja) * | 2017-11-27 | 2020-01-08 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
JP7081473B2 (ja) | 2018-03-02 | 2022-06-07 | 株式会社リコー | 撮像光学系、撮像システム及び撮像装置 |
EP3537399B1 (en) | 2018-03-05 | 2021-03-31 | Ricoh Company, Ltd. | Imaging optical system, imaging system, and imaging apparatus |
US10850595B2 (en) * | 2018-03-07 | 2020-12-01 | Magna Electronics Inc. | Vehicular sensing system with attenuation of reflected-refracted light off of precipitation using light polarization |
US10852503B2 (en) | 2018-03-20 | 2020-12-01 | Ricoh Company, Ltd. | Joint structure |
JP7124366B2 (ja) | 2018-03-20 | 2022-08-24 | 株式会社リコー | 撮像素子固定構造及び撮像装置 |
JP2019164303A (ja) | 2018-03-20 | 2019-09-26 | 株式会社リコー | 光学システム及び撮像装置 |
CN112189133B (zh) * | 2018-05-31 | 2023-04-18 | 株式会社Psm国际 | 长尺寸片材的质量测量方法及质量测量装置 |
DK180429B1 (en) * | 2018-11-20 | 2021-04-23 | Motional Ad Llc | Self-cleaning sensor housings |
JP7279438B2 (ja) * | 2019-03-19 | 2023-05-23 | 株式会社リコー | 撮像装置、車両及び撮像方法 |
JP7204551B2 (ja) * | 2019-03-19 | 2023-01-16 | 株式会社小糸製作所 | 車両用監視システム |
US11474218B2 (en) | 2019-07-15 | 2022-10-18 | Veoneer Us, Llc | Scanning LiDAR system and method with unitary optical element |
US11579257B2 (en) | 2019-07-15 | 2023-02-14 | Veoneer Us, Llc | Scanning LiDAR system and method with unitary optical element |
US11313969B2 (en) | 2019-10-28 | 2022-04-26 | Veoneer Us, Inc. | LiDAR homodyne transceiver using pulse-position modulation |
US11326758B1 (en) | 2021-03-12 | 2022-05-10 | Veoneer Us, Inc. | Spotlight illumination system using optical element |
US20220303515A1 (en) * | 2021-03-17 | 2022-09-22 | Mediatek Inc. | High Sensitivity Color Image Generation Using Hybrid Sensor |
US11732858B2 (en) | 2021-06-18 | 2023-08-22 | Veoneer Us, Llc | Headlight illumination system using optical element |
DE102021132724A1 (de) * | 2021-12-10 | 2023-06-15 | Valeo Schalter Und Sensoren Gmbh | Optischer fahrzeug-umgebungssensor, fahrzeug und herstellungsverfahren |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003315256A (ja) * | 2002-04-23 | 2003-11-06 | Mitsubishi Electric Corp | 透光体表面の異物検出装置 |
JP2014032174A (ja) * | 2012-07-13 | 2014-02-20 | Ricoh Co Ltd | 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1798540A3 (en) * | 2000-12-22 | 2007-07-04 | Niles Co., Ltd. | Object sensor and control apparatus using the same |
JP2012008360A (ja) | 2010-06-25 | 2012-01-12 | Nikon Corp | 付着物検出光学系及び観察装置 |
JP2012179935A (ja) * | 2011-02-28 | 2012-09-20 | Jvc Kenwood Corp | 車両用表示装置 |
JP5561333B2 (ja) * | 2011-11-02 | 2014-07-30 | 株式会社リコー | 画像処理装置、撮像方法、プログラムおよび車両 |
JP5999483B2 (ja) | 2011-11-02 | 2016-09-28 | 株式会社リコー | 付着物検出装置および車載機器制御装置 |
JP5656131B2 (ja) | 2012-02-13 | 2015-01-21 | 株式会社リコー | 撮像ユニット及びその設置方法 |
JP2014044196A (ja) | 2012-07-30 | 2014-03-13 | Ricoh Co Ltd | 付着物検出装置、移動装置用機器制御システム及び移動装置 |
EP2879919B1 (de) * | 2012-08-06 | 2018-06-20 | Conti Temic microelectronic GmbH | Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung |
KR101599731B1 (ko) * | 2014-05-30 | 2016-03-04 | 엑센도 주식회사 | 거울을 이용한 전반사형태 레인센서 |
-
2015
- 2015-01-26 JP JP2015012169A patent/JP6468482B2/ja not_active Expired - Fee Related
- 2015-11-20 EP EP15863353.7A patent/EP3225020A4/en not_active Withdrawn
- 2015-11-20 US US15/515,849 patent/US10628696B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003315256A (ja) * | 2002-04-23 | 2003-11-06 | Mitsubishi Electric Corp | 透光体表面の異物検出装置 |
JP2014032174A (ja) * | 2012-07-13 | 2014-02-20 | Ricoh Co Ltd | 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019082359A (ja) * | 2017-10-30 | 2019-05-30 | 国立研究開発法人宇宙航空研究開発機構 | モニタリング装置、及びモニタリングシステム |
JP7024996B2 (ja) | 2017-10-30 | 2022-02-24 | 国立研究開発法人宇宙航空研究開発機構 | モニタリングシステム |
Also Published As
Publication number | Publication date |
---|---|
JP6468482B2 (ja) | 2019-02-13 |
US10628696B2 (en) | 2020-04-21 |
EP3225020A4 (en) | 2017-11-08 |
US20170270381A1 (en) | 2017-09-21 |
EP3225020A1 (en) | 2017-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6468482B2 (ja) | 撮像装置、物体検出装置及び移動体機器制御システム | |
JP5846485B2 (ja) | 付着物検出装置及び付着物検出方法 | |
US9726604B2 (en) | Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices | |
JP6380843B2 (ja) | 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム | |
JP4326999B2 (ja) | 画像処理システム | |
JP4327024B2 (ja) | 画像処理システム | |
JP5936098B2 (ja) | 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ | |
JP2013029451A (ja) | 付着物検出装置及び付着物検出方法 | |
JP2013031054A (ja) | 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法 | |
JP5656131B2 (ja) | 撮像ユニット及びその設置方法 | |
JP6555569B2 (ja) | 画像処理装置、移動体機器制御システム及び画像処理用プログラム | |
JP5858327B2 (ja) | 撮像装置及びこれを備えた物体検出装置並びに偏光フィルタ | |
WO2016084359A1 (en) | Imaging device, object detector and mobile device control system | |
JP5839253B2 (ja) | 物体検出装置及びこれを備えた車載機器制御装置 | |
JP2016146583A (ja) | 撮像装置、移動体機器制御システム及びプログラム | |
JP2016200528A (ja) | 物体検出装置、移動体機器制御システム及び物体検出用プログラム | |
JP2015031564A (ja) | 付着物検出装置及び移動装置用機器制御システム | |
JP6701542B2 (ja) | 検出装置、移動体機器制御システム及び検出用プログラム | |
JP2017003531A (ja) | 物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム | |
JP2015169567A (ja) | 付着物検出装置、移動体機器制御システム及び付着物検出用プログラム | |
JP6536946B2 (ja) | 撮像装置、撮像方法、プログラムおよび移動体機器制御システム | |
JP5891723B2 (ja) | 撮像方法および撮像ユニット | |
JP2014232026A (ja) | 付着物検出装置、移動体機器制御システム及び移動体 | |
JP2016218046A (ja) | 物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム | |
JP6566308B2 (ja) | 付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190103 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6468482 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |