JP2014074708A - Image processor, object detection method, and object detection program - Google Patents
Image processor, object detection method, and object detection program Download PDFInfo
- Publication number
- JP2014074708A JP2014074708A JP2013051981A JP2013051981A JP2014074708A JP 2014074708 A JP2014074708 A JP 2014074708A JP 2013051981 A JP2013051981 A JP 2013051981A JP 2013051981 A JP2013051981 A JP 2013051981A JP 2014074708 A JP2014074708 A JP 2014074708A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- raindrop
- distance
- affected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/95—Lidar systems specially adapted for specific applications for meteorological use
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/493—Extracting wanted echo signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
Description
この発明は、検知エリアに照射した光の反射光を受光することによって撮像した、この検知エリアの距離画像を処理して、検知エリア内に位置するオブジェクトの検出を行う技術に関する。 The present invention relates to a technique for detecting an object located in a detection area by processing a distance image of the detection area, which is picked up by receiving reflected light of light irradiated to the detection area.
従来、鉄道会社では、乗降客が駅ホームから線路内に落ちるのを防止するために、駅ホームの側端部に沿って落下防止柵を設置することを進めている。この落下防止柵は、駅ホームに停車している列車に乗降する乗降客の通路を確保する必用がある。 Conventionally, in order to prevent passengers from falling from the station platform into the track, railway companies have been proceeding with installation of fall prevention fences along the side edges of the station platform. This fall prevention fence needs to secure a passage for passengers to get on and off the train stopped at the station platform.
落下防止柵としては、駅ホームに停車した列車のドア（車両ドア）に対向する位置に、水平方向にスライドして開閉するスライドドアを設けたもの（特許文献１参照）や、入出口の両側に固定支柱を立設し、この固定支柱に対して上下方向にスライド自在に取り付けた可動支柱間に、上下方向に並べて水平方向に掛け渡した複数本の制止バーを設けたもの（特許文献２参照）等がある。 As a fall prevention fence, a slide door that slides horizontally and opens and closes at a position facing a train door (vehicle door) stopped at a station platform (see Patent Document 1), or both sides of an entrance / exit A fixed column is erected on the fixed column, and a plurality of stop bars are provided between the movable columns that are slidable in the vertical direction with respect to the fixed column. See).
落下防止柵は、列車が駅ホームに停車した後に、乗降客の通路を確保するために一時的に開される。列車は、乗降客の乗降が完了し、落下防止柵が閉された後に発車する。列車の発車時における安全性を確保するため、この列車と、落下防止柵と、の間に位置する物体の有無をセンサ等で検出している。具体的には、駅ホームに停車している列車に対する乗降客の乗降が完了し、この列車のドア、および落下防止柵を閉した後に、列車と、落下防止柵と、の間に位置する物体が検出されると、列車を発車させずに、駅係員等に確認させている。 The fall prevention fence is temporarily opened to secure a passage for passengers after the train stops at the station platform. The train departs after passengers get on and off and the fall prevention fence is closed. In order to ensure safety when the train departs, the presence or absence of an object located between the train and the fall prevention fence is detected by a sensor or the like. Specifically, an object located between the train and the fall prevention fence after passengers getting on and off the train stopped at the station platform is closed and the door of the train and the fall prevention fence are closed. When is detected, the station staff or the like is confirmed without starting the train.
この列車と、落下防止柵と、の間に位置する物体を検出するセンサは、物体の有無を検出することができない死角が生じるのを防止する観点から、透過型や反射型の光電センサを用いる構成よりも、画像センサを用いる構成が一般的である。 As a sensor for detecting an object located between the train and the fall prevention fence, a transmission type or a reflection type photoelectric sensor is used from the viewpoint of preventing a blind spot where the presence or absence of the object cannot be detected. A configuration using an image sensor is more common than a configuration.
しかしながら、画像センサを用いた構成では、降雨時に、雨滴の影響を受けた画素（雨滴影響画素）が発生することがある。雨滴影響画素の出力は、ノイズである。したがって、雨滴影響画素が多くなるにつれて、物体が誤検出される可能性が高くなる（実際には、物体が存在していないのに、物体が検出される可能性が高くなる。）。 However, in a configuration using an image sensor, a pixel affected by raindrops (raindrop effect pixel) may occur during rain. The output of the raindrop-affected pixels is noise. Therefore, as the number of raindrop-affected pixels increases, the possibility that an object is erroneously detected increases (in fact, the possibility that an object is detected even though no object exists) increases.
列車の運転手は、列車と、落下防止柵と、の間に位置する物体が検出されると、駅係員等が安全を確認するまで、列車を発車させない。したがって、降雨時に、ノイズである雨滴影響画素の出力によって、列車と落下防止柵との間に位置する物体（実際には存在していない物体）が誤検出されると、駅での列車の停車時間が無駄に長くなり、ダイヤを乱すことになる。また、安全確認を行う、駅係員の作業負担を増大させることになる。 When an object located between the train and the fall prevention fence is detected, the train driver does not start the train until the station staff or the like confirms safety. Therefore, if an object (an object that does not actually exist) located between the train and the fall prevention fence is erroneously detected during the rain due to the output of the raindrop influence pixel that is noise, the train stops at the station. Time is wasted and disturbed. Moreover, the work burden of the station staff who confirms safety will be increased.
この発明の目的は、降雨時に、雨滴の影響を受けた雨滴影響画素の発生にともなうオブジェクトの誤検出を十分に抑えることができる技術を提供することにある。 An object of the present invention is to provide a technique capable of sufficiently suppressing erroneous detection of an object due to the generation of raindrop-affected pixels affected by raindrops during rain.
この発明の画像処理装置は、上記課題を解決し、その目的を達するために、以下のように構成している。 The image processing apparatus of the present invention is configured as follows in order to solve the above-described problems and achieve the object.
画像取得部は、撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する。 The image acquisition unit acquires, as a pair of captured images, a distance image of the detection area and a received light intensity image captured by the imaging device irradiating the detection area with light and receiving the reflected light.
なお、画像取得部は、少なくとも検知エリアの距離画像を取得する構成であればよい。 In addition, the image acquisition part should just be the structure which acquires the distance image of a detection area at least.
撮像装置は、例えば、公知のＴＯＦ（Time Of Flight）カメラを用いてもよいし、レーザ光を照射する光源、反射光を受光する受光素子、および検知エリア内において光源から照射されたレーザ光を走査する走査部を有する構成としてもよい。撮像装置は、検知エリアの距離画像、および受光強度画像が同じタイミングで撮像できる構成であればよい。 For example, a known TOF (Time Of Flight) camera may be used as the imaging device, a light source that emits laser light, a light receiving element that receives reflected light, and laser light emitted from the light source in the detection area. It is good also as a structure which has the scanning part to scan. The imaging device may be configured so that the distance image of the detection area and the received light intensity image can be captured at the same timing.
なお、ＴＯＦカメラは単眼で距離画像を得ることができ、ステレオ画像処理方式に比べて低コストで小型化できる点で注目されている。 Note that the TOF camera can obtain a distance image with a single eye, and has attracted attention because it can be downsized at a lower cost than a stereo image processing system.
また、画像取得部は、少なくとも検知エリアの距離画像を取得する（受光強度画像を取得しない）構成であればよい。この場合、撮像装置は、検知エリアの距離画像が撮像できる構成であればよい。 Moreover, the image acquisition part should just be the structure which acquires the distance image of a detection area at least (it does not acquire a received light intensity image). In this case, the imaging device may be configured to capture a distance image of the detection area.
雨滴影響画素判定部は、画像取得部が一対の撮像画像として取得した距離画像、および受光強度画像の各画素について、その画素において取得した距離や受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する。雨滴影響画素には、例えば雨滴からの反射光を検知した雨画素や、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素（撮像レンズに付着している雨滴を透過した反射光を受光した画素）がある。 The raindrop-affected pixel determination unit uses a distance image acquired by the image acquisition unit as a pair of captured images and each pixel of the received light intensity image, and the raindrop affected by the raindrop using the distance and received light intensity acquired at that pixel. It is determined whether the pixel is an influence pixel. The raindrop-affected pixels receive, for example, rain pixels that have detected reflected light from raindrops, or raindrop-attached pixels that have been affected by raindrops attached to the imaging lens (reflected light that has passed through the raindrops that have adhered to the imaging lens). Pixel).
なお、この発明で言う画素とは、撮像素子の１つの受光素子（１ピクセル）であってもよいし、隣接する複数の受光素子（例えば、縦横２ずつの受光素子（２×２ピクセル））で構成されるブロックであってもよい。この発明の画像処理装置は、距離画像や受光強度画像を、ここで言う画素単位で処理する（受光素子単位で処理するとは限らない。）。 The pixel referred to in the present invention may be one light receiving element (1 pixel) of the image pickup element, or a plurality of adjacent light receiving elements (for example, two light receiving elements (2 × 2 pixels) in the vertical and horizontal directions). The block comprised by may be sufficient. The image processing apparatus according to the present invention processes the distance image and the received light intensity image in units of pixels referred to herein (not necessarily in units of light receiving elements).
降雨時に検出される雨滴からの反射光は、比較的近い位置で反射されている。また、雨滴の反射率を考慮し、その反射率が大きく異なる受光強度の反射光については、雨滴で反射された反射光ではなく、オブジェクトで反射された反射光である可能性が高い。したがって、その画素において取得した距離や受光強度を用いて、雨滴からの反射光を検知した雨画素であるかどうかを判定することにより、その判定精度を向上できる。 Reflected light from raindrops detected during rainfall is reflected at a relatively close position. Considering the reflectance of raindrops, the reflected light having a light reception intensity greatly different from that of the raindrops is not likely to be reflected by raindrops but is likely to be reflected light reflected by an object. Therefore, the determination accuracy can be improved by determining whether or not the pixel is a rain pixel in which reflected light from the raindrop is detected using the distance and the received light intensity acquired in the pixel.
また、本願の発明者は、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素について、距離や受光強度の傾向を実験により確認した。雨滴付着画素は、受光強度が低下することを確認した。雨滴付着画素の多くは、受光光量の低下量がある範囲に収まることを確認した。これは、撮像レンズに付着している雨滴の透過にともなう反射光量の減衰により生じた現象であると考えられる。また、雨滴付着画素の多くは、距離の変化がある範囲に収まることを確認した。これは、撮像レンズに付着している雨滴の透過時に反射光が屈折し、この反射光を受光する画素が、隣接する画素や近辺の画素にずれることにより生じた現象であると考えられる。 Further, the inventor of the present application has confirmed the tendency of distance and received light intensity by experiment for raindrop-attached pixels affected by raindrops attached to the imaging lens. It was confirmed that the received light intensity of the raindrop adhesion pixel was lowered. It was confirmed that most of the raindrop-attached pixels were within a certain range. This is considered to be a phenomenon caused by attenuation of the amount of reflected light accompanying transmission of raindrops attached to the imaging lens. In addition, it was confirmed that most of the raindrop adhesion pixels are within a range where the distance changes. This is considered to be a phenomenon that occurs when reflected light is refracted during the transmission of raindrops attached to the imaging lens, and pixels that receive the reflected light shift to adjacent pixels or neighboring pixels.
したがって、雨滴付着画素について実験により確認した、上述の距離や受光強度の傾向に基づき、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素であるかどうかを判定することにより、その判定精度を向上できる。 Therefore, by determining whether or not the pixel is a raindrop-attached pixel affected by the raindrop attached to the imaging lens based on the above-described tendency of the distance and the received light intensity confirmed by the experiment on the raindrop-attached pixel, the determination accuracy is increased. It can be improved.
なお、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素における距離の変化、および受光強度の変化の傾向は、画像取得部の特性や撮像環境等の要因によって異なると考えられるので、本装置の設置時に、これらの傾向を確認し、雨滴付着画素であるかどうかを判定する判定基準を設定するのが好ましい。 It should be noted that the tendency of the change in distance and the change in the received light intensity in the raindrop-attached pixels affected by the raindrops attached to the imaging lens is considered to vary depending on factors such as the characteristics of the image acquisition unit and the imaging environment. It is preferable to set a determination criterion for determining whether the pixel is a raindrop-attached pixel by confirming these tendencies at the time of installation.
また、雨滴影響画素であるかどうかの判定は、その画素において取得した距離または受光強度の一方を用いて行うこともできるが、判定精度を十分に確保するには、距離および受光強度の両方を用いるのが好ましい。言い換えれば、画像取得部は、検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する構成とするのが好ましい（撮像装置は、検知エリアの距離画像、および受光強度画像が同じタイミングで撮像できる構成であるのが好ましい。）。 In addition, whether or not the pixel is a raindrop-affected pixel can be determined using one of the distance and the received light intensity acquired in the pixel. However, in order to ensure sufficient determination accuracy, both the distance and the received light intensity are set. It is preferable to use it. In other words, the image acquisition unit is preferably configured to acquire the distance image of the detection area and the received light intensity image as a pair of captured images (the imaging device has the same timing for the distance image of the detection area and the received light intensity image). It is preferable that the image can be captured with a
オブジェクト検出部は、雨滴影響画素判定部の判定結果を用いて、検知用距離画像を処理し、この検知用距離画像に撮像されているオブジェクトを検出する。オブジェクト検出部は、雨滴影響画素を、オブジェクトからの反射光を検知した画素としないことで、ノイズである雨滴影響画素の影響を受けることなく、検知エリア内に位置するオブジェクトを検出することができる。すなわち、降雨時に、雨滴の影響を受けた雨滴影響画素の発生にともなうオブジェクトの誤検出を十分に抑えることができる
また、基準画像記憶部が、検知エリアの基準距離画像、および基準受光強度画像を一対の基準画像として記憶する構成としてもよい。この場合、雨滴影響画素判定部は、撮像装置が撮像し、画像取得部が取得した距離画像、および受光強度画像を一対の検知用画像とし、各画素について雨滴影響画素であるかどうかを判定し、オブジェクト検出部は、基準距離画像と、検知用画像の距離画像と、の差画像を生成し、撮像されているオブジェクトを検出するように構成すればよい。
The object detection unit processes the detection distance image using the determination result of the raindrop-affected pixel determination unit, and detects an object imaged in the detection distance image. The object detection unit can detect an object located in the detection area without being affected by the raindrop-affected pixels that are noise by not using the raindrop-affected pixels as pixels that have detected reflected light from the object. . That is, it is possible to sufficiently suppress erroneous detection of an object due to the occurrence of raindrop-affected pixels affected by raindrops during rainfall. Further, the reference image storage unit stores the reference distance image and the reference light intensity image of the detection area. It is good also as a structure memorize | stored as a pair of reference | standard image. In this case, the raindrop-affected pixel determination unit determines whether each pixel is a raindrop-affected pixel by using the distance image and the received light intensity image acquired by the imaging device and acquired by the image acquisition unit as a pair of detection images. The object detection unit may be configured to generate a difference image between the reference distance image and the distance image of the detection image and detect the imaged object.
これにより、検知エリア内に位置する構造物（支柱や壁等）や、検知エリア内に停車している列車や自動車等を、検知エリア内の背景とし、これらをオブジェクトとして検出することがない。 As a result, structures (posts, walls, etc.) located in the detection area, trains, cars, etc. that are stopped in the detection area are used as the background in the detection area, and these are not detected as objects.
また、雨滴影響画素判定部は、各画素について、基準受光強度画像と検知用画像の受光強度画像とにおける当該画素の受光強度を用いて算出した受光強度の差と、に基づき、雨滴からの反射光を検知した雨画素であるかどうかを判定する、構成としてもよい。 In addition, the raindrop-affected pixel determination unit, for each pixel, reflects from the raindrop based on the difference in the received light intensity calculated using the received light intensity of the pixel in the reference received light intensity image and the received light intensity image of the detection image. It is good also as a structure which determines whether it is the rain pixel which detected light.
さらには、雨滴影響画素判定部は、各画素について、検知用画像の距離画像における当該画素において取得した距離と、基準受光強度画像と検知用画像の受光強度画像とにおける当該画素の受光強度を用いて算出した受光強度の差と、に基づき、雨滴からの反射光を検知した雨画素であるかどうかを判定する、構成としてもよい。 Furthermore, the raindrop-affected pixel determination unit uses, for each pixel, the distance acquired in the pixel in the distance image of the detection image and the light reception intensity of the pixel in the reference light reception intensity image and the light reception intensity image of the detection image. Based on the difference in the received light intensity calculated in the above, it may be configured to determine whether or not the pixel is a rain pixel in which reflected light from the raindrop is detected.
雨滴の反射率は、その雨滴の後方に位置する物体（背景を含む）の反射率によって変化する。したがって、基準受光強度画像と検知用画像の受光強度画像とにおける当該画素の受光強度を用いて算出した受光強度の差を用いることで、雨滴からの反射光を検知した雨画素であるかどうかの判定が、雨滴の後方に位置する物体（背景を含む）の反射率を考慮して行える。したがって、雨滴からの反射光を検知した雨画素であるかどうかの判定精度を一層向上でき、その結果、検知エリア内に位置するオブジェクトの検出精度の一層の向上が図れる。 The reflectance of raindrops varies depending on the reflectance of an object (including the background) located behind the raindrop. Therefore, by using the difference in the received light intensity calculated by using the received light intensity of the pixel in the reference received light intensity image and the received light intensity image of the detection image, it is determined whether the pixel is a rain pixel in which reflected light from the raindrop is detected. The determination can be made in consideration of the reflectance of an object (including the background) located behind the raindrop. Accordingly, it is possible to further improve the accuracy of determining whether or not the pixel is a rain pixel that has detected reflected light from raindrops, and as a result, it is possible to further improve the accuracy of detecting an object located in the detection area.
また、上述したように、雨滴付着画素の多くは、受光光量の低下量がある範囲に収まること、および距離の変化がある範囲に収まることを確認した。 Further, as described above, it has been confirmed that most of the raindrop adhesion pixels are within a range where the amount of decrease in received light amount is within a certain range and within a range where there is a change in distance.
したがって、基準受光強度画像と検知用画像の受光強度画像とにおける当該画素の受光強度を用いて算出した受光強度の差が、設定した範囲内（受光光量の低下量が収まる範囲内）である画素を、雨滴付着画素と判定することにより、雨滴付着画素の判定精度を向上でき、その結果、検知エリア内に位置するオブジェクトの検出精度の一層の向上が図れる。 Therefore, a pixel in which the difference in received light intensity calculated using the received light intensity of the pixel between the reference received light intensity image and the received light intensity image of the detection image is within a set range (within a range in which the amount of decrease in received light amount falls). Is determined as a raindrop-attached pixel, the determination accuracy of the raindrop-attached pixel can be improved, and as a result, the detection accuracy of an object located in the detection area can be further improved.
また、基準受光強度画像と検知用画像の受光強度画像とにおける当該画素の距離の差が、設定した範囲内（距離の変化が収まる範囲内）である画素を、雨滴付着画素と判定することにより、雨滴付着画素の判定精度を向上でき、その結果、検知エリア内に位置するオブジェクトの検出精度の一層の向上が図れる。 In addition, by determining a pixel in which the difference in the distance between the reference light intensity image and the light intensity image of the detection image is within a set range (within a range in which the change in distance is within) as a raindrop adhesion pixel Therefore, it is possible to improve the determination accuracy of the raindrop adhesion pixels, and as a result, it is possible to further improve the detection accuracy of the object located in the detection area.
なお、雨滴付着画素であるかどうかの判定は、距離の差、または受光強度の差の一方を用いて行ってもよいが、距離の差、および受光強度の差の両方を用いて判定するのが好ましい。 Whether or not the pixel is a raindrop-attached pixel may be determined using either the difference in distance or the difference in received light intensity, but is determined using both the difference in distance or the difference in received light intensity. Is preferred.
また、基準画像生成部が、予め定めた基準画像取得タイミングで撮像装置が撮像し、画像取得部が取得した１、または複数フレーム分の距離画像、および受光強度画像を基に基準距離画像、および基準受光強度画像を一対の基準画像として生成する、構成としてもよい。 In addition, the reference image generation unit captures the reference distance image based on the distance image for one or a plurality of frames and the received light intensity image captured by the imaging device at a predetermined reference image acquisition timing and acquired by the image acquisition unit, and A configuration may be used in which the reference received light intensity image is generated as a pair of reference images.
特に、複数フレーム分の距離画像、および受光強度画像を基に基準画像を生成することで、この基準画像に含まれるノイズを抑えることができ、その結果、検知エリア内に位置するオブジェクトの検出精度の一層の向上が図れる。 In particular, by generating a reference image based on multiple frames of distance images and received light intensity images, noise contained in this reference image can be suppressed, and as a result, detection accuracy of objects located within the detection area Can be further improved.
また、雨滴影響画素判定部が雨滴影響画素であると判定した画素数に基づいて、降雨状態であるかどうかを判定する降雨状態判定部を備えてもよい。 Moreover, you may provide the rainfall state determination part which determines whether it is a rainy state based on the pixel number which the raindrop influence pixel determination part determined to be a raindrop influence pixel.
このようにすれば、降雨状態であるかどうかを判定した判定結果に基づいて、オブジェクト検出部におけるオブジェクトの検出処理の切り替え等が行える。 In this way, it is possible to switch the object detection process in the object detection unit based on the determination result of determining whether or not it is raining.
例えば、オブジェクト検出部を、降雨状態判定部が降雨状態であると判定した場合、検出するオブジェクトのサイズを、降雨状態判定部が降雨状態でないと判定した場合よりも大きくする構成にすればよい。このようにすれば、降雨時に、雨滴影響画素がある程度集中しても、オブジェクトの誤検出を十分に抑えることができる。 For example, the object detection unit may be configured such that when the rain state determination unit determines that it is raining, the size of the object to be detected is larger than when the rain state determination unit determines that it is not raining. In this way, erroneous detection of an object can be sufficiently suppressed even if raindrop-affected pixels are concentrated to some extent during rainfall.
また、オブジェクト検出部は、検出するオブジェクトのサイズを、雨滴影響画素判定部が雨滴影響画素であると判定した画素数、すなわち降雨量、に応じて決定するようにしてもよい。雨滴影響画素の画素数は、降雨量が多くなるにつれて、多くなる。したがって、降雨量が比較的多いときに、ノイズである雨滴影響画素を、検知エリア内に位置するオブジェクトとして誤検出するのを防止できるだけでなく、降雨量が比較的少ないときに、オブジェクトからの反射光を検知した隣接する複数の画素を、雨滴影響画素であると誤判定し、その結果、検知エリア内に位置するオブジェクトを見逃すような事態の発生も抑えられる。 Further, the object detection unit may determine the size of the object to be detected according to the number of pixels that the raindrop influence pixel determination unit has determined to be raindrop influence pixels, that is, the amount of rainfall. The number of raindrop-affected pixels increases as the amount of rainfall increases. Therefore, not only is it possible to prevent erroneous detection of raindrop-affected pixels, which are noise, as an object located within the detection area when the rainfall is relatively high, but also the reflection from the object when the rainfall is relatively low. A plurality of adjacent pixels that have detected light are erroneously determined to be raindrop-affected pixels, and as a result, occurrence of a situation in which an object located in the detection area is missed can be suppressed.
また、この発明にかかるオブジェクト検出方法は、上述の画像取得部、雨滴画素判定部、およびオブジェクト検出部の構成に相当する処理をコンピュータに実行させる発明である。 The object detection method according to the present invention is an invention that causes a computer to execute processes corresponding to the configurations of the image acquisition unit, the raindrop pixel determination unit, and the object detection unit described above.
さらに、この発明にかかるオブジェクト検出プログラムは、コンピュータにインストールすることで、上述の画像取得部、雨滴画素判定部、およびオブジェクト検出部の構成に相当する処理を、このコンピュータに実行させる発明である。 Furthermore, the object detection program according to the present invention is an invention that, when installed in a computer, causes the computer to execute processes corresponding to the configurations of the above-described image acquisition unit, raindrop pixel determination unit, and object detection unit.
この発明によれば、降雨時に、雨滴の影響を受けた雨滴影響画素の発生にともなうオブジェクトの誤検出を十分に抑えることができる。 According to the present invention, it is possible to sufficiently suppress erroneous detection of an object due to the generation of raindrop-affected pixels that are affected by raindrops during rainfall.
以下、この発明の実施形態である画像処理装置について説明する。 Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described.
この例にかかる画像処理装置は、乗降客が駅ホームから線路内に落ちるのを防止するために、駅ホームの側端部に沿って設置している落下防止柵と、列車と、の間の空間を検知エリアとしたものである。画像処理装置は、この検知エリア内に位置するオブジェクトを検出する。 The image processing apparatus according to this example has a fall prevention fence installed along the side edge of the station platform between the train and the train to prevent passengers from falling from the station platform into the track. The space is the detection area. The image processing apparatus detects an object located in this detection area.
まず、駅ホームの側端部に沿って設置している落下防止柵について簡単に説明しておく。 First, the fall prevention fence installed along the side edge part of the station platform will be briefly described.
図１は、落下防止柵が設置されている駅ホームを示す概略図である。図１（Ａ）は、駅ホームの俯瞰図であり、図１（Ｂ）は、線路側から駅ホームを見た平面図である。落下防止柵は、戸袋として機能する筐体１と、この筐体１に対してスライド自在に取り付けたスライドドア２を有する。図１は、スライドドア２を閉している状態を示している。スライドドア２は、設置している駅ホームに停車する列車の各ドアが対向する位置に設けている。スライドドア２は、開したときに、筐体１内（戸袋）に収納される。スライドドア２は、図１において、左右方向にスライドする。
FIG. 1 is a schematic diagram showing a station platform where a fall prevention fence is installed. FIG. 1A is an overhead view of the station platform, and FIG. 1B is a plan view of the station platform viewed from the track side. The fall prevention fence includes a
この例にかかる画像処理装置がオブジェクトを検出する検知エリアは、スライドドア２が設けられている位置における、落下防止柵と線路との間である。この例では、画像処理装置は各スライドドア２に設けている。
The detection area where the image processing apparatus according to this example detects an object is between the fall prevention fence and the track at the position where the
なお、ここでは、落下防止柵として、上述した特許文献１に示されているものを例示しているが、上述した特許文献２に示されているものであってもよい。
In addition, although the thing shown by the
図２は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。画像処理装置１０は、制御部１１と、画像センサ部１２と、画像処理部１３と、出力部１４と、を備えている。この画像処理装置１０は、ハードウェアとして上述の構成を有するパーソナルコンピュータ等の情報処理装置を利用することができる。ハードウェアとして利用する情報処理装置は、この発明で言うオブジェクト検出プログラムをインストールすることで、後述する処理（図５、図６、図７、および図１１に示すフローチャートにかかる処理）を実行する。
FIG. 2 is a block diagram showing the configuration of the main part of the image processing apparatus according to this example. The image processing apparatus 10 includes a
制御部１１は、画像処理装置１０本体各部の動作を制御する。
The
画像センサ部１２は、赤外光を検知エリアに照射し、その反射光を受光することにより検知エリアの距離画像、および受光強度画像を撮像するＴＯＦ（Time Of Flight）カメラを有する。このＴＯＦカメラが、この発明で言う撮像装置に相当する。
The
ＴＯＦカメラは、検知エリア（撮像エリア）に赤外光を照射する光源、およびｎ×ｍ個の受光素子をマトリクス状に配置した撮像素子（ｎ×ｍ画素の撮像素子）を有する。ＴＯＦカメラは、赤外光を検知エリアに照射してから、反射光を受光するまでの時間（飛行時間）を画素毎に計測する。ＴＯＦカメラは、検知エリアに照射した光と、受光した反射光と、の位相差を計測することによって、オブジェクト（光反射した対象物体の反射面）までの距離を得る。 The TOF camera has a light source that irradiates infrared light to a detection area (imaging area) and an imaging element (n × m pixel imaging element) in which n × m light receiving elements are arranged in a matrix. The TOF camera measures the time (flight time) from irradiating infrared light to a detection area until receiving reflected light for each pixel. The TOF camera obtains the distance to the object (the reflection surface of the light-reflected target object) by measuring the phase difference between the light applied to the detection area and the received reflected light.
オブジェクトまでの距離を求める既知の原理を説明すると、光源から照射される光は、発光強度が変調されたものを用いる。検知エリアからの反射光を受光する際に伝播距離に応じて変調位相がずれる。光源からの光の一部を受光素子の一部で直接受光することで照射光の位相をモニタし、反射光として受光した光の位相とのズレを求める。位相ずれを求める既知の原理は、図３（Ａ）に示すように、照射光の変調周期Ｔに対してＴ／２期間ごとにサンプリングした受光信号（Ａ０、Ａ２）と、さらに図３（Ｂ）に示すように、Ｔ／４ずらしたタイミングでサンプリングした受光信号（Ａ１，Ａ３）と、に基づいて伝播距離によって位相のずれ量φを算出する。位相のずれ量φは、
φ＝arctan{（Ａ３−Ａ１）／（Ａ０−Ａ２）}
により算出できる。
Explaining the known principle for obtaining the distance to the object, the light emitted from the light source uses light whose intensity is modulated. When the reflected light from the detection area is received, the modulation phase is shifted according to the propagation distance. The phase of the irradiated light is monitored by directly receiving a part of the light from the light source by a part of the light receiving element, and the deviation from the phase of the light received as the reflected light is obtained. As shown in FIG. 3A, the known principle for obtaining the phase shift is the received light signal (A0, A2) sampled every T / 2 period with respect to the modulation period T of the irradiation light, and further FIG. ), The phase shift amount φ is calculated based on the propagation distance based on the received light signals (A1, A3) sampled at the timing shifted by T / 4. The amount of phase shift φ is
φ = arctan {(A3-A1) / (A0-A2)}
Can be calculated.
また、ここで求めた位相のずれφからオブジェクトまでの距離Ｄを求めることができる。オブジェクトまでの距離Ｄは、
Ｄ＝Ｌｍａｘ×φ／２π
により算出できる。ここでＬｍａｘはφ＝２πとなるときの物体までの距離（測定最大距離）であり、変調周波数が２０ＭＨｚであればＬｍａｘは７．５ｍ、１０ＭＨｚであれば１５ｍとなる。
Further, the distance D from the phase shift φ obtained here to the object can be obtained. The distance D to the object is
D = Lmax × φ / 2π
Can be calculated. Here, Lmax is the distance to the object when φ = 2π (maximum measurement distance), and Lmax is 7.5 m if the modulation frequency is 20 MHz and 15 m if 10 MHz.
なお、撮像素子における説明をすると、隣接する縦横それぞれ２つずつ（合計４つ）の受光素子（４ピクセル）を１組とし、これを１画素として扱う。各受光素子（ピクセル）は、Ｔ／４期間ごとずらしたサンプリングタイミングで光電変換された電荷を蓄積する。これにより、Ｔ／４期間ごとの蓄積電荷に基づいて、前述のＡ０，Ａ１，Ａ２，Ａ３の受光信号を得ることができる。また、他の既知技術として、２つの受光素子を１画素として扱い、前述のＡ０〜Ａ３の受光信号を得る方式もある。 In the description of the image pickup element, two adjacent light receiving elements (four pixels in total) are arranged as one set, and this is handled as one pixel. Each light receiving element (pixel) accumulates the photoelectrically converted charge at the sampling timing shifted every T / 4 period. As a result, the light receiving signals A0, A1, A2, and A3 described above can be obtained based on the accumulated charge for each T / 4 period. As another known technique, there is a method in which two light receiving elements are treated as one pixel and the above-described light receiving signals A0 to A3 are obtained.
ここでいう「画素」とは、上述したように、位相のずれまたは距離を求めてオブジェクトを検知するために画像処理を行うときの単位となる受光素子（ピクセル）のブロックであり、撮像素子の１つの受光素子（１ピクセル）であってもよいし、隣接する複数の受光素子（例えば、縦横２ずつの受光素子（２×２ピクセル））で構成されるブロックであってもよい。この発明の画像処理装置は、距離画像や受光強度画像を、ここで言う画素単位で処理する（受光素子単位で処理するとは限らない。）。 As described above, the “pixel” is a block of light receiving elements (pixels), which is a unit when performing image processing to detect an object by obtaining a phase shift or distance, and It may be a single light receiving element (1 pixel) or a block composed of a plurality of adjacent light receiving elements (for example, two light receiving elements (2 × 2 pixels) vertically and horizontally). The image processing apparatus according to the present invention processes the distance image and the received light intensity image in units of pixels referred to herein (not necessarily in units of light receiving elements).
ＴＯＦカメラにおける実際の画像処理においては、前述の照射光の変調の１周期だけの受光電荷では量的に少なすぎるので、カメラの露光時間を適宜設定し、その期間に蓄積された電荷量を用いて位相のずれを算出し、オブジェクトまでの距離を求める。これで求めた画素（上述したように、画像処理をするうえで単位となるブロックの意味である。）毎の距離情報を全て集めることにより、画素毎に反射面までの距離を対応付けた距離画像を取得する。また、ＴＯＦカメラは、画素毎に所定期間分（複数周期分）の蓄積電荷を全て集めることにより、画素毎にその画素が受光した反射光の強度（反射光量）を対応付けた受光強度画像を取得する。ＴＯＦカメラは、同じ露光タイミング（露光期間)で撮像した検知エリアの距離画像、および受光強度画像を得ることができる。 In actual image processing in a TOF camera, the amount of light received for one period of the above-described modulation of irradiation light is too small in quantity, so the exposure time of the camera is set appropriately and the amount of charge accumulated during that period is used. The phase shift is calculated to find the distance to the object. The distance obtained by associating the distance to the reflecting surface for each pixel by collecting all the distance information for each pixel (meaning a block as a unit for image processing as described above). Get an image. In addition, the TOF camera collects all accumulated charges for a predetermined period (for a plurality of cycles) for each pixel, thereby obtaining a received light intensity image in which the intensity of the reflected light (reflected light amount) received by the pixel is associated with each pixel. get. The TOF camera can obtain a distance image of the detection area and a received light intensity image captured at the same exposure timing (exposure period).
なお、上述のＴＯＦカメラにかえて、レーザ光を照射する光源、反射光を受光する受光素子、および検知エリア内において光源から照射されたレーザ光を走査する走査部を有する構成の撮像装置を用いてもよい。画像センサ部１２が有する撮像装置は、検知エリアの距離画像、および受光強度画像が同じ露光タイミング（露光期間)で撮像できる構成であればよい。このＴＯＦカメラは、例えば、１秒間に５〜１０フレーム程度の距離画像、および受光強度画像（一対の撮像画像）の撮像が行える。
Instead of the above-described TOF camera, an imaging device having a light source that emits laser light, a light receiving element that receives reflected light, and a scanning unit that scans laser light emitted from the light source in a detection area is used. May be. The imaging device included in the
図４は、ＴＯＦカメラの取付例を示す図である。ＴＯＦカメラは、図１に示した検知エリアが撮像エリア内に収まるように、筐体１の比較的上方に取り付け、撮像方向を斜め下方に向けている。また、ＴＯＦカメラは、スライドドア２よりも線路側に取り付けている。
FIG. 4 is a diagram illustrating an example of mounting the TOF camera. The TOF camera is attached relatively above the
また、ＴＯＦカメラは、検知エリアを撮像エリア内に収めることができれば、図４に示すように、落下防止柵の筐体１に取り付けなくても、駅ホームに立設している支柱等に取り付けてもよい。 In addition, if the detection area can be accommodated within the imaging area, the TOF camera can be attached to a pillar or the like standing on the station platform, as shown in FIG. May be.
画像処理部１３は、画像センサ部１２が同じタイミングで撮像した検知エリアの距離画像、および受光強度画像を、一対の検知用画像（検知用距離画像、および検知用受光強度画像）として処理する場合もあれば、一対の基準画像（基準距離画像、および基準受光強度画像）の生成に用いる場合もある。画像処理部１３は、生成した一対の基準画像を記憶するメモリ（不図示）を有している。このメモリが、この発明で言う基準画像記憶部に相当する構成である。また、画像処理部１３は、メモリに記憶している一対の基準画像を用いて、一対の検知用画像を処理し、検知エリア内に位置するオブジェクトを検出する。オブジェクトを検出する処理の詳細については、後述する。
When the
出力部１４は、画像処理部１３におけるオブジェクトの検出結果を、接続されている落下防止柵や、警報装置に出力する。オブジェクトの検出結果が入力された装置は、オブジェクトが検出された場合、警告音による報知を行ったり、警告灯を点灯させる等して、その旨（オブジェクトが検出されたこと）を駅係員等に知らせる。
The
以下、画像処理装置１０の動作について説明する。図５は、画像処理装置の動作を示すフローチャートである。 Hereinafter, the operation of the image processing apparatus 10 will be described. FIG. 5 is a flowchart showing the operation of the image processing apparatus.
落下防止柵は、上述したように、駅ホームに列車が停車していないとき、スライドドア２を閉している。画像処理装置１０は、駅ホームに列車が停車する毎に、図５に示す処理を実行する。
As described above, the fall prevention fence closes the
画像処理装置１０は、駅ホームに列車が停車すると、このタイミング（この発明で言う第１のタイミングに相当する。）で、画像センサ部１２がＴＯＦカメラで撮像した一対の撮像画像（距離画像、および受光強度画像）に基づく、基準距離画像、および基準受光強度画像（一対の基準画像）を生成し、取得する基準画像取得処理を実行する（ｓ１）。この基準画像取得処理は、駅ホームに停車した列車のドア、および落下防止柵のスライドドア２が閉している状態で、ＴＯＦカメラが撮像した一対の撮像画像を用いる。すなわち、一対の基準画像は、検知エリア内にオブジェクトが存在していない背景画像として用いることができる。また、この一対の基準画像は、駅ホームに停車している列車を背景とした画像である。
When the train stops at the station platform, the image processing apparatus 10 is a pair of captured images (distance image, distance image, and image) captured by the
画像処理装置１０が一対の基準画像を生成し、取得すると、駅ホームに停車した列車のドア、および落下防止柵のスライドドア２が開され、列車に対する乗降客の乗降が許可される。列車に対する乗降客の乗降が完了すると、駅ホームに停車している列車のドア、および落下防止柵のスライドドア２が閉される。
When the image processing apparatus 10 generates and acquires a pair of reference images, the door of the train stopped at the station platform and the
画像処理装置１０は、駅ホームに停車している列車のドア、および落下防止柵のスライドドア２が閉されたタイミング（この発明で言う第２のタイミングに相当する。）で、画像センサ部１２がＴＯＦカメラで撮像した一対の撮像画像（距離画像、および受光強度画像）を、一対の検知用画像として取得する検知用画像取得処理を実行する（ｓ２）。
The image processing apparatus 10 has an
画像処理装置１０は、ｓ１で生成し、取得した一対の基準画像、およびｓ２で取得した一対の検知用画像を用いて、検知エリア内に位置するオブジェクトを検出するオブジェクト検出処理を行う（ｓ３）。ｓ３では、ｓ１で取得した一対の基準画像に撮像されていないオブジェクトが、ｓ２で取得した一対の検知用画像に撮像されているかどうかを検出する処理である。したがって、駅ホームに停車している列車や、駅ホームに設置されている支柱や、落下防止柵等の構造物を、ｓ３でオブジェクトとして検出することはない。 The image processing apparatus 10 performs an object detection process for detecting an object located in the detection area using the pair of reference images generated and acquired in s1 and the pair of detection images acquired in s2 (s3). . In s3, it is a process which detects whether the object which is not imaged by the pair of reference images acquired by s1 is imaged by the pair of detection images acquired by s2. Therefore, a train stopped at the station platform, a support post installed at the station platform, a structure such as a fall prevention fence, etc. is not detected as an object in s3.
画像処理装置１０は、出力部１４おいて、ｓ３にかかるオブジェクト検出処理の検出結果を出力する（ｓ４）。 The image processing apparatus 10 outputs the detection result of the object detection processing relating to s3 at the output unit 14 (s4).
検出結果が入力された装置は、検知エリア内に位置するオブジェクトが検出されていれば、警告報知等を行って、駅係員や、列車の運転手等にその旨を通知する。列車の運転手は、画像処理装置１０におけるオブジェクト検出処理で、検知エリア内に位置するオブジェクトが検出されなければ、駅ホームから列車を発車させる。反対に、検知エリア内に位置するオブジェクトが検出されていれば、駅係員が確認を行った後に、駅ホームから列車を発車させる。 If an object located in the detection area is detected, the device to which the detection result is input performs a warning notification or the like, and notifies the station staff, the train driver, or the like to that effect. If the object located in the detection area is not detected in the object detection process in the image processing apparatus 10, the train driver starts the train from the station platform. On the other hand, if an object located within the detection area is detected, the station staff confirms and then starts a train from the station platform.
なお、列車の運行を管理している運行管理システム等が、画像処理装置１０に対して、ｓ１にかかる基準画像取得処理の開始タイミングや、ｓ２にかかる検知用画像取得処理の開始タイミングを指示する構成とすればよい。また、これらの開始タイミングの指示は、列車の運転手や駅係員による入力操作で行う構成としてもよい。 An operation management system or the like that manages the operation of the train instructs the image processing apparatus 10 to start timing of the reference image acquisition process related to s1 and start timing of the detection image acquisition process related to s2. What is necessary is just composition. In addition, these start timing instructions may be input by a train driver or a station staff.
次に、ｓ１にかかる基準画像取得処理、ｓ２にかかる検知用画像取得処理、およびｓ３にかかるオブジェクト検出処理を、詳細に説明する。 Next, the reference image acquisition process according to s1, the detection image acquisition process according to s2, and the object detection process according to s3 will be described in detail.
図６は、基準画像取得処理を示すフローチャートである。 FIG. 6 is a flowchart showing the reference image acquisition process.
画像センサ部１２は、ＴＯＦカメラで一対の撮像画像（距離画像、および受光強度画像）を予め設定されているフレーム数（例えば、５フレーム）撮像する（ｓ１１）。画像処理部１３は、ｓ１１で撮像されたフレーム数の距離画像を用いて、基準距離画像を生成する（ｓ１２）。ｓ１２では、画素毎に、その画素に対応する各フレームの距離の平均値を対応付けた距離画像を生成し、これを基準距離画像として取得する処理である。
The
また、画像処理部１３は、ｓ１１で撮像されたフレーム数の受光強度画像を用いて、基準受光強度画像を生成する（ｓ１３）。ｓ１３では、画素毎に、その画素に対応する各フレームの受光強度の平均値を対応付けた受光強度画像生成し、これを基準受光強度画像として取得する処理である。
Further, the
ｓ１２、およびｓ１３にかかる処理を実行する順番は、上記と逆であってもよい。 The order in which the processes related to s12 and s13 are executed may be opposite to the above.
画像処理部１３は、ｓ１２で生成し、取得した基準距離画像、およびｓ１３で生成し、取得した基準受光強度画像を、一対の基準画像として画像メモリ（不図示）に記憶する（ｓ１４）。
The
このように、この例では、基準距離画像を複数フレームの距離画像から生成し、基準受光強度画像を複数フレームの受光強度画像から生成する構成としたので、各フレームに生じているノイズの影響を抑えた基準距離画像、および基準受光強度画像を生成し、取得することができる。 As described above, in this example, the reference distance image is generated from the distance images of a plurality of frames, and the reference light reception intensity image is generated from the light reception intensity images of the plurality of frames. A suppressed reference distance image and a reference received light intensity image can be generated and acquired.
なお、画像処理部１３は、設定しているフレーム数を１フレームとし、画像センサ部１２で撮像した距離画像、および受光強度画像を、基準距離画像、および基準受光強度画像として画像メモリに記憶する構成としてもよい。
The
ｓ２にかかる検知用画像取得処理は、ＴＯＦカメラで一対の撮像画像（距離画像、および受光強度画像）を撮像し、これを検知用距離画像、および検知用受光強度画像とした一対の検知用画像を取得する処理である。 The detection image acquisition processing according to s2 is a pair of detection images obtained by capturing a pair of captured images (distance image and light reception intensity image) with the TOF camera and using the images as a detection distance image and detection light reception intensity image. It is a process to acquire.
図７は、オブジェクト検出処理を示すフローチャートである。画像処理部１３は、検知用画像の画素毎に、その画素が雨滴からの反射光を受光した画素（以下、雨画素と言う。）であるかどうかを判定する雨画素判定処理を行う（ｓ２１）。
FIG. 7 is a flowchart showing the object detection process. The
なお、前述のように、雨画素の「画素」の意味は、画像処理を行うときの単位となる受光素子（ピクセル）のブロックである。ただし、このブロックは、撮像素子の１つの受光素子（１ピクセル）であってもよいし、隣接する複数の受光素子（例えば、縦横２ずつの受光素子（２×２ピクセル））で構成されるブロックであってもよい。 As described above, the meaning of the “pixel” of the rain pixel is a block of light receiving elements (pixels) as a unit when performing image processing. However, this block may be one light receiving element (1 pixel) of the image pickup device, or is constituted by a plurality of adjacent light receiving elements (for example, two light receiving elements (2 × 2 pixels) each in vertical and horizontal directions). It may be a block.
ｓ２１にかかる雨画素判定処理は、以下に示す（１）〜（３）のいずれかの方法で行う。 The rain pixel determination process in s21 is performed by any one of the following methods (1) to (3).
（１）雨滴からの反射光は、比較的近い位置で反射されることに注目し、図８（Ａ）に示すように、検知用距離画像において対応付けられている距離（図７（Ａ）における横軸）が、予め定めた距離Ｄ１未満である画素を雨画素と判定し、予め定めた距離Ｄ１以上である画素を雨画素でないと判定する。 (1) Focusing on the fact that the reflected light from the raindrop is reflected at a relatively close position, as shown in FIG. 8A, the distance associated with the detection distance image (FIG. 7A). A pixel whose horizontal axis is less than a predetermined distance D1 is determined as a rain pixel, and a pixel whose distance is greater than or equal to a predetermined distance D1 is determined not to be a rain pixel.
（２）また、雨滴の反射率をも考慮し、図８（Ｂ）に示すように、距離と受光強度との一次関数で、雨画素であるかどうかを判定する判定直線を予め定めておき、検知用距離画像において対応付けられている距離（図８（Ｂ）における横軸）と、検知用受光強度画像に対応付けられている受光強度（図８（Ｂ）における縦軸）と、に基づいてプロットした点が、図８（Ｂ）にハッチングで示す領域内に位置する画素を雨画素と判定し、このハッチングで示す領域内に位置しない画素を雨画素でないと判定する。 (2) In consideration of the reflectance of raindrops, as shown in FIG. 8B, a determination straight line for determining whether or not it is a rain pixel is determined in advance by a linear function of distance and received light intensity. The distance associated with the detection distance image (horizontal axis in FIG. 8B) and the light reception intensity associated with the detection light reception intensity image (vertical axis in FIG. 8B). Based on the plotted points, pixels located in the hatched area in FIG. 8B are determined as rain pixels, and pixels not located in the hatched area are determined not to be rain pixels.
（３）さらに、雨滴の反射率は、その雨滴の後に位置する反射面の反射率によって変化することを考慮してもよい。図８（Ｃ）に示すように、距離と受光強度差（検知用受光強度画像における受光強度と、基準受光強度画像における受光強度との差の絶対値）との一次関数で、雨画素であるかどうかを判定する判定直線を予め定めておく。そして、検知用距離画像において対応付けられている距離（図８（Ｃ）における横軸）と、検知用受光強度画像における受光強度と基準受光強度画像における受光強度との差の絶対値（図８（Ｃ）における縦軸）と、に基づいてプロットした点が、図８（Ｃ）にハッチングで示す領域内に位置する画素を雨画素と判定し、このハッチングで示す領域内に位置しない画素を雨画素でないと判定する。 (3) Further, it may be considered that the reflectance of the raindrop changes depending on the reflectance of the reflecting surface located after the raindrop. As shown in FIG. 8C, a linear function of a distance and a difference in received light intensity (absolute value of a difference between a received light intensity in a detection received light intensity image and a received light intensity in a reference received light intensity image) is a rain pixel. A determination straight line for determining whether or not is determined in advance. Then, the absolute value of the difference between the distance associated with the detection distance image (horizontal axis in FIG. 8C) and the light reception intensity in the detection light reception intensity image and the light reception intensity in the reference light reception intensity image (FIG. 8). A pixel plotted based on the vertical axis in (C) is determined as a rain pixel if the pixel is located in the area indicated by hatching in FIG. 8C, and a pixel not located in the area indicated by the hatching is determined. It is determined that it is not a rain pixel.
図８（Ａ）、（Ｂ）、（Ｃ）に示す、雨画素と判定する領域は、検知エリアの撮像環境や、画像センサ部１２の撮像特性（例えば、ＴＯＦカメラの画素密度や、撮像レンズの焦点距離）によって変化するので、画像処理装置１０の設置時に調整している。 8A, 8 </ b> B, and 8 </ b> C, areas to be determined as rain pixels include the imaging environment of the detection area, the imaging characteristics of the image sensor unit 12 (for example, the pixel density of the TOF camera, the imaging lens, and the like). Therefore, adjustment is made when the image processing apparatus 10 is installed.
ここで言う、受光強度差は、上述したように、基準受光強度画像と、検知用受光強度画像と、において対応する画素の受光強度の差の絶対値である。絶対値を用いる理由は、基準受光強度画像の画素が雨滴からの反射光を検出した雨画素で、検知用受光強度画像の対応する画素が雨滴からの反射光を検出していない画素であった場合を考慮するためである。また、基準受光強度画像、および検知用受光強度画像の両方において、雨滴からの反射光を検出した画素については、後述する差分画像生成処理で、背景と判定される可能性が高い。 As described above, the difference in received light intensity here is the absolute value of the difference in received light intensity of the corresponding pixels in the reference received light intensity image and the detected received light intensity image. The reason why the absolute value is used is that the pixel of the reference light reception intensity image is a rain pixel that detects the reflected light from the raindrop, and the corresponding pixel of the detection light reception intensity image is the pixel that does not detect the reflected light from the raindrop. This is to consider the case. Further, in both the reference light reception intensity image and the detection light reception intensity image, it is highly likely that the pixel that has detected the reflected light from the raindrop is determined to be the background in the differential image generation process described later.
雨画素判定処理は、（１）、（２）、（３）の順番に精度が向上する。また、雨画素判定処理は、（１）、（２）、（３）の順番に計算量が増加するので、処理時間が増加する。雨画素判定処理を、上述した（１）〜（３）のいずれの方法で行うかについては、精度、および処理時間を考慮して決めればよい。 The accuracy of the rain pixel determination process is improved in the order of (1), (2), and (3). In addition, in the rain pixel determination process, the calculation amount increases in the order of (1), (2), and (3), so the processing time increases. Whether the rain pixel determination process is performed by any of the methods (1) to (3) described above may be determined in consideration of accuracy and processing time.
次に、画像処理部１３は、検知用画像の画素毎に、その画素が撮像レンズに付着した雨滴の影響を受けた画素（以下、雨滴付着画素と言う。）であるかどうかを判定する雨滴付着画素判定処理を行う（ｓ２２）。
Next, the
ｓ２２にかかる雨滴付着画素判定処理は、以下に示す（４）〜（６）のいずれかの方法で行う。 The raindrop adhesion pixel determination process according to s22 is performed by any of the following methods (4) to (6).
本願の発明者は、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素について、距離、および受光強度の変化の傾向を実験により確認した。雨滴付着画素は、受光強度が低下することを確認した。また、雨滴付着画素の多くは、受光光量の低下量がある範囲に収まることを確認した。これは、撮像レンズに付着している雨滴の透過にともなう反射光量の減衰により生じた現象であると考えられる。 The inventor of the present application confirmed, through experiments, the tendency of changes in distance and received light intensity for raindrop-attached pixels affected by raindrops attached to the imaging lens. It was confirmed that the received light intensity of the raindrop adhesion pixel was lowered. In addition, it was confirmed that most of the raindrop adhesion pixels fall within a certain range. This is considered to be a phenomenon caused by attenuation of the amount of reflected light accompanying transmission of raindrops attached to the imaging lens.
図９（Ａ）は、撮像レンズに雨滴が付着した画素にかかる受光光量の変化量を測定した測定結果である。棒グラフは、受光強度の変化量に対する画素数を示す。また、折れ線グラフは、雨滴影響画素における、受光強度の変化量に対する画素の累計の割合（百分率）を示す。この実験では、図９（Ａ）に示すように、雨滴付着画素の約９４％が、受光強度の変化量が１００以下であることが確認された。ただし、ここで言う受光強度の変化量は、発明者が本実験を実施した環境によるものであり、その数値については、環境によって異なることはいうまでもない。 FIG. 9A shows a measurement result obtained by measuring the amount of change in the amount of received light applied to a pixel having raindrops attached to the imaging lens. The bar graph indicates the number of pixels with respect to the amount of change in received light intensity. Further, the line graph shows the cumulative ratio (percentage) of pixels with respect to the amount of change in received light intensity in raindrop-affected pixels. In this experiment, as shown in FIG. 9A, it was confirmed that about 94% of the raindrop-attached pixels had a change amount of received light intensity of 100 or less. However, the amount of change in the received light intensity referred to here depends on the environment in which the inventor conducted the experiment, and it goes without saying that the numerical value varies depending on the environment.
また、雨滴付着画素の多くは、距離の変化がある範囲に収まることも確認した。これは、撮像レンズに付着している雨滴の透過時に反射光が屈折し、この反射光を受光する画素が、隣接する画素や近辺の画素にずれることにより生じた現象であると考えられる。 It was also confirmed that most of the raindrop adhesion pixels fall within a range where the distance changes. This is considered to be a phenomenon that occurs when reflected light is refracted during the transmission of raindrops attached to the imaging lens, and pixels that receive the reflected light shift to adjacent pixels or neighboring pixels.
図９（Ｂ）は、撮像レンズに雨滴が付着した画素にかかる距離の変化量を測定した測定結果である。棒グラフは、距離の変化量に対する画素数を示す。また、折れ線グラフは、雨滴影響画素における、距離の変化量に対する画素の累計の割合（百分率）を示す。この実験では、図９（Ｂ）に示すように、雨滴付着画素の約７３％が、距離の変化量が３５０ｍｍ以下であることが確認された。また、距離の変化量が１５０ｍｍ以下である雨滴付着画素の割合が約３％であることも確認された。ただし、ここで言う距離の変化量も、発明者が本実験を実施した環境によるものであり、その数値については、環境によって異なることはいうまでもない。 FIG. 9B shows a measurement result obtained by measuring a change amount of a distance applied to a pixel having raindrops attached to the imaging lens. The bar graph indicates the number of pixels with respect to the amount of change in distance. In addition, the line graph indicates a cumulative ratio (percentage) of pixels with respect to the distance change amount in the raindrop-affected pixels. In this experiment, as shown in FIG. 9B, it was confirmed that about 73% of the raindrop adhesion pixels had a distance change amount of 350 mm or less. It was also confirmed that the percentage of raindrop-attached pixels whose distance change amount was 150 mm or less was about 3%. However, the amount of change in distance referred to here depends on the environment in which the inventor conducted the experiment, and it goes without saying that the numerical value varies depending on the environment.
したがって、雨滴付着画素について実験により確認した、上述の距離、および受光強度の変化の傾向に基づき、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素であるかどうかを判定することにより、その判定精度を向上できる。 Therefore, by determining whether or not the pixel is a raindrop-attached pixel affected by the raindrop attached to the imaging lens based on the above-mentioned distance and the tendency of the change in received light intensity confirmed by the experiment on the raindrop-attached pixel, The determination accuracy can be improved.
（４）基準受光強度画像と、検知用受光強度画像において、受光強度の差の絶対値が、図１０（Ａ）に示すＰ１（上記の実験では、例えばＰ１＝１００である。）以下である画素を、雨滴付着画素と判定し、その他の画素を雨滴付着画素でないと判定する。 (4) In the reference received light intensity image and the detected received light intensity image, the absolute value of the difference in received light intensity is equal to or less than P1 shown in FIG. 10A (in the above experiment, for example, P1 = 100). The pixel is determined to be a raindrop-attached pixel, and the other pixels are determined not to be raindrop-attached pixels.
（５）基準距離画像と、検知用距離画像において、距離の差の絶対値が、図１０（Ｂ）に示すＤｍｉｎと、Ｄｍａｘ（上記の実験では、例えばＤｍｉｎ＝１５０、Ｄｍａｘ＝３５０である。）との間である画素を、雨滴付着画素と判定し、その他の画素を雨滴付着画素でないと判定する。 (5) In the reference distance image and the detection distance image, the absolute values of the difference in distance are Dmin and Dmax shown in FIG. 10B (in the above experiment, for example, Dmin = 150 and Dmax = 350, for example). ) Are determined as raindrop-attached pixels, and other pixels are determined not to be raindrop-attached pixels.
（６）基準受光強度画像と、検知用受光強度画像において、受光強度の差の絶対値が、図１０（Ｃ）に示すＰ１以下であり、且つ、基準距離画像と、検知用距離画像において、距離の差の絶対値が、図１０（Ｃ）に示すＤｍｉｎと、Ｄｍａｘとの間である画素を、雨滴付着画素と判定し、その他の画素を雨滴付着画素でないと判定する。 (6) In the reference received light intensity image and the detected received light intensity image, the absolute value of the difference in received light intensity is equal to or less than P1 shown in FIG. 10C, and in the reference distance image and the detected distance image, A pixel whose absolute value of the difference in distance is between Dmin and Dmax shown in FIG. 10C is determined as a raindrop-attached pixel, and the other pixels are determined not to be raindrop-attached pixels.
図１０（Ａ）、（Ｂ）、（Ｃ）に示す、雨滴付着画素と判定する領域を決定するＰ１、Ｄｍｉｎ、Ｄｍａｘは、検知エリアの撮像環境や、画像センサ部１２の撮像特性（例えば、ＴＯＦカメラの画素密度や、撮像レンズの焦点距離）によって変化するので、画像処理装置１０の設置時に調整する。 10A, 10B, and 10C, P1, Dmin, and Dmax for determining an area to be determined as a raindrop adhesion pixel are the imaging environment of the detection area and the imaging characteristics of the image sensor unit 12 (for example, Since it varies depending on the pixel density of the TOF camera and the focal length of the imaging lens, it is adjusted when the image processing apparatus 10 is installed.
この雨滴付着画素判定処理は、（４）、（５）、（６）の順番に精度が向上する。また、この雨滴付着画素判定処理も、上述した雨画素判定処理と同様に、対応する画素の受光強度の差の絶対値、および対応する画素の距離の差の絶対値を用いる理由は、基準受光強度画像の画素が雨滴付着画素で、検知用受光強度画像の対応する画素が雨滴付着画素でなかった場合を考慮するためである。 The accuracy of this raindrop adhesion pixel determination process is improved in the order of (4), (5), and (6). The reason for using the absolute value of the difference in the received light intensity of the corresponding pixel and the absolute value of the difference in the distance of the corresponding pixel in the raindrop adhesion pixel determination process is the same as the rain pixel determination process described above. This is because the pixel of the intensity image is a raindrop-attached pixel and the corresponding pixel of the detection light-receiving intensity image is not a raindrop-attached pixel.
画像処理部１３は、降雨状態であるかどうかを判定する降雨状態判定処理を行う（ｓ２３）。ｓ２３では、ｓ２１で雨画素であると判定した画素と、ｓ２２で雨滴付着画素であると判定した画素と、の総数が、予め定めた閾値画素数Ｓ以上であれば、降雨状態と判定する。ｓ２１で雨画素であると判定した画素と、ｓ２２で雨滴付着画素であると判定した画素と、の総数が、予め定めた閾値画素数Ｓ未満であれば、降雨状態でないと判定する。
The
画像処理部１３は、ｓ２３で降雨状態でないと判定すると、検出するオブジェクトのサイズの下限をＡ１に設定する（ｓ２４）。画像処理部１３は、ｓ２３で降雨状態であると判定すると、検出するオブジェクトのサイズの下限をＡ１よりも大きいＡ２（Ａ１＜Ａ２）に設定する（ｓ２５）。Ａ１、およびＡ２の単位は、画素数である。
If the
画像処理部１３は、ｓ１２で生成し取得した基準距離画像と、ｓ２で取得した検知用距離画像と、の差分画像を生成する（ｓ２６）。ｓ２６では、距離がほぼ同じ画素、ｓ２２で雨画素と判定した画素、およびｓ２３で雨滴付着画素と判定した画素の画素値を「０」、その他の画素の画素値を「１」とした２値画像を生成する。
The
画像処理部１３は、ｓ２６で生成した差分画像に撮像されているオブジェクトを検出する（ｓ２７）。ｓ２７では、ｓ２６で生成した差画像において、周辺に位置する画素値が「１」である画素の集合を１つのグループとするグルーピングを行う。画像処理部１３は、グループ毎に、そのグループの画素数が、ｓ２４またはｓ２５で設定したオブジェクトのサイズの下限（Ａ１、またはＡ２）よりも多ければ、そのグループをオブジェクトと判定し、少なければノイズ（オブジェクトでない。）と判定する。
The
このように、この例にかかる画像処理装置１０は、雨滴からの反射光を検出した雨画素や、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素等の雨滴影響画素の発生にともなうオブジェクトの誤検出を十分に抑えることができる。すなわち、降雨時においても、オブジェクトの誤検出を十分に抑えることができる。 As described above, the image processing apparatus 10 according to this example includes an object that accompanies generation of raindrop-affected pixels such as rain pixels that detect reflected light from raindrops or raindrop-attached pixels that are affected by raindrops attached to the imaging lens. Can be sufficiently suppressed. That is, even when it is raining, erroneous detection of objects can be sufficiently suppressed.
また、画像処理装置１０は、ｓ４でオブジェクトの検出結果だけでなく、ｓ２３における降雨状態の判定結果も出力する構成としてもよい。 Further, the image processing apparatus 10 may be configured to output not only the object detection result in s4 but also the determination result of the rainfall state in s23.
また、画像処理装置１０は、降雨状態であるかどうかに応じて、ｓ２７で検出するオブジェクトのサイズの下限（Ａ１、またはＡ２）を変更する構成としたので、ｓ２１で一部の画素について雨画素を雨画素でないとする誤判定や、ｓ２２で一部の画素について雨滴付着画素を雨滴付着画素でないとする誤判定が生じても、この誤判定にともなって、オブジェクトが誤検出されるのを防止できる。また、逆に、降雨時でないときに、オブジェクトからの反射光を検知した隣接する複数の画素を、雨滴影響画素であると誤判定し、検知エリア内に位置するオブジェクトを見逃すような事態の発生も抑えられる。 In addition, since the image processing apparatus 10 is configured to change the lower limit (A1 or A2) of the size of the object detected in s27 depending on whether or not it is in a rainy state, rain pixels for some pixels in s21 Prevents the object from being erroneously detected due to this misjudgment, even if a misjudgment that the pixel is not a rain pixel or a misjudgment that a raindrop adhering pixel is not a raindrop adhering pixel for some pixels occurs in s22 it can. Conversely, when it is not raining, the neighboring pixels that detected the reflected light from the object are erroneously determined to be raindrop-affected pixels, and a situation may occur in which an object located in the detection area is missed. Is also suppressed.
また、上記の例では、降雨状態であるかどうかに応じて、ｓ２７で検出するオブジェクトのサイズの下限を２段階で設定する構成としたが、このオブジェクトのサイズの下限を、ｓ２１で雨画素であると判定した画素と、ｓ２２で雨滴付着画素であると判定した画素と、の総数に応じて設定するようにしてもよい。例えば、ｓｓ２１で雨画素であると判定した画素と、ｓ２２で雨滴付着画素であると判定した画素と、の総数がＸ未満であるとき、ｓ２７で検出するオブジェクトのサイズをＡ１に設定し、ｓ２１で雨画素であると判定した画素と、ｓ２２で雨滴付着画素であると判定した画素と、の総数がＸ以上であるとき、ｓ２７で検出するオブジェクトのサイズＡを、
Ａ＝α×（ｓ２１で雨滴画素であると判定した画素数）＋Ａ１
（ただしαは、予め定めた比例定数、算出したＡの小数点以下切り捨て）
により算出し、設定する構成としてもよい。このようにすれば、降雨量に応じて、ｓ２７で検出するオブジェクトのサイズの下限を設定することができる。
In the above example, the lower limit of the size of the object detected in s27 is set in two stages depending on whether it is raining. However, the lower limit of the size of the object is set in the rain pixel in s21. You may make it set according to the total of the pixel determined to exist and the pixel determined to be a raindrop adhesion pixel by s22. For example, when the total number of pixels determined to be rain pixels in ss21 and pixels determined to be raindrop adhesion pixels in s22 is less than X, the size of the object detected in s27 is set to A1, and s21 When the total number of pixels determined to be rain pixels in step s22 and pixels determined to be raindrop adhesion pixels in s22 is equal to or greater than X, the size A of the object detected in s27 is
A = α × (number of pixels determined to be raindrop pixels in s21) + A1
(Where α is a predetermined proportionality constant, rounded down to the decimal point of the calculated A)
It is good also as a structure calculated and set by these. In this way, the lower limit of the size of the object detected in s27 can be set according to the amount of rainfall.
雨滴影響画素の画素数は、降雨量が多くなるにつれて、多くなる。したがって、降雨量が比較的多いときに、隣接する複数の雨滴影響画素を、検知エリア内に位置するオブジェクトとして誤検出するのを防止できるだけでなく、降雨量が比較的少ないときに、オブジェクトからの反射光を検知した隣接する複数の画素を、雨滴影響画素である誤判定し、その結果、検知エリア内に位置するオブジェクトを見逃すような事態の発生が一層抑えられる。 The number of raindrop-affected pixels increases as the amount of rainfall increases. Therefore, it is possible not only to prevent erroneous detection of a plurality of adjacent raindrop-affected pixels as an object located in the detection area when the rainfall is relatively high, but also from the object when the rainfall is relatively low. A plurality of adjacent pixels that have detected reflected light are erroneously determined to be raindrop-affected pixels, and as a result, the occurrence of a situation in which an object located in the detection area is missed is further suppressed.
また、上記の例では、降雨状態の判定を、検知エリア内に位置するオブジェクトの検出処理に合わせて行う構成としたが、例えば、列車がホームに停車していない時間帯に行ってもよい。この場合、ＴＯＦカメラによる検知エリアの撮像を連続的に行う構成とし、図１１に示す処理を行えばよい。 In the above example, the rain state is determined according to the detection processing of the object located in the detection area. However, for example, it may be performed in a time zone when the train is not stopped at the platform. In this case, the detection area may be continuously captured by the TOF camera, and the process shown in FIG. 11 may be performed.
画像処理装置１０は、ＴＯＦカメラで一対の撮像画像（距離画像、および受光強度画像）を撮像する（ｓ３１）。画像処理部１３は、今回撮像した一対の撮像画像を含む、設定フレーム数の最新の撮像画像に基づいて一対の基準画像を生成し、取得する（ｓ３２）。ｓ３２は、上述したｓ１（ｓ１１〜ｓ１４）と同様の処理である。
The image processing apparatus 10 captures a pair of captured images (distance image and received light intensity image) with a TOF camera (s31). The
画像処理部１３は、今回撮像した一対の撮像画像を検知用画像として取得する（ｓ３３）。画像処理部１３は、上述した雨滴影響画素判定処理を行い（ｓ３４）、降雨状態であるかどうか判定する（ｓ３５）。ｓ３４、およびｓ３５にかかる処理は、上述したｓ２１〜ｓ２３と同じ処理である。
The
また、ｓ３５では、雨滴影響画素であると判定した画素の総数が、予め定めた閾値画素数Ｓ以上であるフレームが、設定フレーム以上連続したときに、降雨状態であると判定するようにしてもよい。また、ｓ３５では、最近のＮフレームの撮像画像において、雨滴影響画素であると判定した画素の総数の平均値が、予め定めた閾値画素数Ｓ以上であれば、降雨状態であると判定するようにしてもよい。 Also, in s35, it may be determined that it is in a rainy state when a frame in which the total number of pixels determined to be raindrop-affected pixels is equal to or greater than a predetermined threshold pixel number S continues for a set frame or more. Good. In s35, if the average value of the total number of pixels determined to be raindrop-affected pixels in the captured image of the latest N frames is greater than or equal to a predetermined threshold pixel number S, it is determined that the rain state is present. It may be.
なお、上記の例では、オブジェクトを検出する検知エリアを、スライドドア２が設けられている位置における、落下防止柵と線路との間とした画像処理装置１０を例にして本願発明の説明を行ったが、例えば、工場やマンション等に出入口を検知エリアとし、侵入者を検知する用途等で使用することもできる。この場合、侵入者を検知したときには、警備室や管理室に滞在している警備員にその旨を通知する構成とすればよい。
In the above example, the present invention is described by taking the image processing apparatus 10 as an example where the detection area for detecting an object is between the fall prevention fence and the track at the position where the
１０…画像処理装置
１１…制御部
１２…画像センサ部
１３…画像処理部
１４…出力部
DESCRIPTION OF SYMBOLS 10 ...
Claims (19)
前記画像取得部が一対の撮像画像として取得した前記距離画像、および前記受光強度画像の各画素において取得した距離、および受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定部と、
前記雨滴影響画素判定部の判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出部と、を備えた画像処理装置。 An image acquisition unit that acquires a distance image of the detection area captured by irradiating the detection area with light and receiving reflected light, and a received light intensity image as a pair of captured images;
Whether the image is a raindrop-affected pixel affected by raindrops using the distance image acquired as a pair of captured images by the image acquisition unit, the distance acquired at each pixel of the received light intensity image, and the received light intensity. A raindrop influence pixel determination unit for determining;
An image processing apparatus comprising: an object detection unit that processes the distance image using a determination result of the raindrop-affected pixel determination unit and detects an object captured in the distance image.
前記画像取得部が取得した前記距離画像の各画素において取得した距離を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定部と、
前記雨滴影響画素判定部の判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出部と、を備えた画像処理装置。 An image acquisition unit for acquiring a distance image of the detection area captured by the imaging device irradiating the detection area with light and receiving the reflected light;
A raindrop-affected pixel determination unit that determines whether or not the pixel is a raindrop-affected pixel affected by a raindrop, using the distance acquired in each pixel of the distance image acquired by the image acquisition unit;
An image processing apparatus comprising: an object detection unit that processes the distance image using a determination result of the raindrop-affected pixel determination unit and detects an object captured in the distance image.
前記画像取得部が取得した前記受光強度画像の各画素において取得した受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定部と、
前記雨滴影響画素判定部の判定結果を用いて、前記画像取得部が取得した前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出部と、を備えた画像処理装置。 An image acquisition unit that acquires a distance image of the detection area captured by irradiating the detection area with light and receiving reflected light, and a received light intensity image as a pair of captured images;
A raindrop effect pixel determination unit that determines whether the pixel is a raindrop effect pixel affected by raindrops, using the received light intensity acquired in each pixel of the received light intensity image acquired by the image acquisition unit;
An image processing apparatus comprising: an object detection unit that processes the distance image acquired by the image acquisition unit using the determination result of the raindrop-affected pixel determination unit and detects an object captured in the distance image .
前記雨滴影響画素判定部は、前記画像取得部が取得した前記距離画像、および前記受光強度画像を一対の検知用画像とし、各画素について前記雨滴影響画素であるかどうかを判定し、
前記オブジェクト検出部は、前記基準距離画像と、前記検知用画像の距離画像と、の差分画像を生成し、撮像されているオブジェクトを検出する、請求項１、または３に記載の画像処理装置。 A reference image storage unit that stores a reference distance image of the detection area and a reference light reception intensity image as a pair of reference images,
The raindrop-affected pixel determination unit sets the distance image acquired by the image acquisition unit and the received light intensity image as a pair of detection images, determines whether each pixel is the raindrop-effect pixel,
The image processing apparatus according to claim 1, wherein the object detection unit generates a difference image between the reference distance image and a distance image of the detection image, and detects an imaged object.
前記基準画像記憶部は、記憶している一対の前記基準画像を前記基準画像生成部が生成した一対の前記基準画像に更新する、請求項４〜７のいずれかに記載の画像処理装置。 A reference image for generating a pair of the reference images based on the distance image of the detection area and the received light intensity image captured by the imaging device and acquired by the image acquisition unit at a predetermined reference image acquisition timing With a generator,
The image processing apparatus according to claim 4, wherein the reference image storage unit updates the pair of stored reference images to the pair of reference images generated by the reference image generation unit.
撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する画像取得ステップと、
前記画像取得ステップが一対の撮像画像として取得した前記距離画像、および前記受光強度画像の各画素において取得した距離、および受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
前記雨滴影響画素判定ステップの判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
を実行するオブジェクト検出方法。 Computer
An image acquisition step of acquiring a distance image of the detection area captured by irradiating the detection area with light and receiving the reflected light, and a received light intensity image as a pair of captured images;
Whether or not the image is a raindrop-affected pixel affected by raindrops using the distance image acquired as a pair of captured images and the distance and received light intensity acquired in each pixel of the received light intensity image. A raindrop influence pixel determination step for determining,
An object detection step of processing the distance image using the determination result of the raindrop influence pixel determination step and detecting an object captured in the distance image;
Object detection method to execute.
撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像を取得する画像取得ステップと、
前記画像取得ステップが取得した前記距離画像の各画素において取得した距離を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
前記雨滴影響画素判定ステップの判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
を実行するオブジェクト検出方法。 Computer
An image acquisition step of acquiring a distance image of the detection area captured by the imaging device irradiating the detection area with light and receiving the reflected light;
A raindrop influence pixel determination step for determining whether or not a raindrop influence pixel is affected by a raindrop, using the distance acquired in each pixel of the distance image acquired by the image acquisition step;
An object detection step of processing the distance image using the determination result of the raindrop influence pixel determination step and detecting an object captured in the distance image;
Object detection method to execute.
撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する画像取得ステップと、
前記画像取得ステップが一対の撮像画像として取得した前記受光強度画像の各画素において取得した受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
前記雨滴影響画素判定ステップの判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
を実行するオブジェクト検出方法。 Computer
An image acquisition step of acquiring a distance image of the detection area captured by irradiating the detection area with light and receiving the reflected light, and a received light intensity image as a pair of captured images;
A raindrop-affected pixel determining step for determining whether the pixel is a raindrop-affected pixel affected by raindrops using the received-light intensity acquired in each pixel of the received-light-intensity image acquired as a pair of captured images in the image acquisition step; ,
An object detection step of processing the distance image using the determination result of the raindrop influence pixel determination step and detecting an object captured in the distance image;
Object detection method to execute.
撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する画像取得ステップと、
前記画像取得ステップが一対の撮像画像として取得した前記距離画像、および前記受光強度画像の各画素において取得した距離、および受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
前記雨滴影響画素判定ステップの判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
をコンピュータに実行させるオブジェクト検出プログラム。 Computer
An image acquisition step of acquiring a distance image of the detection area captured by irradiating the detection area with light and receiving the reflected light, and a received light intensity image as a pair of captured images;
Whether or not the image is a raindrop-affected pixel affected by raindrops using the distance image acquired as a pair of captured images and the distance and received light intensity acquired in each pixel of the received light intensity image. A raindrop influence pixel determination step for determining,
An object detection step of processing the distance image using the determination result of the raindrop influence pixel determination step and detecting an object captured in the distance image;
Object detection program that causes a computer to execute.
前記画像取得ステップが取得した前記距離画像の各画素において取得した距離を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
前記雨滴影響画素判定ステップの判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
をコンピュータに実行させるオブジェクト検出プログラム。 An image acquisition step of acquiring a distance image of the detection area captured by the imaging device irradiating the detection area with light and receiving the reflected light;
A raindrop influence pixel determination step for determining whether or not a raindrop influence pixel is affected by a raindrop, using the distance acquired in each pixel of the distance image acquired by the image acquisition step;
An object detection step of processing the distance image using the determination result of the raindrop influence pixel determination step and detecting an object captured in the distance image;
Object detection program that causes a computer to execute.
前記画像取得ステップが一対の撮像画像として取得した前記受光強度画像の各画素において取得した受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
前記雨滴影響画素判定ステップの判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
をコンピュータに実行させるオブジェクト検出プログラム。 An image acquisition step of acquiring a distance image of the detection area captured by irradiating the detection area with light and receiving the reflected light, and a received light intensity image as a pair of captured images;
A raindrop-affected pixel determining step for determining whether the pixel is a raindrop-affected pixel affected by raindrops using the received-light intensity acquired in each pixel of the received-light-intensity image acquired as a pair of captured images in the image acquisition step; ,
An object detection step of processing the distance image using the determination result of the raindrop influence pixel determination step and detecting an object captured in the distance image;
Object detection program that causes a computer to execute.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013051981A JP6123377B2 (en) | 2012-09-14 | 2013-03-14 | Image processing apparatus, object detection method, and object detection program |
| PCT/JP2013/074462 WO2014042168A1 (en) | 2012-09-14 | 2013-09-11 | Image processing device, object detection method, and object detection program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012202441 | 2012-09-14 | ||
| JP2012202441 | 2012-09-14 | ||
| JP2013051981A JP6123377B2 (en) | 2012-09-14 | 2013-03-14 | Image processing apparatus, object detection method, and object detection program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014074708A true JP2014074708A (en) | 2014-04-24 |
| JP6123377B2 JP6123377B2 (en) | 2017-05-10 |
Family
ID=50278278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013051981A Active JP6123377B2 (en) | 2012-09-14 | 2013-03-14 | Image processing apparatus, object detection method, and object detection program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6123377B2 (en) |
| WO (1) | WO2014042168A1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016024676A (en) * | 2014-07-22 | 2016-02-08 | サクサ株式会社 | Imaging apparatus and determination method |
| JP2016024677A (en) * | 2014-07-22 | 2016-02-08 | サクサ株式会社 | Imaging apparatus and determination method |
| WO2016030923A1 (en) * | 2014-08-27 | 2016-03-03 | 株式会社ニコンビジョン | Rangefinder and ranging method |
| JP2020016577A (en) * | 2018-07-26 | 2020-01-30 | ファナック株式会社 | Distance measuring device for detecting optical system abnormality |
| CN113646660A (en) * | 2019-03-28 | 2021-11-12 | 株式会社电装 | Distance measuring device |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6406076B2 (en) * | 2015-03-13 | 2018-10-17 | オムロン株式会社 | Object detection device, object detection method, and object detection program |
| CN106770055B (en) * | 2017-02-21 | 2023-09-08 | 中国水利水电科学研究院 | Regional rainfall uniformity measuring system and method based on laser reflection principle |
| CN106770038B (en) * | 2017-02-21 | 2024-02-02 | 中国水利水电科学研究院 | Regional rainfall uniformity measuring system and method based on laser refraction principle |
| CN115096511B (en) * | 2022-06-13 | 2023-04-18 | 东莞市众志时代试验设备有限公司 | Rain test box improvement method based on natural rainfall mechanism |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0512591A (en) * | 1991-06-28 | 1993-01-22 | Mitsubishi Electric Corp | Monitoring device |
| JP2005199846A (en) * | 2004-01-15 | 2005-07-28 | Denso Corp | Security system |
| JP2006046961A (en) * | 2004-07-30 | 2006-02-16 | Matsushita Electric Works Ltd | Human body sensor |
| JP2007226605A (en) * | 2006-02-24 | 2007-09-06 | Secom Co Ltd | Image sensor |
| JP2009163427A (en) * | 2007-12-28 | 2009-07-23 | Secom Co Ltd | Composite intrusion detection device |
| JP2010121995A (en) * | 2008-11-18 | 2010-06-03 | Calsonic Kansei Corp | Device for generating distance image data for vehicle |
| JP2011016421A (en) * | 2009-07-08 | 2011-01-27 | Higashi Nippon Transportec Kk | Obstacle detector, platform door system having the same and obstacle detecting method |
-
2013
- 2013-03-14 JP JP2013051981A patent/JP6123377B2/en active Active
- 2013-09-11 WO PCT/JP2013/074462 patent/WO2014042168A1/en active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0512591A (en) * | 1991-06-28 | 1993-01-22 | Mitsubishi Electric Corp | Monitoring device |
| JP2005199846A (en) * | 2004-01-15 | 2005-07-28 | Denso Corp | Security system |
| JP2006046961A (en) * | 2004-07-30 | 2006-02-16 | Matsushita Electric Works Ltd | Human body sensor |
| JP2007226605A (en) * | 2006-02-24 | 2007-09-06 | Secom Co Ltd | Image sensor |
| JP2009163427A (en) * | 2007-12-28 | 2009-07-23 | Secom Co Ltd | Composite intrusion detection device |
| JP2010121995A (en) * | 2008-11-18 | 2010-06-03 | Calsonic Kansei Corp | Device for generating distance image data for vehicle |
| JP2011016421A (en) * | 2009-07-08 | 2011-01-27 | Higashi Nippon Transportec Kk | Obstacle detector, platform door system having the same and obstacle detecting method |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016024676A (en) * | 2014-07-22 | 2016-02-08 | サクサ株式会社 | Imaging apparatus and determination method |
| JP2016024677A (en) * | 2014-07-22 | 2016-02-08 | サクサ株式会社 | Imaging apparatus and determination method |
| WO2016030923A1 (en) * | 2014-08-27 | 2016-03-03 | 株式会社ニコンビジョン | Rangefinder and ranging method |
| JPWO2016030923A1 (en) * | 2014-08-27 | 2017-06-08 | 株式会社 ニコンビジョン | Distance meter and distance measuring method |
| JP2020016577A (en) * | 2018-07-26 | 2020-01-30 | ファナック株式会社 | Distance measuring device for detecting optical system abnormality |
| US11525917B2 (en) | 2018-07-26 | 2022-12-13 | Fanuc Corporation | Distance measuring apparatus which detects optical system abnormality |
| CN113646660A (en) * | 2019-03-28 | 2021-11-12 | 株式会社电装 | Distance measuring device |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014042168A1 (en) | 2014-03-20 |
| JP6123377B2 (en) | 2017-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6123377B2 (en) | Image processing apparatus, object detection method, and object detection program | |
| JP6070306B2 (en) | Image processing apparatus, object detection method, and object detection program | |
| JP5065744B2 (en) | Individual detector | |
| JP5950196B2 (en) | Imaging apparatus, and image analysis apparatus and moving apparatus using the same | |
| JP5904069B2 (en) | Image processing apparatus, object detection method, and object detection program | |
| JP6031908B2 (en) | Image processing apparatus, object detection method, and object detection program | |
| JP6273682B2 (en) | Image processing apparatus, object detection method, and object detection program | |
| US20010046310A1 (en) | Optical monitoring apparatus with image-based distance accommodation | |
| JP6465772B2 (en) | Laser radar equipment | |
| EP2587462A1 (en) | Image monitoring system and method with false alarm rate reduction | |
| KR101014842B1 (en) | Security image monitoring system and method using rfid reader | |
| JP2011093514A (en) | Safety device for platform door | |
| JP4692437B2 (en) | Surveillance camera device | |
| CN102568150A (en) | Method and system for monitoring the accessibility of an emergency exit | |
| JP6015296B2 (en) | Image processing apparatus, ambient environment estimation method, and ambient environment estimation program | |
| US10962645B2 (en) | Reception apparatus, reception method, transmission apparatus, transmission method, and communication system | |
| KR101339456B1 (en) | In tunnel that use scanner accident is observation system | |
| JP2006323652A (en) | Crime prevention sensor | |
| JP7204356B2 (en) | monitoring device | |
| JP2018107578A (en) | Monitoring device | |
| JP5431230B2 (en) | Object detection sensor and security system | |
| JP4920073B2 (en) | Method and apparatus for detecting head position of traveling body | |
| JP2009294974A (en) | Intruder detection device by image processing | |
| JP6129475B2 (en) | Monitoring device and monitoring method | |
| JP2019138666A (en) | Ranging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170320 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6123377 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |