WO2018168552A1 - 物体検出システム - Google Patents

物体検出システム Download PDF

Info

Publication number
WO2018168552A1
WO2018168552A1 PCT/JP2018/008370 JP2018008370W WO2018168552A1 WO 2018168552 A1 WO2018168552 A1 WO 2018168552A1 JP 2018008370 W JP2018008370 W JP 2018008370W WO 2018168552 A1 WO2018168552 A1 WO 2018168552A1
Authority
WO
WIPO (PCT)
Prior art keywords
extracted
background
distance
moving object
distance image
Prior art date
Application number
PCT/JP2018/008370
Other languages
English (en)
French (fr)
Inventor
俊介 ▲高▼村
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to US16/493,121 priority Critical patent/US11113833B2/en
Priority to JP2019505895A priority patent/JP6962365B2/ja
Priority to EP18768274.5A priority patent/EP3598175B1/en
Publication of WO2018168552A1 publication Critical patent/WO2018168552A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to an object detection system.
  • an object detection system that detects an object from a distance image detected by a laser radar or the like has been used for the purpose of detecting an intruder or a vehicle in a monitoring space.
  • the distance image is obtained by mapping a distance value to an object on two-dimensional coordinates.
  • a method for extracting a pixel including a moving object from a distance image as described in Patent Document 1, the distance is compared with a background (distance image without a moving object) acquired in advance.
  • a method for extracting a pixel having a difference is known.
  • the background distance map generation unit in Patent Literature 1 generates a background distance map indicating distance information from the laser radar to an object in the background in the detection area based on the measurement result of the laser radar.
  • the moving object detection unit detects a moving object in the detection area from the difference between the distance information of the background distance map stored in advance in the background distance map memory and the measurement result of the laser radar.
  • the above-described method has a problem that pixels that are originally unnecessary are extracted in the following cases.
  • TOF a method that measures how light is reflected back to an object
  • total reflection such as glass or puddles is used.
  • the light applied to the part to be reflected is reflected there and reflected from the object ahead. If it does so, it will become a distance image which has an object in the back of glass or a puddle.
  • FIG. 10 shows a situation where a person 11 and a glass 12 are present in front of a distance image detection apparatus 10 that detects a distance image from the outside such as a laser radar.
  • a distance image detection apparatus 10 that detects a distance image from the outside such as a laser radar.
  • FIG. 10 when the light reflected by the optical path 14 returns, an object appears to appear at a position that does not actually exist. For this reason, when the object at a different distance from the background is extracted in the prior art, this virtual image 13 is also extracted.
  • the case where the background changes frequently for example, when it is desired to monitor a person on the station platform. 4 to 7 show a situation where there is a station platform 20, a track 21, and a wall 22 in front of the distance image detection device 10.
  • the wall 22 is fixed as a background for data processing
  • the actual background for the person is changed by the train 23 entering and exiting the station, and all the portions are extracted as pixels including a moving body.
  • the train 23 is also set as a part of the background in data processing
  • the conventional technique extracts a part different from the background, so that the wall 22 in a situation where the train 23 is not present is also extracted. Therefore, the conventional method cannot extract only pixels including a desired moving object such as a person in front of the train.
  • the train 23 is not a fixed object but a moving body, and is not always in the detection target range, and there is a distance error due to a difference in the vehicle or a variation in the stop position. There are difficulties.
  • the present invention has been made in view of the above problems in the prior art, and an object of the present invention is to accurately extract a mobile object to be extracted regardless of a background state of the desired mobile object to be extracted.
  • the invention according to claim 1 for solving the above-described problem includes distance image detection means for detecting a distance image from the outside, and mobile object extraction means for extracting a desired moving object to be extracted from the distance image.
  • An object detection system The moving body extracting means registers in advance a distance image in a state in which the moving object to be extracted does not exist in the storage unit as a background, and only the pixels whose current distance is in front of the background distance are the extraction target. It is an object detection system which extracts as a pixel candidate corresponding to a moving body.
  • the portion where the background has changed is not extracted. For example, in the case where the platform of the station is monitored as shown in FIGS. 4 to 7, if the background is acquired and registered while the train 23 is stopped, even if the train 23 leaves after that, The portion (wall 22) is not extracted because it does not change to the near side, but when the person 11 stands in front of it, the distance changes because it changes to the near side. In this way, only the person 11 on the home 20 can be extracted.
  • the moving body extracting unit further performs determination from the extracted pixel group including the candidate pixels, extracts the moving object as the extraction target, and does not extract the moving object as the extraction target.
  • the optimal distance is obtained by updating the background distance from the information being measured.
  • a background can be obtained.
  • the invention according to claim 3 is the object detection system according to claim 2, wherein the moving body extracting means performs the determination based on the size of the moving body that has detected the determination.
  • the train 23 behind the station platform 20 is not extracted, and the person 11 walking on the platform 20 is desired to be extracted. If only a moving body having a size equal to or smaller than the size of the person 11 is extracted as a “moving body of a desired extraction target”, the train 23 can be determined not to be a “moving body of a desired extraction target” based on the size.
  • the parameter of size is easy to understand and adjust for the setting user.
  • a threshold for the minimum change distance is provided, and the threshold is set to be equal to or greater than the background distance.
  • FIG. 2 shows the calculation process by the object detection system which concerns on one Embodiment of this invention.
  • FIG. 2 shows the calculation process by the object detection system which concerns on one Embodiment of this invention.
  • It is a schematic diagram which shows the condition changed from FIG. It is a schematic diagram which shows the other situation changed from FIG.
  • FIG. shows the other situation changed from FIG.
  • an object detection system 1 includes a distance image detection device 10 such as a laser radar as a distance image detection unit that detects a distance image from the outside, and a distance image output by the distance image detection device 10.
  • Mobile object extraction means 2 for extracting a desired mobile object to be extracted from The moving body extraction means 2 is constituted by a computer, has a storage unit 2a, and executes a calculation described below by a CPU.
  • the moving object extracting means 2 Prior to the moving object detection (the flow in FIGS. 2 and 3), the moving object extracting means 2 acquires a distance image by the distance image detecting device 10 in the state where there is no obstacle such as a person in the area to be detected, and uses it as a background. Is registered in the storage unit 2a.
  • the moving body extraction unit 2 acquires a distance image output from the distance image detection device 10 (S1).
  • the distance image corresponds to the current distance image.
  • the moving body extraction unit 2 determines whether or not the current distance in the distance image is closer to the background distance registered in the storage unit 2a (S2). That is, in step S2, the moving body extraction unit 2 determines the distance value of one pixel in the current distance image acquired from the distance image detection device 10 and one pixel in the background distance image whose coordinates are the same as this one pixel. Is compared with the distance value, and it is determined whether or not the former is small.
  • the moving body extraction unit 2 extracts one pixel to be determined as a moving body candidate pixel (S3).
  • a moving object candidate pixel is a candidate for a pixel corresponding to a desired moving object to be extracted.
  • the moving body extraction means 2 executes the above steps S2 and S3 for all the pixels (YES in S4), the moving body candidate pixel processing R1 (flow in FIG. 3) is executed.
  • the moving object extraction means 2 divides moving object candidate pixels (pixel groups) into clusters (S5).
  • the moving body extraction means 2 calculates the size of each class (S6). For example, the vertical dimension, horizontal dimension, total area, and the like are calculated.
  • the “size” is an actual size, not an apparent size.
  • the moving body extraction means 2 determines whether or not the size calculated in step S6 is equal to or smaller than a predetermined threshold for specifying the extraction target moving body (S7). If YES in step S7, the moving body extracting unit 2 extracts the cluster as a moving object to be extracted, and executes the extracting object moving body process R2.
  • the extraction target mobile object process R2 is, for example, a process of issuing a notification for the purpose of monitoring an intruder into a predetermined area, and is not particularly limited.
  • step S7 the moving body extraction means 2 updates and registers the distance of the pixel of the cluster in the storage unit 2a as the background distance (S8).
  • the train 23 A large cluster can be used as the background in step S8.
  • the train 23 is constructed by update registration as a part of the background or is initially registered, the background distance image 30 corresponding to the home side surface of the train is obtained as shown in FIG.
  • the train 23 and the wall 22 are not extracted as a desired moving object to be extracted.
  • the method for determining a moving object from the above moving object candidate pixels is merely an example, and other methods may be used. Even in this case, an object that is not determined as an extraction target is set as a background pixel.
  • the explanation will be given taking the platform of the station as an example.
  • the background is first acquired without the train 23 and the person 11 (FIG. 4), then the distance image is acquired, and from there, the background is in front.
  • moving object candidate pixels are extracted, in the situation shown in FIG. 6, a distance pixel between the person 11 and the train 23 is extracted as a moving object candidate pixel.
  • the cluster composed of the distance pixels to the person 11 is extracted, and the cluster composed of the distance pixels to the train 23 is excluded from the extraction target.
  • the cluster composed of the distance pixels up to is registered as the background.
  • the distance pixel in front of the background distance image including a part of the distance pixels to the train 23 becomes the moving object candidate pixel, and only the person 11 etc. in front of the train 23 is the moving object to be extracted. Will be extracted. If this is repeated several times, even if a part of the train 23 is blocked by the person 11 halfway, a background of the state where the train 23 exists is created.
  • the moving body extraction means 2 displays the latest background distance image on the display unit 2b to allow the user to confirm, and the display unit 2b and the operation unit 2c provide means for the user to input an instruction to stop the background update.
  • FIG. 9 shows a display example of the latest background distance image and background update stop button.
  • the latest background distance image 31a is plotted and a distance auxiliary line is also displayed.
  • the black belt-shaped object indicates the background distance image 31a.
  • the object detection system 1 of the present embodiment it is possible to accurately extract the extraction target moving body regardless of the background state of the desired extraction target moving body.
  • the present invention can be used for detecting an object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

所望の抽出対象の移動体の背景状況によらず、当該抽出対象の移動体を精度よく抽出する。物体検出システム（１）は、外界から距離画像を検出する距離画像検出手段（１０）と、距離画像から所望の抽出対象の移動体を抽出する移動体抽出手段（２）とを備える。移動体抽出手段は、予め所望の抽出対象の移動体が存在しない状態の距離画像を背景として記憶部（２ａ）に登録し、現在の距離が当該背景の距離よりも手前である画素のみを抽出対象の移動体に対応する画素の候補として抽出する（Ｓ２，Ｓ３）。また移動体抽出手段は、抽出した候補の画素からなる画素群からさらにクラスタのサイズ等によって判定（Ｓ７）を行い抽出対象の移動体として抽出し、抽出対象の移動体として抽出しなかった部分については、その画素の距離を背景の距離として記憶部に更新登録する（Ｓ８）。

Description

物体検出システム
　本発明は、物体検出システムに関する。
　近年、監視空間内の侵入者や車両を検出する目的で、レーザーレーダーなどで検出した距離画像の中から物体を検出する物体検出システムが使用されている。ここで、距離画像とは、２次元座標に物体までの距離値がマッピングされたものである。
　距離画像から移動体を含む画素を抽出する方法としては、特許文献１にも記載されるように、あらかじめ取得しておいた背景（移動体が存在しない状態の距離画像）と比較して距離に差がある画素を抽出する方法が知られている。特許文献１における背景距離マップ生成部は、レーザーレーダーの計測結果に基づいて検出領域内におけるレーザーレーダーから背景にある物体までの距離情報を示す背景距離マップを生成する。移動物体検出部は、背景距離マップメモリに予め記憶されている背景距離マップの距離情報とレーザーレーダーの計測結果との差から検出領域内の移動物体を検出する。
特開２００５-３００２５９号公報
　しかし、上述の方法では下記のような場合に本来不要な画素まで抽出されてしまうという問題がある。
（１）ガラスや水たまりなど反射するものがある場合
　距離を計測する方法として、ＴＯＦ（光が物体に反射し戻ってくるまでを計測する方法）を用いている場合に、ガラスや水たまりなど全反射する部分に照射された光が、そこで反射し、その先にある物体から反射して戻ってくることがある。そうすると、ガラスや水たまりの奥に物体があるような距離画像となる。これは実際には物体が存在しない位置に現れている虚像なので、抽出したい移動体画素ではないが、背景と距離の差がある部分を抽出すると、ここも移動体の候補画素として抽出されてしまう。
　図１０は、レーザーレーダーなどの外界から距離画像を検出する距離画像検出装置１０の前方に人物１１及びガラス１２がある状況を示す。図１０のとおり、光路１４で反射した光が戻ってくることによって、実際には存在しない位置に物体が現れたように見える。
　このため、従来技術で背景と異なる距離にあるものを抽出すると、この虚像１３も抽出されてしまう。
（２）フェンスなど向こう側が透けて見える物体がある場合
　フェンスなど向こう側が透けて見える物体がある場合、フェンスの奥に人などが現れた場合に、その人が検出される。（光がフェンスを通り抜け、その奥の人からも反射して戻ってくるため）。目的によるが、フェンスの内側の動きを見たい場合、これは余計な情報となる。背景（フェンス）とは距離があるため、従来技術ではこの画素も抽出されてしまう。
　図１１Ａ，図１１Ｂは、距離画像検出装置１０の前方に網目状のフェンス１５がある状況を示す。この場合、人物がいない場合は図１１Ａに示すようにフェンス１５のみから光が光路１６で戻ってくるが、図１１Ｂに示すようにフェンス１５の奥側１８に人物１１が現れた場合に、光路１７でその人物１１から反射した光も戻ってくる。ここで、距離画像検出装置１０から見てフェンス１５の手前側１９のみを見たい場合、図１１Ｂの人物１１の情報は不要な情報だが、従来技術では背景と異なる部分を抽出するため、この人物１１も抽出されてしまう。
（３）背景が変化する場合
　背景が頻繁に変化するようなケース、例えば駅のホーム上の人物を監視したい場合である。図４から図７は、距離画像検出装置１０の前方に駅のホーム２０、線路２１及び壁２２がある状況を示す。例えば壁２２をデータ処理上の背景として固定してしまうと、駅に出入りする電車２３によって人物に対する実際の背景が変わってしまい、その部分がすべて移動体を含む画素として抽出されてしまう。
　電車２３もデータ処理上の背景の一部として設定すると、従来技術では背景と異なる部分を抽出するため、電車２３が無い状況での壁２２も抽出されてしまう。
　そのため、従来技術の方法では電車より手前の人物などの所望の抽出対象の移動体を含む画素のみを抽出することができなかった。
　また、電車２３は固定物ではなく移動体であり、検出対象範囲に常にはおらず、かつ、車両の違いや停車位置のバラつき等により距離誤差もあるから、電車２３をデータ処理上の背景とするには困難がある。　
　本発明は以上の従来技術における問題に鑑みてなされたものであって、所望の抽出対象の移動体の背景状況によらず、当該抽出対象の移動体を精度よく抽出することを課題とする。
　以上の課題を解決するための請求項１記載の発明は、外界から距離画像を検出する距離画像検出手段と、前記距離画像から所望の抽出対象の移動体を抽出する移動体抽出手段とを備える物体検出システムであって、
前記移動体抽出手段は、予め前記抽出対象の移動体が存在しない状態の距離画像を背景として記憶部に登録し、現在の距離が当該背景の距離よりも手前である画素のみを前記抽出対象の移動体に対応する画素の候補として抽出する物体検出システムである。
　本発明によれば、上記（１）（２）（３）のケースがそれぞれ以下の通り解決される。
　上記（１）の「ガラスや水たまりなど反射するものがある場合」
　反射して戻ってきた光については、背景（ガラスや水たまり）よりも遠くから戻ってくるため、その距離は背景より遠くになっている。そのため、背景より手前側のみ抽出すれば、これらの画素は含まれない。
　上記（２）の「フェンスなど向こう側が透けて見える物体がある場合」
　フェンスの奥の物体は背景（フェンス）より距離は遠い。そのため、背景より手間のみ抽出すれば、これらの画素は含まれない。
　上記（３）の「背景が変化する場合」
　背景の変化する部分が最も手前にある状態で背景を取得しておくことによって、背景が変化した部分については抽出されなくなる。例えば、図４から図７に示したように駅のホームを監視するケースでは、電車２３が止まっている状態で背景を取得し登録しておけば、その後電車２３が出て行ったとしても、その部分（壁２２）は手前側には変化しないため抽出されないが、その前に人物１１が立った場合には、距離は手前に変化するため、抽出される。このようにホーム２０上の人物１１のみを抽出することができる。
　請求項２記載の発明は、前記移動体抽出手段は、抽出した前記候補の画素からなる画素群からさらに判定を行い前記抽出対象の移動体として抽出し、前記抽出対象の移動体として抽出しなかった部分については、その画素の距離を背景の距離として前記記憶部に更新登録する請求項１に記載の物体検出システムである。
　かかる発明によれば、特に上記（３）の背景が変化する場合などにおいて、最適な背景を取得することが難しい場合でも、測定中の情報から背景の距離を更新していくことで、最適な背景を得ることができる。
　請求項３記載の発明は、前記移動体抽出手段は、前記判定を検出した移動体のサイズによって行う請求項２に記載の物体検出システムである。
　かかる発明によれば、上記（３）のケースで例えば図４から図７に示したように駅のホーム２０の奥の電車２３は抽出対象とせず、ホーム２０上を歩く人物１１を抽出したい場合、人物１１相当サイズ以下の移動体のみを「所望の抽出対象の移動体」として抽出するようにしておけば、電車２３はそのサイズから「所望の抽出対象の移動体」ではないと判定できる。また、このサイズというパラメータは設定するユーザーにとってわかりやすく、調整が容易である。
　請求項４記載の発明は、前記移動体抽出手段は、前記記憶部に登録した背景より手前にあるかを判断する際に、最低変化距離の閾値を設け、背景の距離よりも当該閾値以上に手前である画素のみを前記抽出対象の移動体に対応する画素の候補として抽出する請求項１から請求項３のうちいずれか一に記載の物体検出システムである。
　かかる発明によれば、誤差やノイズで偶発的に背景より手前になった画素を誤って抽出することを防ぐことができる。
　以上説明したように本発明によれば、所望の抽出対象の移動体の背景状況によらず、当該抽出対象の移動体を精度よく抽出することができる。
本発明の一実施形態に係る物体検出システムのブロック図である。 本発明の一実施形態に係る物体検出システムのよる演算過程を示すフローチャートである。 本発明の一実施形態に係る物体検出システムのよる演算過程を示す、図２に続くフローチャートである。 電車の駅のホームを検出対象としてレーザーレーダーなどの距離画像検出装置が設置された状況を示す模式図である。 図４から変わった状況を示す模式図である。 図４から変わった他の状況を示す模式図である。 図４から変わったさらに他の状況を示す模式図である。 図７と同じ模式図に電車部分により構成される背景距離画像を加えた模式図である。 本発明の一実施形態に係る物体検出システムのよる最新の背景距離画像及びの背景更新停止ボタンの表示例を示す図である。 レーザーレーダーなどの距離画像検出装置の前方に人物及びガラスがある状況を示す模式図である。 レーザーレーダーなどの距離画像検出装置の前方に網目状のフェンスがある状況を示す模式図である。 レーザーレーダーなどの距離画像検出装置の前方に網目状のフェンスがあり、そのフェンス裏に人物が現れた状況を示す模式図である。
　以下に本発明の一実施形態につき図面を参照して説明する。以下は本発明の一実施形態であって本発明を限定するものではない。
　図１に示すように本実施形態の物体検出システム１は、外界から距離画像を検出する距離画像検出手段としてのレーザーレーダーなどの距離画像検出装置１０と、距離画像検出装置１０が出力する距離画像から所望の抽出対象の移動体を抽出する移動体抽出手段２とを備える。移動体抽出手段２はコンピューターによって構成され、記憶部２ａを有し、ＣＰＵにより以下に説明する演算を実行する。
　移動体検出（図２、図３のフロー）に先立ち、移動体抽出手段２は、検出したいエリアに人などの障害物がない状態で距離画像検出装置１０により距離画像を取得し、それを背景として記憶部２ａに登録する。
　背景登録後、図２に示すように移動体抽出手段２は、距離画像検出装置１０が出力する距離画像を取得する（Ｓ１）。当該距離画像が現在の距離画像に相当する。
　次に移動体抽出手段２は、当該距離画像おける現在の距離が、記憶部２ａに登録された背景の距離よりも手前か否か判断する（Ｓ２）。すなわち、ステップＳ２において移動体抽出手段２は、距離画像検出装置１０から取得した現在の距離画像の中の１画素の距離値と、この１画素と座標が同じである背景距離画像中における１画素の距離値とを比較して、前者が小さいか否かを判断する。
　移動体抽出手段２は、ステップＳ２においてＹＥＳの場合、その判断対象の１画素を移動体候補画素として抽出する（Ｓ３）。移動体候補画素は、所望の抽出対象の移動体に対応する画素の候補である。
　ステップＳ２において距離が近いかを判定する際には、そのまま比較するだけではなく、最低変化距離の閾値を設け、背景の距離よりも当該閾値以上に手前である画素のみを移動体候補画素として抽出するようにしてもよい。これにより、誤差やノイズで偶発的に背景より手前になった画素を誤って抽出することを防ぐことができる。
　移動体抽出手段２は、以上のステップＳ２、Ｓ３を全画素について実行したら（Ｓ４でＹＥＳ）、移動体候補画素処理Ｒ１（図３のフロー）を実行する。
　移動体候補画素処理Ｒ１としては、図３に示すように移動体抽出手段２は、移動体候補画素（画素群）をクラスタに分ける（Ｓ５）。
　次に移動体抽出手段２は、各クラスのサイズを算定する（Ｓ６）。例えば、垂直方向寸法、水平方向寸法、総面積などを算出する。なお、「サイズ」は、実寸法であり、見た目上の大きさではない。
　移動体抽出手段２は、ステップＳ６で算定したサイズが抽出対象の移動体を特定するための所定の閾値以下か否か判定する（Ｓ７）。
　移動体抽出手段２は、ステップＳ７でＹＥＳの場合、そのクラスタを抽出対象の移動体として抽出し、抽出対象移動体処理Ｒ２を実行する。抽出対象移動体処理Ｒ２は、例えば、所定エリアへの侵入者を監視している目的であれば、通報を発するなどの処理であり、特に限定される内容はない。
　移動体抽出手段２は、ステップＳ７でＮＯの場合、そのクラスタの画素の距離を背景の距離として記憶部２ａに更新登録する（Ｓ８）。
　本実施形態ではサイズが規定のサイズより小さい場合に対称の移動体として認識するよう判定している。
　これにより、例えば、図４から図７に示すような駅のホームを監視したい場合に、ホーム２０を歩いている人間のサイズより大きく電車車両のサイズより小さく閾値を設定すれば、電車２３のような大きいもののクラスタは、ステップＳ８で背景とすることができる。このように電車２３を背景の一部として更新登録により構築した場合、又は、初期登録した場合は、図８に示すように、電車のホーム側面相当に背景距離画像３０が得られるので、その後、図４から図７に示すように電車２３が出入りしても、電車２３及び壁２２は、所望の抽出対象の移動体としては抽出されることはない。
　なお、以上の移動体候補画素からの移動体の判定方法については一例であり、ほかの方法を用いてもよい。その場合も、そこで抽出対象と判定されなかった物を背景画素とする。
　さらに駅のホームを例にして説明する。
　図４から図７に示すよう駅のホームの例では、最初に電車２３も人物１１もいない状態（図４）で背景を取得したとして、その後距離画像を取得し、そこから背景より手前にある移動体候補画素を抽出してくると、図６に示す状況では、人物１１と電車２３までの距離画素が移動体候補画素として抽出される。
　ここからステップＳ７のようにしてサイズによって対象を分別すると、人物１１までの距離画素で構成されるクラスタが抽出対象となり、電車２３までの距離画素で構成されるクラスタが抽出対象外となり、電車２３までの距離画素で構成されるクラスタは背景として登録される。
　そうすると、次回以降は電車２３までの距離画素を一部とする背景距離画像より手前にある距離画素が移動体候補画素となり、電車２３より手前の人物１１等のみが所望の抽出対象の移動体として抽出されるようになる。
　これが何度か繰り返されれば、途中途中で電車２３の一部が人物１１により遮られても、電車２３が存在する状態の背景が作られる。
　背景が出来上がった以降は背景の更新を止めてもよい。背景が正しく出来上がったか否かを判断することは容易ではないため、次のようにユーザーに確認させる手段をとるとよい。
　すなわち、移動体抽出手段２は、表示部２ｂに最新の背景距離画像を表示することでユーザーに確認させ、背景の更新を止める指示をユーザーが入力する手段を、表示部２ｂ及び操作部２ｃによって与える。図９は、最新の背景距離画像及びの背景更新停止ボタンの表示例を示す。図９において、メイン表示領域３１には、最新の背景距離画像３１ａがプロットされ、距離の補助線も表示されている。図９において、黒い帯状のものが背景距離画像３１ａを示す。このような表示をユーザーが確認し、背景更新停止ボタン３２をマウスクリック又は画面タッチなどで押下すれば、背景の更新が停止される。
　以上説明したように本実施形態の物体検出システム１によれば、所望の抽出対象の移動体の背景状況によらず、当該抽出対象の移動体を精度よく抽出することができる。
　本発明は、物体の検出に利用することができる。
１ 物体検出システム
２ 移動体抽出手段
２ａ 記憶部
１０ 距離画像検出装置（距離画像検出手段）
１１ 人物
１２ ガラス
１３ 虚像
１５ フェンス
２０ ホーム
２１ 線路
２２ 壁
２３ 電車
３０ 背景距離画像
３１ａ 背景距離画像
３２ 背景更新停止ボタン

Claims (4)

  1. 外界から距離画像を検出する距離画像検出手段と、前記距離画像から所望の抽出対象の移動体を抽出する移動体抽出手段とを備える物体検出システムであって、
    前記移動体抽出手段は、予め前記抽出対象の移動体が存在しない状態の距離画像を背景として記憶部に登録し、現在の距離が当該背景の距離よりも手前である画素のみを前記抽出対象の移動体に対応する画素の候補として抽出する物体検出システム。
  2. 前記移動体抽出手段は、抽出した前記候補の画素からなる画素群からさらに判定を行い前記抽出対象の移動体として抽出し、前記抽出対象の移動体として抽出しなかった部分については、その画素の距離を背景の距離として前記記憶部に更新登録する請求項１に記載の物体検出システム。
  3. 前記移動体抽出手段は、前記判定を検出した移動体のサイズによって行う請求項２に記載の物体検出システム。
  4. 前記移動体抽出手段は、前記記憶部に登録した背景より手前にあるかを判断する際に、最低変化距離の閾値を設け、背景の距離よりも当該閾値以上に手前である画素のみを前記抽出対象の移動体に対応する画素の候補として抽出する請求項１から請求項３のうちいずれか一に記載の物体検出システム。
PCT/JP2018/008370 2017-03-14 2018-03-05 物体検出システム WO2018168552A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/493,121 US11113833B2 (en) 2017-03-14 2018-03-05 Object detection system
JP2019505895A JP6962365B2 (ja) 2017-03-14 2018-03-05 物体検出システム及びプログラム
EP18768274.5A EP3598175B1 (en) 2017-03-14 2018-03-05 Object detection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-048587 2017-03-14
JP2017048587 2017-03-14

Publications (1)

Publication Number Publication Date
WO2018168552A1 true WO2018168552A1 (ja) 2018-09-20

Family

ID=63523303

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/008370 WO2018168552A1 (ja) 2017-03-14 2018-03-05 物体検出システム

Country Status (4)

Country Link
US (1) US11113833B2 (ja)
EP (1) EP3598175B1 (ja)
JP (1) JP6962365B2 (ja)
WO (1) WO2018168552A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI733188B (zh) * 2019-09-11 2021-07-11 瑞昱半導體股份有限公司 用於獨立物件之運動估計的裝置以及方法
JP2021135155A (ja) * 2020-02-27 2021-09-13 株式会社東芝 システム及び方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191095A (ja) * 2002-12-09 2004-07-08 Foundation For The Promotion Of Industrial Science 通行人軌跡抽出装置およびシステム
JP2005300259A (ja) 2004-04-08 2005-10-27 Ishikawajima Harima Heavy Ind Co Ltd 移動物体検出装置及び方法
JP2006064695A (ja) * 2004-07-30 2006-03-09 Matsushita Electric Works Ltd 個体検出器及び共入り検出装置
JP2008275442A (ja) * 2007-04-27 2008-11-13 Univ Of Tokyo レーザ計測システム及び方法
JP2009015655A (ja) * 2007-07-05 2009-01-22 Toyota Motor Corp 画像処理装置
JP2009085927A (ja) * 2007-10-03 2009-04-23 Hitachi Information & Communication Engineering Ltd 物体検知システム及びその方法
JP2011185664A (ja) * 2010-03-05 2011-09-22 Panasonic Electric Works Co Ltd 対象物検出装置
US20150371398A1 (en) * 2014-06-23 2015-12-24 Gang QIAO Method and system for updating background model based on depth
US20160292522A1 (en) * 2015-04-03 2016-10-06 Otis Elevator Company Traffic list generation for passenger conveyance

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101605168B1 (ko) * 2010-01-04 2016-03-22 삼성전자주식회사 이미지 처리 장치 및 방법
KR101593187B1 (ko) * 2014-07-22 2016-02-11 주식회사 에스원 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191095A (ja) * 2002-12-09 2004-07-08 Foundation For The Promotion Of Industrial Science 通行人軌跡抽出装置およびシステム
JP2005300259A (ja) 2004-04-08 2005-10-27 Ishikawajima Harima Heavy Ind Co Ltd 移動物体検出装置及び方法
JP2006064695A (ja) * 2004-07-30 2006-03-09 Matsushita Electric Works Ltd 個体検出器及び共入り検出装置
JP2008275442A (ja) * 2007-04-27 2008-11-13 Univ Of Tokyo レーザ計測システム及び方法
JP2009015655A (ja) * 2007-07-05 2009-01-22 Toyota Motor Corp 画像処理装置
JP2009085927A (ja) * 2007-10-03 2009-04-23 Hitachi Information & Communication Engineering Ltd 物体検知システム及びその方法
JP2011185664A (ja) * 2010-03-05 2011-09-22 Panasonic Electric Works Co Ltd 対象物検出装置
US20150371398A1 (en) * 2014-06-23 2015-12-24 Gang QIAO Method and system for updating background model based on depth
US20160292522A1 (en) * 2015-04-03 2016-10-06 Otis Elevator Company Traffic list generation for passenger conveyance

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3598175A4

Also Published As

Publication number Publication date
US20200118284A1 (en) 2020-04-16
JPWO2018168552A1 (ja) 2020-01-16
EP3598175A4 (en) 2020-03-11
EP3598175B1 (en) 2023-06-21
US11113833B2 (en) 2021-09-07
EP3598175A1 (en) 2020-01-22
JP6962365B2 (ja) 2021-11-05

Similar Documents

Publication Publication Date Title
US10753758B2 (en) Top-down refinement in lane marking navigation
US8447069B2 (en) Apparatus and method for moving object detection
KR20210127121A (ko) 도로 이벤트 검출 방법, 장치, 기기 및 저장매체
US20180154901A1 (en) Method and system for localizing a vehicle
US8150104B2 (en) Moving object detection apparatus and computer readable storage medium storing moving object detection program
CN113370911B (zh) 车载传感器的位姿调整方法、装置、设备和介质
KR102126670B1 (ko) 검출 영역을 최적화하는 장애물 추적 장치 및 방법
US10210403B2 (en) Method and apparatus for pixel based lane prediction
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
JP5756709B2 (ja) 身長推定装置、身長推定方法、及び身長推定プログラム
US11961304B2 (en) Systems and methods for deriving an agent trajectory based on multiple image sources
US11961241B2 (en) Systems and methods for deriving an agent trajectory based on tracking points within images
WO2018168552A1 (ja) 物体検出システム
JP2017010464A (ja) 車線検出装置及び車線検出方法
JP6411933B2 (ja) 車両状態判定装置
JP2010185824A (ja) 車両検出装置、車両検出方法、および車両検出プログラム
JP6185327B2 (ja) 車両後側方警報装置、車両後側方警報方法および他車両距離検出装置
JP2009276906A (ja) 走行情報提供装置
KR20210037468A (ko) 레인을 검출하는 차량 및 방법
JP6313063B2 (ja) 車載用認識装置
JP2019207607A (ja) 移動体追跡装置
JP5176523B2 (ja) 移動体検出装置、移動体検出方法および移動体検出プログラム
US11555913B2 (en) Object recognition device and object recognition method
JP2016009281A (ja) 人流分析システム
JP2017130104A (ja) 余裕度判定装置、余裕度判定方法および運転支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18768274

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019505895

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018768274

Country of ref document: EP

Effective date: 20191014