JP6309099B2 - 監視装置 - Google Patents

監視装置 Download PDF

Info

Publication number
JP6309099B2
JP6309099B2 JP2016531393A JP2016531393A JP6309099B2 JP 6309099 B2 JP6309099 B2 JP 6309099B2 JP 2016531393 A JP2016531393 A JP 2016531393A JP 2016531393 A JP2016531393 A JP 2016531393A JP 6309099 B2 JP6309099 B2 JP 6309099B2
Authority
JP
Japan
Prior art keywords
distance
intensity
peak point
difference
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016531393A
Other languages
English (en)
Other versions
JPWO2016002776A1 (ja
Inventor
健一 新房
健一 新房
康伸 大森
康伸 大森
三輪 祥太郎
祥太郎 三輪
勝治 今城
勝治 今城
秀伸 辻
秀伸 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2016002776A1 publication Critical patent/JPWO2016002776A1/ja
Application granted granted Critical
Publication of JP6309099B2 publication Critical patent/JP6309099B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • G01V8/12Detecting, e.g. by using light barriers using one transmitter and one receiver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/181Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Description

この発明は、監視領域に存在する対象物を認識する監視装置に関するものである。
従来より、カメラ画像を用いて対象物を検知および認識する技術が存在する。カメラ画像は2次元データであることから、当該カメラ画像から得られる情報も2次元座標、輝度、および色などに限定される。従来技術の多くは輝度背景差分方式を用いて、監視領域内の変化領域を抽出して対象物を認識している。例えば、特許文献1に開示された監視用画像処理装置では、現画像データと比較用画像データとを比較演算して変化領域を抽出し、抽出した変化領域が所定の条件に合致した場合は発報対象として認識し、変化領域が所定の面積で現れた場合には外乱が発生したと判定した場合に発報対象の処理を規制している。
特開平9−214939号公報
しかしながら、上述した特許文献1に記載された技術では、カメラ画像から得られる2次元データでは3次元の監視領域を監視するための精度が劣るという課題があった。また、対象物と背景とに輝度差が存在する場合には輝度背景差分が効果的に得られるが、対象物と背景とに輝度差が存在しない場合には対象物を精度よく認識することができないという課題があった。さらに、対象物と背景とに輝度差が十分に存在するが、対象物が3次元座標上をZ軸方向に移動(カメラなどの撮像手段に向かって直進)する場合に、2次元座標上では対象物が静止していると認識され、発報対象として認識することが困難となる。このように、対象物と背景とに十分な輝度差が存在した場合であっても、対象物を精度よく認識することができないという課題があった。
この発明は、上記のような課題を解決するためになされたもので、対象物と背景とに十分な輝度差が存在しない場合、あるいは対象物が3次元座標上をZ軸方向に移動する場合においても、対象物を精度よく認識可能な監視装置を提供することを目的とする。
この発明に係る監視装置は、監視領域を測定した3次元レーザスキャナの測定結果から、監視領域までの距離情報を取得し、現距離データとする現データ演算部と、測定結果から監視領域までの距離情報を取得し、比較距離データに変換する比較データ演算部と、現データ演算部が取得した現距離データと、比較データ演算部が変換した比較距離データとの差分値を算出し、当該差分値が閾値以上である領域を変化領域として抽出する第1の変化領域抽出部とを備え、第1の変化領域抽出部は、監視領域における背景と対象物との距離関係に基づいて拒絶すべき差分値を記憶したマップデータと、現距離データと比較距離データとの差分値とを照合し、マップデータにより拒絶される差分値を修正する正負マップ照合部を備えるものである。
この発明によれば、対象物と背景とに十分な輝度差が存在しない場合、あるいは対象物が3次元座標上を移動する場合においても、対象物を精度よく認識することができる。
実施の形態1に係る監視装置の構成を示すブロック図である。 3次元レーザスキャナの構成を示す図である。 3次元レーザスキャナの分散機構を示す説明図である。 実施の形態1に係る監視装置の動作を示すフローチャートである。 実施の形態1に係る監視装置の認識処理部の判定処理を示すフローチャートである。 実施の形態2に係る監視装置の構成を示すブロック図である。 実施の形態2に係る監視装置の動作を示すフローチャートである。 実施の形態3に係る監視装置の構成を示すブロック図である。 実施の形態3に係る監視装置の距離演算部の処理の一例を示す図である。 実施の形態3に係る監視装置の変化領域の抽出を示す図である。 実施の形態3に係る監視装置の動作を示すフローチャートである。 実施の形態3に係る監視装置の認識処理部の判定処理を示すフローチャートである。 実施の形態4に係る監視装置の構成を示すブロック図である。 実施の形態4に係る監視装置の動作を示すフローチャートである。 実施の形態5に係る監視装置の構成を示すブロック図である。 実施の形態5に係る監視装置の強度演算部の処理の一例を示す図である。 実施の形態5に係る監視装置の変化領域の抽出を示す図である。 実施の形態5に係る監視装置の動作を示すフローチャートである。 実施の形態6に係る監視装置の構成を示すブロック図である。 実施の形態6に係る監視装置の安定度確認部の処理を示す図である。 実施の形態6に係る監視装置の動作を示すフローチャートである。 実施の形態6に係る監視装置の認識処理部の判定処理を示すフローチャートである。 実施の形態1と実施の形態3の構成を組み合わせて実現した監視装置の構成を示すブロック図である。 実施の形態1と実施の形態5の構成を組み合わせて実現した監視装置の構成を示すブロック図である。 実施の形態3と実施の形態5の構成を組み合わせて実現した監視装置の構成を示すブロック図である。 実施の形態1と実施の形態3と実施の形態5の構成を組み合わせて実現した監視装置の構成を示すブロック図である。 実施の形態7に係る監視装置の構成を示すブロック図である。 実施の形態7に係る監視装置の動作を示すフローチャートである。 実施の形態8に係る監視装置の構成を示すブロック図である。 実施の形態8に係る監視装置の動作を示すフローチャートである。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、実施の形態1に係る監視装置の構成を示すブロック図である。
監視装置100は、3次元レーザスキャナ10、現データ演算部20、現データ蓄積部21、比較データ演算部30、比較データ蓄積部31、第1の変化領域抽出部40、認識処理部50および報知処理部60で構成されている。なお、図1において、監視装置100外に3次元レーザスキャナ10のスキャン範囲を示す背景200、当該背景200の前に立つ対象物201を記載している。
図2は、3次元レーザスキャナの構成を示す図である。図2に示すように、3次元レーザスキャナ10は、レーザ発光ユニット11、回転ミラーを用いた分散機構13およびレーザ受光ユニット16を内蔵し、背景200で示した範囲をスキャンして距離データおよび強度データを取得する。レーザ発光ユニット11は、レーザ光パルス12を照射する。
分散機構13は、レーザ発光ユニット11から発光されたレーザ光パルス12を広角範囲に分散させる機構である。図2の例では、回転ミラーを用いた分散機構13を示している。当該回転ミラーを用いた分散機構13の詳細については後述する。分散機構13により分散された分散レーザ光パルス14は、背景200あるいは対象物(図2においては不図示)に照射および反射されレーザ反射光15を形成する。図2の例では、分散レーザ光パルス14が背景200のX方向およびY方向へ順次分散照射される様子を示している。具体的には、背景200のX方向に6ポイント、背景200のY方向に2ポイント、合計12ポイントに分散照射されている。
レーザ受光ユニット16は、反射対象で反射されたレーザ反射光15を受光し、発光から受光までの時間差に基づいて、反射対象までの距離を算出し、距離データとする。図2の例では、背景200のX方向に6ポイント、背景200のY方向に2ポイント、合計12ポイントに分散された照射位置全てに対して、個別に距離を算出する。さらに、レーザ受光ユニット16は、分散された照射位置全てに対して、照射した光量と受光した光量の比率に基づいて反射対象の各ポイントにおける反射率を算出し、強度データとする。レーザ受光ユニット16で算出された距離データおよび強度データ17は、図1で示した現データ演算部20および比較データ演算部30に出力される。
なお、図2では、回転ミラーを用いた分散機構13としたが、その他の分散機構を適用してもよい。例えば、モータレスでミラーをスキャンするスキャンレス光学系としてもよい。
次に、回転ミラーを用いた分散機構13の詳細について、図3を参照しながら説明を行う。分散機構13は、第1の回転ミラー13a、第1のモータ13b、第2の回転ミラー13cおよび第2のモータ13dで構成されている。第1の回転ミラー13aは、入射されたレーザ光パルス12のパルス周波数と同期して動作し、レーザ光パルス12を第1の回転ミラー13aの面に対して水平方向に分散する。水平方向に分散された水平分散レーザ光パルス13eは、常に同一の角度で分散される。第1のモータ13bは、第1の回転ミラー13aを駆動させる駆動源である。第2の回転ミラー13cは、入射されたレーザ光パルス12のパルス周波数と同期して動作し、水平分散レーザ光パルス13eをさらに垂直方向に分散する。垂直方向に分散された垂直分散レーザ光パルス13fは、常に同一の角度で分散される。第2のモータ13dは、第2の回転ミラー13cを駆動させる駆動源である。
以上の動作により、3次元レーザスキャナ10は、以下に示すX,Y,Zの3次元情報を得る。
X;水平方向座標(図2の例では、6ポイント)
Y;垂直方向座標(図2の例では、2ポイント)
Z;距離データ(Z軸方向の奥行き情報(以下、Z軸情報と称する))
3次元情報には、Z軸情報が含まれているため、対象物が3次元座標上のZ軸移動(3次元レーザスキャナ10に向かって直進)した場合においても、Z軸方向の移動量を用いて差分を得ることができる。
現データ演算部20は、3次元レーザスキャナ10から入力される距離データを取得し、監視領域の現在の距離データを現データとして現データ蓄積部21に蓄積する。現データ演算部20は、入力された距離データそのものを現データ蓄積部21に蓄積する場合が多い。比較データ演算部30は、3次元レーザスキャナ10から入力される距離データを取得し、比較データに変換して比較データ蓄積部31に蓄積する。比較データへの変換処理は、例えば入力された距離データから遡って過去50フレーム分の距離データから平均距離データを得て比較データとする、あるいは入力された距離データの直前のフレームの距離データを得て比較データとする。
第1の変化領域抽出部40は、現データ蓄積部21に蓄積された現データ、および比較データ蓄積部31に蓄積された比較データを取得し、現データと比較データとを画素単位で比較して差分値を算出し、算出した差分値があらかじめ設定した閾値以上である画素領域を変化領域として抽出する。一般的に、一定の閾値を設定し、差分値が設定した閾値以上であるか否かで2値化した2値化データに変換して取り扱う。
認識処理部50は、第1の変化領域抽出部40が抽出した変化領域の条件があらかじめ定めた条件を満たしているか否かに基づいて、変化領域が報知対象であるか否かの認識処理を行う。報知処理部60は、認識処理部50の認識結果に基づいて報知処理を行う。報知処理としては、上位にあるPCなどに特定の信号を送信する処理、あるいは装置のブザーを鳴らすなどの処理などが挙げられる。
次に、監視装置100の動作について説明する。
図4は、実施の形態1に係る監視装置の動作を示すフローチャートである。
なお、図4のフローチャートでは、3次元レーザスキャナ10の解像度が80×60画素である場合を例に説明を行う。
まず、3次元レーザスキャナ10は背景200の範囲をスキャンし(ステップST1)、距離データおよび強度データを取得する(ステップST2)。具体的には、背景200の範囲を3次元レーザスキャナ10の解像度である80×60に分割してスキャンする。距離データは一般にデジタルデータであり、ここでは80×60画素の1画素あたり8ビットの多値データとする。現データ演算部20は、ステップST2で取得された80×60画素の距離データを現データとして現データ蓄積部21に蓄積する(ステップST3)。比較データ演算部30は、ステップT2で取得された80×60画素の距離データを比較データに変換し、比較データ蓄積部31に蓄積する(ステップST4)。
第1の変化領域抽出部40は、現データ蓄積部21に蓄積された現データと、比較データ蓄積部31に蓄積された比較データとを用いて、画素ごとの差分値を算出する(ステップST5)。ステップST5の処理では、現データと比較データが距離データで構成されていることから、得られる差分値は「距離の差」を示している。例えば、現データに背景200および対象物201が含まれ、比較データに背景200のみが含まれている場合、得られる差分値は「背景と対象物との間の距離」を示している。
ステップST5で得られた差分値は8bitの多値データであるため、第1の変化領域抽出部40は得られた差分値があらかじめ設定した閾値以上であるか否か判定を行う(ステップST6)。差分値が閾値以上である場合(ステップST6;YES)、当該画素領域を変化領域として抽出する(ステップST7)。一方、差分値が閾値未満である場合(ステップST6;NO)、当該画素領域は変化領域でないと判断し(ステップST8)、ステップST9の処理に進む。その後、第1の変化領域抽出部40は、80×60画素全てについて処理を行ったか否か判定を行う(ステップST9)。80×60画素全てについて処理を行っていない場合(ステップST9;NO)、ステップST5の処理に戻り、上述した処理を繰り返す。
一方、80×60画素全てについて処理を行った場合(ステップST9;YES)、認識処理部50は、ステップST7で抽出された変化領域が照合条件を満たすか否か判定を行う(ステップST10)。照合条件を満たす場合(ステップST10;YES)、変化領域が報知対象であると認識する(ステップST11)。一方、照合条件を満たさない場合(ステップST10;NO)、変化領域が報知対象でないと判断し(ステップST12)、ステップST1の処理に戻る。報知処理部60は、ステップST11で認識された報知対象について報知処理を行い(ステップST13)、ステップST1の処理に戻る。
次に、認識処理部50による判定処理の詳細に示す。
図5は、実施の形態1に係る監視装置の認識処理部の判定処理を示すフローチャートである。
認識処理部50は、変化領域が監視範囲内に存在するか否か判定を行う(ステップST21)。監視範囲内に存在する場合(ステップST21;YES)、さらに変化領域が所定の面積を有しているか否か判定を行う(ステップST22)。所定の面積を有している場合(ステップST22;YES)、さらに変化領域が所定の縦横寸法を有しているか否か判定を行う(ステップST23)。所定の縦横寸法を有している場合(ステップST23;YES)、さらに変化領域が所定の移動速度を有しているか否か判定を行う(ステップST24)。所定の移動速度を有している場合(ステップST24;YES)、ステップST11に進み、変化領域が報知対象であると認識される。
一方、変化領域が、監視範囲内に存在しない場合(ステップST21;NO)、所定の面積を有していない場合(ステップST22;NO)、所定の縦横寸法を有していない場合(ステップST23;NO)、所定の移動速度を有してない場合(ステップST24;NO)、ステップST12に進み、報知対象でないと判断される。
以上のように、この実施の形態1によれば、3次元レーザスキャナ10により取得された距離データから現データを取得する現データ演算部20と、3次元レーザスキャナ10により取得された距離データから比較データを取得する比較データ演算部30と、現データと比較データとの差分値から変化領域を抽出する第1の変化領域抽出部40とを備えるように構成したので、差分値として対象物と背景との距離情報を得ることができ、対象物と背景とに十分な輝度差が存在しない場合にも対象物と背景との差異を認識することができる。また、3次元レーザスキャナ10により取得された距離情報に含まれるZ軸情報を用いることにより、対象物の3次元座標上のZ軸方向への移動も認識することができる。これらにより、対象物の認識精度を向上させることができる。
実施の形態2.
図6は、実施の形態2に係る監視装置の構成を示すブロック図である。
実施の形態2の監視装置100aは、図1で示した実施の形態1の監視装置100の第1の変化領域抽出部40に正負マップ照合部41を追加して設けている。なお、以下では、実施の形態1に係る監視装置100の構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
第1の変化領域抽出部40は、実施の形態1と同様に、現データ蓄積部21に蓄積された現データ、および比較データ蓄積部31に蓄積された比較データを取得し、現データと比較データとを画素単位で比較して差分値を算出する。正負マップ照合部41は、第1の変化領域抽出部40が算出した差分値が正の値であるか、負の値であるかを参照し、あらかじめ設定されたマップデータとの照合を行う。差分値の正負は、背景200と対象物201の距離関係に基づくものであり、対象物201が背景200の手前にある場合には差分値が「正」であり、背景200が対象物201の手前にある場合には差分値が「負」となる。
通常、背景200が壁のように固体の遮蔽物である場合には、対象物201は必ず壁の手前側を通過することとなる。壁の背面側を通過する対象物を視認することはできず、3次元レーザスキャナ10でスキャンされることはない。一方、背景200が例えば網のフェンスの場合、対象物201がフェンスの手前側と背面側のどちらに存在しても視認することができる、3次元レーザスキャナ10によりスキャンされる。
このように、背景200の条件によっては、背景200と対象物201の距離関係、すなわち差分値の正負に基づいて差分値に制限を加える必要が生じる。正負マップ照合部41は、差分値を制限する条件をマップデータとしてあらかじめ記憶し、当該マップデータと差分値との照合を行い、マップデータの条件に拒絶される差分値を修正する。
具体的には、画素(x,y)のマップデータが「0」である場合、当該マップデータの条件としては「画素(x,y)の画素の差分値は「正」のみ許可する」となる。この条件において、画素(x,y)の画素の差分値として負の値が算出された場合、当該画素をノイズとみなし、差分値を強制的に「0」に修正する。これにより、背景200の条件によっては発生することのない差分値を排除し、算出した差分値の精度を向上させる。第1の変化領域抽出部40は、正負マップ照合部41により照合された差分値が、あらかじめ設定した閾値以上であるか否か判定を行い、閾値以上である画素領域を変化領域として抽出する。
次に、実施の形態2に係る監視装置100aの動作について説明する。
図7は、実施の形態2に係る監視装置の動作を示すフローチャートである。
なお、以下では実施の形態1に係る監視装置100と同一のステップには図4で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップST5において、第1の変化領域抽出部40が現データ蓄積部21に蓄積された現データと、比較データ蓄積部31に蓄積された比較データとを用いて、画素ごとの差分値を算出すると、正負マップ照合部41は算出された差分値とマップデータとの照合を行い(ステップST31)、マップデータの条件に拒絶されるか否か判定を行う(ステップST32)。
マップデータの条件に拒絶される場合(ステップST32;YES)、正負マップ照合部41は当該差分値の値を修正する(ステップST33)。一方、マップデータの条件に拒絶されない場合(ステップST32;NO)、ステップST6の処理に進む。第1の変化領域抽出部40は、ステップST5あるいはステップST33で得られた差分値があらかじめ設定した閾値以上であるか否か判定を行う(ステップST6)。その後、フローチャートは上述したステップST7からステップST13の処理を行う。
以上のように、この実施の形態2によれば、第1の変化領域抽出部40が算出した差分値と、あらかじめ条件が設定されたマップデータとの照合を行い、マップデータの条件に拒絶される差分値を修正する正負マップ照合部41を備えるように構成したので、背景の条件によっては発生しえない差分値を排除し、算出された差分値の精度を高めることができる。これにより、対象物の認識精度を向上させることができる。
実施の形態3.
図8は、実施の形態3に係る監視装置の構成を示すブロック図である。
なお、以下では、実施の形態1に係る監視装置100の構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
実施の形態3の監視装置100bは、3次元レーザスキャナ10、距離ヒストグラム作成部71と、対象物距離ピーク点算出部72と、背景距離ピーク点算出部73と、距離差分算出部74とを備えた距離演算部70、距離差分連結処理部75、第2の変化領域抽出部42、認識処理部50および報知処理部60で構成されている。なお、図8において監視装置100b外に3次元レーザスキャナ10のスキャン範囲を示す背景200、当該背景200の前に立つ対象物201およびレーザ光パルス12の拡散領域202を記載している。対象物201を認識して報知することが本監視装置100bの目的である。
3次元レーザスキャナ10は、実施の形態1と同様に図2に示すレーザ発光ユニット11、分散機構13およびレーザ受光ユニット16を内蔵し、背景200で示した範囲をスキャンして距離データおよび強度データを取得する。3次元レーザスキャナ10から照射されるレーザ光パルス12は、視野を3次元レーザスキャナ10の解像度に応じたエリアに分割し、分割した1エリアに対して1パルスの照射を行う。
レーザ光パルス12は拡散する特性を有し、図8に示した背景200が例えば平面の壁であった場合に、壁面上の拡散領域202にレーザ光パルス12が拡散する。拡散領域202はレーザ光パルス12の拡散範囲を示しており、当該拡散範囲は3次元レーザスキャナ10から背景200までの距離により決定される。例えば、3次元レーザスキャナ10から背景200までの距離が100mである場合に、拡散領域202の直径202aが30cmとなる。拡散領域202に拡散したレーザ光パルス12は背景200あるいは対象物201によって反射され、レーザ反射光15として3次元レーザスキャナ10に入射する。3次元レーザスキャナ10は、受光したレーザ反射光15に基づいて背景200あるいは対象物201までの距離および反射率を算出し、距離データおよび強度データを取得する。取得された距離データは、距離ヒストグラム作成部71に出力される。
距離ヒストグラム作成部71は、3次元レーザスキャナ10から入力される距離データに基づいて、画素ごとに距離ヒストグラムを作成する。より詳細に説明すると、距離ヒストグラム作成部71は、3次元レーザスキャナ10の過去10スキャン分の距離データに基づいて、画素(x,y)における第1の距離ヒストグラムを作成する。当該第1の距離ヒストグラムの作成を全ての画素について実施する。さらに、3次元レーザスキャナ10の過去50スキャン分の距離データに基づいて画素(x,y)における第2の距離ヒストグラムを作成する。当該第2の距離ヒストグラムの作成を全ての画素について実施する。
図9は実施の形態3に係る監視装置の距離演算部の処理の一例を示す図であり、図9(a)は距離ヒストグラム作成部71が作成する距離ヒストグラムの一例を示している。
図9(a)において、横軸は距離(m)を示し、縦軸は頻度を示している。図9(a)に示す画素(x,y)の距離ヒストグラムは、3次元レーザスキャナ10から100m離れた背景200と、背景200の手前側に対象物201が重なった座標の距離ヒストグラムである。距離100m付近の頻度が高いのは背景200である壁を示すものであり、距離30m付近に頻度が高いのは対象物201を示すものであり、その他の分布は距離ジッタによる誤差である。
ここで、距離ジッタについて説明する。上述した画素(x,y)は背景200の手前側に対象物201が重なった座標であり、背景200と対象物201の両方にレーザ光パルス12を照射している。その結果、3次元レーザスキャナ10の算出結果である距離データは、背景200の比率が高い場合には背景200の距離に揺らぎ、対象物201の比率が高い場合には対象物201の距離揺らぐ。これらの距離の揺らぎが距離ジッタである。距離ジッタが発生している場合、対象物201までの距離が揺れ動くため、安定した距離データを取得することが困難であり、変化領域の抽出の精度が低下するが、この実施の形態3の構成を適用することにより、距離ジッタによる誤差を抑制し、変化領域の抽出精度を向上させる。
対象物距離ピーク点算出部72は、距離ヒストグラム作成部71が作成した第1の距離ヒストグラムを平滑化してピーク点を算出する。図9(b)は、画素(x,y)での対象物距離ピーク点算出を示す図である。
ピーク点の算出例としては、ある距離Pにおける頻度に対して、距離P±10の頻度の平均を算出して距離Pの頻度に置き換える(処理1a)。この置き換え処理を、距離ヒストグラムの距離0mから150mの全てで行う。置き換えられた頻度を線で結ぶとなだらかな曲線が得られる(処理2a)。得られた曲線に対して距離0mの位置から傾斜を測定し、右上がりの傾斜から右下がりの傾斜に移行する点をピーク点として算出する(処理3a、図9(b)の矢印a,b,c参照)。このピーク点の算出処理を距離150mの位置まで行う(処理4a)。得られたピーク点が目的とする対象物距離ピーク点となる。
なお、場合によっては複数のピーク点が算出される。例えば、ピーク点が3個以上算出された場合にはピーク点を減らす処理を行う。ピーク点を減らす処理としては、ピーク点が3個程度に収束するまで、上述した処理1aから処理4aを繰り返す。これにより、3個程度のピーク点を含むヒストグラム曲線が得られる。当該ヒストグラム曲線に存在するピーク点が目的とする対象物距離ピーク点となる。
次に、背景距離ピーク点算出部73は、第2の距離ヒストグラムを平滑化してピーク点を算出する。図9(c)は、画素(x,y)での背景距離ピーク点算出を示す図である。ピーク点の算出例としては、ある距離Pにおける頻度に対して、距離P±10の頻度の平均を算出して距離Pの頻度に置き換える(処理1b)。この置き換え処理を、ヒストグラムの距離0mから150mの全てで行う。置き換えられた頻度を線で結ぶとなだらかな曲線が得られる(処理2b)。得られた曲線に対して距離0mの位置から傾斜を測定し、右上がりの傾斜から右下がりの傾斜に移行する点をピーク点として算出する(処理3b)。このピーク点の算出処理を距離150mの位置まで行う(処理4b)。得られたピーク点が目的とする背景距離ピーク点となる。
なお、場合によっては複数のピーク点が算出される。例えば、ピーク点が2個以上算出された場合にはピーク点を減らす処理を行う。ピーク点を減らす処理としては、ピーク点が1個に収束するまで、上述した処理1bから処理4bを繰り返す。これにより、1個のピーク点を含むヒストグラム曲線が得られる。当該ヒストグラム曲線に存在するピーク点が目的とする背景距離ピーク点となる。
第1の距離ヒストグラムと第2の距離ヒストグラムの違いは、ヒストグラム作成に要した時間である。上述したように、第1の距離ヒストグラムは3次元レーザスキャナ10の過去10スキャン分の距離データに基づいて作成し、第2の距離ヒストグラムは3次元レーザスキャナ10の過去50スキャン分の距離データに基づいて作成している。このように、第2の距離ヒストグラムは、第1の距離ヒストグラムに対して5倍の時間を使用しており、第2の距離ヒストグラムは第1の距離ヒストグラムと比較して短時間の変化に鈍感となり(監視領域の長時間変化を示す)、固定的に存在する背景の距離に強く影響されるヒストグラムとなる。逆に、第1の距離ヒストグラムは、短時間の変化に敏感となり(監視領域の短時間変化を示す)、対象物の距離に強く影響されるヒストグラムとなる。これらにより、対象物距離ピーク点および背景距離ピーク点が算出される。
距離差分算出部74は、対象物距離ピーク点を含むヒストグラム曲線(以下、対象物距離ヒストグラム曲線と称する)と、背景距離ピーク点を含むヒストグラム曲線(以下、背景距離ヒストグラム曲線と称する)とから差分ピーク点を算出する。図9(d)は、画素(x,y)での差分ピーク点算出を示す図である。
具体的な算出方法としては、まず図9(c)に示した背景距離ヒストグラム曲線を正規分布曲線とみなし、当該正規分布の標準偏差(平均μから変曲点までの距離)σを用いて、背景距離ピーク点C(正規分布における平均μ)を中心とした範囲3σを決定する(処理1c)。次に、対象物距離ヒストグラム曲線から、範囲3σに位置するピーク点を削除する(処理2c)。処理2cにより図9(d)に示したヒストグラム曲線が得られる。得られたヒストグラム曲線に含まれる最大のピーク点を差分ピーク点Dとして算出する(処理3c)。最後に、差分ピーク点Dを含むヒストグラムを正規分布曲線とみなして差分ピーク点Dを中心とした範囲3σを決定し、差分ピーク点Dの位置および範囲3σの位置を記憶する(処理4c)。
次に、図10を参照しながら、差分ピーク点に基づく変化領域の抽出について説明する。図10は、実施の形態3に係る監視装置の変化領域の抽出を示す図である。図10(a)および図10(b)は距離差分連結処理部による統合領域の作成を示す説明図であり、図10(a)は背景200に対象物201を配置した図、図10(b)は背景200のみを示した図である。図10(c)は第2の変化領域抽出部が抽出した変化領域を示す図である。
距離差分連結処理部75は、距離差分算出部74が算出した全ての画素の差分ピーク点が示す距離情報を連結して統合領域を作成する。例えば、80×60画素の各画素について差分ピーク点が算出された場合、距離差分連結処理部75は仮想的に作成した80×60画素のマス目に当該差分ピーク点が示す距離情報を配置して連結し、統合領域を作成する。距離情報の配置とは、図10(a)および図10(b)に示すように、例えば差分ピーク点が存在する画素はグレーに着色し、差分ピーク点が存在しない画素は白に着色するなど視覚的な配置を行う。図10(a)では、対象物201が存在する位置と、統合領域203の画素位置が一致している。なお、画素の着色はグレーに限定されるものではなく、適宜変更可能である。
ただし、距離差分算出部74による差分ピーク点算出処理には誤差が存在するため、対象物201が存在しない位置にもグレーに着色された画素が発生する、あるいは存在すべき位置にグレーに着色された画素が発生しない場合もありうる。そこで、第2の変化領域抽出部42において、距離差分連結処理部75が作成した統合領域に対してフィルタ処理を実行して、ノイズによる変化領域を削除して対象物201に該当する変化領域のみを抽出する。具体的には、距離差分算出部74が算出した差分ピーク点の位置、および範囲3σの位置を参照し、ある画素(x,y)を中心とした周囲8画素の中で少なくとも3画素に類似する差分ピーク点が存在するか否か判定を行う。類似する差分ピーク点が存在するか否かは、ある画素(x,y)の差分ピーク点を中心として範囲3σ内にその他の差分ピーク点が存在するか否かで判断する。この処理を全画素について行う。
画素(x,y)を中心として少なくとも3画素に類似する差分ピークが存在する場合には、当該画素(x,y)は抽出されるべき対象物201の変化領域であると判断する。一方、画素(x,y)を中心として少なくとも3画素に類似する差分ピークが存在しない場合には、当該画素(x,y)はノイズによる変化領域であると判断し、当該画素(x,y)の差分ピークの情報を削除する。全画素について上述したフィルタ処理を行った後、対象物201の変化領域と判断された領域を、再度仮想的に作成した80×60画素のマス目に配置し直して最終的な変化領域を決定する。図10(c)は、第2の変化領域抽出部42によるフィルタ処理後の変化領域204を示している。
認識処理部50は、第2の変化領域抽出部42が抽出した変化領域の条件があらかじめ定めた条件を満たしているか否かに基づいて、変化領域が報知対象である判定を行う。報知処理部60は、認識処理部50の認識結果に基づいて報知処理を行う。ここで報知処理は、上位にあるPCなどに特定の信号を送信する処理、あるいは装置のブザーを鳴らすなどの処理などである。
次に、実施の形態3の監視装置100bの動作について説明する。
図11は、実施の形態3に係る監視装置の動作を示すフローチャートである。
なお、以下では、実施の形態1に係る監視装置100と同一のステップには図4で使用した符号と同一の符号を付し、説明を省略または簡略化する。また、実施の形態1と同様に3次元レーザスキャナ10の解像度を80×60画素とした場合を例に説明を行う。
まず、3次元レーザスキャナ10は背景200の範囲をスキャンし(ステップST1)、距離データおよび強度データを取得する(ステップST2)。具体的には、背景200の範囲を3次元レーザスキャナ10の解像度である80×60に分割してスキャンする。距離データおよび強度データは一般にデジタルデータであり、ここでは80×60画素の1画素あたり8ビットの多値データとする。
距離ヒストグラム作成部71は、ステップST2で取得された距離データに基づき、第1の距離ヒストグラムおよび第2の距離ヒストグラムを作成する(ステップST41)。対象物距離ピーク点算出部72は、ステップST41で作成された第1の距離ヒストグラムから対象物距離ピーク点を算出し(ステップST42)、対象物距離ヒストグラム曲線を作成する(ステップST43)。背景距離ピーク点算出部73は、ステップST41で作成された第2の距離ヒストグラムから背景距離ピーク点を算出し(ステップST44)、背景距離ヒストグラム曲線を作成する(ステップST45)。
次に、距離差分算出部74は、ステップST43で作成された対象物距離ヒストグラム曲線と、ステップST45で作成された背景距離ヒストグラム曲線との差分ピーク点を算出する(ステップST46)。距離演算部70は、全ての画素についてステップST42からステップ46までの処理を行ったか否か判定を行う(ステップST47)。全ての画素について処理を行っていない場合(ステップST47;NO)、ステップST41の処理に戻り、上述した処理を繰り返す。
一方、全ての画素について処理を行った場合(ステップST47;YES)、距離差分連結処理部75はステップST46で得た全画素の差分ピーク点の距離情報を連結し、統合領域を作成する(ステップST48)。第2の変化領域抽出部42は、ステップST48で作成された統合領域に対してフィルタ処理を行い、変化領域を抽出する(ステップST49)。認識処理部50は、ステップST49で抽出された変化領域が照合条件を満たすか否か判定を行う(ステップST50)。照合条件を満たす場合(ステップST50;YES)、変化領域が報知対象であると認識する(ステップST11)。一方、照合条件を満たさない場合(ステップST50;NO)、変化領域が報知対象でないと判断し(ステップST12)、ステップST1の処理に戻る。報知処理部60は、ステップST11で認識された報知対象について報知処理を行い(ステップST13)、ステップST1の処理に戻る。
次に、認識処理部50の判定処理の詳細を示す。
図12は、実施の形態3に係る監視装置の認識処理部の判定処理を示すフローチャートである。
認識処理部50は、変化領域が所定の面積を有する否か判定を行う(ステップST51)。所定の面積を有している場合(ステップST51;YES)、さらに変化領域が所定の縦横寸法を有しているか否か判定を行う(ステップST52)。所定の縦横寸法を有している場合(ステップST52;YES)、さらに変化領域が所定の移動速度を有しているか否か判定を行う(ステップST53)。所定の移動速度を有している場合(ステップST53;YES)、さらに変化領域が所定の存在時間を有しているか否か判定を行う(ステップST54)。所定の存在時間を有している場合(ステップST54;YES)、ステップST11に進み、変化領域が報知対象であると認識される。
一方、所定の面積を有していない場合(ステップST51;NO)、所定の縦横寸法を有していない場合(ステップST52;NO)、所定の移動速度を有していない場合(ステップST53;NO)、所定の存在時間を有していない場合(ステップST54;NO)には、ステップST12に進み、変化領域が報知対象でないと判断される。
以上のように、この実施の形態3によれば、3次元レーザスキャナ10により取得された距離データから距離ヒストグラムを作成する距離ヒストグラム作成部71と、距離ヒストグラムから対象物距離ピーク点を含む対象物距離ヒストグラム曲線を作成する対象物距離ピーク点算出部72と、距離ヒストグラムから背景距離ピーク点を含む背景距離ヒストグラム曲線を作成する背景距離ピーク点算出部73と、対象物距離ヒストグラム曲線と背景距離ヒストグラム曲線とから差分ピーク点を算出する距離差分算出部74と、差分ピーク点の距離情報を用いて統合領域を作成する距離差分連結処理部75と、統合領域に対してフィルタ処理を行い、変化領域を抽出する第2の変化領域抽出部42とを備えるように構成したので、背景と対象物との距離関係に基づいた差分ピーク点を得ることができ、対象物と背景とに十分な輝度差が存在しない場合にも対象物と背景との差異を認識することができる。これにより、対象物の認識精度を向上させることができる。
また、背景と対象物が重なった座標において発生する距離ジッタ(距離の揺らぎ)を抑制して対象物の変化領域のみを抽出することができ、対象物の認識精度を向上させることができる。
実施の形態4.
図13は、実施の形態4に係る監視装置の構成を示すブロック図である。
実施の形態4の監視装置100cは、図8で示した実施の形態3の監視装置100bの背景距離ピーク点算出部73に替えて背景距離ピーク情報蓄積部76を設けている。なお、以下では、実施の形態3に係る監視装置100bの構成要素と同一または相当する部分には、実施の形態3で使用した符号と同一の符号を付して説明を省略または簡略化する。なお、図13において監視装置100c外に3次元レーザスキャナ10のスキャン範囲を示す背景200、当該背景200の前に立つ対象物201、およびレーザ光パルス12の拡散領域202を記載している。
距離ヒストグラム作成部71aは、3次元レーザスキャナ10から入力される距離データに基づいて、画素毎に距離ヒストグラムを作成する。ただし、3次元レーザスキャナ10の過去10スキャン分の距離データに基づいて、画素(x,y)における第1の距離ヒストグラムのみを作成する。背景距離ピーク情報蓄積部76は、固定的に存在する背景200に距離に強く影響されたヒストグラム(上述した実施の形態3で示した第2の距離ヒストグラムに相当)に基づいた背景距離ピーク点の位置情報および当該背景距離ピーク点を中心とした範囲3σの位置情報をあらかじめ固定的に定めた背景距離ピーク情報を記憶する。
距離差分算出部74aは、対象物距離ピーク点算出部72が算出した対象物距離ピーク点を含むヒストグラム曲線(以下、対象物距離ヒストグラム曲線と称する)と、背景距離ピーク情報蓄積部76から取得した背景距離ピーク情報とから差分ピーク点を算出する。上述した実施の形態3の図9を参照しながら具体的に説明すると、対象物距離ヒストグラム曲線から、固定値である範囲3σ内に位置するピーク点を削除し、差分ピーク点を含むヒストグラム曲線を得る(図9(c)および図9(d)参照)。得られたヒストグラム曲線に含まれる最大のピーク点を差分ピーク点として算出し、差分ピーク点を中心とした範囲3σを決定する(図9(d)参照)。得られた差分ピーク点の位置および差分ピーク点を中心とした範囲3σの位置を記憶する。
次に、実施の形態4に係る監視装置100cの動作について説明する。
図14は、実施の形態4に係る監視装置の動作を示すフローチャートである。
なお、以下では実施の形態3に係る監視装置100bと同一のステップには図11で使用した符号と同一の符号を付し、説明を省略または簡略化する。
距離ヒストグラム作成部71aは、ステップST2で取得された距離データに基づき、第1の距離ヒストグラムを作成する(ステップST61)。対象物距離ピーク点算出部72は、ステップST61で作成された第1の距離ヒストグラムから対象物距離ピーク点を算出し(ステップST42)、対象物距離ヒストグラム曲線を作成する(ステップST43)。
距離差分算出部74aは、背景距離ピーク情報蓄積部76から背景距離ピーク情報を取得し(ステップST62)、ステップST43で作成された対象物距離ヒストグラム曲線と、ステップST62で取得した背景距離ピーク情報とから差分ピーク点を算出する(ステップST63)。距離演算部70aは、全ての画素についてステップST61からステップ63までの処理を行ったか否か判定を行う(ステップST47)。全ての画素について処理を行っていない場合(ステップST47;NO)、ステップST61の処理に戻り、上述した処理を繰り返す。一方、全ての画素について処理を行った場合(ステップST47;YES)、ステップST48の処理に進む。
以上のように、この実施の形態4によれば、固定的に存在する背景200に距離に強く影響されたヒストグラムに基づいた背景距離ピーク点の位置情報および当該背景距離ピーク点を中心とした範囲3σの位置情報をあらかじめ固定的に定めた背景距離ピーク情報を記憶する背景距離ピーク情報蓄積部76を備えるように構成したので、第2のヒストグラムを作成する処理、および背景距離ピーク点を算出する処理の負荷を削減することができる。また、対象物が一箇所に留まって動かない場合にも、あらかじめ定めた背景距離ピーク情報から背景を認識することができ、動かない対象物を背景と区別することができる。
実施の形態5.
上述した実施の形態3では、3次元レーザスキャナ10の距離データに基づいて変化領域を抽出する構成を示したが、この実施の形態5では3次元レーザスキャナ10の強度データに基づいて変化領域を抽出する構成を示す。
レーザ光パルス12の距離の解像度には限界がある。例えば、レーザ光パルス12の距離解像度が50cmであって、背景200と対象物201とが50cm以下の距離にある場合には背景200と対象物201との区別することができない。これは距離解像度上の問題であり、対象物201が壁などの背景200に沿って移動する場合などに発生し、対象物201の発見は距離解像度上不可能となる。この実施の形態5では、3次元レーザスキャナ10から入力される強度データを用いて、距離解像度上認識不可能な対象物201についても認識可能とする構成を示す。
図15は、実施の形態5に係る監視装置の構成を示すブロック図である。
なお、以下では、実施の形態3に係る監視装置100bの構成要素と同一または相当する部分には、実施の形態3で使用した符号と同一の符号を付して説明を省略または簡略化する。
実施の形態5の監視装置100dは、3次元レーザスキャナ10、強度ヒストグラム作成部81と、対象物強度ピーク点算出部82と、背景強度ピーク点算出部83と、強度差分算出部84とを備えた強度演算部80、強度差分連結処理部85、第3の変化領域抽出部86、認識処理部50および報知処理部60で構成されている。なお、図15において監視装置100d外に3次元レーザスキャナ10のスキャン範囲を示す背景200、当該背景200の前に立つ対象物201、およびレーザ光パルス12の拡散領域202を記載している。
3次元レーザスキャナ10の構成は、実施の形態1から実施の形態4の構成と同一である。強度ヒストグラム作成部81は、3次元レーザスキャナ10から入力される強度データに基づいて、画素ごとに強度ヒストグラムを作成する。より詳細に説明すると、強度ヒストグラム作成部81は、3次元レーザスキャナ10の過去10スキャン分の強度データに基づいて、画素(x,y)における第1の強度ヒストグラムを作成する。当該第1の強度ヒストグラムの作成を全ての画素について実施する。さらに、過去50スキャン分の強度データに基づいて画素(x,y)における第2の強度ヒストグラムを作成する、当該第2の強度ヒストグラムの作成を全ての画素について実施する。
図16は実施の形態5に係る監視装置の強度演算部の処理の一例を示す図であり、図16(a)は強度ヒストグラム作成部81が作成するヒストグラムの一例を示している。
図16(a)において、横軸は強度(%)を示し、縦軸は頻度を示している。図16(a)に示す画素(x,y)の強度ヒストグラムでは、強度20%付近の頻度が高く、対象物201の反射率を反映している。それ以外の頻度はノイズである。
次に、対象物強度ピーク点算出部82は、第1の強度ヒストグラムを平滑化してピーク点を算出する。図16(b)は、画素(x,y)での対象物強度ピーク点算出を示す図である。ピーク点の算出例としては、ある強度Qにおける頻度に対して、強度Q±10の頻度の平均を算出して強度Qの頻度に置き換える(処理1d)。この置き換え処理を、強度ヒストグラムの強度0%から100%の全てで行う。置き換えられた頻度を線で結ぶとなだらかな曲線が得られる(処理2d)。得られた曲線に対して強度0%の位置から傾斜を測定し、右上がりの傾斜から右下がりの傾斜に移行する点をピーク点として算出する(処理3d、図16(b)の矢印d,e,f参照)。このピーク点の算出処理を強度100%の位置まで行う(処理4d)。得られたピーク点が目的とする対象物強度ピーク点となる。
なお、場合によっては複数のピーク点が算出される。例えば、ピーク点が3個以上算出された場合にはピーク点を減らす処理を行う。ピーク点を減らす処理としては、ピーク点が3個程度に収束するまで、上述した処理1dから処理4dを繰り返す。これにより、3個程度のピーク点を含むヒストグラム曲線が得られる。当該ヒストグラム曲線に存在するピーク点が目的とする対象物強度ピーク点となる。
次に、背景強度ピーク点算出部83は、第2の強度ヒストグラムを平滑化してピーク点を算出する。図16(c)は、画素(x,y)での背景強度ピーク点算出を示す図である。
ピーク点の算出例としては、ある強度Qにおける頻度に対して、強度Q±10の頻度の平均を算出して強度Qの頻度に置き換える(処理1e)。この置き換え処理を、ヒストグラムの強度0%から100%の全てで行う。置き換えられた頻度を線で結ぶとなだらかな曲線が得られる(処理2e)。得られた曲線に対して強度0%の位置から傾斜を測定し、右上がりの傾斜から右下がりの傾斜に移行する点をピーク点として算出する(処理3e)。このピーク点の算出処理を強度100%の位置まで行う(処理4e)。得られたピーク点が目的とする背景強度ピーク点となる。
なお、場合によっては複数のピーク点が算出される。例えば、ピーク点が2個以上算出された場合にはピーク点を減らす処理を行う。ピーク点を減らす処理としては、ピーク点が1個に収束するまで、上述した処理1eから処理4eを繰り返す。これにより、1個のピーク点を含むヒストグラム曲線が得られる。当該ヒストグラム曲線に存在するピーク点が目的とする背景強度ピーク点となる。
第1の強度ヒストグラムと第2の強度ヒストグラムの違いは、ヒストグラム作成に要した時間である。上述したように、第1の強度ヒストグラムは3次元レーザスキャナ10の過去10スキャン分の強度データに基づいて作成し、第2の強度ヒストグラムは3次元レーザスキャナ10の過去50スキャン分の強度データに基づいて作成している。このように、第2の強度ヒストグラムは、第1の強度ヒストグラムに対して5倍の時間を使用しており、第2の強度ヒストグラムは第1の強度ヒストグラムと比較して短時間の変化に鈍感となり(監視領域の長時間変化を示す)、固定的に存在する背景の強度に強く影響されるヒストグラムとなる。逆に、第1の強度ヒストグラムは、短時間の変化に敏感となり(監視領域の短時間変化を示す)、対象物の強度に強く影響されるヒストグラムとなる。これらにより、対象物強度ピーク点および背景強度ピーク点が算出される。
強度差分算出部84は、対象物強度ピーク点を含むヒストグラム曲線(以下、対象物強度ヒストグラム曲線と称する)と、背景強度ピーク点を含むヒストグラム曲線(以下、背景強度ヒストグラム曲線と称する)とから差分ピーク点を算出する。図16(d)は、画素(x,y)での差分ピーク点算出を示す図である。
具体的な算出方法は、まず図16(c)に示した背景強度ヒストグラム曲線を正規分布曲線とみなし、当該正規分布の標準偏差(平均μから変曲点までの強度)σを用いて、背景強度ピーク点F(正規分布における平均μ)を中心とした範囲3σを決定する(処理1f)。次に、対象物強度ヒストグラム曲線から、範囲3σ内に位置するピーク点を削除する(処理2f)。処理2fにより図16(d)に示したヒストグラム曲線が得られる。得られたヒストグラム曲線に含まれる最大のピーク点を差分ピーク点Gとして算出する(処理3f)。最後に、差分ピーク点Gを含むヒストグラムを正規分布曲線とみなして差分ピーク点Gを中心とした範囲3σを決定し、差分ピーク点Gの位置および範囲3σの位置を記憶する(処理4f)。
次に、図17を参照しながら、差分ピーク点に基づく変化領域の抽出について説明する。図17は、実施の形態5に係る監視装置の変化領域の抽出を示す図である。図17(a)および図17(b)は強度差分連結処理部および第3の変化領域抽出部による変化領域の抽出を示す説明図であり、図17(a)は背景200に対象物201を配置した図、図17(b)は背景200のみを示した図である。
強度差分連結処理部85は、強度差分算出部84が算出した全ての画素の差分ピーク点が示す強度情報を連結する。例えば、80×60画素の各画素について差分ピーク点が算出された場合、強度差分連結処理部85は仮想的に作成した80×60画素のマス目に当該差分ピーク点が示す強度情報を配置して連結する。強度情報の配置とは、例えば図17(a)および図17(b)に示すように、例えば差分ピーク点が存在する画素はグレーに着色し、差分ピーク点が存在しない画素は白に着色するなど視覚的な配置を行うものである。
第3の変化領域抽出部86は、強度差分連結処理部85が連結した強度情報から変化領域を抽出する。変化領域の抽出は、差分ピーク点が存在する画素と、差分ピーク点が存在しない画素との差異に基づいて行われ、上述した例では画素の着色の差異に基づいてグレーに着色された画素の集まる領域を変化領域として抽出する。図17(a)に示すように、対象物201が存在する位置と、変化領域205の画素位置が一致している。
認識処理部50は、第3の変化領域抽出部86が抽出した変化領域の条件があらかじめ定めた条件を満たしているか否かに基づいて、変化領域が報知対象であるか否か認識処理を行う。報知処理部60は、認識処理部50の認識結果に基づいて報知処理を行う。ここで報知処理は、上位にあるPCなどに特定の信号を送信する処理、あるいは装置のブザーを鳴らすなどの処理などである。
次に、実施の形態5の監視装置100dの動作について説明する。
図18は、実施の形態5に係る監視装置の動作を示すフローチャートである。
なお、以下では実施の形態3に係る監視装置100bと同一のステップには図11で使用した符号と同一の符号を付し、説明を省略または簡略化する。また、実施の形態3と同様に3次元レーザスキャナ10の解像度を80×60画素とした場合を例に説明を行う。
強度ヒストグラム作成部81は、ステップST2で取得された強度データに基づき、第1の強度ヒストグラムおよび第2の強度ヒストグラムを作成する(ステップST71)。対象物強度ピーク点算出部82は、ステップST71で作成された第1の強度ヒストグラムから対象物強度ピーク点を算出し(ステップST72)、対象物強度ヒストグラム曲線を作成する(ステップST73)。背景強度ピーク点算出部83は、ステップST72で作成された第2の強度ヒストグラムからピーク点を算出し(ステップST74)、背景強度ヒストグラム曲線を作成する(ステップST75)。
次に、強度差分算出部84は、ステップST73で作成された対象物強度ヒストグラム曲線と、ステップST75で作成された背景強度ヒストグラム曲線との差分ピーク点を算出する(ステップST76)。強度演算部80は、全ての画素についてステップST71からステップST76までの処理を行ったか否か判定を行う(ステップST77)。全ての画素について処理を行っていない場合(ステップST77;NO)、ステップST71の処理に戻り、上述した処理を繰り返す。
一方、全ての画素について処理を行った場合(ステップST77;YES)、強度差分連結処理部85はステップST76で得た全ての画素の差分ピーク点の強度情報を連結し(ステップST78)、第3の変化領域抽出部86は連結された強度情報から変化領域を抽出する(ステップST79)。認識処理部50は、ステップST79で抽出された変化領域が照合条件を満たすか否か判定を行う(ステップST80)。照合条件を満たす場合(ステップST80;YES)、変化領域が報知対象であると認識する(ステップST11)。一方、照合条件を満たさない場合(ステップST80;NO)、変化領域が報知対象でないと判断し(ステップST12)、ステップST1の処理に戻る。報知処理部60は、ステップST11で認識された報知対象について報知処理を行い(ステップST13)、ステップST1の処理に戻る。
認識処理部50の判定処理の詳細は、実施の形態3の図12で示したフローチャートと同一であるため説明を省略する。
以上のように、この実施の形態5によれば、3次元レーザスキャナ10により取得された強度データから強度ヒストグラムを作成する強度ヒストグラム作成部81と、強度ヒストグラムから対象物強度ピーク点を含む対象物強度ヒストグラム曲線を作成する対象物強度ピーク点算出部82と、強度ヒストグラムから背景強度ピーク点を含む背景強度ヒストグラム曲線を作成する背景強度ピーク点算出部83と、対象物強度ヒストグラム曲線と背景強度ヒストグラム曲線とから差分ピーク点を算出する強度差分算出部84と、差分ピーク点の強度情報を連結する強度差分連結処理部85と、連結された強度情報から変化領域を抽出する第3の変化領域抽出部86とを備えるように構成したので、背景と対象物との強度関係に基づいた差分ピーク点を得ることができ、対象物と背景とに十分な輝度差が存在しない場合にも対象物と背景との差異を認識することができる。これにより、対象物の認識精度を向上させることができる。
また、対象物と背景との距離が、レーザ光パルス12の距離解像度以下である場合にも、背景および対象物からの反射率に基づく強度データを用いて対象物の変化領域のみを抽出することができる。これにより、対象物の認識精度を向上させることができる。
実施の形態6.
この実施の形態6では、上述した実施の形態5の構成に加えて、「人」のように移動する対象物と、「看板」のように移動しない対象物とを区別して報知する構成を示す。
図19は、実施の形態6に係る監視装置の構成を示すブロック図である。
実施の形態6の監視装置100eは、図15で示した実施の形態5の監視装置100dに安定度確認部43を追加して設けている。なお、以下では、実施の形態5に係る監視装置100dの構成要素と同一または相当する部分には、実施の形態5で使用した符号と同一の符号を付して説明を省略または簡略化する。なお、図19において監視装置100e外に3次元レーザスキャナ10のスキャン範囲を示す背景200、当該背景200の前に立つ対象物201、およびレーザ光パルス12の拡散領域202を記載している。
安定度確認部43は、第3の変化領域抽出部86が抽出した変化領域を蓄積部43aに一時蓄積する。安定度確認部43は、蓄積部43aに蓄積された変化領域を参照して、一定時間経過前後の変化領域を比較し、変化領域の面積変化が閾値以上か否か判定を行う。変化領域の面積変化が閾値以上である場合、当該変化領域が人物であると判断する。一方、変化領域の面積変化が閾値未満である場合、当該変化領域が人物以外、例えば看板、壁のシミ、壁の濡れ、ポスターなどであると判断する。認識処理部50は、安定度確認部43において人物であると判断された変化領域についてのみ、報知対象であるか否か認識処理を行う。
図20は、実施の形態6に係る監視装置の安定度確認部の処理を示す説明図である。
図20(a),(b),(c)は、背景200の前に人物206が位置する場合の変化領域を示し、図20(d),(e),(f)は、背景200の前に看板207が位置する場合の変化領域を示している。図20において、強度差分連結処理部85によりグレーに着色され、第3の変化領域抽出部86が抽出した領域が変化領域であることを示している。
まず、背景200の前に人物206が位置している場合について説明する。図20(a)は背景200の前に位置する人物206と変化領域208を示している。また、人物206は矢印R方向に移動するものとする。図20(b)は、図20(a)に対して変化領域208のみを示している。さらに図20(c)は、図20(b)の変化領域208を抽出してから所定時間(例えば、1秒)経過した後の変化領域209を示している。人物206は、矢印R方向に移動するため、図20(b)と図20(c)とを比較すると人物206に相当する変化領域208が矢印R方向に移動して変化領域209に変化している。このように、所定時間経過後に変化する変化領域を報知対象と認識する。
次に、背景200の前に看板207が位置している場合について説明する、図20(d)は背景200の前に位置する看板207と変化領域210を示している。図20(e)は、図20(d)に対して変化領域210のみを示している。さらに、図20(f)は、図20(e)の変化領域210を抽出してから所定時間(例えば、1秒)経過した後の変化領域211を示している。看板207は移動しないため、図20(e)と図20(f)とを比較すると看板207に相当する変化領域210と変化領域211に変化がない。このように、同一箇所に留まり変化しない変化領域は報知対象でないと認識する。
次に、実施の形態6に係る監視装置100eの動作について説明する。
図21は、実施の形態6に係る監視装置の動作を示すフローチャートである。
なお、以下では実施の形態5に係る監視装置100dと同一のステップには図18で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップST79において、第3の変化領域抽出部86が変化領域を抽出すると、安定度確認部43は、抽出された変化領域を蓄積部43aに一時蓄積する(ステップST81)。安定度確認部43は、蓄積部43aに一定時間経過前後の変化領域が蓄積されたか否か判定を行う(ステップST82)。蓄積されていない場合(ステップST82;NO)、ステップST1の処理に戻り、上述した処理を繰り返す。
一方、蓄積された場合(ステップST82;YES)、安定度確認部43は蓄積部43aに蓄積された一定時間経過前後の変化領域を比較し、変化領域の面積変化が閾値以上か否か判定を行う(ステップST83)。変化領域の面積変化が閾値以上である場合(ステップST83;YES)、変化領域が人物であると判断し(ステップST84)、認識処理部50において当該変化領域が照合条件を満たすか否か判定を行う(ステップST85)。照合条件を満たす場合(ステップST85;YES)、変化領域が報知対象であると認識する(ステップST11)。一方、照合条件を満たさない場合(ステップST85;NO)、変化領域が報知対象でないと判断し(ステップST12)、ステップST1の処理に戻る。
一方、変化領域の面積変化が閾値未満である場合(ステップST83;NO)、変化領域が人物以外であると判断し(ステップST86)、ステップST12の処理に進む。報知処理部60は、ステップST11で認識された報知対象について報知処理を行い(ステップST13)、ステップST1の処理に戻る。
次に、認識処理部50の判定処理の詳細を示す。図22は、実施の形態6に係る監視装置の認識処理部の判定処理を示すフローチャートである。なお、実施の形態6の認識処理部50は、実施の形態3の図12で示したフローチャートのステップST53の処理を省略した以下の処理を行う。
認識処理部50は、変化領域が所定の面積を有する否か判定を行う(ステップST51)。所定の面積を有している場合(ステップST51;YES)、さらに変化領域が所定の縦横寸法を有しているか否か判定を行う(ステップST52)。所定の縦横寸法を有している場合(ステップST52;YES)、さらに変化領域が所定の存在時間を有しているか否か判定を行う(ステップST54)。所定の存在時間を有している場合(ステップST54;YES)、ステップST11に進み、変化領域が報知対象であると認識される。
一方、所定の面積を有していない場合(ステップST51;NO)、所定の縦横寸法を有していない場合(ステップST52;NO)、所定の存在時間を有していない場合(ステップST54;NO)には、ステップST12に進み、変化領域が報知対象でないと判断される。
以上のように、この実施の形態6によれば、一定時間経過前後の変化領域に面積変化があるか否か判定を行い、当該変化領域が人物であるか人物以外を判断する安定度確認部43を備えるように構成したので、例えば看板、壁のシミ、壁の濡れ、ポスターなどを人物と区別することができ、人物以外への誤報知を防止することができる。
上述した実施の形態1から実施の形態6では、監視装置100,100a,100b,100c,100d,100e内に3次元レーザスキャナ10を配置する構成を示したが、3次元レーザスキャナ10を外部構成とし、当該外部構成から距離データおよび強度データを取得するように構成してもよい。
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
具体的に、各実施の形態の組み合わせ例を図23から図26に示す。
図23は、実施の形態1と実施の形態3の構成を組み合わせて実現した監視装置の構成を示すブロック図である。
図24は、実施の形態1と実施の形態5の構成を組み合わせて実現した監視装置の構成を示すブロック図である。
図25は、実施の形態3と実施の形態5の構成を組み合わせて実現した監視装置の構成を示すブロック図である。
図26は、実施の形態1と実施の形態3と実施の形態5の構成を組み合わせて実現した監視装置の構成を示すブロック図である。
図示は省略するが、実施の形態1に替えて実施の形態2を適用する、実施の形態3に替えて実施の形態4を適用する、実施の形態5に替えて実施の形態6を適用することも可能である。
実施の形態7.
実施の形態1の図3で示した分散機構13は、一連の動作において回転ミラー13aと回転ミラー13cは常に連携して動作し、且つ同一の相対角度を維持する必要がある。しかし、回転ミラーの駆動など物理的な動作には誤差が内在し、分散機構13の回転ミラー13aおよび回転ミラー13cの動作にも誤差が含まれる。その結果、入射されたレーザ光パルス12が最終的に反射されて到達する背景あるいは対象物上の位置には、回転ミラー13aおよび回転ミラー13cの動作に含まれる誤差の分だけずれが生じる。
例えば、背景上の位置で生じた誤差を「±1ポイント」と仮定すると、当該背景に到達したレーザ光パルス12は、上述した誤差を含まない理想的な到達位置に対して上下左右斜め方向に±1ポイント分ずれる可能性がある。即ち、レーザ光パルス12は、理想的な到達位置を中心とした周囲9ポイントの範囲内のいずれかに到達する。
そこで、この実施の形態7では、理想的な到達位置に加えて周囲の画素についても現データとの比較を行う構成を示す。
図27は、実施の形態7に係る監視装置の構成を示すブロック図である。
実施の形態7の監視装置100jは、図1で示した実施の形態1の監視装置100の第1の変化領域抽出部40を第1の変化領域抽出部40aに替えて構成している。なお、以下では、実施の形態1に係る監視装置100の構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
実施の形態1と同様に、比較データ演算部30は、3次元レーザスキャナ10から入力される距離データを取得し、比較データに変換して比較データ蓄積部31に蓄積する。比較データへの変換処理は、例えば入力された距離データの直前のフレームの距離データを得て比較データとする。ここで、入力される距離データの座標あるいは画素に対して、蓄積される距離データは当該座標あるいは画素を中心に設定された範囲内のポイントの距離データとなる。
上述のように背景上の位置で生じた誤差を「±1ポイント」と仮定し、入力された距離データの座標が(x,y)である場合、比較データは座標(x,y)を中心として上下左右斜め方向に±1ポイント移動した座標に設定された距離データとなる。具体的には、上下方向の座標(x,y+1),(x,y−1)、左右方向の座標(x+1,y),(x−1)、斜め方向の座標(x+1,y+1),(x+1,y−1),(x−1,y+1),(x−1,y−1)に設定された距離データが蓄積される。
第1の変化領域抽出部40aは、現データ蓄積部21に蓄積された現データ、および比較データ蓄積部31に蓄積された全ての比較データを取得し、現データと全ての比較データとを座標または画素単位で比較して複数の差分値を算出する。第1の変化領域抽出部40aは、算出した差分値のうち最小の差分値を真の差分値とし、当該真の差分値があらかじめ設定した閾値以上である座標領域または画素領域を変化領域として抽出する。一般的に、一定の閾値を設定し、差分値が設定した閾値以上であるか否かで2値化した2値化データに変換して取り扱う。
次に、実施の形態7に係る監視装置100jの動作について説明する。
図28は、実施の形態7に係る監視装置の動作を示すフローチャートである。
なお、以下では実施の形態1に係る監視装置100と同一のステップには図4で使用した符号と同一の符号を付し、説明を省略または簡略化する。また、背景上の位置で生じる誤差が「±1ポイント」である場合を例に説明を行う。
ステップST4において、比較データが比較データ蓄積部31に蓄積されると、第1の変化領域抽出部40aは現データ蓄積部21に蓄積された現データである座標(x,y)を取得する(ステップST91)。さらに、第1の変化領域抽出部40aは、現データの座標(x,y)を中心とした比較データを、比較データ蓄積部31から取得する(ステップST92)。具体的には、第1の変化領域抽出部40aは、比較データとして座標 (x−1,y−1)、座標(x,y−1)、座標(x+1,y−1)、座標(x−1,y)、座標(x,y)、座標(x+1,y)、座標(x−1,y+1)、座標(x,y+1)、座標(x+1,y+1)を取得する。
第1の変化領域抽出部40aは、ステップST91で取得した現データとステップST92で取得した各比較データとを用いて、座標毎の差分値を算出する(ステップST93)。第1の変化領域抽出部40aは、ステップST93で算出した差分値のうち、最小の差分値を真の差分値とする(ステップST94)。ステップST94で得られた真の差分値は8bitの多値データであるため、第1の変化領域抽出部40aは得られた真の差分値があらかじめ設定した閾値以上であるか否か判定を行う(ステップST95)。真の差分値が閾値以上である場合(ステップST95;YES)、当該画素領域を変化領域として抽出する(ステップST7)。一方、真の差分値が閾値未満である場合(ステップST95;NO)、当該画素領域は変化領域でないと判断し(ステップST8)、ステップST9の処理に進む。
分散機構13の一連の動作により背景上の位置で生じた誤差が「±1ポイント」である場合、座標(x,y)の現データは座標(x,y)の位置を中心に上下左右斜め方向に±1ポイントの範囲内のいずれかのポイントの距離データであることから、現データの座標(x,y)に基づいて同じ座標(x,y)の比較データと比較したとしても、比較データが正しいとは限らない。そのため、分散機構13の一連の動作により誤差が発生する可能性のある現データに対して、誤差が発生する可能性のある範囲の全ての比較データを用意し、用意した全ての比較データと現データとを総当たりで比較して差分値を算出する。上述したステップST93の処理では、用意した9個の比較データと現データとを総当たりで比較して差分値を算出する。
算出される複数の差分値から真の差分値を選択するため、差分値が最小であるものを最終的に真の差分値と判断する。これにより、現データが座標(x,y)の位置を中心に上下左右斜め方向の所定の範囲内のいずれかのポイントの距離データとなるような誤差が存在する場合にも、当該誤差による背景上の位置のブレの影響を最小限に抑制することができる。
以上のように、この実施形態7によれば、3次元レーザスキャナ10により取得された距離データから現データを取得する現データ演算部20と、3次元レーザスキャナ10により取得された距離データの座標あるいは画素を中心に設定された所定の範囲内に位置する比較データを取得する比較データ演算部30と、現データ演算部20が取得した現データと、比較データ演算部30が取得した複数の比較データとの差分値から真の差分値を算出し、算出した真の差分値から変化領域を抽出する第1の変化領域抽出部40aとを備えるように構成したので、レーザ光パルスが到達する位置に誤差が含まれる環境においても、対象物と背景との正確な距離情報を取得することができる。これにより、対象物の認識精度を向上させることができる。
また、この実施の形態7によれば、レーザ光パルスが到達するポイントが分散機構13の誤差により、例えば現データの座標を中心として上下左右斜め方向に±1ポイントの範囲内でずれた場合に、現データを中心として周囲9つの比較データを用いて複数の差分値を算出し、当該複数の差分値から真の差分値を選択するように構成したので、レーザ光パルスが到達するポイントのずれの影響を最小限に抑制した安定した差分値の選択を行うことができる。これにより、距離データの誤差によりレーザ光パルスが到達する位置がブレる場合にも、当該ブレによる影響を最小限に抑制することができる。よって、対象物の認識精度を向上させることができる。
なお、上述した実施の形態7では、一例として現データを中心に上下左右斜め方向に±1ポイントの範囲に位置する座標から比較データを取得する構成を示したが、レーザ光パルスが到達する背景上の位置で生じる誤差は「±1ポイント」に限定されるものではなく変化する。よってレーザ光パルスが到達する背景上の位置で生じる誤差によって、取得する比較データの範囲は変動する。また、座標を基準に比較データを取得する構成を示したが、画素を基準に比較データを取得する構成としてもよい。
なお、上述した実施の形態7では、実施の形態1で示した構成に第1の変化領域抽出部40aを適用する場合を示したが、当該実施の形態7の構成は実施の形態2で示した構成にも適用可能である。その場合、図6で示した第1の変化領域抽出部40を上述した第1の変化領域抽出部40aに置き換える。また、図7のフローチャートにおいて、ステップST5の処理を、上述したステップST91からステップST94の処理に置き換える。ステップST94で取得した真の差分値についてステップST31以降の処理を行う。
実施の形態8.
上述した実施の形態7では、現データと各比較データとの差分値のうち、最小である差分値を真の差分値として取得する構成を示した。ここで、最小である差分値を真の差分値として取得することは、変化領域を抽出する感度が低いことを意味する。仮に、視野に入ってきた対象者が報知対象である場合に、差分値が小さいことによる感度の劣化は報知対象の発見が鈍感になる可能性があり、報知対象に対して失報の危険性が生じる。そこで、この実施の形態8では、視野内に報知対象が現れた場合において、変化領域の抽出感度を向上させる構成を示す。
図29は、実施の形態8に係る監視装置の構成を示すブロック図である。
実施の形態8の監視装置100kは、図27で示した実施の形態7の監視装置100jの第1の変化領域抽出部40a内に判定結果蓄積部40bを追加して設けている。なお、以下では、実施の形態7に係る監視装置100jの構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
比較データ演算部30は、実施の形態7と同様に、3次元レーザスキャナ10から入力される距離データの座標あるいは画素に対して、蓄積される距離データが当該座標あるいは画素を中心に設定された範囲内のポイントの距離データを、比較データに変換し、比較データ蓄積部31に蓄積する。
判定結果蓄積部40bは、第1の変化領域抽出部40aの過去の判定結果を格納する領域である。第1の変化領域抽出部40aの判定結果とは、真の差分値が閾値以上であるか否かの判定結果であり、ある座標を変化領域として抽出したか、あるいはある座標が変化領域でないと判断したかを示す情報である。判定結果蓄積部40bは、少なくとも1フレーム前の各座標または各画素における判定結果を蓄積する。
第1の変化領域抽出部40aは、現データ蓄積部21に蓄積された現データ、および比較データ蓄積部31に蓄積された全ての比較データを取得し、現データと全ての比較データとを座標または画素単位で比較して複数の差分値を算出する。第1の変化領域抽出部40aは判定結果蓄積部40bを参照し、1フレーム前の同一座標における真の差分値が閾値以上と判断され、変化領域として抽出されたか判定を行う。
真の差分値が閾値以上と判断されていた場合、第1の変化領域抽出部40aは当該座標において算出した差分値のうち最大の差分値を真の差分値として取得する。一方、真の差分値が閾値以上でないと判断されていた場合には、第1の変化領域抽出部40aは、当該座標において算出した差分値のうち最小の差分値を真の差分値として取得する。第1の変化領域抽出部40aは、取得した真の差分値があらかじめ設定した閾値以上である座標領域または画素領域を変化領域として抽出する。
次に、実施の形態8に係る監視装置100kの動作について説明する。
図30は、実施の形態8に係る監視装置の動作を示すフローチャートである。
なお、以下では実施の形態7に係る監視装置100jと同一のステップには図28で使用した符号と同一の符号を付し、説明を省略または簡略化する。また、実施の形態7と同様に背景上の位置で生じる誤差が「±1ポイント」である場合を例に説明を行う。
ステップST93において座標毎の差分値が算出されると、第1の変化領域抽出部40aは判定結果蓄積部40bを参照してステップST93で差分値を算出した座標が、1フレーム前の画像において変化領域であると判断されたか否か判定を行う(ステップST101)。1フレーム前の画像において変化領域であると判断されていた場合(ステップST101;YES)、第1の変化領域抽出部40aはステップST93で算出した座標毎の差分値のうち最大の差分値を真の差分値とする(ステップST102)。一方、1フレーム前の画像において変化領域でないと判断されていた場合(ステップST101;NO)、第1の変化領域抽出部40aはステップST93で算出した座標毎の差分値のうち最小の差分値を真の差分値とする(ステップST102)。
ステップST101またはステップST102で得られた真の差分値は8bitの多値データであるため、第1の変化領域抽出部40aは得られた真の差分値があらかじめ設定した閾値以上であるか否か判定を行う(ステップST95)。真の差分値が閾値以上である場合(ステップST95;YES)、当該画素領域を変化領域として抽出する(ステップST7)。一方、真の差分値が閾値未満である場合(ステップST95;NO)、当該画素領域は変化領域でないと判断し(ステップST8)、ステップST9の処理に進む。
上述した構成により、ある座標または画素が変化領域として抽出されている場合には、常に最大の差分値が真の差分値として選択されるため、真の差分値が常に最大の値となる。これは、変化領域を抽出する感度が高いことを意味する。一方、ある座標または画素が変化領域として抽出されていない場合には、当該座標にいずれの対象物も存在していないことから、最小の差分値が真の差分値として選択される。これは、真の差分値が常に最小の値となり、変化領域を抽出する感度が低いことを意味する。
これらの処理により、変化領域として抽出されている場合には、最大の差分値を選択することができ、仮に視野内に報知対象が現れた場合において、変化領域の抽出感度を向上させることができ、報知対象に対する失報を抑制する。
以上のように、この実施形態8によれば、3次元レーザスキャナ10により取得された距離データから現データを取得する現データ演算部20と、3次元レーザスキャナ10により取得された距離データの座標あるいは画素を中心に設定された所定の範囲内に位置する比較データを取得する比較データ演算部30と、1フレーム前の画像についての第1の変化領域抽出部40aの判定結果であって、1フレーム前の画像の各座標または各画素が変化領域であるか否かの判定結果を格納した判定結果蓄積部40bと、現データと現データを中心として所定の範囲内に位置する比較データとの差分値を算出し、判定結果蓄積部40bを参照して差分値を算出した座標が、1フレーム前の画像で変化領域であったか否か判定を行い、判定結果に応じて真の差分値を決定する第1の変化領域抽出部40aを備えるように構成したので、1フレーム前の画像において変化領域であった座標または画素について、最大の差分値を真の差分値として取得することができ、変化領域の抽出感度を向上させることができる。これにより、報知対象の検知能力を向上させることができ、失報の危険性を低下させることができる。また、対象物の認識精度を向上させることができる。
なお、上述した実施の形態8では、一例として現データを中心に上下左右斜め方向に±1ポイントの範囲に位置する座標から比較データを取得する構成を示したが、レーザ光パルスが到達する背景上の位置で生じる誤差は「±1ポイント」に限定されるものではなく変化する。よってレーザ光パルスが到達する背景上の位置で生じる誤差によって、取得する比較データの範囲は変動する。また、座標を基準に比較データを取得する構成を示したが、画素を基準に比較データを取得する構成としてもよい。
なお、上述した実施の形態8では、実施の形態1で示した構成に第1の変化領域抽出部40aおよび判定結果蓄積部40bを適用する場合を示したが、当該実施の形態8の構成は実施の形態2で示した構成にも適用可能である。その場合、図6で示した第1の変化領域抽出部40を上述した第1の変化領域抽出部40aおよび判定結果蓄積部40bに置き換える。また、図7のフローチャートにおいて、ステップST5の処理を、上述したステップST91からステップST103の処理に置き換える。ステップST102またはステップST103で取得した真の差分値についてステップST31以降の処理を行う。
上述した実施の形態1から実施の形態8で示した監視装置の各機能は、処理回路により実現される。処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリに格納される。処理回路は、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実行する。
この発明に係る監視装置は、精度よく対象物を認識することが可能なため、監視カメラなどに適用し発報対象を的確に認識して警告を行うのに適している。
10 3次元レーザスキャナ、11 レーザ発光ユニット、12 レーザ光パルス、13 分散機構、14 分散レーザ光パルス、15 レーザ反射光、16 レーザ受光ユニット、20 現データ演算部、21 現データ蓄積部、30 比較データ演算部、31 比較データ蓄積部、40,40a 第1の変化領域抽出部、40b 判定結果蓄積部、41 正負マップ照合部、42 第2の変化領域抽出部、43 安定度確認部、43a 蓄積部、50 認識処理部、60 報知処理部、70,70a 距離演算部、71,71a 距離ヒストグラム作成部、72 対象物距離ピーク点算出部、73 背景距離ピーク点算出部、74,74a 距離差分算出部、75 距離差分連結処理部、80 強度演算部、81 強度ヒストグラム作成部、82 対象物強度ピーク点算出部、83 背景強度ピーク点算出部、84 強度差分算出部、85 強度差分連結処理部、86 第3の変化領域抽出部、100,100a,100b,100c,100d,100e,100f,100g,100h,100i 監視装置、200 背景、201 対象物。

Claims (9)

  1. 監視領域を測定した3次元レーザスキャナの測定結果から、前記監視領域までの距離情報を取得し、現距離データとする現データ演算部と、
    前記測定結果から前記監視領域までの距離情報を取得し、比較距離データに変換する比較データ演算部と、
    前記現データ演算部が取得した現距離データと、前記比較データ演算部が変換した比較距離データとの差分値を算出し、当該差分値が閾値以上である領域を変化領域として抽出する第1の変化領域抽出部とを備え
    前記第1の変化領域抽出部は、前記監視領域における背景と対象物との距離関係に基づいて拒絶すべき差分値を記憶したマップデータと、前記現距離データと前記比較距離データとの差分値とを照合し、前記マップデータにより拒絶される差分値を修正する正負マップ照合部を備えた監視装置。
  2. 前記測定結果から前記監視領域までの距離情報を取得し、前記監視領域の短時間変化を示す第1の距離ヒストグラムと、前記第1の距離ヒストグラムより長い時間変化である前記監視領域の長時間変化を示す第2の距離ヒストグラムを作成する距離ヒストグラム作成部と、
    前記第1の距離ヒストグラムから対象物距離ピーク点を算出する対象物距離ピーク点算出部と、
    前記第2の距離ヒストグラムから背景距離ピーク点を算出する背景距離ピーク点算出部と、
    前記対象物距離ピーク点から前記背景距離ピーク点を差し引いて差分ピーク点を算出する距離差分算出部と、
    前記距離差分算出部が算出した差分ピーク点の距離情報に基づいた領域から変化領域を抽出する第2の変化領域抽出部とを備えたことを特徴とする請求項1記載の監視装置。
  3. 前記測定結果から前記監視領域の反射率を示す強度情報を取得し、前記監視領域の短時間変化を示す第1の強度ヒストグラムと、前記第1の強度ヒストグラムより長い時間変化である前記監視領域の長時間変化を示す第2の強度ヒストグラムを作成する強度ヒストグラム作成部と、
    前記第1の強度ヒストグラムから対象物強度ピーク点を算出する対象物強度ピーク点算出部と、
    前記第2の強度ヒストグラムから背景強度ピーク点を算出する背景強度ピーク点算出部と、
    前記対象物強度ピーク点から前記背景強度ピーク点を差し引いて得られる差分ピーク点を算出する強度差分算出部と、
    前記強度差分算出部が算出した差分ピーク点の強度情報を連結する強度差分連結処理部と、
    前記強度差分連結処理部が連結した強度情報から前記変化領域を抽出する第3の変化領域抽出部とを備えたことを特徴とする請求項1記載の監視装置。
  4. 監視領域を測定した3次元レーザスキャナの測定結果から、前記監視領域までの距離情報を取得し、前記監視領域の短時間変化を示す第1の距離ヒストグラムと、前記第1の距離ヒストグラムより長い時間変化である前記監視領域の長時間変化を示す第2の距離ヒストグラムを作成する距離ヒストグラム作成部と、
    前記第1の距離ヒストグラムから対象物距離ピーク点を算出する対象物距離ピーク点算出部と、
    前記第2の距離ヒストグラムから背景距離ピーク点を算出する背景距離ピーク点算出部と、
    前記対象物距離ピーク点から前記背景距離ピーク点を差し引いて差分ピーク点を算出する距離差分算出部と、
    前記距離差分算出部が算出した差分ピーク点の距離情報に基づいた領域から変化領域を抽出する第2の変化領域抽出部とを備えた監視装置。
  5. 監視領域を測定した3次元レーザスキャナの測定結果から、前記監視領域の反射率を示す強度情報を取得し、前記監視領域の短時間変化を示す第1の強度ヒストグラムと、前記第1の強度ヒストグラムより長い時間変化である前記監視領域の長時間変化を示す第2の強度ヒストグラムを作成する強度ヒストグラム作成部と、
    前記第1の強度ヒストグラムから対象物強度ピーク点を算出する対象物強度ピーク点算出部と、
    前記第2の強度ヒストグラムから背景強度ピーク点を算出する背景強度ピーク点算出部と、
    前記対象物強度ピーク点から前記背景強度ピーク点を差し引いて得られる差分ピーク点を算出する強度差分算出部と、
    前記強度差分算出部が算出した差分ピーク点の強度情報を連結する強度差分連結処理部と、
    前記強度差分連結処理部が連結した強度情報から変化領域を抽出する第3の変化領域抽出部とを備えた監視装置。
  6. 監視領域を測定した3次元レーザスキャナの測定結果から、前記監視領域までの距離情報を取得し、前記監視領域の短時間変化を示す第1の距離ヒストグラムを作成する距離ヒストグラム作成部と、
    前記第1の距離ヒストグラムから対象物距離ピーク点を算出する対象物距離ピーク点算出部と、
    前記監視領域内に固定的に存在する物体の距離ピーク点を記憶する背景距離ピーク情報蓄積部と、
    前記対象物距離ピーク点から前記背景距離ピーク情報蓄積部に蓄積された距離ピーク点を差し引いて得られる差分ピーク点を算出する距離差分算出部と、
    前記距離差分算出部が算出した差分ピーク点の距離情報に基づいた領域から変化領域を抽出する第2の変化領域抽出部とを備えた監視装置。
  7. 前記第3の変化領域抽出部が抽出した変化領域を蓄積する蓄積部と、
    前記蓄積部に蓄積された一定時間経過前後の変化領域の変化量が閾値以上である場合に、前記変化領域が人物であると判断する安定度確認部を備えたことを特徴とする請求項3または請求項5記載の監視装置。
  8. 前記比較データ演算部は、前記測定結果を中心に設定された範囲内の位置から前記監視領域までの距離情報を取得して前記比較距離データに変換し、
    前記第1の変化領域抽出部は、前記現データ演算部が取得した現距離データと、前記比較データ演算部が変換した比較距離データとの差分値を算出し、算出した差分値のうち最小の差分値を真の差分値とし、当該真の差分値が閾値以上である領域を変化領域として抽出することを特徴とする請求項1記載の監視装置。
  9. 前記比較データ演算部は、前記測定結果を中心に設定された範囲内の位置から前記監視領域までの距離情報を取得して前記比較距離データに変換し、
    前記第1の変化領域抽出部は、前記現データ演算部が取得した現距離データと、前記比較データ演算部が変換した比較距離データとの差分値を算出し、過去の前記変化領域の抽出結果に基づいて、前記算出した差分値のうち最大の差分値を真の差分値とするか、あるいは最小の差分値を真の差分値とするかを決定し、決定した真の差分値が閾値以上である領域を変化領域として抽出することを特徴とする請求項1記載の監視装置。
JP2016531393A 2014-07-03 2015-06-30 監視装置 Active JP6309099B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014137624 2014-07-03
JP2014137624 2014-07-03
PCT/JP2015/068816 WO2016002776A1 (ja) 2014-07-03 2015-06-30 監視装置

Publications (2)

Publication Number Publication Date
JPWO2016002776A1 JPWO2016002776A1 (ja) 2017-04-27
JP6309099B2 true JP6309099B2 (ja) 2018-04-11

Family

ID=55019308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016531393A Active JP6309099B2 (ja) 2014-07-03 2015-06-30 監視装置

Country Status (2)

Country Link
JP (1) JP6309099B2 (ja)
WO (1) WO2016002776A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6835079B2 (ja) * 2016-05-13 2021-02-24 コニカミノルタ株式会社 監視システム
WO2017195754A1 (ja) * 2016-05-13 2017-11-16 コニカミノルタ株式会社 監視システム
JPWO2017195755A1 (ja) * 2016-05-13 2019-03-22 コニカミノルタ株式会社 監視システム
JP7054989B2 (ja) * 2016-06-20 2022-04-15 三菱電機株式会社 監視装置
JP6758152B2 (ja) * 2016-10-19 2020-09-23 三菱電機株式会社 監視用画像処理装置および監視装置
JP6756448B2 (ja) * 2016-12-22 2020-09-16 三菱電機株式会社 監視装置
US10942257B2 (en) 2016-12-31 2021-03-09 Innovusion Ireland Limited 2D scanning high precision LiDAR using combination of rotating concave mirror and beam steering devices
EP3579181B1 (en) * 2017-02-06 2023-06-07 Mitsubishi Electric Corporation Monitoring device
JP7134988B2 (ja) * 2017-03-01 2022-09-12 アウスター インコーポレイテッド ライダーのための正確な光検出器測定
US11105925B2 (en) 2017-03-01 2021-08-31 Ouster, Inc. Accurate photo detector measurements for LIDAR
JP7128568B2 (ja) * 2017-09-05 2022-08-31 三菱電機株式会社 監視装置
US11493601B2 (en) 2017-12-22 2022-11-08 Innovusion, Inc. High density LIDAR scanning
US11808888B2 (en) 2018-02-23 2023-11-07 Innovusion, Inc. Multi-wavelength pulse steering in LiDAR systems
US11988773B2 (en) 2018-02-23 2024-05-21 Innovusion, Inc. 2-dimensional steering system for lidar systems
JP6939658B2 (ja) * 2018-03-12 2021-09-22 株式会社デンソーウェーブ 静止物監視装置
EP3875988A4 (en) * 2018-10-29 2022-08-03 Furuno Electric Co., Ltd. TARGET MEASUREMENT APPARATUS AND METHOD
CN116324335A (zh) * 2020-10-20 2023-06-23 索尼半导体解决方案公司 距离测量装置和距离测量方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6316283A (ja) * 1986-07-08 1988-01-23 Matsushita Seiko Co Ltd 人体検知装置
JP3614256B2 (ja) * 1996-10-01 2005-01-26 三菱電機株式会社 監視用画像処理装置
JP2003202373A (ja) * 2002-01-07 2003-07-18 Omron Corp 移動物体検知装置および移動物体検知方法
JP3941790B2 (ja) * 2004-04-08 2007-07-04 石川島播磨重工業株式会社 移動物体検出装置及び方法
JP4901128B2 (ja) * 2005-05-19 2012-03-21 株式会社ニコン 距離測定装置、及び距離測定方法
JP4653207B2 (ja) * 2008-10-16 2011-03-16 能美防災株式会社 煙検出装置
JP5718139B2 (ja) * 2011-04-21 2015-05-13 日野自動車株式会社 レーダ装置、バス、および乗客移動検出方法、並びにプログラム
GB2520232A (en) * 2013-08-06 2015-05-20 Univ Edinburgh Multiple Event Time to Digital Converter

Also Published As

Publication number Publication date
WO2016002776A1 (ja) 2016-01-07
JPWO2016002776A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6309099B2 (ja) 監視装置
US8139117B2 (en) Image quality analysis with test pattern
KR20190106765A (ko) 카메라 및 이미지 데이터를 검출하기 위한 방법
US9305343B2 (en) Observation device and observation method
US20050194445A1 (en) Method and apparatus for recognizing code
KR20190088089A (ko) 용접 표면 결점 검출 장치 및 방법
JP6435661B2 (ja) 物体識別システム、情報処理装置、情報処理方法及びプログラム
EP3309583B1 (en) Distance measuring apparatus, distance measuring method, and distance measuring program
JP4389602B2 (ja) 物体検出装置、物体検出方法、プログラム
CN112534474A (zh) 纵深取得装置、纵深取得方法以及程序
DE112021003033T5 (de) Strichcodeleser mit 3d-kamera(s)
US20200265575A1 (en) Flaw inspection apparatus and method
CN110431562B (zh) 图像识别装置
KR20070117681A (ko) 고밀도의 광학 심볼을 2단계로 해독하기 위한 장치 및 방법
JP5229328B2 (ja) 文字領域抽出装置,文字領域抽出機能を備えた撮像装置,および文字領域抽出プログラム
EP1014691A2 (en) An image processing system for reducing vertically disposed patterns on images produced by scanning
CN112446225B (zh) 光学代码的模块尺寸的确定
CN112699697B (zh) 读码器和用于读取光学代码的方法
JPWO2018147059A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN112770100B (zh) 一种图像获取方法、摄影装置以及计算机可读存储介质
JP2010060371A (ja) 物体検出装置
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JPH11306348A (ja) 対象物検出装置及び対象物検出方法
JP5228926B2 (ja) 歩行者検出装置
KR20240023447A (ko) 3d 스캐너의 스캔 볼륨 모니터링

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180313

R150 Certificate of patent or registration of utility model

Ref document number: 6309099

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250