JP6814053B2 - 物***置検出装置 - Google Patents

物***置検出装置 Download PDF

Info

Publication number
JP6814053B2
JP6814053B2 JP2017007484A JP2017007484A JP6814053B2 JP 6814053 B2 JP6814053 B2 JP 6814053B2 JP 2017007484 A JP2017007484 A JP 2017007484A JP 2017007484 A JP2017007484 A JP 2017007484A JP 6814053 B2 JP6814053 B2 JP 6814053B2
Authority
JP
Japan
Prior art keywords
distance
image
threshold value
person
installation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017007484A
Other languages
English (en)
Other versions
JP2018115981A (ja
Inventor
増田 浩三
浩三 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi LG Data Storage Inc
Original Assignee
Hitachi LG Data Storage Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi LG Data Storage Inc filed Critical Hitachi LG Data Storage Inc
Priority to JP2017007484A priority Critical patent/JP6814053B2/ja
Priority to US15/811,882 priority patent/US10705218B2/en
Priority to CN201711222801.2A priority patent/CN108333595B/zh
Priority to EP17206589.8A priority patent/EP3351958B1/en
Publication of JP2018115981A publication Critical patent/JP2018115981A/ja
Application granted granted Critical
Publication of JP6814053B2 publication Critical patent/JP6814053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/493Extracting wanted echo signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S7/4972Alignment of sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、人物等の物体の位置を距離画像として出力する物***置検出装置に関する。
光の伝達時間に基づいて物体までの距離を測定し(以下、TOF法:タイム・オブ・フライト)、距離を表示した画像(距離画像)として出力する技術が知られる。例えば特許文献1に記載の人物位置検出装置は、TOF式距離画像センサからの距離情報に基づいて、室内空間の物体までの距離変位を検出する距離変位検出手段と、検出された距離変位領域の形状特定化によって人物かどうかを判別する人物判別手段とを有し、人物として形状特定化された距離変位領域までの方向および距離を人物位置として検出する構成が開示されている。
特開2009−174830号公報
特許文献1の技術では、室内空間の物体までの距離を測定し、測定値の時間変化量から距離変位領域を検出するとともに、予め登録した人物形状の特徴と検出された距離変位領域の特徴とを比較することで、人物かどうかを判別するものである。
このような処理では距離変位領域を判定する閾値が必要であり、閾値を小さくすると距離変位領域に付随してショットノイズも多く出力され、該ショットノイズを距離変位領域と誤認識する可能がある。逆に上記閾値を大きくすると物体形状の一部または全部が欠落する恐れがある。得られた距離画像を見ながら、ユーザが最適な閾値を設定することも考えられるが、動きのある物体ではユーザの負担が増加して実用的でない。特許文献1では上記閾値の設定方法について考慮されていない。
本発明の目的は、TOF法で得られる距離画像に含まれるショットノイズを最適に除去する物***置検出装置を提供することである。
本発明は、物体の位置を距離画像として出力する物***置検出装置において、前記物体を含む被写体までの距離を光の伝達時間に基づいて測定し2次元の距離画像を生成する距離画像生成部と、前記被写体の距離画像から前記物体を抽出した物体画像を生成する物体画像生成部と、前記距離画像生成部の設置角度を検出する設置角度検出部、または前記物体までの距離あるいは前記物体の姿勢を検出する物体距離・姿勢検出部と、を備え、前記物体画像生成部は、前記被写体の距離画像から前記物体以外の背景の除去処理を行う差分器を有し、前記設置角度検出部で検出した前記距離画像生成部の設置角度、または前記物体距離・姿勢検出部の検出結果に応じて、前記差分器における背景除去の閾値を設定することを特徴とする。
本発明によれば、距離画像に含まれる背景を除去するための閾値を自動的にかつ適応的に設定するので、動きのある物体でもノイズの少ない鮮明な画像を提供することができる。
本発明による物***置検出装置の一実施例を示す構成図。 TOF法による距離測定の原理を説明する図。 TOF法による距離測定の原理を説明する図。 設置角度検出部の動作を説明する図。 TOFカメラの配置と被写体の輝度画像の関係を示す図。 TOFカメラの配置と距離画像・物体画像の関係を示す図。 TOFカメラの設置角度と閾値の関係を示す図。 人物までの距離と閾値の関係を示す図。 人物の姿勢と閾値の関係を示す図。 閾値の設定用テーブルの例を示す図。 本実施例における画像処理の流れを示すフローチャート。
図1は、本発明による物***置検出装置の一実施例を示す構成図である。以下の例では物体として人物の位置を検出する場合について説明する。物***置検出装置1では、人物を含む被写体までの距離をTOF方式で測定し、測定した被写体の各部までの距離を例えば色で表示し、距離画像として出力する。その際、被写体全体から人物以外の背景画像を除去することで、検出対象である人物の位置や姿勢を見やすく表示するものである。
物***置検出装置1は、TOF方式による距離画像を生成する距離画像生成部10(以下、TOFカメラ、または単にカメラとも呼ぶ)と、距離画像から人物などの物体の部分を抽出して物体画像(人物画像)を生成する物体画像生成部16とを備える。また、各部の動作は図示しないCPUによって制御される。
TOFカメラ10は、被写体にパルス光を照射するレーザダイオード(LD)や発光ダイオード(LED)などの発光部11と、被写体から反射したパルス光を受光するCCDセンサやCMOSセンサなどの受光部12と、発光部11を駆動するとともに受光部12の検出信号から被写体までの距離を計算する距離計算部13を含む。受光部12では被写体の2次元画像を撮影することで、距離計算部13は、被写体の2次元画像の距離データを距離画像として出力する。TOFによる距離測定の原理は後述する。
背景画像取込部14は、距離計算部13から人物がいない状態の距離画像(以下、背景画像Bと呼ぶ)を取り込み、背景画像記憶部15に保存する。
物体画像生成部16は、差分器17とノイズ除去部18と画像処理部19を備え、TOFカメラ10で生成した距離画像から物体画像(人物画像)を生成して出力する。距離計算部13から人物を含む距離画像(以下、入力画像Aと呼ぶ)が出力されると、差分器17は、背景画像記憶部15に保存している背景画像Bとの差分化処理を行い、差分画像Cを出力する。この差分化処理は、入力画像Aと背景画像Bとの距離差が閾値より大きい領域では入力画像Aの信号をそのまま通過し、距離差が閾値以下の領域では入力画像Aの信号を無信号とする処理である。無信号とする処理とは、具体的には、距離データをカメラから無限遠(あるいは距離データとして取りえる最も遠い位置)に置き換えることを意味する。差分画像Cでは、入力画像Aから背景が除去され、例えば人物等の物体が抽出されたものとなる。
ノイズ除去部18は、例えばローパスフィルタで構成し、差分画像Cに含まれる残留ノイズをさらに除去して物体画像Eとして出力する。画像処理部19は、距離データに基づき人物の物体画像Eの色相を変えるカラー化処理を行い、外部装置に出力またはディスプレイ等に表示する。画像処理は、明度、コントラスト等を変える処理でも構わない。ユーザはカラー化された物体画像Eを見ることで、人物等の物体の位置(距離)と形状(姿勢)を容易に知ることができる。
本実施例では、差分器17に設定する背景除去のための閾値dを、自動的にかつ適応的に設定する。すなわち、TOFカメラ10と検出対象である物体との位置関係から閾値を最適に設定する。そのため、TOFカメラ10の設置角度(水平方向に対する傾斜角度)を設置角度検出部20にて検出する。設置角度検出部20には例えば加速度センサを用いる。また、物体距離・姿勢検出部21は、距離計算部13から得られる距離データにより、カメラから物体(人物)までの距離あるいは物体の姿勢を検出する。閾値記憶部22は、設置角度、物***置・姿勢をパラメータとして、最適な閾値dを予めルックアップテーブル(LUT)に記憶している。なお、設置角度検出部20と物体距離・姿勢検出部21は、機能を統合して1つの検出部で構成してもよいし、あるいはいずれか一方の検出部のみ備える構成でも良い。
次に、各部の動作を説明する。
図2Aと図2Bは、TOF法による距離測定の原理を説明する図である。TOF(タイム・オブ・フライト)法では、出射光信号と受光信号の時間差により距離を算出する、
図2AはTOFカメラ(距離画像生成部)10と被写体2(例えば人物)の関係を示す図である。TOFカメラ10は発光部11と受光部12を有し、発光部11から被写体2へ距離測定用の光31を出射する。出射光には赤外光を用いる。受光部12は、被写体2に出射された光の反射光32を受光するが、対物レンズ33を介してCCDなどの2次元センサ34で受光する。被写体2は、発光部11および受光部12からL[m]離れた位置に存在する。ここで、光速をc[m/s]として、発光部11が光出射を開始してから受光部12が反射光を受光するまでの時間差をt[s]とすると、被写体2までの距離L[m]は、
L[m]=c[m/s]×t[s]/2・・・(1)
で求められる。
図2Bは時間差tの測定を示す図である。距離計算部13は、発光部11から出射した光31のタイミングと、受光部12で反射光32を受光したタイミングから、その時間差tを測定し、式(1)から被写体2との距離Lを算出する。また、2次元センサ34における各画素位置での受光タイミングのずれから、被写体各位置の距離の差、すなわち被写体の凹凸形状を求めることができる。
図3は、設置角度検出部20の動作を説明する図である。設置角度検出部20は例えば加速度センサからなり、そのセンサ出力値からTOFカメラ10の設置角度θを検出する。TOFカメラ10が物***置検出装置1と一体で構成されていれば、物***置検出装置1の設置角度と同じ意味である。これにより、TOFカメラ10からの光出射方向が水平方向(θ=0°)か、垂直方向(θ=90°)か、あるいは斜め方向(θ=45°)かを判定する。判定した設置角度θは、差分器17における閾値dの設定に利用する。以下では、典型的な水平設置と垂直設置の場合を例として、距離画像と物体画像の生成について説明する。
図4は、TOFカメラの配置と被写体の輝度画像の関係を示す図である。TOFカメラ10の配置が水平設置と垂直設置の場合に、カメラの受光部12で得られる被写体(人物と背景)の輝度画像の例を示す。(a)は人物のいない背景画像であり、(b)は人物が含まれる入力画像である。背景として、垂直な壁面41と水平な床面42とからなる空間を想定し、水平設置のカメラAは壁面41から3mだけ離れた位置に、垂直設置のカメラBは床面42から3mだけ離れた位置に配置している。人物43は壁面41の前に起立している状態である。このように、ここでは簡単のために、背景は平面状の壁面41と床面42としたが、壁面や床面が凹凸形状であったり、机や椅子などの人物以外の物体が存在していても構わない。これらは後述するように、入力画像と背景画像との差分化処理により除去されるからである。
カメラA(水平設置)の場合は、人物43と壁面41を正面から見た画像となり、カメラB(垂直設置)の場合は、人物43と床面42を頭上から見た画像となる。以下、このような人物・背景の構図で得られる距離画像について説明する。
図5は、TOFカメラの配置と距離画像・物体画像の関係を示す図である。カメラA(水平設置)とカメラB(垂直設置)の場合に得られる距離画像と、距離画像に対して差分化を行った物体画像(ここでは人物画像)について説明する。各画像の下段には、破線で示した断面位置におけるカメラからの距離信号を模式的に示す。
(a)はカメラA(水平設置)の場合で、(a1)は背景画像B、(a2)は人物が含まれる入力画像Aである。下段の距離信号では、壁面41や人物43の位置を示す信号の他に、ショットノイズ50(ジグザグ状で示す)が重畳している。
(a3)と(a4)は、入力画像Aから背景画像Bを差分化を行った人物画像Eを示す。差分器17では、入力画像Aと背景画像Bの画像内の対応する各画素位置での距離データの差分演算を行って、人物43を抽出した差分画像Cとする。この段階で背景画像Bに存在する壁面41の形状は除去される。この差分化処理では、距離信号の最奥位置(この場合は壁面41)から手前方向に所定の幅(閾値d)の領域51を設定し、そこに含まれる信号を無限遠の信号に置き換える。その結果差分画像Cでは、領域51に含まれるノイズは見えなくなり、領域51を超えて手前にあるノイズが残ることになる。なお、残留するノイズはノイズ除去部18でさらに低減されて、人物画像Eとなる。
(a3)は閾値d=15cmで背景を除去した場合、(a4)は閾値d=30cmで背景を除去した場合である。閾値dを大きくすると(a4)のようにショットノイズ50は目立ちにくくなるが、反面、人物43の信号の一部がノイズとして除去されてしまう。よってこの例では、(a3)のように人物43の信号を残した状態でノイズを除去するのが望ましい。すなわち、閾値dとして15cmの設定が最適である。
(b)はカメラB(垂直設置)の場合で、(b1)は背景画像B、(b2)は人物が含まれる入力画像Aである。下段の距離信号では、床面42や人物43の位置を示す信号の他に、ショットノイズ50が重畳している。(b2)の入力画像Aでは、カメラから見える人物43は主に上半身であり、下半身は上半身の陰になるので、下半身の画像は元々少ない。(b3)は閾値d=15cmで背景を除去した場合、(b4)は閾値d=30cmで背景を除去した場合である。これらを比較すると、(b4)のように閾値dを大きくしてノイズ除去を優先するのが望ましく、これにより削除される人物43の信号は僅かであり支障がない。
本実施例では、カメラと人物、および背景の位置関係が変化しても、現在の位置関係に応じて背景除去の閾値を適応的に設定するようにしたので、カメラの配置が変化しても常にノイズの少ない鮮明な人物画像を得ることができる。
以上の考察によれば、背景除去の閾値には、カメラの設置角度の他に物体(人物)の位置や姿勢も影響することになる。以下、これらの各要因を取り上げ、閾値の具体的な設定例を図6〜図8で説明する。
図6は、TOFカメラの設置角度と閾値の関係を示す図である。設置角度θは設置角度検出部20にて検出する。
(a)はカメラA(水平設置、θ=0°)の場合で、距離画像の画面60全体に対し閾値を小さな値(d=15cm)に設定する。カメラと人物との距離が大きく、人物と背景(壁面41)との距離が小さいためである。
(b)はカメラB(垂直設置、θ=90°)の場合で、画面60全体に対し閾値を大きな値(d=30cm)に設定する。カメラと人物との距離が小さく、人物と背景(床面42)との距離が大きいためである。
(c)はカメラC(斜め設置、θ=45°)の場合で、画面60を上下方向に分割し、各領域ごとに異なる閾値を設定する。画面の上側領域61ではd=30cm、中央領域62ではd=20cm、下側領域63ではd=15cmとする。これは、カメラと人物との距離が画面内で異なり、各領域ごとに閾値を設定している。画面の分割数は被写体の構図に応じて適宜決定すればよい。
上記以外の設置角度については、さらに異なる画面分割を行いそれぞれの領域に閾値を設定しても良いし、あるいは上記の3通りの設置角度のうち最も近い設置角度の閾値を用いても良い。
図7は、人物までの距離と閾値の関係を示す図である。TOFカメラ10の設置角度はいずれも水平(カメラA)とし、カメラから人物43までの距離sを物体距離・姿勢検出部21で検出する。この例ではカメラから壁面41までの距離を6mとする。物体距離・姿勢検出部21は、距離計算部13から出力される物体(人物)までの距離データから人物43までの距離sを検出する。なお、必要に応じて人物43の判定のため画像認識処理を併用して行っても良い。
(a)は距離s=2mの場合で、距離画像の画面60全体に対し閾値を大きな値(d=30cm)に設定する。カメラと人物との距離が小さく、人物と背景(壁面41)との距離が大きいためである。
(b)は距離s=4mの場合で、画面60全体に対し閾値を中程度の値(d=20cm)に設定する。カメラと人物との距離、人物と背景(壁面41)との距離が中程度であるからである。
(c)は距離s=6mの場合で、画面60全体に対し閾値を小さな値(d=15cm)に設定する。カメラと人物との距離が大きく、人物と背景(壁面41)との距離が小さいためである。
ここでは、カメラの設置角度が水平の場合としたが、垂直設置の場合は人物の位置に依らず閾値を大きな値(d=30cm)に設定すればよい。これは、カメラと人物との距離が小さく、人物と背景(床面42)との距離が大きいためである。
図8は、人物の姿勢と閾値の関係を示す図である。ここでは人物43がベッド44の上に横になっている状態を、カメラの設置角度を変えて撮影する場合を示す。人物の姿勢、すなわち立っている状態(起立状態)か、横になっている状態(平臥状態)かは、カメラの設置角度検出部20と物体距離・姿勢検出部21により検出する。すなわち、カメラの撮影方向と距離計算部13から得られる人物形状の関係から、人物の姿勢を判定する。
(a)はカメラA(水平設置)の場合で、撮影される人物形状は上半身のみとなる。この場合は距離画像の画面60全体に対し閾値を大きな値(d=30cm)に設定する。カメラと人物(上半身)との距離が小さいからである。
(b)はカメラB(垂直設置)の場合で、撮影される人物形状は全身形状となる。画面60全体に対し閾値を小さな値(d=15cm)に設定する。カメラと人物との距離が大きく、人物と背景(ベッド44)との距離が小さいからである。
(c)はカメラC(斜め設置)の場合で、カメラと人物との距離により画面60を上下方向に分割し、各領域ごとに異なる閾値を設定する。画面の上側領域61ではd=30cm、中央領域62ではd=20cm、下側領域63ではd=15cmとする。画面の分割数は被写体の構図に応じて適宜決定すればよい。
ここでは人物の姿勢として起立状態と平臥状態の2つを取り上げたが、その他の状態(椅子に座っている状態など)を含めても良い。
以上の説明では、カメラの設置角度、物体(人物)までの距離、物体(人物)の姿勢をパラメータとして、閾値の具体的な設定例を提示した。各パラメータの組み合わせはこれ以外にもありえるが、いずれの場合も、カメラと人物との距離、人物と背景物との距離に応じて閾値を決定すればよい。決定した閾値は、閾値記憶部22のルックアップテーブル(LUT)に記憶する。
図9は、閾値記憶部22が記憶する閾値の設定用テーブルの例を示す図である。ルックアップテーブル(LUT)には、カメラの設置角度θ、人物の姿勢(起立状態/平臥状態)、人物までの距離sをパラメータに、閾値の最適な設定値を記憶している。また、カメラ設置角度が斜め設置(θ=45°)の場合は、画面を複数の領域に分割して各領域での閾値の設定値を記憶している。閾値記憶部22はルックアップテーブルを参照して、現在のパラメータ条件に該当する閾値dを読出して差分器17の処理に設定する。
図10は、本実施例における画像処理の流れを示すフローチャートである。以下に示す画像処理は、物***置検出装置のCPUが図1の各部の動作を制御することで実行される。以下、ステップ順に説明する。
S101:距離画像生成部(TOFカメラ)10により、予め設定された範囲内にある被写体の距離画像を取得する。すなわち距離計算部13は、被写体画像の各部までの距離を計算して距離画像として出力する。
S102:背景取込部14は、背景画像の取込み指示を受けたかどうか判定する。背景画像の取込み指示はユーザの操作で行うか、あるいは予め決められた時刻に自動的に指示するものでもよい。例えば店舗内の客の移動を検出する場合には、開店前の時刻に背景画像を取込めばよい。取込み指示があった場合はS103へ進み、指示がない場合はS104へ進む。
S103:現在の距離画像を背景画像Bとして、背景画像記憶部15へ記憶する。その後S101へ戻り、距離画像の取得を繰り返す。
S104:設置角度検出部20は、TOFカメラ10の設置角度θを検出する。
S105:物体距離・姿勢検出部21は、距離計算部13から出力される距離データから人物までの距離sを検出し、またカメラの設置角度と人物の形状から人物の姿勢(起立状態/平臥状態)を検出する。
S106:上記S104,S105で検出した設置角度θ、人物の距離s、人物の姿勢の条件をもとに、閾値記憶部22は、図9に示したルックアップテーブル(LUT)を参照し、該当する閾値dを読み出して差分器17に設定する。
S107:差分器17は、距離計算部13からの入力画像Aと背景画像記憶部15からの背景画像Bの距離データから、差分画像Cを生成する。すなわち、設定された閾値dを用いて背景除去を行う。これにより、入力画像Aに人物等が含まれていれば、差分画像Cでは人物が抽出された画像となる。
S108:ノイズ除去部18は、差分画像Cに対して残留ノイズの除去を行い、物体画像(人物画像E)を生成する。
S109:画像処理部19は、距離データに基づき物体画像(人物画像E)のカラー化処理などを行い、外部装置に出力する。その後S101へ戻り、距離画像の取得を繰り返す。
以上のフローにより、現在の人物の距離や姿勢に応じて適応的に閾値を設定して背景除去を行うようにしたので、人物に動きがあっても、常に鮮明な人物画像を提供することができる。
以上述べた実施例では、被写体として人物を検出する場合について説明したが、人物以外の物体を検出する場合も同様である。すなわち、物体特有の形状に合わせて背景除去の閾値を設定すれば、鮮明な物体画像が得られる。
1:物***置検出装置、
10:距離画像生成部(TOFカメラ)、
11:発光部、
12:受光部、
13:距離計算部、
14:背景画像取込部、
15:背景画像記憶部、
16:物体画像生成部、
17:差分器、
18:ノイズ除去部、
19:画像処理部、
20:設置角度検出部(加速度センサ)、
21:物体距離・姿勢検出部、
43:人物、
50:ショットノイズ。

Claims (6)

  1. 物体の位置を距離画像として出力する物***置検出装置において、
    前記物体を含む被写体までの距離を光の伝達時間に基づいて測定し2次元の距離画像を生成する距離画像生成部と、
    前記被写体の距離画像から前記物体を抽出した物体画像を生成する物体画像生成部と、
    前記距離画像生成部の設置角度を検出する設置角度検出部、または前記物体までの距離あるいは前記物体の姿勢を検出する物体距離・姿勢検出部と、を備え、
    前記物体画像生成部は、前記被写体の距離画像から前記物体以外の背景の除去処理を行う差分器を有し、
    前記設置角度検出部で検出した前記距離画像生成部の設置角度、または前記物体距離・姿勢検出部の検出結果に応じて、前記差分器における背景除去の閾値を設定することを特徴とする物***置検出装置。
  2. 物体の位置を距離画像として出力する物***置検出装置において、
    前記物体を含む被写体までの距離を光の伝達時間に基づいて測定し2次元の距離画像を生成する距離画像生成部と、
    前記被写体の距離画像から前記物体を抽出した物体画像を生成する物体画像生成部と、
    前記距離画像生成部の設置角度を検出する設置角度検出部、および前記物体までの距離あるいは前記物体の姿勢を検出する物体距離・姿勢検出部と、を備え、
    前記物体画像生成部は、前記被写体の距離画像から前記物体以外の背景の除去処理を行う差分器を有し、
    前記設置角度検出部で検出した前記距離画像生成部の設置角度、または前記物体距離・姿勢検出部の検出結果に応じて、前記差分器における背景除去の閾値を設定することを特徴とする物***置検出装置。
  3. 請求項に記載の物***置検出装置において、
    前記設置角度検出部の検出する前記設置角度と、前記物体距離・姿勢検出部の検出する前記物体までの距離、及び前記物体の姿勢の組み合わせによって、前記差分器における前記閾値を設定することを特徴とする物***置検出装置。
  4. 請求項に記載の物***置検出装置において、
    前記設置角度検出部の検出する前記設置角度と、前記物体距離・姿勢検出部の検出する前記物体までの距離、及び前記物体の姿勢をパラメータとして、前記閾値をルックアップテーブルに記憶する閾値記憶部を有し、
    前記閾値記憶部は、前記ルックアップテーブルから該当する閾値を読み出して前記差分器における閾値を設定することを特徴とする物***置検出装置。
  5. 請求項に記載の物***置検出装置において、
    前記閾値は、前記距離画像生成部から前記物体までの距離が小さいほど、また前記物体から前記背景までの距離が大きいほど、大きい値に設定することを特徴とする物***置検出装置。
  6. 請求項1または2に記載の物***置検出装置において、
    前記距離画像の信号は、前記距離画像生成部から前記被写体までの距離を表すものであって、
    前記差分器にて行う背景の除去処理は、前記距離画像の信号において、前記背景との距離差が前記閾値より大きい領域の信号はそのまま通過し、前記背景との距離差が前記閾値以下の領域の信号は無信号に置き換える処理であることを特徴とする物***置検出装置。
JP2017007484A 2017-01-19 2017-01-19 物***置検出装置 Active JP6814053B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017007484A JP6814053B2 (ja) 2017-01-19 2017-01-19 物***置検出装置
US15/811,882 US10705218B2 (en) 2017-01-19 2017-11-14 Object position detection apparatus
CN201711222801.2A CN108333595B (zh) 2017-01-19 2017-11-29 物***置检测装置
EP17206589.8A EP3351958B1 (en) 2017-01-19 2017-12-12 Object position detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017007484A JP6814053B2 (ja) 2017-01-19 2017-01-19 物***置検出装置

Publications (2)

Publication Number Publication Date
JP2018115981A JP2018115981A (ja) 2018-07-26
JP6814053B2 true JP6814053B2 (ja) 2021-01-13

Family

ID=60673472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017007484A Active JP6814053B2 (ja) 2017-01-19 2017-01-19 物***置検出装置

Country Status (4)

Country Link
US (1) US10705218B2 (ja)
EP (1) EP3351958B1 (ja)
JP (1) JP6814053B2 (ja)
CN (1) CN108333595B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11450009B2 (en) * 2018-02-26 2022-09-20 Intel Corporation Object detection with modified image background
JP2021050988A (ja) * 2019-09-25 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 測距装置及び電子機器
US20210144297A1 (en) * 2019-11-12 2021-05-13 Shawn Glidden Methods System and Device for Safe-Selfie
JP7175872B2 (ja) * 2019-11-14 2022-11-21 株式会社日立エルジーデータストレージ 測距装置
JP7286573B2 (ja) * 2020-03-12 2023-06-05 株式会社日立エルジーデータストレージ 測距装置及び測距方法
JP7178577B2 (ja) * 2020-03-12 2022-11-28 パナソニックIpマネジメント株式会社 マルチパス除去方法および測距装置
DE102020115145A1 (de) 2020-06-08 2021-12-09 Blickfeld GmbH Punktwolkenverarbeitung
US11785456B2 (en) * 2020-08-18 2023-10-10 Cisco Technology, Inc. Delivering standalone non-public network (SNPN) credentials from an enterprise authentication server to a user equipment over extensible authentication protocol (EAP)
CN112287821B (zh) * 2020-10-28 2023-08-11 业成科技(成都)有限公司 照护对象行为监测方法、装置、计算机设备和存储介质

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2300400A1 (en) * 1999-03-22 2000-09-22 Michael George Taranowski Electronic optical target ranging and imaging
US7405692B2 (en) * 2001-03-16 2008-07-29 Battelle Memorial Institute Detecting concealed objects at a checkpoint
JP4644958B2 (ja) * 2001-03-19 2011-03-09 パナソニック電工株式会社 距離測定装置
JP4644992B2 (ja) * 2001-08-10 2011-03-09 パナソニック電工株式会社 距離画像を用いた人体検知方法
JP4259419B2 (ja) * 2004-07-30 2009-04-30 パナソニック電工株式会社 人体検知センサ
JP4815190B2 (ja) * 2005-10-28 2011-11-16 セコム株式会社 侵入検知装置
WO2007061632A2 (en) * 2005-11-09 2007-05-31 Geometric Informatics, Inc. Method and apparatus for absolute-coordinate three-dimensional surface imaging
JP5175562B2 (ja) 2008-01-28 2013-04-03 シャープ株式会社 人物位置検出装置および空気調和機
US9087258B2 (en) * 2010-08-17 2015-07-21 Lg Electronics Inc. Method for counting objects and apparatus using a plurality of sensors
JP5518667B2 (ja) * 2010-10-12 2014-06-11 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
CN103347437B (zh) * 2011-02-09 2016-06-08 苹果公司 3d映射环境中的凝视检测
WO2012147496A1 (ja) * 2011-04-25 2012-11-01 三洋電機株式会社 物体検出装置および情報取得装置
US8526734B2 (en) * 2011-06-01 2013-09-03 Microsoft Corporation Three-dimensional background removal for vision system
US9002099B2 (en) * 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
JP2014041074A (ja) * 2012-08-23 2014-03-06 Ricoh Co Ltd 画像処理装置及び検査装置
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
KR101374720B1 (ko) * 2013-07-15 2014-03-17 전자부품연구원 손동작 기반 가상 마우스 제어장치 및 그 방법
JP6146228B2 (ja) * 2013-09-17 2017-06-14 株式会社Soken 物体検知装置及び物体検知システム
JP6528447B2 (ja) * 2014-02-25 2019-06-12 株式会社リコー 視差演算システム及び距離測定装置
JP2015175633A (ja) * 2014-03-13 2015-10-05 富士通株式会社 立体抽出方法および立体抽出装置
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
JP6335695B2 (ja) * 2014-07-09 2018-05-30 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
KR102286573B1 (ko) * 2015-02-27 2021-08-06 한국전자통신연구원 깊이 맵 생성 장치 및 방법
CN106152937B (zh) * 2015-03-31 2019-10-25 深圳超多维科技有限公司 空间定位装置、***及其方法
JP6635690B2 (ja) * 2015-06-23 2020-01-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR102146398B1 (ko) * 2015-07-14 2020-08-20 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
US9869863B2 (en) * 2015-10-05 2018-01-16 Unity IPR ApS Systems and methods for processing a 2D video
US11100650B2 (en) * 2016-03-31 2021-08-24 Sony Depthsensing Solutions Sa/Nv Method for foreground and background determination in an image
CN106249247A (zh) * 2016-08-30 2016-12-21 南阳英锐光电科技股份有限公司 一种半导体激光测距光学***及测距仪
JP6862750B2 (ja) * 2016-10-14 2021-04-21 富士通株式会社 距離測定装置、距離測定方法及びプログラム

Also Published As

Publication number Publication date
CN108333595B (zh) 2021-11-16
US20180203123A1 (en) 2018-07-19
EP3351958A1 (en) 2018-07-25
US10705218B2 (en) 2020-07-07
JP2018115981A (ja) 2018-07-26
CN108333595A (zh) 2018-07-27
EP3351958B1 (en) 2020-08-12

Similar Documents

Publication Publication Date Title
JP6814053B2 (ja) 物***置検出装置
TWI623913B (zh) 利用影像深度資訊提供避障的方法及無人飛行載具
KR101142316B1 (ko) 화상 선택 장치 및 화상 선택 방법
JP7021885B2 (ja) 距離測定装置
JP2010286791A5 (ja)
US20140118705A1 (en) Projection display device, information processing device, projection display system, and program
US20220253068A1 (en) Moving robot without detection dead zone
US10616561B2 (en) Method and apparatus for generating a 3-D image
JP6629055B2 (ja) 情報処理装置および情報処理方法
JP2009104297A5 (ja)
JP5300694B2 (ja) 検出装置
JP2013108671A (ja) 部屋形状認識方法および装置、ならびにこれを用いた空気調和機
JP2010190432A (ja) 空間認識装置及び空気調和機
KR101548183B1 (ko) 화상처리장치 및 그 제어 방법
CN102548465A (zh) 视线估计装置
EP2592840A3 (en) Three-dimensional image processing apparatus and electric power control method of the same
TWI556132B (zh) 光學式指向系統
WO2017100696A1 (en) Dynamic frame rate controlled thermal imaging systems and methods
JP2014186505A5 (ja)
JP6650739B2 (ja) 発光デバイス調整装置および駆動電流調整方法
US11019251B2 (en) Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program
JP6265602B2 (ja) 監視カメラシステム、撮像装置及び撮像方法
JP2006234682A (ja) 対象物判定装置
CN110235442B (zh) 投射型影像显示装置
TWI509468B (zh) 影像定位方法及使用該方法之互動影像系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201218

R150 Certificate of patent or registration of utility model

Ref document number: 6814053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150