JP6638723B2 - 画像解析装置、画像解析方法、及び、画像解析プログラム - Google Patents
画像解析装置、画像解析方法、及び、画像解析プログラム Download PDFInfo
- Publication number
- JP6638723B2 JP6638723B2 JP2017503327A JP2017503327A JP6638723B2 JP 6638723 B2 JP6638723 B2 JP 6638723B2 JP 2017503327 A JP2017503327 A JP 2017503327A JP 2017503327 A JP2017503327 A JP 2017503327A JP 6638723 B2 JP6638723 B2 JP 6638723B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving object
- background
- foreground area
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010191 image analysis Methods 0.000 title claims description 73
- 238000003703 image analysis method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 48
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 13
- 238000011410 subtraction method Methods 0.000 description 32
- 238000012545 processing Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 230000010365 information processing Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001290864 Schoenoplectus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000012730 carminic acid Nutrition 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
まず、図1A〜図1Dを用いて、本発明が適用される場面について説明する。図1A〜図1Dは、本実施形態に係る画像解析装置1が用いられる場面の一例として、部屋に入ってきた人物が室内に配置された椅子を引いて座り、その後、その人物が部屋から出ていく場面を例示している。本実施形態に係る画像解析装置1は、背景差分法に基づいて撮影画像内の移動物体を検出する情報処理装置である。そのため、当該場面では、本実施形態に係る画像解析装置1は、部屋に入ってきた人物を移動物体として検出する。
<ハードウェア構成>
次に、図2を用いて、画像解析装置1のハードウェア構成を説明する。図2は、本実施形態に係る画像解析装置1のハードウェア構成を例示する。画像解析装置1は、図2に例示されるように、CPU、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む制御部11、制御部11で実行するプログラム5等を記憶する記憶部12、画像の表示と入力を行うためのタッチパネルディスプレイ13、音声を出力するためのスピーカ14、外部装置と接続するための外部インタフェース15、ネットワークを介して通信を行うための通信インタフェース16、及び記憶媒体6に記憶されたプログラムを読み込むためのドライブ17が電気的に接続されたコンピュータである。図2では、通信インタフェース及び外部インタフェースは、それぞれ、「通信I/F」及び「外部I/F」と記載されている。
次に、図4を用いて、画像解析装置1の機能構成を説明する。図4は、本実施形態に係る画像解析装置1の機能構成を例示する。本実施形態では、画像解析装置1の制御部11は、記憶部12に記憶されたプログラム5をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム5をCPUにより解釈及び実行して、各構成要素を制御する。これにより、画像解析装置1は、画像取得部31、背景差分算出部32、移動物体検出部33及び背景更新部34を備えるコンピュータとして機能する。
次に、図5を用いて、画像解析装置1の動作例を説明する。図5は、画像解析装置1の背景画像の更新に関する処理手順を例示する。なお、以下で説明する背景画像の更新に関する処理手順は、本発明の「画像解析方法」に相当する。ただし、以下で説明する背景画像の更新に関する処理手順は一例にすぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS101では、制御部11は、画像取得部31として機能し、カメラ2により撮影された撮影画像3を取得する。その後、制御部11は、次のステップS102に処理を進める。
図5に戻り、次のステップS102では、制御部11は、背景差分算出部32として機能し、背景差分法に基づいて、記憶部12に格納されている背景画像4とステップS101で取得した各撮影画像3a〜3cとの差分を算出する。これによって、制御部11は、ステップS101で取得した各撮影画像3a〜3cの前景領域を抽出する。そして、各撮影画像3a〜3cの前景領域を抽出すると、制御部11は、次のステップS103に処理を進める。
図5に戻り、次のステップS103では、制御部11は、移動物体検出部33として機能し、ステップS102で抽出された前景領域に写る対象物体のうち、カメラ2の画角内を移動する移動物体を当該前景領域から検出する。そして、移動物体の検出が完了すると、制御部11は、次のステップS104に処理を進める。
次のステップS104では、制御部11は、背景更新部34として機能し、ステップS103で検出された移動物体の数が前景領域に写る対象物体の数と一致するか否かを判定する。そして、制御部11は、ステップS103で検出された移動物体の数が前景領域に写る対象物体の数と一致しないと判定した場合には、次のステップS105に処理を進める。一方、ステップS103で検出された移動物体の数が前景領域に写る対象物体の数と一致すると判定した場合には、制御部11は、次のステップS105の処理を省略して、本動作例に係る処理を終了する。
次のステップS105では、制御部11は、背景更新部34として機能し、移動物体の写る領域を除いた対象領域について、取得した撮影画像3を用いて背景画像4を更新する。そして、本ステップS105により背景画像4の更新が完了すると、制御部11は、本動作例に係る処理を終了する。
(1)背景画像の更新
なお、制御部11は、上記タイミングの他に、背景画像4を更新してもよい。例えば、制御部11は、上記ステップS103において、継続的に取得される撮影画像3内において一度検出した移動物体を追跡することで、撮影画像3内で移動物体を継続的に検出してもよい。そして、制御部11は、移動物体がカメラ2の画角外に移動することで、撮影画像3内に移動物体が検出されなくなった場合に、移動物体が検出されなくなった時点に取得した撮影画像3で背景画像4を更新してもよい。以下、図12を用いて、本更新処理について説明する。
また、上記実施形態では、カメラ2の画角内に1つの移動物体が進入する例を説明した。しかしながら、カメラ2の画角内に進入する移動物体の数は、1つに限られる訳ではなく、複数であってもよい。複数の移動物体が進入した場合も、上記実施形態とほぼ同様に説明可能である。以下、図13A及び図13Bを用いて、複数の移動物体が進入した場合における制御部11の処理を説明する。
以上のように、本実施形態に係る画像解析装置1は、移動物体の写る領域を除いた対象領域について、取得した撮影画像3を用いて背景画像4を更新する。より詳細には、本実施形態に係る画像解析装置1は、抽出される前景領域の数が撮影画像3内に写る移動物体の数よりも多い場合に、その時点で取得された撮影画像3と元の背景画像4とを用いて、当該移動物体以外の物体を写す前景領域が抽出されないような新たな背景画像4を生成する。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
2…カメラ、21…深度センサ、
3(3a〜3c)…撮影画像、4(4a、4b)…背景画像、
5…プログラム、6…記憶媒体、
11…制御部、12…記憶部、13…タッチパネルディスプレイ、
14…スピーカ、15…外部インタフェース、16…通信インタフェース、
17…ドライブ、
31…画像取得部、32…背景差分算出部、33…移動物体検出部、
34…背景更新部
Claims (5)
- 撮影装置により撮影された撮影画像を取得する画像取得部と、
背景差分法に基づいて、前記撮影画像の背景に設定された背景画像と前記取得した撮影画像との差分を算出することで、前記取得した撮影画像の前景領域を抽出する背景差分算出部と、
抽出された前記前景領域に写る対象物体のうち、前記撮影装置の画角内を移動する移動物体を前記前景領域から検出する移動物体検出部と、
検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致するか否かを判定し、検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致しないと判定した場合に、前記移動物体の写る領域を除いた対象領域について、前記取得した撮影画像を用いて前記背景画像を更新する背景更新部と、
を備える、
画像解析装置。 - 前記画像取得部は、前記撮影装置により撮影された撮影画像を継続的に取得し、
前記移動物体検出部は、継続的に取得される前記撮影画像内において一度検出した前記移動物体を追跡することで、前記撮影画像内で前記移動物体を継続的に検出し、
前記背景更新部は、前記移動物体が前記撮影装置の画角外に移動することで、前記撮影画像内に前記移動物体が検出されなくなった場合に、当該移動物体が検出されなくなった時点に取得した撮影画像で前記背景画像を更新する、
請求項1に記載の画像解析装置。 - 前記画像取得部は、前記撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得し、
前記移動物体検出部は、前記深度データを参照することで得られる前記前景領域内の各画素の深度に基づいて、前記前景領域に写る前記対象物体の実空間上の状態を解析することで、前記前景領域から前記移動物体を検出する、
請求項1又は2に記載の画像解析装置。 - コンピュータが、
撮影装置により撮影された撮影画像を取得するステップと、
背景差分法に基づいて、前記撮影画像の背景に設定された背景画像と前記取得した撮影画像との差分を算出することで、前記取得した撮影画像の前景領域を抽出するステップと、
抽出された前記前景領域に写る対象物体のうち、前記撮影装置の画角内を移動する移動物体を前記前景領域から検出するステップと、
検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致するか否かを判定するステップと、
検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致しないと判定した場合に、前記移動物体の写る領域を除いた対象領域について、前記取得した撮影画像を用いて前記背景画像を更新するステップと、
を実行する画像解析方法。 - コンピュータに、
撮影装置により撮影された撮影画像を取得するステップと、
背景差分法に基づいて、前記撮影画像の背景に設定された背景画像と前記取得した撮影画像との差分を算出することで、前記取得した撮影画像の前景領域を抽出するステップと、
抽出された前記前景領域に写る対象物体のうち、前記撮影装置の画角内を移動する移動物体を前記前景領域から検出するステップと、
検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致するか否かを判定するステップと、
検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致しないと判定した場合に、前記移動物体の写る領域を除いた対象領域について、前記取得した撮影画像を用いて前記背景画像を更新するステップと、
を実行させるための画像解析プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015042785 | 2015-03-04 | ||
JP2015042785 | 2015-03-04 | ||
PCT/JP2015/085600 WO2016139868A1 (ja) | 2015-03-04 | 2015-12-21 | 画像解析装置、画像解析方法、及び、画像解析プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016139868A1 JPWO2016139868A1 (ja) | 2017-12-14 |
JP6638723B2 true JP6638723B2 (ja) | 2020-01-29 |
Family
ID=56848900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017503327A Active JP6638723B2 (ja) | 2015-03-04 | 2015-12-21 | 画像解析装置、画像解析方法、及び、画像解析プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6638723B2 (ja) |
WO (1) | WO2016139868A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110383295B (zh) * | 2017-03-14 | 2022-11-11 | 三菱电机株式会社 | 图像处理装置、图像处理方法以及计算机能读取的存储介质 |
JP6941993B2 (ja) * | 2017-07-10 | 2021-09-29 | 株式会社日立製作所 | 作業監視システムおよび作業監視方法 |
JP7080614B2 (ja) * | 2017-09-29 | 2022-06-06 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
WO2020110169A1 (ja) * | 2018-11-26 | 2020-06-04 | 株式会社ソニー・インタラクティブエンタテインメント | 学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラム |
CN112790711B (zh) * | 2020-12-31 | 2023-03-10 | 佛山市顺德区美的洗涤电器制造有限公司 | 用于洗碗机的清洗方法、装置、洗碗机及处理器 |
GB2624653A (en) * | 2022-11-24 | 2024-05-29 | Continental Autonomous Mobility Germany GmbH | A system and method for object detection from a curved mirror |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06325157A (ja) * | 1993-05-13 | 1994-11-25 | Matsushita Electric Ind Co Ltd | 物体認識装置 |
JP4421121B2 (ja) * | 2001-02-06 | 2010-02-24 | 株式会社日立国際電気 | 侵入物体検出方法 |
JP6046948B2 (ja) * | 2012-08-22 | 2016-12-21 | キヤノン株式会社 | 物体検知装置及びその制御方法、プログラム、並びに記憶媒体 |
-
2015
- 2015-12-21 WO PCT/JP2015/085600 patent/WO2016139868A1/ja active Application Filing
- 2015-12-21 JP JP2017503327A patent/JP6638723B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2016139868A1 (ja) | 2016-09-09 |
JPWO2016139868A1 (ja) | 2017-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6638723B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP6115335B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US11398049B2 (en) | Object tracking device, object tracking method, and object tracking program | |
JP5272886B2 (ja) | 動体検出装置と動体検出方法およびコンピュータ・プログラム | |
JP6525545B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
JP5484184B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR20130066438A (ko) | 영상 처리 장치 및 영상 처리 방법 | |
KR20110023472A (ko) | 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법 | |
JP6780641B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
WO2016031314A1 (ja) | 個人識別装置、個人識別方法、及び、個人識別プログラム | |
JP6292540B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
EP3629570A2 (en) | Image capturing apparatus and image recording method | |
JP4691570B2 (ja) | 画像処理装置およびオブジェクト推定プログラム | |
JP2009301242A (ja) | 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体 | |
JP4751871B2 (ja) | 撮像対象検出装置および方法 | |
JP6737262B2 (ja) | 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム | |
JP6780639B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP6645503B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP6607253B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP2010113562A (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
JP6565468B2 (ja) | 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム | |
JP2016051236A (ja) | 画像処理装置、画像処理方法およびそれを用いた検査方法。 | |
JP2007102650A (ja) | 動き領域検出システム、動き領域検出方法、及び動き領域検出プログラム | |
US20230177851A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2009210286A (ja) | 画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6638723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |