JP7144384B2 - オブジェクト検出装置、方法及びプログラム - Google Patents
オブジェクト検出装置、方法及びプログラム Download PDFInfo
- Publication number
- JP7144384B2 JP7144384B2 JP2019173971A JP2019173971A JP7144384B2 JP 7144384 B2 JP7144384 B2 JP 7144384B2 JP 2019173971 A JP2019173971 A JP 2019173971A JP 2019173971 A JP2019173971 A JP 2019173971A JP 7144384 B2 JP7144384 B2 JP 7144384B2
- Authority
- JP
- Japan
- Prior art keywords
- detection
- image
- area
- frame image
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
マスク抽出部1は、入力されるフレーム画像を解析して、このフレーム画像の全体の領域のうち、オブジェクト検出装置10において検出されるべきオブジェクトが存在しうる所定の領域の情報を与えるマスク画像を抽出し、当該抽出したマスク画像を第一検出部3及び第二検出部4へと出力する。
動き抽出部2は、映像の時刻t(対象としている現時刻t)のフレーム画像より、その前時刻(過去時刻)t-1のフレーム画像及び/又は後時刻(未来時刻)t+1のフレーム画像も参照することによって、動きを抽出して時刻tの動き画像(フレーム画像における動きの分布を反映した画像)を生成し、第一検出部3及び第二検出部4へと出力する。元のフレーム画像は所定の色チャネル、例えばRGBの3つのチャネルで構成されるものであるのに対し、動き抽出部2では動き画像を、1つのみのチャネル数を有する、2値画像として生成することができる。(なお、前述のマスク抽出部1で得るマスク画像もこの動き画像と同様に、1チャネルの2値画像として構成されるものである。)
時刻tのフレーム画像からグレースケール画像Y(t)を以下の式(1)により求めたうえで、このグレースケール画像Y(t)の時間軸上でのフレーム差分の画像としてF(t)を求める。フレーム差分に関しては、前進差分、後退差分又は中心差分のいずれかとして求めればよく、それぞれ以下の式(1A),(1B),(1C)のいずれかとして求めるようにすればよい。
Y(t)=0.299*R(t)+0.587*G(t)+0.114*B(t) …(1)
F(t)=Y(t+1)-Y(t) …(1A)
F(t)=Y(t)-Y(t-1) …(1B)
F(t)=(F1(t)+F2(t))/2=(Y(t+1)-Y(t-1))/2 …(1C)
上記式(1A),(1B),(1C)のいずれかで求めたフレーム差分画像F(t)に対して2値化(バイナリ化)を施すことで動き画像FB(t)を求め、後段側の第一検出部3及び第二検出部4への出力とする。2値化に関しては、2値化する前のフレーム差分画像F(t)における各画素位置(u,v)において差分値として求めた画素値の絶対値が所定の閾値を超えるか否かにより判定し、超える場合は動きがあるものとして値を例えば1とし、超えない場合は動きがないものとして値を例えば0とすることで、2値化された動き画像FB(t)を得ることができる。
第一検出部3は、オブジェクト検出装置10への入力としてのフレーム画像に対してオブジェクト検出処理を適用し、このオブジェクト検出結果を第一検出結果として統合部5へと出力する。(なお、後述する第二検出部4におけるオブジェクト検出結果を第二検出部と呼び、第一検出部3における第一検出結果と区別する。)第一検出部3においてフレーム画像からオブジェクト検出を行うに際しては、マスク抽出部1から出力される当該フレーム画像から得られたマスク画像と動き抽出部2から出力される当該フレーム画像から得られた動き画像とを参照して利用する。
第一検出器31は、フレーム画像に対して当該フレーム内を移動しながら検出処理を行う所定のスライディングウィンドウを割り当て、スライディングウィンドウごとに検出器による検出処理を適用することで得られる検出結果(各スライディングウィンドウの検出結果をフレーム画像の全体に渡って集めたもの)を修正部32へと出力する。
[非特許文献]Zhao, Qijie, et al. "M2det: A single-shot object detector based on multi-level feature pyramid network." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 33. 2019.
修正部32は、第一検出器31から得られた検出結果を動き抽出部2から得られた動き画像と照合することによって修正し、当該修正された検出結果をマージ部33へと出力する。
マージ部33は、修正部32で得られた修正された検出結果(未検出の場合を除き、1つ以上の検出領域とそのオブジェクト種別の尤度とで構成される)のうち、所定条件に該当するものをマージ(併合)し、当該マージされた検出結果を第一検出部3で得られた最終的な検出結果(すなわち、第一検出結果)として、統合部5へと出力する。
overlap(r10,r20)=|r10∩r20|/|r10∪r20| …(2)
(手順2)…手順1で探索された2つの検出領域をマージして、手順3へ進む。(この際、尤度ベクトルも当該2つの平均値としてマージした1つの尤度ベクトルを得る。)
(手順3)…手順2でのマージ処理を反映して現在の検出結果(の全体)を更新し、手順1に戻る。
第二検出部4は、オブジェクト検出装置10への入力としてのフレーム画像に対してオブジェクト検出処理を適用し、このオブジェクト検出結果を第二検出結果として統合部5へと出力する。第二検出部4においてフレーム画像からオブジェクト検出を行うに際しては、マスク抽出部1から出力される当該フレーム画像から得られたマスク画像と動き抽出部2から出力される当該フレーム画像から得られた動き画像とを参照して利用する。
作成部41は、後段側の第二検出器42における検出処理の適用対象となる画像として、フレーム画像より1枚以上の検出用画像を作成し、当該作成された1枚以上の検出用画像を第二検出器42へと出力する。作成部41では検出用画像を作成する際に、マスク抽出部1で得られるマスク画像と動き抽出部2で得られる動き画像とを参照して利用する。作成部41では具体的に、以下の第1~第3処理を順番に行うことにより、検出用画像を作成することができる。
第二検出器42では、作成部41で得たM枚(M≧1)の検出用画像に対して検出処理を適用し、得られた第二検出結果を第二検出部4からの最終的な出力として、統合部5へと出力する。
統合部5では、第一検出部3で得た第一検出結果と、第二検出部4で得た第二検出結果と、を統合することによりオブジェクト検出装置10からの最終的な出力としてのフレーム画像に対するオブジェクトの検出結果を得る。
|PosUL(k,1)-PosUL(k',2)|<TH1 …(3A)
|PosDR(k,1)-PosDR(k',2)|<TH2 …(3B)
|Class(k,1)-Class(k',2)|<TH3 …(3C)
PosDR(k)=w1*PosDR(k,1)+w2*PosDR(k,2) …(4B)
Class(k)=w1*Class(k,1)+w2*Class(k,2) …(4C)
0<w1<1, 0<w2<1, w1+w2=1
PosUL(k)=wb1*PosUL(k,1)+wb2*PosUL(k,2) …(4A')
PosDR(k)=wb1*PosDR(k,1)+wb2*PosDR(k,2) …(4B')
Class(k)=wc1*Class(k,1)+wc2*Class(k,2) …(4C')
Claims (11)
- 映像におけるフレーム画像に対してオブジェクト種別及び領域の検出処理を適用して第一検出結果を得る第一検出部と、
前記フレーム画像より、前記映像における動き画像を生成する動き抽出部と、
前記動き画像で動きがあると判定される領域を前記フレーム画像から切り出してオブジェクト種別及び領域の検出処理を適用することにより、前記フレーム画像に対するオブジェクト種別及び領域の第二検出結果を得る第二検出部と、
前記第一検出結果及び前記第二検出結果を統合することにより、前記フレーム画像に対するオブジェクト種別及び領域の検出結果を得る統合部と、を備え、
前記動き抽出部では、各時刻におけるフレーム画像に対して前記映像における過去時刻のフレーム画像と未来時刻のフレーム画像との間で各画素位置における画素値の差分を求めることにより、当該差分が大きいと判定される画素位置に動きがあり、当該差分が小さいと判定される画素位置に動きがないものとして、前記動き画像を2値画像として生成し、
前記第二検出部では、前記動き画像で動きがあると判定される領域を、2値画像である当該動き画像において、動きがあると判定される画素の領域を包含する領域として定めることを特徴とするオブジェクト検出装置。 - 映像におけるフレーム画像に対してオブジェクト種別及び領域の検出処理を適用して第一検出結果を得る第一検出部と、
前記フレーム画像より、前記映像における動き画像を生成する動き抽出部と、
前記動き画像で動きがあると判定される領域を前記フレーム画像から切り出してオブジェクト種別及び領域の検出処理を適用することにより、前記フレーム画像に対するオブジェクト種別及び領域の第二検出結果を得る第二検出部と、
前記第一検出結果及び前記第二検出結果を統合することにより、前記フレーム画像に対するオブジェクト種別及び領域の検出結果を得る統合部と、を備え、
前記第二検出部は、前記動き画像で動きがあると判定される領域を前記フレーム画像から切り出して所定サイズの画像内に配置し、当該配置した画像に対してオブジェクト種別及び領域の検出処理を適用することを特徴とするオブジェクト検出装置。 - 映像におけるフレーム画像に対してオブジェクト種別及び領域の検出処理を適用して第一検出結果を得る第一検出部と、
前記フレーム画像より、前記映像における動き画像を生成する動き抽出部と、
前記動き画像で動きがあると判定される領域を前記フレーム画像から切り出してオブジェクト種別及び領域の検出処理を適用することにより、前記フレーム画像に対するオブジェクト種別及び領域の第二検出結果を得る第二検出部と、
前記第一検出結果及び前記第二検出結果を統合することにより、前記フレーム画像に対するオブジェクト種別及び領域の検出結果を得る統合部と、を備え、
前記第二検出部は、前記動き画像で動きがあると判定される領域を前記フレーム画像から切り出して拡大したうえで所定サイズの画像内に配置し、当該配置した画像に対してオブジェクト種別及び領域の検出処理を適用することを特徴とするオブジェクト検出装置。 - 前記第二検出部にて前記配置するための所定サイズの画像は、前記フレーム画像に撮影されているフィールドを模したものとしての、一定色の無地画像又は所定テクスチャの画像であることを特徴とする請求項2または3に記載のオブジェクト検出装置。
- 映像におけるフレーム画像に対してオブジェクト種別及び領域の検出処理を適用して第一検出結果を得る第一検出部と、
前記フレーム画像より、前記映像における動き画像を生成する動き抽出部と、
前記動き画像で動きがあると判定される領域を前記フレーム画像から切り出してオブジェクト種別及び領域の検出処理を適用することにより、前記フレーム画像に対するオブジェクト種別及び領域の第二検出結果を得る第二検出部と、
前記第一検出結果及び前記第二検出結果を統合することにより、前記フレーム画像に対するオブジェクト種別及び領域の検出結果を得る統合部と、を備え、
前記第一検出部では、前記フレーム画像に対して、隣接ウィンドウ間で重複が存在するスライディングウィンドウを設定して当該スライディングウィンドウ毎にオブジェクト種別及び領域の検出処理を適用し、当該スライディングウィンドウの全てにおける当該検出結果のうち、領域の重複割合が大きいと閾値判定される検出結果を併合したうえで、前記第一検出結果を得ることを特徴とするオブジェクト検出装置。 - 映像におけるフレーム画像に対してオブジェクト種別及び領域の検出処理を適用して第一検出結果を得る第一検出段階と、
前記フレーム画像より、前記映像における動き画像を生成する動き抽出段階と、
前記動き画像で動きがあると判定される領域を前記フレーム画像から切り出してオブジェクト種別及び領域の検出処理を適用することにより、前記フレーム画像に対するオブジェクト種別及び領域の第二検出結果を得る第二検出段階と、
前記第一検出結果及び前記第二検出結果を統合することにより、前記フレーム画像に対するオブジェクト種別及び領域の検出結果を得る統合段階と、を備え、
前記動き抽出段階では、各時刻におけるフレーム画像に対して前記映像における過去時刻のフレーム画像と未来時刻のフレーム画像との間で各画素位置における画素値の差分を求めることにより、当該差分が大きいと判定される画素位置に動きがあり、当該差分が小さいと判定される画素位置に動きがないものとして、前記動き画像を2値画像として生成し、
前記第二検出段階では、前記動き画像で動きがあると判定される領域を、2値画像である当該動き画像において、動きがあると判定される画素の領域を包含する領域として定めることを特徴とする、コンピュータが実行するオブジェクト検出方法。 - 映像におけるフレーム画像に対してオブジェクト種別及び領域の検出処理を適用して第一検出結果を得る第一検出段階と、
前記フレーム画像より、前記映像における動き画像を生成する動き抽出段階と、
前記動き画像で動きがあると判定される領域を前記フレーム画像から切り出してオブジェクト種別及び領域の検出処理を適用することにより、前記フレーム画像に対するオブジェクト種別及び領域の第二検出結果を得る第二検出段階と、
前記第一検出結果及び前記第二検出結果を統合することにより、前記フレーム画像に対するオブジェクト種別及び領域の検出結果を得る統合段階と、を備え、
前記第二検出段階は、前記動き画像で動きがあると判定される領域を前記フレーム画像から切り出して所定サイズの画像内に配置し、当該配置した画像に対してオブジェクト種別及び領域の検出処理を適用することを特徴とする、コンピュータが実行するオブジェクト検出方法。 - 映像におけるフレーム画像に対してオブジェクト種別及び領域の検出処理を適用して第一検出結果を得る第一検出段階と、
前記フレーム画像より、前記映像における動き画像を生成する動き抽出段階と、
前記動き画像で動きがあると判定される領域を前記フレーム画像から切り出してオブジェクト種別及び領域の検出処理を適用することにより、前記フレーム画像に対するオブジェクト種別及び領域の第二検出結果を得る第二検出段階と、
前記第一検出結果及び前記第二検出結果を統合することにより、前記フレーム画像に対するオブジェクト種別及び領域の検出結果を得る統合段階と、を備え、
前記第二検出段階は、前記動き画像で動きがあると判定される領域を前記フレーム画像から切り出して拡大したうえで所定サイズの画像内に配置し、当該配置した画像に対してオブジェクト種別及び領域の検出処理を適用することを特徴とする、コンピュータが実行するオブジェクト検出方法。 - 前記第二検出段階にて前記配置するための所定サイズの画像は、前記フレーム画像に撮影されているフィールドを模したものとしての、一定色の無地画像又は所定テクスチャの画像であることを特徴とする請求項7または8に記載の、コンピュータが実行するオブジェクト検出方法。
- 映像におけるフレーム画像に対してオブジェクト種別及び領域の検出処理を適用して第一検出結果を得る第一検出段階と、
前記フレーム画像より、前記映像における動き画像を生成する動き抽出段階と、
前記動き画像で動きがあると判定される領域を前記フレーム画像から切り出してオブジェクト種別及び領域の検出処理を適用することにより、前記フレーム画像に対するオブジェクト種別及び領域の第二検出結果を得る第二検出段階と、
前記第一検出結果及び前記第二検出結果を統合することにより、前記フレーム画像に対するオブジェクト種別及び領域の検出結果を得る統合段階と、を備え、
前記第一検出段階では、前記フレーム画像に対して、隣接ウィンドウ間で重複が存在するスライディングウィンドウを設定して当該スライディングウィンドウ毎にオブジェクト種別及び領域の検出処理を適用し、当該スライディングウィンドウの全てにおける当該検出結果のうち、領域の重複割合が大きいと閾値判定される検出結果を併合したうえで、前記第一検出結果を得ることを特徴とする、コンピュータが実行するオブジェクト検出方法。 - コンピュータを請求項1ないし5のいずれかに記載のオブジェクト検出装置として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019173971A JP7144384B2 (ja) | 2019-09-25 | 2019-09-25 | オブジェクト検出装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019173971A JP7144384B2 (ja) | 2019-09-25 | 2019-09-25 | オブジェクト検出装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021051536A JP2021051536A (ja) | 2021-04-01 |
JP7144384B2 true JP7144384B2 (ja) | 2022-09-29 |
Family
ID=75157314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019173971A Active JP7144384B2 (ja) | 2019-09-25 | 2019-09-25 | オブジェクト検出装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7144384B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114363697B (zh) * | 2022-01-06 | 2024-04-26 | 上海哔哩哔哩科技有限公司 | 视频文件生成、播放方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003030776A (ja) | 2001-07-17 | 2003-01-31 | Japan Radio Co Ltd | 物体検知システムおよびその方法 |
JP2012084012A (ja) | 2010-10-13 | 2012-04-26 | Canon Inc | 画像処理装置、その処理方法及びプログラム |
JP2013069045A (ja) | 2011-09-21 | 2013-04-18 | Honda Elesys Co Ltd | 画像認識装置、画像認識方法および画像認識プログラム |
JP2015191334A (ja) | 2014-03-27 | 2015-11-02 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
-
2019
- 2019-09-25 JP JP2019173971A patent/JP7144384B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003030776A (ja) | 2001-07-17 | 2003-01-31 | Japan Radio Co Ltd | 物体検知システムおよびその方法 |
JP2012084012A (ja) | 2010-10-13 | 2012-04-26 | Canon Inc | 画像処理装置、その処理方法及びプログラム |
JP2013069045A (ja) | 2011-09-21 | 2013-04-18 | Honda Elesys Co Ltd | 画像認識装置、画像認識方法および画像認識プログラム |
JP2015191334A (ja) | 2014-03-27 | 2015-11-02 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
Non-Patent Citations (2)
Title |
---|
Mengyuan Liu et al.,"Robust 3D Action Recognition Through Sampling Local Appearances and Global Distributions",IEEE Transactions on Multimedia,米国,IEEE,2017年12月25日,Vol.20, No.8,pp.1932-1947 |
山内 悠嗣、外2名,"統計的学習手法による人検出",電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2012年08月26日,Vol.112, No.197,pp.113-126 |
Also Published As
Publication number | Publication date |
---|---|
JP2021051536A (ja) | 2021-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dobrescu et al. | Leveraging multiple datasets for deep leaf counting | |
CN106709568B (zh) | 基于深层卷积网络的rgb-d图像的物体检测和语义分割方法 | |
JP3740065B2 (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
US8649599B2 (en) | Image processing apparatus, image processing method, and program | |
JP6088792B2 (ja) | 画像検出装置及び制御プログラム並びに画像検出方法 | |
KR101670282B1 (ko) | 전경-배경 제약 조건 전파를 기초로 하는 비디오 매팅 | |
US8824801B2 (en) | Video processing | |
EP3073443B1 (en) | 3d saliency map | |
CN110268442B (zh) | 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 | |
US20210256707A1 (en) | Learning to Segment via Cut-and-Paste | |
CN111507334A (zh) | 一种基于关键点的实例分割方法 | |
CN114565508B (zh) | 虚拟换装方法及装置 | |
KR102225753B1 (ko) | 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치 | |
CN116645592A (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
JP7144384B2 (ja) | オブジェクト検出装置、方法及びプログラム | |
François | Real-time multi-resolution blob tracking | |
JP3716455B2 (ja) | 領域抽出方法及び領域抽出装置 | |
CN110827373A (zh) | 广告图片生成方法、装置以及存储介质 | |
JP2014106713A (ja) | プログラム、方法、及び情報処理装置 | |
CN116912184A (zh) | 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及*** | |
JP7185608B2 (ja) | オブジェクト検出装置、方法及びプログラム | |
CN110717910A (zh) | Ct图像目标检测方法及ct扫描仪 | |
CN112926500B (zh) | 一种结合头部和整体信息的行人检测方法 | |
JP4977448B2 (ja) | イメージオブジェクト用の多角形境界定義を生成するための方法およびシステム | |
JP5702960B2 (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220915 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7144384 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |