JP6823686B2 - オブジェクト検出装置及び方法及び記憶媒体 - Google Patents
オブジェクト検出装置及び方法及び記憶媒体 Download PDFInfo
- Publication number
- JP6823686B2 JP6823686B2 JP2019091606A JP2019091606A JP6823686B2 JP 6823686 B2 JP6823686 B2 JP 6823686B2 JP 2019091606 A JP2019091606 A JP 2019091606A JP 2019091606 A JP2019091606 A JP 2019091606A JP 6823686 B2 JP6823686 B2 JP 6823686B2
- Authority
- JP
- Japan
- Prior art keywords
- spatial relationship
- image
- candidate
- area
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Description
・2つのオブジェクト間の相対位置関係(Relative positional relationship)(例えば、方向関係、距離関係等)
例えば、机の上に置かれたコンピュータの場合、そのコンピュータと机との方向関係は、“机の上(on the desk)”となる。例えば、芝生上の人物/動物の場合、その人物/動物と芝生との方向関係は“芝生の上(on the grass)”となる。例えば、子供の手を握って歩くように導いている女性の場合、女性と子供との間の距離関係は“隣接して、近くに(adjacent to, close to)”である。しかし、これに限定される必要がないのは明らかである。
・2つのオブジェクト間の位相関係(Topological relationship)(たとえば、重複関係(overlapping relationship)、包含関係(inclusion relationship)、隣接関係(adjacency relationship)など)
例えば、車いすに座っている男性の場合、その男性と車椅子との位相関係は“重複関係”となる。例えば子供を抱えている女性の場合、その女性と子供との位相関係は“包含関係”となる。パラソルを持つ女性の場合、その女性とパラソルとの位相関係は“隣接関係”となる。しかし、これに限定される必要がないのは明らかである。
・2つのオブジェクト間の相対形状関係(Relative shape relationship)
例えば、車椅子に座っている男性のように、人と車椅子間の空間的規制が、“相対形状関係”にもなる。しかし、これに限定される必要がないのは明らかである。
まず、以下で説明される具術を実現可能なハードウェア構成について、図1を参照して説明する。
次に、本発明におけるオブジェクト検出を、図2乃至図8を参照して説明する。
順位判定後の候補領域を、オブジェクトの領域とする。
本発明の第1の実施形態にて説明したように、本発明に適用可能なモデル(すなわち、事前生成モデル)は、空間的関係がラベル付けされたサンプルの学習にしたがって事前学習/事前生成される。ここで、上記のように、本発明の処理速度を向上させるため、例えば、図5に示すように、本発明に適用する事前生成モデルは、例えば、特徴抽出する部分、空間的関係を判定する部分、及び、領域/候補領域を検出する部分を含む。本発明において、事前学習モデルは、ディープラーニング法(例えば、ニューラルネットワーク法)を用いて、空間的関係がラベル付けされたサンプルのトレーニングに基づき生成されても良い。ここで、本発明における事前生成モデルの各部分は、複数レイヤのネットワークで構成され、例えば、特徴を抽出する部分はNレイヤネットワークで構成され、空間的関係を判定する部分はMレイヤネットワークで構成され、領域/候補領域を検出する部分はTレイヤネットワークで構成されても良い。ここで、N,M,Tは自然数であって、それらが示す値は同じでも異なっても良い。
Claims (13)
- オブジェクト検出装置であって、
画像から特徴を抽出する抽出手段と、
所定のカテゴリに属する2つの関連オブジェクトにおける特定の位置関係を示す空間的関係を学習した事前生成モデルに基づいて、前記抽出された特徴間の前記空間的関係を取得する取得手段と、
前記抽出した特徴に基づいて、前記画像からオブジェクトの候補領域を検出する検出手段と、
前記検出された候補領域のうち2つの候補領域に含まれる前記特徴間の前記空間的関係に基づいて、前記画像の領域に所定のカテゴリのオブジェクトが存在する確率を示す候補領域のスコアを更新する更新手段と、
前記更新された候補領域のスコアに基づいて、前記画像に存在するオブジェクトの領域を決定する決定手段と、
を有することを特徴とするオブジェクト検出装置。 - 前記事前生成モデルは、前記抽出された特徴に基づいて、2つの関連オブジェクト同士が前記特定の位置的関係に属する確率を学習したモデルであることを特徴とする請求項1に記載のオブジェクト検出装置。
- 前記取得手段は、前記空間的関係を、
前記関連オブジェクトのうち少なくとも1つのオブジェクトの位置情報およびカテゴリ情報、
前記関連オブジェクトのうち少なくとも1つのオブジェクトの結合点情報、
前記画像の背景情報、
の少なくとも1つに基づいて取得することを特徴とする請求項1または2に記載のオブジェクト検出装置。 - 前記取得手段は、2つの前記関連オブジェクト同士の空間的拘束を表す前記空間的関係を取得し、
前記空間的拘束は、2つの前記関連オブジェクト同士の相対的な位置関係、2つの前記関連オブジェクト同士の位相関係、2つの前記関連オブジェクト同士の相対形状関係の1つを少なくとも含むことを特徴とする請求項1乃至3のいずれか1項に記載のオブジェクト検出装置。 - 前記事前生成モデルは、画像から特徴を抽出するための部分、該特徴から前記空間的関係を判定するための部分、該特徴と該空間的関係からオブジェクトの領域を検出するための部分の少なくとも3つの部分を有し、
バックプロパゲーションの手段により前記3つの部分が同時に学習されることを特徴とする請求項1乃至4のいずれか1項に記載のオブジェクト検出装置。 - 前記抽出手段は、前記事前生成モデルに基づいて、前記画像から特徴を抽出し、
前記検出手段は、前記事前生成モデルに基づいて、前記画像からオブジェクトの前記候補領域を検出することを特徴とする請求項5に記載のオブジェクト検出装置。 - 前記事前生成モデルは、ディープラーニング法を用い、前記空間的関係がラベル付けされたトレーニングサンプルに基づいて生成されることを特徴とする請求項5または6に記載のオブジェクト検出装置。
- オブジェクト検出方法であって、
画像から特徴を抽出する抽出ステップと、
所定のカテゴリに属する2つの関連オブジェクトにおける特定の位置関係を示す空間的関係を学習した事前生成モデルに基づいて、前記抽出された特徴間の前記空間的関係を取得する取得ステップと、
前記抽出した特徴に基づいて、前記画像からオブジェクトの候補領域を検出する検出ステップと、
前記検出された候補領域のうち2つの候補領域に含まれる前記特徴間の前記空間的関係に基づいて、前記画像の領域に所定のカテゴリのオブジェクトが存在する確率を示す候補領域のスコアを更新する更新ステップと、
前記更新された候補領域のスコアに基づいて、前記画像に存在するオブジェクトの領域を決定する決定ステップと、
を有することを特徴とするオブジェクト検出方法。 - 前記事前生成モデルは、前記抽出された特徴に基づいて、2つの関連オブジェクト同士が前記特定の位置的関係に属する確率を学習したモデルであることを特徴とする請求項8に記載のオブジェクト検出方法。
- 前記取得ステップは、2つの前記関連オブジェクト同士の空間的拘束を表す前記空間的関係を取得し、
前記空間的拘束は、2つの前記関連オブジェクト同士の相対的な位置関係、2つの前記関連オブジェクト同士の位相関係、2つの前記関連オブジェクト同士の相対形状関係の1つを少なくとも含むことを特徴とする請求項8または9に記載のオブジェクト検出方法。 - 前記事前生成モデルは、画像から特徴を抽出するための部分、該特徴から前記空間的関係を判定するための部分、該特徴と該空間的関係からオブジェクトの領域を検出するための部分の少なくとも3つの部分を有し、
バックプロパゲーションの手段により前記3つの部分が同時に学習され、
前記抽出ステップでは、前記事前生成モデルを用いて、前記特徴が前記画像からを抽出され、
前記検出ステップでは、前記事前生成モデルを用いて、前記オブジェクトの候補領域が前記画像から検出される
ことを特徴とする請求項8乃至10のいずれか1項に記載のオブジェクト検出方法。 - ビデオ内の現ビデオフレームの画像から特徴を抽出する特徴抽出手段と、
所定のカテゴリに属する2つの関連オブジェクトにおける特定の位置関係を示す空間的関係を学習した事前生成モデルに基づいて、前記抽出された特徴間の前記空間的関係を取得する取得手段と、
前記抽出した特徴に基づいて、前記画像からオブジェクトの候補領域を検出する検出手段と、
前記検出された候補領域のうち2つの候補領域に含まれる前記特徴間の前記空間的関係に基づいて、前記画像の領域に所定のカテゴリのオブジェクトが存在する確率を示す候補領域のスコアを更新する更新手段と、
前記更新された候補領域のスコアに基づいて、前記画像に存在するオブジェクトの領域を決定する決定手段と、
を有することを特徴とするオブジェクト検出装置。 - コンピュータが実行したとき、請求項8乃至10のいずれか1項に記載のオブジェクト検出方法を実行される命令を記憶する記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810516451.9A CN110532838A (zh) | 2018-05-25 | 2018-05-25 | 对象检测装置和方法及存储介质 |
CN201810516451.9 | 2018-05-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019204505A JP2019204505A (ja) | 2019-11-28 |
JP6823686B2 true JP6823686B2 (ja) | 2021-02-03 |
Family
ID=68656802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019091606A Active JP6823686B2 (ja) | 2018-05-25 | 2019-05-14 | オブジェクト検出装置及び方法及び記憶媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6823686B2 (ja) |
CN (1) | CN110532838A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111104925B (zh) * | 2019-12-30 | 2022-03-11 | 上海商汤临港智能科技有限公司 | 图像处理方法、装置、存储介质和电子设备 |
CN112633069A (zh) * | 2020-11-26 | 2021-04-09 | 贝壳技术有限公司 | 物体检测方法及装置 |
CN113011377B (zh) * | 2021-04-06 | 2023-04-07 | 新疆爱华盈通信息技术有限公司 | 行人属性识别方法、装置、电子设备及存储介质 |
WO2022249351A1 (ja) * | 2021-05-26 | 2022-12-01 | 日本電信電話株式会社 | 位置推定装置、位置推定学習装置、位置推定方法、位置推定学習方法、位置推定プログラム、及び位置推定学習プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007025900A (ja) * | 2005-07-13 | 2007-02-01 | Canon Inc | 画像処理装置、画像処理方法 |
JP5187280B2 (ja) * | 2009-06-22 | 2013-04-24 | ソニー株式会社 | 操作制御装置および操作制御方法 |
WO2013136395A1 (ja) * | 2012-03-12 | 2013-09-19 | 日本電気株式会社 | 検知装置、検知方法、プログラムが格納された記憶媒体 |
JP6708368B2 (ja) * | 2014-04-25 | 2020-06-10 | コンデュエント ビジネス サービシーズ エルエルシー | 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム |
CN106355182A (zh) * | 2015-07-14 | 2017-01-25 | 佳能株式会社 | 用于对象检测和图像处理的方法和装置 |
CN107766867A (zh) * | 2016-08-15 | 2018-03-06 | 佳能株式会社 | 对象形状检测装置及方法、图像处理装置及***、监视*** |
US10467459B2 (en) * | 2016-09-09 | 2019-11-05 | Microsoft Technology Licensing, Llc | Object detection based on joint feature extraction |
-
2018
- 2018-05-25 CN CN201810516451.9A patent/CN110532838A/zh active Pending
-
2019
- 2019-05-14 JP JP2019091606A patent/JP6823686B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CN110532838A (zh) | 2019-12-03 |
JP2019204505A (ja) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6823686B2 (ja) | オブジェクト検出装置及び方法及び記憶媒体 | |
US11790682B2 (en) | Image analysis using neural networks for pose and action identification | |
Picon et al. | Deep convolutional neural networks for mobile capture device-based crop disease classification in the wild | |
US20160259980A1 (en) | Systems and methodologies for performing intelligent perception based real-time counting | |
Salimi et al. | Visual-based trash detection and classification system for smart trash bin robot | |
EP3794516A2 (en) | Gradient adversarial training of neural networks | |
CN108288051B (zh) | 行人再识别模型训练方法及装置、电子设备和存储介质 | |
JP6948851B2 (ja) | 情報処理装置、情報処理方法 | |
Park et al. | Attributed grammars for joint estimation of human attributes, part and pose | |
CN110738650B (zh) | 一种传染病感染识别方法、终端设备及存储介质 | |
US11836944B2 (en) | Information processing apparatus, information processing method, and storage medium | |
Raj et al. | Image based bird species identification using convolutional neural network | |
JP2018169972A (ja) | 検索結果による学習が可能な対象検出装置、検出モデル生成装置、プログラム及び方法 | |
Ansar et al. | Robust hand gesture tracking and recognition for healthcare via Recurent neural network | |
Li et al. | Personrank: Detecting important people in images | |
Chaudhry et al. | Automatic annotation of traditional dance data using motion features | |
JP7180590B2 (ja) | オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及びオブジェクト特徴量抽出プログラム | |
Zhou et al. | Learning a superpixel-driven speed function for level set tracking | |
Rao et al. | A multi-view human gait recognition using hybrid whale and gray wolf optimization algorithm with a random forest classifier | |
US20230131717A1 (en) | Search processing device, search processing method, and computer program product | |
Vlachynska et al. | Dogface detection and localization of dogface’s landmarks | |
Paul et al. | An Adam based CNN and LSTM approach for sign language recognition in real time for deaf people | |
CN111160219B (zh) | 对象完整度评估方法、装置、电子设备及存储介质 | |
Shi et al. | A novel artificial fish swarm algorithm for pattern recognition with convex optimization | |
More et al. | Identifying the Amount of Pesticides Required for Rice Crops Using Image Processing System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200605 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200914 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6823686 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |