JP2019204505A - Object detection deice, object detection method, and storage medium - Google Patents
Object detection deice, object detection method, and storage medium Download PDFInfo
- Publication number
- JP2019204505A JP2019204505A JP2019091606A JP2019091606A JP2019204505A JP 2019204505 A JP2019204505 A JP 2019204505A JP 2019091606 A JP2019091606 A JP 2019091606A JP 2019091606 A JP2019091606 A JP 2019091606A JP 2019204505 A JP2019204505 A JP 2019204505A
- Authority
- JP
- Japan
- Prior art keywords
- spatial relationship
- candidate
- object detection
- image
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理、とりわけ例えばオブジェクトの検出処理に関するものである。 The present invention relates to image processing, in particular, for example, object detection processing.
監視システムでは、一般に人が主要な監視対象となる。一般に、人は日常的に何らかの物体(例えば、眼鏡、バッグ、スーツケース、車椅子等)を身に着けたり、手に持ったり、使用したりするので、これらの物体は補助的方法で人を監視するために利用される。本明細書では、これらの物体は、例えば、関連人物の付属物と呼ばれる。監視処理では、一般に人物認識処理が主な処理動作であり、人物の認識処理に使用される、最も必要な基本的な情報は、動画像中の人物の位置や関連物などの情報である。それ故、高い再現率でビデオ/画像から人物および関連オブジェクトを検出することができるかどうかは、人物認識処理の精度に直接影響を及ぼすことになる。本明細書では、人物認識処理とは、例えば、人物の属性認識、人物の照合(対象者のIDの検証)、人物画像の検索、人物の行動・行動の認識または分析(例えば、対象者が何か物体を持っているかどうか、および対象者と他のオブジェクトとの間の動作の分析など)が含まれる。 In the monitoring system, a person is generally a main monitoring target. In general, people wear, hold or use some objects on a daily basis (for example, glasses, bags, suitcases, wheelchairs, etc.), so these objects monitor people in an auxiliary manner. To be used. In the present specification, these objects are called, for example, attachments of related persons. In the monitoring process, the person recognition process is generally the main processing operation, and the most necessary basic information used for the person recognition process is information such as the position of the person in the moving image and related objects. Therefore, the ability to detect people and related objects from video / images with high recall directly affects the accuracy of the person recognition process. In the present specification, the person recognition processing includes, for example, person attribute recognition, person verification (verification of target person ID), person image search, person behavior / behavior recognition or analysis (for example, target person Analysis of movement between the subject and other objects, etc.).
高い再現率でビデオ/画像から人物及び関連物を検出するための例示的な物体検出技術が非特許文献1に開示されている。概ね、次のとおりである。まず、ニューラルネットワークを用いて、入力画像からさまざまなレベルの特徴を抽出する。たとえば、小スケールオブジェクトの低レベル特徴、中スケールのオブジェクトの中レベル特徴、 大スケールのオブジェクトのための高レベル特徴を抽出する。次に、対応する事前生成候補領域生成ネットワークを用いて、各レベルの特徴から、オブジェクトの候補領域の関連情報(例えば、候補領域の位置、候補領域のスコア、及び、候補領域の特徴)を抽出する。 Non-Patent Document 1 discloses an exemplary object detection technique for detecting a person and related objects from a video / image with high recall. In general, it is as follows. First, various levels of features are extracted from the input image using a neural network. For example, extract low-level features for small scale objects, medium-level features for medium-scale objects, and high-level features for large-scale objects. Next, using the corresponding pre-generated candidate area generation network, the relevant information of the candidate area of the object (for example, the position of the candidate area, the score of the candidate area, and the feature of the candidate area) is extracted from the features of each level. To do.
オブジェクト検出技術(例えば、上記の例示技術)においては、一般に、予め設定された閾値を下回らないスコアを持つ候補領域のみ、又は、上位Nにランク付けされるスコアの候補領域のみが、最終出力となる。換言すれば、最終出力の候補領域は、その画像から検出できるオブジェクト(人及び物体)の領域として見なされることになる。しかしながら、例えば、関係者によって遮られているスーツケース、座っている人によって遮られている車椅子、地面に置いた影の影響を受けるバッグ等、画像中の他の物体によって遮られている物体や照明の影響を受けている物体の場合、それらオブジェクトの特徴はその画像から完全に抽出することができない。故に、上記例示の技術を用いて画像からそれらオブジェクトの候補が検出できたとしても、それらオブジェクトの候補領域のスコアは低くなるので、それらオブジェクトの候補領域のスコアが予め設定された閾値を下回る、或いは、それらオブジェクトの候補領域のスコアが上位Nにランク付けされなくなる。結果、そのようなオブジェクトの候補領域が最終出力とはならず、画像からのオブジェクトが検出できず、最終的にそのオブジェクトの高い再現率に影響を与えることになる。 In the object detection technique (for example, the above-described exemplary technique), generally only candidate areas having scores that do not fall below a preset threshold value, or only candidate areas having scores ranked in the top N are output as final outputs. Become. In other words, the final output candidate region is regarded as a region of objects (people and objects) that can be detected from the image. However, for example, an object obstructed by other objects in the image, such as a suitcase obstructed by a person concerned, a wheelchair obstructed by a seated person, a bag affected by a shadow placed on the ground, For objects that are affected by lighting, the characteristics of those objects cannot be completely extracted from the image. Therefore, even if the candidate of those objects can be detected from the image using the technique exemplified above, the score of the candidate area of the object is low, so the score of the candidate area of the object is below a preset threshold value. Or, the scores of the candidate areas of these objects are not ranked in the top N. As a result, the candidate area of such an object does not become the final output, the object from the image cannot be detected, and finally the high reproduction rate of the object is affected.
上記関連技術に鑑み、本発明は上記問題の少なくとも1つを解決する。 In view of the related art, the present invention solves at least one of the above problems.
本発明の1つの形態にて提供されるオブジェクト検出装置は、画像から特徴を抽出する抽出手段と、抽出した特徴に基づき前記画像における個別の特徴点間の空間的関係を判定する判定手段と、判定した空間的関係に基づき、前記画像内のオブジェクトの領域を検出する検出手段とを有し、ここで前記オブジェクトは前記画像内の関連付けられたオブジェクトであることを特徴とする。 An object detection apparatus provided in one aspect of the present invention includes an extraction unit that extracts a feature from an image, a determination unit that determines a spatial relationship between individual feature points in the image based on the extracted feature, And detecting means for detecting a region of the object in the image based on the determined spatial relationship, wherein the object is an associated object in the image.
本発明の他の形態にて提供されるオブジェクト検出方法は、画像から特徴を抽出する抽出ステップと、抽出した特徴に基づき前記画像における個別の特徴点間の空間的関係を判定する判定ステップと、判定した空間的関係に基づき、前記画像内のオブジェクトの領域を検出する検出ステップとを有し、ここで前記オブジェクトは前記画像内の関連付けられたオブジェクトであることを特徴とする。 An object detection method provided in another aspect of the present invention includes an extraction step of extracting features from an image, a determination step of determining a spatial relationship between individual feature points in the image based on the extracted features, And detecting a region of the object in the image based on the determined spatial relationship, wherein the object is an associated object in the image.
本発明の更なる態様にて提供されるオブジェクト検出装置は、ビデオ内の現ビデオフレームから特徴を抽出する特徴抽出手段と、抽出した特徴に基づき、前記現ビデオフレームからオブジェクトの候補領域を検出する候補領域検出手段と、前記現ビデオフレームの前ビデオフレームの検出結果に基づき、前記候補領域の間の空間的関係を判定する空間的関係判定手段と、前記候補領域間の空間的関係に基づき、前記候補領域の順位を判定し、当該順位の判定後の候補領域を、前記オブジェクトの領域する順位判定手段とを有し、前記現ビデオフレームの前ビデオフレームの検出結果は、上述したオブジェクト検出装置を用いて得られることを特徴とする。 An object detection apparatus provided in a further aspect of the present invention is a feature extraction means for extracting a feature from a current video frame in a video, and detects a candidate region of an object from the current video frame based on the extracted feature. Based on the candidate area detection means, the spatial relationship determination means for determining the spatial relationship between the candidate areas based on the detection result of the previous video frame of the current video frame, and the spatial relationship between the candidate areas, And determining the rank of the candidate area, and ranking determination means for determining the candidate area after determining the rank as the area of the object, and the detection result of the previous video frame of the current video frame is the object detection apparatus described above. It is obtained using.
本発明の更なる他の形態では、上記のオブジェクト検出方法を可能にするため、プロセッサによって実行可能な命令を記憶する記憶媒体が提供される。 In yet another aspect of the invention, a storage medium for storing instructions executable by a processor is provided to enable the object detection method described above.
本発明において、個々の特徴点間の空間的関係がオブジェクトの領域の検出を規制するように、その空間的関係がオブジェクトの領域を検出するときに用いられる。これにより、関連するオブジェクトをよりよく検出することが可能になる。関連するオブジェクトは一般に監視プロセス中における人を監視するのにより有用であるので、オブジェクト検出の再現率だけでなく、人を監視する効果も本発明に従って改善することができる。 In the present invention, the spatial relationship between the individual feature points is used when detecting the object region so that the detection of the object region is regulated. This makes it possible to better detect related objects. Since related objects are generally more useful for monitoring people during the monitoring process, not only the reproducibility of object detection, but also the effect of monitoring people can be improved according to the present invention.
本発明の更なる他の特徴及び効果は、添付図面を参照して以下に説明される実施形態から明らかにする。 Further other features and advantages of the present invention will become apparent from the embodiments described below with reference to the accompanying drawings.
添付図面は、本明細書に組み込まれてその一部を構成するものであり、本発明の原理を説明するために、本発明の実施形態を例示するものである。
以下に添付図面を参照しながら、本発明に好適な実施形態を詳細に説明する。以下の説明は、本質的に単なる例示かつ例示的なものであり、本発明およびその用途または使用を限定することを意図するものではない点に留意されたい。実施形態に記載されている構成要素やステップの相対配置、数値表現、数値などは、特に記載がない限り、本発明の範囲を限定するものではない。さらに、当業者に知られている技術、方法、および装置は詳細には論じられないかもしれないが、適切な場合は明細書の一部であるべきものである。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be noted that the following description is merely exemplary and exemplary in nature and is not intended to limit the invention and its application or uses. The relative arrangement of elements and steps, numerical expressions, numerical values, and the like described in the embodiments do not limit the scope of the present invention unless otherwise specified. Moreover, techniques, methods, and apparatus known to those skilled in the art may not be discussed in detail, but should be part of the specification where appropriate.
なお、図面において同様の参照番号および文字は同様の項目を示すものである。それ故、1つの図において1つの項目が定義されると、それを以下の図において論じる必要はないことに留意されたい。 In the drawings, like reference numerals and letters indicate like items. Therefore, it should be noted that once an item is defined in one figure, it need not be discussed in the following figure.
本発明者は、オブジェクト検出の実際のシーンにて、一般に互いに特定の関係(特に空間的関係)を有するいくつかのオブジェクトが存在し、これらのオブジェクトは一般に関連オブジェクトとして参照されることを見出した。さらに、一方では、相互作用するケース(例えば、互いに遮られている等)は、関連オブジェクト間で発生する可能性が高い。一方、監視処理では、関連オブジェクトは人物の監視に役立つ。このように、本発明者は、オブジェクト検出プロセスにおいて、関連オブジェクト間に存在するこの特定の関係(特に空間的関係)は、例えば、いくつかの関連オブジェクトが遮蔽されている場合であっても、そのオブジェクトの領域の検出を規制(constrain)することができることを見出した。この結果、オブジェクト検出の再現率を向上させることができ、さらには人物を監視する効果を高めることができる。本発明では、女性とその女性が引いているスーツケース、男性とその男性が腰かけている車椅子等のような、人物(例えば対象者)と人物が身にまとっている/握っている/用いているオブジェクトは、関連オブジェクトとして見なすことができる。女性とその女性が抱えている子供や、前後に位置する、重なっている二人も、関連オブジェクトとして見なすことができる。隣接オブジェクト(例えば対象オブジェクトとその対象オブジェクトの隣の他のオブジェクト)、例えばスーツケースとその上に置かれたバッグ、人物の影とその影で一部もしくは全部が覆われたバッグなどもまた、関連オブジェクトと見なすことができる。しかしながら、これに限定される必要がないのは明らかである。 The inventor has found that in the actual scene of object detection, there are generally several objects that have a specific relationship (especially spatial relationship) to each other, and these objects are generally referred to as related objects. . Furthermore, on the other hand, interacting cases (eg, being blocked from each other) are likely to occur between related objects. On the other hand, in the monitoring process, the related object is useful for monitoring a person. In this way, the inventor found that this particular relationship (especially the spatial relationship) that exists between related objects in the object detection process is, for example, even when some related objects are occluded. We have found that the detection of the area of the object can be constrained. As a result, the object detection reproducibility can be improved, and the effect of monitoring a person can be enhanced. In the present invention, a person (for example, a subject) and a person are wearing / holding / using, such as a suitcase that a woman and the woman are pulling, a wheelchair that a man and the man are sitting on, etc. Objects can be considered as related objects. A woman and her child's child, and two overlapping people located in front and back can also be considered as related objects. Neighboring objects (for example, the target object and other objects next to the target object), such as a suitcase and a bag placed on it, a person's shadow and a bag partially or entirely covered with the shadow, It can be considered as a related object. However, it is clear that this need not be limited.
本発明において、関連オブジェクト間に存在する空間的関係は、それら関連オブジェクト間の空間的規制(spatial constraint)を表す。例えば2つの関連オブジェクトにて、それらの間の空間的関係(例えば、その2つの関連オブジェクトに対応する領域間の空間的制約)は、少なくとも、次に示す幾つかの規制を少なくとも含む。
・2つのオブジェクト間の相対位置関係(Relative positional relationship)(例えば、方向関係、距離関係等)
例えば、机の上に置かれたコンピュータの場合、そのコンピュータと机との方向関係は、“机の上(on the desk)”となる。例えば、芝生上の人物/動物の場合、その人物/動物と芝生との方向関係は“芝生の上(on the grass)”となる。例えば、子供の手を握って歩くように導いている女性の場合、女性と子供との間の距離関係は“隣接して、近くに(adjacent to, close to)”である。しかし、これに限定される必要がないのは明らかである。
・2つのオブジェクト間の位相関係(Topological relationship)(たとえば、重複関係(overlapping relationship)、包含関係(inclusion relationship)、隣接関係(adjacency relationship)など)
例えば、車いすに座っている男性の場合、その男性と車椅子との位相関係は“重複関係”となる。例えば子供を抱えている女性の場合、その女性と子供との位相関係は“包含関係”となる。パラソルを持つ女性の場合、その女性とパラソルとの位相関係は“隣接関係”となる。しかし、これに限定される必要がないのは明らかである。
・2つのオブジェクト間の相対形状関係(Relative shape relationship)
例えば、車椅子に座っている男性のように、人と車椅子間の空間的規制が、“相対形状関係”にもなる。しかし、これに限定される必要がないのは明らかである。
In the present invention, a spatial relationship existing between related objects represents a spatial constraint between the related objects. For example, in two related objects, a spatial relationship between them (for example, a spatial constraint between regions corresponding to the two related objects) includes at least some of the following restrictions.
-Relative positional relationship between two objects (eg direction relationship, distance relationship, etc.)
For example, in the case of a computer placed on a desk, the directional relationship between the computer and the desk is “on the desk”. For example, in the case of a person / animal on the lawn, the directional relationship between the person / animal and the lawn is “on the grass”. For example, in the case of a woman guiding a child to hold and walk, the distance relationship between the woman and the child is “adjacent to, close to”. However, it is clear that this need not be limited.
-Topological relationship between two objects (for example, overlapping relationship, inclusion relationship, adjacency relationship, etc.)
For example, in the case of a man sitting in a wheelchair, the phase relationship between the man and the wheelchair is “overlapping relationship”. For example, in the case of a woman holding a child, the phase relationship between the woman and the child is an “inclusion relationship”. In the case of a woman having a parasol, the phase relationship between the woman and the parasol is an “adjacent relationship”. However, it is clear that this need not be limited.
・ Relative shape relationship between two objects
For example, like a man sitting in a wheelchair, spatial regulation between a person and a wheelchair also becomes a “relative shape relationship”. However, it is clear that this need not be limited.
本発明は、上記の考察結果に鑑みて提案されたものであり、以下に添付図面を参照しながら詳細に説明する。 The present invention has been proposed in view of the above consideration results, and will be described in detail below with reference to the accompanying drawings.
[ハードウェア構成]
まず、以下で説明される具術を実現可能なハードウェア構成について、図1を参照して説明する。
[Hardware configuration]
First, a hardware configuration capable of realizing the technique described below will be described with reference to FIG.
ハードウェア構成100は、例えば、中央処理装置(CPU)110、ランダムアクセスメモリ(RAM)120、リードオンリメモリ(ROM)130、ハードディスク140、入力デバイス150、出力デバイス160、ネットワークインタフェース170、および、システムバス180を含む。更に、ハードウェア構成100は、例えば、カメラ、ビデオカメラ、パーソナルデジタルアシスタント(PDA)、スマートフォン、タブレット、ラップトップ、デスクトップコンピュータ、或いは、他の適当な電子デバイスに実装しても構わない。 The hardware configuration 100 includes, for example, a central processing unit (CPU) 110, a random access memory (RAM) 120, a read only memory (ROM) 130, a hard disk 140, an input device 150, an output device 160, a network interface 170, and a system. A bus 180 is included. Further, the hardware configuration 100 may be implemented in, for example, a camera, video camera, personal digital assistant (PDA), smartphone, tablet, laptop, desktop computer, or other suitable electronic device.
一つの実装法における、本発明のオブジェクト検出処理はハードウェアもしくはファームウェアによって構成され、ハードウェア構成100のモジュールもしくはコンポーネントとして機能する。例えば、図2を参照して以下に詳細に説明するオブジェクト検出装置200、及び、図8を参照して以下に詳細に説明するオブジェクト検出装置800は、ハードウェア構成100のモジュールもしくはコンポーネントとして利用される。他の実装法における、本発明のオブジェクト検出処理は、ROM130又はハードディスク140に格納されるソフトウェアによって構成され、CPU110によって実行されるものである。例えば、詳細は図4を参照して説明する処理400、及び、詳細は図90を参照して説明する処理900が、ROM130又はハードディスク140に格納されるプログラムとして利用される。 The object detection processing of the present invention in one implementation method is configured by hardware or firmware, and functions as a module or component of the hardware configuration 100. For example, the object detection apparatus 200 described in detail below with reference to FIG. 2 and the object detection apparatus 800 described in detail below with reference to FIG. 8 are used as modules or components of the hardware configuration 100. The The object detection process of the present invention in another implementation method is configured by software stored in the ROM 130 or the hard disk 140 and executed by the CPU 110. For example, a process 400 described in detail with reference to FIG. 4 and a process 900 described in detail with reference to FIG. 90 are used as programs stored in the ROM 130 or the hard disk 140.
CPU110はプロセッサなどの、任意の適切なプログラム可能な制御装置であり、ROM130またはハードディスク140(メモリなど)に格納されたさまざまなアプリケーションプログラムを実行することによって、後述する様々な機能を実行することができる。RAM120は、ROM130またはハードディスク140からロードされたプログラムやデータを一時的に記憶するとともに、CPU110が実行する各種の処理(例えば、後述する図3から図7および図9の技術等)や他の利用可能な機能を実行する空間としても使用される。ハードディスク140は、オペレーティングシステム(OS)、各種アプリケーション、制御プログラム、ビデオ、画像、事前生成モデル(pre-generated models)、事前定義されたデータ(例えば、閾値群(THs))などの様々な情報を格納する。 The CPU 110 is any suitable programmable control device such as a processor, and can execute various functions described below by executing various application programs stored in the ROM 130 or the hard disk 140 (memory or the like). it can. The RAM 120 temporarily stores programs and data loaded from the ROM 130 or the hard disk 140, and various processes executed by the CPU 110 (for example, the techniques shown in FIGS. 3 to 7 and 9 described later) and other uses. It is also used as a space for performing possible functions. The hard disk 140 stores various information such as an operating system (OS), various applications, control programs, videos, images, pre-generated models, and pre-defined data (for example, thresholds (THs)). Store.
1つの実施形態では、入力デバイス150は、ユーザに対し、ハードウェア構成100と情報交換することを許容する。1つの実施形態では、ユーザは入力デバイス150を通じて、画像/ビデオ/データを入力できる。他の実施形態では、ユーザは、入力デバイス150を通じて、本発明の対応する処理を起動することができる。更に、入力装置150は、ボタン、キーボード、またはタッチスクリーンなどの多様な形態を採用することができる。 別の実施形態では、入力装置150は、デジタルカメラ、ビデオカメラ、および/またはネットワークカメラなどの特殊な電子装置から出力される画像/ビデオを受信するために利用される。 In one embodiment, the input device 150 allows a user to exchange information with the hardware configuration 100. In one embodiment, the user can input images / video / data through the input device 150. In other embodiments, the user can initiate corresponding processing of the present invention through the input device 150. Further, the input device 150 may employ various forms such as buttons, a keyboard, or a touch screen. In another embodiment, input device 150 is utilized to receive images / video output from specialized electronic devices such as digital cameras, video cameras, and / or network cameras.
1つの実施形態において、出力デバイス160は、検出結果(オブジェクトの検出された領域の位置、スコア、特徴等)をユーザに対する表示するために利用される。更に、出力デバイス160は、CRT(Cathode Ray Tube)、液晶ディスプレイなど、様々な形態を採用することができる。他の実施形態では、出力装置160は、検出結果を、人認識処理(例えば、人物属性認識、人物マッチング、人物画像検索、および人物の行動/行動の認識または分析など)などの後続の処理に出力するために利用される。 In one embodiment, the output device 160 is utilized to display the detection results (position, score, features, etc. of the detected area of the object) to the user. Furthermore, the output device 160 can adopt various forms such as a CRT (Cathode Ray Tube) and a liquid crystal display. In other embodiments, the output device 160 may pass the detection results to subsequent processing, such as person recognition processing (eg, person attribute recognition, person matching, person image search, and person behavior / behavior recognition or analysis). Used for output.
ネットワークインタフェース170は、ハードウェア構成100をネットワークに接続するインタフェースを提供する。例えば、ハードウェア構成100は、ネットワークインタフェース170を介して、ネットワークを介して接続された他の電子機器とデータ通信を行うことができる。或いは、ハードウェア構成100は、無線データ通信を行うための無線インタフェースを備えてもよい。システムバス180は、CPU110、RAM120、ROM130、ハードディスク140、入力デバイス150、出力デバイス160、ネットワークインタフェース170等の間の、互いのデータ転送のためのデータ転送路を提供する。システムバス180はバスと呼ばれるが、特定のデータ伝送技術に限定されない。 The network interface 170 provides an interface for connecting the hardware configuration 100 to the network. For example, the hardware configuration 100 can perform data communication with other electronic devices connected via a network via the network interface 170. Alternatively, the hardware configuration 100 may include a wireless interface for performing wireless data communication. The system bus 180 provides a data transfer path for mutual data transfer among the CPU 110, RAM 120, ROM 130, hard disk 140, input device 150, output device 160, network interface 170, and the like. System bus 180 is referred to as a bus, but is not limited to a particular data transmission technique.
上記のハードウェア構成100は、単なる例示であり、本発明およびその用途または使用を限定することを意図としていない。更に、簡潔にするために、図1には1つのハードウェア構成しか示されていない。 しかし、必要に応じて複数のハードウェア構成を使用することができる。 The hardware configuration 100 described above is merely exemplary and is not intended to limit the present invention and its application or use. Furthermore, for simplicity, only one hardware configuration is shown in FIG. However, multiple hardware configurations can be used as needed.
[オブジェクト検出]
次に、本発明におけるオブジェクト検出を、図2乃至図8を参照して説明する。
Object detection
Next, object detection in the present invention will be described with reference to FIGS.
図2は、本発明の第1の実施形態におけるオブジェクト検出装置200の構成を示すブロック図である。ここで、図2に示されるモジュールの幾つかもしくは全部は専用のハードウェアでもって実現しても良い。図2に示されるように、オブジェクト検出装置200は、抽出部210、判定部220、及び、検出部230を含む。 FIG. 2 is a block diagram showing the configuration of the object detection apparatus 200 according to the first embodiment of the present invention. Here, some or all of the modules shown in FIG. 2 may be realized by dedicated hardware. As illustrated in FIG. 2, the object detection device 200 includes an extraction unit 210, a determination unit 220, and a detection unit 230.
まず、図1に示さてる入力デバイス150は、特定の電子デバイス(例えば、ビデオカメラ等)から出力される画像を受信する。次に、入力デバイス150はシステムバス180を介して、受信した画像をオブジェクト検出装置200に転送する。 First, the input device 150 shown in FIG. 1 receives an image output from a specific electronic device (for example, a video camera). Next, the input device 150 transfers the received image to the object detection apparatus 200 via the system bus 180.
そして、図2に示されるように、抽出ユニット210は受信した画像から特徴を抽出する。ここで、抽出部210は、既存の特徴抽出アルゴリズム、例えば、ローカルバイナリパターン(LBP)アルゴリズム、Gaborアルゴリズム、スケール不変の特徴変換(SIFT)アルゴリズム、ニューラルネットワーク(NN)アルゴリズムなどを用いて、画像から特徴を抽出することができる。ここで、抽出された特徴は、例えば、画像内の勾配特徴(gradient features)、エッジ特徴(edge feature)、見かけの特徴(apparent features)、意味的特徴(semantic feature)などであっても良い。 Then, as shown in FIG. 2, the extraction unit 210 extracts features from the received image. Here, the extraction unit 210 uses an existing feature extraction algorithm such as a local binary pattern (LBP) algorithm, a Gabor algorithm, a scale invariant feature transformation (SIFT) algorithm, a neural network (NN) algorithm, and the like from an image. Features can be extracted. Here, the extracted features may be, for example, gradient features, edge features, apparent features, semantic features, etc. in the image.
判定部220は、抽出した特徴に基づき、画像内の個々の特徴点間の空間的関係を判定する。ここで特徴点は抽出された特徴上の点である。また任意の2つの特徴点間の空間的関係としては、その2つの特徴点が同じ領域又は異なる領域に属するかに従って、その特徴点間の空間的相関は、“同じ領域内の位置的相関(すなわち、イントラカテゴリの位置関係)”、及び、“異なる領域間の位置的関係(すなわち、インターカテゴリの位置関係)”にカテゴリ分けされる。更に、判定された特徴点間の空間的関係は、それに応じた空間的関係値を有する。ここで、2つの特徴点間の空間関係の場合、対応する空間関係値はその2つの特徴点がその空間関係に属する確率(probability)を表す。 The determination unit 220 determines a spatial relationship between individual feature points in the image based on the extracted features. Here, the feature point is a point on the extracted feature. Further, as a spatial relationship between any two feature points, according to whether the two feature points belong to the same region or different regions, the spatial correlation between the feature points is “a positional correlation within the same region ( That is, it is categorized into “positional relationship between intra categories)” and “positional relationship between different areas (ie, positional relationship between inter categories)”. Furthermore, the spatial relationship between the determined feature points has a spatial relationship value corresponding thereto. Here, in the case of a spatial relationship between two feature points, the corresponding spatial relationship value represents the probability that the two feature points belong to the spatial relationship.
1つの実施形態では、判定部220は、予め定義されたルールに従い、抽出した特徴に基づく特徴点間の空間的関係を判定しても良い。ここでの予め定義されたルールは、対応する記録デバイス、例えば図2に示される記憶デバイス240に記憶されても良い。ここで、記憶デバイス240は、図1に示されるROM130またはハードディスク140で良いし、オブジェクト検出装置200にネットワーク(不図示)を介して接続されるサーバまたは外部記憶デバイスであっても良い。このように、実施形態において、判定部220はまず記録デバイス240から予め定義されたルールを取得し、そして、空間的関係の対応する判定処理を行うことになる。 In one embodiment, the determination unit 220 may determine a spatial relationship between feature points based on the extracted features according to a predefined rule. The predefined rules here may be stored in a corresponding recording device, for example the storage device 240 shown in FIG. Here, the storage device 240 may be the ROM 130 or the hard disk 140 shown in FIG. 1, or may be a server or an external storage device connected to the object detection apparatus 200 via a network (not shown). As described above, in the embodiment, the determination unit 220 first acquires a predefined rule from the recording device 240, and performs a determination process corresponding to the spatial relationship.
他の実施形態としては、様々なシーンにおける空間的関係を便利に決定するようにするために、特徴点間の空間的関係を判定するために利用されるモデル(すなわち事前生成モデル)が、空間関係がラベル付けされたトレーニングサンプルに従って事訓練/事前生成され、対応する記憶デバイス(例えば、記憶デバイス240)に格納されることである。ここで、事前生成モデルの生成方法は、その詳細については図9を参照して後述する。一方、判定部220は事前生成のモデルを用いることで、抽出された特徴に基づく特徴点間の空間的関係を判定する。 In another embodiment, a model used to determine the spatial relationship between feature points (ie, a pre-generated model) is used to conveniently determine the spatial relationship in various scenes. A relationship is trained / pre-generated according to a labeled training sample and stored in a corresponding storage device (eg, storage device 240). Here, the details of the method for generating the pre-generated model will be described later with reference to FIG. On the other hand, the determination unit 220 determines a spatial relationship between feature points based on the extracted features by using a pre-generated model.
更に、オブジェクト検出の処理速度を改善するため、上記の事前生成モデルが図9に参照されるように生成される。ここでは事前生成モデルは、特徴抽出するための部分と、加えて空間的関係を判定する部分を含む。これに替えて、抽出部210が、事前生成モデルを用いて画像からも特徴を抽出しても良い。この場合、一方で、抽出部210は記憶デバイス20から事前生成モデルを取得し、他方、抽出部210はその事前生成モデルを用いて画像から特徴を抽出する。更に、この場合、判定部220は、記憶ユニット240から対応する事前生成モデルを特に取得せずに、抽出部210が記憶デバイス240から取得した事前生成モデルをそのまま用いてもよい。 Furthermore, in order to improve the processing speed of object detection, the above pre-generated model is generated as shown in FIG. Here, the pre-generated model includes a part for extracting features and a part for determining a spatial relationship. Alternatively, the extraction unit 210 may extract features from the image using a pre-generated model. In this case, on the one hand, the extraction unit 210 acquires a pre-generated model from the storage device 20, and on the other hand, the extraction unit 210 extracts features from the image using the pre-generated model. Furthermore, in this case, the determination unit 220 may use the pre-generated model acquired by the extraction unit 210 from the storage device 240 without acquiring the corresponding pre-generated model from the storage unit 240.
図2の説明に戻る。個々の特徴点間の空間的関係が判定された後、検出部230は判定した空間的関係に基づき画像内のオブジェクトの領域を検出する。ここでオブジェクトは、好ましくは画像内の関連オブジェクトであり、検出したオブジェクトの領域は例えば領域の位置、領域のスコア、及び、領域によって包含される特徴を含む。ここで、1つの領域のスコアは、その領域が或るカテゴリのオブジェクトに属する確率を示し、1つの領域に包含される特徴は、その領域に属する抽出部210によって抽出された特徴のうちの特徴である。 Returning to the description of FIG. After the spatial relationship between the individual feature points is determined, the detection unit 230 detects a region of the object in the image based on the determined spatial relationship. Here, the object is preferably a related object in the image, and the area of the detected object includes, for example, the position of the area, the score of the area, and the features encompassed by the area. Here, the score of one area indicates the probability that the area belongs to an object of a certain category, and the feature included in one area is a feature among the features extracted by the extraction unit 210 belonging to the area. It is.
1つの実施形態において、検出部230は、判定された空間的関係を直接利用して、画像からオブジェクトの領域を検出しても良い。具体的には、まず、検出部230は、判定した空間的関係に基づいて個々の特徴点をクラスタリングする。ここでクラスタリング結果は1つの領域と見なすことでき、各クラスタリング結果における特徴点間の空間的関係は先に説明した“イントラカテゴリの空間的関係”に属する。そして、検出部230は、異なるクラスタリング結果に属する特徴点間の空間的関係(すなわち、上記の“インターカテゴリの空間的関係”)に基づいて、対応する領域を、オブジェクトの最終的な検出領域として判定する。ここで、互いの距離が所定の閾値(例えばTH1)未満であるクラスタリング結果は、オブジェクトの最終的な検出領域と見なすことができ、互いに重なり合うクラスタリング結果は、たとえば最終的な検出と見なすことができる。 In one embodiment, the detection unit 230 may detect the region of the object from the image by directly using the determined spatial relationship. Specifically, first, the detection unit 230 clusters individual feature points based on the determined spatial relationship. Here, the clustering result can be regarded as one region, and the spatial relationship between the feature points in each clustering result belongs to the “intra category spatial relationship” described above. Then, the detection unit 230 sets the corresponding region as the final detection region of the object based on the spatial relationship between the feature points belonging to different clustering results (that is, the above “intercategory spatial relationship”). judge. Here, the clustering result whose mutual distance is less than a predetermined threshold (for example, TH1) can be regarded as the final detection region of the object, and the clustering results overlapping each other can be regarded as the final detection, for example. .
他の実施形態において、より関連性の高いオブジェクトの領域を優先的に出力することができ、検出されたオブジェクトの領域の位置をより正確にするため、検出部230は、図3に示すように、候補領域検出部231および順位決定部232を含んでも良い。 In other embodiments, a more relevant object region can be preferentially output, and in order to make the position of the detected object region more accurate, the detection unit 230 may be configured as shown in FIG. The candidate area detecting unit 231 and the order determining unit 232 may be included.
図3に示すように、候補領域検出部231は、検出部210により検出された特徴に基づき、画像からオブジェクトの候補領域を検出する。ここで、候補領域検出部231は、既存の領域検出アルゴリズム、例えば、選択的検索アルゴリズム(selective search algorithm)、エッジボックスアルゴリズム(EdgeBoxes algorithm)、物体アルゴリズム(Objectness algorithm)などを用いて、画像から候補領域を検出することができる。更に、上記のごとく、先に示した事前生成モデルは特徴抽出する部分及び空間的関係を判定する部分を含んでもよく、オブジェクト検出の処理速度を更に上げるために、事前生成モデルは、それが図9に示されるように生成されるときにオブジェクトの候補領域の検出する部分を含んでも良い。そのため、候補領域検出部231は、事前生成モデルを用いて抽出された特徴に基づいて、画像からオブジェクトの候補領域を検出してもよい。この場合、候補領域検出部231は、検出部210が記憶デバイス240から取得した事前生成モデルを用いて、画像からオブジェクトの候補領域を検出しても良い。ここで、オブジェクトの検出された候補領域は、例えば候補領域の位置、候補領域のスコア、候補領域を包含する特徴をも含む。ここで、1つの候補領域のスコアは、その候補領域が或るカテゴリのオブジェクトに属する確率を示すものであり、例えば、候補領域のスコアは、候補領域をカテゴリ分けすることによって得ても良い。 As illustrated in FIG. 3, the candidate area detection unit 231 detects an object candidate area from the image based on the feature detected by the detection unit 210. Here, the candidate area detection unit 231 uses an existing area detection algorithm, for example, a selective search algorithm, an edge box algorithm, an object algorithm, etc. A region can be detected. Further, as described above, the pre-generated model shown above may include a part for feature extraction and a part for determining a spatial relationship. In order to further increase the processing speed of object detection, the pre-generated model 9 may include a part to be detected in a candidate area of an object when generated as shown in FIG. Therefore, the candidate area detection unit 231 may detect the candidate area of the object from the image based on the features extracted using the pre-generated model. In this case, the candidate area detection unit 231 may detect a candidate area of the object from the image using the pre-generated model acquired by the detection unit 210 from the storage device 240. Here, the candidate area in which the object is detected includes, for example, the position of the candidate area, the score of the candidate area, and a feature including the candidate area. Here, the score of one candidate area indicates the probability that the candidate area belongs to an object of a certain category. For example, the score of a candidate area may be obtained by categorizing the candidate areas.
次に、図3に示すように、画像から候補領域が検出された後、順位判定部232は、判定部220により判定された空間的関係に基づき、検出された候補領域の順位を判定し、順位判定後の候補領域を、オブジェクトの検出領域とする。 Next, as shown in FIG. 3, after the candidate area is detected from the image, the rank determining unit 232 determines the rank of the detected candidate area based on the spatial relationship determined by the determining unit 220, The candidate area after the rank determination is set as an object detection area.
更に、上記の事前生成モデルは、オブジェクトの候補領域の検出する部分に加えて、そのオブジェクトが図9に示されるように生成されるときのオブジェクトの領域を直接的に検出する部分を含んでもよい。それ故、他の実施形態では、検出部230は、事前生成モデルを直接用いて判定された空間的関係に基づき、画像内のオブジェクトの領域を検出しても良い。この場合、検出部230は、抽出部210が記憶デバイス240から取得した事前生成モデルを用いて画像からオブジェクトの領域を検出しても良い。 Further, the above pre-generated model may include a part for directly detecting the object area when the object is generated as shown in FIG. 9 in addition to the part for detecting the object candidate area. . Therefore, in other embodiments, the detection unit 230 may detect the region of the object in the image based on the spatial relationship determined using the pre-generated model directly. In this case, the detection unit 230 may detect an object region from the image using the pre-generated model acquired by the extraction unit 210 from the storage device 240.
図2に戻って、オブジェクトの領域が画像から検出された後、検出部230は、予め定義されや閾値以上のスコアを持つオブジェクトの領域を最終的な検出結果とする、或いは、上位N個にランク付けスコアを持つ領域を最終的な検出結果とし、図1に示されるシステムバス180を介して、その最終的な検出結果を出力デバイス160に転送し、最終的なオブジェクトの検出結果(例えば領域の位置、スコア、特徴)をユーザに向けて表示、もしくは、人物認識処理(例えば人物属性認識、人物マッチング、人物画像検索、人物の振る舞い/行動等の認識もしくは解析等)のような後続する処理にオブジェクトの検出領域を出力する。 Returning to FIG. 2, after the object region is detected from the image, the detection unit 230 sets the object region having a score that is defined in advance or having a score equal to or higher than the threshold as the final detection result or the top N regions. An area having a ranking score is set as a final detection result, and the final detection result is transferred to the output device 160 via the system bus 180 shown in FIG. The position, score, and feature) of the image to the user, or subsequent processing such as person recognition processing (for example, recognition or analysis of person attribute recognition, person matching, person image search, person behavior / behavior, etc.) The object detection area is output to.
図4に示されるフローチャート400は、図2に示されるオブジェクト検出装置200の対応する処理である。以下は、事前生成モデルを用いた対応する処理を行う抽出部210、判定部220及び検出部230で行われる説明である。ここで、処理にて用いられる事前生成モデルの概略構成は例えば図5に示す通りである。しかし、これに限定される必要性が無いことは明らかである。 A flowchart 400 shown in FIG. 4 is a process corresponding to the object detection apparatus 200 shown in FIG. The following description is performed by the extraction unit 210, the determination unit 220, and the detection unit 230 that perform corresponding processing using a pre-generated model. Here, the schematic configuration of the pre-generated model used in the processing is as shown in FIG. 5, for example. However, it is clear that there is no need to be limited to this.
図4に示すように、抽出ステップS410にて、抽出部210は記憶デバイス240から事前生成モデルを取得し、取得した事前生成モデル(特に、その中の特徴抽出する部分)を用いて受信した画像から特徴を抽出する。 As illustrated in FIG. 4, in the extraction step S410, the extraction unit 210 acquires a pre-generated model from the storage device 240, and receives an image using the acquired pre-generated model (particularly, a portion in which features are extracted). Extract features from.
判定ステップS420にて、判定部220は、事前生成モデル(特にその中の空間的関係の判定する部分)を利用して、抽出された特徴に基づく特徴点間の空間的関係を判定する。 In determination step S420, determination unit 220 determines a spatial relationship between feature points based on the extracted features using a pre-generated model (particularly, a portion for determining a spatial relationship therein).
検出ステップS430にて、検出部230は、取得した事前生成モデルと用いて、画像からオブジェクトの領域を検出する。ここでオブジェクトは、好ましくは画像内の関連付けられたオブジェクトである。上述のように、より関連性の高いオブジェクトの領域を優先的に出力するため、及び、オブジェクトの検出された領域の位置をより正確にするため、1つの実施フェイでは、検出部230は、図6に従って、画像内のオブジェクトの領域を検出する。 In detection step S430, detection unit 230 detects an object region from the image using the acquired pre-generated model. Here, the object is preferably an associated object in the image. As described above, in order to preferentially output a region of a more relevant object and to make the position of the detected region of the object more accurate, in one implementation phase, the detection unit 230 may 6 to detect the area of the object in the image.
図6に示されるように、候補領域検出ステップS431にて、候補領域検出部231は、事前生成モデル(特に、その中の候補領域を検出する部分)を用いて、抽出部210により抽出された特徴に基づき、画像からオブジェクトの候補領域を検出する。順位判定ステップS432にて、順位判定部232は、判定部220で判定された空間的関係に基づき候補領域の順位を判定し、その順位判定後の候補領域を、オブジェクトの最終的な検出領域とする。1つの実施形態では、順位判定部232は図7に従って候補領域の順位を判定する。 As shown in FIG. 6, in candidate region detection step S431, the candidate region detection unit 231 is extracted by the extraction unit 210 using a pre-generated model (particularly, a portion for detecting candidate regions therein). Based on the feature, a candidate region of the object is detected from the image. In the rank determination step S432, the rank determination unit 232 determines the rank of the candidate area based on the spatial relationship determined by the determination unit 220, and sets the candidate area after the rank determination as the final detection area of the object. To do. In one embodiment, the rank determination unit 232 determines the rank of candidate regions according to FIG.
図7に示されるように、ステップS4321にて、順位判定部232は、候補領域検出部231によって検出された候補領域間の空間的関係を判定する。具体的には、任意の2つの候補領域について、順位判定部232は、その2つの候補領域に含まれる特徴点間の相互の空間的関係に基づき、その2つの候補領域間の空間的関係を判定する。ここで、2つの候補領域内に特定の空間的関係を有する2つの対応する特徴点がある限り、その2つの候補領域は特定の空間的関係を有すると見なすことができる。 As illustrated in FIG. 7, in step S4321, the rank determining unit 232 determines a spatial relationship between candidate areas detected by the candidate area detecting unit 231. Specifically, for any two candidate regions, the rank determination unit 232 determines the spatial relationship between the two candidate regions based on the mutual spatial relationship between the feature points included in the two candidate regions. judge. Here, as long as there are two corresponding feature points having a specific spatial relationship in the two candidate regions, the two candidate regions can be regarded as having a specific spatial relationship.
1つの実施形態では、任意の2つの候補領域について、順位判定部232は、その2つの候補領域間の任意の2つの特徴点間の空間的関係を、その2つの候補領域間の空間的関係として判定する。好ましくは、例えば、これら2つの候補領域の中心の位置における2つの特徴点間の空間的関係を、その2つの候補領域間の空間的関係として決定されてよい。ここで、2つの候補領域間の空間的関係の空間関係値は、その2つの候補領域間の空間的関係の空間的関係値として見なす。例えば、最大の空間的関係値を持つ2つの特徴点間の空間的関係は、その2つの候補領域間の空間的関係として判定される。ここで、最大の空間的関係値は、2つの候補間の空間的関係の空間的関係値として、見なされるものである。 In one embodiment, for any two candidate regions, the rank determination unit 232 determines a spatial relationship between any two feature points between the two candidate regions, and a spatial relationship between the two candidate regions. Judge as. Preferably, for example, a spatial relationship between two feature points at the center position of these two candidate regions may be determined as a spatial relationship between the two candidate regions. Here, the spatial relationship value of the spatial relationship between the two candidate regions is regarded as the spatial relationship value of the spatial relationship between the two candidate regions. For example, a spatial relationship between two feature points having the maximum spatial relationship value is determined as a spatial relationship between the two candidate regions. Here, the maximum spatial relationship value is regarded as the spatial relationship value of the spatial relationship between the two candidates.
他の実施形態では、順位決定部232は、任意の2つの候補領域について、その2つの候補領域間に存在する特徴点間の全ての空間的関係を用いて、その2つの候補領域間の空間的関係を決定する。好ましくは、例えば、一方において、特徴点間の空間的関係が投票され、最も多数の投票を有する空間的関係がその2つの候補領域間の空間的関係として決定される。一方、投票数が最も多い空間関係に属するすべての空間関係値は、平均化、重み付け合算され、或いは、最大化され、得られた値は、その2つの候補領域間の空間関係の空間関係値とみなされる。 In another embodiment, the rank determination unit 232 uses, for any two candidate regions, the space between the two candidate regions using all the spatial relationships between the feature points that exist between the two candidate regions. The relationship. Preferably, for example, on the one hand, the spatial relationship between feature points is voted and the spatial relationship with the largest number of votes is determined as the spatial relationship between the two candidate regions. On the other hand, all the spatial relation values belonging to the spatial relation with the largest number of votes are averaged, weighted and summed, or maximized, and the obtained value is the spatial relation value of the spatial relation between the two candidate areas. Is considered.
図7に戻る。ステップS4322にて、順位判定部232は、候補領域間の判定後の空間的関係の空間的関係値に基づき、候補領域のスコアを更新する。1つの実施形態において、順位判定部232は行列間の算出演算によって候補領域のスコアを更新しても良い。具体的には、例えば候補領域間の判定された空間的関係の空間的関係値からなる行列と、候補領域のスコアからなる行列が数学的演算(例えば行列の乗算)される。そして、その演算後に得られる結果が候補領域の更新後のスコアとする。他の実施形態においては、検出しようとしている対象オブジェクト(例えば対象人物)が特定される場合、順位判定部232は、その対象オブジェクトに関連するオブジェクト(例えば、対象人物の付属物)の候補領域のスコアを更新するだけで良い。具体的には。例えば、まず最大空間関係値を有する1つの関連オブジェクトは対象オブジェクトに対して空間的関係を持つ関連オブジェクトから判定され、そして、最大空間的関係値は、候補領域のスコアを更新するために判定された関連オブジェクトの候補領域のスコアに重ね合わされる。 Returning to FIG. In step S4322, the rank determination unit 232 updates the score of the candidate region based on the spatial relationship value of the spatial relationship after the determination between the candidate regions. In one embodiment, the rank determination unit 232 may update the score of the candidate area by calculation between the matrices. Specifically, for example, a matrix composed of the spatial relationship values of the determined spatial relationships between the candidate regions and a matrix composed of the scores of the candidate regions are subjected to a mathematical operation (for example, matrix multiplication). Then, the result obtained after the calculation is used as the updated score of the candidate area. In another embodiment, when a target object (for example, a target person) to be detected is specified, the rank determination unit 232 may select a candidate area of an object (for example, an accessory of the target person) related to the target object. Just update the score. In particular. For example, first, a related object having a maximum spatial relationship value is determined from a related object having a spatial relationship to the target object, and a maximum spatial relationship value is determined to update the score of the candidate region. It is superimposed on the score of the candidate object candidate area.
更に、処理速度を向上させるために候補領域間の空間的関係の判定範囲を狭くするため、図7に示すように、ステップS4320がS4321の前(すなわち、候補領域間の空間的関係を判定する前)に含まれるようにしても良い。図7に示すように、ステップS4320にて、順位判定部232は対応する補助情報を取得する。この補助情報は、例えば、特定検知タスクについての情報、特定の検知シーンについての情報などである。 Further, in order to narrow the determination range of the spatial relationship between the candidate regions in order to improve the processing speed, as shown in FIG. 7, step S4320 determines the spatial relationship between the candidate regions before S4321 (that is, the spatial relationship between the candidate regions). It may be included in the previous). As shown in FIG. 7, in step S4320, the rank determination unit 232 acquires corresponding auxiliary information. This auxiliary information is, for example, information about a specific detection task, information about a specific detection scene, and the like.
特定検出タスクとしては、一般に、検出対象の対象オブジェクト(例えば対象人物)が特定される、すなわち、対象オブジェクトの位置情報およびカテゴリ情報が一般的に与えられる。更には、一般に、優先的に検出されるオブジェクトは、対象オブジェクトに関連する他のオブジェクト(例えば、対象人物の周囲にある付属物)であることが望ましい。 As the specific detection task, generally, a target object (for example, a target person) to be detected is specified, that is, position information and category information of the target object are generally given. Furthermore, it is generally desirable that the preferentially detected object be another object related to the target object (for example, an accessory around the target person).
したがって、特定検出タスクに関しては、順位決定部232が取得する補助情報は、例えば、少なくとも1つの対象オブジェクトの位置情報およびカテゴリ情報である。更に、その一方で、対象オブジェクトのカテゴリ情報は分かっているので、順位判定部232は対象オブジェクトと他のオブジェクト間に存在する空間的関係のタイプを明確に判定しても良い。例えば、対象オブジェクトが対象人物である場合、対象オブジェクトと他のオブジェクト間の空間的関係は、“或る人物とその他の人物間の空間的関係”、及び、“或る人物と他のオブジェクト間の空間的関係”のみとなり、“或るオブジェクトと或るオブジェクト間の空間的関係”とはならない。他方、対象オブジェクトの位置情報は分かっているので、順位判定部232は、全ての候補領域間の空間的関係を判定せずに、どの候補領域間の空間的関係を決定すればよいかを大まかに定義することができる。したがって、順位判定部232が、ステッS4321にて、候補領域間の空間的関係を判定するとき、特定の候補領域間の空間的関係のみが判定されればよく、これにより処理速度を向上させることができる。 Therefore, regarding the specific detection task, the auxiliary information acquired by the rank determination unit 232 is, for example, position information and category information of at least one target object. On the other hand, since the category information of the target object is known, the rank determination unit 232 may clearly determine the type of spatial relationship existing between the target object and another object. For example, when the target object is a target person, the spatial relationship between the target object and other objects is “spatial relationship between a certain person and another person” and “between a certain person and another object. "Spatial relationship between" and "spatial relationship between a certain object". On the other hand, since the position information of the target object is known, the order determination unit 232 roughly determines which candidate region should be determined without determining the spatial relationship between all candidate regions. Can be defined. Therefore, when the rank determination unit 232 determines the spatial relationship between candidate regions in step S4321, only the spatial relationship between specific candidate regions needs to be determined, thereby improving the processing speed. Can do.
また、特定検出タスクに関して、対象オブジェクトが対象人物である場合、順位判定部232によって得られる補助情報は、例えば、少なくとも1つの対象オブジェクト(すなわち、対象人物)の関節点情報(joint point information)である。ここで、対象人物の関節点情報は、手動ラベリングや関節点検出方法を用いて取得することができる。更に順位判定部232は、対象人物の関節点をカテゴリ分け又は認識することにより、対象人物とその対象人物に関連付けられた人物/オブジェクト間の空間的関係に対応する動作を取得しても良い。例えば、対象人物がスーツケースを引っ張っている場合、対象人物とスーツケースとの間の空間的関係に対応する動作は“引っ張る”である。したがって、順位判定部232が、S4321にて、候補領域間の特定の空間的関係を判定するとき、その特定候補領域間の特定空間的関係のみが判定され、更に、特定の動きに対応する特定の空間的関係のみを判定され、これにより、処理速度がさらに向上できる。 Further, regarding the specific detection task, when the target object is a target person, the auxiliary information obtained by the rank determination unit 232 is, for example, joint point information of at least one target object (that is, the target person). is there. Here, the joint point information of the target person can be acquired using manual labeling or a joint point detection method. Further, the rank determination unit 232 may acquire an operation corresponding to the spatial relationship between the target person and the person / object associated with the target person by categorizing or recognizing the joint points of the target person. For example, when the target person is pulling a suitcase, the action corresponding to the spatial relationship between the target person and the suitcase is “pull”. Therefore, when the rank determination unit 232 determines a specific spatial relationship between the candidate regions in S4321, only the specific spatial relationship between the specific candidate regions is determined, and further, the specific corresponding to the specific movement is determined. Only the spatial relationship is determined, and the processing speed can be further improved.
特定の検出シーンに関しては、一般に、特定の空間的関係がそのシーンとシーン中のオブジェクト(例えば人物、動物等)間に存在する。例えば、草/大草原では、飛んでいる動物(例えば鳥など)は一般に空中を飛んでおり、地面を歩いている可能性は低い。また、人又は歩行する動物(例えば羊など)は一般に地面を歩くものであり、空中を飛ぶことはまずない。したがって、特定検出シーンについては、順位決定部232によって取得される補助情報は、例えば、シーン情報(すなわち入力画像の背景情報)である。さらに、順位判定部232は、具体的に、シーン情報に従って、或る特定のオブジェクトとシーン間の特定の空間的関係を判定しても良い。したがって、順位判定部232がS4321にて候補領域間の空間的関係を判定するとき、全ての空間的関係を判定せずに、特定の空間的関係のみが判定されるようにしても良い。この結果、処理速度は向上できる。 For a particular detected scene, generally a particular spatial relationship exists between that scene and the objects in the scene (eg, people, animals, etc.). For example, in grass / ploughs, flying animals (eg birds) are generally flying in the air and are unlikely to be walking on the ground. In addition, people or walking animals (such as sheep) generally walk on the ground, and rarely fly in the air. Therefore, for the specific detection scene, the auxiliary information acquired by the rank determining unit 232 is, for example, scene information (that is, background information of the input image). Furthermore, the rank determination unit 232 may specifically determine a specific spatial relationship between a specific object and a scene according to the scene information. Therefore, when the rank determination unit 232 determines the spatial relationship between the candidate regions in S4321, only a specific spatial relationship may be determined without determining all the spatial relationships. As a result, the processing speed can be improved.
図4に戻る。画像からオブジェクトの領域が検出されると、検出部230は、閾値以上のスコアを持つ、或いは、上位N個にライク付けされたオブジェクトの検出領域を最終的な検出結果とし、図1に示したシステムバス180を介して出力デバイス160に検出結果を送出し、最終的なオブジェクトの検出結果(例えば領域の位置、スコア、特徴)をユーザに向けて表示、もしくは、人物認識処理(例えば人物属性認識、人物マッチング、人物画像検索、人物の振る舞い/行動等の認識もしくは解析等)などの後続処理にオブジェクトの検出領域を出力する。例えば、人物の振る舞い/行動等の認識もしくは解析については、図2に示されるオブジェクト検出装置200で検出されたオブジェクトの領域は、好ましくは、対象人物、及び、その対象人物が身にまとった/握った/用いた付属物、及び、その対象人物の近接する他の人物の領域であり、これにより、対象人物と付属物又は隣接人物間の振る舞い/行動が、その領域間の空間的関係から直接的に認識もしくは解析できる。また、例えば、対象人物とその対象人物に隣接する他の人物についての場合、領域間の空間的関係が“包含関係(inclusion relationship)”である場合、対象人物の行動は、例えば、“抱いている(holding)”として推察できる。また、対象人物とその対象人物の付属物について、領域間の空間的関係が“隣接関係(adjacency relationship)”である場合、対象人物の行動は例えば“握っている(grasping)”であると推察できる。また、ビデオのセグメント内の人物画像サーチにおいて、対象人物とその対象人物の付属物間の空間的関係は一般にそれほど変動しない。それ故、検出された領域間の空間的関係を有するビデオのセグメント内の対象人物は類似しているかどうかのみを判定しても良い。例えば、ビデオのセグメント内のスーツケースを引っ張っている対象人物が類似しているかどうかのみが判定される。 Returning to FIG. When the object region is detected from the image, the detection unit 230 sets the detection region of the object having a score equal to or higher than the threshold value or attached to the top N as the final detection result, as illustrated in FIG. The detection result is sent to the output device 160 via the system bus 180, and the final object detection result (for example, the position, score, and feature of the region) is displayed for the user, or person recognition processing (for example, person attribute recognition) The object detection area is output to subsequent processing such as person matching, person image search, and recognition or analysis of person behavior / behavior. For example, for recognition or analysis of a person's behavior / behavior or the like, the object area detected by the object detection apparatus 200 shown in FIG. 2 is preferably the target person and the target person / The object that is gripped / used and the area of the other person in the vicinity of the target person, so that the behavior / behavior between the target person and the accessory or the neighboring person can be determined from the spatial relationship between the areas. Can be directly recognized or analyzed. Further, for example, in the case of the target person and other persons adjacent to the target person, when the spatial relationship between the regions is “inclusion relationship”, the behavior of the target person is, for example, “holding” It can be inferred as “holding”. In addition, regarding the target person and the attachment of the target person, if the spatial relationship between the areas is “adjacency relationship”, it is inferred that the action of the target person is, for example, “grasping” it can. Also, in a human image search within a video segment, the spatial relationship between the target person and the target person's appendages generally does not vary significantly. Therefore, it may only be determined whether the target person in the segment of the video having a spatial relationship between the detected regions is similar. For example, it is only determined whether the target person pulling the suitcase in the video segment is similar.
本発明の第1の実施形態に従えば、画像内の個々の特徴点間の空間的関係はオブジェクト領域が検出されるときに利用されるので、これら空間的関係はオブジェクトの領域検出を規制することになり、それ故、関連するオブジェクトをより良く検出することを可能にする。関連するオブジェクトは一般に監視プロセス中に人物の監視に有用であるので、オブジェクト検出の再現率だけでなく、人を監視する効果も本発明に従って改善することができる。 According to the first embodiment of the present invention, since the spatial relationship between individual feature points in the image is used when an object region is detected, these spatial relationships regulate object region detection. This makes it possible to better detect related objects. Since related objects are generally useful for monitoring a person during the monitoring process, not only the reproducibility of object detection but also the effect of monitoring a person can be improved according to the present invention.
本発明の第1の実施形態において、オブジェクトの検出操作は1つの画像内で実行される。オブジェクト間の空間的関係は、一般に、短い継続時間内では大きくは変化しないので、本発明はビデオのセグメント内のオブジェクト検出を実行するためにも利用できる。図8は本発明の第2の実施形態におけるオブジェクト検出装置800の構成を示すブロック図である。ここで、図8に示される幾つか、もしくは全てのモジュールは、専用のハードウェアで実現しても良い。図8に示すように、オブジェクト検出装置800は、特徴抽出部810、候補領域検出部820、空間的関係判定部830及び順位判定部840を含む。 In the first embodiment of the present invention, the object detection operation is executed within one image. Since the spatial relationship between objects generally does not change significantly within a short duration, the present invention can also be used to perform object detection within a segment of video. FIG. 8 is a block diagram showing a configuration of an object detection apparatus 800 according to the second embodiment of the present invention. Here, some or all of the modules shown in FIG. 8 may be realized by dedicated hardware. As illustrated in FIG. 8, the object detection apparatus 800 includes a feature extraction unit 810, a candidate area detection unit 820, a spatial relationship determination unit 830, and a rank determination unit 840.
まず、図1に示される入力デバイス150は、特定の電子デバイス(例えばビデオカメラ等)から出力される、またはユーザか入力されたビデオのセグメントを受信する。次に、入力デバイス150は、受信したビデオを、システムバス180を介して、オブジェクト検出装置800に転送する。 First, the input device 150 shown in FIG. 1 receives a segment of video output from a particular electronic device (eg, a video camera, etc.) or input by a user. Next, the input device 150 transfers the received video to the object detection apparatus 800 via the system bus 180.
次に、図8に示されるように、特徴抽出部810は、受信したビデオ内の現ビデオフレームから特徴を抽出する。特徴抽出部810の動作は、図2に示した抽出部210のそれと同じであるので、その説明はここでは繰り返さない。 Next, as shown in FIG. 8, the feature extraction unit 810 extracts features from the current video frame in the received video. Since the operation of feature extraction unit 810 is the same as that of extraction unit 210 shown in FIG. 2, the description thereof will not be repeated here.
候補領域検出部820は、特徴抽出部810によって抽出された特徴に基づき、現ビデオフレームからオブジェクトの候補領域を検出する。候補領域検出部820の動作は、図3に示した候補領域検出部231と同じなので、その説明はここでは説明しない。 The candidate area detection unit 820 detects an object candidate area from the current video frame based on the features extracted by the feature extraction unit 810. Since the operation of the candidate area detection unit 820 is the same as that of the candidate area detection unit 231 shown in FIG. 3, the description thereof is not described here.
空間的関係判定部830は、現ビデオフレームに対するそれ以前のフレームの検出結果に基づき、候補領域検出部820により検出した候補領域間の空間的関係を判定する。ここでは、現ビデオフレームに対するそれ以前のフレームの検出結果は、本発明の第1の実施形態に従って得ても良い。1つの実施形態では、例えば前ビデオフレームのいずれかから検出したオブジェクトの領域間の空間的関係は、現ビデオフレーム内の候補領域間の空間的関係であるとする。他の実施形態では、例えば、前ビデオフレームのN個のビデオフレームから検出されたオブジェクトの領域間の空間的関係の広範囲な結果(例えば、重み付けまたは平均化などの数学的演算の実行で得られる)が、現ビデオフレーム内の候補領域間の空間的関係となっているとする。 The spatial relationship determination unit 830 determines the spatial relationship between candidate regions detected by the candidate region detection unit 820 based on the detection result of previous frames with respect to the current video frame. Here, the detection result of the previous frame with respect to the current video frame may be obtained according to the first embodiment of the present invention. In one embodiment, for example, a spatial relationship between regions of an object detected from any of the previous video frames is a spatial relationship between candidate regions in the current video frame. In other embodiments, for example, a wide range of spatial relationships between regions of objects detected from N video frames of the previous video frame (eg, obtained by performing mathematical operations such as weighting or averaging). ) Is a spatial relationship between candidate regions in the current video frame.
順位判定部840は、空間的関係判定部830で判定された候補領域間の空間的関係に基づき、候補領域検出部820で検出した候補領域の順位を判定し、
順位判定後の候補領域を、オブジェクトの領域とする。
The rank determination unit 840 determines the ranks of the candidate areas detected by the candidate area detection unit 820 based on the spatial relationship between the candidate areas determined by the spatial relationship determination unit 830,
The candidate area after the rank determination is set as an object area.
オブジェクトの領域が、現ビデオフレームから検出されると、順位判定部840は、予め定義された閾値以上のスコアを持つオブジェクトの領域を最終的な検出結果とする、もしくは、上位N個にランク付けられた領域を最終的な検出結果とし、図1のシステムバス180を介して出力デバイス160にその最終的な検出結果を転送し、現ビデオフレームの最終的に検出されたオブジェクトの領域(例えば領域の位置、スコア、特徴)をユーザに向けて表示、もしくは、人物認識処理(例えば人物属性認識、人物マッチング、人物画像検索、人物の振る舞い/行動等の認識もしくは解析等)などの後続処理にオブジェクトの検出領域を出力する。 When the object area is detected from the current video frame, the rank determination unit 840 sets the object area having a score equal to or higher than a predetermined threshold as the final detection result or ranks the top N areas. 1 is used as the final detection result, and the final detection result is transferred to the output device 160 via the system bus 180 of FIG. The object's position, score, and features) for the user, or for subsequent processing such as person recognition processing (for example, person attribute recognition, person matching, person image search, person behavior / behavior recognition or analysis, etc.) The detection area is output.
本発明の第2実施形態の応用例として、図8に示したオブジェクト検出装置800は、ビデオ内の人物を追跡するために利用しても良い。具体的には、ビデオ内の現ビデオフレームにおいて、現ビデオフレーム内の人物が、一般的に使われる人物追跡装置を用いて首尾よく追跡できる場合、現ビデオフレーム内の人物は、一般的に使われる人物追跡装置を用いて検出される。また、現ビデオフレーム内の人物が一般的に使われる人物追跡装置を用いて首尾よく追跡できない場合、現ビデオフレーム中の人物を、図8に示すオブジェクト検出装置800を用いて検出しても良い。これにより、ビデオ全体における人物の追跡が達成される。 As an application example of the second embodiment of the present invention, the object detection apparatus 800 shown in FIG. 8 may be used to track a person in a video. Specifically, in the current video frame in the video, if the person in the current video frame can be successfully tracked using commonly used person tracking devices, the person in the current video frame is generally used. Detected using a person tracking device. If the person in the current video frame cannot be tracked successfully using a commonly used person tracking apparatus, the person in the current video frame may be detected using the object detection apparatus 800 shown in FIG. . This achieves person tracking throughout the video.
[モデル生成]
本発明の第1の実施形態にて説明したように、本発明に適用可能なモデル(すなわち、事前生成モデル)は、空間的関係がラベル付けされたサンプルの学習にしたがって事前学習/事前生成される。ここで、上記のように、本発明の処理速度を向上させるため、例えば、図5に示すように、本発明に適用する事前生成モデルは、例えば、特徴抽出する部分、空間的関係を判定する部分、及び、領域/候補領域を検出する部分を含む。本発明において、事前学習モデルは、ディープラーニング法(例えば、ニューラルネットワーク法)を用いて、空間的関係がラベル付けされたサンプルのトレーニングに基づき生成されても良い。ここで、本発明における事前生成モデルの各部分は、複数レイヤのネットワークで構成され、例えば、特徴を抽出する部分はNレイヤネットワークで構成され、空間的関係を判定する部分はMレイヤネットワークで構成され、領域/候補領域を検出する部分はTレイヤネットワークで構成されても良い。ここで、N,M,Tは自然数であって、それらが示す値は同じでも異なっても良い。
[Model generation]
As described in the first embodiment of the present invention, a model applicable to the present invention (ie, a pre-generated model) is pre-trained / pre-generated according to the learning of samples labeled with spatial relationships. The Here, as described above, in order to improve the processing speed of the present invention, for example, as shown in FIG. 5, the pre-generated model applied to the present invention determines, for example, the part to extract features and the spatial relationship. And a portion for detecting a region / candidate region. In the present invention, the pre-learning model may be generated based on training of samples labeled with spatial relationships using a deep learning method (for example, a neural network method). Here, each part of the pre-generated model in the present invention is configured by a network of a plurality of layers, for example, a part for extracting features is configured by an N layer network, and a part for determining a spatial relationship is configured by an M layer network In addition, the part for detecting the region / candidate region may be configured by a T layer network. Here, N, M, and T are natural numbers, and the values indicated by them may be the same or different.
1つの実施形態では、事前生成モデルの生成に係る時間を短くするため、モデル内の、特徴を抽出する部分、空間的関係を判定する部分、及び、領域/候補領域を検出する部分は、バックプロパゲーション手段によって同時に更新される。図9は、本発明に適用可能なモデルを生成する生成法を概略的に示すフローチャート900である。図9に示されるフローチャート900にて、本発明に適用できるモデルを生成するニューラルネットワークを利用する例を使って説明する。しかし、これに限定される必要がないのは明らかである。ここで、図9に従った生成方法は、図1に示されるハードウェア構成100によって実行することもできる。 In one embodiment, in order to shorten the time required to generate the pre-generated model, the part for extracting the feature, the part for determining the spatial relationship, and the part for detecting the region / candidate region in the model are Updated simultaneously by means of propagation. FIG. 9 is a flowchart 900 schematically illustrating a generation method for generating a model applicable to the present invention. A flowchart 900 shown in FIG. 9 will be described using an example in which a neural network that generates a model applicable to the present invention is used. However, it is clear that this need not be limited. Here, the generation method according to FIG. 9 can also be executed by the hardware configuration 100 shown in FIG.
図9に示すように、まず、図1に示されるCPU110は、初期のニューラルネットワークと、入力デバイス150によって事前にセットされている複数のトレーニングサンプルを取得する。ここで、各トレーニングサンプルは空間的関係、領域位置、及び、オブジェクトカテゴリでラベル付けされているものである。そして、トレーニングサンプルにてラベル付けされた空間的関係は、例えば、“空間的関係の有り/無し”、“どのカテゴリに空間的関係が属しているか”等である。 As shown in FIG. 9, first, the CPU 110 shown in FIG. 1 acquires an initial neural network and a plurality of training samples set in advance by the input device 150. Here, each training sample is labeled with a spatial relationship, region location, and object category. The spatial relationship labeled in the training sample is, for example, “with / without spatial relationship”, “to which category the spatial relationship belongs”, and the like.
次に、ステップS910にて、一方で、CPU110は、トレーニングサンプルを、特徴を抽出するための部分の現ニューラルネットワーク(例えば、初期ニューラルネットワーク)、および、空間的関係を判定する部分の現ニューラルネットワーク(初期ニューラルネットワーク)に通過させ、 トレーニングサンプル中に存在する空間的関係を得る。一方、CPU110は、得られた空間的関係とサンプル空間的関係間の損失(例えば第1の損失Loss1)を判定する。ここでサンプル空間的関係は、トレーニングサンプルにおいてラベル付けされた空間的関係に従って得ても良い。第1の損失Loss1は現ニューラルネットワークを用いて得られる予測空間的関係の空間的関係値と、サンプル空間的関係の空間関係値(すなわち、実空間的関係値)との誤差を表し、ここで誤差は例えば距離により測定される。例えば、第1の損失Loss1は次式(1)によって得ることができる。 Next, in step S910, on the other hand, the CPU 110, on the other hand, the training sample, a part of the current neural network for extracting features (for example, an initial neural network) and a part of the current neural network for determining the spatial relationship (Initial neural network) to get the spatial relationship that exists in the training sample. On the other hand, the CPU 110 determines a loss (eg, first loss Loss1) between the obtained spatial relationship and the sample spatial relationship. Here, the sample spatial relationship may be obtained according to the spatial relationship labeled in the training sample. The first loss Loss1 represents an error between the spatial relationship value of the predicted spatial relationship obtained using the current neural network and the spatial relationship value of the sample spatial relationship (ie, the real spatial relationship value), where The error is measured by distance, for example. For example, the first loss Loss1 can be obtained by the following equation (1).
ステップS920にて、一方、CPU110は、トレーニングサンプルを全ての現ニューラルネットワーク(例えば初期ニューラルネットワーク)に通過させ、オブジェクトの領域/候領域位置と、オブジェクトのオブジェクトカテゴリを得る。すなわち、CPU110は、トレーニングサンプルを、特徴抽出する部分の現ニューラルネットワーク、空間的関係を判定する部分の現ニューラルネットワーク、及び、オブジェクトの領域/候補領域を検出するための部分のニューラルネットワークに通過させて、オブジェクトの領域/候補領域位置と、オブジェクトのオブジェクトカテゴリを得る。他方、得られたオブジェクトの領域/候補領域位置について、CPU110は、得られたオブジェクトの領域/候補領域の位置とサンプル領域位置間の損失(例えば第2の損失Loss2)を判定する。ここで、サンプル領域位置は、トレーニングサンプルにラベル付けされた領域の位置に従って得ることができる。ここで、第2の損失Loss2は、現ニューラルネットワークを用いて得られる予測領域/候補領域位置とサンプル領域位置との間の誤差を表し、その誤差は距離によって計測される。例えば、第2の損失Loss2は次式(2)及び(3)により得られる。 On the other hand, in step S920, CPU 110 passes the training samples through all current neural networks (eg, initial neural network), and obtains the object region / scenario region position and the object category of the object. That is, the CPU 110 passes the training sample through the current neural network of the part for feature extraction, the current neural network of the part for determining the spatial relationship, and the partial neural network for detecting the object area / candidate area. The object area / candidate area position and the object category of the object are obtained. On the other hand, for the obtained object region / candidate region position, the CPU 110 determines a loss (for example, a second loss Loss2) between the obtained object region / candidate region position and the sample region position. Here, the sample region location can be obtained according to the location of the region labeled on the training sample. Here, the second loss Loss2 represents an error between the prediction region / candidate region position obtained using the current neural network and the sample region position, and the error is measured by the distance. For example, the second loss Loss2 is obtained by the following equations (2) and (3).
得られたオブジェクトのオブジェクトカテゴリについて、CPU119は得られたオブジェクトのオブジェクトカテゴリとサンプルオブジェクトカテゴリ間の損失(例えば第2の損失Loss3)を判定する。ここで、サンプルオブジェクトカテゴリはトレーニングサンプルにてラベル付けされたオブジェクトカテゴリに従って得ることができる。また、この第3の損失Loss3は、現ニューラルネットワークを用いて得られる予測オブジェクトカテゴリと、サンプルオブジェクトカテゴリ(すなわち、実オブジェクトカテゴリ)との誤差を表し、この誤差は例えば距離によって計測できる。例えば第3の損失Loss3は次式(4)によって得られる。 For the object category of the obtained object, the CPU 119 determines a loss (for example, the second loss Loss3) between the object category of the obtained object and the sample object category. Here, the sample object category can be obtained according to the object category labeled in the training sample. The third loss Loss3 represents an error between the predicted object category obtained by using the current neural network and the sample object category (that is, the real object category), and this error can be measured by, for example, distance. For example, the third loss Loss3 is obtained by the following equation (4).
ここで、mはトレーニングサンプルが属するオブジェクトのオブジェクトカテゴリの番号を表し、Mはトレーニングサンプルが属するオブジェクトのオブジェクトカテゴリの最大数を表し、ymはオブジェクトカテゴリmのオブジェクトの実オブジェクトカテゴリを表し、pmはオブジェクトカテゴリmのオブジェクトの予測オブジェクトカテゴリを表す。 Here, m represents the number of the object category of objects that training sample belongs, M represents the maximum number of objects category of objects that training sample belongs, y m represents the real object category of objects in the object category m, p m represents the predicted object category of the object of object category m.
図9に戻って、ステップS930にて、CPU110は全ての現ニューラルネットワークが判定によって得られる全損失(すなわち、第1の損失Loss1、第2の損失Loss2及び第3の損失Loss3)に基づき、所定の条件を満たすかどうかを判定する。例えば、3つの損失の合計もしは重みづけ合計が閾値(例えばTH2)と比較され、3つの損失の合計/重みづけ合計がTH2以下の場合は、全ての現ニューラルネットワークが所定の条件を満たすと判定され、最終的なニューラルネットワーク(すなわち、事前生成モデル)として出力される。ここで最終的なニューラルネットワークは、例えば、図2乃至図8を参照して説明したオブジェクト検出のために、図2に示した記憶デバイス240に出力される。3つの損失の合計/重みづけ合計がTH2より大きい場合、全ての現ニューラルネットワークは所定の条件を満たしていないと判定され、生成処理はステップS940に進む。 Returning to FIG. 9, in step S930, the CPU 110 determines a predetermined value based on the total loss (that is, the first loss Loss1, the second loss Loss2, and the third loss Loss3) obtained by all the current neural networks. It is determined whether or not the condition is satisfied. For example, if the sum of three losses is compared with a threshold sum (eg, TH2) and the sum of three losses / weighted sum is less than or equal to TH2, all current neural networks satisfy the predetermined condition It is determined and output as a final neural network (ie, a pre-generated model). Here, the final neural network is output to the storage device 240 shown in FIG. 2, for example, for the object detection described with reference to FIGS. If the sum of three losses / weighted sum is greater than TH2, it is determined that all the current neural networks do not satisfy the predetermined condition, and the generation process proceeds to step S940.
ステップS940にて、CPU110は第1の損失Loss1に基づき空間的半径を判定する部分の現ニューラルネットワークの各レイヤのパラメータを更新する。ここで各レイヤのパラメータは、例えば、現ニューラルネットワークの各コンボリューションレイヤの重みである。1つの例では、各レイヤのパラメータは、例えば確率的勾配降下法(stochastic gradient descent method)を用いることによって、第1の損失Loss1に基づいて更新される。 In step S940, CPU 110 updates the parameters of each layer of the current neural network for determining the spatial radius based on first loss Loss1. Here, the parameter of each layer is, for example, the weight of each convolution layer of the current neural network. In one example, the parameters for each layer are updated based on the first loss Loss1, for example by using a stochastic gradient descent method.
ステップS950にて、CPU110は、第2の損失Loss2及び第3の損失Loss3に基づき、オブジェクトの領域/候補領域を検出する部分の現ニューラルネットワークにおける各レイヤのパラメータを更新する。ここでの各レイヤのパラメータも、例えば、現ニューラルネットワークにおけるコンボリューションレイヤの重みである。1つの実施形態では、各レイヤのパラメータは、例えば確率的勾配降下法を用い、第2の損失Loss2及び第3の損失Loss3に基づき更新される。 In step S950, CPU 110 updates the parameters of each layer in the current neural network of the part for detecting the object area / candidate area based on second loss Loss2 and third loss Loss3. The parameter of each layer here is also the weight of the convolution layer in the current neural network, for example. In one embodiment, the parameters for each layer are updated based on the second loss Loss2 and the third loss Loss3, for example using a stochastic gradient descent method.
ステップS960にて、CPU110は、第1の損失Loss1、第2の損失Loss2及び第3の損失Loss3に基づき、特徴抽出する部分の現ニューラルネットワークの各レイヤのパラメータを更新する。ここで、各レイヤのパラメータは、例えば現ニューラルネットワークにおける各コンボリューションレイヤにおける重みでもある。1つの例において、各レイヤのパラメータは、また、確率的勾配降下法を用いて、第1の損失Loss1.第2の損失Loss2及び第3の損失Loss3に基づいて更新される。その後、生成処理は再度ステップS910に進む。 In step S960, CPU 110 updates parameters of each layer of the current neural network of the feature extraction portion based on first loss Loss1, second loss Loss2, and third loss Loss3. Here, the parameter of each layer is also a weight in each convolution layer in the current neural network, for example. In one example, the parameters for each layer are also obtained using a stochastic gradient descent method with a first loss Loss1. Updated based on the second loss Loss2 and the third loss Loss3. Thereafter, the generation process proceeds to step S910 again.
図9に示されるフローチャートにおいては、第1の損失Loss1、第2の損失Loss2及び第3の損失Loss3の3つの損失の合計/重み合計が所定の条件を満たすかどうかの条件は、現ニューラルネットワークの更新を停止する条件とした。しかし、これに限定される必要がないのは明らかである。例えば、ステップS930を省略するものの、現ニューラルネットワークへの更新回数が所定回数に達した後、対応する更新動作を停止する。 In the flowchart shown in FIG. 9, whether or not the sum / weight sum of three losses of the first loss Loss1, the second loss Loss2, and the third loss Loss3 satisfies a predetermined condition is the current neural network. The condition to stop the update of. However, it is clear that this need not be limited. For example, although step S930 is omitted, after the number of updates to the current neural network reaches a predetermined number, the corresponding update operation is stopped.
上記のすべてのユニットは、本開示に記載の処理を実施するための例示的および/または好ましいモジュールである。 これらのユニットは、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ、特定用途向け集積回路などのようなハードウェアユニット、および/またはコンピュータ可読プログラムのようなソフトウェアモジュールであり得る。各ステップを実施するためのユニットについては、上記では詳細に説明されていない。しかしながら、特定のプロセスを実行するステップがあるとき、同じプロセスを実施するための対応する機能モジュールまたはユニット(ハードウェアおよび/またはソフトウェアによって実施される)であってもよい。説明によるステップのすべての組み合わせの技術的解決策およびこれらのステップに対応するユニットは、それらによって構成される技術的解決策が完全で適用可能である限り、本願の開示内容に含まれる。 All of the above units are exemplary and / or preferred modules for performing the processes described in this disclosure. These units may be hardware units such as field programmable gate arrays (FPGAs), digital signal processors, application specific integrated circuits, and / or software modules such as computer readable programs. The units for performing each step are not described in detail above. However, when there are steps to perform a particular process, it may be a corresponding functional module or unit (implemented by hardware and / or software) for performing the same process. The technical solutions of all combinations of steps according to the description and the units corresponding to these steps are included in the disclosure content of this application as long as the technical solutions constituted by them are complete and applicable.
本発明の方法、及び、装置は複数のやり方で実施することができる。例えば、本発明の方法および装置は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせによって実施しても良い。本方法のステップの上記の順序は単なる例示であることを意図しており、本発明の方法のステップは、特に明記しない限り、上記で具体的に説明した順序に限定されない。さらに、いくつかの実施形態において、本発明はまた、本発明による方法を実施するためのマシン可読命令を含む記録媒体に記録されたプログラムとして実施することもできる。したがって、本発明は、本発明による方法を実施するためのプログラムを記録した記録媒体も包含するものである。 The method and apparatus of the present invention can be implemented in a number of ways. For example, the method and apparatus of the present invention may be implemented by software, hardware, firmware, or any combination thereof. The above order of steps of the method is intended to be exemplary only, and the steps of the method of the invention are not limited to the order specifically described above unless otherwise specified. Further, in some embodiments, the present invention can also be implemented as a program recorded on a recording medium that includes machine-readable instructions for performing the method according to the present invention. Therefore, the present invention also includes a recording medium on which a program for executing the method according to the present invention is recorded.
本発明のいくつかの特定の実施形態を例示で詳述したが、上記の実施形態は単なる例示的であり、本発明の範囲を限定するものではないことを当業者は理解するべきである。当業者には当然のことながら、本発明の範囲および精神から逸脱することなく、上記の実施形態を修正することができる。本発明の範囲は、付随する特許請求の範囲によって規定されるものである。 While several specific embodiments of the present invention have been described in detail by way of example, it should be understood by those skilled in the art that the above embodiments are merely exemplary and do not limit the scope of the invention. Those skilled in the art will recognize that the above embodiments can be modified without departing from the scope and spirit of the invention. The scope of the present invention is defined by the appended claims.
Claims (21)
画像から特徴を抽出する抽出手段と、
抽出した特徴に基づき前記画像における個別の特徴点間の空間的関係を判定する判定手段と、
判定した空間的関係に基づき、前記画像内のオブジェクトの領域を検出する検出手段と、ここで前記オブジェクトは前記画像内の関連付けられたオブジェクトである
を有することを特徴とするオブジェクト検出装置。 An object detection device,
Extraction means for extracting features from the image;
Determining means for determining a spatial relationship between individual feature points in the image based on the extracted features;
An object detection apparatus comprising: detecting means for detecting a region of an object in the image based on the determined spatial relationship; and wherein the object is an associated object in the image.
抽出した特徴に基づき画像からオブジェクトの候補領域を検出する候補領域検出手段と、
判定した空間的関係に基づいて前記候補領域の順位を判定し、当該順位判定後の候補領域を前記オブジェクトの領域とする順位判定手段と
を有することを特徴とする請求項1に記載のオブジェクト検出装置。 The detection means includes
Candidate area detecting means for detecting a candidate area of an object from an image based on the extracted features;
The object detection according to claim 1, further comprising: a rank determination unit that determines the rank of the candidate area based on the determined spatial relationship and sets the candidate area after the rank determination as the area of the object. apparatus.
前記2つの候補領域における少なくとも1つの対象オブジェクトの位置情報およびカテゴリ情報、
前記2つの候補領域内の少なくとも1つの対象オブジェクトの結合点情報、
前記画像の背景情報、
の少なくとも1つに基づき判定されることを特徴とする請求項6に記載のオブジェクト検出装置。 In any two candidate regions, the spatial relationship between the two candidate regions is
Position information and category information of at least one target object in the two candidate areas,
Coupling point information of at least one target object in the two candidate regions;
Background information of the image,
The object detection apparatus according to claim 6, wherein the determination is based on at least one of the following.
前記空間的拘束は、少なくとも
前記2つの候補領域間の相対的な位置関係、
前記2つの候補領域間の位相関係、
前記2つの候補領域間の相対形状関係
の1つを少なくとも含むことを特徴とする請求項5に記載のオブジェクト検出装置。 A spatial relationship between two candidate regions represents a spatial constraint between the two candidate regions,
The spatial constraint is at least a relative positional relationship between the two candidate regions,
A phase relationship between the two candidate regions;
The object detection apparatus according to claim 5, comprising at least one of a relative shape relationship between the two candidate regions.
前記検出手段は、前記事前生成モデルを用いて、前記画像からオブジェクトの領域を検出する
ことを特徴とする請求項2又は4に記載のオブジェクト検出装置。 The extraction means extracts features from the image using a pre-generated model;
The object detection apparatus according to claim 2, wherein the detection unit detects an object region from the image using the pre-generated model.
前記事前生成モデルの生成処理にて、特徴を抽出する現在の部分、空間的関係を判定するための現在の部分、オブジェクトの領域を検出するための現在の部分が、バックプロパゲーションの手段により同時に更新される
ことを特徴とする請求項10に記載のオブジェクト検出装置。 The pre-generated model has at least three parts: a part for extracting features, a part for determining a spatial relationship, and a part for detecting a region of an object;
In the generation process of the pre-generated model, a current part for extracting features, a current part for determining a spatial relationship, and a current part for detecting a region of an object are obtained by means of back propagation. The object detection apparatus according to claim 10, wherein the object detection apparatus is updated at the same time.
画像から特徴を抽出する抽出ステップと、
抽出した特徴に基づき前記画像における個別の特徴点間の空間的関係を判定する判定ステップと、
判定した空間的関係に基づき、前記画像内のオブジェクトの領域を検出する検出ステップと、ここで前記オブジェクトは前記画像内の関連付けられたオブジェクトである
を有することを特徴とするオブジェクト検出方法。 An object detection method,
An extraction step for extracting features from the image;
A determination step of determining a spatial relationship between individual feature points in the image based on the extracted features;
An object detection method comprising: detecting a region of an object in the image based on the determined spatial relationship; and wherein the object is an associated object in the image.
抽出した特徴に基づき画像からオブジェクトの候補領域を検出する候補領域検出ステップと、
判定した空間的関係に基づいて前記候補領域の順位を判定し、当該順位判定後の候補領域を前記オブジェクトの領域とする順位判定ステップと
を有することを特徴とする請求項12に記載のオブジェクト検出方法。 The detecting step includes
A candidate area detection step of detecting a candidate area of the object from the image based on the extracted features;
The object detection method according to claim 12, further comprising: determining a rank of the candidate area based on the determined spatial relationship, and determining a rank of the candidate area after the rank determination as the object area. Method.
前記空間的拘束は、少なくとも
前記2つの候補領域間の相対的な位置関係、
前記2つの候補領域間の位相関係、
前記2つの候補領域間の相対形状関係
の1つを少なくとも含むことを特徴とする請求項16に記載のオブジェクト検出方法。 The spatial relationship between two candidate regions represents the spatial constraint between the two candidate regions,
The spatial constraint is at least a relative positional relationship between the two candidate regions,
A phase relationship between the two candidate regions;
The object detection method according to claim 16, comprising at least one of a relative shape relationship between the two candidate regions.
前記検出ステップでは、前記事前生成モデルを用いて、前記オブジェクトの領域が前記画像から検出される
ことを特徴とする請求項13又は15に記載のオブジェクト検出方法。 In the extraction step, the features are extracted from the image using a pre-generated model,
The object detection method according to claim 13 or 15, wherein in the detection step, the region of the object is detected from the image using the pre-generated model.
抽出した特徴に基づき、前記現ビデオフレームからオブジェクトの候補領域を検出する候補領域検出手段と、
前記現ビデオフレームの前ビデオフレームの検出結果に基づき、前記候補領域の間の空間的関係を判定する空間的関係判定手段と、
前記候補領域間の空間的関係に基づき、前記候補領域の順位を判定し、当該順位の判定後の候補領域を、前記オブジェクトの領域する順位判定手段とを有し、
前記現ビデオフレームの前ビデオフレームの検出結果は、請求項1乃至11のいずれか1つのオブジェクト検出装置を用いて得られることを特徴とするオブジェクト検出装置。 Feature extraction means for extracting features from the current video frame in the video;
Candidate area detection means for detecting a candidate area of an object from the current video frame based on the extracted features;
A spatial relationship determination means for determining a spatial relationship between the candidate regions based on a detection result of a previous video frame of the current video frame;
Based on the spatial relationship between the candidate areas, the rank of the candidate areas is determined, and the candidate areas after the determination of the ranks have rank determination means for area of the object,
12. The object detection device according to claim 1, wherein the detection result of the previous video frame of the current video frame is obtained using the object detection device according to any one of claims 1 to 11.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810516451.9 | 2018-05-25 | ||
CN201810516451.9A CN110532838A (en) | 2018-05-25 | 2018-05-25 | Object test equipment and method and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019204505A true JP2019204505A (en) | 2019-11-28 |
JP6823686B2 JP6823686B2 (en) | 2021-02-03 |
Family
ID=68656802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019091606A Active JP6823686B2 (en) | 2018-05-25 | 2019-05-14 | Object detection device and method and storage medium |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6823686B2 (en) |
CN (1) | CN110532838A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112633069A (en) * | 2020-11-26 | 2021-04-09 | 贝壳技术有限公司 | Object detection method and device |
CN113011377A (en) * | 2021-04-06 | 2021-06-22 | 新疆爱华盈通信息技术有限公司 | Pedestrian attribute identification method and device, electronic equipment and storage medium |
KR20210136138A (en) * | 2019-12-30 | 2021-11-16 | 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드 | Image processing method, apparatus, storage medium and electronic device |
WO2022249351A1 (en) * | 2021-05-26 | 2022-12-01 | 日本電信電話株式会社 | Position estimation device, position estimation learning device, position estimation method, position estimation learning method, position estimation program, and position estimation learning program |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011003136A (en) * | 2009-06-22 | 2011-01-06 | Sony Corp | Operation control device and method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007025900A (en) * | 2005-07-13 | 2007-02-01 | Canon Inc | Image processor and image processing method |
WO2013136395A1 (en) * | 2012-03-12 | 2013-09-19 | 日本電気株式会社 | Sensor device, sensing method, and recording medium storing program |
JP6708368B2 (en) * | 2014-04-25 | 2020-06-10 | コンデュエント ビジネス サービシーズ エルエルシー | Method and system for partial concealment processing in vehicle tracking using deformable partial model |
CN106355182A (en) * | 2015-07-14 | 2017-01-25 | 佳能株式会社 | Methods and devices for object detection and image processing |
CN107766867A (en) * | 2016-08-15 | 2018-03-06 | 佳能株式会社 | Object shapes detection means and method, image processing apparatus and system, monitoring system |
US10467459B2 (en) * | 2016-09-09 | 2019-11-05 | Microsoft Technology Licensing, Llc | Object detection based on joint feature extraction |
-
2018
- 2018-05-25 CN CN201810516451.9A patent/CN110532838A/en active Pending
-
2019
- 2019-05-14 JP JP2019091606A patent/JP6823686B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011003136A (en) * | 2009-06-22 | 2011-01-06 | Sony Corp | Operation control device and method |
Non-Patent Citations (1)
Title |
---|
山村敦 外1名: "ファジー推論ニューラルネットワークによる位置関係を考慮した風景画像の認識", 電気学会論文誌C 電子・情報・システム部門誌, vol. 第122-C巻 第3号, JPN6020018342, 1 March 2002 (2002-03-01), pages 506 - 511, ISSN: 0004345141 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210136138A (en) * | 2019-12-30 | 2021-11-16 | 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드 | Image processing method, apparatus, storage medium and electronic device |
KR102432204B1 (en) * | 2019-12-30 | 2022-08-12 | 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드 | Image processing method, apparatus, storage medium and electronic device |
CN112633069A (en) * | 2020-11-26 | 2021-04-09 | 贝壳技术有限公司 | Object detection method and device |
CN113011377A (en) * | 2021-04-06 | 2021-06-22 | 新疆爱华盈通信息技术有限公司 | Pedestrian attribute identification method and device, electronic equipment and storage medium |
WO2022249351A1 (en) * | 2021-05-26 | 2022-12-01 | 日本電信電話株式会社 | Position estimation device, position estimation learning device, position estimation method, position estimation learning method, position estimation program, and position estimation learning program |
JP7521698B2 (en) | 2021-05-26 | 2024-07-24 | 日本電信電話株式会社 | Position estimation device, position estimation learning device, position estimation method, position estimation learning method, position estimation program, and position estimation learning program |
Also Published As
Publication number | Publication date |
---|---|
CN110532838A (en) | 2019-12-03 |
JP6823686B2 (en) | 2021-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11704907B2 (en) | Depth-based object re-identification | |
JP6823686B2 (en) | Object detection device and method and storage medium | |
US20220036135A1 (en) | Method and apparatus for determining image to be labeled and model training method and apparatus | |
US8929600B2 (en) | Action recognition based on depth maps | |
WO2021227726A1 (en) | Methods and apparatuses for training face detection and image detection neural networks, and device | |
US9846845B2 (en) | Hierarchical model for human activity recognition | |
CN108288051B (en) | Pedestrian re-recognition model training method and device, electronic equipment and storage medium | |
WO2019222401A2 (en) | Gradient adversarial training of neural networks | |
WO2020015752A1 (en) | Object attribute identification method, apparatus and system, and computing device | |
CN110555481A (en) | Portrait style identification method and device and computer readable storage medium | |
Chhetri et al. | Deep learning for vision‐based fall detection system: Enhanced optical dynamic flow | |
Luo et al. | Shape constrained network for eye segmentation in the wild | |
Park et al. | Attributed grammars for joint estimation of human attributes, part and pose | |
US20200242404A1 (en) | Image searching apparatus, classifier training method, and recording medium | |
JP6948851B2 (en) | Information processing device, information processing method | |
CN110689030A (en) | Attribute recognition device and method, and storage medium | |
CN110738650B (en) | Infectious disease infection identification method, terminal device and storage medium | |
Raj et al. | Image based bird species identification using convolutional neural network | |
Go et al. | Fine-grained multi-class object counting | |
Li et al. | Personrank: Detecting important people in images | |
Venkatachalam et al. | Bimodal HAR-An efficient approach to human activity analysis and recognition using bimodal hybrid classifiers | |
Rao et al. | A multi-view human gait recognition using hybrid whale and gray wolf optimization algorithm with a random forest classifier | |
Dufourq | A survey on factors affecting facial expression recognition based on convolutional neural networks | |
Zhou et al. | Learning a superpixel-driven speed function for level set tracking | |
Li et al. | Assessing and improving intelligent physical education approaches using modified cat swarm optimization algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6823686 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |