WO2018186398A1 - 学習データ生成装置、学習データ生成方法、および記録媒体 - Google Patents
学習データ生成装置、学習データ生成方法、および記録媒体 Download PDFInfo
- Publication number
- WO2018186398A1 WO2018186398A1 PCT/JP2018/014270 JP2018014270W WO2018186398A1 WO 2018186398 A1 WO2018186398 A1 WO 2018186398A1 JP 2018014270 W JP2018014270 W JP 2018014270W WO 2018186398 A1 WO2018186398 A1 WO 2018186398A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- captured image
- learning data
- identification
- unit
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Definitions
- the present disclosure relates to a learning data generation device, a learning data generation method, and a recording medium.
- learning data is extracted by extracting an object region, which is a region in which an object is captured, from each object captured image while continuously changing imaging conditions such as information on the position of the camera with respect to a subject.
- a learning data generation system for generating is described.
- Patent Document 2 the degree of similarity between data whose label value is unknown and the data whose label value is a predetermined value is calculated, and data to be learned next is selected based on the calculated degree of similarity.
- An active learning system is described.
- Patent Document 3 An example of a technique for detecting and tracking the position of a person using measurement data of a laser range sensor is described in Patent Document 3.
- learning data is generated while changing a shooting condition including at least information about the position of the camera. For example, automatically from a shot image taken by a camera whose information about the position cannot be changed. It may be difficult to generate learning data.
- the present disclosure has been made in view of the above problems, and one of its purposes is to provide a technique for efficiently generating learning data.
- a learning data generation device identifies a target included in a first captured image, and identifies the type, presence, or movement of the identified target in the first captured image. Generation that generates learning data based on an identification unit that generates an associated identification result, the identification result, and a second captured image that is related to the first captured image and is different from the first captured image Means.
- the learning data generation method identifies a target included in the first captured image, and identifies the type, presence, or movement of the identified target of the first captured image.
- An identification result associated with an image is generated, and learning data is generated based on the identification result and a second captured image that is related to the first captured image and is different in type from the first captured image.
- learning data can be generated efficiently.
- FIG. 12 is a flowchart illustrating an example of an operation flow of the image processing apparatus according to the third embodiment. It is a functional block diagram which shows an example of a function structure of the image processing apparatus which concerns on 4th Embodiment.
- 16 is a flowchart illustrating an example of an operation flow of the image processing apparatus according to the fourth embodiment. It is a figure which illustrates illustartively the hardware constitutions of the computer (information processing apparatus) which can implement
- each block diagram represents a functional unit configuration, not a hardware unit configuration.
- FIG. 1 is a diagram illustrating an example of a configuration of a learning data generation system 1 including a learning data generation device 100 according to the present embodiment.
- the learning data generation system 1 includes a learning data generation device 100 and an imaging device 2.
- the learning data generation device 100 is connected to the imaging device 2 so as to be communicable.
- the learning data generation device 100 is described as being configured separately from the imaging device 2, but the learning data generation device 100 may be configured to be built in the imaging device 2.
- the imaging device 2 may be plural.
- the video imaged by the imaging device 2 may be a moving image or a continuous still image.
- the imaging device 2 images a target.
- the target may be, for example, a product displayed on a store shelf or a person. The target only needs to be identified by an identification unit described later.
- the imaging device 2 images, for example, a product shelf of a store where the product is displayed. Then, the imaging device 2 transmits a video signal indicating the captured image to the learning data generation device 100.
- the imaging device 2 is, for example, a surveillance camera installed in a store.
- the imaging device 2 may store the captured image inside the imaging device 2 or in a storage device different from the learning data generation device 100.
- the imaging device 2 will be described as acquiring two types of captured images. Description will be made assuming that the first captured image is a color image.
- the captured image may be, for example, an image expressed in an RGB (Red Green Blue) image space or an image in another color space.
- the second captured image is a different type of image from the color image.
- the captured image may be, for example, an image acquired with a near-infrared camera, a far-infrared camera, or the like, or a distance image acquired with a depth camera.
- the imaging device 2 is described as including a depth camera that acquires a distance image as the first captured image and an RGB camera that acquires an RGB image as the second captured image.
- the RGB camera and the depth camera of the imaging device 2 are different devices, the RGB camera and the depth camera are provided in close proximity and image the same position or the same object (for example, a product shelf).
- the RGB camera and the depth camera are time-synchronized, and it is preferable to capture an object related to the object at approximately the same time. That is, the depth camera is preferably a camera that outputs a distance image obtained by capturing an image capturing range of the RGB image within a predetermined time from the capturing time of the RGB image captured by the RGB camera.
- the imaging device 2 may be a sensor that can acquire a plurality of types of images (for example, RGB images and distance images).
- the imaging device 2 may be an RGBD camera.
- FIG. 2 is a functional block diagram illustrating an example of a functional configuration of the learning data generation apparatus 100 according to the present embodiment.
- the learning data generation device 100 includes a first acquisition unit 110, a second acquisition unit 120, an identification unit 130, a generation unit 140, a first storage unit 150, and a second storage unit 160. Is provided.
- the first acquisition unit 110 and the second acquisition unit 120 acquire different types of signals.
- the first acquisition unit 110 acquires a signal indicating a distance image that is a first captured image.
- the first acquisition unit 110 may receive a signal transmitted from the imaging device 2, or the first imaging stored in a storage device different from the imaging device 2 or the imaging device 2 and the learning data generation device 100. You may acquire the signal converted based on the image.
- the second acquisition unit 120 acquires a signal indicating an RGB image that is the second captured image.
- the second acquisition unit 120 may receive a signal transmitted from the imaging device 2, or may store the second imaging stored in the imaging device 2 or in a storage device different from the imaging device 2 and the learning data generation device 100. You may acquire the signal converted based on the image.
- the first acquisition unit 110 and the second acquisition unit 120 may be configured to acquire the first captured image and the second captured image itself.
- FIG. 3 is a diagram for explaining the first captured image and the second captured image.
- the horizontal axis shown in FIG. 3 is the time axis.
- the depth camera and the RGB camera of the imaging device 2 repeatedly shoot while synchronizing.
- the captured image 31A that is the first captured image and the captured image 32A that is the second captured image at time t0 are capturing the same product shelf 3, as shown in FIG.
- the captured image 31B as the first captured image and the captured image 32B as the second captured image at the time t1 are times after the time t0 on the product shelf 3 similar to the captured image 31A and the captured image 32A. It is the image imaged at time t1.
- the first acquisition unit 110 supplies the acquired first captured image to the identification unit 130.
- the second acquisition unit 120 supplies the acquired second captured image to the generation unit 140.
- the first acquisition unit 110 may store the first captured image in the first storage unit 150.
- the second acquisition unit 120 may store the second captured image in the second storage unit 160.
- the first storage unit 150 stores identification data 151 used by the identification unit 130 for identification.
- the first storage unit 150 stores the identification result 152.
- the identification data 151 and the identification result 152 will be described later.
- the identification unit 130 identifies a target from the first captured image.
- the identification unit 130 receives the first captured image from the first acquisition unit 110. Then, the identification unit 130 identifies the target using the received first captured image and the identification data 151 stored in the identification unit 130.
- the identification unit 130 supplies the identification result to the generation unit 140.
- a specific example of the identification process performed by the identification unit 130 will be described later. For example, when the first captured image is supplied from the first acquisition unit 110, the identification unit 130 may perform identification processing, or may perform identification processing on a predetermined amount of the first captured image. .
- the generation unit 140 generates learning data based on the identification result and the second captured image related to the first captured image.
- the generation unit 140 generates a region on the second captured image corresponding to the identified target region included in the identification result from the second captured image corresponding to the first captured image related to the identification result supplied from the identification unit 130. Extract images.
- generation part 140 produces
- the second storage unit 160 stores the learning data 161 generated by the generation unit 140.
- the second storage unit 160 may store the second captured image acquired by the second acquisition unit 120.
- the second storage unit 160 may be configured separately from the first storage unit 150 or may be integrally formed.
- the second storage unit 160 may be realized by a storage device different from the learning data generation device 100.
- identification Example 1 A case where the identification unit 130 identifies the type of target will be described. Specifically, a case where the identification unit 130 identifies whether the target included in the first captured image is a person or the other will be described. It is assumed that the depth camera of the imaging device 2 performs imaging of the surface on which the products on the product shelf 3 are displayed, for example, from a fixed point. In this case, the first acquisition unit 110 acquires one reference image without a person and stores it as the identification data 151 in the first storage unit 150. Then, the identification unit 130 obtains a difference area by taking the difference between the identification data 151 that is the reference image and the first captured image (for example, the captured image 31A and the captured image 31B illustrated in FIG. 3).
- the identification unit 130 takes a difference between each pixel of the identification data 151 and each pixel of the first captured image, and sets a set of pixels having the difference equal to or larger than a predetermined value as a difference region. Then, the identification unit 130 identifies whether the difference area size matches the average size of the person, thereby identifying whether the difference area is a person or not. Further, the identification unit 130 acquires the outline of the person, the person area, and the position of the person on the first captured image from the difference area.
- the identification unit 130 attaches a label to the acquired information and stores it in the first storage unit 150 as the identification result 152.
- FIG. 4 is a diagram for explaining the operation of the identification unit 130.
- FIG. 4A shows an example of identification data 151 stored in the first storage unit 150. Note that the identification data 151 is an image in which pixel values corresponding to the above-described captured image 31A are approximated.
- FIG. 4B is the captured image 31A described above.
- the identification unit 130 takes the difference between the identification data 151 and the captured image 31A. As described above, the pixel values in the corresponding pixels of the identification data 151 and the captured image 31A are approximate, and the difference between the pixels is less than a predetermined value. Therefore, the identification unit 130 takes the difference value in the next first captured image.
- (C) of FIG. 4 is the captured image 31B shown in FIG.
- the captured image 31B includes a person.
- the identification unit 130 obtains a black portion (difference area 41) shown in the difference image in FIG. 4D by taking the difference between the identification data 151 and the captured image 31B.
- the difference image may be a binary image having the same size as the first captured image and the difference area 41 being expressed in a different manner from the others.
- the identifying unit 130 identifies whether the difference area 41 is the person or the other by determining whether the size of the difference area 41 matches the average size of the person.
- the identification unit 130 may identify, for example, a shopping basket or a shopping cart, or a person holding a shopping basket or a person pushing the shopping cart.
- the identification unit 130 acquires rectangular information indicating the position and size of the rectangle circumscribing the difference area 41 that is the black portion. Note that a rectangle 42 represented by the rectangle information is indicated by a broken line in FIG.
- the identification unit 130 identifies that the target detected as the difference area 41 is a person.
- FIG. 5 is a diagram illustrating an example of the identification result 152 output from the identification unit 130.
- the identification result 152 includes a captured image identifier 51 that indicates the first captured image from which the rectangle 42 is extracted, rectangular information 52 that indicates the position and size of the rectangle 42 that circumscribes the difference area 41, and And a label 53 indicating the identified object (object type).
- the rectangle information 52 may be composed of the x-coordinate value and the y-coordinate value of the four corners of the rectangle 42, and the x-coordinate and y-coordinate representing at least one of the four corners of the rectangle, and You may be comprised by the width and height of this rectangle.
- the label 53 may be information representing the movement of the identified object.
- FIG. 6 is a diagram for explaining another example of the operation of the identification unit 130.
- the depth camera of the imaging device 2 is described as taking a bird's-eye shot of a product shelf or a person in a store from a fixed point, for example.
- a reference image without a person as shown in FIG. The reference image is associated with position information indicating where the ground surface is located.
- the identification unit 130 calculates the difference between the identification data 151 that is the reference image and the first captured image (for example, the captured image 31C illustrated in FIG. 6B), and the differential image illustrated in FIG.
- the difference area 61 included in is obtained.
- the identification unit 130 determines whether the difference area 61 is the person's head or the other by determining whether the distance from the ground surface of the difference area 61 matches the average height of the person. Further, the identification unit 130 may acquire the position of the person's head by extracting an area having a certain height or more from the difference area 61.
- identification unit 130 identifies a target motion. Specifically, the case where the identifying unit 130 identifies the movement of the displayed commodity included in the first captured image will be described. It is assumed that the depth camera of the imaging device 2 performs imaging of the surface on which the products on the product shelf 3 are displayed, for example, from a fixed point. Further, it is assumed that the size of the product displayed on the product shelf 3 is stored in the first storage unit 150 or the like in advance.
- the identification unit 130 acquires differences between the plurality of first captured images acquired at a plurality of times. That is, in this example, an image acquired before the first captured image that is the target of the difference is used as the identification data 151.
- the identification unit 130 is an area indicated by the acquired difference, and the area where the distance from the imaging device 2 is far has the same size as the size of the product indicated by the identification data 151.
- the identification unit 130 assigns a label “Product has been acquired”.
- the identification part 130 can exclude the objects (for example, the person who moves in front of a goods shelf) other than the goods displayed on the goods shelf, and can perform the said identification process. Further, according to such a configuration, the identification unit 130 can identify the presence of a target that a person is included in the first captured image.
- the identification unit 130 may perform identification processing using a classifier that has machine-learned a captured image acquired in advance by a depth camera similar to the depth camera of the imaging device 2.
- the difficulty of machine learning is less than equivalent to the identification processing performed using RGB images.
- the second captured image is an image acquired by an RGB camera
- the first captured image is a depth camera, a near infrared camera, a far infrared camera, or the like.
- the first captured image can reduce the variety of textures to be identified as compared to the second captured image. Therefore, it is less difficult to perform machine learning when machine learning is performed using a captured image such as a distance image than when machine learning is performed using an RGB image.
- the identification unit 130 stores the result of identifying the target from the first captured image using the classifier that has performed machine learning in the first storage unit 150 as the identification result 152.
- the identification processing performed by the identification unit 130 is not limited to the above.
- the identification unit 130 only needs to be able to identify at least one of the type, presence, or movement of an object based on at least one of the size, shape, position, moving distance, and moving speed of the object. There is no particular limitation.
- FIG. 7 is a diagram for explaining the operation of the generation unit 140.
- FIG. 7 shows the captured image 32B described in FIG.
- the generation unit 140 includes a first captured image indicated by the captured image identifier 51 among the second captured images acquired by the second acquisition unit 120 from the captured image identifier 51 included in the identification result 152 supplied from the identification unit 130.
- the second captured image corresponding to the imaging time and the imaging position is acquired.
- the second captured image corresponding to the captured image 31B is the captured image 32B. Therefore, the generation unit 140 selects the second captured image that is the generation source of the learning data as the captured image 32B. Determine that there is.
- the generation unit 140 refers to the rectangular information 52 and specifies an area corresponding to the rectangular information 52 on the captured image 32B. As shown in FIG. 7, the area corresponding to the rectangular information 52 is an area surrounded by a rectangle 72 indicated by a broken line. In this manner, the generation unit 140 identifies the position of the rectangle 72 on the captured image 32B by mapping the rectangle indicated by the rectangle information 52 on the captured image 32B. Thereby, the generation unit 140 can specify that the area corresponding to the person area on the captured image 32 ⁇ / b> B is an area surrounded by the rectangle 72. Therefore, the generation unit 140 can generate the learning data 161 based on the captured image 32B, information indicating the position and size of the rectangle 72, and the label 53.
- FIG. 8 to 10 are diagrams illustrating an example of learning data 161 generated by the generation unit 140 and stored in the second storage unit 160.
- FIG. 8 to 10 are diagrams illustrating an example of learning data 161 generated by the generation unit 140 and stored in the second storage unit 160.
- the learning data 161 includes an image 81 and a label 82.
- the image 81 is a second captured image (for example, the captured image 32B) corresponding to the first captured image used for the identification process.
- the label 82 is a label 53 that is a result of identification of a target included in the first captured image.
- the learning data 161 may include an image 81, a label 82, and rectangular information 83.
- the rectangular information 83 is rectangular information 52 included in the identification result 152.
- the learning data 161 may include, as the image 101, a small area image obtained by extracting an image of the area indicated by the rectangular information 83 from the second captured image instead of the image 81.
- the generation unit 140 information indicating the area on the second captured image corresponding to the target area identified by the identification unit 130, the type of the identified target or the identified target You may generate the learning data 161 which linked
- the learning data generation device 100 can automatically create such learning data 161.
- the learning data 161 is not limited to the example illustrated in FIGS.
- the learning data 161 may include time-series data including a plurality of second captured images and a label given to the time-series data.
- the learning data 161 may include time-series data including a plurality of small area images and a label attached to the time-series data.
- a plurality of labels may be assigned to time-series data including a plurality of second captured images or small region images.
- the generation unit 140 associates an image feature quantity (vector) such as HOG (Histograms of Oriented Gradients) (see Non-Patent Document 1) extracted from the second captured image or the small region image of the second captured image with a label. Learning data may be generated.
- an image feature quantity such as HOG (Histograms of Oriented Gradients) (see Non-Patent Document 1) extracted from the second captured image or the small region image of the second captured image with a label. Learning data may be generated.
- FIG. 11 is a flowchart showing an example of the operation flow of the learning data generation apparatus 100 according to the present embodiment.
- the first acquisition unit 110 acquires the first captured image (step S111). Moreover, the 2nd acquisition part 120 acquires a 2nd captured image (step S112). Note that step S112 may be performed simultaneously with step S111 or may be performed in the reverse order.
- the identification unit 130 identifies a target included in the first captured image from the first captured image (step S113). Then, the identifying unit 130 generates an identification result in which information indicating the type, presence, or movement of the identified object is associated with the first captured image.
- generation part 140 produces
- the 2nd acquisition part 120 should just acquire the 2nd captured image imaged within the predetermined time (for example, the same time) from the imaging time of the 1st captured image. That is, the second acquisition unit 120 may acquire a second captured image within a predetermined time from the imaging time of the first captured image acquired by the first acquisition unit 110 in step S111 before step S114.
- the learning data generation device 100 is based on the rectangular information 52 and the label 53 included in the identification result obtained by performing the identification process on the first captured image, and the second captured image.
- the learning data 161 is generated.
- the learning data generation device 100 can reduce the cost of correct answering work by a person. Therefore, the learning data generation apparatus 100 can generate learning data efficiently.
- FIG. 12 is a functional block diagram illustrating an example of a functional configuration of the learning data generation device 200 according to the present embodiment.
- the learning data generation apparatus 200 includes a first acquisition unit 210, a second acquisition unit 120, an identification unit 130, a generation unit 240, a first storage unit 150, A second storage unit 160 and a position specifying unit 270 are provided.
- symbol is attached
- the position specifying unit 270 associates the position on the first captured image with the position on the second captured image.
- the position that the position specifying unit 270 associates is described as the position of the first captured image and the second captured image in the two-dimensional space, but the three-dimensional space corresponding to the first captured image The position may be associated with the position of the three-dimensional space corresponding to the second captured image.
- the position specifying unit 270 performs temporal alignment between the first captured image and the second captured image by using the captured count or the like given to the acquired first captured image and the second captured image by the imaging device 2. You may go.
- the time synchronization method between the first captured image and the second captured image is not particularly limited, and any method may be employed.
- the imaging device 2 includes two cameras, an RGBD camera that captures a distance image and a color image, and an RGB camera that captures a color image.
- the distance image captured by the RGBD camera is the same as the first captured image described above.
- the color image captured by the RGB camera is the same as the second captured image described above.
- a color image captured by the RGBD camera is referred to as a third captured image.
- the imaging apparatus 2 that captures the first captured image and the third captured image is described as one RGBD camera, but different imaging apparatuses may be used. In this case, it is preferable that the first captured image and the third captured image have substantially the same imaging time and imaging position.
- the third captured image is preferably an image of a different type from the first captured image and the same type of image as the second captured image.
- the first acquisition unit 210 acquires the first captured image and the third captured image.
- the method by which the first acquisition unit 210 acquires the first captured image and the third captured image is the same as that of the first acquisition unit 110.
- the first acquisition unit 210 supplies the acquired first captured image to the identification unit 130. Further, the identification unit 130 supplies the acquired third captured image to the position specifying unit 270.
- the position specifying unit 270 associates the position on the first captured image with the position on the second captured image.
- the position specifying unit 270 receives an identification result 152 as shown in FIG. In addition, the position specifying unit 270 receives the third captured image from the first acquisition unit 210. Further, the position specifying unit 270 receives the second captured image from the second acquisition unit 120. The position specifying unit 270 associates positions between the first captured image and the second captured image based on the identification result 152, the second captured image, and the third captured image.
- FIG. 13 is a diagram for explaining the operation of the position specifying unit 270.
- the RGBD camera captures the first captured image 131 and the third captured image 133.
- the RGB camera captures the second captured image 132. As shown in FIG. 13, it is assumed that the second captured image 132 and the third captured image 133 are different in the position of the product shelf 3 on the image.
- the position specifying unit 270 associates the positions of the third captured image 133 and the second captured image 132, which are the same type of images.
- the position specifying unit 270 performs position matching by performing matching between the second captured image 132 and the third captured image 133.
- Template matching Non-patent Document 2
- feature point matching method Patent Document 3
- the association function used for association is ⁇ A (•) (“•” is an arbitrary variable)
- the coordinate on the third captured image 133 is x 133
- the coordinate on the second captured image 132 is x 132.
- x 132 ⁇ A (x 133 ) holds.
- the rectangle 134 represented by the rectangle information 52 is obtained by the identification processing by the identification unit 130. Then, the position specifying unit 270 can specify the position on the second captured image 132 corresponding to the position of the rectangle 134 as the rectangle 135 by the association described above.
- the position specifying unit 270 associates positions by fixing the positional relationship between the RGBD camera and the RGB camera and performing calibration (processing for obtaining a conversion parameter between two data). May be.
- the position specifying unit 270 supplies rectangular information (a result of association) representing the rectangle 135 on the second captured image 132 to the generation unit 240.
- the generating unit 240 generates learning data 161 using the rectangular information supplied from the position specifying unit 270, the identification result 152 supplied from the identifying unit 130, and the second captured image.
- the generation process of the learning data 161 performed by the generation unit 240 is different from the learning data 161 performed by the generation unit 140 in that the rectangular information supplied from the position specifying unit 270 is used instead of the rectangular information 52 included in the identification result 152. Otherwise, the same method may be used.
- FIG. 14 is a flowchart showing an example of the operation flow of the learning data generation apparatus 200 according to the present embodiment.
- the first acquisition unit 210 acquires, for example, a first captured image and a third captured image obtained by capturing the product shelf 3 as illustrated in FIG. 13 (step S ⁇ b> 141). Moreover, the 2nd acquisition part 120 acquires a 2nd captured image (step S142). In addition, step S142 may be performed simultaneously with step S141, and may be performed in reverse order.
- the identification unit 130 identifies a target included in the first captured image from the first captured image (step S143). Then, the identifying unit 130 generates an identification result in which information indicating the type, presence, or movement of the identified object is associated with the first captured image.
- the position specifying unit 270 associates the position between the first captured image 131 and the second captured image 132 (step S144). Specifically, the position specifying unit 270 associates positions between the first captured image 131 and the third captured image 133, and associates positions between the third captured image 133 and the second captured image 132. To do.
- generation part 240 produces
- the position identification unit 270 is used to associate the position between the first captured image 131 and the second captured image 132.
- the recognition process when the recognition process is performed using an existing monitoring camera, the monitoring camera acquires the second captured image, and acquires the first captured image and the third captured image.
- the learning data generation device 200 can efficiently generate learning data, as in the first embodiment described above. Thereby, according to the learning data generation apparatus 200 which concerns on this Embodiment, the existing surveillance camera can be used effectively.
- the recognition process may be a process similar to the identification process performed by the identification unit 130 or may be a different process.
- FIG. 15 is a functional block diagram illustrating an example of a functional configuration of the learning data generation device 300 according to the present embodiment.
- the learning data generation device 300 according to the present embodiment includes a first acquisition unit 110, a second acquisition unit 120, a first identification unit 330, a generation unit 340, and a first storage unit 350.
- the learning data generation device 300 according to the present embodiment is configured to further include the second identification unit 380 and the consistency determination unit 390 in addition to the learning data generation device 100 described in the first embodiment.
- the data generation device 200 may include the second identification unit 380 and the consistency determination unit 390.
- symbol is attached
- the first identification unit 330 performs the same processing as the identification unit 130 described above.
- the first identification unit 330 stores the identified result as the first identification result 352 in the first storage unit 350.
- the first identification unit 330 supplies the first identification result 352 to the consistency determination unit 390.
- the first identification result 352 is the same identification result as the identification result 152 described above.
- the second identification unit 380 identifies the target from the second captured image.
- the second identification unit 380 may perform identification processing by a method similar to that of the identification unit 130, or may perform identification processing by a different method.
- the second identification unit 380 stores the identified result as the second identification result 353 in the first storage unit 350.
- the second identification unit 380 supplies the second identification result 353 to the consistency determination unit 390.
- it will be described that the first identification unit 330 and the second identification unit 380 are different from each other, but the first identification unit 330 and the second identification unit 380 are integrally formed. May be.
- the first storage unit 350 stores identification data 151, a first identification result 352, and a second identification result 353.
- the consistency determination unit 390 determines whether or not the first identification result 352 and the second identification result 353 are consistent. Below, the process of the consistency determination part 390 is demonstrated.
- the first identification result 352 is a result of identifying whether the target is a person based on the first captured image that is a distance image
- the second identification result 353 is based on the second captured image that is a color image. It is assumed that the result is an identification of whether or not.
- the consistency determination unit 390 determines that the identification result at the corresponding position of the first captured image and the second captured image is both identified as a person, that is, the label included in the first identification result 352 and the second identification result. If the label included in 353 is “person”, it is determined that there is consistency (consistency). When one of the label included in the first identification result 352 and the label included in the second identification result 353 is “person” and the other is other than a person, the consistency determination unit 390 matches. Judge that there is no. If both labels are other than a person, the consistency determination unit 390 determines that consistency is achieved.
- the first identification result 352 is a result of identifying whether the target is the head of a person based on a first captured image that is a distance image
- the second identification result 353 is based on a second captured image that is a color image. It is assumed that this is a result of identifying whether the target is a person.
- this example demonstrates similarly to the identification example 2 mentioned above, for example, the depth camera of the imaging device 2 is carrying out the bird's-eye photography of the product shelf and the person in a store from a fixed point, for example.
- the consistency determination unit 390 when the identification results at the corresponding positions of the first captured image and the second captured image match, that is, the label included in the first identification result 352 and the label included in the second identification result 353 And indicate heads, it is determined that there is a match (has consistency). When the label included in the first identification result 352 and the label included in the second identification result 353 are different, the consistency determination unit 390 determines that the matching is not achieved.
- the first identification result 352 is the result of identifying the movement of the product based on the first captured image that is the distance image
- the second identification result 353 is the result of identifying the movement of the product based on the second captured image that is the color image Suppose that it is a result.
- the consistency determination unit 390 when the identification results at the corresponding positions of the first captured image and the second captured image match, that is, the label indicating the movement of the product included in the first identification result 352 and the second identification result If the label representing the movement of the product included in 353 indicates the same movement, it is determined that the matching is achieved (has consistency). When the label included in the first identification result 352 and the label included in the second identification result 353 are different, the consistency determination unit 390 determines that the matching is not achieved.
- the determination method of the consistency determination unit 390 is not limited to this, and various determination methods may be employed.
- the consistency determination unit 390 supplies the determination result and the first identification result 352 and the second identification result 353 used for the determination to the generation unit 340.
- the generation unit 340 generates learning data based on the determination result supplied from the consistency determination unit 390, the first identification result 352 and the second identification result 353, and the second captured image supplied from the second acquisition unit 120. Is generated. Specifically, when the determination result indicates that matching is not achieved, the generation unit 340 determines that further learning is necessary for identification, and is included in the first identification result 352 or the second identification result 353. Learning data 161 is generated from the second captured image based on the rectangular information to be obtained.
- FIG. 16 is a flowchart illustrating an example of an operation flow of the learning data generation apparatus 300 according to the present embodiment.
- the first acquisition unit 110 acquires a first captured image (step S161).
- the second acquisition unit 120 acquires the second captured image (step S162).
- step S162 may be performed simultaneously with step S161 or may be performed in the reverse order.
- the first identification unit 330 identifies the target included in the first captured image from the first captured image (step S163). Then, the first identification unit 330 generates an identification result in which information indicating the type, presence, or movement of the identified object is associated with the first captured image.
- the second identification unit 380 identifies the target included in the second captured image from the second captured image (step S164). Then, the second identification unit 380 generates an identification result in which information indicating the type, presence, or movement of the identified object is associated with the second captured image.
- step S164 may be performed simultaneously with step S163, or may be performed in the reverse order.
- the consistency determination unit 390 determines whether or not the first identification result 352 and the second identification result 353 are consistent (step S165). If there is consistency (YES in step S165), generation unit 340 determines that there is sufficient learning data to identify the first captured image and the second captured image, and generates learning data 161. The process ends without
- the generation unit 340 uses the learning data 161 based on at least one of the first identification result and the second identification result and the second captured image acquired in step S112. Is generated (step S166). Then, the generation unit 340 stores the generated learning data 161 in the second storage unit 160 (Step S167).
- consistency determination unit 390 matches the first identification result for the first captured image with the second identification result for the second captured image. The presence or absence of is determined. Accordingly, the generation unit 340 can generate the learning data 161 using the captured image that has been determined to require learning. Therefore, the learning data generation apparatus 300 can create learning data 161 for improving recognition accuracy.
- the second surveillance image is acquired by the existing surveillance camera.
- the learning data generation device 300 generates learning data 161 using the second captured image. Thereby, the learning data generation apparatus 300 can improve the recognition accuracy of the system.
- FIG. 17 is a functional block diagram illustrating an example of a functional configuration of the learning data generation apparatus 10 according to the present embodiment. As illustrated in FIG. 17, the learning data generation device 10 according to the present embodiment includes an identification unit 11 and a generation unit 12.
- the identification unit 11 has the functions of the identification unit 130 and the first identification unit 330 described above.
- the identification unit 11 identifies a target included in the first captured image from the first captured image, and uses the first captured image as information indicating the type, presence, or movement of the identified target.
- An identification result associated with the image is generated.
- the identification unit 11 may perform identification processing by adopting any of the identification examples 1 to 4 described above, or may perform identification processing by other identification methods.
- the identification unit 11 supplies the generated identification result to the generation unit 12.
- the generation unit 12 has the functions of the generation unit 140, the generation unit 240, and the generation unit 340 described above.
- the generation unit 12 generates learning data based on the identification result and a second captured image that is related to the first captured image and has a different type from the first captured image.
- the learning data generated by the generation unit 12 may be, for example, any of the learning data 161 illustrated in FIGS. 8 to 10 or may be in other formats.
- FIG. 18 is a flowchart showing an example of the operation of the learning data generation apparatus 10 according to the present embodiment.
- the identification unit 11 identifies a target included in the first captured image (step S181).
- the identification unit 11 generates an identification result in which information indicating the type, presence, or movement of the identified object is associated with the first captured image.
- the generation unit 12 generates learning data based on the identification result generated by the identification unit 11 and the second captured image that is related to the first captured image and has a different type from the first captured image (step S182). .
- the learning data generation device 10 is based on the identification result obtained by performing the identification process on the first captured image and the second captured image that is different in type from the first captured image. Generate learning data. Thereby, the learning data generation apparatus 10 can reduce the cost of correct answer work by a person. Therefore, the learning data generation apparatus 100 can generate learning data efficiently.
- the above-described learning data generation devices may be configured to be incorporated in the imaging device 2 as described above.
- the learning data generation device (100, 200, 300, and 10) It is preferable to be mounted on an apparatus that captures the first captured image.
- the device that captures the second captured image may be a surveillance camera already installed in the store.
- the imaging device 2 that captures the first captured image is installed near the surveillance camera or at a position where the second captured image captured by the surveillance camera and the first captured image can be associated with each other. That's fine.
- the imaging device 2 that captures the first captured image may be removed. Thereby, the removed imaging device 2 can be attached to another store.
- a surveillance camera that captures the second captured image may be used.
- a system that performs image recognition is deployed in many retail store chains.
- the imaging device 2 that preferably captures the first captured image can be reused. Therefore, according to such a structure, it can contribute to the introduction cost reduction of a system.
- the learning data generation device may further include a discriminator that performs learning using the generated learning data. Thereby, the learning data generation device can perform recognition processing with high accuracy using the discriminator.
- each component of each device represents a functional unit block. A part or all of each component of each device is realized by an arbitrary combination of an information processing device 900 and a program as shown in FIG. 19, for example.
- FIG. 19 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 900 that realizes each component of each apparatus.
- the information processing apparatus 900 includes the following configuration as an example.
- CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- a program 904 loaded into the RAM 903
- a storage device 905 that stores the program 904
- a drive device 907 that reads / writes data from / to the recording medium 906
- a communication interface 908 connected to the communication network 909
- Each component of each device in each embodiment is realized by the CPU 901 acquiring and executing a program 904 that realizes these functions.
- a program 904 for realizing the function of each component of each device is stored in advance in, for example, the storage device 905 or the ROM 902, and the CPU 901 loads the RAM 903 and executes it as necessary.
- the program 904 may be supplied to the CPU 901 via the communication network 909, or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply it to the CPU 901.
- each device may be realized by an arbitrary combination of an information processing device 900 and a program that are different for each component.
- a plurality of constituent elements included in each device may be realized by an arbitrary combination of one information processing device 900 and a program.
- each device is realized by other general-purpose or dedicated circuits, processors, etc., or combinations thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus.
- each device may be realized by a combination of the above-described circuit and the like and a program.
- each device When some or all of the constituent elements of each device are realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged or distributedly arranged. Also good.
- the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system and a cloud computing system.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
学習データ生成装置(10)は、第1撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第1撮像画像に関連付けた識別結果を生成する識別部(11)と、識別結果と第1撮像画像に関連する、第1撮像画像とは種類が異なる第2撮像画像と、に基づいて、学習データを生成する生成部(12)と、を備える。
Description
本開示は、学習データ生成装置、学習データ生成方法、および記録媒体に関する。
機械学習を用いた識別処理には、入力データと該入力データに対応する正解ラベルの組を学習データとして用意しパラメータの更新を行う、教師あり学習と呼ばれる方法がある。学習データには、識別処理の実行の際に実際に入力されうるデータを網羅的に用いるのが効果的である。識別処理の実行の際に入力されうるデータを網羅するには、大量の学習データを用意する、または、認識処理が行われるのと同様の環境で取得されたデータを識別処理に用いることが有効である。しかしながら、一般に識別処理において用いる正解データは人手によって付されるのであるため、データの量が増えると人的コストが増えるという問題がある。
特許文献1には、被写体に対するカメラの位置に関する情報などの撮影条件を連続的に変更しながら撮影された各物体撮影画像から、物体が写っている領域である物体領域を抽出することにより学習データを生成する学習データ生成システムが記載されている。
また、特許文献2には、ラベルの値が未知のデータについてラベルの値が所定の値であるデータとの類似度を計算し、この計算した類似度に基づいて次に学習するデータを選択する能動学習システムが記載されている。
また、レーザ測域センサの測定データを用いて、人物の位置の検出と追跡とを行う技術の一例が特許文献3に記載されている。
Naveet Daniel, Bill Triggs, "Histograms of Oriented Gradients for Human Detection", Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05), U.S.A, IEEE Computer Society, 06.2005, Volume1-Volume01, p.886-893
橋本学、「テンプレートマッチングの魅力~物体検出・位置決めの定番技術~」(http://isl.sist.chukyo-u.ac.jp/Archives/SSII2013TS-Hashimoto.pdf)、第19回画像センシングシンポジウムチュートリアル講演会、2013年6月12日発表
特許文献1に記載の技術では、カメラの位置に関する情報を少なくとも含む撮影条件を変更しながら、学習データを生成するため、例えば、位置に関する情報が変更できないカメラによって撮影された撮影画像から自動的に学習データを生成することが難しい場合がある。
また、特許文献2に記載の技術では、選択されたデータに対する正解のラベル付けは、人手によって行われているため、データが増えるほどラベル付けにかかる人的コストが増えてしまう可能性がある。
本開示は、上記課題に鑑みてなされたものであり、その目的の一つは、効率的に学習データを生成する技術を提供することにある。
本開示の一態様に係る学習データ生成装置は、第1撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第1撮像画像に関連付けた識別結果を生成する識別手段と、前記識別結果と、前記第1撮像画像に関連する、前記第1撮像画像とは種類が異なる第2撮像画像とに基づいて、学習データを生成する生成手段と、を備える。
また、本開示の一態様に係る学習データ生成方法は、第1撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第1撮像画像に関連付けた識別結果を生成し、前記識別結果と、前記第1撮像画像に関連する、前記第1撮像画像とは種類が異なる第2撮像画像とに基づいて、学習データを生成する。
なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
本開示によれば、効率的に学習データを生成することができる。
以下、本開示の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウェア単位の構成ではなく、機能単位の構成を表している。
<第1の実施の形態>
図1は、本実施の形態に係る学習データ生成装置100を含む学習データ生成システム1の構成の一例を示す図である。図1に示す通り、学習データ生成システム1は、学習データ生成装置100と撮像装置2とを含む。学習データ生成装置100は、撮像装置2と通信可能に接続している。なお、本実施の形態において、学習データ生成装置100は、撮像装置2と別個の構成であるとして説明を行うが、学習データ生成装置100は撮像装置2に内蔵される構成であってもよい。また、撮像装置2は、複数であってもよい。また、撮像装置2が撮像する映像は、動画像であってもよいし、連続する静止画像であってもよい。
図1は、本実施の形態に係る学習データ生成装置100を含む学習データ生成システム1の構成の一例を示す図である。図1に示す通り、学習データ生成システム1は、学習データ生成装置100と撮像装置2とを含む。学習データ生成装置100は、撮像装置2と通信可能に接続している。なお、本実施の形態において、学習データ生成装置100は、撮像装置2と別個の構成であるとして説明を行うが、学習データ生成装置100は撮像装置2に内蔵される構成であってもよい。また、撮像装置2は、複数であってもよい。また、撮像装置2が撮像する映像は、動画像であってもよいし、連続する静止画像であってもよい。
撮像装置2は、対象を撮像する。対象とは、例えば、店舗の商品棚に陳列された商品であってもよいし、人物であってもよい。対象とは、後述する識別部によって識別されるものであればよい。撮像装置2は、例えば、対象である、商品が陳列された店舗の商品棚を撮像する。そして、撮像装置2は、撮像した撮像画像を示す映像信号を、学習データ生成装置100に送信する。撮像装置2は、例えば、店舗に設置されている監視カメラである。撮像装置2は、撮像画像を撮像装置2の内部または学習データ生成装置100とは異なる記憶装置に格納してもよい。
本実施の形態では、撮像装置2は、2種類の撮像画像を取得するとして説明を行う。撮像画像の1つ目は、カラー画像であるとして説明を行う。なお、撮像画像は、例えば、RGB(Red Green Blue)画像空間で表現される画像であってもよいし、他の色空間の画像であってもよい。
また、撮像画像の2つ目は、カラー画像とは異なる種類の画像である。撮像画像は、例えば、近赤外線カメラ、遠赤外線カメラ等で取得された画像であってもよいし、デプスカメラで取得された距離画像であってもよい。
なお、本実施の形態では、撮像装置2は、第1撮像画像として、距離画像を取得するデプスカメラと、第2撮像画像として、RGB画像を取得するRGBカメラとを含むとして説明を行う。
撮像装置2のRGBカメラとデプスカメラとが異なる機器の場合、RGBカメラとデプスカメラとは近接する位置に設けられ同じ位置または同じ物体(例えば、商品棚)を撮像する。また、RGBカメラとデプスカメラとは時刻同期がとられており、ほぼ同時刻に対象に関連する物体を撮像することが好ましい。つまり、デプスカメラは、RGBカメラによって撮像されたRGB画像の撮影時刻から所定の時間内に、且つ、RGB画像の撮像範囲を撮像した距離画像を出力するカメラであることが好ましい。また、撮像装置2は、複数の種類の画像(例えば、RGB画像および距離画像)を取得可能なセンサであってもよい。例えば、撮像装置2は、RGBDカメラであってもよい。
図2は、本実施の形態に係る学習データ生成装置100の機能構成の一例を示す機能ブロック図である。学習データ生成装置100は、図2に示す通り、第1取得部110と、第2取得部120と、識別部130と、生成部140と、第1記憶部150と、第2記憶部160とを備える。
第1取得部110および第2取得部120は、夫々種類が異なる信号を取得する。例えば、第1取得部110は、第1撮像画像である距離画像を示す信号を取得する。第1取得部110は、撮像装置2から送信された信号を受信してもよいし、撮像装置2の内部または撮像装置2および学習データ生成装置100とは異なる記憶装置に格納された第1撮像画像に基づいて変換された信号を取得してもよい。
第2取得部120は、第2撮像画像であるRGB画像を示す信号を取得する。第2取得部120は、撮像装置2から送信された信号を受信してもよいし、撮像装置2の内部または撮像装置2および学習データ生成装置100とは異なる記憶装置に格納された第2撮像画像に基づいて変換された信号を取得してもよい。
なお、学習データ生成装置100が撮像装置2に内蔵されている場合、第1取得部110および第2取得部120は、第1撮像画像および第2撮像画像そのものを取得する構成であってもよい。
第1取得部110および第2取得部120が取得する第1撮像画像および第2撮像画像について、図3を参照して説明する。図3は、第1撮像画像および第2撮像画像を説明するための図である。図3に示す横軸は時間軸である。撮像装置2のデプスカメラおよびRGBカメラは、同期しながら繰り返し撮影を行う。時刻t0における第1撮像画像である撮像画像31Aおよび第2撮像画像である撮像画像32Aは、図3に示す通り、同じ商品棚3を撮像している。同様に、時刻t1における第1撮像画像である撮像画像31Bおよび第2撮像画像である撮像画像32Bは、撮像画像31Aおよび撮像画像32Aと同様の商品棚3を時刻t0よりも後の時刻である時刻t1で撮像した画像である。
第1取得部110は、取得した第1撮像画像を識別部130に供給する。また、第2取得部120は、取得した第2撮像画像を生成部140に供給する。なお、第1取得部110は、第1撮像画像を第1記憶部150に格納してもよい。また、第2取得部120は、第2撮像画像を第2記憶部160に格納してもよい。
第1記憶部150は、識別部130が識別に用いる識別用データ151を格納する。また、第1記憶部150は、識別結果152を格納する。識別用データ151および識別結果152については後述する。
識別部130は、第1撮像画像から対象を識別する。識別部130は、第1取得部110から第1撮像画像を受け取る。そして、識別部130は受け取った第1撮像画像と、識別部130に格納された識別用データ151とを用いて、対象を識別する。識別部130は識別結果を生成部140に供給する。識別部130が行う識別処理の具体例については後述する。識別部130は、例えば、第1取得部110から第1撮像画像が供給されると、識別処理を行ってもよいし、所定量の第1撮像画像に対して、識別処理を行ってもよい。
生成部140は、識別結果と、第1撮像画像に関連する第2撮像画像とに基づいて、学習データを生成する。生成部140は、識別部130から供給された識別結果に関連する第1撮像画像に対応する第2撮像画像から、識別結果に含まれる識別した対象の領域に対応する第2撮像画像上の領域の画像を抽出する。そして、生成部140は抽出した画像に、識別結果に含まれるラベルを付与した学習データを生成する。そして、生成部140は、生成した学習データを第2記憶部160に格納する。
第2記憶部160は、生成部140が生成した学習データ161を格納する。また、第2記憶部160は、第2取得部120が取得した第2撮像画像を格納してもよい。また、第2記憶部160は、第1記憶部150と別個の構成であってもよいし、一体となって形成されてもよい。第2記憶部160は、学習データ生成装置100とは異なる記憶装置で実現されてもよい。
次に、識別部130の処理について、更に詳細に説明する。
(識別例1)
識別部130が、対象の種類を識別する場合について説明する。具体的には、識別部130が第1撮像画像に含まれる対象が人物かそれ以外かを識別する場合について説明する。撮像装置2のデプスカメラは、例えば定点から、商品棚3の商品が陳列された面の撮像を行っているとする。この場合、第1取得部110は、人物がいない基準の画像を一枚取得しておき、識別用データ151として第1記憶部150に格納する。そして、識別部130は、基準画像である識別用データ151と第1撮像画像(例えば、図3に示す撮像画像31Aおよび撮像画像31B)との差分をとり、差分領域を得る。例えば、識別部130は、識別用データ151の各画素と、第1撮像画像の各画素との差分を取り、差分が所定値以上の画素の集合を差分領域とする。そして、識別部130は、差分領域の大きさが、人物の平均的な大きさと一致するかを判定することで人物かそれ以外かを識別する。また、識別部130は、差分領域から、人物の輪郭、人物の領域、人物の第1撮像画像上の位置を取得する。
識別部130が、対象の種類を識別する場合について説明する。具体的には、識別部130が第1撮像画像に含まれる対象が人物かそれ以外かを識別する場合について説明する。撮像装置2のデプスカメラは、例えば定点から、商品棚3の商品が陳列された面の撮像を行っているとする。この場合、第1取得部110は、人物がいない基準の画像を一枚取得しておき、識別用データ151として第1記憶部150に格納する。そして、識別部130は、基準画像である識別用データ151と第1撮像画像(例えば、図3に示す撮像画像31Aおよび撮像画像31B)との差分をとり、差分領域を得る。例えば、識別部130は、識別用データ151の各画素と、第1撮像画像の各画素との差分を取り、差分が所定値以上の画素の集合を差分領域とする。そして、識別部130は、差分領域の大きさが、人物の平均的な大きさと一致するかを判定することで人物かそれ以外かを識別する。また、識別部130は、差分領域から、人物の輪郭、人物の領域、人物の第1撮像画像上の位置を取得する。
そして、識別部130は、取得した情報にラベルを付し、識別結果152として、第1記憶部150に格納する。
識別部130の動作について更に図4を用いて説明する。図4は、識別部130の動作を説明するための図である。図4の(a)は、第1記憶部150に格納された識別用データ151の一例を示す。なお、識別用データ151は、上述した撮像画像31Aと対応する画素値が近似した画像であるとする。
図4の(b)は、上述した撮像画像31Aである。識別部130は、識別用データ151と撮像画像31Aとの差分を取る。上述した通り、識別用データ151と撮像画像31Aとは対応する画素における画素値が近似しており、各画素の差分が所定値未満となる。
したがって、識別部130は、次の第1撮像画像における差分値を取る。図4の(c)は、図3に示した撮像画像31Bである。撮像画像31Bには人物が含まれる。識別部130は、識別用データ151と、撮像画像31Bとの差分を取ることにより、図4の(d)の差分画像に示す黒色の部分(差分領域41)を取得する。なお、差分画像は、第1撮像画像と同じサイズであり、差分領域41が他とは異なる様態で表現された2値画像であってもよい。
したがって、識別部130は、次の第1撮像画像における差分値を取る。図4の(c)は、図3に示した撮像画像31Bである。撮像画像31Bには人物が含まれる。識別部130は、識別用データ151と、撮像画像31Bとの差分を取ることにより、図4の(d)の差分画像に示す黒色の部分(差分領域41)を取得する。なお、差分画像は、第1撮像画像と同じサイズであり、差分領域41が他とは異なる様態で表現された2値画像であってもよい。
そして、識別部130は、差分領域41の大きさが、人物の平均的な大きさと一致するかを判定することで人物かそれ以外かを識別する。なお、識別部130は、例えば、買い物かごや買い物カートを識別してもよいし、買い物かごを持った人物や買い物カートを押している人物などを識別してもよい。
その後、識別部130はこの黒色の部分である差分領域41に外接する矩形の位置および大きさを示す矩形情報を取得する。なお、矩形情報によって表される矩形42を、図4の(d)では破線で示している。
なお、本例では、識別部130は、差分領域41として検出された対象が人物であると識別したとする。
図5は、識別部130が出力する識別結果152の一例を示す図である。識別結果152は、図5に示す通り、矩形42の抽出元となる第1撮像画像を示す撮像画像識別子51と、差分領域41に外接する矩形42の位置および大きさを示す矩形情報52と、識別された対象(対象の種類)を示すラベル53とを含む。
なお、矩形情報52は、矩形42の4隅のx座標値とy座標値で構成されていてもよいし、該矩形の4隅のうち、少なくとも1つの隅を表すx座標およびy座標、並びに該矩形の幅および高さで構成されてもよい。また、ラベル53は、識別された対象の動きを表す情報であってもよい。
(識別例2)
識別部130が、対象の種類を識別する場合について説明する。具体的には、識別部130が、第1撮像画像に含まれる対象が人物の頭部かそれ以外かを識別する場合について、図6を参照して説明する。図6は、識別部130の動作の他の例を説明するための図である。本例では、撮像装置2のデプスカメラは、例えば定点から、店舗内の商品棚や人物を俯瞰撮影しているとして説明を行う。この場合、図6の(a)に示すような人物がいない基準画像を識別用データ151とする。なお、基準画像には、地上面がどの位置にあるかを示す位置情報が関連付けられている。そして、識別部130は、基準画像である識別用データ151と第1撮像画像(例えば、図6の(b)に示す撮像画像31C)との差分をとり、図6の(c)の差分画像に含まれる差分領域61を得る。そして、識別部130は、差分領域61の地上面からの距離が人物の平均的な身長と一致するかを判定することで、該差分領域61が人物の頭部かそれ以外かを識別する。また、識別部130は、差分領域61のうち、一定の高さ以上の領域を抽出することで、人物頭部の位置を取得してもよい。
識別部130が、対象の種類を識別する場合について説明する。具体的には、識別部130が、第1撮像画像に含まれる対象が人物の頭部かそれ以外かを識別する場合について、図6を参照して説明する。図6は、識別部130の動作の他の例を説明するための図である。本例では、撮像装置2のデプスカメラは、例えば定点から、店舗内の商品棚や人物を俯瞰撮影しているとして説明を行う。この場合、図6の(a)に示すような人物がいない基準画像を識別用データ151とする。なお、基準画像には、地上面がどの位置にあるかを示す位置情報が関連付けられている。そして、識別部130は、基準画像である識別用データ151と第1撮像画像(例えば、図6の(b)に示す撮像画像31C)との差分をとり、図6の(c)の差分画像に含まれる差分領域61を得る。そして、識別部130は、差分領域61の地上面からの距離が人物の平均的な身長と一致するかを判定することで、該差分領域61が人物の頭部かそれ以外かを識別する。また、識別部130は、差分領域61のうち、一定の高さ以上の領域を抽出することで、人物頭部の位置を取得してもよい。
(識別例3)
識別部130が、対象の動きを識別する場合について説明する。具体的には、識別部130が、第1撮像画像に含まれる、陳列された商品の移動を識別する場合について説明する。撮像装置2のデプスカメラは、例えば定点から、商品棚3の商品が陳列された面の撮像を行っているとする。また、商品棚3に陳列された商品の大きさが予め第1記憶部150などに格納されているとする。
識別部130が、対象の動きを識別する場合について説明する。具体的には、識別部130が、第1撮像画像に含まれる、陳列された商品の移動を識別する場合について説明する。撮像装置2のデプスカメラは、例えば定点から、商品棚3の商品が陳列された面の撮像を行っているとする。また、商品棚3に陳列された商品の大きさが予め第1記憶部150などに格納されているとする。
識別部130は、複数の時刻で取得された複数の第1撮像画像同士の差分を取得する。
つまり、本例では、差分を取る対象の第1撮像画像よりも時間的に前に取得された画像を識別用データ151とする。識別部130は、取得した差分によって示される領域であって、撮像装置2からの距離が遠くなった領域が、識別用データ151によって示される商品の大きさと同様の大きさを有している場合には、識別部130は、「商品が取得された」というラベルを付与する。
つまり、本例では、差分を取る対象の第1撮像画像よりも時間的に前に取得された画像を識別用データ151とする。識別部130は、取得した差分によって示される領域であって、撮像装置2からの距離が遠くなった領域が、識別用データ151によって示される商品の大きさと同様の大きさを有している場合には、識別部130は、「商品が取得された」というラベルを付与する。
また、取得した差分によって示される領域であって、撮像装置2からの距離が近くなった領域が、識別用データ151によって示される商品の大きさと同様の大きさを有している場合には、「商品が補充された」というラベルを付与する。また、取得した差分によって示される領域のうち、撮像装置2からの距離が遠くなった領域と撮像装置2からの距離が近くなった領域とが隣接しており、識別用データ151によって示される商品の大きさよりも小さい場合には、「商品の位置がずれた」というラベルを付与する。
また、撮像装置2から商品棚までの距離や撮像画像における商品棚が含まれる範囲は、予め第1記憶部150等に記憶されていることが好ましい。これにより、識別部130は、商品棚に陳列された商品以外の物体(例えば、商品棚の前を移動する人物)を、除外して上記識別処理を行うことができる。また、このような構成によれば、識別部130が、第1撮像画像に人物が含まれるという、対象の存在を識別することができる。
(識別例4)
識別部130は、予め撮像装置2のデプスカメラと同様のデプスカメラで取得された撮像画像を機械学習した識別器を用いて識別処理を行ってもよい。ただし、機械学習の困難さ(同じ正解付コストをかけた場合の誤認識の多さ)がRGB画像を用いて行われる識別処理と同等未満であることが好ましい。例えば識別対象のテクスチャ(表面の模様)に多様さがある場合、第2撮像画像がRGBカメラで取得された画像であって、第1撮像画像がデプスカメラまたは近赤外線カメラまたは遠赤外線カメラなどで取得された画像である場合、第1撮像画像は、第2撮像画像よりも、識別対象のテクスチャの多様さを少なくできる。したがって、RGB画像を用いて機械学習を行うよりも、距離画像などの撮像画像を用いて機械学習を行う場合のほうが、機械学習の困難さが小さくなる。
識別部130は、予め撮像装置2のデプスカメラと同様のデプスカメラで取得された撮像画像を機械学習した識別器を用いて識別処理を行ってもよい。ただし、機械学習の困難さ(同じ正解付コストをかけた場合の誤認識の多さ)がRGB画像を用いて行われる識別処理と同等未満であることが好ましい。例えば識別対象のテクスチャ(表面の模様)に多様さがある場合、第2撮像画像がRGBカメラで取得された画像であって、第1撮像画像がデプスカメラまたは近赤外線カメラまたは遠赤外線カメラなどで取得された画像である場合、第1撮像画像は、第2撮像画像よりも、識別対象のテクスチャの多様さを少なくできる。したがって、RGB画像を用いて機械学習を行うよりも、距離画像などの撮像画像を用いて機械学習を行う場合のほうが、機械学習の困難さが小さくなる。
識別部130は、機械学習を行った識別器を用いて、第1撮像画像から対象を識別した結果を、識別結果152として第1記憶部150に格納する。
なお、識別部130が行う識別処理は、上記に限定されない。識別部130は、対象の大きさ、形状、位置、移動距離、および、移動速度の少なくとも1つに基づいて、対象の種類、存在、または、動きの少なくとも1つを識別できればよく、その方法は特に限定されない。
次に、図7を参照して、生成部140の動作について説明する。図7は、生成部140の動作を説明するための図である。
図7には、図3で説明した撮像画像32Bが示される。識別部130が、撮像画像32Aを用いて、例えば、図5に示すような識別結果152を出力したとする。生成部140は、識別部130から供給された識別結果152に含まれる撮像画像識別子51から、第2取得部120が取得した第2撮像画像のうち、撮像画像識別子51によって示される第1撮像画像の撮影時刻および撮像位置が対応する第2撮像画像を取得する。図3を用いて説明した通り、撮像画像31Bに対応する第2撮像画像は、撮像画像32Bであるため、生成部140は、学習データの生成元となる第2撮像画像を、撮像画像32Bであると決定する。
そして、生成部140は、矩形情報52を参照し、撮像画像32B上の、該矩形情報52に対応する領域を特定する。図7に示す通り、矩形情報52に対応する領域は、破線で示す矩形72で囲まれた領域である。このように、生成部140は、矩形情報52によって示される矩形を撮像画像32B上にマッピングすることにより、矩形72の撮像画像32B上の位置を特定する。これにより、生成部140は、撮像画像32B上の人物の領域に対応する領域が矩形72で囲まれた領域であると特定することができる。よって、生成部140は、撮像画像32B、矩形72の位置および大きさを示す情報およびラベル53に基づいて、学習データ161を生成することができる。
図8~図10は、生成部140が生成し、第2記憶部160に格納する学習データ161の一例を示す図である。
図8に示す通り、学習データ161は、画像81とラベル82とを含む。画像81は、識別処理に用いた第1撮像画像に対応する第2撮像画像(例えば、撮像画像32B)である。また、ラベル82は、第1撮像画像に含まれる対象の識別の結果であるラベル53である。
また、図9に示す通り、学習データ161は、画像81とラベル82と矩形情報83とを含んでもよい。矩形情報83は、識別結果152に含まれる矩形情報52である。
また、図10に示す通り、学習データ161は、画像81の代わりに、第2撮像画像から矩形情報83によって示される領域の画像を抽出した小領域画像を、画像101として含んでもよい。
このように、生成部140は、図9に示すような、識別部130が識別した対象の領域に対応する第2撮像画像上の領域を示す情報と、識別された対象の種類または識別された対象の動きを示す情報とを、第2撮像画像に関連付けた学習データ161を生成してもよい。また、生成部140は、図10に示すような、第2撮像画像のうち識別手段が識別した対象の領域に対応する第2撮像画像上の領域の画像と、識別された対象の種類または識別された対象の動きを示す情報とを関連付けた学習データ161を生成してもよい。
学習データ生成装置100は、このような学習データ161を自動的に作成することができる。
また、学習データ161は、図8から図10に例示したものに限定されない。例えば、学習データ161は、複数の第2撮像画像を含む時系列データと、該時系列データに対して付与されたラベルとを含んでもよい。また、学習データ161は、複数の小領域画像を含む時系列データと、該時系列データに対して付与されたラベルとを含んでもよい。学習データ161は、複数の第2撮像画像または小領域画像を含む時系列データには、複数のラベルが付与されてもよい。
また、生成部140は、第2撮像画像または第2撮像画像の小領域画像から抽出したHOG(Histograms of Oriented Gradients)(非特許文献1参照)などの画像特徴量(ベクトル)とラベルとを関連付けた学習データを生成してもよい。
図11は、本実施の形態に係る学習データ生成装置100の動作の流れの一例を示すフローチャートである。
図11に示す通り、第1取得部110が、第1撮像画像を取得する(ステップS111)。また、第2取得部120が第2撮像画像を取得する(ステップS112)。なお、ステップS112はステップS111と同時に行われてもよいし、逆順で行われてもよい。
識別部130は、第1撮像画像から、該第1撮像画像に含まれる対象を識別する(ステップS113)。そして、識別部130は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第1撮像画像に関連付けた識別結果を生成する。
そして、生成部140が、識別結果と、第1撮像画像に関連する、ステップS112で取得された第2撮像画像とに基づいて、学習データ161を生成する(ステップS114)。そして、生成部140は、生成した学習データ161を第2記憶部160に格納する(ステップS115)。
なお、第2取得部120は、第1撮像画像の撮像時刻から所定の時間内(例えば同時刻)に撮像された第2撮像画像を、取得すればよい。つまり、第2取得部120は、ステップS114よりも前にステップS111で第1取得部110が取得した第1撮像画像の撮像時刻から所定の時間内の第2撮像画像を取得すればよい。
以上のように、本実施の形態に係る学習データ生成装置100は、第1撮像画像に対して識別処理をした識別結果に含まれる矩形情報52およびラベル53と、第2撮像画像とに基づいて、学習データ161を生成する。これにより、学習データ生成装置100は、人による正解付け作業のコストを削減することができる。よって、学習データ生成装置100は、効率的に学習データを生成することができる。
<第2の実施の形態>
本開示の第2の実施の形態について説明する。図12は、本実施の形態に係る学習データ生成装置200の機能構成の一例を示す機能ブロック図である。図12に示す通り、本実施の形態に係る学習データ生成装置200は、第1取得部210と、第2取得部120と、識別部130と、生成部240と、第1記憶部150と、第2記憶部160と、位置特定部270とを備える。なお、上述した第1の実施の形態で説明した図面に含まれるブロックと同じ機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。
本開示の第2の実施の形態について説明する。図12は、本実施の形態に係る学習データ生成装置200の機能構成の一例を示す機能ブロック図である。図12に示す通り、本実施の形態に係る学習データ生成装置200は、第1取得部210と、第2取得部120と、識別部130と、生成部240と、第1記憶部150と、第2記憶部160と、位置特定部270とを備える。なお、上述した第1の実施の形態で説明した図面に含まれるブロックと同じ機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。
本実施の形態に係る学習データ生成装置200は位置特定部270によって、第1撮像画像上における位置と、第2撮像画像上における位置とを対応付ける。なお、本実施の形態において位置特定部270が対応付ける位置は、第1撮像画像および第2撮像画像の2次元空間の位置であるとして説明を行うが、第1撮像画像に対応する3次元空間の位置と、第2撮像画像に対応する3次元空間の位置とを対応付けてもよい。
なお、本実施の形態においても第1撮像画像を撮像する時刻と、第2撮像画像を撮像する時刻とは同期がとられているとする。位置特定部270は、取得された第1撮像画像および第2撮像画像に撮像装置2によって付与された撮像カウント等を用いて、第1撮像画像および第2撮像画像間の時間的な位置合わせを行ってもよい。第1撮像画像および第2撮像画像間の時刻の同期方法は特に限定されず、任意の方法を採用してもよい。
本実施の形態では、撮像装置2が距離画像およびカラー画像を撮像するRGBDカメラと、カラー画像を撮像するRGBカメラの2つのカメラであるとする。RGBDカメラによって撮像される距離画像は、上述した第1撮像画像と同様である。また、RGBカメラによって撮像されるカラー画像は、上述した第2撮像画像と同様である。また、RGBDカメラによって撮像されるカラー画像を第3撮像画像と呼ぶ。
なお、本実施の形態では、第1撮像画像と第3撮像画像とを撮像する撮像装置2が1つのRGBDカメラであるとして説明を行うが、夫々異なる撮像装置であってもよい。この場合、第1撮像画像と第3撮像画像とは、撮像時刻および撮像位置が略同じであることが好ましい。また、第3撮像画像は、第1撮像画像とは異なる種類の画像であり、且つ、第2撮像画像と同じ種類の画像であることが好ましい。
第1取得部210は、第1撮像画像と第3撮像画像とを取得する。第1取得部210が第1撮像画像および第3撮像画像を取得する方法は、第1取得部110と同様である。第1取得部210は、取得した第1撮像画像を識別部130に供給する。また、識別部130は、取得した第3撮像画像を位置特定部270に供給する。
位置特定部270は、第1撮像画像上の位置と第2撮像画像上の位置との対応付けを行う。
位置特定部270は、識別部130から、例えば、図5に示すような識別結果152を受け取る。また、位置特定部270は、第1取得部210から第3撮像画像を受け取る。
また、位置特定部270は、第2取得部120から第2撮像画像を受け取る。位置特定部270は、識別結果152、第2撮像画像および第3撮像画像に基づいて、第1撮像画像および第2撮像画像の間の位置の対応付けを行う。
また、位置特定部270は、第2取得部120から第2撮像画像を受け取る。位置特定部270は、識別結果152、第2撮像画像および第3撮像画像に基づいて、第1撮像画像および第2撮像画像の間の位置の対応付けを行う。
図13を参照して、位置特定部270の動作について説明を行う。図13は、位置特定部270の動作を説明するための図である。
RGBDカメラは、第1撮像画像131および第3撮像画像133を撮像する。また、RGBカメラは、第2撮像画像132を撮像する。図13に示す通り、第2撮像画像132と第3撮像画像133とは画像上において商品棚3の位置が異なっているとする。
位置特定部270は、まず、同じ種類の画像である、第3撮像画像133と第2撮像画像132との位置の対応付けを行う。位置特定部270は、第2撮像画像132と第3撮像画像133との間のマッチングを行うことにより、位置の対応付けを行う。マッチングにはテンプレートマッチング(非特許文献2)や、特徴点マッチングの方法(特許文献3)を用いることができる。ここで、対応付けに用いる対応付け関数をφA(・)(「・」は任意の変数)とし、第3撮像画像133上の座標をx133、第2撮像画像132上の座標をx132とすると、x132=φA(x133)が成り立つ。
次に、位置特定部270は、異なる種類の画像である、第3撮像画像133と、第1撮像画像131との位置の対応付けを行う。対応付けにはテンプレートマッチングを用いてもよいし、予めカメラのキャリブレーションをしておき、位置の対応関係を算出しておくことによりなされてもよい。第1撮像画像131上の座標をx131とし、対応付けに用いる対応付け関数をφB(・)とすると、x133=φB(x131)が成り立つ。
以上により、第1撮像画像131上の座標x131に対応する第3撮像画像133上の座標は、x132=φA(φB(x131))で、求めることができる。なお、座標のすべては1対1の対応である必要はなく、複数対応があってもよいし、確率的な対応関係であってもよい。
識別部130による識別処理によって、矩形情報52によって表される矩形134が得られる。そして、位置特定部270は、上述した対応付けにより、矩形134の位置に対応する第2撮像画像132上の位置を矩形135として特定することができる。
なお、位置特定部270は、RGBDカメラとRGBカメラとの位置関係を固定しておき、キャリブレーション(二つのデータ間での変換パラメータを求める処理)をしておくことで位置の対応付けを行ってもよい。
位置特定部270は、第2撮像画像132上における、矩形135を表現する矩形情報(対応付けの結果)を、生成部240に供給する。
生成部240は、位置特定部270から供給された矩形情報と、識別部130から供給された識別結果152と、第2撮像画像とを用いて、学習データ161を生成する。生成部240が行う学習データ161の生成処理は、生成部140が行う学習データ161と、識別結果152に含まれる矩形情報52ではなく、位置特定部270から供給された矩形情報を用いる点が異なるがその他は同様の方法であってもよい。
図14は、本実施の形態に係る学習データ生成装置200の動作の流れの一例を示すフローチャートである。
図14に示す通り、第1取得部210が、例えば、図13に示すような商品棚3を撮像した第1撮像画像および第3撮像画像を取得する(ステップS141)。また、第2取得部120が第2撮像画像を取得する(ステップS142)。なお、ステップS142はステップS141と同時に行われてもよいし、逆順で行われてもよい。
識別部130は、第1撮像画像から、該第1撮像画像に含まれる対象を識別する(ステップS143)。そして、識別部130は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第1撮像画像に関連付けた識別結果を生成する。
そして、位置特定部270が第1撮像画像131と第2撮像画像132との間で位置の対応付けを行う(ステップS144)。具体的には、位置特定部270は第1撮像画像131と第3撮像画像133との間で位置の対応付けを行い、第3撮像画像133と第2撮像画像132との間で位置の対応付けを行う。
そして、生成部240が、識別結果と、ステップS144の対応付けの結果と、第2撮像画像とに基づいて、学習データ161を生成する(ステップS145)。そして、生成部240は、生成した学習データ161を第2記憶部160に格納する(ステップS146)。
以上のように、本実施の形態に係る学習データ生成装置200によれば、位置特定部270を用いて、第1撮像画像131と第2撮像画像132との間の位置の対応付けを行う。
例えば、小売店舗等において、既設の監視カメラを用いて認識処理を行う場合、該監視カメラが、第2撮像画像を取得して、第1撮像画像および第3撮像画像を取得する撮像装置2を小売店舗等に設置することにより、学習データ生成装置200は、上述した第1の実施の形態と同様に、効率的に学習データを生成することができる。これにより、本実施の形態に係る学習データ生成装置200によれば、既設の監視カメラを効果的に利用することができる。なお、認識処理とは識別部130が行う識別処理と同様の処理であってもよいし、異なる処理であってもよい。
<第3の実施の形態>
本開示の第3の実施の形態について説明する。図15は、本実施の形態に係る学習データ生成装置300の機能構成の一例を示す機能ブロック図である。図15に示す通り、本実施の形態に係る学習データ生成装置300は、第1取得部110と、第2取得部120と、第1識別部330と、生成部340と、第1記憶部350と、第2記憶部160と、第2識別部380と、整合性判定部390とを備える。なお、本実施の形態に係る学習データ生成装置300は、第1の実施の形態において説明した学習データ生成装置100に更に第2識別部380および整合性判定部390を含む構成であるが、学習データ生成装置200に第2識別部380および整合性判定部390を含む構成であってもよい。なお、上述した第1の実施の形態で説明した図面に含まれるブロックと同じ機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。
本開示の第3の実施の形態について説明する。図15は、本実施の形態に係る学習データ生成装置300の機能構成の一例を示す機能ブロック図である。図15に示す通り、本実施の形態に係る学習データ生成装置300は、第1取得部110と、第2取得部120と、第1識別部330と、生成部340と、第1記憶部350と、第2記憶部160と、第2識別部380と、整合性判定部390とを備える。なお、本実施の形態に係る学習データ生成装置300は、第1の実施の形態において説明した学習データ生成装置100に更に第2識別部380および整合性判定部390を含む構成であるが、学習データ生成装置200に第2識別部380および整合性判定部390を含む構成であってもよい。なお、上述した第1の実施の形態で説明した図面に含まれるブロックと同じ機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。
第1識別部330は、上述した識別部130と同様の処理を行う。第1識別部330は識別した結果を第1記憶部350に第1識別結果352として格納する。また、第1識別部330は、第1識別結果352を整合性判定部390に供給する。第1識別結果352は、上述した識別結果152と同様の識別結果である。
第2識別部380は、第2撮像画像から対象を識別する。第2識別部380は、識別部130と同様の方法で識別処理を行ってもよいし、異なる方法で識別処理を行ってもよい。第2識別部380は、識別した結果を第1記憶部350に第2識別結果353として格納する。また、第2識別部380は、第2識別結果353を整合性判定部390に供給する。なお、本実施の形態では、第1識別部330と第2識別部380とが別であることについて説明を行うが、第1識別部330と第2識別部380とは一体となって形成されてもよい。
第1記憶部350は、識別用データ151、第1識別結果352および第2識別結果353を格納する。
整合性判定部390は、第1識別結果352と第2識別結果353とに整合性があるか否かを判定する。以下に、整合性判定部390の処理について説明する。
(整合性判定例1)
第1識別結果352が距離画像である第1撮像画像に基づく、対象を人物か否かを識別した結果であり、第2識別結果353がカラー画像である第2撮像画像に基づく、対象を人物か否かを識別した結果であるとする。
第1識別結果352が距離画像である第1撮像画像に基づく、対象を人物か否かを識別した結果であり、第2識別結果353がカラー画像である第2撮像画像に基づく、対象を人物か否かを識別した結果であるとする。
整合性判定部390は、第1撮像画像および第2撮像画像の対応する位置における識別の結果がどちらも人物と識別された場合、すなわち、第1識別結果352に含まれるラベルと第2識別結果353に含まれるラベルとが「人物」である場合、整合が取れている(整合性がある)と判定する。第1識別結果352に含まれるラベルと第2識別結果353に含まれるラベルとの何れか一方が「人物」であり、他方が人物以外である場合、整合性判定部390は、整合が取れていないと判定する。なお、両ラベルが人物以外の場合、整合性判定部390は整合が取れていると判定する。
(整合性判定例2)
第1識別結果352が距離画像である第1撮像画像に基づく、対象を人物の頭部か否かを識別した結果であり、第2識別結果353がカラー画像である第2撮像画像に基づく、対象を人物か否かを識別した結果であるとする。なお、本例は、上述した識別例2と同様に、撮像装置2のデプスカメラは、例えば定点から、店舗内の商品棚や人物を俯瞰撮影しているとして説明を行う。
第1識別結果352が距離画像である第1撮像画像に基づく、対象を人物の頭部か否かを識別した結果であり、第2識別結果353がカラー画像である第2撮像画像に基づく、対象を人物か否かを識別した結果であるとする。なお、本例は、上述した識別例2と同様に、撮像装置2のデプスカメラは、例えば定点から、店舗内の商品棚や人物を俯瞰撮影しているとして説明を行う。
整合性判定部390は、第1撮像画像および第2撮像画像の対応する位置における識別の結果が一致する場合、すなわち、第1識別結果352に含まれるラベルと第2識別結果353に含まれるラベルとが頭部を示す場合、整合が取れている(整合性がある)と判定する。第1識別結果352に含まれるラベルと第2識別結果353に含まれるラベルとが異なる場合、整合性判定部390は、整合が取れていないと判定する。
(整合性判定例3)
第1識別結果352が距離画像である第1撮像画像に基づく、商品の移動を識別した結果であり、第2識別結果353がカラー画像である第2撮像画像に基づく、商品の移動を識別した結果であるとする。
第1識別結果352が距離画像である第1撮像画像に基づく、商品の移動を識別した結果であり、第2識別結果353がカラー画像である第2撮像画像に基づく、商品の移動を識別した結果であるとする。
整合性判定部390は、第1撮像画像および第2撮像画像の対応する位置における識別の結果が一致する場合、すなわち、第1識別結果352に含まれる商品の動きを表すラベルと第2識別結果353に含まれる商品の動きを表すラベルとが同じ動きを示す場合、整合が取れている(整合性がある)と判定する。第1識別結果352に含まれるラベルと第2識別結果353に含まれるラベルとが異なる場合、整合性判定部390は、整合が取れていないと判定する。
整合性判定部390の判定の方法はこれに限定されず、様々な判定方法を採用してもよい。整合性判定部390は、判定結果と判定に用いた第1識別結果352および第2識別結果353とを生成部340に供給する。
生成部340は、整合性判定部390から供給された判定結果、第1識別結果352および第2識別結果353と、第2取得部120から供給された第2撮像画像とに基づいて、学習データの生成を行う。具体的には、判定結果が、整合が取れていないことを示す場合、生成部340は、識別に対して更なる学習が必要と判定し、第1識別結果352または第2識別結果353に含まれる矩形情報に基づいて、第2撮像画像から学習データ161を生成する。
図16は、本実施の形態に係る学習データ生成装置300の動作の流れの一例を示すフローチャートである。図16に示す通り、第1取得部110が、第1撮像画像を取得する(ステップS161)。また、第2取得部120が第2撮像画像を取得する(ステップS162)。なお、ステップS162はステップS161と同時に行われてもよいし、逆順で行われてもよい。
第1識別部330が、第1撮像画像から、該第1撮像画像に含まれる対象を識別する(ステップS163)。そして、第1識別部330は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第1撮像画像に関連付けた識別結果を生成する。
また、第2識別部380が、第2撮像画像から、該第2撮像画像に含まれる対象を識別する(ステップS164)。そして、第2識別部380は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第2撮像画像に関連付けた識別結果を生成する。
なお、ステップS164はステップS163と同時に行われてもよいし、逆順で行われてもよい。
そして、整合性判定部390が第1識別結果352と第2識別結果353とに整合性があるか否かを判定する(ステップS165)。整合性がある場合(ステップS165にてYES)、生成部340は、第1撮像画像および第2撮像画像に対する識別を行うために、十分な学習データがあると判定し、学習データ161を生成せずに処理を終了する。
整合性がない場合(ステップS165にてNO)、生成部340が、第1識別結果および第2識別結果の少なくとも何れかと、ステップS112で取得された第2撮像画像とに基づいて、学習データ161を生成する(ステップS166)。そして、生成部340は、生成した学習データ161を第2記憶部160に格納する(ステップS167)。
以上のように、本実施の形態に係る学習データ生成装置300によれば、整合性判定部390が第1撮像画像に対する第1識別結果と、第2撮像画像に対する第2識別結果との整合性の有無を判定する。これにより、生成部340は、学習が必要だと判定した撮像画像を用いて、学習データ161を生成することができる。よって、学習データ生成装置300は、認識精度を向上させるための学習データ161を作成することができる。
例えば、既設の監視カメラによる認識処理を行うシステムをすでに運用している環境において、認識精度が不足している場合、本実施の形態によれば、既設の監視カメラを、第2撮像画像を取得する撮像装置2とし、学習データ生成装置300が該第2撮像画像を用いて学習データ161を生成する。これにより、学習データ生成装置300は、システムの認識精度を向上させることができる。
<第4の実施の形態>
本開示の第4の実施の形態について、図面を参照して説明する。本実施の形態は、本開示の課題を解決する最小の構成について説明する。
本開示の第4の実施の形態について、図面を参照して説明する。本実施の形態は、本開示の課題を解決する最小の構成について説明する。
図17は、本実施の形態に係る学習データ生成装置10の機能構成の一例を示す機能ブロック図である。図17に示す通り、本実施の形態に係る学習データ生成装置10は、識別部11と、生成部12とを備える。
識別部11は、上述した識別部130および第1識別部330の機能を有する。識別部11は、第1撮像画像から、該第1撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第1撮像画像に関連付けた識別結果を生成する。識別部11は、例えば、上述した識別例1~4の何れかを採用して識別処理を行ってもよいし、その他の識別方法で識別処理を行ってもよい。識別部11は、生成した識別結果を生成部12に供給する。
生成部12は、上述した生成部140、生成部240および生成部340の機能を有する。生成部12は、識別結果と、第1撮像画像に関連する、第1撮像画像とは種類が異なる第2撮像画像とに基づいて、学習データを生成する。
生成部12が生成する学習データは、例えば、図8~図10に示す学習データ161の何れかであってもよいし、その他の形式であってもよい。
図18は、本実施の形態に係る学習データ生成装置10の動作の一例を示すフローチャートである。図18に示す通り、識別部11は、第1撮像画像に含まれる対象を識別する(ステップS181)。識別部11は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第1撮像画像に関連付けた識別結果を生成する。
生成部12は、識別部11が生成した識別結果と、第1撮像画像に関連する、第1撮像画像とは種類が異なる第2撮像画像とに基づいて、学習データを生成する(ステップS182)。
以上のように、本実施の形態に係る学習データ生成装置10は、第1撮像画像に対して識別処理をした識別結果と、第1撮像画像とは種類が異なる第2撮像画像とに基づいて、学習データを生成する。これにより、学習データ生成装置10は、人による正解付け作業のコストを削減することができる。よって、学習データ生成装置100は、効率的に学習データを生成することができる。
なお、上述した学習データ生成装置(100、200、300および10)は、上述した通り、撮像装置2に内蔵される構成であってもよい。また、例えば、第1撮像画像を撮像する装置と、第2撮像画像を撮像する装置とが別々の撮像装置2で実現される場合、学習データ生成装置(100、200、300および10)は、第1撮像画像を撮像する装置に搭載されることが好ましい。このとき、第2撮像画像を撮像する装置は、店舗に既に設置されている監視カメラであってもよい。この場合、第1撮像画像を撮像する撮像装置2が、監視カメラの近傍または監視カメラが撮像する第2撮像画像と第1撮像画像との位置の対応付けが行えるような位置に設置されていればよい。そして、学習データの生成が終わると、第1撮像画像を撮像する撮像装置2を取り外してもよい。これにより、取り外された撮像装置2は、他の店舗に取り付けることができる。
第2撮像画像を用いて人物や商品の識別処理を行う場合には、第2撮像画像を撮像する監視カメラを用いればよいため、例えば、画像認識を行うシステムを多数の小売店舗チェーンに展開する場合、好適に第1撮像画像を撮像する撮像装置2を再利用することができる。したがって、このような構成によれば、システムの導入コスト削減に寄与することができる。
また、学習データ生成装置(100、200、300および10)は、生成した学習データを用いて学習を行った識別器を更に含んでもよい。これにより、学習データ生成装置は、該識別器を用いて、高精度に認識処理を行うことができる。
(ハードウェア構成について)
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図19に示すような情報処理装置900とプログラムとの任意の組み合わせにより実現される。図19は、各装置の各構成要素を実現する情報処理装置900のハードウェア構成の一例を示すブロック図である。情報処理装置900は、一例として、以下のような構成を含む。
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図19に示すような情報処理装置900とプログラムとの任意の組み合わせにより実現される。図19は、各装置の各構成要素を実現する情報処理装置900のハードウェア構成の一例を示すブロック図である。情報処理装置900は、一例として、以下のような構成を含む。
・CPU(Central Processing Unit)901
・ROM(Read Only Memory)902
・RAM(Random Access Memory)903
・RAM903にロードされるプログラム904
・プログラム904を格納する記憶装置905
・記録媒体906の読み書きを行うドライブ装置907
・通信ネットワーク909と接続する通信インタフェース908
・データの入出力を行う入出力インタフェース910
・各構成要素を接続するバス911
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム904をCPU901が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901がRAM903にロードして実行される。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
・ROM(Read Only Memory)902
・RAM(Random Access Memory)903
・RAM903にロードされるプログラム904
・プログラム904を格納する記憶装置905
・記録媒体906の読み書きを行うドライブ装置907
・通信ネットワーク909と接続する通信インタフェース908
・データの入出力を行う入出力インタフェース910
・各構成要素を接続するバス911
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム904をCPU901が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901がRAM903にロードして実行される。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置900とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置900とプログラムとの任意の組み合わせにより実現されてもよい。
また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、2017年4月7日に出願された日本出願特願2017-076765を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 学習データ生成システム
2 撮像装置
3 商品棚
10 学習データ生成装置
11 識別部
12 生成部
100 学習データ生成装置
110 第1取得部
120 第2取得部
130 識別部
140 生成部
150 第1記憶部
160 第2記憶部
210 第1取得部
240 生成部
270 位置特定部
330 第1識別部
340 生成部
380 第2識別部
390 整合性判定部
2 撮像装置
3 商品棚
10 学習データ生成装置
11 識別部
12 生成部
100 学習データ生成装置
110 第1取得部
120 第2取得部
130 識別部
140 生成部
150 第1記憶部
160 第2記憶部
210 第1取得部
240 生成部
270 位置特定部
330 第1識別部
340 生成部
380 第2識別部
390 整合性判定部
Claims (10)
- 第1撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第1撮像画像に関連付けた識別結果を生成する識別手段と、
前記識別結果と、前記第1撮像画像に関連する、前記第1撮像画像とは種類が異なる第2撮像画像とに基づいて、学習データを生成する生成手段と、
を備える学習データ生成装置。 - 前記生成手段は、前記識別手段が識別した対象の領域に対応する前記第2撮像画像上の領域を示す情報と、前記識別された対象の種類または識別された対象の動きとを、前記第2撮像画像に関連付けた前記学習データを生成する、
請求項1に記載の学習データ生成装置。 - 前記生成手段は、前記第2撮像画像のうち前記識別手段が識別した対象の領域に対応する前記第2撮像画像上の領域の画像と、前記識別された対象の種類または識別された対象の動きとを関連付けた前記学習データを生成する、
請求項1に記載の学習データ生成装置。 - 前記識別手段は、前記対象の大きさ、形状、位置、移動距離、および、移動速度の少なくとも1つに基づいて、前記対象の種類、存在、または、動きの少なくとも1つを識別し、
前記生成手段は、識別した結果を学習時のラベルとした前記学習データを生成する、
請求項1から3の何れか1項に記載の学習データ生成装置。 - 前記第2撮像画像と同じ種類の第3撮像画像であって、前記第1撮像画像を撮像した撮像装置が撮像する第3撮像画像を用いて、前記第1撮像画像における位置に対応する前記第2撮像画像における位置を特定する位置特定手段を備え、
前記生成手段は、前記特定された第2撮像画像における位置と、前記識別結果と、前記第2撮像画像と、に基づいて、前記学習データを生成する、
請求項1から4の何れか1項に記載の学習データ生成装置。 - 前記識別手段は、前記第2撮像画像から、該第2撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第2撮像画像に関連付けた第2識別結果を生成し、
前記学習データ生成装置は、第1撮像画像に対する識別結果である第1識別結果と、前記第2識別結果との整合性の有無を判定する判定手段を更に備え、
前記生成手段は、前記判定手段による判定結果に基づいて、前記学習データを生成する、
請求項1から5の何れか1項に記載の学習データ生成装置。 - 前記第1撮像画像は距離画像であり、
前記第2撮像画像はカラー画像である、
請求項1から6の何れか1項に記載の学習データ生成装置。 - 前記学習データ生成装置は、前記第1撮像画像を取得する撮像装置に搭載される、
請求項1から7の何れか1項に記載の学習データ生成装置。 - 第1撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第1撮像画像に関連付けた識別結果を生成し、
前記識別結果と、前記第1撮像画像に関連する、前記第1撮像画像とは種類が異なる第2撮像画像とに基づいて、学習データを生成する、
学習データ生成方法。 - 第1撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第1撮像画像に関連付けた識別結果を生成する処理と、
前記識別結果と、前記第1撮像画像に関連する、前記第1撮像画像とは種類が異なる第2撮像画像とに基づいて、学習データを生成する処理と、
をコンピュータに実行させるためのプログラムを格納した、一時的でない記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/495,881 US10740653B2 (en) | 2017-04-07 | 2018-04-03 | Learning data generation device, learning data generation method, and recording medium |
JP2019511259A JP6844692B2 (ja) | 2017-04-07 | 2018-04-03 | 学習データ生成装置、学習データ生成方法、およびプログラム |
US16/925,779 US11386297B2 (en) | 2017-04-07 | 2020-07-10 | Learning data generation device, learning data generation method, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-076765 | 2017-04-07 | ||
JP2017076765 | 2017-04-07 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/495,881 A-371-Of-International US10740653B2 (en) | 2017-04-07 | 2018-04-03 | Learning data generation device, learning data generation method, and recording medium |
US16/925,779 Continuation US11386297B2 (en) | 2017-04-07 | 2020-07-10 | Learning data generation device, learning data generation method, and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018186398A1 true WO2018186398A1 (ja) | 2018-10-11 |
Family
ID=63712833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/014270 WO2018186398A1 (ja) | 2017-04-07 | 2018-04-03 | 学習データ生成装置、学習データ生成方法、および記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10740653B2 (ja) |
JP (2) | JP6844692B2 (ja) |
WO (1) | WO2018186398A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020129298A (ja) * | 2019-02-08 | 2020-08-27 | 株式会社日立製作所 | 計算機システム |
JP2021003929A (ja) * | 2019-06-25 | 2021-01-14 | Jr東日本メカトロニクス株式会社 | 学習用データ生成装置及び物体検知装置 |
JP2021033572A (ja) * | 2019-08-22 | 2021-03-01 | 株式会社豊田自動織機 | 画像データ収集装置及び画像データ仕分け方法 |
JPWO2021229754A1 (ja) * | 2020-05-14 | 2021-11-18 | ||
KR102348294B1 (ko) * | 2020-08-24 | 2022-01-12 | 한국철도기술연구원 | 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법 |
WO2022024366A1 (ja) * | 2020-07-31 | 2022-02-03 | 日本電気株式会社 | 学習データ生成装置、学習データ生成システム、学習データ生成方法および記録媒体 |
CN114208148A (zh) * | 2019-08-20 | 2022-03-18 | 索尼互动娱乐股份有限公司 | 图像处理设备、图像处理方法和程序 |
KR20220138707A (ko) * | 2021-04-06 | 2022-10-13 | 네이버 주식회사 | 기계 학습을 위한 학습 데이터 생성 방법 및 시스템 |
WO2024014293A1 (ja) * | 2022-07-14 | 2024-01-18 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置、受信装置、情報処理方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10740653B2 (en) * | 2017-04-07 | 2020-08-11 | Nec Corporation | Learning data generation device, learning data generation method, and recording medium |
WO2020183691A1 (ja) * | 2019-03-14 | 2020-09-17 | 日本電気株式会社 | 情報提示方法、情報提示装置及びプログラム |
JP2022122364A (ja) * | 2021-02-10 | 2022-08-23 | 日本電気株式会社 | データ生成装置、データ生成方法、及びプログラム |
CN118115851B (zh) * | 2024-04-30 | 2024-07-09 | 武汉追月信息技术有限公司 | 一种基于人工智能的智慧型地理数据工厂构建方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011216087A (ja) * | 2010-03-19 | 2011-10-27 | Canon Inc | 情報処理方法及び情報処理装置 |
JP2014052977A (ja) * | 2012-09-10 | 2014-03-20 | Nippon Telegr & Teleph Corp <Ntt> | 対応付け装置及びコンピュータプログラム |
JP2017037424A (ja) * | 2015-08-07 | 2017-02-16 | 日本放送協会 | 学習装置、認識装置、学習プログラム、及び認識プログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6715293B2 (en) | 2002-03-28 | 2004-04-06 | United Technologies Corporation | Scram jet engine design |
JP4611069B2 (ja) * | 2004-03-24 | 2011-01-12 | 富士フイルム株式会社 | 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体 |
JP2007272398A (ja) | 2006-03-30 | 2007-10-18 | Akita Prefecture | 分類装置、プログラム、及び方法 |
WO2008047835A1 (fr) | 2006-10-19 | 2008-04-24 | Nec Corporation | Système, procédé et programme d'étude active |
JP5950296B2 (ja) | 2012-01-27 | 2016-07-13 | 国立研究開発法人産業技術総合研究所 | 人物追跡属性推定装置、人物追跡属性推定方法、プログラム |
US8855369B2 (en) | 2012-06-22 | 2014-10-07 | Microsoft Corporation | Self learning face recognition using depth based tracking for database generation and update |
CN109598798B (zh) * | 2012-12-14 | 2023-11-28 | 韩国电子通信研究院 | 虚拟物拟合方法及虚拟物拟合服务*** |
JP2014178957A (ja) | 2013-03-15 | 2014-09-25 | Nec Corp | 学習データ生成装置、学習データ作成システム、方法およびプログラム |
US9953213B2 (en) * | 2013-03-27 | 2018-04-24 | Microsoft Technology Licensing, Llc | Self discovery of autonomous NUI devices |
EP3146463B1 (en) * | 2014-05-23 | 2020-05-13 | Ventana Medical Systems, Inc. | Systems and methods for detection of biological structures and/or patterns in images |
JP2016004486A (ja) * | 2014-06-18 | 2016-01-12 | 株式会社リコー | 情報処理装置、情報処理プログラム、および情報処理システム |
US9501716B2 (en) * | 2014-12-11 | 2016-11-22 | Intel Corporation | Labeling component parts of objects and detecting component properties in imaging data |
US10740653B2 (en) * | 2017-04-07 | 2020-08-11 | Nec Corporation | Learning data generation device, learning data generation method, and recording medium |
-
2018
- 2018-04-03 US US16/495,881 patent/US10740653B2/en active Active
- 2018-04-03 JP JP2019511259A patent/JP6844692B2/ja active Active
- 2018-04-03 WO PCT/JP2018/014270 patent/WO2018186398A1/ja active Application Filing
-
2020
- 2020-07-10 US US16/925,779 patent/US11386297B2/en active Active
-
2021
- 2021-02-24 JP JP2021027446A patent/JP7151805B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011216087A (ja) * | 2010-03-19 | 2011-10-27 | Canon Inc | 情報処理方法及び情報処理装置 |
JP2014052977A (ja) * | 2012-09-10 | 2014-03-20 | Nippon Telegr & Teleph Corp <Ntt> | 対応付け装置及びコンピュータプログラム |
JP2017037424A (ja) * | 2015-08-07 | 2017-02-16 | 日本放送協会 | 学習装置、認識装置、学習プログラム、及び認識プログラム |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7079742B2 (ja) | 2019-02-08 | 2022-06-02 | 株式会社日立製作所 | 計算機システム |
JP2020129298A (ja) * | 2019-02-08 | 2020-08-27 | 株式会社日立製作所 | 計算機システム |
JP2021003929A (ja) * | 2019-06-25 | 2021-01-14 | Jr東日本メカトロニクス株式会社 | 学習用データ生成装置及び物体検知装置 |
JP7329983B2 (ja) | 2019-06-25 | 2023-08-21 | Jr東日本メカトロニクス株式会社 | 学習用データ生成装置及び物体検知装置 |
EP4020963A4 (en) * | 2019-08-20 | 2022-08-10 | Sony Interactive Entertainment Inc. | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM |
CN114208148A (zh) * | 2019-08-20 | 2022-03-18 | 索尼互动娱乐股份有限公司 | 图像处理设备、图像处理方法和程序 |
JP2021033572A (ja) * | 2019-08-22 | 2021-03-01 | 株式会社豊田自動織機 | 画像データ収集装置及び画像データ仕分け方法 |
JPWO2021229754A1 (ja) * | 2020-05-14 | 2021-11-18 | ||
JP7400962B2 (ja) | 2020-05-14 | 2023-12-19 | 日本電気株式会社 | 商品特定装置、商品特定方法、及びプログラム |
WO2022024366A1 (ja) * | 2020-07-31 | 2022-02-03 | 日本電気株式会社 | 学習データ生成装置、学習データ生成システム、学習データ生成方法および記録媒体 |
JP7476967B2 (ja) | 2020-07-31 | 2024-05-01 | 日本電気株式会社 | 学習データ生成装置、学習データ生成システム、学習データ生成方法および学習データ生成プログラム |
KR102348294B1 (ko) * | 2020-08-24 | 2022-01-12 | 한국철도기술연구원 | 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법 |
KR20220138707A (ko) * | 2021-04-06 | 2022-10-13 | 네이버 주식회사 | 기계 학습을 위한 학습 데이터 생성 방법 및 시스템 |
KR102581001B1 (ko) | 2021-04-06 | 2023-09-21 | 네이버 주식회사 | 기계 학습을 위한 학습 데이터 생성 방법 및 시스템 |
WO2024014293A1 (ja) * | 2022-07-14 | 2024-01-18 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置、受信装置、情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6844692B2 (ja) | 2021-03-17 |
JP2021093189A (ja) | 2021-06-17 |
US20200012893A1 (en) | 2020-01-09 |
JPWO2018186398A1 (ja) | 2020-01-16 |
US11386297B2 (en) | 2022-07-12 |
US10740653B2 (en) | 2020-08-11 |
JP7151805B2 (ja) | 2022-10-12 |
US20200342264A1 (en) | 2020-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018186398A1 (ja) | 学習データ生成装置、学習データ生成方法、および記録媒体 | |
JP6125188B2 (ja) | 映像処理方法及び装置 | |
TWI566204B (zh) | 三維物件識別技術 | |
JP6700752B2 (ja) | 位置検出装置、位置検出方法及びプログラム | |
US11398049B2 (en) | Object tracking device, object tracking method, and object tracking program | |
CN108921098B (zh) | 人体运动分析方法、装置、设备及存储介质 | |
US10063843B2 (en) | Image processing apparatus and image processing method for estimating three-dimensional position of object in image | |
US20220027654A1 (en) | Point cloud data processing apparatus, point cloud data processing method, and program | |
JP2018048024A (ja) | 物品管理装置 | |
JP6566768B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
US10713530B2 (en) | Image processing apparatus, image processing method, and image processing program | |
CN109033985B (zh) | 商品识别的处理方法、装置、设备、***及存储介质 | |
WO2018179361A1 (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
JP2021177399A (ja) | 情報処理装置、制御方法、及びプログラム | |
US11544926B2 (en) | Image processing apparatus, method of processing image, and storage medium | |
US11443503B2 (en) | Product analysis system, product analysis method, and product analysis program | |
JP2019040229A5 (ja) | ||
US20150269778A1 (en) | Identification device, identification method, and computer program product | |
CA3183341A1 (en) | Autonomous livestock monitoring | |
JP6452361B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2018179360A1 (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
US20220230459A1 (en) | Object recognition device and object recognition method | |
JP6606340B2 (ja) | 画像検出装置、画像検出方法およびプログラム | |
KR20150033047A (ko) | 객체를 검출하기 위한 전처리 장치 및 방법 | |
JP7456521B2 (ja) | 物体認識装置、物体認識方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18780567 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019511259 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18780567 Country of ref document: EP Kind code of ref document: A1 |