WO2021235355A1 - 画像データ処理装置及び画像データ処理システム - Google Patents
画像データ処理装置及び画像データ処理システム Download PDFInfo
- Publication number
- WO2021235355A1 WO2021235355A1 PCT/JP2021/018436 JP2021018436W WO2021235355A1 WO 2021235355 A1 WO2021235355 A1 WO 2021235355A1 JP 2021018436 W JP2021018436 W JP 2021018436W WO 2021235355 A1 WO2021235355 A1 WO 2021235355A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- person
- image data
- data processing
- map data
- processor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Definitions
- the present invention relates to an image data processing device and an image data processing system, and particularly relates to an image data processing device and an image data processing system that process image data obtained from a plurality of photographing devices.
- Patent Document 1 describes a technique of photographing an area where a plurality of spectators exist, acquiring information such as facial expressions of each spectator by image recognition, and recording the acquired information in association with the information of the position of each spectator. ing.
- Patent Document 2 describes a technique of visualizing information obtained by analyzing image data by color coding or the like and superimposing it on image data expressed in three dimensions.
- One embodiment according to the technique of the present disclosure provides an image data processing device and an image data processing system capable of acquiring information on the person attributes of a person in a specific area with high accuracy.
- An image data processing device that processes image data in which at least a part of a shooting range is duplicated, which is obtained from a plurality of shooting devices, and includes a processor, and the processor is an image represented by the image data for each image data.
- the processor is an image represented by the image data for each image data.
- the process of generating the map data recorded by making it, the process of interpolating the person attributes of people that overlap between multiple map data, and the process of generating composite map data by synthesizing multiple map data after interpolation.
- Image data processing device to execute.
- the processor is an image data processing device of (1) that further executes a process of generating a heat map from synthetic map data.
- the processor is an image data processing device of (2) that further executes a process of displaying the generated heat map on the display.
- the processor is an image data processing device according to (2) or (3), which further executes a process of outputting the generated heat map to the outside.
- the processor collates the person attributes of overlapping persons among a plurality of map data, and interpolates the person attributes of the person missing in one map data with the person attributes of the person in the other map data.
- the image data processing device according to any one of (1) to (4).
- the processor is an image data processing device according to any one of (1) to (5), which also calculates recognition accuracy when recognizing a person's personal attributes.
- the processor replaces the person attribute of a person with relatively low recognition accuracy with the person attribute of a person with relatively high recognition accuracy, and interpolates the person attribute of the duplicated person.
- the processor assigns weights according to the recognition accuracy, calculates the average of the person attributes of each person, replaces the average with the calculated average, and interpolates the person attributes of the duplicated person (6).
- Image data processing device assigns weights according to the recognition accuracy, calculates the average of the person attributes of each person, replaces the average with the calculated average, and interpolates the person attributes of the duplicated person (6).
- the processor adopts the information of the person attribute of a person having a plurality of recognition accuracy and having the recognition accuracy equal to or higher than the first threshold value, and interpolates the person attribute of the duplicated person from (6) to (8). ) Any one of the image data processing devices.
- the processor is an image data processing apparatus according to any one of (6) to (9), which further executes a process of excluding information of a person attribute having a recognition accuracy equal to or lower than the second threshold value in the map data after interpolation. ..
- the processor is an image data processing device according to any one of (1) to (11), which further executes a process of identifying a person who is duplicated among a plurality of map data.
- the processor is an image data processing device of (12) that identifies an overlapping person among a plurality of map data based on the arrangement relationship of the person in the map data.
- the processor is an image data processing device of (12) that identifies a person who overlaps between a plurality of map data based on the person attribute of the person at each position in the map data.
- the processor is an image data processing device according to any one of (1) to (14), which recognizes at least one of gender, age, and emotion as a person attribute based on a person's face.
- the processor is an image data processing device according to any one of (1) to (15), which instructs a plurality of shooting devices to shoot areas where shooting ranges overlap under different conditions.
- An image data processing system including a plurality of photographing devices in which at least a part of a photographing range overlaps and an image data processing device for processing image data obtained from the plurality of photographing devices, wherein the image data processing is performed.
- the device includes a processor, and the processor detects the face of a person in the image represented by the image data for each image data, and recognizes the person attribute of the person based on the detected face, and for each image data. , The process of generating map data that records the recognized person attributes corresponding to the position of the person in the image represented by the image data, and the process of interpolating the person attributes of the duplicated person among multiple map data.
- An image data processing system that executes the process of generating composite map data by synthesizing multiple map data after interpolation.
- the figure which shows the schematic structure of an image data processing system Diagram showing an example of division of the viewing area Conceptual diagram of area photography
- a block diagram showing an example of the hardware configuration of an information processing device Block diagram of functions realized by image data processing equipment Block diagram of the function of the map data processing unit
- Conceptual diagram of face detection Block diagram of the function of the map data processing unit
- Conceptual diagram of map data generation Diagram showing an example of map data Diagram showing an example of a database
- a diagram showing an example of a heat map of the degree of excitement The figure which shows an example of the display form of the degree of excitement
- various information can be analyzed by measuring and collecting emotional information of all spectators in the venue throughout the entire time of the event. For example, in a concert or the like, it is possible to analyze the degree of excitement of the audience for each song from the collected emotional information of the entire audience. In addition, by recording the emotional information of each spectator in association with the information of the position of each spectator, it is possible to analyze the distribution of the excitement state in the venue. Furthermore, by specifying the center of the distribution of excitement, it is possible to identify the audience who is the excitement.
- image recognition technology can be used to measure emotional information of each audience. That is, the emotions of each spectator are estimated by image recognition from the images taken of each spectator.
- the main method is analysis of facial expressions detected from images.
- Obstacles eg, cheering flags, another spectator crossing in front, hands of yourself or nearby spectators, food and drink, cameras, etc.
- Obstacles can hide your face, the spectator turns away, flares and / or ghosts in the image. This is because it is assumed that the face cannot be detected due to the generation of (sunlight, reflection, flash, etc.).
- a system capable of measuring the emotional information of all the spectators in the venue with high accuracy throughout the entire time during the event is provided.
- FIG. 1 is a diagram showing a schematic configuration of the image data processing system of the present embodiment.
- the image data processing system 1 of the present embodiment is an spectator photographing device 10 for photographing an entire spectator in an event venue, and an image data processing for processing image data photographed by the spectator photographing device 10.
- the device 100 is provided.
- the event venue 2 has a stage 4 where the performer 3 shows the show, and a viewing area V where the audience P watches the show.
- Seats 5 are regularly arranged in the viewing area V. Audience P sits in seat 5 and watches the show. The position of the seat 5 is fixed.
- the spectator photographing device 10 is composed of a plurality of cameras C.
- the camera C is a digital camera having a moving image shooting function.
- the camera C is an example of a photographing device.
- Audience P is an example of a person photographed by a photographing device.
- the spectator photographing device 10 divides the viewing area V into a plurality of areas, and photographs each area with a plurality of cameras C from multiple directions.
- FIG. 2 is a diagram showing an example of division of the viewing area. As shown in the figure, in this example, the viewing area V is divided into six areas V1 to V6. Each area V1 to V6 is individually photographed by a plurality of cameras from multiple directions.
- FIG. 3 is a conceptual diagram of area photography. The figure shows an example in the case of photographing the area V1.
- one area V1 is photographed by six cameras C1 to C6.
- Each camera C1 to C6 captures the area V1 from a predetermined position. That is, the region V1 is photographed at a fixed point position.
- Each camera C1 to C6 is installed on a remote control pan head (electric pan head), for example, and is configured so that the shooting direction can be adjusted.
- the first camera C1 photographs the area V1 from the front.
- the second camera C2 captures the area V1 from diagonally above the front.
- the third camera C3 captures the area V1 from the right side.
- the fourth camera C4 captures the area V1 from the diagonally upper right side.
- the fifth camera C5 captures the area V1 from the left side.
- the sixth camera C6 captures the area V1 from the diagonally upper left side.
- Each camera C1 to C6 shoots at the same frame rate and shoots in synchronization.
- the shooting ranges R1 to R6 of each camera C1 to C6 are set to cover the area V1. Therefore, the shooting ranges R1 to R6 of the cameras C1 to C6 overlap each other. Further, the cameras C1 to C6 are set so that each spectator is photographed in substantially the same size in the captured image.
- each camera C is required to be able to recognize at least the facial expressions of all the spectators in the area to be photographed. That is, it is required to have a resolution capable of facial expression analysis by image recognition. Therefore, it is preferable to use a camera C having a high resolution as the camera C constituting the audience photographing device 10.
- the image data taken by each camera C is transmitted to the image data processing device 100.
- the image data transmitted from each camera C includes identification information of each camera C, information on shooting conditions of each camera, and the like.
- the information on the shooting conditions of each camera C includes information on the installation position of the camera, information on the shooting direction, information on the shooting date and time, and the like.
- the image data processing device 100 processes image data transmitted from each camera C of the spectator photographing device 10, and measures emotional information of each spectator in the image for each image data. Further, the image data processing device 100 generates map data for each image data, which is recorded by associating the measured emotion information of each spectator with the information of the position of each spectator in the image. Further, the image data processing device 100 mutually interpolates the map data generated from each image data. Further, the image data processing device 100 synthesizes the interpolated map data and generates synthetic map data representing the map data of the entire venue. Image data processing is performed frame by frame.
- the image data processing device 100 performs a process of visualizing the composite map data as needed. Specifically, a heat map is generated from the synthetic map data.
- FIG. 4 is a block diagram showing an example of the hardware configuration of the information processing device.
- the image data processing device 100 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an HDD (Hard Disk Drive) 104, an operation unit 105, a display unit 106, and an input / output interface. It is composed of a computer equipped with (interface, I / F) 107 and the like.
- the CPU 101 is an example of a processor.
- the operation unit 105 is composed of, for example, a keyboard, a mouse, a touch panel, and the like.
- the display unit 106 is composed of, for example, a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electroluminescence display, Organic Light Emitting Display display), or the like.
- the image data taken by each camera C of the spectator photographing apparatus 10 is input to the image data processing apparatus 100 via the input / output interface 107.
- FIG. 5 is a block diagram of the functions realized by the image data processing device.
- the image data processing device 100 mainly includes an imaging control unit 110, a map data processing unit 120, a map data interpolation unit 130, a map data synthesis unit 140, a data processing unit 150, and a heat map generation unit 160. It has functions such as a display control unit 170 and an output control unit 180. The functions of each part are realized by the CPU 101 executing a predetermined program.
- the program executed by the CPU 101 is stored in the ROM 103 or the HDD 104.
- the program may be stored in a flash memory (Flash Memory), an SSD (Solid State Disk), or the like.
- the shooting control unit 110 controls the operation of the spectator shooting device 10 in response to an operation input from the operation unit 105.
- Each camera C constituting the spectator photographing device 10 performs imaging according to an instruction from the imaging control unit 110.
- the control performed by the shooting control unit 110 includes control of the exposure of each camera C, control of the shooting direction, and the like.
- the map data processing unit 120 generates map data from the image data taken by each camera C of the spectator photographing device 10. Map data is generated for each image data.
- FIG. 6 is a block diagram of the functions of the map data processing unit.
- the map data processing unit 120 mainly has functions such as a shooting information acquisition unit 120A, a face detection unit 120B, a person attribute recognition unit 120C, and a map generation unit 120D.
- the shooting information acquisition unit 120A acquires shooting information from the image data. Specifically, the camera identification information and the camera shooting condition information included in the image data are acquired. By acquiring this information, it is possible to identify the camera that captured the image data, and it is possible to identify which area was captured from which position and in which direction. In addition, the date and time of shooting can be specified. The specified information is output to the map generation unit 120D.
- the face detection unit 120B analyzes the image data and detects the face of a person (audience) existing in the image represented by the image data.
- FIG. 7 is a conceptual diagram of face detection.
- the face detection unit 120B specifies a position and detects a face.
- the position of the face is specified by the coordinate position (x, y) in the image Im.
- the face detection unit 120B surrounds the detected face with a rectangular frame F, obtains the center coordinates of the frame F, and specifies the position of the face.
- Face detection is performed, for example, by scanning the image Im from the upper left to the lower right in order.
- the detected faces are numbered in the order of detection.
- the person attribute recognition unit 120C recognizes the person attribute of the person based on the image of the face of the person (audience) detected by the face detection unit 120B.
- FIG. 8 is a conceptual diagram of the person attribute recognition process by the person attribute recognition unit.
- age, gender and emotion are recognized as personal attributes.
- a known technique can be adopted.
- a recognition method can be adopted by using an image recognition model generated by machine learning, deep learning, or the like.
- facial expressions are classified into seven types, “true face”, “joy”, “anger”, “disgust”, “surprise”, “fear”, and “sadness”, and the degree of each is calculated. And recognize emotions.
- the facial expressions of "joy”, “anger”, “disgust”, “surprise”, “fear” and “sadness” are “joy”, “anger”, “disgust”, “surprise”, “fear” and “fear”, respectively.
- a “true face” is expressionless and corresponds to a state in which there is no specific emotion.
- a score that quantifies the degree of each emotion (emotion-likeness) is output.
- the emotion score is output, for example, with the maximum value set to 100.
- the total score of each emotion is output to be 100.
- age it is possible to recognize the age instead of recognizing a specific age. For example, less than teens, teens, 20s, and so on.
- the age is recognized from the image of the face.
- gender the gender is recognized from the facial image.
- the map generation unit 120D generates map data based on the shooting information acquired by the shooting information acquisition unit 120A and the person attribute recognized by the person attribute recognition unit 120C.
- the map data is recorded by associating the personal attribute information of each spectator with the face information of each spectator in the image.
- the position of the spectator is specified, for example, by the coordinate position of the face of the spectator.
- Map data is generated for each image data. Further, the shooting information of the image data that is the source of the map data is added to the map data. That is, the identification information of the camera that captured the image data, the information on the imaging conditions of the camera, and the like are added. This makes it possible to specify in which area the map data is. In addition, it is possible to specify the time point of the map data.
- FIG. 9 is a conceptual diagram of map data generation. The figure shows an example in which map data is generated from image data obtained by photographing a region V1 with a first camera C1.
- the map data is associated with the position of each spectator in the image, and the information of the person attribute of the spectator is recorded.
- FIG. 10 is a diagram showing an example of map data.
- map data is generated for each image data.
- the map data generated by the map generation unit 120D is recorded in the database (database) 200.
- FIG. 11 is a diagram showing an example of a database.
- the map data is associated with the information of the cameras C1 to C6 that are the generation sources, and is recorded in the database in chronological order. Further, the information of each camera C1 to C6 is associated with the information of the target areas V1 to V6 and recorded in the map data.
- the database 200 manages map data generated from all cameras on an event-by-event basis.
- the database 200 contains map data interpolated by the map data interpolation unit 130, synthetic map data generated from the interpolated map data, data obtained by processing the synthetic map data, and synthetic map data.
- the heat map and the like generated from the data obtained by processing the above are also recorded.
- the database 200 is stored in, for example, the HDD 104.
- the map data interpolation unit 130 interpolates the person attribute information of each spectator between the map data having the same spectator person attribute information duplicated.
- Map data with overlapping shooting ranges of the image data that was the generation source has the same spectator person attribute information in the overlapping shooting range.
- Each map data does not necessarily obtain information on the personal attributes of all spectators. This is because there are cases where the face cannot be detected in the image data which is the generation source, and the person attribute cannot be recognized from the face.
- overlapping areas are photographed by a plurality of cameras from multiple directions. Therefore, for example, even if the face of the audience, which is one camera, cannot be photographed, the other camera may be able to photograph the face.
- the information of the person attribute of each spectator is interpolated between the map data having the information of the person attribute of the same spectator in duplicate. As a result, highly accurate map data is generated.
- map data interpolation process performed by the map data interpolation unit 130 will be described.
- FIGS. 12 and 13 are diagrams showing an example of a face detection result.
- FIG. 12 shows an example of a case where a face is detected from an image obtained when the region V1 is photographed by the first camera C1.
- FIG. 13 shows an example of a case where a face is detected from an image obtained when the region V1 is photographed by the second camera C2.
- the white circles indicate the positions of the spectators whose faces could be detected in the image.
- the black circles indicate the positions of the spectators whose faces could not be detected in the image.
- the map data generated from the image taken by the first camera C1 is referred to as the first map data
- the map data generated from the image taken by the second camera C2 is referred to as the second map data.
- the faces of the spectators P34, P55, P84 and P89 could not be detected from the image taken by the first camera C1. Therefore, in this case, in the first map data, the information on the person attributes of the spectators P34, P55, P84 and P89 is missing.
- the faces of the spectators P34, P55, P84 and P89 can be detected from the image taken by the second camera C2. Therefore, the second map data contains information on the personal attributes of these spectators P34, P55, P84 and P89.
- the information of the spectators missing in the first map data can be interpolated by the second map data. That is, the information on the person attributes of the spectators P34, P55, P84 and P89 missing in the first map data can be interpolated by the information in the second map data.
- the faces of the spectators P29, P47, P62 and P86 could not be detected from the image taken by the second camera C2. Therefore, in this case, in the second map data, the information on the person attributes of the spectators P29, P47, P62 and P86 is missing.
- the faces of the spectators P29, P47, P62 and P86 can be detected from the image taken by the first camera C1. Therefore, the first map data contains information on the personal attributes of these spectators P29, P47, P62 and P86. In this case, the information of the spectator missing in the second map data can be interpolated by the first map data. That is, the information on the person attributes of the spectators P29, P47, P62, and P86 that are missing in the second map data can be interpolated by the information in the first map data.
- the map data generated from the image having the overlapping area has the information of the person attribute of the same audience in the area where the images overlap. Therefore, if they are missing, they can interpolate with each other.
- the information of the person attribute of the spectator that is insufficient between the two map data is interpolated with each other. Interpolate person attribute information.
- the data is collated between the map data having the same spectator's personal attribute information in duplicate, and the missing spectator's personal attribute information is specified in each map data.
- Map data with missing spectator person attribute information is interpolated with the corresponding spectator person attribute information in other map data.
- data matching is performed based on the placement relationship of each spectator. That is, overlapping spectators are identified from the arrangement pattern of each spectator in the image. In addition, data matching can be performed based on the information of the person attributes of the spectators at each position.
- the map data subjected to the interpolation processing by the map data interpolation unit 130 is recorded in the database 200 (see FIG. 11).
- the map data synthesis unit 140 synthesizes the interpolated map data and generates one composite map data.
- This composite map data is map data in which information on the personal attributes of all spectators in the venue is recorded in association with the positions of the faces of each spectator.
- the composite map data is generated from the map data at the same shooting timing. Therefore, the composite map data is sequentially generated in chronological order.
- Camera information is used during composition. That is, the map data is generated from the image taken by the cameras, and each camera shoots a predetermined area under predetermined conditions (position and direction), so that it is easy to use the information. Can be synthesized into.
- composition can also be performed using the image data that is the source of the map data. That is, since the image data and the map data correspond to each other, the map data can also be combined by synthesizing the image data.
- compositing of image data for example, a method such as panoramic compositing can be adopted.
- a plurality of map data are generated, and one composite map data is generated from the generated plurality of map data.
- This makes it possible to easily generate one map data that records information on the personal attributes of all spectators, even in a large event venue. Further, even in a small event venue, the map data of the entire venue can be generated more efficiently than in the case where the entire venue is photographed with one camera and the map data is generated. That is, since the processing is divided into a plurality of areas, distributed processing becomes possible, and map data of the entire venue can be efficiently generated.
- the generated synthetic map data is associated with the map data of the generation source and recorded in the database 200 (see FIG. 11).
- the data processing unit 150 processes the synthetic map data to generate data regarding each spectator in the venue. What kind of data is generated depends on the user's settings. For example, it may generate data showing the emotional state of each audience, data showing the emotional amount of a specific emotion, or data showing the degree of excitement.
- the emotional state data is obtained by extracting the emotion with the highest score from the emotion recognition result. For example, if the emotion recognition result (score) of a certain audience is true face: 12, joy: 75, anger: 0, disgust: 0, surprise: 10, fear: 3, sadness: 0, the emotional state is joy. Become.
- the data showing the emotional amount of a specific emotion is the data obtained by quantifying the emotional level of the specific emotion, the magnitude of the amplitude of the specific emotion, and the like.
- Emotion level data is obtained from the emotion score.
- joy emotion level data is obtained from the joy score.
- joy and surprise emotion level data is obtained by finding the sum of the joy and surprise scores.
- the emotion level data may be calculated by giving a weight to each emotion. That is, the score of each emotion may be multiplied by a predetermined coefficient to calculate the sum.
- Emotion amplitude data is acquired, for example, by calculating the difference in emotion scores at predetermined time intervals.
- the amplitude of joy emotions is obtained by calculating the difference in joy scores at predetermined time intervals.
- the difference between the joy score and the sadness score at predetermined time intervals (for example, the difference between the joy score at time t and the sadness score at time t + ⁇ t). ) Is calculated and acquired.
- the amount of emotions which emotions are to be detected depends on the type of event. For example, at a concert, the magnitude of the emotional level of joy is thought to lead to the satisfaction of the audience. Therefore, in the case of a concert, the emotional level of joy is detected.
- the magnitude of the emotional amplitude for example, the magnitude of the emotional amplitude of joy and sadness
- the magnitude of the emotional amplitude is the detection target.
- the degree of excitement is a numerical expression of the degree of excitement of each audience.
- the degree of excitement is calculated from the emotional score using a predetermined calculation formula.
- the formula Fn is, for example, S1 for a straight-faced emotion, S2 for a joyful emotion, S3 for an angry emotion, S4 for an aversion emotion, S5 for a surprise emotion, and a fear emotion.
- a is a coefficient for true emotions
- b is a coefficient for joyful emotions
- c is a coefficient for angry emotions
- d is a coefficient for disgust emotions
- e is a coefficient for surprise emotions
- f is a coefficient for fear emotions.
- g is a coefficient for feelings of sadness. For example, in the case of a concert, a high weight is given to the coefficient a for feelings of joy.
- Each of the above data is an example of the data generated by the data processing unit 150.
- the data processing unit 150 generates data based on an instruction from the user input via the operation unit 105. For example, the user selects from the items prepared in advance and instructs the data to be generated.
- the data (processed data) processed by the data processing unit 150 is associated with the synthetic map data of the processing source and recorded in the database 200 (see FIG. 11).
- the heat map generation unit 160 generates a heat map from the data processed by the data processing unit 150.
- the heat map generated by the image data processing device 100 of the present embodiment displays the data of the spectators at each position in the venue in colors or shades of color.
- the emotion amount heat map is generated by displaying the emotion amount value of the spectator at each position in color or shade of color.
- the heat map of the degree of excitement is generated by displaying the value of the degree of excitement of the audience at each position in color or shade of color.
- FIG. 14 is a diagram showing an example of a heat map of the degree of excitement.
- the figure uses the seating chart of the event venue to generate a heat map.
- the seating chart is a plan showing the arrangement of seats at the event venue.
- the position of the seat corresponds to the position of each spectator.
- the position of each seat in the seat map can correspond one-to-one with the coordinate position of each spectator in the synthetic map data. Therefore, it is possible to generate a heat map of the degree of excitement by displaying the value of the degree of excitement of each spectator at the position of each seat in color or shade of color.
- FIG. 15 is a diagram showing an example of a display form of the degree of excitement.
- the figure shows an example of expressing the degree of excitement in shades. Within the range that can be calculated, the degree of excitement is divided into multiple categories. The concentration to be displayed is determined for each of the divided categories.
- the figure shows an example in which the degree of excitement is calculated by a numerical value from 1 to 100, and also shows an example in which the degree of excitement is divided into 10 categories and displayed. Further, an example is shown in which the displayed density increases as the degree of excitement increases.
- the heat map data generated by the heat map generation unit 160 is associated with the data of the generation source and recorded in the database 200 (see FIG. 11).
- the display control unit 170 displays the data generated by the data processing unit 150 on the display unit 106 in response to a display instruction from the user input via the operation unit 105. Further, the heat map generated by the heat map generation unit 160 is displayed on the display unit 106.
- the output control unit 180 outputs the data generated by the data processing unit 150 to the external device 300 in response to an output instruction from the user input via the operation unit 105. Further, the heat map data generated by the heat map generation unit 160 is output to the external device 300.
- FIG. 16 is a flowchart showing a procedure for processing image data in the image data processing system of the present embodiment.
- each camera C of the audience photographing device 10 photographs each area V1 to V6 in the venue (step S1).
- Each area V1 to V2 is photographed from multiple directions by a plurality of cameras.
- the image data processing device 100 inputs image data taken by each camera C (step S2).
- the image data of each camera C is input collectively after the event is completed. In addition, it can be configured to input in real time.
- the image data processing device 100 individually processes the input image data of each camera C, and detects the face of each spectator in the image from the image represented by each image data (step S3).
- the image data processing device 100 recognizes the person attributes of each spectator from the detected face (step S4).
- the image data processing device 100 generates map data for each image data based on the recognition result of the person attribute of each spectator in each image data (step S5).
- the map data is generated by recording the personal attribute information of each spectator in association with the information of the position of each spectator in the image.
- the map data generated here does not necessarily record the personal attributes of all spectators.
- the face may be hidden by obstacles, so it is not always possible to recognize the personal attributes of all spectators in time.
- the image data processing device 100 generates map data from each image data, and then interpolates the data between the map data having the overlapping area (step S6). That is, the information of the person attribute of the spectator who is missing in one map data is interpolated by using the information recorded in the other map data. As a result, it is possible to suppress data loss caused by map data.
- the image data processing device 100 synthesizes the interpolated map data and generates synthetic map data representing the map data of the entire venue (step S7).
- the image data processing device 100 processes the composite map data and generates the data instructed by the user (step S8). For example, data on the amount of emotions of each audience, data on the degree of excitement, and the like are generated.
- the image data processing device 100 generates a heat map from the generated data in response to an instruction from the user (step S9).
- the image data processing device 100 displays the generated heat map on the display unit 106 or outputs it to the external device 300 in response to an instruction from the user (step S10).
- map data including information on the person attributes of all the spectators in the venue is synthesized and generated.
- accurate map data can be efficiently generated even when map data of a large venue is generated.
- processing load can be reduced as compared with the case of generating map data for all spectators at once.
- each map data has at least a part of the information of the person attribute of the spectator, the information missing in one map data can be interpolated by the other map data. As a result, in each map data, information on the personal attributes of each spectator can be collected without omission.
- the viewing area of the venue is divided into a plurality of areas, and each area is shot from multiple directions with a plurality of cameras.
- the method of shooting the audience in the venue is , Not limited to this. It suffices if each spectator is photographed by at least two or more cameras. This allows interpolation.
- FIG. 17 is a diagram showing another example of a method of photographing an audience.
- the frames W1 to W3 indicate the shooting range by the camera.
- the shooting range of each camera is set so that at least a part of the area Vc overlaps. Further, in the area Vc, the shooting range of each camera is set so that each spectator is shot by at least two or more cameras.
- each camera shoots areas where the shooting ranges overlap under different conditions.
- the regions where the shooting ranges overlap are configured to be shot from different directions. This makes it possible to take an image taken with one camera even if the face of the audience is hidden by an obstacle or the like.
- By shooting overlapping areas with different exposures for example, in an image shot with one camera, the face cannot be detected due to flare and / or ghosts (sunlight, reflection, flash, etc.) in the image. Even if a situation occurs, it will be possible to detect it from the image taken by another camera.
- the exposure can be adjusted by changing the aperture value, shutter speed or sensitivity, for example, or by using an optical filter such as an ND filter (Neutral Density Filter).
- an optical filter such as an ND filter (Neutral Density Filter).
- the moving image includes the case where still images are continuously taken and processed at predetermined time intervals.
- it also includes processing by performing interval shooting, time-lapse video, and the like.
- Person attribute In the above embodiment, the case of recognizing the age, gender, and emotion of each spectator has been described as an example of the person attribute recognized from the face, but the person attribute recognized from the face is limited to this. It's not something.
- personal identification information that identifies an individual spectator can be included. That is, personally recognized information can be included.
- the recognition of the personal identification information is performed, for example, by using a face recognition database in which the face image and the personal identification information are stored in association with each other. Specifically, the detected face image is collated with the face image stored in the face recognition database, and the personal identification information corresponding to the matched face image is acquired from the face recognition database. Information such as the age and gender of the audience can be associated with the personal identification information. Therefore, when recognizing personal identification information, it is not necessary to recognize age, gender, and the like.
- map data having information on the person attributes of the same person.
- map data is map data generated from image data having overlapping shooting ranges.
- Interpolation of map data is based on interpolating the personal attribute information of a person who is missing in one map data with other map data. Moreover, even if it is not missing, the information of the person attribute of each person can be interpolated as follows.
- the person attribute recognition unit 120C calculates the recognition accuracy together with the recognition of the person attribute.
- an algorithm for calculating recognition accuracy also referred to as reliability, evaluation value, etc.
- an algorithm generally known in image recognition can be adopted.
- (B) Taking the average of the person attributes of the same person between each map data
- the person attributes of the corresponding person are obtained by calculating the average of the person attributes of the same person among the map data having the information of the person attributes of the same person. .. In this case, the information of each map data is replaced with the obtained average.
- Each of the above methods can also be adopted when interpolating the person attribute information of a person who is missing in one map data with another map data. That is, it can be adopted even when there is a plurality of map data having information on the person attribute of the person who is missing in one map data.
- the threshold value can be set by the user. This threshold is an example of the first threshold.
- the user may arbitrarily select the method for interpolating the map data.
- a method of displaying an executable interpolation method on the display unit 106 and letting the user select it via the operation unit 105 can be adopted.
- the image data processing device 100 automatically determines and selects the optimum interpolation method.
- the following methods can be considered as a method for automatically determining the interpolation method.
- the user specifies the time, the area, and the person via the operation unit 105.
- This method is effective when recognizing emotions as a person attribute. That is, the missing emotional information is interpolated with the information of a person having a similar emotional change. This is because they are thought to have similar reactions with respect to emotions.
- the interpolated map data can be further modified and used. For example, people with low recognition accuracy of person attributes are excluded from the map data throughout the entire holding time of the event. As a result, the reliability of the map data after completion can be improved. This process is performed, for example, as follows.
- the duplicated person can be identified by using the position information of each person recorded in the map data. That is, since the arrangement relationship (arrangement pattern) of each person can be specified from the position information of each person recorded in each map data, overlapping persons can be specified from the arrangement relationship. Similarly, the duplicated person can be identified from the information of the person attribute at each position. That is, overlapping persons can be identified from the pattern of person attributes.
- the heat map is generated by using the seat map of the event venue, but the form of the heat map is not limited to this.
- the data of the spectators at each position generated from the composite map data may be displayed in colors or shades of color.
- the display form of the heat map it is not always necessary to display the entire heat map, and it may be displayed for each area. Further, the heat map may be superimposed on the actual image and displayed.
- the hardware structure of the processing unit that executes various processes is realized by various processors.
- the circuit configuration is changed after manufacturing CPU and / or GPU (Graphic Processing Unit), FPGA (Field Programmable Gate Array), which are general-purpose processors that execute programs and function as various processing units.
- a possible processor such as a programmable logic device (PLD), a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as an ASIC (Application Specific Integrated Circuit), etc. included.
- Program is synonymous with software.
- One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types.
- one processing unit may be configured by a plurality of FPGAs or a combination of a CPU and an FPGA.
- a plurality of processing units may be configured by one processor.
- one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which the processor functions as a plurality of processing units.
- system-on-chip System on Chip, SoC
- SoC System on Chip
- the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
特定の領域内にいる人物の人物属性の情報を高精度に取得できる画像データ処理装置及び画像データ処理システムを提供する。画像データ処理装置は、撮影範囲の少なくとも一部が重複した複数の画像データを入力し、画像データごとに、画像データが表す画像内の人物の顔を検出し、検出した顔に基づいて、人物の人物属性を認識する処理と、画像データごとに、認識された人物属性を画像データが表す画像内での人物の位置に対応させて記録したマップデータを生成する処理と、複数のマップデータ間で重複する人物の人物属性を補間する処理と、補間後の複数のマップデータを合成した合成マップデータを生成する処理と、を行う。
Description
本発明は、画像データ処理装置及び画像データ処理システムに係り、特に複数の撮影装置から得られる画像データを処理する画像データ処理装置及び画像データ処理システムに関する。
特許文献1には、複数の観客が存在する領域を撮影し、画像認識によって各観客の表情などの情報を取得し、取得した情報を各観客の位置の情報に関連付けて記録する技術が記載されている。
特許文献2には、画像データを解析して得られた情報を色分け等により視覚化し、三次元で表現された画像データに重畳して表示する技術が記載されている。
本開示の技術に係る1つの実施形態は、特定の領域内にいる人物の人物属性の情報を高精度に取得できる画像データ処理装置及び画像データ処理システムを提供する。
(1)複数の撮影装置から得られる、撮影範囲の少なくとも一部が重複した画像データを処理する画像データ処理装置であって、プロセッサを備え、プロセッサは、画像データごとに、画像データが表す画像内の人物の顔を検出し、検出した顔に基づいて、人物の人物属性を認識する処理と、画像データごとに、認識された人物属性を画像データが表す画像内での人物の位置に対応させて記録したマップデータを生成する処理と、複数のマップデータ間で重複する人物の人物属性を補間する処理と、補間後の複数のマップデータを合成した合成マップデータを生成する処理と、を実行する、画像データ処理装置。
(2)プロセッサは、合成マップデータからヒートマップを生成する処理を更に実行する、(1)の画像データ処理装置。
(3)プロセッサは、生成したヒートマップをディスプレイに表示する処理を更に実行する、(2)の画像データ処理装置。
(4)プロセッサは、生成したヒートマップを外部に出力する処理を更に実行する、(2)又は(3)の画像データ処理装置。
(5)プロセッサは、複数のマップデータ間で重複する人物の人物属性を照合し、一のマップデータで欠損している人物の人物属性を他の一のマップデータにある人物の人物属性で補間する、(1)から(4)のいずれか一の画像データ処理装置。
(6)プロセッサは、人物の人物属性を認識する際、認識精度を併せて算出する、(1)から(5)のいずれか一の画像データ処理装置。
(7)プロセッサは、相対的に認識精度の低い人物の人物属性を相対的に認識精度の高い人物の人物属性で置き換えて、重複する人物の人物属性を補間する、(6)の画像データ処理装置。
(8)プロセッサは、認識精度に応じた重みを付与して、各人物の人物属性の平均を算出し、算出した平均で置き替えて、重複する人物の人物属性を補間する、(6)の画像データ処理装置。
(9)プロセッサは、複数の認識精度を有し、第1閾値以上の認識精度を有する人物の人物属性の情報を採用して、重複する人物の人物属性を補間する、(6)から(8)のいずれか一の画像データ処理装置。
(10)プロセッサは、補間後のマップデータにおいて、第2閾値以下の認識精度の人物属性の情報を除外する処理を更に実行する、(6)から(9)のいずれか一の画像データ処理装置。
(11)プロセッサは、人物属性の情報を他のマップデータで補間できない場合、属性の情報の経時変化が類似する他の人物属性の情報で補間する、(1)から(9)のいずれか一の画像データ処理装置。
(12)プロセッサは、複数のマップデータ間で重複する人物を特定する処理を更に実行する、(1)から(11)のいずれか一の画像データ処理装置。
(13)プロセッサは、マップデータにおける人物の配置関係に基づいて、複数のマップデータ間で重複する人物を特定する、(12)の画像データ処理装置。
(14)プロセッサは、マップデータにおける各位置の人物の人物属性に基づいて、複数のマップデータ間で重複する人物を特定する、(12)の画像データ処理装置。
(15)プロセッサは、人物の顔に基づいて、性別、年齢及び感情の少なくとも一つを、人物属性として認識する、(1)から(14)のいずれか一の画像データ処理装置。
(16)プロセッサは、複数の撮影装置に対し、撮影範囲が重複する領域を互いに異なる条件で撮影するよう指示する、(1)から(15)のいずれか一の画像データ処理装置。
(17)プロセッサは、複数の撮影装置に対し、撮影範囲が重複する領域を互いに異なる方向から撮影するよう指示する、(16)の画像データ処理装置。
(18)プロセッサは、複数の撮影装置に対し、撮影範囲が重複する領域を互いに異なる露出で撮影するよう指示する、(16)又は(17)の画像データ処理装置。
(19)撮影範囲の少なくとも一部が重複した複数の撮影装置と、複数の撮影装置から得られる画像データを処理する画像データ処理装置と、を備えた画像データ処理システムであって、画像データ処理装置は、プロセッサを備え、プロセッサは、画像データごとに、画像データが表す画像内の人物の顔を検出し、検出した顔に基づいて、人物の人物属性を認識する処理と、画像データごとに、認識された人物属性を画像データが表す画像内での人物の位置に対応させて記録したマップデータを生成する処理と、複数のマップデータ間で重複する人物の人物属性を補間する処理と、補間後の複数のマップデータを合成した合成マップデータを生成する処理と、を実行する、画像データ処理システム。
(20)複数の撮影装置は、撮影範囲が重複する領域を互いに異なる条件で撮影する、(19)の画像データ処理システム。
(21)複数の撮影装置は、撮影範囲が重複する領域を互いに異なる方向から撮影する、(20)の画像データ処理システム。
(22)複数の撮影装置は、撮影範囲が重複する領域を互いに異なる露出で撮影する、(20)又は(21)の画像データ処理システム。
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
コンサート、スポーツ等のイベントにおいて、イベント開催中の全時間を通じて、会場内の全観客の感情情報等を計測し、収集することにより、さまざまな情報の分析が可能となる。たとえば、コンサートなどにおいては、収集した全観客の感情情報から曲ごとの観客の盛り上がり度合いなどを分析できる。また、各観客の感情情報を各観客の位置の情報に関連付けて記録することにより、会場内での盛り上がり状態の分布なども分析できる。更には、盛り上がりの分布の中心を特定することにより、盛り上げ役となっている観客などの特定も可能になる。
各観客の感情情報等の計測には、たとえば、画像認識の技術を利用できる。すなわち、各観客を撮影した画像から画像認識により各観客の感情等を推定する。その主な手法は、画像から検出した顔の表情の分析である。
しかしながら、画像認識により会場内の全観客の感情情報等を漏れなく計測することは難しい。障害物(たとえば、応援旗、前を横切る別の観客、自身又は近くの観客の手、飲食物、カメラ等)で顔が隠れたり、観客が顔を背けたり、画像内にフレア及び/又はゴースト(太陽光、反射、フラッシュ等)が発生することにより顔を検出できない場合などが想定されるためである。
本実施の形態では、画像認識により観客の感情情報等を計測する場合において、イベント開催中の全時間を通じて、会場内の全観客の感情情報等を漏れなく高精度に計測できるシステムを提供する。
[システム構成]
ここでは、コンサート等のイベント会場で会場内の全観客の感情情報等を計測し、収集する場合を例に説明する。
ここでは、コンサート等のイベント会場で会場内の全観客の感情情報等を計測し、収集する場合を例に説明する。
図1は、本実施の形態の画像データ処理システムの概略構成を示す図である。
同図に示すように、本実施の形態の画像データ処理システム1は、イベント会場内の全観客を撮影する観客撮影装置10と、観客撮影装置10で撮影された画像データを処理する画像データ処理装置100と、を備える。
イベント会場2は、パフォーマー3がショーを披露するステージ4と、観客Pがショーを観覧する観覧エリアVと、を有する。観覧エリアVには、座席5が規則的に配置される。観客Pは、座席5に座ってショーを観覧する。座席5の位置は固定である。
[観客撮影装置]
観客撮影装置10は、複数台のカメラCで構成される。カメラCは、動画の撮影機能を備えたデジタルカメラである。カメラCは、撮影装置の一例である。観客Pは、撮影装置で撮影される人物の一例である。
観客撮影装置10は、複数台のカメラCで構成される。カメラCは、動画の撮影機能を備えたデジタルカメラである。カメラCは、撮影装置の一例である。観客Pは、撮影装置で撮影される人物の一例である。
観客撮影装置10は、観覧エリアVを複数の領域に分割し、各領域を複数台のカメラCで多方向から撮影する。
図2は、観覧エリアの分割の一例を示す図である。同図に示すように、本例では、観覧エリアVを6つの領域V1~V6に分割している。各領域V1~V6を個別に複数台のカメラで多方向から撮影する。
図3は、領域の撮影の概念図である。同図は、領域V1を撮影する場合の例を示している。
同図に示すように、本実施の形態では、1つの領域V1を6台のカメラC1~C6で撮影する。各カメラC1~C6は、あらかじめ定められた位置から領域V1を撮影する。すなわち、定点位置で領域V1を撮影する。各カメラC1~C6は、たとえば、リモコン雲台(電動雲台)に設置されて、撮影方向の調整が可能に構成される。
第1のカメラC1は、領域V1を正面から撮影する。第2のカメラC2は、領域V1を正面斜め上側から撮影する。第3のカメラC3は、領域V1を右側から撮影する。第4のカメラC4は、領域V1を右斜め上側から撮影する。第5のカメラC5は、領域V1を左側から撮影する。第6のカメラC6は、領域V1を左斜め上側から撮影する。各カメラC1~C6は、同じフレームレートで撮影し、かつ、同期して撮影する。
各カメラC1~C6の撮影範囲R1~R6は、領域V1をカバーするように設定される。したがって、各カメラC1~C6の撮影範囲R1~R6は互いに重複する。また、各カメラC1~C6は、撮影した画像内で各観客がほぼ同じサイズで撮影されるように設定される。
このように、対象とする領域を複数台のカメラで多方向から撮影することにより、領域内の各観客の顔の撮影漏れを効果的に抑制できる。たとえば、障害物などにより、一のカメラで撮影できない場合があっても、他のカメラで撮影できることがあるため、撮影漏れを効果的に抑制できる。
他の領域V2~V6についても同様に複数台のカメラで複数方向から撮影する。したがって、分割した領域の数だけカメラが用意される。
各カメラCで撮影される画像は、少なくとも撮影対象とする領域の全観客の顔の表情を認識できることが要求される。すなわち、画像認識による表情分析が可能な解像度を有することが必要とされる。したがって、観客撮影装置10を構成するカメラCには、高い解像度を有するものを使用することが好ましい。
各カメラCで撮影された画像データは、画像データ処理装置100に送信される。各カメラCから送信される画像データには、各カメラCの識別情報及び各カメラの撮影条件の情報等が含まれる。各カメラCの撮影条件の情報には、カメラの設置位置の情報、撮影方向の情報及び撮影日時の情報等が含まれる。
[画像データ処理装置]
画像データ処理装置100は、観客撮影装置10の各カメラCから送信される画像データを処理し、画像データごとに画像内の各観客の感情情報等を計測する。また、画像データ処理装置100は、計測した各観客の感情情報等を画像内での各観客の位置の情報に関連付けて記録したマップデータを画像データごとに生成する。更に、画像データ処理装置100は、各画像データから生成したマップデータを相互に補間する。また、画像データ処理装置100は、補間後のマップデータを合成し、会場全体のマップデータを表す合成マップデータを生成する。画像データの処理は、フレームごとに行われる。
画像データ処理装置100は、観客撮影装置10の各カメラCから送信される画像データを処理し、画像データごとに画像内の各観客の感情情報等を計測する。また、画像データ処理装置100は、計測した各観客の感情情報等を画像内での各観客の位置の情報に関連付けて記録したマップデータを画像データごとに生成する。更に、画像データ処理装置100は、各画像データから生成したマップデータを相互に補間する。また、画像データ処理装置100は、補間後のマップデータを合成し、会場全体のマップデータを表す合成マップデータを生成する。画像データの処理は、フレームごとに行われる。
また、画像データ処理装置100は、必要に応じて、合成マップデータを可視化する処理を行う。具体的には、合成マップデータからヒートマップを生成する。
図4は、情報処理装置のハードウェア構成の一例を示すブロック図である。
画像データ処理装置100は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、HDD(Hard Disk Drive)104、操作部105、表示部106及び入出力インターフェース(interface,I/F)107等を備えたコンピュータで構成される。CPU101は、プロセッサの一例である。操作部105は、たとえば、キーボード、マウス、タッチパネル等で構成される。表示部106は、たとえば、液晶ディスプレイ(Liquid CrystalDisplay)、有機ELディスプレイ(Organic ElectroLuminescence display, Organic Light Emitting Diode display)等で構成される。
観客撮影装置10の各カメラCで撮影された画像データは、入出力インターフェース107を介して、画像データ処理装置100に入力される。
図5は、画像データ処理装置が実現する機能のブロック図である。
同図に示すように、画像データ処理装置100は、主として、撮影制御部110、マップデータ処理部120、マップデータ補間部130、マップデータ合成部140、データ処理部150、ヒートマップ生成部160、表示制御部170及び出力制御部180等の機能を有する。各部の機能は、CPU101が所定のプログラムを実行することにより実現される。CPU101が実行するプログラムは、ROM103又はHDD104に格納される。なお、プログラムは、ROM103又はHDD104以外にも、フラッシュメモリ(Flash Memory)又はSSD(Solid State Disk)等に格納されることもある。
撮影制御部110は、操作部105からの操作入力に応じて、観客撮影装置10の動作を制御する。観客撮影装置10を構成する各カメラCは、撮影制御部110からの指示に応じて撮影を実施する。撮影制御部110が行う制御には、各カメラCの露出の制御、撮影方向の制御等が含まれる。
マップデータ処理部120は、観客撮影装置10の各カメラCで撮影された画像データからマップデータを生成する。マップデータの生成は、画像データごとに行われる。
図6は、マップデータ処理部が有する機能のブロック図である。
同図に示すように、マップデータ処理部120は、主として、撮影情報取得部120A、顔検出部120B、人物属性認識部120C及びマップ生成部120D等の機能を有する。
撮影情報取得部120Aは、画像データから撮影情報を取得する。具体的には、画像データに含まれるカメラの識別情報及びカメラの撮影条件の情報等を取得する。この情報を取得することにより、画像データを撮影したカメラを特定でき、かつ、どの領域をどの位置からどの方向で撮影したかを特定できる。また、撮影した日時を特定できる。特定した情報は、マップ生成部120Dに出力される。
顔検出部120Bは、画像データを解析し、画像データが表す画像中に存在する人物(観客)の顔を検出する。図7は、顔の検出の概念図である。顔検出部120Bは、位置を特定して顔を検出する。顔の位置は、画像Im内での座標位置(x,y)で特定される。顔検出部120Bは、たとえば、検出した顔を矩形の枠Fで囲い、その枠Fの中心座標を求めて、顔の位置を特定する。
なお、画像から人物の顔を検出する技術については、公知の技術であるので、その詳細についての説明は省略する。
顔の検出は、たとえば、画像Imの左上から右下に向かって順に走査することにより行われる。検出された顔は、検出順にナンバリングされる。
人物属性認識部120Cは、顔検出部120Bで検出された人物(観客)の顔の画像に基づいて、当該人物の人物属性を認識する。
図8は、人物属性認識部による人物属性の認識処理の概念図である。
本実施の形態では、人物属性として、年齢、性別及び感情を認識する。画像から年齢、性別及び感情等を認識する技術については、公知の技術を採用できる。たとえば、機械学習、深層学習等により生成した画像認識モデルを用いて、認識する手法を採用できる。
感情については、たとえば、顔の表情から認識する。本実施の形態では、顔の表情を「真顔」、「喜び」、「怒り」、「嫌悪」、「驚き」、「怖れ」及び「悲しみ」の7種類に分類し、それぞれの度合いを求めて、感情を認識する。「喜び」、「怒り」、「嫌悪」、「驚き」、「怖れ」及び「悲しみ」の表情は、それぞれ「喜び」、「怒り」、「嫌悪」、「驚き」、「怖れ」及び「悲しみ」の感情に対応する。「真顔」は、無表情であり、特定の感情がない状態に対応する。
感情の認識結果としては、各感情の度合い(感情らしさ)を数値化したスコア(感情スコア)が出力される。感情スコアは、たとえば、最大値を100として出力される。本実施の形態では、各感情のスコアの合計が100となるように出力される。
年齢については、特定の年齢を認識するのではなく、年代を認識する構成とすることもできる。たとえば、10代未満、10代、20代、…等である。本実施の形態では、顔の画像から年代を認識する。性別については、顔の画像から男女の別を認識する。
マップ生成部120Dは、撮影情報取得部120Aで取得した撮影情報、及び、人物属性認識部120Cで認識した人物属性に基づいて、マップデータを生成する。
マップデータは、各観客の人物属性の情報を画像内での各観客の顔の情報に関連付けて記録したものである。観客の位置は、たとえば、観客の顔の座標位置で特定される。
マップデータは、画像データごとに生成される。また、マップデータには、その元となった画像データの撮影情報が付加される。すなわち、画像データを撮影したカメラの識別情報及びカメラの撮影条件の情報等が付加される。これにより、どの領域におけるマップデータかを特定できる。また、何時の時点でのマップデータかを特定できる。
図9は、マップデータの生成の概念図である。同図は、領域V1を第1のカメラC1で撮影して得られた画像データからマップデータを生成する場合の例を示している。
同図に示すように、マップデータは、画像内での各観客の位置に関連付けて、当該観客の人物属性の情報が記録される。
図10は、マップデータの一例を示す図である。
同図に示すように、画像内から顔が検出された観客ごとに、その座標位置の情報、認識した人物属性の情報が記録される。このようなマップデータが画像データごとに生成される。
マップ生成部120Dで生成されたマップデータは、データベース(database)200に記録される。
図11は、データベースの一例を示す図である。
マップデータは、その生成元となるカメラC1~C6の情報に関連付けられて、時系列順にデータベースに記録される。また、各カメラC1~C6の情報は、対象とする領域V1~V6の情報に関連付けられて、マップデータに記録される。
データベース200は、イベント単位で全カメラから生成されるマップデータを管理する。データベース200には、この他、マップデータ補間部130で補間されたマップデータ、及び、補間後のマップデータから生成した合成マップデータ、合成マップデータを処理して得たデータ、及び、合成マップデータを処理して得たデータから生成したヒートマップ等も記録される。データベース200は、たとえば、HDD104に保存される。
マップデータ補間部130は、同じ観客の人物属性の情報を重複して有するマップデータ間で各観客の人物属性の情報を補間する。
生成元となった画像データの撮影範囲が重複しているマップデータ同士は、撮影範囲が重複する領域において、同じ観客の人物属性の情報を有する。
各マップデータは、必ずしもすべての観客の人物属性の情報が得られているとは限らない。その生成元となる画像データにおいて、顔が検出できない場合、顔から人物属性を認識できない場合等があるからである。
本実施の形態の画像データ処理システムでは、重複した領域を複数のカメラで多方向から撮影している。このため、たとえば、一のカメラである観客の顔を撮影できていなくても、他の一のカメラで撮影できている場合がある。
本実施の形態の画像データ処理システムでは、同じ観客の人物属性の情報を重複して有するマップデータ間で各観客の人物属性の情報を補間する。これにより、高精度なマップデータを生成する。
以下、マップデータ補間部130で行われるマップデータの補間処理について説明する。
図12及び図13は、顔の検出結果の一例を示す図である。図12は、領域V1を第1のカメラC1で撮影した場合に得られる画像から顔を検出した場合の一例を示している。図13は、領域V1を第2のカメラC2で撮影した場合に得られる画像から顔を検出した場合の一例を示している。図12及び図13において、白塗りの円は、画像中から顔が検出できた観客の位置を示している。一方、黒塗りの円は、画像中から顔が検出できなかった観客の位置を示している。
第1のカメラC1で撮影した画像から生成されるマップデータを第1のマップデータ、第2のカメラC2で撮影した画像から生成されるマップデータを第2のマップデータとする。
図12に示すように、第1のカメラC1で撮影した画像からは、観客P34、P55、P84及びP89の顔が検出できていない。したがって、この場合、第1のマップデータでは、観客P34、P55、P84及びP89の人物属性の情報が欠損する。
一方、図13に示すように、第2のカメラC2で撮影した画像からは、観客P34、P55、P84及びP89の顔が検出できている。したがって、第2のマップデータには、これらの観客P34、P55、P84及びP89の人物属性の情報が存在する。この場合、第1のマップデータで欠損している観客の情報を第2のマップデータで補間できる。すなわち、第1のマップデータで欠損している観客P34、P55、P84及びP89の人物属性の情報を第2のマップデータの情報で補間できる。
同様に、図13に示すように、第2のカメラC2で撮影した画像からは、観客P29、P47、P62及びP86の顔が検出できていない。したがって、この場合、第2のマップデータでは、観客P29、P47、P62及びP86の人物属性の情報が欠損する。
一方、図12に示すように、第1のカメラC1で撮影した画像からは、観客P29、P47、P62及びP86の顔が検出できている。したがって、第1のマップデータには、これらの観客P29、P47、P62及びP86の人物属性の情報が存在する。この場合、第2のマップデータで欠損している観客の情報を第1のマップデータで補間できる。すなわち、第2のマップデータで欠損している観客P29、P47、P62及びP86の人物属性の情報を、第1のマップデータの情報で補間できる。
このように、重複した領域を有する画像から生成されるマップデータは、画像が重複する領域において同じ観客の人物属性の情報を有する。したがって、欠損している場合は相互に補間できる。
なお、上記の例では、2つのマップデータ間で不足する観客の人物属性の情報を互いに補間する例で説明したが、同じ観客の人物属性の情報を重複して有するマップデータ間で各観客の人物属性の情報を補間する。
補間の処理は、まず、同じ観客の人物属性の情報を重複して有するマップデータ間でデータを照合し、各マップデータで欠損している観客の人物属性の情報を特定する。欠損している観客の人物属性の情報があるマップデータについては、他のマップデータの対応する観客の人物属性の情報で補間する。同じ観客の人物属性の情報が複数のマップデータに存在する場合は、たとえば、認識精度の高い人物属性の情報を採用する。
データを照合する際は、各観客の配置関係に基づいて、データのマッチングが行われる。すなわち、画像内での各観客の配置パターンから重複する観客を特定する。この他、各位置の観客の人物属性の情報に基づいて、データのマッチングを行うこともできる。
マップデータ補間部130で補間処理が施されたマップデータは、データベース200に記録される(図11参照)。
マップデータ合成部140は、補間後のマップデータを合成し、1つの合成マップデータを生成する。この合成マップデータは、会場内の全観客の人物属性の情報が、各観客の顔の位置に関連付けて記録されたマップデータとなる。
合成マップデータは、同じ撮影タイミングのマップデータから生成される。したがって、合成マップデータは、時系列順に順次生成される。
合成の際は、カメラの情報が利用される。すなわち、マップデータは、カメラで撮影された画像から生成され、各カメラは、あらかじめ定められた領域をあらかじめ定められた条件(位置及び方向)で撮影するので、その情報を利用することで、容易に合成することができる。
また、合成は、マップデータの生成元となった画像データを利用して行うこともできる。すなわち、画像データとマップデータは対応しているので、画像データを合成することで、マップデータも合成することができる。画像データの合成は、たとえば、パノラマ合成などの手法を採用できる。
このように、本実施の形態の画像データ処理システム1では、複数のマップデータを生成し、生成した複数のマップデータから1つの合成マップデータを生成する。これにより、大きなイベント会場であっても、全観客の人物属性の情報を記録した1つのマップデータを容易に生成できる。また、小さなイベント会場であっても、会場全体を1台のカメラで撮影して、マップデータを生成する場合に比べて、効率よく会場全体のマップデータを生成できる。すなわち、複数の領域に分けて処理するので、分散処理が可能になり、効率よく会場全体のマップデータを生成できる。
生成された合成マップデータは、生成元のマップデータに関連付けられて、データベース200に記録される(図11参照)。
データ処理部150は、合成マップデータを処理して、会場内の各観客に関するデータを生成する。どのようなデータを生成するかについては、ユーザの設定による。たとえば、各観客の感情の状態を示すデータを生成したり、特定の感情の感情量を示すデータを生成したり、盛り上がり度を示すデータを生成したりする。
感情の状態のデータは、たとえば、感情の認識結果から最もスコアの高い感情を抽出して取得する。たとえば、ある観客の感情の認識結果(スコア)が、真顔:12、喜び:75、怒り:0、嫌悪:0、驚き:10、恐れ:3、悲しみ:0の場合、感情の状態は喜びとなる。
特定の感情の感情量を示すデータとは、特定の感情の感情レベル、あるいは、特定の感情の振幅の大きさ等を数値化したデータである。
感情レベルのデータは、感情のスコアから求める。たとえば、喜びの感情レベルのデータは、喜びのスコアから取得する。また、たとえば、喜びと驚きの感情レベルのデータは、喜びと驚きのスコアの和を求めて取得する。この場合、各感情に対し、重みを付与して感情レベルのデータを算出してもよい。すなわち、各感情のスコアに、あらかじめ定めた係数を掛け合わせて、和を算出する構成としてもよい。
感情の振幅のデータは、たとえば、あらかじめ定められた時間間隔で感情のスコアの差を算出して取得する。たとえば、喜びの感情の振幅については、あらかじめ定めた時間間隔で喜びのスコアの差を算出して取得する。また、たとえば、喜びと悲しみの感情の振幅については、あらかじめ定めた時間間隔で喜びのスコアと悲しみのスコアとの差(たとえば、時刻tにおける喜びのスコアと、時刻t+Δtにおける悲しみのスコアとの差)を算出して取得する。
感情量に関して、どの感情を検出対象とするかは、イベントの種類による。たとえば、コンサートでは、主に喜びの感情レベルの大きさが観客の満足度に繋がると考えられる。したがって、コンサートの場合は、喜びの感情レベルが検出対象とされる。一方、スポーツ観戦では、主に感情の振幅の大きさ(たとえば、喜びと悲しみの感情の振幅の大きさ)が、観客の満足度に繋がると考えられる。したがって、スポーツ観戦の場合は、感情の振幅の大きさが検出対象とされる。
盛り上がり度は、各観客の盛り上がりの度合を数値で表したものである。盛り上がり度は、あらかじめ定められた演算式を用いて、感情のスコアから算出する。演算式Fnは、たとえば、真顔の感情のスコアをS1、喜びの感情のスコアをS2、怒りの感情のスコアをS3、嫌悪の感情のスコアをS4、驚きの感情のスコアをS5、恐れの感情のスコアをS6、悲しみの感情のスコアをS6とした場合、Fn=(a×S1)+(b×S2)+(c×S3)+(d×S4)+(e×S5)+(f×S6)+(g×S7)で定義される。a~gは、各感情に対し、イベントごとに定められる重みの係数である。すなわち、aは真顔の感情に対する係数、bは喜びの感情に対する係数、cは怒りの感情に対する係数、dは嫌悪の感情に対する係数、eは驚きの感情に対する係数、fは恐れの感情に対する係数、gは悲しみの感情に対する係数である。たとえば、コンサートなどであれば、喜びの感情に対する係数aに高い重みが付与される。
上記の各データは、データ処理部150が生成するデータの一例である。データ処理部150は、操作部105を介して入力されたユーザからの指示に基づいて、データを生成する。ユーザは、たとえば、あらかじめ用意された項目の中から選択して、生成するデータを指示する。
データ処理部150で処理されたデータ(処理データ)は、処理元の合成マップデータに関連付けられて、データベース200に記録される(図11参照)。
ヒートマップ生成部160は、データ処理部150で処理されたデータからヒートマップを生成する。本実施の形態の画像データ処理装置100で生成するヒートマップは、会場内の各位置の観客のデータを色又は色の濃淡で表示したものである。たとえば、感情量のヒートマップは、各位置の観客の感情量の値を色又は色の濃淡で表示して生成される。また、盛り上がり度のヒートマップは、各位置の観客の盛り上がり度の値を色又は色の濃淡で表示して生成される。
図14は、盛り上がり度のヒートマップの一例を示す図である。
同図は、イベント会場の座席図を利用してヒートマップを生成している。座席図は、イベント会場における座席の配置を平面展開して示した図である。座席の位置は各観客の位置に対応する。座席図における各座席の位置は、合成マップデータにおける各観客の座標位置に一対一で対応させることができる。したがって、各座席の位置に各観客の盛り上がり度の値を色又は色の濃淡で表示することにより、盛り上がり度のヒートマップを生成できる。
図15は、盛り上がり度の表示形態の一例を示す図である。同図は、盛り上がり度を濃淡で表現する場合の例を示している。算出可能な範囲内で、盛り上がり度が複数の区分に区分けされる。区分けされた区分ごとに表示する濃度が定められる。同図は、盛り上がり度が1から100の数値で算出される場合の例を示しており、かつ、10区分に分けて表示する場合の例を示している。また、盛り上がり度が高くなるに従って表示される濃度が高くなる場合の例を示している。
ヒートマップ生成部160で生成されたヒートマップのデータは、生成元のデータに関連付けられて、データベース200に記録される(図11参照)。
表示制御部170は、操作部105を介して入力されたユーザからの表示の指示に応じて、データ処理部150で生成されたデータを表示部106に表示する。また、ヒートマップ生成部160で生成されたヒートマップを表示部106に表示する。
出力制御部180は、操作部105を介して入力されたユーザからの出力の指示に応じて、データ処理部150で生成されたデータを外部機器300に出力する。また、ヒートマップ生成部160で生成されたヒートマップのデータを外部機器300に出力する。
[作用]
図16は、本実施の形態の画像データ処理システムにおける画像データの処理手順を示すフローチャートである。
図16は、本実施の形態の画像データ処理システムにおける画像データの処理手順を示すフローチャートである。
まず、観客撮影装置10の各カメラCで会場内の各領域V1~V6を撮影する(ステップS1)。各領域V1~V2は、複数台のカメラによって、多方向から撮影される。
画像データ処理装置100は、各カメラCで撮影された画像データを入力する(ステップS2)。各カメラCの画像データは、イベントの終了後にまとめて入力する。なお、リアルタイムに入力する構成とすることもできる。
画像データ処理装置100は、入力された各カメラCの画像データを個別に処理し、各画像データが表す画像から画像内の各観客の顔を検出する(ステップS3)。
画像データ処理装置100は、検出された顔から各観客の人物属性を認識する(ステップS4)。
画像データ処理装置100は、各画像データにおける各観客の人物属性の認識結果に基づいて、画像データごとにマップデータを生成する(ステップS5)。マップデータは、各観客の人物属性の情報を画像内での各観客の位置の情報に対応づけて記録することにより生成される。
ここで生成されるマップデータは、必ずしもすべての観客の人物属性が記録されているとは限らない。障害物で顔が隠れる場合などもあり、必ずしもすべて時間ですべての観客の人物属性を認識できるとは限らない。
このため、画像データ処理装置100は、各画像データからマップデータを生成後、重複する領域を有するマップデータ間でデータを補間する(ステップS6)。すなわち、一のマップデータにおいて欠損等している観客の人物属性の情報を他の一のマップデータに記録されている情報を利用して補間する。これにより、マップデータで生じるデータの欠損を抑制できる。
画像データ処理装置100は、補間後のマップデータを合成し、会場全体のマップデータを表す合成マップデータを生成する(ステップS7)。
画像データ処理装置100は、合成マップデータを処理し、ユーザから指示されたデータを生成する(ステップS8)。たとえば、各観客の感情量のデータ、盛り上がり度のデータ等を生成する。
画像データ処理装置100は、ユーザからの指示応じて、生成されたデータからヒートマップを生成する(ステップS9)。
画像データ処理装置100は、ユーザからの指示に応じて、生成されたヒートマップを表示部106に表示、又は、外部機器300に出力する(ステップS10)。
以上説明したように、本実施の形態の画像データ処理システム1によれば、会場内の全観客の人物属性の情報を含んだマップデータが合成して生成される。これにより、大きな会場のマップデータを生成する場合であっても、正確なマップデータを効率よく生成できる。また、一度に全観客のマップデータを生成する場合に比して、処理負荷を軽減できる。
また、各マップデータは、少なくとも一部に重複した観客の人物属性の情報を有するため、一のマップデータで欠損する情報を他の一のマップデータで補間できる。これにより、各マップデータにおいて、各観客の人物属性の情報を漏れなく収集できる。
[変形例]
(1)撮影手法
上記実施の形態では、会場の観覧エリアを複数の領域に分割し、各領域を複数台のカメラで複数方向から撮影する構成としているが、会場内の観客を撮影する方法は、これに限定されるものではない。各観客が少なくとも2台以上のカメラで撮影される構成であればよい。これにより、補間が可能になる。
(1)撮影手法
上記実施の形態では、会場の観覧エリアを複数の領域に分割し、各領域を複数台のカメラで複数方向から撮影する構成としているが、会場内の観客を撮影する方法は、これに限定されるものではない。各観客が少なくとも2台以上のカメラで撮影される構成であればよい。これにより、補間が可能になる。
図17は、観客を撮影する方法の他の一例を示す図である。
同図において、枠W1~W3は、カメラによる撮影範囲を示している。同図に示すように、本例では、領域Vcにおいて、少なくとも一部が重複するように、各カメラの撮影範囲が設定されている。また、領域Vcにおいて、各観客が少なくとも2台以上のカメラで撮影されるように、各カメラの撮影範囲が設定されている。
各カメラは、撮影範囲が重複する領域を異なる条件で撮影することが好ましい。たとえば、上記実施の形態でしたように、撮影範囲が重複する領域を互いに異なる方向から撮影するように構成する。これにより、一のカメラで撮影する画像において、観客の顔が障害物等で隠れた場合であっても、他の一のカメラで撮影することが可能になる。
また、重複する領域を異なる露出で撮影するように構成することもできる。この場合、ほぼ同一方向から撮影する構成とすることもできる。重複する領域を異なる露出で撮影することにより、たとえば、一のカメラで撮影する画像において、画像内にフレア及び/又はゴースト(太陽光、反射、フラッシュ等)が発生することにより、顔を検出できない事態が生じても、他の一のカメラで撮影した画像から検出することが可能になる。
露出は、たとえば、絞り値、シャッタスピード又は感度を変えて調整する他、NDフィルタ(Neutral Density Filter)等の光学フィルタを用いて調整する方法等も採用できる。
(2)撮影画像
上記実施の形態では、動画を撮影し、フレーム単位で処理する場合を例に説明したが、静止画を撮影し、勝利する場合にも本発明は適用できる。
上記実施の形態では、動画を撮影し、フレーム単位で処理する場合を例に説明したが、静止画を撮影し、勝利する場合にも本発明は適用できる。
また、動画には、あらかじめ定められた時間間隔で連続的に静止画を撮影し、処理する場合も含まれる。たとえば、インターバル撮影、タイムラプス動画などを行って処理する場合も含まれる。
(3)人物属性
上記実施の形態では、顔から認識する人物属性として、各観客の年齢、性別及び感情を認識する場合を例に説明したが、顔から認識する人物属性は、これに限定されるものではない。この他、たとえば、観客個人を識別する個人識別情報等を含めることができる。すなわち、個人認識した情報を含めることができる。個人識別情報の認識は、たとえば、顔画像と個人識別情報とが関連付けて記憶された顔認識データベースを使用して行う。具体的には、検出した顔の画像と、顔認識データベースに格納された顔画像との照合処理を行ない、一致した顔画像に対応する個人識別情報を顔認識データベースから取得することにより行う。個人識別情報には、観客の年齢、性別等の情報を関連づけることができる。したがって、個人識別情報を認識する場合には、年齢及び性別等の認識は不要となる。
上記実施の形態では、顔から認識する人物属性として、各観客の年齢、性別及び感情を認識する場合を例に説明したが、顔から認識する人物属性は、これに限定されるものではない。この他、たとえば、観客個人を識別する個人識別情報等を含めることができる。すなわち、個人認識した情報を含めることができる。個人識別情報の認識は、たとえば、顔画像と個人識別情報とが関連付けて記憶された顔認識データベースを使用して行う。具体的には、検出した顔の画像と、顔認識データベースに格納された顔画像との照合処理を行ない、一致した顔画像に対応する個人識別情報を顔認識データベースから取得することにより行う。個人識別情報には、観客の年齢、性別等の情報を関連づけることができる。したがって、個人識別情報を認識する場合には、年齢及び性別等の認識は不要となる。
(4)マップデータの補間処理
マップデータの補間は、同じ人物の人物属性の情報を相互に有するマップデータ間で行われる。このようなマップデータは、重複した撮影範囲を有する画像データから生成されるマップデータである。
マップデータの補間は、同じ人物の人物属性の情報を相互に有するマップデータ間で行われる。このようなマップデータは、重複した撮影範囲を有する画像データから生成されるマップデータである。
マップデータの補間は、一のマップデータで欠損している人物の人物属性の情報を他のマップデータで補間することを基本とする。また、欠損していない場合であっても、次のように、各人物の人物属性の情報を補間することができる。
(a)認識精度の高い人物属性の情報を採用する
同じ人物の人物属性の情報が複数のマップデータに存在する場合において、相対的に認識精度の低い人物属性の情報を相対的に認識精度の高い人物属性の情報で置き替えて、各人物の人物属性の情報を補間する。より具体的には、認識精度の最も高い人物属性の情報を採用する。この場合、認識精度の最も高い人物属性の情報を有するマップデータ以外のマップデータの情報がすべて書き換えられる。
同じ人物の人物属性の情報が複数のマップデータに存在する場合において、相対的に認識精度の低い人物属性の情報を相対的に認識精度の高い人物属性の情報で置き替えて、各人物の人物属性の情報を補間する。より具体的には、認識精度の最も高い人物属性の情報を採用する。この場合、認識精度の最も高い人物属性の情報を有するマップデータ以外のマップデータの情報がすべて書き換えられる。
この場合、人物属性認識部120Cは、人物属性の認識に併せて、その認識精度を算出する。認識精度(信頼度、評価値などともいう)を算出するアルゴリズムは、画像認識において一般的に知られているアルゴリズムを採用できる。
(b)各マップデータ間で同じ人物の人物属性の平均をとる
同じ人物の人物属性の情報を有するマップデータ間で同じ人物の人物属性の平均を求めることにより、該当する人物の人物属性を求める。この場合、求めた平均で各マップデータの情報が置き替えられる。
同じ人物の人物属性の情報を有するマップデータ間で同じ人物の人物属性の平均を求めることにより、該当する人物の人物属性を求める。この場合、求めた平均で各マップデータの情報が置き替えられる。
(c)認識精度に応じた重み付き平均をとる
同じ人物の人物属性の平均を求める際、人物属性の認識精度に応じた重みを付けて、平均を算出する。認識精度の高い人物属性ほど大きな重みを付ける。
同じ人物の人物属性の平均を求める際、人物属性の認識精度に応じた重みを付けて、平均を算出する。認識精度の高い人物属性ほど大きな重みを付ける。
上記各手法は、一のマップデータで欠損している人物の人物属性の情報を他のマップデータで補間する場合についても採用できる。すなわち、一のマップデータで欠損している人物の人物属性の情報を有するマップデータが複数存在する場合にも採用できる。
なお、認識精度の低い人物属性については、採用すると、却ってマップデータの信頼性が低下する事態が生じ得る。このため、補間する場合は、閾値以上の認識精度を有する人物属性の情報のみを採用することが好ましい。閾値は、ユーザが設定できるようにすることが好ましい。この閾値は第1閾値の一例である。
(5)補間方法の選択
どのような手法でマップデータを補間するかは、ユーザが任意に選択できるようにしてもよい。この場合、たとえば、実行可能な補間方法を表示部106に表示し、操作部105を介して、ユーザに選択させる方法を採用できる。
どのような手法でマップデータを補間するかは、ユーザが任意に選択できるようにしてもよい。この場合、たとえば、実行可能な補間方法を表示部106に表示し、操作部105を介して、ユーザに選択させる方法を採用できる。
また、補間方法の選択を切り換えるたびにヒートマップを生成し、生成したヒートマップを表示部に表示する構成とすることもできる。これにより、好ましい補間方法を容易に選択できる。
また、画像データ処理装置100が、自動で最適な補間方法を判別し、選択する方法を採用することもできる。自動で補間方法を判別する方法としては、以下の方法が考えられる。
(a)全体を含む指定時間及び/又は指定領域で抽出した人物の人物属性の数が最大となる補間方法を選択する。
(b)全体を含む指定時間及び/又は指定領域で抽出した人物の人物属性の認識精度の平均が最大になる補間方法を選択する。
(c)全体を含む指定時間及び/又は指定領域で抽出した人物の人物属性の認識精度のバラツキが最小になる補間方法を選択する。
(d)指定した人物の人物属性をすべて抽出できる補間方法を選択する。
(e)指定した人物の人物属性の認識精度の平均が最大になる補間方法を選択する。
(f)指定した人物の人物属性の認識精度のバラツキが最小になる補間方法を選択する。
時間の指定、領域の指定及び人物の指定は、操作部105を介して、ユーザが行う。
(6)どのマップデータからも補間できない場合の処理
観客をどのカメラからも撮影できない事態も生じうる。この場合、該当する時間において、該当する人物の属性情報が欠損する。特定の時間帯である人物の人物属性が欠損した場合、次の手法で当該人物の人物属性の情報を補間する。
観客をどのカメラからも撮影できない事態も生じうる。この場合、該当する時間において、該当する人物の属性情報が欠損する。特定の時間帯である人物の人物属性が欠損した場合、次の手法で当該人物の人物属性の情報を補間する。
まず、全観客の人物属性の経時変化を求める。次に、特定の時間帯で人物属性の情報が欠損している人物を特定する。次に、当該人物の人物属性の経時変化が類似する人物を特定する。特定した人物の人物属性の情報を用いて、欠損した時間帯の人物属性の情報を補間する。
本手法は、人物属性として感情を認識する場合に有効である。すなわち、欠損する感情の情報を類似する感情変化を有する人物の情報で補間する。感情に関して、似た反応を示すと考えられるからである。
(7)補間後のマップデータの修正
補間したマップデータについては、更に修正して用いることができる。たとえば、イベントの全開催時間を通じて、人物属性の認識精度が低い人物について、マップデータから除外する。これにより、補完後のマップデータの信頼度を向上できる。この処理は、たとえば、次のように実施する。
補間したマップデータについては、更に修正して用いることができる。たとえば、イベントの全開催時間を通じて、人物属性の認識精度が低い人物について、マップデータから除外する。これにより、補完後のマップデータの信頼度を向上できる。この処理は、たとえば、次のように実施する。
まず、イベントの全開催時間を通じた全人物の人物属性の認識精度を求める。次に、認識精度が規定値以下となった時間の合計が規定時間以上の人物を特定する。特定した人物の人物属性の情報を補完後のマップデータから除外する。規定値は、第2閾値の一例である。
(8)マップデータ間で重複する人物を特定する方法
マップデータを補間する際、マップデータ間で重複する人物を特定する必要がある。この場合、マップデータに記録された各人物の位置情報を利用して、重複する人物を特定できる。すなわち、各マップデータに記録されている各人物の位置情報から各人物の配置関係(配置パターン)を特定できるので、配置関係から重複する人物を特定できる。同様に、各位置の人物属性の情報からも重複する人物を特定できる。すなわち、人物属性のパターンから重複する人物を特定できる。
マップデータを補間する際、マップデータ間で重複する人物を特定する必要がある。この場合、マップデータに記録された各人物の位置情報を利用して、重複する人物を特定できる。すなわち、各マップデータに記録されている各人物の位置情報から各人物の配置関係(配置パターン)を特定できるので、配置関係から重複する人物を特定できる。同様に、各位置の人物属性の情報からも重複する人物を特定できる。すなわち、人物属性のパターンから重複する人物を特定できる。
また、合成マップデータを生成する際も、各マップデータ間で重複する人物を特定することにより、マップデータ単体で合成処理を行うことができる。すなわち、カメラの配置位置等の情報を用いずに、合成処理を行うことができる。
(9)ヒートマップ
上記実施の形態では、イベント会場の座席図を利用してヒートマップを生成しているが、ヒートマップの形態は、これに限定されるものではない。合成マップデータから生成した各位置における観客のデータを色又は色の濃淡で表示したものであればよい。
上記実施の形態では、イベント会場の座席図を利用してヒートマップを生成しているが、ヒートマップの形態は、これに限定されるものではない。合成マップデータから生成した各位置における観客のデータを色又は色の濃淡で表示したものであればよい。
また、ヒートマップの表示形態としては、必ずしも全体を表示させる必要はなく、領域ごとに表示させる形態としてもよい。また、ヒートマップを実際の映像に重ね合わせて表示してもよい。
(10)画像データ処理装置の構成
画像データ処理装置において、各種処理を実行する処理部(processing unit)のハードウェア的な構造は、各種のプロセッサ(processor)で実現される。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU及び/又はGPU(Graphic Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device,PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。プログラムは、ソフトウェアと同義である。
画像データ処理装置において、各種処理を実行する処理部(processing unit)のハードウェア的な構造は、各種のプロセッサ(processor)で実現される。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU及び/又はGPU(Graphic Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device,PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。プログラムは、ソフトウェアと同義である。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサで構成されてもよい。たとえば、1つの処理部は、複数のFPGA、或いは、CPUとFPGAの組み合わせによって構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System on Chip,SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
1 画像データ処理システム
2 イベント会場
3 パフォーマー
4 ステージ
6 座席
10 観客撮影装置
100 画像データ処理装置
101 CPU
103 ROM
104 HDD
105 操作部
106 表示部
107 入出力インターフェース
110 撮影制御部
120 マップデータ処理部
120A 撮影情報取得部
120B 顔検出部
120C 人物属性認識部
120D マップ生成部
130 マップデータ補間部
140 マップデータ合成部
150 データ処理部
160 ヒートマップ生成部
170 表示制御部
180 出力制御部
200 データベース
300 外部機器
C カメラ
C1 第1のカメラ
C2 第2のカメラ
C3 第3のカメラ
C4 第4のカメラ
C5 第5のカメラ
C6 第6のカメラ
F 検出した顔を囲う枠
Im 画像
P 観客
P29 観客
P34 観客
P47 観客
P55 観客
P62 観客
P84 観客
R1 第1のカメラの撮影範囲
R2 第2のカメラの撮影範囲
R3 第3のカメラの撮影範囲
R4 第4のカメラの撮影範囲
R5 第5のカメラの撮影範囲
R6 第6のカメラの撮影範囲
V 観覧エリア
V1 観覧エリアを分割した領域
V2 観覧エリアを分割した領域
V3 観覧エリアを分割した領域
V4 観覧エリアを分割した領域
V5 観覧エリアを分割した領域
V6 観覧エリアを分割した領域
Vc 観覧エリアを分割した領域
W1 撮影範囲を示す枠
W2 撮影範囲を示す枠
W3 撮影範囲を示す枠
S1~S10 画像データ処理システムにおける画像データの処理手順
2 イベント会場
3 パフォーマー
4 ステージ
6 座席
10 観客撮影装置
100 画像データ処理装置
101 CPU
103 ROM
104 HDD
105 操作部
106 表示部
107 入出力インターフェース
110 撮影制御部
120 マップデータ処理部
120A 撮影情報取得部
120B 顔検出部
120C 人物属性認識部
120D マップ生成部
130 マップデータ補間部
140 マップデータ合成部
150 データ処理部
160 ヒートマップ生成部
170 表示制御部
180 出力制御部
200 データベース
300 外部機器
C カメラ
C1 第1のカメラ
C2 第2のカメラ
C3 第3のカメラ
C4 第4のカメラ
C5 第5のカメラ
C6 第6のカメラ
F 検出した顔を囲う枠
Im 画像
P 観客
P29 観客
P34 観客
P47 観客
P55 観客
P62 観客
P84 観客
R1 第1のカメラの撮影範囲
R2 第2のカメラの撮影範囲
R3 第3のカメラの撮影範囲
R4 第4のカメラの撮影範囲
R5 第5のカメラの撮影範囲
R6 第6のカメラの撮影範囲
V 観覧エリア
V1 観覧エリアを分割した領域
V2 観覧エリアを分割した領域
V3 観覧エリアを分割した領域
V4 観覧エリアを分割した領域
V5 観覧エリアを分割した領域
V6 観覧エリアを分割した領域
Vc 観覧エリアを分割した領域
W1 撮影範囲を示す枠
W2 撮影範囲を示す枠
W3 撮影範囲を示す枠
S1~S10 画像データ処理システムにおける画像データの処理手順
Claims (22)
- 複数の撮影装置から得られる、撮影範囲の少なくとも一部が重複した画像データを処理する画像データ処理装置であって、
プロセッサを備え、
前記プロセッサは、
前記画像データごとに、前記画像データが表す画像内の人物の顔を検出し、検出した前記顔に基づいて、前記人物の人物属性を認識する処理と、
前記画像データごとに、認識された前記人物属性を前記画像データが表す画像内での前記人物の位置に対応させて記録したマップデータを生成する処理と、
複数の前記マップデータ間で重複する前記人物の前記人物属性を補間する処理と、
補間後の複数の前記マップデータを合成した合成マップデータを生成する処理と、
を実行する、
画像データ処理装置。 - 前記プロセッサは、前記合成マップデータからヒートマップを生成する処理を更に実行する、
請求項1に記載の画像データ処理装置。 - 前記プロセッサは、生成した前記ヒートマップをディスプレイに表示する処理を更に実行する、
請求項2に記載の画像データ処理装置。 - 前記プロセッサは、生成した前記ヒートマップを外部に出力する処理を更に実行する、
請求項2又は3に記載の画像データ処理装置。 - 前記プロセッサは、複数の前記マップデータ間で重複する前記人物の前記人物属性を照合し、一の前記マップデータで欠損している前記人物の前記人物属性を他の一の前記マップデータにある前記人物の前記人物属性で補間する、
請求項1から4のいずれか1項に記載の画像データ処理装置。 - 前記プロセッサは、前記人物の前記人物属性を認識する際、認識精度を併せて算出する、
請求項1から5のいずれか1項に記載の画像データ処理装置。 - 前記プロセッサは、相対的に認識精度の低い前記人物の前記人物属性を相対的に認識精度の高い前記人物の前記人物属性で置き換えて、重複する前記人物の前記人物属性を補間する、
請求項6に記載の画像データ処理装置。 - 前記プロセッサは、認識精度に応じた重みを付与して、各前記人物の前記人物属性の平均を算出し、算出した平均で置き替えて、重複する前記人物の前記人物属性を補間する、
請求項6に記載の画像データ処理装置。 - 前記プロセッサは、複数の認識精度を有し、第1閾値以上の認識精度を有する前記人物の前記人物属性の情報を採用して、重複する前記人物の前記人物属性を補間する、
請求項6から8のいずれか1項に記載の画像データ処理装置。 - 前記プロセッサは、補間後の前記マップデータにおいて、第2閾値以下の認識精度の前記人物属性の情報を除外する処理を更に実行する、
請求項6から9のいずれか1項に記載の画像データ処理装置。 - 前記プロセッサは、前記人物属性の情報を他の前記マップデータで補間できない場合、属性の情報の経時変化が類似する他の前記人物属性の情報で補間する、
請求項1から9のいずれか1項に記載の画像データ処理装置。 - 前記プロセッサは、複数の前記マップデータ間で重複する前記人物を特定する処理を更に実行する、
請求項1から11のいずれか1項に記載の画像データ処理装置。 - 前記プロセッサは、前記マップデータにおける前記人物の配置関係に基づいて、複数の前記マップデータ間で重複する前記人物を特定する、
請求項12に記載の画像データ処理装置。 - 前記プロセッサは、前記マップデータにおける各位置の前記人物の前記人物属性に基づいて、複数の前記マップデータ間で重複する前記人物を特定する、
請求項12に記載の画像データ処理装置。 - 前記プロセッサは、前記人物の顔に基づいて、性別、年齢及び感情の少なくとも一つを、前記人物属性として認識する、
請求項1から14のいずれか1項に記載の画像データ処理装置。 - 前記プロセッサは、複数の前記撮影装置に対し、前記撮影範囲が重複する領域を互いに異なる条件で撮影するよう指示する、
請求項1から15のいずれか1項に記載の画像データ処理装置。 - 前記プロセッサは、複数の前記撮影装置に対し、前記撮影範囲が重複する領域を互いに異なる方向から撮影するよう指示する、
請求項16に記載の画像データ処理装置。 - 前記プロセッサは、複数の前記撮影装置に対し、前記撮影範囲が重複する領域を互いに異なる露出で撮影するよう指示する、
請求項16又は17に記載の画像データ処理装置。 - 撮影範囲の少なくとも一部が重複した複数の撮影装置と、
複数の前記撮影装置から得られる画像データを処理する画像データ処理装置と、
を備えた画像データ処理システムであって、
前記画像データ処理装置は、
プロセッサを備え、
前記プロセッサは、
前記画像データごとに、前記画像データが表す画像内の人物の顔を検出し、検出した前記顔に基づいて、前記人物の人物属性を認識する処理と、
前記画像データごとに、認識された前記人物属性を前記画像データが表す画像内での前記人物の位置に対応させて記録したマップデータを生成する処理と、
複数の前記マップデータ間で重複する前記人物の前記人物属性を補間する処理と、
補間後の複数の前記マップデータを合成した合成マップデータを生成する処理と、
を実行する、
画像データ処理システム。 - 複数の前記撮影装置は、前記撮影範囲が重複する領域を互いに異なる条件で撮影する、
請求項19に記載の画像データ処理システム。 - 複数の前記撮影装置は、前記撮影範囲が重複する領域を互いに異なる方向から撮影する、
請求項20に記載の画像データ処理システム。 - 複数の前記撮影装置は、前記撮影範囲が重複する領域を互いに異なる露出で撮影する、
請求項20又は21に記載の画像データ処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022524441A JP7377971B2 (ja) | 2020-05-22 | 2021-05-14 | 画像データ処理装置及び画像データ処理システム |
CN202180032854.6A CN115552460A (zh) | 2020-05-22 | 2021-05-14 | 图像数据处理装置及图像数据处理*** |
US18/048,433 US20230054531A1 (en) | 2020-05-22 | 2022-10-20 | Image data processing device and image data processing system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020089729 | 2020-05-22 | ||
JP2020-089729 | 2020-05-22 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/048,433 Continuation US20230054531A1 (en) | 2020-05-22 | 2022-10-20 | Image data processing device and image data processing system |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021235355A1 true WO2021235355A1 (ja) | 2021-11-25 |
Family
ID=78709031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/018436 WO2021235355A1 (ja) | 2020-05-22 | 2021-05-14 | 画像データ処理装置及び画像データ処理システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230054531A1 (ja) |
JP (1) | JP7377971B2 (ja) |
CN (1) | CN115552460A (ja) |
WO (1) | WO2021235355A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015125731A (ja) * | 2013-12-27 | 2015-07-06 | 沖電気工業株式会社 | 人物属性推定装置、人物属性推定方法及びプログラム |
WO2016035632A1 (ja) * | 2014-09-02 | 2016-03-10 | Necソリューションイノベータ株式会社 | データ処理装置、データ処理システム、データ処理方法及びプログラム |
JP2016057701A (ja) * | 2014-09-05 | 2016-04-21 | オムロン株式会社 | 識別装置および識別装置の制御方法 |
JP2016100033A (ja) * | 2014-11-19 | 2016-05-30 | シャープ株式会社 | 再生制御装置 |
JP2019197353A (ja) * | 2018-05-09 | 2019-11-14 | コニカミノルタ株式会社 | 属性決定装置、属性決定システムおよび属性決定方法 |
-
2021
- 2021-05-14 JP JP2022524441A patent/JP7377971B2/ja active Active
- 2021-05-14 CN CN202180032854.6A patent/CN115552460A/zh active Pending
- 2021-05-14 WO PCT/JP2021/018436 patent/WO2021235355A1/ja active Application Filing
-
2022
- 2022-10-20 US US18/048,433 patent/US20230054531A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015125731A (ja) * | 2013-12-27 | 2015-07-06 | 沖電気工業株式会社 | 人物属性推定装置、人物属性推定方法及びプログラム |
WO2016035632A1 (ja) * | 2014-09-02 | 2016-03-10 | Necソリューションイノベータ株式会社 | データ処理装置、データ処理システム、データ処理方法及びプログラム |
JP2016057701A (ja) * | 2014-09-05 | 2016-04-21 | オムロン株式会社 | 識別装置および識別装置の制御方法 |
JP2016100033A (ja) * | 2014-11-19 | 2016-05-30 | シャープ株式会社 | 再生制御装置 |
JP2019197353A (ja) * | 2018-05-09 | 2019-11-14 | コニカミノルタ株式会社 | 属性決定装置、属性決定システムおよび属性決定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230054531A1 (en) | 2023-02-23 |
JPWO2021235355A1 (ja) | 2021-11-25 |
CN115552460A (zh) | 2022-12-30 |
JP7377971B2 (ja) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180121739A1 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
JP5424852B2 (ja) | 映像情報処理方法及びその装置 | |
CN102341828B (zh) | 处理至少一个活体的图像 | |
EP2467805B1 (en) | Method and system for image analysis | |
JP2007286995A (ja) | 注目度計測装置及び注目度計測システム | |
US20090297052A1 (en) | System and method for estimating the centers of moving objects in a video sequence | |
US20140270388A1 (en) | Methods and systems for measuring group behavior | |
US9436996B2 (en) | Recording medium storing image processing program and image processing apparatus | |
CN111448589B (zh) | 用于检测患者的身体移动的设备、***和方法 | |
JPWO2020194378A1 (ja) | 画像処理システム、画像処理装置、画像処理方法、及び画像処理プログラム | |
WO2021235355A1 (ja) | 画像データ処理装置及び画像データ処理システム | |
CN111062284B (zh) | 一种交互式视频摘要模型的可视理解与诊断方法 | |
TWI478099B (zh) | 具學習力之視覺注意預測系統及其方法 | |
CN115668279A (zh) | 用于确定面部图像部分的感知吸引力的基于口腔护理的数字成像***和方法 | |
US20220189200A1 (en) | Information processing system and information processing method | |
US20170046841A1 (en) | Monitoring of object impressions and viewing patterns | |
JP2021033359A (ja) | 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム | |
US20220192561A1 (en) | Information processing system, information processing method, and information processing apparatus | |
Munn et al. | FixTag: An algorithm for identifying and tagging fixations to simplify the analysis of data collected by portable eye trackers | |
JP7229698B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN113544700A (zh) | 神经网络的训练方法和装置、关联对象的检测方法和装置 | |
JP7436668B2 (ja) | 画像データ処理装置及びシステム | |
WO2023171184A1 (ja) | 動画像集約装置、動画像集約方法、及び動画像集約プログラム | |
WO2023171337A1 (ja) | 心拍測定システムおよび心拍測定方法、並びにプログラム | |
WO2024024064A1 (ja) | 推定プログラム、推定方法および推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21808898 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022524441 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21808898 Country of ref document: EP Kind code of ref document: A1 |