WO2022018809A1 - 画像分析装置、画像分析システム、画像分析方法及びプログラム - Google Patents
画像分析装置、画像分析システム、画像分析方法及びプログラム Download PDFInfo
- Publication number
- WO2022018809A1 WO2022018809A1 PCT/JP2020/028159 JP2020028159W WO2022018809A1 WO 2022018809 A1 WO2022018809 A1 WO 2022018809A1 JP 2020028159 W JP2020028159 W JP 2020028159W WO 2022018809 A1 WO2022018809 A1 WO 2022018809A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- icons
- image processing
- screen
- icon
- Prior art date
Links
- 238000010191 image analysis Methods 0.000 title claims abstract description 55
- 238000003703 image analysis method Methods 0.000 title claims description 6
- 238000012545 processing Methods 0.000 claims abstract description 299
- 238000004458 analytical method Methods 0.000 claims description 180
- 238000000034 method Methods 0.000 claims description 121
- 230000008569 process Effects 0.000 claims description 112
- 230000005856 abnormality Effects 0.000 claims description 60
- 238000001514 detection method Methods 0.000 claims description 49
- 230000006870 function Effects 0.000 claims description 38
- 238000011156 evaluation Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 2
- 238000012559 user support system Methods 0.000 description 10
- 230000006399 behavior Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Definitions
- the present invention relates to an image analysis device, an image analysis system, an image analysis method and a program.
- Patent Documents 1 to 4 As a device or system that supports image analysis, for example, the techniques described in Patent Documents 1 to 4 have been proposed.
- the medical image processing device described in Patent Document 1 has an image acquisition unit that acquires a medical image from a medical image diagnosis device, an image processing unit that performs predetermined image processing on the acquired medical image, and an operator input unit. .. Then, the medical image processing device is configured to redo the image processing in the image processing unit based on the indication of the operator by the input unit for the medical image image-processed in the image processing unit.
- the medical image processing system described in Patent Document 2 uses a server having dedicated hardware and software connected to a network and a dedicated application on a client terminal to perform a series of image quality improvement processing of CT images on the network. Share in and link in real time.
- the image recognition engine cooperation device described in Patent Document 3 is applied to a plurality of engines including a bar code detection engine, which is a heterogeneous engine that recognizes a subject in an image by an image analysis method different from the image recognition engine and the image recognition engine. It has a linkage processing unit that executes engine linkage processing including inquiry processing and recognition result acceptance processing according to the inquiry processing.
- the linkage processing unit manages the engine linkage processing as a linkage scenario.
- the analysis engine control device described in Patent Document 4 sets an analysis engine meta information table that stores the contents of analysis processing and the characteristics of analysis processing results for each analysis engine, and the contents of analysis processing and conditions of analysis processing results.
- a process flow generation means that generates a process flow by selecting multiple analysis engines that satisfy the conditions of the analysis processing result and execute the analysis processing corresponding to the content of the analysis processing according to the analysis processing request. It is provided with an analysis processing execution means for items of analysis processing based on the process flow.
- the process flow generation means bases the process flow on the analysis engine meta information table so that the analysis process corresponding to the content of the analysis process is executed by satisfying the conditions of the analysis process result according to the actual analysis process result executed. Correct.
- an image processing engine having multiple functions is prepared, and it is necessary to select an appropriate image processing engine from the prepared image processing engines according to the purpose of analysis. be. Further, when analyzing image data taken by each of a plurality of cameras, it is necessary to associate and configure an image processing engine selected for each of the image data. That is, in the analysis of image data, it is necessary to appropriately connect and configure a plurality of image processing engines from the input of the image data to the output of the analysis result.
- Cited Documents 1 to 4 are based on the premise that a technician with specialized knowledge and experience analyzes the image data, and even if a non-technical person refers to these techniques, the image data Properly constructing the entire analytical process may still be difficult.
- the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image analysis device or the like that can easily configure the entire analysis process of image data appropriately.
- the image analyzer is A plurality of input source icons indicating the input source of the image data to be analyzed, a plurality of image processing icons indicating the image processing engine for the image data, and at least one output destination icon indicating the output destination of the processing result by the image processing engine.
- An icon arranging means for receiving an instruction for arranging a plurality of icons including the above on the screen and arranging the plurality of icons on the screen based on the instruction, and an icon arranging means for arranging the plurality of icons on the screen.
- a connection means for receiving a connection instruction for connecting between the icons arranged on the screen, and a connection means.
- a data flow setting means for setting a data flow between the icons and displaying the data flow on the screen based on the connection instruction is provided.
- the image analysis method is: A plurality of input source icons indicating the input source of the image data to be analyzed, a plurality of image processing icons indicating the image processing engine for the image data, and at least one output destination icon indicating the output destination of the processing result by the image processing engine.
- Accepting instructions for arranging a plurality of icons on the screen including, and arranging the plurality of icons on the screen based on the instructions.
- the program according to the third aspect of the present invention is On the computer A plurality of input source icons indicating the input source of the image data to be analyzed, a plurality of image processing icons indicating the image processing engine for the image data, and at least one output destination icon indicating the output destination of the processing result by the image processing engine.
- Accepting instructions for arranging a plurality of icons on the screen including, and arranging the plurality of icons on the screen based on the instructions.
- the image analysis system 100 is a system for obtaining a target analysis result by performing image processing on image data obtained by photographing an analysis target area. As shown in FIG. 1, the image analysis system 100 according to the present embodiment includes three cameras 101a, 101b, 101c and an image analysis device 102.
- Each of the cameras 101a, 101b, and 101c is an example of an image pickup device for photographing an analysis target area.
- the camera 101 when each of the cameras 101a, 101b, and 101c is not particularly distinguished, it is simply referred to as the camera 101.
- the camera 101 As shown in FIG. 2, which is a view of the inside of the store S as the analysis target area from above, the camera 101 according to the present embodiment captures the entire inside of the store S as the analysis target area. Will be installed.
- the camera 101a is installed so as to photograph the area A in the store S
- the camera 101b photographs the area B in the store S
- the camera 101c photographs the area C in the store S.
- a part of the area A, the area B, and the area C overlap each other so that the entire inside of the store S can be photographed.
- the customers A to C who have entered the store S through the doorway E by such a camera 101 pass through the vicinity of the shelves MS1, MS2, MS3 and the register device R on which the products are displayed. , The state of moving from the doorway E to the exit is photographed.
- the movement route M_A shown by the solid line in FIG. 2 is the movement route of the customer A in the store S
- the movement route M_B shown by the dotted line is the movement route of the customer B in the store S
- the movement route M_C shown by is the store S.
- the movement route of the customer C in the above is shown.
- image analysis by the image analysis system 100 is applied to human behavior analysis in a retail store such as store S.
- the image analysis by the image analysis system 100 can also be applied to the behavior analysis of other people, the person search, the analysis of the skill of a skilled person, and the like.
- Examples of other people's behavioral analysis include image analysis for the purposes of government, city planning, traffic, and transportation.
- Examples of searching for people include image analysis for the purpose of investigation, monitoring, searching for lost children, and the like.
- the analysis of the skill of a skilled worker there is an image analysis for the purpose of acquiring the skill of a skilled worker at a manufacturing or processing site, a worker at a construction site, an athlete, an educator, or the like. Then, for example, a building, a facility, an equipment, a road, or the like may be set in the analysis target area according to the purpose of the image analysis.
- the number of cameras 101a, 101b, 101c installed may be two or more, and each of the cameras 101a, 101b, 101c may capture a still image.
- the image analyzer 102 includes an input unit 103, a display unit 104, a display control unit 105, an image acquisition unit 106, an icon arrangement unit 107, and an icon storage unit 108. , Icon-processing storage unit 109, connection unit 110, data flow setting unit 111, parameter setting unit 112, analysis unit 113, component creation unit 114, and component storage unit 115.
- the input unit 103 is a keyboard, mouse, touch panel, etc. for the user to input.
- the display unit 104 is a liquid crystal display or the like that displays a screen.
- the display control unit 105 causes the display unit 104 to display a screen.
- the image acquisition unit 106 acquires image data to be analyzed.
- the icon arranging unit 107 receives an instruction for arranging a plurality of icons on the screen from the input unit 103, and arranges the plurality of icons on the screen based on the instruction.
- the icon storage unit 108 is a storage unit for holding icon data including an icon image.
- the icon data is data for associating, for example, icon type information for identifying an icon type with icon image information.
- the icons include, for example, an input source icon, an image processing icon, an output destination icon, and the like.
- the input source icon is an icon indicating the input source of the image data to be analyzed.
- the image processing icon is an icon indicating an image processing engine for image data.
- the output destination icon is an icon indicating the output destination of the processing result by the image processing engine.
- the processing storage unit 109 is a storage unit for holding processing engine data including the processing engine.
- the processing engine data is, in detail, data for associating, for example, icon identification information with the processing engine and parameters to be set.
- the processing engine includes, for example, an input engine that performs input processing of image data to be analyzed, an image processing engine that performs various image processing on image data, an output engine that performs output processing of processing results, and the like. ..
- the input engine is a real-time input engine that inputs image data from the camera 101 in almost real time.
- the parameter of the real-time input engine is, for example, the network address of the camera 101 from which the real-time input engine is generated.
- the input engine may be a holding data input engine for inputting image data stored in the storage unit, and the parameter of the holding data input engine is, for example, information indicating a storage location of image data.
- the image processing engine includes, for example, a detection engine, a tracking engine, a feature amount extraction engine, a search engine, and a respecific engine.
- the detection engine is an image processing engine for detecting detection targets such as objects and people from image data.
- the tracking engine is an image processing engine for tracking tracking targets such as objects and people in image data.
- the feature amount extraction engine is an image processing engine for extracting the feature amount in the image data.
- the search engine is an image processing engine for searching image data for search targets such as objects and people.
- the re-specification engine is an image processing engine for tracking a tracking target such as an object or a person across a plurality of image data.
- a model trained by machine learning is preferably adopted, and the parameters in this case are parameters for adjusting the trained model.
- the parameters for each of the image processing engines to perform image processing are It is assumed that there is one.
- the tracking engine when distinguishing the icons associated with the detection engine, the tracking engine, the feature amount extraction engine, the search engine, and the respecification engine among the image processing icons, the detection icon, the tracking icon, the feature amount extraction icon, and the search icon are used, respectively. , Called a re-identification icon.
- the output engine is an engine that outputs the processing result on the screen.
- the parameters of the output engine are, for example, information for identifying the screen to be output.
- the plurality of screens may be displayed on one display device or may be displayed on each of the plurality of displays.
- the output engine parameters may be information to identify each of the displays.
- connection unit 110 receives a connection instruction for connecting between the icons arranged on the screen from the input unit 103.
- the data flow setting unit 111 sets the data flow between the icons and displays it on the screen based on the connection instruction received by the connection unit 110.
- the data flow setting unit 111 includes a prohibition processing unit 116, a prohibition storage unit 117, and an appropriate flow setting unit 118.
- the prohibition processing unit 116 determines whether or not the connection between the icons related to the connection instruction is included in the prohibition data, and performs the prohibition processing based on the result of the determination. ..
- the prohibited data is data indicating a prohibited connection between icons, and is preset in the prohibited storage unit 117 for holding the prohibited data.
- the prohibited data includes the connection relationship between the prohibited icons as a prohibited.
- connection relationship is a relationship related to the connection between icons, and includes the flow of data between the processing engines corresponding to the connected icons.
- Connection relationships between icons that are not normally performed may typically have the reverse order of connection between icons. For example, connection relationships in which data flows from other icons to the input source icon, or from the output destination icon. Includes connection relationships where data flows to other icons.
- the face detection engine and the color extraction engine are not normally connected.
- the connection of the corresponding icons may be included.
- the prohibition processing unit 116 determines that the connection between the icons related to the connection instruction is not included in the prohibition data
- the prohibition processing unit 116 sets the data flow according to the connection instruction and displays it on the screen.
- the prohibition processing unit 116 performs the prohibition processing.
- Kinsoku Shori is at least not to set the connection relationship, to set the connection relationship in which the connection instruction is modified by a predetermined method, and to notify that the connection between the icons related to the connection instruction is prohibited. Includes one.
- the appropriate flow setting unit 118 sets the data flow between the icons and displays it on the screen according to the connection instruction received by the connection unit 110.
- the parameter setting unit 112 receives the setting value of the parameter associated with each icon arranged on the screen. When the icon arranged on the screen is selected, the parameter setting unit 112 accepts the setting value of the parameter applied to the processing engine corresponding to the selected icon, and the accepted setting value for the selected icon. To set.
- the parameter setting unit 112 receives a parameter estimation unit 119 for obtaining a candidate for a setting value for a parameter, a parameter candidate display unit 120 for displaying the candidate on the screen, and a parameter setting value. Includes parameter receiving unit 121.
- the parameter estimation unit 119 obtains a candidate for a setting value for the parameter based on at least a part of the image data.
- the candidate setting value for the parameter is a candidate for the setting value for the parameter applied to the image processing engine corresponding to the selected image processing icon, and the candidate is obtained by a value, a numerical range, or the like. It is desirable that the image data referred to for obtaining a candidate is a part of the image data in order to reduce the processing load for obtaining the candidate.
- the parameter estimation unit 119 has an automatic estimation unit 122 that estimates the candidate by itself without the support of the user, and a user support estimation unit that estimates the candidate with the support of the user. Includes part 123.
- the automatic estimation unit 122 automatically estimates the candidate setting values for the parameters applied to the image processing engine corresponding to the selected image processing icon.
- the user support estimation unit 123 estimates the candidate of the setting value for the parameter applied to the image processing engine corresponding to the selected image processing icon with reference to the user's evaluation.
- the user support estimation unit 123 includes a sample display unit 124, an evaluation reception unit 125, and a candidate acquisition unit 126.
- the sample display unit 124 executes processing by the image processing engine associated with the selected image processing icon on at least a part of the image data.
- the sample display unit 124 displays one or a plurality of sample images obtained by executing the process on the screen.
- the evaluation reception unit 125 receives evaluations for one or more sample images from the input unit 103.
- the candidate acquisition unit 126 obtains a candidate for a set value based on the evaluation received by the evaluation reception unit 125.
- the parameter candidate display unit 120 displays the candidates obtained by the parameter estimation unit 119 on the screen.
- the parameter receiving unit 121 receives the parameter setting value in association with the selected image processing icon. That is, the user can set the parameter setting value by referring to the candidate displayed on the screen.
- the analysis unit 113 executes an analysis process according to the analysis configuration set on the screen for the image data, and displays the result of the analysis process on the screen via the display control unit 105.
- the analysis configuration set on the screen is a processing configuration for analyzing image data, and includes a plurality of icons arranged on the screen and a connection relationship between the plurality of icons.
- the analysis unit 113 includes an analysis execution unit 127, an abnormality prediction unit 128, an analysis interruption unit 129, an abnormality detection unit 130, an abnormality notification unit 131, and a result output unit 132. And include.
- the analysis execution unit 127 executes the analysis process according to the analysis configuration set on the screen.
- the abnormality prediction unit 128 monitors the analysis process by the analysis execution unit 127 and predicts whether or not an abnormality will occur in the result of the analysis process.
- the analysis interruption unit 129 notifies the abnormality prediction unit 128 to prompt the change of the set value when the abnormality is predicted to occur.
- the abnormality detection unit 130 determines whether or not the result of the analysis process by the analysis execution unit 127 includes an abnormality. When it is determined that an abnormality is included, the abnormality notification unit 131 notifies to prompt the change of the set value.
- the abnormality means, for example, that when the image processing engine associated with the image processing icon arranged on the screen includes a function of identifying a person, a plurality of people included in the frame image constituting the image data are included. It is to be analyzed as the same person.
- an abnormality is a case where the analysis target is a plurality of image data obtained by photographing different areas A to C of a continuous space such as in a store S, and the plurality of image data.
- the number of people analyzed as the same person among them is less than the threshold.
- the image processing engine associated with the image processing icon arranged on the screen includes a function of identifying a person.
- the notification is to display a message via the display control unit 105, to emit a sound from a speaker (not shown), or the like.
- the result output unit 132 analyzes according to the analysis configuration when the abnormality prediction unit 128 does not predict the occurrence of an abnormality and the abnormality detection unit 130 does not detect the abnormality and the analysis process can be terminated. Display the processing result on the screen.
- a set of setting values composed of the setting values set for all the parameters of the processing engine included in one analysis configuration is required. That is, it is necessary to set the set values for all the corresponding parameters of the plurality of icons arranged on the screen, and the set of the set values shall be composed of the set values for all the parameters.
- each of the image processing engines has one parameter for performing image processing
- each of the input source icon and the output destination icon also has one parameter. Therefore, the set of setting values according to the present embodiment is composed of one setting value associated with each of the plurality of icons arranged on the screen.
- the parameter setting unit 112 may accept a plurality of setting values for the parameters associated with a part or all of the image processing engine arranged on the screen. In this case, the parameters are set on the screen. Multiple sets of set values will be accepted for the analysis configuration.
- the analysis unit 113 executes an analysis process on the image data for each set of the set values according to the analysis configuration set on the screen. In other words, the analysis unit 113 executes the analysis process for all combinations of the set values. Then, each time the analysis process for each set of set values is completed, the analysis unit 113 causes the result of the analysis process to be displayed on the screen via the display control unit 105.
- the component creation unit 114 accepts selections for some or all of the plurality of icons arranged and connected on the screen, and generates component data including the selected plurality of icons and the connection relationship between the plurality of icons. And hold it in the component storage unit 115.
- the component storage unit 115 is a storage unit for holding the component data created by the component creation unit 114.
- the component data is data indicating a component, and the component is composed of a plurality of icons and a connection relationship between the plurality of icons.
- the component held in the component storage unit 115 is referred to by the icon arrangement unit 107 and is arranged as one element for creating an analysis configuration in the same manner as the icon.
- the image analyzer 102 physically has a bus 1010, a processor 1020, a memory 1030, a storage device 1040, a network interface 1050, and a user interface 1060, as shown in FIG.
- the bus 1010 is a data transmission path for the processor 1020, the memory 1030, the storage device 1040, the network interface 1050, and the user interface 1060 to transmit and receive data to and from each other.
- the method of connecting the processors 1020 and the like to each other is not limited to the bus connection.
- the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
- the memory 1030 is a main storage device realized by a RAM (RandomAccessMemory) or the like.
- the storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
- HDD Hard Disk Drive
- SSD Solid State Drive
- ROM Read Only Memory
- the storage device 1040 realizes a storage unit (icon storage unit 108, icon-processing storage unit 109, component storage unit 115) of the image analysis device 102.
- the storage device 1040 includes each functional unit (display control unit 105, image acquisition unit 106, icon arrangement unit 107, connection unit 110, data flow setting unit 111, parameter setting unit 112, analysis unit 113, and the image analysis device 102. It stores a program module for realizing the component creation unit 114).
- the processor 1020 reads each of these program modules into the memory 1030 and executes them, each functional unit corresponding to the program module is realized.
- the network interface 1050 is an interface for connecting the image analyzer 102 to a network configured by wire, wireless, or a combination thereof.
- the image analyzer 102 according to the present embodiment communicates with the camera 101 by being connected to the network through the network interface 1050.
- the user interface 1070 is an interface for inputting information from the user and an interface for presenting information to the user, and includes, for example, a mouse, a keyboard, a touch sensor, etc. as an input unit 103, a liquid crystal display as a display unit 104, and the like.
- the function of the image analyzer 102 can be realized by executing the software program in cooperation with each physical component. Therefore, the present invention is also referred to as "software programgram”. ), Or as a non-temporary storage medium in which the program is recorded.
- FIG. 7A and 7B are flowcharts showing an example of image analysis processing according to the present embodiment.
- the image analysis process is a process of creating an analysis configuration for analyzing an image and analyzing the image by the created analysis configuration. For example, the image analysis process is started by receiving a user's start instruction from the input unit 103.
- the icon arrangement unit 107, the connection unit 110, the data flow setting unit 111, and the parameter setting unit 112 perform a process for creating an analysis configuration (S101).
- the icon arranging unit 107 arranges the icon on the screen based on the user's instruction from the input unit 103 (step S201).
- FIG. 9 shows an example of the icon arranged on the screen by step S201.
- the user repeatedly selects a desired icon from various icons displayed in advance in an area (not shown) on the screen and arranges the desired icon at a desired position, and the plurality of icons are arranged on the screen.
- the icon has a different combination of shape, pattern, and outer frame (single or double) depending on the function of the associated processing engine.
- the combination of shape, pattern, and outer frame is different for each function of the image processing engine.
- the icon differs from the icon in at least one of shape, color, pattern, and outline mode (line thickness, number, color, etc.) depending on the function of the associated processing engine. You can visually recognize the difference between the icons and create an analysis configuration. Therefore, it becomes possible to easily create an appropriate analysis configuration.
- each icon shown in FIG. 9 indicates a parameter setting field set for the icon. Since the parameters are not set in the icon arranged in step S201, all the setting fields are blank in FIG. Of course, an appropriate initial value may be set.
- connection unit 110 receives a connection instruction between the icons arranged on the screen from the input unit 103 (step S202).
- the pointer displayed on the screen is positioned at the pointer position P1 and is predetermined. By performing the operation, the starting point of the connection relationship is set.
- the pointer position P1 is the position of a pointer pointing to the outer edge of the input source icon.
- the pointer position P2 is the position of the pointer pointing to the outer edge of the detection icon.
- the data flow setting unit 111 sets the data flow between the icons based on the connection instruction received in step S202 and displays it on the screen (step S203).
- the kinsoku processing unit 116 determines whether or not the connection relationship instructed in step S202 is included in the kinsoku (step S301).
- the appropriate flow setting unit 118 sets and sets the connection relationship indicating the data flow between the icons according to the connection relationship instructed in step S202. It is displayed on the screen (appropriate flow setting process; step S302).
- the data flow between the icons corresponds to the data flow between the processing engines associated with the icons.
- the flow of data according to the connection instruction described above with reference to FIG. 10, that is, the flow of image data output from the input engine and input to the detection engine is normally performed, and therefore, it is prohibited. Suppose it is not included.
- the prohibition processing unit 116 determines that the prohibition is not included, and the appropriate flow setting unit 118, as shown in FIG. 12, follows the received connection instruction by the arrow from the input source icon to the detection icon. Connect the icon. That is, the direction of the arrow connecting the icons corresponds to the direction in which the image data flows between the processing engines corresponding to the icons connected by the arrows.
- step S301 If it is determined to be included in the prohibition (step S301; Yes), the prohibition processing unit 116 performs predetermined prohibition processing according to the prohibition to which the connection relationship specified in step S202 corresponds (step S303). ..
- a connection instruction as shown in FIG. 13, that is, a connection instruction starting from the pointer position P3 pointing to the outer edge of the detection icon and ending at the pointer position P4 pointing to the outer edge of the input source icon is accepted. do. If you follow this connection instruction, the arrow from the detection icon to the input source icon will connect between these icons.
- the prohibition includes a connection instruction for setting an arrow toward the input icon, that is, a connection instruction with the outer edge of the input icon as the end point.
- the prohibition processing unit 116 performs the prohibition processing shown in FIG. 14A or FIG. 14B, for example.
- FIG. 14A shows the first example of prohibition processing, in which a connection relationship in which the received connection instruction is modified by a predetermined method is set and displayed on the screen, and the connection instruction is modified.
- An example of prohibition processing to be notified by screen display is shown. Since the input source icon is usually the starting point of the arrow, in this example, the connection relationship corrected by exchanging the starting point and the ending point related to the received connection instruction is set.
- FIG. 14B shows a second example of prohibition processing, and shows an example of prohibition processing for notifying by screen display that a connection between icons related to a connection instruction is prohibited without setting a connection instruction. ..
- step S203 By repeating such a data flow setting process (step S203) for each pair of desired icons among the plurality of icons arranged on the screen, a plurality of connections between the icons as illustrated in FIG. 15 are made. The relationship is set and displayed on the screen.
- the parameter setting unit 112 receives the setting value of the parameter associated with each icon arranged on the screen in step S201, and sets the accepted setting value for each icon (step S204).
- step S204 may not be performed for such an icon.
- FIGS. 16A and 16B Detailed examples of the parameter setting process are shown in FIGS. 16A and 16B.
- the automatic estimation unit 122 determines whether or not the image processing engine associated with the selected image processing icon includes a person identification function. (Step S401).
- the person identification function is a function for identifying a person from an image.
- an engine that detects a person which is a kind of detection engine, detects a person from an image.
- Engines that detect people include a person identification function, as this usually requires distinguishing between people in the image.
- an engine that searches for a specific person includes a person identification function because it searches for a specific person from an image.
- a re-identification engine that re-identifies a person who moves across a plurality of image data includes a person identification function because the person is searched from the image.
- the automatic estimation unit 122 acquires image data via the image acquisition unit 106, and automatically obtains the frame image included in the acquired image data. Perform estimation processing (step S402).
- the automatic estimation process is a process for automatically estimating parameter candidates, and the image data referred to at this time may include at least one frame image.
- the frame image is each still image constituting the moving image when the image data indicates a moving image, and is the still image when the image data indicates a still image.
- a parameter value or numerical range that does not identify a plurality of people as the same is used as a parameter candidate for the processing engine associated with the icon selected in step S401. Desired.
- the automatic estimation unit 122 has parameters for the processing engine so that it is analyzed that all the persons included in the frame image are different persons in the processing by the processing engine corresponding to the icon selected in step S401. Ask for candidates.
- the user support estimation unit 123 performs the first user support estimation process (step S403).
- the sample display unit 124 controls the image processing engine associated with the image processing icon selected in step S401. At this time, the sample display unit 124 applies the parameter candidates obtained in step S402. Then, the sample display unit 124 causes the image processing engine to select a sample image and display the selected sample image on the screen (first sample display process; step S403a).
- the sample image is a different frame image analyzed to include the same person among the frame images included in the image data acquired in step S402, and the frame image selected at this time is 2. It may be one or more.
- sample image may be an enlarged image of the person portion analyzed to be the same or its vicinity among a plurality of frame images.
- the evaluation reception unit 125 receives the user's evaluation of the sample image displayed in step S403a from the input unit 103 (first evaluation reception process; step S403b).
- the user refers to the plurality of sample images displayed in step S403a, and evaluates that the person analyzed to be the same in the plurality of sample images is actually the same, and actually evaluates it as correct. If it is different, it is evaluated as an error. Then, the user inputs the result of the evaluation regarding whether or not the persons included in the plurality of sample images are the same by the input unit 103.
- the candidate acquisition unit 126 obtains a candidate for a set value based on the evaluation received in step S403b (first candidate acquisition process; step S403c).
- the candidate acquisition unit 126 requests, for example, candidates so as to include the parameter setting values in the sample image that has been evaluated as correct in step S403b. Further, for example, the candidate acquisition unit 126 obtains a candidate excluding the parameter setting value in the sample image that has been evaluated as being incorrect in step S403b.
- the parameter candidates obtained in step S402 are applied to the image processing engine for obtaining the candidates. Therefore, the candidates obtained in step S403c include the candidates obtained in step S402.
- step S402 by applying the automatic estimation process (step S402) and the user support estimation process (step S403) that estimates candidates with the support of the user to a common processing engine, more appropriate candidates are narrowed down. Can be found at.
- the candidate obtained in the automatic estimation process (step S402) and the candidate obtained in the user support estimation process (step S403) for estimating the candidate with the support of the user are independently obtained and automatically estimated. It may be held in each of the unit 122 and the candidate acquisition unit 126.
- step S401 When it is determined that the person identification function is not included (step S401; No), or after step S402, the sample display unit 124 has a detection function by the image processing engine associated with the image processing icon selected in step S401. (Step S404).
- the detection function is a function to detect the detection target from the image.
- the detection target in step S401 may be a bag, a pet, or the like.
- step S404 When it is determined that the detection function is included (step S404; Yes), the user support estimation unit 123 performs the second user support estimation process as shown in FIG. 16B (step S405).
- the sample display unit 124 acquires image data via the image acquisition unit 106, and performs a second sample display process on the frame image included in the acquired image data (step S405a).
- the sample display unit 124 controls the image processing engine that is the determination target in step S404, and causes the frame image to perform an analysis for detecting the object to be detected. Then, the sample display unit 124 displays a frame image including the object detected as a result of the analysis on the screen as a sample screen.
- the sample image is a frame image including an object among the frame images included in the image data acquired in step S405a, and the frame image selected at this time may be one or more.
- sample image may be an enlarged image of the portion analyzed as the object or its vicinity in the frame image.
- the evaluation reception unit 125 receives the user's evaluation of the sample image displayed in step S405a from the input unit 103 (second evaluation reception process; step S405b).
- the user refers to the sample image displayed in step S405a, and evaluates that the object indicated to be the detection target in the sample image is correct if it actually corresponds to the object. If it does not actually correspond to the object, it is evaluated as an error. Then, the user inputs the result of the evaluation regarding whether or not such an object is correctly detected by the input unit 103.
- the candidate acquisition unit 126 obtains a candidate for a set value based on the evaluation received in step S405b (second candidate acquisition process; step S405c).
- the candidate acquisition unit 126 requests, for example, candidates so as to include the parameter setting values in the sample image that has been evaluated as correct in step S405b. Further, for example, the candidate acquisition unit 126 obtains a candidate excluding the parameter setting value in the sample image that has been evaluated as being incorrect in step S405b.
- step S404 When it is determined that the detection function is not included (step S404; No), or after step S405, the parameter candidate display unit 120 displays the candidates obtained in steps S402, S403, or S405 on the screen (step S406).
- FIG. 17 shows an example in which the detection icon is selected and the candidate setting values for the parameters applied to the detection engine associated with the selected detection icon are displayed.
- the detection icon is selected, for example, by pointing at the pointer P and then performing a predetermined operation (for example, double-clicking a mouse button).
- a predetermined operation for example, double-clicking a mouse button.
- the candidates may be displayed in association with the selected one.
- step S406 when a candidate is requested in steps S402, S403 or S405, the requested candidate may be displayed, and if no candidate is requested, nothing is displayed in the process of step S406. You can finish without doing it.
- video A For example, in FIG. 10, "video A”, “video B”, and “video C” are set for each of the three input source icons.
- the video A is the address of the camera 101a in the network and the input data is the image data captured by the video A. Since the input engine associated with the input source icon does not include any of the person identification function and the detection function, the candidate is not required to be associated with the input source icon in the present embodiment. Therefore, when setting the value of the parameter set in the input source icon, the candidate is not displayed in step S406.
- the address of the camera 101 connected to the network may be displayed as a candidate in association with the input source icon.
- the image actually taken by the camera 101 may be displayed on the screen as a sample image, and the parameter setting value may be set with reference to the sample image.
- the parameter receiving unit 121 receives and sets the setting value of the parameter associated with each icon arranged on the screen (step S407).
- the parameter receiving unit 121 accepts a value input in the setting field of each icon as a setting value, and holds the set value in association with each icon.
- the setting value associated with the icon is the setting value of the parameter applied to the processing engine corresponding to the icon.
- the user can set a parameter by referring to the candidate, so that it is possible to easily set an appropriate parameter. Therefore, it becomes possible to easily create an appropriate analysis configuration.
- the analysis unit 113 determines whether or not the instruction to start the analysis has been accepted (step S102).
- step S102 When it is determined that the instruction to start the analysis is not accepted (step S102; No), the analysis configuration creation process (step S101) described so far is continuously executed.
- the analysis unit 113 repeats the processes of steps S104 to S110 for all the sets of set values (step S103).
- one parameter setting value is set for all the processing engines. Therefore, in the example of the analysis configuration shown in FIG. 18, one set of setting values is composed of 14 setting values associated with each icon.
- step S103 the analysis process is performed for all such set values.
- the analysis execution unit 127 acquires the image data to be analyzed via the image acquisition unit 106, and executes the analysis process according to the analysis configuration created in step S101 (step S104).
- the analysis execution unit 127 acquires the processing engine corresponding to the icon arranged on the screen based on the processing engine data, and causes the processing engine to execute the processing.
- the analysis execution unit 127 holds the image data which is the processing result, acquires the processing engine corresponding to the next icon connected by the connection relationship, and processes the held image data. To execute. Such processing is performed according to the analysis configuration.
- the abnormality prediction unit 128 determines whether or not an abnormality is expected to occur in the result of the analysis process by the analysis execution unit 127 (step S105).
- an appropriate processing unit is set in advance for the processing of each processing engine, and each time the processing of the processing unit is completed in step S103, the abnormality prediction unit 128 determines whether or not an abnormality is expected to occur. ..
- step S105 When it is determined that the occurrence of an abnormality is not expected (step S105; No), the analysis execution unit 127 determines whether or not the analysis process for one set of set values is completed (step S106).
- step S106 When it is determined that the analysis process for one set of set values has not been completed (step S106; No), the analysis execution unit 127 continuously executes the analysis process (step S104).
- the analysis interruption unit 129 interrupts the analysis process and notifies the abnormality (step S107), and the image analysis process. To end.
- the abnormality notification in step S107 is a notification for prompting a change in the set value
- the analysis interruption unit 129 is, for example, a message to change the set value for the parameter of the processing engine related to the processing in which the occurrence of the abnormality is expected. Is displayed on the screen. At this time, the analysis interruption unit 129 may display an image on which an abnormality is expected to occur on the screen.
- the abnormality predicted by the abnormality prediction unit 128 is, for example, that when the image processing engine being executed in step S104 includes a person identification function, a plurality of people are the same person in the frame image by the image processing engine. To be analyzed.
- the image processing engine being executed in step S104 is a respecific engine
- the number of people analyzed as the same person among the plurality of image data is less than the threshold value, and the plurality of image data. For example, a person who should be continuously detected is not detected.
- step S107 By performing the abnormality notification process (step S107) based on the prediction of the occurrence of such an abnormality, the user can appropriately set the processing engine configuration, parameter setting values, etc. before the analysis process for all combinations is completed. You can consider if there is one. This makes it possible to modify the processing engine configuration, parameter settings, etc. before the analysis processing for all combinations is completed. Therefore, it is possible to quickly create an appropriate analysis configuration and set parameters.
- the analysis interruption unit 129 does not forcibly end the image analysis process after the notification in step S107, and may select either end or continuation of the image analysis process according to the instruction from the input unit 103. good.
- step S106 When it is determined that the analysis process for one set of set values is completed (step S106; Yes), the abnormality detection unit 130 is operated by the analysis execution unit 127 to which the set of set values is applied, as shown in FIG. 8B. It is determined whether or not the result of the analysis process contains an abnormality (step S108).
- the abnormality notification unit 131 interrupts the analysis process, notifies the abnormality (step S109), and ends the image analysis process.
- the abnormality notification in step S109 is a notification for prompting a change in the set value, and the abnormality notification unit 131 changes, for example, the setting value for the parameter of the processing engine related to the image determined to contain the abnormality. Message is displayed on the screen. At this time, the abnormality notification unit 131 may display an image determined to include an abnormality on the screen.
- the abnormality detected by the abnormality notification unit 131 is, for example, that when an image processing engine including a person identification function is included in the analysis configuration executed in step S104, a plurality of persons are included in the frame image included in the analysis result. It is to be analyzed as the same person.
- the analysis configuration includes a respecific engine
- the number of people analyzed as the same person in the analysis result is less than the threshold value, and the person to be continuously detected in the analysis result is detected. It is not done.
- step S109 By performing the anomaly notification process (step S109) based on such anomaly detection, whether the user has an appropriate processing engine configuration, parameter setting values, etc. before the analysis process for all combinations is completed. You can consider whether or not. This makes it possible to modify the processing engine configuration, parameter settings, etc. before the analysis processing for all combinations is completed. Therefore, it is possible to quickly create an appropriate analysis configuration and set parameters.
- the abnormality notification unit 131 does not forcibly end the image analysis process after the notification in step S109, and may select either end or continuation of the image analysis process according to the instruction from the input unit 103. good.
- step S108 When it is determined that no abnormality is included (step S108; No), the result output unit 132 displays the result of the analysis process on the screen (step S110).
- An example of the processing result is a screen showing the movement routes of each of the customers A to C searched under predetermined conditions when the inside of the store S as shown in FIG. 1 is viewed from above.
- step S110 is performed every time the analysis process for one set of set values is completed, so that the user can appropriately obtain the result of the analysis process for each set of set values. You can consider whether or not.
- the processing engine configuration, parameter settings, etc. can be modified before the analysis processing for all combinations is completed. Further, as a result of the examination, if it is determined to be appropriate, the configuration of the processing engine, the setting value of the parameter, and the like can be determined before the analysis processing for all the combinations is completed. Therefore, it is possible to quickly create an appropriate analysis configuration and set parameters.
- step S105; Yes Even when an abnormality is expected to occur (step S105; Yes) or an abnormality is detected (step S108; Yes), the image analysis process is continued and analyzed according to the instruction from the input unit 103. It may be possible to end the process. In such a case, the result output unit 132 may display the result of the analysis process on the screen.
- the analysis execution unit 127 continuously executes the processes of steps S104 to S110 for different sets of set values, and ends the image analysis process when the processes of steps S104 to S110 are completed for all the sets of set values.
- FIG. 19 is a flowchart showing an example of the component creation process according to the present embodiment.
- the component creation process is executed during or after the analysis configuration is created.
- the component creation unit 114 determines whether or not the component creation instruction has been accepted (step S501).
- the component creation instruction is an instruction to select the icon group and the connection relationship to be included in the component and create the component including the selected icon group and the connection relationship.
- the component creation unit 114 receives, for example, a component creation instruction based on an operation of the input unit 103 by the user.
- FIG. 20 shows an example in which the icon group surrounded by the rectangular dotted line CMP and the connection relationship are selected from the analysis configuration shown in FIG.
- step S501 When it is determined that the component creation instruction is not accepted (step S501; No), the component creation unit 114 ends the component creation process.
- the component creation unit 114 stores the component data in the component storage unit 115 (step S502), and ends the component creation process.
- the component data is data indicating that the component composed of the icon group and the connection relationship related to the component creation instruction received in step S501 is associated with the information for identifying the component.
- the icon arranging unit 107 can arrange the component included in the component data in the same manner as the icon.
- FIG. 21 shows an example in which the component selected in FIG. 20 is arranged on the screen for creating an analysis configuration as a component called “wide area identification”. That is, the analytical configuration shown in FIG. 21 and the analytical configuration shown in FIG. 15 have the same contents.
- the component is composed of an icon group and a connection relationship, and an example of not including the parameter setting value has been described, but the component may further include the parameter setting value.
- the icon arranging unit 107 screens a plurality of icons including a plurality of input source icons, a plurality of image processing icons, and at least one output destination icon based on instructions for arranging them on the screen. Is placed in. Then, when the connection unit 110 receives the connection instruction, the data flow between the icons is set and displayed on the screen based on the connection instruction.
- the user can create an analysis configuration (that is, configure the entire analysis process of the image data) while recognizing the content of the analysis process of the image data by displaying the screen. Therefore, it becomes possible to easily configure the entire analysis process of the image data appropriately.
- the present invention is not limited thereto.
- the present invention also includes a form in which a part or all of the embodiments described above and a part or all of the modifications are appropriately combined, and a form in which the form is appropriately modified.
- An icon arranging means for receiving an instruction for arranging a plurality of icons including the above on the screen and arranging the plurality of icons on the screen based on the instruction, and an icon arranging means for arranging the plurality of icons on the screen.
- a connection means for receiving a connection instruction for connecting between the icons arranged on the screen, and a connection means.
- An image analysis device including a data flow setting means for setting a data flow between the icons and displaying the data flow on the screen based on the connection instruction.
- the parameter setting means is When the image processing icon arranged on the screen is selected, the candidate of the setting value for the parameter applied to the image processing engine corresponding to the selected image processing icon is based on at least a part of the image data.
- Parameter estimation means to be obtained A parameter candidate display means for displaying the obtained candidate on the screen, and The image analyzer according to 2 above, which includes a parameter receiving means for receiving the setting of the parameter.
- the parameter estimation means is When the image processing icon arranged on the screen is selected, when the image processing engine associated with the selected image processing icon includes a function of identifying a person, in the processing by the image processing engine, the said The image analyzer according to 3 above, which obtains a candidate for the set value so that all the persons included in the frame image constituting at least a part of the image data are analyzed as different persons.
- the parameter estimation means is When the image processing icon arranged on the screen is selected, it is obtained by executing the processing by the image processing engine associated with the selected image processing icon on at least a part of the image data.
- a sample display means for displaying one or more sample images on the screen, and
- An evaluation receiving means that accepts a user's evaluation for the one or more sample images, and
- the sample display means displays a plurality of sample sets composed of the one or a plurality of sample images.
- the sample display means has a function of detecting a detection target included in the image data by an image processing engine associated with the selected image processing icon when the image processing icon arranged on the screen is selected. Is included, the one or more sample images indicating the detected detection target are displayed.
- the image analysis apparatus according to 6 above, wherein the evaluation receiving means receives as the evaluation whether or not the detection target is correctly detected in the one or a plurality of sample images.
- the sample display means includes a person when the image processing icon arranged on the screen is selected and the image processing engine associated with the selected image processing icon includes a function of identifying a person. Display a plurality of the sample images, The image analysis apparatus according to 6 or 7, wherein the evaluation receiving means receives as the evaluation whether or not the persons included in the plurality of sample images are the same.
- the image data is further provided with an analysis means for executing an analysis process according to a plurality of icons arranged on the screen and a connection relationship between the plurality of icons.
- the parameter setting means receives a plurality of sets of setting values composed of setting values associated with each of the plurality of icons arranged on the screen.
- the image analysis apparatus according to any one of 2 to 8, wherein the analysis means executes an analysis process on the image data according to the connection relationship of a plurality of icons arranged on the screen for each set of the set values. ..
- the analysis means causes the screen to display the result of the analysis process each time the analysis process for the image data is completed according to the connection relationship of a plurality of icons arranged on the screen for each set of the set values.
- the image analyzer according to 9.
- the analysis means is Anomaly prediction means for predicting whether or not an abnormality will occur in the result of the analysis process, 9.
- the image analysis apparatus according to 9 or 10 further comprising an analysis interrupting means for notifying a change of the set value when the abnormality is expected to occur.
- the analysis means is Anomaly detection means for determining whether or not the result of the analysis process contains anomalies,
- the above abnormality is When the image processing engine associated with the image processing icon arranged on the screen includes a function of identifying a person, it is analyzed that a plurality of people included in the frame image constituting the image data are the same person. And that A plurality of image processing engines associated with image processing icons arranged on the screen include a function of identifying a person, and the analysis target is obtained by photographing different areas of a continuous space.
- a component creation means for accepting a selection for a part or all of the plurality of icons arranged and connected on the screen and holding the selected plurality of icons and the connection relationship between the plurality of icons as a component.
- the image analyzer according to any one of 1 to 13 above.
- the image processing icon is A detection icon associated with the detection engine, which is an image processing engine for detecting the detection target from image data, and A tracking icon associated with a tracking engine, which is an image processing engine for tracking tracking targets in image data, A feature amount extraction icon associated with a feature amount extraction engine, which is an image processing engine for extracting feature amounts in image data, and a feature amount extraction icon.
- a search icon associated with a search engine which is an image processing engine for searching for search targets from image data, and The image according to any one of 1 to 14 above, which includes a respecific icon associated with a respecific engine, which is an image processing engine for tracking a tracking target across a plurality of image data, and at least one of. Analysis equipment.
- the data flow setting means is When the connection instruction is received by the connection means, it is determined whether or not the connection between the icons related to the connection instruction is included in the prohibition data indicating the prohibition regarding the connection between the icons, and the result of the determination is Prohibition processing means that performs prohibition processing based on The image analyzer according to any one of 1 to 15 above, which includes an appropriate flow setting means for setting a flow of data between the icons and displaying the data on the screen according to the connection instruction and the prohibition process.
- the prohibition processing notifies that the connection relationship according to the connection instruction is not generated, the connection instruction is modified by a predetermined method, and the connection between the icons related to the connection instruction is prohibited.
- the image analyzer according to 16 above comprising at least one of the above.
- the image processing engine includes a processing engine having different functions related to image processing.
- the image analysis device according to one of 1 to 17, wherein the image processing icon has at least one of different shapes, colors, patterns, and outlines depending on the function of the image processing engine.
- the image analyzer according to any one of 1 to 18 above, and An image analysis system including a plurality of image pickup devices for obtaining the image data.
- Accepting instructions for arranging a plurality of icons on the screen including, and arranging the plurality of icons on the screen based on the instructions.
- An image analysis method comprising setting a flow of data between the icons and displaying it on the screen based on the connection instruction.
- Accepting instructions for arranging a plurality of icons on the screen including, and arranging the plurality of icons on the screen based on the instructions.
- Image analysis system 101a, 101b, 101c Camera 102 Image analysis device 103 Input unit 104 Display unit 105 Display control unit 106 Image acquisition unit 107 Icon placement unit 108 Icon storage unit 109 Icon-Processing storage unit 110 Connection unit 111 Data flow setting unit 112 Parameter setting unit 113 Analysis unit 114 Component creation unit 115 Component storage unit 116 Forbidden processing unit 117 Forbidden storage unit 118 Appropriate flow setting unit 119 Parameter estimation unit 120 Parameter candidate display unit 121 Parameter reception unit 122 Automatic estimation unit 123 User support estimation unit 124 Sample display unit 125 Evaluation reception unit 126 Candidate acquisition unit 127 Analysis execution unit 128 Abnormality prediction unit 129 Analysis interruption unit 130 Abnormality detection unit 131 Abnormality notification unit 132 Result output unit
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
画像分析装置(102)は、分析の対象となる画像データの入力元を示す複数の入力元アイコン、画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて複数のアイコンを画面に配置するアイコン配置部(107)と、画面に配置されたアイコン間を接続するための接続指示を受け付ける接続部(110)と、接続指示に基づいて、アイコン間のデータの流れを設定して画面に表示するデータフロー設定部(111)とを備える。
Description
本発明は、画像分析装置、画像分析システム、画像分析方法及びプログラムに関する。
画像分析を支援する装置やシステムとして、例えば特許文献1~4に記載の技術が提案されている。
特許文献1に記載の医用画像処理装置は、医用画像診断装置から医用画像を取得する画像取得部と、取得した医用画像について所定の画像処理を行う画像処理部と、操作者の入力部を有する。そして、当該医用画像処理装置は、画像処理部で画像処理された医用画像に対して入力部による操作者の指摘に基づいて画像処理部での画像処理をやり直すように構成される。
特許文献2に記載の医療用画像処理システムは、ネットワークに接続された専用のハードウェアとソフトウェアを持つサーバーと、クライアント端末上の専用アプリケーションを用いて、CT画像の一連の画質改善処理をネットワーク上で分担させ、リアルタイムに連携させる。
特許文献3に記載の画像認識エンジン連携装置は、画像認識エンジンおよび画像認識エンジンとは異なる画像解析手法により画像中の被写体の認識を行う異種エンジンであるバーコード検出エンジンを含む複数のエンジンへの問い合わせ処理と、問い合わせ処理に応じた認識結果の受け付け処理とを含むエンジン連携処理を実行する連携処理部を有する。連携処理部は、エンジン連携処理を連携シナリオとして管理する。
特許文献4に記載の解析エンジン制御装置は、解析エンジン毎に解析処理の内容と解析処理結果の特性とを記憶した解析エンジンメタ情報テーブルと、解析処理の内容と解析処理結果の条件とが設定された解析処理要求に応じて、解析処理結果の条件を満たして解析処理の内容に対応する解析処理を実行する複数の解析エンジンを選定しプロセスフローを生成するプロセスフロー生成手段と、生成されたプロセスフローに基づいて解析処理を事項する解析処理実行手段とを備える。プロセスフロー生成手段は、実行された実際の解析処理結果に応じて解析処理結果の条件を満たして解析処理の内容に対応する解析処理を実行するよう、プロセスフローを解析エンジンメタ情報テーブルに基づいて修正する。
一般的に、画像データの分析では、複数の機能を備えた画像処理エンジンが準備され、予め準備された画像処理エンジンの中から、分析の目的に応じて適切な画像処理エンジンを選定する必要がある。また、複数のカメラの各々で撮影された画像データを分析する場合、画像データの各々に対して選定した画像処理エンジンを対応付けて構成する必要がある。すなわち、画像データの分析では、画像データの入力から分析結果の出力に至るまで、複数の画像処理エンジンを適切に接続して、それらを構成する必要がある。
このような画像データの分析において、画像データの入力から、画像処理エンジンによる画像処理を介して、適切な分析結果が得られるまでの全体を適切に構成するには、画像分析に関する高度に専門的な知識や経験が必要になることが多い。そのため、画像分析に関する専門的な知識を有していない非技術者が、画像データの分析処理の全体を適切に構成することは、現状では困難である。
引用文献1~4に記載の技術は、専門的な知識や経験を有する技術者が画像データの分析を行うことを前提としており、非技術者がこれらの技術を参照したとしても、画像データの分析処理の全体を適切に構成することは、依然として困難であると考えられる。
本発明は、上述の事情に鑑みてなされたもので、画像データの分析処理の全体を適切に構成することを容易に行うことが可能な画像分析装置などを提供することを目的とする。
上記目的を達成するため、本発明の第1の観点に係る画像分析装置は、
分析の対象となる画像データの入力元を示す複数の入力元アイコン、前記画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて前記複数のアイコンを画面に配置するアイコン配置手段と、
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示するデータフロー設定手段とを備える。
分析の対象となる画像データの入力元を示す複数の入力元アイコン、前記画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて前記複数のアイコンを画面に配置するアイコン配置手段と、
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示するデータフロー設定手段とを備える。
上記目的を達成するため、本発明の第2の観点に係る画像分析方法は、
分析の対象となる画像データの入力元を示す複数の入力元アイコン、前記画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて前記複数のアイコンを画面に配置すること、
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示することを含む。
分析の対象となる画像データの入力元を示す複数の入力元アイコン、前記画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて前記複数のアイコンを画面に配置すること、
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示することを含む。
上記目的を達成するため、本発明の第3の観点に係るプログラムは、
コンピュータに、
分析の対象となる画像データの入力元を示す複数の入力元アイコン、前記画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて前記複数のアイコンを画面に配置すること、
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示することを実行させるためのプログラムである。
コンピュータに、
分析の対象となる画像データの入力元を示す複数の入力元アイコン、前記画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて前記複数のアイコンを画面に配置すること、
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示することを実行させるためのプログラムである。
本発明によれば、画像データの分析処理の全体を適切に構成することを容易に行うことが可能になる。
以下、本発明の一実施の形態について、図面を参照しつつ説明する。全図を通じて同一の要素には同一の符号を付す。なお、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
<本実施の形態に係る画像分析システムの機能的構成>
本発明の一実施の形態に係る画像分析システム100は、分析対象領域を撮影した画像データに対して画像処理を行うことによって、目的とする分析結果を得るためのシステムである。本実施の形態に係る画像分析システム100は、図1に示すように、3台のカメラ101a,101b,101cと、画像分析装置102とを備える。
本発明の一実施の形態に係る画像分析システム100は、分析対象領域を撮影した画像データに対して画像処理を行うことによって、目的とする分析結果を得るためのシステムである。本実施の形態に係る画像分析システム100は、図1に示すように、3台のカメラ101a,101b,101cと、画像分析装置102とを備える。
カメラ101a,101b,101cの各々は、分析対象領域を撮影するための撮像装置の例である。以下において、カメラ101a,101b,101cの各々を特に区別しない場合、単に、カメラ101とも表記する。
本実施の形態に係るカメラ101は、分析対象領域としての店舗Sの内部を上方から見た図である図2に示すように、分析対象領域としての店舗S内の概ね全体を撮影するように設置される。
詳細には、カメラ101aは、店舗S内の領域Aを撮影し、カメラ101bは、店舗S内の領域Bを撮影し、カメラ101cは、店舗S内の領域Cを撮影するように設置されている。店舗S内の概ね全体を撮影できるようにするため、領域A、領域B、領域Cは、一部が互いに重なり合っている。
このようなカメラ101によって例えば、図2に示すように、出入口Eを通じて店舗Sに入った顧客A~Cが、商品が陳列される棚MS1,MS2,MS3やレジスタ装置Rの近傍を通過して、出入口Eから出るまでの移動する様子が撮影される。
図2の実線で示す移動経路M_Aは、店舗Sにおける顧客Aの移動経路であり、点線で示す移動経路M_Bは、店舗Sにおける顧客Bの移動経路であり、で示す移動経路M_Cは、店舗Sにおける顧客Cの移動経路を示す。
なお、本実施の形態では、画像分析システム100による画像分析が、店舗Sのような小売店における人の行動分析に適用される例を説明する。しかし、画像分析システム100による画像分析は、その他の人の行動分析、人探し、熟練者の技術の分析などに適用することもできる。その他の人の行動分析の例としては、行政、都市計画、交通、輸送を目的とする画像分析を挙げることができる。人探しの例としては、捜査、監視、迷子探しなどを目的とする画像分析を挙げることができる。熟練者の技術の分析の例としては、製造や加工現場における熟練工、建設現場の作業員、スポーツ選手、教育者などの技術の習得を目的とした画像分析を挙げることができる。そして、分析対象領域には、画像分析の目的に応じて、例えば、建物、施設、設備、道路などが設定されるとよい。
なお、本実施の形態では、カメラ101a,101b,101cが設置される台数は、2台以上であればよく、カメラ101a,101b,101cの各々は、静止画像を撮影してもよい。
画像分析装置102は、機能的には図1に示すように、入力部103と、表示部104と、表示制御部105と、画像取得部106と、アイコン配置部107と、アイコン記憶部108と、アイコン-処理記憶部109と、接続部110と、データフロー設定部111と、パラメータ設定部112と、分析部113と、コンポーネント作成部114と、コンポーネント記憶部115とを備える。
入力部103は、ユーザが入力するためのキーボード、マウス、タッチパネルなどである。
表示部104は、画面を表示する液晶ディスプレイなどである。
表示制御部105は、表示部104に画面を表示させる。
画像取得部106は、分析の対象となる画像データを取得する。
アイコン配置部107は、複数のアイコンを画面に配置するための指示を入力部103から受け付け、当該指示に基づいて複数のアイコンを画面に配置する。
アイコン記憶部108は、アイコン画像を含むアイコンデータを保持するための記憶部である。アイコンデータは、詳細には例えば、アイコンの種別を識別するためのアイコン種別情報と、アイコンの画像情報とを対応付けるデータである。
アイコンには、例えば、入力元アイコン、画像処理アイコン、出力先アイコンなどを含む。
入力元アイコンは、分析の対象となる画像データの入力元を示すアイコンである。画像処理アイコンは、画像データに対する画像処理エンジンを示すアイコンである。出力先アイコンは、画像処理エンジンによる処理結果の出力先を示すアイコンである。
アイコン-処理記憶部109は、処理エンジンを含む処理エンジンデータを保持するための記憶部である。処理エンジンデータは、詳細には例えば、アイコン識別情報と、処理エンジンと、設定されるべきパラメータとを対応付けるデータである。
処理エンジンには、例えば、分析の対象となる画像データの入力処理を行う入力エンジン、画像データに対して各種の画像処理を行う画像処理エンジン、処理結果の出力処理を行う出力エンジンなどが含まれる。
入力エンジンは、画像データをカメラ101から概ねリアルタイムで入力するリアルタイム入力エンジンである。リアルタイム入力エンジンのパラメータは、例えば、リアルタイム入力エンジンではその生成元となるカメラ101のネットワークアドレスである。
なお、入力エンジンは、記憶部に保存された画像データを入力する保持データ入力エンジンであってもよく、保持データ入力エンジンのパラメータは例えば、画像データの保存場所を示す情報である。
画像処理エンジンは、例えば、検出エンジン、追跡エンジン、特徴量抽出エンジン、検索エンジン、再特定エンジンを含む。
検出エンジンは、物体や人などの検出対象を画像データから検出するための画像処理エンジンである。
追跡エンジンは、物体や人などの追跡対象を画像データにおいて追跡するための画像処理エンジンである。
特徴量抽出エンジンは、画像データにおける特徴量を抽出するための画像処理エンジンである。
検索エンジンは、物体や人などの検索対象を画像データから検索するための画像処理エンジンである。
再特定エンジンは、物体や人などの追跡対象を複数の画像データにまたがって追跡するための画像処理エンジンである。
これらの画像処理エンジンは、機械学習によって学習済みのモデルが好適に採用され、この場合のパラメータは、学習済みのモデルを調整するためのパラメータである。1つの画像処理エンジンが画像処理を実行するために、複数のパラメータに対する値の設定が必要とされてもよいが、本実施の形態では、画像処理エンジンの各々が画像処理を行うためのパラメータは、1つであるとする。
また、画像処理アイコンのうち、検出エンジン、追跡エンジン、特徴量抽出エンジン、検索エンジン、再特定エンジンに対応付けられるアイコンを区別する場合、それぞれ、検出アイコン、追跡アイコン、特徴量抽出アイコン、検索アイコン、再特定アイコンと称する。
出力エンジンは、画面に処理結果を出力するエンジンである。出力エンジンのパラメータは、例えば、出力先となる画面を識別するための情報である。
なお、出力先となる画面が複数である場合、複数の画面が1つのディスプレイ装置に表示されてもよく、複数のディスプレイのそれぞれに表示されてもよい。複数のディスプレイに出力される場合、出力エンジンのパラメータは、ディスプレイの各々を識別するための情報であってもよい。
接続部110は、画面に配置されたアイコン間を接続するための接続指示を入力部103から受け付ける。
データフロー設定部111は、接続部110によって受け付けられた接続指示に基づいて、アイコン間のデータの流れを設定して画面に表示する。
詳細には、データフロー設定部111は、図3に示すように、禁則処理部116と、禁則記憶部117と、適正フロー設定部118とを含む。
禁則処理部116は、接続部110によって接続指示が受け付けられた場合に、接続指示に関わるアイコン間の接続が禁則データに含まれるか否かを判定し、判定の結果に基づいて禁則処理を行う。
禁則データは、アイコン間の接続に関する禁則を示すデータであって、これを保持するための禁則記憶部117に予め設定される。
禁則データには、禁止されるアイコン間の接続関係が禁則として含まれる。
接続関係とは、アイコン間の接続に関する関係であり、接続されるアイコンに対応する処理エンジン間でのデータの流れを含む。通常行われないアイコン間の接続関係には、典型的には、アイコン間の接続順が逆である場合があり、例えば、他のアイコンから入力元アイコンへデータが流れる接続関係、出力先アイコンから他のアイコンへデータが流れる接続関係が含まれる。
なお、検出エンジンの1種である顔検出エンジン及び特徴量抽出エンジンの1種である色抽出エンジンが採用される場合には、顔検出エンジンと色抽出エンジンとは通常接続されないため、禁則は、これらに対応するアイコンの接続が含まれてもよい。
より詳細には、禁則処理部116は、接続指示に関わるアイコン間の接続が禁則データに含まれないと判定した場合には、当該接続指示に従ってデータの流れを設定して画面に表示する。これに対して、接続指示に関わるアイコン間の接続が禁則データに含まれると判定した場合には、禁則処理部116は、禁則処理を行う。
禁則処理は、接続関係を設定しないこと、接続指示を予め定められた方法で修正した接続関係を設定すること、接続指示に関わるアイコン間の接続が禁止されている旨を報知すること、の少なくとも1つを含む。
適正フロー設定部118は、接続部110によって受け付けられる接続指示に従って、アイコン間のデータの流れを設定して画面に表示する
図1を再び参照する。
パラメータ設定部112は、画面に配置された各アイコンに対応付けられるパラメータの設定値を受け付ける。パラメータ設定部112は、画面に配置されたアイコンが選択されると、当該選択されたアイコンに対応する処理エンジンに適用されるパラメータの設定値を受け付け、当該選択されたアイコンに当該受け付けた設定値を設定する。
パラメータ設定部112は、画面に配置された各アイコンに対応付けられるパラメータの設定値を受け付ける。パラメータ設定部112は、画面に配置されたアイコンが選択されると、当該選択されたアイコンに対応する処理エンジンに適用されるパラメータの設定値を受け付け、当該選択されたアイコンに当該受け付けた設定値を設定する。
詳細には、パラメータ設定部112は、図4に示すように、パラメータに対する設定値の候補を求めるパラメータ推定部119と、候補を画面に表示させるパラメータ候補表示部120と、パラメータの設定値を受け付けるパラメータ受付部121とを含む。
パラメータ推定部119は、画面に配置された画像処理アイコンが選択されると、画像データの少なくとも一部に基づいて、パラメータに対する設定値の候補を求める。
ここで、パラメータに対する設定値の候補とは、選択された画像処理アイコンに対応する画像処理エンジンに適用するパラメータに対する設定値の候補であり、候補は、値や数値範囲などで求められる。候補を求めるために参照される画像データは、当該候補を求めるための処理負荷を軽減するために、画像データの一部であることが望ましい。
より詳細には、パラメータ推定部119は、図4に示すように、ユーザの支援を受けずに自身で候補を推定する自動推定部122と、ユーザの支援を受けて候補を推定するユーザ支援推定部123とを含む。
自動推定部122は、選択された画像処理アイコンに対応する画像処理エンジンに適用するパラメータに対する設定値の候補を自動的に推定する。
ユーザ支援推定部123は、選択された画像処理アイコンに対応する画像処理エンジンに適用するパラメータに対する設定値の候補を、ユーザの評価を参照して推定する。ユーザ支援推定部123は、サンプル表示部124と、評価受付部125と、候補取得部126とを含む。
サンプル表示部124は、画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応付けられた画像処理エンジンによる処理を画像データの少なくとも一部に対して実行する。サンプル表示部124は、当該処理を実行することによって得られる1つ又は複数のサンプル画像を画面に表示させる。
評価受付部125は、1つ又は複数のサンプル画像に対する評価を入力部103から受け付ける。
候補取得部126は、評価受付部125によって受け付けられた評価に基づいて、設定値の候補を求める。
パラメータ候補表示部120は、パラメータ推定部119によって求められた候補を画面に表示させる。
パラメータ受付部121は、パラメータの設定値を、選択された画像処理アイコンに対応付けて受け付ける。すなわち、ユーザは、画面に表示された候補を参照して、パラメータの設定値を設定することができる。
分析部113は、画像データに対して、画面に設定された分析構成に従った分析処理を実行し、表示制御部105を介して分析処理の結果を画面に表示させる。画面に設定された分析構成とは、画像データを分析するための処理構成であって、画面に配置された複数のアイコン及び当該複数のアイコンの接続関係を含む。
詳細には、分析部113は、図5に示すように、分析実行部127と、異常予想部128と、分析中断部129と、異常検出部130と、異常報知部131と、結果出力部132とを含む。
分析実行部127は、画面に設定された分析構成に従った分析処理を実行する。
異常予想部128は、分析実行部127による分析処理を監視し、分析処理の結果に異常が発生するか否かを予想する。分析中断部129は、異常予想部128によって異常が発生すると予想された場合に、設定値の変更を促すための報知をする。
異常検出部130は、分析実行部127による分析処理の結果に異常が含まれるか否かを判定する。異常報知部131は、異常が含まれると判定された場合に、設定値の変更を促すための報知をする。
ここで、異常とは、例えば、画面に配置された画像処理アイコンに対応付けられた画像処理エンジンが人物を識別する機能を含む場合に、画像データを構成するフレーム画像に含まれる複数の人物が同一人物であると分析されることである。
また例えば、異常とは、分析の対象が、店舗S内のような連続する空間の異なる領域A~Cを撮影することによって得られた複数の画像データである場合に、当該複数の画像データの間で同一人物と分析される人物の数が閾値よりも少ないことである。この例についても、画面に配置された画像処理アイコンに対応付けられた画像処理エンジンが人物を識別する機能を含む場合が対象となる。
報知は、表示制御部105を介してメッセージを表示することや、図示しないスピーカなどから音を発することなどである。
結果出力部132は、異常予想部128によって異常の発生が予想されず、かつ、異常検出部130によって異常が検出されずに分析処理を終了することができた場合に、分析構成に従った分析処理の結果を画面に表示させる。
ここで、分析処理を実行するには、1つの分析構成に含まれる処理エンジンのすべてのパラメータに対して設定された設定値から構成される1組の設定値が必要である。すなわち、画面に配置された複数のアイコンの対応するすべてのパラメータに設定値が設定される必要があり、設定値の組は、当該すべてのパラメータに対する設定値から構成されるものとする。
例えば本実施の形態では、上述した通り、画像処理エンジンの各々が画像処理を行うためのパラメータは1つであり、入力元アイコン及び出力先アイコンの各々のパラメータも1つである。そのため、本実施の形態に係る設定値の組は、画面に配置された複数のアイコンの各々に対応付けられた1つの設定値から構成される。
本実施の形態に係るパラメータ設定部112では、画面に配置された画像処理エンジンの一部又は全部に対応付けられるパラメータについて、複数の設定値を受け付けてもよく、この場合、画面に設定された分析構成に対して複数組の設定値を受け付けることになる。
このように複数組の設定値が設定された場合、分析部113は、設定値の各組について、画面に設定された分析構成に従って画像データに対する分析処理を実行する。言い換えると、分析部113は、設定された設定値のすべての組み合わせについて分析処理を実行する。そして、分析部113は、設定値の各組についての分析処理が終了するたびに、表示制御部105を介して当該分析処理の結果を画面に表示させる。
コンポーネント作成部114は、画面に配置されて接続された複数のアイコンの一部又は全部に対する選択を受け付けて、当該選択された複数のアイコン及び当該複数のアイコン間の接続関係を含むコンポーネントデータを生成してコンポーネント記憶部115に保持させる。
コンポーネント記憶部115は、コンポーネント作成部114によって作成されたコンポーネントデータを保持するための記憶部である。コンポーネントデータは、コンポーネントを示すデータであり、コンポーネントは、複数のアイコン及び当該複数のアイコン間の接続関係から構成される。
コンポーネント記憶部115に保持されたコンポーネントは、アイコン配置部107によって参照されて、アイコンと同様に分析構成を作成するための1つの要素として配置される。
<本実施の形態に係る画像分析装置の物理的構成>
ここから、本実施の形態に係る画像分析装置102の物理的構成の例について、図を参照して説明する。
ここから、本実施の形態に係る画像分析装置102の物理的構成の例について、図を参照して説明する。
画像分析装置102は物理的には、図6に示すように、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、ネットワークインタフェース1050、ユーザインタフェース1060を有する。
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、ネットワークインタフェース1050、及びユーザインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。
ストレージデバイス1040は、画像分析装置102の記憶部(アイコン記憶部108、アイコン-処理記憶部109、コンポーネント記憶部115)を実現する。
また、ストレージデバイス1040は、画像分析装置102の各機能部(表示制御部105、画像取得部106、アイコン配置部107、接続部110、データフロー設定部111、パラメータ設定部112、分析部113、コンポーネント作成部114)を実現するためのプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能部が実現される。
ネットワークインタフェース1050は、有線、無線又はこれらを組み合わせて構成されるネットワークに画像分析装置102を接続するためのインタフェースである。本実施の形態に係る画像分析装置102は、ネットワークインタフェース1050を通じてネットワークに接続されることによって、カメラ101と通信する。
ユーザインタフェース1070は、ユーザから情報が入力されるインタフェース及びユーザに情報を提示するインタフェースであり、例えば、入力部103としてのマウス、キーボード、タッチセンサなど、表示部104としての液晶ディスプレイなどを含む。
このように画像分析装置102の機能は、ソフトウェアプログラムを物理的な各構成要素が協働して実行することによって実現することができる。そのため、本発明は、ソフトウェアプソフトウェアプログラムグラム」ともいう。)として実現されてもよく、そのプログラムが記録された非一時的な記憶媒体として実現されてもよい。
<本実施の形態に係る画像分析処理>
ここから、本実施の形態に係る画像分析処理について、図を参照して説明する。
ここから、本実施の形態に係る画像分析処理について、図を参照して説明する。
図7A及び7Bは、本実施の形態に係る画像分析処理の一例を示すフローチャートである。
画像分析処理は、画像を分析するための分析構成を作成し、当該作成した分析構成によって画像を分析する処理であり、例えば、ユーザの開始の指示を入力部103から受け付けて開始される。
図7Aに示すように、アイコン配置部107、接続部110、データフロー設定部111及びパラメータ設定部112は、分析構成を作成するための処理を行う(S101)。
詳細には図8に示すように、アイコン配置部107は、入力部103からのユーザの指示に基づいて、アイコンを画面に配置する(ステップS201)。
ステップS201によって、画面に配置されたアイコンの例を図9に示す。例えば、ユーザは、画面内の図示しない領域に予め表示される各種のアイコンから、所望のアイコンを選択して、所望の位置に配置することを繰り返して、複数のアイコンは画面に配置される。
ここで、図9に示すように、アイコンは、対応付けられた処理エンジンの機能に応じて、形状、模様、外枠(一重又は二重)の組み合わせが異なっている。特に、画像処理エンジンでは、画像処理エンジンの機能ごとに、形状、模様、外枠(一重又は二重)の組み合わせが異なっている。
このようにアイコンは、対応付けられた処理エンジンの機能に応じて、形状、色、模様、外形線の態様(線の太さ、数、色など)の少なくとも1つが異なることによって、ユーザは、視覚的にアイコンの違いを認識して、分析構成を作成することができる。従って、適切な分析構成の作成を容易に行うことが可能になる。
また、図9に示す各アイコンに含まれる点線の四角は、当該アイコンに設定されるパラメータの設定欄を示す。ステップS201にて配置されたアイコンでは、パラメータは未設定であるため、図9では、すべての設定欄が空白になっている。なお、適宜の初期値が設定されていてもよいことはもちろんである。
接続部110は、画面に配置されたアイコン間に対する接続指示を入力部103から受け付ける(ステップS202)。
例えば、入力部103としてのマウスを利用して入力元アイコンと検出アイコンとを接続指示を与える場合、図10に示すように、画面に表示されたポインタをポインタ位置P1に位置付けて予め定められた操作をすることによって、接続関係の起点が設定される。ポインタ位置P1は、入力元アイコンの外縁を指すポインタの位置である。
そして、ポインタ位置P2に位置付けて予め定められた操作をすることによって、接続関係の終点が設定される。ポインタ位置P2は、検出アイコンの外縁を指すポインタの位置である。
データフロー設定部111は、ステップS202にて受け付けられた接続指示に基づいて、アイコン間のデータの流れを設定して画面に表示する(ステップS203)。
より詳細には図11に示すように、禁則処理部116は、ステップS202にて指示された接続関係が禁則に含まれるか否かを判定する(ステップS301)。
禁則に含まれないと判定された場合(ステップS301;No)、適正フロー設定部118は、ステップS202にて指示された接続関係に従って、アイコン間のデータの流れを示す接続関係を設定し、設定した画面に表示させる(適正フロー設定処理;ステップS302)。
ここで、アイコン間のデータの流れとは、アイコンに対応付けられた処理エンジン間のデータの流れに対応する。
例えば、図10を参照して上述した接続指示に応じたデータの流れ、すなわち、入力エンジンから出力されて検出エンジンへ入力される画像データの流れは、通常行われることであるため、禁則には含まれていないとする。
この場合、禁則処理部116は禁則に含まれないと判定し、適正フロー設定部118は、図12に示すように、受け付けられた接続指示に従って、入力元アイコンから検出アイコンへ向かう矢印によって、これらのアイコンを接続する。つまり、アイコン間を接続する矢印の方向は、矢印によって接続されたアイコンに対応する処理エンジン間において画像データが流れる方向に対応している。
禁則に含まれると判定した場合(ステップS301;Yes)、禁則処理部116は、ステップS202にて指示された接続関係が該当する禁則に応じて、予め定められた禁則処理を行う(ステップS303)。
例えば、ステップ202にて、図13に示すような接続指示、すなわち検出アイコンの外縁を指すポインタ位置P3を起点として、入力元アイコンの外縁を指すポインタ位置P4を終点とする接続指示が受け付けられたとする。この接続指示に従えば、検出アイコンから入力元アイコンへ向かう矢印で、これらのアイコン間を接続することになる。
しかし、入力エンジンへ画像データを入力する処理は、通常行われない。そのため、入力アイコンへ向かう矢印を設定する接続指示、すなわち、入力アイコンの外縁を終点とする接続指示が、禁則に含まれているとする。
このような場合、禁則処理部116は例えば、図14A又は図14Bに示す禁則処理を行う。
図14Aは、禁則処理の第1の例を示しており、受け付けられた接続指示を予め定められた方法で修正した接続関係を設定して画面上に表示するとともに、接続指示を修正した旨を画面表示によって報知する禁則処理の例を示す。入力元アイコンは、通常、矢印の起点となるため、この例では、受け付けられた接続指示に係る起点と終点とを入れ替えることによって修正した接続関係を設定している。
図14Bは、禁則処理の第2の例を示しており、接続指示を設定せずに、接続指示に関わるアイコン間の接続が禁止されている旨を画面表示によって報知する禁則処理の例を示す。
このような禁則処理を行うことによって、分析構成の作成に不慣れな者や非技術者が、アイコン間を誤って接続するために適切な分析構成を作成できなくなる可能性を低減することができる。従って、適切な分析構成の作成を容易に行うことが可能になる。
このようなデータフロー設定処理(ステップS203)を、画面に配置された複数のアイコンのうち、所望のアイコンの各対に対して繰り返すことによって、図15に例示するようなアイコン間の複数の接続関係が設定されて画面上に表示される。
なお、ここでは、複数のアイコンをすべて配置した後に、複数のアイコンにおけるすべての接続関係を設定し、すべてのアイコンのパラメータ設定を順に行う例を説明した。しかし、例えば一部のアイコンの配置及び接続関係の設定をした後に、他のアイコンの配置及び接続関係の設定を繰り返し、その後に、パラメータ設定が行われるなど、アイコンの配置、接続、パラメータ設定は、適宜の順序で行われてよい。
図8を再び参照する。
パラメータ設定部112は、ステップS201にて画面に配置された各アイコンに対応付けられるパラメータの設定値を受け付け、当該受け付けた設定値を各アイコンに設定する(ステップS204)。
パラメータ設定部112は、ステップS201にて画面に配置された各アイコンに対応付けられるパラメータの設定値を受け付け、当該受け付けた設定値を各アイコンに設定する(ステップS204)。
なお、画面に配置されたアイコンの中に、パラメータが不要な処理エンジンに対応付けられたアイコンがある場合、そのようなアイコンに対してステップS204の処理は行われなくてよい。
パラメータ設定処理の詳細な例を図16A及び16Bに示す。
図16Aに示すように、自動推定部122は、画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応付けられた画像処理エンジンが人物識別機能を含むか否かを判定する(ステップS401)。
図16Aに示すように、自動推定部122は、画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応付けられた画像処理エンジンが人物識別機能を含むか否かを判定する(ステップS401)。
人物識別機能とは、画像から人物を識別する機能である。
例えば、検出エンジン一種である人を検出するエンジンは、人を画像から検出する。これには、通常、画像中の人の異同を区別することが必要になるため、人を検出するエンジンは、人物識別機能を含む。また例えば、特定の人を検索するエンジンは、特定の人を画像から検索するので、人物識別機能を含む。さらに例えば、複数の画像データにまたがって移動する人を再特定する再特定エンジンでは、人を画像から検索するので、人物識別機能を含む。
人物識別機能を含むと判定した場合(ステップS401;Yes)、自動推定部122は、画像取得部106を介して画像データを取得し、当該取得した画像データに含まれるフレーム画像に対して、自動推定処理を行う(ステップS402)。
自動推定処理は、パラメータの候補を自動的に推定する処理であり、このとき参照される画像データには、少なくとも1つのフレーム画像が含まれていればよい。ここで、フレーム画像は、画像データが動画像を示す場合には、動画像を構成する各静止画像であり、画像データが静止画像を示す場合には、当該静止画像である。
自動推定処理では例えば、各フレーム画像において、複数の人物を同一と識別することがないパラメータの値又は数値範囲が、ステップS401にて選択されたアイコンに対応付けられた処理エンジンに対するパラメータの候補として求められる。
すなわち、自動推定部122は、ステップS401にて選択されたアイコンに対応する処理エンジンによる処理において、フレーム画像に含まれる人物がすべて異なる人物であると分析されるように、当該処理エンジンに対するパラメータの候補を求める。
続けて、ユーザ支援推定部123は、第1ユーザ支援推定処理を行う(ステップS403)。
詳細には、サンプル表示部124は、ステップS401にて選択された画像処理アイコンに対応付けられた画像処理エンジンを制御する。このとき、サンプル表示部124は、ステップS402にて求められたパラメータの候補を適用させる。そして、サンプル表示部124は、当該画像処理エンジンにサンプル画像を選定させ、選定されたサンプル画像を画面に表示させる(第1サンプル表示処理;ステップS403a)。
ここで、サンプル画像は、ステップS402にて取得された画像データに含まれるフレーム画像のうち、同一の人物が含まれると分析された異なるフレーム画像であり、このとき選定されるフレーム画像は、2つ以上であればよい。
なお、サンプル画像は、複数のフレーム画像のうち、同一と分析された人物部分又はその近傍を拡大した画像であってもよい。
評価受付部125は、ステップS403aにて表示されたサンプル画像に対するユーザの評価を入力部103から受け付ける(第1評価受付処理;ステップS403b)。
例えば、ユーザは、ステップS403aにて表示された複数のサンプル画像を参照して、複数のサンプル画像において同一であると分析されている人物が、実際に同一であれば、正しいと評価し、実際には異なっていれば、誤りであると評価する。そして、ユーザは、このような複数のサンプル画像に含まれる人物が同一か否かに関する評価の結果を入力部103によって入力する。
候補取得部126は、ステップS403bにて受け付けた評価に基づいて、設定値の候補を求める(第1候補取得処理;ステップS403c)。
候補取得部126は、例えば、ステップS403bにて正しいとの評価を受け付けたサンプル画像でのパラメータの設定値含めるように候補を求める。また例えば、候補取得部126は、ステップS403bにて誤りであるとの評価を受け付けたサンプル画像でのパラメータの設定値を除外した候補を求める。
ここで、ステップS403aにて説明したように、ステップS402にて求められたパラメータの候補が、候補を求めるための画像処理エンジンに適用される。そのため、ステップS403cで求められる候補は、ステップS402にて求められた候補を加味したものである。
このように、自動推定処理(ステップS402)と、ユーザの支援を受けて候補を推定するユーザ支援推定処理(ステップS403)とを、共通の処理エンジンに適用することによって、より適切な候補を絞り込んで求めることができる。
なお、自動推定処理(ステップS402)で求められた候補と、ユーザの支援を受けて候補を推定するユーザ支援推定処理(ステップS403)で求められた候補とが、独立に求められて、自動推定部122、候補取得部126のそれぞれに保持されてもよい。
人物識別機能を含まないと判定した場合(ステップS401;No)、又はステップS402の後に、サンプル表示部124は、ステップS401にて選択された画像処理アイコンに対応付けられた画像処理エンジンが検出機能を含むか否かを判定する(ステップS404)。
検出機能とは、画像から検出対象を検出する機能である。
ここで、本実施の形態では、人を検出する検出エンジンについては、ステップS403にてパラメータの候補が求められるため、ステップS401での検出対象は、鞄、ペットなどの物でよい。
検出機能を含むと判定した場合(ステップS404;Yes)、ユーザ支援推定部123は、図16Bに示すように、第2ユーザ支援推定処理を行う(ステップS405)。
詳細には、サンプル表示部124は、画像取得部106を介して画像データを取得し、当該取得した画像データに含まれるフレーム画像に対して第2サンプル表示処理を行う(ステップS405a)。
例えば、サンプル表示部124は、ステップS404での判定対象となった画像処理エンジンを制御し、フレーム画像に対して、検出対象たる対象物を検出するための分析を行わせる。そして、サンプル表示部124は、分析の結果、検出された対象物を含むフレーム画像をサンプル画面として画面に表示させる。
ここで、サンプル画像は、ステップS405aにて取得した画像データに含まれるフレーム画像のうち、対象物が含まれるフレーム画像であり、このとき選定されるフレーム画像は、1つ以上であればよい。
なお、サンプル画像は、フレーム画像のうち、対象物と分析された部分又はその近傍を拡大した画像であってもよい。
評価受付部125は、ステップS405aにて表示されたサンプル画像に対するユーザの評価を入力部103から受け付ける(第2評価受付処理;ステップS405b)。
例えば、ユーザは、ステップS405aにて表示されたサンプル画像を参照して、サンプル画像において検出対象であると示される対象物が、実際に対象物に該当する物であれば、正しいと評価し、実際には対象物に該当する物でなければ、誤りであると評価する。そして、ユーザは、このような対象物が正しく検出されているか否かに関する評価の結果を入力部103によって入力する。
候補取得部126は、ステップS405bにて受け付けた評価に基づいて、設定値の候補を求める(第2候補取得処理;ステップS405c)。
候補取得部126は、例えば、ステップS405bにて正しいとの評価を受け付けたサンプル画像でのパラメータの設定値含めるように候補を求める。また例えば、候補取得部126は、ステップS405bにて誤りであるとの評価を受け付けたサンプル画像でのパラメータの設定値を除外した候補を求める。
検出機能を含まないと判定した場合(ステップS404;No)、又はステップS405の後に、パラメータ候補表示部120は、ステップS402、S403又はS405で求められた候補を画面に表示させる(ステップS406)。
ここで、図17は、検出アイコンが選択され、当該選択された検出アイコンに対応付けられる検出エンジンに適用されるパラメータに対する設定値の候補を表示する例を示す。検出アイコンは、例えば、ポインタPで指し示した後に、予め定められえた操作(例えば、マウスのボタンのダブルクリック)が行われることによって選択される。同図に示すように、候補は、選択されたに対応付けて表示されるとよい。
また、ステップS406では、ステップS402、S403又はS405で候補が求められた場合に、当該求められた候補が表示されればよく、候補が求められていない場合、ステップS406の処理は、何も表示されずに終了すればよい。
例えば図10において、3つの入力元アイコンのそれぞれに、「映像A」「映像B」「映像C」が設定されている。例えば、映像Aは、ネットワークにおけるカメラ101aのアドレスであり、入力データは、映像Aによって撮影される画像データであるとする。入力元アイコンに対応付けられる入力エンジンは、人物識別機能、検出機能のいずれの機能も含まないため、本実施の形態では候補は、入力元アイコンに対応付けられる候補は求められない。従って、入力元アイコンに設定されたパラメータの値を設定する際に、ステップS406では、候補が表示されない。
なお、入力元アイコンに対応付けて、例えばネットワークに接続されたカメラ101のアドレスが候補として表示されてもよい。また、カメラ101で実際に撮影されている画像がサンプル画像として画面に表示され、そのサンプル画像を参照してパラメータの設定値が設定されてもよい。
パラメータ受付部121は、画面に配置された各アイコンに対応付けられるパラメータの設定値を受け付けて設定する(ステップS407)。
パラメータ受付部121は、例えば図18に示すように、各アイコンの設定欄に入力される値を設定値として受け付けて、各アイコンと対応付けて設定値を保持する。アイコンに対応付けられた設定値は、当該アイコンに対応する処理エンジンに適用されるパラメータの設定値である。
ここで、本実施の形態では、各種の処理エンジンに適用されるパラメータが1つである例を説明している。しかし、図18に示す例では、追跡アイコンの各々に2つの設定値が設定されている(例えば、図18にて一番上の追跡アイコンには「b11」、「b12」の2つの設定値が設定されている。)。また、検索エンジンの1つ(図18にて上方の検索アイコン)にも2つの設定値が設定されている。このように、処理エンジンでの処理に必要なパラメータに対して、複数の設定値が設定されてもよい。このように設定された複数の設定値の利用方法については、後述する。
候補が表示された場合、ユーザは、候補を参照してパラメータを設定することができるので、適切なパラメータの設定を容易にすることが可能になる。従って、適切な分析構成の作成を容易に行うことが可能になる。
図7Aを再び参照する。
分析部113は、分析開始の指示を受け付けたか否かを判定する(ステップS102)。
分析開始の指示を受け付けていないと判定された場合(ステップS102;No)、これまで説明した分析構成作成処理(ステップS101)が継続して実行される。
分析開始の指示を受け付けたと判定した場合、分析部113は、設定値のすべての組について、ステップS104~S110の処理を繰り返す(ステップS103)。
ここで、図18に示す分析構成の例では、14個のアイコンが配置されており、本実施の形態では上述の通り、すべての処理エンジンに対して1つのパラメータの設定値が設定される。そのため、図18に示す分析構成の例では、1組の設定値は、各アイコンに対応付けられた14個の設定値から構成される。
そして、図18に示す分析構成の例では、上述した通り、3つの追跡アイコンと1つの検索アイコンとの各々には、2つの異なる設定値が設定されている。そのため、図18に示す分析構成の例では、16(=24)組の設定値が設定されていることになる。ステップS103の処理によって、このような設定値の組のすべてについて分析処理が行われる。
分析実行部127は、分析の対象となる画像データを画像取得部106を介して取得し、ステップS101にて作成された分析構成に従って、分析処理を実行する(ステップS104)。
詳細には、分析実行部127は、処理エンジンデータに基づいて、画面に配置されたアイコンに対応する処理エンジンを取得して、当該処理エンジンに処理を実行させる。分析実行部127は、その処理結果である画像データを保持し、接続関係によって接続された次のアイコンに対応する処理エンジンを取得して、保持している画像データに対する処理を当該取得した処理エンジンに実行させる。このような処理を分析構成に従って実行する。
異常予想部128は、分析実行部127による分析処理の結果に異常の発生が予想されるか否かを判定する(ステップS105)。
例えば、各処理エンジンの処理に適宜の処理単位を予め設定し、ステップS103にて処理単位の処理が終了するたびに、異常予想部128は、異常の発生が予想されるか否かを判定する。
異常の発生が予想されないと判定された場合(ステップS105;No)、分析実行部127は、1組の設定値についての分析処理が終了したか否かを判定する(ステップS106)。
1組の設定値についての分析処理が終了していないと判定した場合(ステップS106;No)、分析実行部127は、分析処理(ステップS104)を継続して実行する。
異常の発生が予想されると判定された場合(ステップS105;Yes)、分析中断部129は、図7Bに示すように、分析処理を中断させて異常を報知し(ステップS107)、画像分析処理を終了させる。
ステップS107での異常報知は、設定値の変更を促すための報知であり、分析中断部129は例えば、異常の発生が予想された処理に関わる処理エンジンのパラメータに対する設定値を変更する旨のメッセージを画面に表示させる。このとき、分析中断部129は、異常の発生が予想された画像を画面に表示させてもよい。
異常予想部128によって予想される異常とは、例えば、ステップS104で実行中の画像処理エンジンが人物識別機能を含む場合に、当該画像処理エンジンによって、フレーム画像において複数の人物が同一人物であると分析されることである。
また例えば、例えば、ステップS104で実行中の画像処理エンジンが再特定エンジンである場合に、複数の画像データの間で同一人物と分析される人物の数が閾値よりも少ないこと、複数の画像データの間で連続的に検出されるべき人物が検出されないことなどである。
このような異常発生の予想に基づく異常報知処理(ステップS107)を行うことで、すべての組み合わせについての分析処理が完了する前に、ユーザは、処理エンジンの構成、パラメータの設定値などが適切であるかどうかを検討することができる。これにより、すべての組み合わせについての分析処理が完了する前に、処理エンジンの構成、パラメータの設定値などを修正することができる。従って、適切な分析構成の作成及びパラメータの設定を迅速に行うことが可能になる。
なお、分析中断部129は、ステップS107での報知の後に、画像分析処理を強制的に終了させず、入力部103からの指示に従って画像分析処理の終了と継続とのいずれかを選択してもよい。
図7Aを再び参照する。
1組の設定値についての分析処理が終了したと判定された場合(ステップS106;Yes)、異常検出部130は、図8Bに示すように、当該設定値の組を適用した分析実行部127による分析処理の結果に異常が含まれるか否かを判定する(ステップS108)。
1組の設定値についての分析処理が終了したと判定された場合(ステップS106;Yes)、異常検出部130は、図8Bに示すように、当該設定値の組を適用した分析実行部127による分析処理の結果に異常が含まれるか否かを判定する(ステップS108)。
異常が含まれると判定された場合(ステップS108;Yes)、異常報知部131は、分析処理を中断させて、異常を報知し(ステップS109)、画像分析処理を終了させる。
ステップS109での異常報知は、設定値の変更を促すための報知であり、異常報知部131は、例えば、異常が含まれると判定された画像に関わる処理エンジンのパラメータに対する設定値を変更する旨のメッセージを画面に表示させる。このとき、異常報知部131は、異常が含まれると判定された画像を画面に表示させてもよい。
異常報知部131によって検出される異常とは、例えば、人物識別機能を含む画像処理エンジンがステップS104で実行された分析構成に含まれる場合に、分析の結果に含まれるフレーム画像において複数の人物が同一人物であると分析されることである。
また例えば、例えば、分析構成が再特定エンジンを含む場合に、分析の結果において同一人物と分析される人物の数が閾値よりも少ないこと、分析の結果において連続的に検出されるべき人物が検出されないことなどである。
このような異常検出に基づく異常報知処理(ステップS109)を行うことで、すべての組み合わせについての分析処理が完了する前に、ユーザは、処理エンジンの構成、パラメータの設定値などが適切であるかどうかを検討することができる。これにより、すべての組み合わせについての分析処理が完了する前に、処理エンジンの構成、パラメータの設定値などを修正することができる。従って、適切な分析構成の作成及びパラメータの設定を迅速に行うことが可能になる。
なお、異常報知部131は、ステップS109での報知の後に、画像分析処理を強制的に終了させず、入力部103からの指示に従って画像分析処理の終了と継続とのいずれかを選択してもよい。
異常が含まれないと判定された場合(ステップS108;No)、結果出力部132は、当該分析処理の結果を画面に表示させる(ステップS110)。
処理結果の一例は、図1に示すような店舗S内を上方から見て、予め定められた条件で検索された顧客A~Cの各々の移動経路を示す画面である。
図7A及び7Bに示すように、ステップS110は、1つの設定値の組についての分析処理が終了するたびに行われので、ユーザは、設定値の各組についての分析処理の結果が適切であるかどうかを検討することができる。
検討の結果、不適切と判断した場合には、すべての組み合わせについての分析処理が完了する前に、処理エンジンの構成、パラメータの設定値などを修正することができる。また、検討の結果、適切と判断した場合には、すべての組み合わせについての分析処理が完了する前に、処理エンジンの構成、パラメータの設定値などを決定することもできる。従って、適切な分析構成の作成及びパラメータの設定を迅速に行うことが可能になる。
なお、異常の発生が予想された場合(ステップS105;Yes)や、異常が検出された場合(ステップS108;Yes)であっても、入力部103からの指示に従って画像分析処理を継続し、分析処理を終了することができることがある。このような場合は、結果出力部132は、当該分析処理の結果を画面に表示させてもよい。
分析実行部127は、異なる設定値の組について、ステップS104~S110の処理を続けて実行し、設定値のすべての組についてステップS104~S110の処理を完了すると、画像分析処理を終了する。
<本実施の形態に係るコンポーネント作成処理>
ここから、本実施の形態に係るコンポーネント作成処理について、図を参照して説明する。
ここから、本実施の形態に係るコンポーネント作成処理について、図を参照して説明する。
図19は、本実施の形態に係るコンポーネント作成処理の一例を示すフローチャートである。コンポーネント作成処理は、分析構成の作成中、又は分析構成の作成後に実行される。
コンポーネント作成部114は、コンポーネント作成指示を受け付けたか否かを判定する(ステップS501)。
コンポーネント作成指示は、コンポーネントに含めるアイコン群及び接続関係を選択し、当該選択されたアイコン群及び接続関係を含むコンポーネントを作成する指示である。コンポーネント作成部114は、例えば、ユーザによる入力部103の操作に基づいて、コンポーネント作成指示を受け付ける。
図20は、図18に示す分析構成の中から、矩形の点線CMPで囲まれたアイコン群及び接続関係が選択された例を示す。
コンポーネント作成指示を受け付けていないと判定した場合(ステップS501;No)、コンポーネント作成部114は、コンポーネント作成処理を終了する。
コンポーネント作成指示を受け付けたと判定した場合(ステップS501;Yes)、コンポーネント作成部114は、コンポーネントデータをコンポーネント記憶部115に記憶させ(ステップS502)、コンポーネント作成処理を終了する。
コンポーネントデータは、ステップS501にて受け付けたコンポーネント作成指示に係るアイコン群及び接続関係から構成されるコンポーネントと、コンポーネントを識別するための情報とを対応付けたを示すデータである。
このようなコンポーネントを作成することによって、アイコン配置部107は、コンポーネントデータに含まれるコンポーネントを、アイコンと同様に配置することができる。図21は、図20にて選択されたコンポーネントが「広域特定」というコンポーネントとして、分析構成を作成するための画面に配置される例を示す。すなわち、図21に示す分析構成と、図15に示す分析構成は、同じ内容である。
このようにコンポーネントを作成することによって、適切な分析構成の一部又は全部を容易に再利用して新たな分析構成を作成することができる。従って、適切な分析構成の作成を容易に行うことが可能になる。
なお、本実施の形態では、コンポーネントは、アイコン群及び接続関係から構成されるものとし、パラメータの設定値を含まない例を説明したが、コンポーネントがさらにパラメータの設定値を含んでもよい。
これまで、本発明の一実施の形態について説明した。
本実施の形態によれば、アイコン配置部107は、複数の入力元アイコン、複数の画像処理アイコン、少なくとも1つの出力先アイコンを含む複数のアイコンが、画面に配置するための指示に基づいて画面に配置される。そして、接続部110が接続指示を受け付けると、接続指示に基づいて、アイコン間のデータの流れが設定されて画面に表示される。
これにより、ユーザは、画面の表示によって画像データの分析処理の内容を認識しながら、分析構成を作成すること(すなわち、画像データの分析処理の全体を構成すること)ができる。従って、画像データの分析処理の全体を適切に構成することを容易に行うことが可能になる。
これにより、ユーザは、画面の表示によって画像データの分析処理の内容を認識しながら、分析構成を作成すること(すなわち、画像データの分析処理の全体を構成すること)ができる。従って、画像データの分析処理の全体を適切に構成することを容易に行うことが可能になる。
以上、本発明の実施の形態及び変形例について説明したが、本発明は、これらに限られるものではない。例えば、本発明は、これまで説明した実施の形態及び変形例の一部又は全部を適宜組み合わせた形態、その形態に適宜変更を加えた形態をも含む。
上記の実施の形態の一手段または全手段は、以下の付記のようにも記載されうるが、以下に限られない。
1.分析の対象となる画像データの入力元を示す複数の入力元アイコン、前記画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて前記複数のアイコンを画面に配置するアイコン配置手段と、
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示するデータフロー設定手段とを備える
画像分析装置。
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示するデータフロー設定手段とを備える
画像分析装置。
2.前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応する前記画像処理エンジンに適用するパラメータに対する設定値を受け付けるパラメータ設定手段をさらに備える
上記1に記載の画像分析装置。
上記1に記載の画像分析装置。
3.前記パラメータ設定手段は、
前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応する前記画像処理エンジンに適用する前記パラメータに対する設定値の候補を、前記画像データの少なくとも一部に基づいて求めるパラメータ推定手段と、
前記求められた候補を前記画面に表示させるパラメータ候補表示手段と、
前記パラメータの設定を受け付けるパラメータ受付手段とを含む
上記2に記載の画像分析装置。
前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応する前記画像処理エンジンに適用する前記パラメータに対する設定値の候補を、前記画像データの少なくとも一部に基づいて求めるパラメータ推定手段と、
前記求められた候補を前記画面に表示させるパラメータ候補表示手段と、
前記パラメータの設定を受け付けるパラメータ受付手段とを含む
上記2に記載の画像分析装置。
4.前記パラメータ推定手段は、
前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応付けられた画像処理エンジンが人物を識別する機能を含む場合に、当該画像処理エンジンによる処理において、前記画像データの少なくとも一部を構成するフレーム画像に含まれる人物がすべて異なる人物であると分析されるように前記設定値の候補を求める
上記3に記載の画像分析装置。
前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応付けられた画像処理エンジンが人物を識別する機能を含む場合に、当該画像処理エンジンによる処理において、前記画像データの少なくとも一部を構成するフレーム画像に含まれる人物がすべて異なる人物であると分析されるように前記設定値の候補を求める
上記3に記載の画像分析装置。
5.前記パラメータ推定手段は、
前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応付けられた画像処理エンジンによる処理を前記画像データの少なくとも一部に対して実行することによって得られる1つ又は複数のサンプル画像を前記画面に表示させるサンプル表示手段と、
前記1つ又は複数のサンプル画像に対するユーザの評価を受け付ける評価受付手段と、
前記望ましい処理結果に基づいて、前記設定値の候補を求める候補取得手段とを含む
上記3又は4に記載の画像分析装置。
前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応付けられた画像処理エンジンによる処理を前記画像データの少なくとも一部に対して実行することによって得られる1つ又は複数のサンプル画像を前記画面に表示させるサンプル表示手段と、
前記1つ又は複数のサンプル画像に対するユーザの評価を受け付ける評価受付手段と、
前記望ましい処理結果に基づいて、前記設定値の候補を求める候補取得手段とを含む
上記3又は4に記載の画像分析装置。
6.前記サンプル表示手段は、前記1つ又は複数のサンプル画像から構成される複数のサンプルセットを表示させ、
前記評価受付手段は、前記複数のサンプルセットの各々に対するユーザの評価を受け付ける
上記5に記載の画像分析装置。
前記評価受付手段は、前記複数のサンプルセットの各々に対するユーザの評価を受け付ける
上記5に記載の画像分析装置。
7.前記サンプル表示手段は、前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応付けられた画像処理エンジンが、前記画像データに含まれる検出対象を検出する機能を含む場合に、前記検出された検出対象を示す前記1つ又は複数のサンプル画像を表示させ、
前記評価受付手段は、前記1つ又は複数のサンプル画像にて前記検出対象が正しく検出されているか否かを、前記評価として受け付ける
上記6に記載の画像分析装置。
前記評価受付手段は、前記1つ又は複数のサンプル画像にて前記検出対象が正しく検出されているか否かを、前記評価として受け付ける
上記6に記載の画像分析装置。
8.前記サンプル表示手段は、前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応付けられた画像処理エンジンが人物を識別する機能を含む場合に、人物を含む複数の前記サンプル画像を表示させ、
前記評価受付手段は、前記複数のサンプル画像に含まれる人物が同一か否かを、前記評価として受け付ける
上記6又は7に記載の画像分析装置。
前記評価受付手段は、前記複数のサンプル画像に含まれる人物が同一か否かを、前記評価として受け付ける
上記6又は7に記載の画像分析装置。
9.前記画像データに対して、前記画面に配置された複数のアイコン及び当該複数のアイコンの接続関係に従った分析処理を実行する分析手段をさらに備え、
前記パラメータ設定手段は、前記画面に配置された複数のアイコンの各々に対応付けられた設定値から構成される複数組の設定値を受け付け、
前記分析手段は、前記設定値の各組について、前記画面に配置された複数のアイコンの接続関係に従って前記画像データに対する分析処理を実行する
上記2から8のいずれか1つに記載の画像分析装置。
前記パラメータ設定手段は、前記画面に配置された複数のアイコンの各々に対応付けられた設定値から構成される複数組の設定値を受け付け、
前記分析手段は、前記設定値の各組について、前記画面に配置された複数のアイコンの接続関係に従って前記画像データに対する分析処理を実行する
上記2から8のいずれか1つに記載の画像分析装置。
10.前記分析手段は、前記設定値の各組について、前記画面に配置された複数のアイコンの接続関係に従って前記画像データに対する分析処理が終了するたびに、当該分析処理の結果を前記画面に表示させる
上記9に記載の画像分析装置。
上記9に記載の画像分析装置。
11.前記分析手段は、
前記分析処理の結果に異常が発生するか否かを予想する異常予想手段と、
前記異常が発生すると予想された場合に、前記設定値の変更を促すための報知をする分析中断手段とを含む
上記9又は10に記載の画像分析装置。
前記分析処理の結果に異常が発生するか否かを予想する異常予想手段と、
前記異常が発生すると予想された場合に、前記設定値の変更を促すための報知をする分析中断手段とを含む
上記9又は10に記載の画像分析装置。
12.前記分析手段は、
前記分析処理の結果に異常が含まれるか否かを判定する異常検出手段と、
前記異常が含まれると判定された場合に、前記設定値の変更を促すための報知をする異常報知手段とを含む
上記9から11のいずれか1項に記載の画像分析装置。
前記分析処理の結果に異常が含まれるか否かを判定する異常検出手段と、
前記異常が含まれると判定された場合に、前記設定値の変更を促すための報知をする異常報知手段とを含む
上記9から11のいずれか1項に記載の画像分析装置。
13.前記異常は、
前記画面に配置された画像処理アイコンに対応付けられた画像処理エンジンが人物を識別する機能を含む場合に、前記画像データを構成するフレーム画像に含まれる複数の人物が同一人物であると分析されることと、
前記画面に配置された画像処理アイコンに対応付けられた画像処理エンジンが人物を識別する機能を含み、かつ、前記分析の対象が、連続する空間の異なる領域を撮影することによって得られた複数の画像データである場合に、当該複数の画像データの間で同一人物と分析される人物の数が閾値により少ないこと、との少なくとも1つである
上記11又は12に記載の画像分析装置。
前記画面に配置された画像処理アイコンに対応付けられた画像処理エンジンが人物を識別する機能を含む場合に、前記画像データを構成するフレーム画像に含まれる複数の人物が同一人物であると分析されることと、
前記画面に配置された画像処理アイコンに対応付けられた画像処理エンジンが人物を識別する機能を含み、かつ、前記分析の対象が、連続する空間の異なる領域を撮影することによって得られた複数の画像データである場合に、当該複数の画像データの間で同一人物と分析される人物の数が閾値により少ないこと、との少なくとも1つである
上記11又は12に記載の画像分析装置。
14.前記画面に配置されて接続された複数のアイコンの一部又は全部に対する選択を受け付けて、当該選択された複数のアイコン及び当該複数のアイコン間の接続関係を含むコンポーネントとして保持させるコンポーネント作成手段をさらに備える
上記1から13のいずれか1つに記載の画像分析装置。
上記1から13のいずれか1つに記載の画像分析装置。
15.前記画像処理アイコンは、
画像データから検出対象を検出するための画像処理エンジンである検出エンジンに対応付けられる検出アイコンと、
画像データにおいて追跡対象を追跡するための画像処理エンジンである追跡エンジンに対応付けられる追跡アイコンと、
画像データにおける特徴量を抽出するための画像処理エンジンである特徴量抽出エンジンに対応付けられる特徴量抽出アイコンと、
画像データから検索対象を検索するための画像処理エンジンである検索エンジンに対応付けられる検索アイコンと、
複数の画像データにまたがって追跡対象を追跡するための画像処理エンジンである再特定エンジンに対応付けられる再特定アイコンと、の少なくとも1つを含む
上記1から14のいずれか1つに記載の画像分析装置。
画像データから検出対象を検出するための画像処理エンジンである検出エンジンに対応付けられる検出アイコンと、
画像データにおいて追跡対象を追跡するための画像処理エンジンである追跡エンジンに対応付けられる追跡アイコンと、
画像データにおける特徴量を抽出するための画像処理エンジンである特徴量抽出エンジンに対応付けられる特徴量抽出アイコンと、
画像データから検索対象を検索するための画像処理エンジンである検索エンジンに対応付けられる検索アイコンと、
複数の画像データにまたがって追跡対象を追跡するための画像処理エンジンである再特定エンジンに対応付けられる再特定アイコンと、の少なくとも1つを含む
上記1から14のいずれか1つに記載の画像分析装置。
16.前記データフロー設定手段は、
前記接続手段によって接続指示が受け付けられた場合に、当該接続指示に関わる前記アイコン間の接続が、前記アイコン間の接続に関する禁則を示す禁則データに含まれるか否かを判定し、判定の結果に基づいて禁則処理を行う禁則処理手段と、
前記接続指示及び前記禁則処理に従って、前記アイコン間のデータの流れを設定して前記画面に表示する適正フロー設定手段とを含む
上記1から15のいずれか1つに記載の画像分析装置。
前記接続手段によって接続指示が受け付けられた場合に、当該接続指示に関わる前記アイコン間の接続が、前記アイコン間の接続に関する禁則を示す禁則データに含まれるか否かを判定し、判定の結果に基づいて禁則処理を行う禁則処理手段と、
前記接続指示及び前記禁則処理に従って、前記アイコン間のデータの流れを設定して前記画面に表示する適正フロー設定手段とを含む
上記1から15のいずれか1つに記載の画像分析装置。
17.前記禁則処理は、前記接続指示に従った接続関係を生成しないこと、前記接続指示を予め定められた方法で修正すること、前記接続指示に関わる前記アイコン間の接続が禁止されている旨を報知すること、の少なくとも1つを含む
上記16に記載の画像分析装置。
上記16に記載の画像分析装置。
18.前記画像処理エンジンは、画像処理に関する異なる機能を備えた処理エンジンを含み、
前記画像処理アイコンは、前記画像処理エンジンの機能ごとに、形状、色、模様、外形線の態様の少なくとも1つが異なる
上記1から17の1つに記載の画像分析装置。
前記画像処理アイコンは、前記画像処理エンジンの機能ごとに、形状、色、模様、外形線の態様の少なくとも1つが異なる
上記1から17の1つに記載の画像分析装置。
19.上記1から18のいずれか1つに記載の画像分析装置と、
前記画像データを得るための複数の撮像装置とを備える
画像分析システム。
前記画像データを得るための複数の撮像装置とを備える
画像分析システム。
20.分析の対象となる画像データの入力元を示す複数の入力元アイコン、前記画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて前記複数のアイコンを画面に配置すること、
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示することを含む
画像分析方法。
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示することを含む
画像分析方法。
21.コンピュータに、
分析の対象となる画像データの入力元を示す複数の入力元アイコン、前記画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて前記複数のアイコンを画面に配置すること、
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示することを実行させるためのプログラム。
分析の対象となる画像データの入力元を示す複数の入力元アイコン、前記画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて前記複数のアイコンを画面に配置すること、
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示することを実行させるためのプログラム。
100 画像分析システム
101a,101b,101c カメラ
102 画像分析装置
103 入力部
104 表示部
105 表示制御部
106 画像取得部
107 アイコン配置部
108 アイコン記憶部
109 アイコン-処理記憶部
110 接続部
111 データフロー設定部
112 パラメータ設定部
113 分析部
114 コンポーネント作成部
115 コンポーネント記憶部
116 禁則処理部
117 禁則記憶部
118 適正フロー設定部
119 パラメータ推定部
120 パラメータ候補表示部
121 パラメータ受付部
122 自動推定部
123 ユーザ支援推定部
124 サンプル表示部
125 評価受付部
126 候補取得部
127 分析実行部
128 異常予想部
129 分析中断部
130 異常検出部
131 異常報知部
132 結果出力部
101a,101b,101c カメラ
102 画像分析装置
103 入力部
104 表示部
105 表示制御部
106 画像取得部
107 アイコン配置部
108 アイコン記憶部
109 アイコン-処理記憶部
110 接続部
111 データフロー設定部
112 パラメータ設定部
113 分析部
114 コンポーネント作成部
115 コンポーネント記憶部
116 禁則処理部
117 禁則記憶部
118 適正フロー設定部
119 パラメータ推定部
120 パラメータ候補表示部
121 パラメータ受付部
122 自動推定部
123 ユーザ支援推定部
124 サンプル表示部
125 評価受付部
126 候補取得部
127 分析実行部
128 異常予想部
129 分析中断部
130 異常検出部
131 異常報知部
132 結果出力部
Claims (21)
- 分析の対象となる画像データの入力元を示す複数の入力元アイコン、前記画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて前記複数のアイコンを画面に配置するアイコン配置手段と、
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示するデータフロー設定手段とを備える
画像分析装置。 - 前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応する前記画像処理エンジンに適用するパラメータに対する設定値を受け付けるパラメータ設定手段をさらに備える
請求項1に記載の画像分析装置。 - 前記パラメータ設定手段は、
前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応する前記画像処理エンジンに適用する前記パラメータに対する設定値の候補を、前記画像データの少なくとも一部に基づいて求めるパラメータ推定手段と、
前記求められた候補を前記画面に表示させるパラメータ候補表示手段と、
前記パラメータの設定を受け付けるパラメータ受付手段とを含む
請求項2に記載の画像分析装置。 - 前記パラメータ推定手段は、
前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応付けられた画像処理エンジンが人物を識別する機能を含む場合に、当該画像処理エンジンによる処理において、前記画像データの少なくとも一部を構成するフレーム画像に含まれる人物がすべて異なる人物であると分析されるように前記設定値の候補を求める
請求項3に記載の画像分析装置。 - 前記パラメータ推定手段は、
前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応付けられた画像処理エンジンによる処理を前記画像データの少なくとも一部に対して実行することによって得られる1つ又は複数のサンプル画像を前記画面に表示させるサンプル表示手段と、
前記1つ又は複数のサンプル画像に対するユーザの評価を受け付ける評価受付手段と、
前記望ましい処理結果に基づいて、前記設定値の候補を求める候補取得手段とを含む
請求項3又は4に記載の画像分析装置。 - 前記サンプル表示手段は、前記1つ又は複数のサンプル画像から構成される複数のサンプルセットを表示させ、
前記評価受付手段は、前記複数のサンプルセットの各々に対するユーザの評価を受け付ける
請求項5に記載の画像分析装置。 - 前記サンプル表示手段は、前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応付けられた画像処理エンジンが、前記画像データに含まれる検出対象を検出する機能を含む場合に、前記検出された検出対象を示す前記1つ又は複数のサンプル画像を表示させ、
前記評価受付手段は、前記1つ又は複数のサンプル画像にて前記検出対象が正しく検出されているか否かを、前記評価として受け付ける
請求項6に記載の画像分析装置。 - 前記サンプル表示手段は、前記画面に配置された画像処理アイコンが選択されると、当該選択された画像処理アイコンに対応付けられた画像処理エンジンが人物を識別する機能を含む場合に、人物を含む複数の前記サンプル画像を表示させ、
前記評価受付手段は、前記複数のサンプル画像に含まれる人物が同一か否かを、前記評価として受け付ける
請求項6又は7に記載の画像分析装置。 - 前記画像データに対して、前記画面に配置された複数のアイコン及び当該複数のアイコンの接続関係に従った分析処理を実行する分析手段をさらに備え、
前記パラメータ設定手段は、前記画面に配置された複数のアイコンの各々に対応付けられた設定値から構成される複数組の設定値を受け付け、
前記分析手段は、前記設定値の各組について、前記画面に配置された複数のアイコンの接続関係に従って前記画像データに対する分析処理を実行する
請求項2から8のいずれか1項に記載の画像分析装置。 - 前記分析手段は、前記設定値の各組について、前記画面に配置された複数のアイコンの接続関係に従って前記画像データに対する分析処理が終了するたびに、当該分析処理の結果を前記画面に表示させる
請求項9に記載の画像分析装置。 - 前記分析手段は、
前記分析処理の結果に異常が発生するか否かを予想する異常予想手段と、
前記異常が発生すると予想された場合に、前記設定値の変更を促すための報知をする分析中断手段とを含む
請求項9又は10に記載の画像分析装置。 - 前記分析手段は、
前記分析処理の結果に異常が含まれるか否かを判定する異常検出手段と、
前記異常が含まれると判定された場合に、前記設定値の変更を促すための報知をする異常報知手段とを含む
請求項9から11のいずれか1項に記載の画像分析装置。 - 前記異常は、
前記画面に配置された画像処理アイコンに対応付けられた画像処理エンジンが人物を識別する機能を含む場合に、前記画像データを構成するフレーム画像に含まれる複数の人物が同一人物であると分析されることと、
前記画面に配置された画像処理アイコンに対応付けられた画像処理エンジンが人物を識別する機能を含み、かつ、前記分析の対象が、連続する空間の異なる領域を撮影することによって得られた複数の画像データである場合に、当該複数の画像データの間で同一人物と分析される人物の数が閾値により少ないこと、との少なくとも1つである
請求項11又は12に記載の画像分析装置。 - 前記画面に配置されて接続された複数のアイコンの一部又は全部に対する選択を受け付けて、当該選択された複数のアイコン及び当該複数のアイコン間の接続関係を含むコンポーネントとして保持させるコンポーネント作成手段をさらに備える
請求項1から13のいずれか1項に記載の画像分析装置。 - 前記画像処理アイコンは、
画像データから検出対象を検出するための画像処理エンジンである検出エンジンに対応付けられる検出アイコンと、
画像データにおいて追跡対象を追跡するための画像処理エンジンである追跡エンジンに対応付けられる追跡アイコンと、
画像データにおける特徴量を抽出するための画像処理エンジンである特徴量抽出エンジンに対応付けられる特徴量抽出アイコンと、
画像データから検索対象を検索するための画像処理エンジンである検索エンジンに対応付けられる検索アイコンと、
複数の画像データにまたがって追跡対象を追跡するための画像処理エンジンである再特定エンジンに対応付けられる再特定アイコンと、の少なくとも1つを含む
請求項1から14のいずれか1項に記載の画像分析装置。 - 前記データフロー設定手段は、
前記接続手段によって接続指示が受け付けられた場合に、当該接続指示に関わる前記アイコン間の接続が、前記アイコン間の接続に関する禁則を示す禁則データに含まれるか否かを判定し、判定の結果に基づいて禁則処理を行う禁則処理手段と、
前記接続指示及び前記禁則処理に従って、前記アイコン間のデータの流れを設定して前記画面に表示する適正フロー設定手段とを含む
請求項1から15のいずれか1項に記載の画像分析装置。 - 前記禁則処理は、前記接続指示に従った接続関係を生成しないこと、前記接続指示を予め定められた方法で修正すること、前記接続指示に関わる前記アイコン間の接続が禁止されている旨を報知すること、の少なくとも1つを含む
請求項16に記載の画像分析装置。 - 前記画像処理エンジンは、画像処理に関する異なる機能を備えた処理エンジンを含み、
前記画像処理アイコンは、前記画像処理エンジンの機能ごとに、形状、色、模様、外形線の態様の少なくとも1つが異なる
請求項1から17に記載の画像分析装置。 - 請求項1から18に記載の画像分析装置と、
前記画像データを得るための複数の撮像装置とを備える
画像分析システム。 - 分析の対象となる画像データの入力元を示す複数の入力元アイコン、前記画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて前記複数のアイコンを画面に配置すること、
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示することを含む
画像分析方法。 - コンピュータに、
分析の対象となる画像データの入力元を示す複数の入力元アイコン、前記画像データに対する画像処理エンジンを示す複数の画像処理アイコン、画像処理エンジンによる処理結果の出力先を示す少なくとも1つの出力先アイコンを含む複数のアイコンを画面に配置するための指示を受け付け、当該指示に基づいて前記複数のアイコンを画面に配置すること、
前記画面に配置されたアイコン間を接続するための接続指示を受け付ける接続手段と、
前記接続指示に基づいて、前記アイコン間のデータの流れを設定して前記画面に表示することを実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/028159 WO2022018809A1 (ja) | 2020-07-20 | 2020-07-20 | 画像分析装置、画像分析システム、画像分析方法及びプログラム |
JP2022538515A JPWO2022018809A5 (ja) | 2020-07-20 | 画像分析装置、画像分析方法及びプログラム | |
US18/015,903 US20230267727A1 (en) | 2020-07-20 | 2020-07-20 | Image analysis apparatus, image analysis method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/028159 WO2022018809A1 (ja) | 2020-07-20 | 2020-07-20 | 画像分析装置、画像分析システム、画像分析方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022018809A1 true WO2022018809A1 (ja) | 2022-01-27 |
Family
ID=79729122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/028159 WO2022018809A1 (ja) | 2020-07-20 | 2020-07-20 | 画像分析装置、画像分析システム、画像分析方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230267727A1 (ja) |
WO (1) | WO2022018809A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11149369A (ja) * | 1997-11-14 | 1999-06-02 | Oki Electric Ind Co Ltd | プログラム開発装置および記録媒体 |
JP2007317032A (ja) * | 2006-05-26 | 2007-12-06 | Kyocera Mita Corp | 画像形成装置用ユーザアプリケーション開発支援装置 |
JP2013114457A (ja) * | 2011-11-29 | 2013-06-10 | Fuji Mach Mfg Co Ltd | 画像処理装置のシステム構築装置 |
WO2020110933A1 (ja) * | 2018-11-28 | 2020-06-04 | 株式会社トラスト・テクノロジー | プログラミング装置、およびプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4573729B2 (ja) * | 2005-08-24 | 2010-11-04 | イーストマン コダック カンパニー | デジタルカメラおよび画像共有方法 |
WO2010006367A1 (en) * | 2008-07-16 | 2010-01-21 | Imprezzeo Pty Ltd | Facial image recognition and retrieval |
US9282296B2 (en) * | 2011-12-07 | 2016-03-08 | Siemens Aktiengesellschaft | Configuration tool for video analytics |
WO2014182898A1 (en) * | 2013-05-09 | 2014-11-13 | Siemens Aktiengesellschaft | User interface for effective video surveillance |
JP6128468B2 (ja) * | 2015-01-08 | 2017-05-17 | パナソニックIpマネジメント株式会社 | 人物追尾システム及び人物追尾方法 |
EP3312762B1 (en) * | 2016-10-18 | 2023-03-01 | Axis AB | Method and system for tracking an object in a defined area |
US10395385B2 (en) * | 2017-06-27 | 2019-08-27 | Qualcomm Incorporated | Using object re-identification in video surveillance |
GB2574670A (en) * | 2018-06-15 | 2019-12-18 | The Face Recognition Company Ltd | Method of and system for recognising a human face |
-
2020
- 2020-07-20 WO PCT/JP2020/028159 patent/WO2022018809A1/ja active Application Filing
- 2020-07-20 US US18/015,903 patent/US20230267727A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11149369A (ja) * | 1997-11-14 | 1999-06-02 | Oki Electric Ind Co Ltd | プログラム開発装置および記録媒体 |
JP2007317032A (ja) * | 2006-05-26 | 2007-12-06 | Kyocera Mita Corp | 画像形成装置用ユーザアプリケーション開発支援装置 |
JP2013114457A (ja) * | 2011-11-29 | 2013-06-10 | Fuji Mach Mfg Co Ltd | 画像処理装置のシステム構築装置 |
WO2020110933A1 (ja) * | 2018-11-28 | 2020-06-04 | 株式会社トラスト・テクノロジー | プログラミング装置、およびプログラム |
Non-Patent Citations (3)
Title |
---|
EGUCHI, MEGUMI: "Examples of '' Visual Applets'' and ''BLOB '' algorithms capable of drag- and-drop FPGA program design", IMAGING INFORMATION INDUSTRIAL, vol. 42, no. 1, 1 January 2010 (2010-01-01), JP , pages 41 - 46, XP009534532, ISSN: 1346-1362 * |
YAMAMOTO, RYUTARO: "A1 Image Detection System A1 Inspector for Production Processes", IMAGING INFORMATION INDUSTRIAL, vol. 50, no. 12, 1 December 2018 (2018-12-01), JP , pages 99 - 106, XP009534533, ISSN: 1346-1362 * |
YOSHIKAWA, SHIGEO: "EVT Software ''EyeVision'' Machine Vision Detection Image Processing Program Made Simple", IMAGE LABORATORY, vol. 28, no. 10, 10 October 2017 (2017-10-10), JP , pages 50 - 55, XP009534531, ISSN: 0915-6755 * |
Also Published As
Publication number | Publication date |
---|---|
JPWO2022018809A1 (ja) | 2022-01-27 |
US20230267727A1 (en) | 2023-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210372939A1 (en) | Information processing apparatus, information processing method and program | |
JP2013534310A5 (ja) | ||
CN105898213B (zh) | 显示控制装置和显示控制方法 | |
KR101189843B1 (ko) | 기판 검사 시스템 | |
US9600893B2 (en) | Image processing device, method, and medium for discriminating a type of input image using non-common regions | |
JP7391504B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US10423669B2 (en) | Manufacturing process visualization apparatus and method | |
JP6717572B2 (ja) | 作業分析システム及び作業分析方法 | |
JP6828708B2 (ja) | 制御装置、監視システム、及び監視カメラ制御方法 | |
JP2009098774A (ja) | 人物追跡システム及び人物追跡方法及び人物追跡プログラム | |
JPWO2018173478A1 (ja) | 学習装置、学習方法および学習プログラム | |
CN108139387A (zh) | 用于从使用一次性检测试剂盒收集测试数据的方法和装置 | |
TW201638784A (zh) | 自動測試裝置 | |
US9424640B2 (en) | Pathological diagnosis support apparatus and pathological diagnosis support method | |
JP2021060831A (ja) | 点検支援システム、及び点検支援方法 | |
CN113936353A (zh) | 监控目标的移动路径视频轮巡方法、装置及电子设备 | |
JP6910208B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2022018809A1 (ja) | 画像分析装置、画像分析システム、画像分析方法及びプログラム | |
JP2024019350A5 (ja) | 情報処理装置、サーバ装置、情報処理装置の制御方法、サーバ装置の制御方法、及びプログラム | |
CN104471539B (zh) | 用于机器视觉分析的分布式处理***及方法 | |
CN110334729B (zh) | 检验仪器自动报警通知*** | |
JP2024099635A (ja) | 画像分析装置、画像分析方法及びプログラム | |
JP2018005612A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7521588B2 (ja) | 画像解析装置 | |
JP2016071436A (ja) | ワークフロー制御装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20945974 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022538515 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20945974 Country of ref document: EP Kind code of ref document: A1 |