WO2016125366A1 - 画像処理装置、画像処理システムおよび画像処理方法 - Google Patents

画像処理装置、画像処理システムおよび画像処理方法 Download PDF

Info

Publication number
WO2016125366A1
WO2016125366A1 PCT/JP2015/082626 JP2015082626W WO2016125366A1 WO 2016125366 A1 WO2016125366 A1 WO 2016125366A1 JP 2015082626 W JP2015082626 W JP 2015082626W WO 2016125366 A1 WO2016125366 A1 WO 2016125366A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
area
display
displayed
Prior art date
Application number
PCT/JP2015/082626
Other languages
English (en)
French (fr)
Inventor
慶二 大村
長谷川 健
Original Assignee
株式会社リコー
慶二 大村
長谷川 健
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー, 慶二 大村, 長谷川 健 filed Critical 株式会社リコー
Priority to EP15881183.6A priority Critical patent/EP3255603B1/en
Priority to JP2016573187A priority patent/JP6390720B2/ja
Priority to CN201580075432.1A priority patent/CN107209922B/zh
Publication of WO2016125366A1 publication Critical patent/WO2016125366A1/ja
Priority to US15/647,427 priority patent/US10638193B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties

Definitions

  • the present invention relates to an image processing apparatus, an image processing system, and an image processing method.
  • an image monitoring system that analyze video data obtained by recording with an imaging device such as a video camera to detect a target object or detect movement or abnormality of an object on the video.
  • an imaging device such as a video camera
  • Such an image monitoring system is applied in, for example, a product production line.
  • a product production line In the production process, in particular, when a small amount and a variety of products are produced, different products may be produced in the same production process.
  • the so-called setup change such as replacing the jig for assembling the parts with a different jig or the like, or replacing the data used in the production process with different data, etc. Is required.
  • the image monitoring system is applied to the production line, it may be necessary to change the settings of the camera used for detecting an abnormality of the image monitoring system or the like during the setup change work.
  • Patent Document 1 cannot cope with change of focus alone when the abnormality detection target in the production process changes in the setup change and it is necessary to move the camera installation position to shoot. There is.
  • the present invention has been made in view of the above, and an object thereof is to provide an image processing apparatus, an image processing system, and an image processing method capable of easily installing a camera at a correct change position.
  • the present invention captures a first display area in which a still image serving as a reference for aligning the imaging unit with a predetermined imaging position is displayed, and the imaging unit images
  • a display means for displaying a second display area in which video data is displayed, a determination area to be subjected to image determination performed on the video data imaged by the imaging means, and a setting in the first display area
  • a storage means for storing information indicating the positional relationship with the first reference area and a frame of video data displayed in the second display area for searching for an image that matches the image of the first reference area; Determining means for executing one matching operation and determining the matching image area as a second reference area; and a position of the first reference area in the first display area and the second reference in the second display area.
  • the amount of deviation between the position of the band characterized by comprising a correction means for correcting a position of the determination region on the basis of the information indicating the stored the positional relation in the storage means.
  • the camera can be easily installed at the correct change position.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of an image processing system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing apparatus according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of a functional block configuration of the information processing apparatus according to the embodiment.
  • FIG. 4 is a diagram illustrating an example in which a plurality of real-time videos are displayed on the main screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 5 is a diagram illustrating an example of a directory structure in the storage device indicating that setting information is managed for each setup number in the information processing apparatus according to the embodiment.
  • FIG. 6 is a diagram illustrating an example of a state in which video data is displayed on a setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 7 is a diagram illustrating an example in which a base region is specified in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 8 is a diagram illustrating an example in which a trigger region is specified in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 9 is a diagram illustrating an example of a mark display when a change point in the trigger region is found on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 10 is a diagram for explaining an operation of detecting a change point in the trigger region.
  • FIG. 11 is a diagram illustrating an example of a dialog displayed when two change points in the trigger area are found on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 12 is a diagram illustrating an example of a dialog displayed when a change point in the trigger region is not found on the setting screen displayed on the display device of the information processing device according to the embodiment.
  • FIG. 13 is a diagram illustrating an example in which a detection area is specified in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 11 is a diagram illustrating an example of a dialog displayed when two change points in the trigger area are found on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 12 is a diagram illustrating an example of a dialog displayed when a change point in the trigger region is not found on the setting screen displayed on the display device of the information
  • FIG. 14 is a diagram illustrating an example in which the second detection area is designated in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 15 is a diagram illustrating an example of setting the attribute information of the detection area specified by the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 16 is a diagram illustrating an example of a dialog displayed when the setup number specified on the main screen displayed on the display device of the information processing apparatus according to the embodiment cannot be searched.
  • FIG. 17 is a diagram illustrating an example of a state in which the reference still image and the real-time video are displayed on the setup change screen displayed on the display device of the information processing device according to the embodiment.
  • FIG. 18 is a diagram illustrating an example of a state in which a camera is installed so that a real-time video matching a reference still image is displayed on a setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 19 is a diagram illustrating an example of a dialog displayed during the matching operation in the real-time video on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 20 is a diagram illustrating an example of a state where matching is not possible in the real-time video on the setup change screen displayed on the display device of the information processing device according to the embodiment.
  • FIG. 21 is a diagram illustrating an example of a state where another setting region protrudes from the display frame in the real-time video on the setup change screen displayed on the display device of the information processing device according to the embodiment.
  • FIG. 22 is a diagram illustrating an example of a dialog displayed when matching is possible in the real-time video on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 23 is a diagram illustrating an example of a dialog displayed during the matching operation for the final check on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 24 is a diagram illustrating an example of a state where matching is not possible as a result of the matching operation for the final check on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 25 is a diagram illustrating an example of a dialog displayed in order to prompt the next camera to be changed on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 26 is a diagram illustrating an example of a dialog displayed when the setup change is completed on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 27 is a diagram illustrating an example of a state after the setup change is completed on the main screen displayed on the display device of the information processing device according to the embodiment.
  • FIG. 28 is a flowchart illustrating an example of a setup change operation on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of an image processing system according to an embodiment. The overall configuration of the image processing system 1 of the present embodiment will be described with reference to FIG.
  • an image processing system 1 includes imaging devices 2a to 2f (imaging means), an information processing device 3, and a network 4.
  • the imaging devices 2a to 2f capture (capture) a subject by converting light from the subject into an electrical signal, and video data that is a moving image (for example, 10 [FPS]) composed of a plurality of frames (image data).
  • video data that is a moving image (for example, 10 [FPS]) composed of a plurality of frames (image data).
  • a video camera that generates
  • the imaging devices 2a to 2f image production facilities or production lines that produce products, and generate video data for detecting an abnormality in a workpiece that is a product.
  • imaging devices 2a to 2f are simply referred to as “imaging device 2” when referred to collectively or collectively.
  • the image processing system 1 is configured to include six imaging devices 2, but is not limited thereto, and may be configured to include other numbers of imaging devices 2. Good.
  • the information processing apparatus 3 is a PC (Personal Computer) or a workstation that functions as an image processing apparatus that performs image determination based on video data captured by the imaging apparatus 2. Further, the information processing apparatus 3 is connected to an external device 10 such as a production facility so as to enable communication according to, for example, a fieldbus standard. The setup change operation by the information processing apparatus 3 will be described later.
  • PC Personal Computer
  • a workstation that functions as an image processing apparatus that performs image determination based on video data captured by the imaging apparatus 2. Further, the information processing apparatus 3 is connected to an external device 10 such as a production facility so as to enable communication according to, for example, a fieldbus standard. The setup change operation by the information processing apparatus 3 will be described later.
  • the network 4 is, for example, an Ethernet (registered trademark) standard network for connecting the imaging devices 2a to 2f and the information processing device 3.
  • the network 4 performs data communication using a protocol such as TCP (Transmission Control Protocol) / IP (Internet Protocol).
  • TCP Transmission Control Protocol
  • IP Internet Protocol
  • the imaging devices 2a to 2f and the information processing device 3 have a MAC (Media Access Control) address for communication using the TCP / IP protocol and are assigned an IP address such as a private IP address.
  • the specific configuration of the network 4 is, for example, a star wiring format in which each of the imaging devices 2a to 2f and the information processing device 3 is connected to a switching hub having a plurality of ports by a LAN (Local Area Network) cable. Can be mentioned.
  • the network 4 shown in FIG. 1 shows an example in which communication is performed using TCP / IP.
  • a VGA Video Graphics Array
  • a USB USB
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing apparatus according to the embodiment.
  • a hardware configuration of the information processing apparatus 3 according to the present embodiment will be described with reference to FIG.
  • the information processing apparatus 3 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an external storage device 104, a display 105, A network I / F 106, a keyboard 107, a mouse 108, a DVD (Digital Versatile Disc) drive 109, and an external device I / F 111 are provided.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 101 is a device that controls the operation of the entire information processing apparatus 3.
  • the ROM 102 is a nonvolatile storage device that stores a program for the information processing device 3.
  • the RAM 103 is a volatile storage device used as a work area for the CPU 101.
  • the external storage device 104 is a storage device such as HDD (Hard Disk Drive) or SSD (Solid State Drive) that stores video data captured by the imaging device 2 and various data such as setting information.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • the display 105 is a display device that displays various information such as a cursor, a menu, a window, characters or images, or an application screen for executing an image determination process and a setup change operation by the information processing device 3.
  • the display 105 is, for example, a CRT (Cathode Ray Tube) display, a liquid crystal display, a plasma display, an organic EL (Electroluminescence) display, or the like.
  • the display 105 is connected to the main body of the information processing apparatus 3 by, for example, a VGA cable, an HDMI (registered trademark) (High-Definition Multimedia Interface) cable, or the like, or is connected by an Ethernet cable.
  • the network I / F 106 is an interface for connecting to the network 4 and performing data communication.
  • the network I / F 106 is, for example, a NIC (Network Interface Card) that enables communication using a TCP / IP protocol.
  • the information processing device 3 acquires video data from the imaging device 2 via the network 4 and the network I / F 106.
  • the keyboard 107 is used to input characters, numbers, various instructions, cursor movement, setting information setting, and a setup number (setup identification information) that is a product number for distinguishing products or setting information in a setup change operation.
  • a setup number (setup identification information) that is a product number for distinguishing products or setting information in a setup change operation.
  • the setup number is not limited to being composed only of numerals, and may be a combination of letters and symbols.
  • the mouse 108 is an input device for selecting and executing various instructions, selecting a processing target, moving a cursor, setting setting information, and the like.
  • the DVD drive 109 is a device that controls reading, writing, and deletion of data with respect to the DVD 110 as an example of a removable storage medium.
  • the external device I / F 111 is an interface for connecting to the external device 10 for data communication.
  • the external device I / F 111 is an interface card that enables communication according to the fieldbus standard, for example. Specifically, the information processing apparatus 3 performs data communication with the external device 10 via the external device I / F 111.
  • a bus 112 such as an address bus and a data bus.
  • the display 105 is connected by an Ethernet cable, it is connected to the network I / F 106.
  • data communication is performed using a protocol such as TCP / IP.
  • FIG. 3 is a diagram illustrating an example of a functional block configuration of the information processing apparatus according to the embodiment. The block configuration of the information processing apparatus 3 will be described with reference to FIG.
  • the information processing apparatus 3 includes a video reception unit 301, a storage unit 302 (storage unit), an input unit 303 (input unit), a first reproduction unit 304, a trigger region designation unit 305, , Change point detection unit 306, detection region designation unit 307, setting unit 308, video distribution unit 312, trigger generation unit 313, detection region determination unit 314, display control unit 315, and external output unit 316.
  • a display unit 317 (display unit), a message control unit 321, a video display unit 322, a base area specifying unit 323 (specifying unit), an image extracting unit 324, a stillness determining unit 325 (determining unit), A base area determination unit 326 (determination unit and correction unit), a setup control unit 327 (control unit), and a base region designation unit 331 are provided.
  • the video receiving unit 301 is a functional unit that performs data communication with the imaging device 2 via the network 4 and receives video data from the imaging device 2.
  • the video receiving unit 301 stores the received video data in the storage unit 302.
  • the video receiving unit 301 is realized by the network I / F 106 shown in FIG. In FIG. 3, the network 4 is not shown for the sake of simplicity.
  • the storage unit 302 is a storage device that stores the video data received by the video receiving unit 301, various setting information, and the like.
  • the storage unit 302 identifies and stores which imaging device 2 the video data received by the video reception unit 301 is.
  • the storage unit 302 is realized by, for example, the RAM 103 or the external storage device 104 illustrated in FIG.
  • the input unit 303 is an apparatus that performs operation input for image determination processing and setup change operation executed by the information processing apparatus 3.
  • the input unit 303 is realized by the keyboard 107 and the mouse 108 shown in FIG.
  • the first playback unit 304 sends the video data acquired from the storage unit 302 to the display control unit 315 according to the operation signal from the input unit 303 operated by the user, and displays the video data to the display control unit 315.
  • This is a functional unit that plays back and displays.
  • the first reproduction unit 304 reproduces and displays the video data on the setting video display unit 502 of the setting screen 500 displayed on the display unit 317 described later with reference to FIG.
  • the first reproduction unit 304 is realized by a program executed by the CPU 101 shown in FIG.
  • the trigger area designating unit 305 determines the trigger timing in the display area of the video data on the display unit 317 (setting video display unit 502 described later with reference to FIG. 6 and the like) according to the operation signal from the input unit 303 operated by the user. It is a functional part that designates the trigger area to be performed.
  • the trigger area designating unit 305 stores the information on the designated trigger area in the storage unit 302 in association with the setup number as will be described later.
  • the trigger area information is information such as coordinates indicating the position of the trigger area in the display area of the video data and the shape of the trigger area, for example.
  • the trigger area specifying unit 305 is realized by a program executed by the CPU 101 shown in FIG.
  • the change point detecting unit 306 is for a predetermined time before and after the time of the frame of the video data reproduced and displayed by the first reproducing unit 304 at the specified time. It is a functional unit that acquires a frame, calculates a difference in pixel value from the previous frame for each acquired frame, and detects a change point for an image in the trigger region based on the calculated difference. .
  • the change point will be described later.
  • a difference calculation method for example, pixel values in the trigger areas of two frames are compared, and the total number of pixels having pixel values different from each other by a predetermined sensitivity or more is calculated as a difference.
  • the pixel value matches the luminance value, so the luminance values in the trigger areas of the two frames are compared, and the difference in the total number of pixels whose luminance values differ by more than a predetermined sensitivity May be calculated as
  • the frame is an image composed of RGB pixel values
  • the pixel values of R (red), G (green), and B (blue) are compared, and the pixel value is the same as described above.
  • the sum of the number of pixels that differ by more than a predetermined sensitivity may be calculated as a difference.
  • edge detection processing may be performed on the frame image, and the sum of the edge portions may be calculated as a difference.
  • the change point detection unit 306 is realized by a program executed by the CPU 101 shown in FIG.
  • the detection area designating unit 307 is a target of image determination processing for detecting an abnormality in the video data display area (setting video display unit 502) on the display unit 317 in accordance with an operation signal from the input unit 303 operated by the user. It is a functional unit that designates a detection area.
  • the detection area designating unit 307 stores the information of the designated detection area in the storage unit 302 in association with the setup number as will be described later.
  • the information on the detection area is information such as coordinates indicating the position of the detection area in the display area of the video data, the shape of the detection area, and the like.
  • the detection area designating unit 307 can designate a plurality of detection areas in the video data display area, as will be described later.
  • the detection area designating unit 307 is realized by a program executed by the CPU 101 shown in FIG.
  • the setting unit 308 is a functional unit that sets setting information and stores the setting information in the storage unit 302 in accordance with an operation signal from the input unit 303 operated by the user. Also, the setting unit 308 sends information that needs to be displayed among the set setting information from the storage unit 302 to the display control unit 315, and causes the display control unit 315 to display the setting information on the display unit 317.
  • the setting unit 308 is realized by a program executed by the CPU 101 shown in FIG.
  • the video distribution unit 312 sends real-time video data acquired from the video reception unit 301 to the display control unit 315 in accordance with an operation signal from the input unit 303 operated by the user, and sends the video data to the display control unit 315.
  • This is a functional unit displayed on the display unit 317.
  • the video distribution unit 312 distributes and displays the corresponding video data on the video display units 401a to 401f of the main screen 400 displayed on the display unit 317 described later with reference to FIG.
  • the video distribution unit 312 is realized by a program executed by the CPU 101 shown in FIG.
  • the trigger generation unit 313 compares the difference image with the image of the trigger region of the frame of the video data in the trigger region in the video display units 401a to 401f of the main screen 400 shown in FIG. 27 to be described later, and triggers at the trigger timing. It is a functional unit that generates a signal.
  • the trigger generation unit 313 is realized by a program executed by the CPU 101 shown in FIG.
  • the detection area determination unit 314 receives the detection reference image and the video data in the detection areas in the video display units 401a to 401f before or after the set time when the trigger signal generated by the trigger generation unit 313 is received. It is a functional unit that determines whether or not there is an abnormality by comparing the image in the detection area of the frame.
  • the detection area determination unit 314 is realized by a program executed by the CPU 101 illustrated in FIG.
  • the display control unit 315 is a functional unit that controls the display operation of the display unit 317. Specifically, the display control unit 315 displays the video data acquired by the first playback unit 304, the setting information set by the setting unit 308, the trigger region specified by the trigger region specifying unit 305, and the detection region specification. The detection area designated by the unit 307 is displayed on the display unit 317.
  • the display control unit 315 is realized by a program (driver) executed by the CPU 101 shown in FIG.
  • the external output unit 316 is a functional unit that outputs an abnormal signal to the external device 10 when the detection region determination unit 314 determines abnormality.
  • the external output unit 316 is realized by the external device I / F 111 shown in FIG.
  • the external output unit 316 outputs an abnormality signal.
  • the present invention is not limited to this, and a batch file for notifying abnormality by e-mail is transmitted to the external device 10 or the main screen 400. It is also possible to take measures such as notifying abnormality (for example, blinking with a lamp icon).
  • the display unit 317 is a device that displays various data according to the control of the display control unit 315.
  • the display unit 317 displays a main screen 400, a setting screen 500, a setup change screen 700, and the like, which will be described later, by a program (application) executed by the CPU 101 shown in FIG.
  • the display unit 317 is realized by the display 105 illustrated in FIG.
  • the message control unit 321 is a functional unit that causes the display unit 317 to display message information corresponding to the stage of the setup change in the setup change operation. Specifically, the message control unit 321 displays a message of a work procedure on the work instruction display unit 704 of the setup change screen 700 displayed on the display unit 317 described later with reference to FIG. Note that the message information displayed by the message control unit 321 may be stored in the storage unit 302, for example.
  • the message control unit 321 is realized by a program executed by the CPU 101 shown in FIG.
  • the video display unit 322 sends real-time video data acquired via the video reception unit 301 from the imaging device 2 specified by the operation signal from the input unit 303 operated by the user to the display control unit 315, and the display control unit 315 is a functional unit that causes the display unit 317 to display video data.
  • the video display unit 322 displays real-time video data on the real-time video display unit 703b of the setup change screen 700 displayed on the display unit 317 described later with reference to FIG.
  • the video display unit 322 is realized by a program executed by the CPU 101 shown in FIG.
  • the base area specifying unit 323 uses the reference for the setup change operation in the real-time video display unit 703b of the setup change screen 700 shown in FIG. It is a function part which searches the part which matches the image (base reference
  • the base area specifying unit 323 is realized by a program executed by the CPU 101 shown in FIG.
  • the image extracting unit 324 is a functional unit that extracts an image (extracted image) of the temporary base region 802 in the real-time video display unit 703b of the setup change screen 700 described later during the setup change operation.
  • the image extraction unit 324 is realized by a program executed by the CPU 101 shown in FIG.
  • the stillness determination unit 325 stops the imaging device 2 based on the video data displayed on the real-time video display unit 703b of the setup change screen 700 described later. It is a function part which determines whether it is doing.
  • the stillness determination unit 325 is realized by a program executed by the CPU 101 shown in FIG.
  • the base area determination unit 326 uses the real-time video display unit 703b of the setup change screen 700, which will be described later, to display an image of the base area that serves as a reference during the setup change operation. This is a functional unit that finally searches for a portion that matches the (base reference image) and finally determines a base region in the real-time video display unit 703b.
  • the base area determination unit 326 is realized by a program executed by the CPU 101 illustrated in FIG.
  • the setup control unit 327 is a functional unit that controls the setup change operation as a whole.
  • the setup control unit 327 is realized by a program executed by the CPU 101 shown in FIG.
  • the base area designating unit 331 is a base area serving as a reference for the setup change operation in the video data display area (setting video display unit 502) on the display unit 317 in accordance with an operation signal from the input unit 303 operated by the user. Is a functional part for designating.
  • the base area specifying unit 331 causes the storage unit 302 to store information on the specified base area.
  • the base area information is, for example, information such as coordinates indicating the position of the base area in the display area of the video data and the shape of the base area.
  • generation part 313, the detection area determination part 314, a message control unit 321, a video display unit 322, a base region specifying unit 323, an image extraction unit 324, a stillness determination unit 325, a base region determination unit 326, a setup control unit 327, and a base region designation unit 331 are partly or entirely Instead of a software program, it may be realized by a hardware circuit such as ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • each functional unit shown in FIG. 3 conceptually shows a function, and is not limited to such a configuration.
  • a plurality of functional units illustrated as independent functional units in FIG. 3 may be configured as one functional unit.
  • the function of one functional unit in FIG. 3 may be divided into a plurality of units and configured as a plurality of functional units.
  • the display unit 315 simply represents the expression that the display control unit 315 displays the received data on the display unit 317, and the function unit that simply sent the data to the display control unit 315. It is expressed that it is displayed on (or a screen displayed by the display unit 317).
  • the first reproduction unit 304 sends the video data to the display control unit 315 and causes the display control unit 315 to reproduce and display the video data on the display unit 317
  • the first reproduction unit 304 simply displays the video data. It is expressed that playback is displayed on the display unit 317.
  • FIG. 4 is a diagram illustrating an example in which a plurality of real-time videos are displayed on the main screen displayed on the display device of the information processing apparatus according to the embodiment.
  • the configuration of the main screen 400 and the operation for displaying a plurality of real-time videos will be described with reference to FIG.
  • the main screen 400 shown in FIG. 4 is displayed on the display unit 317 by a program (application) executed by the CPU 101.
  • the main screen 400 displays the video data received from the plurality of imaging devices 2 in real time, and in the trigger area specified by the trigger area specifying unit 305, It is a screen on which a trigger signal is generated at the trigger timing by the trigger generation unit 313.
  • the main screen 400 is a screen for determining whether there is an abnormality in the detection region designated by the detection region designation unit 307 before or after the set time when the trigger signal is received by the detection region judgment unit 314. . As shown in FIG.
  • the main screen 400 includes video display units 401a to 401f, a monitor start button 411, a monitor stop button 412, a monitor setting button 413, a setup change button 414, a setup number input unit 415, and the like. , Status display units 421a to 421f and setup number display units 422a to 422f.
  • the video display units 401a to 401f are real-time video data acquired from the imaging devices 2a to 2f via the video receiving unit 301 in accordance with an operation signal from the input unit 303 operated by the user by the video distribution unit 312. Is a display unit on which each is displayed.
  • the video display units 401a to 401f can be selected when pressed by the user through the input unit 303 (for example, the click operation of the mouse 108, etc.). Note that the video display units 401a to 401f are simply referred to as “video display unit 401” when they are referred to without distinction or collectively.
  • the video display unit 401 in a selected state in which real-time video data is displayed is displayed in the trigger region specified by the trigger region specifying unit 305.
  • the trigger generation unit 313 generates a trigger signal at the trigger timing, and the detection region determination unit 314 starts determining whether there is an abnormality in the detection region before or after the set time when the trigger signal is received.
  • the monitoring stop button 412 When the monitoring stop button 412 is pressed by the operation of the input unit 303 by the user, the operation of generating the trigger signal at the trigger timing by the trigger generation unit 313 and the detection region determination unit in the video display unit 401 in the selected state. This is a button for stopping the operation of determining whether there is an abnormality in the detection region by 314.
  • the setting unit 308 sets the setting information about the setup number input to the setup number input unit 415, which will be described later with reference to FIG.
  • the setup control unit 327 When the setup change button 414 is pressed by the operation of the input unit 303 by the user, the setup control unit 327 performs the setup change operation for the setup number input to the setup number input unit 415 to be described later.
  • the setup number input unit 415 is a part for inputting the setup number for executing the setup change operation through the input unit 303.
  • the status display units 421a to 421f are display units that indicate the status of the imaging device 2 corresponding to the video display unit 401.
  • the status display units 421a to 421f display contents indicating the status of the imaging apparatus 2, such as “not connected”, “not set”, “setting completed”, and “monitoring”.
  • “Not connected” indicates a state in which the imaging device 2 corresponding to the video display unit 401 is not connected to the image processing system 1, and a state in which video data is not displayed on the video display unit 401.
  • “Not set” means a state in which the base area, trigger area, detection area, etc. are not set for the video data displayed on the video display unit 401, that is, the setup change operation with a specific setup number is completed.
  • “Setting completed” means that the setting of the base area, trigger area, detection area, etc. has been completed for the video data displayed on the video display unit 401, that is, the setup change operation with a specific setup number is completed.
  • Indicates the state of “Monitoring” indicates a state in which an image determination operation (monitoring operation) is being executed based on the setting information changed by a specific setup number.
  • the setup number display units 422a to 422f are display units that display setup numbers when the setup change has been completed for the imaging device 2 corresponding to the video display unit 401.
  • the setup number display sections 422a to 422f are called without distinction or collectively, they are simply referred to as “setup number display sections 422”.
  • FIG. 5 is a diagram illustrating an example of a directory structure in the storage device indicating that setting information is managed for each setup number in the information processing apparatus according to the embodiment.
  • a directory structure for managing setting information for each setup number in the storage unit 302 will be described with reference to FIG.
  • a root folder for storing setting information is created for each setup number, and the name of the root folder is, for example, a setup number.
  • the name of the root folder is, for example, a setup number.
  • FIG. 5 it is shown that a root folder having a folder name (setup number) “ABCD001” has been created.
  • a setting folder for storing setting information about each imaging apparatus 2 is created, and the setting folder name is, for example, “Setting” as shown in FIG. To do.
  • the setting folder “Setting” a camera folder for storing setting information for each imaging device 2 is created, and the camera folder name is, for example, a setting of the imaging device 2a as shown in FIG.
  • the name of the camera folder for storing information is “CAM1”.
  • setting information about the imaging device 2 is written in the setting file in the camera folder.
  • the setting information for each setup number is not limited to having setting information for all the imaging devices 2, and may include only setting information for some imaging devices 2.
  • the setting information of the setup number “A1234567” may include only setting information about the imaging devices 2b, 2d, and 2f (setting information about “CAM2”, “CAM4”, and “CAM6”).
  • the directory structure for managing the setting information for each setup number shown in FIG. 5 is an example, and the present invention is not limited to this, and the setting information may be managed by another data structure.
  • FIG. 6 is a diagram illustrating an example of a state in which video data is displayed on a setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • the configuration of the setting screen 500 will be described with reference to FIG. 6 and FIG.
  • the setting screen 500 is a screen for setting the base region, the trigger region, and the detection region, and the image determination sensitivity, threshold value, and timing in the detection region.
  • the setting screen 500 includes a camera selection tab 501, a setting video display unit 502, a playback button 503a, a pause button 503b, a fast forward button 503c, a fast reverse button 503d, and a stop button.
  • 503e seek bar 504, slider 505, time display unit 506, region selection tab 551, setup number display unit 561, base region information unit 562, delete button 563, setting read button 511, setting document A button 514, a setting reflection button 513, and a close button 514.
  • the camera selection tab 501 is an operation for selecting which video data is to be displayed on the setting video display unit 502 from the video data of the imaging devices 2a to 2f that the user desires to specify the base area, trigger area, and detection area.
  • the video data captured by the imaging devices 2a to 2f are associated with “1” to “6”, respectively.
  • “6” that is, the video data of the imaging device 2f is selected.
  • An example is shown.
  • the setting video display unit 502 is a display unit that reproduces and displays video data acquired from the storage unit 302 in accordance with an operation signal from the input unit 303 operated by the user by the first playback unit 304.
  • the first playback unit 304 displays video data captured by the imaging device 2 f as a display unit 317. To display.
  • the playback button 503a is a button by which the first playback unit 304 starts playback of the video data displayed on the setting video display unit 502 when pressed by the operation of the input unit 303 by the user.
  • the pause button 503b is a button for temporarily stopping the video data reproduced and displayed on the setting video display unit 502 by the first reproduction unit 304 when pressed by the user operating the input unit 303.
  • the fast-forward button 503c is a button for fast-forwarding and displaying the video data reproduced and displayed on the setting video display unit 502 by the first reproduction unit 304 when pressed by an operation of the input unit 303 by the user.
  • the fast-reverse button 503d is a button that, when pressed by the user's operation of the input unit 303, causes the first playback unit 304 to quickly display the video data that has been reproduced and displayed on the setting video display unit 502.
  • the stop button 503e is a button for stopping the video data reproduced and displayed on the setting video display unit 502 by the first reproduction unit 304 when pressed by an operation of the input unit 303 by the user.
  • the seek bar 504 is a bar-shaped body that indicates which time the video data reproduced and displayed on the setting video display unit 502 is based on the position of the slider 505 disposed thereon.
  • the slider 505 is a shape body that slides to a position on the seek bar 504 corresponding to the imaging time of the video data reproduced and displayed on the setting video display unit 502 (the time when the displayed frame is captured), and is an operation unit. is there.
  • the first playback unit 304 sets the frame of the video data at the imaging time corresponding to the position on the seek bar 504 where the slider 505 exists. It is displayed on the video display unit 502.
  • the time display unit 506 is a display unit that displays the imaging date and imaging time of the video data reproduced and displayed on the setting video display unit 502 by the first reproduction unit 304.
  • the area selection tab 551 includes a tab for setting a base area and a tab for setting a trigger area and a detection area.
  • the setting screen 500 shown in FIG. 6 shows a state where a tab for setting a base area is selected by the user operating the input unit 303.
  • a setting screen 500 shown in FIG. 8 to be described later shows a state where a tab for setting a trigger area and a detection area is selected by an operation of the input unit 303 by the user.
  • the setup number display unit 561 is a display unit that displays the setup number that has been operated and input to the setup number input unit 415 of the main screen 400 described above.
  • the base area information unit 562 is a display unit that displays the name of the base area specified by the base area specifying unit 331 and the size of the specified base area. The function of the delete button 563 will be described later.
  • setting information such as base area, trigger area, and detection area information set on the setting screen 500 by the setting unit 308 is set up.
  • setting information such as base area, trigger area, and detection area information set on the setting screen 500 by the setting unit 308 is displayed on the main screen. These buttons are valid until applications such as 400 and setting screen 500 are closed (for example, temporarily stored in RAM 103).
  • the close button 514 is a button for causing the setting unit 308 to close the setting screen 500 and causing the display unit 317 to display the main screen 400 when pressed by the operation of the input unit 303 by the user.
  • a setting screen 500 shown in FIG. 8 to be described later shows a state where the tab for setting the trigger area and the detection area is selected as described above, and the setup number display section 515, the trigger area information section 507, the reference An image display unit 508a, a difference image display unit 508b, a detection region information unit 509, and a detection region button unit 510 are included.
  • the setup number display unit 515 is a display unit that displays the setup number that is input to the setup number input unit 415 of the main screen 400 described above.
  • the trigger region information unit 507 is a display unit that displays the name of the trigger region specified by the trigger region specifying unit 305, and the sensitivity and threshold value for the change point detection unit 306 to detect the above-described change point.
  • the reference image display unit 508 a is a display unit that displays the trigger reference image extracted by the change point detection unit 306.
  • the difference image display unit 508 b is a display unit that displays a difference image (described later) extracted by the change point detection unit 306.
  • the detection area information unit 509 includes the name, sensitivity, threshold value, detection delay time (indicated as “delay time” in FIG. 8) of the detection area specified by the detection area specifying unit 307, and a monitoring method (“monitoring” in FIG. 8). (Notation), presence / absence of action (indicated as “action” in FIG. 8), and image determination method (indicated as “image determination” in FIG. 8) (hereinafter, these pieces of information about the detection area are referred to as attribute information). And a selection operation unit.
  • the detection area button unit 510 is a group of buttons for editing attribute information about the detection area specified by the detection area specifying unit 307 and displayed in the detection area information unit 509.
  • the detection area button unit 510 includes an action button 510a, an image determination selection button 510b, a delete button 510c, a sensitivity increase button 510e, a sensitivity decrease button 510f, a threshold increase button 510g, and a threshold decrease button 510h. .
  • the function of each button of the detection area button unit 510 will be described later.
  • FIG. 7 is a diagram illustrating an example in which a base region is specified in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • the base area designation will be described with reference to FIG.
  • the setting unit 308 causes the base region information unit 562 to display, as the information on the base region 570, the name designated for the base region 570 specified by the base region specifying unit 331 and the size of the base region 570. As illustrated in FIG. 7, the setting unit 308 names “BASE” as the name of the base region 570, for example.
  • the base area designating unit 331 associates the frame (image) displayed on the setting video display unit 502 with the time designating the base area 570 with reference to the setup number displayed on the setup number display unit 561. As an image, an image in the base region 570 in the reference still image is extracted as a base reference image and stored in the storage unit 302, and information on the designated base region 570 is stored in the storage unit 302.
  • FIG. 8 is a diagram illustrating an example in which a trigger region is specified in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 9 is a diagram illustrating an example of a mark display when a change point in the trigger region is found on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 10 is a diagram for explaining an operation of detecting a change point in the trigger region.
  • FIG. 11 is a diagram illustrating an example of a dialog displayed when two change points in the trigger area are found on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 12 is a diagram illustrating an example of a dialog displayed when a change point in the trigger region is not found on the setting screen displayed on the display device of the information processing device according to the embodiment.
  • the trigger area designation and change point detection will be described with reference to FIGS.
  • the setting screen 500 shown in FIG. 8 shows a state in which the trigger area 530 is designated in the setting video display unit 502 in which video data is reproduced and displayed by the first reproduction unit 304.
  • the user operates the input unit 303 at the timing when the desired image portion that is the basis of generation of the trigger is displayed.
  • the pause button 503b is pressed, the first playback unit 304 pauses the video data that is played back and displayed on the setting video display unit 502, and the imaging date and time of the current frame are displayed in the time display unit. 506 is displayed.
  • the trigger region specifying unit 305 specifies and displays the trigger region 530 (determination region) on the setting video display unit 502.
  • the base area needs to be specified by the base area specifying unit 331. This is because the position of the trigger region 530 specified by the trigger region specifying unit 305 is handled as a relative position with respect to the base region specified by the base region specifying unit 331. That is, the trigger area 530 specified by the trigger area specifying unit 305 is associated with the base area specified by the base area specifying unit 331.
  • the setting screen 500 shown in FIG. 9 shows a state when a change point is detected in the trigger region 530 specified by the trigger region specifying unit 305 by the change point detecting unit 306. Specifically, when the trigger region 530 is designated by the trigger region designation unit 305, the change point detection unit 306 first determines the frame of the video data being reproduced and displayed by the first reproduction unit 304 at the designated time point. Frames for a predetermined time before and after the imaging time (for example, two minutes before and after) are acquired, and an image in the trigger area 530 at a time when the trigger area 530 is designated is extracted as a trigger reference image.
  • the change point refers to a point in time when a predetermined change in the image in the trigger region 530 is taken as a reference for the timing at which the trigger generation unit 313 generates the trigger signal.
  • a specific method for detecting change points by the change point detection unit 306 will be described.
  • the change point detection unit 306 acquires 13 frames (frame (0) to frame (12)) as frames for a predetermined time. In this case, the change point detection unit 306 acquires frames for a predetermined time before and after the frame (6) as the middle. For the sake of simplicity, the image of the portion corresponding to the trigger area 530 in each frame is also referred to as frame (0) to frame (12), respectively. Then, the change point detection unit 306 calculates a difference in pixel values from the immediately preceding frame for each acquired frame. The difference calculation method is as described above.
  • the graph shown in FIG. 10B is a graph in which the change point detection unit 306 extracts the frames exemplified in FIG.
  • the difference between the frame (1) indicates the difference between the frame (1) and the frame (0) which is the immediately preceding frame.
  • the IN point and OUT point as change points are defined as follows. That is, the IN point is the time when the image in the trigger area 530 starts to change in successive frames. The OUT point is a point in time when a change in the image in the trigger area 530 starts to subside in successive frames.
  • the change point detection unit 306 calculates the difference between the acquired frame and the immediately preceding frame for each frame. However, the change point detecting unit 306 is not limited to the immediately preceding frame. The difference from the previous frame may be calculated.
  • the change point detection unit 306 finds an IN point candidate and an OUT point candidate based on the difference calculated for each frame. Specifically, when the calculated difference becomes equal to or greater than a predetermined threshold continuously for two frames or more, the change point detection unit 306 first determines a frame whose difference is equal to or greater than the predetermined threshold as an IN point candidate. Frame.
  • the difference of frame (1) is less than the threshold
  • the difference of frame (2) is greater than or equal to the threshold
  • the difference of frame (3) is also greater than or equal to the threshold
  • frames (2) and (3 ) Of two frames is equal to or greater than the threshold, so the frame (2) where the difference first exceeds the threshold is the IN point candidate frame.
  • the frame (7) is a candidate frame for the IN point.
  • the difference for only one frame is not less than the threshold and not more than two frames, there is a possibility of noise, so that frame is not a candidate frame for the IN point.
  • the change point detection unit 306 first sets the frame whose difference is less than the predetermined threshold as the OUT point candidate frame.
  • the difference of the frame (4) is equal to or greater than the threshold
  • the difference of the frame (5) is less than the threshold
  • the difference of the frame (6) is also less than the threshold
  • the frames (5) and (6) Since the difference between the two frames is less than the threshold value, the frame (5) in which the difference is initially less than the threshold value is the OUT point candidate frame.
  • the difference of the frame (12) is less than the predetermined threshold value, but the subsequent frame (13) is a frame other than the frame extracted by the change point detection unit 306, and therefore the OUT point candidate Do not frame. Also, if the difference for only one frame is less than the threshold value and not continuous for two frames or more, there is a possibility of noise, so that frame is not a candidate frame for the OUT point.
  • the change point detection unit 306 specifies the frames (2) and (7) as the IN point candidate frames and the frame (5) as the OUT point candidate frames in the example of FIG. To do.
  • the change point detection unit 306 sets the frame closest to the middle frame (6) of the acquired frames, that is, the frame (7) as the IN point frame. decide.
  • only one frame (frame (5)) is specified as the OUT point candidate frame.
  • a plurality of frames are OUT point candidate frames. It may be specified as.
  • the change point detection unit 306 determines the frame closest to the middle frame (6) of the acquired frames as the OUT point candidate, similarly to the IN point candidate. Decide on a frame. In the example of FIG. 10, since the OUT point candidate frame is only the frame (5), the change point detection unit 306 determines the frame (5) as the OUT point frame. As described above, the change point detection unit 306 detects the change points (IN point and OUT point) by determining the IN point frame and the OUT point frame from the acquired frames for a predetermined time.
  • the change point detection unit 306 detects a moving object in the trigger region 530 using a frame before the change point frame, a frame after the change point frame, or a frame before and after the change point frame.
  • Vector information indicating whether a moving object has entered from the storage unit 302 may be stored in the storage unit 302.
  • the trigger generation unit 313 uses the vector information stored in the storage unit 302 to check whether the moving object has moved from the same direction as the vector information, and triggers based on the check result.
  • a signal may be generated.
  • the method for detecting the change point in the trigger region 530 by the change point detection unit 306 is not limited to the above-described method, and if the change point defines the timing for generating the trigger, how the change point is determined. It may be detected.
  • the change point detection unit 306 when the difference is equal to or greater than the predetermined threshold continuously for two frames or more, first determines the frame whose difference is equal to or greater than the predetermined threshold as the IN point candidate.
  • the difference may not be continuous for two frames or more, but may be a case where another number of frames or more are continuously equal to or greater than a predetermined threshold. The same applies to the case of finding a candidate frame for the OUT point.
  • FIG. 10 shows an example in which both the IN point and OUT point frames are found.
  • the change point detection unit 306 may find only the IN point frame or only the OUT point frame. In this case, these IN point or OUT point is detected as a change point.
  • the change point detection unit 306 extracts an image in the trigger region 530 of the detected change point frame as a difference image.
  • the change point detection unit 306 stores the extracted trigger reference image and the difference image in the frame of the change point in the storage unit 302, displays the trigger reference image on the reference image display unit 508a, and displays the difference image as the difference image display unit 508b. To display.
  • the change point detection unit 306 displays a trigger mark 540 on the seek bar 504 at a portion corresponding to the time of the detected change point frame.
  • the trigger area designating unit 305 associates the information of the designated trigger area 530 with the setup number displayed on the setup number display unit 515 in the storage unit 302.
  • the information of the trigger area 530 stored by the storage unit 302 is, for example, information indicating a relative position with respect to the base area 570 and information such as the shape of the trigger area 530.
  • the setting unit 308 also names the trigger region 530 specified by the trigger region specifying unit 305 and a predetermined sensitivity (for example, “50”) used to detect the change point of the change point detection unit 306.
  • a predetermined threshold value for example, “20%” (default value) is displayed on the trigger area information unit 507. As illustrated in FIG. 8, the setting unit 308 assumes that the trigger region is the trigger region designated for the video data of the imaging device “6” (imaging device 2 f), as shown in FIG. ".
  • the setting screen 500 shown in FIG. 11 is displayed when the change point detection unit 306 detects two change points (IN point and OUT point) in the trigger region 530 specified by the trigger region specifying unit 305 as described above.
  • the change point selection dialog 600 is displayed. As described above, when two or more change points are detected, the change point detection unit 306 generates one of the two change points (IN point and OUT point) closest to the time when the reference image is extracted for generating a trigger.
  • the display unit 317 displays a change point selection dialog 600 for selecting whether or not to use.
  • the change point selection dialog 600 includes a yes button 601, a no button 602, and a close button 603.
  • a close button 603 is a button for closing the change point selection dialog 600.
  • the change point detection unit 306 detects the IN point as a change point and extracts an image in the trigger region 530 of the frame at the IN point as a difference image. . Then, the change point detection unit 306 stores the extracted trigger reference image and the difference image in the frame at the IN point in the storage unit 302 in association with the setup number displayed on the setup number display unit 515, and the trigger reference image is stored.
  • the reference image display unit 508a displays the difference image
  • the difference image display unit 508b displays the difference image. Furthermore, the change point detection unit 306 displays a trigger mark 540 on the seek bar 504 at a portion corresponding to the detected time of the frame at the IN point.
  • the change point detection unit 306 detects the OUT point as a change point, and uses the image in the trigger region 530 of the frame at the OUT point as a difference image. Extract. Then, the change point detection unit 306 stores the extracted trigger reference image and the difference image in the frame at the OUT point in the storage unit 302 in association with the setup number displayed on the setup number display unit 515, and the trigger reference image is stored.
  • the reference image display unit 508a displays the difference image
  • the difference image display unit 508b displays the difference image.
  • the change point detection unit 306 displays a trigger mark 540 on the seek bar 504 at a portion corresponding to the time of the frame of the detected OUT point. Other operations are the same as those described above with reference to FIG.
  • the change point detection unit 306 detects the IN point and the OUT point as change points, and allows the user to select one of the two change points, so that the user can truly specify the change point. Can be selected.
  • the setting screen 500 shown in FIG. 12 shows a state where the change point detection unit 306 displays a no change point notification dialog 610 when no change point is found in the trigger region 530 specified by the trigger region specification unit 305. Show.
  • the change point detection unit 306 may not be able to detect a change point because the calculated difference does not exceed a predetermined threshold value. In this case, the change point detection unit 306 causes the display unit 317 to display a no change point notification dialog 610 indicating that no change point has been found.
  • the no change point notification dialog 610 includes an OK button 611 and a close button 612.
  • the close button 612 is a button for closing the no change point notification dialog 610.
  • the change point detection unit 306 does not store any information in the storage unit 302, and the image is also displayed in the reference image display unit 508a and the difference image display unit 508b. Is not displayed, and the no change point notification dialog 610 is closed.
  • FIG. 13 is a diagram illustrating an example in which a detection area is specified in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 14 is a diagram illustrating an example in which the second detection area is designated in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 15 is a diagram illustrating an example of setting the attribute information of the detection area specified by the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • the detection area designation and detection area attribute information setting will be described with reference to FIGS.
  • FIG. 13 shows a state in which the detection area 535 is designated in the setting video display unit 502 in which video data is reproduced and displayed by the first reproduction unit 304.
  • the setting screen 500 shown in FIG. Specifically, first, the pause button 503b is operated by the operation of the input unit 303 by the user at the timing when the part of the image for which image determination is desired is displayed while the video data is being reproduced and displayed on the setting video display unit 502. When is pressed, the first reproduction unit 304 pauses the video data reproduced and displayed on the setting video display unit 502 and causes the time display unit 506 to display the imaging date and imaging time of the frame at that time. .
  • the detection area designating unit 307 designates and displays the detection area 535 (determination area) on the setting video display unit 502 by the operation of the input unit 303 (for example, the drag operation of the mouse 108) by the user.
  • the detection region designation unit 307 can designate the detection region 535 because the trigger region designated by the trigger region designation unit 305 is selected in the trigger region information unit 507 (“TR6” in the example of FIG. 13). Need to be. That is, the detection area 535 designated by the detection area designation unit 307 is associated with the trigger area selected in the trigger area information unit 507.
  • the setting unit 308 uses, as attribute information of the detection region 535, a name that is named for the detection region 535 designated by the detection region designation unit 307, and a predetermined sensitivity (for example, used in image determination described later) as a default value. , “50”), a predetermined threshold (for example, “20%”), a monitoring method (for example, “grayscale”), presence / absence of an action (for example, “none”), and a method for image determination (for example, “match”) ) Is displayed on the detection area information unit 509.
  • the setting unit 308 names “K61” as the name of the detection region 535, as shown in FIG. 13, for example, as the first region associated with the trigger region “TR6”.
  • the setting unit 308 also delays the time of the frame at the time when the detection region 535 is specified by the detection region specifying unit 307 with respect to the time of the change point detected by the change point detection unit 306 (example in FIG. 13). Then, “2.14”) is calculated as attribute information and displayed on the detection area information unit 509. That is, in this case, the detection region 535 named “K61” is set to perform image determination “2.14” seconds after the trigger timing. Further, the setting unit 308 stores the attribute information of the detection area 535 displayed in the detection area information unit 509 in the storage unit 302 in association with the setup number displayed in the setup number display unit 515.
  • the detection area designating unit 307 extracts an image in the detection area 535 at the time at which the detection area 535 is designated as a detection reference image in association with the setup number displayed on the setup number display unit 515, and stores it in the storage unit 302.
  • the information of the designated detection area 535 is stored in the storage unit 302.
  • the information of the detection area 535 stored by the storage unit 302 is, for example, information indicating a relative position with respect to the base area 570 and information such as the shape of the detection area 535.
  • a setting screen 500 shown in FIG. 14 shows a state in which a detection area 536, which is the second detection area, is specified in the setting video display section 502 in which video data is reproduced and displayed by the first reproduction section 304. .
  • the slider 505 of the seek bar 504 is slid by the operation of the input unit 303 by the user, and an image for which image determination is desired is performed. Adjust to the timing when the part is displayed.
  • the first playback unit 304 causes the time display unit 506 to display the imaging date and the imaging time of the frame of the video data temporarily stopped on the setting video display unit 502.
  • the detection region designation unit 307 causes the detection region 536 (determination region) which is the second detection region in the setting video display unit 502. Specify and display.
  • the detection area designation unit 307 can designate the detection area 536, as in the case of designation of the detection area 535, in the trigger area information part 507, the trigger area designated by the trigger area designation unit 305 is selected ( In the example of FIG. 14, it is necessary to be “TR6”). That is, the detection area 536 designated by the detection area designation unit 307 is associated with the trigger area selected in the trigger area information unit 507.
  • the setting unit 308 uses, as attribute information of the detection region 536, a name given to the detection region 536 designated by the detection region designation unit 307, and a predetermined sensitivity (for example, used in image determination described later) as a default value. , “50”), a predetermined threshold (for example, “20%”), a monitoring method (for example, “grayscale”), presence / absence of an action (for example, “none”), and a method for image determination (for example, “match”) ) Is displayed on the detection area information unit 509. As illustrated in FIG. 14, the setting unit 308 names “K62” as the name of the detection region 536, for example, as the second region associated with the detection region “TR6”.
  • the setting unit 308 also delays the time of the frame at the time when the detection region 536 is specified by the detection region specifying unit 307 with respect to the time of the change point detected by the change point detection unit 306 (example in FIG. 14). Then, “ ⁇ 1.86”) is calculated as the attribute information and displayed on the detection area information unit 509. That is, in this case, the detection area 535 named “K62” is set to perform image determination “1.86” seconds before the trigger timing.
  • the setting unit 308 causes the storage unit 302 to store the attribute information of the detection area 536 displayed in the detection area information unit 509 in association with the setup number displayed in the setup number display unit 515.
  • the detection area designating unit 307 extracts an image in the detection area 536 at the time when the detection area 536 is designated as a detection reference image in association with the setup number displayed on the setup number display unit 515, and stores it in the storage unit 302.
  • the information of the designated detection area 536 is stored in the storage unit 302.
  • the setting unit 308 displays the selected detection area information.
  • the display part of the attribute information of the detection area of the part 509 is highlighted.
  • the detection area 536 detection area name “K62”
  • the setting unit 308 switches the set value of presence / absence of an action in the selected detection area 536. For example, when the presence / absence of an action in the detection area 536 is “none”, when the action button 510a is pressed, the setting unit 308 sets the presence / absence of an action in the detection area 536 to “present”. On the other hand, when the presence / absence of the action in the detection area 536 is “Yes”, when the action button 510a is pressed, the setting unit 308 sets the presence / absence of the action in the detection area 536 to “No”. As will be described later, when the presence / absence of an action is “Yes”, the external output unit 316 outputs an abnormal signal when the detection region determination unit 314 determines that the image determination in the detection region is abnormal.
  • the setting unit 308 switches the setting value of the image determination method of the selected detection area 536. For example, when the image determination method of the detection area 536 is “match”, when the image determination selection button 510b is pressed, the setting unit 308 sets the image determination method of the detection area 536 to “mismatch”. To do. On the other hand, when the image determination method of the detection area 536 is “mismatch”, when the image determination selection button 510b is pressed, the setting unit 308 sets the image determination method of the detection area 536 to “match”. To do.
  • the detection region determination unit 314 determines that the difference between the extracted image and the detection reference image is equal to or greater than the threshold value of the attribute information, that is abnormal. .
  • the image determination method in a facility for inserting a part into a work, the state where the part is inserted into the work is used as a detection reference image, and the part is inserted into the work. There is a case where an image is determined at the timing when the operation is completed.
  • the difference from the detection reference image is equal to or greater than the threshold value of the attribute information. Thus, it is determined that there is an abnormality.
  • the detection area determination unit 314 determines that the difference between the extracted image and the detection reference image is less than the threshold value of the attribute information as abnormal.
  • the image determination method is “mismatch”
  • a state in which the component is not inserted into the workpiece is used as a detection reference image, and the component is inserted into the workpiece.
  • an image is determined at the timing when the operation is completed.
  • the detection region determination unit 314 performs image determination in a state where the component is not normally inserted, the difference from the detection reference image is less than the threshold value of the attribute information. Thus, it is determined that there is an abnormality.
  • a situation in which a state in which no part is inserted into the workpiece is used as the detection reference image includes a case where it is difficult to prepare a workpiece into which a component as a finished product is inserted.
  • the setting unit 308 deletes the attribute information of the detection area 536 displayed in the detection area information unit 509 and stores the attribute information in the storage unit 302.
  • the attribute information of the detected area 536 is deleted.
  • the detection area designating unit 307 deletes the detection area 536 displayed on the setting video display unit 502 and deletes the detection reference image and the information on the detection area 536 stored in the storage unit 302.
  • the setting unit 308 increases the sensitivity value used for image determination of the selected detection region 536 by a predetermined value.
  • the setting unit 308 decreases the sensitivity value used for image determination of the selected detection region 536 by a predetermined value.
  • the setting unit 308 increases the threshold value used for image determination of the selected detection region 536 by a predetermined value.
  • the threshold reduction button 510h is pressed by the user operating the input unit 303, the setting unit 308 decreases the threshold value used for image determination of the selected detection area 536 by a predetermined value.
  • FIG. 16 is a diagram illustrating an example of a dialog displayed when the setup number specified on the main screen displayed on the display device of the information processing apparatus according to the embodiment cannot be searched. With reference to FIG. 16, an operation for designating a setup number at the time of a setup change operation on the main screen 400 will be described.
  • the 16 shows a state in which the setup number “F98776543” is input to the setup number input unit 415 by the operation of the input unit 303 (for example, the input operation of the keyboard 107) by the user.
  • the user specifies the imaging device 2 that desires the setup change, and inputs the setup number corresponding to the setting information for the setup change to the setup number input unit 415 by operating the input unit 303.
  • the user presses the setup change button 414 by operating the input unit 303.
  • the setup control unit 327 determines whether the setting information corresponding to the setup number input to the setup number input unit 415 is stored in the storage unit 302. Search for. Specifically, the setup control unit 327 confirms whether or not the root folder having the name of the setup number input to the setup number input unit 415 exists in the directory structure of the setting information shown in FIG. .
  • the main screen 400 shown in FIG. 16 also notifies that there is no setup number indicating that setting information corresponding to the setup number input to the setup number input unit 415 is not stored in the storage unit 302.
  • the dialog 620 is displayed. If the setting information corresponding to the setup number is not stored in the storage unit 302, the setup control unit 327 displays a setup number absence notification dialog 620.
  • the setup number absence notification dialog 620 includes an OK button 621 and a close button 622.
  • a close button 622 is a button for closing the no setup number notification dialog 620.
  • the setup control unit 327 makes a transition from the main screen 400 to a setup change screen 700 described later.
  • the setup number of the setup number input unit 415 is input by the input unit 303.
  • the setup number is not limited to this.
  • the setup control unit 327 may store the storage unit.
  • the name (setup number) of the root folder in which the setting information stored in 302 is stored may be extracted and displayed in a pull-down display on the setup number input unit 415.
  • the user does not need to input all the setup numbers with the input unit 303, and may select and operate a desired setup number from the displayed pull-down.
  • a bar code reader may be connected to the information processing apparatus 3, and the setup number may be input to the setup number input unit 415 by reading a barcode in which the setup number is encoded.
  • FIG. 17 is a diagram illustrating an example of a state in which the reference still image and the real-time video are displayed on the setup change screen displayed on the display device of the information processing device according to the embodiment.
  • FIG. 18 is a diagram illustrating an example of a state in which a camera is installed so that a real-time video matching a reference still image is displayed on a setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 19 is a diagram illustrating an example of a dialog displayed during the matching operation in the real-time video on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 18 is a diagram illustrating an example of a state in which a camera is installed so that a real-time video matching a reference still image is displayed on a setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 19 is a diagram illustrating an example of a dialog displayed during the matching operation in the real-time video on the setup change screen displayed on
  • FIG. 20 is a diagram illustrating an example of a state where matching is not possible in the real-time video on the setup change screen displayed on the display device of the information processing device according to the embodiment.
  • FIG. 21 is a diagram illustrating an example of a state where another setting region protrudes from the display frame in the real-time video on the setup change screen displayed on the display device of the information processing device according to the embodiment.
  • the setup change screen 700 includes a setup number display unit 701, a reference image display unit 702a, an extracted image display unit 702b, a reference still image display unit 703a (first display area), and a real-time video.
  • a display unit 703b (second display area), a work instruction display unit 704, a work progress display unit 705, a camera implementation status display unit 706, and a stop button 707 are included.
  • the setup number display unit 701 is a display unit that displays the setup number that has been input to the setup number input unit 415 of the main screen 400 described above.
  • the reference image display unit 702a is a display unit that displays the base reference image corresponding to the setup number read from the storage unit 302 by the image extraction unit 324.
  • the extracted image display unit 702b is a display unit that displays an extracted image extracted by the image extraction unit 324 as an image in the temporary base region 802 from a frame of real-time video data displayed on the real-time video display unit 703b.
  • the reference still image display unit 703a is a display unit that displays a reference still image corresponding to the setup number read from the storage unit 302 by the image extraction unit 324.
  • the real-time video display unit 703b is a display unit on which the video display unit 322 displays real-time video data of the imaging device 2 that is the target of the setup change operation.
  • the work instruction display unit 704 is a display unit that displays message information corresponding to the stage of the setup change in the setup change operation.
  • the work progress display unit 705 is a display unit that shows the progress of the setup change operation.
  • the camera implementation status display unit 706 is a display unit that indicates an implementation state of the setup change operation of the imaging device 2 associated with the setup number displayed in the setup number display unit 701.
  • the stop button 707 is a button that, when pressed by an operation of the input unit 303 by the user, causes the setup control unit 327 to stop the setup change operation and transitions from the setup change screen 700 to the main screen 400.
  • the setup change screen 700 shown in FIG. 17 is displayed when the setup control unit 327 determines that the setting information corresponding to the setup number input to the setup number input unit 415 of the main screen 400 is stored in the storage unit 302.
  • FIG. 9 shows a state transitioned from the main screen 400.
  • the setup number displayed on the setup number display unit 701 is the setup number input by the setup control unit 327 to the setup number input unit 415 of the main screen 400.
  • the reference image display unit 702a includes a setup number read from the storage unit 302 by the image extraction unit 324 and displayed on the setup number display unit 701 (hereinafter, in the description of the setup change operation, simply “setup number”).
  • the base reference image corresponding to the above is displayed.
  • the reference still image display unit 703a displays a reference still image corresponding to the setup number read from the storage unit 302 by the image extraction unit 324.
  • the real-time video display unit 703b displays real-time video data of the imaging device 2 ("CAM6" in FIG. 17, that is, the imaging device 2f in FIG. 17) that is the target of the setup change operation by the video display unit 322.
  • the extracted image display unit 702b displays the extracted image extracted by the image extraction unit 324 as an image in the temporary base region 802 from the frame of the real-time video data displayed on the real-time video display unit 703b.
  • the first base region 801 (first reference region) is positioned at a position corresponding to the base region 570 designated by the base region designation unit 331 by being superimposed on the reference still image by the base region specifying unit 323. Area) is displayed. An image in the first base region 801 in the reference still image corresponds to the base reference image.
  • the base region specifying unit 323 displays the temporary base region 802 at a position corresponding to the position of the first base region 801 in the reference still image display unit 703a.
  • An image in the temporary base region 802 in the video data displayed on the real-time video display unit 703b corresponds to the extracted image.
  • the message control unit 321 causes the imaging device 2 (an imaging device 2f that is “CAM6” and an imaging device 2b that is “CAM2”) to be associated with the setup number (“A1234567” in FIG. 17). , And the changeover of the imaging device 2d) which is “CAM4” is not performed.
  • the target of the setup change operation will be described simply as the imaging device 2.
  • the message control unit 321 displays message information that prompts the work instruction display unit 704 to adjust the position of the imaging device 2 that is the target of setup change, and the work progress display unit 705 displays the work of the setup change operation. Display that the progress is in the stage of “1. Adjust the camera to meet the standard”.
  • the setup change screen 700 shown in FIG. 18 shows a state in which the position of the imaging device 2 that is the target of setup change is adjusted by the user in the vicinity of the position indicated by the reference still image. While the user adjusts the position of the imaging device 2, the video display unit 322 extracts an extracted image (an image in the temporary base region 802) from a frame of real-time video data displayed on the real-time video display unit 703b. It is displayed on the extracted image display unit 702b.
  • the reference still image displayed on the reference still image display unit 703a as shown in FIG. 18 as a result of the user adjusting the position of the imaging device 2 to be replaced by the vicinity of the position indicated by the reference still image.
  • the image and the frame of the video data displayed on the real-time video display unit 703b are almost the same.
  • the user moves the imaging device 2 to a position as shown in FIG. 18, and the stationary determination unit 325 determines whether or not the imaging device 2 is stationary.
  • the base region specifying unit 323 selects an image that matches the base reference image in the frame of the video data displayed on the real-time video display unit 703b.
  • a matching operation (first matching operation) for searching is performed.
  • the frame of the video data of the real-time video display unit 703b that is a target of the matching operation may be, for example, a frame at the time when the imaging device 2 is determined to be stationary by the stationary determination unit 325.
  • “matching” includes not only the case of complete matching, but also includes a state that is close enough to be regarded as matching.
  • the base region specifying unit 323 is not limited to performing the matching operation on the entire frame displayed on the real-time video display unit 703b.
  • the displayed temporary base region 802 (at this time)
  • the matching operation may be executed in a range of predetermined pixels (for example, 30 pixels) on the top, bottom, left, and right of the first base region 801 (displayed at a position corresponding to the first base region 801).
  • the matching operation may be any known template matching method. For example, SAD (Sum of Absolute Difference), SSD (Sum of Squared Difference), NCC (Normalized Cross-Correlation) or POC (Phase-). Only Correlation) is applicable.
  • the determination as to whether or not the imaging device 2 is stationary by the above-described stationary determination unit 325 that is, the determination as to whether or not the real-time video data displayed on the real-time video display unit 703b is stationary is, for example, This is done.
  • the stillness determination unit 325 converts each frame of real-time video data to gray scale so that the pixel value is configured with a luminance value of 0 to 255, for example.
  • the stillness determination unit 325 calculates the difference between the luminance values of the frames before and after the real-time video data for each corresponding pixel.
  • the stillness determination unit 325 determines that the difference between the calculated luminance values of each pixel is greater than a predetermined ratio (for example, 95%) of the entire image corresponding to the difference of a predetermined value (for example, 30) or less. It is determined that the preceding and succeeding frames are the same. Then, when the operation for determining that the preceding and following frames are the same continues for a predetermined time (for example, 2 seconds), the stillness determination unit 325 stops the real-time video data displayed on the real-time video display unit 703b. It is determined that a predetermined ratio (for example, 95%) of the entire image corresponding to the difference of a predetermined value (for example, 30) or less. It is determined that the preceding and succeeding frames are the same. Then, when the operation for determining that the preceding and following frames are the same continues for a predetermined time (for example, 2 seconds), the stillness determination unit 325 stops the real-time video data displayed on the real-time video display unit 703b. It is determined that
  • the matching operation by the base region specifying unit 323 is executed and the search progress dialog 630 is displayed.
  • the base area specifying unit 323 displays the search progress dialog 630 and executes the above-described matching operation.
  • the search progress dialog 630 is a dialog that displays a progress bar indicating the progress of the matching operation.
  • the message control unit 321 displays message information indicating that the matching operation is being performed on the work instruction display unit 704 (in the example of FIG. 19, “ "The system is currently checking” is displayed. Further, the message control unit 321 causes the work progress display unit 705 to display that the work progress of the setup change operation is in the stage of “2. Check by system”.
  • the message control unit 321 causes the work instruction display unit 704 to display message information to that effect. Further, as a result of the matching operation, an image that matches the base reference image is not found, and the user needs to readjust the position of the imaging device 2, so the message control unit 321 displays the work progress display unit 705 on The work progress of the setup change operation is displayed to return to the stage of “1. Adjust the camera to meet the standard”.
  • the base area specifying unit 323 causes the work instruction display unit 704 to display message information indicating that.
  • the message control unit 321 displays the work progress of the setup change operation on the work progress display unit 705 as “1”. Display the screen back to “Adjust the camera to meet the standard”.
  • FIG. 22 is a diagram illustrating an example of a dialog displayed when matching is possible in the real-time video on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 23 is a diagram illustrating an example of a dialog displayed during the matching operation for the final check on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 24 is a diagram illustrating an example of a state where matching is not possible as a result of the matching operation for the final check on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 22 is a diagram illustrating an example of a dialog displayed when matching is possible in the real-time video on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 23 is a diagram illustrating an example of a dialog displayed during the matching operation for the final check on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 24 is a diagram illustrating an example of
  • FIG. 25 is a diagram illustrating an example of a dialog displayed in order to prompt the next camera to be changed on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 26 is a diagram illustrating an example of a dialog displayed when the setup change is completed on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment.
  • the base area specifying unit 323 displays a temporary adjustment result notification dialog 640 indicating that the matching operation is successful and that the imaging apparatus 2 is to be fixed as shown in FIG.
  • the temporary adjustment result notification dialog 640 includes an OK button 641 and a close button 642.
  • the OK button 641 is a button for causing the base region determination unit 326 to execute a final matching operation, as will be described later.
  • the close button 642 is a button for closing the temporary adjustment result notification dialog 640.
  • the base area specifying unit 323 specifies an image that matches the base reference image in the frame displayed on the real-time video display unit 703b as a result of the matching operation by moving the temporary base area 802 (temporary reference area).
  • the message control unit 321 causes the work progress display unit 705 to display that the work progress of the setup change operation is in the stage of “3. Fix the camera with a jig”.
  • the base area determination unit 326 displays a search progress dialog 630 and executes a final matching operation (matching operation for final confirmation) (second matching operation).
  • the base region determination unit 326 is not limited to performing the matching operation on the entire frame displayed on the real-time video display unit 703b.
  • the displayed temporary base region 802 (at this time)
  • the matching operation may be executed in a range of predetermined pixels (for example, 30 pixels) on the top, bottom, left, and right of the image searched for by the matching operation by the base region specifying unit 323.
  • the matching operation may be executed within a predetermined pixel range in the vertical and horizontal directions from the position corresponding to the first base region 801.
  • the message control unit 321 displays message information indicating that the final matching operation is being performed on the work instruction display unit 704 while the final matching operation is being performed by the base region determination unit 326 (see FIG. In the example of “23”, “currently being final checked by the system” is displayed). Further, the message control unit 321 causes the work progress display unit 705 to display that the work progress of the setup change operation is in the stage of “4. Final check by the system”.
  • the control unit 321 causes the work instruction display unit 704 to display message information indicating that. Further, as a result of the matching operation, an image that matches the base reference image is not found, and the user needs to readjust the position of the imaging device 2, so the message control unit 321 displays the work progress display unit 705 on The work progress of the setup change operation is displayed to return to the stage of “1. Adjust the camera to meet the standard”.
  • the imaging direction of the imaging device 2 is shifted when the imaging device 2 is fixed by the user.
  • the imaging direction of the imaging device 2 is shifted when the imaging device 2 is fixed by the user.
  • the imaging direction of the imaging device 2 is shifted when the imaging device 2 is fixed by the user.
  • the trigger area 530, the detection area 535, and the detection area 536 described above) Etc. is the same as the matching operation performed by the base region specifying unit 323 described above, in the case of protruding from the frame of the real-time video display unit 703b.
  • the base region determination unit 326 displays an image that matches the base reference image in the frame displayed on the real-time video display unit 703b as shown in FIGS. 25 and 26. 802 is moved and shown as a second base region 802a (second reference region). That is, the base region determination unit 326 determines the position of the second base region 802a as a corrected position from the position corresponding to the first base region 801 of the reference still image display unit 703a. Then, the base area determination unit 326 causes the storage unit 302 to store information on the determined second base area 802a in association with the setup number.
  • the information of the second base region 802a is, for example, information indicating the position of the second base region 802a and information such as the shape of the second base region 802a.
  • the setup change operation for the imaging device 2 of “CAM6”, that is, the imaging device 2f is completed.
  • the message control unit 321 causes the camera implementation status display unit 706 to display “Implementation Complete” to indicate that the setup change operation has been completed for the imaging device 2f (“CAM6”) associated with the setup number.
  • the setup change operation of one imaging device 2 (the imaging device 2f in the above description) associated with the setup number is completed, and the setup change operation is completed in the imaging device 2 that is also associated with the same setup number.
  • the setup control unit 327 proceeds to a setup change operation for the next imaging device 2 as shown in FIG.
  • the next camera processing dialog 650 indicating that this is to be displayed is displayed.
  • the message control unit 321 displays on the work progress display unit 705 that the next imaging device 2 is set up, so that the work progress is in the stage of “5. Proceed to the next camera setup”.
  • the next camera processing dialog 650 includes an OK button 651 and a close button 652.
  • the OK button 651 is a button for starting the setup change operation of the next imaging device 2.
  • the close button 652 is a button for closing the next camera processing dialog 650.
  • the setup change operation of one imaging device 2 (the imaging device 2f in the above description) associated with the setup number is completed, and the setup change operation is completed in the imaging device 2 that is also associated with the same setup number.
  • the setup control unit 327 displays a setup change end dialog 660 indicating that the setup change operation of all the imaging devices 2 associated with the setup number has been completed, as shown in FIG. Display.
  • the message control unit 321 causes the camera implementation status display unit 706 to complete the setup change operation for all the imaging devices 2 (“CAM6”, “CAM4”, and “CAM2”) associated with the setup number. Therefore, “Implementation complete” is displayed for all the imaging devices 2.
  • the message control unit 321 is in the stage of “6. End of setup change” as the work progress because the setup change operation of all the imaging devices 2 associated with the setup number is completed in the work progress display section 705. Is displayed.
  • the setup change end dialog 660 includes an OK button 661 and a close button 662.
  • the OK button 661 is a button for ending the setup change operation for all the imaging devices 2 associated with the setup number.
  • the close button 662 is a button for closing the setup change end dialog 660.
  • the installation position of the imaging device 2 corresponding to the setup number setup change is determined.
  • FIG. 27 is a diagram illustrating an example of a state after the setup change is completed on the main screen displayed on the display device of the information processing device according to the embodiment.
  • the image determination operation on the main screen 400 will be described with reference to FIG.
  • the setup control unit 327 transitions from the setup change screen 700 to the main screen 400.
  • the main screen 400 shown in FIG. 27 is displayed after the setup change operation for the imaging device 2 (imaging devices 2b, 2d, and 2f) associated with a specific setup number (“A1234567” in the example of FIG. 27) is completed.
  • Main screen 400 is displayed after the setup change operation for the imaging device 2 (imaging devices 2b, 2d, and 2f) associated with a specific setup number (“A1234567” in the example of FIG. 27) is completed.
  • the setup control unit 327 displays the setup number on the setup number display units 422b, 422d, and 422f corresponding to the imaging devices 2b, 2d, and 2f that have completed the setup change operation. In addition, the setup control unit 327 displays “setting complete” on each of the status display units 421b, 421d, and 421f because the setup change operation has been completed for the imaging devices 2b, 2d, and 2f.
  • the user depresses the video display unit 401 corresponding to the imaging device 2 for which the image determination operation (monitoring operation) is to be started by operating the input unit 303 to select the image display unit 401.
  • FIG. 27 a state in which the video display unit 401f is pressed and is in a selected state is illustrated.
  • the monitoring start button 411 is pressed by the operation of the input unit 303 by the user, an image determination operation is started for real-time video data of the imaging device 2f displayed on the video display unit 401f.
  • the setup control unit 327 causes the status display unit 421f to display “under monitoring” in order to indicate that the image determination operation is being executed for the imaging device 2f.
  • the main screen 400 shown in FIG. 27 displays video data received from a plurality of imaging devices 2 in real time, and the trigger area “TR6” and the detection areas “K61” and “K62” are designated by the video display unit 401f. Indicates the state.
  • the trigger area and the detection area specified on the main screen 400 exist at positions that are determined relative to the position of the second base area 802 a whose position is determined on the setup change screen 700. This is because the position information of the trigger area and the detection area stored in the storage unit 302 is not the information of the absolute position in the image display area, but the relative position with respect to the base area (here, the second base area 802a). This is because the information is shown.
  • the position information of the trigger area and the detection area stored in the storage unit 302 may be information on the absolute position of the display area. In this case, it is assumed that the positions of the trigger region and the detection region are corrected by the amount of deviation between the first base region 801 and the second base region 802a by the trigger region specifying unit 305 and the detection region specifying unit 307, respectively. Good.
  • the video distribution unit 312 distributes and displays the real-time video data acquired from the video reception unit 301 on the video display units 401a to 401f.
  • the trigger generation unit 313 acquires, from the storage unit 302, a difference image in the frame of the change point detected by the change point detection unit 306. Then, the trigger generation unit 313 compares the difference image with the image of the trigger region of the frame of the video data in the trigger region “TR6” designated by the video display unit 401f.
  • the trigger generation unit 313 compares the difference between the image of the trigger region of the video data frame and the difference image in the frame at the change point with a pixel value that differs by a predetermined sensitivity or more, and the difference is less than a predetermined threshold. A trigger signal is generated at the timing.
  • the detection area determination unit 314 acquires attribute information of the designated detection area from the storage unit 302.
  • the detection area determination unit 314 detects the detection reference image and the detection area of the frame of the video data in the designated detection area before or after the set time when the trigger signal generated by the trigger generation unit 313 is received.
  • the image is compared with the image to determine whether it is abnormal.
  • the detection region determination unit 314 receives the trigger signal corresponding to the trigger region “TR6” from the trigger generation unit 313 and detects the detection delay time “2.14” seconds corresponding to the detection region “K61”.
  • the image of the detection area of the frame of the subsequent video data is compared with the detection reference image to determine whether or not there is an abnormality.
  • the detection area determination unit 314 is the total of the number of pixels whose pixel values differ by more than the sensitivity of the attribute information of the detection area “K61” in the comparison between the detection reference image and the detection area image. When the difference is equal to or greater than the threshold value of the attribute information, the image determination of the detection area “K61” is determined to be abnormal.
  • the timing after the press-fitting operation is used as a trigger.
  • the trigger generation unit 313 generates a trigger signal with a timing at which the press-fitting machine starts an operation of press-fitting the press-fitting part into the work as a trigger. Thereafter, the press-fitting machine press-fits the press-fitting parts into the work, and after the press-fitting operation, each actuator of the press-fitting machine returns to the origin position.
  • the detection area determination unit 314 performs image determination on the press-fitted state of the work after press-fitting.
  • the timing of the image determination by the detection region determination unit 314 is the timing after the time set by the detection delay time after receiving the trigger signal from the trigger generation unit 313.
  • the time from the start of the press-fitting operation that generates the trigger signal to the execution of press-fitting image judgment after press-fitting is a fixed time because it is an automatic operation by the press-fitting machine, and detection from the trigger timing to image judgment
  • the delay time can be set as a fixed time.
  • the detection region determination unit 314 receives the trigger signal corresponding to the trigger region “TR6” from the trigger generation unit 313, and after the detection delay time “ ⁇ 1 ⁇ 86” seconds corresponding to the detection region “K62”, That is, the image of the detection area of the frame of the video data “1.86” seconds ago is compared with the detection reference image to determine whether or not there is an abnormality.
  • the detection region determination unit 314 determines the image at the timing before the trigger signal is received, in an installation such as a press-fitting machine that manually press-fits the press-fitting component.
  • an image determination is performed on a workpiece after press-fitting in a state where the workpiece is set in a press-fitting device before being put into a finished product case, with the timing of putting the workpiece after press-fitting into the finished product case as a trigger.
  • an operator sets a work before press-fitting on a press-fitting machine.
  • the trigger generation unit 313 generates a trigger signal triggered by the timing at which the operator puts the press-fitted work into a finished product.
  • the detection area determination unit 314 then press-fits the trigger signal at the timing set by the detection delay time from the time when the trigger signal is received, that is, at the timing set in the press-fitting machine before being put into the finished product case.
  • the image of the subsequent workpiece is determined.
  • the following situation can be avoided by performing image determination on the workpiece set in the press-fitting machine at the timing before the trigger signal is generated. That is, for example, after an operator sets a work, the worker temporarily leaves the work site during a lunch break or the like, and after returning, forgets the press-fitting operation and puts the work before press-fitting into a finished product case. In this case, the worker must be the workpiece before press-fitting by determining the image at the timing set in the detection delay time from the time of the trigger using the timing when the workpiece is put in the finished product case as a trigger. It is possible to prevent the workpiece before press-fitting from being mixed into the finished product case.
  • the external output unit 316 outputs an abnormal signal to the external device 10 when the detection area determination unit 314 determines that an abnormality has occurred.
  • FIG. 28 is a flowchart illustrating an example of a setup change operation on the setup change screen displayed on the display device of the information processing apparatus according to the embodiment. With reference to FIG. 28, the flow of the setup change operation will be generally described.
  • Step S11> The user inputs a setup number to be changed into the setup number input unit 415 of the main screen 400 (see FIG. 4) by operating the input unit 303.
  • the setup change button 414 is pressed by the user operating the input unit 303, the setup control unit 327 stores the setting information corresponding to the setup number input to the setup number input unit 415 in the storage unit 302. Search for no.
  • the setup control unit 327 searches for setting information corresponding to the setup number stored in the storage unit 302 will be described. Then, the process proceeds to step S12.
  • Step S12> The setup control unit 327 stops the image determination operation (monitoring operation) by the imaging device 2 associated with the input setup number. Then, the setup control unit 327 makes a transition from the main screen 400 to the setup change screen 700. Then, the process proceeds to step S13.
  • the message control unit 321 displays message information that prompts the work instruction display unit 704 to adjust the position of the imaging device 2 to be set up, and the work progress display unit 705 displays the work progress of the set up operation. Display that “1. Adjust the camera to meet the standard”. While the user adjusts the position of the imaging device 2, the video display unit 322 extracts an extracted image (an image in the temporary base region 802) from a frame of real-time video data displayed on the real-time video display unit 703b. It is displayed on the extracted image display unit 702b. The user moves the imaging device 2 to a position as shown in FIG.
  • the stillness determination unit 325 determines whether or not the imaging device 2 is stationary.
  • the base region specifying unit 323 selects an image that matches the base reference image in the frame of the video data displayed on the real-time video display unit 703b.
  • a matching operation for searching is executed.
  • the message control unit 321 displays message information indicating that the matching operation is being executed on the work instruction display unit 704 (in the example of FIG. "Check in progress" is displayed. Further, the message control unit 321 causes the work progress display unit 705 to display that the work progress of the setup change operation is in the stage of “2. Check by system”. Then, the process proceeds to step S15.
  • step S15 When the matching operation by the base area specifying unit 323 is successful (indicated as “matching OK” in FIG. 28) (step S15: Yes), the process proceeds to step S16, and the matching operation results are displayed on the real-time video display unit 703b. If no image matching the base reference image is found in the frame of the video data (step S15: No), the process proceeds to step S17.
  • Step S16> When the matching operation is successful, the base area specifying unit 323 indicates that the matching operation is successful (shown as “OK display” in FIG. 28) and that the imaging apparatus 2 is prompted to be fixed, as shown in FIG. A temporary adjustment result notification dialog 640 is displayed. In addition, the base area specifying unit 323 moves the temporary base area 802 to show an image that matches the base reference image in the frame displayed on the real-time video display unit 703b as a result of the matching operation. In addition, the message control unit 321 causes the work progress display unit 705 to display that the work progress of the setup change operation is in the stage of “3. Fix the camera with a jig”. Then, the process proceeds to step S18.
  • the message control unit 321 causes the work instruction display unit 704 to display message information indicating that the matching operation has not been successful (indicated as “NG display” in FIG. 28). Further, since the matching operation is not successful, the user needs to readjust the position of the imaging device 2, and the message control unit 321 displays the work progress of the setup change operation on the work progress display unit 705 as “1”. Display the screen back to “Adjust the camera to meet the standard”. Then, the process returns to step S13.
  • Step S18> The user presses the OK button 641 by operating the input unit 303 after fixing the imaging device 2 according to the message shown in the temporary adjustment result notification dialog 640. Then, the process proceeds to step S19.
  • the base area determination unit 326 displays a search progress dialog 630 and executes a final matching operation (matching operation for final confirmation).
  • the message control unit 321 displays message information indicating that the final matching operation is being performed on the work instruction display unit 704 while the final matching operation is being performed by the base region determination unit 326 (see FIG. In the example of “23”, “currently being final checked by the system” is displayed). Further, the message control unit 321 causes the work progress display unit 705 to display that the work progress of the setup change operation is in the stage of “4. Final check by the system”. Then, the process proceeds to step S20.
  • step S20 When the final matching operation by the base region determination unit 326 is successful (indicated as “matching OK” in FIG. 28) (step S20: Yes), the process proceeds to step S22, and the real-time video display is performed as a result of the final matching operation. If no image matching the base reference image is found in the frame of the video data displayed in the unit 703b (step S20: No), the process proceeds to step S21.
  • Step S21> The message control unit 321 causes the work instruction display unit 704 to display message information indicating that the final matching operation has not been successful (indicated as “NG display” in FIG. 28). Further, since the final matching operation is not successful, the user needs to readjust the position of the imaging device 2, so the message control unit 321 displays the work progress of the setup change operation on the work progress display unit 705. Is displayed to return to the stage of “1. Adjust the camera to meet the standard”. Then, the process returns to step S13.
  • the base region determination unit 326 displays an image that matches the base reference image in the frame displayed on the real-time video display unit 703b as shown in FIGS. 25 and 26. 802 is moved and shown as a second base region 802a. That is, the base region determination unit 326 determines the position of the second base region 802a as a corrected position from the position corresponding to the first base region 801 of the reference still image display unit 703a.
  • the base area determination unit 326 causes the storage unit 302 to store information on the determined second base area 802a in association with the setup number. Thereby, the setup change operation for one imaging device 2 associated with the setup number is completed.
  • the message control unit 321 causes the camera implementation status display unit 706 to display “Implementation Completed” to indicate that the setup change operation has been completed for the imaging device 2 associated with the setup number.
  • step S22 Yes
  • the setup control unit 327 displays a next camera processing dialog 650 indicating that the process proceeds to the setup change operation for the next imaging apparatus 2, as shown in FIG.
  • the OK button 651 is pressed by the user operating the input unit 303, the process proceeds to step S13.
  • the setup change operation of one imaging device 2 (the imaging device 2f in the above description) associated with the setup number is completed, and the setup change operation is completed in the imaging device 2 that is also associated with the same setup number.
  • the setup control unit 327 indicates that the setup change operation has been completed for all the imaging devices 2 associated with the setup number, as shown in FIG.
  • a setup change end dialog 660 is displayed.
  • the setup control unit 327 transitions from the setup change screen 700 to the main screen 400. Thereby, the setup change operation for all the imaging devices 2 associated with the setup number is completed.
  • the base region determination unit 326 searches for a region that matches (matches) the base reference image in the video data frame of the imaging device 2 whose installation position has been changed by the user. And the second base region 802a that matches the base reference image is determined in the frame of the video data of the imaging device 2.
  • the positions of the determination areas such as the trigger area and the detection area are shifted from the position of the first base area 801 indicating the base reference image to the position of the second base area 802a determined by the base area determination unit 326. It is assumed that it is corrected by the minute.
  • the installation position of the image pickup apparatus 2 is changed to the correct change position ( It can be easily installed at the position of setup change. Further, since the above-described matching operation is performed at the time of setup change, it is not necessary to install the imaging device 2 so that the real-time video data frame of the imaging device 2 completely matches the reference still image. Furthermore, the installation position of the imaging device 2 can be easily installed at the correct change position (position change position).
  • the base region specifying unit 323 automatically executes a matching operation. If the matching operation is successful, the base region determination unit 326 executes a final matching operation after the user fixes the imaging device 2. If the matching operation is performed manually after the imaging device 2 is fixed, if the matching fails, the imaging device 2 must be unfixed and the installation position adjusted again. In addition, since the matching operation is automatically executed in a state where the image pickup apparatus 2 is stationary, the installation position of the image pickup apparatus 2 can be easily adjusted, and the work load of the setup change can be reduced.
  • the setup change screen 700 it is desirable to display the frame of the first base region 801 on the reference still image display unit 703a and the frame of the temporary base region 802 and the second base region 802a on the real-time video display unit 703b.
  • the user becomes a guideline in which direction the imaging apparatus 2 should be imaged, so that the installation position of the imaging apparatus 2 can be easily adjusted, and the work load of the setup change can be reduced.
  • the base area specifying unit 323 and the base area determining unit 326 perform the matching operation in a predetermined range in the frame displayed on the real-time video display unit 703b. Thereby, the processing load of the matching operation can be reduced.
  • the setup control unit 327 automatically stops the image determination operation (monitoring operation) by the imaging device 2 associated with the setup number.
  • the setup control unit 327 automatically stops the image determination operation (monitoring operation) by the imaging device 2 associated with the setup number.
  • the procedure for changing the installation position of the imaging apparatus 2 shown in FIG. 28 is not limited to the time of setup change, and can be applied to the change of the installation position of the imaging apparatus 2 in a scene other than the setup change.
  • the trigger area and the detection area are designated as areas other than the base area 570.
  • the present invention is not limited to this, and other determination areas may be designated.
  • the image determination is performed based on the trigger signal.
  • the trigger signal generated by the trigger generation unit 313 is used as a reference for the timing of image determination by the detection region determination unit 314 in the above-described embodiment, but is not limited thereto.
  • the trigger signal may be used as a reference for timing at which the production facility performs predetermined processing.
  • the trigger signal is transmitted to the production facility when the trigger signal is generated. It may be.
  • the program is provided by being incorporated in advance in a ROM or the like.
  • the program executed by the information processing apparatus 3 according to the present embodiment is a file in an installable or executable format and is read by a computer such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD. You may comprise so that it may record on a possible recording medium and provide.
  • the program executed by the information processing apparatus 3 according to the present embodiment may be configured to be stored by being stored on a computer connected to a network such as the Internet and downloaded via the network. Further, the program executed by the information processing apparatus 3 of the present embodiment may be configured to be provided or distributed via a network such as the Internet.
  • the program executed by the information processing apparatus 3 includes the first reproduction unit 304, the trigger region designation unit 305, the change point detection unit 306, the detection region designation unit 307, the setting unit 308, and the video distribution unit described above. 312, trigger generation unit 313, detection region determination unit 314, message control unit 321, video display unit 322, base region identification unit 323, image extraction unit 324, stillness determination unit 325, base region determination unit 326, setup control unit 327, and
  • the module configuration includes at least one of the base area specifying unit 331.
  • the CPU reads the program from the ROM and executes the program, so that each unit described above is loaded onto the main storage device. To be generated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

 撮像手段を所定の撮像位置に合わせるための基準となる静止画像が表示される第1表示領域と、撮像手段が撮像した映像データが表示される第2表示領域と、を表示する表示手段と、映像データに対して行われる画像判定の対象となる判定領域と、第1表示領域に設定された第1基準領域との位置関係を示す情報を記憶する記憶手段と、第2表示領域に表示される映像データのフレームで、第1基準領域の画像と一致する画像を探索する第1マッチング動作を実行して、一致する画像の領域を第2基準領域として決定する決定手段と、第1表示領域における第1基準領域と第2表示領域における第2基準領域とのずれ量と、記憶手段に記憶された位置関係を示す情報とに基づいて判定領域の位置を補正する補正手段と、を備える。

Description

画像処理装置、画像処理システムおよび画像処理方法
 本発明は、画像処理装置、画像処理システムおよび画像処理方法に関する。
 近年、ビデオカメラ等の撮像装置により録画して得られた映像データを分析して、目的物の検出、または、映像上の物体の動きもしくは異常の検知等を行う画像監視システムの発展が著しい。このような画像監視システムは、例えば、製品の生産ライン等において適用される。生産工程において、特に、少量多品種の生産が行われると、同一生産工程において、異なる製品を生産することがある。このような、同一生産工程において、異なる製品を生産する場合、部品を組み付ける治具等を異なる治具等に取り換えたり、あるいは、生産工程で使用するデータを異なるデータに置換する等のいわゆる段取り替えが必要になる。上述のように、生産ラインに画像監視システムを適用した場合、段取り替えの作業の際には、画像監視システムの異常検知等に使用するカメラの設定等を変更する必要が生じる場合がある。
 このような、段取り替えにおいて、生産工程における異常検知対象物が変わった場合、画像監視システムのカメラの設置位置は物理的に動かすことなく、設置されたカメラのフォーカスの変更を行うことによりカメラの設定を変更するシステムが提案されている(特許文献1参照)。
 しかしながら、特許文献1に記載された技術は、段取り替えにおいて、生産工程における異常検知対象物が変わり、カメラの設置位置を動かして撮影する必要がある場合、フォーカスの変更のみでは対応できないという問題点がある。
 本発明は、上記に鑑みてなされたものであって、カメラを正しい変更位置に容易に設置することができる画像処理装置、画像処理システムおよび画像処理方法を提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明は、撮像手段を所定の撮像位置に合わせるための基準となる静止画像が表示される第1表示領域と、前記撮像手段が撮像した映像データが表示される第2表示領域と、を表示する表示手段と、前記撮像手段により撮像された映像データに対して行われる画像判定の対象となる判定領域と、前記第1表示領域に設定された第1基準領域との位置関係を示す情報を記憶する記憶手段と、前記第2表示領域に表示される映像データのフレームで、前記第1基準領域の画像と一致する画像を探索する第1マッチング動作を実行して、該一致する画像の領域を第2基準領域として決定する決定手段と、前記第1表示領域における前記第1基準領域の位置と前記第2表示領域における前記第2基準領域の位置とのずれ量と、前記記憶手段に記憶された前記位置関係を示す情報とに基づいて前記判定領域の位置を補正する補正手段と、を備えたことを特徴とする。
 本発明によれば、カメラを正しい変更位置に容易に設置することができる。
図1は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。 図2は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図3は、実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。 図4は、実施の形態に係る情報処理装置の表示装置に表示されるメイン画面において複数のリアルタイムの映像が表示される例を示す図である。 図5は、実施の形態に係る情報処理装置において段取り番号ごとに設定情報が管理されることを示す記憶装置におけるディレクトリ構造の一例を示す図である。 図6は、実施の形態に係る情報処理装置の表示装置に表示される設定画面で映像データが表示される状態の一例を示す図である。 図7は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部にベース領域を指定する例を示す図である。 図8は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部にトリガ領域を指定する例を示す図である。 図9は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が見つかった場合のマーク表示の一例を示す図である。 図10は、トリガ領域における変化点を検出する動作を説明する図である。 図11は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が2点見つかった場合に表示されるダイアログの一例を示す図である。 図12は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が見つからなかった場合に表示されるダイアログの一例を示す図である。 図13は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に検知領域を指定する例を示す図である。 図14は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に2つ目の検知領域を指定する例を示す図である。 図15は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部で指定した検知領域の属性情報を設定する例を示す図である。 図16は、実施の形態に係る情報処理装置の表示装置に表示されるメイン画面において指定した段取り番号が検索できなかった場合に表示されるダイアログの一例を示す図である。 図17は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面において基準静止画像およびリアルタイム映像が表示される状態の一例を示す図である。 図18は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面において基準静止画像に合せたリアルタイム映像となるようにカメラを設置した状態の一例を示す図である。 図19は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面におけるリアルタイム映像におけるマッチング動作中に表示されるダイアログの一例を示す図である。 図20は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面におけるリアルタイム映像においてマッチングできなかった場合の状態の一例を示す図である。 図21は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面におけるリアルタイム映像において他の設定領域が表示枠をはみ出した場合の状態の一例を示す図である。 図22は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面におけるリアルタイム映像においてマッチングができた場合に表示されるダイアログの一例を示す図である。 図23は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面において最終チェックのためのマッチング動作中に表示されるダイアログの一例を示す図である。 図24は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面において最終チェックのためのマッチング動作の結果、マッチングできなかった場合の状態の一例を示す図である。 図25は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面において次のカメラの段取り替えを促すために表示されるダイアログの一例を示す図である。 図26は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面において段取り替えが終了した場合に表示されるダイアログの一例を示す図である。 図27は、実施の形態に係る情報処理装置の表示装置に表示されるメイン画面において段取り替えが終了した後の状態の例を示す図である。 図28は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面における段取り替え動作の例を示すフローチャートである。
 以下に、図面を参照しながら、本発明に係る画像処理装置、画像処理システムおよび画像処理方法の実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
(画像処理システムの全体構成)
 図1は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。図1を参照しながら、本実施の形態の画像処理システム1の全体構成について説明する。
 図1に示すように、本実施の形態の画像処理システム1は、撮像装置2a~2f(撮像手段)と、情報処理装置3と、ネットワーク4と、を含む。
 撮像装置2a~2fは、被写体から光を電気信号に変換することによって被写体を撮像(撮影)し、複数のフレーム(画像データ)で構成された動画(例えば、10[FPS])である映像データを生成するビデオカメラである。例えば、撮像装置2a~2fは、製品を生産する生産設備または生産ライン等を撮像し、製造物であるワークに対する異常を検知するための映像データを生成する。
 なお、撮像装置2a~2fを区別なく呼称する場合、または総称する場合、単に「撮像装置2」というものとする。また、図1では、画像処理システム1は、6台の撮像装置2を含む構成となっているが、これに限定されるものではなく、他の台数の撮像装置2を含む構成であってもよい。
 情報処理装置3は、撮像装置2によって撮像された映像データに基づいて画像判定を実行する画像処理装置として機能するPC(Personal Computer)またはワークステーション等である。また、情報処理装置3は、生産設備等の外部機器10と、例えば、フィールドバス規格による通信が可能となるように接続している。情報処理装置3による段取り替え動作については、後述する。
 ネットワーク4は、撮像装置2a~2fと、情報処理装置3とを接続するための、例えば、Ethernet(登録商標)規格のネットワークである。この場合、ネットワーク4では、TCP(Transmission Control Protocol)/IP(Internet Protocol)等のプロトコルによりデータ通信が行われる。また、この場合、撮像装置2a~2fおよび情報処理装置3は、TCP/IPのプロトコルにより通信するためのMAC(Media Access Control)アドレスを有し、かつプライベートIPアドレス等のIPアドレスが割り当てられている。また、ネットワーク4の具体的な構成は、例えば、複数のポートを有するスイッチングハブに撮像装置2a~2fおよび情報処理装置3それぞれがLAN(Local Area Network)ケーブルによって接続されたスター配線形式が一例として挙げられる。
 なお、図1に示すネットワーク4は、TCP/IPにより通信される例を示したが、これに限定されるものではなく、例えば、情報処理装置3側にVGA(Video Graphics Array)端子またはUSB(Universal Serial Bus)ポートを複数有し、複数の撮像装置2がVGAケーブルまたはUSBケーブルで情報処理装置3に接続された形態等であってもよい。
(情報処理装置のハードウェア構成)
 図2は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。図2を参照しながら、本実施の形態の情報処理装置3のハードウェア構成について説明する。
 図2に示すように、情報処理装置3は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、外部記憶装置104と、ディスプレイ105と、ネットワークI/F106と、キーボード107と、マウス108と、DVD(Digital Versatile Disc)ドライブ109と、外部機器I/F111と、を備えている。
 CPU101は、情報処理装置3全体の動作を制御する装置である。ROM102は、情報処理装置3用のプログラムを記憶している不揮発性記憶装置である。RAM103は、CPU101のワークエリアとして使用される揮発性記憶装置である。
 外部記憶装置104は、撮像装置2により撮像された映像データ、および設定情報等の各種データを記憶するHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の記憶装置である。
 ディスプレイ105は、カーソル、メニュー、ウィンドウ、文字もしくは画像等の各種情報、または情報処理装置3による画像判定処理および段取り替え動作を実行するアプリケーションの画面を表示する表示装置である。ディスプレイ105は、例えば、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機EL(Electroluminescence)ディスプレイ等である。なお、ディスプレイ105は、例えば、情報処理装置3の本体に対して、VGAケーブルまたはHDMI(登録商標)(High-Definition Multimedia Interface)ケーブル等によって接続されたり、または、Ethernetケーブルによって接続される。
 ネットワークI/F106は、ネットワーク4に接続してデータ通信するためのインターフェースである。ネットワークI/F106は、例えば、TCP/IPのプロトコルで通信可能にするNIC(Network Interface Card)である。具体的には、情報処理装置3は、撮像装置2から、ネットワーク4およびネットワークI/F106を介して、映像データを取得する。
 キーボード107は、文字、数字、各種指示の選択、カーソルの移動、設定情報の設定、および、段取り替え動作において製品または設定情報を区別する品番等である段取り番号(段取り識別情報)等を行う入力装置である。なお、段取り番号は、数字のみによって構成されることに限定されるものではなく、さらに、英字および記号等を組み合わせたものであってもよい。マウス108は、各種指示の選択および実行、処理対象の選択、カーソルの移動、ならびに設定情報の設定等を行うための入力装置である。
 DVDドライブ109は、着脱自在な記憶媒体の一例としてのDVD110に対するデータの読み出し、書き込みおよび削除を制御する装置である。
 外部機器I/F111は、外部機器10と接続してデータ通信をするためのインターフェースである。外部機器I/F111は、例えば、フィールドバス規格により通信可能にするインターフェースカードである。具体的には、情報処理装置3は、外部機器10と、外部機器I/F111を介してデータ通信を行う。
 上述のCPU101、ROM102、RAM103、外部記憶装置104、ディスプレイ105、ネットワークI/F106、キーボード107、マウス108、DVDドライブ109および外部機器I/F111は、アドレスバスおよびデータバス等のバス112によって互いに通信可能に接続されている。なお、ディスプレイ105が、Ethernetケーブルによって接続される場合には、ネットワークI/F106に接続されることになり、この場合、TCP/IP等のプロトコルによりデータ通信が行われる。
(情報処理装置のブロック構成)
 図3は、実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。図3を参照しながら、情報処理装置3のブロック構成について説明する。
 図3に示すように、情報処理装置3は、映像受信部301と、記憶部302(記憶手段)と、入力部303(入力手段)と、第1再生部304と、トリガ領域指定部305と、変化点検出部306と、検知領域指定部307と、設定部308と、映像振分部312と、トリガ生成部313と、検知領域判定部314と、表示制御部315と、外部出力部316と、表示部317(表示手段)と、メッセージ制御部321と、映像表示部322と、ベース領域特定部323(特定手段)と、画像抽出部324と、静止判定部325(判定手段)と、ベース領域決定部326(決定手段、補正手段)と、段取り制御部327(制御手段)と、ベース領域指定部331と、を備えている。
 映像受信部301は、ネットワーク4を介して、撮像装置2とデータ通信を行い、撮像装置2から映像データを受信する機能部である。映像受信部301は、受信した映像データを記憶部302に記憶させる。映像受信部301は、図2に示すネットワークI/F106によって実現される。なお、図3においては、説明を簡略化するため、ネットワーク4の図示を省略して説明する。
 記憶部302は、映像受信部301により受信された映像データ、および各種設定情報等を記憶する記憶装置である。記憶部302は、映像受信部301により受信された映像データが、どの撮像装置2により生成された映像データであるかを識別して記憶する。記憶部302は、例えば、図2に示すRAM103または外部記憶装置104によって実現される。
 入力部303は、情報処理装置3が実行する画像判定処理および段取り替え動作のための操作入力を行う装置である。入力部303は、図2に示すキーボード107およびマウス108によって実現される。
 第1再生部304は、ユーザにより操作される入力部303からの操作信号に従って、記憶部302から取得した映像データを表示制御部315に送り、表示制御部315に対して映像データを表示部317に再生表示させる機能部である。具体的には、第1再生部304は、図6等で後述する表示部317に表示される設定画面500の設定用映像表示部502に映像データを再生表示させる。第1再生部304は、図2に示すCPU101により実行されるプログラムによって実現される。
 トリガ領域指定部305は、ユーザにより操作される入力部303からの操作信号に従って、表示部317における映像データの表示領域(図6等で後述する設定用映像表示部502)においてトリガのタイミングを決定するトリガ領域を指定する機能部である。トリガ領域指定部305は、指定したトリガ領域の情報を、後述するように、段取り番号と関連付けて記憶部302に記憶させる。また、トリガ領域の情報とは、例えば、映像データの表示領域におけるトリガ領域の位置を示す座標、およびトリガ領域の形状等の情報である。トリガ領域指定部305は、図2に示すCPU101により実行されるプログラムによって実現される。
 変化点検出部306は、トリガ領域指定部305によりトリガ領域が指定された場合、指定された時点で第1再生部304が再生表示している映像データのフレームの時刻の前後の所定時間分のフレームを取得し、取得したフレームにおいて、フレームごとに直前のフレームとの画素値についての差分を演算し、演算した差分に基づいて、トリガ領域内の画像についての変化点を検出する機能部である。変化点については、後述する。差分の演算方法としては、例えば、2つのフレームのトリガ領域における画素値を比較し、画素値が所定の感度以上異なる画素の数の合計を差分として算出する。なお、フレームがグレースケールの画像である場合、画素値は輝度値と一致するので、2つのフレームのトリガ領域における輝度値を比較し、輝度値が所定の感度以上異なる画素の数の合計を差分として算出してもよい。また、フレームがRGBの画素値で構成された画像である場合、R(赤)、G(緑)またはB(青)のいずれかの画素値を比較して、上述と同様に、画素値が所定の感度以上異なる画素の数の合計を差分として算出してもよい。また、フレームの画像におけるエッジ検出処理を行い、エッジ部分の合計を差分として算出してもよい。変化点検出部306は、図2に示すCPU101により実行されるプログラムによって実現される。
 検知領域指定部307は、ユーザにより操作される入力部303からの操作信号に従って、表示部317における映像データの表示領域(設定用映像表示部502)において異常を検知する画像判定処理の対象となる検知領域を指定する機能部である。検知領域指定部307は、指定した検知領域の情報を、後述するように、段取り番号と関連付けて記憶部302に記憶させる。また、検知領域の情報とは、例えば、映像データの表示領域における検知領域の位置を示す座標、および検知領域の形状等の情報である。また、検知領域指定部307は、後述するように、映像データの表示領域において複数の検知領域を指定することができる。検知領域指定部307は、図2に示すCPU101により実行されるプログラムによって実現される。
 設定部308は、ユーザにより操作される入力部303からの操作信号に従って、設定情報を設定して記憶部302に記憶させる機能部である。また、設定部308は、設定した設定情報のうち、表示する必要がある情報を、記憶部302から表示制御部315に送り、表示制御部315に対して設定情報を表示部317に表示させる。設定部308は、図2に示すCPU101により実行されるプログラムによって実現される。
 映像振分部312は、ユーザにより操作される入力部303からの操作信号に従って、映像受信部301から取得したリアルタイムの映像データを表示制御部315に送り、表示制御部315に対して映像データを表示部317に表示させる機能部である。具体的には、映像振分部312は、図4等で後述する表示部317に表示されるメイン画面400の映像表示部401a~401fに、対応する映像データを振り分けて表示させる。映像振分部312は、図2に示すCPU101により実行されるプログラムによって実現される。
 トリガ生成部313は、後述する図27のメイン画面400の映像表示部401a~401fにおけるトリガ領域において、差分画像と、映像データのフレームのトリガ領域の画像とを比較して、トリガのタイミングでトリガ信号を生成する機能部である。トリガ生成部313は、図2に示すCPU101により実行されるプログラムによって実現される。
 検知領域判定部314は、トリガ生成部313により生成されたトリガ信号を受け取ったときの設定時間前または設定時間後に、上述の映像表示部401a~401fにおける検知領域において、検知基準画像と、映像データのフレームの検知領域の画像とを比較して異常であるか否かの判定をする機能部である。検知領域判定部314は、図2に示すCPU101により実行されるプログラムによって実現される。
 表示制御部315は、表示部317の表示動作を制御する機能部である。具体的には、表示制御部315は、第1再生部304により取得された映像データ、設定部308により設定された設定情報、トリガ領域指定部305により指定されたトリガ領域、および、検知領域指定部307により指定された検知領域等を、表示部317に表示させる。表示制御部315は、図2に示すCPU101により実行されるプログラム(ドライバ)によって実現される。
 外部出力部316は、検知領域判定部314により異常の判定がされた場合、異常信号を外部機器10に出力する機能部である。外部出力部316は、図2に示す外部機器I/F111によって実現される。なお、外部出力部316は異常信号を出力するものとしているが、これに限定されるものではなく、メールで異常を通知するためのバッチファイルを外部機器10に送信したり、または、メイン画面400上に異常を報知(例えば、ランプアイコンで点滅表示)する等の処置を行うものとしてもよい。
 表示部317は、表示制御部315の制御に従って各種データを表示する装置である。表示部317は、本実施の形態では特に、図2に示すCPU101により実行されるプログラム(アプリケーション)により、後述するメイン画面400、設定画面500、および段取り替え画面700等を表示する。表示部317は、図2に示すディスプレイ105によって実現される。
 メッセージ制御部321は、段取り替え動作において、段取り替えの段階に応じたメッセージ情報を表示部317に表示させる機能部である。具体的には、メッセージ制御部321は、図17等で後述する表示部317に表示される段取り替え画面700の作業指示表示部704に作業手順のメッセージの表示等を行う。なお、メッセージ制御部321により表示されるメッセージ情報は、例えば、記憶部302により記憶されているものとすればよい。メッセージ制御部321は、図2に示すCPU101により実行されるプログラムによって実現される。
 映像表示部322は、ユーザにより操作される入力部303からの操作信号によって特定される撮像装置2から映像受信部301を介して取得したリアルタイムの映像データを表示制御部315に送り、表示制御部315に対して映像データを表示部317に表示させる機能部である。具体的には、映像表示部322は、図17等で後述する表示部317に表示される段取り替え画面700のリアルタイム映像表示部703bにリアルタイムの映像データを表示させる。映像表示部322は、図2に示すCPU101により実行されるプログラムによって実現される。
 ベース領域特定部323は、段取り替え動作時に撮像装置2を移動させて静止させた場合に、後述する図17等に示す段取り替え画面700のリアルタイム映像表示部703bにおいて、段取り替え動作時の基準となるベース領域の画像(ベース基準画像)とマッチングする部分を探索する機能部である。ベース領域特定部323は、図2に示すCPU101により実行されるプログラムによって実現される。
 画像抽出部324は、段取り替え動作時に、後述する段取り替え画面700のリアルタイム映像表示部703bにおける仮ベース領域802の画像(抽出画像)を抽出する機能部である。画像抽出部324は、図2に示すCPU101により実行されるプログラムによって実現される。
 静止判定部325は、段取り替え動作時に撮像装置2を移動させて静止させた場合に、後述する段取り替え画面700のリアルタイム映像表示部703bに表示される映像データに基づいて、撮像装置2が静止しているか否かを判定する機能部である。静止判定部325は、図2に示すCPU101により実行されるプログラムによって実現される。
 ベース領域決定部326は、段取り替え動作時に撮像装置2を治具等により固定した場合に、後述する段取り替え画面700のリアルタイム映像表示部703bにおいて、段取り替え動作時の基準となるベース領域の画像(ベース基準画像)とマッチングする部分を探索してリアルタイム映像表示部703bにおけるベース領域を最終的に決定する機能部である。ベース領域決定部326は、図2に示すCPU101により実行されるプログラムによって実現される。
 段取り制御部327は、段取り替え動作を全体的に制御する機能部である。段取り制御部327は、図2に示すCPU101により実行されるプログラムにより実現される。
 ベース領域指定部331は、ユーザにより操作される入力部303からの操作信号に従って、表示部317における映像データの表示領域(設定用映像表示部502)において、段取り替え動作時の基準となるベース領域を指定する機能部である。ベース領域指定部331は、指定したベース領域の情報を、記憶部302に記憶させる。また、ベース領域の情報とは、例えば、映像データの表示領域におけるベース領域の位置を示す座標、およびベース領域の形状等の情報である。
 なお、図3に示した第1再生部304、トリガ領域指定部305、変化点検出部306、検知領域指定部307、設定部308、映像振分部312、トリガ生成部313、検知領域判定部314、メッセージ制御部321、映像表示部322、ベース領域特定部323、画像抽出部324、静止判定部325、ベース領域決定部326、段取り制御部327およびベース領域指定部331の一部または全部は、ソフトウェアであるプログラムではなく、ASIC(Application Specific Integrated Circuit)またはFPGA(Field-Programmable Gate Array)等のハードウェア回路によって実現されてもよい。
 また、図3に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図3で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図3の1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
 また、以降の説明の簡略化のため、表示制御部315が、受け取ったデータを表示部317に表示させるという表現を、単に、そのデータを表示制御部315に送った機能部が、表示部317(または、表示部317が表示する画面)に表示させると表現するものとする。例えば、第1再生部304が、映像データを表示制御部315に送り、表示制御部315に対して映像データを表示部317に再生表示させる場合、単に、第1再生部304が、映像データを表示部317に再生表示させると表現するものとする。
(メイン画面の構成)
 図4は、実施の形態に係る情報処理装置の表示装置に表示されるメイン画面において複数のリアルタイムの映像が表示される例を示す図である。図4を参照しながら、メイン画面400の構成、および複数のリアルタイムの映像が表示される動作について説明する。
 CPU101により実行されるプログラム(アプリケーション)により、図4に示すメイン画面400が表示部317に表示される。メイン画面400は、画像判定動作(監視動作)が実行されている場合には、複数の撮像装置2から受信した映像データをリアルタイムに表示し、トリガ領域指定部305により指定されたトリガ領域において、トリガ生成部313によりトリガのタイミングでトリガ信号が生成される画面である。また、メイン画面400は、検知領域判定部314によりトリガ信号を受け取ったときの設定時間前または設定時間後に、検知領域指定部307により指定された検知領域において異常の有無が判定される画面である。メイン画面400は、図4に示すように、映像表示部401a~401fと、監視開始ボタン411と、監視停止ボタン412と、監視設定ボタン413と、段取り替えボタン414と、段取り番号入力部415と、状態表示部421a~421fと、段取り番号表示部422a~422fと、を含む。
 映像表示部401a~401fは、映像振分部312によって、ユーザにより操作される入力部303からの操作信号に従って、撮像装置2a~2fから、映像受信部301を介して取得されたリアルタイムの映像データがそれぞれ表示される表示部である。また、映像表示部401a~401fは、ユーザによる入力部303の操作によって押下(例えば、マウス108のクリック操作等、以下同様)されると、選択状態にすることができる。なお、映像表示部401a~401fを区別なく呼称する場合、または総称する場合、単に「映像表示部401」というものとする。
 監視開始ボタン411は、ユーザによる入力部303の操作によって押下されると、リアルタイムの映像データが表示されている選択状態の映像表示部401で、トリガ領域指定部305により指定されたトリガ領域において、トリガ生成部313によりトリガのタイミングでトリガ信号が生成され、検知領域判定部314によりトリガ信号を受け取ったときの設定時間前または設定時間後に検知領域における異常の有無の判定が開始される。
 監視停止ボタン412は、ユーザによる入力部303の操作によって押下されると、選択状態の映像表示部401で、トリガ生成部313によるトリガのタイミングでのトリガ信号の生成動作、および、検知領域判定部314による検知領域における異常の有無の判定動作を停止させるボタンである。
 監視設定ボタン413は、ユーザによる入力部303の操作によって押下されると、段取り番号入力部415に操作入力された段取り番号についての設定情報を設定するために、設定部308によって、後述の図6等に示す設定画面500を表示部317に表示させるボタンである。
 段取り替えボタン414は、ユーザによる入力部303の操作によって押下されると、段取り番号入力部415に操作入力された段取り番号についての段取り替え動作を実行するために、段取り制御部327によって、後述の図17等に示す段取り替え画面700を表示部317に表示させるボタンである。段取り番号入力部415は、段取り替え動作を実行するための段取り番号を入力部303により入力する部分である。
 状態表示部421a~421fは、映像表示部401に対応する撮像装置2についての状態を示す表示部である。例えば、状態表示部421a~421fには、「未接続」、「未設定」、「設定完了」、「監視中」等の撮像装置2についての状態を示す内容が表示される。「未接続」とは、映像表示部401に対応する撮像装置2が画像処理システム1に接続されていない状態を示し、映像表示部401には映像データが表示されていない状態を示す。「未設定」とは、映像表示部401に表示されている映像データについてベース領域、トリガ領域、および検知領域等の設定がなされていない状態、すなわち、特定の段取り番号による段取り替え動作が完了していない状態を示す。「設定完了」とは、映像表示部401に表示されている映像データについてベース領域、トリガ領域、および検知領域等の設定が完了している状態、すなわち、特定の段取り番号による段取り替え動作が完了している状態を示す。「監視中」とは、特定の段取り番号により段取り替えされた設定情報に基づいて、画像判定動作(監視動作)が実行中である状態を示す。なお、状態表示部421a~421fを区別なく呼称する場合、または総称する場合、単に「状態表示部421」というものとする。
 段取り番号表示部422a~422fは、映像表示部401に対応する撮像装置2について段取り替えが完了している場合の段取り番号を表示する表示部である。なお、段取り番号表示部422a~422fを区別なく呼称する場合、または総称する場合、単に「段取り番号表示部422」というものとする。
(設定情報のディレクトリ構造)
 図5は、実施の形態に係る情報処理装置において段取り番号ごとに設定情報が管理されることを示す記憶装置におけるディレクトリ構造の一例を示す図である。図5を参照しながら、記憶部302で段取り番号ごとに設定情報を管理するためのディレクトリ構造について説明する。
 まず、図5に示すように、記憶部302は、段取り番号ごとに設定情報を記憶するためのルートフォルダが作成されており、そのルートフォルダ名は、例えば段取り番号とする。図5に示す例としては、フォルダ名(段取り番号)が「ABCD001」のルートフォルダが作成されていることを示す。
 ルートフォルダ「ABCD001」の中には、各撮像装置2についての設定情報を記憶するための設定フォルダが作成されており、その設定フォルダ名は、図5に示すように、例えば、「Setting」とする。設定フォルダ「Setting」の中には、撮像装置2ごとの設定情報を記憶するためのカメラフォルダが作成されており、そのカメラフォルダ名は、図5に示すように、例えば、撮像装置2aの設定情報を記憶するためのカメラフォルダの名称は、「CAM1」とする。具体的には、カメラフォルダ内の設定ファイルに、その撮像装置2についての設定情報が書き込まれている。なお、段取り番号ごとの設定情報は、すべての撮像装置2についての設定情報を有することに限定されるものではなく、一部の撮像装置2についての設定情報のみを有することもあり得る。例えば、段取り番号「A1234567」の設定情報は、撮像装置2b、2d、2fについての設定情報(「CAM2」、「CAM4」、「CAM6」についての設定情報)のみを有する、ということもあり得る。
 なお、図5に示した段取り番号ごとに設定情報を管理するためのディレクトリ構造は一例であり、これに限定されるものではなく、その他のデータ構造によって設定情報が管理されるものとしてもよい。
(設定画面の構成)
 図6は、実施の形態に係る情報処理装置の表示装置に表示される設定画面で映像データが表示される状態の一例を示す図である。図6および後述する図8を参照しながら、設定画面500の構成について説明する。
 設定画面500は、ベース領域、トリガ領域および検知領域の指定、ならびに、検知領域における画像判定の感度、閾値およびタイミングを設定する画面である。設定画面500は、図6に示すように、カメラ選択タブ501と、設定用映像表示部502と、再生ボタン503aと、一時停止ボタン503bと、早送りボタン503cと、早戻しボタン503dと、停止ボタン503eと、シークバー504と、スライダー505と、時刻表示部506と、領域選択タブ551と、段取り番号表示部561と、ベース領域情報部562と、削除ボタン563と、設定読出ボタン511と、設定書込ボタン512と、設定反映ボタン513と、閉じるボタン514と、を含む。
 カメラ選択タブ501は、ユーザがベース領域、トリガ領域および検知領域の指定を所望する撮像装置2a~2fの映像データのうちいずれの映像データを設定用映像表示部502に表示させるのかを選択する操作部である。例えば、撮像装置2a~2fによって撮像された映像データは、それぞれ「1」~「6」に対応付けられており、図6の例では、「6」すなわち撮像装置2fの映像データが選択された例を示している。
 設定用映像表示部502は、第1再生部304によって、ユーザにより操作される入力部303からの操作信号に従って記憶部302から取得された映像データが再生表示される表示部である。図6の例では、第1再生部304は、ユーザによる入力部303の操作により、「6」のカメラ選択タブ501が選択操作されると、撮像装置2fにより撮像された映像データを表示部317に表示させる。
 再生ボタン503aは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に表示された映像データが再生開始されるボタンである。一時停止ボタン503bは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に再生表示されている映像データが一時停止されるボタンである。早送りボタン503cは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に再生表示されている映像データが早送り表示されるボタンである。早戻しボタン503dは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に再生表示されている映像データが早戻し表示されるボタンである。停止ボタン503eは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に再生表示されている映像データが停止されるボタンである。
 シークバー504は、その上に配置されるスライダー505の位置により、設定用映像表示部502に再生表示されている映像データがどの時間のものなのかを示す棒状の形状体である。スライダー505は、設定用映像表示部502に再生表示されている映像データの撮像時刻(表示されているフレームが撮像された時刻)に対応したシークバー504上の位置にスライドする形状体かつ操作部である。逆に、スライダー505は、ユーザによる入力部303の操作によってスライドされると、第1再生部304によって、スライダー505が存在するシークバー504上の位置に対応した撮像時刻の映像データのフレームが設定用映像表示部502に表示される。
 時刻表示部506は、第1再生部304によって、設定用映像表示部502に再生表示されている映像データの撮像日付および撮像時刻を表示する表示部である。
 領域選択タブ551は、ベース領域を設定するためのタブと、トリガ領域および検知領域を設定するためのタブとによって構成されている。例えば、図6に示す設定画面500は、ユーザによる入力部303の操作によって、ベース領域を設定するためのタブが選択された状態を示す。一方、後述する図8に示す設定画面500は、ユーザによる入力部303の操作によってトリガ領域および検知領域を設定するためのタブが選択された状態を示す。
 段取り番号表示部561は、上述のメイン画面400の段取り番号入力部415に操作入力された段取り番号を表示する表示部である。ベース領域情報部562は、ベース領域指定部331により指定されたベース領域の名称、および指定されたベース領域の大きさを表示する表示部である。削除ボタン563の機能は、後述する。
 設定読出ボタン511は、ユーザによる入力部303の操作によって押下されると、設定部308によって、記憶部302に記憶された、段取り番号表示部561に表示された段取り番号に対応するベース領域、トリガ領域および検知領域の情報等の設定情報が読み出され、設定画面500の各表示部に設定情報が表示されるボタンである。設定書込ボタン512は、ユーザによる入力部303の操作によって押下されると、設定部308によって、設定画面500上で設定されたベース領域、トリガ領域および検知領域の情報等の設定情報が、段取り番号表示部561に表示された段取り番号に関連付けられて記憶部302に記憶されるボタンである。設定反映ボタン513は、ユーザによる入力部303の操作によって押下されると、設定部308によって、設定画面500上で設定されたベース領域、トリガ領域および検知領域の情報等の設定情報が、メイン画面400および設定画面500等のアプリケーションが閉じられるまで有効とされる(例えば、RAM103に一時記憶される)ボタンである。
 閉じるボタン514は、ユーザによる入力部303の操作によって押下されると、設定部308によって、設定画面500が閉じられ、メイン画面400を表示部317に表示させるボタンである。
 後述する図8に示す設定画面500は、上述のように、トリガ領域および検知領域を設定するためのタブが選択された状態を示し、段取り番号表示部515と、トリガ領域情報部507と、基準画像表示部508aと、差分画像表示部508bと、検知領域情報部509と、検知領域ボタン部510と、を有する。
 段取り番号表示部515は、上述のメイン画面400の段取り番号入力部415に操作入力された段取り番号を表示する表示部である。
 トリガ領域情報部507は、トリガ領域指定部305により指定されたトリガ領域の名称、ならびに、変化点検出部306が上述の変化点を検出するための感度および閾値を表示する表示部である。基準画像表示部508aは、変化点検出部306により抽出されたトリガ基準画像を表示する表示部である。差分画像表示部508bは、変化点検出部306により抽出された差分画像(後述)を表示する表示部である。
 検知領域情報部509は、検知領域指定部307により指定された検知領域の名称、感度、閾値、検知遅延時間(図8では「遅延時間」と表記)、監視方法(図8では「監視」と表記)、アクションの有無(図8では「アクション」と表記)、および画像判定の方法(図8では「画像判定」と表記)(以下、検知領域についてのこれらの情報を属性情報という)を表示する表示部かつ選択操作部である。
 検知領域ボタン部510は、検知領域指定部307により指定され、検知領域情報部509に表示された検知領域についての属性情報を編集するボタン群である。検知領域ボタン部510は、アクションボタン510aと、画像判定選択ボタン510bと、削除ボタン510cと、感度増加ボタン510eと、感度減少ボタン510fと、閾値増加ボタン510gと、閾値減少ボタン510hと、を含む。検知領域ボタン部510の各ボタンの機能は、後述する。
(ベース領域の指定)
 図7は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部にベース領域を指定する例を示す図である。図7を参照しながら、ベース領域の指定について説明する。
 図7に示す設定画面500は、第1再生部304により映像データが再生表示されている設定用映像表示部502においてベース領域570が指定された状態を示している。具体的には、まず、設定用映像表示部502において映像データの再生表示中に、ベース基準画像としての扱いを所望する部分が表示されているタイミングで、ユーザによる入力部303の操作によって一時停止ボタン503bが押下されると、第1再生部304は、設定用映像表示部502に再生表示されている映像データを一時停止し、その時点のフレームの撮像日付および撮像時刻を時刻表示部506に表示させる。次に、ユーザによる入力部303の操作(例えば、マウス108のドラッグ操作)によって、ベース領域指定部331は、設定用映像表示部502においてベース領域570を指定して表示させる。
 また、設定部308は、ベース領域570の情報として、ベース領域指定部331により指定されたベース領域570に命名した名前、および、ベース領域570の大きさを、ベース領域情報部562に表示させる。設定部308は、ベース領域570の名前として、図7に示すように、例えば、「BASE」と命名する。また、ベース領域指定部331は、段取り番号表示部561に表示された段取り番号に関連付けて、ベース領域570を指定した時刻の設定用映像表示部502に表示されているフレーム(画像)を基準静止画像として、さらに、基準静止画像におけるベース領域570内の画像をベース基準画像として抽出して記憶部302に記憶させ、指定したベース領域570の情報を記憶部302に記憶させる。
(トリガ領域の指定および変化点の検出)
 図8は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部にトリガ領域を指定する例を示す図である。図9は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が見つかった場合のマーク表示の一例を示す図である。図10は、トリガ領域における変化点を検出する動作を説明する図である。図11は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が2点見つかった場合に表示されるダイアログの一例を示す図である。図12は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が見つからなかった場合に表示されるダイアログの一例を示す図である。図8~12を参照しながら、トリガ領域の指定および変化点の検出について説明する。
 図8に示す設定画面500は、第1再生部304により映像データが再生表示されている設定用映像表示部502においてトリガ領域530が指定された状態を示している。具体的には、まず、設定用映像表示部502において映像データの再生表示中に、トリガの発生の基となる所望する画像の部分が表示されているタイミングで、ユーザによる入力部303の操作によって一時停止ボタン503bが押下されると、第1再生部304は、設定用映像表示部502に再生表示されている映像データを一時停止し、その時点のフレームの撮像日付および撮像時刻を時刻表示部506に表示させる。
 次に、ユーザによる入力部303の操作(例えば、マウス108のドラッグ操作)によって、トリガ領域指定部305は、設定用映像表示部502においてトリガ領域530(判定領域)を指定して表示させる。ただし、トリガ領域指定部305が、トリガ領域530を指定するには、ベース領域指定部331によってベース領域が指定されている必要がある。これは、トリガ領域指定部305により指定されるトリガ領域530の位置は、ベース領域指定部331により指定されたベース領域との相対位置で扱われるためである。すなわち、トリガ領域指定部305により指定されたトリガ領域530は、ベース領域指定部331により指定されたベース領域と関連付けられる。
 図9に示す設定画面500は、変化点検出部306によって、トリガ領域指定部305により指定されたトリガ領域530において変化点が検出された場合の状態を示している。具体的には、変化点検出部306は、まず、トリガ領域指定部305によりトリガ領域530が指定された場合、指定された時点で第1再生部304が再生表示している映像データのフレームの撮像時刻の前後の所定時間(例えば前後2分間)分のフレームを取得し、トリガ領域530が指定された時刻のトリガ領域530内の画像をトリガ基準画像として抽出する。ここで、変化点とは、トリガ生成部313がトリガ信号を生成するタイミングの基準とするための、トリガ領域530内の画像の所定の変化を帯びた時点をいう。以下、変化点検出部306による具体的な変化点の検出方法について説明する。
 変化点検出部306は、図10(a)に示すように、所定時間分のフレームとして13個のフレーム(フレーム(0)~フレーム(12))を取得したものとする。この場合、変化点検出部306によって、フレーム(6)を真中として、その前後の所定時間分のフレームが取得されたことになる。また、説明を簡略にするため、各フレームにおけるトリガ領域530に対応する部分の画像についても、それぞれフレーム(0)~フレーム(12)と称するものとする。そして、変化点検出部306は、取得したフレームにおいて、フレームごとに直前のフレームとの画素値についての差分を演算する。差分の演算方法については、上述した通りである。変化点検出部306が図10(a)に例示したフレームを抽出し、フレームごとに演算した差分を時系列に表したグラフが、図10(b)に示すグラフである。図10(b)において、例えば、フレーム(1)の差分は、フレーム(1)と、その直前のフレームであるフレーム(0)との差分を示す。ここで、変化点としてのIN点およびOUT点を次のように定義する。すなわち、IN点とは、連続するフレームにおいて、トリガ領域530内の画像が変化し始めた時点とする。また、OUT点とは、連続するフレームにおいて、トリガ領域530内の画像の変化がおさまり始めた時点とする。なお、変化点検出部306は、取得したフレームにおいて、フレームごとに直前のフレームとの差分を演算するものとしたが、直前のフレームに限定されるものではなく、例えば、フレームごとに、数フレーム前のフレームとの差分を演算するものとしてもよい。
 変化点検出部306は、フレームごとに演算した差分に基づいて、IN点の候補、およびOUT点の候補を見つける。具体的には、変化点検出部306は、演算した差分が2フレーム分以上連続して所定の閾値以上となった場合、最初に差分が所定の閾値以上となったフレームをIN点の候補のフレームとする。図10(b)の例では、フレーム(1)の差分は閾値未満、フレーム(2)の差分は閾値以上となり、そして、フレーム(3)の差分も閾値以上となり、フレーム(2)および(3)の2フレーム分の差分が閾値以上となるので、最初に差分が閾値以上となったフレーム(2)がIN点の候補のフレームとなる。同様に、フレーム(7)もIN点の候補のフレームとなる。また、2フレーム分以上連続ではなく、1フレーム分のみの差分が閾値以上となった場合は、ノイズの可能性があるので、そのフレームはIN点の候補のフレームとしない。
 一方、変化点検出部306は、演算した差分が2フレーム分以上連続して所定の閾値未満となった場合、最初に差分が所定の閾値未満となったフレームをOUT点の候補のフレームとする。図10(b)の例では、フレーム(4)の差分は閾値以上、フレーム(5)の差分は閾値未満、そして、フレーム(6)の差分も閾値未満となり、フレーム(5)および(6)の2フレーム分の差分が閾値未満となるので、最初に差分が閾値未満となったフレーム(5)がOUT点の候補のフレームとなる。ここで、フレーム(12)は、差分が所定の閾値未満となっているが、後に続くフレーム(13)は、変化点検出部306が抽出したフレーム以外のフレームであるので、OUT点の候補のフレームとしない。また、2フレーム分以上連続ではなく、1フレーム分のみの差分が閾値未満となった場合は、ノイズの可能性があるので、そのフレームはOUT点の候補のフレームとしない。
 以上のように、変化点検出部306は、図10の例では、IN点の候補のフレームとしてフレーム(2)および(7)を特定し、OUT点の候補のフレームとしてフレーム(5)を特定する。このように、変化点検出部306は、IN点の候補のフレームが複数特定された場合、取得したフレームの真中のフレーム(6)に最も近いフレーム、すなわちフレーム(7)をIN点のフレームに決定する。なお、図10の例では、OUT点の候補のフレームとして、1つのフレーム(フレーム(5))のみ特定されているが、IN点の候補と同様に、複数のフレームがOUT点の候補のフレームとして特定される場合もある。このように、OUT点の候補のフレームが複数特定された場合、変化点検出部306は、IN点の候補と同様に、取得したフレームの真中のフレーム(6)に最も近いフレームをOUT点のフレームに決定する。図10の例では、OUT点の候補のフレームはフレーム(5)のみなので、変化点検出部306は、フレーム(5)をOUT点のフレームに決定する。以上のように、変化点検出部306は、取得した所定時間分のフレームから、IN点のフレームおよびOUT点のフレームを決定することにより、変化点(IN点およびOUT点)を検出する。
 なお、変化点検出部306は、変化点を検出した場合、変化点のフレームの前のフレーム、もしくは後のフレーム、または前後のフレームを用いて、トリガ領域530内の動体検知を行い、どの方向から動体が入ってきたのかを示すベクトル情報を記憶部302に記憶させるものとしてもよい。この場合、トリガ生成部313は、記憶部302に記憶されたベクトル情報を用いて、動体がベクトル情報の示す方向と同一の方向から動いてきたか否かを確認し、その確認結果に基づいてトリガ信号を生成するものとしてもよい。
 また、変化点検出部306によるトリガ領域530における変化点の検出方法は、上述の方法に限定されるものではなく、トリガを発生させるタイミングを規定する変化点であれば、どのように変化点を検出してもよい。
 また、上述のように、変化点検出部306は、差分が2フレーム分以上連続して所定の閾値以上となった場合、最初に差分が所定の閾値以上となったフレームをIN点の候補のフレームとするものとしているが、これに限定されるものではない。すなわち、差分が2フレーム分以上連続ではなく、その他の数以上のフレームが連続して所定の閾値以上となった場合としてもよい。これは、OUT点の候補のフレームを見つける場合についても同様である。
 また、図10では、IN点およびOUT点の双方のフレームが見つかる例を示したが、変化点検出部306は、IN点のフレームのみ、または、OUT点のフレームのみを見つける場合もあり、この場合は、これらのIN点またはOUT点を変化点として検出する。この場合、変化点検出部306は、検出した変化点のフレームのトリガ領域530内の画像を差分画像として抽出する。変化点検出部306は、抽出したトリガ基準画像、および変化点のフレームにおける差分画像を記憶部302に記憶させ、トリガ基準画像を基準画像表示部508aに表示させ、差分画像を差分画像表示部508bに表示させる。さらに、変化点検出部306は、シークバー504において、検出した変化点のフレームの時刻に対応する部分にトリガマーク540を表示する。また、変化点検出部306により変化点が検出された場合、トリガ領域指定部305は、段取り番号表示部515に表示された段取り番号に関連付けて、指定したトリガ領域530の情報を記憶部302に記憶させる。なお、ここで記憶部302により記憶されるトリガ領域530の情報は、例えば、ベース領域570との相対位置を示す情報、およびトリガ領域530の形状等の情報である。また、設定部308は、トリガ領域指定部305により指定されたトリガ領域530に命名した名前、ならびに、変化点検出部306の変化点の検出に利用された所定の感度(例えば、「50」)および所定の閾値(例えば、「20%」)(デフォルト値)を、トリガ領域情報部507に表示させる。設定部308は、トリガ領域530の名前として、図8に示すように、例えば、「6」の撮像装置(撮像装置2f)の映像データに対して指定されたトリガ領域であるものとして、「TR6」と命名する。
 図11に示す設定画面500は、変化点検出部306によって、トリガ領域指定部305により指定されたトリガ領域530において変化点が上述のように2つ(IN点およびOUT点)検出された場合に、変化点選択ダイアログ600が表示された状態を示している。このように、変化点検出部306は、変化点を2つ以上検出した場合、基準画像を抽出した時点に最も近い2つの変化点(IN点およびOUT点)のうちいずれをトリガの生成のために利用するかを選択するための変化点選択ダイアログ600を表示部317に表示させる。変化点選択ダイアログ600は、はいボタン601と、いいえボタン602と、閉じるボタン603と、を含む。閉じるボタン603は、変化点選択ダイアログ600を閉じるためのボタンである。
 ユーザによる入力部303の操作によって、はいボタン601を押下した場合、変化点検出部306は、IN点を変化点として検出し、IN点のフレームのトリガ領域530内の画像を差分画像として抽出する。そして、変化点検出部306は、段取り番号表示部515に表示された段取り番号に関連付けて、抽出したトリガ基準画像、およびIN点のフレームにおける差分画像を記憶部302に記憶させ、トリガ基準画像を基準画像表示部508aに表示させ、差分画像を差分画像表示部508bに表示させる。さらに、変化点検出部306は、シークバー504において、検出したIN点のフレームの時刻に対応する部分にトリガマーク540を表示する。
 一方、ユーザによる入力部303の操作によって、いいえボタン602を押下した場合、変化点検出部306は、OUT点を変化点として検出し、OUT点のフレームのトリガ領域530内の画像を差分画像として抽出する。そして、変化点検出部306は、段取り番号表示部515に表示された段取り番号に関連付けて、抽出したトリガ基準画像、およびOUT点のフレームにおける差分画像を記憶部302に記憶させ、トリガ基準画像を基準画像表示部508aに表示させ、差分画像を差分画像表示部508bに表示させる。さらに、変化点検出部306は、シークバー504において、検出したOUT点のフレームの時刻に対応する部分にトリガマーク540を表示する。その他の動作は、図9で上述した動作と同様である。
 このように、変化点検出部306により変化点としてIN点およびOUT点が検出され、ユーザにより2つの変化点のいずれかを選択できるようにすることにより、ユーザが真に指定を所望する変化点を選択させることができる。
 図12に示す設定画面500は、変化点検出部306によって、トリガ領域指定部305により指定されたトリガ領域530において変化点が見つからなかった場合に、変化点無し通知ダイアログ610が表示された状態を示している。変化点検出部306は、上述の図10で説明した動作において、演算した差分が所定の閾値以上とならず、変化点が検出できない場合がある。この場合、変化点検出部306は、変化点が見つからなかった旨を示す変化点無し通知ダイアログ610を表示部317に表示させる。
 変化点無し通知ダイアログ610は、OKボタン611と、閉じるボタン612と、を含む。閉じるボタン612は、変化点無し通知ダイアログ610を閉じるためのボタンである。ユーザによる入力部303の操作によって、OKボタン611を押下した場合、変化点検出部306は、記憶部302に何の情報も記憶せず、基準画像表示部508aおよび差分画像表示部508bにも画像を表示させずに、変化点無し通知ダイアログ610を閉じる。
(検知領域の指定および検知領域の属性情報の設定)
 図13は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に検知領域を指定する例を示す図である。図14は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に2つ目の検知領域を指定する例を示す図である。図15は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部で指定した検知領域の属性情報を設定する例を示す図である。図13~15を参照しながら、検知領域の指定および検知領域の属性情報の設定について説明する。
 図13に示す設定画面500は、第1再生部304により映像データが再生表示されている設定用映像表示部502において検知領域535が指定された状態を示している。具体的には、まず、設定用映像表示部502において映像データの再生表示中に、画像判定を所望する画像の部分が表示されているタイミングで、ユーザによる入力部303の操作によって一時停止ボタン503bが押下されると、第1再生部304は、設定用映像表示部502に再生表示されている映像データを一時停止し、その時点のフレームの撮像日付および撮像時刻を時刻表示部506に表示させる。
 次に、ユーザによる入力部303の操作(例えば、マウス108のドラッグ操作)によって、検知領域指定部307は、設定用映像表示部502において検知領域535(判定領域)を指定して表示させる。ただし、検知領域指定部307が、検知領域535を指定できるのは、トリガ領域情報部507において、トリガ領域指定部305により指定されたトリガ領域が選択(図13の例では「TR6」)されている必要がある。すなわち、検知領域指定部307により指定された検知領域535は、トリガ領域情報部507において選択されたトリガ領域と関連付けられる。
 また、設定部308は、検知領域535の属性情報として、検知領域指定部307により指定された検知領域535に命名した名前、ならびに、デフォルト値として、後述する画像判定で使用する所定の感度(例えば、「50」)、所定の閾値(例えば、「20%」)、監視方法(例えば、「グレースケール」)、アクションの有無(例えば、「なし」)および画像判定の方法(例えば、「一致」)を、検知領域情報部509に表示させる。設定部308は、検知領域535の名前として、図13に示すように、例えば、トリガ領域「TR6」に関連付けられた1番目の領域であるものとして、「K61」と命名する。また、設定部308は、変化点検出部306によって検出された変化点の時刻に対して、検知領域指定部307により検知領域535が指定された時点のフレームの時刻の遅延時間(図13の例では「2.14」)を属性情報として算出して、検知領域情報部509に表示させる。すなわち、この場合、「K61」と命名された検知領域535では、トリガのタイミングから「2.14」秒後に画像判定が行われるように設定されたことになる。また、設定部308は、段取り番号表示部515に表示された段取り番号に関連付けて、検知領域情報部509に表示させた検知領域535の属性情報を記憶部302に記憶させる。
 また、検知領域指定部307は、段取り番号表示部515に表示された段取り番号に関連付けて、検知領域535を指定した時刻の検知領域535内の画像を検知基準画像として抽出して記憶部302に記憶させ、指定した検知領域535の情報を記憶部302に記憶させる。なお、ここで記憶部302により記憶される検知領域535の情報は、例えば、ベース領域570との相対位置を示す情報、および検知領域535の形状等の情報である。
 図14に示す設定画面500は、第1再生部304により映像データが再生表示されている設定用映像表示部502において2つ目の検知領域である検知領域536が指定された状態を示している。具体的には、まず、設定用映像表示部502において映像データの再生表示(一時停止)中に、ユーザによる入力部303の操作によってシークバー504のスライダー505をスライドさせて、画像判定を所望する画像の部分が表示されているタイミングに調整する。第1再生部304は、設定用映像表示部502に一時停止されている映像データのフレームの撮像日付および撮像時刻を時刻表示部506に表示させる。
 次に、ユーザによる入力部303の操作(例えば、マウス108のドラッグ操作)によって、検知領域指定部307は、設定用映像表示部502において2つ目の検知領域である検知領域536(判定領域)を指定して表示させる。ただし、検知領域指定部307が、検知領域536を指定できるのは、検知領域535の指定の場合と同様に、トリガ領域情報部507において、トリガ領域指定部305により指定されたトリガ領域が選択(図14の例では「TR6」)されている必要がある。すなわち、検知領域指定部307により指定された検知領域536は、トリガ領域情報部507において選択されたトリガ領域と関連付けられる。
 また、設定部308は、検知領域536の属性情報として、検知領域指定部307により指定された検知領域536に命名した名前、ならびに、デフォルト値として、後述する画像判定で使用する所定の感度(例えば、「50」)、所定の閾値(例えば、「20%」)、監視方法(例えば、「グレースケール」)、アクションの有無(例えば、「なし」)および画像判定の方法(例えば、「一致」)を、検知領域情報部509に表示させる。設定部308は、検知領域536の名前として、図14に示すように、例えば、検知領域「TR6」に関連付けられた2番目の領域であるものとして、「K62」と命名する。また、設定部308は、変化点検出部306によって検出された変化点の時刻に対して、検知領域指定部307により検知領域536が指定された時点のフレームの時刻の遅延時間(図14の例では「-1.86」)を属性情報として算出して、検知領域情報部509に表示させる。すなわち、この場合、「K62」と命名された検知領域535では、トリガのタイミングから「1.86」秒前に画像判定が行われるように設定されたことになる。また、設定部308は、段取り番号表示部515に表示された段取り番号に関連付けて、検知領域情報部509に表示させた検知領域536の属性情報を、記憶部302に記憶させる。
 また、検知領域指定部307は、段取り番号表示部515に表示された段取り番号に関連付けて、検知領域536を指定した時刻の検知領域536内の画像を検知基準画像として抽出して記憶部302に記憶させ、指定した検知領域536の情報を記憶部302に記憶させる。
 図15に示す設定画面500は、検知領域情報部509に属性情報が表示された検知領域「K61」(検知領域535)、「K62」(検知領域536)のうち「K62」が選択された状態を示している。図15を参照しながら、検知領域の属性情報の編集について説明する。
 まず、図15に示すように、ユーザによる入力部303の操作によって、検知領域情報部509に属性情報が表示された検知領域のいずれかを選択すると、設定部308は、選択された検知領域情報部509の検知領域の属性情報の表示部分を反転表示させる。以下、図15に示すように検知領域536(検知領域名「K62」)が選択されたものとして説明する。
 次に、例えば、ユーザによる入力部303の操作によって、アクションボタン510aを押下すると、設定部308は、選択された検知領域536のアクションの有無の設定値を切り替える。例えば、検知領域536のアクションの有無が「なし」となっている場合、アクションボタン510aが押下されると、設定部308は、検知領域536のアクションの有無を「あり」に設定する。一方、検知領域536のアクションの有無が「あり」となっている場合、アクションボタン510aが押下されると、設定部308は、検知領域536のアクションの有無を「なし」に設定する。後述するように、アクションの有無が「あり」となっている場合、検知領域判定部314によってその検知領域における画像判定で異常と判定された場合、外部出力部316が異常信号を出力する。
 また、例えば、ユーザによる入力部303の操作によって、画像判定選択ボタン510bを押下すると、設定部308は、選択された検知領域536の画像判定の方法の設定値を切り替える。例えば、検知領域536の画像判定の方法が「一致」となっている場合、画像判定選択ボタン510bが押下されると、設定部308は、検知領域536の画像判定の方法を「不一致」に設定する。一方、検知領域536の画像判定の方法が「不一致」となっている場合、画像判定選択ボタン510bが押下されると、設定部308は、検知領域536の画像判定の方法を「一致」に設定する。
 後述するように、画像判定の方法が「一致」となっている場合、検知領域判定部314は、抽出した画像と、検知基準画像との差分が属性情報の閾値以上の場合、異常と判定する。このように、画像判定の方法が「一致」とする場合の例としては、ワークに部品を挿入する設備において、部品がワークに挿入されている状態を検知基準画像とし、ワークへの部品の挿入動作が終了したタイミングで画像判定する場合が挙げられる。この場合、ワークへの部品の挿入動作が失敗し、正常に部品が挿入されていない状態で検知領域判定部314により画像判定が実行されると、検知基準画像との差分が属性情報の閾値以上となり、異常と判定されることになる。
 一方、画像判定の方法が「不一致」となっている場合、検知領域判定部314は、抽出した画像と、検知基準画像との差分が属性情報の閾値未満の場合、異常と判定する。このように、画像判定の方法が「不一致」とする場合の例としては、ワークに部品を挿入する設備において、部品がワークに挿入されていない状態を検知基準画像とし、ワークへの部品の挿入動作が終了したタイミングで画像判定する場合が挙げられる。この場合、ワークへの部品の挿入動作が失敗し、正常に部品が挿入されていない状態で検知領域判定部314により画像判定が実行されると、検知基準画像との差分が属性情報の閾値未満となり、異常と判定されることになる。なお、部品がワークに挿入されていない状態を検知基準画像とする事情としては、完成品としての部品が挿入されたワークを準備するのが困難である場合等が挙げられる。
 また、例えば、ユーザによる入力部303の操作によって、削除ボタン510cを押下すると、設定部308は、検知領域情報部509に表示された検知領域536の属性情報を消去し、記憶部302に記憶された検知領域536の属性情報を削除する。また、検知領域指定部307は、設定用映像表示部502に表示された検知領域536を消去し、記憶部302に記憶された検知基準画像および検知領域536の情報を削除する。
 また、例えば、ユーザによる入力部303の操作によって、感度増加ボタン510eを押下すると、設定部308は、選択された検知領域536の画像判定に用いられる感度の値を所定値だけ増加させる。一方、ユーザによる入力部303の操作によって、感度減少ボタン510fを押下すると、設定部308は、選択された検知領域536の画像判定に用いられる感度の値を所定値だけ減少させる。
 また、例えば、ユーザによる入力部303の操作によって、閾値増加ボタン510gを押下すると、設定部308は、選択された検知領域536の画像判定に用いられる閾値の値を所定値だけ増加させる。一方、ユーザによる入力部303の操作によって、閾値減少ボタン510hを押下すると、設定部308は、選択された検知領域536の画像判定に用いられる閾値の値を所定値だけ減少させる。
(段取り替え動作)
<段取り番号の指定>
 図16は、実施の形態に係る情報処理装置の表示装置に表示されるメイン画面において指定した段取り番号が検索できなかった場合に表示されるダイアログの一例を示す図である。図16を参照しながら、メイン画面400において、段取り替え動作時に段取り番号を指定する動作について説明する。
 図16に示すメイン画面400は、ユーザによる入力部303の操作(例えば、キーボード107の入力操作)によって、段取り番号入力部415に段取り番号「F9876543」が入力された状態を示している。具体的には、まず、ユーザは、段取り替えを所望する撮像装置2を特定し、入力部303の操作によって、段取り替えを行う設定情報に対応する段取り番号を段取り番号入力部415に入力する。そして、ユーザは、入力部303の操作によって、段取り替えボタン414を押下する。
 入力部303の操作により段取り替えボタン414が押下されると、段取り制御部327は、段取り番号入力部415に入力された段取り番号に対応する設定情報が、記憶部302に記憶されているか否かを検索する。具体的には、段取り制御部327は、上述の図5に示した設定情報のディレクトリ構造に、段取り番号入力部415に入力された段取り番号の名前のルートフォルダが存在するか否かを確認する。
 図16に示すメイン画面400は、また、段取り番号入力部415に入力された段取り番号に対応する設定情報が記憶部302に記憶されていない場合に、記憶されてないことを示す段取り番号無し通知ダイアログ620が表示された状態を示している。段取り制御部327は、段取り番号に対応する設定情報が記憶部302に記憶されていない場合、段取り番号無し通知ダイアログ620を表示させる。
 段取り番号無し通知ダイアログ620は、OKボタン621と、閉じるボタン622と、を含む。閉じるボタン622は、段取り番号無し通知ダイアログ620を閉じるためのボタンである。ユーザによる入力部303の操作によって、OKボタン621が押下された場合、段取り制御部327は、後述する段取り替え画面700を表示させずに、段取り番号無し通知ダイアログ620を閉じる。
 一方、段取り制御部327は、段取り番号に対応する設定情報が記憶部302に記憶されている場合、メイン画面400から、後述する段取り替え画面700に遷移させる。
 なお、段取り番号入力部415の段取り番号は、入力部303により入力されるものとしたが、これに限定されるものではなく、例えば、アプリケーションが起動した場合に、段取り制御部327が、記憶部302に記憶されている設定情報が格納されたルートフォルダの名称(段取り番号)を抽出し、段取り番号入力部415にプルダウン表示するものとしてもよい。この場合、ユーザは、入力部303により段取り番号をすべて入力する必要はなく、表示されたプルダウンから所望の段取り番号を選択操作すればよい。また、情報処理装置3にバーコードリーダが接続されており、段取り番号がエンコードされたバーコードを読み取ることによって、段取り番号が段取り番号入力部415に入力されるものとしてもよい。
<撮像装置静止後のマッチング動作>
 図17は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面において基準静止画像およびリアルタイム映像が表示される状態の一例を示す図である。図18は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面において基準静止画像に合せたリアルタイム映像となるようにカメラを設置した状態の一例を示す図である。図19は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面におけるリアルタイム映像におけるマッチング動作中に表示されるダイアログの一例を示す図である。図20は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面におけるリアルタイム映像においてマッチングできなかった場合の状態の一例を示す図である。図21は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面におけるリアルタイム映像において他の設定領域が表示枠をはみ出した場合の状態の一例を示す図である。図17~21を参照しながら、段取り替え画面700において、撮像装置2を設置位置に静止させた場合に自動起動するマッチング動作について説明する。
 図17に示すように、段取り替え画面700は、段取り番号表示部701と、基準画像表示部702aと、抽出画像表示部702bと、基準静止画像表示部703a(第1表示領域)と、リアルタイム映像表示部703b(第2表示領域)と、作業指示表示部704と、作業進捗表示部705と、カメラ実施状況表示部706と、中止ボタン707と、を含む。
 段取り番号表示部701は、上述のメイン画面400の段取り番号入力部415に操作入力された段取り番号を表示する表示部である。
 基準画像表示部702aは、画像抽出部324によって記憶部302から読み出された、段取り番号に対応するベース基準画像を表示する表示部である。抽出画像表示部702bは、画像抽出部324によって、リアルタイム映像表示部703bに表示されるリアルタイムの映像データのフレームから仮ベース領域802内の画像として抽出された抽出画像を表示する表示部である。
 基準静止画像表示部703aは、画像抽出部324によって記憶部302から読み出された、段取り番号に対応する基準静止画像を表示する表示部である。リアルタイム映像表示部703bは、映像表示部322によって、段取り替え動作の対象となる撮像装置2のリアルタイムの映像データが表示される表示部である。
 作業指示表示部704は、段取り替え動作において、段取り替えの段階に応じたメッセージ情報を表示する表示部である。作業進捗表示部705は、段取り替え動作の進捗状況を示す表示部である。カメラ実施状況表示部706は、段取り番号表示部701に表示されている段取り番号に関連付けられた撮像装置2の段取り替え動作の実施状態を示す表示部である。
 中止ボタン707は、ユーザによる入力部303の操作によって押下されると、段取り制御部327によって、段取り替え動作が中止され、段取り替え画面700からメイン画面400に遷移されるボタンである。
 図17に示す段取り替え画面700は、段取り制御部327によって、メイン画面400の段取り番号入力部415に入力された段取り番号に対応する設定情報が記憶部302に記憶されていると判定された場合に、メイン画面400から遷移された状態を示している。このとき、段取り番号表示部701には、段取り制御部327によって、メイン画面400の段取り番号入力部415に操作入力された段取り番号が表示される。
 基準画像表示部702aには、画像抽出部324によって、記憶部302から読み出された、段取り番号表示部701に表示された段取り番号(以降、段取り替え動作の説明においては、単に「段取り番号」と称するものとする)に対応するベース基準画像が表示される。また、基準静止画像表示部703aには、画像抽出部324によって、記憶部302から読み出された、段取り番号に対応する基準静止画像が表示される。また、リアルタイム映像表示部703bには、映像表示部322によって、段取り替え動作の対象となる撮像装置2(図17では、「CAM6」すなわち撮像装置2f)のリアルタイムの映像データが表示される。さらに、抽出画像表示部702bには、画像抽出部324によって、リアルタイム映像表示部703bに表示されるリアルタイムの映像データのフレームから仮ベース領域802内の画像として抽出された抽出画像が表示される。
 基準静止画像表示部703aには、ベース領域特定部323によって、基準静止画像に重畳して、ベース領域指定部331により指定されたベース領域570に対応する位置に第1ベース領域801(第1基準領域)が表示される。基準静止画像における第1ベース領域801内の画像が、ベース基準画像に相当する。
 リアルタイム映像表示部703bには、ベース領域特定部323によって、基準静止画像表示部703aにおける第1ベース領域801の位置に相当する位置に仮ベース領域802が表示される。リアルタイム映像表示部703bに表示される映像データにおける仮ベース領域802内の画像が、抽出画像に相当する。
 カメラ実施状況表示部706には、メッセージ制御部321によって、段取り番号(図17では「A1234567」)に関連付けられた撮像装置2(「CAM6」である撮像装置2f、「CAM2」である撮像装置2b、および「CAM4」である撮像装置2d)に対する段取り替えが未実施であることが示されている。段取り替え動作の対象を単に撮像装置2と表現して説明する。
 図17に示すように、リアルタイム映像表示部703bに表示される映像データのフレームは、基準静止画像表示部703aに表示された基準静止画像と異なるので、撮像装置2の設置位置を変更する必要がある。そこで、メッセージ制御部321は、作業指示表示部704に、段取り替えの対象となる撮像装置2の位置を調整するように促すメッセージ情報を表示させ、作業進捗表示部705に、段取り替え動作の作業進捗が「1.カメラを基準に合うように調整」の段階であること表示させる。
 図18に示す段取り替え画面700は、ユーザによって、段取り替えの対象となる撮像装置2の位置が、基準静止画像で示される位置の近傍に調整された状態を示している。ユーザが撮像装置2の位置を調整する間、映像表示部322は、リアルタイム映像表示部703bに表示されるリアルタイムの映像データのフレームから抽出画像(仮ベース領域802内の画像)を抽出して、抽出画像表示部702bに表示させる。ユーザによって、段取り替えの対象となる撮像装置2の位置が、基準静止画像で示される位置の近傍に調整された結果、図18に示すように、基準静止画像表示部703aに表示された基準静止画像と、リアルタイム映像表示部703bに表示された映像データのフレームとは、大体一致している。
 ユーザによって、撮像装置2が、図18に示すような位置に移動され、静止判定部325によって、撮像装置2が静止しているか否かの判定が実行される。静止判定部325によって、撮像装置2が静止していると判定されると、ベース領域特定部323は、リアルタイム映像表示部703bに表示された映像データのフレームにおいて、ベース基準画像と一致する画像を探索(サーチ)するマッチング動作(第1マッチング動作)を実行する。ここで、マッチング動作の対象となるリアルタイム映像表示部703bの映像データのフレームとしては、例えば、静止判定部325によって撮像装置2が静止していると判定された時点でのフレームとすればよい。ここで、「一致する」とは、完全に一致する場合だけではなく、一致しているとみなせる程度に近似している状態も含む。なお、ベース領域特定部323は、リアルタイム映像表示部703bに表示されたフレーム全体に対してマッチング動作を実行することに限定されるものではなく、例えば、表示されている仮ベース領域802(この時点では、第1ベース領域801に対応する位置に表示)の上下左右の所定のピクセル(例えば、30ピクセル)の範囲でマッチング動作を実行するものとしてもよい。また、マッチング動作の方法としては、周知のテンプレートマッチングの方法であればよく、例えば、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)、NCC(Normalized Cross-Correlation)またはPOC(Phase-Only Correlation)等が適用できる。
 上述の静止判定部325による撮像装置2が静止しているか否かの判定、すなわち、リアルタイム映像表示部703bに表示されているリアルタイムの映像データが静止しているか否かの判定は、例えば、以下の方法で行う。まず、静止判定部325は、リアルタイムの映像データの各フレームをグレースケール化して、画素値が、例えば、0~255の値の輝度値で構成されるようにする。次に、静止判定部325は、リアルタイムの映像データの前後のフレームの輝度値の差分を、対応する各画素で算出する。次に、静止判定部325は、算出した各画素の輝度値の差分について、所定値(例えば、30)以下の差分に対応する画素が画像全体の所定の割合(例えば、95%)より大きい場合、前後のフレームは同一であると判定する。そして、静止判定部325は、前後のフレームが同一であると判定する動作が所定時間(例えば、2秒)継続した場合、リアルタイム映像表示部703bに表示されているリアルタイムの映像データが静止していると判定する。
 図19に示す段取り替え画面700は、静止判定部325により撮像装置2が静止していると判定された場合に、ベース領域特定部323によるマッチング動作が実行され、サーチ進捗ダイアログ630が表示された状態を示している。具体的には、ベース領域特定部323は、静止判定部325によって撮像装置2が静止していると判定されると、サーチ進捗ダイアログ630を表示させ、上述のマッチング動作を実行する。サーチ進捗ダイアログ630は、マッチング動作の進捗状況を示すプログレスバーを表示するダイアログである。また、メッセージ制御部321は、ベース領域特定部323によるマッチング動作が実行されている間、作業指示表示部704に、マッチング動作が実行されている旨を示すメッセージ情報(図19の例では、「現在システムによるチェック中です」と表示)を表示させる。また、メッセージ制御部321は、作業進捗表示部705に、段取り替え動作の作業進捗が「2.システムによるチェック」の段階であることを表示させる。
 ベース領域特定部323によるマッチング動作の結果、リアルタイム映像表示部703bに表示された映像データのフレームにおいて、ベース基準画像と一致する画像が見つからなかった場合、図20に示すように、メッセージ制御部321は、作業指示表示部704に、その旨を示すメッセージ情報を表示させる。また、マッチング動作の結果、ベース基準画像と一致する画像が見つからなかったので、ユーザは、撮像装置2の位置を再調整する必要があるため、メッセージ制御部321は、作業進捗表示部705に、段取り替え動作の作業進捗が「1.カメラを基準に合うように調整」の段階に戻る表示をさせる。
 また、ベース領域特定部323によるマッチング動作の結果、リアルタイム映像表示部703bに表示された映像データのフレームにおいて、ベース基準画像と一致する画像は見つかったが、一致した画像(仮ベース領域802で表示される)の位置によって定まる他の検知領域等(上述のトリガ領域530、検知領域535および検知領域536等)が、リアルタイム映像表示部703bの枠からはみ出る場合、図21に示すように、メッセージ制御部321は、作業指示表示部704に、その旨を示すメッセージ情報を表示させる。また、マッチング動作が成功しなかったので、ユーザは、撮像装置2の位置を再調整する必要があるため、メッセージ制御部321は、作業進捗表示部705に、段取り替え動作の作業進捗が「1.カメラを基準に合うように調整」の段階に戻る表示をさせる。
<撮像装置固定後のマッチング動作>
 図22は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面におけるリアルタイム映像においてマッチングができた場合に表示されるダイアログの一例を示す図である。図23は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面において最終チェックのためのマッチング動作中に表示されるダイアログの一例を示す図である。図24は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面において最終チェックのためのマッチング動作の結果、マッチングできなかった場合の状態の一例を示す図である。図25は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面において次のカメラの段取り替えを促すために表示されるダイアログの一例を示す図である。図26は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面において段取り替えが終了した場合に表示されるダイアログの一例を示す図である。図22~26を参照しながら、段取り替え画面700において、撮像装置2を固定させた場合に実行する最終的なマッチング動作について説明する。
 ベース領域特定部323は、マッチング動作が成功した場合、図22に示すように、マッチング動作が成功した旨、および、撮像装置2の固定を促す旨を示す仮調整結果通知ダイアログ640を表示させる。仮調整結果通知ダイアログ640は、OKボタン641と、閉じるボタン642と、を含む。OKボタン641は、後述するように、ベース領域決定部326に最終的なマッチング動作を実行させるためのボタンである。閉じるボタン642は、仮調整結果通知ダイアログ640を閉じるためのボタンである。
 また、ベース領域特定部323は、マッチング動作の結果、リアルタイム映像表示部703bに表示されたフレームにおいて、ベース基準画像と一致する画像を、仮ベース領域802(仮基準領域)を移動させて特定する。また、メッセージ制御部321は、作業進捗表示部705に、段取り替え動作の作業進捗が「3.カメラを治具で固定」の段階であることを表示させる。
 ユーザは、仮調整結果通知ダイアログ640で示されるメッセージに従って、撮像装置2を固定した後、入力部303の操作によりOKボタン641を押下する。すると、ベース領域決定部326は、図23に示すように、サーチ進捗ダイアログ630を表示させ、最終的なマッチング動作(最終確認のためのマッチング動作)(第2マッチング動作)を実行する。なお、ベース領域決定部326は、リアルタイム映像表示部703bに表示されたフレーム全体に対してマッチング動作を実行することに限定されるものではなく、例えば、表示されている仮ベース領域802(この時点では、ベース領域特定部323によるマッチング動作で探索された画像の位置に表示)の上下左右の所定のピクセル(例えば、30ピクセル)の範囲でマッチング動作を実行するものとしてもよい。また、ベース領域特定部323によるマッチング動作と同様に、第1ベース領域801に対応する位置から上下左右の所定のピクセルの範囲でマッチング動作を実行するものとしてもよい。
 また、メッセージ制御部321は、ベース領域決定部326による最終的なマッチング動作が実行されている間、作業指示表示部704に、最終的なマッチング動作が実行されている旨を示すメッセージ情報(図23の例では、「現在システムによる最終チェック中です」と表示)を表示させる。また、メッセージ制御部321は、作業進捗表示部705に、段取り替え動作の作業進捗が「4.システムによる最終チェック」の段階であることを表示させる。
 ベース領域決定部326による最終的なマッチング動作の結果、リアルタイム映像表示部703bに表示された映像データのフレームにおいて、ベース基準画像と一致する画像が見つからなかった場合、図24に示すように、メッセージ制御部321は、作業指示表示部704に、その旨を示すメッセージ情報を表示させる。また、マッチング動作の結果、ベース基準画像と一致する画像が見つからなかったので、ユーザは、撮像装置2の位置を再調整する必要があるため、メッセージ制御部321は、作業進捗表示部705に、段取り替え動作の作業進捗が「1.カメラを基準に合うように調整」の段階に戻る表示をさせる。ここで、リアルタイム映像表示部703bに表示された映像データのフレームにおいて、ベース基準画像と一致する画像が見つからない場合の例として、ユーザによる撮像装置2の固定時に、撮像装置2の撮像方向がずれてしまった場合等が挙げられる。なお、ベース基準画像と一致する画像は見つかったが、一致した画像(仮ベース領域802で表示される)の位置によって定まる他の検知領域等(上述のトリガ領域530、検知領域535および検知領域536等)が、リアルタイム映像表示部703bの枠からはみ出る場合における処置については、上述のベース領域特定部323によるマッチング動作と同様である。
 ベース領域決定部326は、最終的なマッチング動作が成功した場合、図25および26に示すように、リアルタイム映像表示部703bに表示されたフレームにおいて、ベース基準画像と一致する画像を、仮ベース領域802を移動させて第2ベース領域802a(第2基準領域)として示す。すなわち、ベース領域決定部326は、第2ベース領域802aの位置を、基準静止画像表示部703aの第1ベース領域801に対応する位置から補正した位置に決定することになる。そして、ベース領域決定部326は、段取り番号に関連付けて、決定した第2ベース領域802aの情報を記憶部302に記憶させる。ここで、第2ベース領域802aの情報とは、例えば、第2ベース領域802aの位置を示す情報、および第2ベース領域802aの形状等の情報である。これによって、図25および26の例では、「CAM6」の撮像装置2、すなわち、撮像装置2fについての段取り替え動作が完了する。そして、メッセージ制御部321は、カメラ実施状況表示部706に、段取り番号に関連付けられた撮像装置2f(「CAM6」)について段取り替え動作が完了したことを示すために「実施完了」と表示させる。
 また、段取り番号に関連付けられた1つの撮像装置2(上述では撮像装置2f)の段取り替え動作が完了し、同じく同一の段取り番号に関連付けられた撮像装置2であって、段取り替え動作が完了していない撮像装置2(図25の例では、「CAM2」および「CAM4」)が存在する場合、段取り制御部327は、図25に示すように、次の撮像装置2についての段取り替え動作に移行する旨を示す次カメラ処理ダイアログ650を表示させる。また、メッセージ制御部321は、作業進捗表示部705に、次の撮像装置2の段取り替え動作が行われるので、作業進捗として「5.次のカメラの段取りに進む」の段階であることを表示させる。
 次カメラ処理ダイアログ650は、OKボタン651と、閉じるボタン652と、を含む。OKボタン651は、次の撮像装置2の段取り替え動作を開始させるためのボタンである。閉じるボタン652は、次カメラ処理ダイアログ650を閉じるためのボタンである。
 一方、段取り番号に関連付けられた1つの撮像装置2(上述では撮像装置2f)の段取り替え動作が完了し、同じく同一の段取り番号に関連付けられた撮像装置2であって、段取り替え動作が完了してない撮像装置2が存在しない場合、段取り制御部327は、図26に示すように、段取り番号に関連付けられたすべての撮像装置2の段取り替え動作が完了した旨を示す段取り替え終了ダイアログ660を表示させる。また、メッセージ制御部321は、この場合、カメラ実施状況表示部706に、段取り番号に関連付けられたすべての撮像装置2(「CAM6」、「CAM4」および「CAM2」)について段取り替え動作が完了しているので、すべての撮像装置2について「実施完了」と表示させている。また、メッセージ制御部321は、作業進捗表示部705に、段取り番号に関連付けられたすべての撮像装置2の段取り替え動作が完了したので、作業進捗として「6.段取り替え終了」の段階であることを表示させる。
 段取り替え終了ダイアログ660は、OKボタン661と、閉じるボタン662と、を含む。OKボタン661は、段取り番号に関連付けられたすべての撮像装置2についての段取り替え動作を終了させるためのボタンである。閉じるボタン662は、段取り替え終了ダイアログ660を閉じるためのボタンである。
 以上の段取り替え動作が完了することによって、段取り番号の段取り替えに対応する撮像装置2の設置位置が定まることになる。
(メイン画面における画像判定動作)
 図27は、実施の形態に係る情報処理装置の表示装置に表示されるメイン画面において段取り替えが終了した後の状態の例を示す図である。図27を参照しながら、メイン画面400における画像判定動作について説明する。
 ユーザによる入力部303の操作によって、図26に示す段取り替え終了ダイアログ660のOKボタン661が押下されると、段取り制御部327は、段取り替え画面700からメイン画面400に遷移させる。図27に示すメイン画面400は、特定の段取り番号(図27の例では「A1234567」)に関連付けられた撮像装置2(撮像装置2b、2d、2f)についての段取り替え動作が終了した後に表示されたメイン画面400である。
 段取り制御部327は、段取り替え動作が終了した撮像装置2b、2d、2fにそれぞれ対応する段取り番号表示部422b、422d、422fに、段取り番号を表示させる。また、段取り制御部327は、撮像装置2b、2d、2fについて段取り替え動作が終了したので、状態表示部421b、421d、421fそれぞれに「設定完了」と表示させる。
 次に、ユーザは、入力部303の操作によって、画像判定動作(監視動作)を開始させたい撮像装置2に対応する映像表示部401を押下して選択状態にする。図27に示す例では、映像表示部401fが押下されて選択状態になった状態が示されている。そして、ユーザによる入力部303の操作によって、監視開始ボタン411が押下されると、映像表示部401fに表示される撮像装置2fのリアルタイムの映像データについて画像判定動作が開始される。このとき、段取り制御部327は、図27に示すように、撮像装置2fについて画像判定動作が実行中である旨を示すために、状態表示部421fに「監視中」と表示させる。
 図27に示すメイン画面400は、複数の撮像装置2から受信した映像データをリアルタイムに表示し、映像表示部401fでトリガ領域「TR6」、ならびに検知領域「K61」および「K62」が指定された状態を示している。ここで、メイン画面400において指定されているトリガ領域および検知領域は、段取り替え画面700で位置が決定した第2ベース領域802aの位置と相対的に定まる位置に存在する。これは、記憶部302に記憶されているトリガ領域および検知領域の位置情報が、画像の表示領域における絶対位置の情報ではなく、ベース領域(ここでは、第2ベース領域802a)との相対位置を示す情報であるためである。なお、記憶部302に記憶されているトリガ領域および検知領域の位置情報は、表示領域の絶対位置の情報であってもよい。この場合、トリガ領域および検知領域の位置は、それぞれトリガ領域指定部305および検知領域指定部307によって、第1ベース領域801と第2ベース領域802aとのずれた量だけ補正されるものとすればよい。
 具体的なメイン画面400における画像判定動作では、まず、映像振分部312が、映像受信部301から取得したリアルタイムの映像データを映像表示部401a~401fに振り分けて表示させる。トリガ生成部313は、記憶部302から、変化点検出部306により検出された変化点のフレームにおける差分画像を取得する。そして、トリガ生成部313は、映像表示部401fで指定されているトリガ領域「TR6」において、差分画像と、映像データのフレームのトリガ領域の画像とを比較する。トリガ生成部313は、映像データのフレームのトリガ領域の画像が、変化点のフレームにおける差分画像と比較して、画素値が所定の感度以上異なる画素の数の合計である差分が所定の閾値未満となったタイミングでトリガ信号を生成する。
 検知領域「K61」、「K62」の属性情報のうち検知遅延時間が図14に示す値に設定されているものとする。検知領域判定部314は、記憶部302から、指定された検知領域の属性情報を取得する。検知領域判定部314は、トリガ生成部313により生成されたトリガ信号を受け取ったときの設定時間前または設定時間後に、指定された検知領域において、検知基準画像と、映像データのフレームの検知領域の画像とを比較して異常であるか否かの画像判定をする。
 具体的には、検知領域判定部314は、トリガ生成部313によりトリガ領域「TR6」に対応するトリガ信号を受け取った時点から、検知領域「K61」に対応する検知遅延時間「2.14」秒後の映像データのフレームの検知領域の画像と、検知基準画像とを比較して異常であるか否かの画像判定をする。このとき、画像判定として、検知領域判定部314は、検知基準画像と、検知領域の画像との比較で、画素値が検知領域「K61」の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値以上となった場合に、検知領域「K61」の画像判定は異常と判定する。このように、検知領域判定部314が、トリガ信号を受け取った時点から先のタイミングで画像判定する場合の例としては、圧入機等の設備において、圧入動作開始のタイミングをトリガとして、圧入後の圧入状態を画像判定する場合が挙げられる。具体的には、トリガ生成部313は、圧入機がワークに対して圧入部品を圧入する動作を開始するタイミングをトリガとしてトリガ信号を生成する。その後、圧入機は、ワークに圧入部品を圧入し、圧入動作終了後、圧入機の各アクチュエータは原点位置に戻る。そして、検知領域判定部314は、圧入後のワークの圧入状態に対して画像判定を行う。この検知領域判定部314による画像判定のタイミングが、トリガ生成部313からトリガ信号を受けてから、検知遅延時間で設定された時間後のタイミングとなる。トリガ信号が生成される圧入動作の開始から、圧入後の圧入状態の画像判定が実行されるまでの時間は、圧入機による自動動作なので固定時間となり、トリガのタイミングから画像判定をするまでの検知遅延時間を固定の時間として設定できることになる。
 また、検知領域判定部314は、トリガ生成部313によりトリガ領域「TR6」に対応するトリガ信号を受け取った時点から、検知領域「K62」に対応する検知遅延時間「-1・86」秒後、すなわち「1.86」秒前の映像データのフレームの検知領域の画像と、検知基準画像とを比較して異常であるか否かの画像判定をする。このように、検知領域判定部314が、トリガ信号を受け取った時点から前のタイミングで画像判定する場合の例としては、手動により圧入部品をワークに圧入する圧入機等の設備において、作業者が圧入後のワークを完成品入れに入れるタイミングをトリガとして、完成品入れに入れられる前に圧入器にセットされている状態の圧入後のワークを画像判定する場合が挙げられる。具体的には、まず、作業者が圧入前のワークを圧入機にセットする。次に、作業者は、圧入開始ボタンを押下し、圧入機がワークに対して圧入部品の圧入動作を開始する。圧入後、作業者は、圧入後のワークを取り上げて完成品入れに入れる。トリガ生成部313は、作業者が、圧入後のワークを完成品入れに入れるタイミングをトリガとしてトリガ信号を生成する。そして、検知領域判定部314は、トリガ信号を受け取った時点から、検知遅延時間で設定された時間前のタイミング、すなわち、完成品入れに入れられる前の圧入機にセットされているタイミングで、圧入後のワークを画像判定する。このように、トリガ信号が生成された時点から前のタイミングで圧入機にセットされているワークに対して画像判定することによって以下の事態を回避できる。すなわち、例えば、作業者がワークをセットした後に、昼休み等で作業現場を一時退去し、戻った後に圧入動作を忘れて、圧入前のワークを完成品入れに入れてしまう場合がある。この場合、完成品入れにワークを入れたタイミングをトリガとして、そのトリガの時点から検知遅延時間で設定された時間前のタイミングで画像判定することにより、作業者は、圧入前のワークであることを判断することができ、圧入前のワークが完成品入れに混入することを抑制することができる。
 そして、外部出力部316は、検知領域判定部314により異常の判定がなされた場合、異常信号を外部機器10に出力する。
(段取り替え動作の全体的な流れ)
 図28は、実施の形態に係る情報処理装置の表示装置に表示される段取り替え画面における段取り替え動作の例を示すフローチャートである。図28を参照しながら、段取り替え動作の流れについて総括的に説明する。
<ステップS11>
 ユーザは、入力部303の操作によって、メイン画面400(図4参照)の段取り番号入力部415に段取り替えをする段取り番号を入力する。ユーザによる入力部303の操作により段取り替えボタン414が押下されると、段取り制御部327は、段取り番号入力部415に入力された段取り番号に対応する設定情報が、記憶部302に記憶されているか否かを検索する。以下、段取り制御部327によって、記憶部302に記憶された段取り番号に対応する設定情報が検索された場合について説明する。そして、ステップS12へ移行する。
<ステップS12>
 段取り制御部327は、入力された段取り番号に関連付けられた撮像装置2による画像判定動作(監視動作)を停止させる。そして、段取り制御部327は、メイン画面400から段取り替え画面700に遷移させる。そして、ステップS13へ移行する。
<ステップS13>
 メッセージ制御部321は、作業指示表示部704に、段取り替えの対象となる撮像装置2の位置を調整するように促すメッセージ情報を表示させ、作業進捗表示部705に、段取り替え動作の作業進捗が「1.カメラを基準に合うように調整」の段階であることを表示させる。ユーザが撮像装置2の位置を調整する間、映像表示部322は、リアルタイム映像表示部703bに表示されるリアルタイムの映像データのフレームから抽出画像(仮ベース領域802内の画像)を抽出して、抽出画像表示部702bに表示させる。ユーザは、撮像装置2を図18に示すような位置に移動させて静止させる。
<ステップS14>
 静止判定部325は、撮像装置2が静止しているか否かの判定を実行する。静止判定部325によって、撮像装置2が静止していると判定されると、ベース領域特定部323は、リアルタイム映像表示部703bに表示された映像データのフレームにおいて、ベース基準画像と一致する画像を探索(サーチ)するマッチング動作を実行する。メッセージ制御部321は、ベース領域特定部323によるマッチング動作が実行されている間、作業指示表示部704に、マッチング動作が実行されている旨を示すメッセージ情報(図19の例では、「現在システムによるチェック中です」と表示)を表示させる。また、メッセージ制御部321は、作業進捗表示部705に、段取り替え動作の作業進捗が「2.システムによるチェック」の段階であることを表示させる。そして、ステップS15へ移行する。
<ステップS15>
 ベース領域特定部323によるマッチング動作が成功(図28では「マッチングOK」と表記)した場合(ステップS15:Yes)、ステップS16へ移行し、マッチング動作の結果、リアルタイム映像表示部703bに表示された映像データのフレームにおいて、ベース基準画像と一致する画像が見つからなかった場合(ステップS15:No)、ステップS17へ移行する。
<ステップS16>
 ベース領域特定部323は、マッチング動作が成功した場合、図22に示すように、マッチング動作が成功した旨(図28では「OK表示」と表記)、および、撮像装置2の固定を促す旨を示す仮調整結果通知ダイアログ640を表示させる。また、ベース領域特定部323は、マッチング動作の結果、リアルタイム映像表示部703bに表示されたフレームにおいて、ベース基準画像と一致する画像を、仮ベース領域802を移動させて示す。また、メッセージ制御部321は、作業進捗表示部705に、段取り替え動作の作業進捗が「3.カメラを治具で固定」の段階であることを表示させる。そして、ステップS18へ移行する。
<ステップS17>
 メッセージ制御部321は、作業指示表示部704に、マッチング動作が成功しなかった旨を示すメッセージ情報(図28では「NG表示」と表記)を表示させる。また、マッチング動作が成功しなかったので、ユーザは、撮像装置2の位置を再調整する必要があるため、メッセージ制御部321は、作業進捗表示部705に、段取り替え動作の作業進捗が「1.カメラを基準に合うように調整」の段階に戻る表示をさせる。そして、ステップS13へ戻る。
<ステップS18>
 ユーザは、仮調整結果通知ダイアログ640で示されるメッセージに従って、撮像装置2を固定した後、入力部303の操作によりOKボタン641を押下する。そして、ステップS19へ移行する。
<ステップS19>
 ベース領域決定部326は、図23に示すように、サーチ進捗ダイアログ630を表示させ、最終的なマッチング動作(最終確認のためのマッチング動作)を実行する。また、メッセージ制御部321は、ベース領域決定部326による最終的なマッチング動作が実行されている間、作業指示表示部704に、最終的なマッチング動作が実行されている旨を示すメッセージ情報(図23の例では、「現在システムによる最終チェック中です」と表示)を表示させる。また、メッセージ制御部321は、作業進捗表示部705に、段取り替え動作の作業進捗が「4.システムによる最終チェック」の段階であることを表示させる。そして、ステップS20へ移行する。
<ステップS20>
 ベース領域決定部326による最終的なマッチング動作が成功(図28では「マッチングOK」と表記)した場合(ステップS20:Yes)、ステップS22へ移行し、最終的なマッチング動作の結果、リアルタイム映像表示部703bに表示された映像データのフレームにおいて、ベース基準画像と一致する画像が見つからなかった場合(ステップS20:No)、ステップS21へ移行する。
<ステップS21>
 メッセージ制御部321は、作業指示表示部704に、最終的なマッチング動作が成功しなかった旨を示すメッセージ情報(図28では「NG表示」と表記)を表示させる。また、最終的なマッチング動作が成功しなかったので、ユーザは、撮像装置2の位置を再調整する必要があるため、メッセージ制御部321は、作業進捗表示部705に、段取り替え動作の作業進捗が「1.カメラを基準に合うように調整」の段階に戻る表示をさせる。そして、ステップS13へ戻る。
<ステップS22>
 ベース領域決定部326は、最終的なマッチング動作が成功した場合、図25および26に示すように、リアルタイム映像表示部703bに表示されたフレームにおいて、ベース基準画像と一致する画像を、仮ベース領域802を移動させて第2ベース領域802aとして示す。すなわち、ベース領域決定部326は、第2ベース領域802aの位置を、基準静止画像表示部703aの第1ベース領域801に対応する位置から補正した位置に決定することになる。また、ベース領域決定部326は、段取り番号に関連付けて、決定した第2ベース領域802aの情報を記憶部302に記憶させる。これによって、段取り番号の関連付けられた1つの撮像装置2についての段取り替え動作が完了する。また、メッセージ制御部321は、カメラ実施状況表示部706に、段取り番号に関連付けられた撮像装置2について段取り替え動作が完了したことを示すために「実施完了」と表示させる。
 そして、段取り番号に関連付けられた1つの撮像装置2の段取り替え動作が完了し、同じく同一の段取り番号に関連付けられた撮像装置2であって、段取り替え動作が完了していない撮像装置2が存在する場合(ステップS22:Yes)、段取り制御部327は、図25に示すように、次の撮像装置2についての段取り替え動作に移行する旨を示す次カメラ処理ダイアログ650を表示させる。そして、ユーザによる入力部303の操作により、OKボタン651が押下されると、ステップS13へ移行する。
 一方、段取り番号に関連付けられた1つの撮像装置2(上述では撮像装置2f)の段取り替え動作が完了し、同じく同一の段取り番号に関連付けられた撮像装置2であって、段取り替え動作が完了してない撮像装置2が存在しない場合(ステップS22:No)、段取り制御部327は、図26に示すように、段取り番号に関連付けられたすべての撮像装置2の段取り替え動作が完了した旨を示す段取り替え終了ダイアログ660を表示させる。ユーザによる入力部303の操作によって、図26に示す段取り替え終了ダイアログ660のOKボタン661が押下されると、段取り制御部327は、段取り替え画面700からメイン画面400に遷移させる。これによって、段取り番号に関連付けられたすべての撮像装置2についての段取り替え動作が終了する。
 以上のように、段取り替えの際、ベース領域決定部326は、ユーザによって設置位置が変更された撮像装置2の映像データのフレームにおいて、ベース基準画像と一致(マッチング)する領域を探索するマッチング動作を実行し、撮像装置2の映像データのフレームにおいて、ベース基準画像と一致する第2ベース領域802aを決定するものとしている。このとき、トリガ領域および検知領域等の判定領域の位置は、ベース基準画像を示す第1ベース領域801の位置から、ベース領域決定部326により決定された第2ベース領域802aの位置までのずれた分だけ補正されるものとしている。これによって、段取り替えの際に、判定領域を改めて指定し直す必要がなく、さらに、マッチング動作の成否によって撮像装置2の正しい変更位置が示されるので、撮像装置2の設置位置を正しい変更位置(段取り替えの位置)に容易に設置することができる。また、段取り替えの際に、上述のマッチング動作が実行されるので、撮像装置2のリアルタイムの映像データのフレームが、基準静止画像と完全に一致するように撮像装置2を設置する必要がないので、さらに、撮像装置2の設置位置を正しい変更位置(段取り替えの位置)に容易に設置することができる。
 また、段取り替えの際、撮像装置2を変更位置に設置して静止させた場合、ベース領域特定部323によって自動的にマッチング動作が実行される。そして、マッチング動作が成功した場合、ユーザによる撮像装置2の固定後、ベース領域決定部326によって、最終的なマッチング動作が実行されるものとしている。撮像装置2を固定させた後に手動でマッチング動作を行うものとすると、マッチングが失敗した場合に、撮像装置2の固定を解いて、改めて設置位置を調整しなければならないが、上述の動作のように、撮像装置2を静止させた状態で自動的にマッチング動作が実行されるので、撮像装置2の設置位置の調整が容易となり、段取り替えの作業負荷を低減することができる。
 また、段取り替え画面700において、基準静止画像表示部703aに第1ベース領域801の枠、ならびに、リアルタイム映像表示部703bに仮ベース領域802および第2ベース領域802aの枠を表示させることが望ましい。これによって、ユーザは、撮像装置2についてどの方向に撮像させればよいかの目安となるので、撮像装置2の設置位置の調整が容易となり、段取り替えの作業負荷を低減することができる。
 また、ベース領域特定部323およびベース領域決定部326は、リアルタイム映像表示部703bに表示されたフレームのうち所定範囲においてマッチング動作を実行することが望ましい。これによって、マッチング動作の処理負荷を低減することができる。
 また、段取り替え動作の開始時に、段取り制御部327は、段取り番号に関連付けられた撮像装置2による画像判定動作(監視動作)を自動で停止させることが望ましい。これによって、段取り番号に関連付けられた1または複数の撮像装置2の監視動作を一つずつ手動で停止させる必要がないので、段取り替えの作業の負荷を低減することができる。
 また、図28に示す撮像装置2の設置位置の変更作業手順は、段取り替え時に限定されるものではなく、段取り替え以外の場面における撮像装置2の設置位置の変更時にも適用可能である。
 なお、設定画面500において、ベース領域570以外の領域として、トリガ領域および検知領域の指定を行うものとしているが、これに限定されるものではなく、その他の判定領域が指定されるものとしてもよい。例えば、検知領域では、トリガ信号に基づいて画像判定を行っているが、常時、画像判定を行う常時検知領域が指定できるものとしてもよい。
 また、トリガ生成部313により生成されたトリガ信号は、上述の実施の形態では検知領域判定部314による画像判定のタイミングの基準として用いられているが、これに限定されるものではない。例えば、トリガ信号は、生産設備側で所定の処理を行わせるタイミングの基準に用いられるようにしてもよく、その場合には、トリガ信号が生成された時点でトリガ信号を生産設備に送信するようにしてもよい。
 また、本実施の形態の第1再生部304、トリガ領域指定部305、変化点検出部306、検知領域指定部307、設定部308、映像振分部312、トリガ生成部313、検知領域判定部314、メッセージ制御部321、映像表示部322、ベース領域特定部323、画像抽出部324、静止判定部325、ベース領域決定部326、段取り制御部327およびベース領域指定部331の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ROM等に予め組み込まれて提供される。また、本実施の形態の情報処理装置3で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、本実施の形態の情報処理装置3で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の情報処理装置3で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。本実施の形態の情報処理装置3で実行されるプログラムは、上述した第1再生部304、トリガ領域指定部305、変化点検出部306、検知領域指定部307、設定部308、映像振分部312、トリガ生成部313、検知領域判定部314、メッセージ制御部321、映像表示部322、ベース領域特定部323、画像抽出部324、静止判定部325、ベース領域決定部326、段取り制御部327およびベース領域指定部331の少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはCPUが上述のROMからプログラムを読み出して実行することにより、上述の各部が主記憶装置上にロードされて生成されるようになっている。
 1 画像処理システム
 2、2a~2f 撮像装置
 3 情報処理装置
 4 ネットワーク
 10 外部機器
 101 CPU
 102 ROM
 103 RAM
 104 外部記憶装置
 105 ディスプレイ
 106 ネットワークI/F
 107 キーボード
 108 マウス
 109 DVDドライブ
 110 DVD
 111 外部機器I/F
 112 バス
 301 映像受信部
 302 記憶部
 303 入力部
 304 第1再生部
 305 トリガ領域指定部
 306 変化点検出部
 307 検知領域指定部
 308 設定部
 312 映像振分部
 313 トリガ生成部
 314 検知領域判定部
 315 表示制御部
 316 外部出力部
 317 表示部
 321 メッセージ制御部
 322 映像表示部
 323 ベース領域特定部
 324 画像抽出部
 325 静止判定部
 326 ベース領域決定部
 327 段取り制御部
 331 ベース領域指定部
 400 メイン画面
 401、401a~401f 映像表示部
 411 監視開始ボタン
 412 監視停止ボタン
 413 監視設定ボタン
 414 段取り替えボタン
 415 段取り番号入力部
 421、421a~421f 状態表示部
 422、422a~422f 段取り番号表示部
 500 設定画面
 501 カメラ選択タブ
 502 設定用映像表示部
 503a 再生ボタン
 503b 一時停止ボタン
 503c 早送りボタン
 503d 早戻しボタン
 503e 停止ボタン
 504 シークバー
 505 スライダー
 506 時刻表示部
 507 トリガ領域情報部
 508a 基準画像表示部
 508b 差分画像表示部
 509 検知領域情報部
 510 検知領域ボタン部
 510a アクションボタン
 510b 画像判定選択ボタン
 510c 削除ボタン
 510e 感度増加ボタン
 510f 感度減少ボタン
 510g 閾値増加ボタン
 510h 閾値減少ボタン
 511 設定読出ボタン
 512 設定書込ボタン
 513 設定反映ボタン
 514 閉じるボタン
 515 段取り番号表示部
 530 トリガ領域
 535、536 検知領域
 540 トリガマーク
 551 領域選択タブ
 561 段取り番号表示部
 562 ベース領域情報部
 563 削除ボタン
 570 ベース領域
 600 変化点選択ダイアログ
 601 はいボタン
 602 いいえボタン
 603 閉じるボタン
 610 変化点無し通知ダイアログ
 611 OKボタン
 612 閉じるボタン
 620 段取り番号無し通知ダイアログ
 621 OKボタン
 622 閉じるボタン
 630 サーチ進捗ダイアログ
 640 仮調整結果通知ダイアログ
 641 OKボタン
 642 閉じるボタン
 650 次カメラ処理ダイアログ
 651 OKボタン
 652 閉じるボタン
 660 段取り替え終了ダイアログ
 661 OKボタン
 662 閉じるボタン
 700 段取り替え画面
 701 段取り番号表示部
 702a 基準画像表示部
 702b 抽出画像表示部
 703a 基準静止画像表示部
 703b リアルタイム映像表示部
 704 作業指示表示部
 705 作業進捗表示部
 706 カメラ実施状況表示部
 707 中止ボタン
 801 第1ベース領域
 802 仮ベース領域
 802a 第2ベース領域
特開2013-108875号公報

Claims (12)

  1.  撮像手段を所定の撮像位置に合わせるための基準となる静止画像が表示される第1表示領域と、前記撮像手段が撮像した映像データが表示される第2表示領域と、を表示する表示手段と、
     前記撮像手段により撮像された映像データに対して行われる画像判定の対象となる判定領域と、前記第1表示領域に設定された第1基準領域との位置関係を示す情報を記憶する記憶手段と、
     前記第2表示領域に表示される映像データのフレームで、前記第1基準領域の画像と一致する画像を探索する第1マッチング動作を実行して、該一致する画像の領域を第2基準領域として決定する決定手段と、
     前記第1表示領域における前記第1基準領域の位置と前記第2表示領域における前記第2基準領域の位置とのずれ量と、前記記憶手段に記憶された前記位置関係を示す情報とに基づいて前記判定領域の位置を補正する補正手段と、
     を備えた画像処理装置。
  2.  操作入力を受け付ける入力手段と、
     前記撮像手段の位置が静止しているか否かを判定する判定手段と、
     前記判定手段により前記撮像手段の位置が静止していると判定された場合、前記第2表示領域に表示される映像データのフレームで、前記第1基準領域の画像と一致する画像を探索する第2マッチング動作を実行して、該一致する画像の領域を仮基準領域として特定する特定手段と、
     を、さらに備え、
     前記決定手段は、前記特定手段により前記仮基準領域が特定されてから、前記入力手段により所定の操作入力が受け付けられた後に、前記第1マッチング動作を実行する請求項1に記載の画像処理装置。
  3.  前記表示手段は、前記第1表示領域の前記第1基準領域を囲う枠を表示し、前記第2表示領域の前記仮基準領域および前記第2基準領域を囲う枠を表示する請求項2に記載の画像処理装置。
  4.  前記判定手段は、前記第2表示領域に表示される映像データのフレームのうち所定時間分のフレームについて、隣り合う前後のフレームが同一と判定した場合、前記撮像手段の位置が静止していると判定する請求項2または3に記載の画像処理装置。
  5.  前記特定手段は、前記第2マッチング動作において、前記第2表示領域に表示される映像データのフレームの所定範囲内で、前記第1基準領域の画像と一致する画像を探索する請求項2~4のいずれか一項に記載の画像処理装置。
  6.  前記決定手段は、前記第1マッチング動作において、前記第2表示領域に表示される映像データのフレームの所定範囲内で、前記第1基準領域の画像と一致する画像を探索する請求項1~5のいずれか一項に記載の画像処理装置。
  7.  前記決定手段は、前記第1マッチング動作において、前記第2表示領域に表示される映像データのフレームでの前記第1基準領域の画像と一致する画像の領域と、前記第1基準領域とのずれ量で補正された位置に定まる前記判定領域が、前記第2表示領域からはみ出る場合、該一致する画像の領域を前記第2基準領域として決定しない請求項1~6のいずれか一項に記載の画像処理装置。
  8.  前記表示手段は、
     前記第2表示領域に、前記撮像手段が撮像するリアルタイムの映像データを表示させ、
     前記第1表示領域および前記第2表示領域を一緒に表示させる請求項1~7のいずれか一項に記載の画像処理装置。
  9.  前記撮像手段は、複数であり、
     前記撮像手段の段取り替え動作において、複数の前記撮像手段のうち、段取り識別情報に関連付けられた1または複数の前記撮像手段が段取り替えの対象となる請求項1~8のいずれか一項に記載の画像処理装置。
  10.  前記段取り替え動作の開始時に、前記段取り識別情報に関連付けられた1または複数の前記撮像手段の映像データに対する前記画像判定の動作を停止する制御手段を、さらに備えた請求項9に記載の画像処理装置。
  11.  請求項1~10のいずれか一項に記載の画像処理装置と、
     1以上の前記撮像手段と、
     を備えた画像処理システム。
  12.  撮像手段を所定の撮像位置に合わせるための基準となる静止画像が表示される第1表示領域と、前記撮像手段が撮像した映像データが表示される第2表示領域と、を表示する表示ステップと、
     前記撮像手段により撮像された映像データに対して行われる画像判定の対象となる判定領域と、前記第1表示領域に設定された第1基準領域との位置関係を示す情報を記憶する記憶ステップと、
     前記第2表示領域に表示される映像データのフレームで、前記第1基準領域の画像と一致する画像を探索する第1マッチング動作を実行して、該一致する画像の領域を第2基準領域として決定する決定ステップと、
     前記第1表示領域における前記第1基準領域の位置と前記第2表示領域における前記第2基準領域の位置とのずれ量と、記憶した前記位置関係を示す情報とに基づいて前記判定領域の位置を補正する補正ステップと、
     を有する画像処理方法。
PCT/JP2015/082626 2015-02-05 2015-11-19 画像処理装置、画像処理システムおよび画像処理方法 WO2016125366A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15881183.6A EP3255603B1 (en) 2015-02-05 2015-11-19 Image processing device, image processing system, and image processing method
JP2016573187A JP6390720B2 (ja) 2015-02-05 2015-11-19 画像処理装置、画像処理システムおよび画像処理方法
CN201580075432.1A CN107209922B (zh) 2015-02-05 2015-11-19 图像处理设备、图像处理***、和图像处理方法
US15/647,427 US10638193B2 (en) 2015-02-05 2017-07-12 Image processing device, image processing system, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015021638 2015-02-05
JP2015-021638 2015-02-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/647,427 Continuation US10638193B2 (en) 2015-02-05 2017-07-12 Image processing device, image processing system, and image processing method

Publications (1)

Publication Number Publication Date
WO2016125366A1 true WO2016125366A1 (ja) 2016-08-11

Family

ID=56563723

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082626 WO2016125366A1 (ja) 2015-02-05 2015-11-19 画像処理装置、画像処理システムおよび画像処理方法

Country Status (5)

Country Link
US (1) US10638193B2 (ja)
EP (1) EP3255603B1 (ja)
JP (1) JP6390720B2 (ja)
CN (1) CN107209922B (ja)
WO (1) WO2016125366A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018084443A (ja) * 2016-11-21 2018-05-31 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP2019022021A (ja) * 2017-07-13 2019-02-07 株式会社メガチップス モニタリングシステム
JP2020137103A (ja) * 2019-02-19 2020-08-31 株式会社シンクアウト 情報処理システムおよび情報処理プログラム
JP2020145559A (ja) * 2019-03-05 2020-09-10 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2021108434A (ja) * 2019-12-27 2021-07-29 株式会社アダコテック 情報処理システム、情報処理装置、端末装置、情報処理方法及びプログラム
WO2022004133A1 (ja) * 2020-06-30 2022-01-06 パナソニックIpマネジメント株式会社 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
JP7462085B2 (ja) 2018-08-31 2024-04-04 キヤノン株式会社 情報処理装置、方法、及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106560827B (zh) * 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
CN109088786B (zh) * 2018-06-26 2022-03-08 中国直升机设计研究所 一种用于测试直升机模拟器网络延迟方法
US11336831B2 (en) * 2018-07-06 2022-05-17 Canon Kabushiki Kaisha Image processing device, control method, and program storage medium
JP2020034344A (ja) * 2018-08-28 2020-03-05 株式会社Screenホールディングス 可動部位置検出方法、基板処理方法、基板処理装置および基板処理システム
JP7114807B2 (ja) * 2019-05-31 2022-08-08 富士フイルム株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US10791271B1 (en) * 2019-07-17 2020-09-29 Alibaba Group Holding Limited Obtaining stable frames
US11223802B2 (en) 2019-07-31 2022-01-11 Ricoh Company, Ltd. Image-based determination apparatus and image-based determination system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167429A (ja) * 2006-12-20 2008-07-17 Axis Ab カメラ・タンパリング検出
JP2010014601A (ja) * 2008-07-04 2010-01-21 Mitsubishi Electric Engineering Co Ltd 多面外観検査装置
JP2011191086A (ja) * 2010-03-12 2011-09-29 Omron Corp 画像処理方法および画像処理装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7031525B2 (en) * 2002-07-30 2006-04-18 Mitsubishi Electric Research Laboratories, Inc. Edge detection based on background change
US7643066B2 (en) * 2004-02-19 2010-01-05 Robert Bosch Gmbh Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control
JP4790613B2 (ja) * 2005-01-25 2011-10-12 パナソニック株式会社 カメラ制御装置およびこの装置におけるズーム倍率制御方法
JP2009010728A (ja) * 2007-06-28 2009-01-15 Olympus Corp カメラ設置支援装置
JP5299231B2 (ja) * 2009-11-17 2013-09-25 富士通株式会社 キャリブレーション装置
JP4625874B2 (ja) * 2010-01-18 2011-02-02 株式会社リコー 画像形成装置及び画像形成方法
US9256974B1 (en) * 2010-05-04 2016-02-09 Stephen P Hines 3-D motion-parallax portable display software application
US20120207386A1 (en) * 2011-02-11 2012-08-16 Microsoft Corporation Updating A Low Frame Rate Image Using A High Frame Rate Image Stream
WO2012124230A1 (ja) * 2011-03-17 2012-09-20 日本電気株式会社 撮影装置、撮影方法、及びプログラム
JP5818651B2 (ja) 2011-11-22 2015-11-18 株式会社キーエンス 画像処理装置
JP6445581B2 (ja) * 2013-11-15 2018-12-26 フリー・フォーカス・システムズ・エルエルシー 位置タグ・カメラ・フォーカス・システム
JP6459256B2 (ja) 2014-07-07 2019-01-30 株式会社リコー 画像記憶再生制御装置、画像記憶再生制御方法、画像記憶再生制御システム、及びプログラム
JP2016039496A (ja) 2014-08-07 2016-03-22 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP6554825B2 (ja) 2014-08-25 2019-08-07 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
CN104243833B (zh) * 2014-09-30 2017-12-08 精宸智云(武汉)科技有限公司 一种相机姿态的调整方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167429A (ja) * 2006-12-20 2008-07-17 Axis Ab カメラ・タンパリング検出
JP2010014601A (ja) * 2008-07-04 2010-01-21 Mitsubishi Electric Engineering Co Ltd 多面外観検査装置
JP2011191086A (ja) * 2010-03-12 2011-09-29 Omron Corp 画像処理方法および画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3255603A4 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018084443A (ja) * 2016-11-21 2018-05-31 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP2019022021A (ja) * 2017-07-13 2019-02-07 株式会社メガチップス モニタリングシステム
JP7462085B2 (ja) 2018-08-31 2024-04-04 キヤノン株式会社 情報処理装置、方法、及びプログラム
JP2020137103A (ja) * 2019-02-19 2020-08-31 株式会社シンクアウト 情報処理システムおよび情報処理プログラム
JP7304508B2 (ja) 2019-02-19 2023-07-07 株式会社シンクアウト 情報処理システムおよび情報処理プログラム
JP2020145559A (ja) * 2019-03-05 2020-09-10 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7258605B2 (ja) 2019-03-05 2023-04-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2021108434A (ja) * 2019-12-27 2021-07-29 株式会社アダコテック 情報処理システム、情報処理装置、端末装置、情報処理方法及びプログラム
JP7458138B2 (ja) 2019-12-27 2024-03-29 株式会社アダコテック 情報処理システム、情報処理装置、端末装置、情報処理方法及びプログラム
WO2022004133A1 (ja) * 2020-06-30 2022-01-06 パナソニックIpマネジメント株式会社 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム

Also Published As

Publication number Publication date
CN107209922B (zh) 2020-11-10
EP3255603A1 (en) 2017-12-13
US10638193B2 (en) 2020-04-28
CN107209922A (zh) 2017-09-26
JPWO2016125366A1 (ja) 2017-10-05
EP3255603B1 (en) 2022-09-07
JP6390720B2 (ja) 2018-09-19
US20170311037A1 (en) 2017-10-26
EP3255603A4 (en) 2018-03-21

Similar Documents

Publication Publication Date Title
JP6390720B2 (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP6816802B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP6733785B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
US9595098B2 (en) Image overlaying and comparison for inventory display auditing
US8199211B2 (en) Camera direct dailies
US7630021B2 (en) Image processing device and image processing method
US8103062B2 (en) Video processing apparatus
US20030235333A1 (en) Method and system for white balancing images using facial color as a reference signal
CN108605115B (zh) 跟踪辅助装置、跟踪辅助***以及跟踪辅助方法
US8036470B2 (en) Image processing apparatus, image processing method, and program
US20200021761A1 (en) Content generation device, method for controlling content generation device, and storage medium
JP6822093B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP2016039496A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
CN112307882A (zh) 图像判断装置及图像判断***
JP6994993B2 (ja) 放送用編集装置、放送システム及び画像処理方法
JP2020065248A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2008085852A (ja) 映像情報記録装置及び方法、並びにプログラム
JPH06337898A (ja) 動画編集装置
EP1293911A1 (en) Method and apparatus for generating editing-related metadata
JP2001285782A (ja) ビデオ記録媒体識別システム、およびビデオ記録媒体識別処理プログラムを記録した記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15881183

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016573187

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015881183

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE