WO2018043372A1 - 情報処理装置、情報処理システム、情報処理方法及びプログラムプロダクト - Google Patents
情報処理装置、情報処理システム、情報処理方法及びプログラムプロダクト Download PDFInfo
- Publication number
- WO2018043372A1 WO2018043372A1 PCT/JP2017/030668 JP2017030668W WO2018043372A1 WO 2018043372 A1 WO2018043372 A1 WO 2018043372A1 JP 2017030668 W JP2017030668 W JP 2017030668W WO 2018043372 A1 WO2018043372 A1 WO 2018043372A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video data
- data
- camera
- measurement
- combined
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present disclosure relates to a surveillance camera system that accumulates captured images and data for crime prevention and management, and displays them on a terminal, a movie viewing method in the surveillance camera system, and a movie combining method that combines a plurality of movies.
- monitoring points such as entrances and exits of buildings such as apartment buildings, stores or streets, factories, distribution centers, etc. are monitored in a timely manner, and the monitoring results are transmitted to the Internet and other telecommunications.
- a camera system for sending and monitoring to a monitor of a user terminal via a line has been introduced (see, for example, JP 2013-51534 A, JP 2002-77882 A, JP 2006-190294 A). .
- An information processing apparatus used in a surveillance camera system and an information processing apparatus connected to one or more cameras and one or more measurement devices that capture an image via a network. And a processor that selects, for each measurement data type, one that matches a specified condition from measurement data acquired from the measurement device, and extracts time information of the measurement data as trigger data.
- a data extraction step referring to a storage device in which the measurement data type of the measurement device and the camera are stored in association with each other, and for each camera with which the measurement data type is associated, a camera image captured by the camera Individual video data in a time zone that includes the trigger data time Individual video data selection step for selecting one or a plurality of images, and the selected individual video data is connected and / or partially deleted depending on whether or not a plurality of connections are necessary and / or partly deleted.
- a step of creating video data for combination as video data and a step of generating video of combined video as combined video data by combining the video data for combination into one moving image are executed.
- Example 1 of the monitoring camera system of this embodiment It is a figure which shows an example of the network structure of Example 1 of the monitoring camera system of this embodiment. It is a block diagram of the video recording server of Example 1 of the surveillance camera system of this embodiment. It is an image figure of the display method (temperature measurement example) with the database of the video recording server of Example 1 of the surveillance camera system of this embodiment, the measurement data of a measurement device, and an image. It is a block diagram of the measuring device (HTTP connection) of Example 1 of the surveillance camera system of this embodiment. It is a block diagram of the terminal (mobile) of Example 1 of the surveillance camera system of this embodiment. It is a block diagram of the terminal (PC) of Example 1 of the surveillance camera system of this embodiment.
- the first object of the present embodiment is to solve the above-described problems, and only necessary parts can be browsed, and the surveillance camera system that can improve the viewability at the time of confirmation at a later date and the video viewing in the surveillance camera system A method and a moving image combining method are provided.
- the disclosing person of this embodiment does not browse the video of the surveillance camera for the video acquired at the same time interval one by one, but effectively uses the stored video.
- the present embodiment has been completed based on the idea of using a stored moving image to generate a moving image for a new purpose.
- the first aspect of the present embodiment is connected to one or more cameras, one or more measurement devices, and one or more terminals that capture an image via a network, and the camera
- the camera image taken by the camera is stored in a folder as individual video data
- the measurement data acquired from the measurement device is stored in the folder
- the recording includes a database in which the measurement data type of the measurement device is associated with the camera.
- the recording server is Trigger data extraction means for selecting the measurement data type that matches the conditions specified from the measurement data, and extracting the time information of the measurement data as trigger data, Individual video data selection means for selecting one or a plurality of individual video data in a predetermined time period including the time of the trigger data combined from the folder for each camera associated with the measurement data type, The selected individual video data is connected and / or partially deleted depending on whether or not a plurality of connections are necessary and / or partly deleted, and combined video data creating means for respectively combining video data, Combined video data creating means for combining the combined video data into one moving image to be combined video data; There is provided a surveillance camera system comprising sending means for sending and displaying the combined video data on the terminal.
- the recorded videos are combined, it is only necessary to browse the necessary portions, and the browsing property when checking at a later date can be improved.
- the browsing property when checking at a later date can be improved.
- it is only necessary to browse the combined video according to the purpose when a problem occurs, it is possible to reduce the labor of browsing many videos for a long time to find the cause of the problem. By making multiple browsing simultaneously, the workload of browsing is reduced and the work is improved.
- stored videos can be viewed more at the same time, it can be expected that the deterrence of crimes and the like will increase.
- the “network” includes a network constituted by a communication network such as a LAN, the Internet, a Wi-Fi line, a 3G / LTE line, a dedicated line, or a combination thereof.
- the camera is either or both of a camera that shoots a still image and a camera that shoots a moving image, and the image to be shot by the camera may be either or both of a still image and a moving image.
- Each camera has an output function, a still image shooting function, and / or a moving image shooting function.
- the camera is preferably an IP camera, but can also be an analog camera.
- the compression format for moving images is H.P.
- the camera that captures the moving image is preferably connected to the recording server via a LAN network, but this is not a limitation.
- the recording server in the present embodiment may be connected to the camera via a network and collect an image of the camera, or the recording server in the present embodiment is not connected to the camera via a network, A camera image is collected by another server connected to the camera via a network, transmitted from the collected server to the recording server in the present embodiment, and stored in the recording server in the present embodiment as video data in a moving image format. It may be.
- the recording server may be a cloud server.
- a measurement data display image for creating a measurement data display image by selecting measurement data in the predetermined time period for all measurement data types to be displayed among measurement data types associated with the camera of the selected individual video data Has creation means The combined video data creating means adjusts the number of frames to the same number and simultaneously adjusts the frame interval between the combined video data to be displayed at the same time out of the combined video data.
- the measurement data display image may be combined with the combined video data in order, and the combined video data after adjustment may be combined into one moving image to form combined video data.
- the measurement data value can be checked at the same time as the video, and because the frame is adjusted, it is adjusted even if the number of frames and the interval of the original video are different, so there is no useless image and multiple cameras Can be displayed simultaneously.
- the second aspect of the present embodiment is connected to one or more cameras, one or more measurement devices, and one or more terminals that take an image via a network, and the camera
- the camera image taken by the camera is stored in a folder as individual video data
- the measurement data acquired from the measurement device is stored in the folder
- the recording includes a database in which the measurement data type of the measurement device is associated with the camera.
- the server selects the one that matches the conditions specified from the measurement data, extracts the time information of the measurement data and uses it as trigger data, trigger data extraction step, and the measurement data type is linked Individual video of a predetermined time period including the time of the trigger data combined from the folder for each camera Individual video data selection step for selecting one or a plurality of data, the selected individual video data is connected and / or partially deleted depending on whether or not a plurality of connections are necessary and / or partly deleted, A video data creation step for coupling as video data for coupling, a measurement data selection step for selecting measurement data of the predetermined time period for each camera for all measurement data types associated with the camera of the selected individual video data; A moving image browsing method comprising: a combined video data creating step of combining the combined video data into one moving image to form combined video data; and a sending step of sending the combined video data to the terminal for display. I will provide a.
- camera images captured by one or more cameras are converted into a moving image format and stored as individual video data in a folder, and measurement data acquired from one or more measurement devices is stored in the folder.
- the recording server having a database in which the measurement data type of the measurement device and the camera are associated with each other is selected for each measurement data type and matches the condition specified from the measurement data, and the time information of the measurement data is extracted.
- Trigger data extraction step as trigger data, individual video for selecting one or a plurality of individual video data in a predetermined time zone including the time of the trigger data combined from the folder for each camera associated with the measurement data type Data selection step, the necessity of multiple connection and / or safety of partial deletion of selected individual video data
- the combined video data creating step for combining and / or partially deleting the video data to be combined video data and combining the combined video data into one moving image to be combined video data
- a moving image combining method is provided.
- the recorded video is combined, only the necessary part can be viewed, and the viewability at the time of confirmation at a later date can be improved.
- stored videos can be viewed more at the same time, it can be expected that the deterrence of crimes and the like will increase. You can easily check the authenticity of the complaint at the time of delivery. Therefore, the effect of reducing the number of false claims can be expected.
- the amount of data is small and the cost can be reduced while maintaining high resolution.
- the original individual moving images can be deleted, so that capacity reduction and cost reduction can be realized.
- the video taken by the surveillance camera is processed and stored in a form that is easy to view, and the portions where the triggers are generated are extracted, joined, combined and displayed.
- a predetermined time unit is set for each camera based on the primary data created by capturing and collecting the camera images of moving images and still images by operating the monitoring camera on the recording server via the network.
- To create individual video data which is secondary video data completed as a video, and combine multiple secondary video data to create combined video data, which is tertiary video data.
- the portion where the trigger is generated is extracted, connected and combined, and the image to be monitored is transmitted. Note that not only playback but also rewinding and fast-forwarding are possible.
- FIG. 1 is a diagram illustrating an example of a network configuration of Example 1 of the monitoring camera system according to the present embodiment.
- a network 500 configured by a combination of communication networks such as a LAN, the Internet, Wi-Fi lines, 3G / LTE lines, and dedicated lines, (1) a plurality of surveillance cameras (stationary) (For image) 400A to 400C and monitoring camera (for moving image) 401, (2) connected to the monitoring camera 400, 401 via the network 500, acquires image data captured by the camera, stores it, and transmits it to the terminal
- the recording server 100 (3) connected to the recording server 100 via the network 500, and as a terminal for receiving and displaying image data from the recording server 100, mobile terminals 200A to 200C such as smartphones and desktop PCs (Personal computer) and browsing PCs 300A-C such as notebook PCs, (4) network
- An RFID sensor 700A, a beacon sensor 700B, an ON / OFF sensor 700C such as an automatic door, and a temperature sensor 700D are connected
- the sensor 700E is connected via another system database such as an open database.
- the camera may be only a monitoring still image camera or only a monitoring moving image camera, and the number of cameras is not limited as long as both are within the processing range of the recording server.
- terminal when the mobile terminal and the viewing PC are combined, they are referred to as “terminal” or “Viewer”.
- the measurement device is an example, and may be a measurement device, a sensor, or the like.
- the ON / OFF sensor 700C is an HTTP connection sensor and the temperature sensor 700D is a SOCKET connection, but other connection methods such as FTP connection may be used.
- the data transmission method from the measuring device to the recording server may be a method of transmitting data from the measuring device side to the recording server, for example, at intervals of 5 minutes, 10 minutes, 1 hour, or from the recording server side to the measuring device.
- the data may be acquired at short intervals such as every second. Since the recording server directly acquires temperature information and the like from the temperature sensor 700D, it is possible to acquire information in a short cycle. Since it is the same connection as the camera, for connection from outside the local network, settings such as port forwarding are set in the router.
- the other system database connected to the sensor 700E is a unique cloud database of the sensor 700E, and the sensor 700E uploads to the database every 10 minutes, and the recording server acquires data from the database.
- the number and the number of measurement devices may be one or more.
- the connection method with the recording server may also be a connection other than the connection method described above.
- the recording server 100 exists in the same LAN as the monitoring camera (for moving image) 401 that shoots a moving image, but only when the monitoring camera (for still image) 400 that shoots a still image exists in the same LAN. Instead, they may be connected via a plurality of networks such as the Internet or a LAN. There may be a plurality of recording servers on the same network.
- the communication between the monitoring cameras 400 and 401 and the recording server 100 is TCP / IP
- the monitoring camera (for still image) 400 that captures a still image includes the camera and the recording server within the same LAN. Even if it does not exist, image data can be reliably transmitted and received, and reliability is high.
- the monitoring cameras 400 and 401 are IP cameras in this embodiment, but may be analog cameras.
- the viewing PC 300 that is an image display terminal is not limited to being in the same LAN as the recording server 100, and may be connected via a plurality of networks such as the Internet, a LAN, or a Wi-Fi line.
- the mobile terminal 200 which is an image display terminal, may also be connected via a plurality of networks such as a LAN, the Internet, and a cellular phone network (Wi-Fi line, 3G / LTE line, etc.).
- a router 600 is interposed between the LAN and the Internet, between a monitoring camera for taking a still image and the Internet, and between an HTTP connection measuring device and the Internet.
- FIG. 1 shows a connection example in which a monitoring camera (for moving images), a monitoring camera (for still images), a viewing PC, a mobile terminal, and a measuring device are connected to a recording server via a plurality of networks. It is not limited to this.
- the communication between the monitoring cameras 400 and 401 and the recording server 100 is performed by TCP with high reliability in which communication is started after establishing a session, but data is transmitted without establishing a session.
- UDP with excellent real-time characteristics may be used, and an image can be acquired by using both TCP and UDP protocols.
- the presence / absence of one or more types of triggers is detected from measurement data transmitted from a measurement device such as various sensors, barcode readers, and RFID information readers to the recording server.
- One recording server 100 can acquire images from a plurality of monitoring cameras 400 and 401.
- the recording server 100 automatically distributes network traffic, network design is not required, and it is only necessary to connect the camera to the port, so that the operation becomes very simple. In addition, resuming is easy even when communication is interrupted.
- FIG. 2 is a configuration diagram of the recording server of Example 1 of the surveillance camera system of the present embodiment.
- the recording server 100 includes a CPU 101 with a memory 102 that is a cache memory, a control / arithmetic unit having a device driver, a storage device 110 having a main storage device such as a DRAM and an auxiliary storage device such as a hard disk, a network interface 104, and the like. And an input / output device including a display 103 as a display device, a keyboard 105, a mouse 106, and the like.
- the storage device 110 includes an operating system 114 in addition to various programs such as a primary image folder 111, a secondary video folder 112, a tertiary video folder 116, a moving image connection / combination program 113, an authentication database, an environment setting folder, and the like.
- an operating system 114 in addition to various programs such as a primary image folder 111, a secondary video folder 112, a tertiary video folder 116, a moving image connection / combination program 113, an authentication database, an environment setting folder, and the like.
- Combined video data for creating combined video data that is tertiary video data from individual video data that is secondary video data is also stored in a folder in the storage device 110.
- Measurement data acquired from the measurement device is also stored in a folder in the storage device 110.
- a database in which measurement data types of measurement devices and cameras are associated is also stored in the storage device 110.
- the primary image folder 111 stores camera images as primary data
- the secondary video folder 112 compresses and converts the primary data stored in the primary image folder 111 for a certain period of time as secondary video data. accumulate.
- Such secondary video data is individual video data obtained by converting a camera image taken by the camera into a moving image format.
- IDs, passwords, and individual identification information (UID) that are reception information of the mobile terminal 200 and the viewing PC 300 are accumulated, and IP addresses that are access information of the monitoring cameras 400 and 401 and the measurement device 700, Port number, ID, and password are stored.
- the recording server 100 is integrated with the recording server and the terminal, and also serves as a terminal for displaying images by itself, and for maintenance and management, the display 103 and a keyboard as an input means. 105 and a mouse 106.
- the terminal function as the image display device may not be provided.
- the environment settings folder contains the image acquisition timing of each surveillance camera, the primary data and secondary video data creation interval, compression conditions, layout conditions when creating tertiary video data (combined video data), primary data and secondary data, etc. Image data creation intervals, compression conditions, measurement data acquisition timing, and various conditions and layouts of measurement data display images created from measurement data are stored.
- the recording server 100 is a stationary server, but may be a cloud server.
- the recording server in the present embodiment also has a database having reproduction unit time length data for each measurement data type of each measurement device.
- the recording server 100 realizes a computer function that allows the moving image combining / editing processing of the present embodiment and the like by the CPU 101 loading the moving image connection / combination program 113 into the memory 102 and executing it.
- the CPU 101 is an arithmetic processing device mounted on a normal computer, executes various programs, and performs various controls.
- the recording server 100 may be a server group including a plurality of servers in addition to a single server.
- the storage destination may be a secondary video folder provided in a recording server separate from the recording server that acquires the camera image. Good. By separating past stored data that is not frequently played back, a larger number of cameras can be monitored on the same network.
- the recording server 100 connects to the monitoring camera, and at a certain time (for example, 1 second), the connected monitoring camera for taking a still image takes a still image and inputs the taken camera image to the recording server.
- a moving image is continuously shot by a connected moving image shooting monitoring camera for a certain time (for example, 10 seconds), the shot camera image is input to a recording server, compressed to create primary data, and a primary image of the storage device 110 Accumulate in folder 111.
- the primary data is converted into secondary video data that is combined every predetermined time (for example, 10 minutes), compressed with a time stamp, and compressed in a moving image format.
- the secondary video data that is, the individual video data is data for the same time, and all are adjusted to the same number of frames.
- the individual video data is for 10 minutes, but is not limited thereto.
- the video combining method is to display images of a certain time before and after the trigger for one camera in a time series and continuously display them, or synthesize a video for a certain time before and after the trigger for one camera on one screen.
- Trigger combination which is either to display or to synthesize a video for a certain period of time before and after the trigger for a plurality of cameras and display them on one screen.
- the recording server 100 connects to the measurement device 700 and acquires measurement data transmitted from the measurement device every predetermined time (for example, 5 minutes, 10 minutes, 1 hour), or for a certain time (for example, 1 second). ), The measurement data is transmitted to the measurement device every time, and the measurement data is acquired and stored in the folder of the storage device 110.
- predetermined time for example, 5 minutes, 10 minutes, 1 hour
- a certain time for example, 1 second
- FIG. 3 is an image diagram of the display method (temperature measurement example) of the recording server database, the measurement device measurement data, and the image of the monitoring camera system according to the first embodiment of the present embodiment.
- the recording server 100 includes a sensor master in which a measurement device key, an information collection interval, and a connection method are associated with each measurement device in a database, and a camera master in which a camera key, an image collection interval, a connection method, and the like are associated with each camera.
- a sensor item key that associates a sensor item key with a measurement device (sensor) key, an item name, a unit, etc., and a sensor item camera that associates a sensor item key with a camera key.
- a tied map is an image diagram of the display method (temperature measurement example) of the recording server database, the measurement device measurement data, and the image of the monitoring camera system according to the first embodiment of the present embodiment.
- the recording server 100 includes a sensor master in which a measurement device key, an information collection interval, and a connection method are associated
- the video connection / combination program allows the computer to: (1) Select trigger data extraction function that selects the data that meets the specified conditions from the measurement data for each measurement data type, and extracts the time information of the measurement data as trigger data (2) Individual video data selection function for selecting one or a plurality of individual video data in a predetermined time zone including the time of trigger data combined from the folder for each camera associated with the measurement data type, (3) The selected individual video data is connected and / or partially deleted depending on whether or not a plurality of connections are necessary and / or partly deleted, and is combined video data creation function as combined video data, 4) Combined video data creation function to combine combined video data into one moving image to be combined video data, (5) Terminal connection function to connect to terminal, ) Browsing request accepting function that accepts a video browsing request from the terminal, (7) to the terminal, a program for realizing the transmission function of displaying by sending the combined video data.
- the moving image connection / combination program further includes (8) measurement data in the predetermined time zone for all the measurement data types to be displayed among the measurement data types associated with the camera of the selected individual video data.
- a measurement data display image creation function for creating a measurement data display image by selecting the image data, and the combined video data creation function (4) includes a combination of video data to be displayed simultaneously among the video data for combination. Adjust the number to the same number, adjust the frame interval to the same, and arrange the combined video data to be sequentially displayed in the display order, synthesize the measurement data display image with the combined video data, and combine all the combined video data after adjustment.
- This is a program for realizing a combined video data creation function that combines video data into combined video data.
- the rewind request, fast forward request and playback request for the combined video data displayed on the terminal are received from the terminal, and the combined video data to be displayed is rewinded, fast forwarded and played according to the request.
- secondary video data is created every predetermined time (for example, 10 minutes), and if there is secondary video data, combined video data that is tertiary video data can be created. Only a video with a trigger of a plurality of cameras can be viewed on a single screen or continuously, and is transmitted as one moving image from the recording server to the terminal, so that the amount of data can be reduced.
- the connection between the monitoring camera and the recording server is made by the TCP / IP method, and in order to identify the monitoring camera, a request for taking a camera image is made after authentication.
- the connection between the terminal and the recording server is also performed by the TCP / IP method, and image transmission is performed after confirming that the terminal is a terminal registered in the recording server.
- the authentication is preferably performed by an authentication database on the recording server.
- the recording server 100 checks the IP address, port number, and UID of the monitoring camera, terminal, and measurement device every time connection is started, and connects to the camera, terminal, and measurement device in the local environment (for example, on the same LAN).
- the connection partner can be specified by connection using the IP address, port number, and UID, and authentication is performed with the user ID and password set on the recording server side.
- the recording server 100 uses a global IP address and port number by using router port forwarding (also expressed as port forwarding, etc.) when connecting to a surveillance camera in a remote environment such as via the Internet network. Identify the connection partner. Since the recording server 100 identifies the terminal based on the terminal unique information using the UID when the connection of the mobile terminal 200 or the viewing PC 300 is started, it is possible to display an image by authenticating the user ID and the password and matching the terminal unique information. .
- FIG. 4 is a configuration diagram of the measurement device (HTTP connection) of Example 1 of the surveillance camera system of the present embodiment.
- the HTTP-connected measuring device 700 is accompanied by a memory 702.
- a control / arithmetic unit having a CPU 701, a device driver, etc., a main storage unit such as a DRAM, a storage unit 710 having an auxiliary storage unit such as a hard disk, a communication control unit such as a network interface 704, a display 703 as a display unit, etc.
- the storage device 710 stores a program 713 including a data collection program, an operating system 714, an HTTP service program 717, and a digital / analog conversion 718.
- the HTTP connection measuring device 700 may be, for example, a commercially available HTTP connection type measuring device.
- the CPU 701 is an arithmetic processing device mounted on a normal measurement device, executes various programs, and performs various controls. When measurement is performed in analog, the analog sensor 716 is connected to a digital / analog conversion 718 stored in the storage device 710, converted into digital data, collected, and transmitted to the recording server.
- the measuring device 700 of another connection method also collects data and transmits the data to the recording server.
- the serial connection measuring device 700 uses an RS232C / RS485 serial device.
- the measuring device 700 with socket connection that is, TCP / IP connection, transmits data to the recording server by TCP / IP communication.
- FIG. 5 is a configuration diagram of the terminal (mobile) of Example 1 of the surveillance camera system of the present embodiment.
- Mobile terminal 200 is accompanied by memory 202.
- a control / arithmetic apparatus having a CPU 201, a device driver, and the like, a storage device 210, a communication control device for transmitting and receiving data, a display 203 as a display device, and input / output devices such as operation buttons or a touch panel are provided.
- the storage device 210 stores an image display program 213 and an operating system 214.
- the mobile terminal 200 is, for example, a mobile phone such as a smartphone, and the CPU 201 loads the image display program 213 into the memory 202 and executes it, thereby realizing a computer function capable of displaying an image according to the present embodiment.
- the CPU 201 is an arithmetic processing device mounted on a normal mobile terminal, executes various programs, and performs various controls.
- both the recording server 100 and the viewing PC 300 are configured as personal computers, and have a clock function or the like that a normal personal computer has.
- the mobile terminal 200 also has a clock function and the like.
- FIG. 6 is a configuration diagram of the terminal (PC) of Example 1 of the surveillance camera system according to the present embodiment.
- the viewing PC 300 is accompanied by a memory 302.
- a control / arithmetic unit having a CPU 301 and a device driver, a storage device 310 having a main storage device such as a DRAM and an auxiliary storage device such as a hard disk, a communication control device such as a network interface 304 and a display 303 as a display device, a keyboard 305, an input / output device including a mouse 306 and the like.
- the storage device 310 stores an image display program 313 and an operating system 314.
- the browsing PC 300 is, for example, a desktop PC, a notebook PC, a tablet terminal, or the like.
- the CPU 301 loads the image display program 313 into the memory 302 and executes it, thereby realizing a computer function capable of displaying an image according to the present embodiment.
- the CPU 301 is an arithmetic processing device mounted on a normal PC, executes various programs, and performs various controls.
- the image display program is a program for realizing a terminal connection function for connecting to a recording server and an image display function for displaying an image transmitted from the recording server on a computer.
- the image display program further accepts an input of a rewind or fast-forward request to the computer, and the recording server receives a certain unit before or after a unit of combined video data that is tertiary video data. It is a program for realizing a rewind / fast-forward request function for requesting an image.
- the images from a plurality of cameras are combined into a moving image, the images of all the cameras being displayed can be rewound and fast-forwarded at once.
- the program of the moving image browsing method having the moving image connection / combination program and the image display program causes the computer to execute the steps of each program.
- Various sensors, barcode readers, and RFID information readers attached to the monitoring camera send information converted to the recording server via a network connection, serial connection, or relay, to the recording server.
- a door opening / closing sensor is provided along with a monitoring camera mounted on a truck
- door opening / closing information and a camera image are transmitted to the recording server.
- the recording server manages the sensor information in a database and collates it with a moving image combining instruction to generate target combined video data.
- the surveillance camera and RFID information reader are linked in advance and entered into the RF tag of the product. Information is read by a reader and point passing information is managed.
- the recording server 100 connected to the monitoring cameras 400 and 401 for capturing images via the network 500 and the terminals 200 and 300 connected to the recording server 100 via the network 500 for displaying images are provided.
- the recording server 100 is connected to a monitoring camera, and a camera image obtained by shooting a still image with the connected monitoring camera for taking a still image every predetermined time (for example, 1 second). Is input to the recording server, and the video is continuously input to the monitoring camera for video recording that is connected for a certain period of time (for example, 10 seconds), and the captured camera image is input to the recording server and compressed to create primary data.
- the image is stored in the primary image folder 111 of the storage device 110.
- Each means is provided for converting the primary data into secondary video data that is combined every certain time (for example, 10 minutes), compressed with a time stamp, and compressed in a moving image format.
- the recording server 100 selects (1) a trigger data extracting unit that selects, for each measurement data type, a condition that matches a condition specified from the measurement data, extracts time information of the measurement data, and uses it as trigger data; 2) Individual video data selection means for selecting one or a plurality of individual video data in a predetermined time zone including the time of trigger data combined from the folder for each camera associated with the measurement data type, (3) selected Video data creation means for combining, which is connected and / or partially deleted according to the necessity of multiple connection and / or partial deletion of individual video data, respectively, and used as connection video data; Combined video data creating means for combining combined video data into one moving image to form combined video data, (5) Terminal connecting means for connecting to the terminal, (6) Moving image from the terminal Browse request accepting means for accepting a list request, are also provided a delivery means for displaying (7) to
- the recording server 100 further includes (8) measurement data of the predetermined time zone for all of the measurement data types to be displayed among the measurement data types associated with the camera of the selected individual video data.
- Measurement data display image creation means for selecting and creating a measurement data display image is provided, and the combined video data creation means of (4) includes the number of frames of the combined video data to be displayed simultaneously among the combined video data. Are adjusted to the same number, the frame interval is adjusted to be the same, and the video data for combination to be sequentially displayed are arranged in the display order, the measurement data display image is synthesized with the video data for combination, and all the video data for combination after adjustment is 1 This is combined video data creating means for combining the two moving images into combined video data.
- the recording server 100 functions as the means (1) to (8) by the hardware configuration and the moving image connection / combination program 113 described above.
- the terminal (mobile terminal 200 and viewing PC 300) is provided with (1) an image display means for displaying an image transmitted from the recording server 100, and (2) a rewind request, fast forward request, and playback means.
- the terminals 200 and 300 function as means (1) to (2) by the hardware configuration and the image display programs 213 and 313 described above. For example, when playback is performed on the next day of recording, etc., it is selected what time of day recording is desired to be played, and a file converted into secondary data for 10 minutes is called and played back. Rewind and fast forward during playback are also possible.
- a recording server connected via a network to a camera group that captures a still image or a moving image captures a camera image from the camera group by a TCP / IP method at regular intervals.
- it can be acquired as a video, compressed to create primary data, stored as primary data for a certain period, and then converted to secondary video data in a highly compressed video file with time stamp information after a certain period. And save again.
- H. Compressed to H.264 format and converted to a video file.
- the tertiary video data as a synthesized video for combining and displaying a plurality of individual video data as secondary video data in combination at the same time in a format determined by the recording server or in a format according to a request from the terminal, that is, Create combined video data and display it on the terminal.
- the surveillance camera system of the present embodiment can be viewed only on necessary parts, and can improve the viewability when confirmed at a later date.
- a plurality of cameras can be played back simultaneously, for example, the time from problem detection to problem investigation can be shortened.
- the moving image browsing method in the moving image combining method of the present embodiment is a camera image that is connected to one or more cameras, one or more measuring devices, and one or more terminals that capture an image via a network.
- a video recording server that stores the video as an individual video data in the folder, stores the measurement data acquired from the measurement device in the folder, and has a database that associates the measurement data type of the measurement device with the camera.
- a trigger data extraction step for selecting data that matches the specified condition from the measurement data and extracting time information of the measurement data as trigger data, (2) a camera associated with the measurement data type Each time, one or more pieces of individual video data in a predetermined time zone including the time of trigger data to be combined from the folder are included.
- Individual video data selection step to be selected (3) The selected individual video data is concatenated and / or partially deleted depending on whether or not multiple connections are required and / or partial deletion is necessary, Video data creation step for combining as data, (4) a measurement data selection step for selecting measurement data of the predetermined time zone for each camera for all the measurement data types associated with the camera of the selected individual video data; (5) a combined video data creating step of combining the combined video data into one moving image to form combined video data; and (6) a sending step of sending the combined video data to the terminal for display.
- the measurement data type associated with the camera of the selected individual video data A measurement data display image creation step for creating a measurement data display image by selecting measurement data of the predetermined time period for all the measurement data types to be displayed, and the combined video data creation step of (5) Among the video data, the video data for coupling to be displayed at the same time are adjusted to the same number of frames and the same frame interval, and the video data for coupling to be sequentially displayed are arranged in the display order.
- This is a combined video data creation step that combines the displayed images and combines all the combined video data after adjustment into one moving image to form combined video data. .
- camera images transmitted from a plurality of surveillance cameras intermittently or continuously are accumulated as primary data in the primary image folder, and secondary video data created from the primary data is stored in the secondary video folder. Accumulated.
- the secondary video data is individual video data stored in a folder with a camera image as a moving image format. Since the display request of the combined video data from the terminal is answered after the target individual video data is created, the video of a plurality of cameras can be confirmed at one stage at an early stage, and the viewability is high.
- the type of camera and trigger, the combining method, etc. are stored in the recording server in advance, but the selection of the camera to be played back or the selection of the trigger is accepted from the terminal, and then the video combining method May be displayed, and individual images may be connected and combined in accordance with the received combining method.
- one or a plurality of individual video data in a predetermined time zone including the time of the trigger data is selected for all the cameras selected by the recording server in a predetermined method.
- the moving image combining method of this embodiment is, for example, when it is desired to continuously check only the images before and after the temperature measured by the temperature / humidity sensor associated with a predetermined camera exceeds a certain level, This method is useful when you want to check only the images of cameras installed in multiple directions when opened.
- the trigger data is time information of measurement data selected in accordance with a condition specified for each measurement data type.
- the measurement data type of the measurement device “temperature / humidity meter A” (key S01), which is a temperature / humidity sensor associated with the camera 001 (key C01)
- the humidity (key I02), the temperature and humidity sensor (key SO1) recorded 25 ° C. or higher when the specified condition for temperature (key I01), which is one of the measurement data types, was 25 ° C. or higher.
- the trigger data is the temperature / humidity sensor and the measurement data type is temperature
- the predetermined time zone including the trigger data time is 2 minutes before and 3 minutes after
- the individual image data of the camera 001 is selected (key CO1) becomes the data up to 3 minutes and 12 o'clock 10 minutes 13 hours 13 minutes 13 hours 23 minutes 12 o'clock.
- the measurement data type of the measurement device “temperature / humidity meter A” (key S01) that is a temperature / humidity sensor associated with the camera 001 (key C01) is the temperature ( Measurement in which the temperature / humidity sensor records 25 ° C. or higher when the condition specified for the temperature (key I 01), which is one of the measurement data types, is 25 ° C. or higher.
- the time information of the data (key I01) is from 12:05 to 12:07, and the same applies to the temperature / humidity sensor “thermometer B” (key S02) associated with another camera 002 (key C02).
- the trigger data is When the measurement device is a temperature / humidity sensor (key S01, key S02) and the measurement data type is temperature (keys I01, I03), the camera 001 (key C01) from 12: 5 to 12:07, camera 002 (key C02) Then, from 13:15 to 13:20, if the predetermined time zone including the trigger data time is 2 minutes before and 3 minutes after, the selected individual video data is 12 for the camera 001 (key C01). The data is from 13:13 to 13:23 on the camera 002 (key C02) from time 3 to 12:10.
- the individual video data of the camera 001 (key C01) from 12: 3 to 12:10 and the individual video data of the camera 002 (key C02) from 13:13 to 13:23 are set with the frame interval and the number of frames.
- the data is adjusted to the same number between the data, and the combined video data after adjustment is combined into one video so that it is displayed divided into one screen, or the measurement data display image is added to the combined video data after adjustment
- the combined video data is obtained by synthesizing the video into one moving image.
- FIG. 7 is an image diagram of the moving image connection method (temperature measurement example) of Example 1 of the moving image combining method of the present embodiment.
- the specified condition is 30 ° C. when the measurement data type of the “temperature / humidity meter A” (key S01) is temperature (key I01), and the predetermined time zone including the time of the trigger data is 2 seconds before and 5 seconds after Assuming that the video unit is 1 hour, individual video data from 12:26:25 to 12:26:37 and 12: 28: 6 to 12:28:13 of camera 011 (key C01) Are combined into video data for combination, or a combination of the video data for combination or measurement data display images of a predetermined measurement data type (I01, I02, I03) is combined with the video data for combination.
- the video is the combined video data.
- the display method is simultaneous display of video from one camera, individual video data from 12:26:25 to 12:26:37 and 12: 28: 6 to 12:28:13 Individual video data up to and including the frame interval and the number of frames adjusted to the same number between the data, and the combined video data after adjustment combined into one video so that it can be divided into one screen and displayed, Alternatively, the combined video data is obtained by synthesizing the measurement data display image with the combined video data after adjustment into one moving image.
- FIG. 8 is a schematic diagram of a measurement data acquisition flow (automatic door example) of Example 1 of the moving image combining method of the present embodiment.
- the recording server requests an HTTP communication connection to the measurement device (for example, “ON” when the automatic door is “open” and “OFF” when the automatic door is “closed”, and connects with the user password authentication)
- the measurement data sensor data
- the measurement data acquired on the sensor side is transmitted to the recording server, and the acquired measurement data is stored in the device database of the recording server.
- FIG. 9 is a schematic diagram of a moving image connection flow (automatic door example) of Example 1 of the moving image combining method of the present embodiment.
- creation of combined video data which is tertiary video data
- the video of the same camera is connected, and when the automatic door is “open”, the sensor is the measurement data whose measurement data is “ON”, and the recording server is the measurement data “ON”.
- Time information that is, trigger data is 9: 5: 2: 9: 13: 7, 9:20:17
- movie unit is 1 minute
- start condition is start and end of movie unit including trigger data
- the condition is the end of a moving image unit including trigger data, that is, a moving image at 9 o'clock is generated with one moving image unit as a unit of individual video data.
- the individual video data based on the trigger data from 9: 5: 0 to 1 minute, 9: 13: 0 1 minute from 9: 20: 0 and 1 minute from 1 second, video data are picked up and connected in time series to form video data for combination, and the combined video data is combined into a single video. That is, it is stored as tertiary video data.
- FIG. 10 is an image diagram of the connection procedure of Example 1 of the moving image combining method of the present embodiment.
- the individual video data of the camera linked to the first trigger data are the video from 10:00, the video from 10:20 and the video from 10:30 of the camera CAM01, and the second trigger data and
- the individual video data of the linked camera includes the video from 10:40 of the camera CAM01, the video from 10:00, the video from 10:20 of CAM03, the video from 10:10 of CAM04, and CAM06.
- the first trigger is selected as the trigger
- the video from 10:00, the video from 10:20, and the video from 10:30 are connected. To synthesize.
- the screen of the timing is divided into a plurality of screens by overlapping camera images to be one screen or simply arranged in time series.
- the second trigger is selected as the trigger and the video is combined when there are multiple images at the same time, the 10:20 video of CAM03 and CAM06 is combined to be displayed on a single screen, The images targeted for the camera are combined and combined in order of shooting time.
- a combination of black circle trigger images (every number of frames is the same) for each day becomes an image such as CAM01_201604151 in the lower left of FIG. CAM01_201404151 starts to be connected from the pickup after the time when the target camera image is completely completed.
- the final completed secondary video data is CAM01_1030. Therefore, for the tertiary video data of the target camera CAM01, moving image generation is started after 10:30. The completion time is unknown.
- An image such as CAM — 201604152 in the lower right of FIG. 10 is a concatenation of trigger images of white circles for a plurality of cameras (all the number of frames are the same) and the images of the overlapping cameras divided into a single screen. become.
- a method for connecting a plurality of individual video data includes, for example, individual video data from 9:20 to 10 minutes, individual video data from 9:30 to 10 minutes, individual video data from 9:40 to 10 minutes, and 9:50.
- individual video data from 9:25 to 9:55 from the 10-minute individual video data
- the individual video is concatenated, and the video from 9:20 to 5 minutes and 9:55 to 5 This is done by trimming to delete the minutes of video.
- the method of adjusting the frame interval and the number of frames to the same number between video data for a plurality of video data for combination is that the original individual video data is, for example, cameras A, B, and C, and the primary data of the camera A Is 1 frame per second, B camera primary data is 5 frames per second, and C camera primary data is 10 frames per second. If there is not enough, make up for the previous frame.
- FIG. 11 is an image diagram of the frame number adjustment procedure of Example 1 of the moving image combining method of the present embodiment.
- the method of adjusting the frame interval and the number of frames to the same number between video data for a plurality of video data for combination is that the original individual video data is, for example, cameras A, B, and C, and the primary data of the camera A Is 1 frame per second, B camera primary data is 5 frames per second, and C camera primary data is 10 frames per second. If there is not enough, make up for the previous frame.
- FIG. 12 is an image diagram of a monitoring camera installation state (an example of truck delivery) in Example 1 of the moving image combining method of the present embodiment.
- a monitoring camera is installed at the rear door of the truck and at each collection / delivery site, and a monitoring camera (T camera) and a door opening / closing sensor are installed at the rear door of the truck.
- the continuous T-camera video is transmitted to the recording server, and when the door is opened, the measurement data becomes “ON” and the time information when it is “ON” is stored in the recording server as trigger data. Is done.
- an RFID reader is provided that reads information on RF tags embedded in product boxes and manages point passage information.
- the monitoring cameras (A to C cameras) at each collection and delivery site are linked to the RFID readers at each site, and continuous video images from the A to C cameras are transmitted to the recording server. Data of passage information is transmitted to the recording server, and time information when the point passage information is read is stored in the recording server as trigger data together with the point passage information. It may be detected by RFID that a truck has entered each location.
- FIG. 13 is an image diagram showing secondary video data (example of truck delivery) in Example 1 of the moving image combining method of the present embodiment.
- the truck at the A base opens the door from 9:30 to 9:45, unloads the baggage and acquires the point passing information with the reading device
- the truck at the B base opens the door from 11:20 to 11:40.
- the truck at the B base opens the door from 15:00 to 15:25 at site C and unloading the baggage and acquiring the point passing information with the reading device
- continuous video data of the A camera, B camera, and C camera and intermittent video data of the T camera are stored.
- the belt conveyor at each site is shown from the camera mounted on the track, and the unloading status from the track is shown on the camera at each site.
- FIG. 14 is an image diagram of a moving picture connection flow (example of truck delivery) of Example 1 of the moving picture combining method of the present embodiment.
- trigger data is read from the point passing information by the RFID reader, that is, from 9:30 to 9:45 at the A site, and from 11:20 to 11 at the B site.
- FIG. 15 is an image diagram showing a display screen (example of truck delivery) of Example 1 of the moving image combining method of the present embodiment.
- An image is secured in accordance with the opening and closing of the door of the C truck, and each site is identified by the RFID installed on the truck. Recognize the arrival of A track camera (T camera) and a camera (A, B, C camera) at each base are connected and connected to generate an image.
- T camera track camera
- A, B, C camera A, B, C camera
- the combined video data includes A camera and T camera images from 9:30 to 9:45, B camera and T camera images from 11:20 to 11:40, and 15:00 to 15:25.
- the video from the C camera and T camera up to a minute is combined into a single video, and the video at each site and the video at the track can be confirmed simultaneously in a short time. Even in different time zones, all the cameras can be divided and displayed on one screen.
- when combining only triggered videos for one camera for example, it is possible to collect only when the door is open for the video of the camera installed in the cargo for truck delivery etc. . In that case, you can view the contents at the time when there is a complaint by splitting the screen and browsing at once, or connecting and connecting after the first video without dividing the screen.
- the trigger information can vary depending on the situation, such as when the door is opened or closed, or when the image becomes brighter. If an RFID or barcode is installed on the cardboard, all images such as when passing through the gate can be combined. It becomes possible.
- effect According to the present embodiment, only necessary portions can be browsed, and the interstitial property at the time of confirmation at a later date can be improved.
- One or a plurality of camera videos can be played back simultaneously, and for example, the time from problem detection to problem investigation such as temperature abnormality, visitor confirmation, and lost luggage can be shortened.
- the present embodiment it is possible to generate a moving image for a new use with a completely new aspect, instead of simple browsing in units of time. For example, it is possible to improve the viewability at the time of confirmation at a later date, such as a lot (corrugated cardboard) unit at the manufacturing site, or the timing of loading and unloading of a delivery truck. Also, unnecessary recording information can be reduced. Furthermore, by developing software for the original player, the target movie can be enlarged and displayed in detail from the combined tertiary video data.
- the moving image combining method of this embodiment it is possible to collect only the images with triggers and view them at a time, so that the viewability can be improved.
- the camera video was only viewed when a problem occurred, but according to the surveillance camera system of this embodiment, since it can be confirmed in a short time, it can also be checked on a daily basis. Effective for early detection. Further, in a situation where only combined video data, that is, tertiary video data is sufficient, storage can be dramatically reduced by deleting not only the primary data but also the secondary video data.
- the meaningful tertiary video data can be obtained as a whole.
- a program for executing each process of the recording server of each embodiment is recorded on a computer-readable recording medium to obtain a program product, and the program recorded on the recording medium is read by the recording server and executed by the processor.
- the above-described various processes related to the recording server of each embodiment may be performed.
- the information processing system is an information processing system used in the surveillance camera system, and is connected to one or more cameras, one or more measurement devices, and one or more terminals that capture an image via a network.
- Information processing system is an information processing system used in the surveillance camera system, and is connected to one or more cameras, one or more measurement devices, and one or more terminals that capture an image via a network.
- This information processing system selects, for each measurement data type, a trigger data extraction unit that selects a condition that matches a condition specified from measurement data acquired from the measurement device, and extracts time information of the measurement data as trigger data; With reference to the storage device in which the measurement data type of the measurement device and the camera are stored in association with each other, for each camera associated with the measurement data type, an individual camera image captured by the camera is converted into a moving image format.
- Individual video data selection unit for selecting one or a plurality of individual video data in a time zone including the time of the trigger data as video data, and the necessity and / or part of the connection of the selected individual video data Create video data for combination that is linked and / or partially deleted depending on whether or not it is necessary to delete, respectively.
- a combined video data creation unit to the combined video data combined and the combined video data into one video.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
プロセッサは、計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報をトリガーデータとして抽出するトリガーデータ抽出ステップ、計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が関連付けられたカメラ毎に、トリガーデータの時刻を含む時間帯の個別映像データを1又は複数選択する個別映像データ選択ステップ、選択された個別映像データについて、複数連結の要否及び/又は一部削除の要否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成ステップ、を実行する。
Description
本開示は、防犯や管理等のために、撮影した画像やデータを蓄積し、端末に表示させる監視カメラシステムと、監視カメラシステムにおける動画閲覧方法と、複数の動画を結合する動画結合方法に関する。
従来、防犯や調査あるいは管理といった目的で、集合住宅などの建物の出入口や店頭あるいは街頭、工場や配送センター等、監視対象となるポイントを監視用カメラにより適時監視し、監視結果をインターネットその他電気通信回線を介して、ユーザ端末のモニターに送出し、モニターするカメラシステムが導入されている(例えば、特開2013-51534号公報、特開2002-77882号公報、特開2006-190294号公報参照)。
本開示の一側面に係る監視カメラシステムで用いられる情報処理装置であり、且つネットワークを介して、画像を撮影する1又は複数のカメラ及び1又は複数の計測デバイスに接続される情報処理装置であって、プロセッサを有し、前記プロセッサは、計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報をトリガーデータとして抽出するトリガーデータ抽出ステップ、前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が関連付けられたカメラ毎に、前記カメラが撮影したカメラ画像を動画形式にした個別映像データであって前記トリガーデータの時刻を含む時間帯の個別映像データを1又は複数選択する個別映像データ選択ステップ、前記選択された個別映像データについて、複数連結の要否及び/又は一部削除の要否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、前記結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成ステップ、を実行する。
しかし、従来の監視カメラシステムでは、ライブでの映像再生では、複数のカメラを同時に閲覧できたが、アーカイブとなった映像では、1動画ずつの再生しかできず、閲覧性が悪いという問題があった。
また、後日問題が発覚した際、例えば配送現場において、問題のあったトラックの誤配先を確認したいとき、そのトラックの車載映像全てを1つ1つ確認しなければならず、不要な動画まで閲覧しなければならなかったので、閲覧性が悪く、問題発覚から問題究明までに時間がかかるという問題があった。
したがって、本実施形態の第1の目的は、上記した課題を解決し、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる監視カメラシステム及び監視カメラシステムにおける動画閲覧方法並びに動画結合方法を提供することにある。
本実施形態の開示者は、同じ時間間隔で取得した映像を、時間単位で1動画ずつ監視カメラの映像を閲覧するのではなく、保存された動画を有効利用するため、全く別な切り口で、保存した動画を使用して新たな用途の動画を生成するという考えに立ち、本実施形態を完成させたものである。
本実施形態の第1の態様は、上記目的を達成するため、ネットワークを介して、画像を撮影する1又は複数のカメラ及び1又は複数の計測デバイス及び1又は複数の端末に接続され、前記カメラが撮影したカメラ画像を動画形式にしてフォルダに個別映像データとして保存し、前記計測デバイスから取得した計測データをフォルダに保存し、前記計測デバイスの計測データ種別とカメラを紐付けたデータベースを有する録画サーバを具備し、
前記録画サーバが、
前記計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出手段、
当該計測データ種別が紐付けられたカメラ毎に、前記フォルダから結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを1又は複数選択する個別映像データ選択手段、
選択された個別映像データについて、複数連結の要否及び/又は一部削除の要否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成手段、
前記結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成手段、
前記端末に、前記結合映像データを送出して表示させる送出手段
を有することを特徴とする監視カメラシステムを提供する。
前記録画サーバが、
前記計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出手段、
当該計測データ種別が紐付けられたカメラ毎に、前記フォルダから結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを1又は複数選択する個別映像データ選択手段、
選択された個別映像データについて、複数連結の要否及び/又は一部削除の要否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成手段、
前記結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成手段、
前記端末に、前記結合映像データを送出して表示させる送出手段
を有することを特徴とする監視カメラシステムを提供する。
本実施形態の第1の態様によれば、録画映像の結合がされるので、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる。また、扉を開けたとき等、1又は複数のトリガーが発生した複数の時刻の動画のみを同時にあるいは順次閲覧したりできる。また、目的に応じた結合動画を閲覧するだけですむので、問題発生時に、多くの動画を長時間かけて閲覧して問題の発生原因等を見つける労力が、削減できる。複数同時閲覧とすることで、閲覧の作業負担が減り、業務が改善される。また、保存動画を、同じ時間で今までより多く見ることができるようになるため、犯罪等の抑止力が高まることが期待できる。配送時のクレームなどの真偽が簡単に確認できる。したがって、嘘のクレームが減るという効果が期待できる。高い解像度を保ちながらデータ量が小さく低コスト化を可能とする。また、目的に応じた結合画像のみ保存しておけば、元の個別の動画を削除することができるので、容量削減と低コスト化を実現できる。
本実施形態において、「ネットワーク」には、LANやインターネット、Wi-Fi回線、3G/LTE回線、専用線等の通信網及びそれらの組合せから構成されるネットワークを含む。本実施形態において、カメラは、静止画を撮影するカメラ及び動画を撮影するカメラのいずれか又は両方であって、カメラに撮影させる画像が、静止画及び動画のいずれか又は両方であってもよい。各カメラは、出力機能と、静止画撮影機能及び/又は動画撮影機能を有する。カメラはIPカメラであることが好ましいが、アナログカメラでも可能である。静止画を撮影するカメラから取得した画像について、動画への圧縮形式は、現時点で高圧縮であるH.264であることがさらに好ましい。軽量で、ハードウェア、ソフトウェアいずれであっても実装が容易である。また、動画を撮影するカメラは、録画サーバとLANネットワークで接続されていることが好ましいが、この限りではない。また、本実施形態における録画サーバがカメラとネットワークを介して接続されカメラの画像を収集するものであってもよいし、本実施形態における録画サーバがカメラとネットワークを介して接続されておらず、カメラの画像を、カメラとネットワークで接続された別のサーバで収集して、収集したサーバから本実施形態における録画サーバに送信して動画形式で映像データとして本実施形態における録画サーバに蓄積するものであってもよい。なお、録画サーバはクラウドサーバであってもよい。
さらに、選択された個別映像データのカメラに紐づけられた計測データ種別のうち表示する計測データ種別全てについて前記所定の時間帯の計測データを選択して計測データ表示画像を作成する計測データ表示画像作成手段を有し、
前記結合映像データ作成手段が、前記結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、順次表示させる結合用映像データは表示順に並べて、前記結合用映像データに、前記計測データ表示画像を合成し、調整後の結合用映像データ全てを1つの動画に合成して結合映像データとするものであるものであってもよい。
前記結合映像データ作成手段が、前記結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、順次表示させる結合用映像データは表示順に並べて、前記結合用映像データに、前記計測データ表示画像を合成し、調整後の結合用映像データ全てを1つの動画に合成して結合映像データとするものであるものであってもよい。
計測データの値を映像と同時に確認できるので便利であり、またフレーム調整してあるので、元の映像のフレーム数や間隔が異なっていても調整されるので無駄な画像が含まれないし、複数カメラの映像を1つにして同時に表示できる。
本実施形態の第2の態様は、上記目的を達成するため、ネットワークを介して、画像を撮影する1又は複数のカメラ及び1又は複数の計測デバイス及び1又は複数の端末に接続され、前記カメラが撮影したカメラ画像を動画形式にしてフォルダに個別映像データとして保存し、前記計測デバイスから取得した計測データをフォルダに保存し、前記計測デバイスの計測データ種別とカメラを紐付けたデータベースを有する録画サーバが、前記計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出ステップ、当該計測データ種別が紐付けられたカメラ毎に、前記フォルダから結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを1又は複数選択する個別映像データ選択ステップ、選択された個別映像データについて、複数連結の要否及び/又は一部削除の要否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、選択された個別映像データのカメラに紐づけられた計測データ種別全てについてカメラ毎に前記所定の時間帯の計測データを選択する計測データ選択ステップ、前記結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成ステップ、前記端末に、前記結合映像データを送出して表示させる送出ステップを含むことを特徴とする動画閲覧方法を提供する。
本実施形態の第2の態様によれば、本実施形態の第1の態様と同様に、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる。
本実施形態の第3の態様は、1又は複数のカメラが撮影したカメラ画像を動画形式にしてフォルダに個別映像データとして保存し、1又は複数の計測デバイスから取得した計測データをフォルダに保存し、前記計測デバイスの計測データ種別とカメラを紐付けたデータベースを有する録画サーバが前記計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出ステップ、当該計測データ種別が紐付けられたカメラ毎に、前記フォルダから結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを1又は複数選択する個別映像データ選択ステップ、選択された個別映像データについて、複数連結の要否及び/又は一部削除の安否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、前記結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成ステップ、を含むことを特徴とする動画結合方法を提供する。
本実施形態の第3の態様によれば、録画映像の結合がされるので、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる。また、扉を開けたとき等、1又は複数のトリガーが発生した複数の時刻の動画のみを同時にあるいは順次閲覧できるので、問題発生時に、多くの動画を長時間かけて閲覧して問題の発生原因等を見つける労力が、削減できる。複数同時閲覧とすることで、閲覧の作業負担が減り、業務が改善される。また、保存動画を、同じ時間で今までより多く見ることができるようになるため、犯罪等の抑止力が高まることが期待できる。配送時のクレームなどの真偽が簡単に確認できる。したがって、嘘のクレームが減るという効果が期待できる。高い解像度を保ちながらデータ量が小さく低コスト化を可能とする。また、トリガーが発生した動画のみをまとめて1つの結合動画として保存しておけば、元の個別の動画を削除することができるので、容量削減と低コスト化を実現できる。
本実施形態によれば、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる。
以下、本実施形態について、実施例を用いて本実施形態を具体的に説明するが、本実施形態はこれらに限定されるものではない。
本実施例は、監視用カメラで撮りためた映像を閲覧しやすい形に加工して保存するもので、トリガーが生じた部分を抽出して繋ぎ合わせて合成して表示するものである。詳細には、ネットワークを介して録画サーバで監視用カメラを作動させて、録画サーバが動画及び静止画のカメラ画像を撮影・収集して作成した一次データを元に、カメラ毎に所定の時間単位で動画として完結した二次映像データである個別映像データを作成し、複数の二次映像データを結合加工して三次映像データである結合映像データを作成し、録画サーバがユーザの端末に端末からの要求に応じてネットワークを介して、トリガーが生じた部分を抽出して繋ぎ合わせて合成して、モニターする映像を送信するものである。なお、再生のみならず、巻戻し・早送りも可能である。したがって、本実施例では、保存した映像の有効利用を実現できる。例えば、ある作業室において、材料投入時に異物混入のあった時間帯がなかったかを後日確認しようとした際、すぐに知ることができるし、問題のあったロットについて従業員に不審な動きがなかったかを後日確認しようとした際も、すぐに知ることができるし、作業室の不審者が入らなかったかを、扉があいた時の映像のみ同時再生してすぐに知ることができる。したがって、本実施例によれば、後日確認時の閲覧性が向上し、これまで長時間労力をかけて調べていた問題究明を、極めて短時間に、小さな労力で調べることができる。
(構成)
図1は、本実施形態の監視カメラシステムの実施例1のネットワーク構成の一例を示す図である。LANやインターネット、Wi-Fi回線、3G/LTE回線、専用線等の通信網の組み合わせから構成されるネットワーク500上には、(1)画像を撮影するカメラとして、複数台の監視用カメラ(静止画用)400A~C及び監視用カメラ(動画用)401、(2)ネットワーク500を介して監視用カメラ400、401と接続され、カメラで撮影した画像データを取得し蓄積し端末に送信する録画サーバとして、録画サーバ100、(3)ネットワーク500を介して録画サーバ100と接続され、録画サーバ100からの画像データを受信して表示する端末として、スマートフォンなどのモバイル端末200A~Cや、デスクトップPC(パーソナルコンピュータ)やノートPCなどの閲覧PC300A~C、(4)ネットワーク500を介して録画サーバ100と接続され、録画サーバ100に計測データを送信する計測デバイスとして、RFIDセンサ700Aや、ビーコンセンサ700Bや、自動ドア等のON/OFFセンサ700Cや、温度センサ700Dが接続されている。また、オープンデータベース等の他システムデータベースを介して、センサ700Eが接続されている。カメラは、監視用静止画カメラのみでもよいし、監視用動画カメラのみでもよいし、共に、録画サーバの処理範囲内であれば台数に制限はない。なお、以下、モバイル端末と閲覧PCとをまとめるときは、「端末」又は「Viewer」という。計測デバイスは例示であって、計測機器やセンサ等であってもよい。本実施例では、ON/OFFセンサ700Cは、HTTP接続のセンサであり、温度センサ700DはSOCKET接続であるが、FTP接続等、他の接続方法であってもよい。計測デバイスから録画サーバへのデータの送信方法は、計測デバイス側から録画サーバに、例えば5分、10分、1時間といった間隔で送信するものであってもよいし、録画サーバ側から計測デバイスに1秒毎のように短い間隔でデータを取得しにいくものでもよい。温度センサ700Dからは温度情報等を直接録画サーバに取得させるため、短い周期での情報取得が可能となる。カメラと同じ接続になるので、ローカルネットワーク外からの接続には、ルータにポートフォワーディング等の設定を行う。センサ700Eに接続された他システムデータベースは、センサ700Eの独自のクラウドデータベースであって、センサ700Eは10分毎にかかるデータベースにアップロードし、録画サーバは、かかるデータベースからデータを取得する。かかる方法によれば、短い周期の情報取得はできないが、デバイスの設置環境に影響しない情報取得が可能となる。計測デバイスの種類や数は、1以上いくつでもよい。また録画サーバとの接続方法についても、上述した接続方法以外の接続でもよい。
図1は、本実施形態の監視カメラシステムの実施例1のネットワーク構成の一例を示す図である。LANやインターネット、Wi-Fi回線、3G/LTE回線、専用線等の通信網の組み合わせから構成されるネットワーク500上には、(1)画像を撮影するカメラとして、複数台の監視用カメラ(静止画用)400A~C及び監視用カメラ(動画用)401、(2)ネットワーク500を介して監視用カメラ400、401と接続され、カメラで撮影した画像データを取得し蓄積し端末に送信する録画サーバとして、録画サーバ100、(3)ネットワーク500を介して録画サーバ100と接続され、録画サーバ100からの画像データを受信して表示する端末として、スマートフォンなどのモバイル端末200A~Cや、デスクトップPC(パーソナルコンピュータ)やノートPCなどの閲覧PC300A~C、(4)ネットワーク500を介して録画サーバ100と接続され、録画サーバ100に計測データを送信する計測デバイスとして、RFIDセンサ700Aや、ビーコンセンサ700Bや、自動ドア等のON/OFFセンサ700Cや、温度センサ700Dが接続されている。また、オープンデータベース等の他システムデータベースを介して、センサ700Eが接続されている。カメラは、監視用静止画カメラのみでもよいし、監視用動画カメラのみでもよいし、共に、録画サーバの処理範囲内であれば台数に制限はない。なお、以下、モバイル端末と閲覧PCとをまとめるときは、「端末」又は「Viewer」という。計測デバイスは例示であって、計測機器やセンサ等であってもよい。本実施例では、ON/OFFセンサ700Cは、HTTP接続のセンサであり、温度センサ700DはSOCKET接続であるが、FTP接続等、他の接続方法であってもよい。計測デバイスから録画サーバへのデータの送信方法は、計測デバイス側から録画サーバに、例えば5分、10分、1時間といった間隔で送信するものであってもよいし、録画サーバ側から計測デバイスに1秒毎のように短い間隔でデータを取得しにいくものでもよい。温度センサ700Dからは温度情報等を直接録画サーバに取得させるため、短い周期での情報取得が可能となる。カメラと同じ接続になるので、ローカルネットワーク外からの接続には、ルータにポートフォワーディング等の設定を行う。センサ700Eに接続された他システムデータベースは、センサ700Eの独自のクラウドデータベースであって、センサ700Eは10分毎にかかるデータベースにアップロードし、録画サーバは、かかるデータベースからデータを取得する。かかる方法によれば、短い周期の情報取得はできないが、デバイスの設置環境に影響しない情報取得が可能となる。計測デバイスの種類や数は、1以上いくつでもよい。また録画サーバとの接続方法についても、上述した接続方法以外の接続でもよい。
録画サーバ100は、動画を撮影する監視用カメラ(動画用)401と同じLAN内に存在するが、静止画を撮影する監視用カメラ(静止画用)400が同じLAN内に存在する場合に限らず、インターネットやLAN等、複数のネットワークを介して接続されていてもよい。また、同じネットワーク上に複数の録画サーバがあってもよい。本実施例では、監視用カメラ400、401と録画サーバ100との通信がTCP/IP方式で、静止画を撮影する監視用カメラ(静止画用)400では、同じLAN内にカメラと録画サーバが存在しなくても、確実に画像データの送受信ができ、信頼性が高い。監視用カメラ400、401は、本実施例ではIPカメラであるが、アナログカメラでもよい。画像表示用の端末である閲覧PC300も、録画サーバ100と同じLAN内に存在する場合に限らず、インターネットやLANやWi-Fi回線等、複数のネットワークを介して接続されていてもよい。画像表示用の端末であるモバイル端末200についても、LAN、インターネット、携帯電話用ネットワーク(Wi-Fi回線や3G/LTE回線等)等、複数のネットワークを介して接続されていてもよい。なお、LANとインターネット間や静止画を撮影する監視用カメラとインターネット間やHTTP接続の計測デバイスとインターネット間はルータ600を介する。図1は、監視用カメラ(動画用)及び監視用カメラ(静止画用)や閲覧PCやモバイル端末や計測デバイスを、録画サーバと複数のネットワークを介して接続した接続例を示すものであり、これに限定されない。本実施例では、監視用カメラ400、401と録画サーバ100との通信は、セッションを確立してから通信を開始する信頼性の高いTCPで行うが、セッションを確立しないでデータを送信する早くてリアルタイム性に優れたUDPでもよく、TCP、UDPどちらのプロトコルでも画像を取得できる。各種センサやバーコード読取装置やRFIDの情報読取装置等の計測デバイスから録画サーバに送信された計測データから、1又は複数種類のトリガーの有無を検出する。
1台の録画サーバ100は、複数台の監視カメラ400、401から画像を取得することができる。本実施例では、録画サーバ100側がネットワークトラフィックを自動的に分散させるので、ネットワーク設計が不要で、カメラをポートに繋ぐだけで済むため、作業が非常に簡便となる。また、通信が不通になった場合にも再開が容易である。
図2は、本実施形態の監視カメラシステムの実施例1の録画サーバの構成図である。録画サーバ100は、キャッシュメモリであるメモリ102を伴うCPU101やデバイスドライバ等を有する制御・演算装置と、DRAM等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置110と、ネットワークインターフェース104等の通信制御装置や表示装置としてのディスプレイ103、キーボード105、マウス106等で構成される入出力装置とを備えている。記憶装置110には、一次画像フォルダ111と二次映像フォルダ112と三次映像フォルダ116と動画連結・結合プログラム113をはじめとする各種プログラムと認証用データベースと環境設定フォルダ等の他、オペレーティングシステム114が格納されている。二次映像データである個別映像データから三次映像データである結合映像データを作成するための結合用映像データも記憶装置110内のフォルダに格納されている。また、計測デバイスから取得した計測データも記憶装置110内のフォルダに格納されている。さらに、計測デバイスの計測データ種別とカメラを紐づけたデータベースも、記憶装置110内に格納されている。動画連結・結合プログラム113をはじめとする各種プログラムは、通常、記憶装置110の補助記憶装置に格納されており、実行時には主記憶装置にロードされる。一次画像フォルダ111には、カメラ画像を一次データとして蓄積し、二次映像フォルダ112には、一次画像フォルダ111内に蓄積された一定時間分の一次データを動画圧縮変換して二次映像データとして蓄積する。かかる二次映像データが、カメラが撮影したカメラ画像を動画形式にした個別映像データである。認証用データベースには、モバイル端末200及び閲覧PC300の受付情報であるID、パスワード、個体識別情報(UID)が蓄積され、各監視用カメラ400、401や計測デバイス700のアクセス情報であるIPアドレス、ポート番号、ID、パスワードが蓄積されている。本実施例では、録画サーバ100は、録画サーバと端末が一体となっており、自ら画像を表示する端末の役割も果たすため、また、メンテナンスや管理のため、ディスプレイ103、また入力手段としてのキーボード105やマウス106を有している。録画サーバでカメラ画像の再生を要しない場合は、画像表示装置としての端末機能はなくてもよい。環境設定フォルダには、各監視用カメラの画像取得タイミング、一次データや二次映像データの作成間隔、圧縮条件、三次映像データ(結合映像データ)作成時のレイアウト等の条件、一次データや二次画像データの作成間隔、圧縮条件、計測データ取得タイミング、計測データから作成する計測データ表示画像の各種条件やレイアウト等が蓄積されている。録画サーバ100は、設置型のサーバであるが、クラウドサーバであってもよい。
本実施例における録画サーバは、また、各計測デバイスの計測データ種別ごとに再生単位時間長データを有するデータベースを有する。
録画サーバ100は、CPU101が、動画連結・結合プログラム113をメモリ102にロードして実行することにより本実施形態の動画結合編集処理等が可能なコンピュータの機能を実現する。CPU101は、通常のコンピュータに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。
録画サーバ100は、1台のサーバとする他、複数のサーバからなるサーバ群であってもよい。例えば、二次映像フォルダについて、一定期間(例えば24時間)経過後の二次映像データについては、保存先を、カメラ画像を取得する録画サーバと別の録画サーバに設けた二次映像フォルダとしてもよい。頻繁には再生しない過去の保存データを別にすることで、さらに多くの台数のカメラを同一ネットワーク上で監視可能となる。
録画サーバ100は、監視用カメラとの接続を行い、一定時間(例えば1秒)毎に、接続した静止画撮影用の監視用カメラに静止画を撮影させ撮影したカメラ画像を録画サーバに入力させ、一定時間(例えば10秒)ずつ、接続した動画撮影用の監視用カメラに動画を連続撮影させ撮影したカメラ画像を録画サーバに入力させ、圧縮して一次データを作成し記憶装置110の一次画像フォルダ111に蓄積する。そして一次データを、一定時間(例えば10分)毎に結合させタイムスタンプを付して動画形式で圧縮した二次映像データに変換する。本実施例では、二次映像データすなわち個別映像データは、それぞれ、同じ時間分のデータであり、全て同じフレーム数に調整してある。本実施例では、10分間分の個別映像データとしてあるが、これに限らない。
本実施例において、映像の結合方法は、1つのカメラについてトリガーの前後一定時間の映像を時系列で並べて連続表示するか、1つのカメラについてトリガーの前後一定時間の映像を合成して1画面に表示するか、複数のカメラについてトリガーの前後一定時間の映像を合成して1画面に表示するかのいずれかとする、トリガー結合である。
録画サーバ100は、計測デバイス700との接続を行い、一定時間(例えば、5分、10分、1時間)毎に計測デバイスから送信された計測データを取得し、あるいは、一定時間(例えば1秒)毎に計測デバイスに計測データを送信させて計測データを取得し、記憶装置110のフォルダに蓄積する。
図3は、本実施形態の監視カメラシステムの実施例1の録画サーバのデータベースと計測デバイスの計測データと画像での表示方法(温度計測例)のイメージ図である。録画サーバ100は、データベースに、計測デバイス毎に計測デバイスキーや情報収集間隔や接続方法等を紐づけたセンサマスタと、カメラ毎にカメラキーや画像収集間隔や接続方法等を紐づけたカメラマスタと、計測デバイスの計測種別すなわちセンサ項目毎にセンサ項目キーと計測デバイス(センサ)キーや項目名や単位等を紐づけたセンサ項目マスタと、センサ項目キーとカメラキーを紐づけたセンサ項目カメラ紐付マップとを有する。
動画連結・結合プログラムは、コンピュータに、(1)計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出機能、(2)当該計測データ種別が紐付けられたカメラ毎に、フォルダから結合するトリガーデータの時刻を含む所定の時間帯の個別映像データを1又は複数選択する個別映像データ選択機能、(3)選択された個別映像データについて、複数連結の要否及び/又は一部削除の要否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成機能、(4)結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成機能、(5)端末との接続を行う端末接続機能、(6)端末から動画閲覧要求を受け付ける閲覧要求受付機能、(7)端末に、結合映像データを送出して表示させる送出機能を実現させるためのプログラムである。どのカメラの映像をどのレイアウトで結合させるかの設定及び複数連結の要否及び/又は一部削除の要否や、トリガー毎のトリガー何分間前からトリガー何分後までの映像とするかの時間要件やどの計測装置のトリガーに基づいてどのカメラの映像をピックアップするかについては、予め録画サーバ100のデータベースに結合条件として記憶されている。
本実施例では、動画連結・結合プログラムは、さらに、(8)選択された個別映像データのカメラに紐づけられた計測データ種別のうち表示する計測データ種別全てについて前記所定の時間帯の計測データを選択して計測データ表示画像を作成する計測データ表示画像作成機能を有し、(4)の結合映像データ作成機能が、結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、順次表示させる結合用映像データは表示順に並べて、前記結合用映像データに、計測データ表示画像を合成し、調整後の結合用映像データ全てを1つの動画に合成して結合映像データとする結合映像データ作成機能を実現させるためのプログラムである。
なお、本実施例では、端末に表示した結合映像データについての巻戻し要求及び早送り要求及び再生要求を端末から受け付け、要求により、表示する結合映像データの巻戻し・早送り・再生を行う。
本実施例では、一定時間(例えば10分)分毎に二次映像データが作成され、二次映像データがあれば三次映像データである結合映像データが作成できる。複数カメラのトリガーのある映像のみを、一画面もしくは連続して見ることができ、かつ一つの動画として録画サーバから端末へ送出されるためデータ量が小さくて済む。
本実施例では、監視カメラと録画サーバとの接続はTCP/IP方式で行い、監視カメラを特定するため、認証を行ってからカメラ画像の撮影等の要求を行う。端末と録画サーバとの接続もTCP/IP方式で行い、端末が録画サーバに登録してある端末であることを確認してから画像送信を行う。認証は、録画サーバ上の認証用データベースによる認証が好ましい。
録画サーバ100は、接続開始時毎に、監視用カメラや端末や計測デバイスのIPアドレス及びポート番号、UIDを調べ、ローカル環境(例えば、同じLAN上)にあるカメラや端末や計測デバイスとの接続開始時には、IPアドレス及びポート番号やUIDを用いた接続によって接続相手を特定でき、録画サーバ側で設定したユーザIDとパスワードで認証する。録画サーバ100は、インターネット網を介する等、遠隔環境にある監視用カメラとの接続では、ルータのポート転送(ポートフォワーディングなどとも表現される)を用いることで、グローバルIPアドレス及びポート番号を用いて接続相手を特定する。録画サーバ100は、モバイル端末200又は閲覧PC300の接続開始時にUIDを用いた端末固有情報を元に端末を特定するため、ユーザIDとパスワードの認証及び端末固有情報の一致により画像表示を可能とする。
図4は、本実施形態の監視カメラシステムの実施例1の計測デバイス(HTTP接続)の構成図である。HTTP接続の計測デバイス700は、メモリ702を伴う。CPU701やデバイスドライバ等を有する制御・演算装置と、DRAM等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置710と、ネットワークインターフェース704等の通信制御装置や表示装置としてのディスプレイ703等で構成される入出力装置とを備えている。記憶装置710には、データ収集プログラム等を含むプログラム713やオペレーティングシステム714やHTTPサービスプログラム717やデジタル/アナログ変換718が格納されている。HTTP接続の計測デバイス700は、例えば、市販のHTTP接続タイプの計測デバイスでもよい。CPU701は、通常の計測デバイスに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。アナログで計測を行う場合、アナログセンサ716に記憶装置710に格納されているデジタル/アナログ変換718に接続して、デジタルデータに変換してデータ収集を行い、録画サーバにデータを送信する。他の接続方法の計測デバイス700でも、データ収集を行い、録画サーバにデータを送信する。シリアル接続の計測デバイス700では、RS232C/RS485シリアルデバイスを用いる。ソケット接続すなわちTCP/IP接続の計測デバイス700では、TCP/IP通信で録画サーバにデータを送信する。
図5は、本実施形態の監視カメラシステムの実施例1の端末(モバイル)の構成図である。モバイル端末200は、メモリ202を伴う。CPU201やデバイスドライバ等を有する制御・演算装置と、記憶装置210、データの送受信等を行う通信制御装置、表示装置としてのディスプレイ203、操作ボタンあるいはタッチパネル等の入出力装置を備えている。記憶装置210には、画像表示プログラム213やオペレーティングシステム214が格納されている。モバイル端末200は、例えばスマートフォン等の携帯電話等であり、CPU201が画像表示プログラム213をメモリ202にロードして実行することにより本実施形態の画像表示が可能なコンピュータの機能を実現する。CPU201は、通常のモバイル端末に搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。
本実施例においては、録画サーバ100と閲覧PC300とは、ともにパーソナルコンピュータとして構成され、通常のパーソナルコンピュータが有するクロック機能等を備えている。モバイル端末200もクロック機能等を備えている。
図6は、本実施形態の監視カメラシステムの実施例1の端末(PC)の構成図である。閲覧PC300は、メモリ302を伴う。CPU301やデバイスドライバ等を有する制御・演算装置と、DRAM等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置310と、ネットワークインターフェース304等の通信制御装置や表示装置としてのディスプレイ303、キーボード305、マウス306等で構成される入出力装置とを備えている。記憶装置310には、画像表示プログラム313やオペレーティングシステム314が格納されている。閲覧PC300は、例えばデスクトップPCやノートPC、タブレット端末等であり、CPU301が画像表示プログラム313をメモリ302にロードして実行することにより本実施形態の画像表示が可能なコンピュータの機能を実現する。CPU301は、通常のPCに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。
画像表示プログラムは、コンピュータに、録画サーバとの接続を行う端末接続機能、録画サーバから送信された画像を表示する画像表示機能を実現させるためのプログラムである。
本実施例では、画像表示プログラムは、より好ましい態様として、さらに、コンピュータに、巻戻し又は早送りの要求の入力を受け付け、録画サーバに三次映像データである結合映像データの一定単位分前又は後の映像を要求する巻戻し・早送り要求機能をも実現させるためのプログラムである。
本実施例では、複数カメラの映像を結合して動画としてあるため、表示中の全てのカメラの映像を一度に巻き戻し・早送りすることができる。
動画連結・結合プログラムと画像表示プログラムとを有する動画閲覧方法のプログラムは、それぞれのプログラムによるステップをコンピュータに実行させるものである。
監視用カメラに併設される各種センサやバーコード読取装置やRFIDの情報読取装置は、録画サーバとネットワーク接続やシリアル接続もしくは中継器で変換された情報を録画サーバに送る。例えば、トラックに搭載された監視用カメラに扉の開閉センサが併設されている場合、扉の開閉情報とカメラ画像を録画サーバに送信される。録画サーバは、センサ情報をデータベース管理し、動画結合指示と照合し目的の結合映像データを生成する。例えば、製品を製造するベルトコンベア上に設置された複数の監視用カメラとRFID情報読取装置が設置されている場合、あらかじめ監視カメラとRFID情報読取装置を紐付けし、商品のRFタグに入っている情報をリーダで読み取り、地点通過情報を管理する。
本実施例では、画像を撮影する監視用カメラ400、401にネットワーク500を介して接続された録画サーバ100と、録画サーバ100にネットワーク500を介して接続され画像を表示する端末200、300とを具備しており、録画サーバ100には、監視用カメラとの接続を行い、一定時間(例えば1秒)毎に、接続した静止画撮影用の監視用カメラに静止画を撮影させ撮影したカメラ画像を録画サーバに入力させ、一定時間(例えば10秒)ずつ、接続した動画撮影用の監視用カメラに動画を連続撮影させ撮影したカメラ画像を録画サーバに入力させ、圧縮して一次データを作成し記憶装置110の一次画像フォルダ111に蓄積する。そして一次データを、一定時間(例えば10分)分毎に結合させタイムスタンプを付して動画形式で圧縮した二次映像データに変換する、各手段を設けてある。さらに、録画サーバ100には、(1)計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出手段、(2)当該計測データ種別が紐付けられたカメラ毎に、フォルダから結合するトリガーデータの時刻を含む所定の時間帯の個別映像データを1又は複数選択する個別映像データ選択手段、(3)選択された個別映像データについて、複数連結の要否及び/又は一部削除の要否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成手段、(4)結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成手段、(5)端末との接続を行う端末接続手段、(6)端末から動画閲覧要求を受け付ける閲覧要求受付手段、(7)端末に、結合映像データを送出して表示させる送出手段をも設けてある。
本実施例では、録画サーバ100には、さらに、(8)選択された個別映像データのカメラに紐づけられた計測データ種別のうち表示する計測データ種別全てについて前記所定の時間帯の計測データを選択して計測データ表示画像を作成する計測データ表示画像作成手段を有し、(4)の結合映像データ作成手段が、結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、順次表示させる結合用映像データは表示順に並べて、前記結合用映像データに、計測データ表示画像を合成し、調整後の結合用映像データ全てを1つの動画に合成して結合映像データとする結合映像データ作成手段である。
本実施例では、録画サーバ100は、前述のハードウェア構成と動画連結・結合プログラム113によって、(1)~(8)の手段として機能する。
また、端末(モバイル端末200及び閲覧PC300)に、(1)録画サーバ100から送信された画像を表示する画像表示手段及び(2)巻戻し要求及び早送り要求及び再生手段を設けてある。
本実施例では、端末200、300は、前述のハードウェア構成と画像表示プログラム213、313によって、(1)~(2)の手段として機能する。例えば、録画翌日等に再生を行うとき、何日の何時の録画について再生をしたいかを選択し、10分分ずつ2次データに変換されたファイルを呼び出して、再生を行う。再生中の巻戻しや早送りも可能である。
本実施例の監視カメラシステムは、静止画又は動画を撮影するカメラ群にネットワークを介して接続された録画サーバが、一定時間毎に、前記カメラ群からTCP/IP方式で、カメラ画像を静止画又は動画で取得し、圧縮して一次データを作成して、一定期間内は一次データのまま保存し、一定期間経過後に、タイムスタンプ情報を付加した高圧縮動画ファイルの二次映像データに変換して保存し直す。本実施例では、H.264形式で圧縮して動画ファイルに変換する。さらに、録画サーバで定めた形式又は端末からの要望に従った形式で、二次映像データである個別映像データを複数組み合わせて同時に並行して組合せ表示するための合成をした動画として三次映像データすなわち結合映像データを作成して端末に表示する。
本実施例の監視カメラシステムは、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる。複数のカメラの動画を同時に再生でき、例えば、問題発覚から問題究明までの時間が短縮できる。
{手順}
上述した本実施形態の監視カメラシステムの実施例1における動画結合方法及び、本実施形態の動画結合方法の実施例1を使用した動画閲覧方法の手順について次に説明する。なお、図を用いた手順の説明には、温度計測の例と自動ドアの例とトラック配送の例を適宜用いる。いずれも基本的な手順は同じであり、計測デバイスの種類やトリガーの種類や結合条件等が異なる。
上述した本実施形態の監視カメラシステムの実施例1における動画結合方法及び、本実施形態の動画結合方法の実施例1を使用した動画閲覧方法の手順について次に説明する。なお、図を用いた手順の説明には、温度計測の例と自動ドアの例とトラック配送の例を適宜用いる。いずれも基本的な手順は同じであり、計測デバイスの種類やトリガーの種類や結合条件等が異なる。
本実施例の動画結合方法における動画閲覧方法は、ネットワークを介して、画像を撮影する1又は複数のカメラ及び1又は複数の計測デバイス及び1又は複数の端末に接続され、カメラが撮影したカメラ画像を動画形式にしてフォルダに個別映像データとして保存し、計測デバイスから取得した計測データをフォルダに保存し、計測デバイスの計測データ種別とカメラを紐付けたデータベースを有する録画サーバが、(1)計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出ステップ、(2)当該計測データ種別が紐付けられたカメラ毎に、フォルダから結合するトリガーデータの時刻を含む所定の時間帯の個別映像データを1又は複数選択する個別映像データ選択ステップ、(3)選択された個別映像データについて、複数連結の要否及び/又は一部削除の要否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、(4)選択された個別映像データのカメラに紐づけられた計測データ種別全てについてカメラ毎に前記所定の時間帯の計測データを選択する計測データ選択ステップ、(5)結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成ステップ、(6)端末に、前記結合映像データを送出して表示させる送出ステップを含む。
さらに、本実施例においては、(4)の計測データ選択ステップ後、(5)の結合映像データ作成ステップの前に、(8)選択された個別映像データのカメラに紐づけられた計測データ種別のうち表示する計測データ種別全てについて前記所定の時間帯の計測データを選択して計測データ表示画像を作成する計測データ表示画像作成ステップを含み、(5)の結合映像データ作成ステップが、結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、順次表示させる結合用映像データは表示順に並べて、結合用映像データに、計測データ表示画像を合成し、調整後の結合用映像データ全てを1つの動画に合成して結合映像データとする結合映像データ作成ステップである。
録画サーバには、断続的にあるいは連続的に複数の監視用カメラから送信されるカメラ画像が一次画像フォルダに一次データとして蓄積され、一次データから作成された二次映像データが二次映像フォルダに蓄積される。二次映像データは、カメラ画像を動画形式にしてフォルダに保存された個別映像データである。対象となる個別映像データが作成された時点以降は端末からの結合映像データの表示要求に答えられるため、早い段階で複数カメラの映像を一度に確認でき、閲覧性が高い。
本実施例においては、カメラやトリガーの種類や結合方法等については録画サーバにあらかじめ記憶されているが、端末から再生する対象となるカメラの選択やトリガーの選択を受け付け、次に映像の結合方法の選択を受け付け、受け付けた結合方法に応じて個別映像を連結・結合を行って表示させてもよい。
本実施例では、録画サーバで予め定めた方法で選択した全てのカメラについて、トリガーデータの時刻を含む所定の時間帯の個別映像データを1又は複数選択する。本実施例の動画結合方法は、例えば、所定のカメラに紐付けられた温度湿度センサで計測された温度が一定以上となった時の前後の映像のみを連続して確認したいときや、扉を開けたときの複数方向に設置したカメラの映像のみを一度に確認したいときなどに有用な結合方法である。
端末から動画閲覧要求を受け付けると、本実施例では、選択した全てのカメラについて、トリガーデータの時刻を含む所定の時間帯の個別映像データを1又は複数選択する。トリガーデータは、計測データ種別ごとに指定する条件に合致して選択された計測データの時刻情報である。例えば、図3に示した例で説明すると、カメラ001(キーC0l)に紐付けられた温度湿度センサである計測デバイス「温湿度計A」(キーS01)の計測データ種別が温度(キーI01)と湿度(キーI02)であって、計測データ種別の一つである温度(キーI01)について指定する条件が25℃以上であるときに、温度湿度センサ(キーSO1)で25℃以上を記録した計測データ(キーI01)の時刻情報が12時5分から12時7分までと13時15分から13時20分までであるとき、トリガーデータは、計測デバイスが温度湿度センサで計測データ種別が温度(キーI01)では、12時5分から12時7分と13時15分から13時20分までとなり、トリガーデータの時刻を含む所定の時間帯を、前2分、後3分とすると、選択されるカメラ001(キーCO1)の個別映像データは、12時3分から12時10分と13時13分から13時23分までのデータとなる。
表示方法が複数のカメラの映像についての同時表示の場合、カメラ001(キーC01)に紐付けられた温度湿度センサである計測デバイス「温湿度計A」(キーS01)の計測データ種別が温度(キーI01)と湿度(キーI02)であって、計測データ種別の一つである温度(キーI01)について指定する条件が25℃以上であるときに、温度湿度センサで25℃以上を記録した計測データ(キーI01)の時刻情報が12時5分から12時7分であり、別のカメラであるカメラ002(キーC02)に紐づけられた温度湿度センサ「温度計B」(キーS02)でも同じ指定条件であって、温度湿度センサ(キーS02)で25℃以上を記録した計測データの時刻情報が13時15分から13時20分であるとき、トリガーデータは、計測デバイスが温度湿度センサ(キーS0l、キーS02)で計測データ種別が温度(キーI0l、I03)では、カメラ001(キーC01)では12時5分から12時7分まで、カメラ002(キーC02)では13時15分から13時20分までとなり、トリガーデータの時刻を含む所定の時間帯を、前2分、後3分とすると、選択される個別映像データは、カメラ001(キーC01)では12時3分から12時10分、カメラ002(キーC02)では13時13分から13時23分のデータとなる。カメラ001(キーC01)の12時3分から12時10分までの個別映像データと、カメラ002(キーC02)の13時13分から13時23分までの個別映像データを、フレーム間隔及びフレーム数をデータ間でそれぞれ同数に調整し、調整後の結合用映像データを全て1画面に分割して表示されるように1つの動画に合成したもの、あるいは調整後の結合用映像データに計測データ表示画像を合成して1つの動画としたものが、結合映像データとなる。
表示方法が1つのカメラの映像についての連続表示の場合、次のようになる。図7は、本実施形態の動画結合方法の実施例1の動画連結方法(温度計測例)のイメージ図である。指定する条件を、「温湿度計A」(キーS01)の計測データ種別が温度(キーI01)について30℃とし、トリガーデータの時刻を含む所定の時間帯を、前2秒前、後5秒とし、動画単位を1時間とすると、カメラ011(キーC01)の12時26分25秒から12時26分37秒までの個別映像データと12時28分6秒から12時28分13秒までの個別映像データを連結して結合用映像データとし、その結合用映像データ、あるいはその結合用映像データに所定の計測データ種別(I01、I02、I03)の計測データ表示画像を合成して1つの動画としたものが、結合映像データとなる。
表示方法が1つのカメラの映像についての同時表示の場合、当該カメラの12時26分25秒から12時26分37秒までの個別映像データと12時28分6秒から12時28分13秒までの個別映像データを、フレーム間隔及びフレーム数をデータ間でそれぞれ同数に調整し、調整後の結合用映像データを全て1画面に分割して表示されるように1つの動画に合成したもの、あるいは調整後の結合用映像データに計測データ表示画像を合成して1つの動画としたものが、結合映像データとなる。
図8は、本実施形態の動画結合方法の実施例1の計測データ取得フロー(自動ドア例)の概略図である。録画サーバは、計測デバイス(例えば、自動ドアが「開」のとき「ON」、「閉」のとき「OFF」となるHTTP接続のセンサに対し、HTTP通信接続を要求しユーザ・パスワード認証で接続を完了し、一定時間毎にセンサに対し計測データ(センサーデータ)を要求すると、センサ側で取得した計測データを録画サーバへ送信し、録画サーバのデバイスデータベースに取得した計測データを保存する。
図9は、本実施形態の動画結合方法の実施例1の動画連結フロー(自動ドア例)の概略図である。端末から、閲覧要求を受け付けると、予め録画サーバで設定された方法で三次映像データである結合映像データの作成を開始する。本実施例においては、同一のカメラの映像の連結であり、自動ドアが「開」のときセンサが「ON」の計測データとなる計測デバイスで、録画サーバは、「ON」の計測データとなる時刻情報すなわちトリガーデータを、9時5分2秒、9時13分7秒、9時20分17秒とし、動画単位を1分間、開始条件をトリガーデータが含まれる動画単位の開始時、終了条件をトリガーデータが含まれる動画単位の終了時、すなわち1つの動画単位を個別映像データの単位として、9時台の入出写動画を生成する。対象となるカメラ、図9の場合で、自動ドア正面のカメラの二次映像データから、トリガーデータに基づいて、個別映像データとして、9時5分0秒から1分間、9時13分0秒から1分間、9時20分0秒から1分間、の各映像データをピックアップし、それらの動画を時系列で連結して結合用映像データとし、かかる結合用データを1つの動画として結合映像データすなわち三次映像データとして保存する。
図10は、本実施形態の動画結合方法の実施例1の連結手順のイメージ図である。第一のトリガーデータと紐づけられたカメラの個別映像データが、カメラCAM01の10時00分からの映像と10時20分からの映像と10時30分からの映像であって、第二のトリガーデータと紐づけられたカメラの個別映像データが、カメラCAM01の10時40分からの映像と、CAM03の10時00分からの映像と10時20分からの映像と、CAM04の10時10分からの映像と、CAM06の10時20分からの映像である場合であって、トリガーとして第一のトリガーが選択されたとき、CAM01の10時00分からの映像と10時20分からの映像と10時30分からの映像を連結して合成する。トリガーが同時刻で別の個別映像データで重なる場合、そのタイミングの画面を、重なったカメラの映像で複数分割して一画面にするのか時系列に単純に並べるかを指定する。トリガーとして第二のトリガーが選択されたときに、同時刻の映像が複数存在する時に結合する場合、CAM03とCAM06の10時20分の映像については1画面で表示するように合成し、複数のカメラの対象となる映像を撮影時間順に連結して合成する。例えば、CAM01について1日毎に黒丸のトリガー映像を連結したもの(フレーム数がすべて同一)が、図10の左下のCAM01_201604151のような映像になる。CAM01_201604151は、対象カメラ映像が完全に完成する時刻を経過した後に、ピックアップから連結が開始される。黒丸のトリガーの場合、最後に完成する二次映像データはCAM01_1030であるので、対象カメラCAM01の三次映像データについては、10時30分以降に動画生成が開始される。完成時間は不明となる。複数のカメラについて白丸のトリガー映像を連結したもの(フレーム数がすべて同一)であって重なったカメラの映像を複数分割して一画面にしたものが、図10の右下のCAM_201604152のような映像になる。
複数の個別映像データを連結する方法は、例えば、9時20分から10分間の個別映像データと9時30分から10分間の個別映像データと9時40分から10分間の個別映像データと9時50分から10分間の個別映像データから、9時25分から9時55分の結合用映像データを作成するときは、まずは個別映像を連結して、9時20分から5分間分の映像と9時55分から5分間分の映像を削除するトリミングをすることで行う。
複数の結合用映像データについてフレーム間隔及びフレーム数を映像データ間でそれぞれ同数に調整する方法は、元となる個別映像データが、例えば、A、B、Cのカメラで、Aのカメラの一次データが1秒間に1フレーム、Bのカメラの一次データが1秒間に5フレーム、Cのカメラの一次データが1秒間に10フレームであるとき、全てを1秒間に5フレームの動画とする場合、足りない分は直前のフレームで補い、多い分は間引きする。
図11は、本実施形態の動画結合方法の実施例1のフレーム数調整手順のイメージ図である。複数の結合用映像データについてフレーム間隔及びフレーム数を映像データ間でそれぞれ同数に調整する方法は、元となる個別映像データが、例えば、A、B、Cのカメラで、Aのカメラの一次データが1秒間に1フレーム、Bのカメラの一次データが1秒間に5フレーム、Cのカメラの一次データが1秒間に10フレームであるとき、全てを1秒間に5フレームの動画とする場合、足りない分は直前のフレームで補い、多い分は間引きする。
図12は、本実施形態の動画結合方法の実施例1における監視カメラの設置状況(トラック配送例)のイメージ図である。図12に示した監視カメラの設置例では、トラックの後部扉と各集配拠点に監視カメラを設置していて、トラックの後部扉には、監視カメラ(Tカメラ)と扉の開閉センサが設置されており、連続的なTカメラの映像が録画サーバに送信されるとともに、扉が開いた時に、「ON」の計測データとなり「ON」となったときの時刻情報がトリガーデータとして録画サーバに蓄積される。さらに、トラックの集配拠点である、A拠点、B拠点、及びC拠点において、商品の箱等に埋め込まれているRFタグの情報を読み取り、地点通過情報を管理するRFIDの読み取り装置が設けられており、各集配拠点の監視カメラ(A~Cカメラ)は、それぞれの拠点のRFIDの読み取り装置に紐付けられており、連続的なA~Cカメラの映像が録画サーバに送信されるとともに、地点通過情報のデータが録画サーバに送信され、地点通過情報と共に、地点通過情報を読み取ったときの時刻情報がトリガーデータとして録画サーバに蓄積される。RFIDによりトラックが各拠点に入庫したことを検知するものであってもよい。
図13は、本実施形態の動画結合方法の実施例1における二次映像データ(トラック配送例)を示すイメージ図である。A拠点においてトラックが9時30分から9時45分までに扉を開けて荷物を降ろして読取装置で地点通過情報を取得し、B拠点においてトラックが11時20分から11時40分までに扉を開けて荷物を降ろして読取装置で地点通過情報を取得し、C拠点においてトラックが15時00分から15時25分までに扉を開けて荷物を降ろして読取装置で地点通過情報を取得した場合に、二次映像データには、Aカメラ、Bカメラ、Cカメラの連続的映像データと、Tカメラの断続的映像データが蓄積される。Tカメラでは扉が開いたときのみ明るくなるため、9時30分から9時45分まで、11時20分から11時40分まで、15時00分から15時25分まで以外は真っ暗な映像となる。図12に示した例では、トラックに搭載したカメラからは各拠点のベルトコンベアが写り、各拠点のカメラには、トラックからの荷卸し状況が写る。
図14は、本実施形態の動画結合方法の実施例1の動画連結フロー(トラック配送例)のイメージ図である。AカメラとBカメラとCカメラとTカメラについて、トリガーデータをRFID読取装置での地点通過情報読み取り時、すなわち、A拠点では9時30分から9時45分まで、B拠点では11時20分から11時40分まで、C拠点では15時00分から15時25分まで、トラックの扉センサでは9時30分から9時45分までと11時20分から11時40分までと15時00分から15時25分までとすると、まずはこれらのトリガーデータを抽出し、個別映像データとして、9時30分から9時45分までのAカメラ及びTカメラの映像と、11時20分から11時40分までのBカメラ及びTカメラの映像と、15時00分から15時25分までのCカメラ及びTカメラの映像とをピックアップし、動画連結を行って結合用映像データを作成し、全ての結合用映像データについてフレーム調整を行って1つの動画に結合し、結合映像データすなわち三次映像データを作成して保存する。
図15は、本実施形態の動画結合方法の実施例1の表示画面(トラック配送例)を示すイメージ図であるCトラックの扉の開閉に合わせて映像を確保し、トラックに設置したRFIDにより各拠点の到達を認識する。トラックのカメラ(Tカメラ)と、各拠点のカメラ(A,B,Cカメラ)を結合し、それぞれを連結することで映像を生成する。
結合映像データは、9時30分から9時45分までのAカメラ及びTカメラの映像と、11時20分から11時40分までのBカメラ及びTカメラの映像と、15時00分から15時25分までのCカメラ及びTカメラの映像を1つの動画に合成したもので、短時間で各拠点の映像とトラックの映像を同時に確認することができる。異なる時間帯でも全てのカメラについて1つの画面に分割して表示することができる。その他、1つのカメラを対象にトリガーのあった動画だけを結合する場合、例えば、トラックの配送などで積み荷の中に設置したカメラの映像について扉が開いている時だけを集めることが可能となる。その場合、画面内を分割して一度に閲覧したり、画面内を分割せずに1つ目の動画の後ろに結合して連結することで、クレームなどがあった時の状況確認や、配送の早い人の作業方法を確認したりすることも可能となる。トリガーとなる情報は、扉の開閉だったり、映像が明るくなった時など、状況により様々可能であり、段ボールにRFIDやバーコード等を設置すればゲート通過時等の映像をすべて結合することも可能となる。
(効果)
本実施例によれば、必要な部分のみの閲覧ですみ、後日確認時の間質性を向上することができる。1又は複数のカメラの動画を同時に再生でき、例えば、温度異常や入場者確認や荷物紛失等、問題発覚から問題究明までの時間が短縮できる。
本実施例によれば、必要な部分のみの閲覧ですみ、後日確認時の間質性を向上することができる。1又は複数のカメラの動画を同時に再生でき、例えば、温度異常や入場者確認や荷物紛失等、問題発覚から問題究明までの時間が短縮できる。
より詳細には、本実施例によれば、時間単位の単純な閲覧ではなく全く新しい切り口で新たな用途の動画を生成することができる。例えば、製造現場でのロット(段ボール)単位であったり、配送トラックの荷物の出し入れタイミングなど、後日確認時の閲覧性を向上させることができる。また不要な録画情報を削減できる。さらに独自の再生機をソフト開発することで、結合した三次映像データから目的動画を拡大表示し、詳細な閲覧も可能にする。
本実施例の動画結合方法によれば、トリガーのある映像のみを集めて一度に見ることができるので、閲覧性を向上させることができる。
今までは、問題発生時にしかカメラ映像は閲覧されなかったが、本実施例の監視カメラシステムによれば、短時間で確認できるため日常的にチェックすることも可能となり、業務改善や問題行動の早期発見に効果がある。また、結合映像データすなわち三次映像データのみあれば事足りるような場面では、元となった一次データのみならず二次映像データも削除することで、ストレージを劇的に削減できる。
本実施例によれば、問題発生時に多くの動画ファイルを長時間かけて見つけていた労力が削減できる。また、複数同時閲覧は業務に組み込んでも負担にならないので業務改善される。また、保存動画を多く見るようになることで、抑止力が強まる。また、配送時のクレームなどの真偽が確認できる。なお、これによる波及効果として配送業者への嘘のクレームが減ると考えられる。
本実施例によれば、一部のカメラの映像についてフレーム数を減らしても、全体として意味のある三次映像データができる。
なお、本実施形態は、上記実施の形態に限定されず、その実施形態の趣旨を逸脱しない範囲で種々と変形実施が可能である。また、上記各実施の形態の構成要素を実施形態の趣旨を逸脱しない範囲で任意に組み合わせることができる。
各実施例の録画サーバの各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録してプログラムプロダクトとし、当該記録媒体に記録されたプログラムを録画サーバに読み込ませ、プロセッサが実行することにより、各実施例の録画サーバに係る上述した種々の処理を行ってもよい。
各実施例の録画サーバの各処理を、複数の情報処理装置が分担して実行する情報処理システムとして実現されてもよい。その場合、情報処理システムは、監視カメラシステムで用いられる情報処理システムであり、且つネットワークを介して、画像を撮影する1又は複数のカメラ及び1又は複数の計測デバイス及び1又は複数の端末に接続される情報処理システムである。この情報処理システムは、計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報をトリガーデータとして抽出するトリガーデータ抽出部と、前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が関連付けられたカメラ毎に、前記カメラが撮影したカメラ画像を動画形式にした個別映像データであって前記トリガーデータの時刻を含む時間帯の個別映像データを1又は複数選択する個別映像データ選択部と、前記選択された個別映像データについて、複数連結の要否及び/又は一部削除の要否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成部と、前記結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成部とを備える。
100 録画サーバ
101 CPU
102 メモリ
103 ディスプレイ
104 ネットワークインターフェース
105 キーボード
106 マウス
110 記憶装置
112 二次映像フォルダ
113 動画連結・結合プログラム
114 オペレーティングシステム
116 三次映像フォルダ
200 モバイル端末
201 CPU
202 メモリ
203 ディスプレイ
210 記憶装置
213 画像表示プログラム
214 オペレーティングシステム
300 閲覧PC
301 CPU
302 メモリ
303 ディスプレイ
304 ネットワークインターフェース
305 キーボード
306 マウス
310 記憶装置
313 画像表示プログラム
314 オペレーティングシステム
400 監視用カメラ(静止画用)
401 監視用カメラ(動画用)
500 ネットワーク
600 ルータ
700 計測デバイス
701 CPU
702 メモリ
703 ディスプレイ
704 ネットワークインターフェース
710 記憶装置
713 プログラム
714 オペレーティングシステム
716 アナログセンサ
717 HTTPサービス
718 D/A変換
101 CPU
102 メモリ
103 ディスプレイ
104 ネットワークインターフェース
105 キーボード
106 マウス
110 記憶装置
112 二次映像フォルダ
113 動画連結・結合プログラム
114 オペレーティングシステム
116 三次映像フォルダ
200 モバイル端末
201 CPU
202 メモリ
203 ディスプレイ
210 記憶装置
213 画像表示プログラム
214 オペレーティングシステム
300 閲覧PC
301 CPU
302 メモリ
303 ディスプレイ
304 ネットワークインターフェース
305 キーボード
306 マウス
310 記憶装置
313 画像表示プログラム
314 オペレーティングシステム
400 監視用カメラ(静止画用)
401 監視用カメラ(動画用)
500 ネットワーク
600 ルータ
700 計測デバイス
701 CPU
702 メモリ
703 ディスプレイ
704 ネットワークインターフェース
710 記憶装置
713 プログラム
714 オペレーティングシステム
716 アナログセンサ
717 HTTPサービス
718 D/A変換
Claims (7)
- 監視カメラシステムで用いられる情報処理装置であり、且つネットワークを介して、画像を撮影する1又は複数のカメラ及び1又は複数の計測デバイスに接続される情報処理装置であって、
プロセッサを有し、
前記プロセッサは、
計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報をトリガーデータとして抽出するトリガーデータ抽出ステップ、
前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が関連付けられたカメラ毎に、前記カメラが撮影したカメラ画像を動画形式にした個別映像データであって前記トリガーデータの時刻を含む時間帯の個別映像データを1又は複数選択する個別映像データ選択ステップ、
前記選択された個別映像データについて、複数連結の要否及び/又は一部削除の要否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、
前記結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成ステップ、
を実行する情報処理装置。 - 前記プロセッサは、さらに、選択された個別映像データのカメラに関連付けられた計測データ種別のうち表示する計測データ種別について前記所定の時間帯の計測データを選択して計測データ表示画像を作成する計測データ表示画像作成ステップを実行し、
前記結合映像データ作成ステップは、前記結合用映像データに、前記計測データ表示画像を合成し、合成後の結合用映像データを1つの動画に合成して前記結合映像データとするものである
請求項1に記載の情報処理装置。 - 前記結合映像データ作成ステップにおいて、前記プロセッサは、前記結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、且つ/または順次表示させる結合用映像データは表示順に並べることにより、前記結合映像データを作成する
請求項1に記載の情報処理装置。 - 更にネットワークを介して、1又は複数の端末に接続されており、
前記プロセッサは、さらに、前記端末に、前記結合映像データを送出する送出ステップを実行する
請求項1に記載の情報処理装置。 - 監視カメラシステムで用いられる情報処理システムであり、且つネットワークを介して、画像を撮影する1又は複数のカメラ及び1又は複数の計測デバイスに接続される情報処理システムであって、
計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報をトリガーデータとして抽出するトリガーデータ抽出部と、
前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が関連付けられたカメラ毎に、前記カメラが撮影したカメラ画像を動画形式にした個別映像データであって前記トリガーデータの時刻を含む時間帯の個別映像データを1又は複数選択する個別映像データ選択部と、
前記選択された個別映像データについて、複数連結の要否及び/又は一部削除の要否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成部と、
前記結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成部と、
を備える情報処理システム。 - 画像を撮影する1又は複数のカメラ及び1又は複数の計測デバイスを備える監視カメラシステムで用いられる情報処理方法であって、
計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報をトリガーデータとして抽出するトリガーデータ抽出ステップ、
前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が関連付けられたカメラ毎に、前記カメラが撮影したカメラ画像を動画形式にした個別映像データであって前記トリガーデータの時刻を含む時間帯の個別映像データを1又は複数選択する個別映像データ選択ステップ、
前記選択された個別映像データについて、複数連結の要否及び/又は一部削除の要否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、
前記結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成ステップ、
を含む情報処理方法。 - 画像を撮影する1又は複数のカメラ及び1又は複数の計測デバイスを備える監視カメラシステムで用いられるプログラムプロダクトであって、
前記計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報をトリガーデータとして抽出するトリガーデータ抽出ステップ、
前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が関連付けられたカメラ毎に、前記カメラが撮影したカメラ画像を動画形式にした個別映像データであって前記トリガーデータの時刻を含む時間帯の個別映像データを1又は複数選択する個別映像データ選択ステップ、
前記選択された個別映像データについて、複数連結の要否及び/又は一部削除の要否に応じて連結及び/又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、
前記結合用映像データを1つの動画に合成して結合映像データとする結合映像データ作成ステップ、
を実行するプログラムプロダクト。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-168661 | 2016-08-31 | ||
JP2016168661A JP6453281B2 (ja) | 2016-08-31 | 2016-08-31 | 監視カメラシステム、情報処理装置、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018043372A1 true WO2018043372A1 (ja) | 2018-03-08 |
Family
ID=61309180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/030668 WO2018043372A1 (ja) | 2016-08-31 | 2017-08-28 | 情報処理装置、情報処理システム、情報処理方法及びプログラムプロダクト |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6453281B2 (ja) |
TW (1) | TW201813378A (ja) |
WO (1) | WO2018043372A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101920914B1 (ko) * | 2018-05-14 | 2018-11-21 | 김승모 | 위치정보를 이용한 개인별 녹화영상 제공시스템 및 그 방법 |
JP2022131017A (ja) * | 2021-02-26 | 2022-09-07 | 株式会社デンソーテン | 情報提供装置及び情報提供システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007174473A (ja) * | 2005-12-26 | 2007-07-05 | Toshiba Corp | 映像監視支援システム |
JP2015159520A (ja) * | 2014-02-25 | 2015-09-03 | グローリー株式会社 | 画像検出表示システム及び画像検出表示方法 |
JP2016058994A (ja) * | 2014-09-12 | 2016-04-21 | 株式会社 日立産業制御ソリューションズ | 監視カメラ装置および監視カメラシステム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4387415B2 (ja) * | 2007-01-22 | 2009-12-16 | セイコープレシジョン株式会社 | 映像情報システム、動作方法およびプログラム |
-
2016
- 2016-08-31 JP JP2016168661A patent/JP6453281B2/ja active Active
-
2017
- 2017-08-28 WO PCT/JP2017/030668 patent/WO2018043372A1/ja active Application Filing
- 2017-08-31 TW TW106129667A patent/TW201813378A/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007174473A (ja) * | 2005-12-26 | 2007-07-05 | Toshiba Corp | 映像監視支援システム |
JP2015159520A (ja) * | 2014-02-25 | 2015-09-03 | グローリー株式会社 | 画像検出表示システム及び画像検出表示方法 |
JP2016058994A (ja) * | 2014-09-12 | 2016-04-21 | 株式会社 日立産業制御ソリューションズ | 監視カメラ装置および監視カメラシステム |
Also Published As
Publication number | Publication date |
---|---|
JP6453281B2 (ja) | 2019-01-16 |
JP2018037812A (ja) | 2018-03-08 |
TW201813378A (zh) | 2018-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8417090B2 (en) | System and method for management of surveillance devices and surveillance footage | |
US10491936B2 (en) | Sharing video in a cloud video service | |
US10728502B2 (en) | Multiple communications channel file transfer | |
JP5854194B2 (ja) | 監視カメラシステム及び監視方法 | |
CN108062507B (zh) | 一种视频处理方法及装置 | |
CN108259934A (zh) | 用于回放所记录的视频的方法和装置 | |
US11093545B2 (en) | Systems and methods for an automated cloud-based video surveillance system | |
JP5636205B2 (ja) | 画像記録制御装置及び監視システム | |
US20160110972A1 (en) | Systems and methods for automated cloud-based analytics for surveillance systems | |
WO2018043372A1 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラムプロダクト | |
JP6357185B2 (ja) | 監視カメラシステム及び監視方法 | |
WO2022009356A1 (ja) | 監視システム | |
JP6446006B2 (ja) | 監視カメラシステム及び監視カメラシステムにおける動画閲覧方法並びに動画結合方法 | |
KR20190088731A (ko) | 모바일 기반 이벤트 영상 관리 시스템 | |
US11790764B2 (en) | Digital video alarm situational monitoring computer system | |
JP2004064276A (ja) | 遠隔監視システム | |
CN114579394A (zh) | 日志查看方法、日志生成方法、装置以及电子设备 | |
JP7099687B2 (ja) | 映像監視システム及びその方法と処理装置 | |
JP6363130B2 (ja) | 監視カメラシステムにおける監視方法、差分画像作成方法、画像復元方法、及び差分検出装置 | |
US10861495B1 (en) | Methods and systems for capturing and transmitting media | |
CN115334327B (zh) | 控制双视角视频存储的方法及电子设备 | |
JP5896438B2 (ja) | 監視カメラシステム及び監視方法 | |
KR20120045559A (ko) | 전자 경매 히스토리 기록 시스템 및 방법 | |
JP2021048527A (ja) | 録画管理装置、録画管理方法、録画管理システムおよびプログラム | |
CN116996736A (zh) | 视频处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17846377 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17846377 Country of ref document: EP Kind code of ref document: A1 |