WO2017179271A1 - 監視カメラシステム及び監視カメラデータ保存方法 - Google Patents

監視カメラシステム及び監視カメラデータ保存方法 Download PDF

Info

Publication number
WO2017179271A1
WO2017179271A1 PCT/JP2017/004201 JP2017004201W WO2017179271A1 WO 2017179271 A1 WO2017179271 A1 WO 2017179271A1 JP 2017004201 W JP2017004201 W JP 2017004201W WO 2017179271 A1 WO2017179271 A1 WO 2017179271A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
video data
recording server
primary
data
Prior art date
Application number
PCT/JP2017/004201
Other languages
English (en)
French (fr)
Inventor
昭弘 佐久間
Original Assignee
株式会社Nexpoint
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Nexpoint filed Critical 株式会社Nexpoint
Publication of WO2017179271A1 publication Critical patent/WO2017179271A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/915Television signal processing therefor for field- or frame-skip recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a surveillance camera system and a surveillance camera data storage method for accumulating captured images and displaying them on a terminal for crime prevention and management.
  • a camera system for sending and monitoring to a monitor of a user terminal via a line has been introduced.
  • a camera system that captures and displays a still image has also been developed (see, for example, Japanese Patent Application Laid-Open No. 2013-51534), but generally a system that records a moving image captured by a camera is known (for example, JP 2002-77882 A).
  • JP 2002-77882 A In the surveillance camera industry, since it is an absolute requirement to display real-time video, the analog configuration is still dominant even now that IP camera technology has developed.
  • a surveillance camera system includes: A recording server connected to a group of surveillance cameras for capturing moving images via a network and storing data in a storage device;
  • the recording server is Camera video acquisition means for causing the monitoring camera group to capture a video and inputting the captured camera video to the recording server;
  • Primary video data creating means for storing the input camera video as primary video data in the storage device;
  • a combining means for combining the primary video data with the primary video data of one file for a certain period of time;
  • Secondary video data creating means for creating secondary video data by reconverting the combined primary video data;
  • FIG. 1 is a system image diagram of an analog camera.
  • FIG. 2 is a system image diagram in the case where the analog camera system is replaced with an IP camera as it is.
  • FIG. 3 is a system image diagram when a software recorder is introduced by replacing the analog camera system with an IP camera.
  • FIG. 4 is a diagram illustrating an example of a system configuration of the surveillance camera system according to the first embodiment.
  • FIG. 5 is a configuration diagram of a recording server of the surveillance camera system according to the first embodiment.
  • FIG. 6 is a configuration diagram of a terminal (mobile) of the surveillance camera system according to the first embodiment.
  • FIG. 7 is a configuration diagram of a terminal (PC) of the surveillance camera system of the first embodiment.
  • FIG. 8 is an image diagram showing a conversion and reconversion method in the surveillance camera system of the first embodiment.
  • FIG. 9 is a flowchart showing an outline of a procedure from connection between the camera and the recording server to image editing in the surveillance camera system of the first embodiment.
  • FIG. 10 is a data compression (optimization) flowchart of the surveillance camera system of the first embodiment.
  • Fig. 1 is a system image diagram of an analog camera.
  • the analog camera system as shown in Fig. 1, it is necessary to connect the camera to the recorder directly with a coaxial cable, and although it is possible to display images without delay by direct wiring, There was a problem that was difficult.
  • the number of connected units is divided into 4, 8, 16 etc. because the number of terminals that can be directly connected to the recorder is determined. There was a problem that it was necessary.
  • FIG. 2 is a system image diagram when the analog camera system is replaced with an IP camera as it is.
  • an analog camera when an analog camera is simply replaced with an IP camera connected via a network HUB, operation can be performed in the same way as an analog camera system if the number of cameras is small. It is a system that can be satisfactorily satisfied at any browsing level.
  • traffic concentrates on the LAN of the hard recorder there is a problem that data delays and data loss are likely to occur.
  • high-quality video is streamed regardless of whether it is LAN or mobile, the video for browsing can only handle the level that can be viewed for the time being, as a result of recent requests for browsing on mobile terminals. , There was a problem that it did not take advantage of the features of recent mobile devices that can play high-quality video.
  • the basic base is a moving image, there is a problem that it is vulnerable to recovery after cutting or cutting.
  • FIG. 3 is a system image diagram when a software recorder is introduced by replacing the analog camera system with an IP camera.
  • the viewing level is improved when a software recorder, that is, a server machine that operates VMS (video management system) software is connected to support functions that cannot be supported by a hard recorder.
  • VMS video management system
  • the browsing level can be expected to improve, there are a variety of things to be realized such as face authentication, motion detection, number authentication, and linkage with other systems, and it is expected to be introduced at airports and important bases.
  • a first object of the embodiment described below is to provide a monitoring camera system and a monitoring camera data storage method that enable optimized data storage and reduce costs.
  • the inventor examines a number of problems that occur when an analog camera is replaced with an IP camera, and uses the following embodiment after trial and error based on the idea of sacrificing an essential condition for a surveillance camera that is a real-time video browsing. Was completed.
  • the surveillance camera system includes: A recording server connected to a group of surveillance cameras for capturing moving images via a network and storing data in a storage device;
  • the recording server is Camera video acquisition means for causing the monitoring camera group to capture a video and inputting the captured camera video to the recording server;
  • Primary video data creating means for storing the input camera video as primary video data in the storage device;
  • a combining means for combining the primary video data with the primary video data of one file for a certain period of time;
  • Secondary video data creating means for creating secondary video data by reconverting the combined primary video data;
  • the first aspect of the embodiment it is possible to store optimized data and reduce the cost.
  • in the surveillance camera industry which is real-time video browsing, it is not possible to do so, avoiding traffic concentration, preventing part of the video from being lost, reducing server load.
  • Many other things can be realized, such as speed-down prevention, low capacity, long-term storage of high-quality video, enabling high-quality video browsing on mobile, and there is no need to buy a recorder when adding cameras
  • the construction is simple, good for recovery after cutting or cutting, and can be stored for a long time at low cost.
  • “optimization” means to minimize degradation of image quality as much as possible while minimizing the amount of data.
  • the fixed time in the combining means is preferably about 10 minutes, but is not limited to this.
  • a surveillance camera in which there is almost no movement of the subject, it may be set in a relatively long time.
  • a surveillance camera system is the surveillance camera system according to the first aspect,
  • the recording server is A memory expansion means for converting the input camera moving image into a continuous still image and expanding it into a memory as primary image data;
  • Primary image data storage means for storing the primary image data in the storage device; It has further.
  • the primary image data that is extracted from the input camera video and expanded and stored in the memory can be transmitted to the terminal as a continuous still image. Therefore, a PC connected via a network such as the Internet, Even a terminal such as a mobile can reproduce a high-quality continuous still image like a pseudo moving image. Since it is a continuous playback of still images, it can be rewound and played back, jumped to an arbitrary place with a slider, played back, or rewound and fast forwarded. Moreover, since the primary video data can be optimized to the secondary video data by the secondary video data creation means while the still image is expanded in the memory, it is possible to avoid the concentration of processing load on the server. .
  • the created secondary video data can be transmitted to the terminal as a camera video, and can be stored for a long time with a small data capacity. Accordingly, high-quality continuous still images can be reproduced, optimized data storage can be performed, and cost can be reduced.
  • “Current image” means the latest image acquired from the monitoring camera. Therefore, the current image changes to a new image each time a camera moving image is input to the recording server.
  • “live playback” indicates that the current image (live image) is played back.
  • image is a term that includes both the meaning of a still image and a moving image. However, in the present application, when particularly distinguishing, a still image is displayed as “image” and a moving image is displayed as “video”.
  • a surveillance camera system is the surveillance camera system according to the first or second aspect
  • the camera moving image acquisition means creates a plurality of captured camera moving images between the intra frame that can be decoded independently and is generated at fixed time intervals and the intra frame with reference to past frames.
  • a conversion to be encoded with the predicted interframe to be input to the recording server In the primary video data, the secondary video data creation means creates the bidirectional prediction interframe created by referring to both past and future frames, thereby calculating the number of the intra frames and the prediction interframes. Secondary video data is generated by performing re-conversion to reduce and encode.
  • the compression format for moving images is H.264, which is currently highly compressed. H.264 is preferable.
  • a next-generation codec such as H.265 may be used.
  • a next-generation codec such as H.265 may be used.
  • data loss often occurs in moving images, so it has been necessary to acquire intra frames once per second in the past, which increases the amount of data and saves data over a long period of time.
  • bi-predictive interframes are created based on intraframes and predictive interframes in a certain amount of video once converted and combined, and low-quality images are stored for long-term storage. Capacity data can be created.
  • a surveillance camera system is the surveillance camera system according to the third aspect,
  • the number of intra frames in the secondary video data is set to 1/25 or less of the number of intra frames in the primary video data for the same time.
  • the surveillance camera data storage method is: A camera moving image acquisition step in which a recording server connected to a monitoring camera group for capturing a moving image via a network and storing data in a storage device causes the monitoring camera group to capture a moving image and inputs the captured camera moving image to the recording server.
  • a primary video data creating step in which the recording server stores the input camera video as primary video data in the storage device;
  • the recording server combines the primary video data with the primary video data of one file for a certain period of time;
  • a secondary video data creation step in which the recording server creates secondary video data by reconverting the combined primary video data; including.
  • a surveillance camera data storage method is the surveillance camera data storage method according to the fifth aspect, A memory expansion step in which the recording server converts the input camera moving image into a continuous still image and expands it into a memory as primary image data; A primary image data storage step in which the recording server stores the primary image data in the storage device; A live playback accepting step in which the recording server accepts live playback of the camera video from a terminal connected to the recording server via a network; A live playback step in which the recording server causes the terminal to transmit and display the primary image data; The video recording reception step of accepting reproduction of past camera video of the camera video from the terminal by the recording server; A past video playback step in which the recording server causes the terminal to transmit and display the secondary video data; Further included.
  • a monitoring camera is operated on a recording server via a network, and the recording server captures, collects, edits, and stores a moving image, and the recording server sends a network to the user terminal in response to a request from the terminal.
  • the moving image of the surveillance camera is H.264.
  • H.264 baseline profile converted into intra frames (hereinafter referred to as I frames) and predicted inter frames (hereinafter referred to as P frames), acquired, stored, and completed in one file in a certain amount of time.
  • the number of intra frames (I frames) can be greatly reduced, and B frames that cannot be inserted in real time at the same time as video acquisition are inserted.
  • H. H.264 can be used for optimization, can be stored for a long time even if the server capacity is relatively small, and high-quality moving images can be reproduced even after a long time.
  • the input camera moving image is converted into a continuous still image, developed as primary image data in a memory, and the developed primary image data is stored.
  • the primary image data can be sent to the terminal for live playback of camera video. Further, since the primary image data is a still image, it can be rewound and reproduced.
  • FIG. 4 is a diagram illustrating an example of a system configuration of the surveillance camera system according to the first embodiment.
  • a network 500 including a communication network such as a LAN, the Internet, a Wi-Fi line, or a 3G line, (1) a plurality of monitoring cameras (for moving images) 400E to F as a camera for taking images
  • the monitoring cameras (for still images) 401A to D, (2) the monitoring cameras (for moving images) 400 are connected via a LAN in the network 500, and the monitoring cameras (for still images) 401 are connected to the network.
  • a recording server 100 connected as a recording server for acquiring and storing image data (camera still images) and video data (camera moving images) captured by each camera, and transmitting them to the terminal.
  • Mobile terminal such as a smartphone as a terminal connected to the recording server 100 and receiving and displaying video data from the recording server 100 00A, B and, browsing PC300A ⁇ C, such as a desktop PC (personal computer) or a notebook PC is connected.
  • terminal or “Viewer”.
  • the recording server 100 exists in the same LAN as the monitoring camera (moving image) 400, but the monitoring camera (still image) 401 is not limited to the same LAN, and is connected to the network 500 via the router 600. If so, they may be connected via the Internet.
  • the communication between the monitoring camera (for still image) 401 and the recording server 100 and the communication between the monitoring camera (for moving image) 400 and the recording server 100 are in the TCP / IP system, so that the image data can be reliably transmitted. It can send and receive and is highly reliable.
  • the monitoring camera (for moving images) 400 and the monitoring camera (for still images) 401 may be IP cameras or analog cameras. However, in the case of analog, a converter is required.
  • the viewing PC 300 which is a terminal for image display, is not limited to being in the same LAN as the recording server 100. If the viewing PC 300 is connected to the network 500 via the router 600, it may be connected via the Internet. Good.
  • the mobile terminal 200 which is an image display terminal, may also be connected via a plurality of networks such as a LAN, the Internet, and a cellular phone network (Wi-Fi line, 3G line, etc.).
  • One recording server 100 can acquire a camera moving image from a plurality of monitoring cameras (for moving images) 400 and a camera still image from a plurality of monitoring cameras (for still images) 401.
  • the recording server 100 automatically distributes network traffic, network design is not required, and it is only necessary to connect the camera to the port, so that the operation becomes very simple.
  • FIG. 5 is a block diagram of the recording server of the surveillance camera system of the first embodiment.
  • the recording server 100 includes a CPU 101 with a memory 102 that is a cache memory, a control / arithmetic unit having a device driver, a storage device 110 having a main storage device such as a DRAM and an auxiliary storage device such as a hard disk, a network interface 104, and the like. And an input / output device including a display 103 as a display device, a keyboard 105, a mouse 106, and the like.
  • the storage device 110 stores an operating system 114 in addition to a primary image folder 111, a primary video folder 115, a secondary video folder 112, a shooting / collection / editing / transmission program 113, an authentication database, an environment setting folder, and the like. Yes.
  • the shooting / collection / editing / transmission program 113 is normally stored in the auxiliary storage device of the storage device 110 and loaded into the main storage device at the time of execution.
  • primary video folder 115 primary video data is created and stored from the camera video obtained from the monitoring camera (for video), and further, the primary video data is combined with the primary video data of one file for a certain period of time.
  • secondary video folder 112 secondary video data created by re-converting the primary video data combined into one file is stored.
  • the primary image folder 111 primary image data in which the extracted primary video data is expanded and written in the memory 102 is created and stored.
  • ID, password, port number and IP address of each monitoring camera 400, mobile terminal 200, and viewing PC 300, and individual identification information (UID) are stored in a terminal without an IP address.
  • the recording server 100 is integrated with the recording server and the terminal, and also serves as a terminal for displaying images by itself, and for maintenance and management, the display 103 and a keyboard as an input means. 105 and a mouse 106.
  • the terminal function as the image display device may not be provided.
  • the environment setting folder stores video acquisition timing of each monitoring camera, primary video data, primary image data, secondary video data creation interval, conversion conditions, and the like.
  • the recording server 100 causes the monitoring camera (for still image) 401 to acquire an image as a still image and transmit it to the recording server 100, store the acquired still image in the memory 102, and perform another process.
  • the images developed in the memory are stored in the primary image folder 111, and when a predetermined time, for example, 10 minutes elapses, the continuous still images in the primary image folder 111 are converted into moving images.
  • the number of I-frames in the converted video is about 3 in 10 minutes, so the data volume is very small, so it is easy to send it to a terminal etc. as a video file, but the data storage method of the surveillance camera (for still images) Details of are omitted in this application.
  • the description of the monitoring camera (for still images) will be omitted in the following unless otherwise specified.
  • the monitoring camera will be simply referred to as “monitoring camera”.
  • the CPU 101 loads and executes the shooting / collection / editing / transmission program 113 into the memory 102, and executes the processing of acquiring and editing the camera moving image and sending the image to the terminal according to the present embodiment. Realize the function.
  • the CPU 101 is an arithmetic processing device mounted on a normal computer, executes various programs, and performs various controls.
  • the recording server 100 may be a single server or a server group including a plurality of recording servers.
  • the storage destination may be a secondary video folder provided in a recording server separate from the recording server that acquires the camera video. Good. By separating past stored data that is not frequently played back, a larger number of cameras can be monitored on the same network.
  • the transmission program 113 is continuously connected to a computer with a camera connection function for connecting to one or a plurality of surveillance cameras, a terminal connection function for connecting to one or a plurality of terminals, for a predetermined time (for example, 10 minutes),
  • a camera video acquisition function that allows a connected surveillance camera to capture a video and input the captured camera video to the recording server, and stores the input camera video as primary video data in the primary video folder in the storage device of the recording server
  • the image capturing / collecting / editing / transmitting program 113 further converts a camera moving image input to a computer into a continuous still image and expands it into a memory as primary image data, primary image data.
  • the photographing / collecting / editing / transmitting program 113 further has a live reproduction accepting function for accepting live reproduction of camera video from the terminal to the computer, and a live reproduction function for causing the terminal to send and display the primary image data. It is a program to realize.
  • the shooting / collection / editing / transmission program 113 further has a past video playback reception function for receiving playback of past camera videos from the terminal, and a received secondary video in the secondary video folder.
  • This is a program for realizing a past video reproduction function for transmitting and displaying secondary video data extracted and extracted from the terminal to a terminal.
  • the monitoring camera 400 and the recording server 100 are connected by the TCP / IP method, and in order to identify the monitoring camera, the camera video is shot after authentication with the user ID and password set on the recording server side. Etc. request. Connection between the terminals 200 and 300 and the recording server 100 is also performed by the TCP / IP method, authentication is performed with a user ID and a password, and image transmission is performed after confirming that the terminal is a terminal registered in the recording server. Do. The authentication is preferably performed by an authentication database on the recording server.
  • the IP address of the router to be connected and the port number assigned to each are used.
  • the port number of the router between the two is set to “valid”.
  • a mobile terminal without an IP address uses a UID.
  • the video transmission of the recording server 100 from the monitoring camera 400 is transmitted by RTSP (Real Streaming Protocol).
  • RTSP Real Streaming Protocol
  • H. H.264 is compressed and transmitted.
  • a next-generation codec such as H.265 may be used.
  • FIG. 6 is a configuration diagram of a terminal (mobile) of the surveillance camera system according to the first embodiment.
  • the mobile terminal 200 includes a control / arithmetic apparatus having a CPU 201 with a memory 202, a device driver, and the like, a storage device 210, a communication control device that transmits and receives data, a display 204 as a display device, operation buttons, a touch panel, and the like. An output device is provided.
  • the storage device 210 stores an image display program 213 and an operating system 214.
  • the mobile terminal 200 is, for example, a mobile phone such as a smartphone, and the CPU 201 loads the image display program 213 into the memory 202 and executes it, thereby realizing a computer function capable of displaying the video transmitted to the terminal.
  • the CPU 201 is an arithmetic processing device mounted on a normal mobile terminal, executes various programs, and performs various controls.
  • FIG. 7 is a block diagram of the terminal (PC) of the surveillance camera system of the first embodiment.
  • the viewing PC 300 includes a control / arithmetic unit having a CPU 301 and a device driver with a memory 302, a storage device 310 having a main storage device such as a DRAM and an auxiliary storage device such as a hard disk, a communication control device such as a network interface 304, And an input / output device including a display 303 as a display device, a keyboard 305, a mouse 306, and the like.
  • the storage device 310 stores an image display program 313 and an operating system 314.
  • the browsing PC 300 is, for example, a desktop PC, a notebook PC, a tablet terminal, or the like.
  • the CPU 301 loads a computer 302 with the image display program 313 and executes the computer display function to display a camera moving image transmitted to the terminal. Realize.
  • the CPU 301 is an arithmetic processing device mounted on a normal PC, executes various programs, and performs various controls.
  • the image display programs 213 and 313 include a terminal connection function for connecting to a recording server to a computer, a camera moving image reproduction request function for requesting the recording server for camera moving image reproduction with respect to one or a plurality of cameras having a monitoring authority, from the recording server.
  • This is a program for realizing a camera moving image display function for displaying a transmitted camera moving image.
  • the recording server 100 can specify the connection partner by connecting using the IP address and port number when starting the connection of the monitoring camera in the local environment, and authenticates with the user ID and password.
  • the recording server 100 specifies a connection partner using a global IP address and a port number by using router port forwarding (also expressed as port forwarding or the like) in connection with a monitoring camera in a remote environment. Since the recording server 100 identifies the terminal based on the terminal unique information using the UID at the start of the browsing terminal connection, it is possible to display an image by authenticating the user ID and the password and matching the terminal unique information.
  • both the recording server 100 and the viewing PC 300 are configured as personal computers, and have a clock function or the like that a normal personal computer has.
  • the mobile terminal 200 also has a clock function and the like.
  • a recording server 100 having a storage device connected to the monitoring camera 400 for capturing a moving image via the network 500 and storing data, and connected to the recording server 100 via the 500 to display the camera moving image.
  • Terminal mobile terminal 200 or browsing PC 300
  • the recording server 100 (1) camera moving image acquisition means for causing the monitoring camera 400 to capture a moving image and inputting the captured camera moving image to the recording server 100 (2)
  • Primary video data creating means for storing the input camera video as primary video data in the primary video folder 115 in the storage device 110, and (3) primary video data of one file for a certain period of time for the primary video data.
  • the recording server 100 further stores (5) memory expansion means for converting the input camera moving image into a continuous still image and expanding it into the memory 102 as primary image data (6) storing the primary image data.
  • Primary image data storage means for storing in the primary image folder 111 in the apparatus 110 is provided.
  • the recording server 100 further includes (7) live playback accepting means for accepting live playback of camera moving images from one or more cameras 400 having the authority to monitor from the terminals 200 and 300, and (8) live playback.
  • live playback means is provided for transmitting and displaying the primary image data to the terminals 200 and 300.
  • the recording server 100 further includes (9) past video reproduction accepting means for accepting reproduction of past camera moving images from one or more cameras 400 having the authority to monitor from the terminals 200 and 300, (10 ) For the camera 400 that has received the past video playback request, there is provided past video playback means for extracting the received past secondary video data from the secondary video folder and transmitting the extracted secondary video data to the terminals 200 and 300 for display. It has been.
  • the recording server 100 functions as means (1) to (10) according to the hardware configuration and the photographing / collecting / editing / transmitting program 112 described above.
  • FIG. 8 is an image diagram showing a conversion and re-conversion method in the surveillance camera system of the first embodiment.
  • the video is transmitted in a baseline profile from the surveillance camera 400, which is an IP camera, to the recording server 100.
  • the camera moving image acquisition means is configured such that an intra frame created by the surveillance camera 400 can be independently decoded and is created at regular intervals and an intra frame with reference to a past frame. In this case, a plurality of predicted interframes to be encoded are converted and input.
  • the secondary video data creating means creates an intra frame and a predicted inter frame by creating a bi-directional predictive inter frame created by referring to both past and future frames in the primary video data. The secondary video data is generated by performing re-conversion to reduce the number of video data and perform encoding.
  • the input camera video is a baseline profile and is stored in the primary video folder 115 in the recording server 100.
  • the secondary video data has a high profile and is stored in the secondary video folder 112 in the recording server 100.
  • the primary video data is a baseline profile in which I frames (intra frames) are every 1 second, for example, 9 P frames (predicted interframes) in between, and in secondary video data,
  • the I frame is set every 25 seconds, and a B frame (bidirectional prediction interframe) is inserted to reduce the capacity without being deteriorated in combination with the P frame.
  • the primary video data for 10 minutes is 600 frames for I frame and 5400 frames for P frame.
  • secondary video data is optimized for 24 frames for I frame, 2000 frames for P frame, and 3976 frames for B frame. By doing so, the capacity can be reduced, but high image quality can be maintained.
  • optimization is performed after the recorded video data is completed, so that the number of I frames can be greatly reduced. Further, since a future frame can be referred to, a B frame can be inserted. Since the B frame is a front-back comparison difference, it is smaller than the P frame.
  • the primary video data is stored in the primary video folder 115, and when the video for a certain time, for example, 10 minutes is stored, the files divided by session disconnection or the like are combined into one 10-minute file. Convert to primary video data.
  • the fixed time is not limited to 10 minutes and can be arbitrarily set to 5 minutes or 20 minutes.
  • the primary video data combined into one file is stored in the primary video folder 115.
  • the primary video data is a stream video (baseline profile) from the network camera and is not optimized, and therefore becomes a very large file depending on the transfer capacity setting.
  • the capacity can be reduced by converting to a high profile.
  • the camera moving image sending means develops the primary video data stored in the primary video folder 115 in the memory 202, writes it as the primary image data in the primary image folder 111, and stores it as the camera video in the terminals 200 and 300.
  • the camera moving image sending means transmits the secondary video data stored in the secondary video folder 112 to the terminals 200 and 300 as a camera moving image as it is. Since the primary video data has a large capacity as it is, and it takes a long time to transfer the primary video data, it can be seen only in the same LAN environment. Therefore, the image is temporarily expanded in a memory and transferred to a viewer or the like.
  • Secondary video data is optimized and can be reduced to 1 / 100th of a fixed point, or even 1 / 10th of any movement, so the capacity is enough to be handled by a mobile terminal. Since it becomes smaller, it can be directly developed on a web page or transferred to a mobile environment.
  • the terminal (mobile terminal 200 and viewing PC 300), (1) live playback requesting means for requesting the recording server 100 to perform live playback of camera moving images for one or a plurality of monitoring cameras 400 having the authority to monitor, (2) recording server Live reproduction display means for displaying primary image data transmitted from 100, (3) past video reproduction request means for requesting the recording server 100 to reproduce past camera moving images for one or a plurality of monitoring cameras 400 having the monitoring authority, (4) Past video reproduction display means for displaying secondary video data transmitted from the recording server 100 is provided.
  • the terminal functions as means (1) to (4) by the hardware configuration and the image display programs 213 and 313 described above.
  • the recording server 100 immediately after shooting, for example, primary image data composed of a still image cut out from a camera moving image in the recording server 100 is developed in the memory 202 and written in the primary image folder 111, and the primary image data is stored in the terminal. Even if, for example, one week later, the recording server 100 accepts designation of a camera image to be reproduced from the terminal, for example, at the date and time, etc. It can be extracted from the next video folder and transmitted to the terminal to play the past video.
  • the monitoring camera 400 to the recording server 100 is H.264. Since the H.264 stream transmission is basically a snapshot (still image), there is no traffic concentration, and even if a load is applied to the recording server by re-conversion for optimization, it is difficult to exert an influence. Since the capacity is extremely small, no additional disks are required. H.
  • the H.264 encoder can reduce the size by more than 80% compared to the Motif JPEG format, and can realize high image quality.
  • H. Since the H.264 baseline profile uses only I and P frames, low latency can be achieved and it is suitable for network cameras, but the surveillance camera system requires storage as it is, so it requires a huge amount of capacity on the server. . However, according to the present embodiment, the capacity can be greatly reduced while maintaining high image quality.
  • the surveillance camera system of this embodiment stores the primary image data as high-resolution data that may be frequently viewed for a certain period of time, for example, one day, in order to check the video on the spot. Delete after a certain period. Therefore, it is possible to rewind and reproduce an image being reproduced live for a certain period.
  • the surveillance camera system of the present embodiment can further extend the storage period by optimizing the primary video data combined into one file for a certain period of time and converting it to secondary video data.
  • a recording server that is connected to a monitoring camera group that captures a moving image via a LAN network and includes a storage device, (1) causes the monitoring camera group to capture a moving image, Converts to intra-frames that can be decoded independently and are created at regular intervals, and multiple predicted inter-frames that are created between intra frames with reference to past frames, and input to the recording server (2) a primary video data creation step for storing the input camera video as primary video data in a primary video folder in the storage device; and (3) the input camera video into a continuous still image.
  • live playback can be accepted for 1 day, and past video playback can be accepted after secondary video data creation (for example, 10 minutes later).
  • the surveillance camera system program having a photographing / collecting / editing / transmission program and an image display program causes the computer to execute these steps. This will be described more specifically with reference to the drawings.
  • FIG. 9 is a flowchart showing an outline of a procedure from connection between the camera and the recording server to image editing in the surveillance camera system of the first embodiment.
  • the recording server requests the camera to connect using the TCP / IP method.
  • the camera is composed of one or a plurality of cameras, and each camera and the recording server authenticate with a user ID and a password. If the authentication is successful with reference to the authentication database of the recording server, the connection state is established.
  • a camera image is taken from the recording server on the camera for a certain period of time (10 minutes in this embodiment).
  • the camera continuously captures moving images in response to an image request, and H. H.264 baseline profile camera video is transmitted to the recording server.
  • a plurality of camera videos are created between an intra frame that can be decoded independently and created at regular intervals, and an intra frame that refers to a past frame.
  • the prediction interframe is converted to be encoded and input.
  • the surveillance camera may be an analog camera in addition to an IP camera, and an old camera can be used, thereby reducing costs.
  • the recording server When the recording server obtains the camera video of the stream video from the surveillance camera which is a stream camera, it stores it as a file in the primary video folder. At the same time, a still image is extracted from the acquired stream video (camera video) and stored in the memory. A still image is extracted at a predetermined timing. Then, the image developed in the memory is stored in the primary image folder at the same timing as the development timing to the memory (in this embodiment, every second). Such processing is performed every sleep time.
  • the sleep time is arbitrarily set in advance, such as 1/10 second, 1 second, 3 seconds, or 60 seconds. In this embodiment, it is 1 second. If the video cannot be acquired from the surveillance camera, the connection is established again. When the session is disconnected and when a certain period of time (10 minutes in this embodiment) elapses, the camera moving image is requested again. Camera movie acquisition is performed until an end signal is received.
  • FIG. 10 is a data compression (optimization) flowchart of the surveillance camera system of the first embodiment.
  • a certain period of time in this example, 10 minutes by default
  • the primary video data is combined with one moving image for a certain period of time (for example, 10 minutes) by combining a moving image file distributed by session disconnection, etc.
  • the optimized video is handled as secondary video data.
  • Optimization is a re-conversion that reduces the number of intra-frames and predicted inter-frames by creating bi-predictive inter-frames created by referring to both past and future frames in primary video data. This optimized data becomes secondary video data.
  • Images deployed in memory are used for distribution to Viewer and stored in primary image data, so it is important for efficient use of image data and for interrupting processes such as optimization without waste. It becomes.
  • the terminal receives a connection request to the recording server from the user, and when the connection request is input, requests the connection to the recording server by the TCP / IP method.
  • a part of the mobile terminal may be connected using a protocol unique to the mobile phone.
  • One or a plurality of terminals are configured, and each terminal and the recording server authenticate with a user ID and a password. If the authentication authentication of the recording server is referred to and the terminal is not registered for authentication, the encryption key is issued and registered only for the first time, and the user ID and password are issued at the time of registration. When authentication is successful, the connection state is established.
  • the terminal receives the camera list request from the user, and transmits the camera list request to the recording server when the camera list request is input.
  • the recording server confirms authority information about cameras that can be monitored by the requested terminal.
  • the recording server sends the authorized camera list data to the terminal.
  • the terminal displays the received camera list data on the display, and accepts selection of a camera for displaying live reproduction from the user.
  • the terminal When the selection of a camera for displaying live playback is input, the terminal requests the recording server to perform live playback of the camera video for the camera selected by the recording server. Upon receiving the live playback request, the recording server transmits the latest primary image data acquired from the selected camera, expanded on the memory, and stored in the primary image folder to the terminal. The terminal displays the transmitted primary image data on the display. The terminal repeats the live image request and subsequent operations at every image acquisition timing of the camera until the user cancels the selection of the camera, or while other than playback is selected.
  • the terminal accepts an input of a rewind request from the user while displaying a live image.
  • the terminal requests a rewind image from the recording server.
  • the recording server receives the rewind image request, it extracts primary image data from the primary image folder for a predetermined time from the image previously transmitted to the terminal, and transmits it to the terminal as a rewind live image.
  • the previous primary Image data is transmitted.
  • the terminal While the rewind is selected, that is, while the rewind live image is being displayed, the terminal requests the rewind live image from the recording server at regular intervals.
  • the fixed time at that time is a fixed time shorter than the request interval of the live image, and is 0.2 seconds in this embodiment. Accordingly, the rewind live image created from the primary image data of the previous camera moving image is displayed every 0.2 seconds on the terminal.
  • the terminal accepts an input of a fast forward request from the user while displaying the rewind live image.
  • the terminal requests a fast-forward live image from the recording server.
  • the recording server receives the fast-forward live image request
  • the recording server extracts primary image data of a certain time in the future from the image previously transmitted to the terminal, and transmits it to the terminal as a fast-forward live image.
  • a future time of a certain time is a future time of 1 second and a live image is an image acquired every second
  • a rewind live image is obtained. From the primary image data that is currently displayed, the primary image data that is one sheet in the future is transmitted.
  • the terminal While the fast forward is selected, that is, while displaying the fast forward live image, the terminal requests the fast forward image from the recording server at regular intervals.
  • the fixed time at that time is a fixed time shorter than the request interval of the live image, and is 0.2 seconds in this embodiment. Therefore, the fast-forward live image created from the primary image data of the camera moving image one second before is displayed on the terminal every 0.2 seconds.
  • the fast-forward live image reaches the current image, the live image display is switched to, and the fast-forward is finished.
  • past camera videos can be played in the same way.
  • the received past secondary video is extracted from the secondary video folder, and the extracted secondary video data is transmitted to the terminal for display.
  • Primary image data is a still image that is light enough to be transmitted continuously to the terminal, and secondary video data is also light enough to be transmitted to the terminal because the amount of data is extremely small.
  • both primary image data and secondary video data can be rewinded, played back after rewinding, and fast-forwarded, which is highly convenient.
  • the primary image is transmitted to the terminal as a still image, it is possible to immediately rewind from the current image and further to fast-forward to the current image during reproduction of the live image being captured. Even if a point in time at which shooting was not possible for some reason occurs, in this embodiment, the still image at the time of loss is supplemented with a copy of the still image at the previous point in time. Is possible.
  • the optimized secondary video data can be created by inserting the B frame that cannot be inserted in real time at the same time as the moving image acquisition, so it can be stored for a long time even if the server capacity is relatively small It is possible to reproduce high-quality moving images even after a long period of time.
  • the recording server-moving image and still image are sent from the camera.
  • the recording server takes the initiative in taking / storing the image, saving / reproducing the image, and transmitting the replayed image, the amount of data to be communicated is small. Become. Therefore, no load is applied to the communication network, and traffic congestion hardly occurs. Since the traffic is always stable, many cameras can be managed by one recording server.
  • the moving image is optimized and stored, the data capacity is small, and even if there are many cameras and users, the necessary capacity is small and the number of servers is small.
  • the terminal that reproduces an image can carry it and perform not only real-time reproduction and rewinding but also high-quality reproduction and rewinding after days, and the amount of data is small. That's it. Therefore, according to the present embodiment, both high functionality and low cost can be realized.
  • the present embodiment can be used in a monitoring camera system such as a monitoring camera system for road conditions that can be reproduced with high image quality, and can be rewound and fast-forwarded, both for grasping the current situation and confirming after days. . There are many other scenes available.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

動画を撮影する監視カメラ群にネットワークを介して接続されデータを記憶装置に記憶する録画サーバが、前記監視カメラ群に動画を撮影させ、撮影したカメラ動画を前記録画サーバに入力させるカメラ動画取得手段と、入力された前記カメラ動画を一次映像データとして前記記憶装置に蓄積する一次映像データ作成手段と、前記一次映像データについて、一定時間分ずつ1のファイルの一次映像データに結合する結合手段と、結合された前記一次映像データを再変換して二次映像データを作成する二次映像データ作成手段と、を有する。

Description

監視カメラシステム及び監視カメラデータ保存方法
 本発明は、防犯や管理等のために、撮影した画像を蓄積し、端末に表示させる監視カメラシステム及び監視カメラデータ保存方法に関する。
 従来、防犯や調査あるいは管理といった目的で、集合住宅などの建物の出入口や店頭あるいは街頭、工場や配送センター等、監視対象となるポイントを監視用カメラにより適時監視し、監視結果をインターネットその他電気通信回線を介して、ユーザ端末のモニターに送出し、モニターするカメラシステムが導入されている。静止画を撮影して表示するカメラシステムも開発されているが(例えば、特開2013-51534号公報参照)、一般には、カメラで撮影した動画を記録するシステムの方が知られている(例えば、特開2002-77882号公報参照)。監視カメラの業界では、リアルタイムの映像を表示することが絶対条件とされているため、IPカメラの技術が発達してきた今でもなお、アナログ構成が優位となっている。
 本開示の一側面に係る監視カメラシステムは、
 動画を撮影する監視カメラ群にネットワークを介して接続されデータを記憶装置に記憶する録画サーバを備え、
 前記録画サーバが、
 前記監視カメラ群に動画を撮影させ、撮影したカメラ動画を前記録画サーバに入力させるカメラ動画取得手段と、
 入力された前記カメラ動画を一次映像データとして前記記憶装置に蓄積する一次映像データ作成手段と、
 前記一次映像データについて、一定時間分ずつ1のファイルの一次映像データに結合する結合手段と、
 結合された前記一次映像データを再変換して二次映像データを作成する二次映像データ作成手段と、
を有する。
図1は、アナログカメラのシステムイメージ図である。 図2は、アナログカメラシステムをそのままIPカメラに置き換えた場合のシステムイメージ図である。 図3は、アナログカメラシステムをIPカメラに置き換えてソフトレコーダーを導入した場合のシステムイメージ図である。 図4は、第1実施例の監視カメラシステムのシステム構成の一例を示す図である。 図5は、第1実施例の監視カメラシステムの録画サーバの構成図である。 図6は、第1実施例の監視カメラシステムの端末(モバイル)の構成図である。 図7は、第1実施例の監視カメラシステムの端末(PC)の構成図である。 図8は、第1実施例の監視カメラシステムにおける変換及び再変換方法を示すイメージ図である。 図9は、第1実施例の監視カメラシステムにおけるカメラと録画サーバとの接続から画像編集までの手順概要を示すフロー図である。 図10は、第1実施例の監視カメラシステムのデータ圧縮(最適化)フロー図である。
 図1は、アナログカメラのシステムイメージ図である。アナログカメラのシステムでは、図1に示したように、カメラからレコーダーまでを同軸ケーブルで直接配線する必要があり、直接配線することで遅延のない映像をモニターに映すことが可能となるとはいえ、工事が大変であるという問題があった。また、図1に示したように4、8、16台などで接続台数を切り分けているのは、レコーダーに直接接続できる端子数が決まっているためで、増設等の際にはレコーダーを買い足す必要があるという問題があった。
 図2は、アナログカメラシステムをそのままIPカメラに置き換えた場合のシステムイメージ図である。アナログカメラを、図2に示したように、単にネットワークHUBで接続されたIPカメラに置き換えた場合、カメラの台数が少なければアナログカメラシステムと同じような運用が可能であり、要求が、単純なモニターでの閲覧レベルであれば十分に満たせるシステムである。しかし、ハードレコーダーのLANにトラフィックが集中するため、データの遅延、欠損が発生しやすくなるという問題があった。また、閲覧用の動画は、LAN、モバイルの区別なく高画質の動画を流してしまうため、結果として、最近のモバイル端末での閲覧等の要求には、とりあえず閲覧できるレベルしか対応できておらず、高画質の動画が再生できる最近のモバイル端末の機能を生かせていないという問題があった。また、基本ベースが動画であるために、寸断や切断後の回復に弱いという問題があった。
 図3は、アナログカメラシステムをIPカメラに置き換えてソフトレコーダーを導入した場合のシステムイメージ図である。図3に示したように、ハードレコーダーで対応しきれない機能にソフトウェアで対応するために、ソフトレコーダー、すなわち、VMS(ビデオマネジメントシステム)ソフトウェアを動作させるサーバ機を接続した場合、閲覧レベルは向上するものの、サーバ機のLANにトラフィックが集中するため、データの遅延、欠損が発生しやすくなるという問題はやはり生じる。このようなシステムでは、閲覧レベルの向上が期待できるために、顔認証、動体検知、ナンバー認証、他システムとの連動など、実現したいことは多岐にわたり、空港や重要拠点等での導入が期待されうる方法であるが、一方で、カメラ台数が非常に多くなることにより、閲覧時の遅延が生じやすいという問題があった。また、アナログで運用されていた環境に導入した際に、アナログでできていた、遅延のない閲覧などの点がスムーズにできないことで不満が生じやすいという問題があった。さらに、サーバ機のネットワークには録画データが集中し、また同時に閲覧用のデータをサーバ機からモニター用端末へ送信する通信も発生するので、ネットワークを太くしたり、サーバースペックを向上させることが必要となるという問題があった。また、やはり基本ベースが動画であるために、寸断や切断後の回復に弱いという問題があった。
 さらに、動画データをサーバに保存するためにデータ容量が膨大になるという問題や長期保存ができないという問題があった。また、大容量のサーバを多数用意する必要があり、コストがかさむという問題があった。
 データ量に制限があるため、動画の容量を減らすために、ビットレート(送受信データ量)を下げる対応が必要になる。しかし、ビットレートのみを下げてしまうと、動きの多いスポーツ等の映像の場合にブロックノイズが発生しやすい問題がある。かかる問題を回避するには、映像の解像度を下げる、もしくはフレーム数を減らす対応が可能であるが、解像度の低い映像は、高解像度デバイスでの閲覧で荒さが目立ち鮮明な映像とならないという問題があり、フレーム数の少ない映像は、コマ送りのようになり重要なフレームが抜けてしまう問題があった。
[実施形態]
 以下で説明する実施形態の第1の目的は、最適化したデータ保存を可能とし、かつ低コスト化を可能とする監視カメラシステム及び監視カメラデータ保存方法を提供することにある。
 発明者は、アナログカメラをIPカメラに置き換える際に生じる数々の問題点を検討し、リアルタイムでの動画閲覧という監視カメラでは必須の条件を犠牲にするという発想によって、試行錯誤のうえ、以下の実施形態を完成させたものである。
 実施形態の第1の態様に係る監視カメラシステムは、
 動画を撮影する監視カメラ群にネットワークを介して接続されデータを記憶装置に記憶する録画サーバを備え、
 前記録画サーバが、
 前記監視カメラ群に動画を撮影させ、撮影したカメラ動画を前記録画サーバに入力させるカメラ動画取得手段と、
 入力された前記カメラ動画を一次映像データとして前記記憶装置に蓄積する一次映像データ作成手段と、
 前記一次映像データについて、一定時間分ずつ1のファイルの一次映像データに結合する結合手段と、
 結合された前記一次映像データを再変換して二次映像データを作成する二次映像データ作成手段と、
を有する。
 実施形態の第1の態様によれば、最適化したデータ保存を可能とし、かつ低コスト化を可能とする。
 実施形態の第1の態様によれば、リアルタイムでの動画閲覧という監視カメラ業界では当たり前のことが出来ない代わりに、トラフィック集中の回避、動画の一部欠落の防止、サーバの負荷低減、表示のスピードダウン防止、低容量化、高画質の動画の長期保存、モバイルでの高画質動画の閲覧可能化等、他の多くのことを実現でき、また、カメラ増設の際にレコーダーを買い足す必要はなく、工事も簡単で、寸断や切断後の回復にもよく、低コストで長期保存が可能となる。「最適化」とは、本願では、データ量をできるだけ小さくしつつ画質の劣化をできるだけ防ぐことを意味し、最適化によって、例えば、モバイル等、通信量に制限がある端末でも、高画質の再生ができるようになる。従来は、遅延なく滑らかな動画再生を行うことが大前提であり、サーバに負荷のかかる再変換をする発想がなかったが、本態様によれば、長期保存用の低容量データを作成できる。ここで、結合手段における一定時間は、10分間程度が好ましいが、これに限定されず、例えば、被写体の動きがほとんどない監視カメラの場合には比較的長い時間で設定してもよい。
 実施形態の第2の態様に係る監視カメラシステムは、上記第1の態様に係る監視カメラシステムであって、
 前記録画サーバが、
 入力された前記カメラ動画を連続した静止画に変換して一次画像データとしてメモリに展開するメモリ展開手段と、
前記一次画像データを前記記憶装置に蓄積する一次画像データ蓄積手段と、
をさらに有する。
 かかる態様によれば、入力されたカメラ動画から静止画を抜き出してメモリに展開し蓄積される一次画像データは、連続静止画として、端末に送信できるので、インターネット等のネットワークで繋がれたPCやモバイル等の端末であっても、高画質で連続した静止画を擬似的な動画のように再生できる。連続した静止画の再生であるので、巻戻しして再生したりスライダーで任意の場所にジャンプして再生したり、巻き戻して早送りすることもできる。また、静止画をメモリ展開している間に、二次映像データ作成手段によって、一次映像データを二次映像データに最適化することができるので、サーバでの処理負荷の集中を避けることができる。また、二次映像データ作成後は、作成された二次映像データをカメラ動画として、端末に送信でき、また、データ容量が小さい状態で長期保存ができる。したがって、高画質の連続静止画の再生ができ、かつ、最適化したデータ保存を可能とし、かつ低コスト化を可能とする。
 すなわち、かかる態様によれば、現時点の画像について高画質でのライブ再生をすることができるとともに、長期保存用に高画質ながら容量が小さくかつ端末に送信できる動画も保存できる。「現時点の画像」とは、監視用カメラから取得した最新の画像を意味する。したがって、現時点の画像は、カメラ動画が録画サーバに入力される度に、新しい画像に変わる。本願においては、「ライブ再生」は、現時点の画像(ライブ画像)を再生することを示す。なお、「画像」は、静止画像と動画像の両方の意味を含む言葉であるが、本願においては、特に区別するときには、静止画像を「画像」、動画像を「映像」と表示する。
 実施形態の第3の態様に係る監視カメラシステムは、上記第1または第2の態様に係る監視カメラシステムであって、
 前記カメラ動画取得手段が、前記カメラ群に、撮影したカメラ動画を、単独でデコーディング可能で一定時間ごとに作成されるイントラフレームと、過去のフレームを参照して前記イントラフレームの間に複数作成される予測インターフレームとに符号化する変換をして、前記録画サーバに入力させるものであり、
 前記二次映像データ作成手段が、前記一次映像データにおいて、過去と将来のフレームの両方を参照して作成される双方向予測インターフレームを作成することにより前記イントラフレームと前記予測インターフレームの数を減少させて符号化する再変換をして二次映像データを作成するものである。
 動画の圧縮形式は、現時点で高圧縮であるH.264であることが好ましいが、H.265等、次世代コ-ディックでもよい。サーバの容量に限界があるところ、動画ではデータ欠損等が多く生じるため、従来1秒に1回はイントラフレームを取得することが必要であるのでデータ量が大きくなってしまい長期にわたってのデータ保存が難しいが、本態様によれば、一旦変換して結合した一定時間分の動画中のイントラフレームと予測インターフレームに基づいて双方向予測インターフレームを作成して、長期保存用に、高画質ながら低容量データを作成できる。
 実施形態の第4の態様に係る監視カメラシステムは、上記第3の態様に係る監視カメラシステムであって、
 前記二次映像データにおけるイントラフレームの数を、同じ時間分の前記一次映像データにおけるイントラフレームの数の25分の1以下とする。
 大容量のイントラフレームの数を激減させることで、データ量の圧縮が実現でき、双方向予測インターフレームで補てんすることで画質の低下を防止できる。
 実施形態の第5の態様に係る監視カメラデータ保存方法は、
 動画を撮影する監視カメラ群にネットワークを介して接続されデータを記憶装置に記憶する録画サーバが、前記監視カメラ群に動画を撮影させ、撮影したカメラ動画を前記録画サーバに入力させるカメラ動画取得ステップと、
 前記録画サーバが、入力された前記カメラ動画を一次映像データとして前記記憶装置に蓄積する一次映像データ作成ステップと、
 前記録画サーバが、前記一次映像データについて、一定時間分ずつ1のファイルの一次映像データに結合する結合ステップと、
 前記録画サーバが、結合された前記一次映像データを再変換して二次映像データを作成する二次映像データ作成ステップと、
を含む。
 実施形態の第5の態様によれば、最適化したデータ保存を可能とし、かつ低コスト化を可能とする。
 実施形態の第6の態様に係る監視カメラデータ保存方法は、上記第5の態様に係る監視カメラデータ保存方法であって、
 前記録画サーバが、入力された前記カメラ動画を連続した静止画に変換して一次画像データとしてメモリに展開するメモリ展開ステップと、
 前記録画サーバが、前記一次画像データを前記記憶装置に蓄積する一次画像データ蓄積ステップと、
 前記録画サーバが、前記録画サーバにネットワークを介して接続された端末から前記カメラ動画のライブ再生を受付するライブ再生受付ステップと、
 前記録画サーバが、前記端末に前記一次画像データを送信し表示させるライブ再生ステップと、
 前記録画サーバが、前記端末から前記カメラ動画の過去のカメラ動画の再生を受付する過去映像再生受付ステップと、
 前記録画サーバが、前記端末に前記二次映像データを送信し表示させる過去映像再生ステップと、
をさらに含む。
 かかる態様によれば、一次画像データが作成され高画質の連続した静止画の再生ができるので、現時点の画像について高画質でのライブ再生をすることができると同時に、二次映像データが作成されデータ量が小さいが双方向予測インターフレームで補完された高画質を保持した動画に変換されるので、長期保存用に高画質ながら容量が小さくかつ端末に送信できる動画も保存できる。また、ストレージ量が大幅削減することによる低コスト化を可能とする。カメラ増設の際にレコーダーを買い足す必要はなく、工事も簡単で、寸断や切断後の回復にもよく、低コストで長期保存が可能となる。
 以下、実施形態について、実施例を用いて具体的に説明するが、実施形態はこれらに限定されるものではない。
[第1実施例]
 第1実施例は、ネットワークを介して録画サーバで監視用カメラを作動させて、録画サーバが動画を撮影・収集・編集・保存し、録画サーバがユーザの端末に端末からの要求に応じてネットワークを介してモニターする高画質の画像を送信すると同時に、長期保存用の低容量高画質の動画も保存するもので、過去の映像の再生・巻戻し・早送りも、ライブ再生やその現時点の画像からの巻戻し、さらには現時点の画像への早送りも行うことが可能である。本実施例では、リアルタイムでの動画閲覧という監視カメラ業界では当たり前のことが出来ない代わりに、トラフィック集中の回避、動画の一部欠落の防止、サーバの負荷低減、表示のスピードダウン防止、低容量化、高画質の動画の長期保存、モバイルでの高画質動画の閲覧可能化等、他の多くのことを実現できる。本実施例では、監視用カメラの動画をH.264のベースラインプロファイルで、イントラフレーム(以下、Iフレーム)と予測インターフレーム(以下、Pフレーム)とに変換して取得し、蓄積、一定時間分で1つのファイルに完結させた後に、双方向予測インターフレーム(以下、Bフレーム)を使用する動画に再変換するので、イントラフレーム(Iフレーム)の数を非常に少なくでき、動画取得と同時のリアルタイムでは挿入することが出来ないBフレームを挿入できるので、H.264の有効な機能を生かした最適化を行うことができ、サーバ容量が比較的少なくても長期間保存でき、長期間経過した後でも高画質の動画を再生することができる。また、同時に、入力された前記カメラ動画を連続した静止画に変換して一次画像データとしてメモリに展開し、展開した一次画像データを蓄積する。一次画像データは端末に送信してカメラ動画のライブ再生とすることができる。また、一次画像データは静止画であるため、巻戻して再生することもできる。
{構成}
 図4は、第1実施例の監視カメラシステムのシステム構成の一例を示す図である。LANやインターネット、Wi-Fi回線、3G回線等の通信網から構成されるネットワーク500上には、(1)画像を撮影するカメラとして、複数台の監視用カメラ(動画用)400E~F、複数台の監視用カメラ(静止画用)401A~D、(2)監視用カメラ(動画用)400とはネットワーク500のうちLANを介して接続され、監視用カメラ(静止画用)401とはネットワーク500を介して接続され、各カメラで撮影した画像データ(カメラ静止画)や映像データ(カメラ動画)を取得し蓄積し端末に送信する録画サーバとして、録画サーバ100、(3)ネットワーク500を介して録画サーバ100と接続され、録画サーバ100からの映像データを受信して表示する端末として、スマートフォンなどのモバイル端末200A、Bや、デスクトップPC(パーソナルコンピュータ)やノートPCなどの閲覧PC300A~Cが接続されている。以下、モバイル端末と閲覧PCとをまとめるときは、「端末」又は「Viewer」という。
 録画サーバ100は、監視用カメラ(動画用)400と同じLAN内に存在するが、監視用カメラ(静止画用)401は同じLAN内に限らず、互いにネットワーク500にルータ600を介して接続されていれば、インターネットを介して接続されていてもよい。本実施例では、監視用カメラ(静止画用)401と録画サーバ100との通信及び監視用カメラ(動画用)400と録画サーバ100との通信がTCP/IP方式であり、確実に画像データの送受信ができ、信頼性が高い。
 監視用カメラ(動画用)400及び監視用カメラ(静止画用)401はIPカメラでもアナログカメラでもよい。ただし、アナログの場合、変換器を要する。画像表示用の端末である閲覧PC300も、録画サーバ100と同じLAN内に存在する場合に限らず、互いにネットワーク500にルータ600を介して接続されていれば、インターネットを介して接続されていてもよい。画像表示用の端末であるモバイル端末200についても、LAN、インターネット、携帯電話用ネットワーク(Wi-Fi回線や3G回線等)等、複数のネットワークを介して接続されていてもよい。
 1台の録画サーバ100は、複数台の監視カメラ(動画用)400からカメラ動画を、また複数台の監視カメラ(静止画用)401からカメラ静止画を取得することができる。本実施例では、録画サーバ100側がネットワークトラフィックを自動的に分散させるので、ネットワーク設計が不要で、カメラをポートに繋ぐだけで済むため、作業が非常に簡便となる。
 図5は、第1実施例の監視カメラシステムの録画サーバの構成図である。録画サーバ100は、キャッシュメモリであるメモリ102を伴うCPU101やデバイスドライバ等を有する制御・演算装置と、DRAM等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置110と、ネットワークインターフェース104等の通信制御装置や表示装置としてのディスプレイ103、キーボード105、マウス106等で構成される入出力装置とを備えている。記憶装置110には、一次画像フォルダ111と一次映像フォルダ115と二次映像フォルダ112と撮影・収集・編集・送信プログラム113と認証用データベースと環境設定フォルダ等の他、オペレーティングシステム114が格納されている。撮影・収集・編集・送信プログラム113は通常記憶装置110の補助記憶装置に格納されており、実行時には主記憶装置にロードされる。一次映像フォルダ115には、監視用カメラ(動画用)から取得したカメラ動画から一次映像データを作成して蓄積し、さらに、一次映像データを一定時間分ずつ1のファイルの一次映像データに結合して蓄積し直し、二次映像フォルダ112には、1のファイルに結合した一次映像データを再変換して作成された二次映像データを蓄積する。なお、一次画像フォルダ111には、抽出した一次映像データをメモリ102に展開して書き込んだ一次画像データを作成して蓄積する。認証用データベースには、ID、パスワード、各監視用カメラ400やモバイル端末200や閲覧PC300のポート番号とIPアドレス、IPアドレスのない端末では個体識別情報(UID)が蓄積されている。本実施例では、録画サーバ100は、録画サーバと端末が一体となっており、自ら画像を表示する端末の役割も果たすため、また、メンテナンスや管理のため、ディスプレイ103、また入力手段としてのキーボード105やマウス106を有している。録画サーバでカメラ動画の再生を要しない場合は、画像表示装置としての端末機能はなくてもよい。環境設定フォルダには、各監視用カメラの映像取得タイミング、一次映像データや一次画像データや二次映像データの作成間隔、変換条件等が蓄積されている。
 なお、録画サーバ100は、監視カメラ(静止画用)401には、静止画で画像を取得させて録画サーバ100に送信させ、取得した静止画像はメモリ102に格納し、さらに、別な処理で、メモリに展開された画像を一次画像フォルダ111に格納し、一定時間、例えば10分間経過すると、一次画像フォルダ111の連続静止画を動画に変換する。変換した動画のIフレームの数は10分で3枚程度と極めてデータ量が小さいため、動画ファイルのまま端末等に送信することが容易であるが、監視カメラ(静止画用)のデータ保存方法についての詳細は本願では省略する。なお、本実施例の説明においては、監視用カメラ(静止画用)についての説明は、以下においては、特に言及する場合を除いて省略し、以下、単に「監視用カメラ」という場合は、監視用カメラ(動画用)を意味する。
 録画サーバ100は、CPU101が、撮影・収集・編集・送信プログラム113をメモリ102にロードして実行することにより、本実施例のカメラ動画の取得から編集及び端末への画像送出処理が可能なコンピュータの機能を実現する。CPU101は、通常のコンピュータに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。
 録画サーバ100は、1台のサーバとする他、複数の録画サーバからなるサーバ群であってもよい。例えば、二次映像フォルダについて、一定期間(例えば24時間)経過後の二次映像データについては、保存先を、カメラ動画を取得する録画サーバと別の録画サーバに設けた二次映像フォルダとしてもよい。頻繁には再生しない過去の保存データを別にすることで、さらに多くの台数のカメラを同一ネットワーク上で監視可能となる。
 撮影・収集・編集.送信プログラム113は、コンピュータに、1又は複数の監視用カメラとの接続を行うカメラ接続機能、1又は複数の端末との接続を行う端末接続機能、一定時間(例えば10分)ずつ連続して、接続した監視用カメラに動画を撮影させ撮影したカメラ動画を録画サーバに入力させるカメラ動画取得機能、入力されたカメラ動画を一次映像データとして録画サーバの記憶装置内の一次映像フォルダに蓄積する一次映像データ作成機能、一次映像データについて、一定時間(例えば10分)分ずつ1のファイルの一次映像データに結合する結合機能、結合された一次映像データを再変換して二次映像データを作成する二次映像データ作成機能を実現させるためのプログラムである。
 本実施例では、撮影・収集・編集・送信プログラム113は、さらに、コンピュータに、入力されたカメラ動画を連続した静止画に変換して一次画像データとしてメモリに展開するメモリ展開機能、一次画像データを記憶装置内の一次画像データフォルダに蓄積する一次画像データ蓄積機能をも実現させるためのプログラムである。
 本実施例では、撮影・収集・編集・送信プログラム113は、さらに、コンピュータに、端末からカメラ動画のライブ再生を受付するライブ再生受付機能、端末に一次画像データを送信し表示させるライブ再生機能をも実現させるためのプログラムである。
 本実施例では、撮影・収集・編集・送信プログラム113は、さらに、コンピュータに、端末から過去のカメラ動画の再生を受付する過去映像再生受付機能、受付した過去の二次映像を二次映像フォルダから抽出し抽出した二次映像データを端末に送信し表示させる過去映像再生機能をも実現させるためのプログラムである。
 本実施例では、監視カメラ400と録画サーバ100との接続はTCP/IP方式で行い、監視カメラを特定するため、録画サーバ側で設定したユーザIDとパスワードで認証を行ってからカメラ動画の撮影等の要求を行う。端末200、300と録画サーバ100との接続もTCP/IP方式で行い、ユーザIDとパスワードで認証を行って、端末が録画サーバに登録してある端末であることを確認してから画像送信を行う。認証は、録画サーバ上の認証用データベースによる認証が好ましい。
 端末やカメラが同じLAN上になくてもルータを介してネットワークで繋がっていれば、接続するルータのIPアドレスとそれぞれに割り振られたポート番号で行う。インターネットで接続されているときは、両者の間のルータのポート番号を「有効」にする。IPアドレスのないモバイル端末ではUIDを利用する。
 監視カメラ400から録画サーバ100の動画の送信は、RTSP(リアルストリーミングプロトコル)で送信する。本実施例では、H.264で圧縮して送信するが、H.265等、次世代コ-ディックでもよい。
 図6は、第1実施例の監視カメラシステムの端末(モバイル)の構成図である。モバイル端末200は、メモリ202を伴うCPU201やデバイスドライバ等を有する制御・演算装置と、記憶装置210、データの送受信等を行う通信制御装置、表示装置としてのディスプレイ204、操作ボタンあるいはタッチパネル等の入出力装置を備えている。記憶装置210には、画像表示プログラム213やオペレーティングシステム214が格納されている。モバイル端末200は、例えばスマートフォン等の携帯電話等であり、CPU201が画像表示プログラム213をメモリ202にロードして実行することにより端末に送信された映像の表示が可能なコンピュータの機能を実現する。CPU201は、通常のモバイル端末に搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。
 図7は、第1実施例の監視カメラシステムの端末(PC)の構成図である。閲覧PC300は、メモリ302を伴うCPU301やデバイスドライバ等を有する制御・演算装置と、DRAM等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置310と、ネットワークインターフェース304等の通信制御装置や表示装置としてのディスプレイ303、キーボード305、マウス306等で構成される入出力装置とを備えている。記憶装置310には、画像表示プログラム313やオペレーティングシステム314が格納されている。閲覧PC300は、例えばデスクトップPCやノートPC、タブレット端末等であり、CPU301が画像表示プログラム313をメモリ302にロードして実行することにより端末に送信されたカメラ動画の表示が可能なコンピュータの機能を実現する。CPU301は、通常のPCに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。
 画像表示プログラム213、313は、コンピュータに、録画サーバとの接続を行う端末接続機能、監視権限のある1又は複数のカメラについてカメラ動画再生を録画サーバに要求するカメラ動画再生要求機能、録画サーバから送信されたカメラ動画を表示するカメラ動画表示機能を実現させるためのプログラムである。
 録画サーバ100は、ローカル環境にある監視用カメラ接続開始時にIPアドレス及びポート番号を用いた接続によって接続相手を特定でき、ユーザIDとパスワードで認証する。録画サーバ100は、遠隔環境にある監視カメラとの接続では、ルータのポート転送(ポートフォワーディングなどとも表現される)を用いることで、グローバルIPアドレス及びポート番号を用いて接続相手を特定する。録画サーバ100は、閲覧端末接続開始時にUIDを用いた端末固有情報を元に端末を特定するため、ユーザIDとパスワードの認証及び端末固有情報の一致により画像表示を可能とする。
 本実施例においては、録画サーバ100と閲覧PC300とは、ともにパーソナルコンピュータとして構成され、通常のパーソナルコンピュータが有するクロック機能等を備えている。モバイル端末200もクロック機能等を備えている。
 本実施例では、動画を撮影する監視用カメラ400にネットワーク500を介して接続されデータを記憶する記憶装置を備えた録画サーバ100と、録画サーバ100に500を介して接続されカメラ動画を表示する端末(モバイル端末200や閲覧PC300)とを具備しており、録画サーバ100には、(1)監視用カメラ400に動画を撮影させ、撮影したカメラ動画を録画サーバ100に入力させるカメラ動画取得手段、(2)入力されたカメラ動画を一次映像データとして記憶装置110内の一次映像フォルダ115に蓄積する一次映像データ作成手段、(3)一次映像データについて、一定時間分ずつ1のファイルの一次映像データに結合する結合手段、(4)結合された一次映像データを再変換して二次映像データを作成する二次映像データ作成手段が設けられている。
 本実施例では、録画サーバ100には、さらに、(5)入力されたカメラ動画を連続した静止画に変換して一次画像データとしてメモリ102に展開するメモリ展開手段(6)一次画像データを記憶装置110内の一次画像フォルダ111に蓄積する一次画像データ蓄積手段が設けられている。
 本実施例では、録画サーバ100には、さらに、(7)端末200、300から、監視権限のある1又は複数のカメラ400についてカメラ動画のライブ再生を受付するライブ再生受付手段、(8)ライブ再生要求を受け付けたカメラ400について、端末200、300に一次画像データを送信し表示させるライブ再生手段が設けられている。
 本実施例では、録画サーバ100には、さらに、(9)端末200、300から、監視権限のある1又は複数のカメラ400について過去のカメラ動画の再生を受付する過去映像再生受付手段、(10)過去映像再生要求を受け付けたカメラ400について、受付した過去の二次映像データを二次映像フォルダから抽出し抽出した二次映像データを端末200、300に送信し表示させる過去映像再生手段が設けられている。
 録画サーバ100は、前述のハードウェア構成と撮影・収集・編集・送信プログラム112によって、(1)~(10)の手段として機能する。
 図8は、第1実施例の監視カメラシステムにおける変換及び再変換方法を示すイメージ図である。映像は、IPカメラである監視カメラ400から録画サーバ100へ、ベースラインプロファイルで送信される。カメラ動画取得手段は、本実施例では、監視カメラ400に、撮影したカメラ動画を、単独でデコーディング可能で一定時間ごとに作成されるイントラフレームと、過去のフレームを参照してイントラフレームの間に複数作成される予測インターフレームとに符号化する変換をして入力させるものである。また、二次映像データ作成手段は、本実施例では、一次映像データにおいて、過去と将来のフレームの両方を参照して作成される双方向予測インターフレームを作成することによりイントラフレームと予測インターフレームの数を減少させて符号化する再変換をして二次映像データを作成するものである。
 入力されたカメラ動画は、ベースラインプロファイルであり、録画サーバ100において一次映像フォルダ115に蓄積される。二次映像データは、ハイプロファイルであり、録画サーバ100において二次映像フォルダ112に蓄積される。
 本実施例において、一次映像データでは、Iフレーム(イントラフレーム)は1秒ごとで、例えばその間にPフレーム(予測インターフレーム)が9フレームずつ入ったベースラインプロファイルであり、二次映像データでは、Iフレームは25秒毎とし、Bフレーム(双方向予測インターフレーム)を挿入して、Pフレームとの組み合わせで劣化させずに容量を削減する。その場合、10分間の一次映像データはIフレームが600フレーム、Pフレームが5400フレームで、例えば、二次映像データをIフレームが24フレーム、Pフレームが2000フレーム、Bフレームが3976フレームに最適化することで、容量を減らし、しかし、高画質を保持することが出来る。本実施例によれば、録画した映像データが完成してから最適化をするので、Iフレームを非常に少なくできる。また、未来のフレームを参照できるのでBフレームを挿入できる。Bフレームは前後比較差分であるので、Pフレームよりも小さくなる。
 本実施例では、一次映像データは、一次映像フォルダ115に保存され、一定時間分、例えば10分間の映像が保存されたら、セッション切断等により分断されたファイルを1つの10分間のファイルに結合した一次映像データに変換する。一定時間については、10分間に限らず、5分でも、20分でも、任意に設定できる。1つのファイルに結合された一次映像データは一次映像フォルダ115に保存される。一次映像データは、本実施例では、ネットワークカメラからのストリーム映像(ベースラインプロファイル)で、最適化されていないので、転送容量の設定によっては非常に大きなファイルになる。例えば、綺麗な映像にしようと思うと2Mbps程度の転送設定になるので、10分間で150MBの容量になってしまう(2Mbit×60秒×10分=1200Mbit=150M Byte)。本実施例では、カメラからの映像を一旦蓄積して、後から変換するので、ハイプロファイルに変換して容量を小さくできる。
 また、カメラ動画送出手段は、本実施例では、一次映像フォルダ115に蓄積されている一次映像データをメモリ202に展開し、一次画像データとして一次画像フォルダ111に書き込みカメラ動画として端末200、300に送信する。また、カメラ動画送出手段は、本実施例では、二次映像フォルダ112に蓄積されている二次映像データをそのままカメラ動画として端末200、300に送信する。一次映像データはそのままでは容量が大きく、そのままでは転送に時間が非常にかかるため同じLAN環境内でしか見られないので、一旦メモリに画像を展開してViewer等に転送する。二次映像データは、最適化してあり、定点なら100分の1位まで、動きがあったとしても10分の1程度まで、容量を減らすことができ、したがって、モバイルの端末でも扱えるくらい容量が小さくなるので、そのままWebページに展開したりモバイル環境に転送することができる。
 また、端末(モバイル端末200及び閲覧PC300)に、(1)監視権限のある1又は複数の監視カメラ400についてカメラ動画のライブ再生を録画サーバ100に要求するライブ再生要求手段、(2)録画サーバ100から送信された一次画像データを表示するライブ再生表示手段、(3)監視権限のある1又は複数の監視カメラ400について過去のカメラ動画の再生を録画サーバ100に要求する過去映像再生要求手段、(4)録画サーバ100から送信された二次映像データを表示する過去映像再生表示手段を設けてある。端末は、前述のハードウェア構成と画像表示プログラム213、313によって、(1)~(4)の手段として機能する。本実施例では、例えば撮影直後では、録画サーバ100においてカメラ動画から切り出して作成された静止画からなる一次画像データをメモリ202に展開して一次画像フォルダ111に書き込み、かかる一次画像データを端末に送信してライブ再生でき、例えば1週間後であっても、録画サーバ100において、端末から、例えば日時等で再生するカメラ画像の指定を受け付けて、指定された過去時点の二次映像データを二次映像フォルダから抽出して端末に送信して過去の映像を再生できる。
 本実施例では、監視カメラ400から録画サーバ100へはH.264のストリーム送信であるので、基本的にスナップショット(静止画)でトラフィックの集中がなく、最適化のための再変換で録画サーバに負荷をかけても影響が出にくい。極めて容量が小さくなるため、ディスクの増設が不要である。H.264エンコーダは、Motiоn JPEGフォーマットに比べサイズを80%以上縮小でき、高画質を実現できる。H.264ベースラインプロファイルでは、IフレームとPフレームだけを使用するので、低レンテンシが達成でき、ネットワークカメラに適しているが、監視カメラシステムではそのまま保存が必要であったためサーバに膨大な容量を要した。しかし、本実施例によれば、高画質のまま、容量を圧倒的に縮小することができる。
 本実施例の監視カメラシステムは、その場で映像を確認するために、一次画像データを、一定期間、例えば1日の間は、頻繁に見る可能性がある高解像度のデータとして保存して、一定期間を経過すると、削除する。したがって、ライブ再生している画像について一定期間分まで巻き戻して再生することが可能である。また一方で、本実施例の監視カメラシステムは、一定時間分1つのファイルに結合された一次映像データを最適化して二次映像データに変換することで、保存期間のさらなる延長を可能とする。
{手順}
 第1実施例の監視カメラシステムの監視手順について次に説明する。本手順では、上述した監視カメラシステムを使用する。
 本実施例の監視方法では、動画を撮影する監視カメラ群にLANネットワークを介して接続され記憶装置を備えた録画サーバが、(1)監視カメラ群に動画を撮影させ、撮影したカメラ動画を、単独でデコーディング可能で一定時間ごとに作成されるイントラフレームと、過去のフレームを参照してイントラフレームの間に複数作成される予測インターフレームとに符号化する変換をして、録画サーバに入力させるカメラ動画取得ステップ、(2)入力されたカメラ動画を一次映像データとして記憶装置内の一次映像フォルダに蓄積する一次映像データ作成ステップ、(3)入力された前記カメラ動画を連続した静止画に変換して一次画像データとしてメモリに展開するメモリ展開ステップ、(4)一次画像データを記憶装置内の一次画像フォルダに蓄積する一次画像データ蓄積ステップ、(5)端末からカメラ動画のライブ再生を受付するライブ再生受付ステップ、(6)端末に一次画像データを送信し表示させるライブ再生ステップ、(7)一次映像データについて、一定時間分ずつ1のファイルの一次映像データに結合する結合ステップ、(8)結合された一次映像データを、過去と将来のフレームの両方を参照して作成される双方向予測インターフレームを作成することにより前記イントラフレームと前記予測インターフレームの数を減少させて符号化する再変換をして二次映像データを作成する二次映像データ作成ステップ、(9)端末からカメラ動画の過去のカメラ動画の再生を受付する過去映像再生受付ステップ、(10)受付した過去の二次映像データを端末に送信し表示させる過去映像再生ステップを含む。
 一次画像データの保存期間を1日間とした場合、ライブ再生は1日間受付でき、過去映像再生は二次映像データ作成後(例えば10分後)から受付できる。
 撮影・収集・編集・送信プログラムと画像表示プログラムとを有する監視カメラシステムのプログラムは、これらのステップをコンピュータに実行させるものである。図を用いて、さらに具体的に説明する。
(監視カメラと録画サーバとの接続から二次映像作成まで)
 図9は、第1実施例の監視カメラシステムにおけるカメラと録画サーバとの接続から画像編集までの手順概要を示すフロー図である。先ず、録画サーバは、カメラにTCP/IP方式で、接続を要求する。カメラは1又は複数台で構成され、各カメラと録画サーバはユーザID及びパスワードで認証を行う。録画サーバの認証用データベースを参照して認証に成功すると、接続状態となる。
 次に、録画サーバからカメラに、一定時間(本実施例では10分)連続して動画を撮影し撮影したカメラ画像をH.264形式のストリーム方式で録画サーバに送信することを要求する。カメラは、画像要求を受けて動画を連続撮影して、撮影して得られた動画をストリーム方式でH.264ベースラインプロファイルのカメラ動画として録画サーバに送信する。さらに具体的には、録画サーバに入力させるときに、カメラ動画は、単独でデコーディング可能で一定時間ごとに作成されるイントラフレームと、過去のフレームを参照してイントラフレームの間に複数作成される予測インターフレームとに符号化する変換をして入力させる。
 監視カメラは、IPカメラのほか、アナログカメラでもよく、古いカメラも利用でき、コストが削減できる。
 録画サーバはストリームカメラである監視カメラからストリーム動画のカメラ動画を取得すると、一次映像フォルダにファイルとして格納する。それと同時に、取得したストリーム動画(カメラ動画)から静止画を抜き出しメモリに格納する。所定のタイミングで静止画を抜き出す。そして、メモリに展開された画像を、メモリへの展開タイミング(本実施例では1秒毎)と同じタイミングで一次画像フォルダに格納する。かかる処理をスリープ時間毎に行う。スリープする時間は、10分の1秒、1秒、3秒あるいは60秒等、予め任意で設定する。本実施例では1秒とする。監視カメラから映像の取得ができなかった場合は再度コネクションを張る。セッションが切断された場合及び一定時間(本実施例では10分)が経過したら、再度カメラ動画の要求を行う。終了信号があるまでカメラ動画の取得を行う。
 図10は、第1実施例の監視カメラシステムのデータ圧縮(最適化)フロー図である。一定時間(本実施例では、デフォルトで10分)経過すると、一次映像データについて、セッション切断等で分散した動画ファイルを、一定時間分(例えば10分)の1つの動画に結合して、一次映像データとして保存し直して、最適化によって圧縮を行う。最適化した動画は、二次映像データとして扱う。
 最適化は、一次映像データにおいて、過去と将来のフレームの両方を参照して作成される双方向予測インターフレームを作成することによりイントラフレームと予測インターフレームの数を減少させて符号化する再変換をすることによって行われ、かかる最適化をされたデータが二次映像データとなる。
 メモリに展開される画像が、Viewerへの配信に利用され、一次画像データに蓄積されるので、効率的に画像データを活用し、無駄のない仕組みも最適化等の処理を割り込ませるのに重要となる。
(端末と録画サーバとの接続、画像表示まで)
 先ず、端末は、ユーザによる録画サーバへの接続要求を受付け、接続要求が入力されると、録画サーバにTCP/IP方式で接続を要求する。モバイルの端末では、一部分を携帯電話独自のプロトコルを使用して接続することもある。端末は1又は複数台で構成され、各端末と録画サーバはユーザID及びパスワードで認証を行う。録画サーバの認証用データベースを参照し、端末の認証登録がされていない場合は、初回のみ暗号化キーを発行して登録を行い、登録時にユーザIDとパスワードを発行する。認証に成功すると、接続状態となる。
 端末は、ユーザからのカメラ一覧要求を受付け、カメラ一覧要求が入力されると、録画サーバにカメラ一覧要求を送信する。録画サーバは、カメラ一覧要求を受信すると、要求した端末が監視できるカメラについての権限情報を確認する。録画サーバは、権限のあるカメラ一覧データを端末に送信する.端末は受信したカメラ一覧データをディスプレイに表示し、ユーザからの、ライブ再生を表示させるカメラの選択を受け付ける。
 端末は、ライブ再生を表示させるカメラの選択が入力されると、録画サーバに選択されたカメラについてカメラ動画のライブ再生を録画サーバに要求する。録画サーバはライブ再生の要求を受信すると、選択されたカメラから取得してメモリ上に展開され一次画像フォルダに蓄積された最新の一次画像データを端末へ送信する。端末は送信された一次画像データをディスプレイに表示する。ユーザによってカメラの選択が解除されるまで、あるいは再生以外が選択されている間を除き、端末は、カメラでの画像取得タイミング毎に、ライブ画像の要求以降を繰り返す。
 端末は、ライブ画像を表示中、ユーザからの巻戻し要求の入力を受け付ける。端末は、巻戻し要求が入力されると、録画サーバに巻戻し画像を要求する。録画サーバは、巻戻し画像の要求を受信すると、端末に前回送信した画像より、一定時間分過去の時点の一次画像データを一次画像フォルダから抽出し、巻戻しライブ画像として端末に送信する。本実施例では、一定時間分過去の時点を1秒分過去の時点とし、ライブ再生が1秒毎に取得した画像であるので、最初に巻戻しが入力されたときは、1枚前の一次画像データが送信される。
 巻戻しが選択されている間中、すなわち、巻戻しライブ画像の表示中は、端末は、録画サーバに、一定時間毎に巻戻しライブ画像を要求する。その際の一定時間は、ライブ画像の要求間隔より短い一定時間であって、本実施例では0.2秒毎である。したがって、端末には、0.2秒毎に、1秒ずつ前のカメラ動画の一次画像データから作成された巻戻しライブ画像が表示されることになる。
 さらに、端末は、巻戻しライブ画像表示中に、ユーザからの早送り要求の入力を受け付ける。端末は、早送り要求が入力されると、録画サーバに早送りライブ画像を要求する。録画サーバは早送りライブ画像の要求を受信すると、端末に前回送信した画像より、一定時間分未来の時点の一次画像データを抽出し、早送りライブ画像として端末に送信する。本実施例では、一定時間分未来の時点を1秒分未来の時点とし、ライブ画像が1秒毎に取得した画像であるので、最初に早送り要求が入力されたときは、巻戻しライブ画像として現在表示されている一次画像データより、1枚未来の一次画像データが送信される。
 早送りが選択されている間中、すなわち、早送りライブ画像の表示中は、端末は、録画サーバに、一定時間毎に早送り画像を要求する。その際の一定時間は、ライブ画像の要求間隔より短い一定時間であって、本実施例では0.2秒毎である。したがって、端末には、0.2秒毎に、1秒ずつ前のカメラ動画の一次画像データから作成された早送りライブ画像が表示されることになる。早送りライブ画像が現時点の画像までたどり着いたら、ライブ画像表示に切り替わり、早送りは終了する。
 ライブ再生に代えて、過去のカメラ動画の再生も同様に行うことが出来る。ただし、一次画像データの代わりに、受付した過去の二次映像を二次映像フォルダから抽出し、抽出した二次映像データを端末に送信し表示させる。
 一次画像データは静止画であって端末に連続して送信できる程軽く、また、二次映像データも動画でありながらデータ量が極めて小さいため端末に送信できる程軽い。また、一次画像データも、二次映像データも、ともに、巻戻し、巻き戻してからの再生や早送りが可能で、利便性が高い。
{効果}
 本実施例は、上述した構成であるため、最適化したデータ保存を可能とし、かつ低コスト化を可能とする。
 また、本実施例によれば、トラフィック集中の回避、動画の一部欠落の防止、サーバの負荷低減、表示のスピードダウン防止、低容量化、高画質の動画の長期保存、モバイルでの高画質動画の閲覧可能化等が実現できる。また、一次画像については、端末に静止画で送信しているので、撮影中のライブ画像の再生中に、即時に、現時点の画像からの巻戻し、さらには現時点の画像への早送りができる。何らかの理由で撮影できなかった時点が生じても、本実施例では、欠損した時点の静止画を、一つ前の時点の静止画をコピーしたもので補うため、低コストでコマ落ちのない再生を可能とする。また、ライブ画像において問題が発見された時、すぐその場で、巻戻して見直すことができる。本実施例では、それと同時に、動画取得と同時のリアルタイムでは挿入することが出来ないBフレームを挿入して最適化した二次映像データを作成できるので、サーバ容量が比較的少なくても長期間保存でき、長期間経過した後でも高画質の動画を再生することができる。
 本実施例では、カメラから録画サーバ-動画も静止画も送られるが、録画サーバ主導で撮影・静止画や動画の保存・再生画像や再生映像の送出が行われるので、通信するデータ量は小さくなる。したがって、通信網へ負荷がかからず、トラフィックの混雑が生じにくい。トラフィックが常に安定するために多くのカメラを録画サーバ1台で管理することができる。本実施例によれば、動画を最適化して保存するので、データ容量が小さく、カメラやユーザが多数であっても必要容量が小さく、サーバ数が少なくて済む。
 スマートフォンなどの端末で再生する際に、再生などの操作を行ってから実行されるまでに時間がかからないため、ストレスなく再生でき、また、トラブル発見がすぐできる。複数のカメラをモニターする場合でもスマートフォンで、手軽に、かつスムーズに再生でき、場所を移動しながらの作業の傍らでチェックするということが容易にできる。本実施例では、撮影した動画から抜き出して作成した静止画を順次リアルタイムで送信するため、便利かつ簡単でありながら、データ容量が少なくて済む。
 本実施例によれば、画像を再生する端末側は、持ち運びできてリアルタイムの再生や巻戻しだけでなく日数がたった後の再生や巻き戻しなどが、高画質ででき、しかもデータ量が小さくて済む。したがって、本実施例によれば、高機能と低コスト化をともに実現できる。
 本実施例は、道路状況の監視カメラシステムなど、現在の状況把握も、日数がたった後の確認も、ともに高画質で再生でき、巻戻しや早送りができることが好ましい監視カメラシステムで利用可能である。利用可能なシーンはその他にも幅広くある。
 なお、本発明は、上記実施の形態に限定されず、その発明の趣旨を逸脱しない範囲で種々と変形実施が可能である。また、上記各実施の形態の構成要素を発明の趣旨を逸脱しない範囲で任意に組み合わせることができる。

Claims (6)

  1.  動画を撮影する監視カメラ群にネットワークを介して接続されデータを記憶装置に記憶する録画サーバを備え、
     前記録画サーバが、
     前記監視カメラ群に動画を撮影させ、撮影したカメラ動画を前記録画サーバに入力させるカメラ動画取得手段と、
     入力された前記カメラ動画を一次映像データとして前記記憶装置に蓄積する一次映像データ作成手段と、
     前記一次映像データについて、一定時間分ずつ1のファイルの一次映像データに結合する結合手段と、
     結合された前記一次映像データを再変換して二次映像データを作成する二次映像データ作成手段と、
    を有する
    ことを特徴とする監視カメラシステム。
  2.  前記録画サーバが、
     入力された前記カメラ動画を連続した静止画に変換して一次画像データとしてメモリに展開するメモリ展開手段と、
     前記一次画像データを前記記憶装置に蓄積する一次画像データ蓄積手段と、
    をさらに有する
    ことを特徴とする請求項1に記載の監視カメラシステム。
  3.  前記カメラ動画取得手段が、前記監視カメラ群に、撮影したカメラ動画を、単独でデコーディング可能で一定時間ごとに作成されるイントラフレームと、過去のフレームを参照して前記イントラフレームの間に複数作成される予測インターフレームとに符号化する変換をして、前記録画サーバに入力させるものであり、
     前記二次映像データ作成手段が、前記一次映像データにおいて、過去と将来のフレームの両方を参照して作成される双方向予測インターフレームを作成することにより前記イントラフレームと前記予測インターフレームの数を減少させて符号化する再変換をして二次映像データを作成するものである
    ことを特徴とする請求項1又は2に記載の監視カメラシステム。
  4.  前記二次映像データにおけるイントラフレームの数を、同じ時間分の前記一次映像データにおけるイントラフレームの数の25分の1以下とする
    ことを特徴とする請求項3記載の監視カメラシステム。
  5.  動画を撮影する監視カメラ群にネットワークを介して接続されデータを記憶装置に記憶する録画サーバが、前記監視カメラ群に動画を撮影させ、撮影したカメラ動画を前記録画サーバに入力させるカメラ動画取得ステップと、
     前記録画サーバが、入力された前記カメラ動画を一次映像データとして前記記憶装置に蓄積する一次映像データ作成ステップと、
     前記録画サーバが、前記一次映像データについて、一定時間分ずつ1のファイルの一次映像データに結合する結合ステップと、
     前記録画サーバが、結合された前記一次映像データを再変換して二次映像データを作成する二次映像データ作成ステップと、
    を含むことを特徴とする監視カメラデータ保存方法。
  6.  前記録画サーバが、入力された前記カメラ動画を連続した静止画に変換して一次画像データとしてメモリに展開するメモリ展開ステップと、
     前記録画サーバが、前記一次画像データを前記記憶装置に蓄積する一次画像データ蓄積ステップと、
     前記録画サーバが、前記録画サーバにネットワークを介して接続された端末から前記カメラ動画のライブ再生を受付するライブ再生受付ステップと、
     前記録画サーバが、前記端末に前記一次画像データを送信し表示させるライブ再生ステップと、
     前記録画サーバが、前記端末から前記カメラ動画の過去のカメラ動画の再生を受付する過去映像再生受付ステップと、
     前記録画サーバが、前記端末に前記二次映像データを送信し表示させる過去映像再生ステップと、
    をさらに含むことを特徴とする請求項5に記載の監視カメラデータ保存方法。
PCT/JP2017/004201 2016-04-12 2017-02-06 監視カメラシステム及び監視カメラデータ保存方法 WO2017179271A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-079470 2016-04-12
JP2016079470A JP6357188B2 (ja) 2016-04-12 2016-04-12 監視カメラシステム及び監視カメラデータ保存方法

Publications (1)

Publication Number Publication Date
WO2017179271A1 true WO2017179271A1 (ja) 2017-10-19

Family

ID=60041694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/004201 WO2017179271A1 (ja) 2016-04-12 2017-02-06 監視カメラシステム及び監視カメラデータ保存方法

Country Status (3)

Country Link
JP (1) JP6357188B2 (ja)
TW (1) TW201737689A (ja)
WO (1) WO2017179271A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866457A (zh) * 2020-07-14 2020-10-30 广州市宏视电子技术有限公司 监控图像处理方法、电子设备、存储介质及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343592A (ja) * 2003-05-19 2004-12-02 Mitsubishi Electric Corp トランスコーダ
JP2006080832A (ja) * 2004-09-09 2006-03-23 Mitsubishi Electric Corp 画像トランスコーダ
JP2006270590A (ja) * 2005-03-24 2006-10-05 Fujitsu Ltd トランスコーダおよびパケット変換装置
JP2009033629A (ja) * 2007-07-30 2009-02-12 Canon Inc 撮像装置及びその制御方法、並びにプログラム及び媒体、画像処理装置
JP2010272943A (ja) * 2009-05-19 2010-12-02 Hitachi Kokusai Electric Inc ネットワークデコーダ装置
WO2011027507A1 (ja) * 2009-09-03 2011-03-10 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
JP2012109720A (ja) * 2010-11-16 2012-06-07 Panasonic Corp 画像変換装置、画像再生装置及び画像変換方法
JP2013051534A (ja) * 2011-08-31 2013-03-14 Nexpoint Co Ltd 監視カメラシステム及び監視方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343592A (ja) * 2003-05-19 2004-12-02 Mitsubishi Electric Corp トランスコーダ
JP2006080832A (ja) * 2004-09-09 2006-03-23 Mitsubishi Electric Corp 画像トランスコーダ
JP2006270590A (ja) * 2005-03-24 2006-10-05 Fujitsu Ltd トランスコーダおよびパケット変換装置
JP2009033629A (ja) * 2007-07-30 2009-02-12 Canon Inc 撮像装置及びその制御方法、並びにプログラム及び媒体、画像処理装置
JP2010272943A (ja) * 2009-05-19 2010-12-02 Hitachi Kokusai Electric Inc ネットワークデコーダ装置
WO2011027507A1 (ja) * 2009-09-03 2011-03-10 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
JP2012109720A (ja) * 2010-11-16 2012-06-07 Panasonic Corp 画像変換装置、画像再生装置及び画像変換方法
JP2013051534A (ja) * 2011-08-31 2013-03-14 Nexpoint Co Ltd 監視カメラシステム及び監視方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866457A (zh) * 2020-07-14 2020-10-30 广州市宏视电子技术有限公司 监控图像处理方法、电子设备、存储介质及***

Also Published As

Publication number Publication date
JP6357188B2 (ja) 2018-07-11
TW201737689A (zh) 2017-10-16
JP2017191984A (ja) 2017-10-19

Similar Documents

Publication Publication Date Title
JP5854194B2 (ja) 監視カメラシステム及び監視方法
JP6238255B2 (ja) 監視カメラシステムによる監視方法及び動画分割装置
WO2014057555A1 (ja) 情報処理装置、情報処理システム、情報処理プログラム、及び動画データ送受信方法
JP2008206039A (ja) コンテンツ視聴装置
JP5322518B2 (ja) 通信方法
JP2007208458A (ja) 通信システム、通信端末および通信方法
CN114630051B (zh) 视频处理方法以及***
JP2017158154A (ja) 情報処理システム
KR20190005188A (ko) 복수의 비디오 세그먼트로부터 합성 비디오 스트림을 생성하는 방법 및 장치
JP2020072461A (ja) 送信装置、サーバ装置、送信方法およびプログラム
JP6472478B2 (ja) 映像配信装置、映像配信方法及びプログラム
WO2015037304A1 (ja) 画像監視システムおよび画像送信方法
JP6357188B2 (ja) 監視カメラシステム及び監視カメラデータ保存方法
WO2018003685A1 (ja) 画像圧縮方法、画像復元方法、画像圧縮装置、画像復元装置、画像圧縮プログラムプロダクト及び画像復元プログラムプロダクト
JP6284172B1 (ja) 画面画像転送方法、画像復元方法、画面画像転送システム、画像復元システム、画面画像転送プログラム、画像復元プログラム、画像圧縮方法、画像圧縮システム、画像圧縮プログラム
JP6363130B2 (ja) 監視カメラシステムにおける監視方法、差分画像作成方法、画像復元方法、及び差分検出装置
WO2018123078A1 (ja) 監視カメラシステム
JP5896438B2 (ja) 監視カメラシステム及び監視方法
JP2004349743A (ja) 映像ストリーム切替システム、方法、映像ストリーム切替システムを含む映像監視、映像配信システム
JP2018110404A (ja) 画面画像転送方法、画像復元方法、画面画像転送システム、画像復元システム、画面画像転送プログラム、画像復元プログラム、画像圧縮方法、画像圧縮システム、画像圧縮プログラム
KR20210130093A (ko) 서버 디바이스, 통신 시스템, 및 비일시적 컴퓨터 판독가능 기록 매체

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17782090

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17782090

Country of ref document: EP

Kind code of ref document: A1