WO2016002130A1 - 撮影方法、撮影システム、端末装置およびサーバ - Google Patents
撮影方法、撮影システム、端末装置およびサーバ Download PDFInfo
- Publication number
- WO2016002130A1 WO2016002130A1 PCT/JP2015/002680 JP2015002680W WO2016002130A1 WO 2016002130 A1 WO2016002130 A1 WO 2016002130A1 JP 2015002680 W JP2015002680 W JP 2015002680W WO 2016002130 A1 WO2016002130 A1 WO 2016002130A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- time
- clock
- terminal device
- shooting
- photographing
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
Definitions
- the present invention relates to a method for capturing an image by a camera or a terminal device having a camera function.
- the server creates a temporary shared group composed of a plurality of cameras based on the similarity or position information of the subject. Further, when constructing a virtual reality space by integrating images from a plurality of cameras, or when performing three-dimensional reconstruction (that is, generation of a three-dimensional image) of a subject, time synchronization in the plurality of cameras is performed. It needs to be taken. For example, there is a method of branching a plurality of cable releases, which are accessories for cutting camera shutters, and simultaneously shuttering a plurality of camera shutters with a single operation.
- Patent Documents 1 to 3 have a problem in that it is difficult to set the time of shooting at a desired timing with high accuracy.
- the present invention provides a photographing method and the like that can easily adjust the photographing time to a desired timing with high accuracy.
- An imaging method is an imaging method in which a first terminal apparatus performs imaging, and synchronizes a clock of the first terminal apparatus with a reference clock and indicates an imaging time based on the reference clock. Shooting time information is acquired via a communication network, and shooting is performed at the shooting time indicated by the shooting time information based on the clock of the first terminal device already synchronized with the reference clock.
- the imaging method according to one aspect of the present invention can easily adjust the time of shooting to a desired timing with high accuracy.
- FIG. 1 is a diagram illustrating an imaging system that performs imaging using the imaging method according to the first embodiment.
- FIG. 2 is a block diagram illustrating a configuration of the terminal device according to the first embodiment.
- FIG. 3 is a block diagram showing a configuration of the server in the first embodiment.
- FIG. 4A is a flowchart showing processing operations of the terminal synchronization processing unit and the server synchronization processing unit in the first exemplary embodiment.
- FIG. 4B is a flowchart illustrating a photographing method by the terminal device in the first embodiment.
- FIG. 5 is a flowchart showing processing operations of the server and the terminal device for performing the actual shooting in the first embodiment.
- FIG. 6 is a diagram illustrating an imaging system that performs imaging using the imaging method according to the second embodiment.
- FIG. 7 is a flowchart showing synchronization processing by the terminal synchronization processing unit and the server synchronization processing unit in the second embodiment.
- FIG. 8A is a diagram for explaining a QR code (registered trademark) which is an example of a time code in the second embodiment.
- FIG. 8B is a diagram showing another example of the time code in the second exemplary embodiment.
- FIG. 8C is a diagram showing another example of the time code in the second embodiment.
- FIG. 8D is a diagram illustrating another example of the time code in the second embodiment.
- FIG. 8E is a diagram illustrating another example of the time code in the second embodiment.
- FIG. 9A is a diagram showing another example of the time code in the second embodiment.
- FIG. 9B is a diagram showing another example of the time code in the second exemplary embodiment.
- FIG. 9C is a diagram showing another example of the time code in the second exemplary embodiment.
- FIG. 10 is a flowchart showing the processing operation of the terminal image processing unit according to the modification.
- FIG. 11 is a flowchart illustrating a photographing method according to one embodiment of the present invention. It is a figure which shows the structure of a video information processing system. It is a figure which shows an example of the notification screen displayed at the time of camera starting.
- 1 is an overall configuration diagram of a content supply system that realizes a content distribution service.
- 1 is an overall configuration diagram of a digital broadcasting system.
- It is a figure which shows an example of a smart phone.
- It is a block diagram which shows the structural example of a smart phone.
- a photographing method is a photographing method in which a first terminal device performs photographing, and the clock of the first terminal device is synchronized with a reference clock.
- the shooting time information indicating the shooting time based on the reference clock is acquired via the communication network, and is indicated by the shooting time information based on the clock of the first terminal device already synchronized with the reference clock. Shoot at the shooting time.
- the clock of the first terminal device is synchronized with the reference clock in advance, if the shooting time information is acquired slightly before the shooting time, the timing coincides with the shooting time based on the reference clock with high accuracy. Shooting can be performed. Therefore, it is possible to easily adjust the time of photographing to a desired timing with high accuracy.
- the second terminal device acquires the photographing time information via the communication network, and the second terminal device indicates the photographing time information based on the reference clock.
- Shooting may be performed at the shooting time.
- the reference clock is a clock provided in a server
- the second terminal device synchronizes the clock of the second terminal device with the reference clock
- the first and second terminal devices Each of the shooting time information is acquired from the server.
- the reference clock is a clock provided in the second terminal device, and each of the first and second terminal devices acquires the shooting time information from a server.
- the first terminal device uses the photographing clock managed based on the system clock of the first terminal device as the clock of the first terminal device. It may be synchronized with the reference clock.
- the photographing clock is a so-called virtual clock.
- the system clock of the first terminal device is not adjusted, and the shooting clock is adjusted and synchronized with the reference clock. Therefore, the influence of clock synchronization on processing other than shooting in the first terminal device is affected. Can be avoided. Therefore, processing other than shooting in the first terminal device performed based on the system clock can be maintained even after synchronization is performed.
- a time stamp indicating the time when the photographing is performed based on the clock of the first terminal device already synchronized with the reference clock is further added to the image obtained by the photographing. And may be sent to the server.
- the server when the server acquires an image from the first terminal device, the server can easily specify the time when the image was captured. As a result, the server can appropriately perform image processing using the time, such as generation of a three-dimensional image.
- a photographing delay time from the start of photographing to photographing is executed in the first terminal device is specified, and the photographing by the first photographing device is indicated by the photographing time information.
- the photographing may be started at a time before the photographing delay time by the photographing delay time.
- the timing at which the shooting is actually performed may be delayed from the shooting time due to various physical factors.
- the time that is delayed is specified as the shooting delay time, and shooting is started at a time before the shooting delay time. Therefore, it is possible to perform shooting at a timing that coincides with higher accuracy with the shooting time based on the reference clock without being affected by various physical factors.
- each time the time based on the reference clock is updated the first terminal device shoots a subject that displays the updated time, and starts shooting the subject.
- the difference between the time based on the clock of the first terminal device and the time displayed on the image obtained by photographing the subject may be specified as the photographing delay time.
- the first terminal device transmits a first packet to the server, whereby a second packet indicating a time based on the reference clock is transmitted from the server. So that the difference between the time indicated by the second packet and the time based on the clock of the first terminal device when the first packet is transmitted to the server is zero.
- the clock of the first terminal device may be synchronized with the reference clock by adjusting the clock of the first terminal device.
- the clock of the first terminal device can be easily and accurately synchronized with the reference clock using, for example, NTP or RTCP.
- each time the time based on the reference clock is updated the first terminal device photographs a subject that displays the updated time, and the subject Of the first terminal device so that the difference between the time based on the clock of the first terminal device and the time displayed on the image obtained by photographing the subject becomes zero.
- the clock of the first terminal device may be synchronized with the reference clock by adjusting the clock.
- the subject displays the time updated based on the reference clock as a one-dimensional code or a two-dimensional code.
- the clock of the first terminal device can be more easily and more accurately synchronized with the reference clock. .
- a numerical value of each digit for expressing the time based on the reference clock may be individually encoded, and the encoded numerical value of each digit may be displayed on the subject. For example, among the numerical values of each digit, the numerical value of the first digit is updated and encoded and displayed every time the time based on the reference clock is updated, and the numerical value of the second digit is Every time updating is performed N times (N is an integer equal to or greater than 2), it is updated and encoded and displayed.
- a numerical value of the second digit, a numerical value of the 1/10 second digit, and a numerical value of the 1/100 second digit for expressing the time based on the reference clock are individually encoded. Is displayed. For example, if the accuracy of the time based on the reference clock is 1/100 second, the numerical value of the 1/100 second digit is updated and encoded and displayed every time the time of the reference clock is updated. The value of the digit of / 10 seconds is updated and encoded and displayed every time the time of the reference clock is updated ten times.
- the frame rate of moving image shooting by the first terminal device is slow, even if the time of the reference clock displayed in the image cannot be specified with an accuracy of 1/100 second, the second or 1/10 second The time can be specified with accuracy. As a result, the influence of the frame rate of moving image shooting can be suppressed, and the clock of the first terminal device can be accurately synchronized with the reference clock.
- the one-dimensional code or the two-dimensional code may be a rectangle having a horizontal width longer than a vertical width.
- the time represented by the time code can be accurately read regardless of the horizontal angle of the one-dimensional code or the two-dimensional code displayed on the subject as the time code. That is, it is possible to suppress the occurrence of time code reading errors depending on the shooting direction.
- the first terminal device In the shooting by the first terminal device, moving image shooting is started from the shooting time indicated by the shooting time information.
- the first terminal device further performs shooting by shooting the moving image. Of the pictures obtained every one period, only the pictures obtained every second period longer than the first period may be transmitted to the server.
- the first terminal device further acquires period information indicating the second period from the server, and a picture obtained for each first period in transmission to the server. Only the pictures obtained for each of the second periods indicated by the obtained period information are selected, and the selected pictures are transmitted to the server.
- a system is a photographing system including a plurality of terminal devices and a server connected via a communication network, wherein the server includes a reference clock and each of the plurality of terminal devices.
- a server synchronization processing unit for performing processing for synchronizing a clock with a reference clock of the server, and shooting time information indicating a shooting time based on the reference clock of the server via each of the plurality of terminal devices via the communication network
- Each of the plurality of terminal devices synchronizes the clock of the terminal device with a reference clock of the server in accordance with processing by the server and the server synchronization processing unit.
- the photographing time information transmitted from the processing unit and the information transmitting unit is acquired via the communication network.
- each of the clocks of the plurality of terminal devices is synchronized with the reference clock in advance, if the terminal device acquires the shooting time information slightly before the shooting time, the shooting time based on the reference clock is set. Photographing can be performed at the same time with high accuracy. Therefore, the time taken by each of the plurality of terminal devices can be easily adjusted to a desired timing with high accuracy.
- the server includes a reference clock, a synchronization processing unit that performs processing for synchronizing each clock of a plurality of terminal devices with the reference clock, and a shooting time based on the reference clock. And an information transmission unit that transmits imaging time information to each of the plurality of terminal devices via a communication network.
- the clocks of a plurality of terminal devices can be synchronized with the reference clock, and if the shooting time information is transmitted to each terminal device slightly before the shooting time, the terminal devices are based on the reference clock. Photographing can be performed at a timing that coincides with the photographing time with high accuracy. Therefore, it is possible to easily adjust the time of photographing to a desired timing with high accuracy.
- FIG. 1 is a diagram illustrating an imaging system that performs imaging using the imaging method according to the present embodiment.
- the imaging system in the present embodiment includes a terminal device 110A, a terminal device 110B, and a server 120 that are connected via a communication network (hereinafter simply referred to as a network).
- the terminal device 110A and the terminal device 110B are first and second terminal devices each having a video or still image shooting function, and are configured as, for example, a camera, a smartphone, or a surveillance camera.
- the terminal device 110A includes a clock 111a that is an internal clock
- the terminal device 110B also includes a clock 111b that is an internal clock, similar to the terminal device 110A.
- terminal device 110A will be described in detail.
- the server 120 includes a clock 121 that is an internal clock.
- the clock 121 of the server 120 is used as a reference clock.
- the server 120 synchronizes the clock 111a of the terminal device 110A and the clock 111b of the terminal device 110B with the clock 121 of the server 120 by communicating with the terminal device 110A and the terminal device 110B. As a result, the times of the clock 111a and the clock 111b coincide with the time of the clock 121 which is the reference clock. Then, the server 120 notifies the terminal device 110A and the terminal device 110B of the photographing time via the network, thereby causing the terminal device 110A and the terminal device 110B to photograph at the photographing time.
- the photographing system it is possible to match the time of photographing of moving images or still images by a plurality of terminal devices with high accuracy.
- FIG. 2 is a block diagram showing a configuration of terminal apparatus 110A in the present embodiment.
- the terminal device 110A includes the above-described clock 111a, a terminal synchronization processing unit 112, an information acquisition unit 113, a photographing unit 114, and a terminal image processing unit 115.
- the terminal synchronization processing unit 112 transmits / receives a packet to / from the server 120 and corrects (or adjusts) the time of the clock 111a of the terminal device 110A, thereby synchronizing the clock 111a with the clock 121 of the server 120. That is, the terminal synchronization processing unit 112 matches the time of the clock 111a with the time of the clock 121.
- the information acquisition unit 113 acquires shooting time information indicating the shooting time based on the clock 121 of the server 120 from the server 120 via the network.
- the photographing unit 114 performs photographing at the photographing time indicated by the obtained photographing time information based on the clock 111a of the terminal device 110A that is already synchronized with the clock 121 of the server 120. Note that when shooting a movie, the shooting unit 114 treats the shooting time as a shooting start time, and starts shooting a movie at a predetermined frame rate from the shooting start time.
- the terminal image processing unit 115 transmits an image obtained by photographing by the photographing unit 114 to the server 120.
- the terminal image processing unit 115 sets the time based on the corrected clock 111a at which the image was taken or the image was obtained as a time stamp to the image.
- the terminal image processing unit 115 gives an identifier for identifying the terminal device (specifically, the terminal device 110A) that has taken a picture to obtain the image.
- the terminal image processing unit 115 adds a time stamp indicating the time of shooting based on the clock of the terminal device 110A already synchronized with the reference clock to the image obtained by shooting.
- the terminal image processing unit 115 transmits the image to which the time stamp and the identifier are assigned to the server 120. Accordingly, when the server 120 acquires an image from the terminal device 110A, the server 120 can easily specify the time when the image was captured. Note that the time indicated by the time stamp is the time when an image was actually taken and the image was obtained, and if the time from the start of shooting to the completion of shooting is 0 in the shooting of a still image, the above shooting time It coincides with the shooting time indicated by the information. Further, when the terminal image processing unit 115 acquires an image shared with the terminal device 110B (hereinafter referred to as a shared image) from the server 120, the terminal image processing unit 115 displays the shared image.
- a shared image an image shared with the terminal device 110B
- the terminal device 110B also synchronizes the clock 111b of the terminal device 110B with the clock 121 of the server 120, which is the reference clock, in the same manner as the terminal device 110A. And the terminal device 110B acquires the above-mentioned imaging time information via a network. The terminal device 110B performs shooting at the shooting time indicated by the shooting time information based on the reference clock, that is, based on the clock 111b of the terminal device 110B already synchronized with the reference clock.
- the clocks of the plurality of terminal devices are synchronized with the reference clock, and the plurality of terminal devices perform shooting at the shooting time indicated by the shooting time information transmitted from the server 120. Therefore, it is possible to match the shooting timings among the plurality of terminal devices with higher accuracy.
- FIG. 3 is a block diagram showing the configuration of the server 120 in the present embodiment.
- the server 120 includes the above-described clock 121, a server synchronization processing unit 122, an information transmission unit 123, and a server image processing unit 124.
- the server synchronization processing unit 122 transmits and receives packets to and from the terminal device 110A, and performs processing for synchronizing the clock 111a of the terminal device 110A with the clock 121 of the server 120.
- the server synchronization processing unit 122 performs such a process for synchronization not only on the terminal device 110A but also on the terminal device 110B.
- the clock 111a of the terminal device 110A and the clock 111b of the terminal device 110B are synchronized with the clock 121 that is the reference clock of the server 120.
- the information transmission unit 123 transmits the above photographing time information to the terminal device 110A and the terminal device 110B. Thereby, the terminal device 110A and the terminal device 110B perform photographing at the photographing time indicated by the photographing time information, that is, simultaneously.
- the server image processing unit 124 acquires images obtained by photographing from each of the terminal device 110A and the terminal device 110B. Then, the server image processing unit 124 transmits an image obtained by photographing by the terminal device 110A to the terminal device 110B as a shared image. Alternatively, the server image processing unit 124 transmits an image obtained by photographing by the terminal device 110B as a shared image to the terminal device 110A. Alternatively, the server image processing unit 124 generates, for example, a three-dimensional image by combining an image obtained by photographing with the terminal device 110A and an image obtained by photographing with the terminal device 110B. Then, the server image processing unit 124 transmits the three-dimensional image as a shared image to each of the terminal device 110A and the terminal device 110B.
- the server image processing unit 124 in the present embodiment performs position estimation of the terminal device 110A and the terminal device 110B.
- the terminal device 110A transmits to the server 120 a plurality of images required for estimating the position of the terminal device 110A.
- the plurality of images are images taken by the terminal device 110A each time the user moves the terminal device 110A in different directions.
- the server image processing unit 124 estimates the position of the terminal device 110A from the size and orientation of the subject displayed in the plurality of images transmitted from the terminal device 110A.
- the position of the terminal device 110A estimated in this way is used for generating the above-described three-dimensional image.
- the positions of the terminal device 110A and the terminal device 110B may be estimated by performing image processing such as feature amount matching using the images obtained by the photographing performed by the terminal device 110A and the terminal device 110B. .
- FIG. 4A is a flowchart showing processing operations of the terminal synchronization processing unit 112 and the server synchronization processing unit 122.
- the terminal synchronization processing unit 112 synchronizes the clock 111a of the terminal device 110A with the clock 121 of the server 120 using NTP (Network Time Protocol).
- NTP Network Time Protocol
- the terminal synchronization processing unit 112 of the terminal device 110A transmits a packet storing a time stamp indicating a time based on the clock 111a of the terminal device 110A to the server 120 (step S201).
- the time indicated by the time stamp is the time when the packet is transmitted from the terminal device 110A.
- the server synchronization processing unit 122 of the server 120 sends back a packet storing a time stamp indicating a time based on the clock 121 of the server 120 to the terminal device 110A (step S202).
- the time indicated by this time stamp is the time when the packet is transmitted from the server 120.
- the terminal synchronization processing unit 112 of the terminal device 110A calculates the difference between the time of the time stamp stored in the packet sent back from the server 120 and the time of the time stamp stored in the packet transmitted in step S201.
- the delay time is calculated (step S203). If there is no delay between the transmission in the network and the response processing for the packet in the server 120, the above delay time is the time difference between the clock 111a of the terminal device 110A and the clock 121 of the server 120. Therefore, the terminal synchronization processing unit 112 of the terminal device 110A corrects (for example, adds or subtracts) the time of the clock 111a of the terminal device 110A by the delay time (step S204).
- the terminal device 110A receives the second packet indicating the time based on the reference clock from the server 120 by transmitting the first packet to the server.
- the terminal device 110A is configured such that the difference between the time indicated by the second packet and the time based on the clock 111a of the terminal device 110A when the first packet is transmitted to the server 120 is zero.
- the clock 111a of the terminal device 110A is adjusted.
- the terminal device 110A synchronizes the clock 111a of the terminal device 110A with the clock 121 of the server 120, which is the reference clock, by this adjustment, that is, correction.
- RTCP Real-time Transport Control Protocol
- the time stamp of the terminal device can be stored in the packet as in NTP. Therefore, even when RTCP is used, the clock of the terminal device can be made to coincide with the clock of the server, similarly to NTP.
- RTCP is a mechanism used together with a real-time video transmission protocol RTP (Real-time Transport Protocol), and is a mechanism for feeding back a transmission state from a video reception side to a transmission side.
- the RTCP packet transmits a time stamp on the video receiving side to the video transmitting side together with information indicating the actual reception quality of the video.
- the time stamp (Tsr) indicating the time when the information is received and the time stamp indicating the time when the response to the information is transmitted (such as NTP described above). Tss) is sent back to the video receiving side (terminal device 110A in this embodiment).
- 110 A of terminal devices measure the time stamp (Tcr) which shows the time which received the returned packet. Then, the terminal device 110A calculates a delay time based on the above-described four time stamps, and corrects the time of the clock 111a, as in the case of NTP. Further, the time of the clock 111a may be corrected using a protocol other than NTP or RTP.
- the clock 111a of the terminal device 110A is synchronized with the clock 121 of the server 120.
- the clock 111b of the terminal device 110B is synchronized with the clock 121 of the server 120. Therefore, the clock of each terminal device connected to the server 120 via the network is synchronized with the clock 121 that is the reference clock of the server 120. That is, the time of the clock 111a of the terminal device 110A matches the time of the clock 111b of the terminal device 110B. As a result, clock synchronization between the terminal devices can be obtained. In other words, the clock times of the terminal devices are adjusted.
- Such synchronization of the clocks that is, time adjustment is performed before shooting of a still image or a moving image (so-called actual shooting) transmitted to the server 120 for sharing.
- each terminal device can be photographed at an appropriate timing, and an image obtained by the photographing can be used for generating a three-dimensional image.
- FIG. 4B is a flowchart showing a photographing method by the terminal device 110A.
- the user of the terminal device 110A participates in an event such as a photo session.
- the terminal device 110A connects to the server 120 (step S211).
- the server 120 may perform user authentication.
- the terminal apparatus 110A instructs the user to shoot the periphery for a certain period of time (step S212).
- the terminal image processing unit 115 performs the above-described instruction by displaying a message “Please photograph the periphery for a certain period of time”. This instruction is performed to cause the server 120 to estimate the position of the terminal device 110A.
- the user causes the terminal device 110A to shoot (for example, shoot a moving image) while changing the orientation of the terminal device 110A so as to look around its surroundings.
- the imaging unit 114 of the terminal device 110A performs imaging whenever the terminal device 110A is directed in different directions by the user.
- the terminal image processing unit 115 of the terminal device 110A transmits the image to the server 120 every time an image (for example, a picture or a frame) is obtained by the shooting.
- Server image processing unit 124 of server 120 estimates the position of terminal device 110A based on those images transmitted from terminal device 110A.
- the terminal device 110 ⁇ / b> A may instruct the user to include a landmark that serves as a landmark when instructing the user in step S ⁇ b> 212.
- the accuracy of position estimation by the server 120 can be improved.
- the terminal device 110A instructs the subject to include diamonds including a home base, a first base, a second base, and a third base.
- terminal device 110A instructs to shoot an electric bulletin board at a baseball field.
- the terminal device 110A instructs to photograph a characteristic object such as a goal, a penalty area, or a center circle.
- the terminal synchronization processing unit 112 of the terminal device 110 ⁇ / b> A synchronizes the clock 111 a of the terminal device 110 ⁇ / b> A with the clock 121 of the server 120 using the NTP or RTCP method while the position estimation is performed (for example, several seconds). (Step S213). That is, at this time, the terminal device 110A synchronizes its own clock 111a with the clock 121 of the server 120 according to the flowchart shown in FIG. 4A.
- the server 120 transmits a notification indicating that (calibration completion notification) to the terminal device 110A.
- the terminal device 110A receives the calibration completion notification, the terminal device 110A interrupts photographing for calibration by the photographing unit 114 (step S214). Further, the terminal device 110A notifies the user that the calibration is completed (step S215). For example, the terminal image processing unit 115 performs the above-described notification by displaying a message “Calibration is complete. Normal use is possible”.
- the calibration requires cooperation such as having the user change the orientation of the terminal device 110A. Therefore, the user can grasp that the cooperation has become unnecessary by receiving the above notification.
- the information transmission unit 123 of the server 120 transmits the shooting time information to the terminal device 110A.
- the information acquisition unit 113 of the terminal device 110A causes the shooting unit 114 to take a picture at the shooting time indicated by the shooting time information (step S216).
- the photographing performed at this time is not photographing for performing position estimation, but photographing for obtaining a desired image by the user (so-called actual photographing).
- the shooting unit 114 treats the shooting time as a shooting start time, and starts shooting a moving image at a predetermined frame rate from the shooting start time.
- the terminal device 110A causes the server 120 to perform position estimation during the waiting time because a waiting time occurs when clock synchronization is performed.
- the position of each terminal device is important. Therefore, in step S213, the user causes the terminal device 110A to take a picture so as to look around the periphery so that the position of the terminal device 110A is estimated.
- the terminal device 110A has the ability to move the photographing unit 114 (camera) such as a surveillance camera, photographing is automatically performed so as to overlook the periphery.
- the terminal device 110A is a camera, video camera, portable terminal, or the like that is carried by the user, the terminal device 110A instructs the user to take a picture of the periphery.
- FIG. 5 is a flowchart showing processing operations of the server 120 and the terminal device 110A for performing shooting (production shooting).
- FIG. 5 shows in detail the processing operation of step S216 of FIG. 4B.
- the transmission delay due to the network between the server 120 and the terminal device is often different depending on the capability of the terminal device.
- communication speed via Wi-Fi (registered trademark) and wireless communication such as 3G or LTE (Long Term Evolution) differ in response speed and communication speed.
- Wi-Fi registered trademark
- LTE Long Term Evolution
- the server 120 sets the shooting time information indicating the specific shooting start time slightly from the shooting start time, such as starting shooting from X hours, Y minutes, and Z seconds. Transmit to each terminal device at the previous time.
- X is an integer from 0 to 23
- Y and Z are integers from 0 to 59, respectively. This will be specifically described below.
- the server 120 determines the shooting start time of the terminal device 110A as the above-described shooting time (step S301).
- the shooting start time is, for example, the start time of moving image shooting, and the shooting timing of the other terminal device (for example, the terminal device 110B) that has already performed moving image shooting is synchronized with the shooting timing of the terminal device 110A. It is the time determined as follows.
- the server 120 may determine the shooting frame rate in addition to the shooting start time. Further, the server 120 may determine the shooting start time and the frame rate after exchanging information regarding the capability such as the frame rate or the image resolution with the terminal device 110A.
- the server 120 transmits shooting time information indicating the shooting start time to the terminal device 110A at a time slightly before the shooting start time (step S302).
- the time just before is a time considering the transmission delay of the network and the delay of the start of photographing.
- the terminal device 110A receives shooting time information (step S303).
- 110 A of terminal devices perform the preparation process of the imaging
- the processing of the photographing unit 114 is realized by software, the terminal device 110A causes the software to sleep for the remaining time until the photographing start time, or the software starts at the photographing start time. Register in the timer table.
- the shooting unit 114 starts shooting (step S305).
- the preparation processing of the photographing unit 114 differs depending on the terminal device. Therefore, it is effective for the terminal device 110A to perform the preparatory process in step S304 in order to match the shooting timings of a plurality of terminal devices.
- the delay time that varies depending on the situation is referred to as a variable delay time
- the delay time specific to the software or device is referred to as a specific delay time.
- the time including the variable delay time and the intrinsic delay time is referred to as the imaging delay time.
- each terminal device including the terminal device 110 ⁇ / b> A transmits information indicating its own terminal device or the model of the photographing unit to the server 120.
- the server 120 refers to a table indicating the inherent delay time of the model, and identifies the inherent delay time corresponding to the model indicated in the transmitted information. Then, for each terminal device, the server 120 notifies the terminal device of the inherent delay time specified for the terminal device.
- the variation delay time varies depending on the amount of light incident on the optical system or the resolution of the image, and also varies depending on whether the terminal device body is stationary or moved. Therefore, each terminal device acquires parameters indicating these situations or environments, and acquires a variable delay time corresponding to those parameters from the server.
- each terminal device derives the shooting delay time from the inherent delay time and the variable delay time. For example, each terminal device derives the imaging delay time by adding the intrinsic delay time and the variable delay time. Alternatively, each terminal device derives the longer one of the intrinsic delay time and the variable delay time as the imaging delay time.
- the terminal device receives the shooting time information, the terminal device starts from the sleep state (that is, starts the timer) at a time point before the derived shooting delay time from the shooting time indicated by the shooting time information. ) Take a picture.
- the terminal device 110A specifies the shooting delay time from the start of shooting at the terminal device 110A until the shooting is executed, and at a time before the shooting time indicated by the shooting time information by the shooting delay time, Start shooting.
- the shooting delay time is a time before the shooting time indicated by the shooting time information by the shooting delay time, Start shooting.
- the intrinsic delay time may be measured as follows. That is, the terminal device R whose intrinsic delay time is known and the terminal device X that is the target of measuring the intrinsic delay time are caused to perform clock synchronization by NTP or the like as described above. Furthermore, the same photographing time is designated for the terminal device R and the terminal device X, and photographing is performed in the same situation or the same environment. At this time, a watch (for example, a stopwatch) whose time is displayed with high accuracy is photographed as a subject to be photographed. The difference between the time reflected in the image obtained by the terminal device R and the time reflected in the image obtained by the terminal device X is set to the known inherent delay time of the terminal device R.
- the intrinsic delay time of the terminal device X can be derived. Note that the clock synchronization by the above-described NTP or the like may be omitted. Further, in order to reduce the error of the inherent delay time that is measured or derived, the inherent delay time may be repeatedly derived, the error value may be eliminated, or the inherent delay times that are repeatedly derived may be averaged. Further, such measurement may be performed in advance by the service provider or the terminal device manufacturer, or by the owner of the terminal device.
- the clock time of each terminal device matches the clock time of the reference server 120. Therefore, each terminal device can perform shooting at the same time without being affected by the transmission delay of the network or the shooting delay time of the terminal device.
- a GPS (Global Positioning System) clock or an atomic clock may be used as the clock 121 of the server 120, and the clock 121 may be set to a world standard clock.
- the terminal device 110A does not directly synchronize the clock 111a with the clock 121 of the server 120, and does not directly synchronize the clock 111a with any other clock synchronized with the world standard clock. Synchronization may be performed.
- the reference clock is the clock 111b provided in the terminal device 110B, and the terminal device 110A synchronizes its own clock 111a with the clock 111b of the terminal device 110B.
- the terminal device 110A may start the synchronization of the clock 111a after a predetermined time has elapsed from the start of shooting, instead of starting immediately before shooting. Thereby, it is possible to reduce the burden when the terminal device 110A starts up and to start shooting smoothly.
- the shooting time information may include the shooting end time. Accordingly, the terminal device 110A and the terminal device 110B can simultaneously finish photographing in accordance with the photographing end time. In addition, the terminal device 110A and the terminal device 110B may transmit the captured video to the server 120 in real time. Alternatively, the captured video may be temporarily stored in the local disk of the terminal device 110A and the terminal device 110B, and transmitted to the server 120 after the photographing is completed.
- the terminal device synchronizes the clock, and further, by starting shooting before the shooting delay time from the shooting time, the actual shooting times among the plurality of terminal devices are matched with high accuracy. Can be made. However, synchronization may not be achieved due to various external factors that are difficult to predict.
- the present embodiment provides a method of directly detecting whether the shooting is synchronized or, if not, how long the shooting timing is shifted.
- the time at which the shooting timing is shifted is directly determined by shooting a clock or the like and comparing the time displayed on the image obtained by shooting with the clock time of the terminal device. To detect automatically.
- this embodiment will be specifically described.
- FIG. 6 is a diagram illustrating an imaging system that performs imaging using the imaging method according to the present embodiment.
- the imaging system in the present embodiment includes a plurality of terminal devices 110C, a server 120C, and a display device 130.
- a terminal device 110C For simplicity of explanation, only one terminal device 110C is shown in FIG.
- the components having the same reference numerals as those in the first embodiment are the same as the components in the first embodiment, so Detailed description of the components will be omitted.
- the server 120C includes a clock 121 that is a reference clock, a server synchronization processing unit 122c, an information transmission unit 123, and a server image processing unit 124.
- the server synchronization processing unit 122c performs processing for synchronizing the imaging clock 111c of the terminal device 110C with the clock 121 of the server 120 by a method different from a method such as NTP.
- Such a server synchronization processing unit 122c includes a time code encoding unit 125, a time code detection decoding unit 126, and a delay time deriving unit 127.
- the time code encoding unit 125 encodes the current time TSSVR based on the clock 121 of the server 120 into a time code at predetermined intervals.
- the time code is a two-dimensional code such as a QR code (registered trademark) indicating time. Note that such a time code may be any image composed of a pattern, characters, numbers, symbols, or the like as long as it visually indicates the time.
- Each time such a time code is generated by encoding, the time code is transmitted to the display device 130 as needed, and is continuously switched and displayed.
- the display device 130 is a device that can display an arbitrary image and can change the image with time. More specifically, the display device 130 is not a general printed matter of paper, but is, for example, a liquid crystal, a cathode ray tube, a large screen LED device, a light emitting device, or a light wave signal outside the visible light region (typically near infrared rays). An image, a far infrared image, a micro radar image, or an X-ray image). Note that a clock that performs mechanical or physical operation may be used instead of the display device 130 as long as it has a function of displaying time.
- a timepiece having a function of displaying time with an accuracy of 1/10 second or 1/1000 second is used, the accuracy of synchronization can be improved.
- Such a clock is a clock having a function of displaying a time with an accuracy of 1/10 seconds if it is a digital clock, and if it is an analog clock, the time of that accuracy can be visually recognized. It is a timepiece having a function of moving the hands.
- the display device 130 displays the time TSSVR of the clock 121 of the server 120 in the form of a time code.
- the time code detection / decoding unit 126 acquires an image obtained by photographing by the terminal device 110C from the terminal device 110C. Then, the term code detection / decoding unit 126 identifies the time TSSVR indicated by the time code by decoding the time code displayed in the image.
- the delay time deriving unit 127 obtains the time TSSVR of the time code specified by the time code detection / decoding unit 126 and the time TSCAP at which shooting by the terminal device 110C was performed based on the shooting system clock 111c of the terminal device 110C. . Then, the delay time deriving unit 127 derives a difference between the time TSSVR and the time TSCAP as a delay time, and transmits delay time information indicating the delay time to the terminal device 110C.
- the terminal device 110C includes a clock 111a, a shooting system clock 111c, a terminal synchronization processing unit 112c, an information acquisition unit 113, a shooting unit 114c, and a terminal image processing unit 115.
- the shooting system clock 111c is a clock that is used exclusively for shooting.
- the imaging clock 111c is initialized so as to coincide with the system clock when the terminal device 110C is activated or when the OS (Operating System) of the terminal device 110C is restarted. That is, the photographing clock 111c is a photographing clock managed based on the system clock of the terminal device 110C.
- the time of the shooting system clock 111c may be set earlier than the system clock by the delay time.
- the photographing clock 111c is a clock (so-called virtual clock) limited to software for photographing that operates in the terminal device 110C.
- the delay time between the imaging system clock 111c and the clock 121 of the server 120C is calculated, and the time of the imaging system clock 111c is corrected by the delay time.
- the time of the photographing clock 111c is adjusted to the time obtained by calculating the delay time between the clock 111a as the system clock and the clock 121 of the server 120C and correcting the time of the clock 111a by the delay time. May be.
- the terminal device 110C as the first terminal device uses the imaging clock 111c managed based on the system clock (that is, the clock 111a) of the terminal device 110C as the reference clock (that is, the server). It is synchronized with the clock 121) of 120C.
- the imaging unit 114c captures the time code displayed on the display device 130 based on an instruction from the terminal synchronization processing unit 112c, and an image obtained by the imaging (hereinafter referred to as a time code captured image) is synchronized with the terminal.
- the data is output to the processing unit 112c.
- the imaging unit 114c performs imaging at the imaging time indicated by the acquired imaging time information based on the imaging system clock 111c already synchronized with the clock 121 of the server 120C. I do. Note that, when shooting a movie, the shooting unit 114c treats the shooting time as a shooting start time, and starts shooting a movie at a predetermined frame rate from the shooting start time.
- the terminal synchronization processing unit 112c specifies the time TSCAP at which the time code was captured by the imaging unit 114c based on the imaging system clock 111c, and transmits the time TSCAP to the server 120. Furthermore, when acquiring the delay time information from the server 120C, the terminal synchronization processing unit 112c corrects the time of the imaging system clock 111c by the delay time indicated by the delay time information. As a result, the imaging system clock 111c is synchronized with the clock 121 of the server 120C.
- the terminal image processing unit 115 transmits an image obtained by photographing by the photographing unit 114c to the server 120C.
- the terminal image processing unit 115 assigns the time based on the corrected shooting system clock 111c, which is obtained by shooting, to the image as a time stamp. To do. Further, the terminal image processing unit 115 gives an identifier for identifying the terminal device (specifically, the terminal device 110C) that has taken the image to obtain the image. Then, the terminal image processing unit 115 transmits the image to which the time stamp and the identifier are assigned to the server 120C.
- the time indicated by the time stamp is the time when an image was actually taken and the image was obtained, and if the time from the start of shooting to the completion of shooting is 0 in the shooting of a still image, the above shooting time It coincides with the shooting time indicated by the information. Further, when the terminal image processing unit 115 acquires a shared image shared with other terminal devices from the server 120C, the terminal image processing unit 115 displays the shared image.
- the terminal device 110C causes the photographing unit 114c to photograph the time code displayed on the display device 130, and obtains a time code photographed image by the photographing. If the time TSCAP when the terminal device 110C is photographed and the time TSSVR specified from the time code displayed in the time code photographed image have a relationship of time TSSVR> time TSCAP, the time TSCAP is It is later than the time TSSVR.
- the time TSCAP is a time based on the photographing system clock 111c at which photographing is performed
- the time TSSVR is a time based on the clock 121 of the server 120 at the time when photographing is performed.
- the imaging system clock 111c is behind the clock 121 of the server 120, which is the reference clock. Specifically, when the time TSCAP is 0.100 seconds and the time TSSVR is 0.400 seconds, the imaging clock 111c is delayed by 0.300 seconds from the clock 121 of the server 120.
- Such terminal apparatus 110C in the present embodiment may perform shooting according to the flowchart shown in FIG. 4B.
- the terminal device 110C executes the above-described correction of the imaging system clock 111c as a process included in the calibration in step S213 before the actual imaging.
- the terminal device 110C captures the surrounding area for a certain period of time so that in step S213, the subject includes the time code displayed on the display device 130 configured as an electric bulletin board in a baseball field. To do.
- the shooting system clock 111c may be corrected (that is, synchronized) periodically.
- each of the plurality of terminal devices 110C images the display device 130, thereby correcting the imaging system clock 111c. Therefore, based on the time code displayed on the display device 130, the imaging clocks 111c of the plurality of terminal devices 110C can be synchronized.
- the terminal device 110C captures a subject that displays the updated time. Then, the terminal device 110C has a difference of zero between the time based on the photographing clock 111c of the terminal device 110C when the subject is photographed and the time displayed on the time code photographed image obtained by photographing the subject. As described above, the photographing clock 111c of the terminal device 110C is adjusted.
- the terminal device 110C synchronizes its own photographing system clock 111c with the reference clock. Therefore, since the time based on the reference clock at which the actual shooting was performed is shown in the image, the shooting system clock 111c of the terminal device 110C can be more easily and accurately synchronized with the reference clock. .
- the imaging clock 111c is different from the clock 111a that is a system clock provided in the terminal device 110C. Since it is complicated that two clocks coexist in one terminal device, the system clock may be corrected at the same time. However, since the system clock may be used for other purposes other than shooting, it is preferable to correct only the shooting system clock 111c used independently for shooting purposes without correcting the system clock. .
- the display device 130 that is the subject displays the time updated based on the reference clock as a QR code (registered trademark), but is not limited to the QR code (registered trademark), and is a one-dimensional code. Alternatively, it may be displayed as a two-dimensional code.
- QR code registered trademark
- the QR code registered trademark
- it may be displayed as a two-dimensional code.
- FIG. 7 is a flowchart showing synchronization processing by the terminal synchronization processing unit 112c and the server synchronization processing unit 122c.
- the time code encoder 125 of the server 120 acquires the current time TSSVR based on the clock 121 (step S501), and encodes the time TSSVR into a time code (step S502).
- the display device 130 acquires and displays the time code (step S503).
- the imaging unit 114c of the terminal device 110C performs imaging so that the displayed time code is included in the subject.
- the terminal synchronization processing unit 112c acquires the time TSCAP based on the imaging system clock 111c at the time when the imaging was performed (step S504). Then, the terminal synchronization processing unit 112c transmits the time code photographed image and the time TSCAP obtained by the above photographing to the server 120.
- the time code detection / decoding unit 126 of the server 120 detects the time TSSVR from the time code photographed image. Subsequently, the delay time deriving unit 127 of the server 120 calculates a delay time based on time TSSVR ⁇ time TSCAP (step S505). Then, the delay time deriving unit 127 transmits delay time information indicating the delay time to the terminal device 110C.
- the terminal synchronization processing unit 112c of the terminal device 110C corrects the time of the photographing system clock 111c so that the delay time becomes zero based on the delay time information (step S506).
- the time of the imaging system clock 111c is corrected, but this time may not be corrected. That is, the server 120 holds the calculated delay time of the terminal device 110C, and when determining the shooting time, transmits the shooting time information indicating the time earlier than the shooting time by the delay time to the terminal device 110C. As a result, the delay time is offset, and the terminal device 110C can be photographed at the determined photographing time. In this case, the terminal device 110C may not include the imaging system clock 111c.
- step S501 there may be a delay from the process of step S501 to the process of step S503, that is, from when the time TSSVR of the clock 121 of the server 120C is acquired until the time TSSVR is displayed as a time code.
- the time code encoder 125 may encode the time obtained by adding the time required for the delay to the time TSSVR into the time code. Thereby, the time of the time code displayed on the display device 130 and the time of the clock 121 of the server 120C can be exactly matched.
- the time code in the present embodiment is specifically a QR code (registered trademark) which is an error-resistant code.
- FIG. 8A is a diagram for explaining a QR code (registered trademark).
- the QR code (registered trademark) includes three finder patterns, a timing pattern, an alignment pattern, and a coded data portion. Three finder patterns are used for code detection.
- the timing pattern is a pattern in which black and white dots are repeatedly arranged on a straight line, and thereby the dot pitch is specified.
- the alignment pattern is a pattern in which modules are arranged at regular intervals, and the deformation amount of the QR code (registered trademark) is specified by this.
- the data part is an error-correctable (redundant) code obtained by encoding the original data.
- the time code in the present embodiment is a QR code (registered trademark) having such detectability, deformation resistance, and error correction capability.
- QR code registered trademark
- the time code in the present embodiment is photographed simultaneously by a plurality of terminal devices, a case is assumed where the time code is photographed from an oblique direction or from a distance. Therefore, by using the QR code (registered trademark) as the time code in the present embodiment, it is possible to suppress occurrence of an error in time detection from the time code even in the above-described case. it can.
- 8B to 8E are diagrams showing other examples of the time code in the present embodiment.
- the time code in the present embodiment may be a code such as a horizontally long QR code (registered trademark) as shown in FIGS. 8B to 8D. That is, the time code in the present embodiment may be a rectangular code whose horizontal width is longer than the vertical width.
- the time code shown in FIG. 8B includes two finder patterns arranged in the horizontal direction, and the vertical length (the height in the vertical direction) of the time code is equal to the vertical length of the finder pattern.
- the time code shown in FIGS. 8B to 8D is a horizontally long rectangle, it has a strong error resistance against photographing from a wide angle in the horizontal direction. That is, this time code has a deformation resistance and a pitch detection function. Therefore, even when the plurality of terminal devices 110C capture the time code from each position surrounding the horizontal direction, each terminal device 110C appropriately specifies the time indicated by the time code. Can do. Further, since the time code is short in the vertical direction, the time code can be made inconspicuous.
- the time code may have only one finder pattern. That is, the time code shown in FIG. 8C has no one of the left and right of the two finder patterns included in the time code shown in FIG. 8B, and has only the other finder pattern.
- the shape of a dot (cell) is a square, but as shown in FIG. 8D, the time code in the present embodiment is composed of horizontally long rectangular dots (cells). May be. Thereby, the horizontal deformation tolerance can be further increased.
- the time code in the present embodiment is desirably displayed as inconspicuous as possible, it is not a code composed of a square grid-like black and white dot pattern, but a code composed of a hexagonal pattern as shown in FIG. 8E. It may be. Specifically, in this code, the dot coordinates are shifted in the horizontal direction by 0.5 dots for each line. Furthermore, the dot shape is not a square but a hexagon. Thus, by making the time code into a hexagonal lattice shape, it is possible to reduce a sense of incongruity when a human sees the time code as compared to a square lattice shape.
- the distance between the upper and lower or left and right dots is shorter than the distance between the diagonal dots. Therefore, erroneous recognition is likely to occur between the upper and lower or left and right dots.
- the level of a dot next to the dot may be referred to.
- the hexagonal lattice code all the distances between the dot and each of the six dots adjacent to the dot are substantially equal. Accordingly, the misrecognition rate in each direction is uniform, and there is no weak direction from the viewpoint of misrecognition.
- the minimum time unit that can be expressed by time code will be explained.
- the second is the smallest unit.
- the time indicated in the time code has an accuracy of 1 ms, and the time code is updated and displayed with a period of 1 ms.
- 9A to 9C are diagrams illustrating other examples of the time code in the present embodiment.
- the time code is a code having a shape like a horizontally long QR code (registered trademark), and represents a time with an accuracy of 1 msec.
- This time code is updated and displayed every 1 ms.
- the terminal device needs to have a special function such as a high-speed camera.
- the time may be divided and encoded for each digit for representing the time.
- “a”, “b”, “c”, and “d” are independently encoded as shown in FIG. 9B.
- a, b, c, and d are each a value from 0 to 9.
- a 1/10 second digit value is encoded
- a 1/100 second digit value is encoded
- a 1/1000 second digit value is further encoded.
- the time code shown in FIG. 9B is configured by arranging the codes obtained by these encodings in the horizontal direction. Each code is configured as a pattern of dots arranged in the horizontal direction. Each code is decoded independently.
- the sign of the second digit is updated and displayed in units of seconds
- the sign of the digit of 1/10 second is updated and displayed in units of 1/10 second
- the sign of the digit of 1/100 seconds is
- the sign of 1/1000 second digit is updated and displayed in units of 1/1000 second. Therefore, a terminal device having a special function such as a high-speed camera and good response performance can correctly decode each code from a second digit code to a 1/1000 second digit code. Furthermore, even if the terminal device having inferior response performance than the above-mentioned terminal device cannot decode the 1/1000 second digit code, for example, the 1/10 second digit code and the second digit The code can be decoded.
- a finder pattern, version information, size, error tolerance strength information, and the like corresponding to the code are added for each code.
- such information is not added for each code. May be. That is, as shown in FIG. 9C, the time code has only one piece of information such as a finder pattern, version information, size, and error tolerance strength information. For example, these pieces of information are used in common for each code. Thereby, the display area of the time code can be reduced. If an alignment pattern is arranged at regular intervals in the time code, it is possible to easily detect the deformation of the time code. Therefore, when the time code is long, a plurality of alignment patterns may be arranged in the time code.
- the time may be divided into numerical values for each digit and encoded. That is, numerical values of each digit for expressing the time based on the reference clock may be individually encoded, and the encoded numerical values of each digit may be displayed on the display device 130 that is a subject.
- the numerical value of the first digit for example, a numerical value of 1/1000 second
- the numerical value of the second digit is updated every time the time is updated N times (for example, 10 times). And displayed.
- the terminal device can detect the time with an accuracy corresponding to the response performance regardless of the level of the response performance of the terminal device.
- encoding by dividing the time into numerical values for each digit is an example, and the time may be encoded in any manner.
- the time may be encoded separately as a second value, a minute value, and a hour value.
- the elapsed time from the beginning of the day may be expressed in N-ary, and the elapsed time may be divided into numerical values for each digit and encoded.
- the time code may include identification information indicating an expression format (such as a time starting point or a time unit).
- the time code may include additional information indicating a range of digits of time to be encoded.
- the terminal image processing unit 115 when moving image shooting is performed by the shooting unit during actual shooting, sequentially transmits all frames obtained by shooting by the shooting unit to the server.
- the terminal image processing unit 115 thins out each frame obtained by shooting and transmits only a part of the frames to the server in order to reduce the data transfer amount to the server. Thereby, the data transfer amount to the server can be reduced.
- FIG. 10 is a flowchart showing the processing operation of the terminal image processing unit 115 according to this modification.
- the photographing unit (the photographing unit 114 or the photographing unit 114c) performs moving image photographing at a frame rate of 30 fps or 60 fps, for example. In this case, an image is generated as a frame with a period of 33 milliseconds or 16.5 milliseconds.
- the image generated by the photographing unit is not limited to a frame in a narrow sense, and may be any picture.
- an image generated by the photographing unit will be described as a picture.
- the terminal image processing unit 115 acquires a picture generated by shooting from the shooting unit (step S701).
- the terminal image processing unit 115 calculates an elapsed time (timeElapsed) from the shooting start time indicated by the shooting time information to the time when the above picture is acquired (step S702).
- timeElapsed an elapsed time
- the shooting time indicated by the shooting time information is treated as the shooting start time.
- the terminal image processing unit 115 calculates the picture number PN of the picture acquired in step S701 (step S703). At this time, the terminal image processing unit 115 uses a time interval (periodTrgt) acquired in advance from the server image processing unit 124 of the server (server 120 or server 120C). That is, the terminal image processing unit 115 calculates the integer part of the quotient obtained by dividing timeElapsed by periodTrgt as the picture number PN.
- periodTrgt a time interval
- the terminal image processing unit 115 determines whether the picture number PN is different from the last picture number (lastPN) (step S704). Note that the final picture number is initialized to “ ⁇ 1” before the process of step S701. If it is determined that the picture number PN is different from the final picture number (Y in step S704), the terminal image processing unit 115 transmits the picture with the picture number PN to the server (step S705). Then, the terminal image processing unit 115 updates the last picture number (lastPN) to the picture number PN (step S706).
- step S704 If it is determined in step S704 that the picture number PN is the same as the final picture number (N in step S704), or after the processing in step S706, the terminal image processing unit 115 has finished moving image shooting by the shooting unit. It is determined whether or not (step S707). If the terminal image processing unit 115 determines that the moving image shooting has ended (Y in step S707), the terminal image processing unit 115 ends the process of transmitting the picture to the server. On the other hand, when the terminal image processing unit 115 determines that the moving image shooting has not ended (N in step S707), the terminal image processing unit 115 repeatedly executes the processing from step S701.
- the terminal device starts shooting a moving image from the shooting time indicated by the shooting time information, and the first of the pictures obtained for each first period by shooting the moving image. Only pictures obtained every second period longer than the period are transmitted to the server.
- the terminal device is the first terminal device, and may be any of the terminal device 110A, the terminal device 110B, and the terminal device 110C in each of the above embodiments.
- the first cycle is the reciprocal of the frame rate of moving image shooting by the shooting unit of the terminal device
- the second cycle is the time interval (periodTrgt) described above.
- the terminal device acquires period information indicating the second period from the server. Therefore, the terminal apparatus selects only the picture obtained for each second period indicated by the acquired period information from the pictures obtained for each first period, and transmits the selected picture to the server. .
- the timing at which one picture is shot during moving image shooting by the terminal device may be missing. Therefore, even when a plurality of terminal devices start moving image shooting at the same time according to the shooting time information, the timing of shooting one picture by the plurality of terminal devices may be shifted during moving image shooting.
- the imaging method according to one or a plurality of aspects has been described based on some embodiments and modifications, the present invention is not limited to these embodiments and modifications. Unless departing from the gist of the present invention, one or a plurality of forms in which various modifications conceived by those skilled in the art have been applied to the above-described embodiments or modifications, or a combination of components in different embodiments. It may be included within the scope of the embodiment.
- the imaging method according to one embodiment of the present invention may be the imaging method shown by the flowchart shown in FIG.
- FIG. 11 is a flowchart illustrating a photographing method according to an aspect of the present invention.
- the imaging method is an imaging method in which a terminal device performs imaging, and executes each process of steps S901 to S903.
- the terminal device is any one of the terminal devices 110A to 110C described above.
- the terminal device synchronizes the clock of the terminal device with the reference clock.
- This reference clock is, for example, the clock 121 provided in the server 120.
- the reference clock may be a clock provided in another terminal device or device.
- the terminal device acquires shooting time information indicating a shooting time based on the reference clock from, for example, the server 120 via the communication network. Further, in step S903, the terminal device performs shooting at the shooting time indicated by the above-described shooting time information based on the clock of the terminal device already synchronized with the reference clock.
- the clock of the terminal device is synchronized with the reference clock in advance, if the shooting time information is acquired slightly before the shooting time, shooting is performed at a timing that coincides with the shooting time based on the reference clock with high accuracy. be able to. Therefore, it is possible to easily adjust the time of photographing to a desired timing with high accuracy.
- each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
- Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
- the software that realizes the terminal devices of the above-described embodiments and modifications is, for example, a program that causes a computer to execute each step of the flowchart shown in FIG.
- the terminal device 110A synchronizes the clock 111a with the reference clock using a technique such as NTP. However, after such synchronization is performed, the time of the second embodiment is further increased. You may shoot the code. By photographing the time code, the terminal device 110A may synchronize the clock 111a with a reference clock with high accuracy. Further, in the first embodiment, in order to measure the intrinsic delay time, each of the terminal device R and the terminal device X is photographed with a clock, but instead of this clock, the time code according to the second embodiment is photographed. You may let them.
- the terminal device communicates with the server in order to specify the shooting delay time.
- the terminal device communicates with the server. Good. That is, each time the time based on the reference clock is updated, the terminal device photographs the display device 130 that is a subject that displays the updated time. Then, the terminal device specifies a difference between the time based on the clock of the terminal device when the photographing of the subject is started and the time displayed on the image obtained by photographing the subject as the photographing delay time. Even by shooting such a time code, it is possible to appropriately specify the shooting delay time.
- the time code detection / decoding unit 126 and the delay time deriving unit 127 are provided in the server 120C, but may be provided in the terminal device 110C.
- the display device 130 may be provided in the server 120C.
- the time of the clock 111a or the photographing clock 111c that is the system clock is corrected, and a time stamp indicating the corrected time is displayed as an image (specifically, a picture or a picture or clock). Frame).
- the terminal device may add the time before correction of the clock 111a or the imaging clock 111c, which is the system clock, to the image as a time stamp, and send the image to the server.
- the server corrects the time stamp given to the image based on the delay time between the clock of the terminal device and the clock of the server. In this case, the more images transmitted to the server, the greater the processing load on the server.
- the server since the time stamps given to the images are already corrected, the server does not need to correct those time stamps, greatly reducing the processing load. can do.
- the terminal device transmits an image obtained by photographing to the server in real time.
- the terminal device may not transmit in real time.
- the terminal device may temporarily store an image obtained by shooting and transmit the stored image to the server when there is a margin in the transmission band of the network.
- the terminal device may reduce the data amount of the image obtained by shooting and transmit the image with the reduced data amount to the server in real time.
- the terminal device reduces the data amount by reducing the image, or by reducing the frame rate if the image is a moving image.
- the terminal device may further transmit a full-size image or a full-frame-rate image to the server when there is room in the network transmission band.
- the imaging method according to one or more aspects of the present invention has been described based on the above-described embodiments and modifications, the present invention is not limited to the above-described embodiments and modifications. Of course. The following cases are also included in one or more aspects of the present invention.
- Each of the above devices is specifically a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like.
- a computer program is stored in the RAM or hard disk unit.
- Each device achieves its functions by the microprocessor operating according to the computer program.
- the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
- a part or all of the components constituting each of the above devices may be configured by one system LSI (Large Scale Integration).
- the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. .
- a computer program is stored in the RAM.
- the system LSI achieves its functions by the microprocessor operating according to the computer program.
- a part or all of the constituent elements constituting each of the above devices may be constituted by an IC card or a single module that can be attached to and detached from each device.
- the IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like.
- the IC card or the module may include the super multifunctional LSI described above.
- the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
- the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
- the present invention also provides a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray ( (Registered trademark) Disc), or recorded in a semiconductor memory or the like.
- the digital signal may be recorded on these recording media.
- the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
- the present invention may be a computer system including a microprocessor and a memory, the memory storing the computer program, and the microprocessor operating according to the computer program.
- the program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like, and executed by another independent computer system. It is good.
- a surveillance system implemented in a security camera in a store or factory, an in-vehicle camera in a police, or (2) an individual Traffic information system using own camera or each on-vehicle camera or camera provided on road, (3) Environmental survey or delivery system using remote control or automatic control device such as drone, and (4) Entertainment
- the present invention can be applied to a content transmission / reception system such as a video using an installation camera in a facility or a stadium, a mobile camera such as a drone, or a personally owned camera.
- FIG. 12 is a diagram showing a configuration of the video information processing system ex100 in the present embodiment. In this embodiment, an example of preventing the generation of blind spots and an example of prohibiting photographing in a specific area will be described.
- a video information processing system ex100 shown in FIG. 12 includes a video information processing device ex101, a plurality of cameras ex102, and a video receiving device ex103. Note that the video receiving device ex103 is not necessarily included in the video information processing system ex100.
- the video information processing apparatus ex101 includes a storage unit ex111 and an analysis unit ex112.
- Each of the N cameras ex102 has a function of capturing video and a function of transmitting captured video data to the video information processing apparatus ex101.
- the camera ex102 may have a function of displaying an image being shot.
- the camera ex102 converts the captured video signal into HEVC or H.264.
- the encoded information may be encoded using an encoding method such as H.264 and transmitted to the video information processing apparatus ex101, or unencoded video data may be transmitted to the video information processing apparatus ex101.
- each camera ex102 is a fixed camera such as a surveillance camera, a moving camera mounted on an unmanned flight type radio control or a car, or a user camera possessed by the user.
- the moving camera receives the instruction signal transmitted from the video information processing apparatus ex101, and changes the position or shooting direction of the moving camera itself according to the received instruction signal.
- the time of the plurality of cameras ex102 is calibrated using the time information of the server or the reference camera, etc. before the disclosure of photographing. Further, the spatial positions of the plurality of cameras ex102 are calibrated based on how the objects in the space to be imaged are captured or relative positions from the reference camera.
- the storage unit ex111 included in the information processing apparatus ex101 stores video data transmitted from the N cameras ex102.
- the analysis unit ex112 detects a blind spot from the video data stored in the storage unit ex111, and transmits an instruction signal indicating an instruction to the mobile camera for preventing the generation of the blind spot to the mobile camera.
- the moving camera moves in accordance with the instruction signal and continues shooting.
- the analysis unit ex112 performs blind spot detection using, for example, SfM (Structure from Motion).
- SfM is a technique for restoring the three-dimensional shape of a subject from a plurality of videos taken from different positions, and is widely known as a shape restoration technique for simultaneously estimating the subject shape and the camera position.
- the analysis unit ex112 restores the three-dimensional shape in the facility or the stadium from the video data saved in the saving unit ex111 using SfM, and detects an area that cannot be restored as a blind spot.
- the analysis unit ex112 may perform SfM using these known information. Further, when the position and shooting direction of the moving camera can be acquired by a GPS and an angle sensor provided in the moving camera, the moving camera transmits information on the position and shooting direction of the moving camera to the analysis unit ex112, and the analysis unit The ex 112 may perform SfM using the transmitted position and shooting direction information.
- the method of detecting the blind spot is not limited to the method using SfM described above.
- the analysis unit ex112 may grasp the spatial distance of the object to be imaged by using information of a depth sensor such as a laser range finder.
- the analysis unit ex112 detects information such as a camera position, a shooting direction, and a zoom magnification from an image that includes a preset marker or a specific object in the space, or the size of the marker or the like. Also good.
- the analysis unit ex112 performs blind spot detection using an arbitrary method capable of detecting the imaging region of each camera.
- the analysis unit ex112 acquires information such as a mutual positional relationship for a plurality of imaging targets from video data or a proximity distance sensor, and identifies an area where a blind spot is likely to occur based on the acquired positional relationship. May be.
- the blind spot includes not only a portion where an image does not exist in a region to be photographed, but also a portion having a poor image quality compared to other portions and a portion where a predetermined image quality is not obtained.
- This detection target portion may be set as appropriate according to the configuration or purpose of the system. For example, the required image quality may be set high for a specific subject in the space where the image is taken. Conversely, for a specific area in the shooting space, the required image quality may be set low, or it may be set not to be determined as a blind spot even if no video is shot.
- the above-mentioned image quality includes various information related to the video such as the area occupied by the subject to be photographed in the video (for example, the number of pixels) or whether the subject to be photographed is in focus. Whether or not it is a blind spot may be determined based on the information or the combination thereof.
- a region that needs to be detected in order to prevent the generation of a blind spot is not limited to a region that is actually a blind spot.
- the analysis unit ex112 detects movements of a plurality of shooting targets from, for example, shot video data and the like, and based on the detected movements of the plurality of shooting targets and position information of the camera ex102, a new blind spot and It is also possible to estimate a possible region.
- the video information processing apparatus ex101 may transmit an instruction signal to the moving camera so as to capture an area that may become a blind spot, and prevent the generation of a blind spot.
- the video information processing apparatus ex101 needs to select a moving camera that transmits an instruction signal in order to capture a blind spot or an area that may become a blind spot.
- the video information processing apparatus ex101 determines which dead spots or areas that may become blind spots for each of the plurality of moving cameras. It is necessary to decide whether to shoot. For example, the video information processing apparatus ex101 selects a moving camera that is closest to the blind spot or the area that is the blind spot based on the blind spot or the area that may be the blind spot and the position of the area that each moving camera is capturing. To do. Further, the video information processing apparatus ex101 determines, for each moving camera, whether or not a blind spot is newly generated when the moving camera cannot obtain the video data currently being shot. If it is not obtained, a moving camera determined not to generate a blind spot may be selected.
- the video information processing apparatus ex101 can prevent the generation of a blind spot by detecting a blind spot and transmitting an instruction signal to the moving camera so as to prevent the blind spot.
- the instruction signal may be a signal for instructing the user of the user camera to move.
- the user camera displays an instruction image that instructs the user to change the direction of the camera based on the instruction signal.
- the user camera may display an instruction image indicating a movement route on a map as an instruction to move the user.
- the user camera may display detailed shooting instructions such as shooting direction, angle, angle of view, image quality, and movement of the shooting area in order to improve the quality of the acquired image. If control is possible on the ex101 side, the video information processing apparatus ex101 may automatically control the feature amount of the camera ex102 regarding such shooting.
- the user camera is, for example, a smartphone, a tablet terminal, a wearable terminal, or an HMD (Head Mounted Display) held by a spectator in the stadium or a guard in the facility.
- HMD Head Mounted Display
- the display terminal that displays the instruction image need not be the same as the user camera that captures the video data.
- the user camera may transmit an instruction signal or an instruction image to a display terminal associated with the user camera in advance, and the display terminal may display the instruction image.
- information on the display terminal corresponding to the user camera may be registered in advance in the video information processing apparatus ex101.
- the video information processing apparatus ex101 may display the instruction image on the display terminal by directly transmitting the instruction signal to the display terminal corresponding to the user camera.
- the analysis unit ex112 may generate a free viewpoint video (three-dimensional reconstruction data) by restoring the three-dimensional shape in the facility or the stadium from the video data stored in the storage unit ex111 using, for example, SfM. Good.
- This free viewpoint video is stored in the storage unit ex111.
- the video information processing apparatus ex101 reads video data corresponding to the visual field information (and / or viewpoint information) transmitted from the video reception apparatus ex103 from the storage unit ex111 and transmits the video data to the video reception apparatus ex103.
- the video reception device ex103 may be one of the plurality of cameras 111.
- the video information processing apparatus ex101 may detect a shooting prohibited area.
- the analysis unit ex112 analyzes the photographed image, and transmits a photographing prohibition signal to the mobile camera when the mobile camera is photographing the photographing prohibition region.
- the mobile camera stops shooting while receiving the shooting prohibition signal.
- the analysis unit ex112 matches the three-dimensional virtual space restored using SfM with the captured image, thereby determining whether the mobile camera set in advance in the space is capturing the prohibited image area. judge.
- the analysis unit ex112 determines whether the moving camera is shooting the shooting prohibited area using a marker or a characteristic object arranged in the space as a trigger.
- the photographing prohibited area is, for example, a toilet in a facility or a stadium.
- the user camera when the user camera is shooting a shooting prohibited area, the user camera displays a message on a display or the like connected wirelessly or by wire, or outputs a sound or sound from a speaker or an earphone.
- the user may be informed that the current location is a shooting prohibited location.
- the shooting prohibited area and the current shooting area are shown on the displayed map.
- the resumption of photographing is automatically performed when, for example, the photographing prohibition signal is not output.
- photographing may be resumed when the photographing prohibition signal is not output and the user performs an operation to resume photographing.
- calibration may be performed again.
- notification for confirming the current position or prompting the user to move may be performed.
- a passcode or fingerprint authentication that turns off such a function for recording may be used.
- image processing such as mosaicing may be automatically performed when a video in the photographing prohibited area is displayed or stored outside.
- the video information processing apparatus ex101 can determine that shooting is prohibited and notify the user to stop shooting, thereby setting a certain region to shooting prohibited.
- the video information processing system ex100 sets an incentive for the user who transferred the shot video.
- the video information processing apparatus ex101 delivers a video value to a user who has transferred video at a free or discounted rate, a monetary value that can be used in an online or offline store or game, a game, etc. Points that have non-monetary value such as social status in virtual space.
- the video information processing apparatus ex101 gives a particularly high point to a user who has transferred a captured video of a valuable field of view (and / or viewpoint) such as many requests.
- the video information processing apparatus ex101 may transmit additional information to the user camera based on the analysis result of the analysis unit ex112. In this case, the user camera superimposes additional information on the captured video and displays it on the screen.
- the additional information is, for example, information on players such as a player name or height when a game in a stadium is being shot, and the name or face photo of the player is associated with each player in the video. Is displayed.
- the video information processing apparatus ex101 may extract additional information by searching via the Internet based on part or all of the video data area.
- the camera ex102 receives such additional information by short-range wireless communication including Bluetooth (registered trademark) or visible light communication from lighting such as a stadium, and maps the received additional information to video data. Also good.
- the camera ex102 is a table in which this mapping is stored in a storage unit connected to the camera ex102 by wire or wirelessly, and shows a correspondence relationship between information obtained by visible light communication technology and additional information, etc. It may be performed based on a certain rule of the above, or may be performed using the most probable combination result by Internet search.
- the monitoring system for example, information of a caution person is superimposed on a user camera held by a guard in the facility, so that the monitoring system can be highly accurate.
- the analysis unit ex112 may determine which area in the facility or stadium the user camera is capturing by matching the free viewpoint image and the captured image of the user camera. Note that the imaging region determination method is not limited to this, and various imaging region determination methods or other imaging region determination methods described in the above-described embodiments may be used.
- the video information processing apparatus ex101 transmits the past video to the user camera based on the analysis result of the analysis unit ex112.
- the user camera displays the past video on the screen by superimposing the past video on the shot video or replacing the shot video with the past video.
- the highlight scene of the first half is displayed as a past video. Accordingly, the user can enjoy the highlight scene of the first half as a video in the direction in which he / she is viewing during the halftime.
- the past video is not limited to the highlight scene in the first half, but may be a highlight scene of a past game held at the stadium.
- the timing at which the video information processing apparatus ex101 delivers the past video is not limited to half time, and may be, for example, after the match or during the match. Particularly during a game, based on the analysis result of the analysis unit ex112, the video information processing apparatus ex101 may deliver a scene that is considered important and missed by the user.
- the video information processing apparatus ex101 may distribute the past video only when requested by the user, or may distribute a distribution permission message before the past video is distributed.
- the video information processing apparatus ex101 may transmit advertisement information to the user camera based on the analysis result of the analysis unit ex112.
- the user camera superimposes advertisement information on the captured video and displays it on the screen.
- the advertisement information may be distributed immediately before the past video distribution during the half time or after the match, as shown in, for example, Modification 5. Accordingly, the distributor can obtain an advertisement fee from the advertiser, and can provide a video distribution service to the user at a low cost or free of charge.
- the video information processing apparatus ex101 may distribute an advertisement distribution permission message immediately before distribution of the advertisement information, may provide a service for free only when the user views the advertisement, or views the advertisement. Service may be provided at a lower cost than when not.
- the system or the staff who knows the location of the user based on some location information or the automatic delivery system of the venue will bring the ordered drink to the seat Will deliver.
- the decision may be handed to the staff or may be made based on credit card information set in advance in the mobile terminal application or the like.
- the advertisement may include a link to an e-commerce site, and online shopping such as normal home delivery may be possible.
- the video receiving device ex103 may be one of the cameras ex102 (user camera).
- the analysis unit ex112 determines which area in the facility or stadium the user camera is shooting by matching the free viewpoint video and the video shot by the user camera. Note that the method for determining the imaging region is not limited to this.
- the user camera when the user performs a swipe operation in the direction of the arrow displayed on the screen, the user camera generates viewpoint information indicating that the viewpoint is moved in that direction.
- the video information processing apparatus ex101 reads the video data obtained by shooting the area moved by the viewpoint information from the shooting area of the user camera determined by the analysis unit ex112 from the storage unit ex111, and transmits the video data to the user camera. Start.
- the user camera displays the video distributed from the video information processing apparatus ex101 instead of the captured video.
- the users in the facility or the stadium can view the video from a favorite viewpoint with a simple operation like a screen swipe.
- a spectator watching on the third base side of a baseball field can view a video from the first base side viewpoint.
- the security guards in the facility can watch the video that should be watched as an interrupt from the viewpoint or the center that they want to confirm by a simple operation like a screen swipe while changing the viewpoint appropriately. Therefore, it is possible to increase the accuracy of the monitoring system.
- the user camera may switch and display the video of a part of the shooting area of the user camera including the obstacle from the shot video to the distribution video from the video information processing apparatus ex101.
- the entire screen may be switched from the captured video to the distributed video and displayed.
- the user camera may display an image in which the object to be viewed is seen through the obstacle by combining the captured image and the distribution image. According to this configuration, it is possible to view the video distributed from the video information processing apparatus ex101 even when the shooting target cannot be seen from the position of the user due to the influence of the obstacle, so that the influence of the obstacle can be reduced. it can.
- the distribution video is displayed as a video of an area that cannot be seen due to an obstacle
- display switching control different from the display switching control according to the input process by the user such as the screen swipe described above, may be performed.
- the display from the shot video to the distribution video is performed. Switching may be performed automatically.
- display switching from the shot video to the distribution video may be automatically performed.
- the display switching to the distribution video may be automatically performed.
- the display switching from the captured video to the distribution video and the display switching from the distribution video to the captured video may be performed in accordance with the user input processing.
- Modification 9 The speed at which the video data is transferred to the video information processing apparatus ex101 may be instructed based on the importance of the video data captured by each camera ex102.
- the analysis unit ex112 determines the importance of the video data stored in the storage unit ex111 or the camera ex102 that captured the video data.
- the determination of the importance is performed based on, for example, information such as the number of people or moving objects included in the video, the image quality of the video data, or a combination thereof.
- the determination of the importance of the video data may be based on the position of the camera ex102 where the video data is shot or the area where the video data is shot. For example, when there are a plurality of other cameras ex102 being shot near the target camera ex102, the importance of the video data shot by the target camera ex102 is reduced. In addition, even when the position of the target camera ex102 is far from the other camera ex102, when there are a plurality of other cameras ex102 shooting the same area, the importance of the video data shot by the target camera ex102 is set. make low.
- the determination of the importance of the video data may be performed based on the number of requests in the video distribution service.
- the importance determination method is not limited to the method described above or a combination thereof, and may be any method according to the configuration or purpose of the monitoring system or the video distribution system.
- the determination of the importance may not be based on the captured video data.
- the importance of the camera ex102 that transmits video data to a terminal other than the video information processing apparatus ex101 may be set high.
- the importance of the camera ex102 that transmits video data to a terminal other than the video information processing apparatus ex101 may be set low.
- the analysis unit ex112 may determine the importance of the video data using the free viewpoint video and the video shot by the camera ex102.
- the video information processing apparatus ex101 transmits a communication speed instruction signal to the camera ex102 based on the importance determination result performed by the analysis unit ex112. For example, the video information processing apparatus ex101 instructs a high communication speed to the camera ex102 that captures a video with high importance. Further, the video information processing apparatus ex101 may transmit not only the speed control but also a signal instructing a method in which important information is transmitted a plurality of times in order to reduce a disadvantage caused by the lack. Thereby, communication within the facility or the entire stadium can be performed efficiently. Communication between the camera ex102 and the video information processing apparatus ex101 may be wired communication or wireless communication. The video information processing apparatus ex101 may control only one of wired communication and wireless communication.
- the camera ex102 transmits the captured video data to the video information processing apparatus ex101 at a communication speed according to the communication speed instruction signal. Note that if the retransmission of the camera ex102 fails a predetermined number of times, the camera ex102 may stop the retransmission of the captured video data and start the transfer of the next captured video data. As a result, communication within the facility or the entire stadium can be efficiently performed, and high-speed processing in the analysis unit ex112 can be realized.
- the video data of the bit rate capable of transmitting the captured video data at the assigned communication speed may be transmitted, or the video data transfer may be stopped.
- the camera ex102 when video data is used to prevent the generation of blind spots, only a part of the shooting area included in the captured video data may be necessary to fill the blind spots. There is sex.
- the camera ex102 generates the extracted video data by extracting at least the area necessary for preventing the generation of the blind spot from the video data, and the generated extracted video data is used as the video information processing apparatus. You may transmit to ex101. According to this configuration, the occurrence of blind spots can be suppressed with a smaller communication band.
- the camera ex102 needs to transmit the position information of the camera ex102 and the shooting direction information to the video information processing apparatus ex101.
- the camera ex102 to which only a bandwidth that is not sufficient for transferring the video data may be transmitted, only the position information detected by the camera ex102 and the information on the shooting direction.
- the video information processing apparatus ex101 estimates position information and shooting direction information of the camera ex102
- the camera ex102 converts the shot video data to a resolution necessary for estimating the position information and shooting direction information.
- the converted video data may be transmitted to the video information processing apparatus ex101.
- the video information processing apparatus ex101 can acquire shooting area information from a larger number of cameras ex102, for example, when the shooting area information is used for the purpose of detecting a focused area, for example. It is valid.
- the switching of the video data transfer process according to the allocated communication band described above may be performed by the camera ex102 based on the notified communication band, or the video information processing apparatus ex101 performs the operation of each camera ex102.
- the control signal indicating the determined operation may be notified to each camera ex102.
- the processing can be appropriately shared according to the calculation amount necessary for determining the switching of the operation, the processing capability of the camera ex102, the necessary communication band, and the like.
- the analysis unit ex112 may determine the importance of the video data based on the visual field information (and / or viewpoint information) transmitted from the video reception device ex103. For example, the analysis unit ex112 sets the importance of captured video data including many areas indicated by the visual field information (and / or viewpoint information) to be high. The analysis unit ex112 may determine the importance of the video data in consideration of the number of people included in the video or the number of moving objects. Note that the importance determination method is not limited to this.
- the communication control method described in the present embodiment is not necessarily used in a system that reconstructs a three-dimensional shape from a plurality of video data.
- the communication control method described in the present embodiment is It is valid.
- the video information processing apparatus ex101 may transmit an overview video showing the entire shooting scene to the video receiving apparatus ex103.
- the video information processing apparatus ex101 when the video information processing apparatus ex101 receives the distribution request transmitted from the video receiving apparatus ex103, the video information processing apparatus ex101 reads an overview video of the entire facility or stadium from the storage unit ex111, and the external video is received by the video receiving apparatus. send to ex103.
- the overview video may have a long update interval (may be a low frame rate) or may have a low image quality.
- the viewer touches a portion to be seen in the overview video displayed on the screen of the video receiving device ex103. Accordingly, the video reception device ex103 transmits visual field information (and / or viewpoint information) corresponding to the touched portion to the video information processing device ex101.
- the video information processing apparatus ex101 reads video data corresponding to the visual field information (and / or viewpoint information) from the storage unit ex111, and transmits the video data to the video receiving apparatus ex103.
- the analysis unit ex112 generates a free viewpoint video by preferentially restoring the three-dimensional shape (three-dimensional reconstruction) on the region indicated by the visual field information (and / or viewpoint information).
- the analysis unit ex112 restores the three-dimensional shape of the entire facility or the stadium with an accuracy that shows an overview.
- the video information processing apparatus ex101 can efficiently restore the three-dimensional shape. As a result, it is possible to realize a high frame rate and high image quality of a free viewpoint video in an area desired by the viewer.
- the video information processing apparatus ex101 may store in advance, for example, three-dimensional shape restoration data of a facility or a stadium generated in advance from a design drawing or the like as a preliminary video.
- the prior image is not limited to this, and may be virtual space data obtained by mapping, for each object, the unevenness of the space obtained from the depth sensor and the picture derived from the image or the image data at the past or during calibration.
- the analysis unit ex112 when soccer is being performed in a stadium, the analysis unit ex112 performs reconstruction of a three-dimensional shape limited to only players and balls, and combines the obtained restoration data and a prior image to generate a free viewpoint video. May be generated.
- the analysis unit ex112 may preferentially restore the three-dimensional shape with respect to the player and the ball.
- the video information processing apparatus ex101 can efficiently restore the three-dimensional shape.
- the analysis unit ex112 may perform the reconstruction of the three-dimensional shape by limiting to only the person and the moving object or giving priority to them.
- the time of each device may be calibrated at the start of shooting based on the reference time of the server.
- the analysis unit ex112 uses a plurality of video data captured at a time that falls within a preset time range according to the accuracy of time setting among a plurality of captured video data captured by the plurality of cameras ex102. 3D shape restoration. For the detection of this time, for example, the time when the captured video data is stored in the storage unit ex111 is used. The time detection method is not limited to this. As a result, the video information processing apparatus ex101 can efficiently restore the three-dimensional shape, thereby realizing a high frame rate and high image quality of the free viewpoint video.
- the analysis unit ex112 may restore the three-dimensional shape using only the high-quality data or using the high-quality data preferentially among the plurality of video data stored in the storage unit ex111. .
- the analysis unit ex112 may restore the three-dimensional shape using the camera attribute information.
- the camera ex102 transmits the captured video data and camera attribute information to the video information processing apparatus ex101.
- the camera attribute information is, for example, a shooting position, a shooting angle, a shooting time, or a zoom magnification.
- the video information processing apparatus ex101 can efficiently restore the three-dimensional shape, it is possible to realize a high frame rate and high image quality of the free viewpoint video.
- the camera ex102 defines three-dimensional coordinates in the facility or in the stadium, and information about which coordinates the camera ex102 took from which angle, how much zoom, and at what time, along with the video. It transmits to the video information processing apparatus ex101 as camera attribute information. Further, when the camera ex102 is activated, the clock on the communication network in the facility or stadium is synchronized with the clock in the camera, and time information is generated.
- FIG. 13 is a diagram illustrating an example of a notification displayed on the screen of the camera ex102 when the camera ex102 is activated.
- the camera ex102 is moved from the camera ex102.
- the vector information up to the advertisement is acquired and the reference of the camera position and angle is specified.
- the camera coordinates and angle at that time are specified from the motion information of the camera ex102.
- the display is not limited to this, and a display that uses an arrow or the like to indicate coordinates, an angle, a moving speed of the imaging region, or the like during the imaging period may be used.
- the coordinates of the camera ex102 may be specified using GPS, WiFi (registered trademark), 3G, LTE (Long Term Evolution), and 5G (wireless LAN) radio waves, or a beacon (Bluetooth (registered trademark)). , Ultrasonic), or the like. Further, information on which base station in the facility or stadium the captured video data has reached may be used.
- the system may be provided as an application that operates on a mobile terminal such as a smartphone.
- An account such as various SNSs may be used to log in to the system.
- An application-dedicated account or a guest account with limited functions may be used.
- By using the account in this way it is possible to evaluate a favorite video or a favorite account.
- video data of a viewpoint similar to the viewpoint of the video data being shot or viewed the resolution of these video data Can be increased. Thereby, it is possible to restore the three-dimensional shape from these viewpoints with higher accuracy.
- the user can select a preferred image video in the application and follow the other party, so that the selected image can be viewed with priority over other users, or can be used for text chat, etc., subject to the other party's approval. You can have a connection. In this way, a new community can be generated.
- the user can edit an image or video taken by another person or create a new image or video by collaging the image of another person with his own image.
- This makes it possible to share a new video work, such as sharing a new image or video only with people in the community.
- a video work can be used for augmented reality games by inserting a CG character in this editing.
- 3D model data can be sequentially output, so that a 3D printer or the like of a facility can output a 3D object based on 3D model data in a characteristic scene such as a goal scene. .
- a 3D printer or the like of a facility can output a 3D object based on 3D model data in a characteristic scene such as a goal scene.
- an object based on the scene during the game can be sold as a souvenir such as a key holder, or distributed to participating users.
- the center identifies areas where there is a high possibility of crimes based on crime maps based on the results of analysis using past crime data, etc., or areas related to the crime occurrence probability identified in this way Holds data.
- the frequency of image transmission / reception may be increased, or the image may be changed to a moving image.
- a moving image or three-dimensional reconstruction data using SfM or the like may be used.
- the center or each terminal simultaneously corrects an image or virtual space using information from other sensors such as a depth sensor or a thermo sensor, so that the police officer can grasp the situation more accurately.
- the center can feed back the object information to a plurality of terminals by using the 3D reconstruction data. This allows individuals with each terminal to track the object.
- an in-vehicle camera that takes pictures outside the vehicle is obligatory in some countries. Even in such an in-vehicle camera, by using three-dimensional data modeled from a plurality of images, it is possible to more accurately grasp the weather in the direction of the destination, the state of the road surface, the degree of traffic congestion, and the like.
- the storage medium may be any medium that can record a program, such as a magnetic disk, an optical disk, a magneto-optical disk, an IC card, and a semiconductor memory.
- the system includes an apparatus using an image processing method.
- Other configurations in the system can be appropriately changed according to circumstances.
- FIG. 14 is a diagram showing an overall configuration of a content supply system ex200 that realizes a content distribution service.
- the communication service providing area is divided into desired sizes, and base stations ex206, ex207, ex208, ex209, and ex210, which are fixed wireless stations, are installed in each cell.
- This content supply system ex200 includes a computer ex211, a PDA (Personal Digital Assistant) ex212, a camera ex213, a smartphone ex214, a game machine ex215, and the like via the Internet ex201, the Internet service provider ex202, the communication network ex204, and the base stations ex206 to ex210. Are connected.
- a PDA Personal Digital Assistant
- each device may be directly connected to a communication network ex204 such as a telephone line, cable television, or optical communication without going through the base stations ex206 to ex210 which are fixed wireless stations.
- the devices may be directly connected to each other via short-range wireless or the like.
- the camera ex213 is a device that can shoot a moving image such as a digital video camera
- the camera ex216 is a device that can shoot a still image and a moving image such as a digital camera.
- the smartphone ex214 is a GSM (registered trademark) (Global System for Mobile Communications) method, a CDMA (Code Division Multiple Access) method, a W-CDMA (Wideband-Code Division MultipleL method, or a Multiple Acceleration method).
- GSM Global System for Mobile Communications
- CDMA Code Division Multiple Access
- W-CDMA Wideband-Code Division MultipleL method
- Multiple Acceleration method a Multiple Acceleration method
- HSPA High Speed Packet Access
- a smartphone corresponding to a communication method using a high frequency band or a PHS (Personal Handyphone System)
- PHS Personal Handyphone System
- the camera ex213 and the like are connected to the streaming server ex203 through the base station ex209 and the communication network ex204, thereby enabling live distribution and the like.
- live distribution content (for example, music live video) that the user captures using the camera ex213 is encoded and transmitted to the streaming server ex203.
- the streaming server ex203 streams the content data transmitted to the requested client.
- the client include a computer ex211, a PDA ex212, a camera ex213, a smartphone ex214, and a game machine ex215 that can decode the encoded data.
- Each device that receives the distributed data decodes the received data and reproduces it.
- the encoded processing of the captured data may be performed by the camera ex213, the streaming server ex203 that performs the data transmission processing, or may be performed in a shared manner.
- the decryption processing of the distributed data may be performed by the client, the streaming server ex203, or may be performed in common with each other.
- still images and / or moving image data captured by the camera ex216 may be transmitted to the streaming server ex203 via the computer ex211.
- the encoding process in this case may be performed by any of the camera ex216, the computer ex211, and the streaming server ex203, or may be performed in a shared manner.
- a plurality of devices connected to the system may be linked to display the same image, or the entire image is displayed on a device having a large display unit, and the smartphone ex214 or the like displays the image. A part of the area may be enlarged and displayed.
- these encoding / decoding processes are generally performed in the computer ex211 and the LSI ex500 included in each device.
- the LSI ex500 may be configured as a single chip or a plurality of chips.
- moving image encoding / decoding software is incorporated into some recording media (CD-ROM, flexible disk, hard disk, etc.) that can be read by the computer ex211 etc., and encoding / decoding processing is performed using the software. May be.
- moving image data acquired by the camera may be transmitted. The moving image data at this time is data encoded by the LSI ex500 included in the smartphone ex214.
- the streaming server ex203 may be a plurality of servers or a plurality of computers, and may process, record, and distribute data in a distributed manner.
- the client can receive and reproduce the encoded data.
- the information transmitted by the user can be received, decrypted and reproduced by the client in real time, and even a user who does not have special rights or facilities can realize personal broadcasting.
- multiplexed data obtained by multiplexing music data and the like on video data is transmitted to a communication or satellite ex302 via radio waves.
- This video data is data encoded by the moving image encoding method described in the above embodiments.
- the broadcasting satellite ex302 transmits a radio wave for broadcasting, and this radio wave is received by a home antenna ex304 capable of receiving satellite broadcasting.
- the received multiplexed data is decoded and reproduced by a device such as the television (receiver) ex400 or the set top box (STB) ex317.
- a recording medium ex315 such as DVD or BD, or a memory ex316 such as SD
- encodes a video signal in the recording medium ex315 or memory ex316 and in some cases, a music signal
- the moving picture decoding apparatus or moving picture encoding apparatus described in each of the above embodiments in the reader / recorder ex318 that writes in a multiplexed manner.
- the reproduced video signal is displayed on the monitor ex319, and the video signal can be reproduced in another device or system by the recording medium ex315 in which the multiplexed data is recorded or the memory ex316.
- a moving picture decoding apparatus may be mounted in a set-top box ex317 connected to a cable ex303 for cable television or an antenna ex304 for satellite / terrestrial broadcasting, and this may be displayed on a monitor ex319 of the television.
- the moving picture decoding apparatus may be incorporated in the television instead of the set top box.
- FIG. 16 is a diagram showing the smartphone ex214.
- FIG. 17 is a diagram illustrating a configuration example of the smartphone ex214.
- the smartphone ex214 includes an antenna ex450 for transmitting and receiving radio waves to and from the base station ex210, a camera unit ex465 that can take a video and a still image, a video captured by the camera unit ex465, a video received by the antenna ex450, and the like.
- a display unit ex458 such as a liquid crystal display for displaying the decrypted data is provided.
- the smartphone ex214 further includes an operation unit ex466 such as a touch panel, an audio output unit ex457 such as a speaker for outputting audio, an audio input unit ex456 such as a microphone for inputting audio, a captured video, a still image , A memory portion ex467 capable of storing encoded data or decoded data such as recorded audio, received video, still image, mail, or the like, or the memory ex316 illustrated in FIG. And a slot part ex464 which is an interface part with the SIMex 468 for authenticating access to various data including the network.
- an operation unit ex466 such as a touch panel
- an audio output unit ex457 such as a speaker for outputting audio
- an audio input unit ex456 such as a microphone for inputting audio
- a memory portion ex467 capable of storing encoded data or decoded data such as recorded audio, received video, still image, mail, or the like, or the memory ex316 illustrated in FIG.
- a slot part ex464 which is an interface part with the SIMex 468
- the smartphone ex214 controls the power supply circuit ex461, the operation input control unit ex462, the video signal processing unit ex455, the camera interface unit ex463, the LCD (for the main control unit ex460 that comprehensively controls the display unit ex458, the operation unit ex466, and the like.
- a Liquid Crystal Display) control unit ex459, a modulation / demodulation unit ex452, a multiplexing / demultiplexing unit ex453, an audio signal processing unit ex454, a slot unit ex464, and a memory unit ex467 are connected to each other via a bus ex470.
- the power supply circuit unit ex461 starts up the smartphone ex214 in an operable state by supplying power from the battery pack to each unit.
- the smartphone ex214 converts the audio signal collected by the audio input unit ex456 in the audio call mode into a digital audio signal by the audio signal processing unit ex454 based on the control of the main control unit ex460 having a CPU, a ROM, a RAM, and the like. This is subjected to spectrum spread processing by the modulation / demodulation unit ex452, and is subjected to digital analog conversion processing and frequency conversion processing by the transmission / reception unit ex451, and then transmitted via the antenna ex450.
- the smartphone ex214 amplifies reception data received via the antenna ex450 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, performs spectrum despreading processing in the modulation / demodulation unit ex452, and performs voice signal processing unit ex454. After being converted into an analog audio signal, the audio output unit ex457 outputs it.
- the text data of the e-mail input by the operation of the operation unit ex466 of the main unit is sent to the main control unit ex460 via the operation input control unit ex462.
- the main control unit ex460 performs spread spectrum processing on the text data in the modulation / demodulation unit ex452, performs digital analog conversion processing and frequency conversion processing in the transmission / reception unit ex451, and then transmits the text data to the base station ex210 via the antenna ex450.
- almost the reverse process is performed on the received data and output to the display unit ex458.
- the video signal processing unit ex455 compresses the video signal supplied from the camera unit ex465 by the moving image encoding method described in each of the above embodiments.
- the encoded video data is sent to the multiplexing / demultiplexing unit ex453.
- the audio signal processing unit ex454 encodes the audio signal picked up by the audio input unit ex456 while the camera unit ex465 captures video, still images, and the like, and sends the encoded audio data to the multiplexing / separating unit ex453. To do.
- the multiplexing / demultiplexing unit ex453 multiplexes the encoded video data supplied from the video signal processing unit ex455 and the encoded audio data supplied from the audio signal processing unit ex454 by a predetermined method, and is obtained as a result.
- the multiplexed data is subjected to spread spectrum processing by a modulation / demodulation unit (modulation / demodulation circuit unit) ex452, and subjected to digital analog conversion processing and frequency conversion processing by a transmission / reception unit ex451, and then transmitted through an antenna ex450.
- the multiplexing / separating unit ex453 separates the multiplexed data into a video data bit stream and an audio data bit stream, and performs video signal processing on the video data encoded via the synchronization bus ex470.
- the encoded audio data is supplied to the audio signal processing unit ex454 while being supplied to the unit ex455.
- the video signal processing unit ex455 decodes the video signal by decoding using a video decoding method corresponding to the video encoding method shown in each of the above embodiments, and the display unit ex458 via the LCD control unit ex459. From, for example, video and still images included in a moving image file linked to a home page are displayed.
- the audio signal processing unit ex454 decodes the audio signal, and the audio is output from the audio output unit ex457.
- the terminal such as the smartphone ex214 is a transmission terminal having only an encoder and a receiving terminal having only a decoder, as well as the television ex400.
- a possible implementation format is possible.
- multiplexed data in which music data or the like is multiplexed with video data is received and transmitted.
- data in which character data related to video is multiplexed in addition to audio data It may be video data itself instead of multiplexed data.
- a shooting method includes, for example, a terminal device such as a television, a digital video recorder, a drive recorder, a mobile phone, a smartphone, a digital camera, a surveillance camera, or a digital video camera having an image shooting function, and information display It can be used for equipment or photographing equipment.
- a terminal device such as a television, a digital video recorder, a drive recorder, a mobile phone, a smartphone, a digital camera, a surveillance camera, or a digital video camera having an image shooting function
- information display It can be used for equipment or photographing equipment.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Electric Clocks (AREA)
Abstract
端末装置(110A)が撮影を行う撮影方法では、端末装置(110A)のクロック(111a)を基準となるサーバ(120)のクロック(121)に同期させ、クロック(121)に基づく撮影時刻を示す撮影時刻情報をネットワークを介して取得し、そのクロック(121)に既に同期された端末装置(110A)のクロック(111a)に基づいて、上述の撮影時刻情報によって示される撮影時刻に撮影を行う。
Description
本発明は、カメラまたはカメラ機能を備える端末装置による画像の撮影方法などに関する。
旅行先またはイベント参加先などで、その場に居る人同士で画像(静止画または動画)を共有する方法がある(例えば、特許文献1参照)。この特許文献の方法では、被写体の類似度または位置情報等に基づいて、サーバが、その場限りの一時的な、複数のカメラから成る共有グループを作る。また、複数のカメラからの画像を統合して、仮想現実空間を構築する際、または、被写体の3次元再構成(つまり三次元画像の生成)を行う際には、複数のカメラにおける時刻の同期がとれている必要がある。例えば、カメラのシャッターを切るアクセサリであるケーブルレリーズを複数に分岐させ、一度の操作で複数のカメラのシャッターを同時に切る方法がある。あるいは、カメラを制御する電気的な信号線を分配して、同時に複数のカメラのシャッターを切る方法がある。あるいは、フラッシュ照明、または、動画像内に映し出される扉の開閉動作などの特定の視覚イベントに基づいて、カメラ間の撮影タイミングのずれを補正する方法がある(例えば、特許文献2参照)。あるいは、周期的に点滅を行う照明装置からの光に撮影のタイミングを同期させる方法がある(例えば、特許文献3参照)。
しかしながら、上記特許文献1~3の方法では、撮影される時刻を高い精度で所望のタイミングに合わせることが難しいという問題がある。
そこで、本発明は、撮影される時刻を高い精度で所望のタイミングに容易に合わせることができる撮影方法などを提供する。
本発明の一態様である撮影方法は、第1の端末装置が撮影を行う撮影方法であって、前記第1の端末装置のクロックを基準クロックに同期させ、前記基準クロックに基づく撮影時刻を示す撮影時刻情報を、通信ネットワークを介して取得し、前記基準クロックに既に同期された前記第1の端末装置のクロックに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行う。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の一態様である撮影方法は、撮影される時刻を高い精度で所望のタイミングに容易に合わせることができる。
(発明するに至った知見)
ケーブルレリーズまたは制御信号を分配することによって複数の端末装置(例えば複数のカメラなど)に同時に撮影させる方法では、高い精度で同時に撮影させることができるが、事前に機材の準備が必要である。したがって、この撮影方法は、旅行先またはイベントの参加先でのその場限りの撮影の用途には適さない。動画像に映し出されている視覚イベントを用いる例では、イベントを行う物体の動きが極めて遅ければ、類似するフレームが多数発生するため、端末装置間の時刻合わせの精度は低下する。つまり、複数の端末装置のそれぞれの撮影によって得られるフレームから、最も似ているフレームを探索することが難しい。周期的に点滅を行う照明装置からの光に撮影のタイミングを同期させる方法では、そのタイミングを合わせることは可能であっても、どの時刻で撮影されたのかはわからない。したがって、撮影によって得られた各画像がネットワークで伝送される際に遅延が発生すると、各画像の撮影時刻のずれが発生する。また、フラッシュ照明は目障りでもあるので、人の多い大規模空間では使いにくいという課題もある。
ケーブルレリーズまたは制御信号を分配することによって複数の端末装置(例えば複数のカメラなど)に同時に撮影させる方法では、高い精度で同時に撮影させることができるが、事前に機材の準備が必要である。したがって、この撮影方法は、旅行先またはイベントの参加先でのその場限りの撮影の用途には適さない。動画像に映し出されている視覚イベントを用いる例では、イベントを行う物体の動きが極めて遅ければ、類似するフレームが多数発生するため、端末装置間の時刻合わせの精度は低下する。つまり、複数の端末装置のそれぞれの撮影によって得られるフレームから、最も似ているフレームを探索することが難しい。周期的に点滅を行う照明装置からの光に撮影のタイミングを同期させる方法では、そのタイミングを合わせることは可能であっても、どの時刻で撮影されたのかはわからない。したがって、撮影によって得られた各画像がネットワークで伝送される際に遅延が発生すると、各画像の撮影時刻のずれが発生する。また、フラッシュ照明は目障りでもあるので、人の多い大規模空間では使いにくいという課題もある。
このような問題を解決するために、本発明の一態様に係る撮影方法は、第1の端末装置が撮影を行う撮影方法であって、前記第1の端末装置のクロックを基準クロックに同期させ、前記基準クロックに基づく撮影時刻を示す撮影時刻情報を、通信ネットワークを介して取得し、前記基準クロックに既に同期された前記第1の端末装置のクロックに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行う。
これにより、第1の端末装置のクロックが基準クロックに予め同期されているため、撮影時刻情報を撮影時刻よりも少し前に取得すれば、基準クロックに基づく撮影時刻に高い精度で一致するタイミングに撮影を行うことができる。したがって、撮影される時刻を高い精度で所望のタイミングに容易に合わせることができる。
また、前記撮影方法は、さらに、第2の端末装置が前記通信ネットワークを介して前記撮影時刻情報を取得し、前記第2の端末装置が、前記基準クロックに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行ってもよい。例えば、前記基準クロックはサーバに備えられているクロックであり、前記第2の端末装置は、当該第2の端末装置のクロックを前記基準クロックに同期させ、前記第1および第2の端末装置はそれぞれ前記撮影時刻情報を前記サーバから取得する。または、前記基準クロックは前記第2の端末装置に備えられているクロックであり、前記第1および第2の端末装置はそれぞれ前記撮影時刻情報をサーバから取得する。
これにより、複数の端末装置間における撮影タイミングをより高い精度で一致させることができる。
また、前記第1の端末装置のクロックの同期では、前記第1の端末装置は、当該第1の端末装置のシステムクロックに基づいて管理される撮影用クロックを、当該第1の端末装置のクロックとして前記基準クロックに同期させてもよい。なお、撮影用クロックはいわゆる仮想クロックである。
これにより、第1の端末装置のシステムクロックは調整されずに、撮影用クロックが調整されて基準クロックに同期されるため、第1の端末装置における撮影以外の処理に対する、クロックの同期による影響を避けることができる。したがって、システムクロックに基づいて行われる第1の端末装置における撮影以外の処理を、同期が行われた後にも維持することができる。
また、前記撮影方法では、さらに、前記基準クロックに既に同期された当該第1の端末装置のクロックに基づく、前記撮影が行われた時刻を示すタイムスタンプを、前記撮影によって得られた画像に付加してサーバに送信してもよい。
これにより、サーバは、第1の端末装置から画像を取得すると、その画像が撮影された時刻を容易に特定することができる。その結果、サーバは、例えば三次元画像の生成などの、その時刻を用いた画像の処理を適切に行うことができる。
また、前記撮影方法では、さらに、前記第1の端末装置における、撮影開始から撮影が実行されるまでの撮影遅延時間を特定し、前記第1の撮影装置による撮影では、前記撮影時刻情報によって示される撮影時刻よりも前記撮影遅延時間だけ前の時刻に、前記撮影を開始してもよい。
例えば、撮影時刻情報に示される撮影時刻に撮影を開始しても、実際に撮影が行われるタイミングが、様々な物理的な要因によって、その撮影時刻から遅れる場合がある。しかし、本発明の一態様では、その遅れる時間が撮影遅延時間として特定され、その撮影遅延時間だけ前の時刻に撮影が開始される。したがって、様々な物理的な要因に影響を受けることなく、基準クロックに基づく撮影時刻により高い精度で一致するタイミングに撮影を行うことができる。
また、前記撮影遅延時間の特定では、前記第1の端末装置が、前記基準クロックに基づく時刻が更新されるごとに、更新された当該時刻を表示する被写体を撮影し、前記被写体の撮影が開始された、前記第1の端末装置のクロックに基づく時刻と、前記被写体の撮影によって得られた画像に映し出されている時刻との差分を、前記撮影遅延時間として特定してもよい。
これにより、実際に撮影が行われた時刻が、画像に映し出されているため、正確な撮影遅延時間を特定することができる。
また、前記第1の端末装置のクロックの同期では、前記第1の端末装置は、第1のパケットをサーバに送信することによって、前記サーバから、前記基準クロックに基づく時刻を示す第2のパケットを受信し、前記第2のパケットによって示される時刻と、前記第1のパケットが前記サーバに送信されたときの、前記第1の端末装置のクロックに基づく時刻との差分が、ゼロになるように、前記第1の端末装置のクロックを調整することによって、前記第1の端末装置のクロックを前記基準クロックに同期させてもよい。
これにより、例えばNTPまたはRTCPなどを用いて、第1の端末装置のクロックを基準クロックに、簡単に且つ正確に同期させることができる。
また、前記第1の端末装置のクロックの同期では、前記第1の端末装置が、前記基準クロックに基づく時刻が更新されるごとに、更新された当該時刻を表示する被写体を撮影し、前記被写体が撮影された、前記第1の端末装置のクロックに基づく時刻と、前記被写体の撮影によって得られた画像に映し出されている時刻との差分がゼロになるように、前記第1の端末装置のクロックを調整することによって、前記第1の端末装置のクロックを前記基準クロックに同期させてもよい。例えば、前記被写体は、前記基準クロックに基づいて更新された時刻を、一次元コードまたは二次元コードとして表示する。
これにより、実際に撮影が行われた、基準クロックに基づく時刻が、画像に映し出されているため、第1の端末装置のクロックを基準クロックに、より簡単に且つより正確に同期させることができる。
また、前記撮影方法では、さらに、前記基準クロックに基づく時刻を表現するための各桁の数値を個別に符号化し、符号化された各桁の数値を前記被写体に表示させてもよい。例えば、前記各桁の数値のうち、第1の桁の数値は、前記基準クロックに基づく時刻の更新ごとに、更新されて、符号化および表示され、第2の桁の数値は、前記時刻の更新がN回(Nは2以上の整数)行われるごとに、更新されて、符号化および表示される。
これにより、例えば、基準クロックに基づく時刻を表現するための、秒の桁の数値と、1/10秒の桁の数値と、1/100秒の桁の数値とがそれぞれ個別に符号化されて表示される。また、例えば、基準クロックに基づく時刻の精度が1/100秒であれば、1/100秒の桁の数値は、基準クロックの時刻の更新ごとに、更新されて、符号化および表示され、1/10秒の桁の数値は、基準クロックの時刻の更新が10回行われるごとに、更新されて、符号化および表示される。したがって、第1の端末装置による動画撮影のフレームレートが遅いために、1/100秒の精度で、画像に映し出される基準クロックの時刻を特定することができなくても、秒または1/10秒の精度で、その時刻を特定することができる。その結果、動画撮影のフレームレートによる影響を抑えて、第1の端末装置のクロックを基準クロックに正確に同期させることができる。
また、前記一次元コードまたは二次元コードは、水平方向の幅が垂直方向の幅よりも長い長方形であってもよい。
これにより、被写体にタイムコードとして映し出される1次元コードまたは二次元コードを、水平方向のどの角度から撮影しても、そのタイムコードによって表現される時刻を正確に読み取ることができる。つまり、撮影方向によるタイムコードの読み取りエラーの発生を抑えることができる。
また、前記第1の端末装置による撮影では、前記撮影時刻情報によって示される撮影時刻から動画の撮影を開始し、前記撮影方法では、さらに、前記第1の端末装置が、前記動画の撮影によって第1の周期ごとに得られるピクチャのうち、前記第1の周期よりも長い第2の周期ごとに得られるピクチャのみをサーバに送信してもよい。例えば、前記撮影方法では、さらに、前記第1の端末装置が、前記第2の周期を示す周期情報を前記サーバから取得し、前記サーバへの送信では、前記第1の周期ごとに得られるピクチャの中から、取得された前記周期情報によって示される前記第2の周期ごとに得られるピクチャのみを選択し、選択されたピクチャを前記サーバに送信する。
これにより、サーバに送信される動画像のフレームレートを適切に落とすことができ、サーバによる処理負担を軽減することができる。
また、本発明の一態様に係るシステムは、通信ネットワークを介して接続される複数の端末装置およびサーバからなる撮影システムであって、前記サーバは、基準クロックと、前記複数の端末装置のそれぞれのクロックを、前記サーバの基準クロックに同期させるための処理を行うサーバ同期処理部と、前記サーバの基準クロックに基づく撮影時刻を示す撮影時刻情報を前記複数の端末装置のそれぞれに前記通信ネットワークを介して送信する情報送信部とを備え、前記複数の端末装置のそれぞれは、クロックと、前記サーバ同期処理部による処理に応じて、当該端末装置のクロックを、前記サーバの基準クロックに同期させる端末同期処理部と、前記情報送信部から送信される前記撮影時刻情報を、前記通信ネットワークを介して取得する情報取得部と、前記サーバの基準クロックに既に同期された当該端末装置のクロックに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行う撮影部とを備える。
これにより、複数の端末装置のクロックのそれぞれが基準クロックに予め同期されているため、それらの端末装置は、撮影時刻情報を撮影時刻よりも少し前に取得すれば、基準クロックに基づく撮影時刻に高い精度で一致するタイミングに、同時に撮影を行うことができる。したがって、複数の端末装置のそれぞれで撮影される時刻を高い精度で所望のタイミングに容易に合わせることができる。
また、本発明の一態様に係るサーバは、基準クロックと、複数の端末装置のそれぞれのクロックを、前記基準クロックに同期させるための処理を行う同期処理部と、前記基準クロックに基づく撮影時刻を示す撮影時刻情報を前記複数の端末装置のそれぞれに通信ネットワークを介して送信する情報送信部とを備える。
これにより、複数の端末装置のクロックを基準クロックに同期させることができ、撮影時刻情報を撮影時刻よりも少し前に各端末装置に送信すれば、それらの端末装置に対して、基準クロックに基づく撮影時刻に高い精度で一致するタイミングに撮影を行わせることができる。したがって、撮影される時刻を高い精度で所望のタイミングに容易に合わせることができる。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
実施の形態1における撮影方法について説明する。
実施の形態1における撮影方法について説明する。
図1は、本実施の形態における撮影方法によって撮影を行う撮影システムを示す図である。
本実施の形態における撮影システムは、それぞれ通信ネットワーク(以下、単にネットワークという)を介して接続される端末装置110A、端末装置110Bおよびサーバ120を備える。端末装置110Aおよび端末装置110Bは、それぞれ動画または静止画の撮影機能を有する第1および第2の端末装置であって、それぞれ例えばカメラ、スマートフォン、または監視カメラとして構成されている。端末装置110Aは、内部時計であるクロック111aを備え、端末装置110Bも、端末装置110Aと同様に、内部時計であるクロック111bを備える。なお、本実施の形態では、端末装置110Aおよび端末装置110Bは、それぞれ同一の構成を有するため、端末装置110Aについて詳細に説明する。サーバ120は、内部時計であるクロック121を備える。このサーバ120のクロック121は基準クロックとして用いられる。これらのクロック111a,111b,121はそれぞれ個別に、時刻を周期的に更新する。
サーバ120は、端末装置110Aおよび端末装置110Bと通信することにより、端末装置110Aのクロック111aおよび端末装置110Bのクロック111bのそれぞれをサーバ120のクロック121に同期させる。これにより、クロック111aおよびクロック111bの時刻は、基準クロックであるクロック121の時刻に一致する。そして、サーバ120は、ネットワークを介して、端末装置110Aおよび端末装置110Bのそれぞれに撮影時刻を通知することによって、その撮影時刻に、端末装置110Aおよび端末装置110Bのそれぞれに撮影をさせる。
これにより、本実施の形態における撮影システムでは、複数の端末装置による動画または静止画の撮影の時刻を高精度に一致させることができる。
図2は、本実施の形態における端末装置110Aの構成を示すブロック図である。
端末装置110Aは、上述のクロック111aと、端末同期処理部112と、情報取得部113と、撮影部114と、端末画像処理部115とを備える。
端末同期処理部112は、サーバ120とパケットの送受信を行って、端末装置110Aのクロック111aの時刻を補正(または調整)することによって、そのクロック111aをサーバ120のクロック121に同期させる。つまり、端末同期処理部112は、クロック111aの時刻をクロック121の時刻に合わせる。
情報取得部113は、サーバ120のクロック121に基づく撮影時刻を示す撮影時刻情報を、そのサーバ120からネットワークを介して取得する。
撮影部114は、サーバ120のクロック121に既に同期された端末装置110Aのクロック111aに基づいて、取得された撮影時刻情報に示される撮影時刻に撮影を行う。なお、撮影部114は、動画撮影を行う場合には、その撮影時刻を撮影開始時刻として扱い、その撮影開始時刻から所定のフレームレートでの動画撮影を開始する。
端末画像処理部115は、撮影部114による撮影によって得られた画像をサーバ120に送信する。また、画像をサーバ120に送信する際には、端末画像処理部115は、撮影が行われた、またはその画像が得られた、補正後のクロック111aに基づく時刻を、タイムスタンプとしてその画像に付与する。さらに、端末画像処理部115は、その画像を得るために撮影を行った端末装置(具体的には端末装置110A)を識別するための識別子をその画像に付与する。言い換えれば、端末画像処理部115は、基準クロックに既に同期された端末装置110Aのクロックに基づく、撮影が行われた時刻を示すタイムスタンプを、撮影によって得られた画像に付加する。そして、端末画像処理部115は、タイムスタンプおよび識別子が付与された画像をサーバ120に送信する。これにより、サーバ120は、端末装置110Aから画像を取得すると、その画像が撮影された時刻を容易に特定することができる。なお、タイムスタンプによって示される時刻は、実際に撮影が行われて画像が得られた時刻であって、静止画の撮影において撮影開始から撮影完了までの時間が0であれば、上述の撮影時刻情報によって示される撮影時刻と一致する。また、端末画像処理部115は、端末装置110Bと共有される画像(以下、共有画像という)をサーバ120から取得すると、その共有画像を表示する。
なお、端末装置110Bも、端末装置110Aと同様に、端末装置110Bのクロック111bを基準クロックであるサーバ120のクロック121に同期させる。そして、端末装置110Bは、ネットワークを介して上述の撮影時刻情報を取得する。端末装置110Bは、基準クロックに基づいて、つまり、基準クロックに既に同期された端末装置110Bのクロック111bに基づいて、撮影時刻情報によって示される撮影時刻に撮影を行う。
このように本実施の形態では、複数の端末装置のクロックが基準クロックに同期され、サーバ120から送信される撮影時刻情報に示される撮影時刻に、複数の端末装置が撮影を行う。したがって、複数の端末装置間における撮影タイミングをより高い精度で一致させることができる。
図3は、本実施の形態におけるサーバ120の構成を示すブロック図である。
サーバ120は、上述のクロック121と、サーバ同期処理部122と、情報送信部123と、サーバ画像処理部124とを備える。
サーバ同期処理部122は、端末装置110Aとパケットの送受信を行い、端末装置110Aのクロック111aがサーバ120のクロック121と同期するための処理を行う。サーバ同期処理部122は、このような同期のための処理を端末装置110Aだけでなく、端末装置110Bに対しても同様に行う。これにより、端末装置110Aのクロック111aと端末装置110Bのクロック111bとが、サーバ120の基準クロックであるクロック121と同期する。
情報送信部123は、上述の撮影時刻情報を端末装置110Aおよび端末装置110Bに送信する。これにより、端末装置110Aと端末装置110Bは、撮影時刻情報によって示される撮影時刻に、つまり同時に、撮影を行う。
サーバ画像処理部124は、端末装置110Aおよび端末装置110Bのそれぞれから、撮影によって得られた画像を取得する。そして、サーバ画像処理部124は、端末装置110Aによる撮影によって得られた画像を共有画像として端末装置110Bに送信する。または、サーバ画像処理部124は、端末装置110Bによる撮影によって得られた画像を共有画像として端末装置110Aに送信する。あるいは、サーバ画像処理部124は、端末装置110Aによる撮影によって得られた画像と、端末装置110Bによる撮影によって得られた画像とを合成することによって例えば三次元画像を生成する。そして、サーバ画像処理部124は、その三次元画像を共有画像として端末装置110Aおよび端末装置110Bのそれぞれに送信する。
また、本実施の形態におけるサーバ画像処理部124は、端末装置110Aおよび端末装置110Bの位置推定を行う。具体的には、端末装置110Aは、端末装置110Aの位置推定を行うために必要とされる複数の画像をサーバ120に送信する。この複数の画像は、ユーザによって端末装置110Aがそれぞれ異なる方向に向けられるたびに、端末装置110Aによって撮影された画像である。サーバ画像処理部124は、端末装置110Aから送信された上述の複数の画像に映し出されている被写体の大きさおよび向きなどから、端末装置110Aの位置を推定する。このように推定された端末装置110Aの位置は、上述の三次元画像の生成に利用される。なお、端末装置110Aおよび端末装置110Bによる撮影によって得られた画像を用いて特徴量マッチング等の画像処理を行うことにより、端末装置110Aおよび端末装置110Bそれぞれの位置を推定するようにしても構わない。
図4Aは、端末同期処理部112およびサーバ同期処理部122の処理動作を示すフローチャートである。端末同期処理部112は、NTP(Network Time Protocol)を用いて、端末装置110Aのクロック111aをサーバ120のクロック121に同期させる。
具体的には、端末装置110Aの端末同期処理部112は、端末装置110Aのクロック111aに基づく時刻を示すタイムスタンプを格納するパケットを、サーバ120に送信する(ステップS201)。なお、このタイムスタンプによって示される時刻は、そのパケットが端末装置110Aから送信される時刻である。
次に、サーバ120のサーバ同期処理部122は、端末装置110Aから上述のパケットを受信すると、サーバ120のクロック121に基づく時刻を示すタイムスタンプを格納したパケットを端末装置110Aへ送り返す(ステップS202)。なお、このタイムスタンプによって示される時刻は、そのパケットがサーバ120から送信される時刻である。
端末装置110Aの端末同期処理部112は、サーバ120から送り返されたパケットに格納されているタイムスタンプの時刻と、ステップS201で送信されたパケットに格納されているタイムスタンプの時刻との差分を、遅延時間として算出する(ステップS203)。ネットワークにおける伝送と、サーバ120におけるパケットに対する応答処理とにそれぞれ遅延が発生していなければ、上述の遅延時間は、端末装置110Aのクロック111aとサーバ120のクロック121との時差である。したがって、端末装置110Aの端末同期処理部112は、その遅延時間だけ、端末装置110Aのクロック111aの時刻を補正(例えば、加算または減算)する(ステップS204)。つまり、端末装置110Aは、第1のパケットをサーバに送信することによって、サーバ120から、基準クロックに基づく時刻を示す第2のパケットを受信する。端末装置110Aは、その第2のパケットによって示される時刻と、第1のパケットがサーバ120に送信されたときの、端末装置110Aのクロック111aに基づく時刻との差分が、ゼロになるように、端末装置110Aのクロック111aを調整する。端末装置110Aは、この調整、つまり補正によって、端末装置110Aのクロック111aを、基準クロックであるサーバ120のクロック121に同期させる。
実際には、ネットワークにおける伝送とサーバの応答処理とにはそれぞれ遅延が発生している。したがって、端末同期処理部112は、これらの遅延を考慮して遅延時間を算出してもよい。例えば、端末同期処理部112は、端末装置110Aがサーバ120にパケットを送信する時刻(Tcs)と、サーバ120が端末装置110Aからパケットを受信する時刻(Tsr)と、サーバ120が端末装置110Aにパケットを送り返す時刻(Tss)と、端末装置110Aがパケットをサーバ120から受信した時刻(Tcr)とを計測する。なお、サーバ120から送り返されるパケットには、時刻Tsrを示すタイムスタンプおよび時刻Tssを示すタイムスタンプが含まれている。次に、端末同期処理部112は、遅延時間=(Tss+Tsr)/2-(Tcs+Tcr)/2によって、遅延時間を算出する(ステップS203)。
なお、本実施の形態では、NTPを用いるが、RTCP(Real-time Transport Control Protocol)を用いてもよい。RTCPでも、NTPと同様に、端末装置のタイムスタンプをパケットに格納することができる。したがって、RTCPを用いる場合でも、NTPと同様に、端末装置のクロックをサーバのクロックに一致させることができる。RTCPは、リアルタイムの映像伝送プロトコルRTP(Real-time Transport Protocol)と一緒に用いられる仕組みであって、映像の受信側から送信側へ伝送状態をフィードバッグする仕組みである。RTCPパケットによって、映像の実際の受信品質を示す情報とともに、映像の受信側のタイムスタンプが、映像の送信側へ送信される。映像の送信側は、その受信品質を示す情報を受信すると、上述のNTPのように、その情報を受信した時刻を示すタイムスタンプ(Tsr)と、その情報に対する応答を送る時刻を示すタイムスタンプ(Tss)とを格納したパケットを、映像の受信側(本実施の形態では端末装置110A)へ送り返す。端末装置110Aは、送り返されたパケットを受信した時刻を示すタイムスタンプ(Tcr)を計測する。そして、端末装置110Aは、上述の4つのタイムスタンプに基づいて、NTPの場合と同様に、遅延時間を算出し、クロック111aの時刻を補正する。また、NTPまたはRTP以外のプロトコルなどを用いてクロック111aの時刻を補正してもよい。
このように、端末装置110Aのクロック111aは、サーバ120のクロック121と同期される。端末装置110Bのクロック111bも、同様に、サーバ120のクロック121と同期される。したがって、サーバ120にネットワークを介して接続される各端末装置のクロックは、サーバ120の基準クロックであるクロック121と同期される。つまり、端末装置110Aのクロック111aの時刻と、端末装置110Bのクロック111bの時刻とが一致する。その結果、端末装置間のクロックの同期が得られる。言い換えれば、各端末装置のクロックの時刻が合わせられる。
このような各クロックの同期、すなわち時刻合わせは、共有のためにサーバ120に送信される静止画または動画の撮影(いわゆる本番撮影)前に行われる。これにより、適切なタイミングで各端末装置に撮影をさせることができ、それらの撮影によって得られた画像を三次元画像の生成に利用することができる。
図4Bは、端末装置110Aによる撮影方法を示すフローチャートである。
端末装置110Aのユーザは、例えば撮影会などのイベントに参加する。このとき、端末装置110Aはサーバ120に接続する(ステップS211)。ここで、サーバ120は、ユーザ認証を行ってもよい。次に、端末装置110Aは、ユーザに対して、周辺を一定時間撮影するように指示する(ステップS212)。例えば、端末画像処理部115は、「周辺を一定時間撮影してください」といメッセージを表示することによって、上述の指示を行う。この指示は、端末装置110Aの位置をサーバ120に推定させるために行われる。この指示にしたがって、ユーザは、自らの周辺を見渡すように、端末装置110Aの向きを変えながら、端末装置110Aに撮影(例えば動画撮影)させる。このとき、端末装置110Aの撮影部114は、ユーザによって端末装置110Aがそれぞれ異なる方向に向けられるたびに撮影を行う。そして、端末装置110Aの端末画像処理部115は、その撮影によって画像(例えばピクチャまたはフレーム)が得られるごとに、その画像をサーバ120に送信する。サーバ120のサーバ画像処理部124は、端末装置110Aから送信されるそれらの画像に基づいて、端末装置110Aの位置を推定する。
なお、端末装置110Aは、ステップS212において、ユーザに対して指示を行う際には、目印となるようなランドマークを被写体に含めるように指示してもよい。これにより、サーバ120による位置推定の精度を向上させることができる。例えば、ユーザが野球場にいる場合には、端末装置110Aは、ホームベース、一塁ベース、二塁ベースおよび三塁ベースからなるダイヤモンドを被写体に含めるように指示する。あるいは、端末装置110Aは、野球場の電光掲示板を撮影するように指示する。また、ユーザがサッカー場にいる場合には、端末装置110Aは、ゴール、ペナルティエリア、あるいは、センターサークルなどの、特徴的なものを撮影するように指示する。
端末装置110Aの端末同期処理部112は、この位置推定が(例えば数秒)行われている間に、NTPまたはRTCPの手法を用いて、端末装置110Aのクロック111aをサーバ120のクロック121に同期させる(ステップS213)。つまり、このときに、端末装置110Aは、図4Aに示すフローチャートにしたがって、自らのクロック111aをサーバ120のクロック121に同期させる。
次に、サーバ120は、クロックの同期および位置推定を含む処理であるキャリブレーションが完了すると、そのことを示す通知(キャリブレーション完了通知)を端末装置110Aに送信する。端末装置110Aはそのキャリブレーション完了通知を受信すると、撮影部114によるキャリブレーションのための撮影を中断させる(ステップS214)。さらに、端末装置110Aは、ユーザに対して、キャリブレーションが完了したことを通知する(ステップS215)。例えば、端末画像処理部115は、「キャリブレーションが完了しました。通常利用が可能です。」といメッセージを表示することによって、上述の通知を行う。キャリブレーションには、ユーザに端末装置110Aの向きを変えてもらうなどの協力が必要である。したがって、ユーザは、上述の通知を受けることによって、その協力が不要になったことを把握することができる。
次に、サーバ120の情報送信部123は、撮影時刻情報を端末装置110Aに送信する。端末装置110Aの情報取得部113は、撮影時刻情報を受信すると、その撮影時刻情報によって示される撮影時刻に、撮影部114に撮影をさせる(ステップS216)。このときに行われる撮影は、位置推定を行うための撮影ではなく、ユーザが所望の画像を得るための撮影(いわゆる本番撮影)である。また、撮影部114は、動画の撮影を行う際には、その撮影時刻を撮影開始時刻として扱い、その撮影開始時刻から、所定のフレームレートで動画の撮影を開始する。
このように、本実施の形態では、端末装置110Aは、クロックの同期を行うときに、待ち時間が発生するため、この待ち時間に、位置推定をサーバ120に行わせる。三次元画像の生成のための複数の端末装置による撮影では、各端末装置の位置は重要である。したがって、ステップS213では、端末装置110Aの位置が推定されるように、ユーザは周辺を見渡すように端末装置110Aに撮影を行わせる。なお、端末装置110Aが、監視カメラなどのように撮影部114(カメラ)を動かす能力がある場合には、上述の周辺を見渡すような撮影を自動的に行う。また、端末装置110Aが、ユーザに携帯されるカメラ、ビデオカメラまたは携帯端末などの場合には、ユーザに対して周辺を撮影するように指示する。
図5は、撮影(本番撮影)を行うためのサーバ120と端末装置110Aとの処理動作を示すフローチャートである。この図5は、図4BのステップS216の処理動作を詳細に示す。
サーバ120と端末装置との間でのネットワークによる伝送遅延は、端末装置の能力によって異なる場合が多いと想定される。例えば、Wi-Fi(登録商標)経由の通信と、3GまたはLTE(Long Term Evolution)などの無線通信とでは、応答速度も通信速度も異なる。サーバ120から全ての端末装置へ一斉に撮影開始指示のパケットを送るやり方では、各端末装置での撮影のタイミングにずれが発生してしまう。そこで、サーバ120は、本番撮影が動画撮影の場合、X時Y分Z秒から撮影を開始しなさいというように、具体的な撮影開始時刻を示す撮影時刻情報を、その撮影開始時刻よりもやや前の時点で、各端末装置へ送信する。なお、上述のXは0~23までの整数であり、YおよびZはそれぞれ0~59までの整数である。以下、具体的に説明する。
サーバ120は、端末装置110Aの撮影開始時刻を上述の撮影時刻として決定する(ステップS301)。この撮影開始時刻は、例えば、動画撮影の開始時刻であって、既に動画撮影を行っているその他の端末装置(例えば、端末装置110B)の撮影タイミングと、端末装置110Aの撮影タイミングとが同期するように決定された時刻である。なお、サーバ120は、撮影開始時刻に加えて、撮影のフレームレートも決定してもよい。また、サーバ120は、フレームレートまたは画像解像度などの能力に関する情報交換を端末装置110Aと行った後に、撮影開始時刻およびフレームレートを決定してもよい。
サーバ120は、撮影開始時刻の少し前の時刻に、撮影開始時刻を示す撮影時刻情報を端末装置110Aに送信する(ステップS302)。少し前の時刻とは、ネットワークの伝送遅延および撮影開始の遅延を考慮した時間である。次に、端末装置110Aは、撮影時刻情報を受け取る(ステップS303)。端末装置110Aは、撮影部114の準備処理を行い、撮影時刻情報に示される撮影開始時刻まで撮影部114を待機させる(ステップS304)。具体的には、撮影部114の処理がソフトウェアで実現される場合には、端末装置110Aは、撮影開始時刻までの残り時間だけソフトウェアをスリープさせるか、撮影開始時刻にソフトウェアが起動するように、タイマテーブルへの登録を行う。クロック111aに基づく現在時刻が撮影開始時刻に達すると、撮影部114は撮影を開始する(ステップS305)。なお、撮影部114の準備処理は端末装置によって異なる。したがって、ステップS304において、端末装置110Aがあらかじめ準備処理を行っておくことは、複数の端末装置の撮影タイミングを一致させるのに効果的である。
ここで、撮影開始時刻に撮影のトリガを発生させても、撮影開始時刻から実際に撮影が行われるまでには遅延が発生する場合がある。具体的には、トリガがソフトウェアで実現される場合、トリガ発生から、撮影部114の物理的または光学系の実際の動作までは遅延がある。この遅延には、状況によって変化する遅延も含まれるが、端末装置や撮影部114のソフトウェアまたはデバイスに固有の遅延も含まれる。以下、状況によって変化する遅延時間を変動遅延時間といい、ソフトウェアまたはデバイスに固有の遅延時間を固有遅延時間という。さらに、変動遅延時間と固有遅延時間を含む時間を撮影遅延時間という。
そこで、端末装置110Aを含む各端末装置は、自身の端末装置または撮影部のモデルを示す情報を、サーバ120に送信する。サーバ120は、モデルごとに、そのモデルの固有遅延時間を示すテーブルを参照し、送信された上述の情報に示されるモデルに対応する固有遅延時間を特定する。そして、サーバ120は、端末装置ごとに、その端末装置に対して特定された固有遅延時間をその端末装置に通知する。また、変動遅延時間は、光学系への入射光の量または画像の解像度などによって変動し、端末装置本体が静止しているか、動かされているかによっても変動する。したがって、各端末装置は、これらの状況または環境を示すパラメータを取得し、それらのパラメータに応じた変動遅延時間をサーバから取得する。
この場合、各端末装置は、固有遅延時間および変動遅延時間から撮影遅延時間を導出する。例えば、各端末装置は、固有遅延時間と変動遅延時間とを加算することによって撮影遅延時間を導出する。あるいは、各端末装置は、固有遅延時間と変動遅延時間とのうちの長い方の時間を撮影遅延時間として導出する。そして、端末装置は、撮影時刻情報を受信すると、撮影時刻情報によって示される撮影時刻から、その導出された撮影遅延時間だけ前の時点に、スリープの状態から起動して(つまり、タイマ起動して)撮影を行う。
つまり、端末装置110Aは、その端末装置110Aにおける撮影開始から撮影が実行されるまでの撮影遅延時間を特定し、記撮影時刻情報によって示される撮影時刻よりもその撮影遅延時間だけ前の時刻に、撮影を開始する。これにより、様々な物理的な要因に影響を受けることなく、基準クロックに基づく撮影時刻により高い精度で一致するタイミングに撮影を行うことができる。
なお、固有遅延時間を、以下のように計測してもよい。つまり、固有遅延時間が既知である端末装置Rと、固有遅延時間の計測対象とされる端末装置Xとに、上述のようなNTP等によるクロックの同期を実行させる。さらに、それらの端末装置Rおよび端末装置Xに対して、同一の撮影時刻を指定して、同一状況または同一環境下で撮影させる。このとき、撮影の対象として、高精度に時刻が表示されている時計(例えばストップウォッチなど)を撮影させる。端末装置Rの撮影によって得られた画像に映し出されている時刻と、端末装置Xの撮影によって得られた画像に映し出されている時刻との差分を、端末装置Rの既知である固有遅延時間に加算または減算することによって、端末装置Xの固有遅延時間を導出ることができる。なお、上述のNTP等によるクロックの同期は省略してもよい。また、計測または導出される固有遅延時間の誤差を軽減するため、固有遅延時間を繰り返し導出したり、エラー値を排除したり、繰り返し導出された固有遅延時間を平均化したりしてもよい。また、サービスの提供者または端末装置のメーカが、このような計測を予め行ってもよいし、端末装置の所有者が行ってもよい。
このように、本実施の形態では、各端末装置のクロックの時刻は、基準となるサーバ120のクロックの時刻に一致する。したがって、各端末装置は、ネットワークの伝送遅延または端末装置の撮影遅延時間に影響されることなく、同じ時刻に撮影を行うことができる。
なお、サーバ120のクロック121には、GPS(Global Positioning System)時計または原子時計などを用い、そのクロック121を世界の基準時計に合わせてもよい。この場合、端末装置110Aは、サーバ120のクロック121との間で、クロック111aの同期を直接行わずに、世界の基準時計と同期されている任意の別のクロックとの間で、クロック111aの同期を行ってもよい。例えば、基準クロックは端末装置110Bに備えられているクロック111bであって、端末装置110Aは、自らのクロック111aを、端末装置110Bのクロック111bに同期させる。
また、端末装置110Aは、クロック111aの同期を、撮影の直前に開始するのではなく、撮影開始から所定の時間経過後に開始してもよい。これにより、端末装置110Aの立ち上がり時の負担を減らし、スムーズに撮影を開始することができる。
なお、撮影時刻情報には、撮影終了時刻を含めるようにして構わない。これにより、端末装置110A及び端末装置110Bは、撮影終了時刻に合せて同時に撮影を終了することができる。また、端末装置110A及び端末装置110Bは、撮影映像をリアルタイムにサーバ120に送信するようにしても構わない。また、撮影映像をいったんは端末装置110A及び端末装置110Bのローカルディスクに保存し、撮影終了後にサーバ120に送信するようにしても構わない。
(実施の形態2)
実施の形態1のように、端末装置がクロックの同期を行い、さらに、撮影時刻から撮影遅延時間だけ前に撮影を開始することにより、複数の端末装置間における実際の撮影時刻を高精度に一致させることができる。しかし、それでも、様々な予測困難な外的要因により、同期がうまくとれない場合がある。
実施の形態1のように、端末装置がクロックの同期を行い、さらに、撮影時刻から撮影遅延時間だけ前に撮影を開始することにより、複数の端末装置間における実際の撮影時刻を高精度に一致させることができる。しかし、それでも、様々な予測困難な外的要因により、同期がうまくとれない場合がある。
そこで、本実施の形態では、撮影の同期がとれているのか、とれていなければ、撮影のタイミングがずれている時間はどれぐらいなのかを、直接的に検知する方法を提供する。つまり、本実施の形態では、時計などを撮影し、撮影によって得られる画像に映し出されている時刻と、端末装置のクロックの時刻とを比較することによって、撮影のタイミングがずれている時間を直接的に検知する。以下、本実施の形態について、具体的に説明する。
図6は、本実施の形態における撮影方法によって撮影を行う撮影システムを示す図である。
本実施の形態における撮影システムは、複数の端末装置110Cと、サーバ120Cと、表示装置130とを備える。なお、説明を簡単にするために、図6には端末装置110Cを1つだけ示している。また、本実施の形態における撮影システムに含まれる構成要素のうち、実施の形態1の構成要素と同じ参照符号が付されたものは、実施の形態1の構成要素と同一であるため、それらの構成要素についての詳細な説明は省略する。
サーバ120Cは、基準クロックであるクロック121と、サーバ同期処理部122cと、情報送信部123と、サーバ画像処理部124とを備える。サーバ同期処理部122cは、NTPなどの手法と異なる手法によって、端末装置110Cの撮影系クロック111cがサーバ120のクロック121と同期するための処理を行う。このようなサーバ同期処理部122cは、タイムコード符号化部125、タイムコード検出復号部126および遅延時間導出部127を備える。
タイムコード符号化部125は、所定の周期ごとに、サーバ120のクロック121に基づく現在の時刻TSSVRをタイムコードに符号化する。タイムコードは、時刻を示す例えばQRコード(登録商標)などの二次元コードである。なお、このようなタイムコードは、視覚的に時刻を示すものであれば、模様、文字、数字または記号などによって構成されるどのような画像であってもよい。このようなタイムコードは、符号化によって生成されるごとに、表示装置130に随時送信されて連続的に切り替えて表示される。
ここで、表示装置130は、任意の画像を表示することができ、その画像を時間的に変化させることができる装置である。より具体的には、表示装置130は、一般的な紙の印刷物ではなく、例えば、液晶、ブラウン管、大画面LED装置、発光装置、または可視光外領域の光電波信号(典型的には近赤外線画像、遠赤外線画像、マイクロレーダー画像、またはX線画像)を表示する装置などである。なお、時刻を表示する機能を有するものであれば、表示装置130の代わりに、機械的または物理的な動作を行う時計を用いてもよい。しかし、一般的な時計の場合には、秒針が最小の表示単位であり、時刻を秒単位よりも短い周期で表示することができない。そのため、同期の精度を高めることが難しい。そこで、1/10秒または1/1000秒の精度で時刻を表示する機能を備える時計を用いれば、同期の精度を高めることができる。このような時計は、デジタル時計であれば、1/10秒などの精度の時刻の表示を行う機能を有する時計であり、アナログ時計であれば、その精度の時刻を目で見て認識可能なように針を動かす機能を有する時計である。
このような表示装置130によって、サーバ120のクロック121の時刻TSSVRがタイムコードの形で表示される。
タイムコード検出復号部126は、端末装置110Cから、その端末装置110Cによる撮影によって得られた画像を取得する。そして、タームコード検出復号部126は、その画像に映し出されているタイムコードを復号することによって、そのタイムコードが示す時刻TSSVRを特定する。
遅延時間導出部127は、タイムコード検出復号部126によって特定されたタイムコードの時刻TSSVRと、端末装置110Cの撮影系クロック111cに基づく、端末装置110Cによる撮影が行われた時刻TSCAPとを取得する。そして、遅延時間導出部127は、時刻TSSVRと時刻TSCAPとの差分を遅延時間として導出し、その遅延時間を示す遅延時間情報を端末装置110Cに送信する。
端末装置110Cは、クロック111aと、撮影系クロック111cと、端末同期処理部112cと、情報取得部113と、撮影部114cと、端末画像処理部115とを備える。
撮影系クロック111cは、システムクロックとして用いられるクロック111aとは異なり、撮影に対して専用的に用いられるクロックである。例えば、撮影系クロック111cは、端末装置110Cの起動時、または、端末装置110CのOS(Operating System)の再起動時に、システムクロックと一致するように初期化される。つまり、この撮影系クロック111cは、端末装置110Cのシステムクロックに基づいて管理される撮影用クロックである。なお、端末装置110Cによる撮影の遅延時間が予めわかっている場合には、撮影系クロック111cの時刻をその遅延時間だけ、システムクロックよりも早めておいてもよい。
なお、端末装置110Cのシステムクロックを補正することはOS等の制約によりできない場合がある。また、可能な場合でも、撮影以外の稼働中の他のサービスへの影響を避けるために、システムクロックの補正はしない方がよい場合もある。それらの場合のために、撮影系クロック111cが備えられている。この撮影系クロック111cは、端末装置110Cにおいて動作する、撮影のためのソフトウェアに限定されたクロック(いわゆる仮想クロック)である。また、本実施の形態では、撮影系クロック111cとサーバ120Cのクロック121との間の遅延時間を算出し、その遅延時間だけ撮影系クロック111cの時刻を補正する。しかし、システムクロックであるクロック111aとサーバ120Cのクロック121との間の遅延時間を算出し、その遅延時間だけクロック111aの時刻を補正することによって得られる時刻に、撮影系クロック111cの時刻を合わせてもよい。
このように、本実施の形態では、第1の端末装置である端末装置110Cは、端末装置110Cのシステムクロック(つまりクロック111a)に基づいて管理される撮影系クロック111cを、基準クロック(つまりサーバ120Cのクロック121)に同期させる。
撮影部114cは、端末同期処理部112cからの指示に基づいて、表示装置130に表示されるタイムコードを撮影し、その撮影によって得られた画像(以下、タイムコード撮影画像という)を、端末同期処理部112cに出力する。
また、撮影部114cは、実施の形態1の撮影部114と同様に、サーバ120Cのクロック121に既に同期された撮影系クロック111cに基づいて、取得された撮影時刻情報によって示される撮影時刻に撮影を行う。なお、撮影部114cは、動画撮影を行う場合には、その撮影時刻を撮影開始時刻として扱い、その撮影開始時刻から所定のフレームレートで動画撮影を開始する。
端末同期処理部112cは、撮影部114cによってタイムコードが撮影された時刻TSCAPを、撮影系クロック111cに基づいて特定し、その時刻TSCAPをサーバ120に送信する。さらに、端末同期処理部112cは、サーバ120Cから遅延時間情報を取得すると、その遅延時間情報によって示される遅延時間だけ、撮影系クロック111cの時刻を補正する。これによって、撮影系クロック111cは、サーバ120Cのクロック121に同期される。
端末画像処理部115は、撮影部114cによる撮影によって得られた画像をサーバ120Cに送信する。また、画像をサーバ120Cに送信する際には、端末画像処理部115は、撮影が行われてその画像が得られた、補正後の撮影系クロック111cに基づく時刻をタイムスタンプとしてその画像に付与する。さらに、端末画像処理部115は、その画像を得るために撮影を行った端末装置(具体的には端末装置110C)を識別するための識別子をその画像に付与する。そして、端末画像処理部115は、タイムスタンプおよび識別子が付与された画像をサーバ120Cに送信する。なお、タイムスタンプによって示される時刻は、実際に撮影が行われて画像が得られた時刻であって、静止画の撮影において撮影開始から撮影完了までの時間が0であれば、上述の撮影時刻情報によって示される撮影時刻と一致する。また、端末画像処理部115は、他の端末装置と共有される共有画像をサーバ120Cから取得すると、その共有画像を表示する。
つまり、本実施の形態では、端末装置110Cは、表示装置130に表示されているタイムコードを撮影部114cに撮影させ、その撮影によってタイムコード撮影画像を得る。端末装置110Cによって撮影が行われた時刻TSCAPと、タイムコード撮影画像に映し出されているタイムコードから特定される時刻TSSVRとが、例えば、時刻TSSVR > 時刻TSCAPの関係にあれば、時刻TSCAPは、時刻TSSVRよりも遅れている。ここで、時刻TSCAPは、撮影が行われた撮影系クロック111cに基づく時刻であって、時刻TSSVRは、撮影が行われた時点におけるサーバ120のクロック121に基づく時刻である。したがって、撮影系クロック111cは、基準クロックであるサーバ120のクロック121よりも遅れている。具体的には、時刻TSCAPが0.100秒であって、時刻TSSVRが0.400秒であれば、撮影系クロック111cは、サーバ120のクロック121よりも、0.300秒だけ遅れている。
端末装置110Cは、この遅れた時間(遅延時間)だけ、撮影系クロック111cを早める。つまり、撮影系クロック111cを補正(または調整)する。これによって、撮影系クロック111cは、サーバ120のクロック121と同期する。このような補正が行われた後、端末装置110Cの動作にかかる時間にばらつきがなければ、端末装置110Cの撮影系クロック111cとサーバ120のクロック121との間で常に同期がとれているため、時刻TSSVR=時刻TSCAPの関係がなりたつ。
このような、本実施の形態における端末装置110Cは、図4Bに示すフローチャートにしたがって撮影を行ってもよい。このとき、端末装置110Cは、本番撮影の前に、ステップS213において、上述の撮影系クロック111cの補正を、キャリブレーションに含まれる処理として実行する。例えば、端末装置110Cは、ステップS212の指示にしたがって、ステップS213では、野球場の電光掲示板として構成される表示装置130に表示されているタイムコードが被写体に含まれるように、周辺を一定時間撮影する。なお、本番撮影の時間が長い場合などには、撮影系クロック111cの補正(すなわち同期)を定期的に行ってもよい。
このように、本実施の形態では、複数の端末装置110Cがそれぞれ表示装置130を撮影することによって、それらの撮影系クロック111cの補正を行う。したがって、表示装置130に表示されるタイムコードに基づいて、複数の端末装置110Cの撮影系クロック111cを同期させることができる。言い換えれば、本実施の形態では、端末装置110Cは、基準クロックに基づく時刻が更新されるごとに、更新された当該時刻を表示する被写体を撮影する。そして、端末装置110Cは、被写体が撮影された、端末装置110Cの撮影系クロック111cに基づく時刻と、被写体の撮影によって得られたタイムコード撮影画像に映し出されている時刻との差分がゼロになるように、端末装置110Cの撮影系クロック111cを調整する。これによって、端末装置110Cは、自らの撮影系クロック111cを基準クロックに同期させる。したがって、実際に撮影が行われた、基準クロックに基づく時刻が、画像に映し出されているため、端末装置110Cの撮影系クロック111cを基準クロックに、より簡単に且つより正確に同期させることができる。
ここで、撮影系クロック111cは、端末装置110Cが備えるシステムクロックであるクロック111aとは異なるものである。なお、1つの端末装置内に2つのクロックが併存することは煩雑であるため、システムクロックも同時に補正してもよい。しかし、システムクロックは撮影以外の別の目的に使われている可能性もあるので、システムクロックを補正せずに、撮影目的のために独立して用いられる撮影系クロック111cのみを補正するほうが望ましい。
なお、本実施の形態では、被写体である表示装置130は、基準クロックに基づいて更新された時刻をQRコード(登録商標)として表示するが、QRコード(登録商標)に限らず、一次元コードまたは二次元コードとして表示してもよい。
図7は、端末同期処理部112cおよびサーバ同期処理部122cによる同期処理を示すフローチャートである。
サーバ120のタイムコード符号化部125は、クロック121に基づく現在の時刻TSSVRを取得し(ステップS501)、その時刻TSSVRをタイムコードに符号化する(ステップS502)。表示装置130は、そのタイムコードを取得して表示する(ステップS503)。
端末装置110Cの撮影部114cは、表示されているタイムコードが被写体に含まれるように撮影する。このとき、端末同期処理部112cは、その撮影が行われた時点における撮影系クロック111cに基づく時刻TSCAPを取得する(ステップS504)。そして、端末同期処理部112cは、上述の撮影によって得られたタイムコード撮影画像と時刻TSCAPとをサーバ120に送信する。
サーバ120のタイムコード検出復号部126は、タイムコード撮影画像から時刻TSSVRを検出する。続いて、サーバ120の遅延時間導出部127は、時刻TSSVR-時刻TSCAPによって、遅延時間を算出する(ステップS505)。そして、遅延時間導出部127は、その遅延時間を示す遅延時間情報を端末装置110Cに送信する。
次に、端末装置110Cの端末同期処理部112cは、その遅延時間情報に基づいて、遅延時間がゼロとなるように、撮影系クロック111cの時刻を補正する(ステップS506)。
なお、本実施の形態では、撮影系クロック111cの時刻を補正するが、この時刻を補正しなくてもよい。つまり、サーバ120は、算出された端末装置110Cの遅延時間を保持し、撮影時刻を決定したときには、その撮影時刻よりも遅延時間だけ早い時刻を示す撮影時刻情報を、端末装置110Cに送信する。これによって、遅延時間が相殺されて、決定された撮影時刻に、端末装置110Cに撮影をさせることができる。また、この場合には、端末装置110Cは撮影系クロック111cを備えなくてもよい。
また、ステップS501の処理からステップS503の処理まで、つまり、サーバ120Cのクロック121の時刻TSSVRが取得されから、その時刻TSSVRがタイムコードとして表示されるまでに、遅延が発生する場合がある。このような場合には、タイムコード符号化部125は、時刻TSSVRにその遅延にかかる時間を加算した時刻を、タイムコードに符号化してもよい。これにより、表示装置130に表示されるタイムコードの時刻と、サーバ120Cのクロック121の時刻とを厳密に一致させることができる。
ここで、本実施の形態におけるタイムコードについて詳しく説明する。本実施の形態におけるタイムコードは、具体的には、誤り耐性のあるコードであるQRコード(登録商標)である。
図8Aは、QRコード(登録商標)を説明するための図である。この図8Aに示すように、QRコード(登録商標)は、3つのファインダパターンと、タイミングパターンと、アライメントパターンと、コード化されたデータ部分とからなる。3つのファインダパターンは、コードの検出に用いられる。タイミングパターンは、直線上に白黒のドットが繰り返し配置されて構成されたパターンであって、これによりドットのピッチが特定される。アライメントパターンは、モジュールが一定間隔で配置されて構成されるパターンであって、これによりQRコード(登録商標)の変形量が特定される。データ部分は、オリジナルのデータが符号化されることによって得られるエラー訂正可能な(冗長度を持つ)符号である。
本実施の形態におけるタイムコードは、このような検出容易性、変形耐性、およびエラー訂正の能力を持つQRコード(登録商標)である。また、本実施の形態におけるタイムコードは、複数の端末装置によって同時に撮影されるため、斜め方向から、または遠方から撮影されるケースが想定される。したがって、本実施の形態におけるタイムコードをQRコード(登録商標)とすることによって、上述のようなケースであっても、タイムコードからの時刻の検出にエラーが発生してしまうことを抑えることができる。
図8B~図8Eは、本実施の形態におけるタイムコードの他の例を示す図である。
例えば、本実施の形態におけるタイムコードは、図8B~図8Dに示すように、横長のQRコード(登録商標)のようなコードであってもよい。つまり、本実施の形態におけるタイムコードは、水平方向の幅が垂直方向の幅よりも長い長方形のコードであってもよい。例えば、図8Bに示すタイムコードは、水平方向に配列された2つのファインダパターンを備え、タイムコードの縦の長さ(垂直方向の高さ)は、ファインダパターンの縦の長さと等しい。
このように、図8B~図8Dに示すタイムコードは横長の長方形であるため、水平方向の広い角度からの撮影に対して強いエラー耐性を有する。つまり、このタイムコードは、変形耐性とピッチ検出機能を有する。したがって、複数の端末装置110Cが、水平方向に取り囲むような各位置からそのタイムコードを撮影する場合であっても、それぞれの端末装置110Cは、そのタイムコードによって示される時刻を適切に特定することができる。さらに、このタイムコードは垂直方向に短いため、タイムコードを目立たないようにすることができる。
また、図8Cに示すように、タイムコードは、1つだけファインダパターンを備えていてもよい。つまり、図8Cに示すタイムコードは、図8Bに示すタイムコードに含まれる2つのファインダパターンのうちの左右どちらか一方がなく、他方のファインダパターンのみを有する。
また、通常のQRコード(登録商標)では、ドット(セル)の形状は正方形であるが、図8Dに示すように、本実施の形態におけるタイムコードは、横長の長方形のドット(セル)から構成されていてもよい。これにより、水平方向の変形耐性をさらに高めることができる。
また、本実施の形態におけるタイムコードは、なるべく目立たずに表示されることが望ましいため、正方形の格子状の白黒ドットパターンからなるコードではなく、図8Eに示すように、六角形パターンからなるコードであってもよい。具体的には、このコードでは、一行毎に、ドットの座標が0.5ドット分だけ横方向にずれている。さらに、ドットの形状は正方形ではなく六角形である。このように、タイムコードを、六角形の格子状にすることによって、四角の格子状よりも、人間がタイムコードを見た場合における違和感を少なくすることができる。また、四角の格子状のコードでは、上下または左右のドット間の距離が、斜め方向のドット間の距離よりも短い。そのため、上下または左右のドット間で誤認識が発生しやすい。具体的には、ドットを特定する際、そのドットの隣のドットのレベルを参照してしまうことがある。一方、六角形の格子状のコードでは、ドットと、そのドットに隣接する6つのドットのそれぞれとの間の距離はすべてほぼ等しい。したがって、各方向における誤認識率は均等であり、誤認識という観点において弱点となる方向は無い。
次に、タイムコードで表現できる最小の時間単位について説明する。一般的な時計では、秒が最小の単位である。本実施の形態では、同期の精度を1m秒の誤差に抑えるために、タイムコードに示される時刻は1m秒の精度を有し、そのタイムコードは1m秒の周期で更新されて表示される。
図9A~図9Cは、本実施の形態におけるタイムコードの他の例を示す図である。
例えば、タイムコードは、図9Aに示すように、横長のQRコード(登録商標)のような形状のコードであって、1m秒単位の精度の時刻を表す。そして、このタイムコードは、1m秒ごとに更新されて表示される。このような短い周期で更新されるタイムコードを適切に撮影するためには、端末装置は、ハイスピードカメラなどの特殊な機能を有する必要がある。
そこで、本実施の形態では、時刻は、その時刻を表すための桁ごとに分割されて符号化されてもよい。例えば、時刻「a.bcd」秒を符号化するときには、図9Bに示すように、「a」と「b」と「c」と「d」とをそれぞれ独立して符号化する。なお、a、b、c、およびdはそれぞれ0~9のうちのいずれかの数値である。言い換えれば、秒の桁の数値と、1/10秒の桁の数値と、1/100秒の桁の数値と、1/1000秒の桁の数値からなる時刻を符号化するときには、秒の桁の数値を符号化し、1/10秒の桁の数値を符号化し、1/100秒の桁の数値を符号化し、さらに、1/1000秒の桁の数値を符号化する。図9Bに示すタイムコードは、これらの符号化によって得られた各符号が横方向に配列されて構成されている。また、各符号は、横方向に配列されるドットのパターンとして構成されている。また、それぞれの符号は独立に復号される。
これにより、秒の桁の符号は、秒単位で更新されて表示され、1/10秒の桁の符号は、1/10秒単位で更新されて表示され、1/100秒の桁の符号は、1/100秒単位で更新されて表示され、1/1000秒の桁の符号は、1/1000秒単位で更新されて表示される。したがって、ハイスピードカメラのような特殊な機能を有する応答性能がよい端末装置は、秒の桁の符号から1/1000秒の桁の符号まで、各符号を正しく復号することができる。さらに、上述の端末装置よりも応答性能が劣る端末装置は、1/1000秒の桁の符号を復号することはできなくても、例えば、1/10秒の桁の符号、および秒の桁の符号を復号することができる。
また、図9Bに示すタイムコードでは、符号ごとに、その符号に対応するファインダパターン、バージョン情報、サイズ、およびエラー耐性強度情報などが付加されているが、符号ごとにこれらの情報を付加しなくてもよい。つまり、図9Cに示すように、タイムコードは、ファインダパターン、バージョン情報、サイズ、エラー耐性強度情報などの情報をそれぞれ1つだけ有する。例えば、これらの情報は各符号に共通に用いられる。これにより、タイムコードの表示面積を減らすことができる。なお、タイムコードの中で、一定間隔ごとにアライメントパターンが配置されていれば、そのタイムコードの変形を容易に検出することができる。したがって、タイムコードが長い場合には、複数のアライメントパターンをタイムコード内に配置してもよい。
このように、本実施の形態では、時刻を桁ごとの数値に分けて符号化してもよい。つまり、基準クロックに基づく時刻を表現するための各桁の数値を個別に符号化し、符号化された各桁の数値を被写体である表示装置130に表示させてもよい。このとき、各桁の数値のうち、第1の桁の数値(例えば1/1000秒の桁の数値)は、基準クロックに基づく時刻の更新ごとに、例えば1/1000秒ごとに、更新されて、符号化および表示される。また、各桁の数値のうち、第2の桁の数値(例えば、1/100秒の桁の数値)は、時刻の更新がN回(例えば10回)行われるごとに、更新されて、符号化および表示される。これにより、端末装置は、自らの応答性能がどのようなレベルであっても、その応答性能に応じた精度で、その時刻を検出することができる。なお、時刻を桁ごとの数値に分けて符号化することは一例であり、時刻をどのように分けて符号化してもよい。例えば、時刻を、秒の数値、分の数値、および時の数値のように分けて符号化してもよい。また、一日の最初からの経過時間をN進数で表現し、その経過時間を桁ごとの数値に分割して符号化してもよい。また、日付、時または分などの情報は、タイムコード以外から容易に得られるため、例えば、秒以下の桁の数値のみ、あるいは、秒未満の桁の数値のみを符号化してもよい。また、タイムコードは、これら時刻の表現形式(時刻の起点または時刻の単位など)を示す識別情報を備えてもよい。また、タイムコードは、符号化される時刻の桁の範囲を示す付加情報を備えてもよい。
(変形例)
上記実施の形態1および2では、本番撮影時に撮影部によって動画撮影が行われる場合、端末画像処理部115は、撮影部による撮影によって得られる全てのフレームをサーバに順次送信する。本変形例では、端末画像処理部115は、サーバへのデータ転送量を削減するために、撮影によって得られる各フレームを間引いて、一部のフレームのみをサーバに送信する。これにより、サーバへのデータ転送量を削減することができる。
上記実施の形態1および2では、本番撮影時に撮影部によって動画撮影が行われる場合、端末画像処理部115は、撮影部による撮影によって得られる全てのフレームをサーバに順次送信する。本変形例では、端末画像処理部115は、サーバへのデータ転送量を削減するために、撮影によって得られる各フレームを間引いて、一部のフレームのみをサーバに送信する。これにより、サーバへのデータ転送量を削減することができる。
図10は、本変形例に係る端末画像処理部115の処理動作を示すフローチャートである。なお、撮影部(撮影部114または撮影部114c)は、例えば30fpsまたは60fpsのフレームレートで動画撮影を行う。この場合、33m秒または16.5m秒の周期で、画像がフレームとして生成される。なお、撮影部によって生成される画像は、狭義の意味のフレームに限定されず、どのようなピクチャであってもよい。以下、撮影部によって生成される画像をピクチャとして説明する。
まず、端末画像処理部115は、撮影によって生成されたピクチャを撮影部から取得する(ステップS701)。次に、端末画像処理部115は、撮影時刻情報によって示される撮影開始時刻から、上述のピクチャを取得した時刻までの経過時間(timeElapsed)を算出する(ステップS702)。なお、動画撮影の場合には、撮影時刻情報によって示される撮影時刻は撮影開始時刻として扱われる。また、ピクチャを取得した時刻は、クロック111aまたはクロック111cに基づく時刻である。つまり、端末画像処理部115は、撮影開始時刻をstartTimeとし、ピクチャを取得した時刻をnow()とすると、端末画像処理部115は、timeElapsed=now()-startTimeによって、経過時間を算出する。
次に、端末画像処理部115は、ステップS701で取得されたピクチャのピクチャ番号PNを算出する(ステップS703)。このとき、端末画像処理部115は、サーバ(サーバ120またはサーバ120C)のサーバ画像処理部124から予め取得されている時間間隔(periodTrgt)を用いる。つまり、端末画像処理部115は、timeElapsedをperiodTrgtで除算することによって得られる商の整数部分を、ピクチャ番号PNとして算出する。
そして、端末画像処理部115は、ピクチャ番号PNが最終ピクチャ番号(lastPN)と異なるか否かを判定する(ステップS704)。なお、最終ピクチャ番号は、ステップS701の処理前に「-1」に初期化されている。ここで、ピクチャ番号PNが最終ピクチャ番号と異なると判定されると(ステップS704のY)、端末画像処理部115は、そのピクチャ番号PNのピクチャをサーバに送信する(ステップS705)。そして、端末画像処理部115は、最終ピクチャ番号(lastPN)をそのピクチャ番号PNに更新する(ステップS706)。
ステップS704で、ピクチャ番号PNが最終ピクチャ番号と同一であると判定された場合(ステップS704のN)、またはステップS706の処理の後、端末画像処理部115は、撮影部による動画撮影が終了したか否かを判定する(ステップS707)。端末画像処理部115は、動画撮影が終了したと判定すると(ステップS707のY)、サーバにピクチャを送信する処理を終了する。一方、端末画像処理部115は、動画撮影が終了していないと判定すると(ステップS707のN)、ステップS701からの処理を繰り返し実行する。
このように、本変形例では、端末装置は、撮影時刻情報によって示される撮影時刻から動画の撮影を開始し、その動画の撮影によって第1の周期ごとに得られるピクチャのうち、その第1の周期よりも長い第2の周期ごとに得られるピクチャのみをサーバに送信する。なお、端末装置は、第1の端末装置であって、上記各実施の形態における端末装置110A、端末装置110Bおよび端末装置110Cのうちの何れであってもよい。また、第1の周期は、端末装置の撮影部による動画撮影のフレームレートの逆数であり、第2の周期は、上述の時間間隔(periodTrgt)である。また、端末装置は、その第2の周期を示す周期情報をサーバから取得する。したがって、端末装置は、第1の周期ごとに得られるピクチャの中から、取得された周期情報によって示される第2の周期ごとに得られるピクチャのみを選択し、選択されたピクチャをサーバに送信する。
これにより、撮影部によって短い周期でピクチャが順次生成されても、それらのピクチャの中から、サーバから通知される長い周期(periodTrgt)で順次生成されたピクチャのみを選択してサーバに送信することができる。したがって、撮影部が例えば30fpsなどの高フレームレートで動画撮影を行っていても、サーバに送信される動画像のフレームレートを10fpsまたは1fpsなどの低フレームレートに抑えることができる。したがって、サーバへのデータ転送量を削減することができる。
また、端末装置(端末装置110A~端末装置110Cのうちの何れかの端末装置)のバッテリーなどの要因によって、その端末装置による動画撮影中に、1ピクチャが撮影されるタイミングが変動したり、ピクチャの撮影が欠落してしまうことがある。したがって、複数の端末装置が撮影時刻情報にしたがって同時に動画撮影を開始しても、動画撮影中において、それらの複数の端末装置による1ピクチャの撮影のタイミングがずれてしまうことがある。
しかしながら、本変形例では、サーバに送信される動画像のフレームレートを低く抑えることができるため、端末装置のバッテリーの急激な減少を防ぐことができる。その結果、複数の端末装置のそれぞれに共通の時間間隔(periodTrgt)を通知しておくことによって、複数の端末装置による上述の撮影のタイミングのずれの発生を抑えることができる。
以上、一つまたは複数の態様に係る撮影方法について、幾つかの実施の形態および変形例に基づいて説明したが、本発明は、これらの実施の形態および変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記各実施の形態または変形例に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
例えば、本発明の一態様に係る撮影方法は、図11に示すフローチャートによって示される撮影方法であってもよい。
図11は、本発明の一態様に係る撮影方法を示すフローチャートである。
本発明の一態様に係る撮影方法は、端末装置が撮影を行う撮影方法であって、ステップS901~903の各処理を実行する。なお、端末装置は、上述の端末装置110A~110Cのうちの何れかである。ステップS901では、端末装置は、その端末装置のクロックを基準クロックに同期させる。この基準クロックは例えばサーバ120に備えられているクロック121である。なお、この基準クロックは、他の端末装置または装置などに備えられているクロックであってもよい。次に、ステップS902では、端末装置は、その基準クロックに基づく撮影時刻を示す撮影時刻情報を、例えばサーバ120から通信ネットワークを介して取得する。さらに、ステップS903では、端末装置は、基準クロックに既に同期されたその端末装置のクロックに基づいて、上述の撮影時刻情報によって示される撮影時刻に撮影を行う。
これにより、端末装置のクロックが基準クロックに予め同期されているため、撮影時刻情報を撮影時刻よりも少し前に取得すれば、基準クロックに基づく撮影時刻に高い精度で一致するタイミングに撮影を行うことができる。したがって、撮影される時刻を高い精度で所望のタイミングに容易に合わせることができる。
なお、上記各実施の形態および変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態および変形例の端末装置などを実現するソフトウェアは、例えば、図11に示すフローチャートの各ステップをコンピュータに実行させるプログラムである。
また、上記実施の形態1では、端末装置110Aは、NTPなどの手法を用いてクロック111aを基準クロックに同期させたが、このような同期が行われた後に、さらに、実施の形態2のタイムコードを撮影してもよい。このタイムコードの撮影によって、端末装置110Aは、クロック111aを基準クロックにより高精度に同期させてもよい。さらに、上記実施の形態1では、固有遅延時間を計測するために、端末装置Rおよび端末装置Xのそれぞれに時計を撮影させたが、この時計の代わりに、実施の形態2のタイムコードを撮影させてもよい。
さらに、上記実施の形態1では、撮影遅延時間を特定するために、端末装置は、サーバと通信を行ったが、実施の形態2のタイムコードの撮影によって、その撮影遅延時間を特定してもよい。つまり、端末装置は、基準クロックに基づく時刻が更新されるごとに、更新された当該時刻を表示する被写体である表示装置130を撮影する。そして、端末装置は、その被写体の撮影が開始された、端末装置のクロックに基づく時刻と、被写体の撮影によって得られた画像に映し出されている時刻との差分を、撮影遅延時間として特定する。このようなタイムコードの撮影によっても、撮影遅延時間を適切に特定することができる。
また、上記実施の形態2では、タイムコード検出復号部126と遅延時間導出部127は、サーバ120Cに備えられていたが、端末装置110Cに備えられていてもよい。また、表示装置130はサーバ120Cに備えられていてもよい。
また、上記実施の形態1および2とその変形例では、システムクロックであるクロック111aまたは撮影系クロック111cの時刻を補正し、その補正後の時刻を示すタイムスタンプを画像(具体的にはピクチャまたはフレーム)に付与した。しかし、端末装置は、システムクロックであるクロック111aまたは撮影系クロック111cの補正前の時刻をタイムスタンプとして画像に付与し、その画像をサーバに送付してもよい。この場合には、サーバが、端末装置のクロックとサーバのクロックとの間の遅延時間に基づいて、画像に付与されているタイムスタンプを補正する。なお、この場合には、サーバに送信される画像が多いほど、サーバにおける処理負担は大きくなる。一方、実施の形態1および2とその変形例では、画像に付与されているタイムスタンプは既に補正されているため、サーバは、それらのタイムスタンプを補正する必要がなく、処理負担を大幅に低減することができる。
また、上記実施の形態1および2とその変形例では、端末装置は撮影によって得られた画像をリアルタイムにサーバに送信したが、リアルタイムに送信しなくてもよい。例えば、端末装置は、撮影によって得られた画像を一時的に蓄積し、ネットワークの伝送帯域に余裕があるときに、その蓄積されている画像をサーバに送信してもよい。また、端末装置は、撮影によって得られた画像のデータ量を削減して、そのデータ量が削減された画像をリアルタイムにサーバに送信してもよい。例えば、端末装置は、画像を縮小することによって、または、画像が動画像であればフレームレートを落とすことによって、データ量を削減する。この場合、端末装置は、さらに、ネットワークの伝送帯域に余裕があるときに、フルサイズの画像、またはフルフレームレートの画像をサーバに送信してもよい。
なお、本発明の1つまたは複数の態様に係る撮影方法などについて、上記各実施の形態および変形例に基づいて説明してきたが、本発明は、上記各実施の形態および変形例に限定されないのはもちろんである。以下のような場合も本発明の1つまたは複数の態様に含まれる。
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
(3)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
(実施の形態3)
上記各実施の形態で示した画像処理方法及び装置の構成の他の応用例とそれを用いたシステムを説明する。当該システムは、インテリジェント化と対象空間の広域化とが進む映像システムに適用でき、例えば、(1)店舗或いは工場のセキュリティカメラ、又は警察の車載カメラなどに実装される監視システム、(2)個人所有のカメラ或いは各車載カメラ、又は道路に備えられたカメラなどを用いた交通情報システム、(3)ドローンなど遠隔操作又は自動制御可能な装置を用いた環境調査又は配送システム、及び(4)エンターテイメント施設又はスタジアム等における設置カメラ、ドローン等の移動カメラ、又は個人所有のカメラなどを用いた映像などのコンテンツ送受信システムなどに適用できる。
上記各実施の形態で示した画像処理方法及び装置の構成の他の応用例とそれを用いたシステムを説明する。当該システムは、インテリジェント化と対象空間の広域化とが進む映像システムに適用でき、例えば、(1)店舗或いは工場のセキュリティカメラ、又は警察の車載カメラなどに実装される監視システム、(2)個人所有のカメラ或いは各車載カメラ、又は道路に備えられたカメラなどを用いた交通情報システム、(3)ドローンなど遠隔操作又は自動制御可能な装置を用いた環境調査又は配送システム、及び(4)エンターテイメント施設又はスタジアム等における設置カメラ、ドローン等の移動カメラ、又は個人所有のカメラなどを用いた映像などのコンテンツ送受信システムなどに適用できる。
図12は、本実施の形態における映像情報処理システムex100の構成を示す図である。本実施の形態においては、死角の発生を防止する例、及び特定の領域を撮影禁止にする例について説明する。
図12に示す映像情報処理システムex100は、映像情報処理装置ex101と、複数のカメラex102と、映像受信装置ex103とを含む。なお、映像受信装置ex103は、必ずしも映像情報処理システムex100に含まれる必要はない。
映像情報処理装置ex101は、保存部ex111と、解析部ex112とを備える。N個のカメラex102のそれぞれは、映像を撮影する機能と撮影した映像データを映像情報処理装置ex101に送信する機能とを有する。また、カメラex102は、撮影中の映像を表示する機能を有する場合もある。なお、カメラex102は、撮影された映像信号をHEVC又はH.264のような符号化方式を用いてエンコードしたうえで映像情報処理装置ex101に送信してよいし、エンコードされていない映像データを映像情報処理装置ex101に送信してもよい。
ここで、各カメラex102は、監視カメラ等の固定カメラ、無人飛行型ラジコンや車等に搭載された移動カメラ、又は、ユーザが所持するユーザカメラである。
移動カメラは、映像情報処理装置ex101から送信された指示信号を受信し、受信された指示信号に応じて、移動カメラ自体の位置又は撮影方向を変更する。
また、撮影開示前に複数のカメラex102の時刻が、サーバ又は基準カメラの時刻情報などを用いてキャリブレーションされる。また、複数のカメラex102の空間位置が、撮影対象となる空間のオブジェクトの写り方又は基準カメラからの相対位置に基づいてキャリブレーションされる。
情報処理装置ex101に含まれる保存部ex111は、N個のカメラex102から送信された映像データを保存する。
解析部ex112は、保存部ex111に保存された映像データから死角を検出し、死角の発生を防止するための移動カメラへの指示を示す指示信号を移動カメラへ送信する。移動カメラは指示信号に従って移動を行い、撮影を継続する。
解析部ex112は、例えば、SfM(Structure from Motion)を用いて死角検出を行う。SfMとは、異なる位置から撮影された複数の映像から被写体の三次元形状を復元する手法であり、被写体形状及びカメラ位置を同時に推定する形状復元技術として広く知られている。例えば、解析部ex112は、SfMを用いて、保存部ex111に保存された映像データから施設内又はスタジアム内の三次元形状を復元し、復元できない領域を死角として検出する。
なお、解析部ex112は、カメラex102の位置及び撮影方向が固定であり、位置及び撮影方向の情報が既知の場合は、これらの既知の情報を用いてSfMを行ってもよい。また、移動カメラの位置及び撮影方向が、移動カメラが備えるGPS及び角度センサ等により取得できる場合は、移動カメラは、当該移動カメラの位置及び撮影方向の情報を解析部ex112に送信し、解析部ex112は、送信された位置及び撮影方向の情報を用いてSfMを行ってもよい。
なお、死角検出の方法は上述したSfMを用いた方法に限られるものではない。例えば、解析部ex112は、レーザレンジファインダなどのデプスセンサの情報を用いることで、撮影対象であるオブジェクトの空間距離を把握してもよい。また、解析部ex112は、カメラ位置、撮影方向及びズーム倍率等の情報を、空間内の予め設定したマーカ又は特定のオブジェクトが画像に含まれるか、含まれる場合にはそのサイズ等から検出してもよい。このように、解析部ex112は、各カメラの撮影領域を検出できる任意の方法を用いて、死角の検出を行う。また、解析部ex112は、複数の撮影対象について互いの位置関係等の情報を映像データ又は近接距離センサ等から取得し、取得した位置関係に基づいて死角が発生する可能性の高い領域を特定してもよい。
ここで死角とは、撮影したい領域中で映像が存在しない部分だけでなく、他の部分と比較して画質の悪い部分、及び予め定められた画質を得られていない部分などを含む。この検出対象の部分は、当該システムの構成又は目的に応じて適宜設定されればよい。例えば、撮影される空間中の特定の被写体について、要求される画質が高く設定されてもよい。また、逆に撮影空間中の特定の領域について、要求される画質が低く設定されてもよいし、映像が撮影されていなくても死角と判定しないように設定されてもよい。
なお、上述した画質とは、映像中の撮影対象となる被写体が占める面積(例えばピクセル数)、又は撮影対象となる被写体にピントが合っているかといった映像に関する様々な情報を含むものであり、それらの情報又はその組み合わせを基準に死角であるか否かが判定されればよい。
なお、上記の説明では、実際に死角となっている領域の検出について説明したが、死角の発生を防止するために検出する必要のある領域は実際に死角となっている領域に限定されない。例えば、複数の撮影対象が存在し、少なくともその一部が移動している場合には、ある撮影対象とカメラとの間に別の撮影対象が入ることによって新たな死角が生じる可能性がある。これに対し、解析部ex112は、例えば撮影された映像データ等から複数の撮影対象の動きを検出し、検出された複数の撮影対象の動きとカメラex102の位置情報に基づいて、新たに死角となる可能性のある領域を推定してもよい。この場合、映像情報処理装置ex101は、死角となる可能性のある領域を撮影するように移動カメラに指示信号を送信し、死角の発生を防止してもよい。
なお、移動カメラが複数ある場合、映像情報処理装置ex101は、死角、又は死角となる可能性がある領域を撮影させるために指示信号を送信する移動カメラを選択する必要がある。また、移動カメラ及び死角、又は死角となる可能性がある領域がそれぞれ複数存在する場合、映像情報処理装置ex101は、複数の移動カメラのそれぞれについて、どの死角、又は死角となる可能性がある領域を撮影させるかを決定する必要がある。例えば、映像情報処理装置ex101は、死角、又は死角となる可能性のある領域と各移動カメラが撮影中の領域の位置とに基づいて、死角、又は死角となる領域に最も近い移動カメラを選択する。また、映像情報処理装置ex101は、各移動カメラについて、当該移動カメラが現在撮影中の映像データが得られない場合に新たに死角が発生するか否かを判定し、現在撮影中の映像データが得られなくても死角が発生しないと判断された移動カメラを選択してもよい。
以上の構成により、映像情報処理装置ex101は、死角を検出し、死角を防止するように移動カメラに対して指示信号を送信することにより、死角の発生を防止できる。
(変形例1)
なお、上記説明では、移動カメラに移動を指示する指示信号が送信される例を述べたが、指示信号は、ユーザカメラのユーザに移動を指示するための信号であってもよい。例えば、ユーザカメラは、指示信号に基づき、ユーザにカメラの方向を変更するように指示する指示画像を表示する。なお、ユーザカメラは、ユーザの移動の指示として、地図上に移動経路を示した指示画像を表示してもよい。また、ユーザカメラは、取得される画像の質を向上させるために撮影方向、角度、画角、画質、及び撮影領域の移動など詳細な撮影の指示を表示してもよく、さらに映像情報処理装置ex101側で制御可能であれば、映像情報処理装置ex101は、そのような撮影に関するカメラex102の特徴量を自動で制御してもよい。
なお、上記説明では、移動カメラに移動を指示する指示信号が送信される例を述べたが、指示信号は、ユーザカメラのユーザに移動を指示するための信号であってもよい。例えば、ユーザカメラは、指示信号に基づき、ユーザにカメラの方向を変更するように指示する指示画像を表示する。なお、ユーザカメラは、ユーザの移動の指示として、地図上に移動経路を示した指示画像を表示してもよい。また、ユーザカメラは、取得される画像の質を向上させるために撮影方向、角度、画角、画質、及び撮影領域の移動など詳細な撮影の指示を表示してもよく、さらに映像情報処理装置ex101側で制御可能であれば、映像情報処理装置ex101は、そのような撮影に関するカメラex102の特徴量を自動で制御してもよい。
ここで、ユーザカメラは、例えば、スタジアム内の観客又は施設内の警備員が持つスマートフォン、タブレット型端末、ウェアラブル端末、又はHMD(Head Mounted Display)である。
また、指示画像を表示する表示端末は、映像データを撮影するユーザカメラと同一である必要はない。例えば、ユーザカメラに予め対応付けられた表示端末に対して、ユーザカメラが指示信号又は指示画像を送信し、当該表示端末が指示画像を表示してもよい。また、ユーザカメラに対応する表示端末の情報が、予め映像情報処理装置ex101に登録されてもよい。この場合は、映像情報処理装置ex101は、ユーザカメラに対応する表示端末に対して指示信号を直接送信することで、表示端末に指示画像を表示させてもよい。
(変形例2)
解析部ex112は、例えばSfMを用いて、保存部ex111に保存された映像データから施設内又はスタジアム内の三次元形状を復元することで自由視点映像(三次元再構成データ)を生成してもよい。この自由視点映像は、保存部ex111に保存される。映像情報処理装置ex101は、映像受信装置ex103から送信される視野情報(及び/又は、視点情報)に応じた映像データを保存部ex111から読み出して、映像受信装置ex103に送信する。なお、映像受信装置ex103は、複数のカメラ111の一つであってもよい。
解析部ex112は、例えばSfMを用いて、保存部ex111に保存された映像データから施設内又はスタジアム内の三次元形状を復元することで自由視点映像(三次元再構成データ)を生成してもよい。この自由視点映像は、保存部ex111に保存される。映像情報処理装置ex101は、映像受信装置ex103から送信される視野情報(及び/又は、視点情報)に応じた映像データを保存部ex111から読み出して、映像受信装置ex103に送信する。なお、映像受信装置ex103は、複数のカメラ111の一つであってもよい。
(変形例3)
映像情報処理装置ex101は、撮影禁止領域を検出してもよい。この場合、解析部ex112は撮影画像を解析し、移動カメラが撮影禁止領域を撮影している場合には移動カメラに対して撮影禁止信号を送信する。移動カメラは撮影禁止信号を受信している間は撮影を停止する。
映像情報処理装置ex101は、撮影禁止領域を検出してもよい。この場合、解析部ex112は撮影画像を解析し、移動カメラが撮影禁止領域を撮影している場合には移動カメラに対して撮影禁止信号を送信する。移動カメラは撮影禁止信号を受信している間は撮影を停止する。
解析部ex112は、例えば、SfMを用いて復元された三次元の仮想空間と、撮影映像とのマッチングを取ることで、空間内で予め設定されている移動カメラが撮影禁止領域を撮影中かを判定する。または、解析部ex112は、空間内に配置されたマーカ又は特徴的なオブジェクトをトリガーとして移動カメラが撮影禁止領域を撮影中かを判定する。撮影禁止領域とは、例えば施設内又はスタジアム内のトイレなどである。
また、ユーザカメラが撮影禁止領域を撮影している場合には、ユーザカメラは、無線又は有線で接続されるディスプレイ等にメッセージを表示したり、スピーカ又はイヤホンから音又は音声を出力したりすることで、現在の場所が撮影禁止場所であることをユーザに知らせてもよい。
例えば、上記メッセージとして、現在カメラを向けている方向が撮影禁止である旨が表示される。または、表示される地図上に撮影禁止領域と現在の撮影領域とが示される。また、撮影の再開は、例えば、撮影禁止信号が出力されなくなれば自動的に行われる。または、撮影禁止信号が出力されておらず、かつ、ユーザが撮影再開を行う操作をした場合に、撮影が再開されてもよい。また、撮影の停止と再開とが短期間で複数回起こった場合には、再度キャリブレーションが行われてもよい。または、ユーザに現在位置を確認したり移動を促したりするための通知が行われてもよい。
また、警察など特別な業務の場合には、記録のためこのような機能をオフにするパスコード又は指紋認証などが用いられてもよい。さらに、そのような場合であっても撮影禁止領域の映像が外部に表示されたり保存される場合には自動でモザイクなど画像処理が行われてもよい。
以上の構成により、映像情報処理装置ex101は、撮影禁止の判定を行い、撮影を停止するようにユーザに通知することで、ある領域を撮影禁止に設定できる。
(変形例4)
映像から三次元の仮想空間を構築するためには、複数視点の映像を集める必要があるため、映像情報処理システムex100は、撮影映像を転送したユーザに対してインセンティブを設定する。例えば、映像情報処理装置ex101は、映像を転送したユーザに対し、無料又は割引料金で映像配信を行ったり、オンライン又はオフラインの店又はゲーム内で使用できるような金銭的な価値、又はゲームなどのバーチャル空間での社会的地位など非金銭的な価値のあるポイントを付与する。また、映像情報処理装置ex101は、リクエストが多いなど価値のある視野(及び/又は、視点)の撮影映像を転送したユーザに対しては特に高いポイントを付与する。
映像から三次元の仮想空間を構築するためには、複数視点の映像を集める必要があるため、映像情報処理システムex100は、撮影映像を転送したユーザに対してインセンティブを設定する。例えば、映像情報処理装置ex101は、映像を転送したユーザに対し、無料又は割引料金で映像配信を行ったり、オンライン又はオフラインの店又はゲーム内で使用できるような金銭的な価値、又はゲームなどのバーチャル空間での社会的地位など非金銭的な価値のあるポイントを付与する。また、映像情報処理装置ex101は、リクエストが多いなど価値のある視野(及び/又は、視点)の撮影映像を転送したユーザに対しては特に高いポイントを付与する。
(変形例5)
映像情報処理装置ex101は、解析部ex112の解析結果に基づき、ユーザカメラに対して付加情報を送信してもよい。この場合、ユーザカメラは撮影映像に付加情報を重畳して、画面に表示する。付加情報とは、例えば、スタジアムでの試合が撮影されている場合には、選手名又は身長などの選手の情報であり、映像内の各選手に対応付けて当該選手の名前又は顔写真などが表示される。なお、映像情報処理装置ex101は、映像データの一部又は全部の領域に基づきインターネット経由の検索により、付加情報を抽出してもよい。また、カメラex102は、Bluetooth(登録商標)をはじめとする近距離無線通信又は、スタジアム等の照明から可視光通信によりそのような付加情報を受け取り、受け取った付加情報を、映像データにマッピングしてもよい。また、カメラex102は、このマッピングを、カメラex102に有線又は無線により接続される記憶部に保持されるテーブルであって、可視光通信技術により得られる情報と付加情報との対応関係を示すテーブルなどの一定規則に基づいて行なってもよいし、インターネット検索により最も確からしい組み合わせの結果を用いて行なってもよい。
映像情報処理装置ex101は、解析部ex112の解析結果に基づき、ユーザカメラに対して付加情報を送信してもよい。この場合、ユーザカメラは撮影映像に付加情報を重畳して、画面に表示する。付加情報とは、例えば、スタジアムでの試合が撮影されている場合には、選手名又は身長などの選手の情報であり、映像内の各選手に対応付けて当該選手の名前又は顔写真などが表示される。なお、映像情報処理装置ex101は、映像データの一部又は全部の領域に基づきインターネット経由の検索により、付加情報を抽出してもよい。また、カメラex102は、Bluetooth(登録商標)をはじめとする近距離無線通信又は、スタジアム等の照明から可視光通信によりそのような付加情報を受け取り、受け取った付加情報を、映像データにマッピングしてもよい。また、カメラex102は、このマッピングを、カメラex102に有線又は無線により接続される記憶部に保持されるテーブルであって、可視光通信技術により得られる情報と付加情報との対応関係を示すテーブルなどの一定規則に基づいて行なってもよいし、インターネット検索により最も確からしい組み合わせの結果を用いて行なってもよい。
また、監視システムにおいては、施設内の警備員が持つユーザカメラに対して、例えば注意人物の情報が重畳されることで、監視システムの高精度化を図ることができる。
(変形例6)
解析部ex112は,自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法又はその他の撮影領域の判定方法を用いられてもよい。
解析部ex112は,自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法又はその他の撮影領域の判定方法を用いられてもよい。
映像情報処理装置ex101は、解析部ex112の解析結果に基づき、ユーザカメラに対して過去映像を送信する。ユーザカメラは撮影映像に過去映像を重畳して、又は撮影映像を過去映像に置換して、画面に表示する。
例えば、ハーフタイム中に、過去映像として前半のハイライトシーンが表示される。これにより、ユーザはハーフタイム中に、前半のハイライトシーンを自分が見ている方向の映像として楽しむことができる。なお過去映像は、前半のハイライトシーンに限らず、そのスタジアムで行われた過去の試合のハイライトシーンなどでもよい。また、映像情報処理装置ex101が過去映像を配信するタイミングはハーフタイム中に限らず、例えば試合終了後でも、試合中でもよい。特に試合中の場合には、解析部ex112の解析結果に基づき、映像情報処理装置ex101はユーザが見逃した重要と考えられるシーンを配信してもよい。また、映像情報処理装置ex101はユーザからリクエストがあった場合のみ過去映像を配信してもよく、又は過去映像の配信前に配信許可のメッセージを配信してもよい。
(変形例7)
映像情報処理装置ex101は、解析部ex112の解析結果に基づき、ユーザカメラに対して広告情報を送信してもよい。ユーザカメラは撮影映像に広告情報を重畳して、画面に表示する。
映像情報処理装置ex101は、解析部ex112の解析結果に基づき、ユーザカメラに対して広告情報を送信してもよい。ユーザカメラは撮影映像に広告情報を重畳して、画面に表示する。
広告情報は例えば変形例5で示した、ハーフタイム中又は試合終了後の過去映像配信直前に配信されてもよい。これにより、配信業者は広告主からの広告料を得ることができ、ユーザに安価又は無料で映像配信サービスを提供できる。また、映像情報処理装置ex101は、広告情報の配信直前に広告配信許可のメッセージを配信してもよいし、ユーザが広告を視聴した場合のみ無料でサービスを提供してもよいし、広告を視聴しない場合より安価にサービスを提供してもよい。
また、広告に従ってユーザが「今すぐ注文する」などをクリックすると、当該システム又は何らかの位置情報に基づいてユーザの位置を把握しているスタッフ又は会場の自動の配送システムが注文された飲み物を席まで届けてくれる。決裁はスタッフへの手渡しでもよいし、予めモバイル端末のアプリ等に設定されているクレジットカード情報に基づいて行われてもよい。また、広告にはeコマースサイトへのリンクが含まれ、通常の自宅配送等のオンラインショッピングが可能な状態になっていてもよい。
(変形例8)
映像受信装置ex103は、カメラex102(ユーザカメラ)の一つであってもよい。
映像受信装置ex103は、カメラex102(ユーザカメラ)の一つであってもよい。
この場合、解析部ex112は、自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定する。なお、撮影領域の判定方法はこれに限らない。
例えば、ユーザが、画面に表示されている矢印の方向にスワイプ操作をすると、ユーザカメラはその方向へ視点を移動させることを示す視点情報を生成する。映像情報処理装置ex101は、解析部ex112が判定したユーザカメラの撮影領域から視点情報の分だけ移動させた領域を撮影した映像データを保存部ex111から読み出し、当該映像データのユーザカメラへの送信を開始する。そしてユーザカメラは撮影映像ではなく、映像情報処理装置ex101から配信された映像を表示する。
以上により、施設内又はスタジアム内のユーザは、画面スワイプのような簡易な動作で、好きな視点からの映像を視聴できる。例えば野球場の3塁側で観戦している観客が、1塁側の視点からの映像を視聴できる。また、監視システムにおいては、施設内の警備員が画面スワイプのような簡易な動作で、自身が確認したい視点又はセンターからの割り込みとして注視すべき映像などを、視点を適用的に変えながら視聴することができるので、監視システムの高精度化を図ることができる。
また、施設内又はスタジアム内のユーザへの映像の配信は、例えばユーザカメラと撮影対象との間に障害物が存在し、見えない領域がある場合等にも有効である。この場合、ユーザカメラは、ユーザカメラの撮影領域のうち障害物が含まれる一部の領域の映像を、撮影映像から、映像情報処理装置ex101からの配信映像に切り替えて表示してもよいし、画面全体を撮影映像から配信映像に切り替えて表示してもよい。また、ユーザカメラは、撮影映像と配信映像とを合成して障害物を透過して視聴対象が見えているような映像を表示してもよい。この構成によると、障害物の影響でユーザの位置から撮影対象が見えない場合にも、映像情報処理装置ex101から配信された映像を視聴することができるので、障害物の影響を軽減することができる。
また、障害物により見えない領域の映像として配信映像を表示する場合は、上述した画面スワイプのようなユーザによる入力処理に応じた表示の切り替え制御とは異なる表示の切り替え制御が行われてもよい。例えば、ユーザカメラの移動及び撮影方向の情報、並びに予め得られている障害物の位置情報に基づいて撮影領域に障害物が含まれると判定される場合に、撮影映像から配信映像への表示の切り替えが自動的に行われもよい。また、撮影映像データの解析により撮影対象ではない障害物が映っていると判定された場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。また、撮影映像に含まれる障害物の面積(例えばピクセル数)が所定の閾値を超えた場合、又は撮影対象の面積に対する障害物の面積の比が所定の割合を超えた場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。
なお、ユーザの入力処理に応じて撮影映像から配信映像への表示の切り替え及び配信映像から撮影映像への表示の切り替えが行われてもよい。
(変形例9)
各カメラex102で撮影された映像データの重要度に基づき映像データを映像情報処理装置ex101に転送する速度が指示されてもよい。
各カメラex102で撮影された映像データの重要度に基づき映像データを映像情報処理装置ex101に転送する速度が指示されてもよい。
この場合、解析部ex112は保存部ex111に保存された映像データ、又は当該映像データを撮影したカメラex102の重要度を判定する。ここでの重要度の判定は、例えば映像中に含まれる人の数或いは移動物体の数、映像データの画質などの情報、又はその組み合わせに基づいて行われる。
また、映像データの重要度の判定は、映像データが撮影されたカメラex102の位置又は映像データが撮影している領域に基づいてもよい。例えば、対象のカメラex102の近くに撮影中の他のカメラex102が複数存在する場合に、対象のカメラex102で撮影された映像データの重要度を低くする。また、対象のカメラex102の位置が他のカメラex102から離れていても同じ領域を撮影している他のカメラex102が複数存在する場合に、対象のカメラex102で撮影された映像データの重要度を低くする。また、映像データの重要度の判定は、映像配信サービスにおけるリクエストの多さに基づいて行われてもよい。なお、重要度の判定方法は、上述したものやその組み合わせに限られず、監視システム又は映像配信システムの構成又は目的に応じた方法であればよい。
また、重要度の判定は撮影された映像データに基づくものでなくてもよい。例えば、映像情報処理装置ex101以外の端末へ映像データを送信するカメラex102の重要度が高く設定されてもよい。逆に、映像情報処理装置ex101以外の端末へ映像データを送信するカメラex102の重要度が低く設定されてもよい。これにより、例えば、映像データの伝送を必要とする複数のサービスが通信帯域を共有している場合に、各サービスの目的又は特性に応じた通信帯域の制御の自由度が高くなる。これにより、必要な映像データが得られないことによる各サービスの品質の劣化を防止できる。
また、解析部ex112は、自由視点映像とカメラex102の撮影映像とを用いて、映像データの重要度を判定してもよい。
映像情報処理装置ex101は、解析部ex112で行われた重要度の判定結果に基づき、カメラex102に対して通信速度指示信号を送信する。映像情報処理装置ex101は、例えば、重要度が高い映像を撮影しているカメラex102に対して高い通信速度を指示する。また、映像情報処理装置ex101は、速度の制御だけではなく、重要な情報については、欠落によるデメリットを低減するために複数回送るような方式を指示する信号を送信してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができる。なお、カメラex102と映像情報処理装置ex101との通信は、有線通信であっても無線通信であってもよい。また、映像情報処理装置ex101は、有線通信及び無線通信のいずれか一方のみを制御してもよい。
カメラex102は、通信速度指示信号に従った通信速度で、撮影映像データを映像情報処理装置ex101に送信する。なお、カメラex102は所定の回数再送が失敗した場合には、その撮影映像データの再送を停止し、次の撮影映像データの転送を開始してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができ、解析部ex112における処理の高速化を実現できる。
また、カメラex102は、それぞれに割り当てられた通信速度が撮影した映像データを転送するために十分な帯域でない場合は、撮影した映像データを、割り当てられた通信速度で送信可能なビットレートの映像データに変換し、変換後の映像データを送信してもよし、映像データの転送を中止してもよい。
また、上述したように死角の発生を防止するために映像データが使用される場合、撮影された映像データに含まれる撮影領域のうちの一部の領域のみが死角を埋めるために必要である可能性がある。この場合、カメラex102は、少なくとも、映像データから、死角の発生を防止するために必要とされる領域のみを抽出することで抽出映像データを生成し、生成された抽出映像データを映像情報処理装置ex101に送信してもよい。この構成によると、死角の発生の抑制をより少ない通信帯域で実現できる。
また、例えば、付加情報の重畳表示又は映像配信が行われる場合には、カメラex102は、映像情報処理装置ex101にカメラex102の位置情報及び撮影方向の情報を送信する必要がある。この場合、映像データを転送するためには十分ではない帯域しか割り当てられなかったカメラex102は、カメラex102で検出された位置情報及び撮影方向の情報のみを送信してもよい。また、映像情報処理装置ex101においてカメラex102の位置情報及び撮影方向の情報を推定する場合は、カメラex102は、撮影した映像データを、位置情報及び撮影方向の情報の推定に必要な解像度に変換し、変換された映像データを映像情報処理装置ex101に送信してもよい。この構成によると、少ない通信帯域しか割り当てられなかったカメラex102に対しても、付加情報の重畳表示又は映像配信のサービスを提供できる。また、映像情報処理装置ex101は、より多くのカメラex102から撮影領域の情報を取得できるため、例えば注目されている領域を検出する等の目的で、撮影領域の情報を利用するような場合においても有効である。
なお、上述した割り当てられた通信帯域に応じた映像データの転送処理の切り替えは、通知された通信帯域に基づいてカメラex102が行ってもよいし、映像情報処理装置ex101が各カメラex102の動作を決定し、決定された動作を示す制御信号を各カメラex102に通知してもよい。これにより、動作の切り替えの判定に必要な計算量、カメラex102の処理能力、及び必要となる通信帯域等に応じて、適切に処理の分担を行える。
(変形例10)
解析部ex112は、映像受信装置ex103から送信された視野情報(及び/又は、視点情報)に基づき、映像データの重要度を判定してもよい。例えば、解析部ex112は、視野情報(及び/又は、視点情報)が示す領域を多く含む撮影映像データの重要度を高く設定する。また、解析部ex112は、映像中に含まれる人の数、又は移動物体の数を考慮して、映像データの重要度を判定してもよい。なお、重要度の判定方法はこれに限らない。
解析部ex112は、映像受信装置ex103から送信された視野情報(及び/又は、視点情報)に基づき、映像データの重要度を判定してもよい。例えば、解析部ex112は、視野情報(及び/又は、視点情報)が示す領域を多く含む撮影映像データの重要度を高く設定する。また、解析部ex112は、映像中に含まれる人の数、又は移動物体の数を考慮して、映像データの重要度を判定してもよい。なお、重要度の判定方法はこれに限らない。
なお、本実施の形態で説明した通信制御方法は、必ずしも複数の映像データから三次元形状の再構築を行うシステムにおいて用いられる必要はない。例えば複数のカメラex102が存在する環境において、映像データを選択的又は伝送速度に差をつけて有線通信及び/又は無線通信で送信する場合であれば、本実施の形態で説明した通信制御方法は有効である。
(変形例11)
映像配信システムにおいて、映像情報処理装置ex101は、撮影シーンの全体を示す概観映像を映像受信装置ex103に送信してもよい。
映像配信システムにおいて、映像情報処理装置ex101は、撮影シーンの全体を示す概観映像を映像受信装置ex103に送信してもよい。
具体的には、映像情報処理装置ex101は、映像受信装置ex103から送信された配信リクエストを受信した場合、保存部ex111から施設内又はスタジアム内全体の概観映像を読み出し、当該外観映像を映像受信装置ex103に送信する。この概観映像は更新間隔が長くてもよく(低フレームレートでもよく)、また画質が低くてもよい。視聴者は、映像受信装置ex103の画面上に表示された概観映像中で、見たい部分をタッチする。これにより、映像受信装置ex103は、タッチされた部分に対応する視野情報(及び/又は、視点情報)を映像情報処理装置ex101に送信する。
映像情報処理装置ex101は、視野情報(及び/又は、視点情報)に応じた映像データを保存部ex111から読み出し、当該映像データを映像受信装置ex103に送信する。
また、解析部ex112は、視野情報(及び/又は、視点情報)で示される領域に対して優先的に三次元形状の復元(三次元再構成)を行うことで自由視点映像を生成する。解析部ex112は、施設内又はスタジアム内全体の三次元形状を、概観を示す程度の精度で復元する。これにより、映像情報処理装置ex101は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が見たい領域の自由視点映像の高フレームレート化、及び高画質を実現できる。
(変形例12)
なお、映像情報処理装置ex101は、例えば、設計図面などから事前に生成された施設又はスタジアムの三次元形状復元データを事前映像として、予め保存しておいてもよい。なお、事前映像はこれに限らず、デプスセンサから得られる空間の凹凸と、過去又はキャリブレーション時の画像又は映像データから導出されるピクチャとをオブジェクトごとにマッピングした仮想空間データであってもよい。
なお、映像情報処理装置ex101は、例えば、設計図面などから事前に生成された施設又はスタジアムの三次元形状復元データを事前映像として、予め保存しておいてもよい。なお、事前映像はこれに限らず、デプスセンサから得られる空間の凹凸と、過去又はキャリブレーション時の画像又は映像データから導出されるピクチャとをオブジェクトごとにマッピングした仮想空間データであってもよい。
例えば、スタジアムでサッカーが行われている場合、解析部ex112は、選手及びボールのみに限定して三次元形状の復元を行い、得られた復元データと事前映像とを合成することで自由視点映像を生成してもよい。あるいは、解析部ex112は、選手及びボールに対して優先して三次元形状の復元を行ってもよい。これにより、映像情報処理装置ex101は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が注目する選手及びボールに関する自由視点映像の高フレームレート化及び高画質化を実現できる。また、監視システムにおいては、解析部ex112は、人物及び移動物体のみに限定して、又はそれらを優先して三次元形状の復元を行ってもよい。
(変形例13)
各装置の時刻は、サーバの基準時刻等に基づき、撮影開始時にキャリブレーションされてもよい。解析部ex112は、複数のカメラex102で撮影された複数の撮影映像データのうち、時刻設定の精度に応じて、予め設定された時間範囲内に属する時刻に撮影された複数の映像データを用いて、三次元形状の復元を行う。この時刻の検出には、例えば撮影映像データが保存部ex111に格納された時刻が用いられる。なお、時刻の検出方法はこれに限らない。これにより、映像情報処理装置ex101は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。
各装置の時刻は、サーバの基準時刻等に基づき、撮影開始時にキャリブレーションされてもよい。解析部ex112は、複数のカメラex102で撮影された複数の撮影映像データのうち、時刻設定の精度に応じて、予め設定された時間範囲内に属する時刻に撮影された複数の映像データを用いて、三次元形状の復元を行う。この時刻の検出には、例えば撮影映像データが保存部ex111に格納された時刻が用いられる。なお、時刻の検出方法はこれに限らない。これにより、映像情報処理装置ex101は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。
または、解析部ex112は、保存部ex111に保存された複数の映像データのうち、高画質データのみを用いて、又は高画質データを優先的に用いて、三次元形状の復元を行ってもよい。
(変形例14)
解析部ex112は,カメラ属性情報を用いて、三次元形状の復元を行ってもよい。この場合、カメラex102は、撮影映像データとカメラ属性情報とを映像情報処理装置ex101に送信する。カメラ属性情報は、例えば、撮影位置、撮影角度、撮影時刻、又はズーム倍率などである。
解析部ex112は,カメラ属性情報を用いて、三次元形状の復元を行ってもよい。この場合、カメラex102は、撮影映像データとカメラ属性情報とを映像情報処理装置ex101に送信する。カメラ属性情報は、例えば、撮影位置、撮影角度、撮影時刻、又はズーム倍率などである。
これにより、映像情報処理装置ex101は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。
具体的には、カメラex102は、施設内又はスタジアム内に三次元座標を定義し、カメラex102がどのあたりの座標をどの角度から、どれ位のズームで、どの時間に撮ったかという情報を映像と共にカメラ属性情報として映像情報処理装置ex101に送信する。また、カメラex102の起動時に、施設内又はスタジアム内の通信ネットワーク上の時計とカメラ内の時計との同期がとられ、時間情報が生成される。
また、カメラex102の起動時又は任意のタイミングで施設内又はスタジアム内の特定のポイントにカメラex102を向けることにより、カメラex102の位置及び角度情報が取得される。図13は、カメラex102に起動時に、カメラex102の画面上に表示される通知の一例を示す図である。ユーザがこの通知に従い、スタジアム北側の広告中のサッカーボール中心にある「+」に、画面中央に表示された「+」を合わせて、カメラex102のディスプレイをタッチすると、カメラex102は、カメラex102から広告までのベクトル情報を取得しカメラ位置及び角度の基準を特定する。その後、カメラex102のモーション情報からその時々のカメラ座標及び角度が特定される。もちろん、この表示に限るものではなく、矢印等を用いて撮影期間中も座標、角度、又は撮影領域の移動速度等を指示するような表示が用いられてもよい。
カメラex102の座標の特定は、GPS、WiFi(登録商標)、3G、LTE(Long Term Evolution)、及び5G(無線LAN)の電波を用いて行われてもよいし、ビーコン(Bluetooth(登録商標)、超音波)など近距離無線を利用して行われてもよい。また、施設内又はスタジアム内のどの基地局に撮影映像データが届いたかという情報が用いられてもよい。
(変形例15)
当該システムはスマートフォン等のモバイル端末上で動作するアプリケーションとして提供されてもよい。
当該システムはスマートフォン等のモバイル端末上で動作するアプリケーションとして提供されてもよい。
上記システムへのログインには、各種SNS等のアカウントが用いられてもよい。なお、アプリ専用のアカウント、又は機能が制限されたゲストアカウントが用いられてもよい。このようにアカウントが用いられることで、好みの映像又は好みのアカウント等を評価することができる。また、撮影中又は視聴中の映像データに類似した映像データ、撮影中又は視聴中の映像データの視点に類似した視点の映像データなどに優先的に帯域を割り振ることで、これらの映像データの解像度を高めることができる。これにより、これらの視点からの三次元形状の復元をより精度よく行うことができる。
また、ユーザは、当該アプリケーションで、好みの画像映像を選択し、相手方をフォローすることで、選択した画像を他のユーザよりも優先して見たり、相手方の承認などを条件にテキストチャット等でつながりをもつことができる。このように、新たなコミュニティの生成が可能である。
このようにユーザ同士がコミュニティ内でつながることにより、撮影自体、また撮影した画像の共有などが活発化し、より精度の高い三次元形状の復元を促すことができる。
また、コミュニティ内のつながりの設定に応じて、ユーザは、他人が撮影した画像又は映像を編集したり、他人の画像と自分の画像とをコラージュして新たな画像又は映像を作成したりできる。これにより、新たな画像又は映像を当該コミュニティ内の人のみでシェアするなど、新たな映像作品のシェアが可能になる。また、この編集においてCGのキャラクタを挿入するなどにより、拡張現実(Augmented Reality)のゲーム等にも映像作品を利用できる。
また、当該システムによると三次元モデルデータが逐次出力可能になるため、ゴールシーンなどの特徴的なシーンでの三次元モデルデータに基づき、施設が有する3Dプリンタなどが立体オブジェクトを出力することができる。これにより、試合後に、その試合中のシーンに基づくオブジェクトをキーホルダーのようなお土産として売ったり、参加ユーザに配布することも可能である。もちろん通常の写真として、もっとも良い視点からの画像をプリントすることも可能である。
(変形例16)
上記システムを用いて、例えば、警察の車載カメラ、及び警察官のウェアラブルカメラの映像などから、地域全体の大雑把な状態を、当該システムに接続されたセンターで管理することができる。
上記システムを用いて、例えば、警察の車載カメラ、及び警察官のウェアラブルカメラの映像などから、地域全体の大雑把な状態を、当該システムに接続されたセンターで管理することができる。
一般のパトロールの時は、例えば数分おきで静止画の送受信が行なわれる。また、センターは、過去の犯罪データ等を用いて分析した結果に基づいた犯罪マップに基づいて犯罪発生の可能性が高い地域を特定する、もしくはこのように特定された犯罪発生確率に関連する地域データを保持している。特定された犯罪発生確率の高い地域では、画像の送受信の頻度を上げたり、画像を動画に変更したりしてもよい。また、事件発生時は、動画、又はSfM等を用いた三次元再構成データが用いられてもよい。また、センターもしくは各端末が、同時にデプスセンサ又はサーモセンサなど他のセンサの情報を用いて画像又は仮想空間を補正することで、警察官は、より正確に状況を把握できる。
また、センターは、三次元再構成データを用いることで、複数の端末にそのオブジェクトの情報をフィードバックできる。これにより、各端末を持つ個々人がオブジェクトをトラッキングできる。
また、最近では、建造物或いは環境の調査、又はスポーツなどの臨場感ある撮影等の目的で、クワッドコプター、ドローンなどの飛行可能な装置による空中からの撮影が行なわれる。このような自律移動装置による撮影は、画像がブレるということが問題になりやすいが、SfMは位置及び傾きによりそのブレを補正しながら三次元化を行なうことが可能である。これにより、画質の向上、及び空間の復元精度の向上を実現できる。
また、車外を撮影する車載カメラの設置が、国によっては義務付けられている。このような車載カメラにおいても、複数の画像からモデル化された三次元データを用いることで、行き先の方向の天気及び路面の状態、並びに渋滞度合い等をより精度よく把握できる。
(実施の形態3)
上記各実施の形態で示した画像処理方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ICカード、半導体メモリ等、プログラムを記録できるものであればよい。
上記各実施の形態で示した画像処理方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ICカード、半導体メモリ等、プログラムを記録できるものであればよい。
さらにここで、上記各実施の形態で示した画像処理方法の応用例とそれを用いたシステムを説明する。当該システムは、画像処理方法を用いた装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
図14は、コンテンツ配信サービスを実現するコンテンツ供給システムex200の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex206、ex207、ex208、ex209、ex210が設置されている。
このコンテンツ供給システムex200は、インターネットex201にインターネットサービスプロバイダex202および通信網ex204、および基地局ex206からex210を介して、コンピュータex211、PDA(Personal Digital Assistant)ex212、カメラex213、スマートフォンex214、ゲーム機ex215などの各機器が接続される。
しかし、コンテンツ供給システムex200は図14のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ex206からex210を介さずに、各機器が電話線、ケーブルテレビ、又は光通信などの通信網ex204に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
カメラex213はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラex216はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、スマートフォンex214は、GSM(登録商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、若しくはLTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)、又は高周波帯域を利用した通信方式などに対応するスマートフォン機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
コンテンツ供給システムex200では、カメラex213等が基地局ex209、通信網ex204を通じてストリーミングサーバex203に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラex213を用いて撮影するコンテンツ(例えば、音楽ライブの映像等)に対して符号化処理を行い、ストリーミングサーバex203に送信する。一方、ストリーミングサーバex203は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex211、PDAex212、カメラex213、スマートフォンex214、ゲーム機ex215等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。
なお、撮影したデータの符号化処理はカメラex213で行っても、データの送信処理をするストリーミングサーバex203で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバex203で行ってもよいし、互いに分担して行ってもよい。また、カメラex213に限らず、カメラex216で撮影した静止画像および/または動画像データを、コンピュータex211を介してストリーミングサーバex203に送信してもよい。この場合の符号化処理はカメラex216、コンピュータex211、ストリーミングサーバex203のいずれで行ってもよいし、互いに分担して行ってもよい。さらに復号された画像の表示についても、システムにつながった複数の機器が連動して同じ画像を表示してもよいし、大きな表示部を有する装置で全体の画像を表示し、スマートフォンex214等では画像の一部の領域を拡大して表示してもよい。
また、これら符号化・復号化処理は、一般的にコンピュータex211や各機器が有するLSIex500において処理する。LSIex500は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータex211等で読み取り可能な何らかの記録メディア(CD-ROM、フレキシブルディスク、ハードディスクなど)に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、スマートフォンex214がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンex214が有するLSIex500で符号化処理されたデータである。
また、ストリーミングサーバex203は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
以上のようにして、コンテンツ供給システムex200では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムex200では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。
なお、コンテンツ供給システムex200の例に限らず、図15に示すように、デジタル放送用システムex300にも、上記各実施の形態を適用してもよい。具体的には、放送局ex301では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ex302に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ex302は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナex304が受信する。受信した多重化データを、テレビ(受信機)ex400またはセットトップボックス(STB)ex317等の装置が復号化して再生する。
また、DVD、BD等の記録メディアex315、もしくはSDなどのメモリex316に記録した多重化データを読み取り復号化する、または記録メディアex315もしくはメモリex316に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ/レコーダex318にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタex319に表示され、多重化データが記録された記録メディアex315、又はメモリex316により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルex303または衛星/地上波放送のアンテナex304に接続されたセットトップボックスex317内に動画像復号化装置を実装し、これをテレビのモニタex319で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。
図16は、スマートフォンex214を示す図である。また、図17は、スマートフォンex214の構成例を示す図である。スマートフォンex214は、基地局ex210との間で電波を送受信するためのアンテナex450、映像、静止画を撮ることが可能なカメラ部ex465、カメラ部ex465で撮像した映像、アンテナex450で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex458を備える。スマートフォンex214は、さらに、タッチパネル等である操作部ex466、音声を出力するためのスピーカ等である音声出力部ex457、音声を入力するためのマイク等である音声入力部ex456、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存可能なメモリ部ex467、又は図15に例示されたメモリex316、もしくはユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのSIMex468とのインタフェース部であるスロット部ex464を備える。
スマートフォンex214は、表示部ex458及び操作部ex466等を統括的に制御する主制御部ex460に対して、電源回路部ex461、操作入力制御部ex462、映像信号処理部ex455、カメラインタフェース部ex463、LCD(Liquid Crystal Display)制御部ex459、変調/復調部ex452、多重/分離部ex453、音声信号処理部ex454、スロット部ex464、メモリ部ex467がバスex470を介して互いに接続されている。
電源回路部ex461は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンex214を動作可能な状態に起動する。
スマートフォンex214は、CPU、ROM、RAM等を有する主制御部ex460の制御に基づいて、音声通話モード時に音声入力部ex456で収音した音声信号を音声信号処理部ex454でデジタル音声信号に変換し、これを変調/復調部ex452でスペクトラム拡散処理し、送信/受信部ex451でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex450を介して送信する。またスマートフォンex214は、音声通話モード時にアンテナex450を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調/復調部ex452でスペクトラム逆拡散処理し、音声信号処理部ex454でアナログ音声信号に変換した後、これを音声出力部ex457から出力する。
さらにデータ通信モード時に電子メールを送信する場合、本体部の操作部ex466等の操作によって入力された電子メールのテキストデータは操作入力制御部ex462を介して主制御部ex460に送出される。主制御部ex460は、テキストデータを変調/復調部ex452でスペクトラム拡散処理をし、送信/受信部ex451でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex450を介して基地局ex210へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ex458に出力される。
データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ex455は、カメラ部ex465から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重/分離部ex453に送出する。また、音声信号処理部ex454は、映像、静止画等をカメラ部ex465で撮像中に音声入力部ex456で収音した音声信号を符号化し、符号化された音声データを多重/分離部ex453に送出する。
多重/分離部ex453は、映像信号処理部ex455から供給された符号化された映像データと音声信号処理部ex454から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調/復調部(変調/復調回路部)ex452でスペクトラム拡散処理をし、送信/受信部ex451でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex450を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナex450を介して受信された多重化データを復号化するために、多重/分離部ex453は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスex470を介して符号化された映像データを映像信号処理部ex455に供給するとともに、符号化された音声データを音声信号処理部ex454に供給する。映像信号処理部ex455は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、LCD制御部ex459を介して表示部ex458から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ex454は、音声信号を復号し、音声出力部ex457から音声が出力される。
また、上記スマートフォンex214等の端末は、テレビex400と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という3通りの実装形式が考えられる。さらに、デジタル放送用システムex300において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。
また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
本発明の一態様に係る撮影方法は、例えば、画像撮影機能を備える、テレビ、デジタルビデオレコーダー、ドライブレコーダ、携帯電話、スマートフォン、デジタルカメラ、監視カメラ、またはデジタルビデオカメラ等の端末装置、情報表示機器または撮影機器に利用可能である。
110A~110C 端末装置
111a,111b,121 クロック
111c 撮影系クロック
112,112c 端末同期処理部
113 情報取得部
114,114c 撮影部
115 端末画像処理部
120,120C サーバ
122,122c サーバ同期処理部
123 情報送信部
124 サーバ画像処理部
125 タイムコード符号化部
126 タイムコード検出復号部
127 遅延時間導出部
130 表示装置
111a,111b,121 クロック
111c 撮影系クロック
112,112c 端末同期処理部
113 情報取得部
114,114c 撮影部
115 端末画像処理部
120,120C サーバ
122,122c サーバ同期処理部
123 情報送信部
124 サーバ画像処理部
125 タイムコード符号化部
126 タイムコード検出復号部
127 遅延時間導出部
130 表示装置
Claims (20)
- 第1の端末装置が撮影を行う撮影方法であって、
前記第1の端末装置のクロックを基準クロックに同期させ、
前記基準クロックに基づく撮影時刻を示す撮影時刻情報を、通信ネットワークを介して取得し、
前記基準クロックに既に同期された前記第1の端末装置のクロックに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行う
撮影方法。 - 前記撮影方法は、さらに、
第2の端末装置が前記通信ネットワークを介して前記撮影時刻情報を取得し、
前記第2の端末装置が、前記基準クロックに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行う
請求項1に記載の撮影方法。 - 前記基準クロックはサーバに備えられているクロックであり、
前記第2の端末装置は、当該第2の端末装置のクロックを前記基準クロックに同期させ、
前記第1および第2の端末装置はそれぞれ前記撮影時刻情報を前記サーバから取得する
請求項2に記載の撮影方法。 - 前記基準クロックは前記第2の端末装置に備えられているクロックであり、
前記第1および第2の端末装置はそれぞれ前記撮影時刻情報をサーバから取得する
請求項2に記載の撮影方法。 - 前記第1の端末装置のクロックの同期では、
前記第1の端末装置は、当該第1の端末装置のシステムクロックに基づいて管理される撮影用クロックを、当該第1の端末装置のクロックとして前記基準クロックに同期させる
請求項1~4の何れか1項に記載の撮影方法。 - 前記撮影方法では、さらに、
前記基準クロックに既に同期された当該第1の端末装置のクロックに基づく、前記撮影が行われた時刻を示すタイムスタンプを、前記撮影によって得られた画像に付加してサーバに送信する
請求項1~5の何れか1項に記載の撮影方法。 - 前記撮影方法では、さらに、
前記第1の端末装置における、撮影開始から撮影が実行されるまでの撮影遅延時間を特定し、
前記第1の撮影装置による撮影では、
前記撮影時刻情報によって示される撮影時刻よりも前記撮影遅延時間だけ前の時刻に、前記撮影を開始する
請求項1に記載の撮影方法。 - 前記撮影遅延時間の特定では、
前記第1の端末装置が、前記基準クロックに基づく時刻が更新されるごとに、更新された当該時刻を表示する被写体を撮影し、
前記被写体の撮影が開始された、前記第1の端末装置のクロックに基づく時刻と、前記被写体の撮影によって得られた画像に映し出されている時刻との差分を、前記撮影遅延時間として特定する
請求項7に記載の撮影方法。 - 前記第1の端末装置のクロックの同期では、
前記第1の端末装置は、第1のパケットをサーバに送信することによって、前記サーバから、前記基準クロックに基づく時刻を示す第2のパケットを受信し、
前記第2のパケットによって示される時刻と、前記第1のパケットが前記サーバに送信されたときの、前記第1の端末装置のクロックに基づく時刻との差分が、ゼロになるように、前記第1の端末装置のクロックを調整することによって、前記第1の端末装置のクロックを前記基準クロックに同期させる、
請求項1~8の何れか1項に記載の撮影方法。 - 前記第1の端末装置のクロックの同期では、
前記第1の端末装置が、前記基準クロックに基づく時刻が更新されるごとに、更新された当該時刻を表示する被写体を撮影し、
前記被写体が撮影された、前記第1の端末装置のクロックに基づく時刻と、前記被写体の撮影によって得られた画像に映し出されている時刻との差分がゼロになるように、前記第1の端末装置のクロックを調整することによって、前記第1の端末装置のクロックを前記基準クロックに同期させる、
請求項1~8の何れか1項に記載の撮影方法。 - 前記被写体は、前記基準クロックに基づいて更新された時刻を、一次元コードまたは二次元コードとして表示する
請求項10に記載の撮影方法。 - 前記撮影方法では、さらに、
前記基準クロックに基づく時刻を表現するための各桁の数値を個別に符号化し、符号化された各桁の数値を前記被写体に表示させる
請求項11に記載の撮影方法。 - 前記各桁の数値のうち、
第1の桁の数値は、前記基準クロックに基づく時刻の更新ごとに、更新されて、符号化および表示され、
第2の桁の数値は、前記時刻の更新がN回(Nは2以上の整数)行われるごとに、更新されて、符号化および表示される
請求項12に記載の撮影方法。 - 前記一次元コードまたは二次元コードは、水平方向の幅が垂直方向の幅よりも長い長方形である
請求項11~13の何れか1項に記載の撮影方法。 - 前記第1の端末装置による撮影では、
前記撮影時刻情報によって示される撮影時刻から動画の撮影を開始し、
前記撮影方法では、さらに、
前記第1の端末装置が、前記動画の撮影によって第1の周期ごとに得られるピクチャのうち、前記第1の周期よりも長い第2の周期ごとに得られるピクチャのみをサーバに送信する
請求項1~14の何れか1項に記載の撮影方法。 - 前記撮影方法では、さらに、
前記第1の端末装置が、前記第2の周期を示す周期情報を前記サーバから取得し、
前記サーバへの送信では、
前記第1の周期ごとに得られるピクチャの中から、取得された前記周期情報によって示される前記第2の周期ごとに得られるピクチャのみを選択し、選択されたピクチャを前記サーバに送信する
請求項15に記載の撮影方法。 - 通信ネットワークを介して接続される複数の端末装置およびサーバからなる撮影システムであって、
前記サーバは、
基準クロックと、
前記複数の端末装置のそれぞれのクロックを、前記サーバの基準クロックに同期させるための処理を行うサーバ同期処理部と、
前記サーバの基準クロックに基づく撮影時刻を示す撮影時刻情報を前記複数の端末装置のそれぞれに前記通信ネットワークを介して送信する情報送信部とを備え、
前記複数の端末装置のそれぞれは、
クロックと、
前記サーバ同期処理部による処理に応じて、当該端末装置のクロックを、前記サーバの基準クロックに同期させる端末同期処理部と、
前記情報送信部から送信される前記撮影時刻情報を、前記通信ネットワークを介して取得する情報取得部と、
前記サーバの基準クロックに既に同期された当該端末装置のクロックに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行う撮影部とを備える
撮影システム。 - クロックと、
前記クロックを基準クロックに同期させる同期処理部と、
前記基準クロックに基づく撮影時刻を示す撮影時刻情報を、通信ネットワークを介して取得する情報取得部と、
前記基準クロックに既に同期された前記クロックに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行う撮影部と
を備える端末装置。 - 基準クロックと、
複数の端末装置のそれぞれのクロックを、前記基準クロックに同期させるための処理を行う同期処理部と、
前記基準クロックに基づく撮影時刻を示す撮影時刻情報を前記複数の端末装置のそれぞれに通信ネットワークを介して送信する情報送信部と
を備えるサーバ。 - クロックと、プロセッサと、カメラと、通信回路を備える装置において、前記プロセッサに実行されるプログラムであって、
前記クロックを基準クロックに同期させる同期ステップと、
前記基準クロックに基づく撮影時刻を示す撮影時刻情報を、通信ネットワークを介して取得する取得ステップと、
前記基準クロックに既に同期された前記クロックに基づいて、前記撮影時刻情報によって示される撮影時刻に前記カメラに撮影させる撮影ステップとを含む
プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016530811A JP6460105B2 (ja) | 2014-06-30 | 2015-05-27 | 撮影方法、撮影システムおよび端末装置 |
US15/390,582 US10205867B2 (en) | 2014-06-30 | 2016-12-26 | Image photographing method performed with terminal device having camera function |
US16/223,982 US10602047B2 (en) | 2014-06-30 | 2018-12-18 | Image photographing method performed with terminal device having camera function |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462018938P | 2014-06-30 | 2014-06-30 | |
US62/018,938 | 2014-06-30 | ||
JP2014265788 | 2014-12-26 | ||
JP2014-265788 | 2014-12-26 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/390,582 Continuation US10205867B2 (en) | 2014-06-30 | 2016-12-26 | Image photographing method performed with terminal device having camera function |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016002130A1 true WO2016002130A1 (ja) | 2016-01-07 |
Family
ID=55018713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/002680 WO2016002130A1 (ja) | 2014-06-30 | 2015-05-27 | 撮影方法、撮影システム、端末装置およびサーバ |
Country Status (3)
Country | Link |
---|---|
US (2) | US10205867B2 (ja) |
JP (1) | JP6460105B2 (ja) |
WO (1) | WO2016002130A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017220789A1 (fr) * | 2016-06-24 | 2017-12-28 | Callegaro Stéphane | Procede de mise a disposition d'images numeriques |
JP2018052474A (ja) * | 2016-09-30 | 2018-04-05 | キヤノンマーケティングジャパン株式会社 | 無人航空機制御システム、その制御方法、及びプログラム |
JP2018088672A (ja) * | 2016-11-21 | 2018-06-07 | パナソニックIpマネジメント株式会社 | 映像伝送システム及びモバイルカメラ機器 |
CN114697466A (zh) * | 2022-03-17 | 2022-07-01 | 杭州海康威视数字技术股份有限公司 | 视频帧采集同步控制 |
JP2022549388A (ja) * | 2020-08-07 | 2022-11-25 | フーヂョウ トンアン エレクトロニック カンパニー リミテッド | 灯具の同期方法および端末 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6773137B2 (ja) * | 2017-01-26 | 2020-10-21 | 日本電気株式会社 | 無線通信装置、無線通信端末、無線通信システム、無線通信方法及びプログラム |
US20180316844A1 (en) * | 2017-05-01 | 2018-11-01 | The United States of America, as represented by the Secretary of the Department of the Interior | System for 3-d mapping and measurement of fluid surface in dynamic motion |
WO2018235258A1 (ja) * | 2017-06-23 | 2018-12-27 | オリンパス株式会社 | 画像伝送システム、撮像端末、表示端末、調整方法、調整補助方法、調整プログラム、および調整補助プログラム |
GB2568678A (en) * | 2017-11-21 | 2019-05-29 | Edesix Ltd | Method of monitoring video |
CN109960957B (zh) | 2017-12-26 | 2022-12-16 | 阿里巴巴集团控股有限公司 | 残缺二维码及其生成、修复和识别方法、装置及*** |
JP7132730B2 (ja) * | 2018-03-14 | 2022-09-07 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
US11405594B2 (en) | 2018-04-30 | 2022-08-02 | Inhandplus Inc. | Method for detecting event of object by using wearable device and management server operating same |
US10733761B2 (en) | 2018-06-29 | 2020-08-04 | Zoox, Inc. | Sensor calibration |
US10298910B1 (en) * | 2018-06-29 | 2019-05-21 | Zoox, Inc. | Infrastructure free intrinsic calibration |
CN111556280A (zh) * | 2019-02-12 | 2020-08-18 | 昆山纬绩资通有限公司 | 设备状态监控方法与*** |
WO2020188699A1 (ja) * | 2019-03-18 | 2020-09-24 | 株式会社ソニー・インタラクティブエンタテインメント | 受信装置、通信システム、プログラム及び受信方法 |
CN113785558B (zh) * | 2019-05-07 | 2024-01-05 | 掌中加有限公司 | 利用摄像头模块和无线通信设备检测事件的可穿戴设备 |
EP3748951B1 (de) * | 2019-06-06 | 2023-02-15 | Siemens Aktiengesellschaft | Bestimmung einer abweichung einer zeit einer kamera von einer zeit eines zeitgebers |
US11032447B2 (en) * | 2019-07-08 | 2021-06-08 | Sling Media Pvt. Ltd. | Method and system for automatically synchronizing audio-video inputs in a multi camera environment |
CN111918085B (zh) * | 2020-08-06 | 2024-05-28 | 腾讯科技(深圳)有限公司 | 直播处理方法、装置、电子设备及计算机可读存储介质 |
KR102344338B1 (ko) | 2020-08-19 | 2021-12-29 | 인핸드플러스 주식회사 | 약물 이행 모니터링 시스템 및 이를 이용하는 장치 |
CN113905174B (zh) * | 2021-09-18 | 2024-07-19 | 咪咕文化科技有限公司 | 拍照姿势推荐方法、装置、设备以及计算机可读存储介质 |
CN114125301B (zh) * | 2021-11-29 | 2023-09-19 | 卡莱特云科技股份有限公司 | 一种虚拟现实技术拍摄延迟处理方法及装置 |
EP4322534A1 (en) * | 2022-08-12 | 2024-02-14 | Rami Khatib | Methods for viewing recorded events |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002033951A (ja) * | 2000-07-18 | 2002-01-31 | Casio Comput Co Ltd | 電子カメラ及び撮影方法 |
JP2005130030A (ja) * | 2003-10-21 | 2005-05-19 | Olympus Corp | 携帯電話機 |
JP2008219292A (ja) * | 2007-03-01 | 2008-09-18 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
JP2008311791A (ja) * | 2007-06-12 | 2008-12-25 | Panasonic Corp | 映像撮影装置および映像記録再生装置 |
WO2012120763A1 (ja) * | 2011-03-09 | 2012-09-13 | 日立コンシューマエレクトロニクス株式会社 | 映像送信装置、映像送信方法、映像受信装置、および映像受信方法 |
JP2013011928A (ja) * | 2011-06-28 | 2013-01-17 | Nippon Telegr & Teleph Corp <Ntt> | イベント情報収集方法、イベント情報収集装置及びイベント情報収集プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040183915A1 (en) * | 2002-08-28 | 2004-09-23 | Yukita Gotohda | Method, device, and program for controlling imaging device |
FI20031657A (fi) * | 2003-11-14 | 2005-05-15 | Nokia Corp | Langaton monikamerajärjestelmä |
US7701487B2 (en) * | 2005-08-26 | 2010-04-20 | Sony Corporation | Multicast control of motion capture sequences |
JP5213045B2 (ja) | 2008-12-02 | 2013-06-19 | 国立大学法人東北大学 | 視覚センサ同期装置および視覚センサ同期方法 |
JP5271693B2 (ja) | 2008-12-25 | 2013-08-21 | Kddi株式会社 | グループ識別子生成システム、識別サーバ、グループ識別子生成方法、アプリケーションサービスシステム及びコンピュータプログラム |
US8704903B2 (en) * | 2009-12-29 | 2014-04-22 | Cognex Corporation | Distributed vision system with multi-phase synchronization |
JP2011223359A (ja) * | 2010-04-09 | 2011-11-04 | Sony Corp | 遅延制御装置、制御方法、及び通信システム |
JP2013040796A (ja) * | 2011-08-11 | 2013-02-28 | Sony Corp | 電子機器と時刻同期方法およびプログラム |
US9210300B2 (en) | 2011-12-19 | 2015-12-08 | Nec Corporation | Time synchronization information computation device for synchronizing a plurality of videos, time synchronization information computation method for synchronizing a plurality of videos and time synchronization information computation program for synchronizing a plurality of videos |
KR101975971B1 (ko) * | 2012-03-19 | 2019-05-08 | 삼성전자주식회사 | 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법 |
US20160094773A1 (en) * | 2014-09-29 | 2016-03-31 | Apple Inc. | Collaborative Image Collection And Processing Using Portable Cameras |
-
2015
- 2015-05-27 WO PCT/JP2015/002680 patent/WO2016002130A1/ja active Application Filing
- 2015-05-27 JP JP2016530811A patent/JP6460105B2/ja active Active
-
2016
- 2016-12-26 US US15/390,582 patent/US10205867B2/en active Active
-
2018
- 2018-12-18 US US16/223,982 patent/US10602047B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002033951A (ja) * | 2000-07-18 | 2002-01-31 | Casio Comput Co Ltd | 電子カメラ及び撮影方法 |
JP2005130030A (ja) * | 2003-10-21 | 2005-05-19 | Olympus Corp | 携帯電話機 |
JP2008219292A (ja) * | 2007-03-01 | 2008-09-18 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
JP2008311791A (ja) * | 2007-06-12 | 2008-12-25 | Panasonic Corp | 映像撮影装置および映像記録再生装置 |
WO2012120763A1 (ja) * | 2011-03-09 | 2012-09-13 | 日立コンシューマエレクトロニクス株式会社 | 映像送信装置、映像送信方法、映像受信装置、および映像受信方法 |
JP2013011928A (ja) * | 2011-06-28 | 2013-01-17 | Nippon Telegr & Teleph Corp <Ntt> | イベント情報収集方法、イベント情報収集装置及びイベント情報収集プログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017220789A1 (fr) * | 2016-06-24 | 2017-12-28 | Callegaro Stéphane | Procede de mise a disposition d'images numeriques |
FR3053147A1 (fr) * | 2016-06-24 | 2017-12-29 | Stephane Callegaro | Procede de mise a disposition d'images numeriques |
JP2018052474A (ja) * | 2016-09-30 | 2018-04-05 | キヤノンマーケティングジャパン株式会社 | 無人航空機制御システム、その制御方法、及びプログラム |
JP2018088672A (ja) * | 2016-11-21 | 2018-06-07 | パナソニックIpマネジメント株式会社 | 映像伝送システム及びモバイルカメラ機器 |
JP7029586B2 (ja) | 2016-11-21 | 2022-03-04 | パナソニックIpマネジメント株式会社 | 映像伝送システム及びモバイルカメラ機器 |
JP2022549388A (ja) * | 2020-08-07 | 2022-11-25 | フーヂョウ トンアン エレクトロニック カンパニー リミテッド | 灯具の同期方法および端末 |
JP7266221B2 (ja) | 2020-08-07 | 2023-04-28 | フーヂョウ トンアン エレクトロニック カンパニー リミテッド | 灯具の同期方法および端末 |
CN114697466A (zh) * | 2022-03-17 | 2022-07-01 | 杭州海康威视数字技术股份有限公司 | 视频帧采集同步控制 |
CN114697466B (zh) * | 2022-03-17 | 2023-10-13 | 杭州海康威视数字技术股份有限公司 | 视频帧采集同步控制 |
Also Published As
Publication number | Publication date |
---|---|
US10205867B2 (en) | 2019-02-12 |
JP6460105B2 (ja) | 2019-01-30 |
US20170111565A1 (en) | 2017-04-20 |
US20190124254A1 (en) | 2019-04-25 |
JPWO2016002130A1 (ja) | 2017-04-27 |
US10602047B2 (en) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6460105B2 (ja) | 撮影方法、撮影システムおよび端末装置 | |
CN107534789B (zh) | 影像同步装置及影像同步方法 | |
WO2018030206A1 (ja) | カメラワーク生成方法及び映像処理装置 | |
CN110495163B (zh) | 摄像***以及校正方法 | |
CN112954295B (zh) | 多视点摄像***、三维空间重构***及三维空间识别*** | |
JP7223978B2 (ja) | 校正装置および校正方法 | |
JP6607433B2 (ja) | 映像配信方法及びサーバ | |
JP6598109B2 (ja) | 映像受信方法及び端末装置 | |
WO2017134706A1 (ja) | 映像表示方法及び映像表示装置 | |
WO2018181248A1 (ja) | 撮像システムおよび校正方法 | |
US10277832B2 (en) | Image processing method and image processing system | |
JP2017139725A (ja) | 映像表示方法及び映像表示装置 | |
US20170048334A1 (en) | Method for sharing photographed images between users | |
WO2015159487A1 (ja) | 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム | |
WO2015194082A1 (ja) | 画像処理方法および画像処理システム | |
WO2015182034A1 (ja) | 画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15815077 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2016530811 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15815077 Country of ref document: EP Kind code of ref document: A1 |