WO2020063307A1 - 监控摄影设备的方法、云台***及移动设备 - Google Patents

监控摄影设备的方法、云台***及移动设备 Download PDF

Info

Publication number
WO2020063307A1
WO2020063307A1 PCT/CN2019/104872 CN2019104872W WO2020063307A1 WO 2020063307 A1 WO2020063307 A1 WO 2020063307A1 CN 2019104872 W CN2019104872 W CN 2019104872W WO 2020063307 A1 WO2020063307 A1 WO 2020063307A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture frame
control command
photographing device
video
target image
Prior art date
Application number
PCT/CN2019/104872
Other languages
English (en)
French (fr)
Inventor
张元元
郑庆伟
廖广军
李泽
Original Assignee
桂林智神信息技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 桂林智神信息技术股份有限公司 filed Critical 桂林智神信息技术股份有限公司
Publication of WO2020063307A1 publication Critical patent/WO2020063307A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to the field of photographic technology, and in particular, to a method for monitoring photographic equipment, a gimbal system, and a mobile device.
  • the pan / tilt system is usually used to assist photographic equipment (such as cameras, camcorders, etc.) for video recording and photo shooting.
  • the pan / tilt system includes a connection device for fixing the photography equipment and a power device connected to the connection device.
  • the movement of the three shafts and the connecting arm between the shafts can drive the connecting device to move, and then drive the photographic equipment fixed on the connecting device to move.
  • users can also place the gimbal system out of its visible range or touchable range for video recording or photo shooting.
  • a method for monitoring a photographing device wherein the photographing device is fixed to a gimbal system, and the method includes: receiving an encoded control command; Decode the encoded control command to obtain the control command; and perform an operation on the photographic device and / or an operation on the PTZ system according to the control command.
  • the operation of the photographing device includes: modifying a photographing parameter of the photographing device, and / or controlling a working state of the photographing device.
  • Controlling the working state of the photographing device includes: opening or closing the photographing device, taking a picture, starting a video recording, ending a video recording, and / or changing a working mode of the photographing device.
  • the operation of the pan / tilt head system includes: controlling a working state of the pan / tilt head system, and / or changing a posture of the photographing device by controlling a movement of a power device in the pan / tilt head system, wherein the The movement of the power unit in the gimbal system drives the photographic equipment to move.
  • Controlling the working state of the PTZ system includes: turning the PTZ system on or off, and / or changing the working mode of the PTZ system.
  • the above method further includes: receiving a video and / or picture collected by the photographing device; and transmitting the received video and / or picture.
  • Sending the received video includes: calculating the encapsulated size of the picture frame in the video; estimating the sending frequency according to the bandwidth of the connection used to send the video and the encapsulated size of the picture frame; The sending frequency collects picture frames in the video, encapsulates the captured picture frames, and sends the encapsulated picture frames, wherein the encapsulated picture frames include a sending time of the picture frames.
  • the above method further includes: acquiring relevant information of the photographing device, sending relevant information of the photographing device; and / or acquiring relevant information of the PTZ system, and sending relevant information of the PTZ system.
  • the related information of the photographing device includes: a working mode of the photographing device, a photographing parameter of the photographing device, and / or a power amount of the photographing device.
  • the related information of the PTZ system includes: a working mode of the PTZ system, and / or a power amount of the PTZ system.
  • the above method further includes: obtaining a model of the photographing device; finding a control protocol corresponding to the model according to the model of the photographing device; and when the decoded control command instructs to perform an operation on the photographing device, according to the The control command and the found control protocol perform operations on the photographing device.
  • performing operations on the photographing device according to the control command and the found control protocol includes: converting the control command according to the found control protocol, so that the control command obtained after the conversion is related to the photographing The devices are compatible; the control command obtained after the conversion is sent to the photographing device.
  • the above method further comprises: judging whether the control command conflicts with the working state of the PTZ system, discarding the control command if it conflicts; and / or judging whether the control command is consistent with the working state of the photographing device Collisions, if not, the control command is discarded.
  • performing an operation on the photographic device and / or an operation on the PTZ system according to the control command includes: merging a plurality of control commands over a period of time to obtain a combined control command; and The merged control command performs an operation on the photographing device and / or performs an operation on the pan / tilt system; wherein the effect obtained by performing the operation according to the merged control command is different from the period of time respectively Multiple control commands within the same operation.
  • the encoded control command is received via the first connection and the received video and / or picture is transmitted; and when the first connection is disconnected, the encoded control command is received via the second connection and the received control is transmitted. Videos and / or pictures.
  • the first connection is a WiFi connection
  • the second connection is a Bluetooth connection.
  • a pan / tilt head system in which a photographing device is fixed to the pan / tilt head system, and the pan / tilt head system includes: a control module for receiving a coded control command; The encoded control command is decoded to obtain the control command; and, according to the control command, an operation on the photographing device and / or an operation on the PTZ system are performed.
  • the above-mentioned pan / tilt system further includes: a picture transmission module for receiving videos and / or pictures collected by the photographing device; and transmitting the received videos and / or pictures.
  • the image transmission module is configured to: calculate the encapsulated size of the picture frame in the video; estimate the sending frequency according to the bandwidth of the connection used to send the video and the encapsulated size of the picture frame; and The sending frequency collects picture frames in the video, encapsulates the captured picture frames, and sends the encapsulated picture frames, where the encapsulated picture frames include a sending time of the picture frames.
  • control module is further configured to: obtain relevant information of the photographing device, and send relevant information of the photographing device; and / or obtain relevant information of the PTZ system, and send the PTZ Information about the system.
  • the aforementioned PTZ system further includes: a storage module for storing a control protocol; the control module is further configured to: obtain a model of the photographing device; find a control protocol corresponding to the model according to the model of the photographing device; and When the decoded control command instructs to perform an operation on the photographing device, the operation on the photographing device is performed according to the control command and the found control protocol.
  • the control module is configured to: convert the control command according to the found control protocol, so that the control command obtained after the conversion is compatible with the photographing device; and send the control command obtained after the conversion. To the photographic equipment.
  • control module is further configured to: determine whether the control command conflicts with the working state of the PTZ system, and discard the control command if there is a conflict; and / or determine whether the control command Conflicts with the working state of the photographing device, and discards the control command if there is a conflict.
  • the control module is further configured to: combine a plurality of control commands in a period of time to obtain a combined control command; and perform an operation on the photographing device and / or perform an operation on the photography device according to the combined control command.
  • the operation of the PTZ system wherein the effect obtained by performing the operation according to the combined control command is the same as the effect obtained by performing the operation according to the multiple control commands respectively within the period of time.
  • the control module receives the encoded control command via a first connection, and the image transmission module sends the received video and / or picture via the first connection; when the first connection is disconnected When on, the control module receives the encoded control command via a second connection, and the image transmission module sends the received video and / or picture via the second connection.
  • a method for monitoring a photographing device wherein the photographing device is fixed to a pan / tilt head system, and the method includes: receiving a control command input by a user; and encoding the control command, And sending an encoded control command, wherein the control command is used to perform an operation on the photographing device and / or perform an operation on the PTZ system.
  • the above method further includes: receiving a video and / or picture collected by the photographing device; and displaying the received video and / or picture.
  • a video collected and processed by the photographing device is received, wherein the video is composed of an encapsulated picture frame; the received encapsulated picture frame is decapsulated to obtain a picture frame and the picture frame.
  • Sending time comparing the sending time of the picture frame with the sending time of the previously displayed picture frame, if the former is earlier than the latter, the picture frame is discarded, otherwise the picture frame is displayed.
  • the above method further includes: demultiplexing the received data including videos and / or pictures to obtain the videos and / or pictures.
  • the above method further includes: receiving related information of the photographing device, and displaying related information of the photographing device; and / or receiving related information of the PTZ system, and displaying related information of the photographing device.
  • a mobile device including: one or more switches for receiving a control command input by a user; a processing module for encoding the control command, and transmitting the encoded A control command, wherein the control command is used to perform an operation on a photographing device and / or an operation on a PTZ system.
  • the processing module is further configured to receive a video and / or picture collected by the photographing device; the mobile device further includes a display module for displaying the received video and / or picture.
  • the processing module is configured to: receive and process the video collected by the photographing device (11), where the video is composed of encapsulated picture frames; and for the received encapsulated picture frames Perform decapsulation to obtain the picture frame and the sending time of the picture frame; and compare the sending time of the picture frame with the sending time of the previously displayed picture frame, and if the former is earlier than the latter, discard the picture frame , Otherwise, the picture frame is displayed by the display module.
  • the processing module is further configured to demultiplex the received data including video and / or picture to obtain the video and / or picture.
  • the processing module is further configured to receive related information of the photographing device, and / or receive related information of the PTZ system; and the display module is further configured to display related information of the photographing device, And / or display related information of the PTZ system.
  • the display module is a touch screen
  • the one or more switches are virtual switches on the touch screen.
  • a method for monitoring a photographing device wherein the photographing device is fixed to a gimbal system, and the method includes:
  • Step 1) receiving a video and displaying the received video
  • Step 2) receiving a user-entered instruction to enter tracking shooting
  • Step 3) Obtain an area selected by the user on a frame of a picture in the displayed video
  • Step 4) extracting the features of the target image in the frame selection area, and obtaining the position of the target image in the picture frame;
  • Step 5 Calculate a position difference between the target image and the center of the picture frame, and determine a first control command according to the position difference, where the first control command is used to perform an operation on the PTZ system to make the target The image is close to the center of the picture frame;
  • Step 6 encode the first control command and send the encoded first control command, wherein the first control command is used to perform an operation on the PTZ system.
  • the above method also includes:
  • Step 7) Use the next picture frame in the displayed video as the current picture frame
  • Step 8) extracting the features of the current picture frame, matching the extracted features with the features of the target image to obtain the position of the target image in the current picture frame;
  • Step 9) Calculate the position difference of the target image between the current picture frame and the previous picture frame or calculate the position difference of the target image and the center of the picture frame in the current picture frame, and determine a second control command according to the position difference.
  • the second control command is used to perform an operation on the pan / tilt system to bring the target image closer to the center of a picture frame;
  • Step 10 encode the second control command and send the encoded second control command, wherein the second control command is used to perform an operation on the PTZ system;
  • Step 11 If no instruction for exiting the tracking shooting input by the user is received, return to step 7).
  • step 11) includes:
  • step 7 If no user-entered instruction to quit tracking shooting is received, it is inferred whether the target image is outside the next picture frame according to the position of the target image in the historical picture frame, if it is inferred that it is outside the next picture frame , Then return to step 7), otherwise skip the next picture frame, use the picture frame after the next picture frame as the current picture frame and return to step 8).
  • inferring whether the target image is outside the next picture frame according to the position of the target image in the historical picture frame includes: calculating a displacement amount of the target image in the historical picture frame each time; The obtained displacement amount is averaged; based on the position of the target image in the current picture frame and the average value of the displacement amount, it is estimated whether the target image will be moved outside the picture frame in the next picture frame.
  • the above method further comprises: converting a picture frame in the received video into a picture frame in YUV format, and displaying the picture frame in YUV format.
  • Step 3) includes: converting the frame selection area into a grayscale image; performing a scaling operation on the grayscale image; and extracting features of the target image in the frame selection area after conversion and scaling, and obtaining the target image Position in the picture frame;
  • step 8) includes: converting the current picture frame into a grayscale image; performing a scaling operation on the grayscale image; and extracting the features of the picture frame after conversion and scaling, and extracting the extracted The features are matched with the features of the target image to obtain the position of the target image in the current picture frame.
  • features are extracted using SIFT algorithm and / or optical flow method.
  • a mobile device including: a processing module for receiving a video; extracting features of a target image in a frame selection area, and obtaining a position of the target image in a picture frame; calculation A position difference between the target image and the center of the picture frame, and a first control command is determined according to the position difference, wherein the first control command is used to perform an operation on the PTZ system to bring the target image close to the picture frame A center; and encoding the first control command and transmitting the encoded first control command, wherein the first control command is used to perform an operation on the PTZ system; a switch is used to receive an entry entered by a user An instruction for tracking shooting and an instruction for exiting tracking shooting; a display module for displaying the received video; and obtaining an area framed by the user on a picture frame in the displayed video.
  • the processing module is further configured to use the next picture frame in the video displayed by the display module as the current picture frame; extract features of the current picture frame, and compare the extracted features with those of the target image. Feature matching to obtain the position of the target image in the current picture frame; calculate the position difference of the target image between the current picture frame and the previous picture frame or calculate the target image and picture in the current picture frame.
  • the position difference of the frame center, and a second control command is determined according to the position difference, wherein the second control command is used to perform an operation on the PTZ system to bring the target image close to the center of the picture frame;
  • Two control commands are encoded, and an encoded second control command is sent, wherein the second control command is used to perform an operation on the PTZ system; the processing module repeats the above process until the switch receives user input Instructions for exiting a tracking shoot.
  • the processing module is further configured to infer whether the target image is located outside the next picture frame according to the position of the target image in the historical picture frame.
  • the processing module is further configured to convert a picture frame in the received video into a picture frame in YUV format; and the display module is used to display the picture frame in YUV format.
  • the processing module is further configured to convert the frame selection area into a grayscale image; perform a scaling operation on the grayscale image; and convert the current picture frame into a grayscale image; Perform zoom operation.
  • a method for monitoring a photographing device wherein the photographing device is fixed to a gimbal system, and the method includes:
  • Step b) acquiring a posture of the mobile device
  • Step c) determining a control command according to the posture of the mobile device, wherein the control command is used to perform an operation on the pan / tilt system to bring the photographing device to a posture consistent with the posture of the mobile device;
  • Step d) encode the control command and send the encoded control command, wherein the control command is used to perform an operation on the PTZ system.
  • the above method further includes: step e) if no instruction for exiting the somatosensory mode input by the user is received, return to step b).
  • a mobile device including: a switch for receiving a user input instruction for entering the body sensory mode and an instruction for exiting the body sensory mode; an attitude sensing module for acquiring the mobile device's An attitude; and a processing module, configured to determine a control command according to the attitude of the mobile device, wherein the control command is used to perform an operation on the pan / tilt system to bring the photographing device to the attitude of the mobile device Consistent attitude; and encoding the control command and transmitting the encoded control command, wherein the control command is used to perform an operation on the PTZ system.
  • the present invention has the following beneficial effects:
  • the photographing device When the photographing device is outside the user's visible range or outside the user's touchable range, the user can still know the video / picture captured by the photographing device in real time and control the photographing device to achieve the desired shooting Effect, which facilitates the user's shooting work.
  • the user can control the photographic device to track the target image, and can control the posture of the photographic device by controlling the posture of the mobile device, further improving the user experience.
  • FIG. 1 is a structural block diagram of a pan / tilt system according to an embodiment of the present invention
  • FIG. 2 is a perspective view of a pan / tilt system according to an embodiment of the present invention.
  • FIG. 3 is a top view of a mobile device according to an embodiment of the present invention.
  • FIG. 4 is a flowchart of a method for establishing a connection between a PTZ system and a mobile device according to an embodiment of the present invention
  • FIG. 5 is a structural block diagram of a mobile device according to an embodiment of the present invention.
  • FIG. 6 is a flowchart of a method for monitoring a photographing device according to an embodiment of the present invention.
  • FIG. 7 is a structural block diagram of a mobile device according to another embodiment of the present invention.
  • a pan / tilt head system is provided, and a photographing device is fixed on the pan / tilt head system.
  • the PTZ system 10 includes a control module 101, a video transmission module 102, a USB interface 103, a WiFi module 104, a power device 105, a connection device 106, and a handle (not shown).
  • the connection device 106 of the pan / tilt system 10 is used to fix the photographic equipment 11 and is connected to the power device 105 (see FIG. 2, which shows an embodiment of the connection relationship between the connection device 106 and the power device 105), specifically, as As shown in FIG. 2, the connecting device 106 is connected to a shaft 1051 in the power device 105.
  • the shaft 1051 drives the connecting device 106 to move, and then drives the photographic equipment 11 fixed on the connecting device 106 to move.
  • the image transmission module 102 and the control module 101 in the PTZ system 10 perform data communication with the photographing device 11 via the USB interface 103, and perform data communication with the mobile device 12 via the WiFi module 104.
  • the user can transmit the video or pictures captured by the photography device 11 in real time to the mobile device 12 through the PTZ system 10 for viewing on the mobile device 12; similarly, the user can receive the user on the mobile device 12 through the PTZ system 10
  • the control instruction input on the basis of the operation of the photographing device 11 or the PTZ system 10 is performed according to the control instruction.
  • the image transmission module 102 and the control module 101 in the PTZ system 10 are described in detail below with reference to FIG. 1:
  • the image transmission module 102 is connected to the photography device 11 via the USB interface 103, and is connected to the mobile device 12 via the WiFi module 104.
  • the image transmission module 102 is used to receive the video from the photography device 11 and captured by the photography device 11 in real time through the USB connection or A picture, and send the received video or picture to the mobile device 12 through a WiFi connection, which is displayed to the user by the mobile device 12.
  • control module 101 is also connected to the photographing device 11 via the USB interface 103 and is connected to the mobile device 12 via the WiFi module 104.
  • the control module 101 is configured to receive a control command from the mobile device 12 through a WiFi connection, and perform an operation on the photographing device 11 or an operation on the PTZ system 10 itself according to the control command.
  • the user inputs a control command through a display module of the mobile device 12 (such as a virtual button, a virtual wheel, a virtual toggle button, etc.) on the display module, and the control command is used to instruct the camera device 11 or the PTZ system 10 Operation;
  • the mobile device 12 encodes the control command according to a predetermined protocol, and sends the encoded data (referred to as encoded data) to the control module 101 in the PTZ system 10 through a WiFi connection.
  • FIG 3 shows an embodiment of a display module of the mobile device 12, wherein when the user presses the virtual button 11, that is, a control command for starting / ending recording of the photographing device 11 is input, the mobile device 12 will generate the format of Table 1 One piece of encoded data 07c02000360423 is sent to the control module 101 in the PTZ system 10.
  • c indicates that the encoded data contains the control command; the channel, address, index, and related parameters are related to the specific control command and indicate the operation the user desires to perform; the check CRC is used to perform error detection.
  • the control module 101 After receiving the encoded data, the control module 101 decodes the encoded data according to a predetermined protocol, thereby obtaining a control command, and performs a corresponding operation according to the control command. Among them, if the control command indicates to perform an operation on the photographing device 11, the control module 101 controls the photographing device 11 via the USB interface 103, including: modifying shooting parameters of the photographing device 11 (such as aperture, shutter time, ISO, etc.) Etc.), control the working state of the photographic device 11 (for example, turn on / off the photographic device 11, take a picture, start recording, end recording, change the operating mode of the photographic device 11, etc., such as P, A, S, M mode); if control The command indicates that the PTZ system 10 is operated, and the control module 101 (for example, via the main control module, which is used to control the power unit 105) controls the PTZ system 10, including: controlling the cloud Working state of the platform system 10 (for example, turning on or off the PTZ system, changing the working mode of the PTZ
  • the user can view the photographing device 11 on the mobile device 12.
  • the current shooting effect, and the ability to control the shooting device 11 and the PTZ system 10 through the mobile device 12 facilitates the user's shooting work.
  • the image transmission module 102 directly transmits (unprocessed) the video from the photographic device 11 to the mobile device 12 without operation, that is, each time a picture frame arrives, the video is transmitted.
  • Picture frames It should be understood that a video consists of picture frames).
  • the image transmission module 102 performs the following operations:
  • the image transmission module 102 collects one picture frame every y / x seconds, and sends the collected picture frame to the mobile device via the WiFi module 104 12.
  • the image transmission module 102 before transmitting the picture frame, the image transmission module 102 further encapsulates the sending time into the picture frame. Therefore, the mobile device 12 can obtain the sending time of the picture frame through decapsulation, and according to Send time to rearrange the received picture frames, or discard some picture frames, so as to better play to the user. It should be noted that if the image transmission module 102 sends an encapsulated picture frame, the transmission frequency needs to be calculated according to the size of the encapsulated picture frame and the bandwidth of the WiFi connection. In addition, each image frame received may be encapsulated when the image transmission module 12 receives the video, or only the image frames to be transmitted may be encapsulated before transmission.
  • the video or picture usually includes some parameter information (such as resolution, aperture, shutter time, etc.) of the photographing device 11 when collecting the video or picture. Therefore, the mobile device 12 can receive the video or picture from the received video or picture. These parameter information are extracted and displayed to the user together with the video or picture (see 16 in FIG. 3), so the user can know some current parameter information of the photographing device 11.
  • the control module 101 can obtain some current information about the photographing device 11 (for example, the working mode of the photographing device 11, the shooting parameters of the photographing device 11, the power of the photographing device 11, etc.) via the USB interface 103. And transmitted to the mobile device 12 via the WiFi module 104 for display to the user.
  • the method for acquiring the related information of the video device 11 includes: the control module 101 sends a request to the photo device 11 via the USB interface 103 and receives the related information returned by the photo device 11.
  • the control module 101 in addition to sending the current related information of the photography device 11 to the mobile device 12, the control module 101 can also obtain the current related information of the PTZ system 10 and send it to the mobile device 12 via the WiFi module 104 for display to the user
  • the current related information of the PTZ system 10 includes the current power of the PTZ system 10, the working mode of the PTZ system 10, and so on. The user can thereby obtain the current related information of the PTZ system 10 (see 4, 8 in FIG. 3). Wait). Display the current relevant information of the photography device 11 and the PTZ system 10 to the user.
  • the user can also know the current status of the photography device 11 and the PTZ system 10, so that they can issue correct control commands. This further facilitates the user's shooting work.
  • the control module 101 performs operations on the photographing device 11 according to a control command.
  • the PTZ system 10 further includes a storage module (not shown in FIG. 1), and the storage module stores a plurality of types of photographic equipment. Corresponding control protocol.
  • the control module 101 sends a model request to the photographing device 11 and obtains the model information of the photographing device 11.
  • the model information can be stored in the storage module.
  • control module 101 After the control module 101 receives the encoded data from the mobile device 12 and decodes it to obtain a control command; if the control command instructs the camera device to be operated, the control module 101 searches the storage module for model information of the current camera device 11 and A control protocol corresponding to the model information is acquired, and then the photographing device 11 is controlled according to the acquired control protocol and control command. Specifically, the control module 101 converts the control command according to the control protocol, so that the control command obtained after the conversion is compatible with the current photographing device 11, and then sends the converted control command to the photographing device 11. In this way, the PTZ system 10 can be compatible with a variety of photographic equipment, and has a wider application range.
  • control module 101 and the image transmission module 102 are both connected to the photographing device 11 through a USB connection, and both are connected to the mobile device 12 through a WiFi connection.
  • the time-division multiplexing technology can be used to multiplex the connection channels. At the mobile device 12, the received data needs to be demultiplexed first.
  • control module 101 can merge and filter the control commands, on the one hand, reducing the occupation of the connection channel (for example, the USB connection needs to be occupied when performing operations on the photography device 11), and on the other hand, You can discard some useless operations.
  • the control module 101 performs a merge operation on the control command within a period of time (for example, the control module 101 first receives a control command that sets ISO to 100, and then receives a user instruction that sets ISO to 200 within this period of time Then, the control module 101 combines these two control commands to set ISO to 200), and performs operations on the photographing device 11 or operations on the PTZ system 10 according to the combined control commands.
  • the merging operation requires that the effect obtained according to the merged control command is the same as the effect obtained according to the plurality of control commands in the period of time.
  • the control command may also conflict with the current working status of the photographic device 11 or the PTZ system 10, for example, the PTZ system 10 is in the lock mode and the user instructs to rotate the photographic device 11; the control module 101 can learn the photographic device 11 and the PTZ system 10
  • the current working state (such as the working mode)
  • the control module 101 can determine whether the control command (the operation to be performed on the PTZ system 10 or the photographing device 11) conflicts with the current state of the PTZ system 10 or the photographing device 11, and if there is a conflict
  • the control command is discarded, that is, the control command is filtered.
  • one or more connections can be added between the photography device 11 and the PTZ system 10, and one or more connections can be added between the PTZ system 10 and the mobile device 12, thereby reducing the USB connection channel and WiFi connection. Channel competition.
  • the camera 11 is connected to the control module 101 through one USB interface and the image transmission module 102 through another USB interface.
  • the PTZ system may further include a Bluetooth module. Referring to FIG. 4, after the PTZ system 10 is turned on, system resources of the PTZ system 10 are initialized, including initializing the Bluetooth module (and WiFi module), and simultaneously turning on the Bluetooth module (and WiFi module) of the mobile device 12 and the PTZ system.
  • the mobile device 12 checks the WiFi status of the PTZ system 10 through a Bluetooth connection (it should be understood that the Bluetooth connection also provides model information to assist users to connect to WiFi),
  • the WiFi is connected to the PTZ system 10 through a WiFi connection.
  • the WiFi connection is detected to be disconnected, the mobile device 12 uses the Bluetooth module to connect to the PTZ system 10 again.
  • the WiFi module 104 is used to connect the PTZ system 10 and the mobile device 12 again.
  • the present invention is not limited to the specific interfaces, connection methods, modules, coding protocols, etc. mentioned in the above embodiments.
  • the UART technology or other wired data transmission technology may be used to connect the photographing device 11 and the PTZ system 10, and the photographing device 11 and the PTZ system 10 may even be connected through wireless technology.
  • the mobile device 12 may also be connected to the PTZ system 10 through a wired connection method (such as a USB connection).
  • control module 101 and image transmission module 102 may be implemented on one chip, or may be implemented on multiple chips.
  • a method for monitoring photographing equipment is provided.
  • the photographing equipment is fixed to the gimbal system (a connection device fixed to the gimbal system), and the gimbal system includes a picture transmission module and a control module.
  • the method for monitoring photographic equipment includes:
  • Step 1 The video transmission module in the PTZ system receives the video or picture collected by the photography equipment and sent in real time;
  • Step 2 The image transmission module sends the received video or picture to the mobile device, and the mobile device displays it to the user;
  • Step 3 The control module in the PTZ system receives the encoded data sent by the user through the mobile device, and the encoded data is obtained by encoding the control command input by the user on the mobile device through the display module according to a predetermined encoding protocol;
  • Step 4 The control module decodes the received encoded data to obtain a control command; performs operations on the photographic equipment or performs operations on the PTZ system according to the control commands.
  • step 2 includes:
  • Step 21 The image transmission module calculates the encapsulated size of the picture frame in the received video
  • Step 22 The image transmission module estimates the transmission frequency according to the bandwidth of the connection used to send the video (such as the bandwidth of the WiFi connection) and the size of the encapsulated picture frame;
  • Step 23 Collect the picture frames in the video according to the sending frequency, encapsulate the collected picture frames, and send the encapsulated picture frames, where the encapsulated picture frames include the sending time of the picture frames.
  • the above method further includes:
  • the control module in the PTZ system obtains the current relevant information of the photographic equipment and the current relevant information of the PTZ system, and sends the acquired relevant information to the mobile device for display to the user.
  • the above method further includes:
  • the model of the photographic equipment is obtained by the control module of the PTZ system;
  • the control module searches the storage module of the PTZ system for the control protocol corresponding to the model
  • control command instructs to perform an operation on the photographing device
  • the operation on the photographing device is performed according to the found control protocol and the control command.
  • step 4 further includes:
  • step 4 further includes: determining by the control module of the PTZ system whether the control command conflicts with the working state of the PTZ system, and discarding the control command if the conflict occurs; and determining whether the control command is inconsistent with the The working status conflicts, and the control command is discarded if there is a conflict.
  • step 4 further includes: merging a plurality of control commands within a period of time by the control module of the PTZ system; and performing operations on the photographic equipment or performing operations on the PTZ system according to the combined control commands. Operation; wherein the effect obtained according to the combined control command is the same as the effect obtained according to multiple control commands during this period.
  • control module receives the code via a WiFi connection and the image transmission module sends the received video or picture via the WiFi connection; when the WiFi connection is disconnected, the control module receives the encoded data via the Bluetooth connection and the image transmission module The received video or picture is also sent via the Bluetooth module.
  • the mobile device 12 includes a display module 122 and a processing module 121.
  • the display module 122 is a touch screen. On the one hand, it can display videos, pictures, icons, and so on. User interaction switches such as keys, virtual wheels, and virtual toggle buttons.
  • the processing module 121 receives the video or picture from the PTZ system through a WiFi module (not shown), and sends it to the display module 122, which displays the video or picture from the PTZ system to the user.
  • the user can know the current shooting effect of the shooting device, and can change the shooting effect by performing some operations on the shooting device or the PTZ system.
  • the user can input his control command by pressing a user interaction switch provided on the display module 122.
  • the processing module 121 receives the control command, and encodes the control command with a predetermined encoding protocol to obtain encoded data. Then, the processing module 121 sends the encoded data to the PTZ system through the WiFi module.
  • the processing module 121 sends the picture frames in the received video to the display module 122 for display.
  • the received data may be encapsulated picture frames.
  • the processing module 121 decapsulates the received encapsulated picture frame to obtain the picture frame and the sending time of the picture frame; then compares the sending time of the picture frame with the previous one on the display module 122 The sending time of the displayed picture frame. If the former is earlier than the latter, the picture frame is discarded, otherwise the picture frame is sent to the display module 122 for display.
  • the processing module 121 of the mobile device 12 may also receive the current related information of the photographic device and the current related information of the PTZ system. After receiving the relevant information, the processing module 121 of the mobile device 12 sends the relevant information to the display module 122 for display, so that the user can know the current working status of the photographic equipment and the PTZ system, and can issue correct control. command.
  • the processing module 121 also needs to perform a demultiplexing operation when receiving the data.
  • the user interaction switch is provided by the display module 122. Those skilled in the art should understand that the user interaction switch may also be a virtual switch or a physical switch outside the display module 122.
  • the above-mentioned mobile device 12 can cooperate with a PTZ system to implement monitoring of a photographing device.
  • a method for monitoring a photographing device including:
  • Step 1 The processing module of the mobile device receives the video or picture from the PTZ system, and the video or picture is collected by the photographing device in real time;
  • Step 2 The display module of the mobile device displays the received video or picture
  • Step 3 The display module receives a control command input by a user by pressing a virtual switch on the display module;
  • Step 4 The control module encodes the control command according to a predetermined encoding protocol, and sends the encoded data.
  • step 1 includes:
  • Step 11 The processing module of the mobile device receives a video from the PTZ system, wherein the video is composed of encapsulated picture frames;
  • Step 12 The processing module decapsulates the received encapsulated picture frame to obtain a picture frame and a sending time of the picture frame;
  • Step 13 Compare the sending time of the picture frame with the sending time of the previous picture frame displayed on the display module. If the former is earlier than the latter, discard the picture frame, otherwise send the picture frame to the display module for display .
  • the method further includes: receiving, by the processing module, related information of the photographing device and the PTZ system, and sending the related information to the display module, which is displayed to the user by the display module.
  • the processing module of the mobile device also demultiplexes the received data after receiving the data.
  • a mobile device adapted to the above-mentioned PTZ system and capable of monitoring a photographing device is also provided, so that a user can implement tracking shooting through the mobile device.
  • the mobile device includes a processing module and a display module, wherein the display module is a touch screen, and the display module provides a switch for entering / exiting tracking shooting.
  • the processing module receives the video or picture from the PTZ system and sends it to the display module for display.
  • the display module receives an instruction from the user (by pressing the switch for entering / exiting the tracking shooting) to enter the tracking shooting, it obtains the area selected by the user on a picture frame displayed by the display module, and the display module selects the selected area Send to processing module.
  • the processing module extracts the SIFT features of the target image in the frame selection area, and calculates the position of the target image in the picture frame. After acquiring the position of the target image in the picture frame, the processing module also calculates the position difference between the target image and the center of the picture frame.
  • the processing module determines a control command based on the position difference.
  • the control module of the PTZ system can operate the PTZ system according to the control command so that the target image approaches the center of the picture frame.
  • the processing module encodes the control command using a predetermined encoding rule, and sends the encoded data to the PTZ system.
  • the processing module Before receiving the instruction from the user (by pressing the switch to enter / exit the tracking shooting) to exit the tracking shooting, the processing module sequentially performs SIFT feature extraction on each picture frame to be displayed after the user selects the picture frame selected by the user.
  • the features of the picture frame are matched with the features of the target image to obtain the position of the target image in the picture frame.
  • the processing module also calculates a position difference of the target image between the picture frame and a previously displayed picture frame or calculates a position difference between the target image and a picture frame center in the picture frame, and determines a control command according to the position difference, where the control The command is used to perform operations on the PTZ system to bring the target image closer to the center of the picture frame.
  • the control command is used to control the PTZ system to drive the photographic equipment to the left, so that the target image approaches the center of the picture frame.
  • the user before receiving an instruction from the user to exit the tracking shooting, the user can infer whether the target image is located in the next one based on the position of the target image in the historical picture frame. Outside the picture frame, if the speculative result indicates that it is not located outside the next picture frame, the next picture frame can be skipped, and feature extraction, matching, and other operations are performed on the picture frame after the next picture frame to generate a control command.
  • inferring whether the target image is located outside the next picture frame includes: calculating the displacement amount of the target image each time in the historical picture frame (that is, the displacement amount of the target image between adjacent picture frames); and taking the obtained displacement amount An average value, and according to the position and the average value of the displacement amount of the target image in the current picture frame, it is estimated whether the target image will move beyond the picture frame in the next picture frame. For example, if in the current picture frame, the target image is 0.5 cm from the right edge of the picture frame, and in historical picture frames, the target image is moved by 0.6 cm each time, it is speculated that the target image will move to the picture frame in the next picture frame Outside. It should be understood that other methods of guessing are also applicable.
  • the picture frame before the picture frame is displayed by the display module, the picture frame may be converted to a YUV format, so as to reduce the calculation amount of feature extraction and ensure the playback effect; in addition, before extracting features, the picture frame may be converted into Grayscale image, and scale it to further reduce the amount of calculation for feature extraction.
  • an optical flow method may also be used, or a method combining SIFT and optical flow methods may be used.
  • a method for monitoring a photographing device includes:
  • Step 1 The processing module of the mobile device receives the video from the PTZ system, and displays the received video on the display module;
  • Step 2 The switch provided by the display module receives a user-entered instruction to follow the shooting;
  • Step 3 The display module obtains an area framed by the user on a picture frame in the displayed video, and sends the area to the processing module;
  • Step 4 The processing module extracts the features of the target image in the frame selection area, and obtains the position of the target image in the picture frame;
  • Step 5 The processing module calculates a position difference between the target image and the center of the picture frame, and determines a control command according to the position difference, wherein the control command is used to perform an operation on the PTZ system to bring the target image closer to the center of the picture frame;
  • Step 6 The processing module controls the command to encode according to a predetermined encoding protocol, and sends the encoded data to the PTZ system;
  • Step 7 The processing module uses the next picture frame in the displayed video as the current picture frame;
  • Step 8 The processing module extracts the features of the current picture frame, matches the extracted features with the features of the target image, and obtains the position of the target image in the current picture frame;
  • Step 9 The processing module calculates the position difference of the target image between the current picture frame and the previous picture frame or calculates the position difference of the target image and the center of the picture frame in the current picture frame, and determines a control command according to the position difference, where the control command Used to perform operations on the PTZ system to bring the target image closer to the center of the picture frame;
  • Step 10 The control module encodes the control command and sends the encoded data to the PTZ system;
  • Step 11 If the display module does not receive an end instruction (that is, an instruction to exit the follow-up shooting input by the user), return to step 7.
  • an end instruction that is, an instruction to exit the follow-up shooting input by the user
  • step 11 includes: if the display module does not receive an end instruction, the processing module infers whether the target image is outside the next picture frame according to the position of the target image in the historical picture frame, and if it is inferred that Outside the next picture frame, return to step 7; otherwise, skip the next picture frame, use the picture frame after the next picture frame as the current picture frame, and return to step 8.
  • a mobile device adapted to the above-mentioned PTZ system and capable of monitoring a photographing device is also provided, so that a user can control the PTZ system to change the posture of the photographing device by changing the posture of the mobile device.
  • the mobile device 12 ′ includes a processing module 121, a display module 122, and a gesture sensing module 123.
  • the display module 122 is a touch screen, and the display module 122 provides a switch for entering / exiting the somatosensory mode.
  • the processing module 121 receives the video or picture from the PTZ system and sends it to the display module 122 for display.
  • the gesture sensing module 123 obtains the current posture of the mobile device 12 'and sends the acquired gesture information to A processing module 121
  • the processing module 121 determines a control command according to the attitude of the mobile device 12, wherein the control command is used to perform an operation on the PTZ system to bring the photographing device to a posture consistent with the attitude of the mobile device, and then the processing module 121 encodes the control command, and sends the encoded data to the PTZ system.
  • the gesture sensing module 123 continuously acquires the current posture of the mobile device 12 'and sends the gesture information to Processing module 121.
  • the attitude sensing module 123 detects that the current displacement of the mobile device 12 'in a certain direction exceeds a predetermined threshold, the current attitude information of the mobile device 12' is sent to the processing module.
  • the display module 122 When the display module 122 receives an instruction from the user (by pressing a switch to enter / exit the body sensing mode) about exiting the body sensing mode, the display module 122 notifies the gesture sensing module 123 to stop sensing the gesture of the mobile device 12 '.
  • a method for monitoring a photographing device including:
  • Step 1 The processing module of the mobile device receives the video or audio from the PTZ system, and displays the received video or audio on the display module;
  • Step 2 The switch provided by the display module receives an instruction from the user to enter the somatosensory mode
  • Step 3 Acquire the current posture of the mobile device by the posture sensing module of the mobile device;
  • Step 4 The mobile device processing module determines a control command according to the current posture of the mobile device.
  • the control command causes the control module of the PTZ system to perform operations on the PTZ system, so that the photographic device can achieve a posture consistent with the current posture of the mobile device ;
  • Step 5 Encode the control command according to a predetermined rule to obtain encoded data
  • Step 6 Send the encoded data to the control module in the PTZ system.
  • Step 7 If the display module does not receive an end instruction (that is, an instruction to exit the somatosensory mode input by the user), return to step 3.
  • an end instruction that is, an instruction to exit the somatosensory mode input by the user
  • the above method can be implemented by hardware, software, firmware, middleware, pseudo code, hardware description language, or any combination thereof.
  • the program code or code segments used to perform a task may be stored in a machine or computer-readable medium, such as a storage medium, such as a non-transitory storage medium, a processing unit This task can be performed.
  • the program storage medium may be any non-transitory storage medium, such as magnetic (e.g., a floppy disk or hard disk) or optical (e.g., a compact disk read-only memory or "CD ROM"), and may be read-only or randomly accessed.
  • the transmission medium may be a twisted pair, coaxial cable, optical fiber, or some other suitable transmission medium known in the art. Example embodiments are not limited by these aspects of any given implementation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种监控摄影设备的方法、云台***及移动设备，其中所述摄影设备被固定至云台***，所述监控摄影设备的方法包括：接收经编码的控制命令；对所述经编码的控制命令进行解码，得到所述控制命令；以及根据所述控制命令执行对所述摄影设备的操作和/或执行对所述云台***的操作。当摄影设备位于用户的可视范围之外或者位于用户的可触范围之外时，用户通过本发明仍然能获知摄影设备实施采集的视频/图片，并且对摄影设备进行控制，以达到其期望的拍摄效果，方便了用户的拍摄工作，提高了用户体验。

Description

监控摄影设备的方法、云台***及移动设备 技术领域
本发明涉及摄影技术领域，尤其涉及一种监控摄影设备的方法、云台***及移动设备。
背景技术
云台***通常用于辅助摄影设备(如相机、摄像机等)进行视频的录制以及照片的拍摄，云台***包括用于固定摄影设备的连接装置以及与连接装置相连的动力装置，动力装置通常包括三个轴以及轴与轴之间的连接臂，动力装置的运动能够带动连接装置进行运动，进而带动固定在连接装置上的摄影设备进行运动。除了手持云台***，用户也可以将云台***放置在其可视范围或者可触范围之外来进行视频的录制或者照片的拍摄。然而在这种情况下，用户难以监控摄影设备实施拍摄的视频或图片，从而不能控制所拍摄的视频或图片的效果。因此，目前需要一种技术能够监控在用户可视范围或者可触范围之外的摄影设备。
当前，诸如智能手机、平板电脑等的电子设备的功能越来越强大，除了能够播放视频、图片，通过在其上安装一些应用程序还可以使其具有遥控、数据处理、数据传输等功能。另外，现有的智能手机、平板电脑本身也具有一些传感器，具备体感功能。因此，用户期望能利用这些便携的电子设备来实现对视范围或者可触范围之外的摄影设备的监控，如何将这些电子设备应用到视频/图片的拍摄中，也是需要解决的问题。
发明内容
为了解决上述技术问题，根据本发明的一个实施例，提供一种监控摄影设备的方法,其中所述摄影设备被固定至云台***，所述方法包括：接收经编码的控制命令；对所述经编码的控制命令进行解码，得到所述控制命令；以及根据所述控制命令执行对所述摄影设备的操作和/或执行对所述云台***的操作。其中，对所述摄影设备的操作包括：修改所述摄影设 备的拍摄参数，和/或控制所述摄影设备的工作状态。控制所述摄影设备的工作状态包括：打开或关闭所述摄影设备，拍照，开始录像，结束录像，和/或改变所述摄影设备的工作模式。其中，对所述云台***的操作包括：控制所述云台***的工作状态，和/或通过控制所述云台***中的动力装置的运动来改变所述摄影设备的姿态，其中所述云台***中的动力装置的运动带动所述摄影设备进行运动。控制所述云台***的工作状态包括：打开或关闭所述云台***，和/或改变所述云台***的工作模式。
上述方法还包括：接收由所述摄影设备采集的视频和/或图片；以及发送所接收的视频和/或图片。其中，发送所接收的视频包括：计算所述视频中的图片帧经封装后的大小；根据用于发送所述视频的连接的带宽以及所述图片帧经封装后的大小估计发送频率；按照所述发送频率采集所述视频中的图片帧，封装所采集的图片帧，并且发送经封装的图片帧，其中所述经封装的图片帧包括图片帧的发送时间。
上述方法还包括：获取所述摄影设备的相关信息，发送所述摄影设备的相关信息；和/或获取所述云台***的相关信息，发送所述云台***的相关信息。其中，所述摄影设备的相关信息包括：所述摄影设备的工作模式，所述摄影设备的拍摄参数，和/或所述摄影设备的电量。所述云台***的相关信息包括：所述云台***的工作模式，和/或所述云台***的电量。
上述方法还包括：获取所述摄影设备的型号；根据所述摄影设备的型号查找与所述型号对应的控制协议；当解码得到的控制命令指示执行对所述摄影设备的操作时，根据所述控制命令以及查找到的控制协议执行对所述摄影设备的操作。其中，根据所述控制命令以及查找到的控制协议执行对所述摄影设备的操作包括：根据所述查找到的控制协议对所述控制命令进行转换，使得转换后得到的控制命令与所述摄影设备相兼容；将转换后得到的控制命令发送至所述摄影设备。
上述方法还包括：判断所述控制命令是否与所述云台***的工作状态相冲突，如冲突则丢弃所述控制命令；和/或判断所述控制命令是否与所述摄影设备的工作状态相冲突，如冲突则丢弃所述控制命令。
上述方法中，根据所述控制命令执行对所述摄影设备的操作和/或执行对所述云台***的操作包括：合并一段时间内的多个控制命令，得到合并后的控制命令；以及根据所述合并后的控制命令执行对所述摄影设备的 操作和/或执行对所述云台***的操作；其中，根据所述合并后的控制命令执行操作得到的效果与分别根据所述一段时间内的多个控制命令执行操作得到的效果相同。
上述方法中，经由第一连接接收经编码的控制命令并且发送所接收的视频和/或图片；以及当所述第一连接断开时，经由第二连接接收经编码的控制命令并且发送所接收的视频和/或图片。其中，所述第一连接是WiFi连接，所述第二连接是蓝牙连接。
根据本发明的一个实施例，提供一种云台***，其中摄影设备被固定至所述云台***，所述云台***包括：控制模块，用于接收经编码的控制命令；对所述经编码的控制命令进行解码，得到所述控制命令；以及，根据所述控制命令执行对所述摄影设备的操作和/或执行对所述云台***的操作。
上述云台***还包括：图传模块，用于接收由所述摄影设备采集的视频和/或图片；以及发送所接收的视频和/或图片。所述图传模块用于：计算所述视频中的图片帧经封装后的大小；根据用于发送所述视频的连接的带宽以及所述图片帧经封装后的大小估计发送频率；以及，按照所述发送频率采集所述视频中的图片帧，封装所采集的图片帧，并且发送经封装的图片帧，其中所述经封装的图片帧包括图片帧的发送时间。
上述云台***中，所述控制模块还用于：获取所述摄影设备的相关信息，发送所述摄影设备的相关信息；和/或获取所述云台***的相关信息，发送所述云台***的相关信息。
上述云台***还包括：存储模块，用于存储控制协议；所述控制模块还用于：获取所述摄影设备的型号；根据所述摄影设备的型号查找与所述型号对应的控制协议；以及，当解码得到的控制命令指示执行对所述摄影设备的操作时，根据所述控制命令以及查找到的控制协议执行对所述摄影设备的操作。其中，所述控制模块用于：根据所述查找到的控制协议对所述控制命令进行转换，使得转换后得到的控制命令与所述摄影设备相兼容；以及，将转换后得到的控制命令发送至所述摄影设备。
上述云台***中，所述控制模块还用于：判断所述控制命令是否与所述云台***的工作状态相冲突，如冲突则丢弃所述控制命令；和/或判断所述控制命令是否与所述摄影设备的工作状态相冲突，如冲突则丢弃所述控制命令。所述控制模块还用于：合并一段时间内的多个控制命令，得到 合并后的控制命令；以及，根据所述合并后的控制命令执行对所述摄影设备的操作和/或执行对所述云台***的操作；其中，根据所述合并后的控制命令执行操作得到的效果与分别根据所述一段时间内的多个控制命令执行操作得到的效果相同。
上述云台***中，所述控制模块经由第一连接接收经编码的控制命令，并且所述图传模块经由所述第一连接发送所接收的视频和/或图片；当所述第一连接断开时，所述控制模块经由第二连接接收经编码的控制命令，并且所述图传模块经由所述第二连接发送所接收的视频和/或图片。
根据本发明的一个实施例，还提供一种监控摄影设备的方法，其中所述摄影设备被固定至云台***，所述方法包括：接收用户输入的控制命令；将所述控制命令进行编码，并且发送经编码的控制命令，其中所述控制命令用于执行对所述摄影设备的操作和/或执行对所述云台***的操作。
上述方法还包括：接收由所述摄影设备采集的视频和/或图片；以及显示所接收的视频和/或图片。其中，接收由所述摄影设备采集的并且经过处理的视频，其中所述视频由经封装的图片帧组成；对所接收的经封装的图片帧进行解封装，得到图片帧和所述图片帧的发送时间；比较所述图片帧的发送时间和前一个显示的图片帧的发送时间，如果前者早于后者，则丢弃所述图片帧，否则显示所述图片帧。
上述方法还包括：对所接收的包括视频和/或图片的数据进行解复用，得到所述视频和/或图片。
上述方法还包括：接收所述摄影设备的相关信息，并且显示所述摄影设备的相关信息；和/或接收所述云台***的相关信息，并且显示所述摄影设备的相关信息。
根据本发明的一个实施例，还提供一种移动设备，包括：一个或多个开关，用于接收用户输入的控制命令；处理模块，用于将所述控制命令进行编码，以及发送经编码的控制命令，其中所述控制命令用于执行对摄影设备的操作和/或执行对云台***的操作。
上述移动设备中，所述处理模块还用于接收由所述摄影设备采集的视频和/或图片；所述移动设备还包括显示模块，用于显示所接收的视频和/或图片。
上述移动设备中，所述处理模块用于：接收由所述摄影设备(11)采集的并且经过处理的视频，其中所述视频由经封装的图片帧组成；对所接 收的经封装的图片帧进行解封装，得到图片帧和所述图片帧的发送时间；以及，比较所述图片帧的发送时间和前一个显示的图片帧的发送时间，如果前者早于后者，则丢弃所述图片帧，否则由所述显示模块显示所述图片帧。
上述移动设备中，所述处理模块还用于对所接收的包括视频和/或图片的数据进行解复用，得到所述视频和/或图片。
上述移动设备中，所述处理模块还用于接收所述摄影设备的相关信息，和/或接收所述云台***的相关信息；所述显示模块还用于显示所述摄影设备的相关信息，和/或显示所述云台***的相关信息。
上述移动设备中，所述显示模块是触摸屏，所述一个或多个开关是所述触摸屏上的虚拟开关。
根据本发明的一个实施例，还提供一种监控摄影设备的方法，其中所述摄影设备被固定至云台***，所述方法包括：
步骤1)接收视频并且显示所接收的视频；
步骤2)接收用户输入的进入跟踪拍摄的指示；
步骤3)获得用户在所显示的视频中的一个图片帧上框选的区域；
步骤4)提取框选区域中的目标图像的特征，并且获得所述目标图像在图片帧中的位置；
步骤5)计算所述目标图像与图片帧中心的位置差，根据所述位置差确定第一控制命令，其中所述第一控制命令用于执行对所述云台***的操作以使所述目标图像接近图片帧中心；
步骤6)将所述第一控制命令进行编码，并且发送经编码的第一控制命令，其中所述第一控制命令用于执行对所述云台***的操作。
上述方法还包括：
步骤7)将所显示的视频中的下一个图片帧作为当前图片帧；
步骤8)提取所述当前图片帧的特征，将所提取的特征与所述目标图像的特征进行匹配，得到所述目标图像在所述当前图片帧中的位置；
步骤9)计算在当前图片帧与前一图片帧之间所述目标图像的位置差或者计算当前图片帧中所述目标图像与图片帧中心的位置差，根据所述位置差确定第二控制命令，其中所述第二控制命令用于执行对所述云台***的操作以使所述目标图像接近图片帧中心；
步骤10)将所述第二控制命令进行编码，并且发送经编码的第二控制 命令，其中所述第二控制命令用于执行对所述云台***的操作；
步骤11)如果没有接收到用户输入的退出跟踪拍摄的指示则返回步骤7)。
上述方法中，步骤11)包括：
如果没有接收到用户输入的退出跟踪拍摄的指示，则根据所述目标图像在历史图片帧中的位置推测所述目标图像是否位于下一个图片帧之外，如果推测出位于下一个图片帧之外，则返回步骤7)，否则跳过所述下一个图片帧，将所述下一个图片帧之后的图片帧作为当前图片帧并且返回步骤8)。
上述方法中，根据所述目标图像在历史图片帧中的位置推测所述目标图像是否位于下一个图片帧之外包括：计算所述目标图像在所述历史图片帧中每次的位移量；对得到的位移量取平均值；根据所述目标图像在当前图片帧中的位置以及位移量的平均值，推测所述目标图像是否将在下一图片帧移动到图片帧之外。
上述方法还包括：将所接收的视频中的图片帧转换为YUV格式的图片帧，显示所述YUV格式的图片帧。步骤3)包括：将框选区域转换为灰度图；对所述灰度图进行缩放操作；以及提取经转换和缩放后所述框选区域中的目标图像的特征，并且获得所述目标图像在图片帧中的位置；步骤8)包括：将当前图片帧转换为灰度图；对所述灰度图进行缩放操作；以及提取经转换和缩放后所述图片帧的特征，将所提取的特征与所述目标图像的特征进行匹配，得到所述目标图像在所述当前图片帧中的位置。
上述方法中，使用SIFT算法和/或光流法提取特征。
根据本发明的一个实施例，还提供一种移动设备，包括：处理模块，用于接收视频；提取框选区域中的目标图像的特征，并且获得所述目标图像在图片帧中的位置；计算所述目标图像与图片帧中心的位置差，根据所述位置差确定第一控制命令，其中所述第一控制命令用于执行对所述云台***的操作以使所述目标图像接近图片帧中心；以及，将所述第一控制命令进行编码，并且发送经编码的第一控制命令，其中所述第一控制命令用于执行对云台***的操作；开关，用于接收用户输入的进入跟踪拍摄的指示和退出跟踪拍摄的指示；显示模块，用于显示所接收的视频；以及，获得用户在所显示的视频中的一个图片帧上框选的区域。
上述移动设备中，所述处理模块还用于将由显示模块所显示的视频中 的下一个图片帧作为当前图片帧；提取所述当前图片帧的特征，将所提取的特征与所述目标图像的特征进行匹配，得到所述目标图像在所述当前图片帧中的位置；计算在当前图片帧与前一图片帧之间所述目标图像的位置差或者计算当前图片帧中所述目标图像与图片帧中心的位置差，根据所述位置差确定第二控制命令，其中所述第二控制命令用于执行对所述云台***的操作以使所述目标图像接近图片帧中心；将所述第二控制命令进行编码，并且发送经编码的第二控制命令，其中所述第二控制命令用于执行对所述云台***的操作；所述处理模块重复上述过程直到所述开关接收到用户输入的退出跟踪拍摄的指示。
上述移动设备中，所述处理模块还用于根据所述目标图像在历史图片帧中的位置推测所述目标图像是否位于下一个图片帧之外。
上述移动设备中，所述处理模块还用于将所接收的视频中的图片帧转换为YUV格式的图片帧；所述显示模块用于显示所述YUV格式的图片帧。
上述移动设备中，所述处理模块还用于将框选区域转换为灰度图；对该灰度图进行缩放操作；以及，将所述当前图片帧转换为灰度图；对该灰度图进行缩放操作。
根据本发明的一个实施例，还提供一种监控摄影设备的方法，其中所述摄影设备被固定至云台***，所述方法包括：
步骤a)接收用户输入的进入体感模式的指示；
步骤b)获取所述移动设备的姿态；
步骤c)根据所述移动设备的姿态确定控制命令，其中所述控制命令用于执行对所述云台***的操作以使所述摄影设备达到与所述移动设备的姿态相一致的姿态；
步骤d)将所述控制命令进行编码，并且发送经编码的控制命令，其中所述控制命令用于执行对所述云台***的操作。
上述方法还包括：步骤e)如果没有接收到用户输入的退出体感模式的指示，则返回步骤b)。
根据本发明的一个实施例，还提供一种移动设备，包括：开关，用于接收用户输入的进入体感模式的指示和退出体感模式的指示；姿态感测模块，用于获取所述移动设备的姿态；以及处理模块，用于根据所述移动设备的姿态确定控制命令，其中所述控制命令用于执行对所述云台***的操作以使所述摄影设备达到与所述移动设备的姿态相一致的姿态；以及，将 所述控制命令进行编码，并且发送经编码的控制命令，其中所述控制命令用于执行对所述云台***的操作。
与现有技术相比，本发明具有如下的有益效果：
1.当摄影设备位于用户的可视范围之外或者位于用户的可触范围之外时，用户仍然能获知摄影设备实时采集的视频/图片，并且对摄影设备进行控制，以达到其期望的拍摄效果，方便了用户的拍摄工作。
2.用户可以控制摄影设备跟踪目标图像，并且可以通过控制移动设备的姿态来控制摄影设备的姿态，进一步提高了用户体验。
附图说明
以下参照附图对本发明实施例作进一步说明，其中：
图1是根据本发明一个实施例的云台***的结构框图；
图2是根据本发明一个实施例的云台***的立体图；
图3是根据本发明一个实施例的移动设备的顶视图；
图4是根据本发明一个实施例的在云台***和移动设备之间建立连接的方法流程图；
图5是根据本发明一个实施例的移动设备的结构框图；
图6是根据本发明一个实施例的监控摄影设备的方法的流程图；
图7是根据本发明另一个实施例的移动设备的结构框图。
具体实施方式
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
根据本发明的一个实施例，提供一种云台***，摄影设备固定在该云台***上。参见图1，云台***10包括控制模块101、图传模块102、USB接口103、WiFi模块104、动力装置105、连接装置106以及手柄(未示出)。云台***10的连接装置106用于固定摄影设备11并且连接到动力装置105(参见图2，示出了连接装置106与动力装置105之间的连接关系的一个实施例)，具体地，如图2所示，连接装置106连接到动力装置105中的一个轴1051，当动力装置105运动时，该轴1051带动连接装置106进行运动，进而带动固定在连接装置106上的摄影设备11进行运动。 云台***10中的图传模块102和控制模块101经由USB接口103与摄影设备11进行数据通信，并且经由WiFi模块104与移动设备12进行数据通信。由此，用户可以通过云台***10将摄影设备11实时采集的视频或图片传输至移动设备12，以在移动设备12上观看；同样地，用户可以通过云台***10接收用户在移动设备12上输入的控制指令，根据控制指令执行对摄影设备11或者云台***10本身的操作。下文参照图1对云台***10中的图传模块102和控制模块101进行详细描述：
图传模块102经由USB接口103与摄影设备11连接，并且经由WiFi模块104与移动设备12连接，图传模块102用于通过USB连接接收来自摄影设备11的、由摄影设备11实时采集的视频或者图片，并且通过WiFi连接将所接收的视频或者图片发送至移动设备12，由移动设备12显示给用户。
同样地，控制模块101也经由USB接口103与摄影设备11连接，并且经由WiFi模块104与移动设备12连接。控制模块101用于通过WiFi连接接收来自移动设备12的控制命令，并且根据控制命令对摄影设备11执行操作或者对云台***10本身执行操作。具体地，用户通过移动设备12的显示模块(如显示模块上的虚拟按键、虚拟滑轮、虚拟拨动按钮等)输入控制命令，该控制命令用于指示对摄影设备11或者对云台***10的操作；移动设备12根据预定的协议对控制命令进行编码，并且将编码后的数据(简称编码数据)通过WiFi连接发送至云台***10中的控制模块101。图3示出了移动设备12的显示模块的一个实施例，其中，当用户按压虚拟按键11时，即输入关于摄影设备11开始/结束录像的控制命令，移动设备12会按表1的格式产生一个编码数据07c02000360423并发送给云台***10中的控制模块101。
表1
通道 用户指令 地址 索引 相关参数 校验CRC
07 c 0 20 0036 0423
其中，c表示该编码数据包含了控制命令；通道、地址、索引、相关参数与具体的控制命令有关，表示用户期望执行的操作；校验CRC用于执行错误检测。
接收到编码数据后，控制模块101根据预定的协议对编码数据进行解码，从而获得控制命令，并且根据控制命令执行相应的操作。其中，如果 控制命令指示的是对摄影设备11执行操作，则由控制模块101经由USB接口103实现对摄影设备11的控制，包括：修改摄影设备11的拍摄参数(如光圈、快门时间、ISO等等)，控制摄影设备11的工作状态(例如，开/关摄影设备11，拍照，开始录像，结束录像，改变摄影设备11的工作模式等，如P、A、S、M模式)；如果控制命令指示的是对云台***10进行操作，则由控制模块101(例如经由主控模块，主控模块用于实现对动力装置105的控制)实现对云台***10的控制，包括：控制云台***10的工作状态(例如，开、关所述云台***，改变所述云台***的工作模式等等，工作模式包括跟随模式、锁定模式、疯狗模式等)，通过控制云台***10中的动力装置105的运动来改变连接装置106的姿态，进而改变摄影设备11的姿态。
根据上文可知，通过将摄影设备11固定到上述的云台***10，并且通过云台***10与摄影设备11以及移动设备12之间的数据交互，用户能够在移动设备12上查看摄影设备11当前的拍摄效果，并且能够通过移动设备12对摄影设备11和云台***10进行控制，方便了用户的拍摄工作。
在上文给出的实施例中，图传模块102将来自摄影设备11的视频未经操作就直接传输(未经处理)给移动设备12，也就是说，每次到来一个图片帧就发送该图片帧(应理解，视频由图片帧组成)。然而，由于WiFi连接具有延时波动性，传输的数据量过大会影响移动设备12显示其接收到的视频。为解决这一问题，在一个优选的实施例中，对于由摄影设备11发送来的实时视频文件，图传模块102执行如下操作：
1.根据WiFi连接的带宽和视频中每个图片帧的大小来估计发送频率。具体地，假设WiFi连接的带宽为x bit/s，并且每个图片帧的大小为y bit，则每秒发送的图片帧数量不得超过x/y个，考虑到WiFi连接还需要用来传输编码数据等，因此每秒发送的图片帧数量最好小于x/y个。
2.经由USB接口103接收来自摄影设备11的视频，对于所接收的视频，图传模块102每y/x秒采集其一个图片帧，并且将所采集的图片帧经由WiFi模块104发送至移动设备12。
在一个更优的实施例中，在发送图片帧之前图传模块102还要将发送时间封装到该图片帧中，由此，移动设备12能够通过解封装得到该图片帧的发送时间，并且根据发送时间对所接收的图片帧进行重排，或者丢弃 一些图片帧，从而更好地播放给用户。需要注意的是，如果图传模块102发送的是经封装的图片帧，则需要根据经封装的图片帧的大小和WiFi连接的带宽来计算发送频率。另外，可以在图传模块12接收视频时对所接收的每个图片帧进行封装操作，也可以在发送前仅对其中要发送的图片帧进行封装操作。
在上述实施例中，视频或者图片通常包含摄影设备11在采集该视频或者图片时的一些参数信息(如分辨率、光圈、快门时间等)，因此，移动设备12可以从接收到的视频或者图片中提取出这些参数信息并且连同视频或者图片一并展示给用户(参见图3中的16)，用户因此可以获知摄影设备11当前的一些参数信息。在一个优选的实施例中，控制模块101可以经由USB接口103获取摄影设备11当前的一些相关信息(例如，摄影设备11的工作模式，摄影设备11的拍摄参数，摄影设备11的电量等等)，并且经由WiFi模块104传输至移动设备12以显示给用户。获取影设备11的相关信息的方法包括：控制模块101经由USB接口103向摄影设备11发送请求并且接收摄影设备11返回的相关信息。在一个优选的实施例中，控制模块101除了向移动设备12发送摄影设备11的当前相关信息，还可以获取云台***10的当前相关信息并且经由WiFi模块104发送给移动设备12以显示给用户，云台***10的当前相关信息包括云台***10的当前电量、云台***10的工作模式等等，用户由此可以获知云台***10当前的相关信息(参见图3中的4、8等)。将摄影设备11和云台***10的当前相关信息展示给用户，用户除了能够获知当前的拍摄效果，还能获知摄影设备11和云台***10的当前状态，从而能够发出正确的控制命令，这进一步方便了用户的拍摄工作。
在上述的实施例中，控制模块101根据控制命令执行对摄影设备11的操作。然而，由于市场上摄影设备11的型号可以不同，因此其控制协议也可能不同。为了使云台***10能够与多种摄影设备兼容，在一个优选的实施例中，云台***10还包括存储模块(图1中未示出)，存储模块存储有与多种型号的摄影设备对应的控制协议。当摄影设备11通过USB数据线连接到USB接口103后，控制模块101向摄影设备11发送型号请求，并且获取摄影设备11的型号信息，型号信息可以存储在存储模块中。当控制模块101接收到来自移动设备12的编码数据，并且解码得到控制命令后；如果该控制命令指示对摄影设备进行操作，则控制模块101从存 储模块中查找当前摄影设备11的型号信息，并获取该型号信息对应的控制协议，随后根据获取的控制协议和控制命令来实现对摄影设备11的控制。具体地，控制模块101根据控制协议将控制命令进行转换，使得转换后得到的控制命令与当前的摄影设备11相兼容，然后将转换后的控制命令发送给摄影设备11。这样，云台***10能够与多种摄影设备兼容，应用范围更广。
在上述实施例中，控制模块101和图传模块102均通过USB连接与摄影设备11相连，并且均通过WiFi连接与移动设备12连接。其中，USB连接通道和WiFi连接通道中均存在竞争。为了能够在移动设备12上实时播放摄影设备11采集的视频或图片，以及为了能对控制命令较快地响应，除了上述从视频文件中采集部分图片帧传送给移动设备12，在一个优选的实施例中，可以采用分时复用技术来复用连接通道，则在移动设备12处，需要先对所接收的数据进行解复用。在另一个优选的实施例中，控制模块101可以对控制命令进行合并和过滤，一方面减少了对连接通道的占用(例如，对摄影设备11执行操作时需要占用USB连接)，另一方面也可以丢弃一些无用的操作。具体地，控制模块101对控制命令在一段时间内做合并操作(例如，控制模块101首先接收到将ISO设置为100的控制命令，随后在该时间段内接收到将ISO设置为200的用户指令，则控制模块101将这两个控制命令合并为将ISO设置为200)，根据合并后的控制命令执行对摄影设备11的操作或者执行对云台***10的操作。合并操作要求根据合并后的控制命令得到的效果与根据所述一段时间内的多个控制命令得到的效果相同。控制命令也有可能会与摄影设备11或者云台***10的当前工作状态冲突，例如云台***10处于锁定模式，而用户指示旋转摄影设备11；控制模块101可以获知摄影设备11和云台***10当前的工作状态(如工作模式)，则控制模块101可以判断控制命令(要对云台***10或摄影设备11执行的操作)与云台***10或摄影设备11的当前状态是否冲突，如果冲突则丢弃该控制命令，即过滤控制命令。
此外，还可以在摄影设备11和云台***10之间增加一个或多个连接，并且在云台***10和移动设备12之间增加一个或多个连接，从而减少对USB连接通道和WiFi连接通道的竞争。其中，摄影设备11通过一个USB接口与控制模块101连接并且通过另一个USB接口与图传模块102连接，云台***还可以包括一个蓝牙模块。参见图4，在开启云台***10之后， 首先初始化云台***10的***资源，其中包括初始化蓝牙模块(以及WiFi模块)，同时开启移动设备12的蓝牙模块(以及WiFi模块)，云台***10与移动设备12通过蓝牙连接相连；随后，移动设备12通过蓝牙连接检查云台***10的WiFi状态(应理解，蓝牙连接还提供机型信息辅助用户连接到WiFi)，等到云台***10的WiFi开启则通过WiFi连接与云台***10相连。当检测到WiFi连接断开时，移动设备12再利用蓝牙模块与云台***10连接，等检测到WiFi连接再次连上之后，重新利用WiFi模块104连接云台***10与移动设备12。
本领域技术人员应理解，本发明并不限于上述实施例中提到的具体的接口、连接方式、模块、编码协议等。例如，可以使用UART技术或者其他有线数据传输技术来连接摄影设备11和云台***10，甚至可以通过无线技术连接摄影设备11和云台***10。除了无线连接方式，移动设备12也可以通过有线连接的方式(如通过USB连接)与云台***10连接。
上述的控制模块101和图传模块102可以在一块芯片上实现，也可以在多块芯片上实现。
基于上文描述的云台***和摄影设备，根据本发明一个实施例，提供一种监控摄影设备的方法。如上文所述，摄影设备被固定到云台***(固定到云台***中的连接装置)，并且云台***包括图传模块和控制模块。概括而言，所述监控摄影设备的方法包括：
步骤1.由云台***中的图传模块接收由摄影设备采集并实时发送来的视频或者图片；
步骤2.由图传模块将所接收的视频或者图片发送至移动设备，由移动设备显示给用户；
步骤3.由云台***中的控制模块接收用户通过移动设备发送的编码数据，该编码数据是对用户在移动设备上通过显示模块输入的控制命令按预定的编码协议进行编码得到的；
步骤4.由控制模块对所接收的编码数据进行解码，得到控制命令；根据控制命令执行对摄影设备的操作或者执行对云台***的操作。
在一个优选的实施例中，步骤2包括：
步骤21.由图传模块计算所接收的视频中图片帧经封装后的大小；
步骤22.由图传模块根据用于发送视频的连接的带宽(如WiFi连接的 带宽)以及图片帧经封装后的大小估计发送频率；
步骤23.按照发送频率采集视频中的图片帧，封装所采集的图片帧，并且发送经封装的图片帧，其中经封装的图片帧包括该图片帧的发送时间。
在一个优选的实施例中，上述方法还包括：
由云台***中的控制模块获取摄影设备当前的相关信息以及云台***当前的相关信息，将所获取的相关信息发送至移动设备以显示给用户。
在一个优选的实施例中，上述方法还包括：
由云台***的控制模块获取摄影设备的型号；
由控制模块在云台***的存储模块中查找与该型号对应的控制协议；以及
如果控制命令指示执行对摄影设备的操作，则根据查找到的控制协议和该控制命令来执行对摄影设备的操作。
在一个优选的实施例中，步骤4还包括：
如果用户指令与云台***当前的工作状态相冲突，则不对云台***执行操作；
如果用户指令与摄影设备当前的工作状态相冲突，则不对摄影设备执行操作。
在一个优选的实施例中，步骤4还包括：由云台***的控制模块判断控制命令是否与云台***的工作状态相冲突，如冲突则丢弃控制命令；以及判断控制命令是否与摄影设备的工作状态相冲突，如冲突则丢弃控制命令。
在一个优选的实施例中，步骤4还包括：由云台***的控制模块合并一段时间内的多个控制命令；并且根据合并后的控制命令执行对摄影设备的操作或者执行对云台***的操作；其中，根据合并后的控制命令得到的效果与根据这段时间内的多个控制命令得到的效果相同。
在一个优选的实施例中，控制模块经由WiFi连接接收编码并且图传模块经由该WiFi连接发送所接收的视频或图片；当WiFi连接断开时，控制模块经由蓝牙连接接收编码数据并且图传模块也经由该蓝牙模块发送所接收的视频或图片。
根据本发明的一个实施例，还提供一种与上述云台***相适配并且用 于监控摄影设备的移动设备。如图5所示，所述移动设备12包括显示模块122和处理模块121，其中，显示模块122是触摸屏，一方面能够显示视频、图片、图标等，另一方面能够提供方便用户进行输入的虚拟按键、虚拟滑轮、虚拟拨动按钮等用户交互开关。
在移动设备12中，处理模块121通过WiFi模块(未示出)接收来自云台***的视频或者图片，并且发送给显示模块122，由显示模块122向用户显示来自云台***的视频或者图片。用户通过在移动设备12的显示模块122上观看，可以获知摄影设备当前的拍摄效果，并且可以通过对摄影设备或者云台***执行一些操作来改变拍摄效果。用户可以通过按压显示模块122上提供的用户交互开关来输入其控制命令。随后，处理模块121接收该控制命令，并且用预定的编码协议编码该控制命令，得到编码数据，接着，处理模块121将编码数据通过WiFi模块发送到云台***。
在上述实施例中，处理模块121将所接收到的视频中的图片帧发送至显示模块122进行显示，然而在一些实施例中，接收到的数据可能是经封装的图片帧。在这种情况下，处理模块121将接收到的经封装的图片帧进行解封装，得到图片帧和所述图片帧的发送时间；接着比较该图片帧的发送时间和前一个在显示模块122上显示的图片帧的发送时间，如果前者早于后者，则丢弃该图片帧，否则将该图片帧发送至显示模块122进行显示。
根据上文可知，除了视频或者图片，移动设备12的处理模块121还可能接收到摄影设备当前的相关信息以及云台***当前的相关信息。在接收到这些相关信息后，移动设备12的处理模块121将这些相关信息发送到显示模块122进行显示，从而用户能够获知摄影设备以及云台***当前的工作状态等信息，从而能够发出正确的控制命令。
如果移动设备和云台***之间的数据传输使用了分时复用技术，则处理模块121还需要在接收到数据时，先进行解复用的操作。另外，在上文的实施例中，由显示模块122提供用户交互开关，本领域的技术人员应理解，该用户交互开关也可以是在显示模块122之外的虚拟开关或物理开关。
上述移动设备12能够与云台***配合，实现对摄影设备的监控。基于该移动设备，根据本发明的一个实施例，还提供一种监控摄影设备的方法，包括：
步骤1.由移动设备的处理模块接收来自云台***的视频或者图片，该 视频或者图片是由摄影设备实时采集的；
步骤2.由移动设备的显示模块显示所接收的视频或者图片；
步骤3.由显示模块接收用户通过按压显示模块上的虚拟开关而输入的控制命令；
步骤4.由处理模块按照预定的编码协议对控制命令进行编码，并且发送编码数据。
在一个优选的实施例中，步骤1包括：
步骤11.由移动设备的处理模块接收来自云台***的视频，其中该视频由经封装的图片帧组成；
步骤12.由处理模块对所接收的经封装的图片帧进行解封装，得到图片帧和该图片帧的发送时间；
步骤13.比较该图片帧的发送时间和前一个在显示模块上显示的图片帧的发送时间，如果前者早于后者，则丢弃该图片帧，否则将所述图片帧发送至显示模块进行显示。
在一个优选的实施例中，该方法还包括：由处理模块接收摄影设备和云台***的相关信息，并且将相关信息发送至显示模块，由显示模块显示给用户。
在使用分时复用技术的实施例中，移动设备的处理模块在接收数据后还要对接收的数据进行解复用。
根据本发明的一个实施例，还提供一种与上述云台***相适配并且能够监控摄影设备的移动设备，使得用户可以通过该移动设备实现跟踪拍摄。该移动设备包括处理模块和显示模块，其中，显示模块是触摸屏，显示模块提供进入/退出跟踪拍摄的开关。
在移动设备中，处理模块接收来自云台***的视频或者图片，并且发送给显示模块进行显示。显示模块接收到来自用户(通过按压进入/退出跟踪拍摄的开关)的关于进入跟踪拍摄的指示后，获取用户在显示模块所显示的一个图片帧上框选的区域，显示模块将该框选区域发送至处理模块。随后，处理模块提取该框选区域中的目标图像的SIFT特征，并且计算该目标图像在图片帧中的位置。在获取了目标图像在图片帧中的位置之后，处理模块还计算该目标图像与图片帧中心的位置差，为了使目标图像能够接近图片帧的中心，处理模块根据该位置差确定一个控制命令，其中 云台***的控制模块能够根据该控制命令操作云台***以使目标图像接近图片帧中心。在确定了控制命令之后，处理模块使用预定的编码规则对控制命令进行编码，并且将编码数据发送至云台***。
在接收到来自用户(通过按压进入/退出跟踪拍摄的开关)的退出跟踪拍摄的指示之前，处理模块对在用户进行框选的图片帧之后要显示的每个图片帧依次进行SIFT特征提取，将该图片帧的特征与目标图像的特征进行匹配，得到目标图像在该图片帧中的位置。处理模块还计算该图片帧与前一个显示的图片帧之间的目标图像的位置差或者计算该图片帧中目标图像与图片帧中心的位置差，并且根据该位置差确定控制命令，其中该控制命令用于执行对云台***的操作以使目标图像接近图片帧中心，举例而言，如果图片帧中的目标图像与前一个显示的图片帧中的目标图像相比，向右偏移了一厘米，则控制命令用于控制云台***带动摄影设备向左运动，使得目标图像接近图片帧中心。
由于特征提取算法对资源消耗高，在一个优选的实施例中，在接收到来自用户的退出跟踪拍摄的指示之前，用户可以根据目标图像在历史图片帧中的位置来推测目标图像是否位于下一个图片帧之外，如果推测结果表明并非位于下一个图片帧之外，则可以跳过下一个图片帧，针对下一个图片帧之后的图片帧进行特征提取、匹配等操作以产生控制命令。
其中，推测目标图像是否位于下一个图片帧之外包括：计算目标图像在历史图片帧中每次的位移量(即相邻图片帧之间目标图像的位移量)；对所得到的位移量取平均值，以及根据目标图像在当前图片帧中的位置以及位移量的平均值，推测所述目标图像是否将在下一图片帧移动到图片帧之外。例如，如果当前图片帧中，目标图像距离图片帧的右边缘为0.5cm，而历史图片帧中，目标图像每次移动的距离为0.6cm，则推测目标图像将在下一图片帧移动到图片帧之外。应理解，其他推测方法也是适用。
在一个优选的实施例中，在由显示模块显示图片帧之前，可以将图片帧转换为YUV格式，以减少特征提取的计算量同时保证播放效果；另外在提取特征之前，可以将图片帧转换为灰度图，并且进行缩放，以进一步减少特征提取的计算量。
另外，除了上述的SIFT特征提取算法，也可以采用光流法，或者采用结合SIFT和光流法的方法。
采用上述移动设备，无需额外的跟踪定位装置与摄影设备配合，就能 实现对用户框选目标的跟踪。
基于上述的移动设备，根据本发明的一个实施例，提供一种监控摄影设备的方法，参见图6，该方法包括：
步骤1.由移动设备的处理模块接收来自云台***的视频，并且在显示模块上显示所接收的视频；
步骤2.由显示模块提供的开关接收用户输入的进入跟随拍摄的指示；
步骤3.由显示模块获得用户在所显示的视频中的一个图片帧上框选的区域，将该区域发送至处理模块；
步骤4.由处理模块提取框选区域中的目标图像的特征，并且获得目标图像在图片帧中的位置；
步骤5.由处理模块计算目标图像与图片帧中心的位置差，根据所述位置差确定控制命令，其中该控制命令用于执行对所述云台***的操作以使目标图像接近图片帧中心；
步骤6.由处理模块控制命令按预定的编码协议进行编码，以及向云台***发送编码数据；
步骤7.由处理模块将所显示的视频中的下一个图片帧作为当前图片帧；
步骤8.由处理模块提取当前图片帧的特征，将所提取的特征与目标图像的特征进行匹配，得到目标图像在当前图片帧中的位置；
步骤9.由处理模块计算在当前图片帧与前一图片帧之间目标图像的位置差或者计算当前图片帧中目标图像与图片帧中心的位置差，根据位置差确定控制命令，其中该控制命令用于执行对云台***的操作以使目标图像接近图片帧中心；
步骤10.由处理模块将控制命令进行编码，并且向云台***发送编码数据；
步骤11.如果显示模块没有接收到结束指示(即用户输入的退出跟随拍摄的指示)则返回步骤7。
在一个优选的实施例中，步骤11包括：如果显示模块没有接收到结束指示，则处理模块根据目标图像在历史图片帧中的位置推测目标图像是否位于下一个图片帧之外，如果推测出位于下一个图片帧之外，则返回步骤7，否则跳过所述下一个图片帧，将下一个图片帧之后的图片帧作为当 前图片帧并且返回步骤8。
根据本发明的一个实施例，还提供一种与上述云台***相适配并且能够监控摄影设备的移动设备，使得用户可以通过改变该移动设备的姿态来控制云台***改变摄影设备的姿态。如图7所示，移动设备12’包括处理模块121、显示模块122和姿态感测模块123。其中，显示模块122是触摸屏，显示模块122提供进入/退出体感模式的开关。
在移动设备中12’，处理模块121接收来自云台***的视频或者图片，并且发送给显示模块122进行显示。当显示模块122接收到来自用户(通过按压进入/退出体感模式的开关)的关于进入体感模式的指示后，姿态感测模块123获取移动设备12’当前的姿态，并且将获取的姿态信息发送至处理模块121，处理模块121根据移动设备12的姿态确定控制命令，其中该控制命令用于执行对云台***的操作以使摄影设备达到与所述移动设备的姿态相一致的姿态，随后处理模块121将所述控制命令进行编码，并且向云台***发送编码数据。
在显示模块122接收到来自用户(通过按压进入/退出体感模式的开关)的关于退出体感模式的指示之前，姿态感测模块123持续地获取移动设备12’当前的姿态，并将姿态信息发送给处理模块121。而在另一个实施例中，当姿态感测模块123感测到移动设备12’当前在某个方向上的位移超过预定阈值时，才将移动设备12’当前的姿态信息发送给处理模块。当显示模块122接收到来自用户(通过按压进入/退出体感模式的开关)的关于退出体感模式的指示时，显示模块122通知姿态感测模块123以停止对移动设备12’的姿态的感测。
基于上述移动设备，根据本发明的一个实施例，提供一种监控摄影设备的方法，包括：
步骤1.由移动设备的处理模块接收来自云台***的视频或者音频，并且在显示模块上显示所接收的视频或者音频；
步骤2.由显示模块提供的开关接收用户输入的进入体感模式的指示；
步骤3.由移动设备的姿态感测模块获取移动设备的当前姿态；
步骤4.由移动设备处理模块根据移动设备的当前姿态确定控制命令，该控制命令使云台***的控制模块对云台***执操作，以使得摄影设备能 够达到与移动设备的当前姿态一致的姿态；
步骤5.按预定的规则对控制命令进行编码，得到编码数据；
步骤6.将编码数据发送给云台***中的控制模块。
步骤7.如果显示模块没有接收到结束指示(即用户输入的退出体感模式的指示)则返回步骤3。
本领域技术人员应理解，尽管一些示例实施例被描述为处理单元或者方法被描绘为流程图。虽然流程图将操作表述为顺序处理，但是许多操作可以并行、同时或同步地执行。此外，操作的顺序可以重新排列。处理可以在它们的操作完成时终止，但是也可以具有并未包括在图中的另外的步骤。该处理可以对应于方法、功能、过程、子例程、子程序等。
上述方法可以由硬件、软件、固件、中间件、伪代码、硬件描述语言或者它们的任意组合来实施。当以软件、固件、中间件或伪代码实施时，用来执行任务的程序代码或代码分段可以被存储在机器或计算机可读介质中，诸如存储介质，诸如非瞬态存储介质，处理单元可以执行该任务。
还应注意到，软件实施的示例实施例的方面通常在一些形式的程序存储介质上进行编码或者在一些类型的传输介质上实施。程序存储介质可以是任意的非瞬态存储介质，诸如磁性(例如，软盘或硬盘)或光学(例如，紧凑盘只读存储器或“CD ROM”)，并且可以是只读的或随机访问的。类似地，传输介质可以是双绞线、同轴线缆、光纤，或者本领域已知的一些其它适当传输介质。示例实施例并不被任何给定实施方式的这些方面所限制。
虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。

Claims (65)

  1. 一种监控摄影设备的方法，其中所述摄影设备被固定至云台***，所述方法包括：
    接收经编码的控制命令；
    对所述经编码的控制命令进行解码，得到所述控制命令；以及
    根据所述控制命令执行对所述摄影设备的操作和/或执行对所述云台***的操作。
  2. 根据权利要求1所述的方法，其中，对所述摄影设备的操作包括：
    修改所述摄影设备的拍摄参数，和/或控制所述摄影设备的工作状态。
  3. 根据权利要求2所述的方法，其中，控制所述摄影设备的工作状态包括：
    打开或关闭所述摄影设备，拍照，开始录像，结束录像，和/或改变所述摄影设备的工作模式。
  4. 根据权利要求1所述的方法，其中，对所述云台***的操作包括：
    控制所述云台***的工作状态，和/或通过控制所述云台***中的动力装置的运动来改变所述摄影设备的姿态，其中所述云台***中的动力装置的运动带动所述摄影设备进行运动。
  5. 根据权利要求4所述的方法，其中，控制所述云台***的工作状态包括：
    打开或关闭所述云台***，和/或改变所述云台***的工作模式。
  6. 根据权利要求1-5中任一项所述的方法，还包括：
    接收由所述摄影设备采集的视频和/或图片；以及
    发送所接收的视频和/或图片。
  7. 根据权利要求6所述的方法，其中，发送所接收的视频包括：
    计算所述视频中的图片帧经封装后的大小；
    根据用于发送所述视频的连接的带宽以及所述图片帧经封装后的大小估计发送频率；
    按照所述发送频率采集所述视频中的图片帧，封装所采集的图片帧，并且发送经封装的图片帧，其中所述经封装的图片帧包括图片帧的发送时间。
  8. 根据权利要求1-5中任一项所述的方法，还包括：
    获取所述摄影设备的相关信息，发送所述摄影设备的相关信息；和/或
    获取所述云台***的相关信息，发送所述云台***的相关信息。
  9. 根据权利要求8所述的方法，其中，所述摄影设备的相关信息包括：
    所述摄影设备的工作模式，所述摄影设备的拍摄参数，和/或所述摄影设备的电量。
  10. 根据权利要求8所述的方法，其中，所述云台***的相关信息包括：
    所述云台***的工作模式，和/或所述云台***的电量。
  11. 根据权利要求1-5中任一项所述的方法，还包括：
    获取所述摄影设备的型号；
    根据所述摄影设备的型号查找与所述型号对应的控制协议；
    当解码得到的控制命令指示执行对所述摄影设备的操作时，根据所述控制命令以及查找到的控制协议执行对所述摄影设备的操作。
  12. 根据权利要求11所述的方法，其中，根据所述控制命令以及查找到的控制协议执行对所述摄影设备的操作包括：
    根据所述查找到的控制协议对所述控制命令进行转换，使得转换后得到的控制命令与所述摄影设备相兼容；
    将转换后得到的控制命令发送至所述摄影设备。
  13. 根据权利要求1-5中任一项所述的方法，还包括：
    判断所述控制命令是否与所述云台***的工作状态相冲突，如冲突则丢弃所述控制命令；和/或
    判断所述控制命令是否与所述摄影设备的工作状态相冲突，如冲突则丢弃所述控制命令。
  14. 根据权利要求1-5中任一项所述的方法，其中，根据所述控制命令执行对所述摄影设备的操作和/或执行对所述云台***的操作包括：
    合并一段时间内的多个控制命令，得到合并后的控制命令；以及
    根据所述合并后的控制命令执行对所述摄影设备的操作和/或执行对所述云台***的操作；其中，根据所述合并后的控制命令执行操作得到的效果与分别根据所述一段时间内的多个控制命令执行操作得到的效果相同。
  15. 根据权利要求6所述的方法，其中，经由第一连接接收经编码的控制命令并且发送所接收的视频和/或图片；以及
    当所述第一连接断开时，经由第二连接接收经编码的控制命令并且发送所接收的视频和/或图片。
  16. 根据权利要求15所述的方法，其中，所述第一连接是WiFi连接，所述第二连接是蓝牙连接。
  17. 一种云台***(10)，其中摄影设备(11)被固定至所述云台***(10)，所述云台***(10)包括：
    控制模块(101)，用于接收经编码的控制命令；对所述经编码的控制命令进行解码，得到所述控制命令；以及，根据所述控制命令执行对所述摄影设备(11)的操作和/或执行对所述云台***(10)的操作。
  18. 根据权利要求17所述的云台***(10)，其中，对所述摄影设备(11)的操作包括：
    修改所述摄影设备(11)的拍摄参数，和/或控制所述摄影设备(11)的工作状态。
  19. 根据权利要求18所述的云台***(10)，其中，控制所述摄影设备(11)的工作状态包括：
    打开或关闭所述摄影设备(11)，拍照，开始录像，结束录像，和/或改变所述摄影设备(11)的工作模式。
  20. 根据权利要求17所述的云台***(10)，所述云台***(10)还包括动力装置(105)，其中，对所述云台***(10)的操作包括：
    控制所述云台***(10)的工作状态，和/或通过控制所述云台***(10)中的动力装置(105)的运动来改变所述摄影设备(11)的姿态，其中所述云台***(10)中的动力装置(105)的运动带动所述摄影设备(11)进行运动。
  21. 根据权利要求20所述的云台***(10)，其中，控制所述云台***(10)的工作状态包括：
    打开或关闭所述云台***(10)，和/或改变所述云台***(10)的工作模式。
  22. 根据权利要求17-21中任一项所述的云台***(10)，还包括：
    图传模块(102)，用于接收由所述摄影设备(11)采集的视频和/或图片；以及，发送所接收的视频和/或图片。
  23. 根据权利要求22所述的云台***(10)，其中，所述图传模块(102)用于：计算所述视频中的图片帧经封装后的大小；根据用于发送所述视频的连接的带宽以及所述图片帧经封装后的大小估计发送频率；以及，按照所述发送频率采集所述视频中的图片帧，封装所采集的图片帧，并且发送经封装的图片帧，其中所述经封装的图片帧包括图片帧的发送时间。
  24. 根据权利要求17-21中任一项所述的云台***(10)，其中，所述控制模块(101)还用于：获取所述摄影设备(11)的相关信息，发送所述摄影设备(11)的相关信息；和/或，获取所述云台***(10)的相关信息，发送所述云台***(10)的相关信息。
  25. 根据权利要求24所述的云台***(10)，其中，所述摄影设备(11)的相关信息包括：
    所述摄影设备(11)的工作模式，所述摄影设备(11)的拍摄参数，和/或所述摄影设备(11)的电量。
  26. 根据权利要求24所述的云台***(10)，其中，所述云台***(10)的相关信息包括：
    所述云台***(10)的工作模式，和/或所述云台***(10)的电量。
  27. 根据权利要求17-21中任一项所述的云台***(10)，还包括：
    存储模块，用于存储控制协议；
    所述控制模块(101)还用于：获取所述摄影设备(11)的型号；根据所述摄影设备(11)的型号查找与所述型号对应的控制协议；以及，当解码得到的控制命令指示执行对所述摄影设备(11)的操作时，根据所述控制命令以及查找到的控制协议执行对所述摄影设备(11)的操作。
  28. 根据权利要求27所述的云台***(10)，其中，所述控制模块(101)用于：根据所述查找到的控制协议对所述控制命令进行转换，使得转换后得到的控制命令与所述摄影设备(11)相兼容；以及，将转换后得到的控制命令发送至所述摄影设备(11)。
  29. 根据权利要求17-21中任一项所述的云台***(10)，其中，所述控制模块(101)还用于：判断所述控制命令是否与所述云台***(10)的工作状态相冲突，如冲突则丢弃所述控制命令；和/或，判断所述控制命令是否与所述摄影设备(11)的工作状态相冲突，如冲突则丢弃所述控制命令。
  30. 根据权利要求17-21中任一项所述的云台***(10)，其中，所述控制模块(101)用于：合并一段时间内的多个控制命令，得到合并后的控制命令；以及，根据所述合并后的控制命令执行对所述摄影设备(11)的操作和/或执行对所述云台***(10)的操作；其中，根据所述合并后 的控制命令执行操作得到的效果与分别根据所述一段时间内的多个控制命令执行操作得到的效果相同。
  31. 根据权利要求22所述的云台***(10)，其中，所述控制模块(101)经由第一连接接收经编码的控制命令，并且所述图传模块(102)经由所述第一连接发送所接收的视频和/或图片；
    当所述第一连接断开时，所述控制模块(101)经由第二连接接收经编码的控制命令，并且所述图传模块(102)经由所述第二连接发送所接收的视频和/或图片。
  32. 根据权利要求31所述的方法，其中，所述第一连接是WiFi连接，所述第二连接是蓝牙连接。
  33. 一种计算设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的指令，当由所述处理器执行所述指令时，使得所述计算设备实现如权利要求1-16中任一项所述的方法。
  34. 一种监控摄影设备的方法，其中所述摄影设备被固定至云台***，所述方法包括：
    接收用户输入的控制命令；
    将所述控制命令进行编码，并且发送经编码的控制命令，其中所述控制命令用于执行对所述摄影设备的操作和/或执行对所述云台***的操作。
  35. 根据权利要求34所述的方法，还包括：
    接收由所述摄影设备采集的视频和/或图片；以及
    显示所接收的视频和/或图片。
  36. 根据权利要求35所述的方法，包括：
    接收由所述摄影设备采集的并且经过处理的视频，其中所述视频由经封装的图片帧组成；
    对所接收的经封装的图片帧进行解封装，得到图片帧和所述图片帧的 发送时间；
    比较所述图片帧的发送时间和前一个显示的图片帧的发送时间，如果前者早于后者，则丢弃所述图片帧，否则显示所述图片帧。
  37. 根据权利要求35所述的方法，还包括：
    对所接收的包括视频和/或图片的数据进行解复用，得到所述视频和/或图片。
  38. 根据权利要求34所述的方法，还包括：
    接收所述摄影设备的相关信息，并且显示所述摄影设备的相关信息；和/或
    接收所述云台***的相关信息，并且显示所述摄影设备的相关信息。
  39. 一种移动设备(12，12’)，包括：
    一个或多个开关，用于接收用户输入的控制命令；
    处理模块(121)，用于将所述控制命令进行编码，以及发送经编码的控制命令，其中所述控制命令用于执行对摄影设备(11)的操作和/或执行对云台***(10)的操作。
  40. 根据权利要求39所述的移动设备(12，12’)，其中，所述处理模块(121)还用于接收由所述摄影设备(11)采集的视频和/或图片；所述移动设备还包括：
    显示模块(122)，用于显示所接收的视频和/或图片。
  41. 根据权利要求40所述的移动设备(12，12’)，其中，所述处理模块(121)用于：接收由所述摄影设备(11)采集的并且经过处理的视频，其中所述视频由经封装的图片帧组成；对所接收的经封装的图片帧进行解封装，得到图片帧和所述图片帧的发送时间；以及，比较所述图片帧的发送时间和前一个显示的图片帧的发送时间，如果前者早于后者，则丢弃所述图片帧，否则由所述显示模块(122)显示所述图片帧。
  42. 根据权利要求40所述的移动设备(12，12’)，其中，所述处理 模块(121)还用于对所接收的包括视频和/或图片的数据进行解复用，得到所述视频和/或图片。
  43. 根据权利要求39所述的移动设备(12，12’)，其中，所述处理模块(121)还用于接收所述摄影设备(11)的相关信息，和/或接收所述云台***(10)的相关信息；
    所述显示模块(122)还用于显示所述摄影设备(11)的相关信息，和/或显示所述云台***(10)的相关信息。
  44. 根据权利要求40-43中任一项所述的移动设备(12，12’)，其中，所述显示模块(122)是触摸屏。
  45. 根据权利要求44所述的移动设备(12，12’)，其中，所述一个或多个开关是所述触摸屏上的虚拟开关。
  46. 一种计算设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的指令，当由所述处理器执行所述指令时，使得所述计算设备实现如权利要求34-38中任一项所述的方法。
  47. 一种监控摄影设备的方法，其中所述摄影设备被固定至云台***，所述方法包括：
    步骤1)接收视频并且显示所接收的视频；
    步骤2)接收用户输入的进入跟踪拍摄的指示；
    步骤3)获得用户在所显示的视频中的一个图片帧上框选的区域；
    步骤4)提取框选区域中的目标图像的特征，并且获得所述目标图像在图片帧中的位置；
    步骤5)计算所述目标图像与图片帧中心的位置差，根据所述位置差确定第一控制命令，其中所述第一控制命令用于执行对所述云台***的操作以使所述目标图像接近图片帧中心；
    步骤6)将所述第一控制命令进行编码，并且发送经编码的第一控制命令，其中所述第一控制命令用于执行对所述云台***的操作。
  48. 根据权利要求47所述的方法，还包括：
    步骤7)将所显示的视频中的下一个图片帧作为当前图片帧；
    步骤8)提取所述当前图片帧的特征，将所提取的特征与所述目标图像的特征进行匹配，得到所述目标图像在所述当前图片帧中的位置；
    步骤9)计算在当前图片帧与前一图片帧之间所述目标图像的位置差或者计算当前图片帧中所述目标图像与图片帧中心的位置差，根据所述位置差确定第二控制命令，其中所述第二控制命令用于执行对所述云台***的操作以使所述目标图像接近图片帧中心；
    步骤10)将所述第二控制命令进行编码，并且发送经编码的第二控制命令，其中所述第二控制命令用于执行对所述云台***的操作；
    步骤11)如果没有接收到用户输入的退出跟踪拍摄的指示则返回步骤7)。
  49. 根据权利要求48所述的方法，其中，步骤11)包括：
    如果没有接收到用户输入的退出跟踪拍摄的指示，则根据所述目标图像在历史图片帧中的位置推测所述目标图像是否位于下一个图片帧之外，如果推测出位于下一个图片帧之外，则返回步骤7)，否则跳过所述下一个图片帧，将所述下一个图片帧之后的图片帧作为当前图片帧并且返回步骤8)。
  50. 根据权利要求49所述的方法，其中，根据所述目标图像在历史图片帧中的位置推测所述目标图像是否位于下一个图片帧之外包括：
    计算所述目标图像在所述历史图片帧中每次的位移量；
    对得到的位移量取平均值；
    根据所述目标图像在当前图片帧中的位置以及位移量的平均值，推测所述目标图像是否将在下一图片帧移动到图片帧之外。
  51. 根据权利要求47-50中任一项所述的方法，在步骤1)中，显示所接收的视频包括：
    将所接收的视频中的图片帧转换为YUV格式的图片帧，显示所述YUV格式的图片帧。
  52. 根据权利要求48所述的方法，其中，步骤3)包括：
    将框选区域转换为灰度图；
    对所述灰度图进行缩放操作；以及
    提取经转换和缩放后所述框选区域中的目标图像的特征，并且获得所述目标图像在图片帧中的位置；
    其中，步骤8)包括：
    将当前图片帧转换为灰度图；
    对所述灰度图进行缩放操作；以及
    提取经转换和缩放后所述图片帧的特征，将所提取的特征与所述目标图像的特征进行匹配，得到所述目标图像在所述当前图片帧中的位置。
  53. 根据权利要求47或48所述的方法，其中，使用SIFT算法和/或光流法提取特征。
  54. 一种移动设备(12，12’)，包括：
    处理模块(121)，用于接收视频；提取框选区域中的目标图像的特征，并且获得所述目标图像在图片帧中的位置；计算所述目标图像与图片帧中心的位置差，根据所述位置差确定第一控制命令，其中所述第一控制命令用于执行对所述云台***(10)的操作以使所述目标图像接近图片帧中心；以及，将所述第一控制命令进行编码，并且发送经编码的第一控制命令，其中所述第一控制命令用于执行对云台***(10)的操作；
    开关，用于接收用户输入的进入跟踪拍摄的指示和退出跟踪拍摄的指示；
    显示模块(122)，用于显示所接收的视频；以及，获得用户在所显示的视频中的一个图片帧上框选的区域。
  55. 根据权利要求54所述的移动设备(12，12’)，其中，所述处理模块(121)还用于将由显示模块(122)所显示的视频中的下一个图片帧作为当前图片帧；提取所述当前图片帧的特征，将所提取的特征与所述目标图像的特征进行匹配，得到所述目标图像在所述当前图片帧中的位置；计算在当前图片帧与前一图片帧之间所述目标图像的位置差或者计算当前图片帧中所述目标图像与图片帧中心的位置差，根据所述位置差确定第二 控制命令，其中所述第二控制命令用于执行对所述云台***的操作以使所述目标图像接近图片帧中心；将所述第二控制命令进行编码，并且发送经编码的第二控制命令，其中所述第二控制命令用于执行对所述云台***(10)的操作；所述处理模块(121)重复上述过程直到所述开关接收到用户输入的退出跟踪拍摄的指示。
  56. 根据权利要求55所述的移动设备(12，12’)，其中，所述处理模块(121)还用于根据所述目标图像在历史图片帧中的位置推测所述目标图像是否位于下一个图片帧之外。
  57. 根据权利要求56所述的移动设备(12，12’)，其中，所述处理模块(121)用于：计算所述目标图像在历史图片帧中每次的位移量；对得到的位移量取平均值，根据所述目标图像在当前图片帧中的位置以及位移量的平均值，推测所述目标图像是否将在下一图片帧移动到图片帧之外。
  58. 根据权利要求54-57中任一项所述的移动设备(12，12’)，其中，所述处理模块(121)还用于将所接收的视频中的图片帧转换为YUV格式的图片帧；所述显示模块(122)用于显示所述YUV格式的图片帧。
  59. 根据权利要求55所述的移动设备(12，12’)，其中，所述处理模块(121)还用于将框选区域转换为灰度图；对该灰度图进行缩放操作；以及，将所述当前图片帧转换为灰度图；对该灰度图进行缩放操作。
  60. 根据权利要求54或55所述的移动设备(12，12’)，其中，所述处理模块(121)使用SIFT算法和/或光流法提取特征。
  61. 一种计算设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的指令，当由所述处理器执行所述指令时，使得所述计算设备实现如权利要求47-53中任一项所述的方法。
  62. 一种监控摄影设备的方法，其中所述摄影设备被固定至云台***，所述方法包括：
    步骤a)接收用户输入的进入体感模式的指示；
    步骤b)获取所述移动设备的姿态；
    步骤c)根据所述移动设备的姿态确定控制命令，其中所述控制命令用于执行对所述云台***的操作以使所述摄影设备达到与所述移动设备的姿态相一致的姿态；
    步骤d)将所述控制命令进行编码，并且发送经编码的控制命令，其中所述控制命令用于执行对所述云台***的操作。
  63. 根据权利要求62所述的方法，还包括：
    步骤e)如果没有接收到用户输入的退出体感模式的指示，则返回步骤b)。
  64. 一种移动设备(12，12’)，包括：
    开关，用于接收用户输入的进入体感模式的指示和退出体感模式的指示；
    姿态感测模块(123)，用于获取所述移动设备(12，12’)的姿态；以及
    处理模块(121)，用于根据所述移动设备(12，12’)的姿态确定控制命令，其中所述控制命令用于执行对所述云台***(10)的操作以使所述摄影设备(11)达到与所述移动设备(12，12’)的姿态相一致的姿态；以及，将所述控制命令进行编码，并且发送经编码的控制命令，其中所述控制命令用于执行对所述云台***的操作。
  65. 一种计算设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的指令，当由所述处理器执行所述指令时，使得所述计算设备实现如权利要求62或63所述的方法。
PCT/CN2019/104872 2018-09-29 2019-09-09 监控摄影设备的方法、云台***及移动设备 WO2020063307A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811148980.4 2018-09-29
CN201811148980.4A CN109167967A (zh) 2018-09-29 2018-09-29 监控摄影设备的方法、云台***及移动设备

Publications (1)

Publication Number Publication Date
WO2020063307A1 true WO2020063307A1 (zh) 2020-04-02

Family

ID=64892972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/104872 WO2020063307A1 (zh) 2018-09-29 2019-09-09 监控摄影设备的方法、云台***及移动设备

Country Status (2)

Country Link
CN (1) CN109167967A (zh)
WO (1) WO2020063307A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109167967A (zh) * 2018-09-29 2019-01-08 桂林智神信息技术有限公司 监控摄影设备的方法、云台***及移动设备
CN109151392B (zh) * 2018-09-29 2023-11-03 桂林智神信息技术股份有限公司 拍摄监控设备以及包括其的云台***
CN109788198A (zh) * 2019-01-22 2019-05-21 桂林飞宇科技股份有限公司 一种摄像云台控制***及方法
CN109819162A (zh) * 2019-01-22 2019-05-28 桂林飞宇科技股份有限公司 一种摄像云台***的拍摄控制***及方法
CN113163140B (zh) * 2020-01-22 2023-05-09 海信视像科技股份有限公司 显示装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547344A (zh) * 2009-04-24 2009-09-30 清华大学深圳研究生院 基于联动摄像机的视频监控装置及其跟踪记录方法
US20120242783A1 (en) * 2011-03-25 2012-09-27 Samsung Electronicsd Co., Ltd. Method for generating video data and image photographing device thereof
CN104125433A (zh) * 2014-07-30 2014-10-29 西安冉科信息技术有限公司 基于多球机联动结构的视频运动目标监控方法
CN105828021A (zh) * 2015-01-05 2016-08-03 沈阳新松机器人自动化股份有限公司 基于增强现实技术的特种机器人图像采集控制方法及***
CN106303410A (zh) * 2016-08-01 2017-01-04 北京工商大学 一种基于全景视频和球机预置位的枪球机联动方法
CN106488189A (zh) * 2016-10-25 2017-03-08 合肥东上多媒体科技有限公司 一种多媒体远程监控***
US20170103374A1 (en) * 2015-10-13 2017-04-13 Mastercard International Incorporated Systems and methods for determining currently available capacity for a service provider
CN108093244A (zh) * 2017-12-01 2018-05-29 电子科技大学 一种远程随动立体视觉***
CN109167967A (zh) * 2018-09-29 2019-01-08 桂林智神信息技术有限公司 监控摄影设备的方法、云台***及移动设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015204101A (ja) * 2014-12-19 2015-11-16 パナソニックＩｐマネジメント株式会社 ホームプラグ設定システム及び設定方法
KR101586728B1 (ko) * 2015-10-12 2016-01-21 (주)조은세이프 스마트폰을 활용한 원격 모니터링 방법, 장치 및 시스템
CN106603900A (zh) * 2016-12-28 2017-04-26 上海埃威航空电子有限公司 云台摄像机控制***及方法
CN206797763U (zh) * 2017-06-12 2017-12-26 普宙飞行器科技（深圳）有限公司 无人机拍摄杆以及无人机设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547344A (zh) * 2009-04-24 2009-09-30 清华大学深圳研究生院 基于联动摄像机的视频监控装置及其跟踪记录方法
US20120242783A1 (en) * 2011-03-25 2012-09-27 Samsung Electronicsd Co., Ltd. Method for generating video data and image photographing device thereof
CN104125433A (zh) * 2014-07-30 2014-10-29 西安冉科信息技术有限公司 基于多球机联动结构的视频运动目标监控方法
CN105828021A (zh) * 2015-01-05 2016-08-03 沈阳新松机器人自动化股份有限公司 基于增强现实技术的特种机器人图像采集控制方法及***
US20170103374A1 (en) * 2015-10-13 2017-04-13 Mastercard International Incorporated Systems and methods for determining currently available capacity for a service provider
CN106303410A (zh) * 2016-08-01 2017-01-04 北京工商大学 一种基于全景视频和球机预置位的枪球机联动方法
CN106488189A (zh) * 2016-10-25 2017-03-08 合肥东上多媒体科技有限公司 一种多媒体远程监控***
CN108093244A (zh) * 2017-12-01 2018-05-29 电子科技大学 一种远程随动立体视觉***
CN109167967A (zh) * 2018-09-29 2019-01-08 桂林智神信息技术有限公司 监控摄影设备的方法、云台***及移动设备

Also Published As

Publication number Publication date
CN109167967A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
WO2020063307A1 (zh) 监控摄影设备的方法、云台***及移动设备
US8605151B2 (en) Methods and systems for operating a video surveillance system
WO2018077142A1 (zh) 全景视频的处理方法、装置及***
KR101800617B1 (ko) 디스플레이 장치 및 이의 화상 통화 방법
KR102090624B1 (ko) 이미지 촬영장치 및 방법
WO2016187985A1 (zh) 拍摄设备、跟踪拍摄方法和***、以及计算机存储介质
CN107534774A (zh) 相机模式控制
WO2019179283A1 (zh) 图像识别方法及装置
US20150271401A1 (en) Receiver-controlled panoramic view video share
WO2020063306A1 (zh) 拍摄监控设备以及包括其的云台***
KR101773116B1 (ko) 영상 촬영 장치 및 이의 촬영 방법
US20150304574A1 (en) Imaging apparatus, camera unit, display unit, image-taking method, display method and computer readable recording medium recording program thereon
WO2017084286A1 (zh) 一种多互动投影的***及方法
KR20150097049A (ko) 네추럴 ｕｉ를 이용한 자율서빙 로봇 시스템
US20160182860A1 (en) Methods for performing image capture and real-time image display on physically separated or separable devices and apparatus therefor
WO2020006657A1 (zh) 视频拍摄处理方法、设备以及视频拍摄处理***
JP5820210B2 (ja) 撮像装置、撮像装置の制御方法
JP6466638B2 (ja) 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法
JP2012257173A (ja) 追尾装置、追尾方法及びプログラム
JP5230401B2 (ja) 表示制御装置、画像処理装置
KR101452372B1 (ko) 카메라 제어 방법 및 그 시스템
US10990802B2 (en) Imaging apparatus providing out focusing and method for controlling the same
CN114078279A (zh) 动作捕捉方法、装置、电子设备及存储介质
US20240212391A1 (en) Information processing apparatus, image capturing apparatus, information processing method, and storage medium
JP2019180017A (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19866956

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19866956

Country of ref document: EP

Kind code of ref document: A1