WO2014065127A1 - 情報処理端末、撮像機、情報処理方法、プログラム、および遠隔撮像システム - Google Patents

情報処理端末、撮像機、情報処理方法、プログラム、および遠隔撮像システム Download PDF

Info

Publication number
WO2014065127A1
WO2014065127A1 PCT/JP2013/077545 JP2013077545W WO2014065127A1 WO 2014065127 A1 WO2014065127 A1 WO 2014065127A1 JP 2013077545 W JP2013077545 W JP 2013077545W WO 2014065127 A1 WO2014065127 A1 WO 2014065127A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging device
information
unit
appearance
Prior art date
Application number
PCT/JP2013/077545
Other languages
English (en)
French (fr)
Inventor
理志 金田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/436,038 priority Critical patent/US9706101B2/en
Publication of WO2014065127A1 publication Critical patent/WO2014065127A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Definitions

  • the present technology relates to an information processing terminal, an imaging device, an information processing method, a program, and a remote imaging system, and in particular, an information processing terminal capable of remotely operating an imaging device with a sense similar to direct operation,
  • the present invention relates to an imaging device, an information processing method, a program, and a remote imaging system.
  • Patent Literature 1 describes a technique for displaying an image of an operation key having the same arrangement as that of an operation key on an operated imaging device on a display of an operating imaging device provided with a touch panel.
  • an execution request for the operation corresponding to the operation key is transmitted from the operation-side imaging device to the operation-side imaging device via wireless communication. Processing is executed.
  • Patent Document 2 discloses a technique for adding an operation item corresponding to an operation key to a menu image of the operation-side imaging device when the operation-side imaging device includes an operation key that is not provided in the operation-side imaging device. Is described.
  • the monitor image periodically transmitted from the operated imaging device is displayed on the display of the operating imaging device together with an image representing the appearance of the back of the operated imaging device. It is supposed to be displayed. Accordingly, the operation keys displayed as images on the display of the operation-side imaging device are limited to the operation keys on the back of the operated-side imaging device, and the user cannot operate other operation keys.
  • This technology has been made in view of such a situation, and enables the image pickup device to be remotely operated in the same sense as when directly operating.
  • An information processing terminal performs wireless communication with an image pickup device, and receives communication device information including identification information of the image pickup device and an image being picked up by the image pickup device, Based on the imager information, a generation unit that generates an image of the appearance of the imager, a display control unit that displays the image being captured and the image of the appearance on the same screen of the display unit, and the display A detection unit that detects a contact operation on the unit, and the display control unit switches a direction and a size of the appearance image according to the contact operation.
  • the detection unit is configured to detect the contact operation with respect to an operation key image that is an image of an operation key provided in the imaging device and included in the appearance image, and the communication unit performs the contact operation.
  • a control command corresponding to the operation key image can be transmitted to the imaging device.
  • the display control unit can change the state of the operation key image in response to detection of the contact operation on the operation key image.
  • a management unit that manages whether or not the operation key is a key that returns to a state before the operation is performed after the operation is performed, and manages a history of operations using the operation key image.
  • a history management unit can be further provided. In this case, when the history includes that the operation using the operation key image representing the operation key that does not return to the state before the operation is performed is included in the display control unit, At the end of the communication, information notifying that the state of the operation key in the imaging device is different from the state after the operation can be displayed.
  • the imaging device information may include the control command and the information indicating whether the key is a key for returning to a state before the operation.
  • the generation unit may acquire the appearance image data from a server connected via a network based on the identification information, and generate the appearance image.
  • the image pickup device information may include information indicating the shape of the image pickup device and information indicating the arrangement of operation keys provided on the image pickup device.
  • the generating unit can generate the appearance image based on information included in the imaging device information.
  • the communication unit can receive an image in which information representing the state of the imaging device is superimposed on an image captured by the imaging device as the image being captured.
  • the display control unit displays the image being picked up and the appearance image in a region formed so as not to overlap the screen, and the display region of the image being picked up and the appearance image are displayed.
  • the size of the display area can be switched according to the contact operation.
  • the communication unit receives information indicating that a motion is detected, transmitted from the imaging device, and the display control unit receives information indicating that the motion is detected. Accordingly, it is possible to display information indicating that motion has been detected in the imaging device.
  • the imaging device has the same imaging unit, an image being captured, and an image of the appearance of the previous imaging device generated based on imaging device information including identification information of the imaging device.
  • Wireless communication is performed with an information processing terminal that is displayed on a screen and switches the orientation and size of the image of the appearance according to a touch operation on the display unit, and the imaging device information and the imaging unit obtained by the imaging unit And from the information processing terminal in response to detection of the touch operation on the operation key image, which is an image of the operation key arranged in the imaging device, included in the appearance image
  • a communication unit that receives a control command corresponding to the operation key image on which the contact operation has been performed, and an execution unit that performs processing according to the control command.
  • a display control unit to be controlled can be further provided.
  • the imaging device information includes information indicating whether the control command and the operation key are keys for returning to a state before the operation is performed after the operation is performed, and information indicating the shape of the imaging device , And information indicating the arrangement of the operation keys.
  • the communication unit can transmit information indicating that the motion is detected to the information processing terminal.
  • a remote imaging system performs wireless communication with an imaging device and receives imaging device information including identification information of the imaging device and an image being captured by the imaging device; Based on the imager information, a generation unit that generates an image of the appearance of the imager, a display control unit that displays the image being captured and the image of the appearance on the same screen of the display unit, and the display A detection unit that detects a contact operation on a part, the display control unit switches a direction and a size of the appearance image according to the contact operation, and the detection unit is included in the appearance image.
  • the contact operation with respect to an operation key image that is an image of an operation key provided on the imaging device is detected, and the communication unit sends a control command corresponding to the operation key image on which the contact operation has been performed to the imaging device.
  • Information processing terminal to send The control command is transmitted from the information processing terminal while performing wireless communication with the imaging unit and the information processing terminal and transmitting the imaging device information and the image being captured obtained by the imaging unit.
  • an imaging device including an execution unit that performs processing according to the control command.
  • wireless communication is performed with the imaging device, and imaging device information including identification information of the imaging device and an image being captured by the imaging device are received.
  • An image of the appearance of the image pickup device is generated based on the image pickup device information, and the image being picked up and the image of the appearance are displayed on the same screen of the display unit.
  • a contact operation on the display unit is detected, and the direction and size of the appearance image are switched according to the contact operation.
  • an image being captured and an image of the appearance of the previous image capturing device generated based on image capturing device information including identification information of the image capturing device are displayed on the same screen of the display unit, Wireless communication is performed with an information processing terminal that switches the direction and size of an appearance image according to a touch operation on the display unit.
  • the operation key that is the image of the operation key arranged in the image pickup device and transmitted to the image pickup device information and the image being picked up obtained by the image pickup unit and included in the image of the appearance
  • a control command is received from the information processing terminal in response to detection of the contact operation on the image, and a control command corresponding to the operation key image on which the contact operation has been performed is received, and processing according to the control command Is done.
  • the information processing terminal performs wireless communication with the imaging device, and receives imaging device information including identification information of the imaging device and an image being captured by the imaging device. .
  • An image of the appearance of the image pickup device is generated based on the image pickup device information, and the image being picked up and the image of the appearance are displayed on the same screen of the display unit.
  • a contact operation on the display unit is detected, and the direction and size of the appearance image are switched according to the contact operation.
  • a control command corresponding to the operation key image in which the contact operation is detected with respect to an operation key image that is an image of an operation key provided in the imaging device and included in the image of the appearance is performed. Is transmitted to the imaging device.
  • wireless communication is performed with the information processing terminal by the imaging device, and the imaging device information and the image being captured obtained by the imaging unit are transmitted. Further, the control command transmitted from the information processing terminal is received, and processing according to the control command is performed.
  • step S29 of FIG. It is a flowchart explaining the 1st model image generation process performed in step S29 of FIG. It is a flowchart explaining the 2nd model image generation process performed in step S29 of FIG. It is a flowchart explaining the 3rd model image generation process performed in step S29 of FIG. It is a block diagram which shows the structural example of a computer.
  • FIG. 1 is a diagram illustrating a configuration example of a remote imaging system according to an embodiment of the present technology.
  • the remote imaging system in FIG. 1 includes an imaging device 1 and an operating device 2.
  • an imaging device 1 such as a digital still camera using the portable information processing terminal such as a so-called smartphone as the operating device 2
  • the imaging device 1 is fixed with a tripod or the like at a position away from the operating device 2 carried by the user.
  • the imaging device 1 is, for example, a digital still camera with interchangeable lenses.
  • a display is provided on the front surface of the housing of the controller 2, and a touch panel is provided on the display. The user can perform various operations by touching the buttons displayed on the display with a finger.
  • the imaging device 1 and the controller 2 can transmit and receive data to and from each other via wireless communication such as wireless LAN or Bluetooth (registered trademark).
  • the imaging device 1 has at least two operation modes of a normal imaging mode and a remote imaging mode. For example, the user can switch the operation mode by operating the imaging device 1.
  • the normal imaging mode is a mode in which each operation is executed according to an operation key provided on the imaging device 1 being operated by the user.
  • the remote imaging mode is a mode for executing each operation according to a request transmitted from the controller 2. When the remote imaging mode is set, the direct operation on the imaging device 1 is basically invalidated.
  • the controller 2 has at least an operation mode of a remote operation mode.
  • the remote operation mode is a mode in which an operation execution request is transmitted to the image pickup device 1 via wireless communication and the image pickup device 1 is operated remotely.
  • the imaging device 1 may have a remote operation mode
  • the operation device 2 may have a normal imaging mode and a remote imaging mode.
  • the model image and the monitor image are displayed side by side on the display of the operating device 2.
  • the model image is an image that three-dimensionally represents the appearance of the imaging device 1.
  • the model image includes operation key images that are images of various operation keys provided on the main body of the imaging device 1 in the same arrangement as the operation key arrangement in the imaging device 1.
  • the stereoscopic image here is not a so-called 3D image that realizes stereoscopic vision by guiding a left-eye image and a right-eye image with parallax to the left and right eyes of the user, respectively.
  • the monitor image is an image captured by the imaging device 1.
  • the image picked up by the image pickup device 1 is not displayed on the display of the image pickup device 1 but is transmitted from the image pickup device 1 to the operation device 2 and displayed on the display of the operation device 2 as a monitor image.
  • the model image can be changed in direction by a slide operation or enlarged or reduced by a pinch operation.
  • the user can display the image of the operation key provided on each surface of the imaging device 1 on the model image, and can perform a contact operation on the displayed operation key image by a tap operation or the like.
  • an operation execution request corresponding to the operation key image is transmitted from the operating device 2 to the imaging device 1.
  • the imaging device 1 For example, when the user looks at the monitor image, decides a photo opportunity, and presses the image of the shutter key on the model image, a signal requesting to capture a still image is transmitted, and the image capturing device 1 performs image capturing.
  • various operation key images are included in the model image in the same arrangement as the operation key arrangement in the image pickup device 1.
  • the user can remotely operate the operating device 2 with the same feeling as operating the imaging device 1 directly.
  • the display of the model image can be switched by a slide operation or a pinch operation, the user can perform an operation using not only the operation keys that appear in a specific range but also the operation key images at each position of the imaging device 1. It can be carried out.
  • FIG. 2 is a diagram illustrating a configuration example of the back surface of the imaging device 1.
  • a display 11 is provided on the back surface of the imaging device 1 at a position closer to the left side than the center. In the normal imaging mode, the display 11 displays an image being captured, a captured image selected by the user, and the like.
  • a circular selection key 12 is provided on the right side of the display 11, and an enter key 13 is provided at the center of the selection key 12.
  • the selection key 12 is operated when the cursor on the menu image displayed on the display 11 is moved up, down, left and right, and the determination key 13 is operated when an item is determined from the menu image.
  • a menu key 14 is provided on the selection key 12.
  • the menu key 14 is operated to display a menu image on which various items are arranged on the display 11.
  • a finder 15 is provided on the display 11, and a mode dial 16 that is a disk-like operation key is provided on the upper right side of the main body of the imaging device 1.
  • the mode dial 16 is operated when switching between a plurality of imaging modes provided in the imaging device 1.
  • FIG. 3 is a diagram illustrating a configuration example of the upper surface of the imaging device 1.
  • a power key 17 is provided on the left side of the mode dial 16. The power key 17 is operated when turning on / off the power of the imaging device 1.
  • a cylindrical lens portion 18 having a zoom lens is provided on the left side of the front surface of the imaging device 1, and a grip portion 19 is formed on the right side so as to protrude forward.
  • a circular shutter key 20 is provided on the upper surface of the grip portion 19, and a zoom key 21 that can be rotated in a predetermined range from side to side is provided so as to surround the shutter key 20.
  • the shutter key 20 is a two-stage operation key. When the half-pressed state is pressed by one step, the focus and exposure are fixed in an optimized state, and when the full-pressed state is pressed by pressing two steps, imaging is performed.
  • the zoom key 21 is operated when the angle of view is switched between the telephoto side and the wide angle side.
  • FIG. 4 is a block diagram illustrating a configuration example of the imaging device 1.
  • the imaging device 1 includes an optical unit 31, an imaging unit 32, a signal processing unit 33, a storage unit 34, a control unit 35, an input unit 36, a sensor unit 37, a wireless communication unit 38, and a speaker 39. .
  • the optical unit 31 includes a zoom lens, a focus lens, and the like constituting the lens unit 18, a driving mechanism, a shutter mechanism, an iris mechanism, and the like.
  • the optical unit 31 is driven according to control by the control unit 35, and guides light from the subject to the imaging unit 32.
  • the imaging unit 32 includes a solid-state imaging device that converts light from a subject into an electrical signal, an A / D conversion circuit that digitizes an image signal from the solid-state imaging device, and the like.
  • a solid-state imaging device that converts light from a subject into an electrical signal
  • an A / D conversion circuit that digitizes an image signal from the solid-state imaging device, and the like.
  • the solid-state imaging device a CCD (Charge-Coupled Device), a CMOS (Complementary Metal-Oxide Semiconductor), or the like is used.
  • the signal processing unit 33 performs signal processing such as image quality correction on the image signal from the imaging unit 32, generates an image signal for display, and outputs the image signal to the display 11. Further, the signal processing unit 33 generates compressed image data for recording based on the image signal after the signal processing, and outputs and stores the compressed image data in the storage unit 34. Further, the signal processing unit 33 expands the compressed image data read from the storage unit 34, generates a display image signal, and outputs it to the display 11.
  • an image signal obtained by signal processing by the signal processing unit 33 is output to the display 11 and used for displaying an image being captured.
  • the image data obtained by the signal processing by the signal processing unit 33 is output to the control unit 35 and used to transmit a monitor image to the controller 2.
  • the storage unit 34 stores the recording image data generated by the signal processing unit 33.
  • a portable recording medium such as a memory card formed of a flash memory, an optical disk, or a solid type recording medium such as an HDD (Hard Disk Drive) is used.
  • HDD Hard Disk Drive
  • the control unit 35 is a microcomputer including a CPU (Central Processing Unit) and a memory such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the control unit 35 controls the overall operation of the imaging device 1 by executing a program stored in the memory.
  • a mode setting unit 51 As shown in FIG. 4, in the control unit 35, a mode setting unit 51, a command execution unit 52, and a display control unit 53 are realized by executing a predetermined program.
  • the mode setting unit 51 manages the operation mode of the image pickup device 1.
  • the command execution unit 52 executes a control command transmitted from the controller 2 when the remote imaging mode is set, and performs various processes according to the control command, such as still image imaging and zoom adjustment. .
  • the control command transmitted from the controller 2 is received by the wireless communication unit 38 and supplied to the control unit 35.
  • the display control unit 53 controls the display on the display 11. For example, the display control unit 53 causes the display 11 to display an image being captured based on the display image signal generated by the signal processing unit 33 in the normal imaging mode. The display control unit 53 turns off the display 11 in the remote imaging mode.
  • control unit 35 a functional unit that performs other processing is also realized. Processing other than the processing performed by the mode setting unit 51, the command execution unit 52, and the display control unit 53 will be described as being performed by the control unit 35.
  • the input unit 36 detects a user operation on an operation key provided in each part of the main body of the imaging device 1 and outputs a signal corresponding to the user operation to the control unit 35.
  • the sensor unit 37 is configured by an acceleration sensor, a gyro sensor, or the like.
  • the sensor unit 37 detects acceleration and the like, and outputs a signal representing the detection result to the control unit 35. Based on the detection result by the sensor unit 37, the control unit 35 determines whether or not the imaging device 1 has been moved.
  • the wireless communication unit 38 includes an antenna, a modulation / demodulation circuit, and the like, and performs wireless communication with the controller 2 that is an external device according to control by the control unit 35.
  • the wireless communication unit 38 receives information such as a control command transmitted from the controller 2 and outputs the information to the control unit 35. Further, when information such as a monitor image is supplied from the control unit 35, the wireless communication unit 38 transmits it to the controller 2.
  • the display 11 is configured by an LCD (Liquid Crystal Display) or the like, and displays an image based on the display image signal supplied from the signal processing unit 33. Further, the display 11 synthesizes and displays a menu image or the like on the image being captured in accordance with control by the control unit 35.
  • LCD Liquid Crystal Display
  • FIG. 5 is a diagram illustrating a configuration example of the front surface of the controller device 2.
  • a display 81 is provided on almost the entire surface of the controller 2 having a substantially rectangular thin plate-like casing.
  • the display 81 is provided with a touch panel in a stacked form, for example. As shown in FIG. 5, the user can also operate by holding the controller 2 sideways.
  • a speaker 82 and operation keys 83 including three keys are provided, respectively.
  • a microphone 84 is provided next to the operation key 83.
  • the speaker 82 and the microphone 84 are used for a call or the like. In the remote operation mode, for example, notification to the user is performed using sound from the speaker 82. In addition, the sound collected by the microphone 84 is transmitted to the imaging device 1 and output from the speaker 39 of the imaging device 1.
  • FIG. 6 is a block diagram illustrating a configuration example of the controller device 2.
  • the operating device 2 includes a control unit 91, a touch panel 92, a wireless communication unit 93, and a storage unit 94 in addition to the display 81, the speaker 82, and the microphone 84.
  • the optical unit 31 and the imaging unit 32 included in the imaging device 1 may be provided in the operating device 2 so that the imaging function is also prepared in the operating device 2.
  • the control unit 91 is a microcomputer including a CPU and memories such as ROM and RAM.
  • the controller 91 controls the overall operation of the controller device 2 by executing a program stored in the memory.
  • a mode setting unit 101 As shown in FIG. 6, in the control unit 91, a mode setting unit 101, an operation detection unit 102, a model image generation unit 103, a display control unit 104, a command list management unit 105, The history management unit 106 is realized.
  • the mode setting unit 101 manages the operation mode of the controller 2.
  • the operation detection unit 102 detects a user's contact operation based on a signal supplied from the touch panel 92. For example, when a contact operation on the model image is detected by the operation detection unit 102, the display of the model image is switched. Further, when a contact operation on the operation key image on the model image is detected by the operation detection unit 102, a control command is transmitted to the imaging device 1.
  • the model image generation unit 103 generates a model image based on information transmitted from the imaging device 1 in the remote operation mode.
  • the display control unit 104 controls the display on the display 81.
  • the display control unit 104 displays the monitor image transmitted from the imaging device 1 and received by the wireless communication unit 93 and the model image generated by the model image generation unit 103 on the same screen of the display 81 in the remote operation mode. Display them side by side.
  • the command list management unit 105 manages the control command list transmitted from the imaging device 1.
  • the control command list is transmitted from the image pickup device 1 after the remote operation mode is set and communication with the image pickup device 1 is started, for example.
  • the control command list is a list of control commands for causing the imaging device 1 to perform an operation corresponding to each operation using the operation key image.
  • the history management unit 106 manages association information including a history of operations performed by the user in the remote operation mode. Based on the operation history managed by the history management unit 106, the notification to the user when the remote operation mode is ended is switched.
  • control unit 91 a functional unit that performs other processing is also realized. Processing other than the processing performed by the mode setting unit 101 to the history management unit 106 will be described as being performed by the control unit 91.
  • the touch panel 92 detects the user's contact operation on the surface of the display 81 and outputs a signal representing the content of the contact operation to the control unit 91.
  • the wireless communication unit 93 includes an antenna, a modulation / demodulation circuit, and the like, and performs wireless communication with the imaging device 1 that is an external device according to control by the control unit 91.
  • the wireless communication unit 93 receives information such as a monitor image transmitted from the imaging device 1 and outputs the information to the control unit 91. Further, when information such as a control command is supplied from the control unit 91, the wireless communication unit 93 transmits the information to the imaging device 1.
  • the storage unit 94 includes a flash memory and stores various data such as a program executed by the control unit 91.
  • FIG. 7 is a diagram illustrating an example of a control command list managed by the command list management unit 105.
  • the association information managed by the history management unit 106 is associated with the control command list.
  • a control command number, a control command name, and an automatic return flag are associated with a control command corresponding to an operation using each operation key image.
  • the automatic return flag indicates whether the operation key automatically returns to the state before the operation or not after the operation.
  • the value of the automatic return flag is 0, it represents an operation key that does not automatically return to the state before the operation after the operation (leave it after the operation), and the value of the automatic return flag is 1. This indicates that the operation key automatically returns to the state before the operation after the operation.
  • the operation using the mode dial 16 (FIG. 3) provided in the imaging device 1 includes a clockwise operation and a counterclockwise operation.
  • “2” is assigned as the control command number to the control command corresponding to the operation of turning the operation key image representing the mode dial 16 counterclockwise
  • “mode dial (counterclockwise)” is assigned as the control command name. Assigned.
  • a value of “0” is set in the automatic return flag.
  • the operation using the shutter key 20 provided in the imaging device 1 includes a half-press operation and a full-press operation.
  • the control command corresponding to the half-press operation of the shutter key 20 is assigned “3” as the control command number and “shutter key (half-press)” as the control command name. Further, a value of “1” is set in the automatic return flag.
  • each piece of information is similarly associated with a control command corresponding to an operation using another operation key image.
  • the association information shown on the right side of FIG. 7 includes position coordinates and operation history.
  • the position coordinates represent the display position of each operation key image in the display coordinates of the model image.
  • the history management unit 106 updates the coordinates of each operation key image each time a slide operation or a pinch operation is performed and the orientation and size of the model image are switched.
  • the position of the operation key image representing the mode dial 16 on the model image is a position represented by “x1, y1”. Further, the operation history of the operation of rotating the operation key image representing the mode dial 16 clockwise is “0”, and the operation history of the operation of rotating counterclockwise is “1”. The operation history of the operation to rotate counterclockwise is “1”, indicating that the operation of rotating the operation key image representing the mode dial 16 counterclockwise has been performed only once.
  • the position of the operation key image representing the shutter key 20 on the model image is represented by “x2, y2”, and the operation history of the half-press operation and the full-press operation is respectively “0”.
  • the controller 2 manages the control command list and the association information including the coordinate position and the operation history in the remote operation mode.
  • an image being captured as shown in FIG. 9 is displayed on the display 11 of the image pickup device 1 in which the normal imaging mode is set.
  • an icon 201 indicating the remaining battery level, an icon 202 indicating the imaging mode, and an icon 203 indicating the number of images that can be captured are displayed as information indicating the state of the imaging device 1 over the image being captured.
  • a standby image as shown in FIG. 10 is displayed on the display 81 of the controller 2.
  • step S1 when the user switches the operation mode from the normal imaging mode to the remote imaging mode, in step S1, the mode setting unit 51 of the imaging device 1 sets the remote imaging mode.
  • FIG. 11 is a diagram illustrating an example of an operation mode setting screen of the image pickup device 1.
  • a menu image 211 in which icons representing various setting items are vertically arranged is displayed on the left end of the display 11.
  • the user can switch the operation mode from the normal imaging mode to the remote imaging mode by selecting the item 212 that is a setting item related to the operation mode by operating the selection key 12 or the like.
  • the mode setting unit 101 of the controller device 2 sets the remote operation mode in step S21.
  • FIG. 12 is a diagram illustrating an example of an operation mode setting screen of the controller 2.
  • the remote mode setting image 221 When a predetermined operation is performed with the standby image displayed, the remote mode setting image 221 is displayed on the display 81.
  • the remote mode setting image 221 displays an icon representing the remote operation mode and an icon representing the remote imaging mode. The user can touch the icon representing the remote operation mode to switch the operation mode of the controller 2 to the remote operation mode.
  • step S22 the control unit 91 of the controller 2 controls the wireless communication unit 93 to transmit the controller information and searches for devices for which the remote imaging mode is set. .
  • the operating device information includes, for example, device ID, time, current position, and function information that are identification information of the operating device 2.
  • the current position information is transmitted from the operating device 2 to the imaging device 1 when the imaging device 1 does not have the current position acquisition function and the operating device 2 has a predetermined condition. You may be made to do. In this case, the information on the current position transmitted to the imaging device 1 is used to add position information to the captured image.
  • step S2 the control unit 35 of the imaging device 1 determines whether or not the operating device information has been transmitted. When it is determined in step S2 that the controller information has not been transmitted, in step S3, the control unit 35 determines whether or not it is timed out, and when it is determined that it is not timed out, the processing from step S1 is repeated.
  • step S4 the display control unit 53 displays a message notifying the communication failure on the display 11 and ends the process.
  • step S5 the control unit 35 receives the operating device information and stores it in the storage unit 34 to register the operating device 2.
  • the control unit 35 After registering the operating device 2, the control unit 35 transmits imaging device information to the operating device 2 in step S ⁇ b> 6.
  • the imaging device information includes, for example, device ID, control command list, and function information, which are identification information of the imaging device 1. As will be described later, information regarding the shape of the image pickup device 1 and the arrangement of operation keys may be included in the image pickup device information.
  • step S23 the control unit 91 of the controller device 2 determines whether or not image pickup device information has been transmitted. If it is determined in step S23 that the imaging device information has not been transmitted, in step S24, the control unit 91 determines whether or not a timeout has occurred.
  • step S25 the display control unit 104 displays a message notifying communication failure on the display 81, and ends the process.
  • step S26 the control unit 91 receives the image pickup device information and stores it in the storage unit 94 to register the image pickup device 1.
  • the control unit 91 After registering the imaging device 1, the control unit 91 transmits a monitor image transmission request to the controller device 2 in step S27.
  • the monitor image transmission request is information indicating a request for transmitting the image of FIG. 9 displayed on the display 11 of the imaging device 1 in which various icons are superimposed on the image being captured at an appropriate frame rate. It is. That is, the operating device 2 is required to transmit the image displayed on the display 11 of the image capturing device 1 as it is to the image capturing device 1.
  • step S7 the control unit 35 of the imaging device 1 receives a monitor image transmission request.
  • step S8 the control unit 35 generates monitor image data based on the image signal supplied from the signal processing unit 33, and starts transmission of the monitor image.
  • step S9 the display control unit 53 turns off the display 11 as shown in FIG. Thereby, the power consumption of the imaging device 1 can be suppressed.
  • step S28 the controller 91 of the controller device 2 starts receiving the monitor image.
  • step S29 the model image generation unit 103 performs a model image generation process.
  • the model image generation process is a process for generating a model image based on the image pickup device information transmitted from the image pickup device 1.
  • the operating device 2 has a database in which device IDs and model image data are associated with each other.
  • the model image generation unit 103 acquires model image data corresponding to the device ID included in the image pickup device information transmitted from the image pickup device 1 from the database, and generates a model image based on the acquired data. Details of the model image generation processing will be described later.
  • step S30 the display control unit 104 displays the monitor image transmitted from the imaging device 1 and the model image generated by the model image generation unit 103 side by side on the same screen.
  • FIG. 14 is a diagram showing an example of a remote operation screen displayed on the display 81.
  • the model image area 231 is formed on the right side of the remote operation screen, and the monitor image area 232 is formed on the left side.
  • the model image area 231 is a model image display area
  • the monitor image area 232 is a monitor image display area.
  • the model image area 231 and the monitor image area 232 are, for example, rectangular areas with a fixed aspect ratio, and the model image area 231 is larger than the monitor image area 232 in the example of FIG.
  • model image area 231 a model image 241 representing the appearance of the imaging device 1 viewed from a slightly oblique direction with respect to the front is displayed.
  • monitor image area 232 the same image as the image shown in FIG. 9 transmitted from the imaging device 1 is displayed as a monitor image.
  • the monitor image is displayed by superimposing an icon 251 indicating the remaining battery level of the image capturing device 1, an icon 252 indicating the imaging mode, and an icon 253 indicating the number of images that can be captured on the image being captured. It is an image.
  • the icons 251 to 253 correspond to the icons 201 to 203 in FIG.
  • FIG. 15 is a diagram illustrating the model image 241 displayed on the remote operation screen.
  • the model image 241 is an image that represents the appearance of the imaging device 1 in a three-dimensional manner.
  • the user can change the orientation of the model image 241 by performing a slide operation on the model image 241 displayed on the display 81 as indicated by a thick arrow.
  • the orientation of the imaging device 1 represented by the model image 241 changes so that the front faces upward according to the slide amount.
  • a model image 241 in which the configuration of the bottom surface of the imaging device 1 can be seen is displayed.
  • the orientation of the imaging device 1 represented by the model image 241 changes so that the front faces in the right direction according to the slide amount.
  • a model image 241 in which the configuration of the left side surface of the imaging device 1 can be seen is displayed.
  • 16 to 19 are diagrams illustrating examples of changes in the orientation of the model image 241.
  • the model image 241 in the state of FIG. 14 when the user touches the model image 241 in the state of FIG. 14 and performs a leftward slide operation as indicated by the white arrow # 1 in FIG. 16, the direction changes according to the slide amount, and the model image 241 As shown in FIG. 16, the appearance of the right side surface of the imaging device 1 is represented.
  • the orientation of the model image 241 can be changed not only by the up / down / left / right slide operation but also by an oblique slide operation.
  • the model image 241 is in a state representing the appearance of the bottom surface of the imaging device 1.
  • the state of the model image 241 displayed in the model image area 231 in FIG. 19 is a state in which the lens unit is directed obliquely to the lower right.
  • the user can freely rotate the model image 241 by a touch operation on the display 81.
  • the model image 241 can be enlarged by a pinch-out operation, and the model image 241 can be reduced by a pinch-in operation.
  • step S41 the control unit 35 of the imaging device 1 transmits a monitor image.
  • step S51 the control unit 91 of the controller device 2 receives the monitor image transmitted from the imaging device 1.
  • the received monitor image is displayed on the remote operation screen by the display control unit 104.
  • step S52 the command list management unit 105 of the controller 2 determines whether or not a contact operation on the operation key image on the model image 241 has been detected.
  • the operation detection unit 102 detects the position where the contact operation is performed.
  • the command list management unit 105 checks whether there is an operation key image at the position where the contact operation is performed based on the coordinate position included in the association information managed by the history management unit 106. In step S52, when it is confirmed that the operation key image is present at the position where the contact operation is performed, it is determined that the contact operation on the operation key image is detected.
  • step S53 the display control unit 53 switches the display of the operation key image. For example, the display of the operation key image on which the contact operation has been performed is switched to represent the state after the operation.
  • step S54 the command list management unit 105 transmits an operation request corresponding to the user's operation to the imaging device 1.
  • the operation request includes a control command having a control command number corresponding to the operation key image on which the contact operation has been performed.
  • step S55 the history management unit 106 updates the operation history.
  • the operation history is updated every time an operation using the operation key image is performed.
  • step S56 the control unit 91 determines whether or not to end the remote operation mode. When it is determined in step S56 that the remote operation mode is not terminated, the control unit 91 repeats the processing from step S51. Similarly, when it is determined in step S52 that an operation on the operation key image has not been detected, the processes in and after step S51 are repeated. When it determines with complete
  • step S42 the control unit 35 of the imaging device 1 determines whether or not an operation request has been transmitted.
  • step S42 If it is determined in step S42 that the operation request has been transmitted, the control unit 35 receives the operation request transmitted from the controller 2 in step S43.
  • step S44 the command execution unit 52 recognizes the operation requested by the controller 2 with reference to the control command list based on the control command number of the control command included in the operation request, and performs processing according to the operation. Execute.
  • step S45 the control unit 35 determines whether or not to end the remote imaging mode. When it determines with not complete
  • 21 and 22 are diagrams for explaining the operation of the mode dial 16.
  • the imaging mode of the imaging device 1 is switched from the auto mode, which is the initial state, to the manual mode.
  • the auto mode is a mode in which the image pickup device 1 automatically performs optimal settings for image capturing and captures a still image in response to the shutter key being pressed.
  • the manual mode is a mode in which the user manually sets the shutter speed and aperture, and captures a still image when the shutter key is pressed.
  • the vicinity of the operation key image representing the mode dial 16 provided on the upper surface of the imaging device 1 is displayed in an enlarged manner in the model image area 231 of FIG.
  • the model image 241 in the state shown in FIG. 21 is displayed. Is done.
  • the mode dial 16 of the image pickup device 1 is displayed as an operation key image 261 on the model image 241.
  • An icon 261A displayed on the operation key image 261 is an icon representing an auto mode, and an icon 261B having a letter “M” is an icon representing a manual mode.
  • the icon 261A being positioned next to the pointer 261C indicates that the current imaging mode setting is the auto mode.
  • the power key 17 is displayed as an operation key image 262 on the model image 241. Note that the design of the icon 252 in the monitor image area 232 is also the same as the design of the icon 261A, indicating that the auto mode is set.
  • an operation guide 271 indicating that the operation key image 261 can be operated in a clockwise direction or a counterclockwise direction is displayed.
  • the operation guide 271 is displayed, for example, when the user enlarges the operation key image to some extent. Thereby, the user can easily confirm how the operation key image can be operated.
  • the command list management unit 105 When the operation detection unit 102 detects a counterclockwise contact operation on the position represented by “x1, y1” (FIG. 7) on the model image 241, the command list management unit 105 performs a contact operation on the operation key image. Is determined to have been performed (step S52). When a contact operation on the operation key image is detected, the vibrator included in the controller 2 may be vibrated, thereby notifying the user of the detection of the operation.
  • the display of the operation key image 261 is switched by the display control unit 104 so as to represent a state of being rotated counterclockwise by one step (step S53).
  • an icon 261B representing the manual mode is displayed next to the pointer 261C.
  • the design of the icon 252 in the monitor image area 232 is also switched to the same design as the design of the icon 261B. It should be noted that the display of the icon 252 is switched when processing according to the operation request is executed in the imaging device 1 and the monitor image transmitted thereafter is displayed in the monitor image area 232.
  • the command list management unit 105 transmits an operation request including the control command of the control command number “2” to the imaging device 1.
  • the control command with the control command number “2” represents an operation of turning the mode dial 16 counterclockwise.
  • the operation history is updated by the history management unit 106, and it is managed that the operation of turning the mode dial 16 counterclockwise is performed once (step S55).
  • an operation request including the control command with the control command number “2” is received by the command execution unit 52 (step S43), and an operation for turning the mode dial 16 counterclockwise is requested. Is done. Further, processing according to the operation request is executed, and the imaging mode is switched from the auto mode to the manual mode (step S44).
  • the user can cause the imaging device 1 to perform the same operation as directly operating the mode dial 16 of the imaging device 1 by touching the operation key image 261.
  • FIG. 23 is a diagram for explaining the operation of the shutter key 20.
  • the vicinity of the operation key image representing the shutter key 20 provided on the upper surface of the grip unit 19 of the imaging device 1 is displayed in an enlarged manner. For example, when the user performs a slide operation in a state where the model image 241 shown in FIG. 22 is displayed, the model image 241 in the state shown in FIG. 23 is displayed.
  • the shutter key 20 of the image pickup device 1 is displayed as an operation key image 281 on the model image 241, and the zoom key 21 is displayed as an operation key image 282 on the model image 241.
  • an operation guide 291 indicating that the operation key image 282 can be contacted in a clockwise direction or a counterclockwise direction is displayed.
  • the operation guide 291 is also displayed, for example, when the user enlarges the operation key image 282 to some extent.
  • the command list management unit 105 performs the contact operation on the operation key image. It is determined that it has been performed (step S52).
  • the display of the operation key image 281 is switched by the display control unit 104 so as to indicate a half-pressed state (step S53).
  • the shutter key 20 of the imaging device 1 is a two-stage operation key. The shutter key 20 is in a half-pressed state when pressed for the first time, and is fully pressed when pressed for the second time within a predetermined time.
  • the half-pressed state of the operation key image 281 is represented by displaying a dotted line around the operation key image 281 or changing the image itself.
  • the half-pressed state may be represented by a color change.
  • the command list management unit 105 issues an operation request including the control command with the control command number “3”.
  • the control command with the control command number “3” represents a half-press operation of the shutter key 20.
  • the history management unit 106 updates the operation history and manages that the half-press operation of the shutter key 20 has been performed once (step S55).
  • an operation request including the control command with the control command number “3” is received by the command execution unit 52 (step S43), and it is recognized that the half-press operation of the shutter key 20 is requested. Further, processing according to the operation request is executed, and focus is fixed (step S44).
  • the command list management unit 105 When the operation detection unit 102 detects that the second contact operation on the position represented by “x2, y2” on the model image 241 is performed within a predetermined time, the command list management unit 105 Then, an operation request including the control command with the control command number “4” is transmitted to the imaging device 1 (step S54).
  • the control command with the control command number “4” represents a full pressing operation of the shutter key 20.
  • the operation history is updated by the history management unit 106, and it is managed that the shutter key 20 is fully pressed once (step S55).
  • an operation request including the control command with the control command number “4” is received by the command execution unit 52 (step S43), and it is recognized that the full pressing operation of the shutter key 20 is requested. Further, processing according to the operation request is executed, and a still image is captured (step S44).
  • the captured still image is transmitted as a monitor image to the controller 2 and displayed in the monitor image area 232 of the remote operation screen.
  • the user can check the captured still image immediately after imaging, as in the case of imaging in the normal imaging mode using the imaging device 1. Thereafter, unless the user instructs the end of the remote imaging mode, monitor image transmission / reception is continued (steps S41 and S51).
  • the captured still image may be stored not only in the image pickup device 1 but also in the operation device 2.
  • the still image subjected to the compression process by the signal processing unit 33 is transmitted from the imaging device 1 to the operating device 2 and stored in the storage unit 94 of the operating device 2.
  • the user can cause the image pickup device 1 to perform the same operation as directly operating the shutter key 20 of the image pickup device 1 by touching the operation key image 281.
  • the operation device 2 does not capture an image, camera shake does not occur.
  • a more intuitive operation can be realized by matching the operation using the operation key image 281 and the operation using the shutter key 20 such as a two-step operation of a half-press operation and a full-press operation. Is possible.
  • the operation key image 281 in the half-pressed state and the operation key image 281 in the fully-pressed state can be displayed in different colors.
  • a sound effect such as “beep” when the button is half-pressed and “crush” when the button is fully pressed is output from the speaker 82 of the controller 2. You may make it make it. The same applies to the operation of operation key images other than the operation key image 281, and it is desirable to have a mute function.
  • FIG. 24 is a diagram showing an example of a remote operation screen.
  • the user Before imaging using the operation key image 281 or the like, the user can confirm the angle of view of the image to be captured by enlarging the monitor image area 232 as shown in FIG. In conjunction with the enlargement of the monitor image area 232, the model image area 231 becomes smaller.
  • the model image area 231 and the monitor image area 232 are enlarged / reduced, for example, when the user touches the edge of the area and performs a slide operation.
  • the movement is detected by the image pickup device 1, and both the image pickup device 1 and the operating device 2 are detected. A warning is output.
  • step S71 the control unit 35 of the imaging device 1 determines whether or not a motion has been detected based on the output from the sensor unit 37. If it is determined that the motion has not been detected, the process ends.
  • step S71 if it is determined in step S71 that a motion has been detected, the display control unit 53 turns on the display 11 in step S72 and displays a warning in step S73.
  • FIG. 26 is a diagram showing an example of a warning displayed on the display 11 when a motion is detected.
  • a window 301 including a message notifying that remote imaging is being performed and an OK button 311 is displayed over the image being captured.
  • the OK button 311 By pressing the OK button 311, the user can perform a direct operation on the imaging device 1 such as angle of view adjustment.
  • the warning may be output by sound from the speaker 39 provided in the imaging device 1.
  • the sound output from the speaker 39 may be a sound output based on data recorded in the image pickup device 1, collected by the microphone 84 of the operation device 2, and real-time to the image pickup device 1. It may be the transmitted user's own voice.
  • step S74 the control unit 35 transmits motion detection information, which is information indicating that motion has been detected, to the controller 2.
  • step S91 the control unit 91 of the controller device 2 determines whether or not the motion detection information has been transmitted from the imaging device 1, and ends the process when determining that the motion detection information has not been transmitted.
  • step S92 the control unit 91 receives the motion detection information transmitted from the imaging device 1.
  • step S93 the display control unit 104 displays a warning on the display 81.
  • FIG. 27 is a diagram illustrating an example of a warning displayed on the display 81 when motion detection information is received.
  • the angle of view of the monitor image is shifted due to the movement of the imaging device 1.
  • a window 321 including a message notifying that a motion has been detected in the imaging device 1 and an OK button 331 is displayed over the model image 241. The user can turn off the display of the window 321 by pressing the OK button 331.
  • step S75 the control unit 35 supplies from the input unit 36 whether or not the OK key 311 (FIG. 2) provided on the back surface has been pressed and the OK button 311 has been operated. The determination is made based on the received signal.
  • step S76 the control unit 35 determines whether or not a timeout has occurred. If it is determined in step S76 that it is not a timeout, the control unit 35 continues the processing from step S73.
  • step S75 when it is determined in step S75 that the enter key 13 has been pressed, the display control unit 53 turns off the warning display in step S77 and returns the display 11 to the OFF state in step S78. Similarly, when it is determined in step S76 that the time is out, the display 11 is turned off in step S78.
  • the mode setting unit 101 of the controller 2 ends the remote operation mode in step S121.
  • step S122 the control unit 91 transmits a remote imaging mode end request to the imaging device 1.
  • step S101 the control unit 35 of the imaging device 1 receives the remote imaging mode end request transmitted from the controller 2.
  • step S102 the control unit 35 transmits an end confirmation of the remote imaging mode to the controller device 2, and ends the monitor image transmission in step S103.
  • step S104 the display control unit 53 turns on the display 11, and displays a message in step S105 to notify the user of the end of the remote imaging mode.
  • FIG. 29 is a diagram illustrating an example of the end notification of the remote imaging mode.
  • a window 341 including a message for notifying the end of the remote imaging mode and an OK button 351 is displayed over the image being picked up and displayed again.
  • the user can turn off the display of the window 341 by pressing the OK button 351.
  • step S123 the control unit 91 of the controller 2 determines whether or not the confirmation of the end of the remote imaging mode has been transmitted from the imaging device 1. If it is determined in step S123 that an end confirmation of the remote imaging mode has not been transmitted, in step S124, the control unit 91 determines whether or not a timeout has occurred. repeat.
  • step S125 the display control unit 104 displays a message notifying the end of communication on the display 81, and continues the processing in the remote operation mode.
  • step S123 if it is determined in step S123 that the remote imaging mode end confirmation has been transmitted, the control unit 91 receives the remote imaging mode end confirmation in step S126, and ends the monitor image reception in step S127.
  • step S1208 the history management unit 106 determines whether there is an operation history of an operation key that does not automatically return, that is, an operation key whose value of the automatic return flag (FIG. 7) is 0.
  • step S129 the display control unit 104 notifies the user of the end of the remote operation mode and ends the process.
  • the display 81 displays a message notifying that the remote operation mode has ended.
  • step S130 the display control unit 104 displays a notification including a message that calls attention to the operation key that does not automatically return. For example, when an operation using the operation key image 261 representing the mode dial 16 as described with reference to FIGS. 21 and 22 is performed, a message for calling attention to the mode dial 16 is displayed.
  • FIG. 30 is a diagram showing an example of the remote operation mode end notification displayed in step S130.
  • the remote operation screen displayed on the display 81 is deleted, and a window 361 including a message and an OK button 371 is displayed.
  • the window 361 displays a message notifying the end of the remote operation mode and a message notifying that the mode dial 16 operated in the remote operation mode has returned to the state before the operation.
  • the operation keys such as the mode dial 16 that does not automatically return to the state before the operation after the operation, even if the user performs the operation using the operation key image 261, the actual imaging device 1 naturally does not operate. The state remains. In this way, the user misunderstood the setting when directly operating the image pickup device 1 by notifying at the end of the remote operation mode that the operation key of the image pickup device 1 remains in the state before the remote operation. It is possible to prevent such use.
  • the end notification of the remote imaging mode or the remote operation mode may be performed by voice.
  • the OK button 351 in FIG. 29 is operated in the image pickup device 1 and the OK button 371 in FIG. 30 is operated in the operation device 2, the communication ends.
  • the process of FIG. 31 is a process of generating a model image using a database in which device IDs and model image data are associated with each other.
  • step S201 the model image generation unit 103 of the controller device 2 identifies a device ID included in the image pickup device information transmitted from the image pickup device 1.
  • the model image generation unit 103 refers to a model image management table that is a database in which device IDs and model image data are associated with each other, and acquires model image data corresponding to the device ID of the imaging device 1.
  • the model image management table is stored in the storage unit 94, for example.
  • step S203 the model image generation unit 103 generates a model image based on the data acquired from the model image management table. Thereafter, the process returns to step S29 in FIG. 8, and the model image generated by the model image generation unit 103 is displayed on the remote operation screen.
  • the 32 is a process of generating a model image based on data acquired from a server (not shown) on the Internet.
  • the controller 2 is connected to the Internet and can communicate with the server.
  • the server has a database in which the device ID of the imaging device is associated with the model image data.
  • step S211 the model image generation unit 103 of the controller device 2 identifies a device ID included in the image pickup device information transmitted from the image pickup device 1.
  • step S212 the model image generation unit 103 transmits the device ID of the imaging device 1 to the server, and requests transmission of the corresponding model image data.
  • step S213 the model image generation unit 103 receives the model image data corresponding to the device ID of the imaging device 1 transmitted from the server.
  • step S214 the model image generation unit 103 generates a model image based on the data acquired from the server. Thereafter, the process returns to step S29 in FIG. 8, and the subsequent processing is performed.
  • the processing in FIG. 33 is processing for generating a model image by using shape data and key arrangement data included in the image pickup device information transmitted from the image pickup device 1.
  • the shape data is data representing the external shape of the image pickup device 1
  • the key arrangement data is data representing the arrangement of each operation key provided on the image pickup device 1.
  • step S221 the model image generation unit 103 of the controller device 2 acquires shape data and key arrangement data included in the image pickup device information transmitted from the image pickup device 1.
  • step S222 the model image generation unit 103 generates a model image based on the acquired shape data and key arrangement data.
  • the model image generation unit 103 draws the appearance of the imaging device 1 based on the shape data, and generates a model image by arranging the operation key image at a position represented by the key arrangement data. Thereafter, the process returns to step S29 in FIG. 8, and the subsequent processing is performed.
  • the image pickup device 1 manages model image data representing its own appearance, and the data is provided to the operation device 2 in a form included in the image pickup device information and used for displaying the model image. Good.
  • the user can All the information of the image pickup device 1 necessary for image pickup can be confirmed on the operation device 2. As a result, it is possible to avoid inconveniences such as missing a photo opportunity due to a shortage of remaining memory card after the start of imaging, and generating a useless imaging waiting time in the replacement operation of the memory card.
  • the display 11 of the image pickup device 1 Since the display 11 of the image pickup device 1 is turned off as long as no motion is detected during the remote image pickup mode, the power consumption of the image pickup device 1 can be suppressed.
  • the control command list is included in the image pickup device information and provided from the image pickup device 1 to the operation device 2.
  • the operation device 2 makes an inquiry to the server based on the device ID included in the image pickup device information. May be acquired from the server.
  • the imaging device 1 is a digital still camera
  • various devices having an imaging function such as a mobile phone and a game machine can be operated remotely.
  • FIG. 34 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input / output interface 405 is connected to the bus 404.
  • the input / output interface 405 is connected to an input unit 406 including a keyboard and a mouse and an output unit 407 including a display and a speaker.
  • the input / output interface 405 is connected to a storage unit 408 made up of a hard disk, a non-volatile memory, etc., a communication unit 409 made up of a network interface, etc., and a drive 410 that drives the removable media 411.
  • the CPU 401 loads the program stored in the storage unit 408 to the RAM 403 via the input / output interface 405 and the bus 404 and executes the program, thereby performing the above-described series of processing. Is done.
  • the program executed by the CPU 401 is recorded in the removable medium 411 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and is installed in the storage unit 408.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • a communication unit that performs wireless communication with an imager and receives imager information including identification information of the imager and an image being captured by the imager;
  • a generating unit that generates an image of the appearance of the imaging device based on the imaging device information;
  • a display control unit for displaying the image being captured and the image of the appearance on the same screen of the display unit;
  • a detection unit for detecting a contact operation on the display unit, The display control unit switches an orientation and a size of the appearance image according to the contact operation.
  • the detection unit detects the touch operation on an operation key image that is an image of an operation key provided in the imaging device, included in the image of the appearance, The information processing terminal according to (1), wherein the communication unit transmits a control command corresponding to the operation key image on which the contact operation has been performed to the imaging device.
  • the display control unit is configured to end communication with the imaging device.
  • the generation unit acquires the image data of the appearance from a server connected via a network based on the identification information, and generates the image of the appearance according to any one of (1) to (5) The information processing terminal described.
  • the imager information includes information representing the shape of the imager and information representing the arrangement of operation keys provided on the imager.
  • the information processing terminal according to any one of (1) to (6), wherein the generation unit generates the appearance image based on information included in the imaging device information.
  • the communication unit receives an image in which information indicating the state of the imaging device is superimposed on an image captured by the imaging device as the image being captured. Any one of (1) to (7) Information processing terminal described in 1.
  • the display control unit displays the image being picked up and the image of the appearance in an area formed so as not to overlap the screen, and displays the display region of the image being picked up and the image of the appearance.
  • the information processing terminal according to any one of (1) to (8), wherein the size of the region is switched according to the contact operation.
  • the communication unit receives the information transmitted from the imaging device and indicating that motion is detected,
  • the display control unit displays information indicating that movement is detected in the imaging device in response to receiving information indicating that the movement is detected.
  • (11) Perform wireless communication with the imaging device, receive imaging device information including identification information of the imaging device, and an image being captured by the imaging device, Based on the imager information, generate an image of the appearance of the imager, The image being captured and the image of the appearance are displayed on the same screen of the display unit, Detecting a touch operation on the display unit; An information processing method including a step of switching a direction and a size of the appearance image according to the contact operation.
  • An imaging unit An image being imaged and an image of the appearance of the previous imager generated based on imager information including identification information of the imager are displayed on the same screen of the display unit, and the orientation and size of the image of the appearance are Wireless communication is performed with an information processing terminal that is switched according to a touch operation on the display unit, and the imaging device information and the image being captured obtained by the imaging unit are transmitted and included in the appearance image.
  • the operation key image that is transmitted from the information processing terminal in response to detection of the contact operation with respect to the operation key image that is an image of the operation key arranged on the imaging device is displayed on the operation key image on which the contact operation has been performed.
  • a communication unit that receives a control command in response, and An imaging device comprising: an execution unit that performs processing according to the control command.
  • the imaging device information includes information indicating whether the control command and the operation key are keys for returning to a state before the operation is performed after the operation is performed, and information indicating the shape of the imaging device And the information indicating the arrangement of the operation keys.
  • a motion detector for detecting motion generated in the imaging device The said communication part transmits the information showing that the said motion was detected to the said information processing terminal, when the said motion is detected.
  • the imaging device in any one of said (13) thru
  • a communication unit that performs wireless communication with an imager and receives imager information including identification information of the imager and an image being captured by the imager;
  • a generating unit that generates an image of the appearance of the imaging device based on the imaging device information;
  • a display control unit for displaying the image being captured and the image of the appearance on the same screen of the display unit;
  • a detection unit for detecting a contact operation on the display unit, The display control unit switches the direction and size of the image of the appearance according to the contact operation, The detection unit detects the touch operation on an operation key image, which is an image of an operation key provided in the imaging device, included in the appearance image;
  • An information processing terminal that transmits a control command corresponding to the operation key image on which the contact operation has been performed to the imaging device;
  • An imaging unit Communication that performs wireless communication with the information processing terminal, transmits the image pickup device information and the image being captured obtained by the imaging unit, and receives the control command transmitted from the information processing terminal
  • a remote imaging system comprising: an imaging device compris

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)

Abstract

 本技術は、直接操作するのと同様の感覚で撮像機を遠隔操作することができるようにする情報処理端末、撮像機、情報処理方法、プログラム、および遠隔撮像システムに関する。 本技術の情報処理端末は、撮像機と無線通信を行い、前記撮像機の識別情報を含む撮像機情報と、前記撮像機による撮像中の画像とを受信する通信部と、前記撮像機情報に基づいて、前記撮像機の外観の画像を生成する生成部と、前記撮像中の画像と前記外観の画像とを、表示部の同じ画面に表示させる表示制御部と、前記表示部に対する接触操作を検出する検出部とを備え、前記表示制御部は、前記外観の画像の向きと大きさを前記接触操作に応じて切り替える。本技術は、ディスプレイとタッチパネルを有する携帯機器に適用することができる。

Description

情報処理端末、撮像機、情報処理方法、プログラム、および遠隔撮像システム
 本技術は、情報処理端末、撮像機、情報処理方法、プログラム、および遠隔撮像システムに関し、特に、直接操作するのと同様の感覚で撮像機を遠隔操作することができるようにした情報処理端末、撮像機、情報処理方法、プログラム、および遠隔撮像システムに関する。
 デジタルスチルカメラなどの撮像機を遠隔操作する技術が各種提案されている。例えば特許文献1には、タッチパネルを備えた操作側の撮像機のディスプレイに、***作側の撮像機における操作キーの配置と同じ配置を有する操作キーの画像を表示させる技術が記載されている。操作キーの画像が操作されたとき、その操作キーに対応する動作の実行要求が操作側の撮像機から***作側の撮像機に無線を介して送信され、***作側の撮像機において各種の処理が実行される。
 特許文献2には、***作側の撮像機が操作側の撮像機にない操作キーを備えている場合、その操作キーに対応する動作の項目を操作側の撮像機のメニュー画像に追加する技術が記載されている。
特開2009-94591号公報 特開2009-94563号公報
 特許文献1に記載の技術においては、***作側の撮像機から定期的に送信されてくるモニター画像を、***作側の撮像機の背面の外観を表す画像とともに操作側の撮像機のディスプレイに表示するようになっている。従って、操作側の撮像機のディスプレイに画像として表示される操作キーが、***作側の撮像機の背面にある操作キーに限定され、それ以外の操作キーをユーザは操作することができない。
 また、特許文献2に記載の技術においては、通常撮像時とは異なる項目が並ぶメニュー画像が表示されることから、使い慣れた操作を行うことが困難となり、誤操作の恐れがある。
 本技術はこのような状況に鑑みてなされたものであり、直接操作するのと同様の感覚で撮像機を遠隔操作することができるようにするものである。
 本技術の第1の側面の情報処理端末は、撮像機と無線通信を行い、前記撮像機の識別情報を含む撮像機情報と、前記撮像機による撮像中の画像とを受信する通信部と、前記撮像機情報に基づいて、前記撮像機の外観の画像を生成する生成部と、前記撮像中の画像と前記外観の画像とを、表示部の同じ画面に表示させる表示制御部と、前記表示部に対する接触操作を検出する検出部とを備え、前記表示制御部は、前記外観の画像の向きと大きさを前記接触操作に応じて切り替える。
 前記検出部には、前記外観の画像に含まれる、前記撮像機に設けられた操作キーの画像である操作キー画像に対する前記接触操作を検出させ、前記通信部には、前記接触操作が行われた前記操作キー画像に応じた制御コマンドを前記撮像機に送信させることができる。
 前記表示制御部には、前記操作キー画像に対する前記接触操作が検出されることに応じて、前記操作キー画像の状態を変化させることができる。
 前記操作キーが、操作が行われた後に、操作が行われる前の状態に戻るキーであるか否かを表す情報を管理する管理部と、前記操作キー画像を用いた操作の履歴を管理する履歴管理部とをさらに設けることができる。この場合、前記表示制御部には、操作が行われる前の状態に戻らない前記操作キーを表す前記操作キー画像を用いた操作が行われたことが前記履歴に含まれる場合、前記撮像機との通信終了時に、前記撮像機における前記操作キーの状態が、操作後の状態と異なることを通知する情報を表示させることができる。
 前記撮像機情報には、前記制御コマンドと、操作が行われる前の状態に戻るキーであるか否かを表す前記情報が含まれるようにすることができる。
 前記生成部には、前記識別情報に基づいて、前記外観の画像のデータをネットワークを介して接続されるサーバから取得し、前記外観の画像を生成させることができる。
 前記撮像機情報には、前記撮像機の形状を表す情報と、前記撮像機に設けられた操作キーの配置を表す情報とが含まれるようにすることができる。この場合、前記生成部には、前記撮像機情報に含まれる情報に基づいて前記外観の画像を生成させることができる。
 前記通信部には、前記撮像機が撮影している画像に対して前記撮像機の状態を表す情報が重ねられた画像を前記撮像中の画像として受信させることができる。
 前記表示制御部には、前記画面内に重ならないように形成された領域に前記撮像中の画像と前記外観の画像とをそれぞれ表示させ、前記撮像中の画像の表示領域と前記外観の画像の表示領域の大きさを、前記接触操作に応じて切り替えさせることができる。
 前記通信部には、前記撮像機から送信されてくる、動きが検出されたことを表す情報を受信させ、前記表示制御部は、前記動きが検出されたことを表す情報が受信されることに応じて、前記撮像機において動きが検出されたことを表す情報を表示させることができる。
 本技術の第2の側面の撮像機は、撮像部と、撮像中の画像と、撮像機の識別情報を含む撮像機情報に基づいて生成した前撮像機の外観の画像とを表示部の同じ画面に表示させ、前記外観の画像の向きと大きさを前記表示部に対する接触操作に応じて切り替える情報処理端末と無線通信を行い、前記撮像機情報と、前記撮像部により得られた前記撮像中の画像とを送信するとともに、前記外観の画像に含まれる、前記撮像機に配置された操作キーの画像である操作キー画像に対する前記接触操作が検出されることに応じて前記情報処理端末から送信されてくる、前記接触操作が行われた前記操作キー画像に応じた制御コマンドを受信する通信部と、前記制御コマンドに応じた処理を行う実行部とを備える。
 前記撮像中の画像を表示する表示部と、動作モードを管理する管理部と、前記制御コマンドに応じた処理を行う前記動作モードが設定されている間、前記撮像中の画像を表示させないように制御する表示制御部とをさらに設けることができる。
 前記撮像機情報には、前記制御コマンド、前記操作キーが、操作が行われた後に、操作が行われる前の状態に戻るキーであるか否かを表す情報、前記撮像機の形状を表す情報、および前記操作キーの配置を表す情報が含まれるようにすることができる。
 前記撮像機に生じた動きを検出する動き検出部をさらに設けることができる。この場合、前記通信部には、前記動きが検出された場合、前記動きが検出されたことを表す情報を前記情報処理端末に送信させることができる。
 本技術の第3の側面の遠隔撮像システムは、撮像機と無線通信を行い、前記撮像機の識別情報を含む撮像機情報と、前記撮像機による撮像中の画像とを受信する通信部と、前記撮像機情報に基づいて、前記撮像機の外観の画像を生成する生成部と、前記撮像中の画像と前記外観の画像とを、表示部の同じ画面に表示させる表示制御部と、前記表示部に対する接触操作を検出する検出部とを備え、前記表示制御部が、前記外観の画像の向きと大きさを前記接触操作に応じて切り替え、前記検出部が、前記外観の画像に含まれる、前記撮像機に設けられた操作キーの画像である操作キー画像に対する前記接触操作を検出し、前記通信部が、前記接触操作が行われた前記操作キー画像に応じた制御コマンドを前記撮像機に送信する情報処理端末と、撮像部と、前記情報処理端末と無線通信を行い、前記撮像機情報と、前記撮像部により得られた前記撮像中の画像とを送信するとともに、前記情報処理端末から送信されてくる前記制御コマンドを受信する通信部と、前記制御コマンドに応じた処理を行う実行部とを備える撮像機とから構成される。
 本技術の第1の側面においては、撮像機と無線通信が行われ、前記撮像機の識別情報を含む撮像機情報と、前記撮像機による撮像中の画像とが受信される。また、前記撮像機情報に基づいて、前記撮像機の外観の画像が生成され、前記撮像中の画像と前記外観の画像とが、表示部の同じ画面に表示される。前記表示部に対する接触操作が検出され、前記外観の画像の向きと大きさが前記接触操作に応じて切り替えられる。
 本技術の第2の側面においては、撮像中の画像と、撮像機の識別情報を含む撮像機情報に基づいて生成した前撮像機の外観の画像とを表示部の同じ画面に表示させ、前記外観の画像の向きと大きさを前記表示部に対する接触操作に応じて切り替える情報処理端末と無線通信が行われる。また、前記撮像機情報と、前記撮像部により得られた前記撮像中の画像とが送信されるとともに、前記外観の画像に含まれる、前記撮像機に配置された操作キーの画像である操作キー画像に対する前記接触操作が検出されることに応じて前記情報処理端末から送信されてくる、前記接触操作が行われた前記操作キー画像に応じた制御コマンドが受信され、前記制御コマンドに応じた処理が行われる。
 本技術の第3の側面においては、情報処理端末により、撮像機と無線通信が行われ、前記撮像機の識別情報を含む撮像機情報と、前記撮像機による撮像中の画像とが受信される。また、前記撮像機情報に基づいて、前記撮像機の外観の画像が生成され、前記撮像中の画像と前記外観の画像とが、表示部の同じ画面に表示される。前記表示部に対する接触操作が検出され、前記外観の画像の向きと大きさが前記接触操作に応じて切り替えられる。さらに、前記外観の画像に含まれる、前記撮像機に設けられた操作キーの画像である操作キー画像に対する前記接触操作が検出され、前記接触操作が行われた前記操作キー画像に応じた制御コマンドが前記撮像機に送信される。一方、撮像機により、前記情報処理端末と無線通信が行われ、前記撮像機情報と、前記撮像部により得られた前記撮像中の画像とが送信される。また、前記情報処理端末から送信されてくる前記制御コマンドが受信され、前記制御コマンドに応じた処理が行われる。
 本技術によれば、直接操作するのと同様の感覚で撮像機を遠隔操作することができる。
本技術の一実施形態に係る遠隔撮像システムの構成例を示す図である。 撮像機の背面の構成例を示す図である。 撮像機の上面の構成例を示す図である。 撮像機の構成例を示すブロック図である。 操作機の正面の構成例を示す図である。 操作機の構成例を示すブロック図である。 制御コマンドリストの例を示す図である。 通信開始処理について説明するフローチャートである。 撮像中の画像の表示例を示す図である。 待ち受け画像の表示例を示す図である。 撮像機の動作モードの設定画面の例を示す図である。 操作機の動作モードの設定画面の例を示す図である。 撮像機のディスプレイの表示例を示す図である。 操作機に表示される遠隔操作画面の例を示す図である。 遠隔操作画面に表示されるモデル画像について説明する図である。 モデル画像の向きの変化の例を示す図である。 モデル画像の向きの変化の例を示す図である。 モデル画像の向きの変化の例を示す図である。 モデル画像の向きの変化の例を示す図である。 撮像処理について説明するフローチャートである。 遠隔操作の具体例について説明する図である。 遠隔操作の具体例について説明する図21に続く図である。 遠隔操作の具体例について説明する図である。 遠隔操作画面の例を示す図である。 警告処理について説明するフローチャートである。 撮像機に表示される警告の例を示す図である。 操作機に表示される警告の例を示す図である。 通信終了処理について説明するフローチャートである。 遠隔撮像モードの終了通知の例を示す図である。 遠隔操作モードの終了通知の例を示す図である。 図8のステップS29において行われる第1のモデル画像生成処理について説明するフローチャートである。 図8のステップS29において行われる第2のモデル画像生成処理について説明するフローチャートである。 図8のステップS29において行われる第3のモデル画像生成処理について説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
<遠隔撮像システムの構成例>
 図1は、本技術の一実施形態に係る遠隔撮像システムの構成例を示す図である。
 図1の遠隔撮像システムは撮像機1と操作機2から構成される。ここでは、いわゆるスマートフォンなどの携帯型の情報処理端末を操作機2として、デジタルスチルカメラなどの撮像機1を操作して遠隔撮像を行う場合について説明する。例えば撮像機1は、ユーザが携帯する操作機2から離れた位置に三脚などで固定される。
 撮像機1は例えばレンズ交換式のデジタルスチルカメラである。操作機2の筐体正面にはディスプレイが設けられ、ディスプレイにはタッチパネルが設けられる。ユーザは、ディスプレイに表示されたボタンを指で触れるなどして各種の操作を行うことができる。双方向の矢印で示すように、撮像機1と操作機2は無線LANやBluetooth(登録商標)などの無線通信を介して相互にデータを送受信できるようになされている。
 撮像機1は、通常撮像モードと遠隔撮像モードの2つの動作モードを少なくとも有している。ユーザは例えば撮像機1を操作して動作モードを切り替えることができる。
 通常撮像モードは、撮像機1に設けられた操作キーがユーザにより操作されることに従って各動作を実行するモードである。遠隔撮像モードは、操作機2から送信されてくる要求に従って各動作を実行するモードである。遠隔撮像モードの設定時、基本的に、撮像機1に対する直接の操作は無効になる。
 一方、操作機2は、遠隔操作モードの動作モードを少なくとも有している。
 遠隔操作モードは、動作の実行要求を無線通信を介して撮像機1に送信し、撮像機1を遠隔から操作するモードである。撮像機1が遠隔操作モードを有し、操作機2が通常撮像モードと遠隔撮像モードを有するようにしてもよい。
 図1の遠隔撮像システムにおいては、例えば、撮像機1において遠隔撮像モードが設定され、操作機2において遠隔操作モードが設定されたとき、操作機2のディスプレイにモデル画像とモニター画像が並べて表示される。
 モデル画像は、撮像機1の外観を立体的に表す画像である。モデル画像には、撮像機1の本体に設けられる各種の操作キーの画像である操作キー画像が、撮像機1における操作キーの配置と同じ配置で含まれる。なお、ここでいう立体的な画像とは、視差のある左目用の画像と右目用の画像をそれぞれユーザの左目と右目に導くことによって立体視を実現させるいわゆる3D画像ではない。
 モニター画像は、撮像機1が撮像している画像である。撮像機1により撮像された画像は、撮像機1のディスプレイに表示されるのではなく、撮像機1から操作機2に送信され、モニター画像として操作機2のディスプレイに表示される。
 後に詳述するように、モデル画像は、スライド操作によって向きを変えたり、ピンチ操作によって拡大縮小させたりすることができるようになされている。ユーザは、撮像機1の各面に設けられている操作キーの画像をモデル画像上で表示させることができ、表示させた操作キー画像をタップ操作などで接触操作することができる。
 操作キー画像が接触操作されたとき、操作キー画像に対応する動作の実行要求が操作機2から撮像機1に送信される。例えばユーザがモニター画像を見てシャッターチャンスを決め、モデル画像上のシャッターキーの画像を押したとき、静止画の撮像を要求する信号が送信され、撮像機1により撮像が行われる。
 このように、モデル画像には各種の操作キー画像が撮像機1における操作キーの配置と同じ配置で含まれる。ユーザは、撮像機1を直接操作するのと同じ感覚で操作機2を遠隔から操作することができる。
 また、スライド操作やピンチ操作によってモデル画像の表示を切り替えることができるから、ユーザは、特定の範囲に見える操作キーだけでなく、撮像機1の各位置にある操作キーの画像を用いて操作を行うことができる。
 以上のようにして遠隔撮像を行う撮像機1と操作機2の動作についてはフローチャートを参照して後述する。
<撮像機1の構成例>
[外観の構成について]
 図2は、撮像機1の背面の構成例を示す図である。
 主な構成について説明すると、撮像機1の背面には、中心より左側寄りの位置にディスプレイ11が設けられる。通常撮像モード時、ディスプレイ11には、撮像中の画像や、ユーザにより選択された撮像済みの画像などが表示される。
 ディスプレイ11の右側には円形の選択キー12が設けられ、選択キー12の中心には決定キー13が設けられる。例えば、選択キー12は、ディスプレイ11に表示されたメニュー画像上のカーソルを上下左右に移動させるときに操作され、決定キー13は、メニュー画像から項目を決定するときに操作される。
 選択キー12の上にはメニューキー14が設けられる。メニューキー14は、種々の項目が配置されたメニュー画像をディスプレイ11に表示させるときに操作される。
 ディスプレイ11の上にはファインダー15が設けられ、撮像機1の本体の上面右側には、円盤状の操作キーであるモードダイヤル16が設けられる。モードダイヤル16は、撮像機1が備える複数の撮像モードを切り替えるときに操作される。
 図3は、撮像機1の上面の構成例を示す図である。
 モードダイヤル16の左側には電源キー17が設けられる。電源キー17は、撮像機1の電源をON、OFFするときに操作される。
 撮像機1の正面左側には、ズームレンズを有する円筒状のレンズ部18が設けられ、右側には、前方に突出する形でグリップ部19が形成される。
 グリップ部19の上面には、円形のシャッターキー20が設けられ、シャッターキー20を囲むように、左右に所定の範囲で回動可能なズームキー21が設けられる。シャッターキー20は2段式の操作キーである。1段分押下して半押し状態になったとき、フォーカスや露出が最適化した状態で固定し、2段分押下して全押し状態になったとき、撮像が行われる。ズームキー21は、画角を望遠側、広角側に切り替えるときに操作される。
 このように、撮像機1の本体の各面には各種の操作キーが設けられる。
[内部の構成について]
 図4は、撮像機1の構成例を示すブロック図である。
 撮像機1は、ディスプレイ11の他に、光学部31、撮像部32、信号処理部33、記憶部34、制御部35、入力部36、センサ部37、無線通信部38、およびスピーカ39を備える。
 光学部31は、レンズ部18を構成するズーム用、フォーカス用などのレンズや、その駆動機構、シャッタ機構、アイリス機構などを備える。光学部31は、制御部35による制御に従って駆動し、被写体からの光を撮像部32に導く。
 撮像部32は、被写体からの光を電気信号に変換する固体撮像素子や、固体撮像素子からの画像信号をデジタル化するA/D変換回路などを備える。固体撮像素子としては、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などが用いられる。
 信号処理部33は、撮像部32からの画像信号に対して画質補正などの信号処理を施し、表示用の画像信号を生成してディスプレイ11に出力する。また、信号処理部33は、信号処理後の画像信号を基に記録用の圧縮画像データを生成し、記憶部34に出力して記憶させる。さらに、信号処理部33は、記憶部34から読み出した圧縮画像データを伸張し、表示用の画像信号を生成してディスプレイ11に出力する。
 通常撮像モード時、信号処理部33による信号処理によって得られた画像信号はディスプレイ11に出力され、撮像中の画像の表示に用いられる。また、遠隔撮像モード時、信号処理部33による信号処理によって得られた画像データは制御部35に出力され、操作機2に対してモニター画像を送信することに用いられる。
 記憶部34は、信号処理部33により生成された記録用の画像データを記憶する。記憶部34には、例えば、フラッシュメモリからなるメモリカード、光ディスクなどの可搬型記録媒体、あるいはHDD(Hard Disk Drive)などの固体型記録媒体などが用いられる。
 制御部35は、CPU(Central Processing Unit)と、ROM(Read Only Memory)、RAM(Random Access Memory)などのメモリを備えるマイクロコンピュータである。制御部35は、メモリに格納されたプログラムを実行することによって撮像機1の全体の動作を制御する。
 図4に示すように、制御部35においては、所定のプログラムが実行されることによってモード設定部51、コマンド実行部52、および表示制御部53が実現される。
 モード設定部51は、撮像機1の動作モードを管理する。
 コマンド実行部52は、遠隔撮像モードが設定されているときに操作機2から送信されてきた制御コマンドを実行し、静止画の撮像やズーム調整などの、制御コマンドに応じた各種の処理を行う。操作機2から送信されてきた制御コマンドは、無線通信部38により受信され、制御部35に供給される。
 表示制御部53は、ディスプレイ11の表示を制御する。例えば、表示制御部53は、通常撮像モード時、信号処理部33により生成された表示用の画像信号に基づいて撮像中の画像をディスプレイ11に表示させる。また、表示制御部53は、遠隔撮像モード時、ディスプレイ11をOFFにする。
 なお、制御部35においては他の処理を行う機能部も実現される。モード設定部51、コマンド実行部52、および表示制御部53が行う処理以外の処理については、制御部35が行うものとして説明する。
 入力部36は、撮像機1の本体の各部に設けられた操作キーに対するユーザの操作を検出し、ユーザの操作に応じた信号を制御部35に出力する。
 センサ部37は、加速度センサやジャイロセンサなどにより構成される。センサ部37は、加速度などを検出し、検出結果を表す信号を制御部35に出力する。センサ部37による検出結果に基づいて、撮像機1が動かされたか否かの判定が制御部35により行われる。
 無線通信部38は、アンテナや変調・復調回路などを備え、制御部35による制御に従って、外部の機器である操作機2と無線通信を行う。無線通信部38は、操作機2から送信されてきた制御コマンドなどの情報を受信し、制御部35に出力する。また、無線通信部38は、モニター画像などの情報が制御部35から供給されたとき、それを操作機2に送信する。
 ディスプレイ11は、LCD(Liquid Crystal Display)などにより構成され、信号処理部33から供給された表示用の画像信号に基づいて画像を表示する。また、ディスプレイ11は、制御部35による制御に従って、撮像中の画像などにメニュー画像などを合成して表示する。
<操作機2の構成例>
[外観の構成について]
 図5は、操作機2の正面の構成例を示す図である。
 略長方形の薄板状の筐体を有する操作機2の正面には、そのほぼ全面にディスプレイ81が設けられる。ディスプレイ81には、例えば積層する形でタッチパネルが設けられる。図5に示すようにユーザは操作機2を横向きに持って操作することもできる。
 操作機2の正面の上端と下端(図5の向きにおいては左端と右端)の中央には、それぞれ、スピーカ82と3つのキーからなる操作キー83が設けられる。操作キー83の隣にはマイクロフォン84が設けられる。スピーカ82とマイクロフォン84は通話などに用いられる。遠隔操作モード時、例えばユーザに対する通知がスピーカ82からの音声を用いて行われる。また、マイクロフォン84により集音された音声が撮像機1に送信され、撮像機1のスピーカ39から出力される。
[内部構成について]
 図6は、操作機2の構成例を示すブロック図である。
 操作機2は、ディスプレイ81、スピーカ82、マイクロフォン84の他に、制御部91、タッチパネル92、無線通信部93、および記憶部94を備える。撮像機1が備える光学部31、撮像部32などが操作機2に設けられ、撮像機能が操作機2にも用意されるようにしてもよい。
 制御部91は、CPUと、ROM、RAMなどのメモリを備えるマイクロコンピュータである。制御部91は、メモリに格納されたプログラムを実行することによって操作機2の全体の動作を制御する。
 図6に示すように、制御部91においては、所定のプログラムが実行されることによってモード設定部101、操作検出部102、モデル画像生成部103、表示制御部104、コマンドリスト管理部105、および履歴管理部106が実現される。
 モード設定部101は、操作機2の動作モードを管理する。
 操作検出部102は、タッチパネル92から供給された信号に基づいてユーザの接触操作を検出する。例えば、モデル画像に対する接触操作が操作検出部102により検出されたとき、モデル画像の表示が切り替えられる。また、モデル画像上の操作キー画像に対する接触操作が操作検出部102により検出されたとき、撮像機1に対して制御コマンドが送信される。
 モデル画像生成部103は、遠隔操作モード時、撮像機1から送信されてきた情報に基づいてモデル画像を生成する。
 表示制御部104は、ディスプレイ81の表示を制御する。例えば、表示制御部104は、遠隔操作モード時、撮像機1から送信され、無線通信部93により受信されたモニター画像と、モデル画像生成部103により生成されたモデル画像をディスプレイ81の同じ画面に並べて表示させる。
 コマンドリスト管理部105は、撮像機1から送信されてきた制御コマンドリストを管理する。制御コマンドリストは、例えば、遠隔操作モードが設定され、撮像機1との通信を開始した後に撮像機1から送信されてくる。制御コマンドリストは、操作キー画像を用いた各操作に対応する動作を撮像機1に行わせるための制御コマンドのリストである。
 履歴管理部106は、遠隔操作モード時にユーザにより行われた操作の履歴を含む関連付け情報を管理する。履歴管理部106が管理する操作履歴に基づいて、遠隔操作モードを終了するときのユーザに対する通知が切り替えられる。
 なお、制御部91においては他の処理を行う機能部も実現される。モード設定部101~履歴管理部106が行う処理以外の処理については、制御部91が行うものとして説明する。
 タッチパネル92は、ディスプレイ81の表面に対するユーザの接触操作を検出し、接触操作の内容を表す信号を制御部91に出力する。
 無線通信部93は、アンテナや変調・復調回路などを備え、制御部91による制御に従って、外部の機器である撮像機1と無線通信を行う。無線通信部93は、撮像機1から送信されてきたモニター画像などの情報を受信し、制御部91に出力する。また、無線通信部93は、制御コマンドなどの情報が制御部91から供給されたとき、それを撮像機1に送信する。
 記憶部94は、フラッシュメモリなどよりなり、制御部91が実行するプログラムなどの各種のデータを記憶する。
[制御コマンドリストについて]
 図7は、コマンドリスト管理部105が管理する制御コマンドリストの例を示す図である。履歴管理部106が管理する関連付け情報は、制御コマンドリストに関連付けられる。
 図7の左側に示す制御コマンドリストにおいては、それぞれの操作キー画像を用いた操作に対応する制御コマンドに対して、制御コマンド番号、制御コマンド名、自動復帰フラグが対応付けられる。
 自動復帰フラグは、操作後に、操作前の状態に自動的に復帰する操作キーであるか、復帰しない操作キーであるかを表す。自動復帰フラグの値が0であることは、操作後に、操作前の状態に自動的に復帰しない(操作後のままにする)操作キーであることを表し、自動復帰フラグの値が1であることは、操作後に、操作前の状態に自動的に復帰する操作キーであることを表す。
 例えば、撮像機1に設けられたモードダイヤル16(図3)を用いた操作には、時計回りの操作と反時計回りの操作がある。
 モードダイヤル16を表す操作キー画像を時計回りに回す操作に対応する制御コマンドには、制御コマンド番号として「1」が割り当てられ、制御コマンド名として「モードダイヤル(時計回り)」が割り当てられる。また、自動復帰フラグには「0」の値が設定される。
 一方、モードダイヤル16を表す操作キー画像を反時計回りに回す操作に対応する制御コマンドには、制御コマンド番号として「2」が割り当てられ、制御コマンド名として「モードダイヤル(反時計回り)」が割り当てられる。また、自動復帰フラグには「0」の値が設定される。
 撮像機1に設けられたシャッターキー20を用いた操作には、半押し操作と全押し操作がある。
 シャッターキー20の半押し操作に対応する制御コマンドには、制御コマンド番号として「3」が割り当てられ、制御コマンド名として「シャッターキー(半押し)」が割り当てられる。また、自動復帰フラグには「1」の値が設定される。
 一方、シャッターキー20の全押し操作に対応する制御コマンドには、制御コマンド番号として「4」が割り当てられ、制御コマンド名として「シャッターキー(全押し)」が割り当てられる。また、自動復帰フラグには「1」の値が設定される。
 制御コマンドリストにおいては、他の操作キー画像を用いた操作に対応する制御コマンドに対しても同様に各情報が対応付けられる。
 図7の右側に示す関連付け情報には、位置座標と操作履歴が含まれる。
 位置座標は、モデル画像の表示座標における、各操作キー画像の表示位置を表す。履歴管理部106は、スライド操作やピンチ操作が行われ、モデル画像の向きや大きさが切り替えられる毎に、各操作キー画像の座標を更新する。
 図7の例においては、モードダイヤル16を表す操作キー画像のモデル画像上の位置が「x1,y1」で表される位置とされている。また、モードダイヤル16を表す操作キー画像を時計回りに回す操作の操作履歴が「0」、反時計回りに回す操作の操作履歴が「1」とされている。反時計回りに回す操作の操作履歴が「1」であることは、モードダイヤル16を表す操作キー画像を反時計回りに回す操作が1回だけ行われたことを表す。
 また、シャッターキー20を表す操作キー画像のモデル画像上の位置が「x2,y2」で表され、半押し操作と全押し操作の操作履歴がそれぞれ「0」とされている。
 このように、操作機2においては、遠隔操作モード時、制御コマンドリストと、座標位置、操作履歴を含む関連付け情報とが管理される。
<撮像機1と操作機2の動作>
[通信開始処理]
 はじめに、図8のフローチャートを参照して、通信を開始する撮像機1と操作機2の処理について説明する。
 通信の開始前、通常撮像モードが設定された撮像機1のディスプレイ11には、図9に示すような撮像中の画像が表示される。ディスプレイ11には、撮像中の画像に重ねて、撮像機1の状態を表す情報として、バッテリ残量を表すアイコン201、撮像モードを表すアイコン202、撮像可能枚数を表すアイコン203が表示される。
 一方、操作機2のディスプレイ81には、図10に示すような待ち受け画像が表示される。
 このような状態でユーザにより動作モードが通常撮像モードから遠隔撮像モードに切り替えられたとき、ステップS1において、撮像機1のモード設定部51は遠隔撮像モードを設定する。
 図11は、撮像機1の動作モードの設定画面の例を示す図である。
 撮像機1の背面に設けられたメニューキー14(図2)が押されたとき、ディスプレイ11の左端には、各種の設定項目を表すアイコンが縦に並ぶメニュー画像211が表示される。ユーザは、選択キー12を操作するなどして動作モードに関する設定項目である項目212を選択し、動作モードを通常撮像モードから遠隔撮像モードに切り替えることができる。
 一方、操作機2の動作モードとして遠隔操作モードがユーザにより選択されたとき、ステップS21において、操作機2のモード設定部101は遠隔操作モードを設定する。
 図12は、操作機2の動作モードの設定画面の例を示す図である。
 待ち受け画像が表示された状態において所定の操作が行われたとき、ディスプレイ81には、遠隔モード設定画像221が表示される。遠隔モード設定画像221には、遠隔操作モードを表すアイコンと、遠隔撮像モードを表すアイコンが表示される。ユーザは、遠隔操作モードを表すアイコンを接触操作し、操作機2の動作モードを遠隔操作モードに切り替えることができる。
 遠隔操作モードが設定されたとき、ステップS22において、操作機2の制御部91は、無線通信部93を制御して操作機情報を送信し、遠隔撮像モードが設定されている機器の検索を行う。
 操作機情報には、例えば、操作機2の識別情報である機器ID、時刻、現在位置、機能の情報が含まれる。なお、現在位置の情報については、現在位置の取得機能を撮像機1が備えておらず、操作機2が備えているなどの所定の条件を満たす場合に、操作機2から撮像機1に送信されるようにしてもよい。この場合、撮像機1に送信された現在位置の情報は、撮像した画像に位置情報を付加することに用いられる。
 ステップS2において、撮像機1の制御部35は、操作機情報が送信されてきたか否かを判定する。操作機情報が送信されてこないとステップS2において判定した場合、ステップS3において、制御部35はタイムアウトであるか否かを判定し、タイムアウトではないと判定した場合、ステップS1以降の処理を繰り返す。
 タイムアウトであるとステップS3において判定された場合、ステップS4において、表示制御部53は、通信の失敗を通知するメッセージをディスプレイ11に表示させ、処理を終了させる。
 一方、操作機情報が送信されてきたとステップS2において判定した場合、ステップS5において、制御部35は、操作機情報を受信し、記憶部34に記憶させるなどして操作機2の登録を行う。
 操作機2の登録を行った後、ステップS6において、制御部35は、撮像機情報を操作機2に送信する。撮像機情報には、例えば、撮像機1の識別情報である機器ID、制御コマンドリスト、機能の情報が含まれる。後述するように、撮像機1の形状や操作キーの配置に関する情報が撮像機情報に含まれるようにしてもよい。
 ステップS23において、操作機2の制御部91は、撮像機情報が送信されてきたか否かを判定する。撮像機情報が送信されてこないとステップS23において判定した場合、ステップS24において、制御部91はタイムアウトであるか否かを判定し、タイムアウトではないと判定した場合、ステップS21以降の処理を繰り返す。
 タイムアウトであるとステップS24において判定された場合、ステップS25において、表示制御部104は、通信の失敗を通知するメッセージをディスプレイ81に表示させ、処理を終了させる。
 一方、撮像機情報が送信されてきたとステップS23において判定した場合、ステップS26において、制御部91は、撮像機情報を受信し、記憶部94に記憶させるなどして撮像機1の登録を行う。
 撮像機1の登録を行った後、ステップS27において、制御部91は、モニター画像の送信要求を操作機2に送信する。モニター画像の送信要求は、撮像中の画像に各種のアイコンなどが重畳された、撮像機1のディスプレイ11に表示される図9の画像を、適切なフレームレートで送信することの要求を表す情報である。すなわち、撮像機1のディスプレイ11に表示される画像をそのまま送信することが操作機2から撮像機1に対して要求されることになる。
 ステップS7において、撮像機1の制御部35はモニター画像の送信要求を受信する。ステップS8において、制御部35は、信号処理部33から供給された画像信号に基づいてモニター画像のデータを生成し、モニター画像の送信を開始する。
 モニター画像の送信を開始した後、ステップS9において、表示制御部53は、ディスプレイ11を図13に示すようにOFFにする。これにより、撮像機1の消費電力を抑えることができる。
 ステップS28において、操作機2の制御部91は、モニター画像の受信を開始する。
 ステップS29において、モデル画像生成部103はモデル画像生成処理を行う。モデル画像生成処理は、撮像機1から送信されてきた撮像機情報に基づいてモデル画像を生成する処理である。
 例えば操作機2は、機器IDとモデル画像のデータを対応付けたデータベースを有している。モデル画像生成部103は、撮像機1から送信されてきた撮像機情報に含まれる機器IDに対応するモデル画像のデータをデータベースから取得し、取得したデータに基づいてモデル画像を生成する。モデル画像生成処理の詳細については後述する。
 ステップS30において、表示制御部104は、撮像機1から送信されてきたモニター画像と、モデル画像生成部103により生成されたモデル画像を同じ画面に並べて表示させる。
 図14は、ディスプレイ81に表示される遠隔操作画面の例を示す図である。
 遠隔操作画面の右側にはモデル画像領域231が形成され、左側にはモニター画像領域232が形成される。モデル画像領域231はモデル画像の表示領域であり、モニター画像領域232はモニター画像の表示領域である。モデル画像領域231とモニター画像領域232は、例えば縦横の比率が固定の長方形の領域であり、図14の例においてはモデル画像領域231の方がモニター画像領域232より大きい領域とされている。
 モデル画像領域231には、正面に対して若干斜めの方向から見た撮像機1の外観を表すモデル画像241が表示されている。また、モニター画像領域232には、撮像機1から送信されてきた、図9に示す画像と同じ画像がモニター画像として表示されている。
 モニター画像領域232に示すように、モニター画像は、撮像中の画像に、撮像機1のバッテリ残量を表すアイコン251、撮像モードを表すアイコン252、撮像可能枚数を表すアイコン253を重ねて表示する画像である。アイコン251乃至253は、それぞれ、撮像機1において撮像中の画像に重ねて表示される図9のアイコン201乃至203に対応する。
 撮像機1においてディスプレイ11がOFFとなり、操作機2において遠隔操作画面が表示された後、通信開始処理は終了する。
 図15は、遠隔操作画面に表示されるモデル画像241について説明する図である。
 モデル画像241は、撮像機1の外観を立体的に表す画像である。ユーザは、ディスプレイ81に表示されるモデル画像241に対して太線矢印で示すようにスライド操作を行うことによって、モデル画像241の向きを変えることができる。
 例えば、上方向のスライド操作を行った場合、モデル画像241により表される撮像機1の向きは、スライド量に応じて、正面が上方向を向くように変化する。撮像機1の底面の構成が見えるモデル画像241が表示されることになる。
 また、右方向のスライド操作を行った場合、モデル画像241により表される撮像機1の向きは、スライド量に応じて、正面が右方向を向くように変化する。撮像機1の左側面の構成が見えるモデル画像241が表示されることになる。
 図16乃至19は、モデル画像241の向きの変化の例を示す図である。
 例えば、図14の状態でユーザがモデル画像241に触れ、図16の白抜き矢印#1に示すように左方向のスライド操作を行った場合、スライド量に応じて向きが変わり、モデル画像241は図16に示すように撮像機1の右側面の外観を表す状態になる。
 また、図16の状態でユーザがモデル画像241に触れ、図17の白抜き矢印#2に示すように左方向のスライド操作を行った場合、スライド量に応じて向きが変わり、モデル画像241は図17に示すように撮像機1の背面の外観を表す状態になる。
 さらに、図17の状態でユーザがモデル画像241に触れ、図18の白抜き矢印#3に示すように下方向のスライド操作を行った場合、スライド量に応じて向きが変わり、モデル画像241は図18に示すように撮像機1の上面の外観を表す状態になる。
 上下左右のスライド操作だけでなく、斜め方向のスライド操作によってもモデル画像241の向きを変えることができる。
 例えば、図18の状態でユーザがモデル画像241に触れ、図19の白抜き矢印#4に示すように左斜め上方向のスライド操作を行った場合、スライド量に応じて向きが変わり、モデル画像241は図19に示すように撮像機1の底面の外観を表す状態になる。図19のモデル画像領域231に表示されているモデル画像241の状態は、レンズ部が右斜め下を向いている状態である。
 このように、ユーザは、ディスプレイ81への接触操作によって、モデル画像241を自在に回転させることができる。また、ピンチアウト操作によってモデル画像241を拡大させ、ピンチイン操作によってモデル画像241を縮小させることもできる。
[撮像処理]
 次に、図20のフローチャートを参照して、撮像を含む各種の処理をユーザの操作に応じて行う撮像機1と操作機2の処理について説明する。図20の処理は、図8の処理が行われた後に開始される。
 ステップS41において、撮像機1の制御部35はモニター画像を送信する。
 ステップS51において、操作機2の制御部91は、撮像機1から送信されてきたモニター画像を受信する。受信されたモニター画像は、表示制御部104により遠隔操作画面に表示される。
 ステップS52において、操作機2のコマンドリスト管理部105は、モデル画像241上の操作キー画像に対する接触操作を検出したか否かを判定する。
 ユーザにより接触操作が行われた場合、操作検出部102は、接触操作が行われた位置を検出する。コマンドリスト管理部105は、接触操作が行われた位置に操作キー画像があるかを、履歴管理部106が管理する関連付け情報に含まれる座標位置に基づいて確認する。ステップS52においては、接触操作が行われた位置に操作キー画像があることが確認された場合、操作キー画像に対する接触操作を検出したと判定されることになる。
 操作キー画像に対する接触操作が行われたとステップS52において判定された場合、ステップS53において、表示制御部53は操作キー画像の表示を切り替える。例えば、接触操作が行われた操作キー画像の表示が、操作後の状態を表すように切り替えられる。
 ステップS54において、コマンドリスト管理部105は、ユーザの操作に応じた操作要求を撮像機1に送信する。操作要求には、接触操作が行われた操作キー画像に対応する制御コマンド番号の制御コマンドが含まれる。
 ステップS55において、履歴管理部106は操作履歴を更新する。操作履歴は、操作キー画像を用いた操作が行われる毎に更新されることになる。
 操作履歴の更新が行われた後、ステップS56において、制御部91は、遠隔操作モードを終了するか否かを判定する。遠隔操作モードを終了しないとステップS56において判定した場合、制御部91は、ステップS51以降の処理を繰り返す。ステップS52において操作キー画像に対する操作を検出していないと判定された場合も同様に、ステップS51以降の処理が繰り返される。遠隔操作モードを終了するとステップS56において判定した場合、制御部91は処理を終了させる。
 一方、モニター画像を送信した後、ステップS42において、撮像機1の制御部35は、操作要求が送信されてきたか否かを判定する。
 操作要求が送信されてきたとステップS42において判定した場合、ステップS43において、制御部35は、操作機2から送信されてきた操作要求を受信する。
 ステップS44において、コマンド実行部52は、操作要求に含まれる制御コマンドの制御コマンド番号に基づいて、操作機2により要求されている動作を制御コマンドリストを参照して認識し、動作に応じた処理を実行する。
 操作要求に応じた処理を実行した後、ステップS45において、制御部35は、遠隔撮像モードを終了するか否かを判定する。遠隔撮像モードを終了しないとステップS45において判定した場合、制御部35は、ステップS41以降の処理を繰り返す。ステップS42において操作要求が送信されてこないと判定された場合も同様に、ステップS41以降の処理が繰り返される。遠隔撮像モードを終了するとステップS45において判定した場合、制御部35は処理を終了させる。
[制御の具体例について]
 図21乃至図23を参照して、静止画の撮像を含む、図20の処理により実現される遠隔操作の具体例について説明する。
 図21および図22は、モードダイヤル16の操作について説明する図である。ここでは、撮像機1の撮像モードを、初期状態であるオートモードからマニュアルモードに切り替える場合について説明する。
 オートモードは、撮像に最適な設定を撮像機1が自動的に行い、シャッターキーが押されることに応じて静止画の撮像を行うモードである。また、マニュアルモードは、シャッタースピードと絞りの設定をユーザが手動で行い、シャッターキーが押されることに応じて静止画の撮像を行うモードである。
 図21のモデル画像領域231には、撮像機1の上面に設けられたモードダイヤル16を表す操作キー画像の近傍が拡大して表示されている。例えば、図18に示すモデル画像241が表示されている状態でユーザがモードダイヤル16を表す操作キー画像付近を中心にしてピンチアウト操作を行ったとき、図21に示す状態のモデル画像241が表示される。
 撮像機1のモードダイヤル16は、モデル画像241上では操作キー画像261として表示される。操作キー画像261上に表示されるアイコン261Aはオートモードを表すアイコンであり、「M」の文字のアイコン261Bはマニュアルモードを表すアイコンである。ポインタ261Cの隣にアイコン261Aが位置していることは、現在の撮像モードの設定がオートモードであることを表す。
 電源キー17は、モデル画像241上では操作キー画像262として表示される。なお、モニター画像領域232のアイコン252の図柄もアイコン261Aの図柄と同じとされ、オートモードが設定されていることを表している。
 操作キー画像261の近傍には、操作キー画像261を時計方向または反時計方向に接触操作することができることを表す操作ガイド271が表示される。操作ガイド271は、例えば、ユーザが、操作キー画像をある程度拡大表示させた時点で表示される。これにより、ユーザは、操作キー画像をどのように操作できるのかを容易に確認することができる。
 モデル画像241上の「x1,y1」(図7)で表される位置に対する反時計方向の接触操作が操作検出部102により検出された場合、コマンドリスト管理部105により、操作キー画像に対する接触操作が行われたと判定される(ステップS52)。操作キー画像に対する接触操作を検出したとき、操作機2が備えるバイブレータを振動させ、それによって操作の検出をユーザに通知するようにしてもよい。
 また、図22に示すように、表示制御部104により、1段分だけ反時計方向に回った状態を表すように操作キー画像261の表示が切り替えられる(ステップS53)。図22の例においては、マニュアルモードを表すアイコン261Bがポインタ261Cの隣に表示されている。
 このとき、モニター画像領域232のアイコン252の図柄も、アイコン261Bの図柄と同じ図柄に切り替わる。なお、アイコン252の表示は、操作要求に応じた処理が撮像機1において実行され、その後に送信されてきたモニター画像をモニター画像領域232に表示させることに伴って切り替わるものである。
 さらに、操作キー画像261に対する反時計方向の接触操作が検出されることに応じて、コマンドリスト管理部105により、制御コマンド番号「2」の制御コマンドを含む操作要求が撮像機1に対して送信される(ステップS54)。上述したように、制御コマンド番号「2」の制御コマンドは、モードダイヤル16を反時計回りに回す操作を表す。また、履歴管理部106により操作履歴が更新され、モードダイヤル16を反時計回りに回す操作が1回行われたことが管理される(ステップS55)。
 撮像機1においては、制御コマンド番号「2」の制御コマンドを含む操作要求がコマンド実行部52により受信され(ステップS43)、モードダイヤル16を反時計回りに回す操作が要求されていることが認識される。また、操作要求に応じた処理が実行され、撮像モードがオートモードからマニュアルモードに切り替えられる(ステップS44)。
 このように、ユーザは、操作キー画像261に触れることで、撮像機1のモードダイヤル16を直接操作するのと同じ動作を撮像機1に行わせることができる。
 図23は、シャッターキー20の操作について説明する図である。
 図23のモデル画像領域231には、撮像機1のグリップ部19の上面に設けられたシャッターキー20を表す操作キー画像の近傍が拡大して表示されている。例えば、図22に示すモデル画像241が表示されている状態でユーザが下方向にスライド操作を行ったとき、図23に示す状態のモデル画像241が表示される。
 撮像機1のシャッターキー20は、モデル画像241上では操作キー画像281として表示され、ズームキー21は、モデル画像241上では操作キー画像282として表示される。操作キー画像282の近傍には、操作キー画像282を時計方向または反時計方向に接触操作することができることを表す操作ガイド291が表示される。操作ガイド291も、例えば、ユーザが、操作キー画像282をある程度拡大表示させた時点で表示される。
 モデル画像241上の「x2,y2」(図7)で表される位置に対する1回目の接触操作が操作検出部102により検出された場合、コマンドリスト管理部105により、操作キー画像に対する接触操作が行われたと判定される(ステップS52)。
 また、図23において点線#11で囲んで示すように、表示制御部104により、半押し状態を表すように操作キー画像281の表示が切り替えられる(ステップS53)。上述したように、撮像機1のシャッターキー20は2段式の操作キーである。シャッターキー20は、1回目の押下が行われることにより半押し状態となり、所定時間内に2回目の押下が行われることにより全押し状態になる。
 操作キー画像281が半押し状態であることは、操作キー画像281の回りに点線を表示させたり、画像自体を変化させたりして表される。半押し状態であることが色の変化によって表されるようにしてもよい。
 さらに、操作キー画像281に対する1回目の接触操作が行われたことが検出されることに応じて、コマンドリスト管理部105により、制御コマンド番号「3」の制御コマンドを含む操作要求が撮像機1に対して送信される(ステップS54)。制御コマンド番号「3」の制御コマンドは、シャッターキー20の半押し操作を表す。また、履歴管理部106により操作履歴が更新され、シャッターキー20の半押し操作が1回行われたことが管理される(ステップS55)。
 撮像機1においては、制御コマンド番号「3」の制御コマンドを含む操作要求がコマンド実行部52により受信され(ステップS43)、シャッターキー20の半押し操作が要求されていることが認識される。また、操作要求に応じた処理が実行され、フォーカスの固定などが行われる(ステップS44)。
 また、モデル画像241上の「x2,y2」で表される位置に対する2回目の接触操作が所定の時間内に行われたことが操作検出部102により検出された場合、コマンドリスト管理部105により、制御コマンド番号「4」の制御コマンドを含む操作要求が撮像機1に対して送信される(ステップS54)。制御コマンド番号「4」の制御コマンドは、シャッターキー20の全押し操作を表す。また、履歴管理部106により操作履歴が更新され、シャッターキー20の全押し操作が1回行われたことが管理される(ステップS55)。
 撮像機1においては、制御コマンド番号「4」の制御コマンドを含む操作要求がコマンド実行部52により受信され(ステップS43)、シャッターキー20の全押し操作が要求されていることが認識される。また、操作要求に応じた処理が実行され、静止画の撮像が行われる(ステップS44)。
 撮像された静止画はモニター画像として操作機2に送信され、遠隔操作画面のモニター画像領域232に表示される。ユーザは、撮像機1を用いて通常撮像モードで撮像を行ったときと同様に、撮像した静止画を撮像直後に確認することができる。その後、遠隔撮像モードの終了がユーザにより指示されない限り、モニター画像の送受信が続けられる(ステップS41,S51)。
 撮像した静止画は、撮像機1において保存されるだけでなく、操作機2にも保存されるようにしてもよい。この場合、データ量削減のために、信号処理部33により圧縮処理が施された静止画が撮像機1から操作機2に送信され、操作機2の記憶部94に記憶される。
 このように、ユーザは、操作キー画像281に触れることで、撮像機1のシャッターキー20を直接操作するのと同じ動作を撮像機1に行わせることができる。また、操作機2において撮像が行われるわけではないため、手ぶれが生じることもない。
 さらに、半押し操作と全押し操作の2段階の操作といったように、操作キー画像281を用いた操作と、シャッターキー20を用いた操作を一致させることで、より直感的な操作を実現することが可能となる。半押し状態の操作キー画像281と全押し状態の操作キー画像281をそれぞれ異なる色で表示させることも可能である。
 操作キー画像281の状態をユーザに通知する方法として、例えば、半押し状態になった時に「ピピッ」、全押し状態になった時に「カシャ」などの効果音を操作機2のスピーカ82から出力させるようにしてもよい。操作キー画像281以外の操作キー画像の操作時も同様であり、また、消音機能も備えていることが望ましい。
 図24は、遠隔操作画面の例を示す図である。
 操作キー画像281などを用いた撮像前、ユーザは、モニター画像領域232を図24に示すように拡大させることによって、撮像する画像の画角を確認することができる。モニター画像領域232が拡大することに連動して、モデル画像領域231は小さくなる。モデル画像領域231とモニター画像領域232の拡大/縮小は、例えば、ユーザが領域の縁に触れ、スライド操作を行うことによって行われる。
[警告処理]
 次に、図25のフローチャートを参照して、撮像機1において動きが検出されたときに警告を出力する撮像機1と操作機2の処理について説明する。図25の処理は、例えば図20の処理が行われている間、繰り返し行われる。
 例えば、撮像機1の画角をユーザが変更したとき、または、撮像機1が他人により持ち出されそうになったとき、撮像機1により動きが検出され、撮像機1と操作機2の双方において警告が出力される。
 ステップS71において、撮像機1の制御部35は、動きを検出したか否かをセンサ部37からの出力に基づいて判定し、検出していないと判定した場合、処理を終了させる。
 一方、動きを検出したとステップS71において判定された場合、表示制御部53は、ステップS72においてディスプレイ11をONとし、ステップS73において警告を表示させる。
 図26は、動きが検出されたときにディスプレイ11に表示される警告の例を示す図である。
 図26に示すように、撮像中の画像に重ねて、遠隔撮像中であることを通知するメッセージとOKボタン311を含むウインドウ301が表示される。ユーザは、OKボタン311を押すことによって、画角調整などの、撮像機1に対する直接の操作を行うことができる。
 撮像機1に設けられたスピーカ39からの音声によって警告の出力が行われるようにしてもよい。スピーカ39から出力される音声は、撮像機1内に記録されているデータに基づいて出力される音声であってもよいし、操作機2のマイクロフォン84により集音され、撮像機1にリアルタイムで送信されたユーザ自身の音声であってもよい。
 警告を表示させた後、ステップS74において、制御部35は、動きを検出したことを表す情報である動き検出情報を操作機2に送信する。
 ステップS91において、操作機2の制御部91は、動き検出情報が撮像機1から送信されてきたか否かを判定し、送信されてきていないと判定した場合、処理を終了させる。
 一方、動き検出情報が送信されてきたとステップS91において判定した場合、ステップS92において、制御部91は、撮像機1から送信されてきた動き検出情報を受信する。
 ステップS93において、表示制御部104は、ディスプレイ81に警告を表示させる。
 図27は、動き検出情報を受信したときにディスプレイ81に表示される警告の例を示す図である。
 図27の例においては、モニター画像の画角が、撮像機1が動くことによってずれている。図27に示すように、モデル画像241に重ねて、撮像機1において動きが検出されたことを通知するメッセージとOKボタン331を含むウインドウ321が表示される。ユーザは、OKボタン331を押すことによって、ウインドウ321の表示を消すことができる。
 動き検出情報を送信した後、ステップS75において、制御部35は、背面に設けられた決定キー13(図2)が押され、OKボタン311の操作が行われたか否かを入力部36から供給される信号に基づいて判定する。
 決定キー13が押されていないとステップS75において判定した場合、ステップS76において、制御部35はタイムアウトか否かを判定する。タイムアウトではないとステップS76において判定した場合、制御部35はステップS73以降の処理を続ける。
 一方、決定キー13が押されたとステップS75において判定された場合、表示制御部53は、ステップS77において警告の表示を消し、ステップS78においてディスプレイ11をOFFの状態に戻す。ステップS76においてタイムアウトであると判定された場合も同様に、ステップS78においてディスプレイ11がOFFの状態になる。
 ディスプレイ11をOFFの状態に戻し、直接の操作を無効にすることは、後述する通信終了処理が行われない限り、撮像機1を通常どおり動作させることができないことを意味する。通常どおり動作させることができないようにすることにより、撮像機1の盗難防止にも役立てることができる。
 以上のようにして警告が表示されることにより、撮像機1が他人によって持ち出されたりするのを防ぐことが可能になる。
[通信終了処理]
 次に、図28のフローチャートを参照して、通信を終了させる撮像機1と操作機2の処理について説明する。
 図12の設定画面を用いるなどして遠隔操作モードを終了する操作がユーザにより行われた場合、ステップS121において、操作機2のモード設定部101は遠隔操作モードを終了する。
 ステップS122において、制御部91は、遠隔撮像モードの終了要求を撮像機1に送信する。
 ステップS101において、撮像機1の制御部35は、操作機2から送信されてきた遠隔撮像モードの終了要求を受信する。制御部35は、ステップS102において、遠隔撮像モードの終了確認を操作機2に送信し、ステップS103において、モニター画像の送信を終了させる。
 ステップS104において、表示制御部53は、ディスプレイ11をONとし、ステップS105において、メッセージを表示させるなどして、遠隔撮像モードの終了をユーザに通知する。
 図29は、遠隔撮像モードの終了通知の例を示す図である。
 図29の例においては、表示が再開された撮像中の画像に重ねて、遠隔撮像モードの終了を通知するメッセージとOKボタン351を含むウインドウ341が表示される。ユーザは、OKボタン351を押すことによってウインドウ341の表示を消すことができる。
 一方、ステップS123において、操作機2の制御部91は、遠隔撮像モードの終了確認が撮像機1から送信されてきたか否かを判定する。遠隔撮像モードの終了確認が送信されてこないとステップS123において判定した場合、ステップS124において、制御部91はタイムアウトであるか否かを判定し、タイムアウトではないと判定した場合、ステップS122以降の処理を繰り返す。
 タイムアウトであるとステップS124において判定された場合、ステップS125において、表示制御部104は、通信終了の失敗を通知するメッセージをディスプレイ81に表示させ、遠隔操作モードの処理を継続させる。
 一方、遠隔撮像モードの終了確認が送信されてきたとステップS123において判定した場合、制御部91は、ステップS126において遠隔撮像モードの終了確認を受信し、ステップS127においてモニター画像の受信を終了する。
 ステップS128において、履歴管理部106は、自動復帰しない操作キー、すなわち自動復帰フラグ(図7)の値が0の操作キーの操作履歴があるか否かを判定する。
 自動復帰しない操作キーの操作履歴がないとステップS128において判定された場合、ステップS129において、表示制御部104は、遠隔操作モードの終了をユーザに通知し、処理を終了させる。ディスプレイ81には、遠隔操作モードが終了したことを通知するメッセージが表示される。
 一方、自動復帰しない操作キーの操作履歴があるとステップS128において判定された場合、ステップS130において、表示制御部104は、自動復帰しない操作キーについての注意を喚起するメッセージを含む通知を表示させる。例えば、図21と図22を参照して説明したようなモードダイヤル16を表す操作キー画像261を用いた操作が行われている場合、モードダイヤル16についての注意を喚起するメッセージが表示される。
 図30は、ステップS130において表示される遠隔操作モードの終了通知の例を示す図である。
 図30の例においては、ディスプレイ81に表示されていた遠隔操作画面が消され、メッセージとOKボタン371を含むウインドウ361が表示されている。ウインドウ361には、遠隔操作モードの終了を通知するメッセージと、遠隔操作モードで操作したモードダイヤル16が、操作前の状態に戻っていることを通知するメッセージが表示される。
 操作後に、操作前の状態に自動的に復帰しないモードダイヤル16などの操作キーについては、ユーザが操作キー画像261を用いた操作を行っていても、当然、実際の撮像機1においては操作前の状態のままである。このように、撮像機1の操作キーが遠隔操作を行う前の状態のままであることを遠隔操作モードの終了時に通知することにより、ユーザが撮像機1を直接操作するときに設定を誤解したまま使用するといったことを防ぐことが可能になる。
 遠隔撮像モードや遠隔操作モードの終了通知が音声によって行われるようにしてもよい。撮像機1において図29のOKボタン351が操作され、操作機2において図30のOKボタン371が操作されたとき、通信が終了する。
[モデル画像生成処理]
 ここで、図8のステップS29において行われる操作機2のモデル画像生成処理について説明する。
 はじめに、図31のフローチャートを参照して、第1のモデル画像生成処理について説明する。
 図31の処理は、機器IDとモデル画像のデータを対応付けたデータベースを用いてモデル画像を生成する処理である。
 ステップS201において、操作機2のモデル画像生成部103は、撮像機1から送信されてきた撮像機情報に含まれる機器IDを特定する。
 ステップS202において、モデル画像生成部103は、機器IDとモデル画像のデータを対応付けたデータベースであるモデル画像管理テーブルを参照し、撮像機1の機器IDに対応するモデル画像のデータを取得する。モデル画像管理テーブルは例えば記憶部94に記憶されている。
 ステップS203において、モデル画像生成部103は、モデル画像管理テーブルから取得したデータに基づいてモデル画像を生成する。その後、図8のステップS29に戻り、モデル画像生成部103により生成されたモデル画像が遠隔操作画面に表示される。
 次に、図32のフローチャートを参照して、第2のモデル画像生成処理について説明する。
 図32の処理は、インターネット上の図示せぬサーバから取得したデータに基づいてモデル画像を生成する処理である。この場合、操作機2はインターネットに接続され、サーバとの間で通信を行うことが可能とされる。サーバは、撮像機の機器IDとモデル画像のデータを対応付けたデータベースを有している。
 ステップS211において、操作機2のモデル画像生成部103は、撮像機1から送信されてきた撮像機情報に含まれる機器IDを特定する。
 ステップS212において、モデル画像生成部103は、撮像機1の機器IDをサーバに送信し、対応するモデル画像のデータの送信を要求する。
 ステップS213において、モデル画像生成部103は、サーバから送信されてくる、撮像機1の機器IDに対応するモデル画像のデータを受信する。
 ステップS214において、モデル画像生成部103は、サーバから取得したデータに基づいてモデル画像を生成する。その後、図8のステップS29に戻り、それ以降の処理が行われる。
 次に、図33のフローチャートを参照して、第3のモデル画像生成処理について説明する。
 図33の処理は、撮像機1から送信されてくる撮像機情報に形状データとキー配置データが含まれており、それらのデータを用いてモデル画像を生成する処理である。形状データは、撮像機1の外観の形状を表すデータであり、キー配置データは、撮像機1に設けられた各操作キーの配置を表すデータである。
 ステップS221において、操作機2のモデル画像生成部103は、撮像機1から送信されてきた撮像機情報に含まれる形状データとキー配置データを取得する。
 ステップS222において、モデル画像生成部103は、取得した形状データとキー配置データに基づいてモデル画像を生成する。モデル画像生成部103は、例えば、形状データに基づいて撮像機1の外観を描画し、キー配置データにより表される位置に操作キー画像を配置することによってモデル画像を生成する。その後、図8のステップS29に戻り、それ以降の処理が行われる。
 このように、各種の方法によりモデル画像を生成することが可能とされる。例えば、撮像機1が自身の外観を表すモデル画像のデータを管理しており、そのデータが撮像機情報に含めた形で操作機2に提供され、モデル画像の表示に用いられるようにしてもよい。
[効果について]
 以上のように、タッチパネル92に対する接触操作により自在に回転、拡大、縮小が可能なモデル画像を表示することにより、撮像機1が備える全ての操作キーを用いた遠隔操作が可能になる。
 また、全ての操作キーの画像をモデル画像上に表示することにより、表示できない操作キーを用いた動作を別の操作キーに割り当てたり、その動作を行わせるための項目をメニューの中に組み込んだりするなどの煩雑な制御が不要になる。撮像中の被写体の画像に重ねて表示されるメニューに種々の動作の項目を組み込んだ場合、その項目の表示によって被写体が項目の下に隠れて確認できなくなることあるが、そのようなことを防ぐことも可能になる。ユーザにとっても、通常使用時と同じ感覚でそれぞれの動作を指示することができ、誤操作の恐れを低減させることが可能になる。
 また、通常使用時に撮像機1において表示される撮影中の画像、電池残量、撮像可能枚数、撮像モードの情報が、そのまま操作機2に送信され、モニター画像上に表示されるため、ユーザは、撮像を行うために必要な撮像機1の情報をすべて操作機2上で確認することができる。これにより、撮像開始後にメモリーカードの残量不足でシャッターチャンスを逃したり、メモリーカードの交換作業で無駄な撮像待ち時間を発生させるなどの不都合を回避することができる。
 さらに、操作後に操作前の状態に自動的に復帰しない操作キーの画像をモデル画像上で操作した場合、遠隔操作前の状態に戻ることを通信終了時にユーザに通知するようにしたため、ユーザが設定を誤解してしまうことを防ぐことが可能となる。
 遠隔撮像モードの間、動きの検出が無い限り、撮像機1のディスプレイ11をOFFにするようにしたため、撮像機1の消費電力を抑えることが可能になる。
<変形例>
 以上においては、制御コマンドリストが撮像機情報に含めて撮像機1から操作機2に提供されるものとしたが、撮像機情報に含まれる機器IDに基づいて操作機2によりサーバに対して問い合わせが行われ、サーバから取得されるようにしてもよい。
 また、撮像機1がデジタルスチルカメラであるものとしたが、携帯電話機やゲーム機などの、撮像機能を有する各種の機器を遠隔から操作することも可能である。
[コンピュータの構成例]
 上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
 図34は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
 CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403は、バス404により相互に接続されている。
 バス404には、さらに、入出力インタフェース405が接続されている。入出力インタフェース405には、キーボード、マウスなどよりなる入力部406、ディスプレイ、スピーカなどよりなる出力部407が接続される。また、入出力インタフェース405には、ハードディスクや不揮発性のメモリなどよりなる記憶部408、ネットワークインタフェースなどよりなる通信部409、リムーバブルメディア411を駆動するドライブ410が接続される。
 以上のように構成されるコンピュータでは、CPU401が、例えば、記憶部408に記憶されているプログラムを入出力インタフェース405及びバス404を介してRAM403にロードして実行することにより、上述した一連の処理が行われる。
 CPU401が実行するプログラムは、例えばリムーバブルメディア411に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部408にインストールされる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
 なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
[構成の組み合わせ例]
 本技術は、以下のような構成をとることもできる。
(1)
 撮像機と無線通信を行い、前記撮像機の識別情報を含む撮像機情報と、前記撮像機による撮像中の画像とを受信する通信部と、
 前記撮像機情報に基づいて、前記撮像機の外観の画像を生成する生成部と、
 前記撮像中の画像と前記外観の画像とを、表示部の同じ画面に表示させる表示制御部と、
 前記表示部に対する接触操作を検出する検出部と
 を備え、
 前記表示制御部は、前記外観の画像の向きと大きさを前記接触操作に応じて切り替える
 情報処理端末。
(2)
 前記検出部は、前記外観の画像に含まれる、前記撮像機に設けられた操作キーの画像である操作キー画像に対する前記接触操作を検出し、
 前記通信部は、前記接触操作が行われた前記操作キー画像に応じた制御コマンドを前記撮像機に送信する
 前記(1)に記載の情報処理端末。
(3)
 前記表示制御部は、前記操作キー画像に対する前記接触操作が検出されることに応じて、前記操作キー画像の状態を変化させる
 前記(2)に記載の情報処理端末。
(4)
 前記操作キーが、操作が行われた後に、操作が行われる前の状態に戻るキーであるか否かを表す情報を管理する管理部と、
 前記操作キー画像を用いた操作の履歴を管理する履歴管理部と
 をさらに備え、
 前記表示制御部は、操作が行われる前の状態に戻らない前記操作キーを表す前記操作キー画像を用いた操作が行われたことが前記履歴に含まれる場合、前記撮像機との通信終了時に、前記撮像機における前記操作キーの状態が、操作後の状態と異なることを通知する情報を表示させる
 前記(2)または(3)に記載の情報処理端末。
(5)
 前記撮像機情報には、前記制御コマンドと、操作が行われる前の状態に戻るキーであるか否かを表す前記情報が含まれる
 前記(4)に記載の情報処理端末。
(6)
 前記生成部は、前記識別情報に基づいて、前記外観の画像のデータをネットワークを介して接続されるサーバから取得し、前記外観の画像を生成する
 前記(1)乃至(5)のいずれかに記載の情報処理端末。
(7)
 前記撮像機情報には、前記撮像機の形状を表す情報と、前記撮像機に設けられた操作キーの配置を表す情報とが含まれ、
 前記生成部は、前記撮像機情報に含まれる情報に基づいて前記外観の画像を生成する
 前記(1)乃至(6)のいずれかに記載の情報処理端末。
(8)
 前記通信部は、前記撮像機が撮影している画像に対して前記撮像機の状態を表す情報が重ねられた画像を前記撮像中の画像として受信する
 前記(1)乃至(7)のいずれかに記載の情報処理端末。
(9)
 前記表示制御部は、前記画面内に重ならないように形成された領域に前記撮像中の画像と前記外観の画像とをそれぞれ表示させ、前記撮像中の画像の表示領域と前記外観の画像の表示領域の大きさを、前記接触操作に応じて切り替える
 前記(1)乃至(8)のいずれかに記載の情報処理端末。
(10)
 前記通信部は、前記撮像機から送信されてくる、動きが検出されたことを表す情報を受信し、
 前記表示制御部は、前記動きが検出されたことを表す情報が受信されることに応じて、前記撮像機において動きが検出されたことを表す情報を表示させる
 前記(1)乃至(9)のいずれかに記載の情報処理端末。
(11)
 撮像機と無線通信を行い、前記撮像機の識別情報を含む撮像機情報と、前記撮像機による撮像中の画像とを受信し、
 前記撮像機情報に基づいて、前記撮像機の外観の画像を生成し、
 前記撮像中の画像と前記外観の画像とを、表示部の同じ画面に表示させ、
 前記表示部に対する接触操作を検出し、
 前記外観の画像の向きと大きさを前記接触操作に応じて切り替える
 ステップを含む情報処理方法。
(12)
 撮像機と無線通信を行い、前記撮像機の識別情報を含む撮像機情報と、前記撮像機による撮像中の画像とを受信し、
 前記撮像機情報に基づいて、前記撮像機の外観の画像を生成し、
 前記撮像中の画像と前記外観の画像とを、表示部の同じ画面に表示させ、
 前記表示部に対する接触操作を検出し、
 前記外観の画像の向きと大きさを前記接触操作に応じて切り替える
 ステップを含む処理をコンピュータに実行させるプログラム。
(13)
 撮像部と、
 撮像中の画像と、撮像機の識別情報を含む撮像機情報に基づいて生成した前撮像機の外観の画像とを表示部の同じ画面に表示させ、前記外観の画像の向きと大きさを前記表示部に対する接触操作に応じて切り替える情報処理端末と無線通信を行い、前記撮像機情報と、前記撮像部により得られた前記撮像中の画像とを送信するとともに、前記外観の画像に含まれる、前記撮像機に配置された操作キーの画像である操作キー画像に対する前記接触操作が検出されることに応じて前記情報処理端末から送信されてくる、前記接触操作が行われた前記操作キー画像に応じた制御コマンドを受信する通信部と、
 前記制御コマンドに応じた処理を行う実行部と
 を備える撮像機。
(14)
 前記撮像中の画像を表示する表示部と、
 動作モードを管理する管理部と、
 前記制御コマンドに応じた処理を行う前記動作モードが設定されている間、前記撮像中の画像を表示させないように制御する表示制御部と
 をさらに備える前記(13)に記載の撮像機。
(15)
 前記撮像機情報には、前記制御コマンド、前記操作キーが、操作が行われた後に、操作が行われる前の状態に戻るキーであるか否かを表す情報、前記撮像機の形状を表す情報、および前記操作キーの配置を表す情報が含まれる
 前記(13)または(14)に記載の撮像機。
(16)
 前記撮像機に生じた動きを検出する動き検出部をさらに備え、
 前記通信部は、前記動きが検出された場合、前記動きが検出されたことを表す情報を前記情報処理端末に送信する
 前記(13)乃至(15)のいずれかに記載の撮像機。
(17)
 撮像を行い、
 撮像中の画像と、撮像機の識別情報を含む撮像機情報に基づいて生成した前撮像機の外観の画像とを表示部の同じ画面に表示させ、前記外観の画像の向きと大きさを前記表示部に対する接触操作に応じて切り替える情報処理端末と無線通信を行い、前記撮像機情報と、前記撮像部により得られた前記撮像中の画像とを送信し、
 前記外観の画像に含まれる、前記撮像機に配置された操作キーの画像である操作キー画像に対する前記接触操作が検出されることに応じて前記情報処理端末から送信されてくる、前記接触操作が行われた前記操作キー画像に応じた制御コマンドを受信し、
 前記制御コマンドに応じた処理を行う
 ステップを含む情報処理方法。
(18)
 撮像を行い、
 撮像中の画像と、撮像機の識別情報を含む撮像機情報に基づいて生成した前撮像機の外観の画像とを表示部の同じ画面に表示させ、前記外観の画像の向きと大きさを前記表示部に対する接触操作に応じて切り替える情報処理端末と無線通信を行い、前記撮像機情報と、前記撮像部により得られた前記撮像中の画像とを送信し、
 前記外観の画像に含まれる、前記撮像機に配置された操作キーの画像である操作キー画像に対する前記接触操作が検出されることに応じて前記情報処理端末から送信されてくる、前記接触操作が行われた前記操作キー画像に応じた制御コマンドを受信し、
 前記制御コマンドに応じた処理を行う
 ステップを含む処理をコンピュータに実行させるプログラム。
(19)
  撮像機と無線通信を行い、前記撮像機の識別情報を含む撮像機情報と、前記撮像機による撮像中の画像とを受信する通信部と、
  前記撮像機情報に基づいて、前記撮像機の外観の画像を生成する生成部と、
  前記撮像中の画像と前記外観の画像とを、表示部の同じ画面に表示させる表示制御部と、
  前記表示部に対する接触操作を検出する検出部と
 を備え、
  前記表示制御部が、前記外観の画像の向きと大きさを前記接触操作に応じて切り替え、
  前記検出部が、前記外観の画像に含まれる、前記撮像機に設けられた操作キーの画像である操作キー画像に対する前記接触操作を検出し、
  前記通信部が、前記接触操作が行われた前記操作キー画像に応じた制御コマンドを前記撮像機に送信する
 情報処理端末と、
  撮像部と、
  前記情報処理端末と無線通信を行い、前記撮像機情報と、前記撮像部により得られた前記撮像中の画像とを送信するとともに、前記情報処理端末から送信されてくる前記制御コマンドを受信する通信部と、
  前記制御コマンドに応じた処理を行う実行部と
 を備える撮像機と
 からなる遠隔撮像システム。
 1 撮像機, 2 操作機, 11 ディスプレイ, 35 制御部, 51 モード設定部, 52 コマンド実行部, 53 表示制御部, 81 ディスプレイ, 91 制御部, 101 モード設定部, 102 操作検出部, 103 モデル画像生成部, 104 表示制御部, 105 コマンドリスト管理部, 106 履歴管理部

Claims (19)

  1.  撮像機と無線通信を行い、前記撮像機の識別情報を含む撮像機情報と、前記撮像機による撮像中の画像とを受信する通信部と、
     前記撮像機情報に基づいて、前記撮像機の外観の画像を生成する生成部と、
     前記撮像中の画像と前記外観の画像とを、表示部の同じ画面に表示させる表示制御部と、
     前記表示部に対する接触操作を検出する検出部と
     を備え、
     前記表示制御部は、前記外観の画像の向きと大きさを前記接触操作に応じて切り替える
     情報処理端末。
  2.  前記検出部は、前記外観の画像に含まれる、前記撮像機に設けられた操作キーの画像である操作キー画像に対する前記接触操作を検出し、
     前記通信部は、前記接触操作が行われた前記操作キー画像に応じた制御コマンドを前記撮像機に送信する
     請求項1に記載の情報処理端末。
  3.  前記表示制御部は、前記操作キー画像に対する前記接触操作が検出されることに応じて、前記操作キー画像の状態を変化させる
     請求項2に記載の情報処理端末。
  4.  前記操作キーが、操作が行われた後に、操作が行われる前の状態に戻るキーであるか否かを表す情報を管理する管理部と、
     前記操作キー画像を用いた操作の履歴を管理する履歴管理部と
     をさらに備え、
     前記表示制御部は、操作が行われる前の状態に戻らない前記操作キーを表す前記操作キー画像を用いた操作が行われたことが前記履歴に含まれる場合、前記撮像機との通信終了時に、前記撮像機における前記操作キーの状態が、操作後の状態と異なることを通知する情報を表示させる
     請求項2に記載の情報処理端末。
  5.  前記撮像機情報には、前記制御コマンドと、操作が行われる前の状態に戻るキーであるか否かを表す前記情報が含まれる
     請求項4に記載の情報処理端末。
  6.  前記生成部は、前記識別情報に基づいて、前記外観の画像のデータをネットワークを介して接続されるサーバから取得し、前記外観の画像を生成する
     請求項1に記載の情報処理端末。
  7.  前記撮像機情報には、前記撮像機の形状を表す情報と、前記撮像機に設けられた操作キーの配置を表す情報とが含まれ、
     前記生成部は、前記撮像機情報に含まれる情報に基づいて前記外観の画像を生成する
     請求項1に記載の情報処理端末。
  8.  前記通信部は、前記撮像機が撮影している画像に対して前記撮像機の状態を表す情報が重ねられた画像を前記撮像中の画像として受信する
     請求項1に記載の情報処理端末。
  9.  前記表示制御部は、前記画面内に重ならないように形成された領域に前記撮像中の画像と前記外観の画像とをそれぞれ表示させ、前記撮像中の画像の表示領域と前記外観の画像の表示領域の大きさを、前記接触操作に応じて切り替える
     請求項1に記載の情報処理端末。
  10.  前記通信部は、前記撮像機から送信されてくる、動きが検出されたことを表す情報を受信し、
     前記表示制御部は、前記動きが検出されたことを表す情報が受信されることに応じて、前記撮像機において動きが検出されたことを表す情報を表示させる
     請求項1に記載の情報処理端末。
  11.  撮像機と無線通信を行い、前記撮像機の識別情報を含む撮像機情報と、前記撮像機による撮像中の画像とを受信し、
     前記撮像機情報に基づいて、前記撮像機の外観の画像を生成し、
     前記撮像中の画像と前記外観の画像とを、表示部の同じ画面に表示させ、
     前記表示部に対する接触操作を検出し、
     前記外観の画像の向きと大きさを前記接触操作に応じて切り替える
     ステップを含む情報処理方法。
  12.  撮像機と無線通信を行い、前記撮像機の識別情報を含む撮像機情報と、前記撮像機による撮像中の画像とを受信し、
     前記撮像機情報に基づいて、前記撮像機の外観の画像を生成し、
     前記撮像中の画像と前記外観の画像とを、表示部の同じ画面に表示させ、
     前記表示部に対する接触操作を検出し、
     前記外観の画像の向きと大きさを前記接触操作に応じて切り替える
     ステップを含む処理をコンピュータに実行させるプログラム。
  13.  撮像部と、
     撮像中の画像と、撮像機の識別情報を含む撮像機情報に基づいて生成した前撮像機の外観の画像とを表示部の同じ画面に表示させ、前記外観の画像の向きと大きさを前記表示部に対する接触操作に応じて切り替える情報処理端末と無線通信を行い、前記撮像機情報と、前記撮像部により得られた前記撮像中の画像とを送信するとともに、前記外観の画像に含まれる、前記撮像機に配置された操作キーの画像である操作キー画像に対する前記接触操作が検出されることに応じて前記情報処理端末から送信されてくる、前記接触操作が行われた前記操作キー画像に応じた制御コマンドを受信する通信部と、
     前記制御コマンドに応じた処理を行う実行部と
     を備える撮像機。
  14.  前記撮像中の画像を表示する表示部と、
     動作モードを管理する管理部と、
     前記制御コマンドに応じた処理を行う前記動作モードが設定されている間、前記撮像中の画像を表示させないように制御する表示制御部と
     をさらに備える請求項13に記載の撮像機。
  15.  前記撮像機情報には、前記制御コマンド、前記操作キーが、操作が行われた後に、操作が行われる前の状態に戻るキーであるか否かを表す情報、前記撮像機の形状を表す情報、および前記操作キーの配置を表す情報が含まれる
     請求項13に記載の撮像機。
  16.  前記撮像機に生じた動きを検出する動き検出部をさらに備え、
     前記通信部は、前記動きが検出された場合、前記動きが検出されたことを表す情報を前記情報処理端末に送信する
     請求項13に記載の撮像機。
  17.  撮像を行い、
     撮像中の画像と、撮像機の識別情報を含む撮像機情報に基づいて生成した前撮像機の外観の画像とを表示部の同じ画面に表示させ、前記外観の画像の向きと大きさを前記表示部に対する接触操作に応じて切り替える情報処理端末と無線通信を行い、前記撮像機情報と、前記撮像部により得られた前記撮像中の画像とを送信し、
     前記外観の画像に含まれる、前記撮像機に配置された操作キーの画像である操作キー画像に対する前記接触操作が検出されることに応じて前記情報処理端末から送信されてくる、前記接触操作が行われた前記操作キー画像に応じた制御コマンドを受信し、
     前記制御コマンドに応じた処理を行う
     ステップを含む情報処理方法。
  18.  撮像を行い、
     撮像中の画像と、撮像機の識別情報を含む撮像機情報に基づいて生成した前撮像機の外観の画像とを表示部の同じ画面に表示させ、前記外観の画像の向きと大きさを前記表示部に対する接触操作に応じて切り替える情報処理端末と無線通信を行い、前記撮像機情報と、前記撮像部により得られた前記撮像中の画像とを送信し、
     前記外観の画像に含まれる、前記撮像機に配置された操作キーの画像である操作キー画像に対する前記接触操作が検出されることに応じて前記情報処理端末から送信されてくる、前記接触操作が行われた前記操作キー画像に応じた制御コマンドを受信し、
     前記制御コマンドに応じた処理を行う
     ステップを含む処理をコンピュータに実行させるプログラム。
  19.   撮像機と無線通信を行い、前記撮像機の識別情報を含む撮像機情報と、前記撮像機による撮像中の画像とを受信する通信部と、
      前記撮像機情報に基づいて、前記撮像機の外観の画像を生成する生成部と、
      前記撮像中の画像と前記外観の画像とを、表示部の同じ画面に表示させる表示制御部と、
      前記表示部に対する接触操作を検出する検出部と
     を備え、
      前記表示制御部が、前記外観の画像の向きと大きさを前記接触操作に応じて切り替え、
      前記検出部が、前記外観の画像に含まれる、前記撮像機に設けられた操作キーの画像である操作キー画像に対する前記接触操作を検出し、
      前記通信部が、前記接触操作が行われた前記操作キー画像に応じた制御コマンドを前記撮像機に送信する
     情報処理端末と、
      撮像部と、
      前記情報処理端末と無線通信を行い、前記撮像機情報と、前記撮像部により得られた前記撮像中の画像とを送信するとともに、前記情報処理端末から送信されてくる前記制御コマンドを受信する通信部と、
      前記制御コマンドに応じた処理を行う実行部と
     を備える撮像機と
     からなる遠隔撮像システム。
PCT/JP2013/077545 2012-10-22 2013-10-10 情報処理端末、撮像機、情報処理方法、プログラム、および遠隔撮像システム WO2014065127A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/436,038 US9706101B2 (en) 2012-10-22 2013-10-10 Image processing terminal, imaging machine, information processing method, program, and remote imaging system to remotely operate the imaging machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-233112 2012-10-22
JP2012233112 2012-10-22

Publications (1)

Publication Number Publication Date
WO2014065127A1 true WO2014065127A1 (ja) 2014-05-01

Family

ID=50544507

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/077545 WO2014065127A1 (ja) 2012-10-22 2013-10-10 情報処理端末、撮像機、情報処理方法、プログラム、および遠隔撮像システム

Country Status (2)

Country Link
US (1) US9706101B2 (ja)
WO (1) WO2014065127A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015194103A1 (en) * 2014-06-18 2015-12-23 Sony Corporation Information processing apparatus, method, system and computer program
US20160309072A1 (en) * 2014-11-05 2016-10-20 Huizhou Tcl Mobile Communication Co., Ltd. Wearable device, photography device, photography system and associated photographing method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD738401S1 (en) * 2013-10-21 2015-09-08 Apple Inc. Display screen or portion thereof with graphical user interface
JP6231869B2 (ja) * 2013-12-12 2017-11-15 キヤノン株式会社 撮像装置、通信機器およびそれらの制御方法、プログラム
USD780771S1 (en) * 2015-07-27 2017-03-07 Microsoft Corporation Display screen with icon
KR20170112493A (ko) * 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6656070B2 (ja) * 2016-04-25 2020-03-04 キヤノン株式会社 撮像装置およびその制御方法、プログラムならびにシステム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869048A (ja) * 1995-07-17 1996-03-12 Canon Inc カメラのための制御装置
JP2001298653A (ja) * 2000-04-12 2001-10-26 Fuji Photo Film Co Ltd 電子機器操作装置
JP2004274400A (ja) * 2003-03-07 2004-09-30 Sanyo Electric Co Ltd 監視カメラ装置
JP2005301992A (ja) * 2004-03-19 2005-10-27 Ricoh Co Ltd ディスプレイ付き電子装置、情報処理方法、およびその方法をコンピュータに実行させるプログラム
JP2008276126A (ja) * 2007-05-07 2008-11-13 Nikon Corp 投射機能付きカメラ、投射機能付き携帯電話および投射機能付き携帯電子機器
JP2009094591A (ja) * 2007-10-04 2009-04-30 Sony Corp 電子機器、撮像装置、撮像システム、および撮像遠隔操作方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7619657B2 (en) * 2000-10-04 2009-11-17 Fujifilm Corp. Recording apparatus, communications apparatus, recording system, communications system, and methods therefor for setting the recording function of the recording apparatus in a restricted state
JP4005098B2 (ja) * 2003-12-26 2007-11-07 松下電器産業株式会社 撮影装置、製品パッケージおよび半導体集積回路
JP2009094563A (ja) 2007-10-03 2009-04-30 Sony Corp 電子機器、撮像装置、撮像システム、および撮像遠隔操作方法
JP5523027B2 (ja) * 2009-09-02 2014-06-18 キヤノン株式会社 情報送信装置及び情報送信方法
US20110115930A1 (en) * 2009-11-17 2011-05-19 Kulinets Joseph M Image management system and method of selecting at least one of a plurality of cameras
US8878994B2 (en) * 2013-01-31 2014-11-04 Kabushiki Kaisha Toshiba Information processing apparatus, remote operation support method and storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869048A (ja) * 1995-07-17 1996-03-12 Canon Inc カメラのための制御装置
JP2001298653A (ja) * 2000-04-12 2001-10-26 Fuji Photo Film Co Ltd 電子機器操作装置
JP2004274400A (ja) * 2003-03-07 2004-09-30 Sanyo Electric Co Ltd 監視カメラ装置
JP2005301992A (ja) * 2004-03-19 2005-10-27 Ricoh Co Ltd ディスプレイ付き電子装置、情報処理方法、およびその方法をコンピュータに実行させるプログラム
JP2008276126A (ja) * 2007-05-07 2008-11-13 Nikon Corp 投射機能付きカメラ、投射機能付き携帯電話および投射機能付き携帯電子機器
JP2009094591A (ja) * 2007-10-04 2009-04-30 Sony Corp 電子機器、撮像装置、撮像システム、および撮像遠隔操作方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015194103A1 (en) * 2014-06-18 2015-12-23 Sony Corporation Information processing apparatus, method, system and computer program
US10404903B2 (en) 2014-06-18 2019-09-03 Sony Corporation Information processing apparatus, method, system and computer program
US20160309072A1 (en) * 2014-11-05 2016-10-20 Huizhou Tcl Mobile Communication Co., Ltd. Wearable device, photography device, photography system and associated photographing method
US9948847B2 (en) * 2014-11-05 2018-04-17 Huizhou Tcl Mobile Communication Co., Ltd. Wearable device, photography device and associated photographing method

Also Published As

Publication number Publication date
US20150319353A1 (en) 2015-11-05
US9706101B2 (en) 2017-07-11

Similar Documents

Publication Publication Date Title
WO2014065127A1 (ja) 情報処理端末、撮像機、情報処理方法、プログラム、および遠隔撮像システム
US10104278B2 (en) Pan and tilt operation device, camera system with posture sensor, pan and tilt operation program, and pan and tilt operation method
US20190037140A1 (en) Image capturing device having continuous image capture
CN106664356B (zh) 图像拍摄装置、通过使用多个图像拍摄装置执行拍摄的图像拍摄***及其图像拍摄方法
JP6205072B2 (ja) 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム
WO2010000118A1 (zh) 拍照装置及其控制方法
JP6029292B2 (ja) 通信機器、通信方法およびプログラム
US7941137B2 (en) Mobile terminal and method of visual data processing
US11233939B2 (en) Communication apparatus, control method thereof, and recording medium thereof
JP2012123091A (ja) 画像表示装置
JP6012351B2 (ja) 画像処理装置、その制御方法及びプログラム
JP6277584B2 (ja) 電子機器
US20230209177A1 (en) Imaging apparatus
JP2014053702A (ja) デジタルカメラ
JP6362457B2 (ja) 外部装置、通信装置およびそれらの制御方法、システム、並びにプログラム
JP2013219440A (ja) 撮像装置
JP6319081B2 (ja) 端末装置、撮影システム、及び撮影方法
US20220385829A1 (en) Information processing apparatus, control method, and storage medium
JP2021128250A (ja) 表示装置およびその制御方法、プログラム、並びに記憶媒体
CN115250330A (zh) 电子装置及其控制方法和存储介质
JP2023102947A (ja) 情報処理装置、その制御方法およびプログラム
JP2023048009A (ja) 撮像装置、制御方法及びプログラム
JP6221245B2 (ja) 電子機器及び表示方法
US20130162689A1 (en) Display control apparatus and method
JP2013003252A (ja) 表示制御装置、および表示制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13849913

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14436038

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 13849913

Country of ref document: EP

Kind code of ref document: A1