WO2015141185A1 - 撮像制御装置、撮像制御方法および記録媒体 - Google Patents

撮像制御装置、撮像制御方法および記録媒体 Download PDF

Info

Publication number
WO2015141185A1
WO2015141185A1 PCT/JP2015/001315 JP2015001315W WO2015141185A1 WO 2015141185 A1 WO2015141185 A1 WO 2015141185A1 JP 2015001315 W JP2015001315 W JP 2015001315W WO 2015141185 A1 WO2015141185 A1 WO 2015141185A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
imaging unit
imaging
unit
image
Prior art date
Application number
PCT/JP2015/001315
Other languages
English (en)
French (fr)
Inventor
英良 松嶋
岩元　浩太
尚志 野田
幸司 森下
克幸 永井
Original Assignee
日本電気株式会社
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, Ｎｅｃソリューションイノベータ株式会社 filed Critical 日本電気株式会社
Priority to JP2016508516A priority Critical patent/JP6483661B2/ja
Publication of WO2015141185A1 publication Critical patent/WO2015141185A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Definitions

  • the present invention relates to an imaging control technology.
  • AF autofocus
  • contrast light / dark difference
  • phase difference AF contrast AF
  • Contrast AF is known to have a demerit that it takes time to focus in order to adjust the distance between a lens and an imaging device (CCD (Charge-Coupled Device), CMOS (Complementary-Metal-Oxide-Semiconductor), etc.
  • CCD Charge-Coupled Device
  • CMOS Complementary-Metal-Oxide-Semiconductor
  • phase difference AF is known to have a demerit that it is difficult to reduce the size and weight, and the phase difference AF is not currently used in an imaging device mounted on a portable terminal.
  • Patent Document 1 reduces the time required for focus detection by dynamically setting the initial drive speed of the focus lens according to any of the focus lens drive direction, the focal length of the imaging optical system, and the AF scan range.
  • An automatic focus detection apparatus and a control method thereof are proposed.
  • Patent Document 2 proposes a method of generating a three-dimensional content to be superimposed on the real world with an image obtained by actually capturing a real object existing in the real world.
  • Patent Document 1 and Patent Document 2 and an imaging device mounted on an existing portable device have a problem that it takes time to shoot a plurality of images due to slow focusing of contrast AF. .
  • Such a problem is likely to occur when the photographer wants to perform a large number of shootings while moving. Specifically, the following shooting scenes are exemplified.
  • this is a case where the subject is photographed from a plurality of different directions (front, side, back, top, etc.).
  • a photographing method is referred to as multidirectional photographing.
  • shooting is performed while the photographer moves around the subject with the imaging device facing the subject, so the distance between the subject and the imaging device changes as the photographer moves. To do.
  • the photographer wants to photograph a subject from a plurality of directions, the photographer desires to photograph the subject many times from a plurality of directions. As a result, a long time is required for the photographing time due to the slow focusing of the contrast AF in the imaging device of the portable device.
  • Such multi-directional shooting is performed to three-dimensionally analyze the shape of the subject because the entire image of the subject is personally communicated to a third party.
  • such multi-directional imaging is performed to generate three-dimensional content used in augmented reality (AR) technology (hereinafter referred to as “AR”).
  • AR augmented reality
  • the number of shooting directions in multidirectional shooting is arbitrary.
  • An object of the present invention is to provide an imaging control technique that improves the focusing speed of an imaging apparatus.
  • An imaging control apparatus includes an image acquisition unit that acquires a captured image from an imaging unit, a marker detection unit that detects a marker from a captured image acquired by the image acquisition unit, and information about the detected marker Based on the reference calculation means for calculating the shooting positional relationship indicating the positional relationship between the marker and the imaging unit, the calculated shooting positional relationship, and the object position indicating the positional relationship between the marker and the object shown in the shot image Distance calculating means for calculating the actual distance between the imaging unit and the object using the relationship, and parameter determining means for determining a focus parameter for focusing the imaging unit on the object using the calculated actual distance; Setting means for setting the focus parameter in the imaging unit.
  • the second aspect relates to an imaging control method.
  • the imaging control method acquires a captured image from an imaging unit, detects a marker from the acquired captured image, and determines the positional relationship between the marker and the imaging unit based on information about the detected marker. And calculating the actual distance between the imaging unit and the object using the calculated shooting position relationship and the object position relationship indicating the positional relationship between the marker and the object shown in the shot image. Using the actual distance thus determined, determining a focus parameter for focusing the imaging unit on the object, and setting the focus parameter in the imaging unit.
  • Another aspect of the present invention may be a program that causes a computer having an imaging unit to execute the method of the second aspect, or a computer-readable recording medium that records such a program. There may be.
  • This recording medium includes a non-transitory tangible medium.
  • the imaging control device according to the present invention corresponds to all or part of the imaging device exemplified below.
  • FIG. 1 is a diagram conceptually illustrating a hardware configuration of the imaging apparatus according to the first embodiment.
  • the imaging device 10 includes a CPU (Central Processing Unit) 1, a memory 2, a communication unit 4, a display unit 5, an input unit 6, an imaging unit 7, and the like.
  • the CPU 1 is connected to other units via a communication line such as a bus.
  • the memory 2 is a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, or the like.
  • the communication unit 4 transmits and receives signals to and from other devices and devices.
  • a portable recording medium or the like can be connected to the communication unit 4.
  • the display unit 5 displays a screen corresponding to drawing data processed by the CPU 1 or a GPU (Graphics Processing Unit) (not shown) such as an LCD (Liquid Crystal Display) or CRT (Cathode Ray Tube) display.
  • a GPU Graphics Processing Unit
  • the input unit 6 is a unit that receives an input of a user operation, and is realized as a hardware button unit, a touch sensor, or the like, for example.
  • the display unit 5 and the input unit 6 are integrated, for example, and can be realized as a touch panel.
  • the imaging unit 7 is a camera formed from a lens, an imaging element, and the like, acquires an image frame of real-time video, and captures a still image and a moving image according to an instruction.
  • the imaging device 10 includes an imaging unit 7, displays an image acquired by the imaging unit 7 on the display unit 5, captures a still image and a moving image according to a user operation received by the input unit 6, and captures the captured image. Holds information representing moving images.
  • the imaging device 10 uses focus parameters set by processing of each processing unit described later when capturing a still image and a moving image.
  • the imaging device 10 is a device having an imaging function such as a digital camera, a mobile phone, a smart device, and the like, and its specific product form is not limited, and its hardware configuration is not limited.
  • FIG. 2 is a diagram conceptually illustrating a processing configuration example of the imaging device 10 in the first embodiment.
  • the imaging device 10 includes an image acquisition unit 11, a marker detection unit 12, a reference calculation unit 13, a distance calculation unit 14, a parameter determination unit 15, a setting unit 16, and the like.
  • Each of these processing units is realized, for example, as a program stored in the memory 2 and executed by the CPU 1.
  • the program may be installed from a portable recording medium such as a CD (Compact Disc) or a memory card or another computer existing in the network via the communication unit 4 and stored in the memory 2. .
  • CD Compact Disc
  • the image acquisition unit 11 sequentially acquires real-time captured images from the imaging unit 7. For example, the image acquisition unit 11 acquires an image frame of a real-time video from the imaging unit 7 as the real-time captured image at a predetermined period.
  • the marker detection unit 12 detects a marker from the real-time captured image acquired by the image acquisition unit 11.
  • the marker is an image or an object arranged in the real world and is called an AR marker or the like.
  • the specific example of this marker can be obtained.
  • the form is not limited.
  • the marker detection unit 12 holds in advance marker shape information, color information, and the like, and detects the marker from the background image based on the held information. A known image recognition method may be used for this marker detection.
  • the reference calculation unit 13 calculates a photographing positional relationship indicating the positional relationship between the marker and the imaging unit 7 based on the actual information and the image information regarding the marker detected by the marker detection unit 12.
  • the actual information regarding the marker means information in the real world of the marker, and indicates, for example, the actual shape and size of the marker.
  • the image information related to the marker means information in the real-time captured image of the marker, and indicates the shape, size, etc. of the marker in the real-time captured image.
  • Real information about the marker is held in advance by the reference calculation unit 13.
  • Image information regarding the marker is acquired from the real-time captured image by the reference calculation unit 13.
  • the reference calculation unit 13 can calculate the photographing positional relationship indicating the positional relationship between the marker and the imaging unit 7 by comparing the actual information and the image information regarding the marker. For example, the reference calculation unit 13 can calculate the relative virtual position of the imaging unit 7 with respect to the marker and the actual distance between the marker and the imaging unit 7 as the shooting position relationship.
  • the method for calculating the photographing position relationship by the reference calculation unit 13 is not particularly limited as long as the actual information and the image information regarding the marker are used.
  • the reference calculation unit 13 can set the reference position corresponding to the marker position as follows when calculating the photographing position relationship.
  • the reference position is set at an arbitrary point in the marker.
  • a certain point derived from the plurality of partial shapes may be set as the reference position.
  • the distance calculation unit 14 uses the imaging positional relationship calculated by the reference calculation unit 13 and the object positional relationship indicating the positional relationship between the marker and the object captured in the real-time captured image, and the reality between the imaging unit 7 and the object. Calculate the distance.
  • the object that appears in the real-time photographed image together with the marker is an object that the photographer wants to photograph and is an individual that is placed at a position close to the marker in the real world.
  • the object positional relationship may indicate a relative virtual position of the object with respect to the marker, or may indicate a positional relationship in the real world between the marker and the object.
  • the object position relationship may be stored in advance by the distance calculation unit 14, or may be calculated by the distance calculation unit 14 using other information. There may be a plurality of methods for calculating the actual distance by the distance calculation unit 14. An example of this calculation method will be described in an embodiment described later. The method for calculating the actual distance is not particularly limited.
  • the distance calculation unit 14 can set a reference position corresponding to the position of the object as follows when calculating the actual distance between the imaging unit 7 and the object.
  • the reference position is the center of gravity point, the highest point, the lowest point, the point closest to the marker, the point farthest from the marker, the point closest to the imaging unit 7, the point farthest from the imaging unit 7, etc. , It is set at an arbitrary position in the object.
  • the parameter determination unit 15 uses the actual distance calculated by the distance calculation unit 14 to determine a focus parameter for focusing the object on the imaging unit. Specifically, the parameter determination unit 15 determines the focus position as the focus parameter. However, the parameter determination unit 15 can also determine an aperture value and the like for adjusting the depth of field in addition to the focus position as the focus parameter.
  • the focus position can be represented by, for example, the distance between the lens and the image sensor, the focal length, and the like according to the configuration for focusing in the imaging unit 7. A known method can be used as the parameter determination method by the parameter determination unit 15.
  • the setting unit 16 sets the focus parameter determined by the parameter determination unit 15 in the imaging unit 7.
  • the imaging control method in the first embodiment includes a plurality of steps shown in steps S31 to S36 as shown in FIG.
  • FIG. 3 is a flowchart showing an operation example of the imaging apparatus 10 in the first embodiment.
  • the execution subject of each step is described as the imaging device 10, but each step is executed by the CPU 1 that is a part of the imaging device 10. Further, since each process is the same as the processing content of each processing unit described above included in the imaging apparatus 10, details of each process are omitted as appropriate.
  • the image acquisition unit 11 of the imaging device 10 sequentially acquires real-time captured images from the imaging unit 7 (step S31). For example, the image acquisition unit 11 sequentially acquires real-time captured images at a predetermined cycle.
  • the marker detection unit 12 of the imaging device 10 detects a marker from the real-time captured image acquired in step S31 (step S32).
  • Step S32 may be executed every time a real-time captured image is acquired, or may be executed in a predetermined cycle asynchronously with the acquisition timing of the real-time captured image.
  • the imaging device 10 tries to detect the marker, and does not execute step S33 and subsequent steps when the marker cannot be detected in the real-time captured image.
  • the reference calculation unit 13 of the imaging device 10 calculates a shooting positional relationship indicating the positional relationship between the marker and the imaging unit 7 based on the actual information and the image information regarding the marker detected in step S32 (step S33).
  • the distance calculation unit 14 of the imaging apparatus 10 uses the imaging positional relationship calculated in step S33 and the object positional relationship indicating the positional relationship between the marker and the object captured in the real-time captured image, and the imaging unit 7 and the object. Is calculated (step S34).
  • the parameter determination unit 15 of the imaging apparatus 10 determines a focus parameter for focusing the object on the imaging unit 7 using the actual distance calculated in step S34 (step S35).
  • the setting unit 16 of the imaging device 10 sets the focus parameter determined in step S35 in the imaging unit 7 (step S36).
  • the imaging device 10 instructs the imaging unit 7 with the focus parameter set in this way to capture a still image or a moving image.
  • a real-time captured image in which a marker and an object are captured is sequentially acquired, a marker is detected from the real-time captured image, and an image is captured based on the positional relationship between the detected marker and the imaging unit 7. The actual distance between the part 7 and the object is calculated. Then, a focus parameter determined from the actual distance between the imaging unit 7 and the object is set in the imaging unit 7.
  • the focus parameter is determined and set in the imaging unit 7 based on the marker appearing in the real-time captured image, the focus is adjusted more quickly than the existing contrast AF. It can be performed. This is because, while the existing contrast AF moves the lens, the lens position where the contrast of the image becomes the highest is found by trial and error, whereas in the first embodiment, the imaging unit 7 obtained from the marker information and the subject This is because an appropriate focus parameter can be immediately determined from the actual distance.
  • the imaging apparatus 10 can be reduced in size and price. Can be realized.
  • the imaging device and the imaging control method in the second embodiment will be described focusing on the contents different from those of the first embodiment described above, and the same contents will be appropriately omitted.
  • the second embodiment is a particularly effective form for the above-described multidirectional shooting.
  • FIG. 4 is a diagram conceptually illustrating a processing configuration example of the imaging device 10a in the second embodiment.
  • the imaging device 10 a according to the second embodiment further includes an image storage unit 17, a direction calculation unit 18, and a capture instruction unit 19 in addition to the configuration of the first embodiment.
  • the processing units 17, 18 and 19 are also realized by the CPU 1 executing the program in the hardware of the image apparatus 10 illustrated in FIG.
  • the image storage unit 17 is realized in a portable recording medium connected to the memory 2 or the communication unit 4.
  • the direction calculation unit 18 calculates the shooting direction of the imaging unit 7 with respect to the object using the shooting position relationship calculated by the reference calculation unit 13 and the object position relationship.
  • the object positional relationship may be stored in advance by the direction calculation unit 18 or may be calculated by the direction calculation unit 18 using other information.
  • the direction calculation unit 18 can calculate the positional relationship between the object and the imaging unit 7 based on the shooting positional relationship and the object positional relationship, and can calculate the shooting direction using this positional relationship.
  • the method for calculating the shooting direction is not limited.
  • the image storage unit 17 stores the still image captured by the imaging unit 7 in association with the direction information corresponding to the shooting direction of the imaging unit 7 calculated by the direction calculation unit 18 when capturing the still image.
  • the shooting direction of the imaging unit 7 calculated by the direction calculation unit 18 may be used as it is, or direction information obtained from the shooting direction may be used.
  • the direction information may be information indicating any one of the front side, the right side, the left side, the rear, and the upper side.
  • FIG. 5 is a diagram illustrating an example of a correspondence relationship between a still image and direction information.
  • the direction information is represented by being arranged in a two-axis coordinate space of a horizontal direction and a vertical direction.
  • the horizontal direction in the direction information corresponds to one axial direction that forms a plane on which the object is placed.
  • the vertical direction corresponds to one axial direction perpendicular to the plane.
  • the direction information associated with the still image includes the vertical direction line Lv and the horizontal direction line on the spherical surface of the hemisphere obtained by cutting a sphere centered on the reference point of the object along the reference plane on which the object is placed. It is shown as information for identifying the region R surrounded by Lh.
  • the vertical direction line Lv is an intersection line of the spherical surface of the hemisphere and a plurality of planes provided at a predetermined angle interval perpendicular to the reference plane and passing through the center point
  • the horizontal direction line Lh is the reference line of the hemisphere and the reference plane.
  • intersection lines with a plurality of planes provided at predetermined intervals in a direction parallel to the plane and perpendicular to the reference plane.
  • the predetermined angular interval for determining the vertical line Lv and the predetermined interval for determining the horizontal line Lh can be arbitrarily determined.
  • the image acquisition unit 11 acquires the still image captured by the imaging unit 7 and stores the still image in the image storage unit 17 in association with the direction information corresponding to the shooting direction of the imaging unit 7 calculated at the time of capture. To do.
  • the image acquisition unit 11 can directly use the shooting direction calculated by the direction calculation unit 18 as direction information, or can generate direction information based on the shooting direction. For example, when the direction information indicates any one of front, right side, left side, rear, and top, the image acquisition unit 11 determines that the shooting direction calculated by the direction calculation unit 18 is the front, right side, or left side. , It is determined which one belongs to the rear and the upper, and direction information indicating any one direction is generated.
  • the direction information is the identification information of the region R as described above
  • the image acquisition unit 11 identifies the region R to which the shooting direction belongs, and identifies the identification information of the identified region R as the direction information. And
  • the capture instruction unit 19 determines whether to instruct capture of a still image according to the shooting direction of the imaging unit 7 calculated by the direction calculation unit 18, and based on the determination result, the capture instruction unit 19 Instruct to capture image. In other words, the capture instruction unit 19 instructs capture so that a still image from a shooting direction that is not yet stored in the image storage unit 17 is obtained, and the shooting direction calculated by the direction calculation unit 18 is already stationary. When the shooting direction in which the image is stored is used, capture is not instructed. For example, the capture instruction unit 19 is based on the relationship between the shooting direction of the imaging unit 7 newly calculated by the direction calculation unit 18 and the direction information associated with the still image already stored in the image storage unit 17. It is possible to determine whether or not to instruct capture.
  • the imaging unit 7 receives an instruction from the capture instruction unit 19 and captures a still image using the focus parameter set at that time.
  • the imaging control method in the second embodiment includes a plurality of steps shown in steps S51 to S58 as shown in FIG.
  • the imaging control method in the second embodiment is executed synchronously or asynchronously with the imaging control method in the first embodiment shown in FIG.
  • FIG. 6 is a flowchart showing an operation example of the imaging apparatus 10 in the second embodiment.
  • the execution subject of each step is described as the imaging device 10, but each step is executed by the CPU 1 that is a part of the imaging device 10.
  • each process is the same as the processing content of each processing unit described above that the imaging apparatus 10 has, details of each process are omitted as appropriate.
  • the imaging device 10a calculates the imaging direction of the imaging unit 7 with respect to the object using the imaging positional relationship calculated in step S33 shown in FIG. 3 and the object positional relationship indicating the positional relationship between the marker and the object ( Step S51).
  • step S52 When there is no still image stored in the image storage unit 17 (step S52; NO), the imaging device 10a executes step S56.
  • the imaging device 10 stores the shooting direction of the imaging unit 7 calculated in step S51 and the image storage unit 17. It is determined whether or not to instruct capture based on the relationship between the still image and the direction information associated with the still image (step S53). In other words, in step S53, the imaging apparatus 10a determines whether or not the still image from the shooting direction calculated in step S51 is already stored in the image storage unit 17.
  • the imaging apparatus 10a when determining whether or not to instruct capture, the imaging apparatus 10a newly acquires an already stored image, not whether or not a still image stored in the image storage unit 17 exists.
  • the captured images may be compared, and if it is determined that the state is better, a capture instruction may be issued to overwrite.
  • step S55 determines not to instruct capture (step S55; NO)
  • the imaging apparatus 10a ends the process without instructing capture. This is because the still image from the shooting direction calculated in step S51 is already stored in the image storage unit 17.
  • the imaging device 10a determines to instruct capture (step S55; YES)
  • the imaging device 10a instructs the imaging unit 7 to capture a still image (step S56). This is because the still image from the shooting direction calculated in step S51 is not yet stored in the image storage unit 17.
  • the imaging unit 7 captures a still image captured using the focus parameter set in step S36 illustrated in FIG.
  • the imaging device 10a acquires the captured still image from the imaging unit 7 (step S57).
  • the imaging device 10a stores the still image acquired in step S57 in the image storage unit 17 in association with the shooting direction of the imaging unit 7 calculated in step S51 (step S58).
  • Step S51 may be executed every time the photographing positional relationship is calculated in Step S33, or may be executed asynchronously with the flow shown in FIG.
  • the imaging apparatus 10a detects that a predetermined user operation (a pressing operation of a button made of hardware or software, a touch operation, a gesture operation, a voice operation, or the like) is detected by the input unit 6.
  • step S51 can be executed.
  • step S51 may be executed after step S33 in the flow shown in FIG. 3, and may be deleted from the flow shown in FIG. In this case, the imaging control method in the second embodiment is executed from step S52.
  • the shooting direction of the imaging unit 7 with respect to the object shown in the real-time shot image is calculated, and the relationship between the direction information associated with the still image stored in the image storage unit 17 and the calculated shooting direction. Based on this, it is determined whether or not an instruction to capture a still image is given.
  • still images can be captured when still images from the current shooting direction have not yet been stored.
  • duplicate still images from the same direction are acquired.
  • the image stored in advance is compared with the newly acquired image, and if it is determined to be in a better state, it can be captured by overwriting, and as a result, a still image with better quality can be obtained. . Therefore, according to the second embodiment, the user can efficiently perform multidirectional shooting.
  • FIG. 7 is a diagram conceptually illustrating a processing configuration example of the imaging device 10b in the first modification.
  • the imaging apparatus 10 b in the first embodiment described above captures a capture image 19 that instructs the imaging unit 7 to capture a still image or a moving image using the focus parameter set by the setting unit 16.
  • the capture instruction unit 19 may instruct the imaging unit 7 to capture immediately after the setting unit 16 sets the focus parameter in the imaging unit 7.
  • the processing unit in which the setting unit 16 and the capture instruction unit 19 are unified designates the focus parameter determined by the parameter determination unit 15 and instructs the imaging unit 7 to capture a still image or a moving image. May be.
  • the capture instruction unit 19 holds a predetermined direction to be photographed in advance, and determines an instruction to capture a still image when the photographing direction calculated by the direction calculation unit 18 becomes the predetermined direction.
  • the imaging device 10b may not include the image storage unit 17.
  • FIG. 8 is a diagram conceptually illustrating a processing configuration example of the imaging device 10c in the third modification.
  • the imaging device 10c in each of the above embodiments may further include a stop instruction unit 21 that instructs the imaging unit 7 to stop autofocus.
  • FIG. 8 illustrates an example in which the imaging device 10c according to the first embodiment includes a stop instruction unit 21.
  • the stop instruction unit 21 is realized in the same manner as other processing units.
  • the imaging units 7 have an autofocus function, and in most cases, the imaging unit 7 is set so that the autofocus operates. Therefore, the stop instructing unit 21 instructs the image capturing unit 7 to stop the autofocus, and the image capturing unit 7 uses a focus parameter separately set as described in each of the above-described embodiments, so that the image capturing unit 7 Image. Thereby, it is possible to prevent the set focus parameter from being changed by the autofocus function.
  • the marker detection unit 12 may execute the processing after waiting for autofocus to stop.
  • the imaging control method in each of the above-described embodiments may be executed after autofocus is stopped.
  • FIG. 9 is a diagram conceptually illustrating a processing configuration example of the imaging device 10d in the embodiment.
  • the imaging device 10 d in the embodiment further includes an information acquisition unit 31.
  • the information acquisition unit 31 is realized in the same manner as other processing units.
  • FIG. 9 shows an example in which this example is applied to the above-described first embodiment, but this example can be applied to any of the above-described embodiments and modifications.
  • the information acquisition unit 31 acquires information indicating the actual positional relationship between the marker and the object. This information may be obtained by the user's input operation on the input screen displayed on the display unit 5 being detected by the input unit 6 or may be stored in advance in the memory 2 and acquired from the memory 2. However, it may be acquired from the portable recording medium, another computer, or the like via the communication unit 4.
  • This real positional relationship means the positional relationship between the marker and the object in the real world.
  • the actual positional relationship is shown as two-dimensional information indicating the actual positional relationship between the marker and the object on the same plane where the marker and the object are placed. Further, this actual positional relationship can be further indicated as three-dimensional information that takes into account the actual height of the object.
  • FIG. 10 and FIG. 11 are diagrams showing examples of the actual position relationship between the AR marker 8 (hereinafter also referred to as a marker) and the object 9.
  • the AR marker 8 hereinafter also referred to as a marker
  • FIG. 10 from the center point of the upper side S P output AR marker 8, a predetermined distance L R extending in a direction perpendicular to the upper side S P, the reference point P B of the object 9 is located (deployed) so
  • the object 9 is placed, and the information acquisition unit 31 acquires information indicating the actual position relationship between the marker 8 and the object 9 as actual position information.
  • FIG. 11 is a view of the object 9 as viewed from above. In the example of FIG.
  • the marker 8 is formed from six square partial marks M1 to M6, and the object 9 has a line L R that connects the center point S M1 of the mark M1 and the center point S M2 of the mark M2. the center point, the center S C of the object 9 to be positioned, placed.
  • the reference calculation unit 13 sets a three-dimensional virtual space based on real information and image information regarding the marker 8 detected by the marker detection unit 12, and the virtual positions of the marker 8 and the imaging unit 7 in the three-dimensional virtual space. And the actual distance between the marker 8 and the imaging unit 7 is calculated.
  • the reference calculation unit 13 sets the three-dimensional virtual space at a position corresponding to the reference point recognized from the detected marker 8. Based on information on the shape and size of the real world regarding the marker 8 (actual information) and information on the shape and size of the marker 8 in the real-time captured image, the reference point and the reference point are orthogonal to each other. The three directions to be obtained can be obtained constantly.
  • the three-dimensional virtual space is set, and the virtual position of the marker 8 in the three-dimensional virtual space can be determined.
  • the setting position of the three-dimensional virtual space with respect to the reference point recognized from the marker 8 is not particularly limited.
  • the virtual position of the imaging unit 7 in the three-dimensional virtual space and the actual distance between the imaging unit 7 and the marker 8 can be calculated from the information.
  • the distance calculation unit 14 is based on the real position relationship between the marker 8 and the object 9 indicated by the information acquired by the information acquisition unit 31 and the virtual position of the marker 8 determined by the reference calculation unit 13. The virtual position of the object 9 in the original virtual space is calculated.
  • the distance calculation unit 14 calculates the position of a certain point on the plane on which the object 9 is placed as the virtual position of the object 9 To do.
  • the distance calculation unit 14 calculates a three-dimensional position taking into account the height direction of the object 9 as a virtual position of the object 9.
  • the distance calculation unit 14 calculates a virtual position in the height direction using the actual height of the object 9, and as a result, The three-dimensional position of the object 9 can be determined. The highest point of the object 9 may be calculated as the virtual position of the object 9.
  • the distance calculation unit 14 uses the actual distance between the marker 8 and the imaging unit 7 calculated by the reference calculation unit 13, the virtual position of the imaging unit 7, and the calculated virtual position of the object 9 to The actual distance from the object 9 is calculated.
  • the calculation of the actual distance between the imaging unit 7 and the object can be calculated by other methods.
  • the actual distance between the imaging unit 7 and the object may be calculated by further using the shooting direction of the imaging unit 7 with respect to the object calculated by the direction calculation unit 18.
  • the distance calculation unit 14 can also recognize at least a part of the object from the real-time captured image and calculate the virtual position of the object in the three-dimensional virtual space based on the recognized location.
  • Recognition of at least a part of an object from a real-time captured image can be performed by a general image recognition technique using at least one of a predetermined color and a predetermined shape of the object.
  • the imaging device 10 may not have the information acquisition unit 31, and information indicating the actual positional relationship between the marker and the object may not be used.
  • the imaging device 10 can also display the real-time captured image acquired from the imaging unit 7 on the display unit 5 as shown in FIG.
  • FIG. 12 is a diagram illustrating a display example of a real-time captured image.
  • the display unit 5 displays a real-time captured image in which the object 9 and the AR marker 8 are captured, and an indicator I indicating a multi-directional shooting state is superimposed on a part of the captured image.
  • the imaging apparatus 10 determines the shooting direction DR that has been shot and the shooting direction DN that has not been shot from the direction information associated with the still image stored in the image storage unit 17, and is calculated by the direction calculation unit 18.
  • the current shooting direction DW of the imaging unit 7 to be acquired is acquired. As illustrated in FIG.
  • the imaging apparatus 10 generates indicator screen elements that can distinguish these various shooting directions DR, DN, and DW. According to this indicator, the photographer can easily grasp the photographing situation of the multidirectional photographing, and this display enables the photographer to efficiently perform the multidirectional photographing.
  • Image acquisition means for sequentially acquiring real-time captured images from the imaging unit; Marker detection means for detecting a marker from a real-time captured image acquired by the image acquisition means; Reference calculation means for calculating a photographing positional relationship indicating a positional relationship between the marker and the imaging unit based on the actual information and the image information regarding the detected marker; Distance calculating means for calculating an actual distance between the imaging unit and the object by using the calculated imaging position relationship and an object positional relationship indicating a positional relationship between the marker and the object captured in the real-time captured image; , Parameter determining means for determining a focus parameter for focusing the imaging unit on the object using the calculated actual distance; Setting means for setting the focus parameter in the imaging unit; An imaging control apparatus comprising: (Additional remark 2) The direction calculation means which calculates the imaging
  • Capture instruction means The imaging control apparatus according to appendix 1, further comprising: (Supplementary Note 3)
  • the image acquisition unit stores the still image captured by the imaging unit in an image storage unit in association with direction information corresponding to the shooting direction of the imaging unit that was calculated at the time of capture,
  • the capture instruction unit instructs the capture from a relationship between a shooting direction of the imaging unit calculated by the direction calculation unit and the direction information associated with the still image stored in the image storage unit. Whether or not The imaging control device according to attachment 2.
  • (Supplementary Note 4) Capture instruction means for instructing the imaging unit to capture a still image or a moving image using the focus parameter set by the setting means,
  • the imaging control apparatus according to any one of appendices 1 to 3, further comprising: (Supplementary Note 5) Stop instruction means for instructing the imaging unit to stop autofocus,
  • the imaging control device according to any one of appendices 1 to 4, further comprising: (Supplementary Note 6)
  • Information acquisition means for acquiring information indicating the actual positional relationship between the marker and the object; Further comprising The reference calculating unit sets a three-dimensional virtual space based on the real information and image information related to the marker, the marker and the virtual position of the imaging unit in the three-dimensional virtual space, and the marker and the imaging unit And calculate the actual distance from The distance calculating means calculates a virtual position of the object in the three-dimensional virtual space based on a real positional relationship between the marker and the object and a virtual position of the marker, and the marker, the imaging unit,
  • the imaging control device according to any one of appendices 1 to 5.
  • the imaging control device according to any one of appendices 1 to 6.
  • Real-time captured images are sequentially acquired from the imaging unit, A marker is detected from the acquired real-time captured image, Based on the actual information and image information regarding the detected marker, calculate a shooting positional relationship indicating the positional relationship between the marker and the imaging unit, Using the calculated positional relationship of the image and the object positional relationship indicating the positional relationship between the marker and the object captured in the real-time captured image, the actual distance between the imaging unit and the object is calculated, Using the calculated actual distance, determine a focus parameter for focusing the imaging unit on the object, Setting the focus parameter in the imaging unit; An imaging control method.
  • the imaging control method according to appendix 8, further including: (Supplementary Note 10)
  • the still image captured by the imaging unit is stored in the image storage unit in association with the direction information corresponding to the shooting direction of the imaging unit calculated at the time of capture. Further including The determination is based on a relationship between the calculated shooting direction of the imaging unit and the direction information associated with the still image stored in the image storage unit, and determines whether to instruct the capture.
  • the imaging control method according to appendix 9. (Supplementary Note 11) Instructing the imaging unit to capture a still image or a moving image using the set focus parameter.
  • the imaging control method according to any one of appendices 8 to 10 further including: (Supplementary Note 12) Instructing the imaging unit to stop autofocus,
  • the calculation of the shooting position relationship is to calculate the virtual position of the marker and the imaging unit in the three-dimensional virtual space, and the actual distance between the marker and the imaging unit,
  • the calculation of the actual distance between the imaging unit and the object is as follows: Calculating a virtual position of the object in the three-dimensional virtual space based on a real position relationship between the marker and the object, and a virtual position of the marker; Using the actual distance between the marker and the imaging unit, the virtual position of the imaging unit, and the virtual position of the object, the actual distance between the imaging unit and the object is calculated.
  • the imaging control method according to any one of appendices 8 to 12.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　撮像装置のピント合わせ速度を向上させる撮像制御技術を提供する。　撮像制御装置は、撮像部からリアルタイム撮影画像を逐次取得する画像取得手段と、この画像取得手段により取得されるリアルタイム撮影画像からマーカを検出するマーカ検出手段と、検出されたマーカに関する現実情報及び画像情報に基づいて、そのマーカと撮像部との位置関係を示す撮影位置関係を算出する基準算出手段と、算出された撮影位置関係、及び、マーカとリアルタイム撮影画像に写るオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、撮像部とオブジェクトとの現実距離を算出する距離算出手段と、算出された現実距離を用いて、オブジェクトに撮像部のピントを合わせるためのフォーカスパラメータを決定するパラメータ決定手段と、このフォーカスパラメータを撮像部に設定する設定手段と、を有する。

Description

撮像制御装置、撮像制御方法および記録媒体
　本発明は、撮像制御技術に関する。
　現在流通している撮像装置のほとんどにオートフォーカス（以下、「ＡＦ」と記載）機能が搭載されている。自動でピントを合わせる仕組みであるＡＦには、コントラスト（明暗差）ＡＦ、位相差ＡＦ等の手法が存在する。コントラストＡＦは、レンズと撮像素子（ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等）との間の距離を調節するために、ピント合わせに時間がかかるというデメリットが知られている。一方で、位相差ＡＦについては、小型化及び軽量化が困難というデメリットが知られており、携帯端末に搭載される撮像装置には採用されていないのが現状である。
　特許文献１は、フォーカスレンズの初期駆動速度をフォーカスレンズの駆動方向、結像光学系の焦点距離、ＡＦスキャン範囲のいずれかに応じて動的に設定することで、焦点検出に要する時間を短縮することが可能な自動焦点検出装置およびその制御方法を提案する。特許文献２は、現実世界に重畳させる三次元コンテンツを現実世界に存在する現実オブジェクトを実写した画像で生成する手法を提案する。
特開２０１４－３８２９１号公報 国際公開第２０１１／１４８５９５号
　しかしながら、特許文献１および特許文献２に記載の方法や、既存の携帯機器に搭載される撮像装置では、コントラストＡＦのピント合わせの遅さにより、複数枚撮影する場合に時間を要するという問題がある。このような問題は、撮影者が動きながら多数の撮影を行いたい場合に生じ易い。具体的には、次のような撮影場面が例示される。
　例えば、異なる複数の方向（前方、側方、後方、上方等）から被写体を撮影する場合である。以降、このような撮影方法を多方位撮影と表記する。多方位撮影では、被写体に撮像装置を向けた状態で撮影者が被写体の周りを移動しながら、撮影が行われるので、被写体と撮像装置との間の距離が、撮影者の移動に伴い、変化する。一方で、複数方向から被写体を撮影したいので、撮影者は、複数方向から当該被写体を多数回に亘って撮影することを望む。結果、携帯機器の撮像装置におけるコントラストＡＦのピント合わせの遅さにより、撮影時間に多くの時間を要する。このような多方位撮影は、被写体の全体像を個人的に第三者に伝えるので、被写体の形状を三次元解析するため等に、行われる。また、特許文献２で提案されるように、拡張現実（Augmented Reality；ＡＲ　以下、本願では「ＡＲ」と略記）技術で用いる三次元コンテンツを生成するために、このような多方位撮影が行われる場合がある。但し、多方位撮影における撮影方向の数は任意である。
　本発明は、このような事情に鑑みてなされた。本発明は、撮像装置のピント合わせ速度を向上させる撮像制御技術を提供することを主たる目的とする。
　本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
　第１の側面は、撮像制御装置に関する。第１の側面に係る撮像制御装置は、撮像部から撮影画像を取得する画像取得手段と、この画像取得手段により取得される撮影画像からマーカを検出するマーカ検出手段と、検出されたマーカに関する情報に基づいて、そのマーカと撮像部との位置関係を示す撮影位置関係を算出する基準算出手段と、算出された撮影位置関係、及び、マーカと撮影画像に写るオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、撮像部とオブジェクトとの現実距離を算出する距離算出手段と、算出された現実距離を用いて、オブジェクトに撮像部のピントを合わせるためのフォーカスパラメータを決定するパラメータ決定手段と、このフォーカスパラメータを撮像部に設定する設定手段と、を有する。
　第２の側面は、撮像制御方法に関する。第２の側面に係る撮像制御方法は、撮像部から撮影画像を取得し、取得された撮影画像からマーカを検出し、検出されたマーカに関する情報に基づいて、マーカと撮像部との位置関係を示す撮影位置関係を算出し、算出された撮影位置関係、及び、マーカと撮影画像に写るオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、撮像部とオブジェクトとの現実距離を算出し、算出された現実距離を用いて、オブジェクトに撮像部のピントを合わせるためのフォーカスパラメータを決定し、フォーカスパラメータを撮像部に設定する、ことを含む。
　なお、本発明の他の側面としては、上記第２の側面の方法を撮像部を有するコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
　上記各側面によれば、撮像装置のピント合わせ速度を向上させる撮像制御技術を提供することができる。
本発明の第一実施形態における撮像装置のハードウェア構成を概念的に示す図である。 本発明の第一実施形態における撮像装置の処理構成例を概念的に示す図である。 本発明の第一実施形態における撮像装置の動作例を示すフローチャートである。 本発明の第二実施形態における撮像装置の処理構成例を概念的に示す図である。 静止画像と方向情報との対応関係の例を示す図である。 本発明の第二実施形態における撮像装置の動作例を示すフローチャートである。 本発明の第一実施形態における第一変形例における撮像装置の処理構成例を概念的に示す図である。 第三変形例における撮像装置の処理構成例を概念的に示す図である。 本発明の実施例における撮像装置の処理構成例を概念的に示す図である。 マーカとオブジェクトとの現実位置関係の例を示す図である。 マーカとオブジェクトとの現実位置関係の例を示す図である。 リアルタイム撮影画像の表示例を示す図である。
　以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態は例示であり、本発明は以下の各実施形態の構成に限定されない。本発明における撮像制御装置は、以下に例示される撮像装置の全部又は一部に相当する。
［第一実施形態］
　〔ハードウェア構成〕
　図１は、第一実施形態における撮像装置のハードウェア構成を概念的に示す図である。
　図１に示されるように、撮像装置１０は、ＣＰＵ（Central Processing Unit）１、メモリ２、通信部４、表示部５、入力部６、撮像部７等を有する。ＣＰＵ１は、他の各部とバス等の通信線により接続される。メモリ２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等である。通信部４は、他の装置や機器と信号の送受信を行う。通信部４には、可搬型記録媒体等も接続され得る。
　表示部５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１やＧＰＵ（Graphics Processing Unit）（図示せず）等により処理された描画データに対応する画面を表示するユニットである。入力部６は、ユーザ操作の入力を受け付けるユニットであり、例えば、ハードウェアボタンユニット、タッチセンサ等として実現される。表示部５及び入力部６は例えば一体化され、タッチパネルとして実現されることもできる。撮像部７は、レンズ、撮像素子等から形成されるカメラであり、リアルタイム映像の画像フレームを取得し、指示により静止画像及び動画像を撮像する。
　撮像装置１０は、撮像部７を有し、撮像部７により取得される画像を表示部５に表示させ、入力部６により受け付けられるユーザ操作に応じて静止画像及び動画像をキャプチャし、キャプチャした動画像を表す情報を保持する。撮像装置１０は、静止画像及び動画像のキャプチャにあたり、後述する各処理部の処理により設定されるフォーカスパラメータを用いる。撮像装置１０は、デジタルカメラ、携帯電話、スマートデバイス等のような撮像機能を有する装置であり、その具体的な製品形態は制限されず、そのハードウェア構成も制限されない。
　〔処理構成〕
　図２は、第一実施形態における撮像装置１０の処理構成例を概念的に示す図である。図２に示されるように、撮像装置１０は、画像取得部１１、マーカ検出部１２、基準算出部１３、距離算出部１４、パラメータ決定部１５、設定部１６等を有する。これら各処理部は、例えば、プログラムとしてメモリ２に格納され、ＣＰＵ１によりこれらのプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワークに存在する他のコンピュータから通信部４を介してインストールされ、メモリ２に格納されてもよい。
　画像取得部１１は、撮像部７からリアルタイム撮影画像を逐次取得する。例えば、画像取得部１１は、撮像部７からリアルタイム映像の画像フレームを上記リアルタイム撮影画像として所定周期で取得する。
　マーカ検出部１２は、画像取得部１１により取得されるリアルタイム撮影画像からマーカを検出する。ここで、マーカとは、現実世界に配置された画像や物であり、ＡＲマーカ等と呼ばれる。但し、本実施形態は、このマーカを基に、参照方向によらず或る基準点及びその基準点からの相互に直交する３つの方向を一定に得ることができるのであれば、このマーカの具体的形態を制限しない。例えば、マーカ検出部１２は、マーカの形状情報、色情報等を予め保持しており、これら保持情報に基づいて、背景画像からマーカを検出する。このマーカ検出には、周知の画像認識手法が利用されればよい。
　基準算出部１３は、マーカ検出部１２により検出されたマーカに関する現実情報及び画像情報に基づいて、そのマーカと撮像部７との位置関係を示す撮影位置関係を算出する。
　マーカに関する現実情報とは、マーカの現実世界における情報を意味し、例えば、マーカの実際の形状や大きさ等を示す。また、マーカに関する画像情報とは、マーカのリアルタイム撮影画像内での情報を意味し、マーカのリアルタイム撮影画像内の形状や大きさ等を示す。マーカに関する現実情報は、予め基準算出部１３により保持される。マーカに関する画像情報は、基準算出部１３によりリアルタイム撮影画像から取得される。
　基準算出部１３は、マーカに関する現実情報と画像情報との比較により、マーカと撮像部７との位置関係を示す撮影位置関係を算出することができる。例えば、基準算出部１３は、撮影位置関係として、マーカに対する撮像部７の相対的な仮想位置、及び、マーカと撮像部７との現実距離を算出することができる。基準算出部１３による撮影位置関係の算出手法は、マーカに関する現実情報と画像情報とが利用されれば、特に制限されない。
　基準算出部１３は、当該撮影位置関係を算出するにあたり、マーカの位置に相当する基準位置を次のように設定することができる。例えば、その基準位置は、マーカ内における任意の点に設定される。マーカが複数の部分形状から構成される場合には、それら複数の部分形状から導かれる或る点がその基準位置に設定されてもよい。
　距離算出部１４は、基準算出部１３により算出された撮影位置関係、及び、マーカと共にリアルタイム撮影画像に写るオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、撮像部７とそのオブジェクトとの現実距離を算出する。ここで、マーカと共にリアルタイム撮影画像に写るオブジェクトとは、撮影者が写したい被写体であり、現実世界においてマーカと近い位置に置かれる個体である。
　オブジェクト位置関係は、マーカに対するオブジェクトの相対的な仮想位置を示してもよいし、マーカとオブジェクトとの現実世界における位置関係を示してもよい。オブジェクト位置関係は、距離算出部１４により予め保持されてもよいし、他の情報を用いて、距離算出部１４により算出されてもよい。また、距離算出部１４による当該現実距離の算出手法には複数存在し得る。この算出手法の例は後述される実施例において説明される。当該現実距離の算出手法は特に制限されない。
　距離算出部１４は、撮像部７とオブジェクトとの現実距離を算出するにあたり、オブジェクトの位置に相当する基準位置を次のように設定することができる。例えば、その基準位置は、オブジェクト内における、重心点、最上位点、最下位点、マーカに最も近い点、マーカから最も遠い点、撮像部７に最も近い点、撮像部７から最も遠い点等、オブジェクト内における任意の位置に設定される。
　パラメータ決定部１５は、距離算出部１４により算出された現実距離を用いて、そのオブジェクトに撮像部のピントを合わせるためのフォーカスパラメータを決定する。具体的には、パラメータ決定部１５は、フォーカスパラメータとして、ピント位置を決定する。
　但し、パラメータ決定部１５は、フォーカスパラメータとして、ピント位置に加えて、被写界深度を調整するための絞り値等を決定することもできる。ピント位置は、撮像部７におけるピント合わせのための構成に応じて、例えば、レンズと撮像素子との間の距離、焦点距離等で表すことができる。パラメータ決定部１５によるパラメータ決定手法には周知の手法が利用され得る。
　設定部１６は、パラメータ決定部１５により決定されたフォーカスパラメータを撮像部７に設定する。
　〔動作例（撮像制御方法）〕
　以下、第一実施形態における撮像制御方法について図３を用いて説明する。第一実施形態における撮像制御方法は、図３に示されるように、ステップＳ３１からステップＳ３６で示される複数の工程を含む。
　図３は、第一実施形態における撮像装置１０の動作例を示すフローチャートである。以下の説明では、各工程の実行主体は、撮像装置１０として説明されるが、各工程は、撮像装置１０の一部であるＣＰＵ１により実行される。また、各工程は、撮像装置１０が有する上述の各処理部の処理内容と同様であるので、各工程の詳細は、適宜省略される。
　撮像装置１０の画像取得部１１は、撮像部７からリアルタイム撮影画像を逐次取得する（ステップＳ３１）。例えば、の画像取得部１１は、所定の周期で、リアルタイム撮影画像を順次取得する。
　撮像装置１０のマーカ検出部１２は、ステップＳ３１で取得されたリアルタイム撮影画像からマーカを検出する（ステップＳ３２）。ステップＳ３２は、リアルタイム撮影画像が取得される度に実行されてもよいし、リアルタイム撮影画像の取得タイミングとは非同期に所定周期で実行されてもよい。また、撮像装置１０は、マーカの検出を試み、リアルタイム撮影画像内でマーカを検出することができない場合には、ステップＳ３３以降を実行しない。
　撮像装置１０の基準算出部１３は、ステップＳ３２で検出されたマーカに関する現実情報及び画像情報に基づいて、そのマーカと撮像部７との位置関係を示す撮影位置関係を算出する（ステップＳ３３）。
　撮像装置１０の距離算出部１４は、ステップＳ３３で算出された撮影位置関係、及び、マーカとリアルタイム撮影画像に写るオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、撮像部７とそのオブジェクトとの現実距離を算出する（ステップＳ３４）。
　撮像装置１０のパラメータ決定部１５は、ステップＳ３４で算出された現実距離を用いて、オブジェクトに撮像部７のピントを合わせるためのフォーカスパラメータを決定する（ステップＳ３５）。
　撮像装置１０の設定部１６は、ステップＳ３５で決定されたフォーカスパラメータを撮像部７に設定する（ステップＳ３６）。撮像装置１０は、入力部６により受け付けられたユーザ操作に従って、このようにフォーカスパラメータが設定された撮像部７に対して、静止画像又は動画像の撮像を指示する。
　〔第一実施形態における作用及び効果〕
　上述のように、第一実施形態では、マーカ及びオブジェクトが写るリアルタイム撮影画像が逐次取得され、このリアルタイム撮影画像からマーカが検出され、この検出されたマーカと撮像部７との位置関係等から撮像部７とオブジェクトとの現実距離が算出される。そして、撮像部７とオブジェクトとの現実距離から決定されるフォーカスパラメータが撮像部７に設定される。
　このように、第一実施形態によれば、リアルタイム撮影画像に写るマーカに基づいて、フォーカスパラメータが決定され、撮像部７に設定されるので、既存のコントラストＡＦと比較して、より早くピント合わせを行うことができる。これは、既存のコントラストＡＦがレンズを動かしながら画像のコントラストが最も高くなるレンズ位置を試行錯誤的に探し出すのに対して、第一実施形態では、マーカ情報から得られる撮像部７と被写体との現実距離から、適切なフォーカスパラメータを即座に決定することができるからである。
　更に、第一実施形態によれば、撮像部７とオブジェクト（被写体）との現実距離を得るのに、距離センサ等の特別なデバイスを必要としないので、撮像装置１０の小型化及び低価格化を実現することができる。
［第二実施形態］
　以下、第二実施形態における撮像装置及び撮像制御方法について、上述の第一実施形態と異なる内容を中心に説明し、同一の内容については適宜省略する。
　第二実施形態は、上述の多方位撮影に特に有効な形態である。
　〔処理構成〕
　図４は、第二実施形態における撮像装置１０ａの処理構成例を概念的に示す図である。図４に示されるように、第二実施形態における撮像装置１０ａは、第一実施形態の構成に加えて、画像格納部１７、方向算出部１８及びキャプチャ指示部１９を更に有する。これら処理部１７、１８及び１９についても他の処理部と同様にプログラムが図１に例示した画像装置１０が有するハードウェアにおいてＣＰＵ１によって実行されることによって実現される。画像格納部１７は、メモリ２又は通信部４に接続される可搬型記録媒体内に実現される。
　方向算出部１８は、基準算出部１３により算出された撮影位置関係及び上記オブジェクト位置関係を用いて、当該オブジェクトに対する撮像部７の撮影方向を算出する。オブジェクト位置関係は、方向算出部１８により予め保持されてもよいし、他の情報を用いて、方向算出部１８により算出されてもよい。例えば、方向算出部１８は、上記撮影位置関係及び上記オブジェクト位置関係を基に、オブジェクトと撮像部７との位置関係を算出し、この位置関係を用いて、当該撮影方向を算出することができる。但し、当該撮影方向の算出手法は制限されない。
　画像格納部１７は、撮像部７によりキャプチャされた静止画像を、その静止画像をキャプチャする際に方向算出部１８により算出されていた撮像部７の撮影方向に対応する方向情報と関連付けて格納する。静止画像と関連付けられる方向情報には、方向算出部１８により算出される撮像部７の撮影方向がそのまま利用されてもよいし、その撮影方向から得られる方向情報が利用されてもよい。例えば、方向情報は、前方、右側方、左側方、後方及び上方のいずれか１つを示す情報であってもよい。
　図５は、静止画像と方向情報との対応関係の例を示す図である。図５で、方向情報が、水平方向と垂直方向との２軸の座標空間に並べられて表記されている。方向情報における水平方向は、オブジェクトが置かれている平面を形成する一つの軸方向に相当する。垂直方向は、その平面に直行する一つの軸方向に相当する。
　図５の例では、静止画像と関連付けられる方向情報は、オブジェクトの基準点を中心点とする球をオブジェクトが置かれている基準平面で切断した半球の球面上における垂直方向線Ｌｖと水平方向線Ｌｈとで囲まれた領域Ｒを識別する情報として示される。垂直方向線Ｌｖは、その半球の球面と、基準平面に垂直でかつ中心点を通る所定角度間隔で設けられる複数平面との交線であり、水平方向線Ｌｈは、その半球の球面と、基準平面に並行でかつその基準平面に垂直な方向に所定間隔で設けられる複数平面との交線である。垂直方向線Ｌｖを決める所定角度間隔及び水平方向線Ｌｈを決める所定間隔は、任意に決められ得る。
　画像取得部１１は、撮像部７によりキャプチャされた静止画像を取得し、その静止画像を、キャプチャ時に算出されていた撮像部７の撮影方向に対応する方向情報と関連付けて画像格納部１７に格納する。画像取得部１１は、方向算出部１８により算出された撮影方向をそのまま方向情報とすることもできるし、その撮影方向を基に方向情報を生成することもできる。例えば、方向情報が、前方、右側方、左側方、後方及び上方のいずれか１つを示す場合、画像取得部１１は、方向算出部１８により算出された撮影方向が前方、右側方、左側方、後方及び上方のどれに属するかを判定し、いずれか１つの方向を示す方向情報を生成する。また、方向情報が、上述のように領域Ｒの識別情報である場合には、画像取得部１１は、当該撮影方向が属する領域Ｒを特定し、その特定された領域Ｒの識別情報を方向情報とする。
　キャプチャ指示部１９は、方向算出部１８により算出された撮像部７の撮影方向に応じて、静止画像のキャプチャを指示するか否かを判定し、その判定結果に基づいて、撮像部７に静止画像のキャプチャを指示する。言い換えれば、キャプチャ指示部１９は、画像格納部１７に未だ格納されていない撮影方向からの静止画像が得られるように、キャプチャを指示し、方向算出部１８により算出された撮影方向が、既に静止画像が格納されている撮影方向となる場合には、キャプチャを指示しない。例えば、キャプチャ指示部１９は、新たに方向算出部１８により算出された撮像部７の撮影方向と画像格納部１７に既に格納されている静止画像と関連付けられている方向情報との関係を基に、キャプチャを指示するか否かを判定することができる。撮像部７は、キャプチャ指示部１９からの指示を受け、そのとき設定されているフォーカスパラメータを用いて、静止画像をキャプチャする。
　〔動作例（撮像制御方法）〕
　以下、第二実施形態における撮像制御方法について図６を用いて説明する。第二実施形態における撮像制御方法は、図６に示されるように、ステップＳ５１からステップＳ５８で示される複数の工程を含む。第二実施形態における撮像制御方法は、図３に示される第一実施形態における撮像制御方法と同期して又は非同期に実行される。
　図６は、第二実施形態における撮像装置１０の動作例を示すフローチャートである。以下の説明では、各工程の実行主体は、撮像装置１０として説明されるが、各工程は、撮像装置１０の一部であるＣＰＵ１により実行される。また、各工程は、撮像装置１０が有する上述された各処理部の処理内容と同様であるので、各工程の詳細は、適宜省略される。
　撮像装置１０ａは、図３に示されるステップＳ３３で算出される撮影位置関係、及び、マーカとオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、オブジェクトに対する撮像部７の撮影方向を算出する（ステップＳ５１）。
　撮像装置１０ａは、画像格納部１７に格納されている静止画像がない場合（ステップＳ５２；ＮＯ）、ステップＳ５６を実行する。一方で、撮像装置１０は、画像格納部１７に格納されている静止画像が存在する場合（Ｓ５２；ＹＥＳ）、ステップＳ５１で算出された撮像部７の撮影方向と画像格納部１７に格納されている静止画像と関連付けられている方向情報との関係を基に、キャプチャを指示するか否かを判定する（ステップＳ５３）。言い換えれば、ステップＳ５３において、撮像装置１０ａは、ステップＳ５１で算出された撮影方向からの静止画像が画像格納部１７に既に格納されているか否かを判定する。ここで、キャプチャを指示するか否かを判定する際、撮像装置１０ａは、画像格納部１７に格納されている静止画像が存在するか否かではなく、既に格納されている画像と新しく取得された画像を比較し、より良い状態と判断された場合には上書きするようキャプチャ指示をしてもよい。
　撮像装置１０ａは、キャプチャを指示しないと決定した場合（ステップＳ５５；ＮＯ）、キャプチャを指示せず、処理を終える。これは、ステップＳ５１で算出された撮影方向からの静止画像が、画像格納部１７に既に格納されているからである。
　一方、撮像装置１０ａは、キャプチャを指示すると決定した場合（ステップＳ５５；ＹＥＳ）、撮像部７に静止画像のキャプチャを指示する（ステップＳ５６）。これは、ステップＳ５１で算出された撮影方向からの静止画像が画像格納部１７に未だ格納されていないからである。この指示により、撮像部７は、図３に示されるステップＳ３６で設定されているフォーカスパラメータを用いて撮像された静止画像をキャプチャする。
　撮像装置１０ａは、キャプチャされた静止画像を撮像部７から取得する（ステップＳ５７）。
　撮像装置１０ａは、ステップＳ５７で取得された静止画像を、ステップＳ５１で算出された撮像部７の撮影方向と関連付けて画像格納部１７に格納する（ステップＳ５８）。
　ステップＳ５１は、ステップＳ３３で撮影位置関係が算出される度に実行されてもよいし、図３に示されるフローとは非同期に実行されてもよい。非同期に実行される場合、例えば、撮像装置１０ａは、入力部６により所定のユーザ操作（ハードウェア又はソフトウェアから成るボタンの押下操作、タッチ操作、ジェスチャ操作、音声操作等）が検出されたことを契機に、ステップＳ５１を実行することができる。また、ステップＳ５１は、図３に示されるフローにおいてステップＳ３３の後に実行され、図６に示されるフローからは削除されてもよい。この場合には、第二実施形態における撮像制御方法は、ステップＳ５２から実行される。
　〔第二実施形態における作用及び効果〕
　第二実施形態では、リアルタイム撮影画像に写るオブジェクトに対する撮像部７の撮影方向が算出され、画像格納部１７に格納されている静止画像と関連付けられている方向情報と算出された撮影方向との関係を基に、静止画像のキャプチャを指示するか否かが判定される。
　これにより、第二実施形態によれば、現在の撮影方向からの静止画像が未だ格納できていない場合に静止画像をキャプチャすることができ、結果として、同じ方向からの静止画像が重複して取得されることを避けることができる。また、既に格納されている画像と新しく取得された画像を比較し、より良い状態と判断された場合には上書きでキャプチャすることができ、結果として、より品質が良い静止画像を得ることができる。従って、第二実施形態によれば、ユーザに多方位撮影を効率よく行わせることができる。
［第一実施形態の変形例（第一変形例）］
　図７は、第一変形例における撮像装置１０ｂの処理構成例を概念的に示す図である。図７に示されるように、上述の第一実施形態における撮像装置１０ｂは、設定部１６により設定されたフォーカスパラメータを用いた静止画像又は動画像のキャプチャを撮像部７へ指示するキャプチャ指示部１９を更に有してもよい。この場合、キャプチャ指示部１９は、設定部１６によりフォーカスパラメータが撮像部７に設定された直後に、キャプチャを撮像部７に指示してもよい。また、設定部１６及びキャプチャ指示部１９が統一化された処理部が、パラメータ決定部１５により決定されたフォーカスパラメータを指定して、撮像部７に静止画像又は動画像のキャプチャを指示するようにしてもよい。
［第二実施形態の変形例（第二変形例）］
　上述の第二実施形態では、静止画像に対するキャプチャ指示をするか否かが、画像格納部１７に格納される静止画像に関連付けられた方向情報と、現在の撮影方向との比較により判定される。しかしながら、例えば、撮影すべき所定方向が、前方、側方及び後方のように広い範囲で決められている場合には、撮影者にとって、同じ方向からの静止画像が重複して撮影されるのを防ぐのはある程度容易である。よって、このような場合、キャプチャ指示部１９は、その比較をせず、方向算出部１８により算出された撮像部７の撮影方向に応じて、静止画像のキャプチャを指示するか否かを判定することもできる。例えば、キャプチャ指示部１９は、撮影すべき所定方向を予め保持しており、方向算出部１８により算出された撮影方向がその所定方向となった場合に、静止画像のキャプチャの指示を決定する。この場合には、撮像装置１０ｂは、画像格納部１７を有していなくてもよい。
［各実施形態の変形例（第三変形例）］
　図８は、第三変形例における撮像装置１０ｃの処理構成例を概念的に示す図である。上述の各実施形態における撮像装置１０ｃは、撮像部７にオートフォーカスの停止を指示する停止指示部２１を更に有してもよい。なお、図８は、第一実施形態における撮像装置１０ｃが停止指示部２１を有する例を示す。停止指示部２１についても他の処理部と同様に実現される。
　ほとんどの撮像部７がオートフォーカス機能を有し、ほとんどの場合、撮像部７はオートフォーカスが動作するように設定されている。そこで、停止指示部２１がそのオートフォーカスの停止を撮像部７に指示し、別途、上述の各実施形態に示されるように設定されたフォーカスパラメータを用いて、撮像部７が静止画像又は動画像を撮像する。これにより、設定されたフォーカスパラメータがオートフォーカス機能により変更されることを防ぐことができる。この場合、マーカ検出部１２は、オートフォーカスが停止されるのを待って、処理を実行するようにしてもよい。同様に、上述の各実施形態における撮像制御方法は、オートフォーカスが停止された後、実行されてもよい。
（実施例）
　以下に実施例を挙げ、上述の実施形態を更に詳細に説明する。上述の各実施形態によってフォーカスパラメータが一度も撮像部７に設定されていない初期状況で、撮像部７から取得されるリアルタイム撮影画像では、マーカに適切にピントが合っていない可能性がある。しかしながら、マーカは、参照方向によらず或る基準点及びその基準点からの相互に直交する３つの方向を一定に得ることができる程度に、リアルタイム撮影画像に写っていればよい。よって、上述のような初期状況でも、上述の各実施形態は適切に実現され得る。但し、撮像部７がオートフォーカス機能を持つ場合、当該初期状況において、リアルタイム撮影画像からマーカが適切に検出されるまでは、オートフォーカスを停止させないようにすることもできる。この場合、撮像装置１０は、リアルタイム撮影画像からマーカが適切に検出されるか否かを判定し、適切に検出された場合のみ、オートフォーカスを停止させ、上述のような処理を実行する。
　一方、適切なフォーカスパラメータが一度でも撮像部７に設定されれば、多方位撮影において撮影方向が変更されたとしても、リアルタイム撮影画像に写るマーカに対するピントが大幅にずれることは少ない。よって、多方位撮影で撮影方向が変更されたとしても、マーカは適切に検出され、上述の各実施形態は適切に動作することができる。但し、撮影者の移動が大きく、マーカが適切に検出することができなくなってしまった場合には、マーカが適切に検出されるまで、オートフォーカスを再稼働させるようにすることもできる。
　そこで、以下の実施例では、特に、撮像部７とオブジェクトとの現実距離を計算する手法の具体例を挙げる。以下には、上述の内容と異なる内容を中心に説明し、上述と同内容については適宜省略する。
　図９は、実施例における撮像装置１０ｄの処理構成例を概念的に示す図である。図９に示されるように、実施例における撮像装置１０ｄは、情報取得部３１を更に有する。情報取得部３１についても他の処理部と同様に実現される。図９は、本実施例が上述の第一実施形態に適用された例を示すが、本実施例は、上述のいずれの実施形態及び変形例にも適用可能である。
　情報取得部３１は、マーカとオブジェクトとの現実位置関係を示す情報を取得する。この情報は、表示部５に表示される入力画面に対するユーザの入力操作が入力部６により検出されることで得られてもよいし、予めメモリ２に保持されそのメモリ２から取得されてもよいし、可搬型記録媒体、他のコンピュータ等から通信部４を経由して取得されてもよい。
　この現実位置関係は、現実世界におけるマーカとオブジェクトとの位置関係を意味する。例えば、この現実位置関係は、マーカ及びオブジェクトが置かれる同一平面上での、マーカとオブジェクトとの現実の位置関係を示す二次元情報として示される。また、この現実位置関係は、更に、オブジェクトの現実高さが加味された三次元情報として示されることもできる。
　図１０及び図１１は、ＡＲマーカ８（以下、マーカとも記載する）とオブジェクト９との現実位置関係の例を示す図である。
　図１０に示す例では、ＡＲマーカ８の上辺ＳＰの中心点から、上辺ＳＰに垂直な方向に伸びる所定距離ＬＲに、オブジェクト９の基準点ＰＢが位置する（配置される）ように、オブジェクト９が置かれ、情報取得部３１は、このようなマーカ８とオブジェクト９との現実位置関係を示す情報を現実位置情報として取得する。
　図１１は、オブジェクト９を上方から見た図である。図１１の例では、マーカ８が６つの方形の部分マークＭ１からＭ６から形成されており、オブジェクト９は、マークＭ１の中心点ＳＭ１とマークＭ２の中心点ＳＭ２とを結ぶ線ＬＲの中心点に、オブジェクト９の中心ＳＣが位置するように、置かれる。
　基準算出部１３は、マーカ検出部１２により検出されたマーカ８に関する現実情報及び画像情報に基づいて、三次元仮想空間を設定し、この三次元仮想空間におけるそのマーカ８及び撮像部７の仮想位置、及び、マーカ８と撮像部７との現実距離を算出する。基準算出部１３は、検出されたマーカ８から認識される基準点に応じた位置にその三次元仮想空間を設定する。マーカ８に関する現実世界の形状及び大きさの情報（現実情報）と、そのマーカ８に関するリアルタイム撮影画像内での形状及び大きさの情報とから、或る基準点及びその基準点からの相互に直交する３つの方向は、一定に得ることができる。このように得られる基準点及び３つの方向に基づいて、三次元仮想空間は設定され、その三次元仮想空間におけるマーカ８の仮想位置は決定され得る。但し、マーカ８から認識されるその基準点に対する三次元仮想空間の設定位置については、特に制限されない。更に、それら情報から、その三次元仮想空間における撮像部７の仮想位置、及び、撮像部７とマーカ８との現実距離も算出され得る。
　距離算出部１４は、情報取得部３１により取得された情報により示されるマーカ８とオブジェクト９との現実位置関係、及び、基準算出部１３により決定されたマーカ８の仮想位置に基づいて、その三次元仮想空間におけるオブジェクト９の仮想位置を算出する。情報取得部３１により取得された情報が上述のような二次元情報である場合、距離算出部１４は、オブジェクト９が置かれた平面上の或る１点の位置をオブジェクト９の仮想位置として算出する。また、その情報が三次元情報である場合には、距離算出部１４は、オブジェクト９の高さ方向を加味した三次元位置をオブジェクト９の仮想位置として算出する。例えば、情報取得部３１がオブジェクト９の現実高さを示す情報を取得する場合、距離算出部１４は、オブジェクト９の現実高さを用いて、高さ方向の仮想位置を算出し、結果として、オブジェクト９の三次元位置を決定することができる。オブジェクト９の最高位の点がオブジェクト９の仮想位置として算出されてもよい。
　距離算出部１４は、基準算出部１３により算出されたマーカ８と撮像部７との現実距離及び撮像部７の仮想位置、並びに、算出されたオブジェクト９の仮想位置を用いて、撮像部７とオブジェクト９との現実距離を算出する。
　撮像部７とオブジェクトとの現実距離の計算は他の手法でも算出され得る。例えば、方向算出部１８により算出される、オブジェクトに対する撮像部７の撮影方向を更に用いて、撮像部７とオブジェクトとの現実距離が算出されてもよい。また、距離算出部１４は、リアルタイム撮影画像からオブジェクトの少なくとも一部を認識し、その認識された箇所に基づいて、三次元仮想空間におけるオブジェクトの仮想位置を算出することもできる。
　リアルタイム撮影画像からオブジェクトの少なくとも一部の認識は、そのオブジェクトが有する所定の色及び所定の形状の少なくとも一方を用いた一般的な画像認識技術により行うことができる。この場合、撮像装置１０は情報取得部３１を持たなくてもよく、マーカとオブジェクトとの現実位置関係を示す情報は用いられなくてもよい。
　撮像装置１０は、撮像部７から取得されるリアルタイム撮影画像を、図１２に示されるように、表示部５に表示させることもできる。
　図１２は、リアルタイム撮影画像の表示例を示す図である。図１２の例によれば、表示部５には、オブジェクト９及びＡＲマーカ８が写るリアルタイム撮影画像が表示され、更に、その一部に多方位撮影の撮影状況を示すインジケータＩが重畳表示される。この場合、撮像装置１０は、画像格納部１７に格納されている静止画像に関連付けられた方向情報から、撮影済みの撮影方向ＤＲ及び未撮影の撮影方向ＤＮを決定し、方向算出部１８により算出される撮像部７の現在の撮影方向ＤＷを取得する。撮像装置１０は、図１２に示されるように、これら各種の撮影方向ＤＲ、ＤＮ及びＤＷを区別可能なインジケータ画面要素を生成する。このインジケータによれば、撮影者は、多方位撮影の撮影状況を把握し易くなるので、この表示により、撮影者に、多方位撮影を効率的に実施させることができる。
　なお、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、記載された順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障がない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の各実施形態及び各変形例の一部又は全部は、以下に示す付記のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。
（付記１）　撮像部からリアルタイム撮影画像を逐次取得する画像取得手段と、
　前記画像取得手段により取得されるリアルタイム撮影画像からマーカを検出するマーカ検出手段と、
　前記検出されたマーカに関する現実情報及び画像情報に基づいて、該マーカと前記撮像部との位置関係を示す撮影位置関係を算出する基準算出手段と、
　前記算出された撮影位置関係、及び、前記マーカと前記リアルタイム撮影画像に写るオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、前記撮像部と該オブジェクトとの現実距離を算出する距離算出手段と、
　前記算出された現実距離を用いて、前記オブジェクトに前記撮像部のピントを合わせるためのフォーカスパラメータを決定するパラメータ決定手段と、
　前記フォーカスパラメータを前記撮像部に設定する設定手段と、
　を備える撮像制御装置。
（付記２）　前記撮影位置関係及び前記オブジェクト位置関係を用いて、前記オブジェクトに対する前記撮像部の撮影方向を算出する方向算出手段と、
　前記方向算出手段により算出された前記撮像部の撮影方向に応じて、静止画像のキャプチャを指示するか否かを判定し、該判定結果に基づいて、前記撮像部に静止画像のキャプチャを指示するキャプチャ指示手段と、
　を更に備える付記１に記載の撮像制御装置。
（付記３）　前記画像取得手段は、前記撮像部によりキャプチャされた静止画像を、キャプチャ時に算出されていた前記撮像部の撮影方向に対応する方向情報と関連付けて画像格納部に格納し、
　前記キャプチャ指示手段は、前記方向算出手段により算出された前記撮像部の撮影方向と前記画像格納部に格納されている静止画像と関連付けられている前記方向情報との関係から、前記キャプチャを指示するか否かを判定する、
　付記２に記載の撮像制御装置。
（付記４）　前記設定手段により設定された前記フォーカスパラメータを用いた静止画像又は動画像のキャプチャを前記撮像部へ指示するキャプチャ指示手段、
　を更に備える付記１から３のいずれか１つに記載の撮像制御装置。
（付記５）　前記撮像部にオートフォーカスの停止を指示する停止指示手段、
　を更に備える付記１から４のいずれか１つに記載に撮像制御装置。
（付記６）　前記マーカと前記オブジェクトとの現実位置関係を示す情報を取得する情報取得手段、
　を更に備え、
　前記基準算出手段は、前記マーカに関する現実情報及び画像情報に基づいて、三次元仮想空間を設定し、該三次元仮想空間における前記マーカ及び前記撮像部の仮想位置、及び、前記マーカと前記撮像部との現実距離を算出し、
　前記距離算出手段は、前記マーカと前記オブジェクトとの現実位置関係、及び、前記マーカの仮想位置に基づいて、前記三次元仮想空間における前記オブジェクトの仮想位置を算出し、前記マーカと前記撮像部との現実距離、前記撮像部の仮想位置及び前記オブジェクトの仮想位置を用いて、前記撮像部と前記オブジェクトとの現実距離を算出する、
　付記１から５のいずれか１つに記載の撮像制御装置。
（付記７）　前記オブジェクトの現実高さ情報を取得する情報取得手段、
　を更に備え、
　前記距離算出手段は、前記オブジェクトの現実高さを更に用いて、前記撮像部と前記オブジェクトとの現実距離を算出する、
　付記１から６のいずれか１つに記載の撮像制御装置。
（付記８）　撮像部からリアルタイム撮影画像を逐次取得し、
　前記取得されたリアルタイム撮影画像からマーカを検出し、
　前記検出されたマーカに関する現実情報及び画像情報に基づいて、該マーカと前記撮像部との位置関係を示す撮影位置関係を算出し、
　前記算出された撮影位置関係、及び、前記マーカと前記リアルタイム撮影画像に写るオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、前記撮像部と該オブジェクトとの現実距離を算出し、
　前記算出された現実距離を用いて、前記オブジェクトに前記撮像部のピントを合わせるためのフォーカスパラメータを決定し、
　前記フォーカスパラメータを前記撮像部に設定する、
　ことを含む撮像制御方法。
（付記９）　前記撮影位置関係及び前記オブジェクト位置関係を用いて、前記オブジェクトに対する前記撮像部の撮影方向を算出し、
　前記算出された撮像部の撮影方向に応じて、静止画像のキャプチャを指示するか否かを判定し、
　前記判定結果に基づいて、前記撮像部に静止画像のキャプチャを指示する、
　ことを更に含む付記８に記載の撮像制御方法。
（付記１０）　前記撮像部によりキャプチャされた静止画像を、キャプチャ時に算出されていた前記撮像部の撮影方向に対応する方向情報と関連付けて画像格納部に格納する、
　ことを更に含み、
　前記判定は、前記算出された撮像部の撮影方向と前記画像格納部に格納されている静止画像と関連付けられている前記方向情報との関係から、前記キャプチャを指示するか否かを判定する、
　付記９に記載の撮像制御方法。
（付記１１）　前記設定されたフォーカスパラメータを用いた静止画像又は動画像のキャプチャを前記撮像部へ指示する、
　ことを更に含む付記８から１０のいずれか１つに記載の撮像制御方法。
（付記１２）　前記撮像部にオートフォーカスの停止を指示する、
　ことを更に含む付記８から１１のいずれか１つに記載に撮像制御方法。
（付記１３）　前記マーカと前記オブジェクトとの現実位置関係を示す情報を取得し、
　前記マーカに関する現実情報及び画像情報に基づいて、三次元仮想空間を設定する、
　ことを更に含み、
　前記撮影位置関係の算出は、前記三次元仮想空間における前記マーカ及び前記撮像部の仮想位置、及び、前記マーカと前記撮像部との現実距離を算出し、
　前記撮像部と前記オブジェクトとの現実距離の算出は、
　　前記マーカと前記オブジェクトとの現実位置関係、及び、前記マーカの仮想位置に基づいて、前記三次元仮想空間における前記オブジェクトの仮想位置を算出することを含み、
　　前記マーカと前記撮像部との現実距離、前記撮像部の仮想位置及び前記オブジェクトの仮想位置を用いて、前記撮像部と前記オブジェクトとの現実距離を算出する、
　付記８から１２のいずれか１つに記載の撮像制御方法。
（付記１４）　前記オブジェクトの現実高さ情報を取得する、
　ことを更に含み、
　前記撮像部と前記オブジェクトとの現実距離の算出は、前記オブジェクトの現実高さを更に用いて、前記撮像部と前記オブジェクトとの現実距離を算出する、
　付記８から１３のいずれか１つに記載の撮像制御方法。
（付記１５）付記８から１４のいずれか１つに記載の撮像制御方法を撮像部を有するコンピュータに実行させるプログラムを格納する記録媒体。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は２０１４年３月２０日に出願された日本出願特願２０１４－０５７７７４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１　ＣＰＵ
２　メモリ
４　通信部
５　表示部
６　入力部
７　撮像部
１０　撮像装置
１１　画像取得部
１２　マーカ検出部
１３　基準算出部
１４　距離算出部
１５　パラメータ決定部
１６　設定部
１７　画像格納部
１８　方向算出部
１９　キャプチャ指示部
２１　停止指示部
３１　情報取得部

Claims (9)

  1. 　撮像部から撮影画像を取得する画像取得手段と、
    　前記画像取得手段により取得される撮影画像からマーカを検出するマーカ検出手段と、
    　前記検出されたマーカに関する情報に基づいて、該マーカと前記撮像部との位置関係を示す撮影位置関係を算出する基準算出手段と、
    　前記算出された撮影位置関係、及び、前記マーカと前記撮影画像に写るオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、前記撮像部と該オブジェクトとの現実距離を算出する距離算出手段と、
    　前記算出された現実距離を用いて、前記オブジェクトに前記撮像部のピントを合わせるためのフォーカスパラメータを決定するパラメータ決定手段と、
    　前記フォーカスパラメータを前記撮像部に設定する設定手段と、
    　を備える撮像制御装置。
  2. 　前記撮影位置関係及び前記オブジェクト位置関係を用いて、前記オブジェクトに対する前記撮像部の撮影方向を算出する方向算出手段と、
    　前記方向算出手段により算出された前記撮像部の撮影方向に応じて、静止画像のキャプチャを指示するか否かを判定し、該判定結果に基づいて、前記撮像部に静止画像のキャプチャを指示するキャプチャ指示手段と、
    　を更に備える請求項１に記載の撮像制御装置。
  3. 　前記画像取得手段は、前記撮像部によりキャプチャされた静止画像を、キャプチャ時に算出されていた前記撮像部の撮影方向に対応する方向情報と関連付けて画像格納部に格納し、
    　前記キャプチャ指示手段は、前記方向算出手段により算出された前記撮像部の撮影方向と前記画像格納部に格納されている静止画像と関連付けられている前記方向情報との関係から、前記キャプチャを指示するか否かを判定する、
    　請求項２に記載の撮像制御装置。
  4. 　前記設定手段により設定された前記フォーカスパラメータを用いた静止画像又は動画像のキャプチャを前記撮像部へ指示するキャプチャ指示手段、
    　を更に備える請求項１から３のいずれか１項に記載の撮像制御装置。
  5. 　前記撮像部にオートフォーカスの停止を指示する停止指示手段、
    　を更に備える請求項１から４のいずれか１項に記載に撮像制御装置。
  6. 　前記マーカと前記オブジェクトとの現実位置関係を示す情報を取得する情報取得手段、　を更に備え、
    　前記基準算出手段は、前記マーカに関する情報に基づいて、三次元仮想空間を設定し、該三次元仮想空間における前記マーカ及び前記撮像部の仮想位置、及び、前記マーカと前記撮像部との現実距離を算出し、
    　前記距離算出手段は、前記マーカと前記オブジェクトとの現実位置関係、及び、前記マーカの仮想位置に基づいて、前記三次元仮想空間における前記オブジェクトの仮想位置を算出し、前記マーカと前記撮像部との現実距離、前記撮像部の仮想位置及び前記オブジェクトの仮想位置を用いて、前記撮像部と前記オブジェクトとの現実距離を算出する、
    　請求項１から５のいずれか１項に記載の撮像制御装置。
  7. 　前記オブジェクトの現実高さ情報を取得する情報取得手段、
    　を更に備え、
    　前記距離算出手段は、前記オブジェクトの現実高さを更に用いて、前記撮像部と前記オブジェクトとの現実距離を算出する、
    　請求項１から６のいずれか１項に記載の撮像制御装置。
  8. 　撮像部から撮影画像を取得し、
    　前記取得された撮影画像からマーカを検出し、
    　前記検出されたマーカに関する情報に基づいて、該マーカと前記撮像部との位置関係を示す撮影位置関係を算出し、
    　前記算出された撮影位置関係、及び、前記マーカと前記リアルタイム撮影画像に写るオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、前記撮像部と該オブジェクトとの現実距離を算出し、
    　前記算出された現実距離を用いて、前記オブジェクトに前記撮像部のピントを合わせるためのフォーカスパラメータを決定し、
    　前記フォーカスパラメータを前記撮像部に設定する、
    　ことを含む撮像制御方法。
  9. 　請求項８に記載の撮像制御方法を、撮像部を有するコンピュータに実行させるプログラムを格納する記録媒体。
PCT/JP2015/001315 2014-03-20 2015-03-11 撮像制御装置、撮像制御方法および記録媒体 WO2015141185A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016508516A JP6483661B2 (ja) 2014-03-20 2015-03-11 撮像制御装置、撮像制御方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014057774 2014-03-20
JP2014-057774 2014-03-20

Publications (1)

Publication Number Publication Date
WO2015141185A1 true WO2015141185A1 (ja) 2015-09-24

Family

ID=54144169

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/001315 WO2015141185A1 (ja) 2014-03-20 2015-03-11 撮像制御装置、撮像制御方法および記録媒体

Country Status (2)

Country Link
JP (1) JP6483661B2 (ja)
WO (1) WO2015141185A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139561A (zh) * 2015-09-30 2018-06-08 富士胶片株式会社 摄像装置及摄像方法
CN111654688A (zh) * 2020-05-29 2020-09-11 亮风台（上海）信息科技有限公司 一种获取目标控制参数的方法与设备
CN115359048A (zh) * 2022-10-19 2022-11-18 中国工程物理研究院应用电子学研究所 一种基于闭环跟瞄的实时动态对准测量方法及跟瞄装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175694A (ja) * 2011-02-24 2012-09-10 Kyocera Corp 電子機器
JP2013182483A (ja) * 2012-03-02 2013-09-12 Casio Comput Co Ltd 画像処理装置及び画像処理方法並びにプログラム
JP2013207344A (ja) * 2012-03-27 2013-10-07 Nikon Corp 検出装置、撮像装置、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012207344A (ja) * 2011-03-30 2012-10-25 Mitsubishi Rayon Co Ltd ポリアクリロニトリル系繊維の製造方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175694A (ja) * 2011-02-24 2012-09-10 Kyocera Corp 電子機器
JP2013182483A (ja) * 2012-03-02 2013-09-12 Casio Comput Co Ltd 画像処理装置及び画像処理方法並びにプログラム
JP2013207344A (ja) * 2012-03-27 2013-10-07 Nikon Corp 検出装置、撮像装置、及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139561A (zh) * 2015-09-30 2018-06-08 富士胶片株式会社 摄像装置及摄像方法
CN111654688A (zh) * 2020-05-29 2020-09-11 亮风台（上海）信息科技有限公司 一种获取目标控制参数的方法与设备
CN111654688B (zh) * 2020-05-29 2022-03-29 亮风台（上海）信息科技有限公司 一种获取目标控制参数的方法与设备
CN115359048A (zh) * 2022-10-19 2022-11-18 中国工程物理研究院应用电子学研究所 一种基于闭环跟瞄的实时动态对准测量方法及跟瞄装置

Also Published As

Publication number Publication date
JPWO2015141185A1 (ja) 2017-04-06
JP6483661B2 (ja) 2019-03-13

Similar Documents

Publication Publication Date Title
JP6522708B2 (ja) プレビュー画像表示方法及び装置、並びに端末
WO2018201809A1 (zh) 基于双摄像头的图像处理装置及方法
US10306165B2 (en) Image generating method and dual-lens device
KR102143456B1 (ko) 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스
JP6157242B2 (ja) 画像処理装置及び画像処理方法
JP6512810B2 (ja) 撮像装置および制御方法とプログラム
CN108432230B (zh) 一种成像设备和一种用于显示场景的图像的方法
CN109218606B (zh) 摄像控制设备、其控制方法及计算机可读介质
KR20130031207A (ko) 촬상장치 및 그 제어 방법
JP2009193421A (ja) 画像処理装置、カメラ装置、画像処理方法、およびプログラム
KR102280000B1 (ko) 표시 제어 장치, 표시 제어 방법 및 저장 매체
JP6448674B2 (ja) 文字認識可能な画像を撮影するためのガイド表示を行う、カメラ機能を有する携帯可能な情報処理装置、その表示制御方法、及びプログラム
JP2016004163A (ja) 制御装置、制御方法及びプログラム
EP3912336B1 (en) Automatic generation of all-in-focus images with a mobile camera
KR20190075654A (ko) 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법
KR20150078275A (ko) 움직이는 피사체 촬영 장치 및 방법
JP2013115668A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
WO2018196854A1 (zh) 一种拍照方法、拍照装置及移动终端
JP4871315B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
CN105467741A (zh) 一种全景拍照方法及终端
CN102572233A (zh) 电子相机
JP2011193066A (ja) 撮像装置
JP2016111561A (ja) 情報処理装置、システム、情報処理方法及びプログラム
CN115086558B (zh) 对焦方法、摄像设备、终端设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15764048

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016508516

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15764048

Country of ref document: EP

Kind code of ref document: A1