WO2017029827A1 - 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 - Google Patents
撮像装置、撮像方法、プログラム、及び非一時的記録媒体 Download PDFInfo
- Publication number
- WO2017029827A1 WO2017029827A1 PCT/JP2016/058054 JP2016058054W WO2017029827A1 WO 2017029827 A1 WO2017029827 A1 WO 2017029827A1 JP 2016058054 W JP2016058054 W JP 2016058054W WO 2017029827 A1 WO2017029827 A1 WO 2017029827A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- motion vector
- optical system
- image
- probability
- imaging
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B17/00—Systems with reflecting surfaces, with or without refracting elements
- G02B17/08—Catadioptric systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Definitions
- the present invention relates to an imaging apparatus, an imaging method, a program, and a non-temporary recording medium, and in particular, an imaging apparatus capable of acquiring a plurality of images having different imaging characteristics, an imaging method, a program related to the imaging apparatus and the imaging method, and a non-temporary recording medium.
- the present invention relates to a recording medium.
- an imaging apparatus capable of simultaneously acquiring a plurality of images having different imaging characteristics by an imaging system including an optical system having different imaging characteristics depending on a region and a directional sensor.
- an imaging apparatus a tracking camera system that captures an image while tracking a subject can be considered.
- a plurality of images having different imaging characteristics can be acquired simultaneously, so that tracking accuracy can be improved and tracking deviation can be made difficult to occur.
- an imaging apparatus including the above-described imaging system
- a technique for preventing or reducing the influence of interference is known.
- the imaging apparatus described in Patent Document 1 describes that the influence of interference is removed by image processing.
- crosstalk interference
- crosstalk is prevented without image processing by forming a light-shielding band on the surface of the photographing lens and separating the focal region.
- the present invention has been made in view of such circumstances, and an object thereof is to provide an imaging apparatus, an imaging method, a program related to such an imaging apparatus and an imaging method, and a non-temporary recording medium that can easily cope with interference.
- an imaging apparatus includes a photographing optical system including a first optical system and a second optical system that are provided in different regions and have different imaging characteristics. It has a plurality of pixels composed of two-dimensionally arranged photoelectric conversion elements, and each incident light beam through the first optical system and the second optical system is divided into pupils and selectively received by the plurality of pixels.
- a motion vector detection unit that detects an image reading unit that performs detection, a first motion vector that is a motion vector of the subject in the first image, and a second motion vector that is a motion vector of the subject in the second image;
- the first probability indicating the probability that one motion vector is a motion vector due to a light beam that has passed through the first optical system, and the second probability that the second motion vector is a motion vector due to a light beam that has passed through the second optical system.
- the first optical in the first image based on the probability calculation unit for calculating the probability of 2, the first motion vector, the second motion vector, the first probability, and the second probability.
- a motion vector for extracting a first true motion vector that is a motion vector due to a light beam that has passed through the system and a second true motion vector that is a motion vector due to a light beam that has passed through the second optical system in the second image An extraction unit.
- the imaging unit since the imaging unit includes the first and second optical systems and the directivity sensor, in addition to the true motion vector of the subject, when a false motion vector due to interference is detected, Based on the first and second probabilities of the first and second motion vectors, the first and second true motion vectors are extracted. For this reason, even if there is interference, a true motion vector can be extracted to correctly grasp the motion of the subject. Further, an increase in cost due to measures for preventing interference such as provision of a light shielding band can be suppressed. Thus, the imaging apparatus according to the first aspect can easily cope with interference.
- “probability” reflects the intensity of the luminance signal that is the basis of motion vector detection, and can be quantified using the luminance difference of the feature point from which the motion vector is detected. However, it may be quantified based on the size of the color difference or the density of nearby feature points.
- the imaging characteristics are different of the optical system means that the focal length (shooting angle of view) of the lens is different as in the wide-angle optical system and the telephoto optical system,
- the case where the distance is different includes the case where the wavelength of transmitted light is different, such as visible light and near infrared.
- the first and second optical systems may not have the same optical axis.
- one of the first optical system and the second optical system is a wide-angle optical system, and the other is a telephoto optical system having a common optical axis with the wide-angle optical system. is there.
- the second aspect is an aspect of the configuration of the optical system according to the present invention, and can acquire a wide-angle image and a telephoto image in which the centers of the photographing field angles coincide.
- the motion vector detection unit detects the first feature point of the subject from the plurality of first images acquired successively and detects the first feature point. Based on one feature point, a plurality of first motion vectors having different sizes are detected, and a second feature point of the subject is detected from a plurality of second images acquired successively, and the detected second Based on the two feature points, a plurality of second motion vectors having different sizes are detected.
- a plurality of motion vectors having different sizes is that, for example, when the first and second optical systems are a wide-angle optical system and a telephoto optical system, respectively, the same subject due to a difference in photographing magnification It is considered that the true motion vector magnitude and the motion vector magnitude due to interference are different.
- “sequentially acquiring a plurality of first and second images” refers to acquiring a plurality of images by sequentially capturing images at time intervals. Further, as the feature point, a point having a large luminance change such as an edge or a corner of the subject can be detected, but the feature point is not limited thereto.
- the probability calculation unit calculates a first probability for each of the plurality of first motion vectors, and second for each of the plurality of second motion vectors. Calculate the probability of. In order to detect “a plurality of motion vectors having different sizes” in the third mode, the probability is calculated for each of the detected motion vectors in the fourth mode.
- the probability calculation unit includes a luminance signal at the first feature point and a feature point corresponding to the first feature point among the second feature points.
- the first probability is calculated for each of the plurality of first motion vectors
- the second probability is calculated for each of the plurality of second motion vectors.
- the fifth aspect is one aspect of probability calculation, and the first and second probability are calculated based on the luminance signal of the feature point.
- the motion vector extraction unit has a first probability for one motion vector of the plurality of first motion vectors. If the second probability of the second motion vector corresponding to the one motion vector is higher than the second probability, the second motion vector corresponding to the one motion vector causes interference from the first optical system to the second optical system.
- the first motion vector is extracted as a first true motion vector by determining that the motion vector is the resulting motion vector, and the second probability that the first probability for the one motion vector corresponds to the one motion vector. If it is less than or equal to the second probability of the vector, it is determined that the one motion vector is a motion vector due to interference from the second optical system to the first optical system, and the second motion vector is True movement It is extracted as a vector.
- a true motion vector is extracted.
- the fact that the first probability for one motion vector of the plurality of first motion vectors is higher than the second probability for the second motion vector corresponding to the one motion vector means that the one motion This is because the luminance signal of the second motion vector corresponding to the vector is weak, and there is a high possibility that the second motion vector is caused by interference. Accordingly, in the sixth aspect, in such a case, it is determined that the second motion vector is due to interference, and one motion vector is extracted as the true first motion vector. Note that the true second motion vector can be extracted based on the same determination.
- the imaging device according to a seventh aspect according to any one of the first to sixth aspects further includes a pan / tilt mechanism that rotates the imaging unit in a horizontal direction and a vertical direction, and the pan / tilt mechanism is extracted.
- the imaging unit is rotated based on the first true motion vector and the second true motion vector.
- by rotating the imaging unit based on the first and second true motion vectors even if there is a false motion vector due to interference, it is possible to perform tracking shooting in accordance with the motion of the subject. Is possible.
- the pan / tilt mechanism rotates the image pickup unit so that the subject detected in the first image is also detected in the second image.
- the subject detected in the first image may not be detected in the second image.
- the subject detected in the first image is also detected in the second image by rotating the imaging unit.
- the imaging device is the image pickup apparatus according to any one of the first to eighth aspects, wherein the photographing optical system has the first optical system disposed in a central portion, and the second optical system is a peripheral portion of the first optical system. This is a photographing optical system arranged in a ring shape.
- the ninth aspect is an aspect of the arrangement of the first and second optical systems.
- an imaging device is the first image, the first motion vector, the first probability, the first true motion vector, and the second A display unit that displays an image, a second motion vector, a second probability, and a second true motion vector is provided.
- the user of the imaging apparatus can visually recognize the motion vector, the probability, and the true motion vector.
- the vector and probability may be displayed by characters, figures, symbols, and combinations thereof, and the display color may be set as appropriate.
- the imaging device is the tenth aspect, wherein the display unit displays the first motion vector and the first true motion vector according to the first probability, and according to the second probability.
- the second motion vector and the second true motion vector are displayed.
- the extracted true motion vector and probability can be easily recognized.
- an imaging device is the first image, the first motion vector, the first probability, the first true motion vector, and the second
- the apparatus further includes a recording unit that records the image, the second motion vector, the second probability, and the second true motion vector.
- a plurality of data may be recorded in association with each other as appropriate.
- an imaging method includes an imaging optical system including a first optical system and a second optical system that are provided in different regions and have different imaging characteristics.
- a plurality of pixels configured by two-dimensionally arranged photoelectric conversion elements are provided, and light beams incident through the first optical system and the second optical system are divided into pupils and selectively received by the plurality of pixels.
- An imaging method of an imaging apparatus including an imaging unit having a directivity sensor that performs an image signal of a first image obtained via a first optical system and a second image obtained via a second optical system
- An image reading process for acquiring an image signal from a directional sensor, a first motion vector that is a motion vector of a subject in the first image, and a second motion vector that is a motion vector of a subject in the second image;
- a motion vector detection step to detect, a first probability that indicates a probability that the first motion vector is a motion vector by a light beam that has passed through the first optical system, and a light beam that has passed through the second optical system as a second motion vector
- the imaging method according to the thirteenth aspect as in the first aspect, even if there is interference, a true motion vector can be extracted and the movement of the subject can be correctly grasped, and the cost of measures for preventing interference can be obtained. You can suppress the up. Thus, the imaging method according to the thirteenth aspect can easily cope with interference.
- the imaging method according to a fourteenth aspect is the telephoto optical system according to the thirteenth aspect, wherein one of the first optical system and the second optical system is a wide-angle optical system and the other is a telephoto optical system having a common optical axis with the wide-angle optical system. is there.
- the fourteenth aspect is an aspect of the configuration of the optical system according to the present invention as in the second aspect, and can acquire a wide-angle image and a telephoto image in which the centers of the images coincide.
- the first feature point of the subject is detected from a plurality of first images successively acquired, and the detected first Based on one feature point, a plurality of first motion vectors having different sizes are detected, and a second feature point of the subject is detected from a plurality of second images acquired successively, and the detected second Based on the two feature points, a plurality of second motion vectors having different sizes are detected.
- a plurality of motion vectors having different sizes are detected.
- the imaging method is the fifteenth aspect, in the probability calculation step, the first probability is calculated for each of the plurality of first motion vectors, and the second probability is calculated for each of the plurality of second motion vectors. Calculate the probability of. In the sixteenth aspect, similarly to the fourth aspect, the probability is calculated for each of the plurality of motion vectors.
- the imaging method is the feature point corresponding to the first feature point among the luminance signal at the first feature point and the second feature point in the probability calculating step.
- the first probability is calculated for each of the plurality of first motion vectors
- the second probability is calculated for each of the plurality of second motion vectors.
- the first and second probabilities are calculated based on the luminance signal of the feature point.
- the imaging method according to the eighteenth aspect is the imaging method according to any one of the thirteenth to seventeenth aspects, wherein in the motion vector extraction step, a first probability of one motion vector of the plurality of first motion vectors is set. If the second probability of the second motion vector corresponding to the one motion vector is higher than the second probability, the second motion vector corresponding to the one motion vector causes interference from the first optical system to the second optical system.
- the first motion vector is extracted as a first true motion vector by determining that the motion vector is the resulting motion vector, and the second probability that the first probability for the one motion vector corresponds to the one motion vector.
- true motion vectors are extracted as in the sixth aspect.
- An imaging method is the imaging method according to any one of the thirteenth to eighteenth aspects, wherein the imaging unit is rotated based on the extracted first true motion vector and second true motion vector.
- the image reading process, the motion vector detection process, the probability calculation process, and the motion vector extraction process are repeated while further including a section rotation process, and rotating the imaging section by the imaging section rotation process.
- the subject is continuously detected by repeating the image reading process, the motion vector detection process, the probability calculation process, and the motion vector extraction process while rotating the imaging unit by the imaging unit rotation process. Can be tracked and photographed.
- the imaging unit rotation step the imaging unit is rotated so that the subject detected in the first image is also detected in the second image.
- the imaging unit is rotated so that the subject detected in the first image is also detected in the second image.
- a twenty-first aspect of the present invention is a program that causes an imaging apparatus to execute the imaging method according to any one of the thirteenth to twentieth aspects.
- the program according to the twenty-first aspect may be stored in a memory incorporated in the imaging device or the lens device, such as a ROM (Read Only Memory) or an EEPROM (Electronically Erasable and Programmable Read Only Memory), or a CD (You may record and use on various magneto-optical recording media (non-temporary recording media), such as a Compact disk (DVD), DVD (Digital Versatile disk), BD (Blu-ray Disc), a hard disk, and a semiconductor memory.
- a twenty-second aspect of the present invention is a non-transitory recording medium on which a computer-readable code of the program according to the twenty-first aspect is recorded.
- Examples of the non-temporary recording medium according to the twenty-second aspect include various magneto-optical recording media such as CD, DVD, BD, hard disk, and semiconductor memory.
- the imaging apparatus imaging method, program, and non-transitory recording medium of the present invention, it is possible to easily cope with interference.
- FIG. 1 is a perspective view illustrating an appearance of an imaging apparatus according to an embodiment of the present invention.
- FIG. 2 is a cross-sectional view showing the configuration of the photographing optical system and the image sensor according to one embodiment of the present invention.
- FIG. 3 is a cross-sectional view showing a detailed configuration of the image sensor shown in FIG.
- FIG. 4 is a diagram illustrating an optical path of wide-angle image light incident on the imaging optical system (particularly the first optical system) and the image sensor (particularly the first sensor group) illustrated in FIG.
- FIG. 5 is a diagram illustrating an optical path of telephoto image light incident on the photographing optical system (particularly the second optical system) and the image sensor (particularly the second sensor group) illustrated in FIG. 2.
- FIG. 2 is a cross-sectional view showing the configuration of the photographing optical system and the image sensor according to one embodiment of the present invention.
- FIG. 3 is a cross-sectional view showing a detailed configuration of the image sensor shown in FIG.
- FIG. 4 is a diagram
- FIG. 6 is a block diagram illustrating a functional configuration of the imaging apparatus according to the embodiment of the present invention.
- FIG. 7 is a diagram illustrating examples of ideal wide-angle images and telephoto images.
- FIG. 8 is a diagram illustrating an example of a wide-angle image and a telephoto image in which interference occurs.
- FIG. 9 is a conceptual diagram illustrating processing for extracting a true motion vector.
- FIG. 10 is another conceptual diagram illustrating processing for extracting a true motion vector.
- FIG. 11 is still another conceptual diagram illustrating processing for extracting a true motion vector.
- FIG. 12 is still another conceptual diagram illustrating processing for extracting a true motion vector.
- FIG. 13 is a flowchart showing an outline of processing for extracting a true motion vector.
- FIG. 13 is a flowchart showing an outline of processing for extracting a true motion vector.
- FIG. 14 is a flowchart showing details of processing for extracting a true motion vector.
- FIG. 15 is still another conceptual diagram illustrating processing for extracting a true motion vector.
- FIG. 16 is a cross-sectional view illustrating a second embodiment of the imaging unit.
- FIG. 17 is a diagram illustrating a state of light reception by the directional sensor in the imaging unit illustrated in FIG. 16.
- FIG. 18 is a cross-sectional view illustrating a third embodiment of the imaging unit.
- FIG. 1 is a perspective view showing an imaging apparatus 30 according to an embodiment of the present invention.
- the holding unit 18 including the gear 19 and the imaging unit 10 attached to the holding unit 18 are fixedly installed on a pedestal 16 provided on the device main body 15.
- the imaging unit 10 includes an imaging optical system 11 and an imaging element 24 (see FIGS. 2 to 5) as a directivity sensor.
- the pedestal 16 is provided so as to be rotatable about the axis in the vertical direction Z of the apparatus main body 15. Operation is performed.
- the gear 19 is provided coaxially with the axis in the horizontal direction X.
- the driving force is transmitted from the pan / tilt mechanism 52 and the tilt driving unit 56 (see FIG. 6) through the gear 19, the imaging unit 10 is moved up and down. The tilting operation is performed by rotating in the direction.
- the imaging unit 10, the holding unit 18 including the gear 19, and the pedestal 16 are covered with a dome cover 17 for dustproofing and dripproofing.
- FIG. 2 is a diagram illustrating a cross-sectional configuration of the imaging optical system 11 and the image sensor 24.
- the photographing optical system 11 includes a first optical system 21 and a second optical system 22 having mutually different characteristics.
- the first optical system 21 and the second optical system 22 are configured by optical systems having different focal lengths. That is, the photographing optical system 11 of the present embodiment includes a first optical system 21 configured by a “wide-angle image capturing lens group” and a second optical system 22 configured by a “telephoto image capturing lens group”. A wide-angle image and a telephoto image can be simultaneously captured by the image sensor 24.
- the first optical system 21 shown in FIG. 2 is common to the first wide-angle lens 21a, the second wide-angle lens 21b, the third wide-angle lens 21c, the fourth wide-angle lens 21d, which are arranged on the same optical axis L.
- a lens 23 is included.
- the second optical system 22 includes a first telephoto reflector 22b provided with a first telephoto lens 22a, a first telephoto reflective mirror 22c, and a second telephoto reflector provided with a second telephoto reflective mirror 22e. 22d and a common lens 23.
- the first optical system 21 (particularly, the first wide-angle lens 21a, the second wide-angle lens 21b, the third wide-angle lens 21c, and the fourth wide-angle lens 21d) of this example forms a central optical system.
- the second optical system 22 of this example (particularly, the first telephoto lens 22a, the first telephoto reflector 22b, the first telephoto reflector 22c, the second telephoto reflector 22d, and the second telephoto reflector 22e).
- the common lens 23 is disposed on the optical axis L and is shared between the first optical system 21 and the second optical system 22.
- the photographing optical system 11 includes the first optical system 21 and the second optical system 22 having a common optical axis L and having mutually different focal lengths and photographing field angles.
- the image sensor 24 is configured by two-dimensionally arranging a plurality of light receiving sensors 25 as directional sensors in a direction perpendicular to the optical axis L.
- the image sensor 24 of the present embodiment simultaneously receives the wide-angle image light incident through the first optical system 21 and the telephoto image light incident through the second optical system 22, and receives the first image (here, A first image signal (also referred to as “first image signal”) for generating a wide-angle image) and a second image signal (“second image” for generating a second image (here, a telephoto image)).
- a directional sensor capable of outputting an image signal (also referred to as “image signal”) is configured.
- the image sensor 24 of the present embodiment is a plurality of light receiving sensors 25 provided corresponding to each of the first optical system 21 and the second optical system 22, and includes the first optical system 21 and the second optical system 22. Among them, a plurality of light receiving sensors 25 for selectively receiving the light that has passed through the corresponding optical system by dividing the pupil.
- FIG. 3 is a diagram showing a detailed cross-sectional configuration example of the image sensor 24 shown in FIG.
- a plurality of light receiving sensors 25 (photoelectric conversion elements) constituting the image sensor 24 of this example correspond to the “first light receiving sensor 25a for wide-angle image” corresponding to the first optical system 21 and the second optical system 22.
- the second light receiving sensor 25b for telephoto images, and the first light receiving sensor 25a and the second light receiving sensor 25b are alternately arranged two-dimensionally to form a pixel of the image sensor 24.
- the plurality of first light receiving sensors 25a included in the imaging element 24 constitutes “a first sensor group 24a that selectively receives light that has passed through the first optical system 21”, and is used to generate a wide-angle image. Output a signal.
- the plurality of second light receiving sensors 25b included in the image pickup device 24 constitute a “second sensor group 24b that selectively receives light that has passed through the second optical system 22”, and generates a telephoto image. Output the imaging signal.
- the image sensor 24 of the present example includes the first sensor group 24 a corresponding to the first optical system 21 and the second sensor group 24 b corresponding to the second optical system 22.
- Each of the first light receiving sensor 25a and the second light receiving sensor 25b has a micro lens 26, a photodiode 29, and an intermediate layer 27 in which the micro lens 26 and the photodiode 29 are disposed.
- the intermediate layer 27 is provided with a light shielding mask 28.
- the light shielding mask 28 is disposed in the periphery of the light receiving surface of the photodiode 29 in the first light receiving sensor 25a, and the light receiving of the photodiode 29 is performed in the second light receiving sensor 25b.
- a light shielding mask 28 is disposed at the center of the surface.
- the arrangement of the light shielding mask 28 is determined according to which one of the first optical system 21 and the second optical system 22 corresponds, and each light shielding mask 28 blocks light from the optical system that does not correspond.
- the light from the corresponding optical system is received by the photodiode 29 without blocking.
- a plurality of light receiving sensors that selectively receive the light that has passed through the corresponding optical system of the first optical system 21 and the second optical system 22 by pupil division by the light receiving sensor 25 including the light shielding mask 28. It has been realized.
- the present invention is not limited to this method, and pupil division may be realized by other means.
- a light shielding mask 28 may be provided before the microlens 26 (for example, between the microlens 26 and the common lens 23 (see FIG. 3)), or light shielding means other than the light shielding mask 28 (for example, a liquid crystal shutter). May be used.
- members other than the light shielding mask 28 may be provided in the intermediate layer 27, and for example, wirings or circuits may be provided in the intermediate layer 27.
- the imaging element 24 is a color composed of R (red), G (green), and B (blue) color filters (also referred to as “optical filters”, not shown) disposed for the respective light receiving sensors 25.
- a filter array is provided, and the image generation unit 32 (see FIG. 6) performs demosaic processing (“synchronization processing”) for each color image (that is, mosaic image) obtained corresponding to the color array pattern of the color filter array. In other words, a color wide-angle image and a telephoto image can be obtained.
- FIG. 4 is a diagram showing an optical path of the wide-angle image light W incident on the first optical system 21 and the first sensor group 24a in the imaging optical system 11 shown in FIG. 2 and the image sensor 24 shown in FIG.
- the wide-angle image light W sequentially passes through the first wide-angle lens 21a, the second wide-angle lens 21b, the third wide-angle lens 21c, the fourth wide-angle lens 21d, and the common lens 23 of the first optical system 21. Then, a wide-angle image is formed on the first sensor group 24 a on the image sensor 24.
- FIG. 5 is a diagram showing an optical path of the telephoto image light T incident on the second optical system 22 and the second sensor group 24b in the imaging optical system 11 shown in FIG. 2 and the image sensor 24 shown in FIG.
- the telephoto image light T passes (transmits) through the first telephoto lens 22a, passes through the common lens 23 after being reflected by each of the first telephoto reflection mirror 22c and the second telephoto reflection mirror 22e. Then, a telephoto image is formed on the second sensor group 24b on the image sensor 24.
- the optical axis L of the second optical system 22 for taking a telephoto image with a long focal length is reflected by each of the first telephoto reflecting mirror 22c and the second telephoto reflecting mirror 22e and folded back.
- the length can be shortened in the direction of.
- FIG. 6 is a block diagram illustrating a functional configuration example of the imaging device 30 according to the present embodiment.
- the imaging apparatus 30 of this example includes the imaging optical system 11 having the first optical system 21 and the second optical system 22 and the imaging element 24 () having the first sensor group 24a and the second sensor group 24b.
- the image generation unit 32 includes a main controller 37, an image processing unit 38, a recording unit 39, a display controller 40, a display unit 41, and a user operation unit 42.
- the image generation unit 32 (also referred to as “image reading unit”) generates image data (also referred to as “first image data”) of the first image based on the first image signal output from the first sensor group 24a. Then, image data of the second image (also referred to as “second image data”) is generated based on the second image signal output from the second sensor group 24b.
- the first image data and the second image data generated in the image generation unit 32 are sent to, for example, the image processing unit 38, the recording unit 39, the display controller 40, and the main controller 37 that controls the image generation unit 32 provided in the subsequent stage. Sent.
- the probability that the image processing unit 38 includes a motion vector detection unit, a probability calculation unit, and a motion vector extraction unit detects the subject in the first image and the second image, and based on the detection result, the motion vector of the subject Detection, probability calculation, and true motion vector extraction are performed. Details of the processing by the image processing unit 38 will be described later.
- the recording unit 39 records the first and second image data, the motion vector, the probability, and the true motion vector in association with each other.
- the display controller 40 displays a wide-angle image of the first image, a telephoto image of the second image, a motion vector, a probability, and a true motion vector that are reproduced based on the transmitted first image data and second image data. 41 is displayed.
- a pan / tilt device (electric pan head) 50 rotates the image pickup unit 10 shown in FIG. 1 in the horizontal direction (ie, pan direction) and the vertical direction (ie, tilt direction) with respect to the device body 15.
- a tilt mechanism 52, a pan driving unit 54, a tilt driving unit 56, and the like are provided.
- the pan / tilt mechanism 52 includes a home position sensor that detects a reference position of a rotation angle (pan angle) in the pan direction, and a home position sensor that detects a reference position of a tilt angle (ie, tilt angle) in the tilt direction. ing.
- the pan driving unit 54 and the tilt driving unit 56 each have a stepping motor and a motor driver, and output a driving force to the pan / tilt mechanism 52 to drive the pan / tilt mechanism 52.
- the main controller 37 includes an imaging unit 10, an image generation unit 32, an image processing unit 38, a recording unit 39, a display controller 40, a display unit 41, a user operation unit 42, a pan / tilt device 50, and other components that constitute the imaging device 30. Are connected to each unit to control processing functions in each unit.
- the user operation unit 42 is operated by the user to input various instruction commands, and the various instruction commands input to the user operation unit 42 are transmitted to the main controller 37, and the main controller 37 receives from the user operation unit 42.
- Each unit of the imaging device 30 can be controlled based on the instruction command.
- FIGS. 7A and 7B show an example of an ideal wide-angle image and a telephoto image in which no interference occurs between the wide-angle image and the telephoto image.
- FIG. 8A is a wide-angle image
- FIG. 8B is a telephoto image.
- the telephoto image has interference in the wide-angle image, and in addition to the original subject image (here, a small track at the center of the image), a false image (here, the track) A large image) appears slightly in the image.
- the original subject image here, a small track at the center of the image
- a false image here, the track
- a wide-angle image is also mixed in the telephoto image, and in addition to the original subject (here, a large track in the center of the image), a false image (here, a track) due to interference.
- a small image of appears slightly in the center of the image.
- FIG. 9A is a diagram showing the contour line of the subject image in the wide-angle image (for convenience of explanation, the subject image due to the interference of the telephoto image is not shown).
- the first motion vector (arrow in the figure) detected for existing feature points is shown.
- the starting point of each motion vector is a feature point.
- the “probability” of the motion vector is indicated by the thickness of the motion vector.
- “probability” reflects the intensity of the luminance signal that is the basis of motion vector detection, and can be quantified using the luminance difference of the feature point from which the motion vector is detected. You may quantify based on a magnitude
- FIG. 9B is a diagram showing a state in which the subject image of the wide-angle image interferes with the telephoto image (for convenience of explanation, the true subject image in the telephoto image is not shown). Since the subject image in FIG. 9B is an image due to interference and has low luminance, the motion vector indicating “probability” is also thinner than the motion vector shown in FIG.
- FIGS. 10A and 10B show the result of extracting only true motion vectors in this way.
- FIG. 10 (a) is a diagram showing a true motion vector extracted from the wide-angle image of FIG. 9 (a).
- FIGS. 9 and 10 only the interference between the subject in the wide-angle image and the telephoto image from the wide-angle image is described. Therefore, as shown in FIG. 10B, the telephoto image (see FIG. 9B).
- the true motion vector corresponding to the wide-angle image is not extracted from (not shown).
- FIG. 11A is a diagram showing a subject image (represented by a contour) extracted from a wide-angle image and a detected motion vector.
- interference of a telephoto image is shown.
- FIG. 11B is a diagram showing a subject image (represented by a contour) extracted from a telephoto image and a detected motion vector.
- FIG. 11B is a diagram corresponding to FIG.
- FIG. 11 the “probability” of the motion vector is illustrated by the thickness of the vector, as in FIGS. 9 (a) and 9 (b).
- FIGS. 12A and 12B show motion vectors extracted in this way.
- FIG. 12A shows a true motion vector extracted from a wide-angle image
- FIG. 12B shows a true motion vector extracted from a telephoto image.
- FIG. 13 is a flowchart showing true motion vector extraction processing.
- a program for performing such processing can be stored in, for example, the main controller 37 or the recording unit 39, and a computer-readable code of the program is stored in a non-CD, DVD, BD, hard disk, semiconductor memory, or the like. The information may be recorded on a non-transitory recording medium.
- the image generation unit 32 acquires the image signal indicating the wide-angle image of the first image and the image signal indicating the telephoto image of the second image from the image sensor 24, and generates a wide-angle image and a telephoto image. (Step S10; image reading step). Next, the process proceeds to step S12, and the motion vector of the subject is detected for each of the wide-angle image and the telephoto image (motion vector detection step). Note that when the subject detected in the wide-angle image in these processes is not detected in the telephoto image, the imaging unit 10 may be rotated by the pan / tilt device 50 as necessary.
- a plurality of wide-angle images are acquired with a time interval, and a feature point (first feature point) of a subject is detected in each of the plurality of wide-angle images (first images). Then, based on the difference between corresponding feature points, a motion vector (first motion vector) in the wide-angle image is detected.
- a feature point (second feature point) of a subject in the telephoto image is detected from a plurality of telephoto images (second image) acquired at time intervals, and a motion vector (second motion vector) in the telephoto image is detected. ) Is detected.
- the motion vector detection process in step S12 For both the first and second motion vectors, a plurality of motion vectors having different sizes are detected.
- step S14 calculates the probability of the motion vector (probability calculation step).
- a case will be described in which two motion vectors are detected in each of the wide-angle image (FIG. 15A) and the telephoto image (FIG. 15B) as shown in FIG.
- the meanings of symbols in FIG. 15 are as follows.
- step S14 the probabilities Pw1 and Pw2 that are the motion vectors of the subject in the wide-angle image that are the motion vectors Vw1 and Vw2 that have passed through the wide-angle optical system (first optical system 21), and the subject motion vectors Vt1 and Vt2 in the telephoto image.
- Pt1 and Pt2 which are motion vectors due to the light beam that has passed through the telephoto optical system (second optical system 22).
- the probabilities Pw1 and Pt1 can be calculated based on the luminance signal at the feature point Qw1 in the wide-angle image and the luminance signal at the feature point Qt1 in the telephoto image corresponding to the feature point Qw1.
- the probabilities Pw2 and Pt2 can be calculated based on the luminance signal at the feature point Qw2 in the wide-angle image and the luminance signal at the feature point Qt2 in the telephoto image corresponding to the feature point Qw2.
- step S16 When the calculation of the probability in step S14 ends, the process proceeds to step S16 to extract a true motion vector (motion vector extraction step).
- step S16 will be described in detail with reference to FIG.
- a motion vector candidate list is created in step S22.
- vectors having the same direction at the same position are extracted from the motion vector of the wide-angle image (Vw1, Vw2 in the example of FIG. 15) and the motion vector of the telephoto image (Vt1, Vt2). create.
- Vw1, Vt1 and Vw2, Vt2 are listed.
- the probabilities are compared among the motion vectors listed in step S24. Specifically, it is determined whether “the probability of the motion vector in the wide-angle image is higher than the probability of the motion vector in the telephoto image corresponding to the motion vector”. In the example of FIG. 15, the probability Pw1 for the motion vector Vw1 is compared with the probability Pt1 for the motion vector Vt1.
- step S24 If the determination in step S24 is affirmative (the determination result is YES), the process proceeds to step S26, and the motion vector of the wide-angle image is extracted as a true motion vector. If the determination is negative (the determination result is NO). Proceeding to step S28, the motion vector of the telephoto image is extracted as a true motion vector.
- the determination in step S24 since Pw1> Pt1, the determination in step S24 is affirmed, and the motion vector Vt1 is determined to be a false motion vector due to interference from the first optical system 21 to the second optical system 22, and the motion vector Vw1 is extracted as a true motion vector. Since Pw2 ⁇ Pt2, the motion vector Vw2 is determined to be a false motion vector due to interference from the second optical system 22 to the first optical system 21, and the motion vector Vt2 is extracted as a true motion vector.
- the true motion vector can be extracted by repeating the processing from step S22 to step S28.
- the process returns to the flowchart of FIG. 13 and proceeds to step S18.
- step S18 the motion vector, the true motion vector, and the probability are displayed on the display unit 41 in association with the feature points and recorded on the recording unit 39.
- the information is displayed as shown in FIG. 15 and recorded.
- the motion vectors Vw2 and Vt1 and the true motion vectors Vw1 and Vt2 are displayed with thicknesses corresponding to the probabilities Pw2, Pt1, Pw1, and Pt2 with the start points as the feature points Qw2, Qt1, Qw1, and Qt2. Yes.
- the color of the motion vector or the true motion vector may be changed according to the probability (for example, the high probability is blue and the low one is red), or the brightness is changed (for example, You may make it brighten the thing with high probability. Moreover, you may display the character, figure, symbol, etc. which represent probability.
- step S18 the process proceeds to step S20, and the imaging unit 10 is rotated based on the direction and magnitude of the true motion vectors Vw1 and Vt2 (imaging unit rotation process). Repeat the process. As a result, the subject can be continuously tracked and photographed.
- step S20 if the subject detected in the wide-angle image is not detected in the telephoto image, the imaging unit 10 may be rotated by the pan / tilt device 50 as necessary.
- the true motion vector is extracted based on the probability, so that the movement of the subject can be grasped even if there is interference, and the interference can be easily dealt with. Can do. Further, since the imaging unit 10 is rotated based on the true motion vectors Vw1 and Vt2, the subject can be continuously tracked even if there is interference.
- the imaging device 30 according to the first embodiment can be installed in a building or the like and used as a monitoring camera, or can be mounted on a moving body such as a vehicle and used as an in-vehicle camera.
- the number of subjects is not limited to one. If a plurality of subjects are detected, each subject is true. It is possible to perform processing such as motion vector extraction.
- processing such as motion vector extraction.
- in order to grasp and continuously track the movement of a subject it is only necessary to extract a true motion vector, and it is not necessary to create an image from which interference is removed (an image as shown in FIG. 8). Note that it is not necessary to process the image into an image as shown in FIG.
- FIG. 16 is a cross-sectional view illustrating an imaging unit 61 according to the second embodiment.
- the imaging unit 61 includes a photographing optical system 62 and a directivity sensor 67.
- the photographing optical system 62 is arranged on the same optical axis L2, and a central optical system 63 as a first optical system and an annular optical system 64 as a concentric second optical system at the periphery thereof. It consists of and.
- the central optical system 63 is a wide-angle optical system including a first lens 63 a, a second lens 63 b, a third lens 63 c, a fourth lens 63 d, and a common lens 65, and a microlens array that constitutes a directivity sensor 67.
- a wide-angle image is formed on 66.
- the annular optical system 64 is a telephoto optical system including a first lens 64a, a second lens 64b, a first reflection mirror 64c as a reflection optical system, a second reflection mirror 64d, and a common lens 65, and a microlens array.
- a telephoto image is formed on 66.
- the light beam incident through the first lens 64a and the second lens 64b is reflected twice by the first reflection mirror 64c and the second reflection mirror 64d, and then passes through the common lens 65.
- the light beam is folded back by the first reflecting mirror 64c and the second reflecting mirror 64d, thereby shortening the length in the optical axis direction of the telephoto optical system having a long focal length.
- the directivity sensor 67 includes a microlens array 66 and an image sensor 68.
- FIG. 17 is an enlarged view of a main part of the microlens array 66 and the image sensor 68.
- the microlens array 66 includes a plurality of microlenses (pupil imaging lenses) 66 a arranged in a two-dimensional manner, and the horizontal and vertical intervals between the microlenses are the photoelectric conversion elements of the image sensor 68. This corresponds to an interval of three light receiving cells 68a. That is, each microlens of the microlens array 66 is formed corresponding to the position of every two light receiving cells in each of the horizontal direction and the vertical direction.
- Each microlens 66a of the microlens array 66 has a circular central pupil image (first pupil image) 67a and an annular pupil image (first pupil image) corresponding to the central optical system 63 and the annular optical system 64 of the photographing optical system 62. 2b) 67b is formed on the light receiving cell 68a in the corresponding light receiving region of the image sensor 68.
- 3 ⁇ 3 light receiving cells 68a having a lattice shape (square lattice shape) are allocated per one microlens 66a of the microlens array 66.
- one microlens 66a and a light receiving cell group (3 ⁇ 3 light receiving cells 68a) corresponding to one microlens 66a are referred to as a unit block.
- the central pupil image 67a is formed only on the light receiving cell 68a at the center of the unit block, and the annular pupil image 67b is formed on eight light receiving cells 68a around the unit block.
- the imaging unit 61 configured as described above, it is possible to simultaneously capture a wide-angle image corresponding to the central optical system 63 and a telephoto image corresponding to the annular optical system 64 (an image with a shooting magnification larger than that of the wide-angle image). .
- the image sensor 68 is provided with a color filter array composed of R (red), G (green), and B (blue) color filters (optical filters) disposed on each light receiving cell.
- a color wide-angle image and a telephoto image are obtained by demosaicing (simultaneous processing) each color image (mosaic image) obtained corresponding to the color arrangement pattern of the color filter arrangement.
- the motion vector detection and the true motion vector extraction processing can be performed in the same manner as in the first embodiment described above.
- the interference can be easily dealt with, and the subject can be tracked continuously.
- FIG. 18 is a cross-sectional view illustrating the imaging unit 111 according to the third embodiment.
- the imaging unit 111 includes an imaging optical system 112 and a directivity sensor 67. Since the directivity sensor 67 is the same as that shown in FIGS. 16 and 17, the photographing optical system 112 will be described below.
- the photographing optical system 112 includes a central first optical system 113 (central optical system) and a second optical system 114 (peripheral annular optical system) disposed on the same optical axis L3. Yes.
- the central optical system 113 is a telephoto optical system including a first lens 113a, a second lens 113b, and a common lens 115, and has an angle of view ⁇ .
- the annular optical system 114 is a wide-angle optical system including a lens 114 a and a common lens 115, has an angle of view ⁇ ( ⁇ > ⁇ ), and is wider than the central optical system 113.
- the photographing optical system 112 does not use a reflecting mirror
- the central optical system 113 is a telephoto optical system
- the annular optical system 114 is a wide-angle optical system. There are some differences.
- the motion vector detection and the true motion vector extraction processing can be performed in the same manner as in the first and second embodiments described above. Also in this embodiment, even if there is interference, the movement of the subject can be grasped, the interference can be easily dealt with, and the subject can be tracked continuously.
- the first optical system is a circular optical system disposed in the central portion, and the second optical system is annularly disposed in the peripheral portion of the first optical system.
- the optical system is a system has been described.
- the first and second optical systems are perpendicular to the optical axis so that the first and second optical systems are respectively half-moon type optical systems. It may be arranged in different areas in the plane.
- the focal lengths (shooting angle of view) of the first and second optical systems are different from each other.
- different imaging characteristics in the first and second optical systems include focal lengths.
- the focusing distance and the frequency of transmitted light may be different.
- the optical axes of the optical systems (first and second optical systems) are common has been described.
- the optical axes of the optical systems may not be common. Good.
- part of the shooting angle of view of the first and second optical systems may overlap.
- the number of optical systems is not limited to two, and may be three or more.
- the first or second optical system may be configured by a plurality of optical systems.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
Abstract
混信に容易に対処することができ、また遮光帯を設ける等の、混信を防ぐための対策によるコストアップを抑えることができる撮像装置、撮像方法、プログラム、及び非一時的記録媒体を提供する。本発明の一の態様に係る撮像装置では、撮像部が異なる領域に設けられ、かつ互いに異なる撮像特性を有する第1光学系及び第2光学系からなる撮影光学系及び指向性センサを備え、第1,第2光学系を介して得られる第1,第2画像において、検出された被写体の動きベクトルである第1,第2の動きベクトルに応じて算出された動きベクトルの第1,第2の蓋然性に基づいて、前記第1,第2画像における第1,第2の真の動きベクトルを抽出する。
Description
本発明は撮像装置、撮像方法、プログラム、及び非一時的記録媒体に係り、特に撮像特性が異なる複数の画像を取得できる撮像装置、撮像方法、及びその撮像装置や撮像方法に関するプログラム並びに非一時的記録媒体に関する。
近年、領域により異なる撮像特性を有する光学系及び指向性センサを備える撮像系により、撮像特性が異なる複数の画像を同時に取得可能な撮像装置が知られている。このような撮像装置の用途として、被写体を追跡しつつ撮像する追跡カメラシステムが考えられる。このようなシステムでは撮像特性が異なる複数の画像を同時に取得できるため、追跡精度を向上させたり、追跡逸脱を起こりにくくしたりすることが可能である。
上述した撮像装置では、指向性センサにおいて異なる特性の信号成分(輝度信号)が混信して偽像が生じる可能性がある。一般に画像情報を解析して注目物体を追跡するシステムでは、画像から特徴点を抽出し、その動き情報(動きベクトル)を検出して追跡に利用するため、取得した画像に上述のような偽像が存在すると、偽像の動きを真の像の動きとして誤認識してしまうおそれがある。
また、動き情報(動きベクトル)を検出するアルゴリズムを高性能・高感度にするほど、微弱な輝度信号の混信による偽像でも検出してしまうようになり、被写体の動きを検出する際の影響が大きくなる。
上述した撮像系を備える撮像装置において、混信による影響を防止あるいは低下させるための技術が知られている。例えば特許文献1に記載の撮像装置では、混信による影響を画像処理で除去することが記載されている。また特許文献2に記載の撮像装置では、撮影レンズの表面に遮光帯を形成して焦点領域を分離することにより、画像処理なしでクロストーク(混信)を防止するようにしている。
しかしながら特許文献1や特許文献2のような従来の技術では、混信による影響を除去する度合いを高めようとするとレンズやセンサの加工・製造コストが高くなったり、撮像装置における画像処理の負荷が高くなったりしてしまう上に、混信を完全に除去しきれるものではない。その結果、従来の技術では、上述のように混信に対処して被写体の動きを正しく把握することが困難であった。
本発明はこのような事情に鑑みてなされたもので、混信に容易に対処できる撮像装置、撮像方法、及びそのような撮像装置や撮像方法に関するプログラム並びに非一時的記録媒体を提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る撮像装置は、それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第1光学系及び第2光学系からなる撮影光学系と、2次元状に配列された光電変換素子により構成された複数の画素を備え、第1光学系及び第2光学系を介して入射する光束をそれぞれ瞳分割して複数の画素により選択的に受光する指向性センサと、を有する撮像部と、第1光学系を介して得られる第1画像の画像信号と第2光学系を介して得られる第2画像の画像信号とを指向性センサから取得する画像読み出し部と、第1画像における被写体の動きベクトルである第1の動きベクトルと、第2画像における被写体の動きベクトルである第2の動きベクトルと、を検出する動きベクトル検出部と、第1の動きベクトルが第1光学系を通過した光束による動きベクトルである蓋然性を示す第1の蓋然性と、第2の動きベクトルが第2光学系を通過した光束による動きベクトルである蓋然性を示す第2の蓋然性と、を算出する蓋然性算出部と、第1の動きベクトルと、第2の動きベクトルと、第1の蓋然性と、第2の蓋然性と、に基づいて、第1画像における第1光学系を通過した光束による動きベクトルである第1の真の動きベクトルと、第2画像における第2光学系を通過した光束による動きベクトルである第2の真の動きベクトルと、を抽出する動きベクトル抽出部と、を備える。
第1の態様に係る撮像装置では、撮像部が第1,第2光学系及び指向性センサを備えるため、被写体の真の動きベクトルに加えて、混信による偽の動きベクトルが検出される場合、第1,第2の動きベクトルによる第1,第2の蓋然性に基づいて、第1,第2の真の動きベクトルを抽出する。このため、混信があっても真の動きベクトルを抽出して被写体の動きを正しく把握することができる。また、遮光帯を設ける等、混信を防ぐための対策によるコストアップを抑えることができる。このように、第1の態様に係る撮像装置では混信に容易に対処することができる。
なお第1の態様において、「蓋然性」とは動きベクトル検出の基となる輝度信号の強さを反映したものであり、動きベクトルが検出される特徴点の輝度差を用いて定量化することができるが、色差の大きさや、近くの特徴点同士の密度などに基づいて定量化してもよい。
なお第1の態様及び以下の各態様において、光学系の「撮像特性が異なる」とは、広角光学系と望遠光学系のようにレンズの焦点距離(撮影画角)が異なる場合や、合焦距離が異なる場合、可視光と近赤外のように透過光の波長が異なる場合を含む。また第1の態様において、第1,第2光学系は光軸が同一でなくてもよい。
第2の態様に係る撮像装置は第1の態様において、第1光学系及び第2光学系は、一方が広角光学系であり、他方が広角光学系と共通の光軸を有する望遠光学系である。第2の態様は、本発明における光学系の構成の一態様であり、撮影画角の中心が一致した広角画像及び望遠画像を取得できる。
第3の態様に係る撮像装置は第1または第2の態様において、動きベクトル検出部は、連続して取得した複数の第1画像から被写体の第1の特徴点を検出して、検出した第1の特徴点に基づいて、互いに大きさが異なる複数の第1の動きベクトルを検出し、連続して取得した複数の第2画像から被写体の第2の特徴点を検出して、検出した第2の特徴点に基づいて、互いに大きさが異なる複数の第2の動きベクトルを検出する。
第3の態様において「大きさが異なる複数の動きベクトル」が生じることは、例えば第1,第2光学系がそれぞれ広角光学系と望遠光学系である場合、撮影倍率の相違によって、同一の被写体について真の動きベクトルの大きさと混信による動きベクトルの大きさとが異なる状況であると考えられる。なお第3の態様において、複数の第1,第2画像を「連続して取得する」とは、時間間隔をおいて順次画像を撮像し、複数の画像を取得することをいう。また、特徴点としては被写体のエッジやコーナー等、周囲の輝度変化が大きい点を検出することができるが、これらに限定されるものではない。
第4の態様に係る撮像装置は第3の態様において、蓋然性算出部は、複数の第1の動きベクトルのそれぞれについて第1の蓋然性を算出し、複数の第2の動きベクトルのそれぞれについて第2の蓋然性を算出する。第3の態様において「大きさが異なる複数の動きベクトル」を検出するため、第4の態様では検出された複数の動きベクトルのそれぞれについて蓋然性を算出する。
第5の態様に係る撮像装置は第3または第4の態様において、蓋然性算出部は、第1の特徴点における輝度信号と、第2の特徴点のうち第1の特徴点に対応する特徴点における輝度信号と、に基づいて、複数の第1の動きベクトルのそれぞれについて第1の蓋然性を算出し、複数の第2の動きベクトルのそれぞれについて第2の蓋然性を算出する。第5の態様は蓋然性算出の一態様であり、特徴点の輝度信号に基づいて第1,第2の蓋然性を算出する。
第6の態様に係る撮像装置は第1から第5の態様のいずれか1つにおいて、動きベクトル抽出部は、複数の第1の動きベクトルのうちの一の動きベクトルについての第1の蓋然性が、一の動きベクトルに対応する第2の動きベクトルについての第2の蓋然性よりも高い場合、一の動きベクトルに対応する第2の動きベクトルは第1光学系から第2光学系への混信に起因する動きベクトルであると判断して、一の動きベクトルを第1の真の動きベクトルとして抽出し、一の動きベクトルについての第1の蓋然性が、一の動きベクトルに対応する第2の動きベクトルについての第2の蓋然性以下である場合、一の動きベクトルは第2光学系から第1光学系への混信に起因する動きベクトルであると判断して、第2の動きベクトルを第2の真の動きベクトルとして抽出する。
第6の態様は、真の動きベクトル抽出するものである。複数の第1の動きベクトルのうちの一の動きベクトルについての第1の蓋然性が、一の動きベクトルに対応する第2の動きベクトルについての第2の蓋然性よりも高いことは、当該一の動きベクトルに対応する第2の動きベクトルの輝度信号が弱いことであり、当該第2の動きベクトルは混信により生じたものである可能性が高い。従って、第6の態様では、このような場合は第2の動きベクトルは混信によるものと判断して、一の動きベクトルを真の第1の動きベクトルとして抽出する。なお、真の第2の動きベクトルを抽出する場合も同様の判断に基づいて行うことができる。
第7の態様に係る撮像装置は第1から第6の態様のいずれか1つにおいて、撮像部を水平方向及び垂直方向に回動させるパン・チルト機構をさらに備え、パン・チルト機構は抽出した第1の真の動きベクトル及び第2の真の動きベクトルに基づいて撮像部を回動させる。第7の態様では、第1,第2の真の動きベクトルに基づいて撮像部を回動させることによって、混信による偽の動きベクトルがあっても被写体の動きに対応して追跡撮影することが可能である。
第8の態様に係る撮像装置は第7の態様において、パン・チルト機構は、第1画像において検出された被写体が第2画像においても検出されるように撮像部を回動させる。
第1,第2光学系の構成や画像中の被写体の位置及び大きさ等の条件によっては、第1画像において検出された被写体が第2画像において検出されない場合がある。第8の態様では、撮像部を回動させることによって、第1画像において検出された被写体が第2画像においても検出される。
第9の態様に係る撮像装置は第1から第8の態様のいずれか1つにおいて、撮影光学系は第1光学系が中央部に配置され、第2光学系が第1光学系の周辺部に環状に配置された撮影光学系である。第9の態様は第1,第2光学系の配置の一態様である。
第10の態様に係る撮像装置は第1から第9の態様のいずれか1つにおいて、第1画像、第1の動きベクトル、第1の蓋然性、及び第1の真の動きベクトルと、第2画像、第2の動きベクトル、第2の蓋然性、及び第2の真の動きベクトルと、を表示する表示部を備える。第10の態様では、撮像装置の使用者は動きベクトルや蓋然性、真の動きベクトルを視認可能である。なお、ベクトルや蓋然性を文字、図形、記号、及びそれらの組み合わせにより表示してよく、また表示の色は適宜設定してよい。
第11の態様に係る撮像装置は第10の態様において、表示部は、第1の蓋然性に応じて第1の動きベクトル及び第1の真の動きベクトルを表示し、第2の蓋然性に応じて第2の動きベクトル及び第2の真の動きベクトルを表示する。第11の態様によれば、抽出された真の動きベクトル及び蓋然性を容易に視認することができる。
第12の態様に係る撮像装置は第1から第11の態様のいずれか1つにおいて、第1画像、第1の動きベクトル、第1の蓋然性、及び第1の真の動きベクトルと、第2画像、第2の動きベクトル、第2の蓋然性、及び第2の真の動きベクトルと、を記録する記録部をさらに備える。複数のデータを適宜に関連づけて記録してもよい。
上述した目的を達成するため、本発明の第13の態様に係る撮像方法は、それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第1光学系及び第2光学系からなる撮影光学系と、2次元状に配列された光電変換素子により構成された複数の画素を備え、第1光学系及び第2光学系を介して入射する光束をそれぞれ瞳分割して複数の画素で選択的に受光する指向性センサと、を有する撮像部を備える撮像装置の撮像方法であって、第1光学系を介して得られる第1画像の画像信号と第2光学系を介して得られる第2画像の画像信号とを指向性センサから取得する画像読み出し工程と、第1画像における被写体の動きベクトルである第1の動きベクトルと、第2画像における被写体の動きベクトルである第2の動きベクトルと、を検出する動きベクトル検出工程と、第1の動きベクトルが第1光学系を通過した光束による動きベクトルである蓋然性を示す第1の蓋然性と、第2の動きベクトルが第2光学系を通過した光束による動きベクトルである蓋然性を示す第2の蓋然性と、を算出する蓋然性算出工程と、第1の動きベクトルと、第2の動きベクトルと、第1の蓋然性と、第2の蓋然性と、に基づいて、第1画像における第1光学系を通過した光束による動きベクトルである第1の真の動きベクトルと、第2画像における第2光学系を通過した光束による動きベクトルである第2の真の動きベクトルと、を抽出する動きベクトル抽出工程と、を含む。
第13の態様に係る撮像方法では、第1の態様と同様に混信があっても真の動きベクトルを抽出して被写体の動きを正しく把握することができ、また混信を防ぐための対策によるコストアップを抑えることができる。このように、第13の態様に係る撮像方法では混信に容易に対処することができる。
第14の態様に係る撮像方法は第13の態様において、第1光学系及び第2光学系は、一方が広角光学系であり、他方が広角光学系と共通の光軸を有する望遠光学系である。第14の態様は、第2の態様と同様に本発明における光学系の構成の一態様であり、画像の中心が一致した広角画像及び望遠画像を取得できる。
第15の態様に係る撮像方法は第13または第14の態様において、動きベクトル検出工程では、連続して取得した複数の第1画像から被写体の第1の特徴点を検出して、検出した第1の特徴点に基づいて、互いに大きさが異なる複数の第1の動きベクトルを検出し、連続して取得した複数の第2画像から被写体の第2の特徴点を検出して、検出した第2の特徴点に基づいて、互いに大きさが異なる複数の第2の動きベクトルを検出する。第15の態様では第3の態様と同様に、大きさが異なる複数の動きベクトルを検出する。
第16の態様に係る撮像方法は第15の態様において、蓋然性算出工程では、複数の第1の動きベクトルのそれぞれについて第1の蓋然性を算出し、複数の第2の動きベクトルのそれぞれについて第2の蓋然性を算出する。第16の態様では第4の態様と同様に、複数の動きベクトルのそれぞれについて蓋然性を算出する。
第17の態様に係る撮像方法は第15または第16の態様において、蓋然性算出工程では、第1の特徴点における輝度信号と、第2の特徴点のうち第1の特徴点に対応する特徴点における輝度信号と、に基づいて、複数の第1の動きベクトルのそれぞれについて第1の蓋然性を算出し、複数の第2の動きベクトルのそれぞれについて第2の蓋然性を算出する。第17の態様では、第5の態様と同様に特徴点の輝度信号に基づいて第1,第2の蓋然性を算出する。
第18の態様に係る撮像方法は第13から第17の態様のいずれか1つにおいて、動きベクトル抽出工程では、複数の第1の動きベクトルのうちの一の動きベクトルについての第1の蓋然性が、一の動きベクトルに対応する第2の動きベクトルについての第2の蓋然性よりも高い場合、一の動きベクトルに対応する第2の動きベクトルは第1光学系から第2光学系への混信に起因する動きベクトルであると判断して、一の動きベクトルを第1の真の動きベクトルとして抽出し、一の動きベクトルについての第1の蓋然性が、一の動きベクトルに対応する第2の動きベクトルについての第2の蓋然性以下である場合、一の動きベクトルは第2光学系から第1光学系への混信に起因する動きベクトルであると判断して、第2の動きベクトルを第2の真の動きベクトルとして抽出する。第18の態様は、第6の態様と同様に真の動きベクトル抽出するものである。
第19の態様に係る撮像方法は第13から第18の態様のいずれか1つにおいて、抽出した第1の真の動きベクトル及び第2の真の動きベクトルに基づいて撮像部を回動させる撮像部回動工程をさらに含み、撮像部回動工程により撮像部を回動させながら、画像読み出し工程と、動きベクトル検出工程と、蓋然性算出工程と、動きベクトル抽出工程と、を繰り返す。第19の態様では、撮像部回動工程により撮像部を回動させながら、画像読み出し工程と、動きベクトル検出工程と、蓋然性算出工程と、動きベクトル抽出工程と、を繰り返すことにより、被写体を連続して追跡し撮影することができる。
第20の態様に係る撮像方法は第19の態様において、撮像部回動工程では、第1画像において検出された被写体が第2画像においても検出されるように撮像部を回動させる。第20の態様では、第8の態様と同様に、第1画像において検出された被写体が第2画像においても検出されるように撮像部を回動させる。
本発明の第21の態様は、第13から第20の態様のいずれか1つに記載の撮像方法を撮像装置に実行させるプログラムである。第21の態様に係るプログラムは、ROM(Read Only Memory)やEEPROM(Electronically Erasable and Programmable Read Only Memory)のように撮像装置やレンズ装置の内部に組み込まれるメモリに記憶してもよいし、CD(Compact Disk)やDVD(Digital Versatile Disk)、BD(Blu-ray Disc)、ハードディスク、半導体メモリ等の各種光磁気記録媒体(非一時的記録媒体)に記録して用いてもよい。
本発明の第22の態様は、第21の態様に記載のプログラムのコンピュータ読み取り可能なコードが記録され、非一時的(non-transitory)記録媒体である。第22の態様に係る非一時的記録媒体の例としては、CDやDVD、BD、ハードディスク、半導体メモリ等の各種光磁気記録媒体を挙げることができる。
本発明の撮像装置、撮像方法、プログラム、及び非一時的記録媒体によれば、混信に容易に対処することができる。
以下、添付図面に従って本発明に係る撮像装置、撮像方法、プログラム、及び非一時的記録媒体の実施形態について説明する。
<撮像装置の構成>
図1は、本発明の一実施形態に係る撮像装置30を示す斜視図である。図1に示す撮像装置30では、ギア19を含む保持部18と、保持部18に取り付けられた撮像部10とが、装置本体15上に設けられる台座16に固定的に据え付けられている。撮像部10は、撮影光学系11及び指向性センサとして撮像素子24(図2~5参照)を備える。台座16は、装置本体15の垂直方向Zの軸を中心に回転自在に設けられており、パン・チルト機構52及びパン駆動部54(図6参照)により垂直方向Zの軸を中心にしたパン動作が行われる。ギア19は水平方向Xの軸と同軸上に設けられ、パン・チルト機構52及びチルト駆動部56(図6参照)からギア19を介して駆動力が伝達されることにより、撮像部10が上下方向に回動させられてチルト動作が行われる。撮像部10、ギア19を含む保持部18及び台座16は、防塵及び防滴用のドームカバー17によって覆われている。
図1は、本発明の一実施形態に係る撮像装置30を示す斜視図である。図1に示す撮像装置30では、ギア19を含む保持部18と、保持部18に取り付けられた撮像部10とが、装置本体15上に設けられる台座16に固定的に据え付けられている。撮像部10は、撮影光学系11及び指向性センサとして撮像素子24(図2~5参照)を備える。台座16は、装置本体15の垂直方向Zの軸を中心に回転自在に設けられており、パン・チルト機構52及びパン駆動部54(図6参照)により垂直方向Zの軸を中心にしたパン動作が行われる。ギア19は水平方向Xの軸と同軸上に設けられ、パン・チルト機構52及びチルト駆動部56(図6参照)からギア19を介して駆動力が伝達されることにより、撮像部10が上下方向に回動させられてチルト動作が行われる。撮像部10、ギア19を含む保持部18及び台座16は、防塵及び防滴用のドームカバー17によって覆われている。
<撮像部の構成>
図2は、撮影光学系11及び撮像素子24の断面構成を示す図である。
図2は、撮影光学系11及び撮像素子24の断面構成を示す図である。
撮影光学系11は、互に異なる特性を有する第1光学系21及び第2光学系22を含む。特に本実施形態では、一例として、焦点距離の異なる光学系によって第1光学系21及び第2光学系22が構成される。すなわち、本実施形態の撮影光学系11は、「広角画像撮影レンズ群」によって構成される第1光学系21と、「望遠画像撮影レンズ群」によって構成される第2光学系22とを含み、撮像素子24によって広角画像及び望遠画像を同時に撮影することができる。
図2に示す第1光学系21は、同一の光軸L上に配置される第1広角用レンズ21a、第2広角用レンズ21b、第3広角用レンズ21c、第4広角用レンズ21d及び共通レンズ23を含む。一方、第2光学系22は、第1望遠用レンズ22a、第1望遠用反射ミラー22cが設けられる第1望遠用反射体22b、第2望遠用反射ミラー22eが設けられる第2望遠用反射体22d、及び共通レンズ23を含む。本例の第1光学系21(特に第1広角用レンズ21a、第2広角用レンズ21b、第3広角用レンズ21c及び第4広角用レンズ21d)は、中央光学系を形成する。一方、本例の第2光学系22(特に第1望遠用レンズ22a、第1望遠用反射体22b、第1望遠用反射ミラー22c、第2望遠用反射体22d及び第2望遠用反射ミラー22e)は、第1光学系21が形成する中央光学系の周辺に設けられ、第1光学系21が形成する中央光学系とともに同心円を形成する。なお共通レンズ23は、光軸L上に配置され、第1光学系21と第2光学系22との間で共用される。
上記したように撮影光学系11は、共通の光軸Lを有し、相互に異なる焦点距離及び撮影画角を有する第1光学系21及び第2光学系22を含む。
撮像素子24は、光軸Lと垂直を形成する方向において、指向性センサとして複数の受光センサ25が2次元的に配置されることで構成される。特に本実施形態の撮像素子24は、第1光学系21を介して入射する広角画像光と第2光学系22を介して入射する望遠画像光とを同時に受光し、第1画像(ここでは、広角画像)を生成するための第1画像の画像信号(“第1画像信号”ともいう)と第2画像(ここでは、望遠画像)を生成するための第2画像の画像信号(“第2画像信号”ともいう)とを出力可能な指向性センサを構成する。すなわち、本実施形態の撮像素子24は、第1光学系21及び第2光学系22の各々に対応して設けられる複数の受光センサ25であって、第1光学系21及び第2光学系22のうち対応する光学系を通過した光を瞳分割して選択的に受光する複数の受光センサ25を有する。
図3は、図2に示す撮像素子24の詳細な断面構成例を示す図である。
本例の撮像素子24を構成する複数の受光センサ25(光電変換素子)は、第1光学系21に対応する「広角画像用の第1の受光センサ25a」と、第2光学系22に対応する「望遠画像用の第2の受光センサ25b」とを含み、これらの第1の受光センサ25a及び第2の受光センサ25bが2次元的に交互に配置されて、撮像素子24の画素を構成する。撮像素子24に含まれる複数の第1の受光センサ25aは、「第1光学系21を通過した光を選択的に受光する第1センサ群24a」を構成し、広角画像を生成するための撮像信号を出力する。また撮像素子24に含まれる複数の第2の受光センサ25bは、「第2光学系22を通過した光を選択的に受光する第2センサ群24b」を構成し、望遠画像を生成するための撮像信号を出力する。このように本例の撮像素子24は、第1光学系21に対応する第1センサ群24aと第2光学系22に対応する第2センサ群24bとを含む。
第1の受光センサ25a及び第2の受光センサ25bの各々は、マイクロレンズ26、フォトダイオード29、及びマイクロレンズ26とフォトダイオード29とが配置される中間層27を有する。中間層27には遮光マスク28が設けられており、第1の受光センサ25aにおいてフォトダイオード29の受光面の周辺部に遮光マスク28が配置され、第2の受光センサ25bにおいてフォトダイオード29の受光面の中央部に遮光マスク28が配置される。遮光マスク28の配置は、第1光学系21及び第2光学系22のうちのいずれに対応するかに応じて決定され、各遮光マスク28は、対応しない光学系からの光をブロックする一方で対応する光学系からの光をブロックすることなくフォトダイオード29に受光させる。
本例では、遮光マスク28を含む受光センサ25によって、第1光学系21及び第2光学系22のうち対応する光学系を通過した光を瞳分割して選択的に受光する複数の受光センサが実現されている。本発明は、この方式に限定することがなく、他の手段によって瞳分割が実現されてもよい。例えば、マイクロレンズ26の前段(例えばマイクロレンズ26と共通レンズ23(図3参照)との間)に遮光マスク28が設けられてもよいし、遮光マスク28以外の遮光手段(例えば液晶シャッター等)が用いられてもよい。
なお、中間層27には遮光マスク28以外の部材が設けられてもよく、例えば配線或いは回路類が中間層27に設けられてもよい。
撮像素子24には、各受光センサ25に対し配設されたR(赤),G(緑),B(青)のカラーフィルタ(“光学フィルタ”ともいう、図示せず)により構成されるカラーフィルタ配列が設けられており、このカラーフィルタ配列の色配列パターンに対応して得られる各色の画像(すなわち、モザイク画像)を画像生成部32(図6参照)がデモザイク処理(“同時化処理”ともいう)することにより、カラーの広角画像及び望遠画像が得られる。
図4は、図2に示す撮影光学系11及び図3に示す撮像素子24において、第1光学系21及び第1センサ群24aに入射する広角画像光Wの光路を示す図である。本実施形態において広角画像光Wは、第1光学系21の第1広角用レンズ21a、第2広角用レンズ21b、第3広角用レンズ21c、第4広角用レンズ21d及び共通レンズ23を順次通過し、撮像素子24上の第1センサ群24aに広角画像が結像する。
図5は、図2に示す撮影光学系11及び図3に示す撮像素子24において、第2光学系22及び第2センサ群24bに入射する望遠画像光Tの光路を示す図である。本実施形態において望遠画像光Tは、第1望遠用レンズ22aを通過(透過)し、第1望遠用反射ミラー22c及び第2望遠用反射ミラー22eの各々により反射された後に共通レンズ23を通過し、撮像素子24上の第2センサ群24bに望遠画像が結像する。このように、第1望遠用反射ミラー22c及び第2望遠用反射ミラー22eの各々により反射されて光路が折り返されることにより、焦点距離の長い望遠画像撮影用の第2光学系22の光軸Lの方向において長さを短くすることができる。
図6は、本実施形態に係る撮像装置30の機能構成例を示すブロック図である。
本例の撮像装置30は、上述の第1光学系21及び第2光学系22を有する撮影光学系11及び第1センサ群24a及び第2センサ群24bを有する撮像素子24()の他に、画像生成部32、メインコントローラ37、画像処理部38、記録部39、表示コントローラ40、表示部41及びユーザ操作部42を有する。
画像生成部32(“画像読み出し部”ともいう)は、第1センサ群24aから出力される第1画像信号に基づいて第1画像の画像データ(“第1画像データ”ともいう)を生成し、第2センサ群24bから出力される第2画像信号に基づいて第2画像の画像データ(“第2画像データ”ともいう)を生成する。画像生成部32において生成された第1画像データ及び第2画像データは、例えば、後段に設けられる画像処理部38、記録部39及び表示コントローラ40や、画像生成部32を制御するメインコントローラ37に送られる。
動きベクトル検出部、蓋然性算出部、動きベクトル抽出部(図示せず)を含む画像処理部38蓋然性は、第1画像及び第2画像における被写体を検出し、検出結果に基づいて、被写体の動きベクトル検出、蓋然性算出、及び真の動きベクトル抽出を行う。画像処理部38による処理については、詳細を後述する。
記録部39は、第1,第2画像データと、動きベクトル、蓋然性、及び真の動きベクトルとを、対応付けて記録する。
表示コントローラ40は、送られてくる第1画像データ及び第2画像データに基づいて再現される第1画像の広角画像、第2画像の望遠画像、動きベクトル、蓋然性、真の動きベクトルを表示部41に表示させる。
パン・チルト装置(電動雲台)50は、図1に示した撮像部10を装置本体15に対して水平方向(すなわち、パン方向)及び垂直方向(すなわち、チルト方向)に回動させるパン・チルト機構52、パン駆動部54、及びチルト駆動部56等を備えている。パン・チルト機構52は、パン方向の回転角(パン角)の基準位置を検出するホームポジションセンサ、及びチルト方向の傾き角(すなわち、チルト角)の基準位置を検出するホームポジションセンサを有している。
パン駆動部54及びチルト駆動部56は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構52に駆動力を出力し、パン・チルト機構52を駆動する。
メインコントローラ37は、撮像部10、画像生成部32、画像処理部38、記録部39、表示コントローラ40、表示部41、ユーザ操作部42、パン・チルト装置50、及び撮像装置30を構成するその他の各部に接続されて、各部における処理機能を制御する。ユーザ操作部42は、ユーザによって操作されて各種の指示コマンドが入力され、ユーザ操作部42に入力された各種の指示コマンドはメインコントローラ37に送信され、メインコントローラ37は、ユーザ操作部42からの指示コマンドに基づいて撮像装置30の各部を制御することができる。
<広角画像及び望遠画像>
次に、広角画像及び望遠画像について説明する。図7(a),(b)は広角画像及び望遠画像の例を示す図である。図7(a)は広角画像であり、図7(b)は望遠画像である。なお図7(a),(b)では、広角画像と望遠画像との間で混信が生じていない理想的な広角画像と望遠画像場合の例を示している。
次に、広角画像及び望遠画像について説明する。図7(a),(b)は広角画像及び望遠画像の例を示す図である。図7(a)は広角画像であり、図7(b)は望遠画像である。なお図7(a),(b)では、広角画像と望遠画像との間で混信が生じていない理想的な広角画像と望遠画像場合の例を示している。
<混信がある場合の広角画像及び望遠画像>
一方、混信がある場合の広角画像及び望遠画像の例を図8(a),(b)に示す。図8(a)は広角画像であり、図8(b)は望遠画像である。図8(a)に示すように、広角画像中に望遠画像が混信していて、本来の被写体像(ここでは、画像中央の小さなトラック)の他に、混信による偽像(ここでは、トラックの大きな像)が画像内にうっすらと現れている。一方図8(b)に示すように、望遠画像中にも広角画像が混信していて、本来の被写体(ここでは、画像中央の大きなトラック)の他に、混信による偽像(ここでは、トラックの小さな像)が画像中央にうっすらと現れている。以下に示す真の動きベクトル抽出は、このような状況を例として説明する。
一方、混信がある場合の広角画像及び望遠画像の例を図8(a),(b)に示す。図8(a)は広角画像であり、図8(b)は望遠画像である。図8(a)に示すように、広角画像中に望遠画像が混信していて、本来の被写体像(ここでは、画像中央の小さなトラック)の他に、混信による偽像(ここでは、トラックの大きな像)が画像内にうっすらと現れている。一方図8(b)に示すように、望遠画像中にも広角画像が混信していて、本来の被写体(ここでは、画像中央の大きなトラック)の他に、混信による偽像(ここでは、トラックの小さな像)が画像中央にうっすらと現れている。以下に示す真の動きベクトル抽出は、このような状況を例として説明する。
<蓋然性に基づく真の動きベクトル抽出(その1)>
蓋然性に基づく真の動きベクトル抽出について、まず概念的に説明する。なおここでは、説明を簡単にするため、被写体としては図7,8におけるトラックのみを考慮し、このトラックが図の左から右に走っているとしている。
蓋然性に基づく真の動きベクトル抽出について、まず概念的に説明する。なおここでは、説明を簡単にするため、被写体としては図7,8におけるトラックのみを考慮し、このトラックが図の左から右に走っているとしている。
図9(a)は、広角画像中の被写体像の輪郭線を示す図であり(説明の都合上、望遠画像の混信による被写体像は図示していない)、被写体の輪郭線と、輪郭線上に存在する特徴点について検出された第1の動きベクトル(図中の矢印)と、を示している。各動きベクトルの始点は特徴点としている。なおここでは、動きベクトルの「蓋然性」を、動きベクトルの太さで示している。ここで「蓋然性」とは動きベクトル検出の基となる輝度信号の強さを反映したものであり、動きベクトルが検出される特徴点の輝度差を用いて定量化することができるが、色差の大きさや、近くの特徴点同士の密度などに基づいて定量化してもよい。
図9(b)は、広角画像の被写体像が望遠画像中に混信した様子を示す図である(説明の都合上、望遠画像における真の被写体像は図示していない)。図9(b)における被写体像は混信による像であり輝度が低いため、「蓋然性」を示す動きベクトルの太さも図9(a)に示す動きベクトルより細くなっている。
本実施形態では、第1光学系21と第2光学系22とは共に光軸がLで共通なので、図9(b)における混信による被写体の偽像の位置は図9(a)における被写体像と同位置となる。そこで、図9(a)の広角画像と図9(b)の望遠画像とを比較し、これら画像中の同じ位置に同じ向きと同じ大きさを持つ動きベクトルがあった場合は、蓋然性の低い方の動きベクトルは混信による偽の動きベクトルであると判断する。このようにして真の動きベクトルのみを抽出した結果を示すのが図10(a),(b)である。
図10(a)は、図9(a)の広角画像から抽出した真の動きベクトルを示す図である。なお図9,10に示す例では広角画像中の被写体と広角画像から望遠画像の混信のみについて説明しているので、図10(b)に示すように、図9(b)の望遠画像(図示せず)からは広角画像に対応する真の動きベクトルは抽出されていない。
<蓋然性に基づく真の動きベクトル抽出(その2)>
次に、広角画像及び望遠画像に混信による偽像が生じている場合の、真の動きベクトル抽出について説明する。図11(a)は広角画像から抽出された被写体像(輪郭で表す)及び検出された動きベクトルを示す図であり、本来の被写体像(図中央の小さなトラック像)に加えて望遠画像の混信による偽の被写体像(大きなトラック像)が生じている様子を示している。即ち、図11(a)は図8(a)に対応した図である。一方図11(b)は望遠画像から抽出された被写体像(輪郭で表す)及び検出された動きベクトルを示す図であり、本来の被写体像(大きなトラック像)に加えて広角画像の混信による偽の被写体像(図中央の小さなトラック像)が生じている様子を示している。即ち、図11(b)は図8(b)に対応した図である。
次に、広角画像及び望遠画像に混信による偽像が生じている場合の、真の動きベクトル抽出について説明する。図11(a)は広角画像から抽出された被写体像(輪郭で表す)及び検出された動きベクトルを示す図であり、本来の被写体像(図中央の小さなトラック像)に加えて望遠画像の混信による偽の被写体像(大きなトラック像)が生じている様子を示している。即ち、図11(a)は図8(a)に対応した図である。一方図11(b)は望遠画像から抽出された被写体像(輪郭で表す)及び検出された動きベクトルを示す図であり、本来の被写体像(大きなトラック像)に加えて広角画像の混信による偽の被写体像(図中央の小さなトラック像)が生じている様子を示している。即ち、図11(b)は図8(b)に対応した図である。
なお図11においても、図9(a),(b)と同様に動きベクトルの「蓋然性」をベクトルの太さで図示している。
図11(a),(b)に示す場合も、図9(a),(b)の場合と同様にして、画像中の同じ位置に同じ向きと同じ大きさを持つ動きベクトルがあった場合は、蓋然性の低い方の動きベクトルは混信による偽の動きベクトルであると判断して、真の動きベクトルを抽出する。そのようにして抽出した動きベクトルを示すのが図12(a),(b)である。図12(a)は広角画像から抽出された真の動きベクトルを示し、図12(b)は望遠画像から抽出された真の動きベクトルを示す。
<真の動きベクトル抽出及び被写体追跡>
次に、撮像装置30における真の動きベクトル抽出及び被写体追跡の処理について、詳細に説明する。図13は、真の動きベクトル抽出処理を示すフローチャートである。なお、このような処理を行うプログラムは例えばメインコントローラ37や記録部39に記憶しておくことができ、また当該プログラムのコンピュータ読み取り可能なコードをCDやDVD、BD、ハードディスク、半導体メモリ等の非一時的(non-transitory)記録媒体に記録して用いるようにしてもよい。
次に、撮像装置30における真の動きベクトル抽出及び被写体追跡の処理について、詳細に説明する。図13は、真の動きベクトル抽出処理を示すフローチャートである。なお、このような処理を行うプログラムは例えばメインコントローラ37や記録部39に記憶しておくことができ、また当該プログラムのコンピュータ読み取り可能なコードをCDやDVD、BD、ハードディスク、半導体メモリ等の非一時的(non-transitory)記録媒体に記録して用いるようにしてもよい。
まず画像生成部32(図6参照)は、第1画像の広角画像を示す画像信号と第2画像の望遠画像を示す画像信号とを、撮像素子24から取得し、広角画像及び望遠画像を生成する(ステップS10;画像読み出し工程)。次にステップS12に進んで、広角画像及び望遠画像のそれぞれについて、被写体の動きベクトルを検出する(動きベクトル検出工程)。なお、これらの処理において広角画像で検出された被写体が望遠画像で検出されない場合は、必要に応じパン・チルト装置50により撮像部10を回動させてもよい。
ステップS12の動きベクトル検出工程における広角画像からの動きベクトル検出について説明する。まず、時間間隔を空けて複数の広角画像を取得し、それら複数の広角画像(第1画像)のそれぞれにおいて被写体の特徴点(第1の特徴点)を検出する。そして、対応する特徴点の差分に基づいて、広角画像における動きベクトル(第1の動きベクトル)を検出する。同様に、時間間隔を空けて取得した複数の望遠画像(第2画像)から望遠画像における被写体の特徴点(第2の特徴点)を検出して、望遠画像における動きベクトル(第2の動きベクトル)を検出する。
本実施形態では、広角画像と望遠画像とで画角が異なるため被写体の大きさが異なり、また広角画像と望遠画像とで混信が生じているため、ステップS12の動きベクトル検出工程においては、第1,第2の動きベクトルとも、互いに大きさが異なる複数の動きベクトルが検出される。
次に、ステップS14へ進んで、動きベクトルの蓋然性を算出する(蓋然性算出工程)。ここでは説明を簡単にするため、図15に示すように広角画像(図15(a))及び望遠画像(図15(b))のそれぞれにおいて2つの動きベクトルが検出された場合について説明する。なお、図15中の記号の意味は以下の通りである。
Qw1,Qw2:広角画像における特徴点(第1の特徴点)
Vw1,Vw2:特徴点Qw1,Qw2についての動きベクトル(第1の動きベクトル)
Qt1,Qt2:望遠画像における特徴点(第2の特徴点)
Vt1,Vt2:特徴点Qt1,Qt2についての動きベクトル(第2の動きベクトル)
動きベクトルVw1,Vw2が広角光学系を通過した光束による動きベクトルであり、対応する蓋然性である第1の蓋然性をそれぞれPw1,Pw2とし、動きベクトルVt1,Vt2が望遠光学系を通過した光束による動きベクトルであり、対応する蓋然性である第2の蓋然性をそれぞれPt1,Pt2とする。
Vw1,Vw2:特徴点Qw1,Qw2についての動きベクトル(第1の動きベクトル)
Qt1,Qt2:望遠画像における特徴点(第2の特徴点)
Vt1,Vt2:特徴点Qt1,Qt2についての動きベクトル(第2の動きベクトル)
動きベクトルVw1,Vw2が広角光学系を通過した光束による動きベクトルであり、対応する蓋然性である第1の蓋然性をそれぞれPw1,Pw2とし、動きベクトルVt1,Vt2が望遠光学系を通過した光束による動きベクトルであり、対応する蓋然性である第2の蓋然性をそれぞれPt1,Pt2とする。
ステップS14では、広角画像における被写体の動きベクトルVw1,Vw2が広角光学系(第1光学系21)を通過した光束による動きベクトルである蓋然性Pw1,Pw2と、望遠画像における被写体の動きベクトルVt1,Vt2が望遠光学系(第2光学系22)を通過した光束による動きベクトルである蓋然性Pt1,Pt2と、を算出する。
例えば、蓋然性Pw1及びPt1は、広角画像中の特徴点Qw1における輝度信号と、特徴点Qw1に対応する望遠画像中の特徴点Qt1における輝度信号とに基づいて算出することができる。同様に、蓋然性Pw2及びPt2は、広角画像中の特徴点Qw2における輝度信号と、特徴点Qw2に対応する望遠画像中の特徴点Qt2における輝度信号とに基づいて算出することができる。
ステップS14における蓋然性の算出が終了すると、ステップS16に進んで真の動きベクトルを抽出する(動きベクトル抽出工程)。図14を参照しつつ、ステップS16の処理を詳細に説明する。
まず、ステップS22おいて動きベクトルの候補リストを作成する。この候補リストは、広角画像の動きベクトル(図15の例ではVw1,Vw2)及び望遠画像の動きベクトル(Vt1,Vt2)から、同じ位置において同じ向きを持つベクトルを抽出し、対にしたリストを作成する。図15の例では、(Vw1,Vt1)と(Vw2,Vt2)とがリスト化される。
ステップS22でリスト化された動きベクトルについては、いずれも蓋然性が算出されているので、ステップS24で、リスト化された動きベクトル同士で蓋然性を比較する。具体的には、「広角画像における動きベクトルについての蓋然性が、当該動きベクトルと対応する望遠画像における動きベクトルについての蓋然性よりも、高いか否か」を判断する。図15の例では、動きベクトルVw1についての蓋然性Pw1と、動きベクトルVt1についての蓋然性Pt1を比較する。
ステップS24での判断が肯定された場合(判断結果がYES)はステップS26へ進んで、広角画像の動きベクトルを真の動きベクトルとして抽出し、判断が否定された場合(判断結果がNO)はステップS28へ進んで、望遠画像の動きベクトルを真の動きベクトルとして抽出する。図15の例ではPw1>Pt1なのでステップS24での判断が肯定され、動きベクトルVt1は第1光学系21から第2光学系22への混信による偽の動きベクトルであると判断して、動きベクトルVw1を真の動きベクトルとして抽出する。また、Pw2≦Pt2なので、動きベクトルVw2は第2光学系22から第1光学系21への混信による偽の動きベクトルであると判断して、動きベクトルVt2を真の動きベクトルとして抽出する。
このようにステップS22からS28までの処理を繰り返すことにより、真の動きベクトルを抽出することができる。リスト化された全ての動きベクトルについて真の動きベクトルの抽出が終了したら、図13のフローチャートに戻ってステップS18へ進む。
ステップS18では、動きベクトル、真の動きベクトル、及び蓋然性を、特徴点と関連づけて表示部41に表示させるとともに、記録部39に記録する。例えば、図15に示すように表示し、この情報を記録する。なお図15では、動きベクトルVw2,Vt1及び真の動きベクトルVw1,Vt2を、始点を特徴点Qw2,Qt1,Qw1,Qt2とし、蓋然性Pw2,Pt1,Pw1,Pt2に応じた太さで表示している。
なお表示においては、蓋然性に応じて動きベクトルや真の動きベクトルの色を変える(例えば、蓋然性が高いものは青く、低いものは赤くする)ようにしてもよいし、明るさを変える(例えば、蓋然性が高いものほど明るくする)ようにしてもよい。また蓋然性を表す文字、図形、記号などを表示してもよい。
ステップS18での表示及び記録が終了すると、ステップS20に進んで真の動きベクトルVw1,Vt2の方向及び大きさに基づいて撮像部10を回動させ(撮像部回動工程)、ステップS10以降の処理を繰り返す。これにより被写体を連続して追跡及び撮影することができる。なおステップS20において、広角画像で検出された被写体が望遠画像で検出されない場合は、必要に応じパン・チルト装置50により撮像部10を回動させるようにしてもよい。
以上説明したように、第1の実施形態に係る撮像装置30では、蓋然性に基づいて真の動きベクトルを抽出するので、混信があっても被写体の動きを把握でき、混信に容易に対処することができる。また真の動きベクトルVw1,Vt2に基づいて撮像部10を回動させるので、混信があっても被写体を連続して追跡することができる。
第1の実施形態に係る撮像装置30は、建造物等に設置して監視カメラとして利用でき、また車両等の移動体に搭載して車載カメラとして利用することもできる。
なお、第1の実施形態では被写体が一つの例について説明しているが、本発明において被写体の数は一に限定されるものではなく、複数の被写体が検出された場合はそれぞれの被写体について真の動きベクトル抽出等の処理を行うことができる。また第1の実施形態において、被写体の動きを把握し連続して追跡するには、真の動きベクトルを抽出すればよく、混信を除去した画像を作成する必要はない(図8のような画像を画像処理して図7のような画像にする必要はない)ことに留意すべきである。
<撮像部の第2の実施形態>
次に、本発明における撮像部の第2の実施形態について説明する。図16は、第2の実施形態に係る撮像部61を示す断面図である。
次に、本発明における撮像部の第2の実施形態について説明する。図16は、第2の実施形態に係る撮像部61を示す断面図である。
図16に示すように、第2の実施形態に係る撮像部61は、撮影光学系62と指向性センサ67とから構成されている。
<撮影光学系>
撮影光学系62は、それぞれ同一の光軸L2上に配置された、第1光学系としての中央部の中央光学系63と、その周辺部の同心円状の第2光学系としての環状光学系64とから構成されている。
撮影光学系62は、それぞれ同一の光軸L2上に配置された、第1光学系としての中央部の中央光学系63と、その周辺部の同心円状の第2光学系としての環状光学系64とから構成されている。
中央光学系63は、第1レンズ63a、第2レンズ63b、第3レンズ63c、第4レンズ63d、及び共通レンズ65から構成された広角光学系であり、指向性センサ67を構成するマイクロレンズアレイ66上に広角画像を結像させる。
環状光学系64は、第1レンズ64a、第2レンズ64b、反射光学系としての第1反射ミラー64c、第2反射ミラー64d、及び共通レンズ65から構成された望遠光学系であり、マイクロレンズアレイ66上に望遠画像を結像させる。第1レンズ64a、及び第2レンズ64bを介して入射した光束は、第1反射ミラー64c及び第2反射ミラー64dにより2回反射された後、共通レンズ65を通過する。第1反射ミラー64c及び第2反射ミラー64dにより光束が折り返されることにより、焦点距離の長い望遠光学系の光軸方向の長さを短くしている。
<指向性センサ>
指向性センサ67は、マイクロレンズアレイ66とイメージセンサ68とから構成されている。
指向性センサ67は、マイクロレンズアレイ66とイメージセンサ68とから構成されている。
図17は、マイクロレンズアレイ66及びイメージセンサ68の要部拡大図である。
マイクロレンズアレイ66は、複数のマイクロレンズ(瞳結像レンズ)66aが2次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ68の光電変換素子である受光セル68aの3つ分の間隔に対応している。即ち、マイクロレンズアレイ66の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、2つ置きの受光セルの位置に対応して形成されたものが使用される。
また、マイクロレンズアレイ66の各マイクロレンズ66aは、撮影光学系62の中央光学系63及び環状光学系64に対応する、円形の中央瞳像(第1の瞳像)67a及び環状瞳像(第2の瞳像)67bを、イメージセンサ68の対応する受光領域の受光セル68a上に結像させる。
図17に示すマイクロレンズアレイ66及びイメージセンサ68によれば、マイクロレンズアレイ66の1マイクロレンズ66a当たりに付き、格子状(正方格子状)の3×3個の受光セル68aが割り付けられている。以下、1つのマイクロレンズ66a及び1つのマイクロレンズ66aに対応する受光セル群(3×3個の受光セル68a)を単位ブロックという。
中央瞳像67aは、単位ブロックの中央の受光セル68aのみに結像し、環状瞳像67bは、単位ブロックの周囲の8個の受光セル68aに結像する。
上述した構成の撮像部61によれば、中央光学系63に対応する広角画像と、環状光学系64に対応する望遠画像(撮影倍率が広角画像よりも大きい画像)とを同時に撮像することができる。
なお、イメージセンサ68には、各受光セル上に対して配設されたR(赤),G(緑),B(青)のカラーフィルタ(光学フィルタ)により構成されるカラーフィルタ配列が設けられており、このカラーフィルタ配列の色配列パターンに対応して得られる各色の画像(モザイク画像)をデモザイク処理(同時化処理)することにより、カラーの広角画像及び望遠画像が得られる。
なお、撮像部61により取得した広角画像及び望遠画像に関して、動きベクトルの検出や真の動きベクトルの抽出処理は上述した第1の実施形態と同様に行うことができる。これにより第2の実施形態においても、混信があっても被写体の動きを把握でき、混信に容易に対処することができるとともに、被写体を連続して追跡することができる。
<撮像部の第3の実施形態>
本発明における撮像部の第3の実施形態について説明する。図18は、第3の実施形態に係る撮像部111を示す断面図である。
本発明における撮像部の第3の実施形態について説明する。図18は、第3の実施形態に係る撮像部111を示す断面図である。
撮像部111は、撮影光学系112と、指向性センサ67とを備えている。なお、指向性センサ67は図16及び図17に示したものと同一であるため、以下、撮影光学系112について説明する。
撮影光学系112は、それぞれ同一の光軸L3上に配置された中央部の第1光学系113(中央光学系)とその第2光学系114(周辺部の環状光学系)とから構成されている。
中央光学系113は、第1レンズ113a、第2レンズ113b、及び共通レンズ115から構成された望遠光学系であり、画角αを有している。一方、環状光学系114は、レンズ114a及び共通レンズ115から構成された広角光学系であり、画角β(β>α)を有し、中央光学系113よりも広角である。
撮影光学系112は、図16に示した撮影光学系62と比較すると、反射ミラーを使用しておらず、また、中央光学系113が望遠光学系であり、環状光学系114が広角光学系である点で相違する。
なお、撮像部111により取得した広角画像及び望遠画像に関して、動きベクトルの検出や真の動きベクトルの抽出処理は上述した第1,第2の実施形態と同様に行うことができ、これにより第3の実施形態においても、混信があっても被写体の動きを把握でき、混信に容易に対処することができるとともに、被写体を連続して追跡することができる。
<その他>
以上説明した第1~第3の実施形態では、第1光学系が中央部に配置された円形の光学系であり第2光学系が第1光学系の周辺部に環状に配置された環状光学系である場合について説明したが、本発明における撮影光学系は、例えば、第1,第2光学系をそれぞれ半月型の光学系とするように、第1,第2光学系が光軸に垂直な面内の異なる領域に配置されてもよい。
以上説明した第1~第3の実施形態では、第1光学系が中央部に配置された円形の光学系であり第2光学系が第1光学系の周辺部に環状に配置された環状光学系である場合について説明したが、本発明における撮影光学系は、例えば、第1,第2光学系をそれぞれ半月型の光学系とするように、第1,第2光学系が光軸に垂直な面内の異なる領域に配置されてもよい。
また、第1~第3の実施形態では第1,第2光学系の焦点距離(撮影画角)が互いに異なる場合について説明したが、第1,第2光学系において異なる撮像特性としては焦点距離(撮影画角)に限らず、合焦距離や透過光の周波数が異なっていてもよい。
また、第1~第3の実施形態では、光学系(第1,第2光学系)の光軸が共通である場合について説明したが、本発明において光学系の光軸は共通でなくてもよい。第1,第2光学系の光軸がゼロでない角度を成している場合は、第1,第2光学系の撮影画角の一部が重なっているようにしてもよい。
また、本発明において光学系の数は2に限らず、3以上でもよい。3以上の光学系を用いる場合、第1あるいは第2光学系がさらに複数の光学系により構成されるようにしてもよい。
以上で本発明の例に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10,61,111…撮像部、11,62,112…撮影光学系、21…第1光学系、22…第2光学系、24…撮像素子、24a…第1センサ群、24b…第2センサ群、30…撮像装置、32…画像生成部、38…画像処理部、39…記録部、40…表示コントローラ、41…表示部、50…パン・チルト装置、67…指向性センサ、Qw1,Qw2,Qt1,Qt2…特徴点、Vw1,Vw2,Vt1,Vt2…動きベクトル
Claims (22)
- それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第1光学系及び第2光学系からなる撮影光学系と、2次元状に配列された光電変換素子により構成された複数の画素を備え、前記第1光学系及び前記第2光学系を介して入射する光束をそれぞれ瞳分割して前記複数の画素により選択的に受光する指向性センサと、を有する撮像部と、
前記第1光学系を介して得られる第1画像の画像信号と前記第2光学系を介して得られる第2画像の画像信号とを前記指向性センサから取得する画像読み出し部と、
前記第1画像における被写体の動きベクトルである第1の動きベクトルと、前記第2画像における前記被写体の動きベクトルである第2の動きベクトルと、を検出する動きベクトル検出部と、
前記第1の動きベクトルが前記第1光学系を通過した光束による動きベクトルである蓋然性を示す第1の蓋然性と、前記第2の動きベクトルが前記第2光学系を通過した光束による動きベクトルである蓋然性を示す第2の蓋然性と、を算出する蓋然性算出部と、
前記第1の動きベクトルと、前記第2の動きベクトルと、前記第1の蓋然性と、前記第2の蓋然性と、に基づいて、前記第1画像における前記第1光学系を通過した光束による動きベクトルである第1の真の動きベクトルと、前記第2画像における前記第2光学系を通過した光束による動きベクトルである第2の真の動きベクトルと、を抽出する動きベクトル抽出部と、
を備える撮像装置。 - 前記第1光学系及び前記第2光学系は、一方が広角光学系であり、他方が前記広角光学系と共通の光軸を有する望遠光学系である、請求項1に記載の撮像装置。
- 前記動きベクトル検出部は、
連続して取得した複数の前記第1画像から前記被写体の第1の特徴点を検出して、前記検出した第1の特徴点に基づいて、互いに大きさが異なる複数の前記第1の動きベクトルを検出し、
連続して取得した複数の前記第2画像から前記被写体の第2の特徴点を検出して、前記検出した第2の特徴点に基づいて、互いに大きさが異なる複数の前記第2の動きベクトルを検出する、
請求項1または2に記載の撮像装置。 - 前記蓋然性算出部は、前記複数の第1の動きベクトルのそれぞれについて前記第1の蓋然性を算出し、前記複数の第2の動きベクトルのそれぞれについて前記第2の蓋然性を算出する、請求項3に記載の撮像装置。
- 前記蓋然性算出部は、前記第1の特徴点における輝度信号と、前記第2の特徴点のうち前記第1の特徴点に対応する特徴点における輝度信号と、に基づいて、前記複数の第1の動きベクトルのそれぞれについて前記第1の蓋然性を算出し、前記複数の第2の動きベクトルのそれぞれについて前記第2の蓋然性を算出する請求項3または4に記載の撮像装置。
- 前記動きベクトル抽出部は、
前記複数の第1の動きベクトルのうちの一の動きベクトルについての前記第1の蓋然性が、前記一の動きベクトルに対応する前記第2の動きベクトルについての前記第2の蓋然性よりも高い場合は、前記一の動きベクトルに対応する前記第2の動きベクトルは前記第1光学系から前記第2光学系への混信に起因する動きベクトルであると判断して、前記一の動きベクトルを前記第1の真の動きベクトルとして抽出し、
前記一の動きベクトルについての前記第1の蓋然性が、前記一の動きベクトルに対応する前記第2の動きベクトルについての前記第2の蓋然性以下である場合、前記一の動きベクトルは前記第2光学系から前記第1光学系への混信に起因する動きベクトルであると判断して、前記第2の動きベクトルを前記第2の真の動きベクトルとして抽出する、
請求項1から5のいずれか1項に記載の撮像装置。 - 前記撮像部を水平方向及び垂直方向に回動させるパン・チルト機構をさらに備え、前記パン・チルト機構は前記抽出した前記第1の真の動きベクトル及び前記第2の真の動きベクトルに基づいて前記撮像部を回動させる、請求項1から6のいずれか1項に記載の撮像装置。
- 前記パン・チルト機構は、前記第1画像において検出された被写体が前記第2画像においても検出されるように前記撮像部を回動させる、請求項7に記載の撮像装置。
- 前記撮影光学系は前記第1光学系が中央部に配置され、前記第2光学系が前記第1光学系の周辺部に環状に配置された撮影光学系である、請求項1から8のいずれか1項に記載の撮像装置。
- 前記第1画像、前記第1の動きベクトル、前記第1の蓋然性、及び前記第1の真の動きベクトルと、前記第2画像、前記第2の動きベクトル、前記第2の蓋然性、及び前記第2の真の動きベクトルと、を表示する表示部を備える、請求項1から9のいずれか1項に記載の撮像装置。
- 前記表示部は、前記第1の蓋然性に応じて前記第1の動きベクトル及び前記第1の真の動きベクトルを表示し、前記第2の蓋然性に応じて前記第2の動きベクトル及び前記第2の真の動きベクトルを表示する、請求項10に記載の撮像装置。
- 前記第1画像、前記第1の動きベクトル、前記第1の蓋然性、及び前記第1の真の動きベクトルと、前記第2画像、前記第2の動きベクトル、前記第2の蓋然性、及び前記第2の真の動きベクトルと、を記録する記録部をさらに備える、請求項1から11のいずれか1項に記載の撮像装置。
- それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第1光学系及び第2光学系からなる撮影光学系と、2次元状に配列された光電変換素子により構成された複数の画素を備え、前記第1光学系及び前記第2光学系を介して入射する光束をそれぞれ瞳分割して前記複数の画素により選択的に受光する指向性センサと、を有する撮像部を備える撮像装置の撮像方法であって、
前記第1光学系を介して得られる第1画像の画像信号と前記第2光学系を介して得られる第2画像の画像信号とを前記指向性センサから取得する画像読み出し工程と、
前記第1画像における被写体の動きベクトルである第1の動きベクトルと、前記第2画像における前記被写体の動きベクトルである第2の動きベクトルと、を検出する動きベクトル検出工程と、
前記第1の動きベクトルが前記第1光学系を通過した光束による動きベクトルである蓋然性を示す第1の蓋然性と、前記第2の動きベクトルが前記第2光学系を通過した光束による動きベクトルである蓋然性を示す第2の蓋然性と、を算出する蓋然性算出工程と、
前記第1の動きベクトルと、前記第2の動きベクトルと、前記第1の蓋然性と、前記第2の蓋然性と、に基づいて、前記第1画像における前記第1光学系を通過した光束による動きベクトルである第1の真の動きベクトルと、前記第2画像における前記第2光学系を通過した光束による動きベクトルである第2の真の動きベクトルと、を抽出する動きベクトル抽出工程と、
を含む撮像方法。 - 前記第1光学系及び前記第2光学系は、一方が広角光学系であり、他方が前記広角光学系と共通の光軸を有する望遠光学系である、請求項13に記載の撮像方法。
- 前記動きベクトル検出工程では、
連続して取得した複数の前記第1画像から前記被写体の第1の特徴点を検出して、前記検出した第1の特徴点に基づいて、互いに大きさが異なる複数の前記第1の動きベクトルを検出し、
連続して取得した複数の前記第2画像から前記被写体の第2の特徴点を検出して、前記検出した第2の特徴点に基づいて、互いに大きさが異なる複数の前記第2の動きベクトルを検出する、
請求項13または14に記載の撮像方法。 - 前記蓋然性算出工程では、前記複数の第1の動きベクトルのそれぞれについて前記第1の蓋然性を算出し、前記複数の第2の動きベクトルのそれぞれについて前記第2の蓋然性を算出する、請求項15に記載の撮像方法。
- 前記蓋然性算出工程では、前記第1の特徴点における輝度信号と、前記第2の特徴点のうち前記第1の特徴点に対応する特徴点における輝度信号と、に基づいて、前記複数の第1の動きベクトルのそれぞれについて前記第1の蓋然性を算出し、前記複数の第2の動きベクトルのそれぞれについて前記第2の蓋然性を算出する請求項15または16に記載の撮像方法。
- 前記動きベクトル抽出工程では、
前記複数の第1の動きベクトルのうちの一の動きベクトルについての前記第1の蓋然性が、前記一の動きベクトルに対応する前記第2の動きベクトルについての前記第2の蓋然性よりも高いときは、前記一の動きベクトルに対応する前記第2の動きベクトルは前記第1光学系から前記第2光学系への混信に起因する動きベクトルであると判断して、前記一の動きベクトルを前記第1の真の動きベクトルとして抽出し、
前記一の動きベクトルについての前記第1の蓋然性が、前記一の動きベクトルに対応する前記第2の動きベクトルについての前記第2の蓋然性以下であるときは、前記一の動きベクトルは前記第2光学系から前記第1光学系への混信に起因する動きベクトルであると判断して、前記第2の動きベクトルを前記第2の真の動きベクトルとして抽出する、
請求項13から17のいずれか1項に記載の撮像方法。 - 前記抽出した前記第1の真の動きベクトル及び前記第2の真の動きベクトルに基づいて前記撮像部を回動させる撮像部回動工程をさらに含み、
前記撮像部回動工程により前記撮像部を回動させながら、前記画像読み出し工程と、前記動きベクトル検出工程と、前記蓋然性算出工程と、前記動きベクトル抽出工程と、を繰り返す請求項13から18のいずれか1項に記載の撮像方法。 - 前記撮像部回動工程では、前記第1画像において検出された被写体が前記第2画像においても検出されるように前記撮像部を回動させる請求項19に記載の撮像方法。
- 請求項13から20のいずれか1項に記載の撮像方法を撮像装置に実行させるプログラム。
- 請求項21に記載のプログラムのコンピュータ読み取り可能なコードが記録された、非一時的記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017535250A JP6442613B2 (ja) | 2015-08-19 | 2016-03-15 | 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 |
EP16836819.9A EP3340605B1 (en) | 2015-08-19 | 2016-03-15 | Imaging device, imaging method, program, and non-temporary recording medium |
CN201680046783.4A CN107925719B (zh) | 2015-08-19 | 2016-03-15 | 摄像装置、摄像方法、及非暂时性记录介质 |
US15/871,913 US10552963B2 (en) | 2015-08-19 | 2018-01-15 | Imaging device, imaging method, and non-transitory recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015161765 | 2015-08-19 | ||
JP2015-161765 | 2015-08-19 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/871,913 Continuation US10552963B2 (en) | 2015-08-19 | 2018-01-15 | Imaging device, imaging method, and non-transitory recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017029827A1 true WO2017029827A1 (ja) | 2017-02-23 |
Family
ID=58051559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/058054 WO2017029827A1 (ja) | 2015-08-19 | 2016-03-15 | 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10552963B2 (ja) |
EP (1) | EP3340605B1 (ja) |
JP (1) | JP6442613B2 (ja) |
CN (1) | CN107925719B (ja) |
WO (1) | WO2017029827A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023053770A1 (ja) * | 2021-09-30 | 2023-04-06 | 富士フイルム株式会社 | 情報処理装置、方法及びプログラム並びに撮像装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190327820A1 (en) * | 2018-04-18 | 2019-10-24 | Sportsbeams Lighting, Inc. | Method and apparatus for managing large area lighting |
US11381730B2 (en) * | 2020-06-25 | 2022-07-05 | Qualcomm Incorporated | Feature-based image autofocus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007306406A (ja) * | 2006-05-12 | 2007-11-22 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
WO2013146506A1 (ja) * | 2012-03-27 | 2013-10-03 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
WO2015093332A1 (ja) * | 2013-12-20 | 2015-06-25 | 富士フイルム株式会社 | 撮像モジュール及び撮像装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07105949B2 (ja) * | 1989-03-20 | 1995-11-13 | 松下電器産業株式会社 | 画像の動きベクトル検出装置および揺れ補正装置 |
US7893969B2 (en) * | 2006-07-25 | 2011-02-22 | Fujifilm Corporation | System for and method of controlling a parameter used for detecting an objective body in an image and computer program |
TWI347449B (en) * | 2006-09-07 | 2011-08-21 | Largan Precision Co Ltd | Optical lens assembly for taking image |
JP4926920B2 (ja) * | 2007-11-16 | 2012-05-09 | キヤノン株式会社 | 防振画像処理装置及び防振画像処理方法 |
JP2011048276A (ja) * | 2009-08-28 | 2011-03-10 | Fujifilm Corp | 立体撮像装置 |
JP5791241B2 (ja) * | 2010-07-16 | 2015-10-07 | キヤノン株式会社 | 画像処理方法、画像処理装置、およびプログラム |
CN102455490B (zh) * | 2010-10-28 | 2014-02-19 | 鸿富锦精密工业(深圳)有限公司 | 变焦镜头 |
WO2013024636A1 (ja) | 2011-08-16 | 2013-02-21 | 富士フイルム株式会社 | 撮像装置 |
JP5971216B2 (ja) * | 2013-09-20 | 2016-08-17 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2016
- 2016-03-15 EP EP16836819.9A patent/EP3340605B1/en active Active
- 2016-03-15 WO PCT/JP2016/058054 patent/WO2017029827A1/ja unknown
- 2016-03-15 CN CN201680046783.4A patent/CN107925719B/zh active Active
- 2016-03-15 JP JP2017535250A patent/JP6442613B2/ja active Active
-
2018
- 2018-01-15 US US15/871,913 patent/US10552963B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007306406A (ja) * | 2006-05-12 | 2007-11-22 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
WO2013146506A1 (ja) * | 2012-03-27 | 2013-10-03 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
WO2015093332A1 (ja) * | 2013-12-20 | 2015-06-25 | 富士フイルム株式会社 | 撮像モジュール及び撮像装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3340605A4 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023053770A1 (ja) * | 2021-09-30 | 2023-04-06 | 富士フイルム株式会社 | 情報処理装置、方法及びプログラム並びに撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US20180158195A1 (en) | 2018-06-07 |
JPWO2017029827A1 (ja) | 2018-01-18 |
JP6442613B2 (ja) | 2018-12-19 |
EP3340605B1 (en) | 2019-08-21 |
EP3340605A4 (en) | 2018-06-27 |
CN107925719B (zh) | 2020-05-08 |
EP3340605A1 (en) | 2018-06-27 |
US10552963B2 (en) | 2020-02-04 |
CN107925719A (zh) | 2018-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9924084B2 (en) | Auto-tracking imaging apparatus including wide-angle and telephoto optical systems | |
JP6302085B2 (ja) | 撮像装置及び対象物認識方法 | |
JP5264131B2 (ja) | 撮像装置 | |
US8736742B2 (en) | Image pickup apparatus that performs automatic focus control and control method for the image pickup apparatus | |
JP4823167B2 (ja) | 撮像装置 | |
US8723992B2 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
EP2690875A1 (en) | Color image sensor, imaging device, and control program for imaging device | |
JP6442613B2 (ja) | 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 | |
CN113115027A (zh) | 校准摄像头的方法和*** | |
JP2016046772A (ja) | 車載カメラ | |
JP2010210903A (ja) | 撮像装置 | |
JP6619513B2 (ja) | 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 | |
JP6190119B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2016048824A (ja) | 追尾装置、追尾システム、及び表示装置 | |
JP2016048282A (ja) | 撮像装置 | |
JP2016046771A (ja) | 撮像装置、撮像システム及び表示装置 | |
JP2016046774A (ja) | 撮像装置 | |
JP2016046773A (ja) | 撮像装置 | |
JP2001054122A (ja) | 全周囲観測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16836819 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017535250 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |