WO2017029827A1 - 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 - Google Patents

撮像装置、撮像方法、プログラム、及び非一時的記録媒体 Download PDF

Info

Publication number
WO2017029827A1
WO2017029827A1 PCT/JP2016/058054 JP2016058054W WO2017029827A1 WO 2017029827 A1 WO2017029827 A1 WO 2017029827A1 JP 2016058054 W JP2016058054 W JP 2016058054W WO 2017029827 A1 WO2017029827 A1 WO 2017029827A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
optical system
image
probability
imaging
Prior art date
Application number
PCT/JP2016/058054
Other languages
English (en)
French (fr)
Inventor
小野　修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2017535250A priority Critical patent/JP6442613B2/ja
Priority to EP16836819.9A priority patent/EP3340605B1/en
Priority to CN201680046783.4A priority patent/CN107925719B/zh
Publication of WO2017029827A1 publication Critical patent/WO2017029827A1/ja
Priority to US15/871,913 priority patent/US10552963B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Definitions

  • the present invention relates to an imaging apparatus, an imaging method, a program, and a non-temporary recording medium, and in particular, an imaging apparatus capable of acquiring a plurality of images having different imaging characteristics, an imaging method, a program related to the imaging apparatus and the imaging method, and a non-temporary recording medium.
  • the present invention relates to a recording medium.
  • an imaging apparatus capable of simultaneously acquiring a plurality of images having different imaging characteristics by an imaging system including an optical system having different imaging characteristics depending on a region and a directional sensor.
  • an imaging apparatus a tracking camera system that captures an image while tracking a subject can be considered.
  • a plurality of images having different imaging characteristics can be acquired simultaneously, so that tracking accuracy can be improved and tracking deviation can be made difficult to occur.
  • an imaging apparatus including the above-described imaging system
  • a technique for preventing or reducing the influence of interference is known.
  • the imaging apparatus described in Patent Document 1 describes that the influence of interference is removed by image processing.
  • crosstalk interference
  • crosstalk is prevented without image processing by forming a light-shielding band on the surface of the photographing lens and separating the focal region.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an imaging apparatus, an imaging method, a program related to such an imaging apparatus and an imaging method, and a non-temporary recording medium that can easily cope with interference.
  • an imaging apparatus includes a photographing optical system including a first optical system and a second optical system that are provided in different regions and have different imaging characteristics. It has a plurality of pixels composed of two-dimensionally arranged photoelectric conversion elements, and each incident light beam through the first optical system and the second optical system is divided into pupils and selectively received by the plurality of pixels.
  • a motion vector detection unit that detects an image reading unit that performs detection, a first motion vector that is a motion vector of the subject in the first image, and a second motion vector that is a motion vector of the subject in the second image;
  • the first probability indicating the probability that one motion vector is a motion vector due to a light beam that has passed through the first optical system, and the second probability that the second motion vector is a motion vector due to a light beam that has passed through the second optical system.
  • the first optical in the first image based on the probability calculation unit for calculating the probability of 2, the first motion vector, the second motion vector, the first probability, and the second probability.
  • a motion vector for extracting a first true motion vector that is a motion vector due to a light beam that has passed through the system and a second true motion vector that is a motion vector due to a light beam that has passed through the second optical system in the second image An extraction unit.
  • the imaging unit since the imaging unit includes the first and second optical systems and the directivity sensor, in addition to the true motion vector of the subject, when a false motion vector due to interference is detected, Based on the first and second probabilities of the first and second motion vectors, the first and second true motion vectors are extracted. For this reason, even if there is interference, a true motion vector can be extracted to correctly grasp the motion of the subject. Further, an increase in cost due to measures for preventing interference such as provision of a light shielding band can be suppressed. Thus, the imaging apparatus according to the first aspect can easily cope with interference.
  • “probability” reflects the intensity of the luminance signal that is the basis of motion vector detection, and can be quantified using the luminance difference of the feature point from which the motion vector is detected. However, it may be quantified based on the size of the color difference or the density of nearby feature points.
  • the imaging characteristics are different of the optical system means that the focal length (shooting angle of view) of the lens is different as in the wide-angle optical system and the telephoto optical system,
  • the case where the distance is different includes the case where the wavelength of transmitted light is different, such as visible light and near infrared.
  • the first and second optical systems may not have the same optical axis.
  • one of the first optical system and the second optical system is a wide-angle optical system, and the other is a telephoto optical system having a common optical axis with the wide-angle optical system. is there.
  • the second aspect is an aspect of the configuration of the optical system according to the present invention, and can acquire a wide-angle image and a telephoto image in which the centers of the photographing field angles coincide.
  • the motion vector detection unit detects the first feature point of the subject from the plurality of first images acquired successively and detects the first feature point. Based on one feature point, a plurality of first motion vectors having different sizes are detected, and a second feature point of the subject is detected from a plurality of second images acquired successively, and the detected second Based on the two feature points, a plurality of second motion vectors having different sizes are detected.
  • a plurality of motion vectors having different sizes is that, for example, when the first and second optical systems are a wide-angle optical system and a telephoto optical system, respectively, the same subject due to a difference in photographing magnification It is considered that the true motion vector magnitude and the motion vector magnitude due to interference are different.
  • “sequentially acquiring a plurality of first and second images” refers to acquiring a plurality of images by sequentially capturing images at time intervals. Further, as the feature point, a point having a large luminance change such as an edge or a corner of the subject can be detected, but the feature point is not limited thereto.
  • the probability calculation unit calculates a first probability for each of the plurality of first motion vectors, and second for each of the plurality of second motion vectors. Calculate the probability of. In order to detect “a plurality of motion vectors having different sizes” in the third mode, the probability is calculated for each of the detected motion vectors in the fourth mode.
  • the probability calculation unit includes a luminance signal at the first feature point and a feature point corresponding to the first feature point among the second feature points.
  • the first probability is calculated for each of the plurality of first motion vectors
  • the second probability is calculated for each of the plurality of second motion vectors.
  • the fifth aspect is one aspect of probability calculation, and the first and second probability are calculated based on the luminance signal of the feature point.
  • the motion vector extraction unit has a first probability for one motion vector of the plurality of first motion vectors. If the second probability of the second motion vector corresponding to the one motion vector is higher than the second probability, the second motion vector corresponding to the one motion vector causes interference from the first optical system to the second optical system.
  • the first motion vector is extracted as a first true motion vector by determining that the motion vector is the resulting motion vector, and the second probability that the first probability for the one motion vector corresponds to the one motion vector. If it is less than or equal to the second probability of the vector, it is determined that the one motion vector is a motion vector due to interference from the second optical system to the first optical system, and the second motion vector is True movement It is extracted as a vector.
  • a true motion vector is extracted.
  • the fact that the first probability for one motion vector of the plurality of first motion vectors is higher than the second probability for the second motion vector corresponding to the one motion vector means that the one motion This is because the luminance signal of the second motion vector corresponding to the vector is weak, and there is a high possibility that the second motion vector is caused by interference. Accordingly, in the sixth aspect, in such a case, it is determined that the second motion vector is due to interference, and one motion vector is extracted as the true first motion vector. Note that the true second motion vector can be extracted based on the same determination.
  • the imaging device according to a seventh aspect according to any one of the first to sixth aspects further includes a pan / tilt mechanism that rotates the imaging unit in a horizontal direction and a vertical direction, and the pan / tilt mechanism is extracted.
  • the imaging unit is rotated based on the first true motion vector and the second true motion vector.
  • by rotating the imaging unit based on the first and second true motion vectors even if there is a false motion vector due to interference, it is possible to perform tracking shooting in accordance with the motion of the subject. Is possible.
  • the pan / tilt mechanism rotates the image pickup unit so that the subject detected in the first image is also detected in the second image.
  • the subject detected in the first image may not be detected in the second image.
  • the subject detected in the first image is also detected in the second image by rotating the imaging unit.
  • the imaging device is the image pickup apparatus according to any one of the first to eighth aspects, wherein the photographing optical system has the first optical system disposed in a central portion, and the second optical system is a peripheral portion of the first optical system. This is a photographing optical system arranged in a ring shape.
  • the ninth aspect is an aspect of the arrangement of the first and second optical systems.
  • an imaging device is the first image, the first motion vector, the first probability, the first true motion vector, and the second A display unit that displays an image, a second motion vector, a second probability, and a second true motion vector is provided.
  • the user of the imaging apparatus can visually recognize the motion vector, the probability, and the true motion vector.
  • the vector and probability may be displayed by characters, figures, symbols, and combinations thereof, and the display color may be set as appropriate.
  • the imaging device is the tenth aspect, wherein the display unit displays the first motion vector and the first true motion vector according to the first probability, and according to the second probability.
  • the second motion vector and the second true motion vector are displayed.
  • the extracted true motion vector and probability can be easily recognized.
  • an imaging device is the first image, the first motion vector, the first probability, the first true motion vector, and the second
  • the apparatus further includes a recording unit that records the image, the second motion vector, the second probability, and the second true motion vector.
  • a plurality of data may be recorded in association with each other as appropriate.
  • an imaging method includes an imaging optical system including a first optical system and a second optical system that are provided in different regions and have different imaging characteristics.
  • a plurality of pixels configured by two-dimensionally arranged photoelectric conversion elements are provided, and light beams incident through the first optical system and the second optical system are divided into pupils and selectively received by the plurality of pixels.
  • An imaging method of an imaging apparatus including an imaging unit having a directivity sensor that performs an image signal of a first image obtained via a first optical system and a second image obtained via a second optical system
  • An image reading process for acquiring an image signal from a directional sensor, a first motion vector that is a motion vector of a subject in the first image, and a second motion vector that is a motion vector of a subject in the second image;
  • a motion vector detection step to detect, a first probability that indicates a probability that the first motion vector is a motion vector by a light beam that has passed through the first optical system, and a light beam that has passed through the second optical system as a second motion vector
  • the imaging method according to the thirteenth aspect as in the first aspect, even if there is interference, a true motion vector can be extracted and the movement of the subject can be correctly grasped, and the cost of measures for preventing interference can be obtained. You can suppress the up. Thus, the imaging method according to the thirteenth aspect can easily cope with interference.
  • the imaging method according to a fourteenth aspect is the telephoto optical system according to the thirteenth aspect, wherein one of the first optical system and the second optical system is a wide-angle optical system and the other is a telephoto optical system having a common optical axis with the wide-angle optical system. is there.
  • the fourteenth aspect is an aspect of the configuration of the optical system according to the present invention as in the second aspect, and can acquire a wide-angle image and a telephoto image in which the centers of the images coincide.
  • the first feature point of the subject is detected from a plurality of first images successively acquired, and the detected first Based on one feature point, a plurality of first motion vectors having different sizes are detected, and a second feature point of the subject is detected from a plurality of second images acquired successively, and the detected second Based on the two feature points, a plurality of second motion vectors having different sizes are detected.
  • a plurality of motion vectors having different sizes are detected.
  • the imaging method is the fifteenth aspect, in the probability calculation step, the first probability is calculated for each of the plurality of first motion vectors, and the second probability is calculated for each of the plurality of second motion vectors. Calculate the probability of. In the sixteenth aspect, similarly to the fourth aspect, the probability is calculated for each of the plurality of motion vectors.
  • the imaging method is the feature point corresponding to the first feature point among the luminance signal at the first feature point and the second feature point in the probability calculating step.
  • the first probability is calculated for each of the plurality of first motion vectors
  • the second probability is calculated for each of the plurality of second motion vectors.
  • the first and second probabilities are calculated based on the luminance signal of the feature point.
  • the imaging method according to the eighteenth aspect is the imaging method according to any one of the thirteenth to seventeenth aspects, wherein in the motion vector extraction step, a first probability of one motion vector of the plurality of first motion vectors is set. If the second probability of the second motion vector corresponding to the one motion vector is higher than the second probability, the second motion vector corresponding to the one motion vector causes interference from the first optical system to the second optical system.
  • the first motion vector is extracted as a first true motion vector by determining that the motion vector is the resulting motion vector, and the second probability that the first probability for the one motion vector corresponds to the one motion vector.
  • true motion vectors are extracted as in the sixth aspect.
  • An imaging method is the imaging method according to any one of the thirteenth to eighteenth aspects, wherein the imaging unit is rotated based on the extracted first true motion vector and second true motion vector.
  • the image reading process, the motion vector detection process, the probability calculation process, and the motion vector extraction process are repeated while further including a section rotation process, and rotating the imaging section by the imaging section rotation process.
  • the subject is continuously detected by repeating the image reading process, the motion vector detection process, the probability calculation process, and the motion vector extraction process while rotating the imaging unit by the imaging unit rotation process. Can be tracked and photographed.
  • the imaging unit rotation step the imaging unit is rotated so that the subject detected in the first image is also detected in the second image.
  • the imaging unit is rotated so that the subject detected in the first image is also detected in the second image.
  • a twenty-first aspect of the present invention is a program that causes an imaging apparatus to execute the imaging method according to any one of the thirteenth to twentieth aspects.
  • the program according to the twenty-first aspect may be stored in a memory incorporated in the imaging device or the lens device, such as a ROM (Read Only Memory) or an EEPROM (Electronically Erasable and Programmable Read Only Memory), or a CD (You may record and use on various magneto-optical recording media (non-temporary recording media), such as a Compact disk (DVD), DVD (Digital Versatile disk), BD (Blu-ray Disc), a hard disk, and a semiconductor memory.
  • a twenty-second aspect of the present invention is a non-transitory recording medium on which a computer-readable code of the program according to the twenty-first aspect is recorded.
  • Examples of the non-temporary recording medium according to the twenty-second aspect include various magneto-optical recording media such as CD, DVD, BD, hard disk, and semiconductor memory.
  • the imaging apparatus imaging method, program, and non-transitory recording medium of the present invention, it is possible to easily cope with interference.
  • FIG. 1 is a perspective view illustrating an appearance of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 2 is a cross-sectional view showing the configuration of the photographing optical system and the image sensor according to one embodiment of the present invention.
  • FIG. 3 is a cross-sectional view showing a detailed configuration of the image sensor shown in FIG.
  • FIG. 4 is a diagram illustrating an optical path of wide-angle image light incident on the imaging optical system (particularly the first optical system) and the image sensor (particularly the first sensor group) illustrated in FIG.
  • FIG. 5 is a diagram illustrating an optical path of telephoto image light incident on the photographing optical system (particularly the second optical system) and the image sensor (particularly the second sensor group) illustrated in FIG. 2.
  • FIG. 2 is a cross-sectional view showing the configuration of the photographing optical system and the image sensor according to one embodiment of the present invention.
  • FIG. 3 is a cross-sectional view showing a detailed configuration of the image sensor shown in FIG.
  • FIG. 4 is a diagram
  • FIG. 6 is a block diagram illustrating a functional configuration of the imaging apparatus according to the embodiment of the present invention.
  • FIG. 7 is a diagram illustrating examples of ideal wide-angle images and telephoto images.
  • FIG. 8 is a diagram illustrating an example of a wide-angle image and a telephoto image in which interference occurs.
  • FIG. 9 is a conceptual diagram illustrating processing for extracting a true motion vector.
  • FIG. 10 is another conceptual diagram illustrating processing for extracting a true motion vector.
  • FIG. 11 is still another conceptual diagram illustrating processing for extracting a true motion vector.
  • FIG. 12 is still another conceptual diagram illustrating processing for extracting a true motion vector.
  • FIG. 13 is a flowchart showing an outline of processing for extracting a true motion vector.
  • FIG. 13 is a flowchart showing an outline of processing for extracting a true motion vector.
  • FIG. 14 is a flowchart showing details of processing for extracting a true motion vector.
  • FIG. 15 is still another conceptual diagram illustrating processing for extracting a true motion vector.
  • FIG. 16 is a cross-sectional view illustrating a second embodiment of the imaging unit.
  • FIG. 17 is a diagram illustrating a state of light reception by the directional sensor in the imaging unit illustrated in FIG. 16.
  • FIG. 18 is a cross-sectional view illustrating a third embodiment of the imaging unit.
  • FIG. 1 is a perspective view showing an imaging apparatus 30 according to an embodiment of the present invention.
  • the holding unit 18 including the gear 19 and the imaging unit 10 attached to the holding unit 18 are fixedly installed on a pedestal 16 provided on the device main body 15.
  • the imaging unit 10 includes an imaging optical system 11 and an imaging element 24 (see FIGS. 2 to 5) as a directivity sensor.
  • the pedestal 16 is provided so as to be rotatable about the axis in the vertical direction Z of the apparatus main body 15. Operation is performed.
  • the gear 19 is provided coaxially with the axis in the horizontal direction X.
  • the driving force is transmitted from the pan / tilt mechanism 52 and the tilt driving unit 56 (see FIG. 6) through the gear 19, the imaging unit 10 is moved up and down. The tilting operation is performed by rotating in the direction.
  • the imaging unit 10, the holding unit 18 including the gear 19, and the pedestal 16 are covered with a dome cover 17 for dustproofing and dripproofing.
  • FIG. 2 is a diagram illustrating a cross-sectional configuration of the imaging optical system 11 and the image sensor 24.
  • the photographing optical system 11 includes a first optical system 21 and a second optical system 22 having mutually different characteristics.
  • the first optical system 21 and the second optical system 22 are configured by optical systems having different focal lengths. That is, the photographing optical system 11 of the present embodiment includes a first optical system 21 configured by a “wide-angle image capturing lens group” and a second optical system 22 configured by a “telephoto image capturing lens group”. A wide-angle image and a telephoto image can be simultaneously captured by the image sensor 24.
  • the first optical system 21 shown in FIG. 2 is common to the first wide-angle lens 21a, the second wide-angle lens 21b, the third wide-angle lens 21c, the fourth wide-angle lens 21d, which are arranged on the same optical axis L.
  • a lens 23 is included.
  • the second optical system 22 includes a first telephoto reflector 22b provided with a first telephoto lens 22a, a first telephoto reflective mirror 22c, and a second telephoto reflector provided with a second telephoto reflective mirror 22e. 22d and a common lens 23.
  • the first optical system 21 (particularly, the first wide-angle lens 21a, the second wide-angle lens 21b, the third wide-angle lens 21c, and the fourth wide-angle lens 21d) of this example forms a central optical system.
  • the second optical system 22 of this example (particularly, the first telephoto lens 22a, the first telephoto reflector 22b, the first telephoto reflector 22c, the second telephoto reflector 22d, and the second telephoto reflector 22e).
  • the common lens 23 is disposed on the optical axis L and is shared between the first optical system 21 and the second optical system 22.
  • the photographing optical system 11 includes the first optical system 21 and the second optical system 22 having a common optical axis L and having mutually different focal lengths and photographing field angles.
  • the image sensor 24 is configured by two-dimensionally arranging a plurality of light receiving sensors 25 as directional sensors in a direction perpendicular to the optical axis L.
  • the image sensor 24 of the present embodiment simultaneously receives the wide-angle image light incident through the first optical system 21 and the telephoto image light incident through the second optical system 22, and receives the first image (here, A first image signal (also referred to as “first image signal”) for generating a wide-angle image) and a second image signal (“second image” for generating a second image (here, a telephoto image)).
  • a directional sensor capable of outputting an image signal (also referred to as “image signal”) is configured.
  • the image sensor 24 of the present embodiment is a plurality of light receiving sensors 25 provided corresponding to each of the first optical system 21 and the second optical system 22, and includes the first optical system 21 and the second optical system 22. Among them, a plurality of light receiving sensors 25 for selectively receiving the light that has passed through the corresponding optical system by dividing the pupil.
  • FIG. 3 is a diagram showing a detailed cross-sectional configuration example of the image sensor 24 shown in FIG.
  • a plurality of light receiving sensors 25 (photoelectric conversion elements) constituting the image sensor 24 of this example correspond to the “first light receiving sensor 25a for wide-angle image” corresponding to the first optical system 21 and the second optical system 22.
  • the second light receiving sensor 25b for telephoto images, and the first light receiving sensor 25a and the second light receiving sensor 25b are alternately arranged two-dimensionally to form a pixel of the image sensor 24.
  • the plurality of first light receiving sensors 25a included in the imaging element 24 constitutes “a first sensor group 24a that selectively receives light that has passed through the first optical system 21”, and is used to generate a wide-angle image. Output a signal.
  • the plurality of second light receiving sensors 25b included in the image pickup device 24 constitute a “second sensor group 24b that selectively receives light that has passed through the second optical system 22”, and generates a telephoto image. Output the imaging signal.
  • the image sensor 24 of the present example includes the first sensor group 24 a corresponding to the first optical system 21 and the second sensor group 24 b corresponding to the second optical system 22.
  • Each of the first light receiving sensor 25a and the second light receiving sensor 25b has a micro lens 26, a photodiode 29, and an intermediate layer 27 in which the micro lens 26 and the photodiode 29 are disposed.
  • the intermediate layer 27 is provided with a light shielding mask 28.
  • the light shielding mask 28 is disposed in the periphery of the light receiving surface of the photodiode 29 in the first light receiving sensor 25a, and the light receiving of the photodiode 29 is performed in the second light receiving sensor 25b.
  • a light shielding mask 28 is disposed at the center of the surface.
  • the arrangement of the light shielding mask 28 is determined according to which one of the first optical system 21 and the second optical system 22 corresponds, and each light shielding mask 28 blocks light from the optical system that does not correspond.
  • the light from the corresponding optical system is received by the photodiode 29 without blocking.
  • a plurality of light receiving sensors that selectively receive the light that has passed through the corresponding optical system of the first optical system 21 and the second optical system 22 by pupil division by the light receiving sensor 25 including the light shielding mask 28. It has been realized.
  • the present invention is not limited to this method, and pupil division may be realized by other means.
  • a light shielding mask 28 may be provided before the microlens 26 (for example, between the microlens 26 and the common lens 23 (see FIG. 3)), or light shielding means other than the light shielding mask 28 (for example, a liquid crystal shutter). May be used.
  • members other than the light shielding mask 28 may be provided in the intermediate layer 27, and for example, wirings or circuits may be provided in the intermediate layer 27.
  • the imaging element 24 is a color composed of R (red), G (green), and B (blue) color filters (also referred to as “optical filters”, not shown) disposed for the respective light receiving sensors 25.
  • a filter array is provided, and the image generation unit 32 (see FIG. 6) performs demosaic processing (“synchronization processing”) for each color image (that is, mosaic image) obtained corresponding to the color array pattern of the color filter array. In other words, a color wide-angle image and a telephoto image can be obtained.
  • FIG. 4 is a diagram showing an optical path of the wide-angle image light W incident on the first optical system 21 and the first sensor group 24a in the imaging optical system 11 shown in FIG. 2 and the image sensor 24 shown in FIG.
  • the wide-angle image light W sequentially passes through the first wide-angle lens 21a, the second wide-angle lens 21b, the third wide-angle lens 21c, the fourth wide-angle lens 21d, and the common lens 23 of the first optical system 21. Then, a wide-angle image is formed on the first sensor group 24 a on the image sensor 24.
  • FIG. 5 is a diagram showing an optical path of the telephoto image light T incident on the second optical system 22 and the second sensor group 24b in the imaging optical system 11 shown in FIG. 2 and the image sensor 24 shown in FIG.
  • the telephoto image light T passes (transmits) through the first telephoto lens 22a, passes through the common lens 23 after being reflected by each of the first telephoto reflection mirror 22c and the second telephoto reflection mirror 22e. Then, a telephoto image is formed on the second sensor group 24b on the image sensor 24.
  • the optical axis L of the second optical system 22 for taking a telephoto image with a long focal length is reflected by each of the first telephoto reflecting mirror 22c and the second telephoto reflecting mirror 22e and folded back.
  • the length can be shortened in the direction of.
  • FIG. 6 is a block diagram illustrating a functional configuration example of the imaging device 30 according to the present embodiment.
  • the imaging apparatus 30 of this example includes the imaging optical system 11 having the first optical system 21 and the second optical system 22 and the imaging element 24 () having the first sensor group 24a and the second sensor group 24b.
  • the image generation unit 32 includes a main controller 37, an image processing unit 38, a recording unit 39, a display controller 40, a display unit 41, and a user operation unit 42.
  • the image generation unit 32 (also referred to as “image reading unit”) generates image data (also referred to as “first image data”) of the first image based on the first image signal output from the first sensor group 24a. Then, image data of the second image (also referred to as “second image data”) is generated based on the second image signal output from the second sensor group 24b.
  • the first image data and the second image data generated in the image generation unit 32 are sent to, for example, the image processing unit 38, the recording unit 39, the display controller 40, and the main controller 37 that controls the image generation unit 32 provided in the subsequent stage. Sent.
  • the probability that the image processing unit 38 includes a motion vector detection unit, a probability calculation unit, and a motion vector extraction unit detects the subject in the first image and the second image, and based on the detection result, the motion vector of the subject Detection, probability calculation, and true motion vector extraction are performed. Details of the processing by the image processing unit 38 will be described later.
  • the recording unit 39 records the first and second image data, the motion vector, the probability, and the true motion vector in association with each other.
  • the display controller 40 displays a wide-angle image of the first image, a telephoto image of the second image, a motion vector, a probability, and a true motion vector that are reproduced based on the transmitted first image data and second image data. 41 is displayed.
  • a pan / tilt device (electric pan head) 50 rotates the image pickup unit 10 shown in FIG. 1 in the horizontal direction (ie, pan direction) and the vertical direction (ie, tilt direction) with respect to the device body 15.
  • a tilt mechanism 52, a pan driving unit 54, a tilt driving unit 56, and the like are provided.
  • the pan / tilt mechanism 52 includes a home position sensor that detects a reference position of a rotation angle (pan angle) in the pan direction, and a home position sensor that detects a reference position of a tilt angle (ie, tilt angle) in the tilt direction. ing.
  • the pan driving unit 54 and the tilt driving unit 56 each have a stepping motor and a motor driver, and output a driving force to the pan / tilt mechanism 52 to drive the pan / tilt mechanism 52.
  • the main controller 37 includes an imaging unit 10, an image generation unit 32, an image processing unit 38, a recording unit 39, a display controller 40, a display unit 41, a user operation unit 42, a pan / tilt device 50, and other components that constitute the imaging device 30. Are connected to each unit to control processing functions in each unit.
  • the user operation unit 42 is operated by the user to input various instruction commands, and the various instruction commands input to the user operation unit 42 are transmitted to the main controller 37, and the main controller 37 receives from the user operation unit 42.
  • Each unit of the imaging device 30 can be controlled based on the instruction command.
  • FIGS. 7A and 7B show an example of an ideal wide-angle image and a telephoto image in which no interference occurs between the wide-angle image and the telephoto image.
  • FIG. 8A is a wide-angle image
  • FIG. 8B is a telephoto image.
  • the telephoto image has interference in the wide-angle image, and in addition to the original subject image (here, a small track at the center of the image), a false image (here, the track) A large image) appears slightly in the image.
  • the original subject image here, a small track at the center of the image
  • a false image here, the track
  • a wide-angle image is also mixed in the telephoto image, and in addition to the original subject (here, a large track in the center of the image), a false image (here, a track) due to interference.
  • a small image of appears slightly in the center of the image.
  • FIG. 9A is a diagram showing the contour line of the subject image in the wide-angle image (for convenience of explanation, the subject image due to the interference of the telephoto image is not shown).
  • the first motion vector (arrow in the figure) detected for existing feature points is shown.
  • the starting point of each motion vector is a feature point.
  • the “probability” of the motion vector is indicated by the thickness of the motion vector.
  • “probability” reflects the intensity of the luminance signal that is the basis of motion vector detection, and can be quantified using the luminance difference of the feature point from which the motion vector is detected. You may quantify based on a magnitude
  • FIG. 9B is a diagram showing a state in which the subject image of the wide-angle image interferes with the telephoto image (for convenience of explanation, the true subject image in the telephoto image is not shown). Since the subject image in FIG. 9B is an image due to interference and has low luminance, the motion vector indicating “probability” is also thinner than the motion vector shown in FIG.
  • FIGS. 10A and 10B show the result of extracting only true motion vectors in this way.
  • FIG. 10 (a) is a diagram showing a true motion vector extracted from the wide-angle image of FIG. 9 (a).
  • FIGS. 9 and 10 only the interference between the subject in the wide-angle image and the telephoto image from the wide-angle image is described. Therefore, as shown in FIG. 10B, the telephoto image (see FIG. 9B).
  • the true motion vector corresponding to the wide-angle image is not extracted from (not shown).
  • FIG. 11A is a diagram showing a subject image (represented by a contour) extracted from a wide-angle image and a detected motion vector.
  • interference of a telephoto image is shown.
  • FIG. 11B is a diagram showing a subject image (represented by a contour) extracted from a telephoto image and a detected motion vector.
  • FIG. 11B is a diagram corresponding to FIG.
  • FIG. 11 the “probability” of the motion vector is illustrated by the thickness of the vector, as in FIGS. 9 (a) and 9 (b).
  • FIGS. 12A and 12B show motion vectors extracted in this way.
  • FIG. 12A shows a true motion vector extracted from a wide-angle image
  • FIG. 12B shows a true motion vector extracted from a telephoto image.
  • FIG. 13 is a flowchart showing true motion vector extraction processing.
  • a program for performing such processing can be stored in, for example, the main controller 37 or the recording unit 39, and a computer-readable code of the program is stored in a non-CD, DVD, BD, hard disk, semiconductor memory, or the like. The information may be recorded on a non-transitory recording medium.
  • the image generation unit 32 acquires the image signal indicating the wide-angle image of the first image and the image signal indicating the telephoto image of the second image from the image sensor 24, and generates a wide-angle image and a telephoto image. (Step S10; image reading step). Next, the process proceeds to step S12, and the motion vector of the subject is detected for each of the wide-angle image and the telephoto image (motion vector detection step). Note that when the subject detected in the wide-angle image in these processes is not detected in the telephoto image, the imaging unit 10 may be rotated by the pan / tilt device 50 as necessary.
  • a plurality of wide-angle images are acquired with a time interval, and a feature point (first feature point) of a subject is detected in each of the plurality of wide-angle images (first images). Then, based on the difference between corresponding feature points, a motion vector (first motion vector) in the wide-angle image is detected.
  • a feature point (second feature point) of a subject in the telephoto image is detected from a plurality of telephoto images (second image) acquired at time intervals, and a motion vector (second motion vector) in the telephoto image is detected. ) Is detected.
  • the motion vector detection process in step S12 For both the first and second motion vectors, a plurality of motion vectors having different sizes are detected.
  • step S14 calculates the probability of the motion vector (probability calculation step).
  • a case will be described in which two motion vectors are detected in each of the wide-angle image (FIG. 15A) and the telephoto image (FIG. 15B) as shown in FIG.
  • the meanings of symbols in FIG. 15 are as follows.
  • step S14 the probabilities Pw1 and Pw2 that are the motion vectors of the subject in the wide-angle image that are the motion vectors Vw1 and Vw2 that have passed through the wide-angle optical system (first optical system 21), and the subject motion vectors Vt1 and Vt2 in the telephoto image.
  • Pt1 and Pt2 which are motion vectors due to the light beam that has passed through the telephoto optical system (second optical system 22).
  • the probabilities Pw1 and Pt1 can be calculated based on the luminance signal at the feature point Qw1 in the wide-angle image and the luminance signal at the feature point Qt1 in the telephoto image corresponding to the feature point Qw1.
  • the probabilities Pw2 and Pt2 can be calculated based on the luminance signal at the feature point Qw2 in the wide-angle image and the luminance signal at the feature point Qt2 in the telephoto image corresponding to the feature point Qw2.
  • step S16 When the calculation of the probability in step S14 ends, the process proceeds to step S16 to extract a true motion vector (motion vector extraction step).
  • step S16 will be described in detail with reference to FIG.
  • a motion vector candidate list is created in step S22.
  • vectors having the same direction at the same position are extracted from the motion vector of the wide-angle image (Vw1, Vw2 in the example of FIG. 15) and the motion vector of the telephoto image (Vt1, Vt2). create.
  • Vw1, Vt1 and Vw2, Vt2 are listed.
  • the probabilities are compared among the motion vectors listed in step S24. Specifically, it is determined whether “the probability of the motion vector in the wide-angle image is higher than the probability of the motion vector in the telephoto image corresponding to the motion vector”. In the example of FIG. 15, the probability Pw1 for the motion vector Vw1 is compared with the probability Pt1 for the motion vector Vt1.
  • step S24 If the determination in step S24 is affirmative (the determination result is YES), the process proceeds to step S26, and the motion vector of the wide-angle image is extracted as a true motion vector. If the determination is negative (the determination result is NO). Proceeding to step S28, the motion vector of the telephoto image is extracted as a true motion vector.
  • the determination in step S24 since Pw1> Pt1, the determination in step S24 is affirmed, and the motion vector Vt1 is determined to be a false motion vector due to interference from the first optical system 21 to the second optical system 22, and the motion vector Vw1 is extracted as a true motion vector. Since Pw2 ⁇ Pt2, the motion vector Vw2 is determined to be a false motion vector due to interference from the second optical system 22 to the first optical system 21, and the motion vector Vt2 is extracted as a true motion vector.
  • the true motion vector can be extracted by repeating the processing from step S22 to step S28.
  • the process returns to the flowchart of FIG. 13 and proceeds to step S18.
  • step S18 the motion vector, the true motion vector, and the probability are displayed on the display unit 41 in association with the feature points and recorded on the recording unit 39.
  • the information is displayed as shown in FIG. 15 and recorded.
  • the motion vectors Vw2 and Vt1 and the true motion vectors Vw1 and Vt2 are displayed with thicknesses corresponding to the probabilities Pw2, Pt1, Pw1, and Pt2 with the start points as the feature points Qw2, Qt1, Qw1, and Qt2. Yes.
  • the color of the motion vector or the true motion vector may be changed according to the probability (for example, the high probability is blue and the low one is red), or the brightness is changed (for example, You may make it brighten the thing with high probability. Moreover, you may display the character, figure, symbol, etc. which represent probability.
  • step S18 the process proceeds to step S20, and the imaging unit 10 is rotated based on the direction and magnitude of the true motion vectors Vw1 and Vt2 (imaging unit rotation process). Repeat the process. As a result, the subject can be continuously tracked and photographed.
  • step S20 if the subject detected in the wide-angle image is not detected in the telephoto image, the imaging unit 10 may be rotated by the pan / tilt device 50 as necessary.
  • the true motion vector is extracted based on the probability, so that the movement of the subject can be grasped even if there is interference, and the interference can be easily dealt with. Can do. Further, since the imaging unit 10 is rotated based on the true motion vectors Vw1 and Vt2, the subject can be continuously tracked even if there is interference.
  • the imaging device 30 according to the first embodiment can be installed in a building or the like and used as a monitoring camera, or can be mounted on a moving body such as a vehicle and used as an in-vehicle camera.
  • the number of subjects is not limited to one. If a plurality of subjects are detected, each subject is true. It is possible to perform processing such as motion vector extraction.
  • processing such as motion vector extraction.
  • in order to grasp and continuously track the movement of a subject it is only necessary to extract a true motion vector, and it is not necessary to create an image from which interference is removed (an image as shown in FIG. 8). Note that it is not necessary to process the image into an image as shown in FIG.
  • FIG. 16 is a cross-sectional view illustrating an imaging unit 61 according to the second embodiment.
  • the imaging unit 61 includes a photographing optical system 62 and a directivity sensor 67.
  • the photographing optical system 62 is arranged on the same optical axis L2, and a central optical system 63 as a first optical system and an annular optical system 64 as a concentric second optical system at the periphery thereof. It consists of and.
  • the central optical system 63 is a wide-angle optical system including a first lens 63 a, a second lens 63 b, a third lens 63 c, a fourth lens 63 d, and a common lens 65, and a microlens array that constitutes a directivity sensor 67.
  • a wide-angle image is formed on 66.
  • the annular optical system 64 is a telephoto optical system including a first lens 64a, a second lens 64b, a first reflection mirror 64c as a reflection optical system, a second reflection mirror 64d, and a common lens 65, and a microlens array.
  • a telephoto image is formed on 66.
  • the light beam incident through the first lens 64a and the second lens 64b is reflected twice by the first reflection mirror 64c and the second reflection mirror 64d, and then passes through the common lens 65.
  • the light beam is folded back by the first reflecting mirror 64c and the second reflecting mirror 64d, thereby shortening the length in the optical axis direction of the telephoto optical system having a long focal length.
  • the directivity sensor 67 includes a microlens array 66 and an image sensor 68.
  • FIG. 17 is an enlarged view of a main part of the microlens array 66 and the image sensor 68.
  • the microlens array 66 includes a plurality of microlenses (pupil imaging lenses) 66 a arranged in a two-dimensional manner, and the horizontal and vertical intervals between the microlenses are the photoelectric conversion elements of the image sensor 68. This corresponds to an interval of three light receiving cells 68a. That is, each microlens of the microlens array 66 is formed corresponding to the position of every two light receiving cells in each of the horizontal direction and the vertical direction.
  • Each microlens 66a of the microlens array 66 has a circular central pupil image (first pupil image) 67a and an annular pupil image (first pupil image) corresponding to the central optical system 63 and the annular optical system 64 of the photographing optical system 62. 2b) 67b is formed on the light receiving cell 68a in the corresponding light receiving region of the image sensor 68.
  • 3 ⁇ 3 light receiving cells 68a having a lattice shape (square lattice shape) are allocated per one microlens 66a of the microlens array 66.
  • one microlens 66a and a light receiving cell group (3 ⁇ 3 light receiving cells 68a) corresponding to one microlens 66a are referred to as a unit block.
  • the central pupil image 67a is formed only on the light receiving cell 68a at the center of the unit block, and the annular pupil image 67b is formed on eight light receiving cells 68a around the unit block.
  • the imaging unit 61 configured as described above, it is possible to simultaneously capture a wide-angle image corresponding to the central optical system 63 and a telephoto image corresponding to the annular optical system 64 (an image with a shooting magnification larger than that of the wide-angle image). .
  • the image sensor 68 is provided with a color filter array composed of R (red), G (green), and B (blue) color filters (optical filters) disposed on each light receiving cell.
  • a color wide-angle image and a telephoto image are obtained by demosaicing (simultaneous processing) each color image (mosaic image) obtained corresponding to the color arrangement pattern of the color filter arrangement.
  • the motion vector detection and the true motion vector extraction processing can be performed in the same manner as in the first embodiment described above.
  • the interference can be easily dealt with, and the subject can be tracked continuously.
  • FIG. 18 is a cross-sectional view illustrating the imaging unit 111 according to the third embodiment.
  • the imaging unit 111 includes an imaging optical system 112 and a directivity sensor 67. Since the directivity sensor 67 is the same as that shown in FIGS. 16 and 17, the photographing optical system 112 will be described below.
  • the photographing optical system 112 includes a central first optical system 113 (central optical system) and a second optical system 114 (peripheral annular optical system) disposed on the same optical axis L3. Yes.
  • the central optical system 113 is a telephoto optical system including a first lens 113a, a second lens 113b, and a common lens 115, and has an angle of view ⁇ .
  • the annular optical system 114 is a wide-angle optical system including a lens 114 a and a common lens 115, has an angle of view ⁇ ( ⁇ > ⁇ ), and is wider than the central optical system 113.
  • the photographing optical system 112 does not use a reflecting mirror
  • the central optical system 113 is a telephoto optical system
  • the annular optical system 114 is a wide-angle optical system. There are some differences.
  • the motion vector detection and the true motion vector extraction processing can be performed in the same manner as in the first and second embodiments described above. Also in this embodiment, even if there is interference, the movement of the subject can be grasped, the interference can be easily dealt with, and the subject can be tracked continuously.
  • the first optical system is a circular optical system disposed in the central portion, and the second optical system is annularly disposed in the peripheral portion of the first optical system.
  • the optical system is a system has been described.
  • the first and second optical systems are perpendicular to the optical axis so that the first and second optical systems are respectively half-moon type optical systems. It may be arranged in different areas in the plane.
  • the focal lengths (shooting angle of view) of the first and second optical systems are different from each other.
  • different imaging characteristics in the first and second optical systems include focal lengths.
  • the focusing distance and the frequency of transmitted light may be different.
  • the optical axes of the optical systems (first and second optical systems) are common has been described.
  • the optical axes of the optical systems may not be common. Good.
  • part of the shooting angle of view of the first and second optical systems may overlap.
  • the number of optical systems is not limited to two, and may be three or more.
  • the first or second optical system may be configured by a plurality of optical systems.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

混信に容易に対処することができ、また遮光帯を設ける等の、混信を防ぐための対策によるコストアップを抑えることができる撮像装置、撮像方法、プログラム、及び非一時的記録媒体を提供する。本発明の一の態様に係る撮像装置では、撮像部が異なる領域に設けられ、かつ互いに異なる撮像特性を有する第１光学系及び第２光学系からなる撮影光学系及び指向性センサを備え、第１，第２光学系を介して得られる第１，第２画像において、検出された被写体の動きベクトルである第１，第２の動きベクトルに応じて算出された動きベクトルの第１，第２の蓋然性に基づいて、前記第１，第２画像における第１，第２の真の動きベクトルを抽出する。

Description

撮像装置、撮像方法、プログラム、及び非一時的記録媒体
　本発明は撮像装置、撮像方法、プログラム、及び非一時的記録媒体に係り、特に撮像特性が異なる複数の画像を取得できる撮像装置、撮像方法、及びその撮像装置や撮像方法に関するプログラム並びに非一時的記録媒体に関する。
　近年、領域により異なる撮像特性を有する光学系及び指向性センサを備える撮像系により、撮像特性が異なる複数の画像を同時に取得可能な撮像装置が知られている。このような撮像装置の用途として、被写体を追跡しつつ撮像する追跡カメラシステムが考えられる。このようなシステムでは撮像特性が異なる複数の画像を同時に取得できるため、追跡精度を向上させたり、追跡逸脱を起こりにくくしたりすることが可能である。
　上述した撮像装置では、指向性センサにおいて異なる特性の信号成分（輝度信号）が混信して偽像が生じる可能性がある。一般に画像情報を解析して注目物体を追跡するシステムでは、画像から特徴点を抽出し、その動き情報（動きベクトル）を検出して追跡に利用するため、取得した画像に上述のような偽像が存在すると、偽像の動きを真の像の動きとして誤認識してしまうおそれがある。
　また、動き情報（動きベクトル）を検出するアルゴリズムを高性能・高感度にするほど、微弱な輝度信号の混信による偽像でも検出してしまうようになり、被写体の動きを検出する際の影響が大きくなる。
　上述した撮像系を備える撮像装置において、混信による影響を防止あるいは低下させるための技術が知られている。例えば特許文献１に記載の撮像装置では、混信による影響を画像処理で除去することが記載されている。また特許文献２に記載の撮像装置では、撮影レンズの表面に遮光帯を形成して焦点領域を分離することにより、画像処理なしでクロストーク（混信）を防止するようにしている。
ＷＯ２０１３－０２４６３６号公報 ＷＯ２０１３－１４６５０６号公報
　しかしながら特許文献１や特許文献２のような従来の技術では、混信による影響を除去する度合いを高めようとするとレンズやセンサの加工・製造コストが高くなったり、撮像装置における画像処理の負荷が高くなったりしてしまう上に、混信を完全に除去しきれるものではない。その結果、従来の技術では、上述のように混信に対処して被写体の動きを正しく把握することが困難であった。
　本発明はこのような事情に鑑みてなされたもので、混信に容易に対処できる撮像装置、撮像方法、及びそのような撮像装置や撮像方法に関するプログラム並びに非一時的記録媒体を提供することを目的とする。
　上述した目的を達成するため、本発明の第１の態様に係る撮像装置は、それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第１光学系及び第２光学系からなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を備え、第１光学系及び第２光学系を介して入射する光束をそれぞれ瞳分割して複数の画素により選択的に受光する指向性センサと、を有する撮像部と、第１光学系を介して得られる第１画像の画像信号と第２光学系を介して得られる第２画像の画像信号とを指向性センサから取得する画像読み出し部と、第１画像における被写体の動きベクトルである第１の動きベクトルと、第２画像における被写体の動きベクトルである第２の動きベクトルと、を検出する動きベクトル検出部と、第１の動きベクトルが第１光学系を通過した光束による動きベクトルである蓋然性を示す第１の蓋然性と、第２の動きベクトルが第２光学系を通過した光束による動きベクトルである蓋然性を示す第２の蓋然性と、を算出する蓋然性算出部と、第１の動きベクトルと、第２の動きベクトルと、第１の蓋然性と、第２の蓋然性と、に基づいて、第１画像における第１光学系を通過した光束による動きベクトルである第１の真の動きベクトルと、第２画像における第２光学系を通過した光束による動きベクトルである第２の真の動きベクトルと、を抽出する動きベクトル抽出部と、を備える。
　第１の態様に係る撮像装置では、撮像部が第１，第２光学系及び指向性センサを備えるため、被写体の真の動きベクトルに加えて、混信による偽の動きベクトルが検出される場合、第１，第２の動きベクトルによる第１，第２の蓋然性に基づいて、第１，第２の真の動きベクトルを抽出する。このため、混信があっても真の動きベクトルを抽出して被写体の動きを正しく把握することができる。また、遮光帯を設ける等、混信を防ぐための対策によるコストアップを抑えることができる。このように、第１の態様に係る撮像装置では混信に容易に対処することができる。
　なお第１の態様において、「蓋然性」とは動きベクトル検出の基となる輝度信号の強さを反映したものであり、動きベクトルが検出される特徴点の輝度差を用いて定量化することができるが、色差の大きさや、近くの特徴点同士の密度などに基づいて定量化してもよい。
　なお第１の態様及び以下の各態様において、光学系の「撮像特性が異なる」とは、広角光学系と望遠光学系のようにレンズの焦点距離（撮影画角）が異なる場合や、合焦距離が異なる場合、可視光と近赤外のように透過光の波長が異なる場合を含む。また第１の態様において、第１，第２光学系は光軸が同一でなくてもよい。
　第２の態様に係る撮像装置は第１の態様において、第１光学系及び第２光学系は、一方が広角光学系であり、他方が広角光学系と共通の光軸を有する望遠光学系である。第２の態様は、本発明における光学系の構成の一態様であり、撮影画角の中心が一致した広角画像及び望遠画像を取得できる。
　第３の態様に係る撮像装置は第１または第２の態様において、動きベクトル検出部は、連続して取得した複数の第１画像から被写体の第１の特徴点を検出して、検出した第１の特徴点に基づいて、互いに大きさが異なる複数の第１の動きベクトルを検出し、連続して取得した複数の第２画像から被写体の第２の特徴点を検出して、検出した第２の特徴点に基づいて、互いに大きさが異なる複数の第２の動きベクトルを検出する。
　第３の態様において「大きさが異なる複数の動きベクトル」が生じることは、例えば第１，第２光学系がそれぞれ広角光学系と望遠光学系である場合、撮影倍率の相違によって、同一の被写体について真の動きベクトルの大きさと混信による動きベクトルの大きさとが異なる状況であると考えられる。なお第３の態様において、複数の第１，第２画像を「連続して取得する」とは、時間間隔をおいて順次画像を撮像し、複数の画像を取得することをいう。また、特徴点としては被写体のエッジやコーナー等、周囲の輝度変化が大きい点を検出することができるが、これらに限定されるものではない。
　第４の態様に係る撮像装置は第３の態様において、蓋然性算出部は、複数の第１の動きベクトルのそれぞれについて第１の蓋然性を算出し、複数の第２の動きベクトルのそれぞれについて第２の蓋然性を算出する。第３の態様において「大きさが異なる複数の動きベクトル」を検出するため、第４の態様では検出された複数の動きベクトルのそれぞれについて蓋然性を算出する。
　第５の態様に係る撮像装置は第３または第４の態様において、蓋然性算出部は、第１の特徴点における輝度信号と、第２の特徴点のうち第１の特徴点に対応する特徴点における輝度信号と、に基づいて、複数の第１の動きベクトルのそれぞれについて第１の蓋然性を算出し、複数の第２の動きベクトルのそれぞれについて第２の蓋然性を算出する。第５の態様は蓋然性算出の一態様であり、特徴点の輝度信号に基づいて第１，第２の蓋然性を算出する。
　第６の態様に係る撮像装置は第１から第５の態様のいずれか１つにおいて、動きベクトル抽出部は、複数の第１の動きベクトルのうちの一の動きベクトルについての第１の蓋然性が、一の動きベクトルに対応する第２の動きベクトルについての第２の蓋然性よりも高い場合、一の動きベクトルに対応する第２の動きベクトルは第１光学系から第２光学系への混信に起因する動きベクトルであると判断して、一の動きベクトルを第１の真の動きベクトルとして抽出し、一の動きベクトルについての第１の蓋然性が、一の動きベクトルに対応する第２の動きベクトルについての第２の蓋然性以下である場合、一の動きベクトルは第２光学系から第１光学系への混信に起因する動きベクトルであると判断して、第２の動きベクトルを第２の真の動きベクトルとして抽出する。
　第６の態様は、真の動きベクトル抽出するものである。複数の第１の動きベクトルのうちの一の動きベクトルについての第１の蓋然性が、一の動きベクトルに対応する第２の動きベクトルについての第２の蓋然性よりも高いことは、当該一の動きベクトルに対応する第２の動きベクトルの輝度信号が弱いことであり、当該第２の動きベクトルは混信により生じたものである可能性が高い。従って、第６の態様では、このような場合は第２の動きベクトルは混信によるものと判断して、一の動きベクトルを真の第１の動きベクトルとして抽出する。なお、真の第２の動きベクトルを抽出する場合も同様の判断に基づいて行うことができる。
　第７の態様に係る撮像装置は第１から第６の態様のいずれか１つにおいて、撮像部を水平方向及び垂直方向に回動させるパン・チルト機構をさらに備え、パン・チルト機構は抽出した第１の真の動きベクトル及び第２の真の動きベクトルに基づいて撮像部を回動させる。第７の態様では、第１，第２の真の動きベクトルに基づいて撮像部を回動させることによって、混信による偽の動きベクトルがあっても被写体の動きに対応して追跡撮影することが可能である。
　第８の態様に係る撮像装置は第７の態様において、パン・チルト機構は、第１画像において検出された被写体が第２画像においても検出されるように撮像部を回動させる。
　第１，第２光学系の構成や画像中の被写体の位置及び大きさ等の条件によっては、第１画像において検出された被写体が第２画像において検出されない場合がある。第８の態様では、撮像部を回動させることによって、第１画像において検出された被写体が第２画像においても検出される。
　第９の態様に係る撮像装置は第１から第８の態様のいずれか１つにおいて、撮影光学系は第１光学系が中央部に配置され、第２光学系が第１光学系の周辺部に環状に配置された撮影光学系である。第９の態様は第１，第２光学系の配置の一態様である。
　第１０の態様に係る撮像装置は第１から第９の態様のいずれか１つにおいて、第１画像、第１の動きベクトル、第１の蓋然性、及び第１の真の動きベクトルと、第２画像、第２の動きベクトル、第２の蓋然性、及び第２の真の動きベクトルと、を表示する表示部を備える。第１０の態様では、撮像装置の使用者は動きベクトルや蓋然性、真の動きベクトルを視認可能である。なお、ベクトルや蓋然性を文字、図形、記号、及びそれらの組み合わせにより表示してよく、また表示の色は適宜設定してよい。
　第１１の態様に係る撮像装置は第１０の態様において、表示部は、第１の蓋然性に応じて第１の動きベクトル及び第１の真の動きベクトルを表示し、第２の蓋然性に応じて第２の動きベクトル及び第２の真の動きベクトルを表示する。第１１の態様によれば、抽出された真の動きベクトル及び蓋然性を容易に視認することができる。
　第１２の態様に係る撮像装置は第１から第１１の態様のいずれか１つにおいて、第１画像、第１の動きベクトル、第１の蓋然性、及び第１の真の動きベクトルと、第２画像、第２の動きベクトル、第２の蓋然性、及び第２の真の動きベクトルと、を記録する記録部をさらに備える。複数のデータを適宜に関連づけて記録してもよい。
　上述した目的を達成するため、本発明の第１３の態様に係る撮像方法は、それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第１光学系及び第２光学系からなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を備え、第１光学系及び第２光学系を介して入射する光束をそれぞれ瞳分割して複数の画素で選択的に受光する指向性センサと、を有する撮像部を備える撮像装置の撮像方法であって、第１光学系を介して得られる第１画像の画像信号と第２光学系を介して得られる第２画像の画像信号とを指向性センサから取得する画像読み出し工程と、第１画像における被写体の動きベクトルである第１の動きベクトルと、第２画像における被写体の動きベクトルである第２の動きベクトルと、を検出する動きベクトル検出工程と、第１の動きベクトルが第１光学系を通過した光束による動きベクトルである蓋然性を示す第１の蓋然性と、第２の動きベクトルが第２光学系を通過した光束による動きベクトルである蓋然性を示す第２の蓋然性と、を算出する蓋然性算出工程と、第１の動きベクトルと、第２の動きベクトルと、第１の蓋然性と、第２の蓋然性と、に基づいて、第１画像における第１光学系を通過した光束による動きベクトルである第１の真の動きベクトルと、第２画像における第２光学系を通過した光束による動きベクトルである第２の真の動きベクトルと、を抽出する動きベクトル抽出工程と、を含む。
　第１３の態様に係る撮像方法では、第１の態様と同様に混信があっても真の動きベクトルを抽出して被写体の動きを正しく把握することができ、また混信を防ぐための対策によるコストアップを抑えることができる。このように、第１３の態様に係る撮像方法では混信に容易に対処することができる。
　第１４の態様に係る撮像方法は第１３の態様において、第１光学系及び第２光学系は、一方が広角光学系であり、他方が広角光学系と共通の光軸を有する望遠光学系である。第１４の態様は、第２の態様と同様に本発明における光学系の構成の一態様であり、画像の中心が一致した広角画像及び望遠画像を取得できる。
　第１５の態様に係る撮像方法は第１３または第１４の態様において、動きベクトル検出工程では、連続して取得した複数の第１画像から被写体の第１の特徴点を検出して、検出した第１の特徴点に基づいて、互いに大きさが異なる複数の第１の動きベクトルを検出し、連続して取得した複数の第２画像から被写体の第２の特徴点を検出して、検出した第２の特徴点に基づいて、互いに大きさが異なる複数の第２の動きベクトルを検出する。第１５の態様では第３の態様と同様に、大きさが異なる複数の動きベクトルを検出する。
　第１６の態様に係る撮像方法は第１５の態様において、蓋然性算出工程では、複数の第１の動きベクトルのそれぞれについて第１の蓋然性を算出し、複数の第２の動きベクトルのそれぞれについて第２の蓋然性を算出する。第１６の態様では第４の態様と同様に、複数の動きベクトルのそれぞれについて蓋然性を算出する。
　第１７の態様に係る撮像方法は第１５または第１６の態様において、蓋然性算出工程では、第１の特徴点における輝度信号と、第２の特徴点のうち第１の特徴点に対応する特徴点における輝度信号と、に基づいて、複数の第１の動きベクトルのそれぞれについて第１の蓋然性を算出し、複数の第２の動きベクトルのそれぞれについて第２の蓋然性を算出する。第１７の態様では、第５の態様と同様に特徴点の輝度信号に基づいて第１，第２の蓋然性を算出する。
　第１８の態様に係る撮像方法は第１３から第１７の態様のいずれか１つにおいて、動きベクトル抽出工程では、複数の第１の動きベクトルのうちの一の動きベクトルについての第１の蓋然性が、一の動きベクトルに対応する第２の動きベクトルについての第２の蓋然性よりも高い場合、一の動きベクトルに対応する第２の動きベクトルは第１光学系から第２光学系への混信に起因する動きベクトルであると判断して、一の動きベクトルを第１の真の動きベクトルとして抽出し、一の動きベクトルについての第１の蓋然性が、一の動きベクトルに対応する第２の動きベクトルについての第２の蓋然性以下である場合、一の動きベクトルは第２光学系から第１光学系への混信に起因する動きベクトルであると判断して、第２の動きベクトルを第２の真の動きベクトルとして抽出する。第１８の態様は、第６の態様と同様に真の動きベクトル抽出するものである。
　第１９の態様に係る撮像方法は第１３から第１８の態様のいずれか１つにおいて、抽出した第１の真の動きベクトル及び第２の真の動きベクトルに基づいて撮像部を回動させる撮像部回動工程をさらに含み、撮像部回動工程により撮像部を回動させながら、画像読み出し工程と、動きベクトル検出工程と、蓋然性算出工程と、動きベクトル抽出工程と、を繰り返す。第１９の態様では、撮像部回動工程により撮像部を回動させながら、画像読み出し工程と、動きベクトル検出工程と、蓋然性算出工程と、動きベクトル抽出工程と、を繰り返すことにより、被写体を連続して追跡し撮影することができる。
　第２０の態様に係る撮像方法は第１９の態様において、撮像部回動工程では、第１画像において検出された被写体が第２画像においても検出されるように撮像部を回動させる。第２０の態様では、第８の態様と同様に、第１画像において検出された被写体が第２画像においても検出されるように撮像部を回動させる。
　本発明の第２１の態様は、第１３から第２０の態様のいずれか１つに記載の撮像方法を撮像装置に実行させるプログラムである。第２１の態様に係るプログラムは、ＲＯＭ（Read Only Memory）やＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）のように撮像装置やレンズ装置の内部に組み込まれるメモリに記憶してもよいし、ＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-ray Disc）、ハードディスク、半導体メモリ等の各種光磁気記録媒体（非一時的記録媒体）に記録して用いてもよい。
　本発明の第２２の態様は、第２１の態様に記載のプログラムのコンピュータ読み取り可能なコードが記録され、非一時的（non-transitory）記録媒体である。第２２の態様に係る非一時的記録媒体の例としては、ＣＤやＤＶＤ、ＢＤ、ハードディスク、半導体メモリ等の各種光磁気記録媒体を挙げることができる。
　本発明の撮像装置、撮像方法、プログラム、及び非一時的記録媒体によれば、混信に容易に対処することができる。
図１は、本発明の一実施形態に係る撮像装置の外観を示す斜視図である。 図２は、本発明の一実施形態に係る撮影光学系及び撮像素子の構成を示す断面図である。 図３は、図２に示す撮像素子の詳細な構成を示す断面図である。 図４は、図２に示す撮影光学系（特に第１光学系）及び撮像素子（特に第１センサ群）に入射する広角画像光の光路を示す図である。 図５は、図２に示す撮影光学系（特に第２光学系）及び撮像素子（特に第２センサ群）に入射する望遠画像光の光路を示す図である。 図６は、本発明の一実施形態に係る撮像装置の機能構成を示すブロック図である。 図７は、理想的な広角画像及び望遠画像の例を示す図である。 図８は、混信が生じている広角画像及び望遠画像の例を示す図である。 図９は、真の動きベクトルを抽出する処理を説明する概念図である。 図１０は、真の動きベクトルを抽出する処理を説明する他の概念図である。 図１１は、真の動きベクトルを抽出する処理を説明するさらに他の概念図である。 図１２は、真の動きベクトルを抽出する処理を説明するさらに他の概念図である。 図１３は、真の動きベクトルを抽出する処理の概要を示すフローチャートである。 図１４は、真の動きベクトルを抽出する処理の詳細を示すフローチャートである。 図１５は、真の動きベクトルを抽出する処理を説明するさらに他の概念図である。 図１６は、撮像部の第２の実施形態を示す断面図である。 図１７は、図１６に示す撮像部における、指向性センサでの受光の様子を示す図である。 図１８は、撮像部の第３の実施形態を示す断面図である。
　以下、添付図面に従って本発明に係る撮像装置、撮像方法、プログラム、及び非一時的記録媒体の実施形態について説明する。
　＜撮像装置の構成＞
　図１は、本発明の一実施形態に係る撮像装置３０を示す斜視図である。図１に示す撮像装置３０では、ギア１９を含む保持部１８と、保持部１８に取り付けられた撮像部１０とが、装置本体１５上に設けられる台座１６に固定的に据え付けられている。撮像部１０は、撮影光学系１１及び指向性センサとして撮像素子２４（図２～５参照）を備える。台座１６は、装置本体１５の垂直方向Ｚの軸を中心に回転自在に設けられており、パン・チルト機構５２及びパン駆動部５４（図６参照）により垂直方向Ｚの軸を中心にしたパン動作が行われる。ギア１９は水平方向Ｘの軸と同軸上に設けられ、パン・チルト機構５２及びチルト駆動部５６（図６参照）からギア１９を介して駆動力が伝達されることにより、撮像部１０が上下方向に回動させられてチルト動作が行われる。撮像部１０、ギア１９を含む保持部１８及び台座１６は、防塵及び防滴用のドームカバー１７によって覆われている。
　＜撮像部の構成＞
　図２は、撮影光学系１１及び撮像素子２４の断面構成を示す図である。
　撮影光学系１１は、互に異なる特性を有する第１光学系２１及び第２光学系２２を含む。特に本実施形態では、一例として、焦点距離の異なる光学系によって第１光学系２１及び第２光学系２２が構成される。すなわち、本実施形態の撮影光学系１１は、「広角画像撮影レンズ群」によって構成される第１光学系２１と、「望遠画像撮影レンズ群」によって構成される第２光学系２２とを含み、撮像素子２４によって広角画像及び望遠画像を同時に撮影することができる。
　図２に示す第１光学系２１は、同一の光軸Ｌ上に配置される第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を含む。一方、第２光学系２２は、第１望遠用レンズ２２ａ、第１望遠用反射ミラー２２ｃが設けられる第１望遠用反射体２２ｂ、第２望遠用反射ミラー２２ｅが設けられる第２望遠用反射体２２ｄ、及び共通レンズ２３を含む。本例の第１光学系２１（特に第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ及び第４広角用レンズ２１ｄ）は、中央光学系を形成する。一方、本例の第２光学系２２（特に第１望遠用レンズ２２ａ、第１望遠用反射体２２ｂ、第１望遠用反射ミラー２２ｃ、第２望遠用反射体２２ｄ及び第２望遠用反射ミラー２２ｅ）は、第１光学系２１が形成する中央光学系の周辺に設けられ、第１光学系２１が形成する中央光学系とともに同心円を形成する。なお共通レンズ２３は、光軸Ｌ上に配置され、第１光学系２１と第２光学系２２との間で共用される。
　上記したように撮影光学系１１は、共通の光軸Ｌを有し、相互に異なる焦点距離及び撮影画角を有する第１光学系２１及び第２光学系２２を含む。
　撮像素子２４は、光軸Ｌと垂直を形成する方向において、指向性センサとして複数の受光センサ２５が２次元的に配置されることで構成される。特に本実施形態の撮像素子２４は、第１光学系２１を介して入射する広角画像光と第２光学系２２を介して入射する望遠画像光とを同時に受光し、第１画像（ここでは、広角画像）を生成するための第１画像の画像信号（“第１画像信号”ともいう）と第２画像（ここでは、望遠画像）を生成するための第２画像の画像信号（“第２画像信号”ともいう）とを出力可能な指向性センサを構成する。すなわち、本実施形態の撮像素子２４は、第１光学系２１及び第２光学系２２の各々に対応して設けられる複数の受光センサ２５であって、第１光学系２１及び第２光学系２２のうち対応する光学系を通過した光を瞳分割して選択的に受光する複数の受光センサ２５を有する。
　図３は、図２に示す撮像素子２４の詳細な断面構成例を示す図である。
　本例の撮像素子２４を構成する複数の受光センサ２５（光電変換素子）は、第１光学系２１に対応する「広角画像用の第１の受光センサ２５ａ」と、第２光学系２２に対応する「望遠画像用の第２の受光センサ２５ｂ」とを含み、これらの第１の受光センサ２５ａ及び第２の受光センサ２５ｂが２次元的に交互に配置されて、撮像素子２４の画素を構成する。撮像素子２４に含まれる複数の第１の受光センサ２５ａは、「第１光学系２１を通過した光を選択的に受光する第１センサ群２４ａ」を構成し、広角画像を生成するための撮像信号を出力する。また撮像素子２４に含まれる複数の第２の受光センサ２５ｂは、「第２光学系２２を通過した光を選択的に受光する第２センサ群２４ｂ」を構成し、望遠画像を生成するための撮像信号を出力する。このように本例の撮像素子２４は、第１光学系２１に対応する第１センサ群２４ａと第２光学系２２に対応する第２センサ群２４ｂとを含む。
　第１の受光センサ２５ａ及び第２の受光センサ２５ｂの各々は、マイクロレンズ２６、フォトダイオード２９、及びマイクロレンズ２６とフォトダイオード２９とが配置される中間層２７を有する。中間層２７には遮光マスク２８が設けられており、第１の受光センサ２５ａにおいてフォトダイオード２９の受光面の周辺部に遮光マスク２８が配置され、第２の受光センサ２５ｂにおいてフォトダイオード２９の受光面の中央部に遮光マスク２８が配置される。遮光マスク２８の配置は、第１光学系２１及び第２光学系２２のうちのいずれに対応するかに応じて決定され、各遮光マスク２８は、対応しない光学系からの光をブロックする一方で対応する光学系からの光をブロックすることなくフォトダイオード２９に受光させる。
　本例では、遮光マスク２８を含む受光センサ２５によって、第１光学系２１及び第２光学系２２のうち対応する光学系を通過した光を瞳分割して選択的に受光する複数の受光センサが実現されている。本発明は、この方式に限定することがなく、他の手段によって瞳分割が実現されてもよい。例えば、マイクロレンズ２６の前段（例えばマイクロレンズ２６と共通レンズ２３（図３参照）との間）に遮光マスク２８が設けられてもよいし、遮光マスク２８以外の遮光手段（例えば液晶シャッター等）が用いられてもよい。
　なお、中間層２７には遮光マスク２８以外の部材が設けられてもよく、例えば配線或いは回路類が中間層２７に設けられてもよい。
　撮像素子２４には、各受光センサ２５に対し配設されたＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ（“光学フィルタ”ともいう、図示せず）により構成されるカラーフィルタ配列が設けられており、このカラーフィルタ配列の色配列パターンに対応して得られる各色の画像（すなわち、モザイク画像）を画像生成部３２（図６参照）がデモザイク処理（“同時化処理”ともいう）することにより、カラーの広角画像及び望遠画像が得られる。
　図４は、図２に示す撮影光学系１１及び図３に示す撮像素子２４において、第１光学系２１及び第１センサ群２４ａに入射する広角画像光Ｗの光路を示す図である。本実施形態において広角画像光Ｗは、第１光学系２１の第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を順次通過し、撮像素子２４上の第１センサ群２４ａに広角画像が結像する。
　図５は、図２に示す撮影光学系１１及び図３に示す撮像素子２４において、第２光学系２２及び第２センサ群２４ｂに入射する望遠画像光Ｔの光路を示す図である。本実施形態において望遠画像光Ｔは、第１望遠用レンズ２２ａを通過（透過）し、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射された後に共通レンズ２３を通過し、撮像素子２４上の第２センサ群２４ｂに望遠画像が結像する。このように、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射されて光路が折り返されることにより、焦点距離の長い望遠画像撮影用の第２光学系２２の光軸Ｌの方向において長さを短くすることができる。
　図６は、本実施形態に係る撮像装置３０の機能構成例を示すブロック図である。
　本例の撮像装置３０は、上述の第１光学系２１及び第２光学系２２を有する撮影光学系１１及び第１センサ群２４ａ及び第２センサ群２４ｂを有する撮像素子２４（）の他に、画像生成部３２、メインコントローラ３７、画像処理部３８、記録部３９、表示コントローラ４０、表示部４１及びユーザ操作部４２を有する。
　画像生成部３２（“画像読み出し部”ともいう）は、第１センサ群２４ａから出力される第１画像信号に基づいて第１画像の画像データ（“第１画像データ”ともいう）を生成し、第２センサ群２４ｂから出力される第２画像信号に基づいて第２画像の画像データ（“第２画像データ”ともいう）を生成する。画像生成部３２において生成された第１画像データ及び第２画像データは、例えば、後段に設けられる画像処理部３８、記録部３９及び表示コントローラ４０や、画像生成部３２を制御するメインコントローラ３７に送られる。
　動きベクトル検出部、蓋然性算出部、動きベクトル抽出部（図示せず）を含む画像処理部３８蓋然性は、第１画像及び第２画像における被写体を検出し、検出結果に基づいて、被写体の動きベクトル検出、蓋然性算出、及び真の動きベクトル抽出を行う。画像処理部３８による処理については、詳細を後述する。
　記録部３９は、第１,第２画像データと、動きベクトル、蓋然性、及び真の動きベクトルとを、対応付けて記録する。
　表示コントローラ４０は、送られてくる第１画像データ及び第２画像データに基づいて再現される第１画像の広角画像、第２画像の望遠画像、動きベクトル、蓋然性、真の動きベクトルを表示部４１に表示させる。
　パン・チルト装置（電動雲台）５０は、図１に示した撮像部１０を装置本体１５に対して水平方向（すなわち、パン方向）及び垂直方向（すなわち、チルト方向）に回動させるパン・チルト機構５２、パン駆動部５４、及びチルト駆動部５６等を備えている。パン・チルト機構５２は、パン方向の回転角（パン角）の基準位置を検出するホームポジションセンサ、及びチルト方向の傾き角（すなわち、チルト角）の基準位置を検出するホームポジションセンサを有している。
　パン駆動部５４及びチルト駆動部５６は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構５２に駆動力を出力し、パン・チルト機構５２を駆動する。
　メインコントローラ３７は、撮像部１０、画像生成部３２、画像処理部３８、記録部３９、表示コントローラ４０、表示部４１、ユーザ操作部４２、パン・チルト装置５０、及び撮像装置３０を構成するその他の各部に接続されて、各部における処理機能を制御する。ユーザ操作部４２は、ユーザによって操作されて各種の指示コマンドが入力され、ユーザ操作部４２に入力された各種の指示コマンドはメインコントローラ３７に送信され、メインコントローラ３７は、ユーザ操作部４２からの指示コマンドに基づいて撮像装置３０の各部を制御することができる。
　＜広角画像及び望遠画像＞
　次に、広角画像及び望遠画像について説明する。図７（ａ），（ｂ）は広角画像及び望遠画像の例を示す図である。図７（ａ）は広角画像であり、図７（ｂ）は望遠画像である。なお図７（ａ），（ｂ）では、広角画像と望遠画像との間で混信が生じていない理想的な広角画像と望遠画像場合の例を示している。
　＜混信がある場合の広角画像及び望遠画像＞
　一方、混信がある場合の広角画像及び望遠画像の例を図８（ａ），（ｂ）に示す。図８（ａ）は広角画像であり、図８（ｂ）は望遠画像である。図８（ａ）に示すように、広角画像中に望遠画像が混信していて、本来の被写体像（ここでは、画像中央の小さなトラック）の他に、混信による偽像（ここでは、トラックの大きな像）が画像内にうっすらと現れている。一方図８（ｂ）に示すように、望遠画像中にも広角画像が混信していて、本来の被写体（ここでは、画像中央の大きなトラック）の他に、混信による偽像（ここでは、トラックの小さな像）が画像中央にうっすらと現れている。以下に示す真の動きベクトル抽出は、このような状況を例として説明する。
　＜蓋然性に基づく真の動きベクトル抽出（その１）＞
　蓋然性に基づく真の動きベクトル抽出について、まず概念的に説明する。なおここでは、説明を簡単にするため、被写体としては図７，８におけるトラックのみを考慮し、このトラックが図の左から右に走っているとしている。
　図９（ａ）は、広角画像中の被写体像の輪郭線を示す図であり（説明の都合上、望遠画像の混信による被写体像は図示していない）、被写体の輪郭線と、輪郭線上に存在する特徴点について検出された第１の動きベクトル（図中の矢印）と、を示している。各動きベクトルの始点は特徴点としている。なおここでは、動きベクトルの「蓋然性」を、動きベクトルの太さで示している。ここで「蓋然性」とは動きベクトル検出の基となる輝度信号の強さを反映したものであり、動きベクトルが検出される特徴点の輝度差を用いて定量化することができるが、色差の大きさや、近くの特徴点同士の密度などに基づいて定量化してもよい。
　図９（ｂ）は、広角画像の被写体像が望遠画像中に混信した様子を示す図である（説明の都合上、望遠画像における真の被写体像は図示していない）。図９（ｂ）における被写体像は混信による像であり輝度が低いため、「蓋然性」を示す動きベクトルの太さも図９（ａ）に示す動きベクトルより細くなっている。
　本実施形態では、第１光学系２１と第２光学系２２とは共に光軸がＬで共通なので、図９（ｂ）における混信による被写体の偽像の位置は図９（ａ）における被写体像と同位置となる。そこで、図９（ａ）の広角画像と図９（ｂ）の望遠画像とを比較し、これら画像中の同じ位置に同じ向きと同じ大きさを持つ動きベクトルがあった場合は、蓋然性の低い方の動きベクトルは混信による偽の動きベクトルであると判断する。このようにして真の動きベクトルのみを抽出した結果を示すのが図１０（ａ），（ｂ）である。
　図１０（ａ）は、図９（ａ）の広角画像から抽出した真の動きベクトルを示す図である。なお図９，１０に示す例では広角画像中の被写体と広角画像から望遠画像の混信のみについて説明しているので、図１０（ｂ）に示すように、図９（ｂ）の望遠画像（図示せず）からは広角画像に対応する真の動きベクトルは抽出されていない。
　＜蓋然性に基づく真の動きベクトル抽出（その２）＞
　次に、広角画像及び望遠画像に混信による偽像が生じている場合の、真の動きベクトル抽出について説明する。図１１（ａ）は広角画像から抽出された被写体像（輪郭で表す）及び検出された動きベクトルを示す図であり、本来の被写体像（図中央の小さなトラック像）に加えて望遠画像の混信による偽の被写体像（大きなトラック像）が生じている様子を示している。即ち、図１１（ａ）は図８（ａ）に対応した図である。一方図１１（ｂ）は望遠画像から抽出された被写体像（輪郭で表す）及び検出された動きベクトルを示す図であり、本来の被写体像（大きなトラック像）に加えて広角画像の混信による偽の被写体像（図中央の小さなトラック像）が生じている様子を示している。即ち、図１１（ｂ）は図８（ｂ）に対応した図である。
　なお図１１においても、図９（ａ），（ｂ）と同様に動きベクトルの「蓋然性」をベクトルの太さで図示している。
　図１１（ａ），（ｂ）に示す場合も、図９（ａ），（ｂ）の場合と同様にして、画像中の同じ位置に同じ向きと同じ大きさを持つ動きベクトルがあった場合は、蓋然性の低い方の動きベクトルは混信による偽の動きベクトルであると判断して、真の動きベクトルを抽出する。そのようにして抽出した動きベクトルを示すのが図１２（ａ），（ｂ）である。図１２（ａ）は広角画像から抽出された真の動きベクトルを示し、図１２（ｂ）は望遠画像から抽出された真の動きベクトルを示す。
　＜真の動きベクトル抽出及び被写体追跡＞
　次に、撮像装置３０における真の動きベクトル抽出及び被写体追跡の処理について、詳細に説明する。図１３は、真の動きベクトル抽出処理を示すフローチャートである。なお、このような処理を行うプログラムは例えばメインコントローラ３７や記録部３９に記憶しておくことができ、また当該プログラムのコンピュータ読み取り可能なコードをＣＤやＤＶＤ、ＢＤ、ハードディスク、半導体メモリ等の非一時的（non-transitory）記録媒体に記録して用いるようにしてもよい。
　まず画像生成部３２（図６参照）は、第１画像の広角画像を示す画像信号と第２画像の望遠画像を示す画像信号とを、撮像素子２４から取得し、広角画像及び望遠画像を生成する（ステップＳ１０；画像読み出し工程）。次にステップＳ１２に進んで、広角画像及び望遠画像のそれぞれについて、被写体の動きベクトルを検出する（動きベクトル検出工程）。なお、これらの処理において広角画像で検出された被写体が望遠画像で検出されない場合は、必要に応じパン・チルト装置５０により撮像部１０を回動させてもよい。
　ステップＳ１２の動きベクトル検出工程における広角画像からの動きベクトル検出について説明する。まず、時間間隔を空けて複数の広角画像を取得し、それら複数の広角画像（第１画像）のそれぞれにおいて被写体の特徴点（第１の特徴点）を検出する。そして、対応する特徴点の差分に基づいて、広角画像における動きベクトル（第１の動きベクトル）を検出する。同様に、時間間隔を空けて取得した複数の望遠画像（第２画像）から望遠画像における被写体の特徴点（第２の特徴点）を検出して、望遠画像における動きベクトル（第２の動きベクトル）を検出する。
　本実施形態では、広角画像と望遠画像とで画角が異なるため被写体の大きさが異なり、また広角画像と望遠画像とで混信が生じているため、ステップＳ１２の動きベクトル検出工程においては、第１，第２の動きベクトルとも、互いに大きさが異なる複数の動きベクトルが検出される。
　次に、ステップＳ１４へ進んで、動きベクトルの蓋然性を算出する（蓋然性算出工程）。ここでは説明を簡単にするため、図１５に示すように広角画像（図１５（ａ））及び望遠画像（図１５（ｂ））のそれぞれにおいて２つの動きベクトルが検出された場合について説明する。なお、図１５中の記号の意味は以下の通りである。
　　Ｑｗ１，Ｑｗ２：広角画像における特徴点（第１の特徴点）
　　Ｖｗ１，Ｖｗ２：特徴点Ｑｗ１，Ｑｗ２についての動きベクトル（第１の動きベクトル）
　　Ｑｔ１，Ｑｔ２：望遠画像における特徴点（第２の特徴点）
　　Ｖｔ１，Ｖｔ２：特徴点Ｑｔ１，Ｑｔ２についての動きベクトル（第２の動きベクトル）
　動きベクトルＶｗ１，Ｖｗ２が広角光学系を通過した光束による動きベクトルであり、対応する蓋然性である第１の蓋然性をそれぞれＰｗ１，Ｐｗ２とし、動きベクトルＶｔ１，Ｖｔ２が望遠光学系を通過した光束による動きベクトルであり、対応する蓋然性である第２の蓋然性をそれぞれＰｔ１，Ｐｔ２とする。
　ステップＳ１４では、広角画像における被写体の動きベクトルＶｗ１，Ｖｗ２が広角光学系（第１光学系２１）を通過した光束による動きベクトルである蓋然性Ｐｗ１，Ｐｗ２と、望遠画像における被写体の動きベクトルＶｔ１，Ｖｔ２が望遠光学系（第２光学系２２）を通過した光束による動きベクトルである蓋然性Ｐｔ１，Ｐｔ２と、を算出する。
　例えば、蓋然性Ｐｗ１及びＰｔ１は、広角画像中の特徴点Ｑｗ１における輝度信号と、特徴点Ｑｗ１に対応する望遠画像中の特徴点Ｑｔ１における輝度信号とに基づいて算出することができる。同様に、蓋然性Ｐｗ２及びＰｔ２は、広角画像中の特徴点Ｑｗ２における輝度信号と、特徴点Ｑｗ２に対応する望遠画像中の特徴点Ｑｔ２における輝度信号とに基づいて算出することができる。
　ステップＳ１４における蓋然性の算出が終了すると、ステップＳ１６に進んで真の動きベクトルを抽出する（動きベクトル抽出工程）。図１４を参照しつつ、ステップＳ１６の処理を詳細に説明する。
　まず、ステップＳ２２おいて動きベクトルの候補リストを作成する。この候補リストは、広角画像の動きベクトル（図１５の例ではＶｗ１，Ｖｗ２）及び望遠画像の動きベクトル（Ｖｔ１，Ｖｔ２）から、同じ位置において同じ向きを持つベクトルを抽出し、対にしたリストを作成する。図１５の例では、（Ｖｗ１，Ｖｔ１）と（Ｖｗ２，Ｖｔ２）とがリスト化される。
　ステップＳ２２でリスト化された動きベクトルについては、いずれも蓋然性が算出されているので、ステップＳ２４で、リスト化された動きベクトル同士で蓋然性を比較する。具体的には、「広角画像における動きベクトルについての蓋然性が、当該動きベクトルと対応する望遠画像における動きベクトルについての蓋然性よりも、高いか否か」を判断する。図１５の例では、動きベクトルＶｗ１についての蓋然性Ｐｗ１と、動きベクトルＶｔ１についての蓋然性Ｐｔ１を比較する。
　ステップＳ２４での判断が肯定された場合（判断結果がＹＥＳ）はステップＳ２６へ進んで、広角画像の動きベクトルを真の動きベクトルとして抽出し、判断が否定された場合（判断結果がＮＯ）はステップＳ２８へ進んで、望遠画像の動きベクトルを真の動きベクトルとして抽出する。図１５の例ではＰｗ１＞Ｐｔ１なのでステップＳ２４での判断が肯定され、動きベクトルＶｔ１は第１光学系２１から第２光学系２２への混信による偽の動きベクトルであると判断して、動きベクトルＶｗ１を真の動きベクトルとして抽出する。また、Ｐｗ２≦Ｐｔ２なので、動きベクトルＶｗ２は第２光学系２２から第１光学系２１への混信による偽の動きベクトルであると判断して、動きベクトルＶｔ２を真の動きベクトルとして抽出する。
　このようにステップＳ２２からＳ２８までの処理を繰り返すことにより、真の動きベクトルを抽出することができる。リスト化された全ての動きベクトルについて真の動きベクトルの抽出が終了したら、図１３のフローチャートに戻ってステップＳ１８へ進む。
　ステップＳ１８では、動きベクトル、真の動きベクトル、及び蓋然性を、特徴点と関連づけて表示部４１に表示させるとともに、記録部３９に記録する。例えば、図１５に示すように表示し、この情報を記録する。なお図１５では、動きベクトルＶｗ２，Ｖｔ１及び真の動きベクトルＶｗ１，Ｖｔ２を、始点を特徴点Ｑｗ２，Ｑｔ１，Ｑｗ１，Ｑｔ２とし、蓋然性Ｐｗ２，Ｐｔ１，Ｐｗ１，Ｐｔ２に応じた太さで表示している。
　なお表示においては、蓋然性に応じて動きベクトルや真の動きベクトルの色を変える（例えば、蓋然性が高いものは青く、低いものは赤くする）ようにしてもよいし、明るさを変える（例えば、蓋然性が高いものほど明るくする）ようにしてもよい。また蓋然性を表す文字、図形、記号などを表示してもよい。
　ステップＳ１８での表示及び記録が終了すると、ステップＳ２０に進んで真の動きベクトルＶｗ１，Ｖｔ２の方向及び大きさに基づいて撮像部１０を回動させ（撮像部回動工程）、ステップＳ１０以降の処理を繰り返す。これにより被写体を連続して追跡及び撮影することができる。なおステップＳ２０において、広角画像で検出された被写体が望遠画像で検出されない場合は、必要に応じパン・チルト装置５０により撮像部１０を回動させるようにしてもよい。
　以上説明したように、第１の実施形態に係る撮像装置３０では、蓋然性に基づいて真の動きベクトルを抽出するので、混信があっても被写体の動きを把握でき、混信に容易に対処することができる。また真の動きベクトルＶｗ１，Ｖｔ２に基づいて撮像部１０を回動させるので、混信があっても被写体を連続して追跡することができる。
　第１の実施形態に係る撮像装置３０は、建造物等に設置して監視カメラとして利用でき、また車両等の移動体に搭載して車載カメラとして利用することもできる。
　なお、第１の実施形態では被写体が一つの例について説明しているが、本発明において被写体の数は一に限定されるものではなく、複数の被写体が検出された場合はそれぞれの被写体について真の動きベクトル抽出等の処理を行うことができる。また第１の実施形態において、被写体の動きを把握し連続して追跡するには、真の動きベクトルを抽出すればよく、混信を除去した画像を作成する必要はない（図８のような画像を画像処理して図７のような画像にする必要はない）ことに留意すべきである。
　＜撮像部の第２の実施形態＞
　次に、本発明における撮像部の第２の実施形態について説明する。図１６は、第２の実施形態に係る撮像部６１を示す断面図である。
　図１６に示すように、第２の実施形態に係る撮像部６１は、撮影光学系６２と指向性センサ６７とから構成されている。
　＜撮影光学系＞
　撮影光学系６２は、それぞれ同一の光軸Ｌ２上に配置された、第１光学系としての中央部の中央光学系６３と、その周辺部の同心円状の第２光学系としての環状光学系６４とから構成されている。
　中央光学系６３は、第１レンズ６３ａ、第２レンズ６３ｂ、第３レンズ６３ｃ、第４レンズ６３ｄ、及び共通レンズ６５から構成された広角光学系であり、指向性センサ６７を構成するマイクロレンズアレイ６６上に広角画像を結像させる。
　環状光学系６４は、第１レンズ６４ａ、第２レンズ６４ｂ、反射光学系としての第１反射ミラー６４ｃ、第２反射ミラー６４ｄ、及び共通レンズ６５から構成された望遠光学系であり、マイクロレンズアレイ６６上に望遠画像を結像させる。第１レンズ６４ａ、及び第２レンズ６４ｂを介して入射した光束は、第１反射ミラー６４ｃ及び第２反射ミラー６４ｄにより２回反射された後、共通レンズ６５を通過する。第１反射ミラー６４ｃ及び第２反射ミラー６４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系の光軸方向の長さを短くしている。
　＜指向性センサ＞
　指向性センサ６７は、マイクロレンズアレイ６６とイメージセンサ６８とから構成されている。
　図１７は、マイクロレンズアレイ６６及びイメージセンサ６８の要部拡大図である。
　マイクロレンズアレイ６６は、複数のマイクロレンズ（瞳結像レンズ）６６ａが２次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ６８の光電変換素子である受光セル６８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ６６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。
　また、マイクロレンズアレイ６６の各マイクロレンズ６６ａは、撮影光学系６２の中央光学系６３及び環状光学系６４に対応する、円形の中央瞳像（第１の瞳像）６７ａ及び環状瞳像（第２の瞳像）６７ｂを、イメージセンサ６８の対応する受光領域の受光セル６８ａ上に結像させる。
　図１７に示すマイクロレンズアレイ６６及びイメージセンサ６８によれば、マイクロレンズアレイ６６の１マイクロレンズ６６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル６８ａが割り付けられている。以下、１つのマイクロレンズ６６ａ及び１つのマイクロレンズ６６ａに対応する受光セル群（３×３個の受光セル６８ａ）を単位ブロックという。
　中央瞳像６７ａは、単位ブロックの中央の受光セル６８ａのみに結像し、環状瞳像６７ｂは、単位ブロックの周囲の８個の受光セル６８ａに結像する。
　上述した構成の撮像部６１によれば、中央光学系６３に対応する広角画像と、環状光学系６４に対応する望遠画像（撮影倍率が広角画像よりも大きい画像）とを同時に撮像することができる。
　なお、イメージセンサ６８には、各受光セル上に対して配設されたＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ（光学フィルタ）により構成されるカラーフィルタ配列が設けられており、このカラーフィルタ配列の色配列パターンに対応して得られる各色の画像（モザイク画像）をデモザイク処理（同時化処理）することにより、カラーの広角画像及び望遠画像が得られる。
　なお、撮像部６１により取得した広角画像及び望遠画像に関して、動きベクトルの検出や真の動きベクトルの抽出処理は上述した第１の実施形態と同様に行うことができる。これにより第２の実施形態においても、混信があっても被写体の動きを把握でき、混信に容易に対処することができるとともに、被写体を連続して追跡することができる。
　＜撮像部の第３の実施形態＞
　本発明における撮像部の第３の実施形態について説明する。図１８は、第３の実施形態に係る撮像部１１１を示す断面図である。
　撮像部１１１は、撮影光学系１１２と、指向性センサ６７とを備えている。なお、指向性センサ６７は図１６及び図１７に示したものと同一であるため、以下、撮影光学系１１２について説明する。
　撮影光学系１１２は、それぞれ同一の光軸Ｌ３上に配置された中央部の第１光学系１１３（中央光学系）とその第２光学系１１４（周辺部の環状光学系）とから構成されている。
　中央光学系１１３は、第１レンズ１１３ａ、第２レンズ１１３ｂ、及び共通レンズ１１５から構成された望遠光学系であり、画角αを有している。一方、環状光学系１１４は、レンズ１１４ａ及び共通レンズ１１５から構成された広角光学系であり、画角β（β＞α）を有し、中央光学系１１３よりも広角である。
　撮影光学系１１２は、図１６に示した撮影光学系６２と比較すると、反射ミラーを使用しておらず、また、中央光学系１１３が望遠光学系であり、環状光学系１１４が広角光学系である点で相違する。
　なお、撮像部１１１により取得した広角画像及び望遠画像に関して、動きベクトルの検出や真の動きベクトルの抽出処理は上述した第１，第２の実施形態と同様に行うことができ、これにより第３の実施形態においても、混信があっても被写体の動きを把握でき、混信に容易に対処することができるとともに、被写体を連続して追跡することができる。
　＜その他＞
　以上説明した第１～第３の実施形態では、第１光学系が中央部に配置された円形の光学系であり第２光学系が第１光学系の周辺部に環状に配置された環状光学系である場合について説明したが、本発明における撮影光学系は、例えば、第１，第２光学系をそれぞれ半月型の光学系とするように、第１，第２光学系が光軸に垂直な面内の異なる領域に配置されてもよい。
　また、第１～第３の実施形態では第１，第２光学系の焦点距離（撮影画角）が互いに異なる場合について説明したが、第１，第２光学系において異なる撮像特性としては焦点距離（撮影画角）に限らず、合焦距離や透過光の周波数が異なっていてもよい。
　また、第１～第３の実施形態では、光学系（第１，第２光学系）の光軸が共通である場合について説明したが、本発明において光学系の光軸は共通でなくてもよい。第１，第２光学系の光軸がゼロでない角度を成している場合は、第１，第２光学系の撮影画角の一部が重なっているようにしてもよい。
　また、本発明において光学系の数は２に限らず、３以上でもよい。３以上の光学系を用いる場合、第１あるいは第２光学系がさらに複数の光学系により構成されるようにしてもよい。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
　１０，６１，１１１…撮像部、１１，６２，１１２…撮影光学系、２１…第１光学系、２２…第２光学系、２４…撮像素子、２４ａ…第１センサ群、２４ｂ…第２センサ群、３０…撮像装置、３２…画像生成部、３８…画像処理部、３９…記録部、４０…表示コントローラ、４１…表示部、５０…パン・チルト装置、６７…指向性センサ、Ｑｗ１，Ｑｗ２，Ｑｔ１，Ｑｔ２…特徴点、Ｖｗ１，Ｖｗ２，Ｖｔ１，Ｖｔ２…動きベクトル

Claims (22)

  1. 　それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第１光学系及び第２光学系からなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を備え、前記第１光学系及び前記第２光学系を介して入射する光束をそれぞれ瞳分割して前記複数の画素により選択的に受光する指向性センサと、を有する撮像部と、
    　前記第１光学系を介して得られる第１画像の画像信号と前記第２光学系を介して得られる第２画像の画像信号とを前記指向性センサから取得する画像読み出し部と、
    　前記第１画像における被写体の動きベクトルである第１の動きベクトルと、前記第２画像における前記被写体の動きベクトルである第２の動きベクトルと、を検出する動きベクトル検出部と、
    　前記第１の動きベクトルが前記第１光学系を通過した光束による動きベクトルである蓋然性を示す第１の蓋然性と、前記第２の動きベクトルが前記第２光学系を通過した光束による動きベクトルである蓋然性を示す第２の蓋然性と、を算出する蓋然性算出部と、
    　前記第１の動きベクトルと、前記第２の動きベクトルと、前記第１の蓋然性と、前記第２の蓋然性と、に基づいて、前記第１画像における前記第１光学系を通過した光束による動きベクトルである第１の真の動きベクトルと、前記第２画像における前記第２光学系を通過した光束による動きベクトルである第２の真の動きベクトルと、を抽出する動きベクトル抽出部と、
    　を備える撮像装置。
  2. 　前記第１光学系及び前記第２光学系は、一方が広角光学系であり、他方が前記広角光学系と共通の光軸を有する望遠光学系である、請求項１に記載の撮像装置。
  3. 　前記動きベクトル検出部は、
    　連続して取得した複数の前記第１画像から前記被写体の第１の特徴点を検出して、前記検出した第１の特徴点に基づいて、互いに大きさが異なる複数の前記第１の動きベクトルを検出し、
    　連続して取得した複数の前記第２画像から前記被写体の第２の特徴点を検出して、前記検出した第２の特徴点に基づいて、互いに大きさが異なる複数の前記第２の動きベクトルを検出する、
    　請求項１または２に記載の撮像装置。
  4. 　前記蓋然性算出部は、前記複数の第１の動きベクトルのそれぞれについて前記第１の蓋然性を算出し、前記複数の第２の動きベクトルのそれぞれについて前記第２の蓋然性を算出する、請求項３に記載の撮像装置。
  5. 　前記蓋然性算出部は、前記第１の特徴点における輝度信号と、前記第２の特徴点のうち前記第１の特徴点に対応する特徴点における輝度信号と、に基づいて、前記複数の第１の動きベクトルのそれぞれについて前記第１の蓋然性を算出し、前記複数の第２の動きベクトルのそれぞれについて前記第２の蓋然性を算出する請求項３または４に記載の撮像装置。
  6. 　前記動きベクトル抽出部は、
    　前記複数の第１の動きベクトルのうちの一の動きベクトルについての前記第１の蓋然性が、前記一の動きベクトルに対応する前記第２の動きベクトルについての前記第２の蓋然性よりも高い場合は、前記一の動きベクトルに対応する前記第２の動きベクトルは前記第１光学系から前記第２光学系への混信に起因する動きベクトルであると判断して、前記一の動きベクトルを前記第１の真の動きベクトルとして抽出し、
    　前記一の動きベクトルについての前記第１の蓋然性が、前記一の動きベクトルに対応する前記第２の動きベクトルについての前記第２の蓋然性以下である場合、前記一の動きベクトルは前記第２光学系から前記第１光学系への混信に起因する動きベクトルであると判断して、前記第２の動きベクトルを前記第２の真の動きベクトルとして抽出する、
    　請求項１から５のいずれか１項に記載の撮像装置。
  7. 　前記撮像部を水平方向及び垂直方向に回動させるパン・チルト機構をさらに備え、前記パン・チルト機構は前記抽出した前記第１の真の動きベクトル及び前記第２の真の動きベクトルに基づいて前記撮像部を回動させる、請求項１から６のいずれか１項に記載の撮像装置。
  8. 　前記パン・チルト機構は、前記第１画像において検出された被写体が前記第２画像においても検出されるように前記撮像部を回動させる、請求項７に記載の撮像装置。
  9. 　前記撮影光学系は前記第１光学系が中央部に配置され、前記第２光学系が前記第１光学系の周辺部に環状に配置された撮影光学系である、請求項１から８のいずれか１項に記載の撮像装置。
  10. 　前記第１画像、前記第１の動きベクトル、前記第１の蓋然性、及び前記第１の真の動きベクトルと、前記第２画像、前記第２の動きベクトル、前記第２の蓋然性、及び前記第２の真の動きベクトルと、を表示する表示部を備える、請求項１から９のいずれか１項に記載の撮像装置。
  11. 　前記表示部は、前記第１の蓋然性に応じて前記第１の動きベクトル及び前記第１の真の動きベクトルを表示し、前記第２の蓋然性に応じて前記第２の動きベクトル及び前記第２の真の動きベクトルを表示する、請求項１０に記載の撮像装置。
  12. 　前記第１画像、前記第１の動きベクトル、前記第１の蓋然性、及び前記第１の真の動きベクトルと、前記第２画像、前記第２の動きベクトル、前記第２の蓋然性、及び前記第２の真の動きベクトルと、を記録する記録部をさらに備える、請求項１から１１のいずれか１項に記載の撮像装置。
  13. 　それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第１光学系及び第２光学系からなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を備え、前記第１光学系及び前記第２光学系を介して入射する光束をそれぞれ瞳分割して前記複数の画素により選択的に受光する指向性センサと、を有する撮像部を備える撮像装置の撮像方法であって、
    　前記第１光学系を介して得られる第１画像の画像信号と前記第２光学系を介して得られる第２画像の画像信号とを前記指向性センサから取得する画像読み出し工程と、
    　前記第１画像における被写体の動きベクトルである第１の動きベクトルと、前記第２画像における前記被写体の動きベクトルである第２の動きベクトルと、を検出する動きベクトル検出工程と、
    　前記第１の動きベクトルが前記第１光学系を通過した光束による動きベクトルである蓋然性を示す第１の蓋然性と、前記第２の動きベクトルが前記第２光学系を通過した光束による動きベクトルである蓋然性を示す第２の蓋然性と、を算出する蓋然性算出工程と、
    　前記第１の動きベクトルと、前記第２の動きベクトルと、前記第１の蓋然性と、前記第２の蓋然性と、に基づいて、前記第１画像における前記第１光学系を通過した光束による動きベクトルである第１の真の動きベクトルと、前記第２画像における前記第２光学系を通過した光束による動きベクトルである第２の真の動きベクトルと、を抽出する動きベクトル抽出工程と、
    　を含む撮像方法。
  14. 　前記第１光学系及び前記第２光学系は、一方が広角光学系であり、他方が前記広角光学系と共通の光軸を有する望遠光学系である、請求項１３に記載の撮像方法。
  15. 　前記動きベクトル検出工程では、
    　連続して取得した複数の前記第１画像から前記被写体の第１の特徴点を検出して、前記検出した第１の特徴点に基づいて、互いに大きさが異なる複数の前記第１の動きベクトルを検出し、
    　連続して取得した複数の前記第２画像から前記被写体の第２の特徴点を検出して、前記検出した第２の特徴点に基づいて、互いに大きさが異なる複数の前記第２の動きベクトルを検出する、
    　請求項１３または１４に記載の撮像方法。
  16. 　前記蓋然性算出工程では、前記複数の第１の動きベクトルのそれぞれについて前記第１の蓋然性を算出し、前記複数の第２の動きベクトルのそれぞれについて前記第２の蓋然性を算出する、請求項１５に記載の撮像方法。
  17. 　前記蓋然性算出工程では、前記第１の特徴点における輝度信号と、前記第２の特徴点のうち前記第１の特徴点に対応する特徴点における輝度信号と、に基づいて、前記複数の第１の動きベクトルのそれぞれについて前記第１の蓋然性を算出し、前記複数の第２の動きベクトルのそれぞれについて前記第２の蓋然性を算出する請求項１５または１６に記載の撮像方法。
  18. 　前記動きベクトル抽出工程では、
    　前記複数の第１の動きベクトルのうちの一の動きベクトルについての前記第１の蓋然性が、前記一の動きベクトルに対応する前記第２の動きベクトルについての前記第２の蓋然性よりも高いときは、前記一の動きベクトルに対応する前記第２の動きベクトルは前記第１光学系から前記第２光学系への混信に起因する動きベクトルであると判断して、前記一の動きベクトルを前記第１の真の動きベクトルとして抽出し、
    　前記一の動きベクトルについての前記第１の蓋然性が、前記一の動きベクトルに対応する前記第２の動きベクトルについての前記第２の蓋然性以下であるときは、前記一の動きベクトルは前記第２光学系から前記第１光学系への混信に起因する動きベクトルであると判断して、前記第２の動きベクトルを前記第２の真の動きベクトルとして抽出する、
    　請求項１３から１７のいずれか１項に記載の撮像方法。
  19. 　前記抽出した前記第１の真の動きベクトル及び前記第２の真の動きベクトルに基づいて前記撮像部を回動させる撮像部回動工程をさらに含み、
    　前記撮像部回動工程により前記撮像部を回動させながら、前記画像読み出し工程と、前記動きベクトル検出工程と、前記蓋然性算出工程と、前記動きベクトル抽出工程と、を繰り返す請求項１３から１８のいずれか１項に記載の撮像方法。
  20. 　前記撮像部回動工程では、前記第１画像において検出された被写体が前記第２画像においても検出されるように前記撮像部を回動させる請求項１９に記載の撮像方法。
  21. 　請求項１３から２０のいずれか１項に記載の撮像方法を撮像装置に実行させるプログラム。
  22. 　請求項２１に記載のプログラムのコンピュータ読み取り可能なコードが記録された、非一時的記録媒体。
PCT/JP2016/058054 2015-08-19 2016-03-15 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 WO2017029827A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017535250A JP6442613B2 (ja) 2015-08-19 2016-03-15 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
EP16836819.9A EP3340605B1 (en) 2015-08-19 2016-03-15 Imaging device, imaging method, program, and non-temporary recording medium
CN201680046783.4A CN107925719B (zh) 2015-08-19 2016-03-15 摄像装置、摄像方法、及非暂时性记录介质
US15/871,913 US10552963B2 (en) 2015-08-19 2018-01-15 Imaging device, imaging method, and non-transitory recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015161765 2015-08-19
JP2015-161765 2015-08-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/871,913 Continuation US10552963B2 (en) 2015-08-19 2018-01-15 Imaging device, imaging method, and non-transitory recording medium

Publications (1)

Publication Number Publication Date
WO2017029827A1 true WO2017029827A1 (ja) 2017-02-23

Family

ID=58051559

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/058054 WO2017029827A1 (ja) 2015-08-19 2016-03-15 撮像装置、撮像方法、プログラム、及び非一時的記録媒体

Country Status (5)

Country Link
US (1) US10552963B2 (ja)
EP (1) EP3340605B1 (ja)
JP (1) JP6442613B2 (ja)
CN (1) CN107925719B (ja)
WO (1) WO2017029827A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023053770A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 情報処理装置、方法及びプログラム並びに撮像装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190327820A1 (en) * 2018-04-18 2019-10-24 Sportsbeams Lighting, Inc. Method and apparatus for managing large area lighting
US11381730B2 (en) * 2020-06-25 2022-07-05 Qualcomm Incorporated Feature-based image autofocus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007306406A (ja) * 2006-05-12 2007-11-22 Matsushita Electric Ind Co Ltd 画像処理装置
WO2013146506A1 (ja) * 2012-03-27 2013-10-03 富士フイルム株式会社 撮像装置及び撮像方法
WO2015093332A1 (ja) * 2013-12-20 2015-06-25 富士フイルム株式会社 撮像モジュール及び撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105949B2 (ja) * 1989-03-20 1995-11-13 松下電器産業株式会社 画像の動きベクトル検出装置および揺れ補正装置
US7893969B2 (en) * 2006-07-25 2011-02-22 Fujifilm Corporation System for and method of controlling a parameter used for detecting an objective body in an image and computer program
TWI347449B (en) * 2006-09-07 2011-08-21 Largan Precision Co Ltd Optical lens assembly for taking image
JP4926920B2 (ja) * 2007-11-16 2012-05-09 キヤノン株式会社 防振画像処理装置及び防振画像処理方法
JP2011048276A (ja) * 2009-08-28 2011-03-10 Fujifilm Corp 立体撮像装置
JP5791241B2 (ja) * 2010-07-16 2015-10-07 キヤノン株式会社 画像処理方法、画像処理装置、およびプログラム
CN102455490B (zh) * 2010-10-28 2014-02-19 鸿富锦精密工业（深圳）有限公司 变焦镜头
WO2013024636A1 (ja) 2011-08-16 2013-02-21 富士フイルム株式会社 撮像装置
JP5971216B2 (ja) * 2013-09-20 2016-08-17 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007306406A (ja) * 2006-05-12 2007-11-22 Matsushita Electric Ind Co Ltd 画像処理装置
WO2013146506A1 (ja) * 2012-03-27 2013-10-03 富士フイルム株式会社 撮像装置及び撮像方法
WO2015093332A1 (ja) * 2013-12-20 2015-06-25 富士フイルム株式会社 撮像モジュール及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3340605A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023053770A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 情報処理装置、方法及びプログラム並びに撮像装置

Also Published As

Publication number Publication date
US20180158195A1 (en) 2018-06-07
JPWO2017029827A1 (ja) 2018-01-18
JP6442613B2 (ja) 2018-12-19
EP3340605B1 (en) 2019-08-21
EP3340605A4 (en) 2018-06-27
CN107925719B (zh) 2020-05-08
EP3340605A1 (en) 2018-06-27
US10552963B2 (en) 2020-02-04
CN107925719A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
US9924084B2 (en) Auto-tracking imaging apparatus including wide-angle and telephoto optical systems
JP6302085B2 (ja) 撮像装置及び対象物認識方法
JP5264131B2 (ja) 撮像装置
US8736742B2 (en) Image pickup apparatus that performs automatic focus control and control method for the image pickup apparatus
JP4823167B2 (ja) 撮像装置
US8723992B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
EP2690875A1 (en) Color image sensor, imaging device, and control program for imaging device
JP6442613B2 (ja) 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
CN113115027A (zh) 校准摄像头的方法和***
JP2016046772A (ja) 車載カメラ
JP2010210903A (ja) 撮像装置
JP6619513B2 (ja) 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
JP6190119B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP2016048824A (ja) 追尾装置、追尾システム、及び表示装置
JP2016048282A (ja) 撮像装置
JP2016046771A (ja) 撮像装置、撮像システム及び表示装置
JP2016046774A (ja) 撮像装置
JP2016046773A (ja) 撮像装置
JP2001054122A (ja) 全周囲観測装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16836819

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017535250

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE