WO2022080121A1 - 偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法 - Google Patents

偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法 Download PDF

Info

Publication number
WO2022080121A1
WO2022080121A1 PCT/JP2021/035247 JP2021035247W WO2022080121A1 WO 2022080121 A1 WO2022080121 A1 WO 2022080121A1 JP 2021035247 W JP2021035247 W JP 2021035247W WO 2022080121 A1 WO2022080121 A1 WO 2022080121A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
submask
subsensor
image
light
Prior art date
Application number
PCT/JP2021/035247
Other languages
English (en)
French (fr)
Inventor
イリヤ レシェトウスキ
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/248,462 priority Critical patent/US20230367053A1/en
Publication of WO2022080121A1 publication Critical patent/WO2022080121A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Definitions

  • the present disclosure relates to a polarized image pickup device, a binary mask, an image processing system, and an image processing method.
  • a mask configured by arranging a light transmission filter and a light transmission filter in a two-dimensional pattern is placed in front of an image sensor, and the image sensor is used.
  • a captured image can be obtained by reconstructing the scene from the observation data of.
  • information such as how light is projected onto an image sensor through the mask is defined in advance as a matrix, and the matrix and the observation data of the image sensor are actually used. Reconstruct the captured image of the scene. Since such a lensless camera does not use an optical lens or the like, it is possible to realize miniaturization, weight reduction, cost reduction, and the like of the polarizing image pickup device.
  • polarization-based imaging technology can be applied to various fields.
  • the medical field the field of detection technology, and the like.
  • the imaging technique based on polarization includes various imaging methods.
  • an image sensor having a first subsensor region, a second subsensor region, a third subsensor region, and a fourth subsensor region which are equally divided and adjacent to each other, and the first subsensor region.
  • a first submask region that is evenly superimposed on the second subsensor region, the third subsensor region, and the fourth subsensor region and has a first polarization direction, and a second polarization direction.
  • a first submask region comprising a second submask region, a third submask region having a third polarization direction, and a binary mask including a fourth submask region having a fourth polarization direction.
  • the second submask region, the third submask region, and the fourth submask region are each the first subsensor region, the second subsensor region, the third subsensor region, and the fourth subsensor region.
  • a polarized image pickup device is provided which is arranged so as to be evenly superimposed on each of the subsensor regions.
  • an image sensor having a plurality of subsensor regions dispersedly arranged in each block and a plurality of submask regions superposed on the plurality of subsensor regions and having different polarization directions for each block are provided.
  • a polarized image pickup device comprising a binary mask having the plurality of submask regions, each of which is arranged so as to correspond to the plurality of subsensor regions.
  • FIG. 1 It is a figure which shows an example of the schematic structure of an endoscopic surgery system. It is a block diagram which shows an example of the functional structure of a camera head and a CCU. It is a block diagram which shows an example of the schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of the vehicle exterior information detection unit and the image pickup unit.
  • the substantially constant sidelobes does not mean only when the sidelobes are mathematically constant, but also in the reconstruction of the captured image described later (for example, the image quality of the captured image obtained by the reconstruction). It means that it includes the case where there is an acceptable difference (from the viewpoint of etc.).
  • Embodiment of the present disclosure >> ⁇ 1.1. Introduction > As described above, in recent years, it is known that the polarization-based imaging technique can be applied to various fields such as the medical field and the detection technique field, and the polarization-based imaging technique is used. , It is known that various imaging methods are included. To give a specific example, a method of detecting using different sensor portions of an image sensor or a plurality of image sensors based on the spectroscopy of incoming light is known (Non-Patent Document 2-3). However, these methods have a high possibility of becoming a large form factor (LFF), so there is room for further improvement.
  • LFF large form factor
  • Patent Document 1 a method of setting an array of polarizing filters on the focal plane of an image sensor is known (Patent Document 1, Non-Patent Document 1).
  • the array is set at the development stage of the image sensor.
  • the image sensor may require an optical system, so there is room for further improvement.
  • Patent Document 2-3 an imaging technique using a lensless camera is known.
  • Patent Document 2-3 an imaging technique using a lensless camera is known.
  • the system system can be reduced, there is room for further improvement because a large amount of data processing may be required.
  • Patent Document 3 an imaging technique using a random mask is known (Patent Document 3).
  • the random mask can be applied to, for example, encryption, there is room for further improvement because the quality of imaging may deteriorate.
  • a lens-based optical system is required, and it is necessary to increase the size of the polarizing image pickup device. Further, in the conventional technique, there is a possibility that the image quality at the time of reconstruction is deteriorated. Therefore, with the conventional technique, it may be difficult to reduce the size while improving the deterioration of the image quality. Therefore, in the following embodiments, a new and improved polarized image pickup device, a binary mask, an image processing system, and an image processing method, which can be miniaturized while improving the deterioration of image quality, will be described with examples.
  • FIG. 1 is an explanatory diagram for explaining an example of the configuration of the polarized light imaging apparatus 100 according to the present embodiment.
  • the polarizing image pickup device (lensless camera) 100 includes a binary mask 10 and an image sensor 50.
  • the binary mask 10 has a predetermined pattern including, for example, a plurality of light transmission filters 12 (an example of a light transmission material) and a plurality of light transmission filters 14 (an example of a light transmission material) arranged in a two-dimensional lattice.
  • the binary mask 10 is a URA (Uniformly Redundant Arrays) mask or a MURA (Modified Uniformly Redundant Arrays) mask.
  • the image sensor 50 has a plurality of pixels 52 arranged in a two-dimensional grid pattern or in one column (or one row) on the light receiving surface. Then, each pixel 52 generates an electronic signal (observation data) by receiving light from each point of the scene to be imaged. Further, in the lensless camera, by projecting the electronic signal at a position on a plane corresponding to the position of the corresponding pixel 52, it is possible to obtain a polarized image of the actual scene. At this time, the light from each point of the scene passes through the light transmission filter 12 of the binary mask 10 and is received by each pixel 52 of the image sensor 50.
  • the binary mask 10 according to the present embodiment is used by being superimposed on the image sensor (line sensor or area sensor) 50.
  • the image sensor 50 is provided at the bottom of the plane of the binary mask 10. That is, as shown in FIG. 1, the polarization imaging apparatus 100 according to the present embodiment has one or more scanning lines (rows) (specifically, one scanning line consists of a plurality of pixels arranged along the row direction. It is composed of an image sensor 50 having an image sensor 50 and a binary mask 10 superimposed on the image sensor 50. Further, as shown in FIG.
  • the binary mask 10 has a plurality of unit elements having a size substantially equal to that of the pixel 52 of the image sensor 50, and each of these unit elements includes a light transmission filter 12 and a light transmission filter 14. Consists of. More specifically, the binary mask 10 has a predetermined pattern composed of a plurality of light transmission filters 12 and a plurality of light transmission filters 14 arranged in a two-dimensional lattice pattern. In other words, it can be said that the binary mask 10 is a kind of optical element.
  • the autocorrelation function of a predetermined pattern repeated on the binary mask 10 has a sharp peak and a very small sidelobes with respect to the peak.
  • the predetermined pattern is the URA pattern
  • the predetermined pattern composed of a plurality of basic patterns that are repeated while being periodically displaced in the optical element has a constant or substantially constant sidelobes.
  • the URA mask 10U is known to be suitable for reconstructing a captured image because it has sidelobes having constant or substantially constant properties.
  • FIG. 2 is an explanatory diagram for explaining the URA mask 10U according to the present embodiment.
  • FIG. 2 shows a mosaic of four blocks (composed of mosaic MM11 to mosaic MM14) defined by 2 ⁇ 2 composed of a predetermined pattern. This mosaic will be referred to as the basic pattern 16 as appropriate below. Further, the size of a predetermined pattern having two dimensions of a unit is expressed by M ⁇ N when defined by the number of unit elements.
  • a URA mask 10U having 29 ⁇ 33 pixels is shown.
  • the solid line (frame PP11) indicates that the size of the image sensor 50 is 15 ⁇ 17 pixels. Therefore, the size of the URA mask 10U is about twice the size of the image sensor 50.
  • the dotted lines (frame PP12 and frame PP13) show a grid pattern that captures different polarizations.
  • the range of pixels shown by the solid line is the range of light used for reconstructing the captured image.
  • the polarization image pickup device 100 reconstructs the captured image by setting (arranging) an optical control material for selectively controlling the incoming light in the light transmission filter 12.
  • the polarization image pickup device 100 reconstructs an captured image by setting a polarization filter.
  • FIG. 3 is an explanatory diagram for explaining a method of generating a URA pattern according to the present embodiment.
  • a polarization filter is set in the light transmission filter 12 constituting the binary mask 10 (step S11).
  • FIG. 3A is a diagram before setting
  • FIG. 3B is a diagram after setting.
  • the mask 10 after setting the polarization filter is referred to as mask 10B.
  • different polarization filters are set for each area (block).
  • a line in any of four directions (vertical, horizontal, diagonal ⁇ 2) is drawn in the area of the light transmission filter 12 in which the polarizing filter is set.
  • polarization directions are different.
  • the vertical direction is defined as 90 degrees
  • the horizontal direction is defined as 0 degrees
  • the diagonal direction is defined as 45 degrees and 135 degrees.
  • a polarizing filter that transmits light in the vertical direction is set in the light transmission filter of the area AA11.
  • a polarizing filter that transmits light in an oblique direction is set in the light transmission filter of the area AA12. This causes each area to have a different polarization direction. This makes it possible to reconstruct the captured image without a lens.
  • the sidelobes may not be constant or substantially constant, so that the quality of the reconstruction of the captured image may deteriorate.
  • the polarization direction according to the embodiment is not limited to the example shown in FIG. For example, three or more polarization directions may be used to reconstruct the captured image.
  • the polarized image pickup device 100 enables lensless reconstruction of a captured image and has a constant or substantially constant sidelobes. Therefore, it is possible to reconstruct the captured image with high quality and memory efficiency.
  • FIG. 4 is a diagram showing a configuration example of the image processing system 1.
  • the image processing system 1 includes a polarization imaging device 100 and an image processing device 200.
  • Various devices can be connected to the polarized image pickup device 100.
  • an image processing device 200 is connected to the polarization imaging device 100, and information is linked between the devices.
  • the polarized image pickup device 100 and the image processing device 200 are connected to the information communication network N by wireless or wired communication so that they can perform information / data communication with each other and operate in cooperation with each other.
  • the information communication network N may be composed of an Internet, a home network, an IoT (Internet of Things) network, a P2P (Peer-to-Peer) network, a proximity communication mesh network, and the like.
  • the radio can utilize, for example, Wi-Fi, Bluetooth®, or technologies based on mobile communication standards such as 4G and 5G.
  • power line communication technology such as Ethernet (registered trademark) or PLC (Power Line Communications) can be used.
  • the polarized image pickup device 100 and the image processing device 200 may be separately provided as a plurality of computer hardware devices on a so-called on-premises (On-Premise), an edge server, or a cloud, or the polarized image pickup device 100 and the image processing device 200 may be provided separately.
  • the functions of the plurality of devices of the image processing device 200 may be provided as the same device.
  • the polarization imaging device 100 and the image processing device 200 may be provided as a device in which the polarization imaging device 100 and the image processing device 200 function as one and communicate with an external information processing device.
  • GUI Graphical Interface
  • the polarized image pickup device 100 is a polarized image pickup device that can generate an captured image by reconstructing light.
  • the polarization imaging device 100 is an endoscope.
  • the polarization image pickup device 100 has an image sensor 50 that detects light (for example, an electromagnetic wave of light).
  • the polarizing image pickup device 100 has an image sensor 50 which is a monochromatic (monochromatic) sensor.
  • the polarization imaging device 100 has a mask 10 (for example, a URA mask 10U) having a predetermined pattern superimposed on the image sensor 50.
  • the polarized image pickup device 100 can reconstruct the captured image by capturing light using a mask 10 having a predetermined pattern of the light transmission filter 12 and the light transmission filter 14. Further, the polarization image pickup device 100 makes it possible to capture desired light by setting a polarization filter in the light transmission filter 12. Then, the polarization image pickup device 100 enables the reconstruction of the captured image based on the desired light transmitted through the polarization filter.
  • the image processing device 200 is an information processing device that performs image processing for reconstructing a captured image. Specifically, the image processing apparatus 200 acquires observation data based on light from a scene transmitted through a mask 10 (for example, URA mask 10U) superimposed on the image sensor 50, and reconstructs the observation data. By doing so, a process of generating an captured image of the scene is performed. Further, the image processing device 200 performs a process of generating an captured image of an actual scene by reconstructing a captured image of each region (sub-sensor region) of the divided sub-sensors based on the polarization of light from the scene. conduct. As a result, the image processing device 200 can effectively reconstruct the captured image of the actual scene while improving the deterioration of the image quality.
  • a mask 10 for example, URA mask 10U
  • the image processing device 200 also has a function of controlling the overall operation of the image processing system 1. For example, the image processing device 200 controls the overall operation of the image processing system 1 based on the information linked between the devices. Specifically, the image processing device 200 performs a process of generating an captured image of an actual scene based on the information transmitted from the polarized image pickup device 100.
  • the image processing device 200 is realized by a PC, a server, or the like.
  • the image processing device 200 is not limited to a PC, a server, or the like.
  • the image processing device 200 may be a computer hardware device such as a PC or a server that implements the function of the image processing device 200 as an application.
  • Image processing system functions The configuration of the image processing system 1 has been described above. Subsequently, the function of the image processing system 1 will be described.
  • FIG. 5 is a diagram showing an outline of the image processing system 1 according to the embodiment, and is an explanatory diagram for explaining the present embodiment.
  • FIG. 5A shows the basic pattern 16 constituting the URA mask 10U.
  • the basic pattern 16 has a size of M ⁇ N pixels.
  • FIG. 5B shows a URA mask 10U having the number of pixels (3M-1) ⁇ (3N-1) generated by arranging the basic patterns 16 in 3 rows and 3 columns (step S21).
  • the pixel array of the URA mask 10U is (3M-1) ⁇ (3N-1).
  • the area SR11 shown by the dotted line in FIG. 5B indicates a sensor area.
  • the sensor area SR11 is located in the center of the URA mask 10U. Therefore, in the present embodiment, the captured image is generated based on the light that enters the URA mask 10U.
  • the sensor region SR11 is divided into sub-sensor regions s1 to s4 having an array (2 ⁇ 2 in this example) that is one less than the array of the basic pattern 16 (3 ⁇ 3 in this example).
  • the sensor region SR11 is divided into four sub-sensor regions s1 to s4.
  • Each sub-sensor region s1 to s4 is a region having a number of pixels equal to or larger than a predetermined threshold value.
  • the center of each subsensor region s1 to s4 may substantially coincide with the point where the corners of the four basic patterns 16 arranged in 2 ⁇ 2 of the URA mask 10U are concentrated.
  • polarization filter setting methods Specifically, a method of setting a predetermined polarization direction for each number based on the numbers assigned to each basic pattern 16 (Example 1) and for each block (area constituting the basic pattern 16). A method of setting different polarization directions (Example 2) and a method of setting two polarization directions (Example 3) will be described.
  • FIGS. 6A and 6B The first embodiment will be described with reference to FIGS. 6 to 8.
  • the URA mask 10U is composed of nine submask regions (m1 to m9), and the basic pattern 16 is arranged in each submask region.
  • FIG. 6A is a diagram showing an example of the URA mask 10U according to the first embodiment.
  • any of the mask patterns p1 to p4, which are polarizing filters, is combined with the basic pattern 16 of each submask region m1 to m9.
  • the sensor region SR11 is omitted.
  • the mask patterns p1 to p4 sequentially have azimuth angles of 45 degrees, 0 degrees, 135 degrees, and 90 degrees from the horizontal direction (horizontal direction in the paper surface).
  • the four basic patterns 16 of any 2 ⁇ 2 among the nine basic patterns 16 constituting the URA mask 10U are superimposed on all of the four types of mask patterns p1 to p4.
  • Mask patterns p1 to p4 are combined with respect to the submask regions m1 to m9.
  • the submask region m1 is combined with the mask pattern p3 having an azimuth angle of 0 degrees, and the submask region m2 has an azimuth angle of 90.
  • the degree mask pattern p2 is combined, the submask region m4 is combined with the mask pattern p1 having an azimuth angle of 135 degrees, and the submask region m5 is combined with the mask pattern p4 having an azimuth angle of 45 degrees.
  • FIG. 7A and 7B are diagrams showing specific examples of the URA mask 10U based on the mask pattern illustrated in FIG. 6B.
  • FIG. 7A shows a basic pattern 16 having a number of pixels of 33 ⁇ 31.
  • FIG. 7B shows the URA mask 10U generated by arranging the basic patterns 16 on the left, right, top and bottom.
  • the mask pattern of the URA mask 10U shown in FIG. 7B corresponds to the mask pattern of FIG. 6B.
  • the URA mask 10U has 98 ⁇ 92 pixels, and the sensor region SR11 has 66 ⁇ 62 pixels.
  • FIG. 8 is a diagram showing the positional relationship between the URA mask 10U shown in FIG. 6A and the sensor region SR11.
  • the mask patterns p1 to p4 are combined with respect to the submask regions m1 to m9 so that the four types of mask patterns p1 to p4 in the polarization direction are evenly included in the subsensor regions s1 to s4.
  • the sensor area SR11 is set for the URA mask 10U so that each sub-sensor area s1 to s4 evenly straddles the four basic patterns 16 of 2 ⁇ 2 in which four types of mask patterns p1 to p4 are combined. ing.
  • FIG. 8 is a diagram showing the positional relationship between the URA mask 10U shown in FIG. 6A and the sensor region SR11.
  • the mask patterns p1 to p4 are combined with respect to the submask regions m1 to m9 so that the four types of mask patterns p1 to p4 in the polarization direction are evenly included in the subsensor
  • the captured image of the sub-sensor region s1 is generated by reconstructing the observation data based on the light entering through the sub-mask regions m1, m2, m4 and m5 with respect to the sub-sensor region s1. .. Further, since the sub-sensor region s1 includes all the polarization component images corresponding to the mask patterns p1 to p4, it is possible to reconstruct the original RGB image.
  • each of the submask regions m1 to m9 selectively transmits a specific polarization component. Functions as. Then, in the first embodiment, in each of the sub-sensor regions s1 to s4, the polarization component image based on the polarization component transmitted through the mask patterns p1 to p4 is reconstructed. At that time, in the first embodiment, which of the four areas in each of the sub-sensor regions s1 to s4 (each area corresponds to any of the mask patterns p1 to p4) detects which polarization component is associated in advance.
  • a polarization component image with a polarization direction of 90 degrees (hereinafter, also referred to as vertical polarization) and a polarization direction of 0 degrees (hereinafter, horizontal).
  • the sum of the polarization component image (also referred to as polarization) is equal to the sum of the two polarization component images of the polarization component image having an azimuth angle of 135 degrees and the polarization component image having an azimuth angle of 45 degrees.
  • I is a captured image (unpolarized image) having no polarization.
  • I (90) shows a polarization component image with an azimuth angle of 90 degrees
  • I (0) shows a polarization component image with an azimuth angle of 0 degrees
  • I (45) shows a polarization component image with an azimuth angle of 45 degrees
  • I (135) show a polarization component image with an azimuth angle of 135 degrees.
  • the sub-sensor area s1 straddles the sub-mask area m1, the sub-mask area m2, the sub-mask area m4, and the sub-mask area m5, and the sub-sensor area s2 straddles the sub-mask area m2, the sub-mask area m3, the sub-mask area m5, and the sub-mask area m6.
  • the subsensor area s3 straddles the submask area m1, the submask area m2, the submask area m4, and the submask area m5, and the subsensor area s4 straddles the submask area m5, the submask area m6, the submask area m8, and the submask area m9. It is set.
  • the captured images (non-polarized images) of each of the sub-sensor regions s1 to s4 can be expressed as the following formula (2) based on the above formula (1).
  • I (m1 + m2 + m4 + m5) indicates a captured image of the sub-sensor region s1.
  • I (m2 + m3 + m5 + m6) indicates a captured image of the sub-sensor region s2.
  • I (m4 + m5 + m7 + m8) indicates a captured image of the sub-sensor region s3.
  • I (m5 + m6 + m8 + m9) indicates a captured image of the sub-sensor region s4.
  • the combined image of the captured images obtained in the sub-sensor regions s1 to s4 is a combination of four types of four basic patterns 16 straddling the sub-sensor regions s1 to s4 (submask region (m1 + m2 + m4 + m5), submask region (m2 + m3 + m5 + m6).
  • the processing can be reduced by adding up the captured images of the sub-sensor regions s1 to s4.
  • the following formula (3) shows a calculation formula for adding up the captured images of each sub-sensor region s1 to s4.
  • s1 to s4 indicate captured images of each subsensor region s1 to s4.
  • su shows a captured image of the entire sensor region SR11. It should be noted that each of s1 to s4 and su is an unpolarized image obtained by adding up all the polarized component images.
  • the equation (3) can be transformed as shown in the following equation (4), and the captured image (unpolarized image) of M ⁇ N pixels can be obtained. can get.
  • the reconstruction problem as described above can be expressed as, for example, a linear inverse problem as shown in FIG.
  • the value detected from the image sensor 50 is modeled by the equation (5).
  • A0, A1, A2 indicates a matrix of coefficients generated based on the URA mask 10U.
  • T represents a transposed matrix.
  • Xs0, Xs1, Xs2 indicates a matrix of polarization information.
  • equation (5) There are various methods for solving equation (5), such as matrix inversion using Tihonov's normalization method. Then, the polarization information can be obtained by solving the equation (5).
  • Example 1 The method of setting a predetermined polarization direction for each number (Example 1) has been described above.
  • a method of setting different polarization directions for each block (Example 2) will be described.
  • Example 2 The second embodiment will be described with reference to FIGS. 10 and 11. The same description as in Example 1 will be omitted as appropriate.
  • a polarizing filter in a different direction is set for each block.
  • different directions for each block are represented by f and g. It is assumed that f (p1), f (p2), f (p3), f (p4), g (p1), g (p2), g (p3), and g (p4) indicate different directions.
  • f (p1) to f (p4) (the same applies to g (p1) to g (p4)) may be associated with any of the mask pattern numbers shown in FIG.
  • f (p3) and g (p1) polarizing filters are set in the areas AA21 and AA22 of the submask region m1, respectively.
  • the URA mask 10U is configured by using the polarization directions indicated by f and g. This makes it possible to set more polarizing filters as compared with the case of the first embodiment.
  • the actual URA mask 10U of FIG. 10 is shown in FIG.
  • FIG. 11 shows an actual URA mask 10U based on the mask pattern of FIG. In FIG. 11, it is assumed that the same basic pattern 16 as in FIG. 7A is used.
  • FIG. 11 shows a URA mask 10U generated by arranging the basic patterns 16 on the left, right, top and bottom and applying a mask pattern.
  • the mask pattern of the URA mask 10U of FIG. 11 corresponds to the mask pattern of FIG.
  • the URA mask 10U has 98 ⁇ 92 pixels, and the sensor region SR11 has 66 ⁇ 62 pixels.
  • FIG. 11 shows a URA mask 10U with a different result than in FIG. 7B, in which a single polarizing filter is set for each of the basic patterns 16.
  • FIG. 12 is a diagram showing an outline of the third embodiment and is an explanatory diagram for explaining the third embodiment. The same description as in FIG. 5 will be omitted as appropriate.
  • FIG. 12B shows a URA mask 10U having (3M-1) ⁇ N pixels, which is generated by arranging the basic patterns 16 in 3 rows and 1 column (step S31).
  • the pixel array of the URA mask 10U is (3M-1) ⁇ N.
  • the area SR21 shown by the dotted line in FIG. 12B shows the sensor area.
  • the sensor area SR21 is located in the center of the URA mask 10U.
  • the sensor area SR21 is divided into sub-sensor areas ss1 to ss2.
  • the URA mask 10U is composed of three submask regions (mm1 to mm3), and the basic pattern 16 is arranged in each submask region.
  • FIG. 13A is a diagram showing an example of the URA mask 10U according to the third embodiment.
  • either mask patterns p2 and p3, which are polarizing filters, or any one of p1 and p4 is combined with the basic pattern 16 of each submask region mm1 to mm3.
  • the sensor area SR21 is omitted.
  • the mask patterns p2 and p3 have polarization directions in which the azimuth angles from the horizontal direction are 0 degrees and 90 degrees.
  • the sub-mask regions mm1 to mm3 are set so that two of the three basic patterns 16 constituting the URA mask 10U overlap with all of the two types of mask patterns p2 and p3.
  • mask patterns p2 and p3 are combined.
  • the submask regions mm1 and mm3 are combined with the mask pattern p2 having an azimuth angle of 0 degrees, and the submask region mm2 has a mask pattern having an azimuth angle of 90 degrees. p3 is combined.
  • the calculation method of the unpolarized image will be described.
  • the incident light is uniform random polarization, linear polarization in one direction, etc.
  • the sum of the polarization component image with a polarization direction of 90 degrees and the polarization component image with an azimuth of 0 degrees is the equation (1).
  • I (unpolarized) is a captured image (unpolarized image) having no polarization.
  • the sub-sensor region ss1 is set to straddle the sub-mask regions mm1 and mm2, and the sub-sensor region ss2 is set to straddle the submask regions mm2 and mm3.
  • the captured images (unpolarized images) of the sub-sensor regions ss1 and ss2 can be expressed as the following formula (6) based on the above formula (1).
  • I (mm1 + mm2) shows a captured image of the sub-sensor region ss1
  • I (mm2 + mm1) shows a captured image of the sub-sensor region ss2.
  • the combined image of the captured images obtained in each sub-sensor region ss1 to ss4 is a combination of four types of four basic patterns 16 straddling each sub-sensor region ss1 to ss4 (submask region (m1 + m2 + m4 + m5), submask region (m2 + m3 + m5 + m6).
  • the processing can be reduced by adding up the captured images of the sub-sensor regions ss1 to ss4.
  • the following formula (7) shows a calculation formula for adding up the captured images of each sub-sensor region ss1 and ss2.
  • ss1 and ss2 indicate the captured images of the sub-sensor regions ss1 and ss2.
  • suu shows a captured image of the entire sensor region SR21. It should be noted that each of ss1, ss2, and su is an unpolarized image obtained by adding up all the polarized component images.
  • the formula (7) can be transformed as the following formula (8), and the captured image of M ⁇ N pixels (none). Polarized image) is obtained.
  • FIG. 14 is an explanatory diagram for explaining the URA mask 10U according to the first modification of the present embodiment.
  • a large number of pinhole-shaped light transmitting regions are sparsely present while maintaining a predetermined sense of distance from each other. It is also possible to set a polarizing filter for each pinhole-shaped light transmission region. Although it is possible to enlarge this pinhole-shaped light transmission region, the image may be blurred when it is enlarged due to the nature of the pinhole shape, so it shall be adjusted to a predetermined threshold value or less. .. By using this pinhole-shaped light transmission region, it is possible to improve the quality of the captured image, such as improving noise.
  • FIG. 14 shows a basic pattern 16 having a number of pixels of 61 ⁇ 37.
  • FIG. 14B shows a URA mask 10U configured by arranging the basic patterns 16 in a 3 ⁇ 3 arrangement.
  • FIG. 14C shows the URA mask 10U when a Fresnel zone plate (Fresnel Zone Plate: FZP) is set in the light transmission region of the URA mask 10U. That is, the URA mask 10U has a predetermined pattern including a plurality of light transmission filters arranged in a Fresnel pattern and a plurality of light transmission filters.
  • FZP Fresnel Zone Plate
  • the Fresnel zone plate FN11 and the Fresnel zone plate FN12 are set in the area AA31 and the area AA32.
  • the Fresnel zone plate is a kind of lens that utilizes a diffraction phenomenon, and is characterized by having the same characteristics as a pinhole.
  • a Fresnel zone plate allows light to be focused in place based on the pattern of the ring.
  • the Fresnel zone plate can collect light more efficiently than the pinhole.
  • the light collection depends on the distance, so it is necessary to set the distance.
  • the URA mask 10U has a number of 182 ⁇ 110 pixels, and the sensor region SR12 has a number of 122 ⁇ 74 pixels.
  • Modification 2 When a color filter is used
  • a reconstructed image is generated by setting a color filter having a different spectral pattern in the light transmission region.
  • reconstruction images having different spectra are generated based on the light information obtained from the light transmission region in which the color filter is set.
  • FIG. 15 corresponds to FIG. 5 of the first embodiment.
  • FIG. 15B is a URA mask 10U having the number of pixels (4M-1) ⁇ (3N-1) generated by arranging the basic patterns 16 shown in FIG. 15A (step S41). show.
  • the area SR31 shown by the dotted line in FIG. 15B indicates a sensor area.
  • the sensor region SR31 is located in the center of the URA mask 10U, and an captured image is generated based on the light dispersed by the URA mask 10U.
  • the sensor area SR31 is divided into 6 parts so as to straddle the area of each basic pattern 16. It is assumed that the 6-divided regions indicate the sub-sensor regions s1 to s6.
  • the captured image of each of the sub-sensor regions s1 to s6 is generated by reconstructing the observation data based on the light dispersed for each of the sub-sensor regions s1 to s6.
  • FIG. 16A is a diagram in which each basic pattern 16 of the URA mask 10U shown in FIG. 15B is numbered with any one of “p1” to “p6”. This number corresponds to the number of the six types of color filters shown in FIG. 16B.
  • the filters numbered "p1" to “p6” are, in order, red, green, blue, yellow, brown, and purple color filters. Through these 6 types of color filters, 6 types of different spectroscopy are possible.
  • FIG. 16A for example, since the submask region m1 is numbered “p1”, a red filter is set. In this submask region m1, the observation data based on the light separated by the red color filter is reconstructed.
  • the actual URA mask 10U of FIG. 16 is shown in FIG.
  • the color of the filter is shown in the drawings for convenience.
  • FIG. 17 shows an actual URA mask 10U based on the color filter of FIG.
  • the same basic pattern 16 as in FIG. 7A is used.
  • FIG. 17 shows a URA mask 10U generated by arranging the basic patterns 16 on the left, right, top and bottom and imparting a color pattern.
  • the URA mask 10U has 123 ⁇ 98 pixels, and the sensor region SR31 has 93 ⁇ 66 pixels.
  • FIG. 18 is a block diagram showing an example of the functional configuration of the image processing apparatus 200 according to the present embodiment.
  • the image processing apparatus 200 can mainly include an acquisition unit 202, a processing unit 204, an output unit 206, and a storage unit 208.
  • each functional block of the image processing apparatus 200 will be sequentially described.
  • the acquisition unit 202 acquires the observation data (signal) output from the image sensor 50 of the polarization imaging device 100 and outputs the observation data (signal) to the processing unit 204 described later.
  • the processing unit 204 is set to the observation data (signal) from the acquisition unit 202 described above, the information of a predetermined pattern of the URA mask 10U stored in the storage unit 208 described later, and the light transmission portion of the URA mask 10U. Based on the filter information, the captured image of the desired scene is reconstructed. Further, the processing unit 204 outputs the captured image obtained by the reconstruction to the output unit 206, which will be described later.
  • the output unit 206 is a functional unit for outputting an captured image to a user, and is realized by, for example, a display or the like.
  • the storage unit 208 stores programs, information, and the like for the processing unit 204 described above to execute image processing, information obtained by the processing, and the like. Specifically, the storage unit 208 stores information such as a predetermined pattern of the URA mask 10U. Further, the storage unit 208 may store the information of the filter set in the light transmitting portion of the URA mask 10U.
  • the storage unit 208 is realized by, for example, a non-volatile memory (Nonvolatile Memory) such as a flash memory (Flash Memory) or the like.
  • FIG. 19 is a flowchart of the image processing method according to the present embodiment. As shown in FIG. 19, the image processing method according to the present embodiment can mainly include steps from step S101 to step S104. The details of each of these steps according to the present embodiment will be described below.
  • the scene is photographed with the above-mentioned polarization imaging device 100 (step S101).
  • the image processing device 200 acquires the observation data (signal) generated by receiving the light transmitted through the URA mask 10U having the filter set in the light transmitting portion by the image sensor 50 from the polarizing image pickup device 100.
  • the image processing apparatus 200 acquires the mask information which is the information of the predetermined pattern possessed by the URA mask 10U and the filter information set in the light transmitting portion of the URA mask 10U (step S102).
  • the mask information is, for example, two-dimensional predetermined pattern information including a light transmission filter 12 and a light opaque filter 14 of the URA mask 10U.
  • the filter information is, for example, polarization filter, color filter, Fresnel zone plate setting information, and the like.
  • the image processing apparatus 200 calculates an inverse matrix (similar inverse matrix) based on the mask information and the filter information acquired in step S102 described above. Then, the image processing device 200 reconstructs the captured image of the desired scene by multiplying the observation data acquired from the polarized image pickup device 100 by the calculated inverse matrix (step S103).
  • the image processing device 200 outputs the captured image reconstructed in step S103 described above to the user or the like (step S104), and ends the processing.
  • the polarized image pickup device 100, the binary mask 10 (for example, the URA mask 10U), and the image processing device which can be miniaturized while improving the deterioration of the image quality.
  • Image processing system 1 200 and an image processing method can be provided.
  • FIG. 20 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the image processing device 200.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Output Output System) executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • BIOS Basic Output Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by such a program.
  • the HDD 1400 is a recording medium for recording an arithmetic processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media includes, for example, an optical recording medium such as a DVD (Digital Versaille Disc), a PD (Phase change rewritable Disc), a magneto-optical recording medium such as MO (Magnet-Optical disk), a tape medium, a magnetic recording medium, a semiconductor memory, or the like.
  • an optical recording medium such as a DVD (Digital Versaille Disc), a PD (Phase change rewritable Disc), a magneto-optical recording medium such as MO (Magnet-Optical disk), a tape medium, a magnetic recording medium, a semiconductor memory, or the like.
  • the CPU 1100 of the computer 1000 executes the arithmetic processing program loaded on the RAM 1200 to process the processing unit 204 (see FIG. 18). And other functions are realized.
  • the HDD 1400 stores an image processing program or the like according to the embodiment of the present disclosure.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the image processing device 200 according to the present embodiment may be applied to a system including a plurality of devices, which is premised on connection to a network (or communication between each device), such as cloud computing. good. That is, the image processing device 200 according to the present embodiment described above can be realized as an image processing system that performs image processing according to the present embodiment by, for example, a plurality of devices.
  • FIG. 21 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technique according to the present disclosure (the present technique) can be applied.
  • FIG. 21 illustrates how the surgeon (doctor) 11131 is performing surgery on patient 11132 on patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as an abdominal tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 equipped with various devices for endoscopic surgery.
  • the endoscope 11100 is composed of a lens barrel 11101 in which a region having a predetermined length from the tip is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 configured as a so-called rigid mirror having a rigid barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible barrel. good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and the light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101, and is an objective. It is irradiated toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image pickup element are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the image pickup element by the optical system.
  • the observation light is photoelectrically converted by the image pickup device, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as RAW data to the camera control unit (CCU: Camera Control Unit) 11201.
  • the CCU11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU11201 receives an image signal from the camera head 11102, and performs various image processing on the image signal for displaying an image based on the image signal, such as development processing (demosaic processing).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 displays an image based on the image signal processed by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 is composed of, for example, a light source such as an LED (Light Emitting Diode), and supplies irradiation light for photographing an operating part or the like to the endoscope 11100.
  • a light source such as an LED (Light Emitting Diode)
  • LED Light Emitting Diode
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment tool control device 11205 controls the drive of the energy treatment tool 11112 for cauterizing, incising, sealing a blood vessel, or the like.
  • the pneumoperitoneum device 11206 uses a gas in the pneumoperitoneum tube 11111 to inflate the body cavity of the patient 11132 for the purpose of securing the field of view by the endoscope 11100 and securing the work space of the operator. Is sent.
  • the recorder 11207 is a device capable of recording various information related to surgery.
  • the printer 11208 is a device capable of printing various information related to surgery in various formats such as text, images, and graphs.
  • the light source device 11203 that supplies the irradiation light to the endoscope 11100 when photographing the surgical site can be composed of, for example, an LED, a laser light source, or a white light source composed of a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the observation target is irradiated with the laser light from each of the RGB laser light sources in a time-division manner, and the driving of the image sensor of the camera head 11102 is controlled in synchronization with the irradiation timing to correspond to each of RGB. It is also possible to capture the image in a time-division manner. According to this method, a color image can be obtained without providing a color filter in the image pickup device.
  • the drive of the light source device 11203 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image sensor of the camera head 11102 in synchronization with the timing of the change of the light intensity to acquire an image in time division and synthesizing the image, so-called high dynamic without blackout and overexposure. Range images can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface layer of the mucous membrane is irradiated with light in a narrower band than the irradiation light (that is, white light) during normal observation.
  • a so-called narrow band imaging is performed in which a predetermined tissue such as a blood vessel is photographed with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating with excitation light.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected. It is possible to obtain a fluorescence image by irradiating the excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 may be configured to be capable of supplying narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 22 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU11201 shown in FIG. 21.
  • the camera head 11102 includes a lens unit 11401, an image pickup unit 11402, a drive unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • CCU11201 has a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and CCU11201 are communicably connected to each other by a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101.
  • the observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and incident on the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the image pickup element constituting the image pickup unit 11402 may be one (so-called single plate type) or a plurality (so-called multi-plate type).
  • each image pickup element may generate an image signal corresponding to each of RGB, and a color image may be obtained by synthesizing them.
  • the image pickup unit 11402 may be configured to have a pair of image pickup elements for acquiring image signals for the right eye and the left eye corresponding to 3D (Dimensional) display, respectively.
  • the 3D display enables the operator 11131 to more accurately grasp the depth of the living tissue in the surgical site.
  • a plurality of lens units 11401 may be provided corresponding to each image pickup element.
  • the image pickup unit 11402 does not necessarily have to be provided on the camera head 11102.
  • the image pickup unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is composed of an actuator, and the zoom lens and focus lens of the lens unit 11401 are moved by a predetermined distance along the optical axis under the control of the camera head control unit 11405. As a result, the magnification and focus of the image captured by the image pickup unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is configured by a communication device for transmitting and receiving various information to and from the CCU11201.
  • the communication unit 11404 transmits the image signal obtained from the image pickup unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling the drive of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and / or information to specify the magnification and focus of the captured image. Contains information about the condition.
  • the image pickup conditions such as the frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of CCU11201 based on the acquired image signal. good.
  • the endoscope 11100 is equipped with a so-called AE (Auto Exposure) function, an AF (Auto Focus) function, and an AWB (Auto White Balance) function.
  • the camera head control unit 11405 controls the drive of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is configured by a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling the drive of the camera head 11102 to the camera head 11102.
  • Image signals and control signals can be transmitted by telecommunications, optical communication, or the like.
  • the image processing unit 11412 performs various image processing on the image signal which is the RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various controls related to the imaging of the surgical site and the like by the endoscope 11100 and the display of the captured image obtained by the imaging of the surgical site and the like. For example, the control unit 11413 generates a control signal for controlling the drive of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display an image captured by the surgical unit or the like based on the image signal processed by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image by using various image recognition techniques.
  • the control unit 11413 detects a surgical tool such as forceps, a specific biological part, bleeding, mist when using the energy treatment tool 11112, etc. by detecting the shape, color, etc. of the edge of the object included in the captured image. Can be recognized.
  • the control unit 11413 may superimpose and display various surgical support information on the image of the surgical unit by using the recognition result. By superimposing and displaying the surgery support information and presenting it to the surgeon 11131, the burden on the surgeon 11131 can be reduced and the surgeon 11131 can surely proceed with the surgery.
  • the transmission cable 11400 connecting the camera head 11102 and CCU11201 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • the communication is performed by wire using the transmission cable 11400, but the communication between the camera head 11102 and the CCU11201 may be performed wirelessly.
  • the above is an example of an endoscopic surgery system to which the technique according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the image pickup unit 11402 and the like among the configurations described above.
  • the technique according to the present disclosure may be applied to other, for example, a microscopic surgery system.
  • the technique according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 23 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle outside information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the image pickup unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the vehicle interior information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether or not the driver has fallen asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
  • FIG. 24 is a diagram showing an example of the installation position of the image pickup unit 12031.
  • the image pickup unit 12031 has image pickup units 12101, 12102, 12103, 12104, and 12105.
  • the image pickup units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the image pickup unit 12101 provided on the front nose and the image pickup section 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the image pickup units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
  • the image pickup unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the image pickup unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 24 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging range of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 can be obtained.
  • At least one of the image pickup units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera including a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the image pickup range 12111 to 12114 based on the distance information obtained from the image pickup unit 12101 to 12104, and a temporal change of this distance (relative speed with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like that autonomously travels without relying on the driver's operation.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the image pickup units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the image pickup units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging unit 12101 to 12104.
  • pedestrian recognition is, for example, a procedure for extracting feature points in an image captured by an image pickup unit 12101 to 12104 as an infrared camera, and pattern matching processing is performed on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 determines the square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technique according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the image pickup unit 12031 or the like among the configurations described above.
  • the embodiments of the present disclosure described above may include, for example, a program for making a computer function as an image processing device according to the present embodiment, and a non-temporary tangible medium in which the program is recorded. Further, the program may be distributed via a communication line (including wireless communication) such as the Internet.
  • each step in the image processing method of the embodiment of the present disclosure described above does not necessarily have to be processed in the order described.
  • each step may be processed in an appropriately reordered manner.
  • each step may be partially processed in parallel or individually instead of being processed in chronological order.
  • the processing method of each step does not necessarily have to be processed according to the described method, and may be processed by another method, for example, by another functional unit.
  • the present technology can also have the following configurations.
  • An image sensor having an evenly divided first subsensor region, a second subsensor region, a third subsensor region, and a fourth subsensor region adjacent to each other, A first submask region that is evenly superimposed on the first subsensor region, the second subsensor region, the third subsensor region, and the fourth subsensor region and has a first polarization direction, and a first submask region.
  • a binary mask including a second submask region having a second polarization direction, a third submask region having a third polarization direction, and a fourth submask region having a fourth polarization direction.
  • the first submask region, the second submask region, the third submask region, and the fourth submask region are each the first subsensor region, the second subsensor region, and the third subsensor. Arranged so as to be evenly superimposed on each of the region and the fourth subsensor region.
  • Polarized imager. (2) The polarized light imaging apparatus according to (1), wherein the first to fourth polarization directions differ from each other by 45 degrees. (3) An image sensor with multiple sub-sensor areas distributed in each block, A binary mask superimposed on the plurality of subsensor regions and having a plurality of submask regions having different polarization directions for each block, Equipped with The plurality of submask regions are arranged so as to correspond to the plurality of subsensor regions, respectively. Polarized imager.
  • An image sensor having a first sub-sensor region and a second sub-sensor region that are evenly divided adjacent to each other, A first submask region that is superimposed on the first subsensor region and the second subsensor region and has a first polarization direction, a second submask region that has a second polarization direction, and the first submask region.
  • a binary mask containing a third submask region having a polarization direction, Equipped with The second submask region is arranged so as to be evenly superimposed on each of the first subsensor region and the second subsensor region. Polarized imager.
  • the image of the scene based on the light detected by the image sensor is reproduced.
  • the polarized light imaging apparatus according to any one of (1) to (4) above, further comprising a processing unit.
  • the processing unit has a predetermined pattern composed of a plurality of basic patterns, which are light-transmitting materials, in which linear combinations of captured images obtained by dividing the sensor region of the image sensor are repeated while periodically shifting positions.
  • the polarized light imaging apparatus which matches the captured image generated using the above.
  • the predetermined pattern of the binary mask is a pattern of a URA (Uniformly Redundant Arrays) mask or a MURA (Modified Uniformly Redundant Arrays) mask.
  • the predetermined pattern is a pattern composed of a plurality of light transmitting materials and a plurality of light opaque materials arranged in a two-dimensional lattice.
  • the image sensor is a line sensor or an area sensor.
  • the polarized image pickup device according to (10) above, wherein the image sensor is a monochromatic sensor.
  • the predetermined pattern of the binary mask is composed of a plurality of types of color filters.
  • the polarized light imaging apparatus according to any one of (1) to (12), further comprising the plurality of the binary masks.
  • the first submask region, the second submask region, the third submask region, and the fourth submask region are each the first subsensor region, the second subsensor region, and the third subsensor. Arranged so as to be evenly superimposed on each of the region and the fourth subsensor region.
  • Binary mask is
  • An acquisition unit that acquires observation data based on the light from the scene transmitted through a binary mask having a predetermined pattern superimposed on the image sensor and observed by an image sensor capable of detecting the light from the scene.
  • a processing unit that generates an image of the scene by reconstructing the observation data, and a processing unit. Equipped with The predetermined pattern of the binary mask is composed of a light opaque material and a light transmitting material composed of a plurality of types of polarizing filters that selectively control the polarization direction through which the light is transmitted.
  • the binary mask includes a first submask region having a first polarization direction, a second submask region having a second polarization direction, a third submask region having a third polarization direction, and a fourth.
  • the fourth submask region having a polarization direction includes a fourth submask region having a polarization direction, Image processing system.
  • (16) Acquiring observation data based on the light from the scene transmitted through a binary mask having a predetermined pattern superimposed on the image sensor and observed by an image sensor capable of detecting the light from the scene. By reconstructing the observation data, a captured image of the scene can be generated.
  • the predetermined pattern of the binary mask is composed of a light opaque material and a light transmitting material composed of a plurality of types of polarizing filters that selectively control the polarization direction through which the light is transmitted.
  • the binary mask includes a first submask region having a first polarization direction, a second submask region having a second polarization direction, a third submask region having a third polarization direction, and a fourth. Includes a fourth submask region having a polarization direction, Image processing method.
  • Image processing system 10 10B, 10U, 10MU Binary mask 12
  • Light transmission filter 14 Light transmission filter 16
  • Basic pattern 50
  • Image sensor 52 pixels
  • Polarized image pickup device 200
  • Image processing device 202 Acquisition unit 204
  • Processing unit 206
  • Output unit 208 Storage unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

画質の低下を改善しつつ、小型化が可能な偏光撮像装置（１００）を提供する。偏光撮像装置（１００）は、均等に分割された互いに隣接する第１のサブセンサ領域、第２のサブセンサ領域、第３のサブセンサ領域、及び第４のサブセンサ領域を有するイメージセンサ（５０）と、前記第１のサブセンサ領域、前記第２のサブセンサ領域、前記第３のサブセンサ領域、及び前記第４のサブセンサ領域に対し均等に重畳され、第１の偏光方向を有する第１のサブマスク領域と、第２の偏光方向を有する第２のサブマスク領域と、第３の偏光方向を有する第３のサブマスク領域と、第４の偏光方向を有する第４のサブマスク領域とを含むバイナリーマスク（１０）と、を備え、前記第１のサブマスク領域、前記第２のサブマスク領域、前記第３のサブマスク領域、及び前記第４のサブマスク領域それぞれは、前記第１のサブセンサ領域、前記第２のサブセンサ領域、前記第３のサブセンサ領域、及び前記第４のサブセンサ領域それぞれに均等に重畳するように配置される。

Description

偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法
　本開示は、偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法に関する。
　一般に、レンズレスカメラ（偏光撮像装置）は、光透過フィルタ及び光不透過フィルタを２次元のパターン状に配置することによって構成されたマスク（光学素子）をイメージセンサの前に配置し、イメージセンサの観測データから光景を再構成することで撮像画像を得ることができる。例えば、レンズレスカメラでは、光が上記マスクを介してどのようにイメージセンサ上に投影されるかといった情報を予めマトリクスとして定義しておき、そのマトリクスとイメージセンサの観測データとを用いて、実際の光景の撮像画像を再構成する。このようなレンズレスカメラは、光学レンズ等を用いないことから、偏光撮像装置の小型化、軽量化、廉価化等を実現することができる。
　近年、偏光に基づくイメージング技術は様々な分野に応用可能であることが知られている。例えば、医療分野や検出技術の分野等である。また、偏光に基づくイメージング技術には、様々な撮像方法が含まれることが知られている。
国際公開第２００７／１２１４７５号 米国特許出願公開第２０１１／０２２８８９５号明細書 米国特許出願公開第２０１７／０３５１０１２号明細書 米国特許第４，２０９，７８０号明細書
Four-directional　pixel-wise　polarization　CMOS　image　sensor　using　air-gap　wire　grid　on　2.5-μm　back-illuminated　pixels，T.　Yamazaki　et　al.，2016　IEEE　International　Electron　Devices　Meeting　(IEDM),　San　Francisco,　CA,　2016,　pp.　8.7.1-8.7.4. Polarization　camera　for　computer　vision　with　a　beam　splitter，Lawrence　B.　Wolff，J.　Opt.　Soc.　Am.　A　11,　2935-2945　(1994) Matrix　Fourier　optics　enables　a　compact　full-Stokes　polarization　camera,　Noah　A.　Rubin,　Gabriele　D’Aversa,　Paul　Chevalier,　Zhujun　Shi,　Wei　Ting　Chen,　Federico　Capasso,　Science05　Jul　2019 Coded　aperture　imaging　with　uniformly　redundant　arrays，Fenimore,　E.E.,　Cannon,　T.M.，Applied　Optics　17(3),　337　(feb　1978)
　しかしながら、特許文献１及び２などにおける従来の技術では、レンズベースの光学系が必要であり偏光撮像装置の大型化が必要である。また、特許文献３及び４における従来の技術では、再構成時の画質が低下してしまうおそれがあった。
　そこで、本開示では、画質の低下を改善しつつ、小型化が可能な、新規かつ改良された偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法を提案する。
　本開示によれば、均等に分割された互いに隣接する第１のサブセンサ領域、第２のサブセンサ領域、第３のサブセンサ領域、及び第４のサブセンサ領域を有するイメージセンサと、前記第１のサブセンサ領域、前記第２のサブセンサ領域、前記第３のサブセンサ領域、及び前記第４のサブセンサ領域に対し均等に重畳され、第１の偏光方向を有する第１のサブマスク領域と、第２の偏光方向を有する第２のサブマスク領域と、第３の偏光方向を有する第３のサブマスク領域と、第４の偏光方向を有する第４のサブマスク領域とを含むバイナリーマスクと、を備え、前記第１のサブマスク領域、前記第２のサブマスク領域、前記第３のサブマスク領域、及び前記第４のサブマスク領域それぞれは、前記第１のサブセンサ領域、前記第２のサブセンサ領域、前記第３のサブセンサ領域、及び前記第４のサブセンサ領域それぞれに均等に重畳するように配置される、偏光撮像装置が提供される。
　また、本開示によれば、ブロックごとに分散して配置された複数のサブセンサ領域を有するイメージセンサと、前記複数のサブセンサ領域に対し重畳され、前記ブロックごとに偏光方向が異なる複数のサブマスク領域を有するバイナリーマスクと、を備え、前記複数のサブマスク領域は、それぞれ前記複数のサブセンサ領域に対応するように配置される、偏光撮像装置が提供される。
本開示の一実施形態に係る偏光撮像装置１００の構成の一例を説明するための説明図である。 本開示の一実施形態に係るＵＲＡマスク１０Ｕを説明するための説明図である。 本開示の一実施形態に係るＵＲＡパターンの生成方法を説明するための説明図である。 本開示の一実施形態に係る画像処理システム１の構成例を示す図である。 本開示の一実施形態を説明するための説明図である。 本開示の一実施形態の実施例１に係るＵＲＡマスク１０Ｕを説明するための説明図（その１）である。 本開示の一実施形態の実施例１に係るマスクパターンを説明するための説明図である。 本開示の一実施形態の実施例１に係る基礎パターン１６を説明するための説明図である。 本開示の一実施形態の実施例１に係るＵＲＡマスク１０Ｕを説明するための説明図（その２）である。 本開示の一実施形態の実施例１に係るＵＲＡマスク１０Ｕを説明するための説明図（その３）である。 本開示の一実施形態の実施例１に係るＵＲＡマスク１０Ｕを説明するための説明図（その４）である。 本開示の一実施形態の実施例２に係るＵＲＡマスク１０Ｕを説明するための説明図（その１）である。 本開示の一実施形態の実施例２に係るＵＲＡマスク１０Ｕを説明するための説明図（その２）である。 本開示の一実施形態の実施例３に係るＵＲＡマスク１０Ｕを説明するための説明図（その１）である。 本開示の一実施形態の実施例３に係るＵＲＡマスク１０Ｕを説明するための説明図（その２）である。 本開示の一実施形態の実施例３に係る基礎パターン１６を説明するための説明図である。 本開示の一実施形態の変形例１に係るＵＲＡマスク１０Ｕを説明するための説明図である。 本開示の一実施形態の変形例２に係るＵＲＡマスク１０Ｕを説明するための説明図（その１）である。 本開示の一実施形態の変形例２に係るＵＲＡマスク１０Ｕを説明するための説明図（その２）である。 本開示の一実施形態の変形例２に係るマスクパターンを説明するための説明図である。 本開示の一実施形態の変形例２に係るＵＲＡマスク１０Ｕを説明するための説明図（その３）である。 本開示の一実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。 本開示の一実施形態に係る画像処理方法のフローチャート図である。 本開示の一実施形態に係る画像処理装置２００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、本開示の実施形態は、上述のレンズレスカメラに適用されることに限定されるものではなく、他の撮像システム等に適用されてもよい。また、以下の説明において、サイドローブの略一定とは、数学的に一定である場合だけを意味するのではなく、後述する撮像画像の再構成において（例えば再構成によって得られた撮像画像の画質等の観点から）許容される程度の違いがある場合をも含むことを意味する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の一実施形態
　　１．１．はじめに
　　１．２．レンズレスカメラ（偏光撮像装置）の概要及び原理
　　１．３．画像処理システムの構成
　２．画像処理システムの機能
　　２．１．概要
　　２．２．画像処理装置
　　２．３．画像処理方法
　　２．４．まとめ
　３．ハードウェア構成例
　４．内視鏡手術システムへの応用例
　５．移動体への応用例
　６．補足
＜＜１．本開示の一実施形態＞＞
　＜１．１．はじめに＞
　上述したように、近年では、偏光に基づくイメージング技術は、例えば、医療分野や検出技術の分野等、様々な分野に応用可能であることが知られており、また、偏光に基づくイメージング技術には、様々な撮像方法が含まれることが知られている。具体的な例を挙げると、入光した光の分光に基づいて、イメージセンサの異なるセンサ部分や、複数のイメージセンサを用いて検知する方法が知られている（非特許文献２－３）。しかしながら、これらの方法では、ラージフォームファクタ（Ｌａｒｇｅ　Ｆｏｒｍ－Ｆａｃｔｏｒ：ＬＦＦ）になる可能性が高いため、更なる改善の余地があった。
　また、他の例として、イメージセンサの焦点面に偏光フィルタのアレイを設定する方法が知られている（特許文献１、非特許文献１）。この場合、例えば、イメージセンサの開発段階等においてアレイは設定される。しかしながら、この場合、イメージセンサは、光学系を必要とする場合があるため、更なる改善の余地があった。
　さらに、他の例として、レンズレスカメラを用いたイメージング技術が知られている（特許文献２－３）。しかしながら、この場合、システム系は縮小できるが、大量のデータ処理を必要とする場合があるため、更なる改善の余地があった。
　さらにまた、他の例として、ランダムマスクを用いたイメージング技術が知られている（特許文献３）。しかしながら、この場合、ランダムマスクは、例えば、暗証化に応用され得るが、イメージングの質が低下してしまう場合があるため、更なる改善の余地があった。
　このように、従来の技術では、レンズベースの光学系が必要であり偏光撮像装置の大型化が必要である。また、従来の技術では、再構成時の画質が低下してしまうおそれがあった。このため、従来の技術では、画質の低下を改善しつつ、小型化を可能とすることが難しい場合があった。そこで、以下の実施形態では、画質の低下を改善しつつ、小型化が可能な、新規かつ改良された偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法について、例を挙げて説明する。
　＜１．２．レンズレスカメラ（偏光撮像装置）の概要及び原理＞
　まず、本開示の実施形態の詳細を説明する前に、レンズレスカメラ（偏光撮像装置）の概要及び原理について、図１を参照して説明する。図１は、本実施形態に係る偏光撮像装置１００の構成の一例を説明するための説明図である。図１に示すように、偏光撮像装置（レンズレスカメラ）１００は、バイナリーマスク１０と、イメージセンサ５０とを有する。バイナリーマスク１０は、例えば、２次元格子状に配列した複数の光透過フィルタ１２（光透過素材の一例）及び複数の光不透過フィルタ１４（光不透過素材の一例）からなる所定のパターンを有するマスクである。例えば、バイナリーマスク１０は、ＵＲＡ（Ｕｎｉｆｏｒｍｌｙ　Ｒｅｄｕｎｄａｎｔ　Ａｒｒａｙｓ）マスク又はＭＵＲＡ（Ｍｏｄｉｆｉｅｄ　Ｕｎｉｆｏｒｍｌｙ　Ｒｅｄｕｎｄａｎｔ　Ａｒｒａｙｓ）マスクである。また、イメージセンサ５０は、受光面上に２次元格子状又は１列（又は１行）に配列した複数の画素５２を有する。そして、各画素５２は、撮像対象となる光景の各ポイントからの光を受光することにより、電子信号（観測データ）を生成する。さらに、レンズレスカメラにおいては、当該電子信号を該当する画素５２の位置に応じた平面上の位置に投影させることにより、実際の光景の偏光撮像画像を得ることができる。この際、光景の各ポイントからの光は、バイナリーマスク１０の光透過フィルタ１２を通過して、イメージセンサ５０の各画素５２で受光されることとなる。
　本実施形態に係るバイナリーマスク１０は、図１に示すように、イメージセンサ（ラインセンサ又はエリアセンサ）５０に重畳されて使用される。言い替えると、イメージセンサ５０は、バイナリーマスク１０の平面の下部に備えられる。すなわち、本実施形態に係る偏光撮像装置１００は、図１に示すように、１つ以上の走査ライン（行）（詳細には、１つの走査ラインは、行方向に沿って並ぶ複数の画素からなる）を持つイメージセンサ５０と、当該イメージセンサ５０に重畳されたバイナリーマスク１０とからなる。また、図１に示すように、バイナリーマスク１０は、イメージセンサ５０の有する画素５２とほぼ同等のサイズの複数の単位要素を持ち、これら各単位要素は、光透過フィルタ１２及び光不透過フィルタ１４からなる。より詳細には、バイナリーマスク１０は、２次元格子状に配列した複数の光透過フィルタ１２及び複数の光不透過フィルタ１４からなる所定のパターンを有する。言い替えると、バイナリーマスク１０は、光学素子の１種であると言える。
　また、バイナリーマスク１０上で繰り返される所定のパターンの自己相関関数は、鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持つ。このようなバイナリーマスク１０を用いることにより、イメージセンサ５０で取得した観測データ（信号）から実際の光景の撮像画像を再構成することができる。
　また、全てのバイナリーマスク１０が撮像画像の再構成に適しているとは限らない。ここで、所定のパターンがＵＲＡパターンであるＵＲＡマスク１０Ｕは、光学素子において周期的に位置ずれしながら繰り返される複数の基本パターンからなる所定のパターンが、一定又は略一定のサイドローブを持つ。このように、ＵＲＡマスク１０Ｕは、一定又は略一定の性質を有するサイドローブを有するため、撮像画像の再構成に適していることが知られている。
　図２は、本実施形態に係るＵＲＡマスク１０Ｕを説明するための説明図である。図２では、所定のパターンで構成された２×２で規定された４つのブロックのモザイク（モザイクＭＭ１１乃至モザイクＭＭ１４で構成）が示される。このモザイクは、以下、適宜、基礎パターン１６と呼ばれる。また、単位２次元の所定のパターンのサイズは、単位要素の数で規定すると、Ｍ×Ｎで表現される。図２では、２９×３３画素数のＵＲＡマスク１０Ｕが示されている。なお、実線（枠ＰＰ１１）は、イメージセンサ５０のサイズが１５×１７画素数であることを示す。このため、ＵＲＡマスク１０Ｕのサイズは、イメージセンサ５０の約２倍のサイズである。また、点線（枠ＰＰ１２及び枠ＰＰ１３）は、異なる偏光を取り込む格子状のパターンを示す。ここでは、実線で示す画素の範囲が、撮像画像の再構成に使う光の範囲である。なお、図示されていないが、複数の２×２の基礎パターン１６が、外側に向かって配列されているものとする。
　そして、本開示に係る偏光撮像装置１００は、光透過フィルタ１２に、入光の光を選択的に制御する光制御素材を設定（配置）することで撮像画像の再構成を行う。例えば、偏光撮像装置１００は、偏光フィルタを設定することで撮像画像の再構成を行う。以下、本開示の概要及び原理について説明する。
　次に、図３を参照して、偏光フィルタの設定について説明する。図３は、本実施形態に係るＵＲＡパターンの生成方法を説明するための説明図である。図３では、バイナリーマスク１０を構成する光透過フィルタ１２に偏光フィルタを設定する（ステップＳ１１）。図３の（Ａ）は設定前の図であり、図３の（Ｂ）は設定後の図である。なお、偏光フィルタの設定後のマスク１０を、マスク１０Ｂと表記する。図３の（Ｂ）では、エリア（ブロック）ごとに異なる偏光フィルタが設定される。図３の（Ｂ）では、偏光フィルタが設定された光透過フィルタ１２のエリアに４方向（縦、横、斜め×２）のいずれかの線が引かれている。この４方向は、偏光方向が異なることを示す。ここでは、縦方向が９０度、横方向が０度、斜め方向が４５度及び１３５度に規定されている。図３では、エリアＡＡ１１の光透過フィルタに、縦方向の光を透過する偏光フィルタが設定される。また、例えば、エリアＡＡ１２の光透過フィルタに、斜め方向の光を透過する偏光フィルタが設定される。これにより、各エリアが異なる偏光方向を有するようになる。これにより、レンズレスで撮像画像の再構成が可能となる。しかしながら、偏光フィルタの設定に伴い、サイドローブスが一定又は略一定でなくなり得るため、撮像画像の再構成の質が低下する場合がある。なお、実施形態に係る偏光方向は、図３に示す例に限らない。例えば、撮像画像の再構成に、３以上の偏光方向を用いてもよい。
　以下、本発明者らが創作した本開示の実施形態に係る偏光撮像装置１００の詳細を説明する。本開示の実施形態に係る偏光撮像装置１００は、レンズレスで撮像画像の再構成を可能にするとともに、一定又は略一定のサイドローブを有することを可能にする。このため、質及びメモリ効率の高い撮像画像の再構成が可能となる。
　そこで、本開示では、画質の低下を改善しつつ、小型化が可能な、新規かつ改良された偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法を提案する。
　＜１．３．画像処理システムの構成＞
　実施形態に係る画像処理システム１の構成について説明する。図４は、画像処理システム１の構成例を示す図である。図４に示したように、画像処理システム１は、偏光撮像装置１００及び画像処理装置２００を備える。偏光撮像装置１００には、多様な装置が接続され得る。例えば、偏光撮像装置１００には、画像処理装置２００が接続され、各装置間で情報の連携が行われる。偏光撮像装置１００及び画像処理装置２００は、相互に情報・データ通信を行い連携して動作することが可能なように、無線又は有線通信により、情報通信ネットワークＮに接続される。情報通信ネットワークＮは、インターネット、ホームネットワーク、ＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　Ｔｈｉｎｇｓ）ネットワーク、Ｐ２Ｐ（Ｐｅｅｒ-ｔｏ-Ｐｅｅｒ）ネットワーク、近接通信メッシュネットワークなどによって構成されうる。無線は、例えば、Ｗｉ-ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）、又は４Ｇや５Ｇといった移動通信規格に基づく技術を利用することができる。有線は、Ｅｔｈｅｒｎｅｔ（登録商標）又はＰＬＣ（Ｐｏｗｅｒ　Ｌｉｎｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）などの電力線通信技術を利用することができる。
　偏光撮像装置１００及び画像処理装置２００は、いわゆるオンプレミス（Ｏｎ-Ｐｒｅｍｉｓｅ）上、エッジサーバ、又はクラウド上に複数のコンピュータハードウェア装置として、各々別々に提供されても良いし、偏光撮像装置１００及び画像処理装置２００の複数の装置の機能を同一の装置として提供してもよい。例えば、偏光撮像装置１００及び画像処理装置２００は、偏光撮像装置１００と画像処理装置２００とが一体となって機能するとともに、外部の情報処理装置と通信する装置として提供してもよい。さらに、ユーザは図示されない端末装置（情報表示装置としてのディスプレイや音声及びキーボード入力を含むＰＣ（Ｐｅｒｓｏｎａｌ　ｃｏｍｐｕｔｅｒ）又はスマートホン等のパーソナルデバイス）上で動作するユーザインタフェース（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ：ＧＵＩ含む）やソフトウェア（コンピュータ・プログラム（以下、プログラムとも称する）により構成される）を介して、偏光撮像装置１００と画像処理装置２００と相互に情報・データ通信が可能なようにされている。
　（１）偏光撮像装置１００
　偏光撮像装置１００は、光を再構成することで、撮像画像の生成を可能とする偏光撮像装置である。例えば、偏光撮像装置１００は、内視鏡である。偏光撮像装置１００は、光（例えば、光の電磁波）を検知するイメージセンサ５０を有する。例えば、偏光撮像装置１００は、単色（モノクロマティック）センサであるイメージセンサ５０を有する。また、偏光撮像装置１００は、イメージセンサ５０に重畳された所定のパターンを有するマスク１０（例えば、ＵＲＡマスク１０Ｕ）を有する。
　偏光撮像装置１００は、光透過フィルタ１２と光不透過フィルタ１４との所定のパターンを有するマスク１０を使って光を取り込むことで、撮像画像の再構成を可能とする。また、偏光撮像装置１００は、光透過フィルタ１２に偏光フィルタを設定することで、所望の光を取り込むことを可能とする。そして、偏光撮像装置１００は、偏光フィルタを透過した所望の光に基づく撮像画像の再構成を可能とする。
　（２）画像処理装置２００
　画像処理装置２００は、撮像画像の再構成のための画像処理を行う情報処理装置である。具体的には、画像処理装置２００は、イメージセンサ５０に重畳されたマスク１０（例えば、ＵＲＡマスク１０Ｕ）を透過した光景からの光に基づく観測データを取得して、その観測データを再構成することにより、光景の撮像画像を生成する処理を行う。また、画像処理装置２００は、分割されたサブセンサの各領域（サブセンサ領域）の撮像画像を、光景からの光の偏光に基づいて再構成することで、実際の光景の撮像画像を生成する処理を行う。これにより、画像処理装置２００は、画質の低下を改善しつつ、効果的に、実際の光景の撮像画像を再構成することができる。
　また、画像処理装置２００は、画像処理システム１の動作全般を制御する機能も有する。例えば、画像処理装置２００は、各装置間で連携される情報に基づき、画像処理システム１の動作全般を制御する。具体的には、画像処理装置２００は、偏光撮像装置１００から送信された情報に基づき、実際の光景の撮像画像を生成する処理を行う。
　画像処理装置２００は、ＰＣ、サーバ（Ｓｅｒｖｅｒ）等により実現される。なお、画像処理装置２００は、ＰＣ、サーバ等に限定されない。例えば、画像処理装置２００は、画像処理装置２００としての機能をアプリケーションとして実装したＰＣ、サーバ等のコンピュータハードウェア装置であってもよい。
＜＜２．画像処理システムの機能＞＞
　以上、画像処理システム１の構成について説明した。続いて、画像処理システム１の機能について説明する。
　＜２．１．概要＞
　図５は、実施形態に係る画像処理システム１の概要を示す図であり、本実施形態を説明するための説明図である。図５の（Ａ）は、ＵＲＡマスク１０Ｕを構成する基礎パターン１６を示す。この基礎パターン１６は、Ｍ×Ｎ画素数のサイズを有する。図５の（Ｂ）は、基礎パターン１６を３行３列に配列することで生成される（ステップＳ２１）、（３Ｍ－１）×（３Ｎ－１）画素数のＵＲＡマスク１０Ｕを示す。ここで、３Ｍ×３Ｎの画素配列における最後行及び最終列の走査ラインは含まれないため、ＵＲＡマスク１０Ｕの画素配列は（３Ｍ－１）×（３Ｎ－１）となる。図５の（Ｂ）中の点線で示される領域ＳＲ１１は、センサ領域を示す。
　センサ領域ＳＲ１１は、ＵＲＡマスク１０Ｕの中央に位置している。したがって、本実施形態では、ＵＲＡマスク１０Ｕに入光した光に基づいて撮像画像が生成される。
　センサ領域ＳＲ１１は、基礎パターン１６の配列（本例では３×３）よりも行列ともに１つずつ少ない配列（本例では２×２）のサブセンサ領域ｓ１～ｓ４に分割される。図５に示す例では、センサ領域ＳＲ１１が４つのサブセンサ領域ｓ１～ｓ４に分割されている。各サブセンサ領域ｓ１～ｓ４は、所定の閾値以上の画素数を有する領域である。各サブセンサ領域ｓ１～ｓ４の中心は、ＵＲＡマスク１０Ｕのうちの２×２に配列する４つの基礎パターン１６の角が集中する点と略一致し得る。
　各サブセンサ領域ｓ１～ｓ４に対して入光した光に基づく観測データを再構成することで、各サブセンサ領域ｓ１～ｓ４の撮像画像を生成することができる。以下、実施形態に係る画像処理システム１の実施例を用いて、本実施形態に係る画像処理システム１を詳細に説明する。
　以下の説明では、３種類の偏光フィルタの設定方法（配置方法）を用いて、画像処理システム１の詳細を説明する。具体的には、各基礎パターン１６に付された番号に基づいて、番号ごとに予め定められた偏光方向を設定する方法（実施例１）と、ブロック（基礎パターン１６を構成するエリア）ごとにそれぞれ異なる偏光方向を設定する方法（実施例２）と、２偏光方向を設定する方法（実施例３）について説明する。
　（実施例１）
　図６乃至図８を参照して、実施例１を説明する。なお、図６Ａ及び図６Ｂでは、ＵＲＡマスク１０Ｕは、９つのサブマスク領域（ｍ１乃至ｍ９）から構成され、各サブマスク領域は、各々基礎パターン１６が配置される。図６Ａは、実施例１に係るＵＲＡマスク１０Ｕの一例を示す図である。図６Ａに示すＵＲＡマスク１０Ｕでは、各サブマスク領域ｍ１～ｍ９の基礎パターン１６に対し、偏光フィルタであるマスクパターンｐ１～ｐ４のいずれかが組み合わされている。なお、図６Ａでは、センサ領域ＳＲ１１が省略されている。
　図６Ｂに示すように、マスクパターンｐ１～ｐ４は、順番に、水平方向（紙面中横方向）からの方位角が４５度、０度、１３５度、９０度の偏光方向を有している。この４種類のマスクパターンｐ１～ｐ４を用いることで、４つの偏光方向全ての偏光成分を取得することができる。そこで、本実施例１では、ＵＲＡマスク１０Ｕを構成する９つの基礎パターン１６のうちの任意の２×２の４つの基礎パターン１６が、４種類のマスクパターンｐ１～ｐ４の全てと重畳するように、サブマスク領域ｍ１～ｍ９に対してマスクパターンｐ１～ｐ４が組み合わされる。
　図６Ａでは、例えば、ＵＲＡマスク１０Ｕにおける左上の４つのサブマスク領域ｍ１、ｍ２、ｍ４及びｍ５に関し、サブマスク領域ｍ１には方位角０度のマスクパターンｐ３が組み合わされ、サブマスク領域ｍ２には方位角９０度のマスクパターンｐ２が組み合わされ、サブマスク領域ｍ４には方位角１３５度のマスクパターンｐ１が組み合わされ、サブマスク領域ｍ５には方位角４５度のマスクパターンｐ４が組み合わされる。他の４つの基礎パターン１６の組合せ（サブマスク領域（ｍ２、ｍ３、ｍ５及びｍ６）、サブマスク領域（ｍ４、ｍ５、ｍ７及びｍ８）、サブマスク領域（ｍ５、ｍ６、ｍ８及びｍ９））それぞれについても同様である。
　このように、ＵＲＡマスク１０Ｕの任意の２×２の４つの基礎パターン１６に対して４種類のマスクパターンｐ１～ｐ４の全てを組み合わせることで、これら４つの基礎パターン１６をまたがるように設定されたサブセンサ領域ｓ１～ｓ４で得られた観測データからサブセンサ領域ｓ１～ｓ４それぞれの無偏光画像（撮像画像）を生成することが可能となる。
　図７Ａ及び図７Ｂは、図６Ｂに例示したマスクパターンに基づくＵＲＡマスク１０Ｕの具体例を示す図である。図７Ａは、３３×３１画素数を有する基礎パターン１６を示す。図７Ｂは、この基礎パターン１６を左右上下に配列することで生成されるＵＲＡマスク１０Ｕを示す。図７Ｂに示すＵＲＡマスク１０Ｕのマスクパターンは、図６Ｂのマスクパターンに対応する。なお、このＵＲＡマスク１０Ｕは９８×９２画素数を有し、センサ領域ＳＲ１１は６６×６２画素数を有する。
　図８は、図６Ａに示すＵＲＡマスク１０Ｕとセンサ領域ＳＲ１１との位置関係を示す図である。図８に示すように、４種類の偏光方向のマスクパターンｐ１～ｐ４が各サブセンサ領域ｓ１～ｓ４に均等に含まれるように、サブマスク領域ｍ１～ｍ９に対してマスクパターンｐ１～ｐ４が組み合わされている。言い替えると、各サブセンサ領域ｓ１～ｓ４が４種類のマスクパターンｐ１～ｐ４が組み合わされた２×２の４つの基礎パターン１６に均等に跨るように、ＵＲＡマスク１０Ｕに対してセンサ領域ＳＲ１１が設定されている。図８では、例えば、サブセンサ領域ｓ１に対して、サブマスク領域ｍ１、ｍ２、ｍ４及びｍ５を介して入光した光に基づく観測データを再構成することで、サブセンサ領域ｓ１の撮像画像が生成される。また、サブセンサ領域ｓ１には、マスクパターンｐ１～ｐ４に対応する全ての偏光成分画像が含まれるため、元々のＲＧＢ画像の再構成することも可能となる。
　このように、実施例１では、異なる偏光方向を有するマスクパターンｐ１～ｐ４をサブマスク領域ｍ１～ｍ９に組み合わせることで、サブマスク領域ｍ１～ｍ９のそれぞれが特定の偏光成分を選択的に透過する偏光フィルタとして機能する。そして、実施例１では、各サブセンサ領域ｓ１～ｓ４において、各マスクパターンｐ１～ｐ４を透過した偏光成分に基づく偏光成分画像が再構成される。その際、実施例１では、各サブセンサ領域ｓ１～ｓ４における４つのエリア（各エリアはマスクパターンｐ１～ｐ４のいずれかと対応する）のうちのどのエリアがどの偏光成分を検出するかがあらかじめ対応付けられているため、各偏光成分に基づく撮像画像だけでなく、全ての偏光成分を含む撮像画像、すなわち無偏光画像の生成も可能である。例えば、各偏光成分に基づく撮像画像を合算（例えば、線型結合）することで、無偏光画像の生成が可能である。
　ここで、無偏光画像の算出方法について説明する。入射光が均一なランダム偏光や一方向の直線偏光等である場合、偏光方向が方位角９０度（以下、縦偏光ともいう）の偏光成分画像と、偏光方向が方位角０度（以下、横偏光ともいう）の偏光成分画像との和は、方位角１３５度の偏光成分画像と方位角４５度の偏光成分画像との２つの偏光成分画像の和に等しい。その場合、方位角９０度の偏光成分画像と方位角０度の偏光成分画像との和、及び、方位角１３５度の偏光成分画像と方位角４５度の偏光成分画像との和それぞれをＩ（ｕｎｐｏｌａｒｉｚｅｄ）とすると、下記式（１）が成り立つ。なお、Ｉ（ｕｎｐｏｌａｒｉｚｅｄ）は、偏光を有さない撮像画像（無偏光画像）である。
Figure JPOXMLDOC01-appb-M000001
 　式中、Ｉ（９０）は方位角９０度の偏光成分画像を示し、Ｉ（０）は方位角０度の偏光成分画像を示し、Ｉ（４５）は方位角４５度の偏光成分画像を示し、Ｉ（１３５）は方位角１３５度の偏光成分画像を示す。
　ここで、サブセンサ領域ｓ１は、サブマスク領域ｍ１、サブマスク領域ｍ２、サブマスク領域ｍ４、及びサブマスク領域ｍ５を跨ぎ、サブセンサ領域ｓ２は、サブマスク領域ｍ２、サブマスク領域ｍ３、サブマスク領域ｍ５、及びサブマスク領域ｍ６を跨ぎ、サブセンサ領域ｓ３は、サブマスク領域ｍ１、サブマスク領域ｍ２、サブマスク領域ｍ４、及びサブマスク領域ｍ５を跨ぎ、サブセンサ領域ｓ４は、サブマスク領域ｍ５、サブマスク領域ｍ６、サブマスク領域ｍ８、及びサブマスク領域ｍ９を跨ぐように設定されている。
　したがって、各サブセンサ領域ｓ１～ｓ４の撮像画像（無偏光画像）は、上記式（１）に基づき、下記式（２）のように表すことができる。
Figure JPOXMLDOC01-appb-M000002
 　式（２）中、Ｉ（ｍ１＋ｍ２＋ｍ４＋ｍ５）は、サブセンサ領域ｓ１の撮像画像を示す。Ｉ（ｍ２＋ｍ３＋ｍ５＋ｍ６）は、サブセンサ領域ｓ２の撮像画像を示す。Ｉ（ｍ４＋ｍ５＋ｍ７＋ｍ８）は、サブセンサ領域ｓ３の撮像画像を示す。Ｉ（ｍ５＋ｍ６＋ｍ８＋ｍ９）は、サブセンサ領域ｓ４の撮像画像を示す。
　センサ領域ＳＲ１１全体の撮像画像を生成する方法としては、サブセンサ領域ｓ１～ｓ４ごとにマトリクスを解く方法があるが、そのための処理が必要となる。ここで、各サブセンサ領域ｓ１～ｓ４で得られた撮像画像を合算した画像は、各サブセンサ領域ｓ１～ｓ４が跨る４つの基礎パターン１６の４種類の組合せ（サブマスク領域（ｍ１＋ｍ２＋ｍ４＋ｍ５）、サブマスク領域（ｍ２＋ｍ３＋ｍ５＋ｍ６）、サブマスク領域（ｍ４＋ｍ５＋ｍ７＋ｍ８）、サブマスク領域（ｍ５＋ｍ６＋ｍ８＋ｍ９））が構成する２行２列（組合せ単位では２行２列だが、基本パターン単位では４行４列）のマスクでカバーされたＭ×Ｎ画素のセンサで取得された画像と同等であることを導き出せる。そこで、実施例１では、各サブセンサ領域ｓ１～ｓ４の撮像画像を合算することで、処理の低減を可能とする。下記式（３）は、各サブセンサ領域ｓ１～ｓ４の撮像画像を合算する算出式を示す。
Figure JPOXMLDOC01-appb-M000003
 　式（３）中、ｓ１乃至ｓ４は、各サブセンサ領域ｓ１～ｓ４の撮像画像を示す。ｓｕは、センサ領域ＳＲ１１全体の撮像画像を示す。なお、ｓ１～ｓ４及びｓｕそれぞれは、全ての偏光成分画像を合算することで得られた無偏光画像である。
　式（３）に対して図８に示すマトリクス構造を当てはめることにより、式（３）を下記式（４）のように変形することができ、Ｍ×Ｎ画素の撮像画像（無偏光画像）が得られる。
Figure JPOXMLDOC01-appb-M000004
　上述した方法によれば、４つのサブセンサ領域ｓ１～ｓ４で得られた撮像画像を合算するというシンプルな手法によって、基礎パターン１６のバイナリーマスク１０（ＵＲＡマスク１０Ｕ）によって符号化されたＭ×Ｎ画素の無偏光画像を生成することができる。それにより、計算効率が高く且つロバストな再構成手法を実現することが可能となる。
　ただし、上記手法では、撮像シーンから偏光情報を抽出することができない。そこで、撮像シーンの偏光情報を抽出するためには、別の再構成アルゴリズムを用いる必要がある。
　上記のような再構成問題は、例えば、図９に示すような線形逆問題として表すことができる。線形逆問題では、イメージセンサ５０からの検出値が式（５）でモデル化される。
Figure JPOXMLDOC01-appb-M000005
 　式中、「Ａ０、Ａ１、Ａ２」は、ＵＲＡマスク１０Ｕに基づいて生成される係数のマトリクスを示す。Ｔは、転置マトリクスを示す。「Ｘｓ０、Ｘｓ１、Ｘｓ２」は、偏光情報のマトリクスを示す。
　式（５）の解法としては、ティホノフの正規化法を用いた行列反転など、種々の方法が存在する。そして、式（５）を解くことによって、偏光情報が得られる。
　なお、実施例１では、サブマスク領域ｍ１乃至サブマスク領域ｍ９の順番に、（「ｐ３」、「ｐ２」、「ｐ３」、「ｐ１」、「ｐ４」、「ｐ１」、「ｐ２」、「ｐ３」、「ｐ２」）の番号に対応するマスクパターンの偏光フィルタが設定される場合を示すが、各サブセンサ領域ｓ１～ｓ４が「ｐ１」～「ｐ４」の番号の基礎パターン１６に均等に跨るように番号が付されれば、この例に限らず、どのようなものであってもよい。例えば、サブマスク領域ｍ１乃至サブマスク領域ｍ９の順番に、（「ｐ３」、「ｐ２」、「ｐ１」、「ｐ１」、「ｐ４」、「ｐ３」、「ｐ３」、「ｐ２」、「ｐ１」）に対応するマスクパターンの偏光フィルタや、（「ｐ３」、「ｐ２」、「ｐ３」、「ｐ１」、「ｐ４」、「ｐ１」、「ｐ３」、「ｐ２」、「ｐ３」）に対応するマスクパターンの偏光フィルタが設定されてもよい。なお、「ｐ１」～「ｐ４」の番号の組み合わせが２４通り可能であるため、３×２４の計７２通りの偏光フィルタの設定が可能である。
　以上、番号ごとに予め定められた偏光方向を設定する方法（実施例１）について説明した。以下、ブロックごとにそれぞれ異なる偏光方向を設定する方法（実施例２）について説明する。
　（実施例２）
　図１０及び図１１を参照して、実施例２を説明する。なお、実施例１と同様の説明は適宜省略する。図１０では、ブロックごとに異なる方向の偏光フィルタが設定される。図１０では、ブロックごとに異なる方向を、ｆとｇとで表現する。ｆ（ｐ１）、ｆ（ｐ２）、ｆ（ｐ３）、ｆ（ｐ４）、ｇ（ｐ１）、ｇ（ｐ２）、ｇ（ｐ３）、ｇ（ｐ４）は、それぞれ異なる方向を示すものとする。なお、ｆ（ｐ１）乃至ｆ（ｐ４）（ｇ（ｐ１）乃至ｇ（ｐ４）も同様）は、それぞれ、図６に示すマスクパターンの番号のいずれかに対応付けられていてもよい。例えば、サブマスク領域ｍ１のエリアＡＡ２１及びエリアＡＡ２２には、それぞれｆ（ｐ３）及びｇ（ｐ１）の偏光フィルタが設定される。このように、図１０では、ｆとｇとで示す偏光方向を用いてＵＲＡマスク１０Ｕが構成される。これにより、実施例１の場合と比較して、より多くの偏光フィルタの設定が可能になる。ここで、図１０の実際のＵＲＡマスク１０Ｕを図１１に示す。
　図１１は、図１０のマスクパターンに基づく実際のＵＲＡマスク１０Ｕを示す。なお、図１１では、図７Ａと同様の基礎パターン１６を用いるものとする。図１１は、この基礎パターン１６を左右上下に配列し、マスクパターンを付与することで生成されるＵＲＡマスク１０Ｕを示す。図１１のＵＲＡマスク１０Ｕのマスクパターンは、図１０のマスクパターンに対応する。このＵＲＡマスク１０Ｕは９８×９２画素数を有し、センサ領域ＳＲ１１は６６×６２画素数を有する。図１１には、基礎パターン１６ごとに単一の偏光フィルタが設定された図７Ｂと異なる結果のＵＲＡマスク１０Ｕが示される。
　（実施例３）
　図１２及び図１３を参照して、実施例３を説明する。図１２は、実施例３の概要を示す図であり、実施例３を説明するための説明図である。なお、図５と同様の説明は適宜省略する。図１２の（Ｂ）は、基礎パターン１６を３行１列に配列することで生成される（ステップＳ３１）、（３Ｍ－１）×Ｎ画素数のＵＲＡマスク１０Ｕを示す。ここで、３Ｍ×Ｎの画素配列における最終列の走査ラインは含まれないため、ＵＲＡマスク１０Ｕの画素配列は（３Ｍ－１）×Ｎとなる。図１２の（Ｂ）中の点線で示される領域ＳＲ２１は、センサ領域を示す。
　センサ領域ＳＲ２１は、ＵＲＡマスク１０Ｕの中央に位置している。センサ領域ＳＲ２１は、サブセンサ領域ｓｓ１～ｓｓ２に分割される。
　図１２の（Ｂ）及び図１３Ａでは、ＵＲＡマスク１０Ｕは、３つのサブマスク領域（ｍｍ１乃至ｍｍ３）から構成され、各サブマスク領域は、各々基礎パターン１６が配置される。図１３Ａは、実施例３に係るＵＲＡマスク１０Ｕの一例を示す図である。図１３Ａに示すＵＲＡマスク１０Ｕでは、各サブマスク領域ｍｍ１～ｍｍ３の基礎パターン１６に対し、偏光フィルタであるマスクパターンｐ２及びｐ３のいずれか、もしくはｐ１及びｐ４のいずれかが組み合わされている。ここでは、ｐ２及びｐ３のいずれかが組み合わされた場合について説明を行っていく。なお、図１３Ａでは、センサ領域ＳＲ２１が省略されている。
　図１３Ｂに示すように、マスクパターンｐ２及びｐ３は、水平方向からの方位角が０度及び９０度の偏光方向を有している。この２種類のマスクパターンｐ２及びｐ３を用いることで、２つの偏光方向の偏光成分を取得することができる。そこで、本実施例３では、ＵＲＡマスク１０Ｕを構成する３つの基礎パターン１６のうちの２つの基礎パターンが、２種類のマスクパターンｐ２及びｐ３の全てと重畳するように、サブマスク領域ｍｍ１～ｍｍ３に対してマスクパターンｐ２及びｐ３が組み合わされる。
　図１３Ａでは、例えば、ＵＲＡマスク１０Ｕにおける２つのマスクパターンｐ２及びｐ３に関し、サブマスク領域ｍｍ１及びｍｍ３には方位角０度のマスクパターンｐ２が組み合わされ、サブマスク領域ｍｍ２には方位角９０度のマスクパターンｐ３が組み合わされる。
　このように、ＵＲＡマスク１０Ｕの任意の２×１の基礎パターン１６に対して２種類のマスクパターンｐ２及びｐ３を組み合わせることで、これら２つの基礎パターン１６を跨るように設定されたサブセンサ領域ｓｓ１～ｓｓ２で得られた観測データからサブセンサ領域ｓｓ１及びｓｓ２それぞれの無偏光（撮像画像）を生成することが可能となる。
　ここで、無偏光画像の算出方法について説明する。入射光が均一なランダム偏光や一方方向の直線偏光等である場合、偏光方向が方位角９０度の偏光成分画像と、偏光方向が方位角０度の偏光成分画像との和は、式（１）を満たす。なお、Ｉ（ｕｎｐｏｌａｒｉｚｅｄ）は、偏光を有さない撮像画像（無偏光画像）である。
　ここで、サブセンサ領域ｓｓ１は、サブマスク領域ｍｍ１及びｍｍ２を跨ぎ、サブセンサ領域ｓｓ２は、サブマスク領域ｍｍ２及びｍｍ３を跨ぐように設定されている。
　したがって、各サブセンサ領域ｓｓ１及びｓｓ２の撮像画像（無偏光画像）は、上記式（１）に基づき、下記式（６）のように表すことができる。
Figure JPOXMLDOC01-appb-M000006
 　式（６）中、Ｉ（ｍｍ１＋ｍｍ２）はサブセンサ領域ｓｓ１の撮像画像を示し、Ｉ（ｍｍ２＋ｍｍ１）はサブセンサ領域ｓｓ２の撮像画像を示す。
　センサ領域ＳＲ１１全体の撮像画像を生成する方法としては、サブセンサ領域ｓｓ１～ｓｓ４ごとにマトリクスを解く方法があるが、そのための処理が必要となる。ここで、各サブセンサ領域ｓｓ１～ｓｓ４で得られた撮像画像を合算した画像は、各サブセンサ領域ｓｓ１～ｓｓ４が跨る４つの基礎パターン１６の４種類の組み合わせ（サブマスク領域（ｍ１＋ｍ２＋ｍ４＋ｍ５）、サブマスク領域（ｍ２＋ｍ３＋ｍ５＋ｍ６）、サブマスク領域（ｍ４＋ｍ５＋ｍ７＋ｍ８）、サブマスク領域（ｍ５＋ｍ６＋ｍ８＋ｍ９））が構成する２行２列（組み合わせ単位では２行２列だが、基礎パターン単位では４行４列）のマスクでカバーされたＭ×Ｎ画素のセンサで取得された画像と同等であることを導き出せる。そこで、実施例１では、各サブセンサ領域ｓｓ１～ｓｓ４の撮像画像を合算することで、処理の低減を可能とする。下記式（７）は、各サブセンサ領域ｓｓ１及びｓｓ２の撮像画像を合算する算出式を示す。
Figure JPOXMLDOC01-appb-M000007
 　式（７）中、ｓｓ１及びｓｓ２は、各サブセンサ領域ｓｓ１及びｓｓ２の撮像画像を示す。ｓｕｕは、センサ領域ＳＲ２１全体の撮像画像を示す。なお、ｓｓ１、ｓｓ２、及びｓｕｕそれぞれは、全ての偏光成分画像を合算することで得られた無偏光画像である。
　式（７）に対して図１２の（Ｂ）に示すマトリクス構造を当てはめることにより、式（７）を下記式（８）のように変形することができ、Ｍ×Ｎ画素の撮像画像（無偏光画像）が得られる。
Figure JPOXMLDOC01-appb-M000008
　上述した方法によれば、２つのサブセンサ領域ｓｓ１及びｓｓ２で得られた撮像画像を合算するというシンプルな手法によって、基礎パターン１６のバイナリーマスク１０（ＵＲＡマスク１０Ｕ）によって符号化されたＭ×Ｎ画素の無偏光画像を生成することができる。それにより、計算効率が高く且つロバストな再構成手法を実現することが可能となる。
　ただし、上記手法では、撮像シーンから偏光情報を抽出することができない。そこで、撮像シーンの偏光情報を抽出するためには、実施例１に記載の線形逆問題を解く手法（例えば、式（５））で解くことができる。
　以上、３種類の偏光フィルタの設定方法（配置方法）について説明した。以下、ＵＲＡマスク１０Ｕの変形例について説明する。
　（変形例１：光透過領域がスパースな場合）
　図１４は、本実施形態の変形例１に係るＵＲＡマスク１０Ｕを説明するための説明図である。図１４では、ピンホール状の多数の光透過領域が互いに所定の距離感を保って疎ら（スパース）に存在する。個々のピンホール状の光透過領域に対して偏光フィルタを設定することも可能である。なお、このピンホール状の光透過領域を拡大することも可能であるが、ピンホールという形状の性質上、拡大すると像がぼやける可能性があるため、所定の閾値以下に調整されるものとする。このピンホール状の光透過領域を用いることにより、ノイズが改善する等、撮像画像の質を向上することができる。
　図１４の（Ａ）は、６１×３７画素数を有する基礎パターン１６を示す。図１４の（Ｂ）は、この基礎パターン１６が３×３で配列されることにより構成されたＵＲＡマスク１０Ｕを示す。そして、図１４Ｃは、このＵＲＡマスク１０Ｕの光透過領域に、フレネルゾーンプレート（Ｆｒｅｓｎｅｌ　Ｚｏｎｅ　Ｐｌａｔｅ：ＦＺＰ）を設定した場合のＵＲＡマスク１０Ｕを示す。すなわち、このＵＲＡマスク１０Ｕは、フレネルパターン状に配列した複数の光透過フィルタ及び複数の光不透過フィルタからなる所定のパターンを有する。図１４Ｃでは、一例として、エリアＡＡ３１及びエリアＡＡ３２に、フレネルゾーンプレートＦＮ１１及びフレネルゾーンプレートＦＮ１２を設定した場合を示す。フレネルゾーンプレートは、回折現象を利用するレンズの一種であり、ピンホールと同様の特性を有することを特徴とする。例えば、フレネルゾーンプレートは、リングのパターンに基づいて、所定の位置に光の集光を可能とする。また、フレネルゾーンプレートは、ピンホールよりも効率よく集光させることができる。なお、フレネルゾーンプレートは、ピンホールの場合と異なり、集光が距離に依存するため、距離の設定を必要とする。このＵＲＡマスク１０Ｕは１８２×１１０画素数を有し、センサ領域ＳＲ１２は１２２×７４画素数を有する。
　（変形例２：カラーフィルタを用いた場合）
　以下、実施例２では、分光パターンの異なるカラーフィルタを光透過領域に設定することで、再構成画像を生成する場合を説明する。実施例２では、カラーフィルタが設定された光透過領域から得られる光情報に基づいて、それぞれ異なる分光の再構成画像を生成する。
　図１５は、実施例１の図５に対応する。図１５の（Ｂ）は、図１５の（Ａ）に示す基礎パターン１６を配列することで生成される（ステップＳ４１）、（４Ｍ－１）×（３Ｎ－１）画素数のＵＲＡマスク１０Ｕを示す。図１５の（Ｂ）中の点線で示される領域ＳＲ３１は、センサ領域を示す。センサ領域ＳＲ３１は、ＵＲＡマスク１０Ｕの中央に位置しており、ＵＲＡマスク１０Ｕで分光した光に基づいて撮像画像は生成される。図１５では、このセンサ領域ＳＲ３１は、各基礎パターン１６の領域に跨る形で６分割される。この６分割された領域は、サブセンサ領域ｓ１乃至ｓ６を示すものとする。変形例２では、この各サブセンサ領域ｓ１乃至ｓ６に対して分光した光に基づく観測データを再構成することで、各サブセンサ領域ｓ１乃至ｓ６の撮像画像を生成する。
　図１６Ａは、図１５の（Ｂ）に示すＵＲＡマスク１０Ｕの各基礎パターン１６に、「ｐ１」～「ｐ６」のいずれかの番号が付された図である。この番号は、図１６Ｂに示す６種類のカラーフィルタの番号に対応する。なお、「ｐ１」～「ｐ６」の番号が付されたフィルタは、順番に、赤、緑、青、黄、茶、及び紫色のカラーフィルタとする。この６種類のカラーフィルタを介して、６種類の異なる分光が可能となる。図１６Ａでは、例えば、サブマスク領域ｍ１には、「ｐ１」の番号が付されているため、赤色のフィルタが設定される。このサブマスク領域ｍ１の領域では、赤色のカラーフィルタで分光した光に基づく観測データを再構成する。ここで、図１６の実際のＵＲＡマスク１０Ｕを図１７に示す。なお、フィルタの色は、便宜上、図面に記載されている。
　図１７は、図１６のカラーフィルタに基づく実際のＵＲＡマスク１０Ｕを示す。なお、図１７では、図７Ａと同様の基礎パターン１６を用いるものとする。図１７は、この基礎パターン１６を左右上下に配列し、カラーパターンを付与することで生成されるＵＲＡマスク１０Ｕを示す。このＵＲＡマスク１０Ｕは１２３×９８画素数を有し、センサ領域ＳＲ３１は９３×６６画素数を有する。
　＜２．２．画像処理装置＞
　図１８を参照して、本実施形態に係る画像処理装置２００の詳細構成を説明する。図１８は、本実施形態に係る画像処理装置２００の機能構成の一例を示すブロック図である。図１８に示すように、画像処理装置２００は、取得部２０２と、処理部２０４と、出力部２０６と、記憶部２０８とを主に有することができる。以下に、画像処理装置２００の各機能ブロックについて順次説明する。
　（取得部２０２）
　取得部２０２は、上記偏光撮像装置１００のイメージセンサ５０から出力された観測データ（信号）を取得し、後述する処理部２０４へ出力する。
　（処理部２０４）
　処理部２０４は、上述した取得部２０２からの観測データ（信号）と、後述する記憶部２０８に格納されたＵＲＡマスク１０Ｕの所定のパターンの情報と、ＵＲＡマスク１０Ｕの光透過部分に設定されたフィルタの情報とに基づき、所望する光景の撮像画像を再構成する。さらに、処理部２０４は、再構成によって得られた撮像画像を後述する出力部２０６へ出力する。
　（出力部２０６）
　出力部２０６は、ユーザに対して撮像画像を出力するための機能部であり、例えば、ディスプレイ等により実現される。
　（記憶部２０８）
　記憶部２０８は、上述した処理部２０４が画像処理を実行するためのプログラム、情報等や、処理によって得た情報等を格納する。詳細には、記憶部２０８は、ＵＲＡマスク１０Ｕの所定のパターン等の情報を格納する。また、記憶部２０８は、ＵＲＡマスク１０Ｕの光透過部分に設定されたフィルタの情報等を格納してもよい。なお、当該記憶部２０８は、例えば、フラッシュメモリ（Ｆｌａｓｈ　Ｍｅｍｏｒｙ）等の不揮発性メモリ（Ｎｏｎｖｏｌａｔｉｌｅ　Ｍｅｍｏｒｙ）等により実現される。
　＜２．３．画像処理方法＞
　次に、図１９を参照して、本実施形態に係る画像処理方法について説明する。図１９は、本実施形態に係る画像処理方法のフローチャート図である。図１９に示すように、本実施形態に係る画像処理方法は、ステップＳ１０１からステップＳ１０４までのステップを主に含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。
　まずは、上述した偏光撮像装置１００で光景の撮影を行う（ステップＳ１０１）。そして、画像処理装置２００は、偏光撮像装置１００から、光透過部分にフィルタが設定されたＵＲＡマスク１０Ｕを透過した光をイメージセンサ５０で受光することにより発生した観測データ（信号）を取得する。
　次に、画像処理装置２００は、上記ＵＲＡマスク１０Ｕの有する所定のパターンの情報であるマスク情報と、そのＵＲＡマスク１０Ｕの光透過部分に設定されたフィルタ情報とを取得する（ステップＳ１０２）。詳細には、当該マスク情報は、例えば、ＵＲＡマスク１０Ｕの光透過フィルタ１２と光不透過フィルタ１４とからなる２次元の所定のパターン情報等である。また、当該フィルタ情報は、例えば、偏光フィルタ、カラーフィルタ、フレネルゾーンプレートの設定情報等である。
　次に、画像処理装置２００は、上述したステップＳ１０２で取得したマスク情報とフィルタ情報とに基づいて、逆行列（類似逆行列）を算出する。そして、画像処理装置２００は、偏光撮像装置１００から取得した観測データに対して算出した逆行列を乗算することにより、所望の光景の撮像画像を再構成する（ステップＳ１０３）。
　さらに、画像処理装置２００は、上述したステップＳ１０３で再構成した撮像画像をユーザ等に向けて出力し（ステップＳ１０４）、当該処理を終了する。
　＜２．４．まとめ＞
　以上説明したように、上述した本開示の実施形態によれば、画質の低下を改善しつつ、小型化が可能な、偏光撮像装置１００、バイナリーマスク１０（例えば、ＵＲＡマスク１０Ｕ）、画像処理装置（画像処理システム１）２００及び画像処理方法を提供することができる。
＜＜３．ハードウェア構成例＞＞
　上述した本開示の実施形態に係る画像処理装置２００は、例えば図２０に示すような構成のコンピュータ１０００によって実現される。以下、本開示の実施形態に係る画像処理装置２００を例に挙げて説明する。図２０は、画像処理装置２００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る演算処理プログラムを記録する記録媒体である。
　通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インタフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等である。
　例えば、コンピュータ１０００が本開示の実施形態に係る画像処理装置２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた演算処理プログラムを実行することにより、処理部２０４（図１８参照）等の機能を実現する。また、ＨＤＤ１４００には、本開示の実施形態に係る画像処理プログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　また、本実施形態に係る画像処理装置２００は、例えばクラウドコンピューティング等のように、ネットワークへの接続（又は各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る画像処理装置２００は、例えば、複数の装置により本実施形態に係る画像処理を行う画像処理システムとして実現することも可能である。
＜＜４．内視鏡手術システムへの応用例＞＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図２１は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図２１では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ:Ｃａｍｅｒａ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図２２は、図２１に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１１４０２等に適用され得る。
　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
＜＜５．移動体への応用例＞＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検出した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２４は、撮像部１２０３１の設置位置の例を示す図である。
　図２４では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。
＜＜６．補足＞＞
　なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る画像処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
　また、上述した本開示の実施形態の画像処方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　均等に分割された互いに隣接する第１のサブセンサ領域、第２のサブセンサ領域、第３のサブセンサ領域、及び第４のサブセンサ領域を有するイメージセンサと、
　前記第１のサブセンサ領域、前記第２のサブセンサ領域、前記第３のサブセンサ領域、及び前記第４のサブセンサ領域に対し均等に重畳され、第１の偏光方向を有する第１のサブマスク領域と、第２の偏光方向を有する第２のサブマスク領域と、第３の偏光方向を有する第３のサブマスク領域と、第４の偏光方向を有する第４のサブマスク領域とを含むバイナリーマスクと、
　を備え、
　前記第１のサブマスク領域、前記第２のサブマスク領域、前記第３のサブマスク領域、及び前記第４のサブマスク領域それぞれは、前記第１のサブセンサ領域、前記第２のサブセンサ領域、前記第３のサブセンサ領域、及び前記第４のサブセンサ領域それぞれに均等に重畳するように配置される、
　偏光撮像装置。
（２）
　前記第１～第４の偏光方向は、互いに４５度ずつ異なる前記（１）に記載の偏光撮像装置。
（３）
　ブロックごとに分散して配置された複数のサブセンサ領域を有するイメージセンサと、
　前記複数のサブセンサ領域に対し重畳され、前記ブロックごとに偏光方向が異なる複数のサブマスク領域を有するバイナリーマスクと、
　を備え、
　前記複数のサブマスク領域は、それぞれ前記複数のサブセンサ領域に対応するように配置される、
　偏光撮像装置。
（４）
　均等に分割された互いに隣接する第１のサブセンサ領域及び第２のサブセンサ領域を有するイメージセンサと、
　前記第１のサブセンサ領域及び前記第２のサブセンサ領域に対し重畳され、第１の偏光方向を有する第１のサブマスク領域と、第２の偏光方向を有する第２のサブマスク領域と、当該第１の偏光方向を有する第３のサブマスク領域とを含むバイナリーマスクと、
　を備え、
　前記第２のサブマスク領域は、前記第１のサブセンサ領域及び前記第２のサブセンサ領域それぞれに均等に重畳するように配置される、
　偏光撮像装置。
（５）
　前記バイナリーマスクを通して得られる観測データと、当該バイナリーマスクの基礎パターン情報と、当該バイナリーマスクを構成する光透過素材の偏光フィルタ情報とに基づき、前記イメージセンサが検知した光に基づく光景の画像を再構成する処理部、を更に備える、前記（１）～（４）の何れか１つに記載の偏光撮像装置。
（６）
　前記処理部は、各偏光方向による個別の画像を、前記バイナリーマスクを通して得られた前記光から再構成する、前記（５）に記載の偏光撮像装置。
（７）
　前記処理部は、前記バイナリーマスクにおいて、前記イメージセンサのセンサ領域を分割した撮像画像の線形結合が、周期的に位置ずれしながら繰り返される複数の前記光透過素材である基礎パターンからなる所定のパターンを用いて生成された撮像画像に一致させる、前記（５）又は（６）に記載の偏光撮像装置。
（８）
　前記バイナリーマスクの所定のパターンは、ＵＲＡ（Ｕｎｉｆｏｒｍｌｙ　Ｒｅｄｕｎｄａｎｔ　Ａｒｒａｙｓ）マスク又はＭＵＲＡ（Ｍｏｄｉｆｉｅｄ　Ｕｎｉｆｏｒｍｌｙ　Ｒｅｄｕｎｄａｎｔ　Ａｒｒａｙｓ）マスクのパターンである、前記（１）～（７）の何れか１つに記載の偏光撮像装置。
（９）
　前記所定のパターンは、２次元格子上状に配列した複数の光透過素材及び複数の光不透過素材からなるパターンである、前記（８）に記載の偏光撮像装置。
（１０）
　前記イメージセンサは、ラインセンサ又はエリアセンサである、前記（１）～（９）の何れか１つに記載の偏光撮像装置。
（１１）
　前記イメージセンサは、モノクロマティックセンサ（Ｍｏｎｏｃｈｒｏｍａｔｉｃ　Ｓｅｎｓｏｒ）である、前記（１０）に記載の偏光撮像装置。
（１２）
　前記バイナリーマスクの所定のパターンは、複数の種類のカラーフィルタで構成される、前記（１）～（１１）の何れか１つに記載の偏光撮像装置。
（１３）
　複数の前記バイナリーマスクを備える、前記（１）～（１２）の何れか１つに記載の偏光撮像装置。
（１４）
　均等に分割された互いに隣接する第１のサブセンサ領域、第２のサブセンサ領域、第３のサブセンサ領域、及び第４のサブセンサ領域を有するイメージセンサに対し均等に重畳され、第１の偏光方向を有する第１のサブマスク領域と、第２の偏光方向を有する第２のサブマスク領域と、第３の偏光方向を有する第３のサブマスク領域と、第４の偏光方向を有する第４のサブマスク領域とを含むバイナリーマスクであって、
　前記第１のサブマスク領域、前記第２のサブマスク領域、前記第３のサブマスク領域、及び前記第４のサブマスク領域それぞれは、前記第１のサブセンサ領域、前記第２のサブセンサ領域、前記第３のサブセンサ領域、及び前記第４のサブセンサ領域それぞれに均等に重畳するように配置される、
　バイナリーマスク。
（１５）
　光景からの光を検知可能なイメージセンサによって観測された、当該イメージセンサに重畳して配置される所定のパターンを有するバイナリーマスクを透過した当該光景からの光に基づく観測データを取得する取得部と、
　前記観測データを再構成することにより、前記光景の撮像画像を生成する処理部と、
　を備え、
　前記バイナリーマスクの前記所定のパターンは、光不透過素材と、前記光の透過する偏光方向を選択的に制御する複数の種類の偏光フィルタから構成される光透過素材とで構成され、
　前記バイナリーマスクは、第１の偏光方向を有する第１のサブマスク領域と、第２の偏光方向を有する第２のサブマスク領域と、第３の偏光方向を有する第３のサブマスク領域と、第４の偏光方向を有する第４のサブマスク領域とを含む、
　画像処理システム。
（１６）
　光景からの光を検知可能なイメージセンサによって観測された、当該イメージセンサに重畳して配置される所定のパターンを有するバイナリーマスクを透過した当該光景からの光に基づく観測データを取得することと、
　前記観測データを再構成することにより、前記光景の撮像画像を生成することと、
　を含み、
　前記バイナリーマスクの前記所定のパターンは、光不透過素材と、前記光の透過する偏光方向を選択的に制御する複数の種類の偏光フィルタから構成される光透過素材とで構成され、
　前記バイナリーマスクは、第１の偏光方向を有する第１のサブマスク領域と、第２の偏光方向を有する第２のサブマスク領域と、第３の偏光方向を有する第３のサブマスク領域と、第４の偏光方向を有する第４のサブマスク領域とを含む、
　画像処理方法。
　１　画像処理システム
　１０、１０Ｂ、１０Ｕ、１０ＭＵ　バイナリーマスク
　１２　光透過フィルタ
　１４　光不透過フィルタ
　１６　基礎パターン
　５０　イメージセンサ
　５２　画素
　１００　偏光撮像装置
　２００　画像処理装置
　２０２　取得部
　２０４　処理部
　２０６　出力部
　２０８　記憶部

Claims (16)

  1. 　均等に分割された互いに隣接する第１のサブセンサ領域、第２のサブセンサ領域、第３のサブセンサ領域、及び第４のサブセンサ領域を有するイメージセンサと、
    　前記第１のサブセンサ領域、前記第２のサブセンサ領域、前記第３のサブセンサ領域、及び前記第４のサブセンサ領域に対し均等に重畳され、第１の偏光方向を有する第１のサブマスク領域と、第２の偏光方向を有する第２のサブマスク領域と、第３の偏光方向を有する第３のサブマスク領域と、第４の偏光方向を有する第４のサブマスク領域とを含むバイナリーマスクと、
    　を備え、
    　前記第１のサブマスク領域、前記第２のサブマスク領域、前記第３のサブマスク領域、及び前記第４のサブマスク領域それぞれは、前記第１のサブセンサ領域、前記第２のサブセンサ領域、前記第３のサブセンサ領域、及び前記第４のサブセンサ領域それぞれに均等に重畳するように配置される、
    　偏光撮像装置。
  2. 　前記第１～第４の偏光方向は、互いに４５度ずつ異なる請求項１に記載の偏光撮像装置。
  3. 　ブロックごとに分散して配置された複数のサブセンサ領域を有するイメージセンサと、
    　前記複数のサブセンサ領域に対し重畳され、前記ブロックごとに偏光方向が異なる複数のサブマスク領域を有するバイナリーマスクと、
    　を備え、
    　前記複数のサブマスク領域は、それぞれ前記複数のサブセンサ領域に対応するように配置される、
    　偏光撮像装置。
  4. 　均等に分割された互いに隣接する第１のサブセンサ領域及び第２のサブセンサ領域を有するイメージセンサと、
    　前記第１のサブセンサ領域及び前記第２のサブセンサ領域に対し重畳され、第１の偏光方向を有する第１のサブマスク領域と、第２の偏光方向を有する第２のサブマスク領域と、当該第１の偏光方向を有する第３のサブマスク領域とを含むバイナリーマスクと、
    　を備え、
    　前記第２のサブマスク領域は、前記第１のサブセンサ領域及び前記第２のサブセンサ領域それぞれに均等に重畳するように配置される、
    　偏光撮像装置。
  5. 　前記バイナリーマスクを通して得られる観測データと、当該バイナリーマスクの基礎パターン情報と、当該バイナリーマスクを構成する光透過素材の偏光フィルタ情報とに基づき、前記イメージセンサが検知した光に基づく光景の画像を再構成する処理部、を更に備える、請求項１～４の何れか１項に記載の偏光撮像装置。
  6. 　前記処理部は、各偏光方向による個別の画像を、前記バイナリーマスクを通して得られた前記光から再構成する、請求項５に記載の偏光撮像装置。
  7. 　前記処理部は、前記バイナリーマスクにおいて、前記イメージセンサのセンサ領域を分割した撮像画像の線形結合が、周期的に位置ずれしながら繰り返される複数の前記光透過素材である基礎パターンからなる所定のパターンを用いて生成された撮像画像に一致させる、請求項５に記載の偏光撮像装置。
  8. 　前記バイナリーマスクの所定のパターンは、ＵＲＡ（Ｕｎｉｆｏｒｍｌｙ　Ｒｅｄｕｎｄａｎｔ　Ａｒｒａｙｓ）マスク又はＭＵＲＡ（Ｍｏｄｉｆｉｅｄ　Ｕｎｉｆｏｒｍｌｙ　Ｒｅｄｕｎｄａｎｔ　Ａｒｒａｙｓ）マスクのパターンである、請求項１～４の何れか１項に記載の偏光撮像装置。
  9. 　前記所定のパターンは、２次元格子上状に配列した複数の光透過素材及び複数の光不透過素材からなるパターンである、請求項８に記載の偏光撮像装置。
  10. 　前記イメージセンサは、ラインセンサ又はエリアセンサである、請求項１～４の何れか１項に記載の偏光撮像装置。
  11. 　前記イメージセンサは、モノクロマティックセンサ（Ｍｏｎｏｃｈｒｏｍａｔｉｃ　Ｓｅｎｓｏｒ）である、請求項１０に記載の偏光撮像装置。
  12. 　前記バイナリーマスクの所定のパターンは、複数の種類のカラーフィルタで構成される、請求項１～４の何れか１項に記載の偏光撮像装置。
  13. 　複数の前記バイナリーマスクを備える、請求項１～４の何れか１項に記載の偏光撮像装置。
  14. 　均等に分割された互いに隣接する第１のサブセンサ領域、第２のサブセンサ領域、第３のサブセンサ領域、及び第４のサブセンサ領域を有するイメージセンサに対し均等に重畳され、第１の偏光方向を有する第１のサブマスク領域と、第２の偏光方向を有する第２のサブマスク領域と、第３の偏光方向を有する第３のサブマスク領域と、第４の偏光方向を有する第４のサブマスク領域とを含むバイナリーマスクであって、
    　前記第１のサブマスク領域、前記第２のサブマスク領域、前記第３のサブマスク領域、及び前記第４のサブマスク領域それぞれは、前記第１のサブセンサ領域、前記第２のサブセンサ領域、前記第３のサブセンサ領域、及び前記第４のサブセンサ領域それぞれに均等に重畳するように配置される、
    　バイナリーマスク。
  15. 　光景からの光を検知可能なイメージセンサによって観測された、当該イメージセンサに重畳して配置される所定のパターンを有するバイナリーマスクを透過した当該光景からの光に基づく観測データを取得する取得部と、
    　前記観測データを再構成することにより、前記光景の撮像画像を生成する処理部と、
    　を備え、
    　前記バイナリーマスクの前記所定のパターンは、光不透過素材と、前記光の透過する偏光方向を選択的に制御する複数の種類の偏光フィルタから構成される光透過素材とで構成され、
    　前記バイナリーマスクは、第１の偏光方向を有する第１のサブマスク領域と、第２の偏光方向を有する第２のサブマスク領域と、第３の偏光方向を有する第３のサブマスク領域と、第４の偏光方向を有する第４のサブマスク領域とを含む、
    　画像処理システム。
  16. 　光景からの光を検知可能なイメージセンサによって観測された、当該イメージセンサに重畳して配置される所定のパターンを有するバイナリーマスクを透過した当該光景からの光に基づく観測データを取得することと、
    　前記観測データを再構成することにより、前記光景の撮像画像を生成することと、
    　を含み、
    　前記バイナリーマスクの前記所定のパターンは、光不透過素材と、前記光の透過する偏光方向を選択的に制御する複数の種類の偏光フィルタから構成される光透過素材とで構成され、
    　前記バイナリーマスクは、第１の偏光方向を有する第１のサブマスク領域と、第２の偏光方向を有する第２のサブマスク領域と、第３の偏光方向を有する第３のサブマスク領域と、第４の偏光方向を有する第４のサブマスク領域とを含む、
    　画像処理方法。
PCT/JP2021/035247 2020-10-16 2021-09-27 偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法 WO2022080121A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/248,462 US20230367053A1 (en) 2020-10-16 2021-09-27 Polarization imaging device, binary mask, image processing system, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020174716 2020-10-16
JP2020-174716 2020-10-16

Publications (1)

Publication Number Publication Date
WO2022080121A1 true WO2022080121A1 (ja) 2022-04-21

Family

ID=81207922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035247 WO2022080121A1 (ja) 2020-10-16 2021-09-27 偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法

Country Status (2)

Country Link
US (1) US20230367053A1 (ja)
WO (1) WO2022080121A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008527944A (ja) * 2005-01-18 2008-07-24 リアデン リミテッド ライアビリティ カンパニー 符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法
US20170351012A1 (en) * 2016-06-07 2017-12-07 Goodrich Corporation Imaging systems and methods
WO2019171691A1 (ja) * 2018-03-06 2019-09-12 ソニー株式会社 画像処理装置、および撮像装置、並びに画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008527944A (ja) * 2005-01-18 2008-07-24 リアデン リミテッド ライアビリティ カンパニー 符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法
US20170351012A1 (en) * 2016-06-07 2017-12-07 Goodrich Corporation Imaging systems and methods
WO2019171691A1 (ja) * 2018-03-06 2019-09-12 ソニー株式会社 画像処理装置、および撮像装置、並びに画像処理方法

Also Published As

Publication number Publication date
US20230367053A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
WO2018159738A1 (ja) 固体撮像装置および電子機器
WO2018110574A1 (ja) 画像処理装置、画像処理方法、プログラム、および電子機器
US11750932B2 (en) Image processing apparatus, image processing method, and electronic apparatus
US20220058411A1 (en) Solid state image capturing system, solid state image capturing device, information processing device, image processing method, information processing method, and program
US20210191019A1 (en) Resonator structure, imaging element, and electronic apparatus
WO2021060120A1 (ja) 撮像装置
JPWO2020170565A1 (ja) 信号処理方法および撮像装置
US11665440B2 (en) Image processor, image processing method, and imaging device
US20230090261A1 (en) Modulator, imaging apparatus, and design method
WO2021029269A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
WO2022080121A1 (ja) 偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法
JPWO2020158443A1 (ja) 撮像装置及び電子機器
JP7034925B2 (ja) 固体撮像装置および撮像方法
WO2018173793A1 (ja) 固体撮像素子、および電子機器
WO2021075116A1 (ja) 固体撮像装置及び電子機器
WO2021029252A1 (ja) 撮像装置および撮像方法
US11838656B2 (en) Imaging device and correction method for reducing image height dependency of a depth
WO2021125000A1 (ja) 撮像装置、光学素子、画像処理システム及び画像処理方法
JP7513023B2 (ja) 撮像装置、電子機器、情報処理方法及びプログラム
JP2021190777A (ja) 光検出装置
WO2020202876A1 (ja) 固体撮像素子及び撮像装置
WO2022196210A1 (ja) 撮像装置、撮像方法及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21879862

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21879862

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP