WO2015037343A1 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、撮像装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- WO2015037343A1 WO2015037343A1 PCT/JP2014/069643 JP2014069643W WO2015037343A1 WO 2015037343 A1 WO2015037343 A1 WO 2015037343A1 JP 2014069643 W JP2014069643 W JP 2014069643W WO 2015037343 A1 WO2015037343 A1 WO 2015037343A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- display
- area
- instruction
- unit
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 120
- 238000012545 processing Methods 0.000 title claims abstract description 95
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 88
- 238000003860 storage Methods 0.000 claims description 61
- 230000033001 locomotion Effects 0.000 claims description 44
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000012790 confirmation Methods 0.000 claims description 16
- 210000001747 pupil Anatomy 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 57
- 230000008569 process Effects 0.000 description 42
- 230000006870 function Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 18
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000004907 flux Effects 0.000 description 4
- 230000011514 reflex Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
Definitions
- the present invention relates to an image processing device, an imaging device, an image processing method, and an image processing program.
- a digital camera having a so-called manual focus mode in which a user can manually perform focus adjustment in addition to auto-focus using a phase difference detection method or a contrast detection method is widely known.
- a digital camera having a manual focus mode a method using a split micro prism screen that displays a phase difference visually by providing a reflex mirror so that focus adjustment can be performed while checking a subject is known. ing. There is also known a digital camera that employs a method of visually confirming contrast.
- a split image is displayed in a live view image (also referred to as a through image) in order to make it easier for a user (for example, a photographer) to focus on a subject in the manual focus mode.
- a split image is, for example, a divided image in which a display area is divided into a plurality of parts (for example, each image divided in the vertical direction). In the combined state, it indicates a divided image in which there is no deviation in the parallax generation direction.
- the user adjusts the focus by operating a manual focus ring (hereinafter referred to as “focus ring”) so that the split image (for example, each image divided in the vertical direction) is not displaced.
- focus ring a manual focus ring
- the imaging apparatus described in Patent Literature 1 includes a first subject image and a second subject image that are photoelectrically converted from the first subject image and the second subject image formed by the light flux divided by the pupil splitting unit out of the light flux from the imaging optical system. An image and a second image are generated. Then, a split image is generated using these first and second images, and a third subject image formed by a light beam that is not split by the pupil splitting unit is photoelectrically converted to generate a third image. . Then, the third image is displayed on the display unit, and the generated split image is displayed in the third image.
- the imaging device described in Patent Literature 1 displays an enlarged image of an image included in a specified area of a split image.
- Patent Document 2 a specific image among a plurality of images displayed on a touch panel display is instructed by an indicator (for example, a finger) via the touch panel, and the specified specific image is enlarged and displayed. Disclosed techniques are disclosed.
- Patent Document 3 when an image displayed on a touch panel display is instructed by an indicator through the touch panel, an image overlapping the indicator in contact with the touch panel avoids the indication area of the indicator A technique for enlarging and displaying in the area is disclosed.
- the enlarged image is an image of the parallax generation area. Otherwise, it is difficult for the user to grasp the degree of parallax. That it is difficult for the user to grasp the parallax from the enlarged image means that it is difficult to visually recognize whether or not the image is in focus.
- the present invention has been proposed in view of such a situation, and is an image processing device, an imaging device, an image processing method, and an image processing capable of easily recognizing whether or not it is in focus.
- the purpose is to provide a program.
- the image processing apparatus is configured such that the subject image that has passed through the first and second regions in the photographing lens is divided into pupils and formed respectively.
- 1st image of 1st and 2nd image based on 1st and 2nd image signal output from the image pick-up element which has the 1st and 2nd pixel group which outputs 1 and 2nd image signal Is divided into a first divided image obtained by dividing the second image in the dividing direction and a first divided image obtained by dividing the second image in the dividing direction.
- a generation unit that generates a display image used for focusing confirmation in which a divided region corresponding to the divided image and a second divided image corresponding to the adjacent divided region are arranged adjacent to each other in the dividing direction; And a touch panel on the surface of the display area
- a detection unit configured to detect an instruction operation for instructing the first or second divided image of the display image displayed in the display region by detecting an indication region of the indicator with respect to the touch panel provided;
- the display image generated by the generation unit is displayed in the display area, and when the instruction operation is detected by the detection unit in a state where the display image is displayed in the display area, the display image is selected from the first and second divided images.
- a control unit that extracts the partial image extracted from the work image and displays the extracted partial image in a region different from the indication region detected by the detection unit in the display region.
- the control unit expands the parallax between the instruction divided image included in the partial image and the adjacent divided image. In this state, the display area is displayed in an area different from the instruction area detected by the detection unit. As a result, the image processing apparatus can make it easier to visually recognize whether or not the image processing apparatus is in focus as compared with the case where the present configuration is not provided.
- the control unit extracts the extracted partial image from the indication region detected by the detection unit in the display region. Are enlarged and displayed in different areas. As a result, the image processing apparatus can make it easier to visually recognize whether or not the image processing apparatus is in focus as compared with the case where the present configuration is not provided.
- the control unit detects the extracted partial image by the detection unit in the display area. Control for displaying in a different area from the designated instruction area is less than a predetermined value in the brightness difference in the image at a position corresponding to the instruction area detected by the detection unit in accordance with the instruction operation in the display image If not, do not.
- the image processing apparatus can display the extracted partial image in the designated area when it is difficult to visually recognize whether or not the extracted partial image is in focus even if it is displayed in the area avoiding the designated area. Can be suppressed from being displayed in the area where the problem is avoided.
- an area different from the designated area is an indication area detected by the detection unit.
- the image processing apparatus has difficulty in visually recognizing the partial image displayed in the area avoiding the instruction area due to the blind spot formed by the indicator that is in contact with the area corresponding to the center of the display area on the touch panel. Can be suppressed.
- the region other than the central portion in the parallax generation direction in the display image is a region other than the central portion in the parallax generation direction in the display region. It is. Thereby, the image processing apparatus can suppress that it becomes difficult to visually recognize the display image by displaying the partial image in the area avoiding the instruction area.
- an area different from the designated area is an indication area detected by the detection unit.
- the image processing apparatus is a portion displayed in the area that avoids the pointing area by the blind spot formed by the pointer that is in contact with the area corresponding to one of the two ends of the display area on the touch panel. It can suppress that an image becomes difficult to visually recognize.
- the control unit converts an image included in the extracted partial image according to the parallax. And adjusting according to at least one of the enlargement ratio, the saturation, and the edge emphasis level determined. Thereby, the image processing apparatus can improve the visibility of the partial image displayed in the area avoiding the designated area.
- the image sensor does not divide the subject image transmitted through the photographing lens into pupils.
- the image forming apparatus further includes a third pixel group that forms an image and outputs a third image signal, the generation unit further generates a captured image based on the third image signal, and the control unit uses the generation unit to display an image for display.
- the captured image is generated, the captured image is displayed on the display unit, and the display image is displayed in the captured image.
- the image processing apparatus can improve the image quality of the captured image as compared with the case where the captured image based on the third image signal is not generated.
- An imaging device is an image processing device according to any one of the first to ninth aspects of the present invention, an imaging element having first and second pixel groups, and imaging.
- a storage unit that stores an image generated based on an image signal output from the element.
- the photographing lens has a focus lens that is movable along the optical axis direction, and the focus lens is moved in the optical axis direction.
- a first moving operation that further includes a moving unit, and moves the pointing area in a predetermined crossing direction that intersects the division direction in a state where the display image is displayed in the display area when the detecting unit detects the pointing operation;
- the control unit controls the movement unit to move the focus lens in the optical axis direction according to the first movement operation.
- the detection unit when the detection unit detects an instruction operation, the display area is displayed in the crossing direction with the display image displayed on the display area.
- the control unit performs control to maintain the extraction position of the partial image when the detection unit detects the second movement operation.
- the imaging apparatus can suppress the extraction of an image of a region other than the focus target region as a partial image due to the indication region being shifted in a direction not intended by the user.
- the imaging device in the eleventh aspect or the twelfth aspect of the present invention, the first image at a position corresponding to the indication region detected by the detection unit of the display image. And a presentation unit for presenting guidance information for guiding the moving direction of the designated area by the first movement operation based on the parallax between the first image and the second image.
- the imaging apparatus can make the user easily recognize an operation necessary to move the focus lens to the in-focus position, compared to a case where the guide information is not displayed.
- the subject image that has passed through the first and second regions in the photographic lens is divided into pupils to form the first and second image signals.
- the first image of the first and second images based on the first and second image signals output from the imaging device having the first and second pixel groups to be output is set in a predetermined division direction.
- a second divided image corresponding to the adjacent divided area are generated adjacent to each other in the dividing direction to generate a display image used for in-focus confirmation, having a display area, and on the surface of the display area Touch panel on the display unit with touch panel
- the pointing operation for pointing to the first or second divided image of the display image displayed in the display area is detected by detecting the pointing area of the pointer for the first and second images, At least one part of the instruction divided image instructed by the instruction operation of the two divided images and at least one of the adjacent divided images adjacent to the instruction divided image of the first and second divided images in a predetermined direction.
- a partial image including a part is extracted from the display image, and the extracted partial image is displayed in an area different from the detected instruction area in the display area. Therefore, according to the image processing method, it is possible to make it easier to visually recognize whether or not the subject is in focus as compared with the case where the present configuration is not provided.
- An image processing program causes a computer to function as a generation unit, a detection unit, and a control unit in any one of the image processing apparatuses according to the first to ninth aspects of the present invention. belongs to. Therefore, according to the image processing program, it is possible to make it easier to visually recognize whether or not the in-focus state is achieved as compared with the case where this configuration is not provided.
- FIG. 3 is a schematic arrangement diagram illustrating an example of an arrangement of color filters provided in an imaging element included in the imaging apparatus according to the first embodiment and an arrangement of phase difference pixels with respect to the color filters.
- FIG. 3 is a schematic layout diagram illustrating an example of a layout of first pixels, second pixels, and normal pixels included in the image sensor according to the first embodiment. It is a schematic diagram which shows an example of each structure of the 1st pixel contained in the image pick-up element shown in FIG. 6, and a 2nd pixel. It is a block diagram which shows an example of the principal part function of the imaging device which concerns on 1st Embodiment. It is a schematic diagram with which it uses for description of the production
- FIG. 1 shows an example of the aspect when the instruction
- FIG. Schematic for explaining a method for specifying a rectangular right eye image from a right eye image generated by an image processing unit included in the imaging apparatus according to the first embodiment based on an instruction area of an indicator that is in contact with the touch panel.
- FIG. It is an aspect figure which shows an example in the case where the arrow is displayed as guidance information in the split image of the out-of-focus state displayed on the 1st display of the imaging device which concerns on 1st Embodiment. It is an aspect figure which shows an example of the aspect of the split image of the focusing state displayed on the 1st display of the imaging device which concerns on 1st Embodiment.
- FIG. 1 It is a flowchart which shows an example of the flow of the focusing control process which concerns on 1st Embodiment. It is a perspective view which shows an example of the external appearance of the smart phone which concerns on 2nd Embodiment. It is a block diagram which shows an example of the principal part structure of the electrical system of the smart phone which concerns on 2nd Embodiment. It is a modification of the split image which concerns on 1st and 2nd embodiment, Comprising: An example of the split image formed by dividing the 1st image and the 2nd image into the odd line and the even line, and arranging them alternately It is a schematic diagram shown. FIG.
- FIG. 10 is a schematic diagram showing an example of a split image according to the first and second embodiments, which is an example of a split image divided by oblique dividing lines inclined with respect to the row direction.
- FIG. 10 is a schematic diagram showing an example of a split image according to the first and second embodiments, which is an example of a split image divided by a grid-like dividing line.
- FIG. 6 is a schematic diagram showing an example of a split image formed in a checker pattern, which is a modification of the split image according to the first and second embodiments. It is a schematic arrangement
- FIG. 1 is a perspective view illustrating an example of an appearance of the imaging apparatus 100 according to the first embodiment
- FIG. 2 is a rear view of the imaging apparatus 100 illustrated in FIG.
- the imaging device 100 is an interchangeable lens camera.
- the imaging apparatus 100 is a digital camera that includes an imaging apparatus main body 200 and an interchangeable lens 300 that is interchangeably attached to the imaging apparatus main body 200, and a reflex mirror is omitted.
- the interchangeable lens 300 includes a photographing lens 16 (see FIG. 4) having a focus lens 302 that can be moved in the optical axis direction by a manual operation.
- the imaging apparatus main body 200 is provided with a hybrid finder (registered trademark) 220.
- the hybrid viewfinder 220 here refers to a viewfinder in which, for example, an optical viewfinder (hereinafter referred to as “OVF”) and an electronic viewfinder (hereinafter referred to as “EVF”) are selectively used.
- OPF optical viewfinder
- EMF electronic viewfinder
- the interchangeable lens 300 is replaceably attached to the imaging apparatus main body 200.
- the lens barrel of the interchangeable lens 300 is provided with a focus ring 301 used in the manual focus mode. As the focus ring 301 is manually rotated, the focus lens 302 moves in the optical axis direction, and subject light is imaged on an imaging device 20 (see FIG. 3) described later at a focus position corresponding to the subject distance. .
- the OVF finder window 241 included in the hybrid finder 220 is provided on the front surface of the imaging apparatus main body 200.
- a finder switching lever (finder switching unit) 214 is provided on the front surface of the imaging apparatus main body 200. When the viewfinder switching lever 214 is rotated in the direction of the arrow SW, it switches between an optical image that can be viewed with OVF and an electronic image (live view image) that can be viewed with EVF (described later).
- the optical axis L2 of the OVF is an optical axis different from the optical axis L1 of the interchangeable lens 300.
- a release button 211 and a dial 212 for setting a shooting mode, a playback mode, and the like are mainly provided on the upper surface of the imaging apparatus main body 200.
- the release button 211 serving as a photographing preparation instruction unit and a photographing instruction unit is configured to detect a two-stage pressing operation between a photographing preparation instruction state and a photographing instruction state.
- the shooting preparation instruction state refers to, for example, a state where the image is pressed from the standby position to the intermediate position (half-pressed position), and the shooting instruction state refers to a state where the image is pressed to the final pressed position (full-pressed position) exceeding the intermediate position. Point to.
- half-pressed state a state where the button is pressed from the standby position to the half-pressed position
- full-pressed state a state where the button is pressed from the standby position to the fully-pressed position
- the shooting mode and the playback mode are selectively set as the operation mode in accordance with a user instruction.
- a manual focus mode and an autofocus mode are selectively set according to a user instruction.
- the autofocus mode the shooting conditions are adjusted by pressing the release button 211 halfway, and then exposure (shooting) is performed when the release button 211 is fully pressed.
- the AE Automatic Exposure
- the AF Automatic-Focus
- a touch panel display 213 is provided with a touch panel display 213, a cross key 222, a MENU / OK key 224, a BACK / DISP button 225, and an OVF viewfinder eyepiece 242.
- the touch panel display 213 includes a liquid crystal display (hereinafter referred to as “first display”) 215 and a touch panel 216.
- the first display 215 displays images and character information.
- the first display 215 is used to display a live view image (through image) that is an example of a continuous frame image obtained by capturing images in a continuous frame in the shooting mode.
- the first display 215 is also used to display a still image that is an example of a single frame image obtained by capturing a single frame when a still image shooting instruction is given. Further, the first display 215 is also used for displaying a reproduction image and a menu screen in the reproduction mode.
- the touch panel 216 is a transmissive touch panel and is overlaid on the surface of the display area of the first display 215.
- the touch panel 216 detects contact with an indicator (for example, a finger or a stylus pen).
- the touch panel 216 outputs detection result information indicating a detection result (whether or not an indicator touches the touch panel 216) to a predetermined output destination (for example, a later-described CPU 12 (see FIG. 4)) at a predetermined cycle (for example, 100 milliseconds). To do.
- the detection result information includes two-dimensional coordinates (hereinafter referred to as “coordinates”) that can specify the contact position of the indicator on the touch panel 216 when the touch panel 216 detects the contact of the indicator. If no contact is detected, no coordinates are included.
- the cross key 222 functions as a multi-function key for outputting various command signals such as selection of one or a plurality of menus, zooming and frame advancement.
- the MENU / OK key 224 functions as a menu button for instructing to display one or more menus on the screen of the first display 215, and as an OK button for instructing confirmation and execution of the selection contents. This is an operation key that combines functions.
- the BACK / DISP button 225 is used for deleting a desired object such as a selection item, canceling a designated content, or returning to the previous operation state.
- FIG. 3 is a functional block diagram showing an example of main functions according to the present invention of the imaging apparatus 100 according to the first embodiment.
- the imaging device 100 includes a generation unit 100A, a display unit 100B, a detection unit 100C, a control unit 100D, a moving unit 100E, and a presentation unit 100F.
- the generation unit 100A generates a display image used for in-focus confirmation.
- the display image refers to an image in which the first divided image and the second divided image are arranged adjacent to each other in a predetermined division direction (hereinafter referred to as “division direction”).
- the first divided image is the first and second output from the image sensor 20 (see FIG. 4) having first and second pixel groups (described later) on which the subject image is formed by pupil division.
- the second divided image refers to a divided image extracted from a plurality of divided images obtained by dividing the second image in the dividing direction with respect to a divided region adjacent to the divided region corresponding to the first divided image.
- the display unit 100B has a display area for displaying an image.
- a touch panel 216 is provided on the surface of the display area.
- the first display 215 see FIGS. 1 and 4
- the second display 247 see FIG. 4 are employed as an example of the display unit 100B shown in FIG.
- the detection unit 100 ⁇ / b> C detects the indication area of the indicator on the touch panel 216.
- the detection unit 100C detects an instruction operation for instructing the first or second divided image performed on the touch panel 216 in a state where the display image is displayed in the display area of the display unit 100B.
- the control unit 100D causes the display unit 100B to display the display image in the display area when the generation unit 100A generates the display image.
- the control unit 100D extracts a partial image from the display image.
- the partial image refers to an image including at least a part of the instruction divided image and at least a part of the adjacent divided image.
- the instruction divided image refers to a divided image instructed by an instruction operation from the first and second divided images.
- the adjacent divided image refers to a divided image that is adjacent to the instruction divided image of the first and second divided images in a predetermined direction (for example, a specific direction out of the directions orthogonal to the parallax generation direction). .
- the control unit 100D detects the partial image extracted from the display image by the detection unit 100C in the display area of the display unit 100B in a state where the parallax between the instruction divided image and the adjacent divided image included in the partial image is expanded.
- the indication area is displayed in an area that is different from the indication area detected by the detection unit 100C.
- the detection unit 100C detects the first movement operation in a state where the display image is displayed in the display area of the display unit 100B.
- the first moving operation refers to an operation of moving the pointing area of the pointing device for the touch panel 216 in a predetermined crossing direction (hereinafter referred to as “crossing direction”) that crosses the division direction.
- the crossing direction refers to, for example, a parallax generation direction.
- the moving unit 100E moves the focus lens 302 in the optical axis direction.
- the control unit 100D performs control for moving the focus lens 302 in the optical axis direction according to the first movement operation on the movement unit 100E.
- the detection unit 100C detects the second movement operation in a state where the display image is displayed in the display area of the display unit 100B.
- the second movement operation refers to an operation for moving the pointing area of the pointer on the touch panel 216 in a direction other than the crossing direction.
- the control unit 100D performs control to maintain the extraction position of the partial image when the second movement operation is detected by the detection unit 100C.
- the presentation unit 100F moves the instruction area by the first movement operation based on the parallax between the first image and the second image at a position corresponding to the instruction area detected by the detection unit 100C in the display image. Presents guidance information to guide directions.
- FIG. 4 is an electric system block diagram illustrating an example of a hardware configuration of the imaging apparatus 100 according to the first embodiment.
- the imaging apparatus 100 includes a mount 256 provided in the imaging apparatus main body 200 and a mount 346 on the interchangeable lens 300 side corresponding to the mount 256.
- the interchangeable lens 300 is attached to the imaging apparatus main body 200 in a replaceable manner by coupling the mount 346 to the mount 256.
- the interchangeable lens 300 includes a slide mechanism 303 and a motor 304, which are an example of the moving unit 100E shown in FIG.
- the slide mechanism 303 moves the focus lens 302 along the optical axis L1 by operating the focus ring 301.
- a focus lens 302 is attached to the slide mechanism 303 so as to be slidable along the optical axis L1.
- a motor 304 is connected to the slide mechanism 303, and the slide mechanism 303 receives the power of the motor 304 and slides the focus lens 302 along the optical axis L1.
- the motor 304 is connected to the imaging apparatus main body 200 via mounts 256 and 346, and driving is controlled in accordance with a command from the imaging apparatus main body 200.
- a stepping motor is applied as an example of the motor 304. Accordingly, the motor 304 operates in synchronization with the pulse power in accordance with a command from the imaging apparatus main body 200.
- the imaging device 100 is a digital camera that records captured still images and moving images, and the operation of the entire camera is controlled by a CPU (central processing unit) 12.
- the imaging apparatus 100 includes an operation unit 14, an interface unit 24, a primary storage unit 25, a secondary storage unit 26, an image processing unit 28 (an example of the generation unit 100A illustrated in FIG. 3), a speaker 35, a display control unit 36, and eyepiece detection. Part 37 and an external interface (I / F) 39.
- the CPU 12, the operation unit 14, the interface unit 24, the primary storage unit 25, the secondary storage unit 26, the image processing unit 28, the speaker 35, the display control unit 36, the eyepiece detection unit 37, the external I / F 39, and the touch panel 216 are connected to the bus. 40 are connected to each other.
- the primary storage unit 25 means a volatile memory, for example, a RAM (Random Access Memory).
- the secondary storage unit 26 means a non-volatile memory, for example, a flash memory or an HDD (Hard Disk Disk Drive).
- the secondary storage unit 26 stores a display control program 50 that is an example of an image processing program according to the present invention.
- the CPU 12 reads the display control program 50 from the secondary storage unit 26 and develops it in the primary storage unit 25, and executes each process included in the display control program 50.
- the display control program 50 includes a detection process 50A, a display control process 50B, and a presentation process 50C.
- the CPU 12 operates as the detection unit 100C illustrated in FIG. 3 by executing the detection process 50A. Further, the CPU 12 operates as the control unit 100D illustrated in FIG. 3 by executing the display control process 50B. Furthermore, the CPU 12 operates as the presentation unit 100F illustrated in FIG. 3 by executing the presentation process 50C.
- the secondary storage unit 26 stores a focus control program 52.
- the CPU 12 operates as the control unit 100D shown in FIG. 3 by reading the focusing control program 52 from the secondary storage unit 26, developing it in the primary storage unit 25, and executing the focusing control program 52.
- the display control program 50 and the focus control program 52 (hereinafter referred to as “program” when there is no need to distinguish between them) is read from the secondary storage unit 26 is illustrated, but it is not necessarily from the beginning. It is not necessary to store in the secondary storage unit 26.
- the program may first be stored in an arbitrary portable storage medium such as an SSD (Solid State Drive) connected to the imaging apparatus 100, an IC card, a magneto-optical disk, a CD-ROM, or the like. . Then, the CPU 12 may acquire a program from these portable storage media and execute it.
- the program may be stored in a storage unit of an external electronic computer such as a computer or a server device connected to the imaging apparatus 100 via a communication line. In this case, the CPU 12 acquires a program from the external electronic computer and executes it.
- the CPU 12 performs focusing control by driving and controlling the motor 304 so that the contrast value of the image obtained by imaging is maximized.
- the CPU 12 calculates AE information that is a physical quantity indicating the brightness of an image obtained by imaging.
- the CPU 12 derives the shutter speed and F value corresponding to the brightness of the image indicated by the AE information. Then, the exposure state is set by controlling each related part so that the derived shutter speed and F value are obtained.
- the operation unit 14 is a user interface operated by the user when giving various instructions to the imaging apparatus 100. Various instructions received by the operation unit 14 are output as operation signals to the CPU 12, and the CPU 12 executes processing according to the operation signals input from the operation unit 14.
- the operation unit 14 includes a release button 211, a dial 212 for selecting a shooting mode, a finder switching lever 214, a cross key 222, a MENU / OK key 224, and a BACK / DISP button 225.
- the imaging apparatus main body 200 includes a position detection unit 23.
- the position detection unit 23 is connected to the CPU 12.
- the position detection unit 23 is connected to the focus ring 301 via mounts 256 and 346, detects the rotation angle of the focus ring 301, and outputs rotation angle information indicating the rotation angle as a detection result to the CPU 12.
- the CPU 12 executes processing according to the rotation angle information input from the position detection unit 23.
- the image light indicating the subject is incident on the light receiving surface of the color image sensor (for example, a CMOS sensor) 20 via the photographing lens 16 including the focus lens 302 that can be moved manually and the shutter 18.
- the signal charge accumulated in the image sensor 20 is sequentially read out as a digital signal corresponding to the signal charge (voltage) by a read signal applied from the device control unit 22.
- the imaging element 20 has a so-called electronic shutter function, and controls the charge accumulation time (shutter speed) of each photosensor according to the timing of the readout signal by using the electronic shutter function.
- the image sensor 20 according to the first embodiment is a CMOS image sensor, but is not limited thereto, and may be a CCD image sensor.
- the image sensor 20 includes a color filter 21 shown in FIG. 5 as an example.
- the color filter 21 includes a G filter G corresponding to G (green) that contributes most to obtain a luminance signal, an R filter R corresponding to R (red), and a B filter corresponding to B (blue).
- G filter G corresponding to G (green) that contributes most to obtain a luminance signal
- R filter R corresponding to R (red)
- B filter corresponding to B blue
- “4896 ⁇ 3265” pixels are employed as an example of the number of pixels of the image sensor 20, and the G filter, R filter, and B filter are arranged in the row direction (horizontal direction) and these pixels. They are arranged with a predetermined periodicity in each of the column directions (vertical directions). Therefore, the imaging apparatus 100 can perform processing according to a repetitive pattern when performing synchronization (interpolation) processing of R, G, and B signals.
- the synchronization process is a process for calculating all color information for each pixel from a mosaic image corresponding to a color filter array of a single-plate color image sensor.
- the synchronization process means a process for calculating color information of all RGB for each pixel from a mosaic image made of RGB.
- the image sensor 20 includes a first pixel L, a second pixel R, and a normal pixel N (see FIG. 6).
- the imaging apparatus 100 operates the phase difference AF function to reduce the phase shift amount based on the signal output value (hereinafter referred to as pixel value) from the pixel of the first pixel L and the pixel value of the second pixel R. To detect. Then, the focal position of the photographing lens is adjusted based on the detected phase shift amount.
- the imaging element 20 includes a first pixel row 150, a second pixel row 152, and a third pixel row 154.
- the first pixel row 150 includes a first pixel set in the same row, and the first pixel set includes a plurality of normal pixels N (four normal pixels N in the example shown in FIG. 6) in the row direction. Are arranged periodically.
- the first pixel group is adjacent in the row direction in a first arrangement (an arrangement in which the first pixels L are located on the left side in the front view and the second pixels R are located on the right side in the figure). A pair of first pixel L and second pixel R is indicated.
- the second pixel row 152 includes a second pixel set in the same row, and the second pixel set includes a plurality of normal pixels N (four normal pixels N in the example shown in FIG. 6) in the row direction. Are arranged periodically.
- the second pixel group refers to a pair of first pixels L and second pixels R that are adjacent in a second direction in the row direction (an arrangement opposite to the first arrangement).
- a plurality of normal pixels N are arranged adjacent to each other in the same row.
- the first pixel row 150 and the second pixel row 152 include a plurality of third pixel rows 154 in the column direction (in the first embodiment, third pixel rows having different numbers of rows in a predetermined cycle in the column direction). 154) are arranged alternately.
- the first pixel L has a left half of the light receiving surface in the row direction by the light blocking member 20A (the left side when the subject faces the light receiving surface (in other words, when the light receiving surface faces the subject).
- the right side) is a light-shielded pixel.
- the second pixel R has a right half in the row direction on the light receiving surface (right side when facing the subject from the light receiving surface (in other words, when facing the light receiving surface from the subject).
- the left side) is a light-shielded pixel.
- phase difference pixels when it is not necessary to distinguish between the first pixel L and the second pixel R, they are referred to as “phase difference pixels”.
- the luminous flux that passes through the exit pupil of the photographing lens 16 is roughly classified into left region passing light and right region passing light.
- the left region passing light refers to the left half of the light beam passing through the exit pupil of the photographing lens 16
- the right region passing light is the right half of the light beam passing through the exit pupil of the photographing lens 16.
- the light beam passing through the exit pupil of the photographing lens 16 is divided into left and right by the microlens 19 and the light shielding members 20A and 20B functioning as a pupil dividing unit, the first pixel L receives the left region passing light, and the second The pixel R receives right region passing light.
- the subject image corresponding to the left region passing light and the subject image corresponding to the right region passing light are acquired as parallax images (left eye image and right eye image described later) having different parallaxes.
- the light shielding members 20A and 20B are referred to as “light shielding members” without reference numerals.
- the image sensor 20 is classified into a first pixel group, a second pixel group, and a third pixel group.
- the first pixel group refers to a plurality of first pixels L arranged in a matrix.
- the second pixel group indicates a plurality of second pixels R arranged in a matrix.
- the third pixel group refers to a plurality of normal pixels N shown in FIG. 6 as an example.
- the normal pixel N refers to a pixel other than the phase difference pixel (for example, a pixel in which the light shielding members 20A and 20B are not provided).
- the RAW image output from the first pixel group is referred to as a “first image”
- the RAW image output from the second pixel group is referred to as a “second image”
- the third image The RAW image output from the pixel group is referred to as a “third image”.
- RAW images when it is not necessary to distinguish between the first to third images, they are referred to as “RAW images”.
- the image sensor 20 outputs the first image (digital signal indicating the pixel value of each first pixel L) from the first pixel group, and the second image from the second pixel group. (Digital signal indicating the pixel value of each second pixel R) is output. Further, the image sensor 20 outputs a third image (a digital signal indicating the pixel value of each normal pixel) from the third pixel group. Note that the third image output from the third pixel group is a chromatic image, for example, a color image having the same color arrangement as the arrangement of the normal pixels N.
- the first image, the second image, and the third image output from the image sensor 20 are temporarily stored (overwritten) in a RAW image storage area (not shown) of the primary storage unit 25 via the interface unit 24. Is done.
- the image processing unit 28 performs various types of image processing on the first to third images stored in the primary storage unit 25.
- the image processing unit 28 is realized by an ASIC (Application Specific Integrated Circuit) which is an integrated circuit in which a plurality of functions related to image processing are integrated into one.
- ASIC Application Specific Integrated Circuit
- the hardware configuration is not limited to this, and may be, for example, a programmable logic device or another hardware configuration such as a computer including a CPU, a ROM, and a RAM.
- the hybrid finder 220 has a liquid crystal display (hereinafter referred to as “second display”) 247 for displaying an electronic image.
- second display liquid crystal display
- the display control unit 36 is connected to the first display 215 and the second display 247, and selectively controls the first display 215 and the second display 247 to control the first display 215 and the second display 247. Display images selectively.
- the first display 215 and the second display 247 are referred to as “display devices” when it is not necessary to distinguish between them.
- the imaging apparatus 100 is configured to be able to switch between a manual focus mode and an autofocus mode by a dial 212 (focus mode switching unit).
- the display control unit 36 causes the display device to display a live view image obtained by combining the split images.
- the CPU 12 operates as a phase difference detection unit and an automatic focus adjustment unit.
- the phase difference detection unit detects a phase difference between the first image output from the first pixel group and the second image output from the second pixel group.
- the automatic focus adjustment unit controls the motor 304 from the device control unit 22 via the mounts 256 and 346 so that the defocus amount of the focus lens 302 is zero based on the detected phase difference, and controls the focus lens 302. Move to the in-focus position.
- defocus amount refers to, for example, the amount of phase shift between the first image and the second image.
- the eyepiece detection unit 37 detects that a user (for example, a photographer) has looked into the viewfinder eyepiece unit 242 and outputs the detection result to the CPU 12. Therefore, the CPU 12 can grasp whether or not the finder eyepiece unit 242 is used based on the detection result of the eyepiece detection unit 37.
- the external I / F 39 is connected to a communication network such as a LAN (Local Area Network) or the Internet, and controls transmission / reception of various information between the external device (for example, a printer) and the CPU 12 via the communication network. Therefore, when a printer is connected as an external device, the imaging apparatus 100 can output a captured still image to the printer for printing. Further, when a display is connected as an external device, the imaging apparatus 100 can output and display a captured still image or live view image on the display.
- a communication network such as a LAN (Local Area Network) or the Internet
- FIG. 8 is a functional block diagram illustrating an example of main functions of the imaging apparatus 100 according to the first embodiment.
- symbol is attached
- the normal processing unit 30 and the split image processing unit 32 each have a WB gain unit, a gamma correction unit, and a synchronization processing unit (not shown), and the original digital signal (RAW image) temporarily stored in the primary storage unit 25.
- Each processing unit sequentially performs signal processing. That is, the WB gain unit executes white balance (WB) by adjusting the gains of the R, G, and B signals.
- the gamma correction unit performs gamma correction on each of the R, G, and B signals that have been subjected to WB by the WB gain unit.
- the synchronization processing unit performs color interpolation processing corresponding to the color filter array of the image sensor 20, and generates synchronized R, G, B signals.
- the normal processing unit 30 and the split image processing unit 32 perform image processing on the RAW image in parallel every time a RAW image for one screen is acquired by the image sensor 20.
- the normal processing unit 30 receives R, G, and B raw images from the interface unit 24, and converts the R, G, and B pixels of the third pixel group into the first pixel group and the second pixel group.
- a chromatic color normal image is generated by interpolating with peripheral pixels of the same color (for example, adjacent G pixels).
- the split image processing unit 32 extracts G signals (first and second images) of the first pixel group and the second pixel group from the RAW image once stored in the primary storage unit 25, and the first image An achromatic split image is generated based on the G signals of the pixel group and the second pixel group.
- the pixel group corresponding to each of the first pixel group and the second pixel group extracted from the RAW image is a pixel group including G filter pixels as described above. Therefore, the split image processing unit 32 converts the achromatic left parallax image and the achromatic right parallax image based on the G signal of the pixel group corresponding to each of the first pixel group and the second pixel group. Can be generated.
- the above “achromatic left parallax image” is referred to as a “left eye image”
- the above “achromatic right parallax image” is referred to as a “right eye image”.
- the split image is an image in which the display left-eye image and the display right-eye image are arranged adjacent to each other in a predetermined direction (here, a direction orthogonal to the parallax generation direction).
- the left eye image for display is a partial image of four divided images obtained by dividing the left eye image into four in a predetermined direction (in the example shown in FIG. 9, the first and third images from the front view).
- the right-eye image for display is a divided image extracted from four divided images obtained by dividing the right-eye image into four in a predetermined direction with respect to a divided region adjacent to the divided region corresponding to the left-eye image for display (see FIG. 9). In the example shown, it indicates the second and fourth divided images from the front view).
- the split image is displayed in a rectangular frame at the center of the screen of the display device, and a normal image is displayed in the outer peripheral area of the split image.
- a split image in which two display right-eye images and two display left-eye images are alternately arranged in a predetermined direction is illustrated.
- the left eye image for display and the right eye image for display included in the split image are shifted in the parallax generation direction according to the in-focus state.
- the example shown in FIG. 10 shows a state in which a person's peripheral area (for example, a tree) is in focus and the person is not in focus.
- display parallax images when it is not necessary to distinguish between the display left-eye image and the display right-eye image, they are referred to as “display parallax images”.
- the split image is combined with the normal image by fitting the split image in place of a part of the normal image.
- the present invention is not limited to this. It is also possible to use a synthesis method in which a split image is superimposed on the image.
- a combining method may be used in which the transmittance of a part of the normal image on which the split image is superimposed and the split image are appropriately adjusted and superimposed.
- the hybrid finder 220 includes an OVF 240 and an EVF 248.
- the OVF 240 is an inverse Galileo finder having an objective lens 244 and an eyepiece 246, and the EVF 248 has a second display 247, a prism 245, and an eyepiece 246.
- a liquid crystal shutter 243 is disposed in front of the objective lens 244, and the liquid crystal shutter 243 shields light so that an optical image does not enter the objective lens 244 when the EVF 248 is used.
- the prism 245 reflects the electronic image or various information displayed on the second display 247 and guides it to the eyepiece 246, and also displays the optical image and information (electronic image and various information) displayed on the second display 247. And synthesize.
- an OVF mode in which an optical image can be visually recognized by the OVF 240 and an electronic image can be visually recognized by the EVF 248 each time it is rotated.
- the EVF mode is switched alternately.
- the display control unit 36 controls the liquid crystal shutter 243 to be in a non-light-shielded state so that an optical image can be visually recognized from the eyepiece unit. Further, only the split image is displayed on the second display 247. Thereby, a finder image in which a split image is superimposed on a part of the optical image can be displayed.
- the display control unit 36 controls the liquid crystal shutter 243 to be in a light shielding state so that only the electronic image displayed on the second display 247 can be visually recognized from the eyepiece unit.
- the second display 247 receives image data equivalent to the image data obtained by combining the split images output to the first display 215. Accordingly, the second display 247 can display an electronic image in which the split image is combined with a part of the normal image, like the first display 215.
- image generation processing performed by the image processing unit 28 in the manual focus mode will be described with reference to FIG.
- the CPU 12 executes the image generation processing program and the image capturing apparatus 100 performs image processing. Generation processing may be performed.
- step 400 the image processing unit 28 acquires the first to third images from the RAW image storage area of the primary storage unit 25, and then proceeds to step 402.
- the image processing unit 28 generates a left eye image and a right eye image based on the first and second images acquired in step 400, and the generated left eye image and right eye image are stored in the primary storage unit 25. Stored (overwritten) in a parallax image storage area (not shown).
- the left-eye image refers to an image that has been subjected to predetermined processing (for example, gain is adjusted) for each pixel in the first image
- the right-eye image is the second eye image.
- the second image in which a predetermined process is performed on each pixel in the image.
- the positions (coordinates) of all the pixels included in the left eye image are the same as the positions of all the pixels included in the first image, and the positions of all the pixels included in the right eye image are included in the second image. It is the same as the position of all pixels.
- the image processing unit 28 In the next step 404, the image processing unit 28 generates a normal image (an example of a captured image of the present invention) based on the third image acquired in step 400, and the left eye image and right eye generated in step 402. A split image is generated based on the image. Then, the generated normal image and split image are output to the display control unit 36, and then the process proceeds to step 406.
- the display control unit 36 causes the display device to continuously display the normal image as a moving image, and continuously displays the split image as a moving image within the display area of the normal image. Control to display. In response to this, the display device displays a live view image as shown in FIG. 10 as an example.
- step 406 the image processing unit 28 stores (overwrites) the split image generated in step 404 in the split image storage area (not shown) of the primary storage unit 25, and then ends the image generation processing.
- the column image 80 refers to an image obtained by photographing a vertical column, which is a main subject having a color different from the background color (for example, green), from the front by the imaging apparatus 100, and the background image 82 is a background of the vertical column. An image showing (for example, a white background).
- step 410 the detection unit 100 ⁇ / b> C determines whether or not an indicator is in contact with the touch panel 216 based on detection result information input from the touch panel 216. If the indicator is in contact with the touch panel 216 at step 410, the determination is affirmed and the routine proceeds to step 412. If the indicator is not in contact with the touch panel 216 at step 410, the determination is negative and the routine proceeds to step 436.
- step 412 the detection unit 100 ⁇ / b> C determines whether or not an instruction operation flag indicating that an instruction operation has been performed on the touch panel 216 is off. If it is determined in step 412 that the instruction operation flag is off, the determination is affirmed and the process proceeds to step 414. If the instruction operation flag is on in step 412, the determination is negative and the routine proceeds to step 420.
- the instruction operation is a right eye image for display or display when the indicator touches the instruction target area 216A in a state where the split image is displayed in the display area 215A.
- This refers to an operation for instructing the left eye image as an instruction divided image.
- the display area 215A refers to an area in which a split image is displayed in the display area of the first display 215.
- the instruction target area 216A refers to an area corresponding to the display area 215A in the contact target area of the touch panel 216 (for example, a surface having sensitivity in the touch panel 216). In the example illustrated in FIG.
- a state in which the left eye image is designated as an instruction divided image by an instruction operation is shown.
- the indication area 62 of the indicator straddles a plurality of display parallax images (in the example shown in FIG. 13, both the display left-eye image and the display right-eye image)
- the display parallax image to which the center point 64 belongs is instructed as an instruction divided image.
- the center point 64 When the center point 64 exists on the boundary line between the display parallax images, the display divided image on the lower side of the front view in FIG. 13 with respect to the boundary line is designated as the instruction divided image.
- the center point 64 refers to the center point of the rectangular frame 68 that circumscribes the indication area 62.
- the first movement operation refers to an operation of moving the instruction area 62 in the parallax generation direction (in the example shown in FIG. 14, the direction of arrow A or the direction of arrow B).
- the second movement operation refers to an operation of moving the instruction area 62 in a direction other than the parallax generation direction (in the example illustrated in FIG. 14, the arrow C direction or the arrow D direction).
- step 414 the detection unit 100C determines whether or not an instruction operation has been performed on the touch panel 216 based on the detection result information input from the touch panel 216. In step 414, when an instruction operation is performed on the touch panel 216, the determination is affirmed and the process proceeds to step 416. In step 414, when the instruction operation is not performed on the touch panel 216, the determination is denied and the display control process is terminated.
- step 414 is, for example, instructing an area other than the instruction target area 216A shown in FIG. 14 in the contact target area of the touch panel 216 (for example, an area corresponding to the display area of the normal image). Refers to the case where the body touches.
- step 416 the detection unit 100C turns on the instruction operation flag, and then proceeds to step 418.
- step 418 the control unit 100D stores (overwrites) the designated coordinates in the designated coordinate storage area (not shown) of the primary storage unit 25, and then proceeds to step 420.
- the designated coordinates indicate the coordinates of the center point 64 (see FIG. 13).
- step 420 the control unit 100D acquires a pair of parallax calculation images from the left eye image and the right eye image stored in the parallax image storage area of the primary storage unit 25, and then proceeds to step 422.
- the pair of parallax calculation images indicates a rectangular left eye image 66A illustrated in FIG. 15A as an example, and a rectangular right eye image 66B illustrated in FIG. 15B as an example.
- Each of the rectangular left eye image 66A and the rectangular right eye image 66B is an image cut out by a rectangular frame 68 (a broken line rectangular frame shown in FIGS. 15A and 15B as an example).
- the rectangular left-eye image 66A indicates an image of the entire region in the rectangular frame 68 in the left-eye image as shown in FIG. 15A as an example
- the rectangular right-eye image 66B is shown as an example in FIG. 15B.
- the image of the whole area in the rectangular frame 68 in the right eye image is indicated.
- step 422 the control unit 100D calculates the inter-image parallax ⁇ x, and then proceeds to step 424.
- the inter-image parallax ⁇ x refers to the parallax of the pair of parallax calculation images acquired in step 420.
- step 424 the control unit 100D acquires the rectangular image 70 shown in FIG. 13 as an example from the split image stored in the split image storage area of the primary storage unit 25, and then proceeds to step 426.
- the rectangular image 70 indicates an image cut out from the display parallax image by the rectangular frame 68 as shown in FIG.
- step 426 the control unit 100 ⁇ / b> D calculates the light / dark difference of the rectangular image 70 acquired in step 424 (here, as an example, the standard deviation of pixel values in all pixels included in the rectangular image 70), and then proceeds to step 428. To do.
- step 428 the control unit 100D determines whether or not the brightness difference calculated in step 426 is greater than or equal to a threshold value. In step 428, if the light / dark difference calculated in step 426 is greater than or equal to the threshold value, the determination is affirmed and the process proceeds to step 430. In step 428, when the contrast calculated in step 426 is less than the threshold value, the determination is negative and the display control process ends.
- the case where the contrast is less than the threshold is, for example, as shown in FIG. 16, in the state where the column image 80 and the background image 82 are displayed, the instruction area 62 is in the area corresponding to the background image 82 in the instruction target area 216A. If present.
- step 430 the control unit 100D performs, as an example, a split image stored in the split image storage area of the primary storage unit 25 based on the indicated coordinates stored in the indicated coordinate storage area of the primary storage unit 25 as shown in FIG. And the partial image 72 shown in FIG. 18 is specified. Then, the identified partial image is extracted from the split image, and then the process proceeds to step 432.
- the partial image 72 indicates an image of the entire region in a rectangular frame 74 (broken-line rectangular frame shown in FIGS. 17 and 18), as shown in FIGS.
- the rectangular frame 74 is a rectangular frame with the point 76 as the center.
- the length of one side of the rectangular frame 74 is twice the length of the short side of the display parallax image (the length of one side in the direction orthogonal to the parallax occurrence direction in the display parallax image).
- Point 76 is a leg of a perpendicular drawn from the center point 64 to a boundary line adjacent in a predetermined direction.
- the boundary line refers to a boundary line between parallax images for display. As shown in FIG.
- the predetermined direction is a display other than the display right-eye image in the uppermost front view in the figure among the four display parallax images arranged in the vertical direction in the front view in the figure.
- the parallax image for use is designated as the designated divided image, it indicates the front view upward direction (arrow E direction) in the figure.
- the predetermined direction is, as shown in FIG. 18 as an example, in the case where the display parallax image at the top in the front view in the figure is designated as the instruction divided image among the four display parallax images. It refers to the front view downward direction (arrow F direction).
- the partial image 72 refers to a part of the right eye image for display and a part of the left eye image for display included in the entire region within the rectangular frame 74 (in a state of contact via the boundary line). means.
- the center point 64 is not on the boundary line is illustrated, but when the center point 64 exists on the boundary line, the center point 64 is replaced with the rectangular frame 74.
- the partial image 72 may be specified by a rectangular frame at the center (a rectangular frame having the same size as the rectangular frame 74).
- step 432 the control unit 100 ⁇ / b> D displays the parallax extended image 75 in which the parallax of the partial image 72 extracted in step 430 is expanded in the specific area 76 avoiding the instruction area 62 (see FIG. 17 as an example) For example, the display is superimposed), and then the process proceeds to step 434.
- the parallax extension image 75 is displayed in a rectangular window (a window having the same size as the rectangular frame 74), and includes a parallax extension instruction image 75A and a parallax extension adjacent image 75B.
- the parallax extension instruction image 75A is an image obtained by moving the instruction divided image included in the partial image 72 in the parallax generation direction (the direction in which the parallax with the adjacent divided image included in the partial image 72 is extended).
- the parallax extension instruction image 75A is an image division parallax calculated by k ⁇ x (step 422) in the left direction of the front view of the instruction divided image (in the example shown in FIG. 17, the display left-eye image) included in the partial image 72.
- the parallax extended adjacent image 75B is an image obtained by moving the adjacent divided image included in the partial image 72 in the parallax generation direction (direction in which the parallax with the instruction divided image included in the partial image 72 is extended). That is, the parallax extended adjacent image 75B moves the adjacent divided image (the display right eye image adjacent to the display left eye image that is the instruction divided image) included in the partial image 72 by k ⁇ x in the right direction of the front view in the figure. It is an image.
- the specific region 76 refers to one end portion of the display end portions 79 when the center point 64 is included in the center portion 78 (see FIG. 17) in the parallax generation direction in the display region 215A.
- the display end portions 79 refer to both end portions in the parallax generation direction in the display area of the first display 215 (areas on both sides of the display area 215A in the parallax generation direction).
- the specific region 76 refers to an end portion far from the center point 64 of the display end portions 79 when the center point 64 is included in one end portion of the split image both ends 81.
- the split image both end portions 81 indicate both end portions in the parallax generation direction (regions on both sides of the central portion 78 in the parallax generation direction) in the display region 215A.
- the center point 64 belongs to the area on the left side of the display area 215 ⁇ / b> A in the front view of the display area 215 ⁇ / b> A in the parallax generation direction, A parallax extended image 75 is displayed in the normal image.
- the contour of the image included in the parallax extension image 75 corresponds to the inter-image parallax ⁇ x. It is highlighted with a degree of emphasis.
- the highlighting refers to, for example, displaying an outline with a density equal to or higher than a predetermined value.
- the outline of the image included in the parallax extension image 75 refers to, for example, the outline of the column image 80 included in the parallax extension instruction image 75A and the outline of the column image 80 included in the parallax extension adjacent image 75B.
- the degree of enhancement according to the inter-image parallax ⁇ x refers to, for example, the degree of enhancement (for example, the contour line density) that increases as the inter-image parallax ⁇ x decreases.
- the adjustment of the image included in the parallax extended image 75 is not limited to the contour emphasis display, and the enlargement ratio of the parallax extended image 75 according to the inter-image parallax ⁇ x (for example, the smaller the inter-image parallax ⁇ x is, the smaller the image is). It may be enlarged at a larger enlargement ratio).
- the saturation of the parallax extended image 75 may be adjusted to the saturation corresponding to the inter-image parallax ⁇ x (for example, the saturation that increases as the inter-image parallax ⁇ x decreases). Further, at least two image adjustments may be combined: emphasis display of the outline of the image included in the parallax extension image 75, enlargement display of the parallax extension image 75, and adjustment of the saturation of the parallax extension image 75.
- step 434 the presentation unit 100F displays the guidance information according to the inter-image parallax calculated in step 422 on the display area 215A adjacent to the parallax extended image 75, and then ends the display control process.
- the guidance information means information for guiding the direction in which the instruction area 62 is moved by the first movement operation in order to get out of the out-of-focus state (in order to make the in-focus state).
- the arrow 83 shown in FIG. An arrow 83 indicates a recommended direction as a direction in which the instruction area 62 is moved by the first movement operation.
- the indicator 84 is in contact with an area corresponding to the display left-eye image in the instruction target area 216A (because the display left-eye image is instructed as an instruction divided image).
- the arrow 83 indicates the right direction in the front view in the figure, which is the direction opposite to the parallax generation direction.
- an arrow (not shown) pointing in the opposite direction to the direction indicated by the arrow 83 is used as the guidance information. Is displayed.
- step 436 the detection unit 100C determines whether or not the instruction operation flag is on. If the instruction operation flag is on in step 436, the determination is affirmed and the routine proceeds to step 438. If the instruction operation flag is off in step 436, the determination is negative and the display control process is terminated.
- step 438 the detection unit 100C turns off the instruction operation flag, and then ends the display control process.
- step 450 the control unit 100D determines whether or not the instruction operation flag is on. If the instruction operation flag is on in step 450, the determination is affirmed and the routine proceeds to step 452. If the instruction operation flag is off in step 450, the determination is negative and the focus control process is terminated.
- step 452 the control unit 100 ⁇ / b> D determines whether or not a first movement operation has been performed on the touch panel 216 based on the detection result information input from the touch panel 216. If the first movement operation is performed on the touch panel 216 in step 452, the determination is affirmed and the process proceeds to step 454. If it is determined in step 452 that the first movement operation is not performed on the touch panel 216, the determination is negative and the process proceeds to step 456.
- step 454 the control unit 100D performs focus control according to the first movement operation, and then proceeds to step 456.
- the focus control is an example in which the center point 64 moves in the direction of arrow A or B shown in FIG. 14 to move the focus lens 302 in a direction corresponding to the moving direction of the center point 64 in the optical axis direction.
- the movement is controlled by a lens movement amount corresponding to the movement amount of the center point 64.
- step 456 the control unit 100D determines whether or not the instruction operation flag is off. If it is determined in step 456 that the instruction operation flag is on, the determination is negative, and the process proceeds to step 452. If the instruction operation flag is off in step 456, the determination is affirmed and the focusing control process is terminated.
- the imaging device 100 when an instruction operation is detected in a state where the split image is displayed in the display area 215A, the partial image 72 (see FIG. 17) including the instruction divided image and the adjacent divided image is split. Extracted from the image. And the parallax expansion image 75 (refer FIG. 17) which is an image by which the parallax of the extracted partial image 72 was expanded is displayed on the specific area
- the control for displaying the parallax extended image 75 is a rectangle at the position corresponding to the instruction region 62 detected in accordance with the instruction operation. It is not performed when the contrast in the image 70 is less than the threshold value. Therefore, the imaging apparatus 100 displays the parallax expansion image 75 in the specific area 76 when it is difficult to visually recognize whether or not it is in focus even if the parallax expansion image 75 is displayed in the specific area 76. This can be suppressed.
- the imaging apparatus 100 when the center point 64 (see FIG. 17) is included in the central portion 78 of the display area 215A, the parallax extended image 75 is displayed at one end of the display both end portions 79 (see FIG. 17). Is displayed. Therefore, the imaging apparatus 100 can suppress the parallax expansion image 75 from becoming difficult to visually recognize due to the blind spot formed by the indicator that is in contact with the area corresponding to the central portion 78 of the display area 215A on the touch panel 216.
- the imaging device 100 when the center point 64 is included in one end of both ends in the parallax generation direction in the display region 215A, the identification is the end far from the center point 64 in the display both ends 79. A parallax extended image 75 is displayed in the area 76. Therefore, the imaging apparatus 100 is difficult to view the parallax expansion image 75 due to the blind spot formed by the indicator that is in contact with the area corresponding to one of the both ends of the display area 215A on the touch panel 216. Can be suppressed. In addition, since the display end portions 79 are regions other than the display region 215A, it is possible to prevent the split image from becoming difficult to visually recognize due to the display of the parallax extended image 75.
- the parallax extended image 75 is adjusted according to at least one of the enlargement ratio, the saturation, and the edge enhancement level determined according to the inter-image parallax ⁇ x. Therefore, the imaging apparatus 100 can improve the visibility of the parallax extension image 75.
- the imaging apparatus 100 when the first movement operation is detected, the focus lens 302 is controlled to move in the optical axis direction according to the first movement operation. Therefore, the imaging apparatus 100 can easily move the focus lens 302 to the in-focus position as compared with the case where this configuration is not provided.
- the imaging apparatus 100 when the second movement operation is detected (when a negative determination is made in step 412 in FIG. 12), the extraction position of the partial image 72 is maintained. Therefore, the imaging apparatus 100 can suppress the image of the area other than the focus target area from being extracted as the partial image 72 due to the instruction area 62 being shifted in a direction not intended by the user.
- an arrow 83 (see FIG. 19A) is displayed as guidance information for guiding the moving direction of the instruction area 62 by the first moving operation based on the inter-image parallax ⁇ x. Therefore, the imaging apparatus 100 can make the user easily recognize an operation necessary to move the focus lens 302 to the in-focus position, compared to a case where the guide information is not displayed.
- a part of the instruction divided image and a part of the adjacent divided image are set as the partial image 72.
- the present invention is not limited thereto, and the entire instruction divided image and the entire adjacent divided image are partially displayed. It may be an image.
- the case where the arrow 83 is displayed on the first display 215 is exemplified.
- the present invention is not limited to this.
- sound indicating the direction indicated by the arrow 83 may be output to the speaker 35.
- the operation direction of the first movement operation may be guided only by the sound output from the speaker 35 without displaying the arrow 83 on the first display 215.
- the split image in which the four display parallax images are arranged adjacent to each other is illustrated.
- the present invention is not limited to this, and one display left-eye image and one display right-eye image are included. May be split images arranged adjacent to each other. Further, it may be a split image in which one display right eye image and two display left eye images are alternately arranged adjacent to each other. As described above, the split image may be an image in which the display left-eye image and the display right-eye image are arranged alternately and linearly adjacent to each other.
- the parallax extended image 75 is displayed at one end portion of the display both end portions 79.
- the parallax expansion image 75 may be displayed in an area other than the central part 78 in the display area 215A. Also in this case, it is possible to prevent the parallax expansion image 75 from becoming difficult to visually recognize due to the blind spot formed by the indicator that is in contact with the area corresponding to the central portion 78 of the display area 215A on the touch panel 216. The same effect as that of the first embodiment can be expected.
- the parallax extended image 75 is displayed in the specific area 76 when the center point 64 is included in one end of both ends in the parallax generation direction in the display area 215A.
- the present invention is not limited to this.
- the parallax extended image is located on the right side of the drawing in the front view with respect to the central portion 78 in the display area 215 ⁇ / b> A. 75 may be displayed.
- the display parallax image at the top of the front view included in the split image (the display left-eye image in the example shown in FIG. 18) is the instruction divided image.
- the present invention is not limited to this.
- the display parallax image is instructed as the instruction divided image only when the indicator touches an area corresponding to the display parallax image other than the display parallax image at the topmost front view included in the split image on the touch panel 216. You may do it. In this way, only a specific display parallax image among a plurality of display parallax images included in the split image may be used as a display parallax image that can be designated as an instruction divided image.
- one of the plurality of display parallax images included in the split image is instructed as an instruction divided image to be focused.
- the present invention is not limited to this. It is not something.
- one of a plurality of display parallax images included in the split image may be instructed as an instruction divided image for image quality adjustment (for example, brightness adjustment or sharpness adjustment).
- one of the plurality of display parallax images included in the split image may be designated as an enlarged divided display target, a reduced display target, a cut target, or a copy target instruction divided image.
- each process included in the image generation process described in the first embodiment may be realized by a software configuration using a computer by executing a program, or a combination of a hardware configuration and a software configuration. It may be realized by.
- each process included in the display control process and the focus control process described in the first embodiment may be realized by a hardware configuration such as an ASIC or a programmable logic device, or the hardware configuration and the software configuration. It may be realized by a combination.
- the program may be stored in advance in a predetermined storage area (for example, the secondary storage unit 26).
- a predetermined storage area for example, the secondary storage unit 26.
- the program may be stored in an arbitrary portable storage medium such as a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card.
- the computer may acquire the program from these portable storage media and execute it.
- each program may be stored in another computer or server device connected to the computer via the Internet, a LAN (Local Area Network), etc., and the computer may acquire and execute the program from these. Good.
- the imaging device 100 described in the first embodiment may have a function of confirming the depth of field (depth of field confirmation function).
- the imaging apparatus 100 has a depth-of-field confirmation key.
- the depth-of-field confirmation key may be a hard key or a soft key.
- a momentary operation type switch non-holding type switch
- the momentary operation type switch mentioned here refers to a switch that maintains a specific operation state in the imaging apparatus 100 only while being pushed into a predetermined position, for example.
- the aperture value is changed.
- the aperture value continues to change until reaching the limit value.
- the aperture value changes, and thus there may be a case where the phase difference necessary for obtaining the split image cannot be obtained.
- the split image may be changed to the normal live view display while the split image is being pressed.
- the CPU 12 may switch the screen so that the split image is displayed again when the pressed state is released.
- a momentary operation type switch is applied as an example of the depth of field confirmation key.
- the present invention is not limited to this, and an alternative operation type switch (holding type switch) may be applied.
- the imaging device 100 is illustrated, but examples of the mobile terminal device that is a modification of the imaging device 100 include a mobile phone and a smartphone having a camera function.
- PDA Personal Digital Assistants
- a portable game machine etc. are mentioned.
- a smartphone will be described as an example, and will be described in detail with reference to the drawings.
- FIG. 21 is a perspective view showing an example of the appearance of the smartphone 500.
- a smartphone 500 illustrated in FIG. 21 includes a flat housing 502, and a display input in which a display panel 521 as a display unit and an operation panel 522 as an input unit are integrated on one surface of the housing 502. Part 520.
- the housing 502 includes a speaker 531, a microphone 532, an operation unit 540, and a camera unit 541.
- the configuration of the housing 502 is not limited thereto, and for example, a configuration in which the display unit and the input unit are independent may be employed, or a configuration having a folding structure or a slide structure may be employed.
- FIG. 22 is a block diagram showing an example of the configuration of the smartphone 500 shown in FIG.
- the main components of the smartphone 500 are a wireless communication unit 510, a display input unit 520, a communication unit 530, an operation unit 540, a camera unit 541, a storage unit 550, and an external input / output. Part 560.
- the smartphone 500 includes a GPS (Global Positioning System) receiving unit 570, a motion sensor unit 580, a power supply unit 590, and a main control unit 501.
- GPS Global Positioning System
- a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW is provided as a main function of the smartphone 500.
- the wireless communication unit 510 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 501. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
- the display input unit 520 is a so-called touch panel, and includes a display panel 521 and an operation panel 522. For this reason, the display input unit 520 displays images (still images and moving images), character information, and the like visually by controlling the main control unit 501, and visually transmits information to the user. Is detected. Note that when viewing the generated 3D, the display panel 521 is preferably a 3D display panel.
- the display panel 521 uses an LCD, OELD (Organic Electro-Luminescence Display), or the like as a display device.
- the operation panel 522 is a device that is placed so that an image displayed on the display surface of the display panel 521 is visible and detects one or a plurality of coordinates operated by a user's finger or stylus. When such a device is operated by a user's finger or stylus, a detection signal generated due to the operation is output to the main control unit 501. Next, the main control unit 501 detects an operation position (coordinates) on the display panel 521 based on the received detection signal.
- the display panel 521 and the operation panel 522 of the smartphone 500 integrally form the display input unit 520, but the operation panel 522 is disposed so as to completely cover the display panel 521. ing.
- the operation panel 522 may have a function of detecting a user operation even in an area outside the display panel 521.
- the operation panel 522 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 521 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 521. May be included).
- the operation panel 522 may include two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 502 and the like.
- examples of the position detection method employed in the operation panel 522 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
- the communication unit 530 includes a speaker 531 and a microphone 532.
- the communication unit 530 converts the user's voice input through the microphone 532 into voice data that can be processed by the main control unit 501, and outputs the voice data to the main control unit 501. Further, the communication unit 530 decodes the audio data received by the wireless communication unit 510 or the external input / output unit 560 and outputs it from the speaker 531.
- the speaker 531 can be mounted on the same surface as the display input unit 520 and the microphone 532 can be mounted on the lower front portion of the housing 502.
- the operation unit 540 is a hardware key using a key switch or the like, and receives an instruction from the user.
- the operation unit 540 is mounted on the lower front portion of the housing 502 of the smartphone 500 and is turned on when pressed with a finger or the like, and is turned off by a restoring force such as a spring when the finger is released. This is a push button type switch.
- the storage unit 550 stores the control program and control data of the main control unit 501, application software, address data that associates the name and telephone number of the communication partner, and transmitted / received e-mail data.
- the storage unit 550 stores Web data downloaded by Web browsing and downloaded content data.
- the storage unit 550 temporarily stores streaming data and the like.
- the storage unit 550 includes an external storage unit 552 having an internal storage unit 551 built in the smartphone and a removable external memory slot.
- Each of the internal storage unit 551 and the external storage unit 552 constituting the storage unit 550 is realized using a storage medium such as a flash memory type (hard memory type) or a hard disk type (hard disk type).
- multimedia card micro type multimedia card micro type
- card type memory for example, MicroSD (registered trademark) memory
- RAM Random Access Memory
- ROM Read Only Memory
- the external input / output unit 560 serves as an interface with all external devices connected to the smartphone 500, and is used to connect directly or indirectly to other external devices through communication or the like or a network. is there. Examples of communication with other external devices include universal serial bus (USB), IEEE 1394, and the like. Examples of the network include the Internet, wireless LAN, Bluetooth (Bluetooth (registered trademark)), RFID (Radio Frequency Identification), and infrared communication (Infrared Data Association: IrDA (registered trademark)). Other examples of the network include UWB (Ultra Wideband (registered trademark)) and ZigBee (registered trademark).
- Examples of the external device connected to the smartphone 500 include a memory card connected via a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, and a card socket.
- Other examples of external devices include SIM (Subscriber Examples include an Identity Module Card (UIM) / UIM (User Identity Module Card) card and an external audio / video device connected via an audio / video I / O (Input / Output) terminal.
- an external audio / video device that is wirelessly connected can be used.
- the external input / output unit may transmit data received from such an external device to each component inside the smartphone 500, or may allow data inside the smartphone 500 to be transmitted to the external device. it can.
- the GPS receiving unit 570 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 501, performs positioning calculation processing based on the received plurality of GPS signals, and calculates the latitude of the smartphone 500 Detect the position consisting of longitude and altitude.
- the GPS reception unit 570 can acquire position information from the wireless communication unit 510 or the external input / output unit 560 (for example, a wireless LAN), the GPS reception unit 570 can also detect the position using the position information.
- the motion sensor unit 580 includes a triaxial acceleration sensor, for example, and detects the physical movement of the smartphone 500 in accordance with an instruction from the main control unit 501. By detecting the physical movement of the smartphone 500, the moving direction and acceleration of the smartphone 500 are detected. This detection result is output to the main control unit 501.
- the power supply unit 590 supplies power stored in a battery (not shown) to each unit of the smartphone 500 in accordance with an instruction from the main control unit 501.
- the main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the storage unit 550, and controls each unit of the smartphone 500 in an integrated manner. Further, the main control unit 501 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 510.
- the application processing function is realized by the main control unit 501 operating according to the application software stored in the storage unit 550.
- Application processing functions include, for example, an infrared communication function that controls the external input / output unit 560 to perform data communication with the opposite device, an e-mail function that transmits and receives e-mails, and a web browsing function that browses web pages. .
- the main control unit 501 has an image processing function such as displaying video on the display input unit 520 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
- the image processing function is a function in which the main control unit 501 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 520.
- the main control unit 501 executes display control for the display panel 521 and operation detection control for detecting a user operation through the operation unit 540 and the operation panel 522.
- the main control unit 501 displays an icon for starting application software, a soft key such as a scroll bar, or a window for creating an e-mail.
- a soft key such as a scroll bar
- the scroll bar refers to a soft key for accepting an instruction to move a display portion of an image such as a large image that cannot be accommodated in the display area of the display panel 521.
- the main control unit 501 detects a user operation through the operation unit 540, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 522. Or, by executing the operation detection control, the main control unit 501 accepts a display image scroll request through a scroll bar.
- the main control unit 501 causes the operation position with respect to the operation panel 522 to overlap with the display panel 521 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 21.
- a touch panel control function for controlling the sensitive area of the operation panel 522 and the display position of the soft key is provided.
- the main control unit 501 can also detect a gesture operation on the operation panel 522 and execute a preset function according to the detected gesture operation.
- Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
- the camera unit 541 is a digital camera that captures an image using an image sensor such as a CMOS or a CCD, and has the same function as the image capturing apparatus 100 shown in FIG.
- the camera unit 541 can switch between a manual focus mode and an autofocus mode.
- the photographing lens of the camera unit 541 can be focused by operating a focus icon button or the like displayed on the operation unit 540 or the display input unit 520.
- a live view image obtained by combining the split images is displayed on the display panel 521 so that the in-focus state during manual focus can be confirmed.
- the camera unit 541 converts the image data obtained by imaging into compressed image data such as JPEG (Joint Photographic coding Experts Group) under the control of the main control unit 501.
- the converted image data can be recorded in the storage unit 550 or output through the input / output unit 560 or the wireless communication unit 510.
- the camera unit 541 is mounted on the same surface as the display input unit 520, but the mounting position of the camera unit 541 is not limited to this and may be mounted on the back surface of the display input unit 520.
- a plurality of camera units 541 may be mounted. Note that when a plurality of camera units 541 are mounted, the camera unit 541 used for imaging may be switched and imaged alone, or a plurality of camera units 541 may be used simultaneously for imaging. it can.
- the camera unit 541 can be used for various functions of the smartphone 500.
- an image acquired by the camera unit 541 can be displayed on the display panel 521, or the image of the camera unit 541 can be used as one of operation inputs of the operation panel 522.
- the GPS receiving unit 570 detects the position, the position can also be detected with reference to an image from the camera unit 541.
- the optical axis direction of the camera unit 541 of the smartphone 500 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
- the image from the camera unit 541 can be used in the application software.
- various information can be added to still image or moving image data and recorded in the storage unit 550 or output through the input / output unit 560 or the wireless communication unit 510.
- the “various information” herein include, for example, position information acquired by the GPS receiving unit 570 and image information of the still image or moving image, audio information acquired by the microphone 532 (sound text conversion by the main control unit or the like). May be text information).
- posture information acquired by the motion sensor unit 580 may be used.
- the split image divided in the vertical direction is exemplified.
- the present invention is not limited to this, and an image divided into a plurality of horizontal and diagonal directions may be applied as the split image.
- the split image 66a shown in FIG. 23 is divided into odd and even lines by a plurality of dividing lines 63a parallel to the row direction.
- a line-like (eg, strip-like) phase difference image 66La generated based on the output signal outputted from the first pixel group is displayed on an odd line (even an even line is acceptable).
- a line-shaped (eg, strip-shaped) phase difference image 66Ra generated based on the output signal output from the second pixel group is displayed on even lines.
- the split image 66b shown in FIG. 24 is divided into two by a dividing line 63b (for example, a diagonal line of the split image 66b) having an inclination angle in the row direction.
- the phase difference image 66Lb generated based on the output signal output from the first pixel group is displayed in one area.
- the phase difference image 66Rb generated based on the output signal output from the second pixel group is displayed in the other region.
- the split image 66c shown in FIGS. 25A and 25B is divided by grid-like dividing lines 63c parallel to the row direction and the column direction, respectively.
- the phase difference image 66Lc generated based on the output signal output from the first pixel group is displayed in a checker pattern.
- the phase difference image 66Rc generated based on the output signal output from the second pixel group is displayed in a checker pattern.
- another in-focus confirmation image may be generated from the two phase difference images, and the in-focus confirmation image may be displayed.
- two phase difference images may be superimposed and displayed as a composite image. If the image is out of focus, the image may be displayed as a double image, and the image may be clearly displayed when the image is in focus.
- the imaging element 20 having the first to third pixel groups is illustrated, but the present invention is not limited to this, and only the first pixel group and the second pixel group.
- An image sensor made of A digital camera having this type of image sensor generates a three-dimensional image (3D image) based on the first image output from the first pixel group and the second image output from the second pixel group. 2D images (2D images) can also be generated.
- the generation of the two-dimensional image is realized, for example, by performing an interpolation process between pixels of the same color in the first image and the second image.
- the display control unit 36 may be configured to suppress continuous display as a moving image of a normal image on the display device and to perform control for continuously displaying a split image as a moving image on the display device.
- “suppressing the display of a normal image” refers to not displaying a normal image on a display device, for example.
- split image refers to an image output from a phase difference image group (for example, a first image and a second image output from a first pixel group when a specific imaging device is used). A split image based on the second image output from the pixel group can be exemplified.
- Examples of “when using a specific image sensor” include a case where an image sensor consisting of only a phase difference pixel group (for example, a first pixel group and a second pixel group) is used. In addition to this, a case where an image sensor in which phase difference pixels (for example, a first pixel group and a second pixel group) are arranged at a predetermined ratio with respect to a normal pixel can be exemplified.
- various conditions are conceivable as conditions for displaying the split image while suppressing the display of the normal image.
- the display control unit 36 performs control to display the split image without displaying the normal image on the display device. It may be. Further, for example, when the photographer looks into the hybrid viewfinder, the display control unit 36 may perform control to display the split image without displaying the normal image on the display device. Further, for example, when the release button 211 is pressed halfway, the display control unit 36 may perform control to display a split image without displaying a normal image on the display device.
- the display control unit 36 may perform control to display the split image without displaying the normal image on the display device. Further, for example, when the face detection function for detecting the face of the subject is activated, the display control unit 36 may perform control to display the split image without displaying the normal image on the display device.
- the display control unit 36 suppresses the display of the normal image.
- the present invention is not limited to this.
- the display control unit 36 displays the split image of the full screen over the normal image. You may control.
- the imaging element 20 in which each of the first pixel L and the second pixel R is arranged in units of one pixel is illustrated.
- the imaging element 600 shown in FIG. 26 may be used as an example without being limited thereto.
- the image sensor 600 illustrated in FIG. 26 has a first pixel L (for example, a photodiode into which light for the left eye image is incident) and a second pixel R for each of all the pixels as compared to the image sensor 20.
- the difference is that a pair of photodiodes (for example, photodiodes to which light for the right eye image is incident) is arranged one by one.
- a pair of photodiodes for example, photodiodes to which light for the right eye image is incident
- each pixel has a microlens 602, and the first pixel L and the second pixel R in each pixel are arranged so that light enters through the microlens 602. Yes.
- Examples of pixel signal readout patterns in each pixel include first to fourth readout patterns.
- the first read pattern refers to a pattern in which a pixel signal is read from only the first pixel L.
- the second readout pattern refers to a pattern in which a pixel signal is read from only the second pixel R.
- the third readout pattern is a pattern in which pixel signals are simultaneously read from each of the first pixel L and the second pixel R via separate routes (for example, via individual signal lines provided for each pixel). Point to.
- the fourth readout pattern refers to a pattern in which the pixel signal is read from the first pixel L and the second pixel R as a pixel signal of a normal pixel through one signal line provided for each pixel.
- the pixel signal of the normal pixel is, for example, a pixel signal obtained by adding the pixel signal of the first pixel L and the pixel signal of the second pixel R per pixel (for example, the photo signal of the first pixel L). (A charge obtained by combining the charge of the diode and the charge of the photodiode of the second pixel R).
- one first pixel L and one second pixel R are arranged for each pixel.
- the present invention is not limited to this, and at least one first pixel L and It is sufficient that at least one second pixel R is arranged in one pixel.
- the first pixel L and the second pixel R are arranged in the horizontal direction in one pixel.
- the present invention is not limited to this, and the second pixel L and the second pixel R are not limited thereto.
- the pixels R may be arranged in the vertical direction, and the first pixels L and the second pixels R may be arranged in the oblique direction.
- imaging lens 20 600 imaging device 100 imaging device 100A generation unit 100B display unit 100C detection unit 100D control unit 100E moving unit 100F presentation unit 216 touch panel 302 focus lens
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本発明は、合焦状態にあるか否かを視覚的に認識し易くすることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供する。制御部(100D)は、検知部(100C)により指示操作が検知された場合、部分画像を表示用画像から抽出する。そして、抽出した部分画像を、表示領域における検知部(100C)により検知された指示領域を回避した領域に表示させる。表示用画像とは、第1及び第2の分割画像を隣接させて配置した合焦確認に使用する画像を指す。部分画像とは、第1及び第2の分割画像のうちの指示された指示分割画像の少なくとも一部並びに第1及び第2の分割画像のうちの指示分割画像と所定方向に隣接する隣接分割画像の少なくとも一部を含む画像を指す。
Description
本発明は、画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。
デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものが広く知られている。
マニュアルフォーカスモードを有するデジタルカメラとしては、被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法を採用したものが知られている。また、目視によるコントラストの確認を行う方法を採用したデジタルカメラも知られている。
ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため位相差を表示しながら被写体像を確認する方法がなく、コントラスト検出方式に頼らざるを得なかった。しかし、この場合には、LCD(liquid crystal display:液晶ディスプレイ)等の表示装置の解像度以上のコントラストの表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。
そこで、近年では、マニュアルフォーカスモード時にユーザ(例えば撮影者)が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージをライブビュー画像(スルー画像ともいう)内に表示している。スプリットイメージとは、例えば表示領域が複数に分割された分割画像(例えば上下方向に分割された各画像)であって、ピントのずれに応じて視差発生方向(例えば左右方向)にずれ、ピントが合った状態だと視差発生方向のずれがなくなる分割画像を指す。ユーザは、スプリットイメージ(例えば上下方向に分割された各画像)のずれがなくなるように、マニュアルフォーカスリング(以下、「フォーカスリング」という)を操作してピントを合わせる。
ここで、特許文献1に記載の撮像装置を参照して、スプリットイメージの原理を説明する。特許文献1に記載の撮像装置は、撮像光学系からの光束のうち、瞳分割部によって分割された光束により形成された第1の被写体像及び第2の被写体像をそれぞれ光電変換した第1の画像及び第2の画像を生成する。そして、これらの第1及び第2の画像を用いてスプリットイメージを生成し、かつ、瞳分割部によって分割されない光束により形成された第3の被写体像を光電変換して第3の画像を生成する。そして、第3の画像を表示部に表示し、かつ、第3の画像内に、生成したスプリットイメージを表示する。また、特許文献1に記載の撮像装置は、スプリットイメージのうちの指定された領域に含まれる画像を拡大表示する。
特許文献2には、タッチパネル・ディスプレイに表示されている複数の画像のうちの特定の画像がタッチパネルを介して指示体(例えば指)で指示されることで、指示された特定の画像が拡大表示される技術が開示されている。
特許文献3には、タッチパネル・ディスプレイに表示されている画像がタッチパネルを介して指示体で指示された場合に、タッチパネルに接触している指示体と重なっている画像が指示体の指示領域を回避した領域に拡大表示される技術が開示されている。
しかしながら、スプリットイメージに含まれる何れかの分割画像を、タッチパネルを介して指示体で指示し、指示した分割画像を拡大表示しても、ユーザが視差の程度を把握することは困難である。また、スプリットイメージのうちの指示体の指示領域と重なっている領域に含まれる画像を、指示体の指示領域を回避した領域に拡大表示しても、拡大表示された画像が視差発生領域の画像でなければ、ユーザが視差の程度を把握することは困難である。拡大表示された画像からユーザが視差を把握することが困難であるということは、合焦状態であるか否かを視覚的に認識し難いことを意味する。
本発明は、このような実情を鑑みて提案されたものであり、合焦状態にあるか否かを視覚的に認識し易くすることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
上記目的を達成するために、本発明の第1の態様に係る画像処理装置は、撮影レンズにおける第1及び第2の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第1及び第2の画像信号を出力する第1及び第2の画素群を有する撮像素子から出力された第1及び第2の画像信号に基づく第1及び第2の画像のうちの第1の画像を予め定められた分割方向に分割することにより得た複数の分割画像の一部の第1の分割画像と、第2の画像を分割方向に分割することにより得た複数の分割画像から第1の分割画像に対応する分割領域と隣接する分割領域に対応する第2の分割画像とを分割方向に隣接させて配置した合焦確認に使用する表示用画像を生成する生成部と、表示領域を有し、かつ、表示領域の表面にタッチパネルが設けられた表示部と、タッチパネルに対する指示体の指示領域を検知することにより、表示領域に表示される表示用画像の第1又は第2の分割画像を指示する指示操作を検知する検知部と、生成部により生成された表示用画像を表示領域に表示させ、表示用画像が表示領域に表示された状態で検知部により指示操作が検知された場合、第1及び第2の分割画像のうちの指示操作により指示された指示分割画像の少なくとも一部並びに第1及び第2の分割画像のうちの指示分割画像と予め定められた方向に隣接する隣接分割画像の少なくとも一部を含む部分画像を表示用画像から抽出し、抽出した部分画像を、表示領域における検知部により検知された指示領域とは異なる領域に表示させる制御部と、を含む。これにより、画像処理装置は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。
本発明の第2の態様に係る画像処理装置では、本発明の第1の態様において、制御部が、抽出した部分画像を、部分画像に含まれる指示分割画像と隣接分割画像との視差が拡張された状態で、表示領域における検知部により検知された指示領域とは異なる領域に表示させる。これにより、画像処理装置は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的により一層認識し易くすることができる。
本発明の第3の態様に係る画像処理装置では、本発明の第1の態様又は第2の態様において、制御部が、抽出した部分画像を、表示領域における検知部により検知された指示領域とは異なる領域に拡大して表示させる。これにより、画像処理装置は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的により一層認識し易くすることができる。
本発明の第4の態様に係る画像処理装置では、本発明の第1の態様から第3の態様の何れか1つにおいて、制御部が、抽出した部分画像を、表示領域における検知部により検知された指示領域とは異なる領域に表示させる制御を、表示用画像のうちの指示操作に伴って検知部により検知された指示領域に対応する位置の画像内の明暗差が予め定められた値未満の場合に行わない。これにより、画像処理装置は、抽出した部分画像を、指示領域を回避した領域に表示したとしても合焦状態にあるか否かを視覚的に認識し難い場合に、抽出した部分画像が指示領域を回避した領域に表示されることを抑制することができる。
本発明の第5の態様に係る画像処理装置では、本発明の第1の態様から第4の態様の何れか1つにおいて、指示領域とは異なる領域が、検知部により検知された指示領域が表示用画像における視差発生方向の中央部に含まれる場合、表示用画像における視差発生方向の中央部以外の領域である。これにより、画像処理装置は、タッチパネルにおける表示領域の中央部に対応する領域に接触している指示体が形成する死角によって、指示領域を回避した領域に表示された部分画像が視認し難くなることを抑制することができる。
本発明の第6の態様に係る画像処理装置では、本発明の第5の態様において、表示用画像における視差発生方向の中央部以外の領域が、表示領域における視差発生方向の中央部以外の領域である。これにより、画像処理装置は、指示領域を回避した領域に部分画像が表示されることによって表示用画像が視認し難くなることを抑制することができる。
本発明の第7の態様に係る画像処理装置では、本発明の第1の態様から第6の態様の何れか1つにおいて、指示領域とは異なる領域が、検知部により検知された指示領域が表示用画像における視差発生方向の両端部のうちの一方の端部に含まれる場合、表示領域における視差発生方向の両端部のうちの指示領域から遠い方の端部である。これにより、画像処理装置は、タッチパネルにおける表示領域の両端部のうちの一方の端部に対応する領域に接触している指示体が形成する死角によって、指示領域を回避した領域に表示された部分画像が視認し難くなることを抑制することができる。
本発明の第8の態様に係る画像処理装置では、本発明の第1の態様から第7の態様の何れか1つにおいて、制御部が、抽出した部分画像に含まれる画像を、視差に応じて定められた拡大率、彩度、及び輪郭強調度の少なくとも1つに従って調整する。これにより、画像処理装置は、指示領域を回避した領域に表示された部分画像の視認性を良好にすることができる。
本発明の第9の態様に係る画像処理装置では、本発明の第1の態様から第8の態様の何れか1つにおいて、撮像素子が、撮影レンズを透過した被写体像が瞳分割されずに結像されて第3の画像信号を出力する第3の画素群を更に有し、生成部が、第3の画像信号に基づく撮影画像を更に生成し、制御部が、生成部により表示用画像及び撮影画像が生成された場合、表示部に、撮影画像を表示させ、かつ、撮影画像内に表示用画像を表示させる。これにより、画像処理装置は、第3の画像信号に基づく撮影画像を生成しない場合と比べ、撮影画像の画質を向上させることができる。
本発明の第10の態様に係る撮像装置は、本発明の第1の態様から第9の態様の何れか1つの画像処理装置と、第1及び第2の画素群を有する撮像素子と、撮像素子から出力された画像信号に基づいて生成された画像を記憶する記憶部と、を含む撮像装置。これにより、撮像装置は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。
本発明の第11の態様に係る撮像装置では、本発明の第10の態様において、撮影レンズが、光軸方向に沿って移動可能なフォーカスレンズを有し、フォーカスレンズを光軸方向に移動させる移動部を更に含み、検知部が、指示操作を検知した場合、表示領域に表示用画像が表示された状態で指示領域を分割方向と交差する予め定められた交差方向に移動させる第1移動操作を検知し、制御部が、検知部により第1移動操作が検知された場合に、第1移動操作に応じてフォーカスレンズを光軸方向に移動させる制御を移動部に対して行う。これにより、撮像装置は、フォーカスレンズを合焦位置に容易に移動させることができる。
本発明の第12の態様に係る撮像装置では、本発明の第11の態様において、検知部が、指示操作を検知した場合、表示領域に表示用画像が表示された状態で指示領域を交差方向に直交する方向に対する所定の閾値以上の移動操作を第2移動操作として検知し、制御部が、検知部により第2移動操作が検知された場合、部分画像の抽出位置を維持する制御を行う。これにより、撮像装置は、ユーザが意図しない方向に指示領域がずれることに起因して合焦対象領域以外の領域の画像が部分画像として抽出されることを抑制することができる。
本発明の第13の態様に係る撮像装置では、本発明の第11の態様又は第12の態様において、表示用画像のうちの検知部により検知された指示領域に対応する位置における第1の画像と第2の画像との視差に基づいて、第1移動操作による指示領域の移動方向を案内する案内情報を提示する提示部を更に含む。これにより、撮像装置は、案内情報を表示しない場合と比べ、フォーカスレンズを合焦位置に移動させるのに必要な操作をユーザに容易に認識させることができる。
本発明の第14の態様に係る画像処理方法は、撮影レンズにおける第1及び第2の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第1及び第2の画像信号を出力する第1及び第2の画素群を有する撮像素子から出力された第1及び第2の画像信号に基づく第1及び第2の画像のうちの第1の画像を予め定められた分割方向に分割することにより得た複数の分割画像の一部の第1の分割画像と、第2の画像を分割方向に分割することにより得た複数の分割画像から第1の分割画像に対応する分割領域と隣接する分割領域に対応する第2の分割画像とを前記分割方向に隣接させて配置した合焦確認に使用する表示用画像を生成し、表示領域を有し、かつ、表示領域の表面にタッチパネルが設けられた表示部のタッチパネルに対する指示体の指示領域を検知することにより、表示領域に表示される表示用画像の第1又は第2の分割画像を指示する指示操作を検知し、指示操作を検知した場合、第1及び第2の分割画像のうちの指示操作により指示された指示分割画像の少なくとも一部並びに第1及び第2の分割画像のうちの指示分割画像と予め定められた方向に隣接する隣接分割画像の少なくとも一部を含む部分画像を表示用画像から抽出し、抽出した部分画像を、表示領域における検知した指示領域とは異なる領域に表示させることを含む。従って、画像処理方法によれば、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。
本発明の第15の態様に係る画像処理プログラムは、コンピュータを、本発明の第1の態様から第9の態様の何れか1つの画像処理装置における生成部、検知部及び制御部として機能させるためのものである。従って、画像処理プログラムによれば、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。
本発明によれば、合焦状態にあるか否かを視覚的に認識し易くすることができる、という効果が得られる。
以下、添付図面に従って本発明に係る撮像装置の実施形態の一例について説明する。
[第1実施形態]
図1は、第1実施形態に係る撮像装置100の外観の一例を示す斜視図であり、図2は、図1に示す撮像装置100の背面図である。
図1は、第1実施形態に係る撮像装置100の外観の一例を示す斜視図であり、図2は、図1に示す撮像装置100の背面図である。
撮像装置100は、レンズ交換式カメラである。撮像装置100は、撮像装置本体200と、撮像装置本体200に交換可能に装着される交換レンズ300と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ300は、手動操作により光軸方向に移動可能なフォーカスレンズ302を有する撮影レンズ16(図4参照)を含む。また、撮像装置本体200には、ハイブリッドファインダー(登録商標)220が設けられている。ここで言うハイブリッドファインダー220とは、例えば光学ビューファインダー(以下、「OVF」という)及び電子ビューファインダー(以下、「EVF」という)が選択的に使用されるファインダーを指す。
交換レンズ300は、撮像装置本体200に対して交換可能に装着される。また、交換レンズ300の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング301が設けられている。フォーカスリング301の手動による回転操作に伴ってフォーカスレンズ302は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子20(図3参照)に被写体光が結像される。
撮像装置本体200の前面には、ハイブリッドファインダー220に含まれるOVFのファインダー窓241が設けられている。また、撮像装置本体200の前面には、ファインダー切替えレバー(ファインダー切替え部)214が設けられている。ファインダー切替えレバー214を矢印SW方向に回動させると、OVFで視認可能な光学像とEVFで視認可能な電子像(ライブビュー画像)との間で切り換わるようになっている(後述)。なお、OVFの光軸L2は、交換レンズ300の光軸L1とは異なる光軸である。また、撮像装置本体200の上面には、主としてレリーズボタン211及び撮影モードや再生モード等の設定用のダイヤル212が設けられている。
撮影準備指示部及び撮影指示部としてのレリーズボタン211は、撮影準備指示状態と撮影指示状態との2段階の押圧操作が検出可能に構成されている。撮影準備指示状態とは、例えば待機位置から中間位置(半押し位置)まで押下される状態を指し、撮影指示状態とは、中間位置を超えた最終押下位置(全押し位置)まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
本第1実施形態に係る撮像装置100では、動作モードとして撮影モードと再生モードとがユーザの指示に応じて選択的に設定される。撮影モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン211を半押し状態にすることにより撮影条件の調整が行われ、その後、引き続き全押し状態にすると露光(撮影)が行われる。つまり、レリーズボタン211を半押し状態にすることによりAE(Automatic Exposure)機能が働いて露出状態が設定された後、AF(Auto-Focus)機能が働いて合焦制御され、レリーズボタン211を全押し状態にすると撮影が行われる。
図2に示す撮像装置本体200の背面には、タッチパネル・ディスプレイ213、十字キー222、MENU/OKキー224、BACK/DISPボタン225、及びOVFのファインダー接眼部242が設けられている。
タッチパネル・ディスプレイ213は、液晶ディスプレイ(以下、「第1ディスプレイ」という)215及びタッチパネル216を備えている。
第1ディスプレイ215は、画像及び文字情報等を表示する。第1ディスプレイ215は、撮影モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像(スルー画像)の表示に用いられる。また、第1ディスプレイ215は、静止画撮影の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第1ディスプレイ215は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。
タッチパネル216は、透過型のタッチパネルであり、第1ディスプレイ215の表示領域の表面に重ねられている。タッチパネル216は、指示体(例えば、指又はスタイラスペン)による接触を検知する。タッチパネル216は、検知結果(タッチパネル216に対する指示体による接触の有無)を示す検知結果情報を所定周期(例えば100ミリ秒)で所定の出力先(例えば、後述のCPU12(図4参照))に出力する。検知結果情報は、タッチパネル216が指示体による接触を検知した場合、タッチパネル216上の指示体による接触位置を特定可能な二次元座標(以下、「座標」という)を含み、タッチパネル12が指示体による接触を検知していない場合、座標を含まない。
十字キー222は、1つ又は複数のメニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。MENU/OKキー224は、第1ディスプレイ215の画面上に1つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。BACK/DISPボタン225は、選択項目など所望の対象の消去や指定内容の取消し、あるいは1つ前の操作状態に戻すときなどに使用される。
図3は、本第1実施形態に係る撮像装置100の本発明に係る要部機能の一例を示す機能ブロック図である。
一例として図3に示すように、撮像装置100は、生成部100A、表示部100B、検知部100C、制御部100D、移動部100E、及び提示部100Fを含む。生成部100Aは、合焦確認に使用する表示用画像を生成する。ここで、表示用画像とは、第1の分割画像と第2の分割画像とを予め定められた分割方向(以下、「分割方向」という)に隣接させて配置した画像を指す。第1の分割画像とは、被写体像が瞳分割されて結像される第1及び第2の画素群(後述)を有する撮像素子20(図4参照)から出力された第1及び第2の画像(後述)のうちの第1の画像を分割方向に分割して得た複数の分割画像の一部の分割画像を指す。また、第2の分割画像とは、第2の画像を分割方向に分割して得た複数の分割画像から第1の分割画像に対応する分割領域と隣接する分割領域について抽出した分割画像を指す。
表示部100Bは、画像を表示する表示領域を有する。表示領域の表面にはタッチパネル216が設けられている。なお、本第1実施形態では、図2に示す表示部100Bの一例として、第1ディスプレイ215(図1及び図4参照)及び第2ディスプレイ247(図4参照)を採用している。
検知部100Cは、タッチパネル216に対する指示体の指示領域を検知する。また、検知部100Cは、表示部100Bの表示領域に表示用画像が表示された状態でタッチパネル216に対して行われた第1又は第2の分割画像を指示する指示操作を検知する。
制御部100Dは、生成部100Aにより表示用画像が生成された場合、表示部100Bに対して表示領域に表示用画像を表示させる。また、制御部100Dは、表示領域に表示用画像が表示された状態で検知部100Cにより指示操作が検知された場合、表示用画像から部分画像を抽出する。部分画像とは、指示分割画像の少なくとも一部及び隣接分割画像の少なくとも一部を含む画像を指す。指示分割画像とは、第1及び第2の分割画像のうちの指示操作により指示された分割画像を指す。隣接分割画像とは、第1及び第2の分割画像のうちの指示分割画像と予め定められた方向(例えば、視差発生方向と直交する方向のうちの特定の方向)で隣接する分割画像を指す。制御部100Dは、表示用画像から抽出した部分画像を、部分画像に含まれる指示分割画像と隣接分割画像との視差が拡張された状態で、表示部100Bの表示領域における検知部100Cにより検知された指示領域を回避した領域、すなわち、検知部100Cにより検知された指示領域とは異なる領域に表示させる。
検知部100Cは、指示操作を検知した場合、表示部100Bの表示領域に表示用画像が表示された状態で第1移動操作を検知する。第1移動操作とは、タッチパネル216に対する指示体の指示領域を分割方向と交差する予め定められた交差方向(以下、「交差方向」という)に移動させる操作を指す。ここで、交差方向とは、例えば、視差発生方向を指す。移動部100Eは、フォーカスレンズ302を光軸方向に移動させる。制御部100Dは、検知部100Cにより第1移動操作が検知された場合に、第1移動操作に応じてフォーカスレンズ302を光軸方向に移動させる制御を移動部100Eに対して行う。
検知部100Cは、指示操作を検知した場合、表示部100Bの表示領域に表示用画像が表示された状態で第2移動操作を検知する。第2移動操作とは、タッチパネル216に対する指示体の指示領域を交差方向以外の方向に移動させる操作を指す。制御部100Dは、検知部100Cにより第2移動操作が検知された場合に、部分画像の抽出位置を維持する制御を行う。
提示部100Fは、表示用画像のうちの検知部100Cにより検知された指示領域に対応する位置における第1の画像と第2の画像との視差に基づいて、第1移動操作による指示領域の移動方向を案内する案内情報を提示する。
図4は、第1実施形態に係る撮像装置100のハードウェア構成の一例を示す電気系ブロック図である。
撮像装置100は、撮像装置本体200に備えられたマウント256と、マウント256に対応する交換レンズ300側のマウント346と、を含む。交換レンズ300は、マウント256にマウント346が結合されることにより撮像装置本体200に交換可能に装着される。
交換レンズ300は、図3に示す移動部100Eの一例であるスライド機構303及びモータ304を含む。スライド機構303は、フォーカスリング301の操作が行われることでフォーカスレンズ302を光軸L1に沿って移動させる。スライド機構303には光軸L1に沿ってスライド可能にフォーカスレンズ302が取り付けられている。また、スライド機構303にはモータ304が接続されており、スライド機構303は、モータ304の動力を受けてフォーカスレンズ302を光軸L1に沿ってスライドさせる。
モータ304は、マウント256,346を介して撮像装置本体200に接続されており、撮像装置本体200からの命令に従って駆動が制御される。なお、本第1実施形態では、モータ304の一例として、ステッピングモータを適用している。従って、モータ304は、撮像装置本体200からの命令によりパルス電力に同期して動作する。
撮像装置100は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、CPU(central processing unit:中央処理装置)12によって制御されている。撮像装置100は、操作部14、インタフェース部24、一次記憶部25、二次記憶部26、画像処理部28(図3に示す生成部100Aの一例)、スピーカ35、表示制御部36、接眼検出部37、及び外部インタフェース(I/F)39を含む。
CPU12、操作部14、インタフェース部24、一次記憶部25、二次記憶部26、画像処理部28、スピーカ35、表示制御部36、接眼検出部37、外部I/F39、及びタッチパネル216は、バス40を介して相互に接続されている。
一次記憶部25とは、揮発性のメモリを意味し、例えばRAM(Random Access Memory)を指す。二次記憶部26とは、不揮発性のメモリを意味し、例えばフラッシュメモリやHDD(Hard Disk Drive)を指す。
二次記憶部26は、本発明に係る画像処理プログラムの一例である表示制御プログラム50を記憶している。CPU12は、二次記憶部26から表示制御プログラム50を読み出して一次記憶部25に展開し、表示制御プログラム50が有する各プロセスを実行する。表示制御プログラム50は、検知プロセス50A、表示制御プロセス50B、及び提示プロセス50Cを有する。CPU12は、検知プロセス50Aを実行することで、図3に示す検知部100Cとして動作する。また、CPU12は、表示制御プロセス50Bを実行することで、図3に示す制御部100Dとして動作する。更に、CPU12は、提示プロセス50Cを実行することで、図3に示す提示部100Fとして動作する。
二次記憶部26は、合焦制御プログラム52を記憶している。CPU12は、二次記憶部26から合焦制御プログラム52を読み出して一次記憶部25に展開し、合焦制御プログラム52を実行することで、図3に示す制御部100Dとして動作する。
なお、ここでは表示制御プログラム50及び合焦制御プログラム52(以下、これらを区別して説明する必要がない場合は「プログラム」という)を二次記憶部26から読み出す場合を例示したが、必ずしも最初から二次記憶部26に記憶させておく必要はない。例えば、撮像装置100に接続されて使用されるSSD(Solid State Drive)、ICカード、光磁気ディスク、CD-ROMなどの任意の可搬型の記憶媒体に先ずはプログラムを記憶させておいてもよい。そして、CPU12がこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、通信回線を介して撮像装置100に接続されるコンピュータ又はサーバ装置等の外部電子計算機の記憶部にプログラムを記憶させておいてもよい。この場合、CPU12は外部電子計算機からプログラムを取得して実行する。
なお、本第1実施形態に係る撮像装置100では、オートフォーカスモード時に、CPU12が、撮像によって得られた画像のコントラスト値が最大となるようにモータ304を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、CPU12は、撮像によって得られた画像の明るさを示す物理量であるAE情報を算出する。CPU12は、レリーズボタン211が半押し状態とされたときには、AE情報により示される画像の明るさに応じたシャッタースピード及びF値を導出する。そして、導出したシャッタースピード及びF値となるように関係各部を制御することによって露出状態の設定を行う。
操作部14は、撮像装置100に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部14によって受け付けられた各種指示は操作信号としてCPU12に出力され、CPU12は、操作部14から入力された操作信号に応じた処理を実行する。
操作部14は、レリーズボタン211、撮影モード等を選択するダイヤル212、ファインダー切替えレバー214、十字キー222、MENU/OKキー224及びBACK/DISPボタン225を含む。
撮像装置本体200は、位置検出部23を含む。位置検出部23は、CPU12に接続されている。位置検出部23は、マウント256,346を介してフォーカスリング301に接続されており、フォーカスリング301の回転角度を検出し、検出結果である回転角度を示す回転角度情報をCPU12に出力する。CPU12は、位置検出部23から入力された回転角度情報に応じた処理を実行する。
撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ302を含む撮影レンズ16及びシャッタ18を介してカラーの撮像素子(一例としてCMOSセンサ)20の受光面に結像される。撮像素子20に蓄積された信号電荷は、デバイス制御部22から加えられる読出し信号によって信号電荷(電圧)に応じたデジタル信号として順次読み出される。撮像素子20は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、読出し信号のタイミングによって各フォトセンサの電荷蓄積時間(シャッタスピード)を制御する。なお、本第1実施形態に係る撮像素子20は、CMOS型のイメージセンサであるが、これに限らず、CCDイメージセンサでもよい。
撮像素子20は、一例として図5に示すカラーフィルタ21を備えている。カラーフィルタ21は、輝度信号を得るために最も寄与するG(緑)に対応するGフィルタG、R(赤)に対応するRフィルタR及びB(青)に対応するBフィルタを含む。図5に示す例では、撮像素子20の画素数の一例として“4896×3265”画素を採用しており、これらの画素に対してGフィルタ、Rフィルタ及びBフィルタが行方向(水平方向)及び列方向(垂直方向)の各々に所定の周期性で配置されている。そのため、撮像装置100は、R,G,B信号の同時化(補間)処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、RGB3色のカラーフィルタからなる撮像素子の場合、同時化処理とは、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理を意味する。
撮像素子20は、第1の画素L、第2の画素R及び通常画素N(図6参照)を含む。撮像装置100は、位相差AF機能を働かせることにより、第1の画素Lの画素からの信号出力値(以下、画素値)と第2の画素Rの画素値とに基づいて位相のずれ量を検出する。そして、検出した位相のずれ量に基づいて撮影レンズの焦点位置を調整する。
一例として図6に示すように、撮像素子20は、第1の画素行150、第2の画素行152及び第3の画素行154を含む。第1の画素行150は、同一行内に第1の画素組を含み、第1の画素組は、行方向に複数の通常画素N(図6に示す例では、4つの通常画素N)を介在させて周期的に配置されている。第1の画素組とは、行方向に第1の並び方(図中正面視左側に第1の画素Lが位置し、図中正面視右側に第2の画素Rが位置する並び方)で隣接する一対の第1の画素L及び第2の画素Rを指す。
第2の画素行152は、同一行内に第2の画素組を含み、第2の画素組は、行方向に複数の通常画素N(図6に示す例では、4つの通常画素N)を介在させて周期的に配置されている。第2の画素組とは、行方向に第2の並び方(第1の並び方と逆の並び方)で隣接する一対の第1の画素L及び第2の画素Rを指す。第3の画素行154は、同一行内に複数の通常画素Nが隣接して配置されている。
第1の画素行150及び第2の画素行152は、列方向に複数行の第3の画素行154(本第1実施形態では、列方向に所定周期で行数が異なる第3の画素行154)を介在させて交互に配置されている。
第1の画素Lは、一例として図7に示すように、遮光部材20Aによって受光面における行方向の左半分(受光面から被写体を臨む場合の左側(換言すると、被写体から受光面を臨む場合の右側))が遮光された画素である。第2の画素Rは、一例として図7に示すように、遮光部材20Bによって受光面における行方向の右半分(受光面から被写体を臨む場合の右側(換言すると、被写体から受光面を臨む場合の左側))が遮光された画素である。なお、以下では、第1の画素L及び第2の画素Rを区別して説明する必要がない場合は「位相差画素」と称する。
撮影レンズ16の射出瞳を通過する光束は、左領域通過光及び右領域通過光に大別される。左領域通過光とは、撮影レンズ16の射出瞳を通過する光束のうちの左半分の光束を指し、右領域通過光とは、撮影レンズ16の射出瞳を通過する光束のうちの右半分の光束を指す。撮影レンズ16の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ19及び遮光部材20A,20Bにより左右に分割され、第1の画素Lが左領域通過光を受光し、第2の画素Rが右領域通過光を受光する。この結果、左領域通過光に対応する被写体像及び右領域通過光に対応する被写体像は、視差が異なる視差画像(後述する左眼画像及び右眼画像)として取得される。なお、以下では、遮光部材20A,20Bを区別して説明する必要がない場合は符号を付さずに「遮光部材」と称する。
撮像素子20は、第1の画素群、第2の画素群及び第3の画素群に分類される。第1の画素群とは、一例として図6に示すように、行列状に配置された複数の第1の画素Lを指す。第2の画素群とは、一例として図6に示すように、行列状に配置された複数の第2の画素Rを指す。第3の画素群とは、一例として図6に示す複数の通常画素Nを指す。ここで、通常画素Nとは、位相差画素以外の画素(例えば遮光部材20A,20Bが設けられていない画素)を指す。なお、以下では、第1の画素群から出力されるRAW画像を「第1の画像」と称し、第2の画素群から出力されるRAW画像を「第2の画像」と称し、第3の画素群から出力されるRAW画像を「第3の画像」と称する。また、以下では、第1~第3の画像を区別して説明する必要がない場合、「RAW画像」と称する。
図4に戻って、撮像素子20は、第1の画素群から第1の画像(各第1の画素Lの画素値を示すデジタル信号)を出力し、第2の画素群から第2の画像(各第2の画素Rの画素値を示すデジタル信号)を出力する。また、撮像素子20は、第3の画素群から第3の画像(各通常画素の画素値を示すデジタル信号)を出力する。なお、第3の画素群から出力される第3の画像は有彩色画像であり、例えば、通常画素Nの配列と同じカラー配列のカラー画像である。撮像素子20から出力された第1の画像、第2の画像、及び第3の画像は、インタフェース部24を介して一次記憶部25のRAW画像記憶領域(図示省略)に一時記憶(上書き保存)される。
画像処理部28は、一次記憶部25に記憶されている第1~第3の画像に対して各種の画像処理を施す。画像処理部28は、画像処理に係る複数の機能の回路を1つにまとめた集積回路であるASIC(Application Specific Integrated Circuit)により実現される。但し、ハードウェア構成はこれに限定されるものではなく、例えばプログラマブルロジックデバイスであってもよいし、CPU、ROM及びRAMを含むコンピュータなどの他のハードウェア構成であってもよい。
ハイブリッドファインダー220は、電子像を表示する液晶ディスプレイ(以下、「第2ディスプレイ」という)247を有する。
表示制御部36は、第1ディスプレイ215及び第2ディスプレイ247に接続されており、第1ディスプレイ215及び第2ディスプレイ247を選択的に制御することで第1ディスプレイ215及び第2ディスプレイ247に対して画像を選択的に表示させる。なお、以下では、第1ディスプレイ215及び第2ディスプレイ247を区別して説明する必要がない場合は「表示装置」と称する。
なお、本第1実施形態に係る撮像装置100は、ダイヤル212(フォーカスモード切替え部)によりマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。何れかのフォーカスモードが選択されると、表示制御部36は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。また、ダイヤル212によりオートフォーカスモードが選択されると、CPU12は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第1の画素群から出力された第1の画像と第2の画素群から出力された第2の画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいてフォーカスレンズ302のデフォーカス量をゼロにするように、デバイス制御部22からマウント256,346を介してモータ304を制御し、フォーカスレンズ302を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば第1の画像及び第2の画像の位相ずれ量を指す。
接眼検出部37は、ユーザ(例えば撮影者)がファインダー接眼部242を覗き込んだことを検出し、検出結果をCPU12に出力する。従って、CPU12は、接眼検出部37での検出結果に基づいてファインダー接眼部242が使用されているか否かを把握することができる。
外部I/F39は、LAN(Local Area Network)やインターネットなどの通信網に接続され、通信網を介して、外部装置(例えばプリンタ)とCPU12との間の各種情報の送受信を司る。従って、撮像装置100は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置100は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。
図8は、第1実施形態に係る撮像装置100の要部機能の一例を示す機能ブロック図である。なお、図4に示すブロック図と共通する部分には同一の符号が付されている。
通常処理部30及びスプリットイメージ処理部32は、それぞれWBゲイン部、ガンマ補正部及び同時化処理部を有し(図示省略)、一次記憶部25に一時記憶された元のデジタル信号(RAW画像)に対して各処理部で順次信号処理を行う。すなわち、WBゲイン部は、R,G,B信号のゲインを調整することによりホワイトバランス(WB)を実行する。ガンマ補正部は、WBゲイン部でWBが実行された各R,G,B信号をガンマ補正する。同時化処理部は、撮像素子20のカラーフィルタの配列に対応した色補間処理を行い、同時化したR,G,B信号を生成する。なお、通常処理部30及びスプリットイメージ処理部32は、撮像素子20により1画面分のRAW画像が取得される毎に、そのRAW画像に対して並列に画像処理を行う。
通常処理部30は、インタフェース部24からR,G,BのRAW画像が入力され、第3の画素群のR,G,B画素を、第1の画素群及び第2の画素群のうちの同色の周辺画素(例えば隣接するG画素)により補間することで、有彩色の通常画像を生成する。
一方、スプリットイメージ処理部32は、一次記憶部25に一旦記憶されたRAW画像から第1の画素群及び第2の画素群のG信号(第1及び第2の画像)を抽出し、第1の画素群及び第2の画素群のG信号に基づいて無彩色のスプリットイメージを生成する。RAW画像から抽出される第1の画素群及び第2の画素群の各々に相当する画素群は、上述したようにGフィルタの画素による画素群である。従って、スプリットイメージ処理部32は、第1の画素群及び第2の画素群の各々に相当する画素群のG信号に基づいて、無彩色の左の視差画像及び無彩色の右の視差画像を生成することができる。なお、以下では、説明の便宜上、上記の「無彩色の左の視差画像」を「左眼画像」と称し、上記の「無彩色の右の視差画像」を「右眼画像」と称する。
スプリットイメージは、一例として図9に示すように、表示用左眼画像と表示用右眼画像とを所定方向(ここでは一例として視差発生方向と直交する方向)に隣接させて配置した画像である。表示用左眼画像とは、左眼画像を所定方向に4分割して得た4つの分割画像のうちの一部の分割画像(図9に示す例では、正面視上から1番目及び3番目の分割画像)を指す。表示用右眼画像とは、右眼画像を所定方向に4分割して得た4つの分割画像から表示用左眼画像に対応する分割領域と隣接する分割領域について抽出した分割画像(図9に示す例では、正面視上から2番目及び4番目の分割画像)を指す。
一例として図10に示すように、スプリットイメージは、表示装置の画面中央部の矩形枠内に表示され、スプリットイメージの外周領域に通常画像が表示される。図10に示す例では、表示用右眼画像と表示用左眼画像とが所定方向に交互に2つずつ配置されたスプリットイメージが示されている。スプリットイメージに含まれる表示用左眼画像及び表示用右眼画像は、合焦状態に応じて視差発生方向にずれる。また、図10に示す例では、人物の周辺領域(例えば、木)に対してピントが合っていて人物に対してピントがあっていない状態が示されている。なお、以下では、説明の便宜上、表示用左眼画像及び表示用右眼画像を区別して説明する必要がない場合、「表示用視差画像」と称する。
なお、本第1実施形態では、通常画像の一部の画像に代えて、スプリットイメージを嵌め込むことにより通常画像にスプリットイメージを合成するようにしているが、これに限らず、例えば、通常画像の上にスプリットイメージを重畳させる合成方法であってもよい。また、スプリットイメージを重畳する際に、スプリットイメージが重畳される通常画像の一部の画像とスプリットイメージとの透過率を適宜調整して重畳させる合成方法であってもよい。これにより、連続的に撮影している被写体像を示すライブビュー画像が表示装置の画面上に表示されるが、表示されるライブビュー画像は、通常画像の表示領域内にスプリットイメージが表示された画像となる。
一例として図8に示すように、ハイブリッドファインダー220は、OVF240及びEVF248を含む。OVF240は、対物レンズ244と接眼レンズ246とを有する逆ガリレオ式ファインダーであり、EVF248は、第2ディスプレイ247、プリズム245及び接眼レンズ246を有する。
また、対物レンズ244の前方には、液晶シャッタ243が配設されており、液晶シャッタ243は、EVF248を使用する際に、対物レンズ244に光学像が入射しないように遮光する。
プリズム245は、第2ディスプレイ247に表示される電子像又は各種の情報を反射させて接眼レンズ246に導き、かつ、光学像と第2ディスプレイ247に表示される情報(電子像、各種の情報)とを合成する。
ここで、ファインダー切替えレバー214を図1に示す矢印SW方向に回動させると、回動させる毎にOVF240により光学像を視認することができるOVFモードと、EVF248により電子像を視認することができるEVFモードとが交互に切り替えられる。
表示制御部36は、OVFモードの場合、液晶シャッタ243が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第2ディスプレイ247には、スプリットイメージのみを表示させる。これにより、光学像の一部にスプリットイメージが重畳されたファインダー像を表示させることができる。
また、表示制御部36は、EVFモードの場合、液晶シャッタ243が遮光状態になるように制御し、接眼部から第2ディスプレイ247に表示される電子像のみが視認できるようにする。なお、第2ディスプレイ247には、第1ディスプレイ215に出力されるスプリットイメージが合成された画像データと同等の画像データが入力される。これにより、第2ディスプレイ247は、第1ディスプレイ215と同様に通常画像の一部にスプリットイメージが合成された電子像を表示することができる。
次に、本第1実施形態に係る撮像装置100の作用について説明する。先ず、マニュアルフォーカスモード時に画像処理部28によって行われる画像生成処理について、図11を参照して説明する。なお、以下では、画像処理部28が画像生成処理を行う場合を例示するが、本発明はこれに限定されるものではなく、例えばCPU12が画像生成処理プログラムを実行することにより撮像装置100で画像生成処理が行われるようにしてもよい。
図11に示す画像生成処理では、先ず、ステップ400で、画像処理部28は、一次記憶部25のRAW画像記憶領域から第1~第3の画像を取得し、その後、ステップ402へ移行する。
ステップ402で、画像処理部28は、ステップ400で取得した第1及び第2の画像に基づく左眼画像及び右眼画像を生成し、生成した左眼画像及び右眼画像を一次記憶部25の視差画像記憶領域(図示省略)に記憶(上書き保存)する。なお、本第1実施形態では、左眼画像は、第1の画像における画素毎に対して所定処理が施された(例えば、ゲインが調整された)画像を指し、右眼画像は、第2の画像における画素毎に対して所定処理が施された第2の画像を指す。従って、左眼画像に含まれる全画素の位置(座標)は第1の画像に含まれる全画素の位置と同一であり、右眼画像に含まれる全画素の位置は第2の画像に含まれる全画素の位置と同一である。
次のステップ404で、画像処理部28は、ステップ400で取得した第3の画像に基づいて通常画像(本発明の撮影画像の一例)を生成し、ステップ402で生成した左眼画像及び右眼画像に基づいてスプリットイメージを生成する。そして、生成した通常画像及びスプリットイメージを表示制御部36に出力し、その後、ステップ406に移行する。表示制御部36は、通常画像及びスプリットイメージが入力されると、表示装置に対して通常画像を動画像として連続して表示させ、且つ、通常画像の表示領域内にスプリットイメージを動画像として連続して表示させる制御を行う。これに応じて、表示装置は、一例として図10に示すように、ライブビュー画像を表示する。
ステップ406で、画像処理部28は、ステップ404で生成したスプリットイメージを一次記憶部25のスプリットイメージ記憶領域(図示省略)に記憶(上書き保存)し、その後、本画像生成処理を終了する。
次に、タッチパネル216から検知結果情報が入力された場合にCPU12が表示制御プログラム50を実行することで撮像装置100によって行われる表示制御処理について、図12を参照して説明する。なお、表示制御処理の説明に供する図13~図18に示す例では、説明の便宜上、ライブビュー画像として柱画像80及び背景画像82が第1ディスプレイ215に表示された状態について説明する。柱画像80とは、背景色とは異なる色(例えば、緑色)の主要被写体である縦長柱を撮像装置100により正面から撮影して得た画像を指し、背景画像82とは、縦長柱の背景(例えば、白色の背景)を示す画像を指す。
先ず、ステップ410で、検知部100Cは、タッチパネル216から入力された検知結果情報に基づいて、タッチパネル216に指示体が接触しているか否かを判定する。ステップ410において、タッチパネル216に指示体が接触している場合は、判定が肯定されて、ステップ412へ移行する。ステップ410において、タッチパネル216に指示体が接触していない場合は、判定が否定されてステップ436へ移行する。
ステップ412で、検知部100Cは、タッチパネル216に対して指示操作が行われたことを示す指示操作フラグがオフか否かを判定する。ステップ412において、指示操作フラグがオフの場合は、判定が肯定されて、ステップ414へ移行する。ステップ412において、指示操作フラグがオンの場合は、判定が否定されて、ステップ420へ移行する。
ここで、指示操作とは、一例として図13に示すように、表示領域215Aにスプリットイメージが表示された状態で指示対象領域216Aに指示体が接触することで、表示用右眼画像又は表示用左眼画像を指示分割画像として指示する操作を指す。表示領域215Aとは、第1ディスプレイ215の表示領域のうちのスプリットイメージが表示される領域を指す。指示対象領域216Aとは、タッチパネル216の被接触対象領域(例えば、タッチパネル216における感度を有する面)のうちの表示領域215Aに対応する領域を指す。図13に示す例では、4つの表示用視差画像が視差発生方向と直交する方向に隣接して配置されたスプリットイメージに含まれる図中正面視上下の表示用左眼画像のうち、下の表示用左眼画像が指示操作によって指示分割画像として指示された状態が示されている。一例として図13に示すように、指示体の指示領域62が複数の表示用視差画像(図13に示す例では、表示用左眼画像及び表示用右眼画像の双方)に跨っている場合、中心点64が属する表示用視差画像が指示分割画像として指示される。また、中心点64が表示用視差画像間の境界線上に存在する場合、境界線よりも図13の正面視下側の表示用分割画像が指示分割画像として指示される。なお、中心点64とは、指示領域62に外接する矩形枠68の中心点を指す。
なお、ステップ412において判定が否定される場合とは、例えば、指示操作に継続して(指示操作が行われてからタッチパネル216に対して指示体が接触していない期間を介さずに)タッチパネル216に対して何らかの操作が行われている場合を意味する。ここで言う「何らかの操作」の一例としては、第1移動操作又は第2移動操作が例示できる。第1移動操作とは、一例として図14に示すように、指示領域62を視差発生方向(図14に示す例では、矢印A方向又は矢印B方向)に移動させる操作を指す。第2移動操作とは、指示領域62を視差発生方向以外の方向(図14に示す例では、矢印C方向又は矢印D方向)に移動させる操作を指す。
ステップ414で、検知部100Cは、タッチパネル216から入力された検知結果情報に基づいて、タッチパネル216に対して指示操作が行われたか否かを判定する。ステップ414において、タッチパネル216に対して指示操作が行われた場合は、判定が肯定されて、ステップ416へ移行する。ステップ414において、タッチパネル216に対して指示操作が行われていない場合は、判定が否定されて、表示制御処理を終了する。
なお、ステップ414において判定が否定される場合とは、例えば、タッチパネル216の被接触対象領域における図14に示す指示対象領域216A以外の領域(例えば、通常画像の表示領域に対応する領域)に指示体が接触した場合を指す。
ステップ416で、検知部100Cは、指示操作フラグをオンにし、その後、ステップ418へ移行する。
ステップ418で、制御部100Dは、指示座標を一次記憶部25の指示座標記憶領域(図示省略)に記憶(上書き保存)し、その後、ステップ420へ移行する。ここで、指示座標とは、中心点64(図13参照)の座標を指す。
ステップ420で、制御部100Dは、一次記憶部25の視差画像記憶領域に記憶されている左眼画像及び右眼画像から、一対の視差算出用画像を取得し、その後、ステップ422へ移行する。ここで、一対の視差算出用画像とは、一例として図15Aに示す矩形左眼画像66A、及び一例として図15Bに示す矩形右眼画像66Bを指す。矩形左眼画像66A及び矩形右眼画像66Bは何れも矩形枠68(一例として図15A及び図15Bに示す破線矩形枠)によって切り出された画像である。すなわち、矩形左眼画像66Aとは、一例として図15Aに示すように、左眼画像における矩形枠68内の全領域の画像を指し、矩形右眼画像66Bとは、一例として図15Bに示すように、右眼画像における矩形枠68内の全領域の画像を指す。
ステップ422で、制御部100Dは、画像間視差Δxを算出し、その後、ステップ424へ移行する。ここで、画像間視差Δxとは、ステップ420で取得した一対の視差算出用画像の視差を指す。
ステップ424で、制御部100Dは、一次記憶部25のスプリットイメージ記憶領域に記憶されているスプリットイメージから、一例として図13に示す矩形画像70を取得し、その後、ステップ426へ移行する。ここで、矩形画像70とは、一例として図13に示すように、表示用視差画像から矩形枠68によって切り出された画像を指す。
ステップ426で、制御部100Dは、ステップ424で取得した矩形画像70の明暗差(ここでは一例として矩形画像70に含まれる全画素における画素値の標準偏差)を算出し、その後、ステップ428へ移行する。
ステップ428で、制御部100Dは、ステップ426で算出した明暗差が閾値以上か否かを判定する。ステップ428において、ステップ426で算出した明暗差が閾値以上の場合は、判定が肯定されて、ステップ430へ移行する。ステップ428において、ステップ426で算出した明暗差が閾値未満の場合は、判定が否定されて、表示制御処理を終了する。明暗差が閾値未満の場合とは、例えば、図16に示すように、柱画像80及び背景画像82が表示された状態で、指示対象領域216Aにおける背景画像82に対応する領域に指示領域62が存在する場合を指す。
ステップ430で、制御部100Dは、一次記憶部25の指示座標記憶領域に記憶されている指示座標に基づいて、一次記憶部25のスプリットイメージ記憶領域に記憶されているスプリットイメージから一例として図17及び図18に示す部分画像72を特定する。そして、特定した部分画像をスプリットイメージから抽出し、その後、ステップ432へ移行する。
部分画像72とは、一例として図17及び図18に示すように、矩形枠74(図17及び図18に示す破線矩形枠)内の全領域の画像を指す。矩形枠74は、点76を中心とした矩形枠である。矩形枠74の一辺の長さは、表示用視差画像の短辺の長さ(表示用視差画像における視差発生方向と直交する方向の一辺の長さ)の2倍である。点76は、中心点64から予め定められた方向に隣接する境界線に下ろした垂線の足である。ここで、境界線とは、表示用視差画像間の境界線を指す。予め定められた方向とは、一例として図17に示すように、図中正面視上下方向に配置された4つの表示用視差画像のうち図中正面視最上段の表示用右眼画像以外の表示用視差画像が指示分割画像として指示された場合、図中正面視上方向(矢印E方向)を指す。また、予め定められた方向とは、一例として図18に示すように、4つの表示用視差画像のうち図中正面視最上段の表示用視差画像が指示分割画像として指示された場合、図中正面視下方向(矢印F方向)を指す。従って、部分画像72とは、矩形枠74内の全領域に含まれる隣接した状態(境界線を介して接触した状態)の表示用右眼画像の一部及び表示用左眼画像の一部を意味する。なお、図17及び図18に示す例では、中心点64が境界線上にない場合が例示されているが、中心点64が境界線上に存在する場合、矩形枠74に代えて、中心点64を中心とした矩形枠(矩形枠74と同じ大きさの矩形枠)により部分画像72を特定すればよい。
ステップ432で、制御部100Dは、一例として図17に示すように、ステップ430で抽出した部分画像72の視差が拡張された視差拡張画像75を、指示領域62を回避した特定領域76に表示(例えば、重畳表示)させ、その後、ステップ434へ移行する。
一例として図17に示すように、視差拡張画像75は、矩形状のウィンドウ(矩形枠74と同一の大きさのウィンドウ)内に表示され、視差拡張指示画像75A及び視差拡張隣接画像75Bを有する。視差拡張指示画像75Aは、部分画像72に含まれる指示分割画像を視差発生方向(部分画像72に含まれる隣接分割画像との視差が拡張される方向)へ移動させた画像である。すなわち、視差拡張指示画像75Aは、部分画像72に含まれる指示分割画像(図17に示す例では、表示用左眼画像)を図中正面視左方向へkΔx(ステップ422で算出した画像間視差Δxをk倍した値)だけ移動させた画像である。視差拡張隣接画像75Bは、部分画像72に含まれる隣接分割画像を視差発生方向(部分画像72に含まれる指示分割画像との視差が拡張される方向)へ移動させた画像である。すなわち、視差拡張隣接画像75Bは、部分画像72に含まれる隣接分割画像(指示分割画像である表示用左眼画像に隣接する表示用右眼画像)を図中正面視右方向へkΔxだけ移動させた画像である。
特定領域76とは、表示領域215Aにおける視差発生方向の中央部78(図17参照)に中心点64が含まれる場合、ディスプレイ両端部79のうちの一方の端部を指す。ディスプレイ両端部79とは、第1ディスプレイ215の表示領域における視差発生方向の両端部(視差発生方向における表示領域215Aの両側の領域)を指す。また、特定領域76とは、スプリットイメージ両端部81のうちの一方の端部に中心点64が含まれる場合、ディスプレイ両端部79のうちの中心点64から遠い方の端部を指す。スプリットイメージ両端部81とは、表示領域215Aにおける視差発生方向の両端部(視差発生方向における中央部78の両側の領域)を指す。なお、図17に示す例では、表示領域215Aにおける視差発生方向の中央部78よりも図中正面視左側の領域に中心点64が属しているので、表示領域215Aよりも図中正面視右側の通常画像内に、視差拡張画像75が表示されている。
また、図17に示す例では、視差拡張画像75に含まれる画像の輪郭(例えば、視差拡張指示画像75A及び視差拡張隣接画像75Bにおける所定値以上の高周波成分の領域)が画像間視差Δxに応じた強調度で強調表示されている。ここで、強調表示とは、例えば、輪郭線を所定値以上の濃度で表示することを指す。視差拡張画像75に含まれる画像の輪郭とは、例えば、視差拡張指示画像75Aに含まれる柱画像80の輪郭及び視差拡張隣接画像75Bに含まれる柱画像80の輪郭を指す。画像間視差Δxに応じた強調度とは、例えば、画像間視差Δxが小さいほど大きくなる強調度(例えば、輪郭線の濃度)を指す。なお、視差拡張画像75に含まれる画像の調整は、輪郭の強調表示に限定されるものではなく、視差拡張画像75を画像間視差Δxに応じた拡大率(例えば、画像間視差Δxが小さいほど大きくなる拡大率)で拡大させてもよい。また、視差拡張画像75の彩度を画像間視差Δxに応じた彩度(例えば、画像間視差Δxが小さいほど高くなる彩度)に調整してもよい。また、視差拡張画像75に含まれる画像の輪郭の強調表示、視差拡張画像75の拡大表示、及び視差拡張画像75の彩度の調整の少なくとも2つの画像調整を組み合わせてもよい。
ステップ434で、提示部100Fは、ステップ422で算出した画像間視差に応じた案内情報を視差拡張画像75に隣接させて表示領域215Aに表示させ、その後、表示制御処理を終了する。
ここで、案内情報とは、非合焦状態から脱するために(合焦状態にするために)第1移動操作により指示領域62を移動させる方向を案内する情報を意味し、例えば、図19Aに示す矢印83を指す。矢印83は、第1移動操作により指示領域62を移動させる方向として推奨する方向を指し示している。矢印83が指し示す方向に第1移動操作が行われると、後述の合焦制御処理により非合焦状態から合焦状態へ遷移し、これに伴って、スプリットイメージが一例として図19Aに示す表示態様から一例として図19Bに示す表示態様へ変化する。図19Aに示す例では、指示対象領域216Aのうちの表示用左眼画像に対応する領域に指示体84が接触しているので(表示用左眼画像が指示分割画像として指示されているので)、矢印83は視差発生方向とは逆方向である図中正面視右方向を指し示している。逆に、指示対象領域216Aのうちの表示用右眼画像に対応する領域に指示体84が接触している場合は、矢印83が指し示す方向と逆方向を指し示す矢印(図示省略)が案内情報として表示される。
ステップ436で、検知部100Cは、指示操作フラグがオンか否かを判定する。ステップ436において、指示操作フラグがオンの場合は、判定が肯定されて、ステップ438へ移行する。ステップ436において、指示操作フラグがオフの場合は、判定が否定されて、表示制御処理を終了する。
ステップ438で、検知部100Cは、指示操作フラグをオフにし、その後、表示制御処理を終了する。
次に、タッチパネル216から検知結果情報が入力された場合にCPU12が合焦制御プログラム52を実行することで撮像装置100によって行われる合焦制御処理について、図20を参照して説明する。
先ず、ステップ450で、制御部100Dは、指示操作フラグがオンか否かを判定する。ステップ450において、指示操作フラグがオンの場合は、判定が肯定されて、ステップ452へ移行する。ステップ450において、指示操作フラグがオフの場合は、判定が否定されて、合焦制御処理を終了する。
ステップ452で、制御部100Dは、タッチパネル216から入力された検知結果情報に基づいて、タッチパネル216に対して第1移動操作が行われたか否かを判定する。ステップ452において、タッチパネル216に対して第1移動操作が行われた場合は、判定が肯定されて、ステップ454へ移行する。ステップ452において、タッチパネル216に対して第1移動操作が行われていない場合は、判定が否定されて、ステップ456へ移行する。
ステップ454で、制御部100Dは、第1移動操作に応じて合焦制御を行い、その後、ステップ456へ移行する。ここで、合焦制御とは、中心点64が一例として図14に示す矢印A又はB方向へ移動することで、フォーカスレンズ302を、光軸方向における中心点64の移動方向に対応する方向へ、中心点64の移動量に対応するレンズ移動量で移動させる制御を指す。
ステップ456で、制御部100Dは、指示操作フラグがオフか否かを判定する。ステップ456において、指示操作フラグがオンの場合は、判定が否定されて、ステップ452へ移行する。ステップ456において、指示操作フラグがオフの場合は、判定が肯定されて、合焦制御処理を終了する。
以上説明したように、撮像装置100では、スプリットイメージが表示領域215Aに表示された状態で指示操作が検知された場合、指示分割画像及び隣接分割画像を含む部分画像72(図17参照)がスプリットイメージから抽出される。そして、抽出された部分画像72の視差が拡張された画像である視差拡張画像75(図17参照)が特定領域76に表示される。従って、撮像装置100は、視差拡張画像75が特定領域76に表示されない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。
また、撮像装置100では、スプリットイメージが表示された状態で指示操作が検知された場合に視差拡張画像75を表示させる制御が、指示操作に伴って検知された指示領域62に対応する位置の矩形画像70内の明暗差が閾値未満の場合に行われない。従って、撮像装置100は、視差拡張画像75を特定領域76に表示したとしても合焦状態にあるか否かを視覚的に認識し難い場合に、視差拡張画像75が特定領域76に表示されることを抑制することができる。
また、撮像装置100では、中心点64(図17参照)が表示領域215Aの中央部78に含まれる場合、ディスプレイ両端部79(図17参照)のうちの一方の端部に視差拡張画像75が表示される。従って、撮像装置100は、タッチパネル216における表示領域215Aの中央部78に対応する領域に接触している指示体が形成する死角によって視差拡張画像75が視認し難くなることを抑制することができる。
また、撮像装置100では、中心点64が表示領域215Aにおける視差発生方向の両端部のうちの一端部に含まれる場合、ディスプレイ両端部79のうちの中心点64から遠い方の端部である特定領域76に視差拡張画像75が表示される。従って、撮像装置100は、タッチパネル216における表示領域215Aの両端部のうちの一方の端部に対応する領域に接触している指示体が形成する死角によって視差拡張画像75が視認し難くなることを抑制することができる。しかも、ディスプレイ両端部79は表示領域215A以外の領域であるので、視差拡張画像75が表示されることによってスプリットイメージが視認し難くなることを抑制することができる。
また、撮像装置100では、視差拡張画像75が、画像間視差Δxに応じて定められた拡大率、彩度、及び輪郭強調度の少なくとも1つに従って調整される。従って、撮像装置100は、視差拡張画像75の視認性を良好にすることができる。
また、撮像装置100では、第1移動操作が検知された場合に、第1移動操作に応じてフォーカスレンズ302を光軸方向に移動させる制御が行われる。従って、撮像装置100は、本構成を有しない場合と比べ、フォーカスレンズ302を合焦位置に容易に移動させることができる。
また、撮像装置100では、第2移動操作が検知された場合(図12のステップ412で否定判定された場合)、部分画像72の抽出位置が維持される。従って、撮像装置100は、ユーザが意図しない方向に指示領域62がずれることに起因して合焦対象領域以外の領域の画像が部分画像72として抽出されることを抑制することができる。
また、撮像装置100では、画像間視差Δxに基づいて、第1移動操作による指示領域62の移動方向を案内する案内情報として矢印83(図19A参照)が表示される。従って、撮像装置100は、案内情報を表示しない場合と比べ、フォーカスレンズ302を合焦位置に移動させるのに必要な操作をユーザに容易に認識させることができる。
なお、上記第1実施形態では、指示分割画像の一部と隣接分割画像の一部とを部分画像72としたが、これに限らず、指示分割画像の全部と隣接分割画像の全部とを部分画像としてもよい。
また、上記第1実施形態では、矢印83を第1ディスプレイ215に表示させる場合を例示したが、これに限らず、例えば、矢印83が指し示す方向を示す音声をスピーカ35に出力させてもよい。また、矢印83を第1ディスプレイ215に表示させずにスピーカ35から出力される音声のみで第1移動操作の操作方向を案内してもよい。
また、上記第1実施形態では、4つの表示用視差画像が隣接して配置されたスプリットイメージを例示したが、これに限らず、1つの表示用左眼画像と1つの表示用右眼画像とが隣接して配置されたスプリットイメージであってもよい。また、1つの表示用右眼画像と2つの表示用左眼画像とが互い違いに隣接して配置されたスプリットイメージであってもよい。このように、スプリットイメージは、表示用左眼画像と表示用右眼画像とが直線的に交互に隣接して配置された画像であればよい。
また、上記第1実施形態では、表示領域215Aにおける視差発生方向の中央部78に中心点64が含まれる場合、ディスプレイ両端部79のうちの一方の端部に視差拡張画像75が表示される例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、表示領域215Aのうちの中央部78以外の領域に視差拡張画像75が表示されてもよい。この場合も、タッチパネル216における表示領域215Aの中央部78に対応する領域に接触している指示体が形成する死角によって視差拡張画像75が視認し難くなることを抑制することができる、という上記第1実施形態と同様の効果が期待できる。
また、上記第1実施形態では、表示領域215Aにおける視差発生方向の両端部のうちの一端部に中心点64が含まれる場合、特定領域76に視差拡張画像75が表示される例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、図17に示すように中央部78よりも図中正面視左側の領域に中心点64が属する場合、表示領域215Aのうちの中央部78よりも図中正面視右側の領域に視差拡張画像75が表示されてもよい。この場合も、タッチパネル216における表示領域215Aの両端部のうちの一方の端部に対応する領域に接触している指示体が形成する死角によって視差拡張画像75が視認し難くなることを抑制することができる、という効果が期待できる。
また、上記第1実施形態では、一例として図18に示すように、スプリットイメージに含まれる正面視最上段の表示用視差画像(図18に示す例では、表示用左眼画像)が指示分割画像として指示される場合を例示したが、本発明はこれに限定されるものではない。例えば、タッチパネル216におけるスプリットイメージに含まれる正面視最上段の表示用視差画像以外の表示用視差画像に対応する領域に指示体が接触した場合のみ、表示用視差画像が指示分割画像として指示されるようにしてもよい。このように、スプリットイメージに含まれる複数の表示用視差画像のうちの特定の表示用視差画像のみを指示分割画像として指示可能な表示用視差画像としてもよい。
また、上記第1実施形態では、スプリットイメージに含まれる複数の表示用視差画像のうちの1つが合焦制御対象の指示分割画像として指示される場合を例示したが、本発明はこれに限定されるものではない。例えば、スプリットイメージに含まれる複数の表示用視差画像のうちの1つが画質調整(例えば、明るさ調整やシャープネス調整)対象の指示分割画像として指示されてもよい。また、スプリットイメージに含まれる複数の表示用視差画像のうちの1つが拡大表示対象、縮小表示対象、切り取り対象、又はコピー対象の指示分割画像として指示されてもよい。
また、上記第1実施形態で説明した画像生成処理の流れ(図11参照)、表示制御処理の流れ(図12参照)、及び合焦制御処理(図20参照)はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記第1実施形態で説明した画像生成処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。また、上記第1実施形態で説明した表示制御処理及び合焦制御処理に含まれる各処理は、ASICやプログラマブルロジックデバイス等のハードウェア構成で実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。
上記第1実施形態で説明した画像生成処理を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域(例えば二次記憶部26)に予め記憶しておけばよい。なお、必ずしも最初から二次記憶部26に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるSSD(Solid State Drive)、
CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの任意の可搬型の記憶媒体に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやLAN(Local Area Network)などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。
CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの任意の可搬型の記憶媒体に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやLAN(Local Area Network)などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。
また、上記第1実施形態で説明した撮像装置100は、被写界深度を確認する機能(被写界深度確認機能)を有していてもよい。この場合、例えば撮像装置100は被写界深度確認キーを有する。被写界深度確認キーは、ハードキーであってもよいし、ソフトキーであってもよい。ハードキーによる指示の場合は、例えばモーメンタリ動作型のスイッチ(非保持型スイッチ)を適用することが好ましい。ここで言うモーメンタリ動作型のスイッチとは、例えば所定位置に押し込まれている間だけ撮像装置100における特定の動作状態を維持するスイッチを指す。ここで、被写界深度確認キーは、押下されると絞り値が変更される。また、被写界深度確認キーに対する押下が継続して行われている間(所定位置に押し込まれている間)、絞り値は限界値に達するまで変化し続ける。このように、被写界深度確認キーの押下中は、絞り値が変化するため、スプリットイメージを得るために必要な位相差が得られない場合がある。そこで、スプリットイメージが表示されている状態で、被写界深度確認キーが押下された場合、押下中はスプリットイメージから通常のライブビュー表示に変更するようにしてもよい。また、押下状態が解除された際に再度スプリットイメージを表示させるように画面の切り替えをCPU12が行うようにしてもよい。なお、ここでは、被写界深度確認キーの一例としてモーメンタリ動作型のスイッチを適用した場合を例示したが、これに限らず、オルタネイト動作型のスイッチ(保持型スイッチ)を適用してもよい。
[第2実施形態]
上記第1実施形態では、撮像装置100を例示したが、撮像装置100の変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォンなどが挙げられる。この他にも、PDA(Personal Digital Assistants)や携帯型ゲーム機など
が挙げられる。本第2実施形態では、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
上記第1実施形態では、撮像装置100を例示したが、撮像装置100の変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォンなどが挙げられる。この他にも、PDA(Personal Digital Assistants)や携帯型ゲーム機など
が挙げられる。本第2実施形態では、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
図21は、スマートフォン500の外観の一例を示す斜視図である。図21に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532と、操作部540と、カメラ部541とを備えている。なお、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用したりすることもできる。
図22は、図21に示すスマートフォン500の構成の一例を示すブロック図である。図21に示すように、スマートフォン500の主たる構成要素として、無線通信部510と、表示入力部520と、通信部530と、操作部540と、カメラ部541と、記憶部550と、外部入出力部560と、を備える。また、スマートフォン500の主たる構成要素として、GPS(Global Positioning System)受信部570と、モーションセンサ部580と、電源部590と、主制御部501と、を備える。また、スマートフォン500の主たる機能として、基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部510は、主制御部501の指示に従って、移動通信網NWに収容された基地局装置BSに対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部520は、いわゆるタッチパネルであって、表示パネル521と、操作パネル522とを備える。そのため、表示入力部520は、主制御部501の制御により、画像(静止画像および動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、かつ、表示した情報に対するユーザ操作を検出する。なお、生成された3Dを鑑賞する場合には、表示パネル521は、3D表示パネルであることが好ましい。
表示パネル521は、LCD、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル522は、表示パネル521の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部501に出力する。次いで、主制御部501は、受信した検出信号に基づいて、表示パネル521上の操作位置(座標)を検出する。
図21に示すように、スマートフォン500の表示パネル521と操作パネル522とは一体となって表示入力部520を構成しているが、操作パネル522が表示パネル521を完全に覆うような配置となっている。この配置を採用した場合、操作パネル522は、表示パネル521外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル522は、表示パネル521に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル521に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル521の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル522が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体502の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル522で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通信部530は、スピーカ531やマイクロホン532を備える。通信部530は、マイクロホン532を通じて入力されたユーザの音声を主制御部501にて処理可能な音声データに変換して主制御部501に出力する。また、通信部530は、無線通信部510あるいは外部入出力部560により受信された音声データを復号してスピーカ531から出力する。また、図21に示すように、例えば、スピーカ531を表示入力部520が設けられた面と同じ面に搭載し、マイクロホン532を筐体502の正面下部に搭載することができる。
操作部540は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図21に示すように、操作部540は、スマートフォン500の筐体502の正面下部に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部550は、主制御部501の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部550は、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部550は、ストリーミングデータなどを一時的に記憶する。また、記憶部550は、スマートフォン内蔵の内部記憶部551と着脱自在な外部メモリスロットを有する外部記憶部552を有する。なお、記憶部550を構成するそれぞれの内部記憶部551と外部記憶部552は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)が例示できる。
外部入出力部560は、スマートフォン500に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス(USB)、IEEE1394などが挙げられる。ネットワークとしては、例えば、インターネット、無線LAN、ブルートゥース(Bluetooth(登録商標))、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA(登録商標))が挙げられる。また、ネットワークの他の例としては、UWB(Ultra Wideband(登録商標))、ジグビー(ZigBee(登録商標))などが挙げられる。
スマートフォン500に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)が挙げられる。外部機器の他の例としては、SIM(Subscriber
Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。
Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。
外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン500の内部の各構成要素に伝達することや、スマートフォン500の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部570は、主制御部501の指示にしたがって、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン500の緯度、経度、高度からなる位置を検出する。GPS受信部570は、無線通信部510や外部入出力部560(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部580は、例えば、3軸の加速度センサなどを備え、主制御部501の指示にしたがって、スマートフォン500の物理的な動きを検出する。スマートフォン500の物理的な動きを検出することにより、スマートフォン500の動く方向や加速度が検出される。この検出結果は、主制御部501に出力されるものである。
電源部590は、主制御部501の指示にしたがって、スマートフォン500の各部に、バッテリ(図示省略)に蓄えられる電力を供給するものである。
主制御部501は、マイクロプロセッサを備え、記憶部550が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン500の各部を統括して制御するものである。また、主制御部501は、無線通信部510を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部550が記憶するアプリケーションソフトウェアにしたがって主制御部501が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部560を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部501は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部520に表示する等の画像処理機能を備える。画像処理機能とは、主制御部501が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部520に表示する機能のことをいう。
更に、主制御部501は、表示パネル521に対する表示制御と、操作部540、操作パネル522を通じたユーザ操作を検出する操作検出制御とを実行する。
表示制御の実行により、主制御部501は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル521の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトキーのことをいう。
また、操作検出制御の実行により、主制御部501は、操作部540を通じたユーザ操作を検出したり、操作パネル522を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部501は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部501は、操作パネル522に対する操作位置が、表示パネル521に重なる重畳部分(表示領域)か、それ以外の表示パネル21に重ならない外縁部分(非表示領域)かを判定する。そして、この判定結果を受けて、操作パネル522の感応領域や、ソフトキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部501は、操作パネル522に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部541は、CMOSやCCDなどの撮像素子を用いて撮像するデジタルカメラであり、図1等に示す撮像装置100と同様の機能を備えている。
また、カメラ部541は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部540又は表示入力部520に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部541の撮影レンズのピント合わせを行うことができる。また、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル521に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図8に示すハイブリッドファインダー220をスマートフォン500に設けるようにしてもよい。
また、カメラ部541は、主制御部501の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部550に記録したり、入出力部560や無線通信部510を通じて出力することができる。図21に示すにスマートフォン500において、カメラ部541は表示入力部520と同じ面に搭載されているが、カメラ部541の搭載位置はこれに限らず、表示入力部520の背面に搭載されてもよいし、あるいは、複数のカメラ部541が搭載されてもよい。なお、複数のカメラ部541が搭載されている場合には、撮像に供するカメラ部541を切り替えて単独にて撮像したり、あるいは、複数のカメラ部541を同時に使用して撮像したりすることもできる。
また、カメラ部541はスマートフォン500の各種機能に利用することができる。例えば、表示パネル521にカメラ部541で取得した画像を表示することや、操作パネル522の操作入力のひとつとして、カメラ部541の画像を利用することができる。また、GPS受信部570が位置を検出する際に、カメラ部541からの画像を参照して位置を検出することもできる。更には、カメラ部541からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン500のカメラ部541の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部541からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データに各種情報を付加して記憶部550に記録したり、入出力部560や無線通信部510を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにGPS受信部570により取得した位置情報、マイクロホン532により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)が挙げられる。この他にも、モーションセンサ部580により取得した姿勢情報等などであってもよい。
なお、上記各実施形態では、上下方向に2分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。
例えば、図23に示すスプリットイメージ66aは、行方向に平行な複数の分割線63aにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ66aでは、第1の画素群から出力された出力信号に基づいて生成されたライン状(一例として短冊状)の位相差画像66Laが奇数ライン(偶数ラインでも可)に表示される。また、第2の画素群から出力された出力信号に基づき生成されたライン状(一例として短冊状)の位相差画像66Raが偶数ラインに表示される。
また、図24に示すスプリットイメージ66bは、行方向に傾き角を有する分割線63b(例えば、スプリットイメージ66bの対角線)により2分割されている。このスプリットイメージ66bでは、第1の画素群から出力された出力信号に基づき生成された位相差画像66Lbが一方の領域に表示される。また、第2の画素群から出力された出力信号に基づき生成された位相差画像66Rbが他方の領域に表示される。
また、図25A及び図25Bに示すスプリットイメージ66cは、行方向及び列方向にそれぞれ平行な格子状の分割線63cにより分割されている。スプリットイメージ66cでは、第1の画素群から出力された出力信号に基づき生成された位相差画像66Lcがチェッカーパターン状に並べられて表示される。また、第2の画素群から出力された出力信号に基づき生成された位相差画像66Rcがチェッカーパターン状に並べられて表示される。
また、スプリットイメージに限らず、2つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、2つの位相差画像を重畳して合成表示し、ピントがずれている場合は2重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。
また、上記各実施形態では、第1~第3の画素群を有する撮像素子20を例示したが、本発明はこれに限定されるものではなく、第1の画素群及び第2の画素群のみからなる撮像素子であってもよい。この種の撮像素子を有するデジタルカメラは、第1の画素群から出力された第1の画像及び第2の画素群から出力された第2の画像に基づいて3次元画像(3D画像)を生成することができるし、2次元画像(2D画像)も生成することができる。この場合、2次元画像の生成は、例えば第1の画像及び第2の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第1の画像又は第2の画像を2次元画像として採用してもよい。
また、上記各実施形態では、第1~第3の画像が画像処理部28に入力された場合に通常画像とスプリットイメージとの双方を表示装置の同画面に同時に表示する態様を例示したが、本発明はこれに限定されるものではない。例えば、表示制御部36が、表示装置に対する通常画像の動画像としての連続した表示を抑止し、かつ、表示装置に対してスプリットイメージを動画像として連続して表示させる制御を行うようにしてもよい。ここで言う「通常画像の表示を抑止する」とは、例えば表示装置に対して通常画像を表示させないことを指す。具体的には、通常画像を生成するものの表示装置に通常画像を出力しないことで表示装置に対して通常画像を表示させないことや通常画像を生成しないことで表示装置に対して通常画像を表示させないことを指す。表示装置の画面全体を利用してスプリットイメージを表示させてもよいし、一例として図10に示すスプリットイメージの表示領域の全体を利用してスプリットイメージを表示させてもよい。なお、ここで言う「スプリットイメージ」としては、特定の撮像素子を使用する場合において、位相差画群から出力された画像(例えば第1の画素群から出力された第1の画像及び第2の画素群から出力された第2の画像)に基づくスプリットイメージが例示できる。「特定の撮像素子を使用する場合」としては、例えば位相差画素群(例えば第1の画素群及び第2の画素群)のみからなる撮像素子を使用する場合が挙げられる。この他にも、通常画素に対して所定の割合で位相差画素(例えば第1の画素群及び第2の画素群)が配置された撮像素子を使用する場合が例示できる。
また、通常画像の表示を抑止してスプリットイメージを表示させるための条件としては、様々な条件が考えられる。例えば、スプリットイメージの表示が指示されている状態で通常画像の表示指示が解除された場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、撮影者がハイブリッドファインダーを覗きこんだ場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン211が半押し状態にされた場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン211に対して押圧操作が行われていない場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、被写体の顔を検出する顔検出機能を働かせた場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。なお、ここでは、表示制御部36が通常画像の表示を抑止する変形例を挙げたが、これに限らず、例えば、表示制御部36は、通常画像に全画面のスプリットイメージを上書き表示するように制御を行ってもよい。
また、上記各実施形態では、一例として図6に示すように第1の画素L及び第2の画素Rの各々が1画素単位で配置された撮像素子20を例示したが、本発明はこれに限定されるものではなく、一例として図26に示す撮像素子600を用いてもよい。一例として図26に示す撮像素子600は、撮像素子20と比べ、全画素の各々について、第1の画素L(例えば、左眼画像用の光が入射されるフォトダイオード)及び第2の画素R(例えば、右眼画像用の光が入射されるフォトダイオード)が一組ずつ配置されている点が異なる。図26に示す例では、各画素がマイクロレンズ602を有しており、各画素における第1の画素L及び第2の画素Rはマイクロレンズ602を介して光が入射されるように配置されている。各画素における画素信号の読み出しパターンとしては、例えば、第1~第4読み出しパターンが例示できる。第1読み出しパターンとは、第1の画素Lのみから画素信号を読み出すパターンを指す。第2読み出しパターンとは、第2の画素Rのみから画素信号を読み出すパターンを指す。第3読み出しパターンとは、第1の画素L及び第2の画素Rの各々から画素信号を別々のルートを介して(例えば、画素毎に設けられた個別の信号線を介して)同時に読み出すパターンを指す。第4読み出しパターンとは、第1の画素L及び第2の画素Rから画素信号を通常画素の画素信号として、画素毎に設けられた1つの信号線を介して読み出すパターンを指す。通常画素の画素信号とは、例えば、1つの画素につき、第1の画素Lの画素信号及び第2の画素Rの画素信号を加算して得た画素信号(例えば、第1の画素Lのフォトダイオードの電荷と第2の画素Rのフォトダイオードの電荷とを合わせた1つの電荷)を指す。
また、図26に示す例では、1つの画素につき、1つの第1の画素L及び1つの第2の画素Rが配置されているが、これに限らず、少なくとも1つの第1の画素L及び少なくとも1つの第2の画素Rが1つの画素に配置されていればよい。また、図26に示す例では、1つの画素内において、第1の画素Lと第2の画素Rとが水平方向に配置されているが、これに限らず、第2の画素Lと第2の画素Rとを垂直方向に配置してもよいし、第1の画素Lと第2の画素Rとを斜め方向に配置してもよい。
16 撮影レンズ
20,600 撮像素子
100 撮像装置
100A 生成部
100B 表示部
100C 検出部
100D 制御部
100E 移動部
100F 提示部
216 タッチパネル
302 フォーカスレンズ
20,600 撮像素子
100 撮像装置
100A 生成部
100B 表示部
100C 検出部
100D 制御部
100E 移動部
100F 提示部
216 タッチパネル
302 フォーカスレンズ
Claims (15)
- 撮影レンズにおける第1及び第2の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第1及び第2の画像信号を出力する第1及び第2の画素群を有する撮像素子から出力された前記第1及び第2の画像信号に基づく第1及び第2の画像のうちの前記第1の画像を予め定められた分割方向に分割することにより得た複数の分割画像の一部の第1の分割画像と、前記第2の画像を前記分割方向に分割することにより得た複数の分割画像から前記第1の分割画像に対応する分割領域と隣接する分割領域に対応する第2の分割画像とを前記分割方向に隣接させて配置した合焦確認に使用する表示用画像を生成する生成部と、
表示領域を有し、かつ、前記表示領域の表面にタッチパネルが設けられた表示部と、
前記タッチパネルに対する指示体の指示領域を検知することにより、前記表示領域に表示される表示用画像の前記第1又は第2の分割画像を指示する指示操作を検知する検知部と、
前記指示操作が検知された場合、前記第1及び第2の分割画像のうちの前記指示操作により指示された指示分割画像の少なくとも一部並びに前記第1及び第2の分割画像のうちの前記指示分割画像と予め定められた方向に隣接する隣接分割画像の少なくとも一部を含む部分画像を前記表示用画像から抽出し、抽出した前記部分画像を、前記表示領域における前記検知部により検知された前記指示領域とは異なる領域に表示させる制御部と、
を含む画像処理装置。
- 前記制御部は、抽出した前記部分画像を、前記部分画像に含まれる前記指示分割画像と前記隣接分割画像との視差が拡張された状態で、前記表示領域における前記検知部により検知された前記指示領域とは異なる領域に表示させる請求項1に記載の画像処理装置。
- 前記制御部は、抽出した前記部分画像を、前記表示領域における前記検知部により検知された前記指示領域とは異なる領域に、拡大して表示させる請求項1又は請求項2に記載の画像処理装置。
- 前記制御部は、抽出した前記部分画像を、前記表示領域における前記検知部により検知された前記指示領域とは異なる領域に表示させる制御を、前記表示用画像のうちの前記指示操作に伴って前記検知部により検知された前記指示領域に対応する位置の画像内の明暗差が予め定められた値未満の場合に行わない請求項1から請求項3の何れか1項に記載の画像処理装置。
- 前記指示領域とは異なる領域は、前記検知部により検知された前記指示領域が前記表示用画像における視差発生方向の中央部に含まれる場合、前記表示用画像における視差発生方向の中央部以外の領域である請求項1から請求項4の何れか1項に記載の画像処理装置。
- 前記表示用画像における視差発生方向の中央部以外の領域は、前記表示領域における視差発生方向の中央部以外の領域である請求項5に記載の画像処理装置。
- 前記指示領域とは異なる領域は、前記検知部により検知された前記指示領域が前記表示用画像における視差発生方向の両端部のうちの一方の端部に含まれる場合、前記表示領域における視差発生方向の両端部のうちの前記指示領域から遠い方の端部である請求項1から請求項6の何れか1項に記載の画像処理装置。
- 前記制御部は、抽出した前記部分画像に含まれる画像を、前記視差に応じて定められた拡大率、彩度、及び輪郭強調度の少なくとも1つに従って調整する請求項1から請求項7の何れか1項に記載の画像処理装置。
- 前記撮像素子は、前記撮影レンズを透過した被写体像が瞳分割されずに結像されて第3の画像信号を出力する第3の画素群を更に有し、
前記生成部は、前記第3の画像信号に基づく撮影画像を更に生成し、
前記制御部は、前記生成部により前記表示用画像及び前記撮影画像が生成された場合、前記表示部に、前記撮影画像を表示させ、かつ、前記撮影画像内に前記表示用画像を表示させる請求項1から請求項8の何れか1項に記載の画像処理装置。
- 請求項1から請求項9の何れか1項に記載の画像処理装置と、
前記第1及び第2の画素群を有する撮像素子と、
前記撮像素子から出力された画像信号に基づいて生成された画像を記憶する記憶部と、
を含む撮像装置。
- 前記撮影レンズは、光軸方向に沿って移動可能なフォーカスレンズを有し、
前記フォーカスレンズを光軸方向に移動させる移動部を更に含み、
前記検知部は、前記指示操作を検知した場合、前記表示領域に前記表示用画像が表示された状態で前記指示領域を前記分割方向と交差する予め定められた交差方向に移動させる第1移動操作を検知し、
前記制御部は、前記検知部により前記第1移動操作が検知された場合に、前記第1移動操作に応じて前記フォーカスレンズを光軸方向に移動させる制御を前記移動部に対して行う請求項10に記載の撮像装置。
- 前記検知部は、前記指示操作を検知した場合、前記表示領域に前記表示用画像が表示された状態で前記指示領域を前記交差方向に直交する方向に対する所定の閾値以上の移動操作を第2移動操作として検知し、
前記制御部は、前記検知部により前記第2移動操作が検知された場合、前記部分画像の抽出位置を維持する制御を行う請求項11に記載の撮像装置。
- 前記表示用画像のうちの前記検知部により検知された前記指示領域に対応する位置における前記第1の画像と前記第2の画像との視差に基づいて、前記第1移動操作による前記指示領域の移動方向を案内する案内情報を提示する提示部を更に含む請求項11又は請求項12に記載の撮像装置。
- 撮影レンズにおける第1及び第2の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第1及び第2の画像信号を出力する第1及び第2の画素群を有する撮像素子から出力された前記第1及び第2の画像信号に基づく第1及び第2の画像のうちの前記第1の画像を予め定められた分割方向に分割することにより得た複数の分割画像の一部の第1の分割画像と、前記第2の画像を前記分割方向に分割することより得た複数の分割画像から前記第1の分割画像に対応する分割領域と隣接する分割領域に対応する第2の分割画像とを前記分割方向に隣接させて配置した合焦確認に使用する表示用画像を生成し、
表示領域を有し、かつ、前記表示領域の表面にタッチパネルが設けられた表示部の前記タッチパネルに対する指示体の指示領域を検知することにより、前記表示領域に表示される表示用画像の前記第1又は第2の分割画像を指示する指示操作を検知し、
前記指示操作を検知した場合、前記第1及び第2の分割画像のうちの前記指示操作により指示された指示分割画像の少なくとも一部並びに前記第1及び第2の分割画像のうちの前記指示分割画像と予め定められた方向に隣接する隣接分割画像の少なくとも一部を含む部分画像を前記表示用画像から抽出し、抽出した前記部分画像を、前記表示領域における検知した前記指示領域とは異なる領域に表示させる
ことを含む画像処理方法。
- コンピュータを、
請求項1から請求項9の何れか1項に記載の画像処理装置における前記生成部、前記検知部及び前記制御部として機能させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015536482A JP5934844B2 (ja) | 2013-09-11 | 2014-07-25 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013188468 | 2013-09-11 | ||
JP2013-188468 | 2013-09-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015037343A1 true WO2015037343A1 (ja) | 2015-03-19 |
Family
ID=52665465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/069643 WO2015037343A1 (ja) | 2013-09-11 | 2014-07-25 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5934844B2 (ja) |
WO (1) | WO2015037343A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017107064A (ja) * | 2015-12-09 | 2017-06-15 | 株式会社ニコン | 撮像装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009232288A (ja) * | 2008-03-24 | 2009-10-08 | Canon Inc | 撮像装置及び画像処理装置 |
JP2009237214A (ja) * | 2008-03-27 | 2009-10-15 | Canon Inc | 撮像装置 |
JP2013078074A (ja) * | 2011-09-30 | 2013-04-25 | Olympus Imaging Corp | 撮像装置、撮像方法およびプログラム |
JP2013178324A (ja) * | 2012-02-28 | 2013-09-09 | Nikon Corp | 合焦装置、光学機器 |
-
2014
- 2014-07-25 JP JP2015536482A patent/JP5934844B2/ja active Active
- 2014-07-25 WO PCT/JP2014/069643 patent/WO2015037343A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009232288A (ja) * | 2008-03-24 | 2009-10-08 | Canon Inc | 撮像装置及び画像処理装置 |
JP2009237214A (ja) * | 2008-03-27 | 2009-10-15 | Canon Inc | 撮像装置 |
JP2013078074A (ja) * | 2011-09-30 | 2013-04-25 | Olympus Imaging Corp | 撮像装置、撮像方法およびプログラム |
JP2013178324A (ja) * | 2012-02-28 | 2013-09-09 | Nikon Corp | 合焦装置、光学機器 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017107064A (ja) * | 2015-12-09 | 2017-06-15 | 株式会社ニコン | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5934844B2 (ja) | 2016-06-15 |
JPWO2015037343A1 (ja) | 2017-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6033454B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP6158340B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5931206B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP5960286B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5889441B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5901801B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP6086975B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP6000446B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
WO2013183406A1 (ja) | 撮像装置及び画像表示方法 | |
JP5833254B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5753323B2 (ja) | 撮像装置及び画像表示方法 | |
WO2014045740A1 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5955417B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
US10015405B2 (en) | Image processing device, imaging device, image processing method, and image processing program | |
JP5934844B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5901780B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
WO2014045741A1 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14843295 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2015536482 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 14843295 Country of ref document: EP Kind code of ref document: A1 |