WO2015029114A1 - 電子機器および通知制御方法 - Google Patents

電子機器および通知制御方法 Download PDF

Info

Publication number
WO2015029114A1
WO2015029114A1 PCT/JP2013/072740 JP2013072740W WO2015029114A1 WO 2015029114 A1 WO2015029114 A1 WO 2015029114A1 JP 2013072740 W JP2013072740 W JP 2013072740W WO 2015029114 A1 WO2015029114 A1 WO 2015029114A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reflection
area
preview
preview image
Prior art date
Application number
PCT/JP2013/072740
Other languages
English (en)
French (fr)
Inventor
山本　晃司
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to PCT/JP2013/072740 priority Critical patent/WO2015029114A1/ja
Publication of WO2015029114A1 publication Critical patent/WO2015029114A1/ja
Priority to US14/942,739 priority patent/US20160073035A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • Embodiments of the present invention relate to an electronic device capable of taking a photograph and a notification control method applied to the device.
  • Such electronic devices are sometimes used not only to photograph people and landscapes but also to photograph contents described in magazines, notebooks, bulletin boards, and the like.
  • An image obtained by shooting is used, for example, for saving as a personal record or for viewing by a plurality of people.
  • reflection may occur on the subject.
  • subject information for example, characters written on a whiteboard
  • reflection may occur on the subject.
  • An object of the present invention is to provide an electronic device and a notification control method capable of efficiently acquiring an image for reducing reflection captured on an image.
  • the electronic device includes the reflection detection unit and the notification unit.
  • the reflection detection means detects a first region where reflection has occurred from the first image in which the subject is photographed.
  • the notification means notifies the user of information for determining the shooting position of the subject based on the first area when the preview image of the subject shot using the camera module is displayed on the screen. .
  • FIG. 1 is a perspective view illustrating an appearance of an electronic apparatus according to an embodiment.
  • FIG. 2 is a block diagram showing a system configuration of the electronic apparatus of the embodiment.
  • FIG. 3 is a diagram for explaining an example in which an image with reduced reflection is generated by the electronic apparatus of the embodiment.
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of an image processing program executed by the electronic apparatus of the embodiment.
  • FIG. 5 is a diagram for explaining a first example of notification based on reflection on a captured image (reference image) by the electronic apparatus of the embodiment.
  • FIG. 6 is a diagram for explaining a second example of notification based on the reflection on the photographed image (reference image) by the electronic apparatus of the embodiment.
  • FIG. 7 is a diagram for explaining a third example of notification based on the reflection on the photographed image (reference image) by the electronic apparatus of the embodiment.
  • FIG. 8 is a diagram for explaining a fourth example of notification based on the reflection on the captured image (reference image) by the electronic apparatus of the embodiment.
  • FIG. 9 is a diagram for explaining an example in which the electronic device of the embodiment generates an image in which the reflection is reduced from the standard image and the reference image.
  • FIG. 10 is a flowchart illustrating an example of a procedure of a reflection reduction process executed by the electronic device of the embodiment.
  • FIG. 11 is a flowchart illustrating another example of the procedure of the reflection reduction process executed by the electronic device of the embodiment.
  • FIG. 12 is a flowchart showing still another example of the procedure of the reflection reduction process executed by the electronic apparatus of the embodiment.
  • FIG. 1 is a perspective view illustrating an external appearance of an electronic apparatus according to an embodiment.
  • This electronic device can be realized as an embedded system incorporated in various electronic devices such as a tablet computer, a notebook personal computer, a smartphone, a PDA, or a digital camera.
  • a tablet computer is a portable electronic device also called a tablet or a slate computer, and includes a main body 11 and a touch screen display 17 as shown in FIG.
  • the touch screen display 17 is attached to be superposed on the upper surface of the main body 11.
  • the main body 11 has a thin box-shaped housing.
  • the touch screen display 17 incorporates a flat panel display and a sensor configured to detect a contact position of a pen or a finger on the screen of the flat panel display.
  • the flat panel display may be, for example, a liquid crystal display (LCD).
  • As the sensor for example, a capacitive touch panel, an electromagnetic induction digitizer, or the like can be used.
  • the main body 11 is provided with a camera module for taking an image from the lower surface (rear surface) side of the main body 11.
  • FIG. 2 is a diagram showing a system configuration of the tablet computer 10.
  • the tablet computer 10 includes a CPU 101, a system controller 102, a main memory 103, a graphics controller 104, a BIOS-ROM 105, a nonvolatile memory 106, a wireless communication device 107, an embedded controller (EC) 108, a camera module. 109, a sound controller 110, and the like.
  • the CPU 101 is a processor that controls the operation of various modules in the tablet computer 10.
  • the CPU 101 executes various software loaded into the main memory 103 from the nonvolatile memory 106 that is a storage device.
  • These software include an operating system (OS) 201 and various application programs.
  • the application program includes an image processing program 202.
  • the image processing program 202 has, for example, a function for reducing the reflection on the subject included in an image photographed using the camera module 109.
  • the CPU 101 also executes a basic input / output system (BIOS) stored in the BIOS-ROM 105.
  • BIOS is a program for hardware control.
  • the system controller 102 is a device that connects between the local bus of the CPU 101 and various components.
  • the system controller 102 also includes a memory controller that controls access to the main memory 103.
  • the system controller 102 also has a function of executing communication with the graphics controller 104 via a PCI EXPRESS serial bus or the like.
  • the graphics controller 104 is a display controller that controls the LCD 17 ⁇ / b> A used as a display monitor of the tablet computer 10.
  • a display signal generated by the graphics controller 104 is sent to the LCD 17A.
  • the LCD 17A displays a screen image based on the display signal.
  • a touch panel 17B is disposed on the LCD 17A.
  • the system controller 102 also has a function of executing communication with the sound controller 110.
  • the sound controller 110 is a sound source device and outputs audio data to be reproduced to the speaker 18.
  • the wireless communication device 107 is a device configured to perform wireless communication such as wireless LAN or 3G mobile communication.
  • the EC 108 is a one-chip microcomputer including an embedded controller for power management.
  • the EC 108 has a function of turning on or off the tablet computer 10 in accordance with the operation of the power button by the user.
  • the camera module 109 captures an image in response to, for example, the user touching (tapping) a button (graphical object) displayed on the screen of the touch screen display 17.
  • the camera module 109 can also capture a plurality of continuous images such as moving images.
  • a plurality of images obtained by photographing the subject from different positions and angles that is, a plurality of images in which overexposure (reflection) occurs at different positions on the image, Generate an image with reduced distortion.
  • FIG. 3 shows an example in which an image with reduced reflection is generated using two images with reflection at different positions on the image.
  • the images 31 and 32 are images obtained by photographing a subject (for example, a white board).
  • a reflection (that is, overexposure) 311 occurs due to reflection.
  • the image (hereinafter also referred to as a reference image) 32 is taken at a position different from the reflection 311 on the standard image 31 by, for example, photographing the subject from a position different from the position where the standard image 31 was photographed.
  • a reflection 321 occurs.
  • a reference image is obtained by using a pixel in which a reflection 311 does not occur among pixels included in the reference image 31 and a pixel in which a reflection 321 does not occur in pixels included in the reference image 32.
  • information for determining the next shooting position of the subject is notified to the user so that an image for reducing the reflection 311 captured on the reference image 31 can be efficiently acquired.
  • This image processing program 202 has a function of generating an image with reduced reflection and a function of supporting acquisition of an image for reducing reflection.
  • a subject for example, a whiteboard
  • the reference image 51 is, for example, an image generated by the camera module 109 in response to an instruction for shooting by the user.
  • the image processing program 202 includes, for example, a preview processing unit 41, a notification processing unit 42, a composite image generation unit 43, and the like.
  • the preview processing unit 41 displays a preview of an image (hereinafter also referred to as a preview image) 52 taken by the camera module 109.
  • the preview processing unit 41 sequentially displays, for example, images continuously generated by the camera module 109 on the screen.
  • the notification processing unit 42 notifies the user of information for determining the shooting position of the subject based on the region (first region) in which the reflection 511 occurs in the reference image 51 while the preview image 52 is displayed. To do. That is, the notification processing unit 42 outputs a notification that supports acquisition of a reference image for reducing the reflection 511 on the standard image 51. For example, the notification processing unit 42 displays the reflection 511 on the reference image 51 in the corresponding area 522 on the preview image 52.
  • the notification processing unit 42 includes a reflection detection unit 421, a corresponding point detection unit 422, an alignment unit 423, and a notification generation unit 424.
  • the reflection detection unit 421 detects the reflection area 511 from the reference image 51.
  • the reflection detection unit 421 estimates, for example, whether or not an overexposure due to reflection occurs in a certain pixel in the image, and calculates an evaluation value based on the estimation result. For this evaluation value, for example, a smaller evaluation value is set as the possibility of overexposure (reflection) occurs. In other words, the evaluation value is set to a larger evaluation value that is less likely to be reflected and is suitable for reducing reflection.
  • the reflection detection unit 421 calculates a first evaluation value corresponding to a pixel in the reference image 51, and detects a pixel having an evaluation value less than the threshold value as reflection.
  • Corresponding point detection unit 422 detects feature points on the reference image 51. This feature point is a corner in the image detected using local feature robust to rotation and deformation of the subject such as SIFT (scale-invariant-feature transform) and SURF (speeded uprobust features). And a plurality of images can be detected from one image. The corresponding point detection unit 422 detects feature points on the preview image 52 in the same manner as in the case of the reference image 51.
  • SIFT scale-invariant-feature transform
  • SURF speeded uprobust features
  • the corresponding point detection unit 422 detects corresponding points between the reference image 51 and the preview image 52.
  • the corresponding point detection unit 422 uses the feature points detected from the standard image 51 and the preview image 52 to detect the feature points on the reference image 52 corresponding to the feature points on the standard image 51, thereby Corresponding points between 51 and the preview image 52 are detected.
  • the alignment unit 423 aligns the reference image 51 and the preview image 52 based on the detected corresponding points. More specifically, the alignment unit 423 uses the corresponding point to convert the position of the feature point on the reference image 51 to the position of the corresponding feature point on the preview image 52 (for example, projective transformation). Coefficient). The alignment unit 423 estimates the transform coefficient from the corresponding points using, for example, the least square method or RANSAC (random sample consensus).
  • the notification generation unit 424 converts the reflection 511 on the reference image 51 into a corresponding area 522 on the preview image 52 based on the corresponding points between the reference image 51 and the preview image 52. More specifically, the notification generation unit 424 performs projective transformation of the reflection 511 on the reference image 51 to the corresponding region 522 on the preview image 52 based on the projective transformation coefficient calculated using the corresponding points. . Note that this conversion is not limited to projective transformation, and may be affine transformation, parallel movement, and the like. Then, the notification generation unit 424 superimposes and displays an area 522 corresponding to the reflection 511 on the reference image 51 on the preview image 52.
  • the user can confirm that the position of the reflection 511 included in the reference image 51 corresponds to the region 522 on the preview image 52. Therefore, the user confirms the area 522 on the preview image 52 corresponding to the reflection 511, so that the camera module 109 (tablet computer 10 incorporating the camera module 109) is displayed in the reflection image included in the reference image 51. 511 and the current reflection 521 on the preview image 52 can be easily moved so as not to overlap.
  • the user instructs photographing (generation) of the reference image at a photographing position where the reflection 511 included in the reference image 51 and the current reflection 521 on the preview image 52 do not overlap (for example, photographing is instructed). Press the button for).
  • the camera module 109 generates a reference image in which the subject is captured. Thereby, the reference image for acquiring the reflection reduction image can be efficiently acquired.
  • the preview image 52 being displayed is updated in accordance with, for example, an image update rate by the camera module 109.
  • each unit in the image processing program 202 notifies a reference image to be acquired (for example, an area 522 on the preview image 52 corresponding to the reflection 511 on the standard image 51). Display) is also configured to be updated.
  • the alignment unit 423 aligns the reference image 51 and the preview image 52 (that is, after calculating the conversion coefficient between the reference image 51 and the preview image 52), and then performs the registration on the reference image 51.
  • a corresponding area 522 on the preview image 52 corresponding to the reflection 511 may be tracked each time the preview image 52 is updated. This tracking eliminates the need to align the entire image, thereby reducing the amount of processing.
  • FIG. 6 shows two other examples of notifications during preview display.
  • a captured image (reference image) 61 includes a reflection area 611.
  • the preview image 62 of the converted reflection area (third area) in which the reflection area 611 (first area) on the reference image 61 is converted into the corresponding area on the preview image 62 is displayed.
  • a region 622 in which the reflection is reduced by is displayed on the preview image 62. That is, of the converted reflection area (third area), an area that does not overlap with the reflection area 621 (second area) on the preview image 62 is displayed as an area 622 in which the reflection is reduced by the preview image 62.
  • the converted reflection area (third area) an area that does not overlap with the reflection area 621 (second area) on the preview image 62 is displayed as an area 622 in which the reflection is reduced by the preview image 62.
  • the reflection detection unit 421 detects the reflection area 611 (first area) where the reflection is generated from the reference image 61, and the reflection is generated from the preview image 62.
  • the reflection area 621 (second area) is detected.
  • the corresponding point detection unit 422 detects corresponding points between the reference image 61 and the preview image 62.
  • the alignment unit 423 then converts the position of the feature point on the reference image 61 to the position of the corresponding feature point on the preview image 52 based on the detected corresponding point (that is, the reference image 61). And a conversion coefficient for aligning the preview image 62 with each other).
  • the notification generation unit 424 converts the reflection area 611 (first area) on the reference image 61 into a corresponding area (third area) on the preview image 62 using the calculated conversion coefficient.
  • the notification generation unit 424 overlaps the current reflection 621 (second area) on the preview image 62 in the area (third area) on the preview image 62 corresponding to the reflection 611 on the reference image 61. Detect areas that are not. This detected area corresponds to the area 622 in which the reflection is reduced by the preview image 62 described above.
  • the notification generation unit 424 superimposes and displays the area 622 in which the reflection is reduced by the preview image 62 on the preview image 62. In the second example, the reflection area 611 (first area) on the reference image 61 is displayed.
  • an area 632 in which the reflection remains even if the preview image 63 is used (that is, the reflection is not reduced) is previewed. It is displayed on the image 63. That is, of the converted reflection area (third area), an area overlapping with the reflection area 631 (second area) on the preview image 63 is an area 632 where the reflection remains even when the preview image 63 is used. It is displayed.
  • the reflection 611 (first region) on the reference image 61 is converted into the corresponding region (third region) on the preview image 63, as in the first example described above.
  • the The notification generation unit 424 displays the current reflection 631 (second area) on the preview image 63 out of the area (third area) on the preview image 63 corresponding to the reflection 611 (first area) on the reference image 61.
  • the part that overlaps the area is detected.
  • This detected portion corresponds to a region 632 where the reflection remains even when the above-described preview image 63 is used.
  • the notification generation unit 424 superimposes and displays the region 632 in which the reflection remains even when the preview image 63 is used.
  • the notification generation unit 424 may combine these two notifications so that the area 622 where the reflection is reduced and the area 632 where the reflection remains are displayed together.
  • the notification generation unit 424 may display each of the area 622 where the reflection is reduced and the area 632 where the reflection remains with, for example, a specific color or a specific transparency. Further, these areas 622 and 632 may be blinked in a specific pattern. Accordingly, the area 622 where the reflection is reduced and the area 632 where the reflection remains can be displayed so as to be easily identified by the user.
  • the direction in which the camera 109 is moved is notified in order to support the acquisition of the reference image for reducing the reflection on the standard image. It may be.
  • the camera 109 when the reference image 71 includes a vertically long reflection 711, the camera 109 is moved horizontally (leftward or rightward) so that the vertically long reflection 711 is reduced. The movement is notified using voice or GUI.
  • This vertically long reflection 711 has a shape in which the vertical size (length) is larger (longer) than the horizontal size (length). Since the vertically long reflection 711 is shown on the left side of the reference image 71, for example, the reflection 711 is shown on the right side, that is, like the reflection 721 on the preview image 72. It is notified that the camera 109 is moved.
  • the camera 109 is moved vertically (upward or downward) so that the horizontally long reflection 751 is reduced.
  • the voice is notified using the GUI.
  • This horizontally long reflection 751 has a shape in which the horizontal size is larger than the vertical size. Since this horizontally long reflection 751 appears on the upper side of the reference image 75, for example, the reflection 751 appears on the lower side, that is, like the reflection 761 on the preview image 76.
  • the camera 109 is notified to move.
  • the image processing program 202 operates as follows to realize the examples shown in FIGS. First, the reflection detection unit 421 detects the reflection areas 711 and 751 from the reference images 71 and 75. The reflection detection unit 421 detects the vertical size and horizontal size of the detected reflection area.
  • the notification generation unit 424 suggests that the camera (camera module) 109 is moved in the horizontal direction. Make a notification. For example, the notification generation unit 424 outputs sound that instructs the camera 18 to move the camera in the horizontal direction. Further, the notification generation unit 424 may display various GUIs such as text for instructing to move the camera in the horizontal direction and an image (figure) of an arrow on the screen.
  • the notification generation unit 424 displays the size of the reflected areas 711 and 751 in the vertical direction smaller than the horizontal size of the reflected areas 711 and 751 (or the size of the reflected areas 711 and 751 in the vertical direction). Notification of suggesting moving the camera (camera module) 109 in the vertical direction. For example, the notification generation unit 424 outputs sound that instructs the camera 18 to move the camera in the vertical direction. In addition, the notification generation unit 424 may display various GUIs such as text for instructing the camera to move in the vertical direction and an image of an arrow on the screen.
  • the notification generation unit 424 determines the direction opposite to the current position of the reflection areas 711 and 751 (for example, the reference images 71 and 751) based on the positions on the reference images 71 and 75 where the reflection areas 711 and 751 exist. It may be notified that the reflection areas 711 and 751 are moved in the right direction when it is on the left side of 75.
  • the user moves the camera 109 in accordance with the notification by such audio output or display, and instructs to shoot a reference image at that position.
  • the camera module 109 generates a reference image in which the subject is captured. Thereby, the reference image for acquiring the reflection reduction image can be efficiently acquired.
  • the composite image generation unit 43 generates a reflection reduction image by combining the standard image and the acquired reference image.
  • the composite image generation unit 43 cooperates with the reflection detection unit 421, the corresponding point detection unit 422, and the alignment unit 423 to align the reference image with the reference image and the reference image aligned with the reference image Are subjected to alpha blending to generate a reflection reduction image.
  • the composite image generation unit 43 detects the cutout range 312 corresponding to the range acquired as the output image from the reference image 31. For example, the composite image generation unit 43 detects edges in the reference image 31 using pixel values (luminance values) of a plurality of pixels included in the reference image 31. Then, the composite image generation unit 43 detects the maximum rectangle formed by the detected edges as the cutout range 312. Thereby, for example, a range in which the whiteboard (subject) is reflected in the reference image 31 can be detected as the cutout range 312.
  • the corresponding point detection unit 422 and the alignment unit 423 align the reference image 32 obtained by photographing the subject from a position different from the reference image 31 with respect to the reference image 31 obtained by photographing the subject (for example, a whiteboard). To do. That is, the corresponding point detection unit 422 and the alignment unit 423 align the reference image 32 so that the position of the pixel on the reference image 32 matches the position of the corresponding pixel on the standard image 31.
  • the corresponding point detection unit 422 detects corresponding points between the standard image 31 and the reference image 32. More specifically, the corresponding point detection unit 422 detects feature points from each of the standard image 31 and the reference image 32. The corresponding point detection unit 422 uses the feature points detected from the standard image 31 and the reference image 32 to detect the feature points on the reference image 32 corresponding to the feature points on the standard image 31, so that the standard image Corresponding points between 31 and the reference image 32 are detected.
  • the corresponding point detection unit 422 detects the feature point 32 ⁇ / b> A on the reference image 32 corresponding to the feature point 31 ⁇ / b> A on the standard image 31. That is, the corresponding point detection unit 422 detects the feature point 31A on the standard image 31 and the feature point 32A on the reference image 32 as corresponding points. Similarly, the corresponding point detection unit 422 detects the feature point 32B on the reference image 32 corresponding to the feature point 31B on the standard image 31. That is, the corresponding point detection unit 422 detects the feature point 31B on the standard image 31 and the feature point 32B on the reference image 32 as corresponding points. Similarly, the corresponding point detection unit 422 detects a large number of corresponding points between the standard image 31 and the reference image 32.
  • the alignment unit 423 performs projective transformation on the reference image 32 based on the detected corresponding points. More specifically, the alignment unit 423 uses the corresponding points to calculate a projective transformation coefficient for arranging the pixels on the reference image 32 at the same positions as the pixels on the corresponding standard image 31. Then, the alignment unit 423 generates a converted image (hereinafter also referred to as a projective conversion image) 43 obtained by performing projective conversion on the reference image 32 based on the estimated projective conversion coefficient. That is, the alignment unit 423 determines a pixel in the standard image 31 and a corresponding pixel in the reference image 32 based on this conversion coefficient.
  • a converted image hereinafter also referred to as a projective conversion image
  • the reflection 321 on the reference image 32 is also converted into the reflection 331 on the projection conversion image 33 as shown in FIG.
  • an area 332 on the projective conversion image 33 indicates an area where no pixel on the reference image 32 corresponding to the pixel on the projective conversion image 33 exists.
  • the reflection detection unit 421 detects the reflection 311 on the reference image 31 and the reflection 321 on the projective transformation image 33. More specifically, the reflection detection unit 421 estimates, for example, whether or not a whiteout caused by reflection occurs in a certain pixel in the image, and calculates an evaluation value based on the estimation result. . For this evaluation value, for example, a smaller evaluation value is set as the possibility of overexposure (reflection) occurs. Therefore, the reflection detection unit 421 calculates the first evaluation value corresponding to the pixel in the standard image 31, and calculates the second evaluation value corresponding to the pixel in the projection conversion image 33 obtained by converting the reference image 32. .
  • the processing by the reflection detection unit 421, the corresponding point detection unit 422, and the alignment unit 423 may already be performed during preview display. In that case, the same processing performed after the reference image 32 is acquired can be omitted by using the processing result already obtained.
  • the composite image generation unit 43 generates the reflection reduction image 34 by combining the base image 31 and the projective conversion image 33 (that is, the reference image 32 subjected to the projective conversion).
  • the composite image generation unit 43 generates a weight map (alpha map) based on the calculated first evaluation value and second evaluation value.
  • the first evaluation value indicates the degree to which a pixel in the reference image 31 is a pixel suitable for combining the reference image 31 and the projective transformation image 33 (that is, calculating a combined image).
  • the second evaluation value indicates the degree to which the pixels in the projective conversion image 33 are suitable for combining the reference image 31 and the projective conversion image 33.
  • the weight map includes, for example, a weight ⁇ for alpha blending the projective transformation image 33 and the reference image 31.
  • the weight map indicates the weight ⁇ for pixels on one image.
  • the weight ⁇ is a value from 0 to 1, for example. In that case, the weight for the pixel on the other image is (1- ⁇ ).
  • the weight map when the first evaluation value is larger than the corresponding second evaluation value, the weight for the pixel (pixel value) of the reference image 31 is set larger than the weight for the pixel of the projective transformation image 33. Composed. Further, the weight map is configured to make the weight for the pixel of the reference image 31 smaller than the weight for the pixel of the projective transformation image 33 when the first evaluation value is smaller than the corresponding second evaluation value. Further, when the first evaluation value is equal to the corresponding second evaluation value, the weight for the pixel of the reference image 31 and the weight for the pixel of the projective transformation image 33 are configured to be equal.
  • the composite image generation unit 43 weights and adds (alpha blending) the base image 31 and the projective conversion image 33 of the reference image 32 based on the generated weight map, thereby generating a reflection reduced image (composite image) 34. Generate. For example, the composite image generation unit 43 calculates the pixel value of the pixel in the reference image 31 weighted with the weight ⁇ and the pixel value of the corresponding pixel in the projective transformation image 33 weighted with the weight (1 ⁇ ). By calculating the sum, an image reduction image 34 is generated.
  • the composite image generation unit 43 further cuts out an image corresponding to the cutout range 312 from the calculated reflection reduction image 34. Then, the composite image generation unit 43 performs distortion correction (rectangular correction) on the cut out image, thereby generating an image 35 in which the reflection is reduced and the rectangular image is corrected. Thus, the user can view the image 35 in which the reflection is reduced and the rectangle is corrected.
  • distortion correction linear correction
  • the composite image generation unit 43 sets the reflection reduction image 34 (or the image 35 in which reflection is reduced and corrected to a rectangle) as a new reference image 31. Then, for example, based on the reflection area on the new reference image 31, the notification generation unit 424 displays an area (conversion reflection area) on the preview image corresponding to the reflection area on the preview image. To do. Therefore, the conversion image area displayed on the preview image is reduced by repeating the process of acquiring the reference image 32 and reducing the reflection on the standard image 31 using the reference image 32. Can do.
  • the camera module 109 generates the reference image 51 (block B101).
  • the reflection detection unit 421 detects the reflection area 511 from the reference image 51 (block B102).
  • the preview processing unit 41 displays an image (preview image) 52 taken by the camera module 109 as a preview on the screen (block B103).
  • the corresponding point detection unit 422 detects corresponding points between the reference image 51 and the preview image 52 (block B104). Then, the notification generation unit 424 converts the reflection area 511 on the reference image 51 into a corresponding area on the preview image 52 (hereinafter, also referred to as a conversion reflection area) (block B105). Then, the conversion reflection area 522 is superimposed and displayed (block B106).
  • the camera module 109 determines whether or not there is an instruction to acquire an image being previewed (block B107). When there is an instruction to acquire an image being displayed for preview (YES in block B107), the camera module 109 generates a reference image using the image being displayed for preview (block B108).
  • the composite image generation unit 43 generates a reflection reduction image by combining the standard image 51 and the reference image (block B109). For example, the composite image generation unit 43 aligns the reference image 51 and the reference image in cooperation with the reflection detection unit 421, the corresponding point detection unit 422, and the alignment unit 423, and aligns the reference image 51 with the aligned reference image 51. A reflection reduction image is generated by alpha blending with the reference image. Then, the composite image generation unit 43 sets the generated reflection reduction image as a new reference image (block B110).
  • the preview processing unit 41 determines whether or not to finish shooting (preview) (block B111). When the shooting is not finished (NO in block B111), the process returns to block B103, and the superimposed display of the conversion reflection area 522 on the new preview image 52 is continued. When shooting is ended (YES in block B111), the process is ended.
  • the flowchart of FIG. 11 shows another example of the procedure of the reflection reduction process.
  • the camera module 109 generates a reference image 61 (block B201).
  • the reflection detection unit 421 detects the reflection area 611 from the reference image 61 (block B202).
  • the preview processing unit 41 displays an image (preview image) 62 taken by the camera module 109 as a preview on the screen (block B203).
  • the reflection detection unit 421 detects the reflection area 621 from the preview image 62 (block B204).
  • the corresponding point detection unit 422 detects a corresponding point between the reference image 61 and the preview image 62 (block B205).
  • the notification generation unit 424 converts the reflection area 611 on the reference image 61 into a corresponding area (conversion reflection area) on the preview image 62 (block B206), and detects the area 622 reduced by the preview image 62. (Block B207). That is, the notification generation unit 424 detects an area 622 that is not a reflection area on the preview image 62 among the conversion reflection areas. Then, the notification generation unit 424 superimposes and displays the area 622 in which the reflection is reduced on the preview image 62 (block B208).
  • the camera module 109 determines whether or not there is an instruction to acquire an image being previewed (block B209). When there is an instruction to acquire an image being previewed (YES in block B209), the camera module 109 generates a reference image using the image being previewed (block B210).
  • the composite image generation unit 43 generates a reflection reduction image by combining the standard image 61 and the reference image (block B211).
  • the composite image generation unit 43 aligns the reference image 61 and the reference image in cooperation with the reflection detection unit 421, the corresponding point detection unit 422, and the alignment unit 423, for example, A reflection reduction image is generated by alpha blending with the reference image. Then, the composite image generation unit 43 sets the generated reflection reduction image as a new reference image (block B212).
  • the preview processing unit 41 determines whether or not to finish shooting (preview) (block B213).
  • the process returns to block B203, and the superimposed display of the area 622 in which the reflection on the new preview image 62 is reduced is continued.
  • shooting ended (YES in block B213), the process is ended.
  • the camera module 109 generates a reference image 71 (block B301).
  • the reflection detection unit 421 detects the reflection area 711 from the reference image 71 (block B302), and calculates the aspect ratio of the detected reflection area 711 (block B303).
  • This aspect ratio is, for example, the ratio of the length of the side in the vertical direction (longitudinal direction) and the length of the side in the horizontal direction (lateral direction) of the rectangle including the reflection area 711.
  • the preview processing unit 41 displays an image (preview image) 72 photographed by the camera module 109 as a preview on the screen (block B304).
  • the notification generation unit 424 determines whether or not the vertical length of the reflection area 711 is longer than the horizontal length of the reflection area 711 (block B305). When the vertical length of the reflection area 711 is longer than the horizontal length (YES in block B305), the notification generation unit 424 notifies that the camera (camera module) 109 is moved in the horizontal direction (block B306). ). For example, the notification generation unit 424 outputs a sound instructing to move the camera in the horizontal direction from the speaker 18. In addition, the notification generation unit 424 may display various GUIs such as text for instructing to move the camera in the horizontal direction and images of arrows on the screen.
  • the notification generation unit 424 When the vertical length of the reflection area 711 is equal to or shorter than the horizontal length (NO in block B305), the notification generation unit 424 notifies that the camera (camera module) 109 is moved in the vertical direction. (Block B307). For example, the notification generation unit 424 outputs a sound instructing to move the camera in the vertical direction from the speaker 18. In addition, the notification generation unit 424 may display various GUIs such as text for instructing the camera to move in the vertical direction and an image of an arrow on the screen.
  • the camera module 109 determines whether or not there is an instruction to acquire an image being previewed (block B308). When there is an instruction to acquire an image being displayed for preview (YES in block B308), the camera module 109 generates a reference image using the image being displayed for preview (block B309).
  • the composite image generation unit 43 generates a reflection reduction image by combining the standard image 71 and the reference image (block 310).
  • the composite image generation unit 43 aligns the reference image 71 with the reference image in cooperation with the reflection detection unit 421, the corresponding point detection unit 422, and the alignment unit 423, for example, A reflection reduction image is generated by alpha blending with the reference image. Then, the composite image generation unit 43 sets the generated reflection reduction image as a new reference image (block B311).
  • the preview processing unit 41 determines whether or not to finish shooting (preview) (block B312). When shooting is not finished (NO in block B312), the process returns to block B302, and the notification of the moving direction of the camera while the preview image 72 is being displayed is continued. When shooting is ended (YES in block B312), the process ends.
  • an image for reducing the reflection captured on the image can be efficiently acquired.
  • the reflection detection unit 421 detects a reflection area (first area) where reflection has occurred from a reference image in which the subject is photographed.
  • the notification processing unit 42 provides information for determining the photographing position of the subject based on the detected reflection area. Notify the user. Accordingly, the user moves the camera module 109 in accordance with the notification, and thus can efficiently acquire a reference image for acquiring an image with reduced reflection.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

　実施形態によれば、電子機器は、写り込み検出手段と通知手段とを具備する。写り込み検出手段は、被写体が撮影された第１画像から、写り込みが発生している第１領域を検出する。通知手段は、カメラモジュールを用いて撮影される前記被写体のプレビュー画像が画面に表示されているとき、前記第１領域に基づいて、前記被写体の撮影位置を決定するための情報をユーザに通知する。

Description

電子機器および通知制御方法
　本発明の実施形態は、写真を撮影可能な電子機器および該機器に適用される通知制御方法に関する。
　近年、カメラ付きのパーソナルコンピュータ、ＰＤＡ、携帯電話、スマートフォン等や、デジタルカメラのような画像を撮影できる様々な電子機器が普及している。
　このような電子機器は、人物や風景を撮影するだけでなく、雑誌やノート、掲示板等に記載された内容を撮影するために用いられることもある。撮影によって得られた画像は、例えば、個人の記録として保存することや、複数人で閲覧すること等に利用される。
特開２００５－１３０３２６号公報
　ところで、ホワイトボード（whiteboard）のように表面が反射しやすい被写体では、被写体上に反射による写り込み（グレア：glare）が発生することがある。このような被写体を撮影した画像では、写り込みによって、被写体の情報（例えば、ホワイトボードに書き込まれた文字）が欠落する可能性がある。
　そのため、被写体を様々な位置から撮影した複数の画像を用いて、写り込みが軽減された画像を取得する方法が提案されている。
　しかし、例えば、撮影済みの画像上の写り込みを把握して、その写り込みを軽減できる位置から被写体をさらに撮影することは、ユーザにとって煩雑な作業である可能性が高い。したがって、画像上の写り込みを軽減できる複数の画像の効率的な取得が期待される場合がある。
　本発明は、画像上に捉えられた写り込みを軽減するための画像を効率的に取得できる電子機器および通知制御方法を提供することを目的とする。
　実施形態によれば、電子機器は、写り込み検出手段と通知手段とを具備する。写り込み検出手段は、被写体が撮影された第１画像から、写り込みが発生している第１領域を検出する。通知手段は、カメラモジュールを用いて撮影される前記被写体のプレビュー画像が画面に表示されているとき、前記第１領域に基づいて、前記被写体の撮影位置を決定するための情報をユーザに通知する。
図１は、実施形態に係る電子機器の外観を示す斜視図である。 図２は、同実施形態の電子機器のシステム構成を示すブロック図である。 図３は、同実施形態の電子機器によって写り込みが軽減された画像が生成される例を説明するための図である。 図４は、同実施形態の電子機器によって実行される画像処理プログラムの機能構成の例を示すブロック図である。 図５は、同実施形態の電子機器による、撮影済み画像（基準画像）上の写り込みに基づく通知の第１の例を説明するための図である。 図６は、同実施形態の電子機器による、撮影済み画像（基準画像）上の写り込みに基づく通知の第２の例を説明するための図である。 図７は、同実施形態の電子機器による、撮影済み画像（基準画像）上の写り込みに基づく通知の第３の例を説明するための図である。 図８は、同実施形態の電子機器による、撮影済み画像（基準画像）上の写り込みに基づく通知の第４の例を説明するための図である。 図９は、同実施形態の電子機器によって、基準画像と参照画像とから写り込みが軽減された画像を生成する例を説明するための図である。 図１０は、同実施形態の電子機器によって実行される写り込み低減処理の手順の例を示すフローチャートである。 図１１は、同実施形態の電子機器によって実行される写り込み低減処理の手順の別の例を示すフローチャートである。 図１２は、同実施形態の電子機器によって実行される写り込み低減処理の手順のさらに別の例を示すフローチャートである。
　以下、実施の形態について図面を参照して説明する。　
　図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ、またはデジタルカメラのような各種電子機器に内蔵される組み込みシステムとして実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。
　本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。
　また、本体１１には、本体１１の下面（背面）側から画像を撮影するためのカメラモジュールが設けられている。
　図２は、タブレットコンピュータ１０のシステム構成を示す図である。　
　タブレットコンピュータ１０は、図２に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ－ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８、カメラモジュール１０９、サウンドコントローラ１１０等を備える。
　ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、画像処理プログラム２０２が含まれている。この画像処理プログラム２０２は、例えば、カメラモジュール１０９を用いて撮影された画像に含まれる、被写体上の写り込みを低減する機能等を有する。
　また、ＣＰＵ１０１は、ＢＩＯＳ－ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
　システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ　ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。
　グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂが配置されている。
　さらに、システムコントローラ１０２は、サウンドコントローラ１１０との通信を実行する機能も有している。サウンドコントローラ１１０は音源デバイスであり、再生対象のオーディオデータをスピーカ１８に出力する。
　無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。
　カメラモジュール１０９は、例えば、ユーザが、タッチスクリーンディスプレイ１７の画面上に表示されたボタン（グラフィカルオブジェクト）をタッチ（タップ）したことに応じて、画像を撮影する。カメラモジュール１０９は、動画像のような、連続した複数の画像を撮影することもできる。
　ところで、カメラモジュール１０９を用いて、ホワイトボードや光沢紙のような反射による写り込み（グレア）が生じやすい被写体を撮影した場合、撮影された画像上に、日光や室内の蛍光灯等に起因する、いわゆる白とび（flared highlights）が写り込むことがある。画像上で白とびが写り込んだ領域では、例えば、ホワイトボードに書き込まれた文字や図形が欠落してしまう可能性がある。
　そのため、本実施形態では、異なる位置や角度から被写体を撮影することによって得られた複数の画像、すなわち、画像上の異なる位置に白とび（写り込み）が生じた複数の画像を用いて、写り込みが軽減された画像を生成する。
　図３は、画像上の異なる位置に写り込みが生じた２枚の画像を用いて、写り込みが軽減された画像が生成される例を示す。
　画像３１，３２は、被写体（例えば、ホワイトボード）を撮影することによって得られた画像である。画像（以下、基準画像とも称する）３１には反射による写り込み（すなわち、白とび）３１１が生じている。また、画像（以下、参照画像とも称する）３２には、例えば、基準画像３１を撮影した位置とは異なる位置から被写体が撮影されることによって、基準画像３１上の写り込み３１１とは異なる位置に写り込み３２１が生じている。　
　本実施形態では、基準画像３１に含まれる画素の内の写り込み３１１が生じていない画素と、参照画像３２に含まれる画素の内の写り込み３２１が生じていない画素とを用いて、基準画像３１と参照画像３２とを合成することによって、写り込みが低減された画像３４を生成することができる。
　ところで、基準画像３１を撮影した後に参照画像３２を撮影する場合に、基準画像３１上の写り込み３１１を把握して、その写り込み３１１を軽減できる位置から被写体を撮影することは、ユーザにとって煩雑な作業である可能性が高い。例えば、カメラモジュール１０９を移動させたことによって被写体に対する角度が変わった場合、カメラモジュール１０９によって撮影される画像（プレビュー画像）上ではその被写体の見え方が変化する。よって、基準画像３１上の写り込み３１１が、プレビュー画像（参照画像３２）上のどこに対応するかを把握することは、ユーザにとって困難である可能性がある。
　そのため本実施形態では、基準画像３１上に捉えられた写り込み３１１を軽減するための画像を効率的に取得できるように、被写体の次の撮影位置を決定するための情報をユーザに通知する。
　図４を参照して、タブレットコンピュータ１０によって実行される画像処理プログラム２０２の機能構成について説明する。この画像処理プログラム２０２は、写り込みが低減された画像を生成する機能と、写り込みを低減するための画像の取得を支援する機能とを有する。以下では、図５に示すように、カメラモジュール１０９によって、被写体（例えば、ホワイトボード）が撮影された１枚の基準画像５１が既に生成されている場合を想定する。この基準画像５１は、例えば、ユーザによって撮影が指示されたことに応じて、カメラモジュール１０９によって生成された画像である。
　画像処理プログラム２０２は、例えば、プレビュー処理部４１、通知処理部４２、合成画像生成部４３、等を備える。プレビュー処理部４１は、カメラモジュール１０９によって撮影されている画像（以下、プレビュー画像とも称する）５２をプレビュー表示する。プレビュー処理部４１は、例えば、カメラモジュール１０９によって連続的に生成される画像を画面に順次表示する。
　通知処理部４２は、プレビュー画像５２の表示中に、基準画像５１内で写り込み５１１が生じている領域（第１領域）に基づいて、被写体の撮影位置を決定するための情報をユーザに通知する。つまり、通知処理部４２は、基準画像５１上の写り込み５１１を低減するための参照画像の取得を支援する通知を出力する。例えば、通知処理部４２は、基準画像５１上の写り込み５１１を、プレビュー画像５２上の対応する領域５２２に表示する。この通知処理部４２は、写り込み検出部４２１、対応点検出部４２２、位置合わせ部４２３、および通知生成部４２４を含む。
　写り込み検出部４２１は、基準画像５１から写り込み領域５１１を検出する。写り込み検出部４２１は、例えば、画像内のある画素に、写り込みに起因する白とびが発生しているか否かを推定し、その推定結果に基づく評価値を算出する。この評価値には、例えば、白とび（写り込み）が発生している可能性が高いほど、小さな評価値が設定される。換言すると、この評価値には、写り込みが発生している可能性が低く、写り込みの軽減に適しているほど、大きな評価値が設定される。写り込み検出部４２１は、基準画像５１内の画素に対応する第１評価値を算出し、しきい値未満の評価値を有する画素を写り込みとして検出する。
　対応点検出部４２２は基準画像５１上の特徴点を検出する。この特徴点は、ＳＩＦＴ（scale-invariant feature transform）やＳＵＲＦ（speeded up robust features）等の、画像上での被写体の回転や変形にロバストな局所特徴量を用いて検出された画像内の角等を示し、一枚の画像から複数検出され得る。また、対応点検出部４２２は、基準画像５１の場合と同様にしてプレビュー画像５２上の特徴点を検出する。
　次いで、対応点検出部４２２は基準画像５１とプレビュー画像５２との対応点を検出する。対応点検出部４２２は、基準画像５１およびプレビュー画像５２から検出された特徴点を用いて、基準画像５１上の特徴点に対応する、参照画像５２上の特徴点を検出することによって、基準画像５１とプレビュー画像５２との対応点を検出する。
　位置合わせ部４２３は、検出された対応点に基づいて、基準画像５１とプレビュー画像５２とを位置合わせする。より具体的には、位置合わせ部４２３は、対応点を用いて、基準画像５１上の特徴点の位置を、プレビュー画像５２上の対応する特徴点の位置に一致させる変換係数（例えば、射影変換係数）を算出する。位置合わせ部４２３は、例えば、最小二乗法やＲＡＮＳＡＣ（random sample consensus）を用いて、対応点から変換係数を推定する。
　通知生成部４２４は、基準画像５１とプレビュー画像５２との対応点に基づいて、基準画像５１上の写り込み５１１を、プレビュー画像５２上の対応する領域５２２に変換する。より具体的には、通知生成部４２４は、対応点を用いて算出された射影変換係数に基づいて、基準画像５１上の写り込み５１１を、プレビュー画像５２上の対応する領域５２２に射影変換する。なお、この変換は、射影変換に限らず、アフィン変換、平行移動、等であってもよい。そして、通知生成部４２４は、プレビュー画像５２に、基準画像５１上の写り込み５１１に対応する領域５２２を重畳して表示する。
　これによりユーザは、基準画像５１に含まれていた写り込み５１１の位置が、プレビュー画像５２上では、領域５２２に対応することを確認できる。したがってユーザは、写り込み５１１に対応するプレビュー画像５２上の領域５２２を確認することによって、カメラモジュール１０９（カメラモジュール１０９が内蔵されたタブレットコンピュータ１０）を、基準画像５１に含まれていた写り込み５１１と、プレビュー画像５２上の現在の写り込み５２１とが重ならないように容易に移動させることができる。ユーザは、基準画像５１に含まれていた写り込み５１１と、プレビュー画像５２上の現在の写り込み５２１とが重ならない撮影位置で参照画像の撮影（生成）を指示する（例えば、撮影を指示するためのボタンを押す）。カメラモジュール１０９は、この指示に応じて、被写体が撮影された参照画像を生成する。これにより、写り込み低減画像を取得するための参照画像を効率的に取得することができる。
　なお、表示中のプレビュー画像５２は、例えば、カメラモジュール１０９による画像の更新レートに応じて更新される。画像処理プログラム２０２内の各部は、プレビュー画像５２の更新に応じて、参照画像の取得を支援するための通知（例えば、基準画像５１上の写り込み５１１に対応する、プレビュー画像５２上の領域５２２の表示）も更新されるように構成される。なお、位置合わせ部４２３は、基準画像５１とプレビュー画像５２との位置合わせを行った後（すなわち、基準画像５１とプレビュー画像５２との間の変換係数を算出した後）、基準画像５１上の写り込み５１１に対応する、プレビュー画像５２上の対応する領域５２２を、プレビュー画像５２の更新毎に追跡してもよい。この追跡によって画像全体の位置合わせを行わずに済むので、処理量を削減することができる。
　また、図６はプレビュー表示中の通知の別の２つの例を示す。ここでは、撮影済みの画像（基準画像）６１に写り込み領域６１１が含まれていることを想定する。
　第１の例では、基準画像６１上の写り込み領域６１１（第１領域）が、プレビュー画像６２上の対応する領域に変換された変換写り込み領域（第３領域）の内、そのプレビュー画像６２によって写り込みが軽減される領域６２２が、プレビュー画像６２上に表示されている。つまり、変換写り込み領域（第３領域）の内、プレビュー画像６２上の写り込み領域６２１（第２領域）と重複していない領域が、プレビュー画像６２によって写り込みが軽減される領域６２２として表示されている。
　この第１の例の場合、写り込み検出部４２１は、基準画像６１から写り込みが発生している写り込み領域６１１（第１領域）を検出し、プレビュー画像６２から写り込みが発生している写り込み領域６２１（第２領域）を検出する。また、対応点検出部４２２は、基準画像６１とプレビュー画像６２との対応点を検出する。そして、位置合わせ部４２３は、検出された対応点に基づいて、基準画像６１上の特徴点の位置を、プレビュー画像５２上の対応する特徴点の位置に一致させる変換係数（すなわち、基準画像６１とプレビュー画像６２とを位置合わせする変換係数）を算出する。
　次いで、通知生成部４２４は、算出された変換係数を用いて、基準画像６１上の写り込み領域６１１（第１領域）をプレビュー画像６２上の対応する領域（第３領域）に変換する。通知生成部４２４は、この基準画像６１上の写り込み６１１に対応するプレビュー画像６２上の領域（第３領域）の内、プレビュー画像６２上の現在の写り込み６２１（第２領域）とは重なっていない領域を検出する。この検出された領域が、上述したプレビュー画像６２によって写り込みが軽減される領域６２２に相当する。通知生成部４２４は、プレビュー画像６２によって写り込みが軽減される領域６２２をプレビュー画像６２上に重畳して表示する
　第２の例では、基準画像６１上の写り込み領域６１１（第１領域）が、プレビュー画像６３上の対応する領域に変換された変換写り込み領域（第３領域）の内、プレビュー画像６３を用いても写り込みが残る（すなわち、写り込みが軽減されない）領域６３２が、プレビュー画像６３上に表示されている。つまり、変換写り込み領域（第３領域）の内、プレビュー画像６３上の写り込み領域６３１（第２領域）と重複している領域が、プレビュー画像６３を用いても写り込みが残る領域６３２として表示されている。
　この第２の例の場合にも、上述した第１の例と同様に、基準画像６１上の写り込み６１１（第１領域）がプレビュー画像６３上の対応する領域（第３領域）に変換される。通知生成部４２４は、この基準画像６１上の写り込み６１１（第１領域）に対応するプレビュー画像６３上の領域（第３領域）の内、プレビュー画像６３上の現在の写り込み６３１（第２領域）と重なっている部分を検出する。この検出された部分が、上述したプレビュー画像６３を用いても写り込みが残る領域６３２に相当する。通知生成部４２４は、プレビュー画像６３を用いても写り込みが残る領域６３２をプレビュー画像６３上に重畳して表示する。
　なお、通知生成部４２４は、これらの２つの通知を組み合わせて、写り込みが軽減される領域６２２と写り込みが残る領域６３２とが併せて表示されるようにしてもよい。また通知生成部４２４は、写り込みが軽減される領域６２２と写り込みが残る領域６３２の各々を、例えば、特定の色や、特定の透過度で表示されるようにしてもよい。また、これら領域６２２，６３２を特定のパターンで点滅させるようにしてもよい。これにより、写り込みが軽減される領域６２２や写り込みが残る領域６３２をユーザに識別され易いように表示することができる。
　また、図７および図８に示すように、プレビュー画像の表示中に、基準画像上の写り込みを低減するための参照画像の取得を支援するために、カメラ１０９を移動させる方向を通知するようにしてもよい。
　図７に示す例では、基準画像７１に縦長の写り込み７１１が含まれている場合、この縦長の写り込み７１１が低減されるように、カメラ１０９を水平方向（左方向、または右方向）に移動させることが、音声やＧＵＩを用いて通知される。この縦長の写り込み７１１は、垂直方向のサイズ（長さ）が水平方向のサイズ（長さ）よりも大きい（長い）形状を有する。この縦長の写り込み７１１は基準画像７１上の左側に写っているので、例えば、当該写り込み７１１がより右側に写るように、すなわち、プレビュー画像７２上の写り込み７２１のように写るように、カメラ１０９を移動させることが通知される。
　また、図８に示す例では、基準画像７５に横長の写り込み７５１が含まれている場合、この横長の写り込み７５１が低減されるように、カメラ１０９を垂直方向（上方向、または下方向）に移動させることが、音声がＧＵＩを用いて通知される。この横長の写り込み７５１は、水平方向のサイズが垂直方向のサイズよりも大きい形状を有する。この横長の写り込み７５１は基準画像７５上の上側に写っているので、例えば、当該写り込み７５１がより下側に写るように、すなわち、プレビュー画像７６上の写り込み７６１のように写るように、カメラ１０９を移動させることが通知される。
　画像処理プログラム２０２は、図７および図８に示す例を実現するために以下のように動作する。　
　まず、写り込み検出部４２１が基準画像７１，７５から写り込み領域７１１，７５１を検出する。写り込み検出部４２１は、検出された写り込み領域の垂直方向のサイズと水平方向のサイズとを検出する。
　通知生成部４２４は、写り込み領域７１１，７５１の垂直方向のサイズが写り込み領域７１１，７５１の水平方向のサイズよりも大きい場合、カメラ（カメラモジュール）１０９を水平方向に移動させることを示唆する通知を行う。例えば、通知生成部４２４は、スピーカ１８から、カメラを水平方向に移動させるよう指示する音声を出力する。また、通知生成部４２４は、カメラを水平方向に移動させるよう指示するテキストや矢印の画像（図形）のような、各種のＧＵＩを画面に表示してもよい。
　また、通知生成部４２４は、写り込み領域７１１，７５１の垂直方向のサイズが写り込み領域７１１，７５１の水平方向のサイズ未満である場合（または写り込み領域７１１，７５１の垂直方向のサイズが写り込み領域７１１，７５１の水平方向のサイズ以下である場合）、カメラ（カメラモジュール）１０９を垂直方向に移動させることを示唆する通知を行う。例えば、通知生成部４２４は、スピーカ１８から、カメラを垂直方向に移動させるよう指示する音声を出力する。また、通知生成部４２４は、カメラを垂直方向に移動させるよう指示するテキストや矢印の画像のような、各種のＧＵＩを画面に表示してもよい。
　通知生成部４２４は、さらに、写り込み領域７１１，７５１が存在する基準画像７１，７５上の位置に基づいて、写り込み領域７１１，７５１の現在の位置とは反対方向（例えば、基準画像７１，７５上の左側にあるときは右方向）に、当該写り込み領域７１１，７５１を動かすことを通知してもよい。
　ユーザは、このような音声出力や表示による通知に従ってカメラ１０９を移動させ、その位置で参照画像の撮影を指示する。カメラモジュール１０９は、この指示に応じて、被写体が撮影された参照画像を生成する。これにより、写り込み低減画像を取得するための参照画像を効率的に取得することができる。
　合成画像生成部４３は、基準画像と取得された参照画像とを合成することによって、写り込み低減画像を生成する。合成画像生成部４３は、例えば、写り込み検出部４２１、対応点検出部４２２および位置合わせ部４２３と連携して、基準画像に参照画像を位置合わせし、基準画像と位置合わせされた参照画像とをアルファブレンディングすることによって、写り込み低減画像を生成する。
　図９を参照して、基準画像３１と参照画像３２とを用いて写り込みが低減された画像が生成される例を説明する。図９に示す例では、基準画像３１には反射による写り込み（白とび）３１１が生じ、また参照画像３２には、基準画像３１上の写り込み３１１とは異なる位置に写り込み３２１が生じている。
　合成画像生成部４３は、基準画像３１から、出力画像として取得する範囲に対応する切り出し範囲３１２を検出する。例えば、合成画像生成部４３は、基準画像３１に含まれる複数の画素の画素値（輝度値）を用いて、基準画像３１内のエッジを検出する。そして、合成画像生成部４３は、検出されたエッジによって構成される最大の四角形を切り出し範囲３１２として検出する。これにより、例えば、基準画像３１内でホワイトボード（被写体）が写っている範囲を切り出し範囲３１２として検出することができる。
　対応点検出部４２２および位置合わせ部４２３は、被写体（例えば、ホワイトボード）が撮影された基準画像３１に対して、基準画像３１とは異なる位置から当該被写体が撮影された参照画像３２を位置合わせする。つまり、対応点検出部４２２および位置合わせ部４２３は、参照画像３２上の画素の位置が、基準画像３１上の対応する画素の位置と一致するように、参照画像３２を位置合わせする。
　まず、対応点検出部４２２は、基準画像３１と参照画像３２との対応点を検出する。より具体的には、対応点検出部４２２は、基準画像３１と参照画像３２の各々から特徴点を検出する。対応点検出部４２２は、基準画像３１および参照画像３２から検出された特徴点を用いて、基準画像３１上の特徴点に対応する、参照画像３２上の特徴点を検出することによって、基準画像３１と参照画像３２との対応点を検出する。
　図９に示す例では、対応点検出部４２２は、基準画像３１上の特徴点３１Ａに対応する、参照画像３２上の特徴点３２Ａを検出している。つまり、対応点検出部４２２は、基準画像３１上の特徴点３１Ａと参照画像３２上の特徴点３２Ａとを対応点として検出する。同様に、対応点検出部４２２は、基準画像３１上の特徴点３１Ｂに対応する、参照画像３２上の特徴点３２Ｂを検出する。つまり、対応点検出部４２２は、基準画像３１上の特徴点３１Ｂと参照画像３２上の特徴点３２Ｂとを対応点として検出する。同様にして、対応点検出部４２２は、基準画像３１と参照画像３２との多数の対応点を検出する。
　位置合わせ部４２３は、検出された対応点に基づいて参照画像３２を射影変換する。より具体的には、位置合わせ部４２３は、対応点を用いて、参照画像３２上の画素を、対応する基準画像３１上の画素と同じ位置に配置するための射影変換係数を算出する。そして、位置合わせ部４２３は、推定された射影変換係数に基づいて、参照画像３２を射影変換した変換画像（以下、射影変換画像とも称する）４３を生成する。つまり、位置合わせ部４２３は、この変換係数に基づいて、基準画像３１内の画素と、参照画像３２内の対応する画素とを決定する。この射影変換によって、図９に示すように、参照画像３２上の写り込み３２１も、射影変換画像３３上の写り込み３３１に変換されている。なお、射影変換画像３３上の領域３３２は、射影変換画像３３上の画素に対応する、参照画像３２上の画素が存在しなかった領域を示している。
　写り込み検出部４２１は、基準画像３１上の写り込み３１１と射影変換画像３３上の写り込み３２１とを検出する。より具体的には、写り込み検出部４２１は、例えば、画像内のある画素に、写り込みに起因する白とびが発生しているか否かを推定し、その推定結果に基づく評価値を算出する。この評価値には、例えば、白とび（写り込み）が発生している可能性が高いほど、小さな評価値が設定される。したがって、写り込み検出部４２１は、基準画像３１内の画素に対応する第１評価値を算出し、参照画像３２が変換された射影変換画像３３内の画素に対応する第２評価値を算出する。
　なお、上述したように、写り込み検出部４２１、対応点検出部４２２および位置合わせ部４２３による処理は、プレビュー表示時に既に行われている場合がある。その場合には、既に得られている処理結果を用いることによって、参照画像３２が取得された後に行われる同様の処理を省略することができる。
　次いで、合成画像生成部４３は、基準画像３１と射影変換画像３３（すなわち、射影変換された参照画像３２）とを合成することによって、写り込み軽減画像３４を生成する。
　より具体的には、合成画像生成部４３は、算出された第１評価値と第２評価値とに基づいて、重みマップ（アルファマップ）を生成する。第１評価値は、基準画像３１内の画素が、基準画像３１と射影変換画像３３との合成（すなわち、合成画像の算出）に適した画素である度合いを示す。第２評価値は、射影変換画像３３内の画素が、基準画像３１と射影変換画像３３との合成に適した画素である度合いを示す。重みマップは、例えば、射影変換画像３３と基準画像３１とをアルファブレンディングするための重みαを含む。重みマップは、一方の画像上の画素に対する重みαを示す。重みαは、例えば、０から１までの値である。その場合、他方の画像上の画素に対する重みは（１－α）である。
　重みマップは、基準画像３１上で白とびが検出された位置（例えば、第１評価値＝０である位置）では、基準画像３１の画素（画素値）に対する重みを小さくし、参照画像３２の射影変換画像３３の画素に対する重みを大きくするように構成される。また、重みマップは、射影変換画像３３上で白とびが検出された位置（例えば、第２評価値＝０である位置）では、基準画像３１の画素に対する重みを大きくし、射影変換画像３３の画素に対する重みを小さくするように構成される。
　つまり、重みマップは、第１評価値が、対応する第２評価値よりも大きい場合、基準画像３１の画素（画素値）に対する重みを、射影変換画像３３の画素に対する重みよりも大きくするように構成される。また、重みマップは、第１評価値が、対応する第２評価値よりも小さい場合、基準画像３１の画素に対する重みを、射影変換画像３３の画素に対する重みよりも小さくするように構成される。さらに、第１評価値が、対応する第２評価値と等しい場合、基準画像３１の画素に対する重みと、射影変換画像３３の画素に対する重みとが等しくなるように構成される。
　合成画像生成部４３は、生成された重みマップに基づいて、基準画像３１と参照画像３２の射影変換画像３３とを重み付け加算（アルファブレンディング）することによって、写り込み軽減画像（合成画像）３４を生成する。合成画像生成部４３は、例えば、重みαで重み付けされた基準画像３１内の画素の画素値と、重み（１－α）で重み付けされた射影変換画像３３内の対応する画素の画素値との和を算出することによって、写り込み軽減画像３４を生成する。
　合成画像生成部４３は、さらに、算出された写り込み軽減画像３４から、切り出し範囲３１２に対応する画像を切り出す。そして、合成画像生成部４３は、切り出された画像に歪み補正（矩形補正）を施すことによって、写り込みが軽減され、且つ矩形に補正された画像３５を生成する。これによりユーザは、写り込みが軽減され、且つ矩形に補正された画像３５を閲覧することが可能になる。
　また、合成画像生成部４３は、写り込み軽減画像３４（または写り込みが軽減され、且つ矩形に補正された画像３５）を新たな基準画像３１に設定する。そして、通知生成部４２４は、例えば、この新たな基準画像３１上の写り込み領域に基づいて、当該写り込み領域に対応するプレビュー画像上の領域（変換写り込み領域）を、プレビュー画像上に表示する。したがって、参照画像３２を取得し、この参照画像３２を用いて基準画像３１上の写り込みを軽減する処理が繰り返されることによって、プレビュー画像上に表示される変換写り込み領域を小さくしていくことができる。
　次いで、図１０のフローチャートを参照して、タブレットコンピュータ１０によって実行される写り込み低減処理の手順の例を説明する。
　まず、カメラモジュール１０９は基準画像５１を生成する（ブロックＢ１０１）。写り込み検出部４２１は、基準画像５１から写り込み領域５１１を検出する（ブロックＢ１０２）。また、プレビュー処理部４１は、カメラモジュール１０９によって撮影されている画像（プレビュー画像）５２を画面にプレビュー表示する（ブロックＢ１０３）。
　次いで、対応点検出部４２２は、基準画像５１とプレビュー画像５２との対応点を検出する（ブロックＢ１０４）。そして、通知生成部４２４は、基準画像５１上の写り込み領域５１１を、プレビュー画像５２上の対応する領域（以下、変換写り込み領域とも称する）に変換し（ブロックＢ１０５）、プレビュー画像５２上に、変換写り込み領域５２２を重畳して表示する（ブロックＢ１０６）。
　次いで、カメラモジュール１０９は、プレビュー表示中の画像を取得する指示があった否かを判定する（ブロックＢ１０７）。プレビュー表示中の画像を取得する指示があった場合（ブロックＢ１０７のＹＥＳ）、カメラモジュール１０９は、プレビュー表示中の画像を用いて参照画像を生成する（ブロックＢ１０８）。
　合成画像生成部４３は、基準画像５１と参照画像とを合成することによって、写り込み低減画像を生成する（ブロックＢ１０９）。合成画像生成部４３は、例えば、写り込み検出部４２１、対応点検出部４２２および位置合わせ部４２３と連携して、基準画像５１と参照画像とを位置合わせし、位置合わせされた基準画像５１と参照画像とをアルファブレンディングすることによって、写り込み低減画像を生成する。そして、合成画像生成部４３は、生成された写り込み低減画像を、新たな基準画像に設定する（ブロックＢ１１０）。
　また、プレビュー表示中の画像を取得する指示がない場合（ブロックＢ１０７のＮＯ）、プレビュー処理部４１は、撮影（プレビュー）を終了するか否かを判定する（ブロックＢ１１１）。撮影を終了しない場合（ブロックＢ１１１のＮＯ）、ブロックＢ１０３に戻り、新たなプレビュー画像５２上への変換写り込み領域５２２の重畳表示を続行する。撮影を終了する場合（ブロックＢ１１１のＹＥＳ）、処理を終了する。
　図１１のフローチャートは、写り込み低減処理の手順の別の例を示す。　
　まず、カメラモジュール１０９は基準画像６１を生成する（ブロックＢ２０１）。写り込み検出部４２１は、基準画像６１から写り込み領域６１１を検出する（ブロックＢ２０２）。また、プレビュー処理部４１は、カメラモジュール１０９によって撮影されている画像（プレビュー画像）６２を画面にプレビュー表示する（ブロックＢ２０３）。
　写り込み検出部４２１は、プレビュー画像６２から写り込み領域６２１を検出する（ブロックＢ２０４）。対応点検出部４２２は、基準画像６１とプレビュー画像６２との対応点を検出する（ブロックＢ２０５）。通知生成部４２４は、基準画像６１上の写り込み領域６１１を、プレビュー画像６２上の対応する領域（変換写り込み領域）に変換し（ブロックＢ２０６）、プレビュー画像６２によって低減される領域６２２を検出する（ブロックＢ２０７）。つまり、通知生成部４２４は、変換写り込み領域の内、プレビュー画像６２上で写り込み領域ではない領域６２２を検出する。そして、通知生成部４２４は、この写り込みが低減される領域６２２をプレビュー画像６２上に重畳して表示する（ブロックＢ２０８）。
　次いで、カメラモジュール１０９は、プレビュー表示中の画像を取得する指示があった否かを判定する（ブロックＢ２０９）。プレビュー表示中の画像を取得する指示があった場合（ブロックＢ２０９のＹＥＳ）、カメラモジュール１０９は、プレビュー表示中の画像を用いて参照画像を生成する（ブロックＢ２１０）。
　合成画像生成部４３は、基準画像６１と参照画像とを合成することによって、写り込み低減画像を生成する（ブロックＢ２１１）。合成画像生成部４３は、例えば、写り込み検出部４２１、対応点検出部４２２および位置合わせ部４２３と連携して、基準画像６１と参照画像とを位置合わせし、位置合わせされた基準画像６１と参照画像とをアルファブレンディングすることによって、写り込み低減画像を生成する。そして、合成画像生成部４３は、生成された写り込み低減画像を、新たな基準画像に設定する（ブロックＢ２１２）。
　また、プレビュー表示中の画像を取得する指示がない場合（ブロックＢ２０９のＮＯ）、プレビュー処理部４１は、撮影（プレビュー）を終了するか否かを判定する（ブロックＢ２１３）。撮影を終了しない場合（ブロックＢ２１３のＮＯ）、ブロックＢ２０３に戻り、新たなプレビュー画像６２上への写り込みが低減される領域６２２の重畳表示を続行する。撮影を終了する場合（ブロックＢ２１３のＹＥＳ）、処理を終了する。
　次いで、図１２に示すフローチャートを参照して、写り込み低減処理の手順のさらに別の例を説明する。　
　まず、カメラモジュール１０９は基準画像７１を生成する（ブロックＢ３０１）。写り込み検出部４２１は、基準画像７１から写り込み領域７１１を検出し（ブロックＢ３０２）、検出された写り込み領域７１１のアスペクト比を算出する（ブロックＢ３０３）。このアスペクト比は、例えば、写り込み領域７１１を包含する矩形の垂直方向（縦方向）の辺の長さと水平方向（横方向）の辺の長さとの比である。また、プレビュー処理部４１は、カメラモジュール１０９によって撮影されている画像（プレビュー画像）７２を画面にプレビュー表示する（ブロックＢ３０４）。
　次いで、通知生成部４２４は、写り込み領域７１１の垂直方向の長さが、写り込み領域７１１の水平方向の長さよりも長いか否かを判定する（ブロックＢ３０５）。写り込み領域７１１の垂直方向の長さが水平方向の長さよりも長い場合（ブロックＢ３０５のＹＥＳ）、通知生成部４２４はカメラ（カメラモジュール）１０９を水平方向に移動させることを通知する（ブロックＢ３０６）。通知生成部４２４は、例えばスピーカ１８から、カメラを水平方向に移動させるよう指示する音声を出力する。また、通知生成部４２４は、カメラを水平方向に移動させるよう指示するテキストや矢印の画像のような、各種のＧＵＩを画面に表示してもよい。
　また、写り込み領域７１１の垂直方向の長さが水平方向の長さ以下である場合（ブロックＢ３０５のＮＯ）、通知生成部４２４は、カメラ（カメラモジュール）１０９を垂直方向に移動させることを通知する（ブロックＢ３０７）。通知生成部４２４は、例えばスピーカ１８から、カメラを垂直方向に移動させるよう指示する音声を出力する。また、通知生成部４２４は、カメラを垂直方向に移動させるよう指示するテキストや矢印の画像のような、各種のＧＵＩを画面に表示してもよい。
　次いで、カメラモジュール１０９は、プレビュー表示中の画像を取得する指示があった否かを判定する（ブロックＢ３０８）。プレビュー表示中の画像を取得する指示があった場合（ブロックＢ３０８のＹＥＳ）、カメラモジュール１０９は、プレビュー表示中の画像を用いて参照画像を生成する（ブロックＢ３０９）。
　合成画像生成部４３は、基準画像７１と参照画像とを合成することによって、写り込み低減画像を生成する（ブロック３１０）。合成画像生成部４３は、例えば、写り込み検出部４２１、対応点検出部４２２および位置合わせ部４２３と連携して、基準画像７１と参照画像とを位置合わせし、位置合わせされた基準画像７１と参照画像とをアルファブレンディングすることによって、写り込み低減画像を生成する。そして、合成画像生成部４３は、生成された写り込み低減画像を、新たな基準画像に設定する（ブロックＢ３１１）。
　また、プレビュー表示中の画像を取得する指示がない場合（ブロック３０８のＮＯ）、プレビュー処理部４１は、撮影（プレビュー）を終了するか否かを判定する（ブロックＢ３１２）。撮影を終了しない場合（ブロックＢ３１２のＮＯ）、ブロックＢ３０２に戻り、プレビュー画像７２の表示中における、カメラの移動方向の通知を続行する。撮影を終了する場合（ブロックＢ３１２のＹＥＳ）、処理を終了する。
　以上説明したように、本実施形態によれば、画像上に捉えられた写り込みを軽減するための画像を効率的に取得することができる。写り込み検出部４２１は、被写体が撮影された基準画像から、写り込みが発生している写り込み領域（第１領域）を検出する。通知処理部４２は、カメラモジュール１０９を用いて撮影される被写体のプレビュー画像が画面に表示されているとき、検出された写り込み領域に基づいて、当該被写体の撮影位置を決定するための情報をユーザに通知する。これによりユーザは、通知に従ってカメラモジュール１０９を移動させるので、写り込みが低減された画像を取得するための参照画像を効率的に取得することができる。
　なお、図１０から図１２のフローチャートで説明した本実施形態の処理手順は全てソフトウェアによって実行することができる。このため、この処理手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (15)

  1. 　被写体が撮影された第１画像から、写り込みが発生している第１領域を検出する写り込み検出手段と、
    　カメラモジュールを用いて撮影される前記被写体のプレビュー画像が画面に表示されているとき、前記第１領域に基づいて、前記被写体の撮影位置を決定するための情報をユーザに通知する通知手段とを具備する電子機器。
  2. 　前記第１画像と前記プレビュー画像との対応点を検出する対応点検出手段をさらに具備し、
    　前記通知手段は、前記対応点に基づいて、前記第１領域を、前記プレビュー画像上の対応する第２領域に変換し、前記プレビュー画像上に前記第２領域を表示する請求項１記載の電子機器。
  3. 　前記第１画像と前記プレビュー画像との対応点を検出する対応点検出手段をさらに具備し、
    　前記写り込み検出手段は、前記プレビュー画像から、写り込みが発生している第２領域を検出し、
    　前記通知手段は、前記対応点に基づいて、前記第１領域を、前記プレビュー画像上の対応する第３領域に変換し、当該第３領域の内、前記第２領域とは重複していない領域を、前記プレビュー画像上に表示する請求項１記載の電子機器。
  4. 　前記第１画像と前記プレビュー画像との対応点を検出する対応点検出手段をさらに具備し、
    　前記写り込み検出手段は、前記プレビュー画像から写り込みが発生している第２領域を検出し、
    　前記通知手段は、前記対応点に基づいて、前記第１領域を、前記プレビュー画像上の対応する第３領域に変換し、当該第３領域の内、前記第２領域と重複している領域を、前記プレビュー画像上に表示する請求項１記載の電子機器。
  5. 　前記通知手段は、前記第１領域の形状に基づいて、前記カメラモジュールを移動させる方向を通知する請求項１記載の電子機器。
  6. 　前記通知手段は、前記第１領域のアスペクト比に基づいて、前記カメラモジュールを移動させる方向を通知する請求項５記載の電子機器。
  7. 　前記通知手段は、前記第１領域の垂直方向のサイズが前記第１領域の水平方向のサイズよりも大きい場合、前記カメラモジュールを水平方向に移動させることを通知する請求項５記載の電子機器。
  8. 　前記通知手段は、前記第１領域の垂直方向のサイズが前記第１領域の水平方向のサイズ未満である場合、前記カメラモジュールを垂直方向に移動させることを通知する請求項５記載の電子機器。
  9. 　前記通知手段は、前記方向を示す音声を出力する請求項５記載の電子機器。
  10. 　前記通知手段は、前記方向を示すテキストまたは画像を前記画面に表示する請求項５記載の電子機器。
  11. 　前記カメラモジュールは、前記プレビュー画像が表示されているとき、前記ユーザによる指示に応じて前記被写体が撮影された第２画像を生成し、
    　前記第１画像と前記第２画像との対応点を検出する対応点検出手段と、
    　前記対応点に基づいて、前記第１画像内の画素と前記第２画像内の対応する画素とを用いて合成画像を生成する生成手段をさらに具備する請求項１記載の電子機器。
  12. 　前記生成手段は、前記第１画像内の画素に対応する第１評価値を算出し、前記第２画像内の画素に対応する第２評価値を算出し、前記第１評価値と前記第２評価値とに基づいて重みを算出し、前記重みに基づいて、前記第１画像内の画素と前記第２画像内の対応する画素とを重み付け加算することによって、前記合成画像を生成する請求項１１記載の電子機器。
  13. 　前記生成手段は、前記対応点に基づく変換係数を算出し、前記変換係数に基づいて、前記第１画像内の画素と前記第２画像内の対応する画素とを決定する請求項１２記載の電子機器。
  14. 　被写体が撮影された第１画像から、写り込みが発生している第１領域を検出し、
    　カメラモジュールを用いて撮影される前記被写体のプレビュー画像が画面に表示されているとき、前記第１領域に基づいて、前記被写体の撮影位置を決定するための情報をユーザに通知する通知制御方法。
  15. 　コンピュータにより実行されるプログラムであって、前記プログラムは、
    　被写体が撮影された第１画像から、写り込みが発生している第１領域を検出する手順と、
    　カメラモジュールを用いて撮影される前記被写体のプレビュー画像が画面に表示されているとき、前記第１領域に基づいて、前記被写体の撮影位置を決定するための情報をユーザに通知する手順とを前記コンピュータに実行させるプログラム。
PCT/JP2013/072740 2013-08-26 2013-08-26 電子機器および通知制御方法 WO2015029114A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2013/072740 WO2015029114A1 (ja) 2013-08-26 2013-08-26 電子機器および通知制御方法
US14/942,739 US20160073035A1 (en) 2013-08-26 2015-11-16 Electronic apparatus and notification control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/072740 WO2015029114A1 (ja) 2013-08-26 2013-08-26 電子機器および通知制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/942,739 Continuation US20160073035A1 (en) 2013-08-26 2015-11-16 Electronic apparatus and notification control method

Publications (1)

Publication Number Publication Date
WO2015029114A1 true WO2015029114A1 (ja) 2015-03-05

Family

ID=52585735

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/072740 WO2015029114A1 (ja) 2013-08-26 2013-08-26 電子機器および通知制御方法

Country Status (2)

Country Link
US (1) US20160073035A1 (ja)
WO (1) WO2015029114A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181595A (ja) * 2016-06-09 2020-11-05 グーグル エルエルシー 視覚的な障害物を通して写真を撮影する方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586316B2 (en) 2017-08-07 2020-03-10 Morphotrust Usa, Llc Reduction of glare in imaging documents
US20190205634A1 (en) * 2017-12-29 2019-07-04 Idemia Identity & Security USA LLC Capturing Digital Images of Documents
JP2021527263A (ja) 2018-06-12 2021-10-11 アイディー メトリクス グループ インコーポレイテッド アクティブ照明システムによるデジタル画像生成方法
US20210390747A1 (en) * 2020-06-12 2021-12-16 Qualcomm Incorporated Image fusion for image capture and processing systems
WO2022001615A1 (en) * 2020-06-29 2022-01-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for automatically removing glare regions

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287504A (ja) * 2005-03-31 2006-10-19 Casio Comput Co Ltd 撮影装置、撮影画像の画像処理方法及びプログラム
JP2013085184A (ja) * 2011-10-12 2013-05-09 Olympus Imaging Corp 撮影装置および撮影方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050129324A1 (en) * 2003-12-02 2005-06-16 Lemke Alan P. Digital camera and method providing selective removal and addition of an imaged object
US7760962B2 (en) * 2005-03-30 2010-07-20 Casio Computer Co., Ltd. Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced
KR101444103B1 (ko) * 2008-03-14 2014-09-26 삼성전자주식회사 상태 정보를 이용하여 미디어 신호를 생성하는 방법 및장치
US8488040B2 (en) * 2010-06-18 2013-07-16 Microsoft Corporation Mobile and server-side computational photography
CN103384998B (zh) * 2011-03-31 2015-07-15 富士胶片株式会社 摄像装置、及摄像方法
US8988556B1 (en) * 2012-06-15 2015-03-24 Amazon Technologies, Inc. Orientation-assisted object recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287504A (ja) * 2005-03-31 2006-10-19 Casio Comput Co Ltd 撮影装置、撮影画像の画像処理方法及びプログラム
JP2013085184A (ja) * 2011-10-12 2013-05-09 Olympus Imaging Corp 撮影装置および撮影方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181595A (ja) * 2016-06-09 2020-11-05 グーグル エルエルシー 視覚的な障害物を通して写真を撮影する方法
JP7072606B2 (ja) 2016-06-09 2022-05-20 グーグル エルエルシー 視覚的な障害物を通して写真を撮影する方法

Also Published As

Publication number Publication date
US20160073035A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
US11846877B2 (en) Method and terminal for acquiring panoramic image
US10136069B2 (en) Apparatus and method for positioning image area using image sensor location
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
US10055081B2 (en) Enabling visual recognition of an enlarged image
WO2015029114A1 (ja) 電子機器および通知制御方法
KR102076771B1 (ko) 다수의 이미지 동시 포착
US20140240540A1 (en) Apparatus and method for processing an image in device
US9509733B2 (en) Program, communication apparatus and control method
US20120306786A1 (en) Display apparatus and method
CN106162150B (zh) 一种拍照方法及移动终端
JP2015126326A (ja) 電子機器及び画像処理方法
KR102082365B1 (ko) 이미지 처리 방법 및 그 전자 장치
CN105578020B (zh) 自拍***及方法
JP6092371B2 (ja) 電子機器および画像処理方法
JP6290038B2 (ja) 電子機器、方法及びプログラム
JPWO2016125351A1 (ja) 操作装置、追尾システム、操作方法、及びプログラム
US20140179369A1 (en) Apparatus and method for providing proximity-based zooming
US9524702B2 (en) Display control device, display control method, and recording medium
KR20140130887A (ko) 썸네일 이미지 생성 방법 및 그 전자 장치
WO2015136697A1 (ja) 電子機器及び画像処理方法
WO2018214284A1 (zh) 一种应用于终端的拍摄图像的方法及终端设备
JP2018078586A (ja) パノラマ画像を取得する方法及び端末
JP2013025449A (ja) 画像処理装置、及びプログラム
WO2015136698A1 (ja) 電子機器及び画像処理方法
WO2013161134A1 (ja) 電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13892199

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13892199

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP