WO2010131416A1 - 電子カメラ、画像処理装置および画像処理方法 - Google Patents

電子カメラ、画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2010131416A1
WO2010131416A1 PCT/JP2010/002685 JP2010002685W WO2010131416A1 WO 2010131416 A1 WO2010131416 A1 WO 2010131416A1 JP 2010002685 W JP2010002685 W JP 2010002685W WO 2010131416 A1 WO2010131416 A1 WO 2010131416A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
conversion
conversion parameter
unit
parameter
Prior art date
Application number
PCT/JP2010/002685
Other languages
English (en)
French (fr)
Inventor
石井育規
物部祐亮
小倉康伸
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP10774676.0A priority Critical patent/EP2432214A4/en
Priority to US13/002,771 priority patent/US8593522B2/en
Priority to CN201080002005.8A priority patent/CN102084642B/zh
Publication of WO2010131416A1 publication Critical patent/WO2010131416A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/16—Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Definitions

  • the present invention relates to an electronic camera, an image processing device, and the like, and more particularly to an electronic camera, an image processing device, and the like that track an image of an object to be tracked in an input image.
  • the electronic camera has an object tracking function as an alignment means for AF (Auto-Focus), AE (Automatic Exposure) or backlight correction function.
  • the electronic camera is a camera that captures still images or a camera that captures moving images.
  • the electronic camera registers the color information of the image of the designated object as the initial feature amount.
  • the electronic camera then tracks the image of the object by searching for an area similar to the initial feature amount in the image taken after the image of the object is specified.
  • the electronic camera searches for a target area including an image of the target object by executing template matching using color information or calculating a ratio of overlapping hue histograms.
  • a stationary camera for surveillance uses a surrounding condition using information on sunlight conditions and time change. And the stationary camera for surveillance use can change the color of the template in the template matching, for example, according to the estimated environment.
  • the conventional electronic camera corrects the exposure or the color temperature in the shot image according to the changed environment (see, for example, Patent Document 1).
  • the luminance pattern in the screen is determined using the difference between the luminance components inside and outside the detection area set while changing the position in the screen. Then, exposure control is performed using a photometric area set at a position suitable for the determined luminance pattern.
  • the conversion parameter for converting brightness or color in a temporally continuous image is gradually changed to a value suitable for the environment so as not to change suddenly.
  • the conversion parameter for converting the brightness or color temperature of the image changes greatly according to the environment, the user feels uncomfortable or uncomfortable. is there.
  • the electronic camera fails to track the object particularly when the color which is a robust feature amount is used as the feature amount.
  • the present invention has been made in view of the above conventional problems.
  • the present invention provides an electronic camera, an image processing apparatus, and the like that can stably track an image of an object even when a feature amount indicating the image of the object fluctuates due to a change in a shooting environment.
  • the purpose is to provide.
  • an electronic camera tracks an image of an object to be tracked in continuously captured images, and uses the tracking result to perform autofocus processing, automatic exposure,
  • An electronic camera that executes at least one of processing, framing processing by camera control, and automatic photographing processing, information on an initial region that is a region including an image of the object in the first image, and the first image
  • a storage unit for storing a first conversion parameter that is a parameter corresponding to a shooting environment when the image is shot and is a parameter for converting the first image into an image having a predetermined image quality, and the first image For converting the second image into the image having the predetermined image quality according to the shooting environment when the second image, which is an image shot later, is shot.
  • a conversion parameter calculation unit that calculates two conversion parameters; a first conversion parameter stored in the storage unit; and a second conversion parameter calculated by the conversion parameter calculation unit; A region having a feature amount similar to a feature amount quantitatively indicating a feature of the initial region, using a first image conversion unit that converts at least one of the images and an image that has been converted by the first image conversion unit.
  • a tracking processing unit that tracks the image of the object by searching in the second image, and a third conversion parameter in which an amount of change between images captured continuously is suppressed compared to the second conversion parameter.
  • a second image conversion unit for converting the second image, an image after conversion by the second image conversion unit, and an area searched by the tracking processing unit. And an output unit for outputting and to information.
  • the image of the object is tracked using the image converted using the conversion parameter corresponding to the shooting environment. By doing so, it is possible to stably track the image of the object. Furthermore, by outputting an image that is converted using conversion parameters that gradually correspond to changes in the shooting environment, it is possible to reduce discomfort or discomfort when the user views the image.
  • the first, second, and third conversion parameters may include a plurality of pixels constituting the image according to at least one of color temperature, exposure, exposure, and luminance value detected from the captured image.
  • the pixel value may be a parameter for converting the pixel value.
  • the first image conversion unit may convert one of the first and second images using a ratio of the first and second conversion parameters.
  • the first image conversion unit may convert only the image included in the initial region of the first image when converting the first image.
  • the feature amount is a color histogram representing a frequency distribution of colors of pixels constituting the image
  • the tracking processing unit has an area having a color histogram having a largest proportion of a portion overlapping the color histogram of the initial area. May be searched in the second image.
  • the image processing apparatus is an image processing apparatus that tracks an image of an object to be tracked in continuously captured images, and includes an area that includes the image of the object in a first image. And a first conversion parameter that is a parameter corresponding to a shooting environment when the first image is shot and is a parameter for converting the first image into an image having a predetermined image quality.
  • the second image is converted into an image having the predetermined image quality in accordance with an imaging environment when a second image, which is an image captured after the first image, is captured.
  • a conversion parameter calculation unit for calculating a second conversion parameter for the first conversion parameter, a first conversion parameter stored in the storage unit, and a second conversion parameter calculated by the conversion parameter calculation unit.
  • An integrated circuit is an integrated circuit included in an image processing apparatus that tracks an image of an object to be tracked in continuously captured images, and the image processing apparatus includes a first image. And converting the first image into an image having a predetermined image quality, which is information related to an initial region that is an area including the image of the object and a parameter corresponding to a shooting environment when the first image is shot.
  • a storage unit that stores a first conversion parameter that is a parameter for the first conversion parameter, and the integrated circuit according to a shooting environment when a second image that is shot after the first image is shot,
  • a conversion parameter calculation unit that calculates a second conversion parameter for converting the second image into the image having the predetermined image quality; the first conversion parameter stored in the storage unit; and the conversion parameter.
  • a first image conversion unit that converts at least one of the first and second images using the second conversion parameter calculated by the data calculation unit, and an image that has been converted by the first image conversion unit
  • the second image conversion unit that converts the second image using the third conversion parameter in which the amount of change between continuously captured images is suppressed rather than the two conversion parameters, and the second image conversion unit
  • An output unit that outputs the converted image and information indicating the area searched by the tracking processing unit;
  • the present invention may be realized not only as such an image processing apparatus, but also as an image processing method in which operations of characteristic components included in such an image processing apparatus are used as steps.
  • the present invention may also be realized as a program that causes a computer to execute the steps included in such an image processing method.
  • Such a program may be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
  • the electronic camera, the image processing apparatus, and the like according to the present invention use the conversion parameters according to the environmental change even when the environment for capturing the object to be tracked changes. By transforming, it becomes possible to track the image of the object stably. Furthermore, the electronic camera, the image processing apparatus, and the like according to the present invention output an image converted using conversion parameters that gradually correspond to changes in the shooting environment, so that the user feels uncomfortable or uncomfortable when viewing the image. Can also be reduced.
  • FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of an electronic camera which is a specific example of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 3 is a flowchart showing the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 4 is a diagram for explaining a specific example of the operation in the image processing apparatus according to the embodiment of the present invention.
  • FIG. 5 is a diagram for explaining a specific example of the operation related to the search in the image processing apparatus according to the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to an embodiment of the present invention.
  • the image processing apparatus 10 includes an initial region acquisition unit 11, a conversion parameter calculation unit 12, a first image conversion unit 13, a second image conversion unit 14, a tracking processing unit 15, and an output.
  • the initial area acquisition unit 11 acquires information about an initial area that is an area including the image of the object in the first image. Then, the initial area acquisition unit 11 registers information regarding the acquired initial area in the storage unit 17. Specifically, the initial area acquisition unit 11 acquires information indicating the position and size of the initial area, for example.
  • the initial region acquisition unit 11 is positioned at the initial region received when the user touches the touch panel. Get information about. Also, for example, when the user presses the tracking button after aligning the orientation of the electronic camera so that an object to be tracked is captured in a predetermined area such as the center of the display screen, the initial area acquisition unit 11 displays the area. It may be acquired as an initial region.
  • the initial area acquisition unit 11 is a parameter for converting an image according to the shooting environment when the first image is shot, and the first image is referred to as a predetermined image quality (hereinafter simply referred to as “target image quality”). )) (Hereinafter simply referred to as “target image quality image”), a first conversion parameter that is a parameter for conversion is acquired. Then, the initial region acquisition unit 11 registers the acquired first conversion parameter in the storage unit 17.
  • the target image quality means that the image has a color or luminance that satisfies a predetermined condition.
  • the target image quality means that an image has a predetermined color distribution or luminance distribution determined in advance.
  • target image quality means that in an image obtained by photographing a white subject, the color of the subject image is white regardless of the color temperature of the light source.
  • the target image quality means that, for example, an image of a bright subject does not lose gradation (does not skip over).
  • the conversion parameter calculation unit 12 sets a second conversion parameter for converting the second image into a target image quality according to the shooting environment when the second image, which is an image shot after the first image, is shot. calculate.
  • the predetermined image quality is the same as the predetermined image quality in the first conversion parameter described above.
  • the conversion parameter calculation unit 12 calculates a third conversion parameter in which the amount of change between images taken continuously is suppressed rather than the second conversion parameter. That is, the conversion parameter calculation unit 12 calculates a third conversion parameter for converting a captured image into an image that gradually follows a change in the shooting environment.
  • the conversion parameter calculation unit 12 uses a third conversion parameter (hereinafter, simply referred to as “old third conversion parameter”) in the image immediately before the second image and a second image in the second image.
  • the third conversion parameter is calculated such that the difference value with the three conversion parameters is equal to or less than the difference value between the old third conversion parameter and the second conversion parameter in the second image.
  • the first image conversion unit 13 converts at least one of the first and second images using the first conversion parameter stored in the storage unit 17 and the second conversion parameter calculated by the conversion parameter calculation unit 12. . That is, the first image conversion unit 13 converts at least one of the first and second images so that the converted images have the same image quality. Specifically, for example, the first image conversion unit 13 converts the first image using the ratio between the first conversion parameter and the second conversion parameter.
  • the second image conversion unit 14 converts the second image using the third conversion parameter.
  • the tracking processing unit 15 uses the image converted by the first image conversion unit 13 to search the second image for a region having a feature amount most similar to the feature amount quantitatively indicating the feature of the initial region. To track the image of the object. Specifically, for example, the tracking processing unit 15 extracts the feature amount of the selected region while changing the position and size in the second image. Then, the tracking processing unit 15 specifies, as the target region, a region having a feature amount having the smallest difference from the feature amount of the initial region among the calculated feature amounts.
  • the target area is an area including an image of the target object.
  • the feature amount is, for example, a color histogram indicating a frequency distribution of pixel colors in the region.
  • the feature amount may be, for example, an edge detected in a region.
  • the feature amount may be, for example, a luminance value possessed by a pixel constituting the area.
  • the output unit 16 outputs the image after conversion by the second image conversion unit 14 and information indicating the area searched by the tracking processing unit 15. Specifically, the output unit 16, for example, displays an image including an image after being converted by the second image conversion unit 14 and a frame indicating the target area in order to be displayed on a display unit included in an electronic camera or the like. Register in the storage unit 17.
  • the storage unit 17 stores information on the initial area and the first conversion parameter.
  • the first, second, and third conversion parameters are a plurality of pixels that form an image according to at least one of color temperature, exposure, exposure, and luminance value detected from the captured image. Is a parameter for converting a pixel value included in.
  • the first, second, and third conversion parameters are, for example, conversion coefficients that convert luminance values for each RGB of each pixel.
  • FIG. 2 is a block diagram showing a configuration of an electronic camera which is a specific example of the image processing apparatus according to the embodiment of the present invention.
  • the electronic camera 100 includes a photographing lens 101, a shutter 102, an image sensor 103, an AD converter 104, a timing generation circuit 105, an image processing circuit 106, a memory control circuit 107, Image display memory 108, DA converter 109, image display unit 110, memory 111, resize circuit 112, system control circuit 113, exposure control unit 114, distance measurement control unit 115, and zoom control unit 116
  • power supply 128, interfaces 129 and 130, and connector 13 , 132, recording medium 133, optical finder 134, communication unit 135, antenna 136, initial region acquisition circuit 137, conversion parameter calculation circuit 138, first image conversion circuit 139, and second image conversion circuit. 140, a tracking processing circuit 141, a tracking result drawing circuit 142, and a camera control circuit 143.
  • the power supply 128 and the recording medium 133 may be removable.
  • the photographing lens 101 is a lens having a zooming and focusing function, and forms incident light on the image sensor 103.
  • the shutter 102 has a diaphragm function and adjusts the amount of light incident on the image sensor 103.
  • the image sensor 103 converts an optical image obtained by forming incident light into an electric signal (image data).
  • the AD converter 104 converts an analog signal output from the image sensor 103 into a digital signal.
  • the AD converter 104 writes the image data converted into the digital signal into the image display memory 108 or the memory 111 via the memory control circuit 107.
  • the AD converter 104 outputs the image data converted into the digital signal to the image processing circuit 106.
  • the timing generation circuit 105 supplies a clock signal or a control signal to the image sensor 103, the AD converter 104, and the DA converter 109.
  • the timing generation circuit 105 is controlled by the memory control circuit 107 and the system control circuit 113.
  • the image processing circuit 106 performs predetermined image interpolation processing or color conversion processing on the image data output from the AD converter 104 or the image data output from the memory control circuit 107.
  • the image processing circuit 106 performs predetermined calculation processing using the input image data, and the system control circuit 113 controls the exposure control unit 114 and the distance measurement control unit 115 based on the obtained calculation result. I do.
  • the memory control circuit 107 controls the AD converter 104, the timing generation circuit 105, the image processing circuit 106, the image display memory 108, the DA converter 109, the memory 111, and the resizing circuit 112.
  • the image display memory 108 stores image data for display.
  • the DA converter 109 acquires display image data from the image display memory 108 via the memory control circuit 107, and converts the digital signal into an analog signal.
  • the image display unit 110 displays the display image data converted into an analog signal by the DA converter 109. Further, the image display unit 110 may receive information for specifying an area (initial area) in which an object to be tracked is shown from the user.
  • the image display unit 110 is a display such as a TFTLCD (Thin Film Transistor Liquid Crystal Display), a touch panel, or the like.
  • the memory 111 stores the image data obtained from the AD converter 104 and the image data processed by the image processing circuit 106. Further, the memory 111 stores information necessary for the tracking process such as information on the initial area acquired by the initial area acquisition circuit 137.
  • the memory 111 corresponds to the storage unit 17 in FIG.
  • the resizing circuit 112 generates a low-resolution image from an image obtained by photographing. Note that the resizing circuit 112 can select a plurality of predetermined resolutions depending on the application.
  • the resizing circuit 112 reads image data stored in the memory 111, performs resizing processing on the read image data, and writes the processed data to the memory 111.
  • the resizing circuit 112 is used when it is desired to record image data on the recording medium 133 or the like with a pixel number (size) different from the pixel number of the image sensor 103. Further, the number of pixels that can be displayed by the image display unit 110 is considerably smaller than the number of pixels of the image sensor 103. Therefore, the resizing circuit 112 is also used when generating a display image when the captured image data is displayed on the image display unit 110.
  • the system control circuit 113 performs photographing processing by controlling each processing unit and each processing circuit of the entire electronic camera 100.
  • the photographing process includes an exposure process, a development process, a recording process, and the like.
  • the exposure process is a process of writing image data read from the image sensor 103 into the memory 111 via the AD converter 104 and the memory control circuit 107.
  • the development process is an arithmetic process in the image processing circuit 106 and the memory control circuit 107.
  • the recording process is a process of reading image data from the memory 111 and writing the image data to the recording medium 133.
  • the exposure control unit 114 controls the shutter 102 having an aperture function.
  • the exposure control unit 114 also has a flash light control function in cooperation with the flash 118.
  • the ranging control unit 115 controls the focusing of the photographing lens 101.
  • the zoom control unit 116 controls zooming of the photographing lens 101.
  • the barrier control unit 117 controls the operation of the protection unit 119.
  • the flash 118 irradiates the subject with flash light.
  • the flash 118 further has an AF auxiliary light projecting function and a flash light control function.
  • the protection unit 119 is a barrier that prevents the imaging unit from being stained or damaged by covering the imaging unit including the photographing lens 101, the shutter 102, the imaging element 103, and the like of the electronic camera 100.
  • the memory 120 records constants, variables, programs, and the like for the operation of the system control circuit 113.
  • the display unit 121 is a liquid crystal display device or a speaker that displays an operation state or a message using characters, images, sounds, or the like according to execution of a program in the system control circuit 113.
  • the display unit 121 is installed at a single or a plurality of locations near the operation unit of the electronic camera 100 that are easily visible.
  • the display unit 121 includes, for example, a combination of an LCD, an LED (Light Emitting Diode), or a sounding element.
  • the non-volatile memory 122 is an electrically proof / recordable memory, and stores operation setting data of the electronic camera 100 or user-specific information.
  • the nonvolatile memory 122 is, for example, an EEPROM (Electrically Erasable and Programmable Read Only Memory).
  • the mode dial switch 123 can switch and set each function mode such as an automatic shooting mode, a shooting mode, a panoramic shooting mode, and a RAW mode.
  • the shutter switch 124 is turned on during the operation of a shutter button (not shown), and instructs to start operations such as AF processing, AE processing, and AWB (Auto White Balance) processing. Further, the shutter switch 124 instructs the start of a series of processing operations including exposure processing, development processing, and recording processing.
  • the power control unit 125 includes a battery detection circuit, a DC-DC converter, and a switch circuit that switches a block to be energized.
  • the power control unit 125 detects the presence / absence of a battery, the type of battery, and the remaining battery level. Further, the power supply control unit 125 controls the DC-DC converter based on the detection result and the instruction of the system control circuit 113, feeds back a necessary voltage, and supplies the voltage to each processing unit including the recording medium 133 with the connector 126 and 127 to supply.
  • Connectors 126 and 127 are connectors for connecting the power supply control unit 125 and the power supply 128.
  • the power supply 128 is a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery, or an AC adapter.
  • Interfaces 129 and 130 are interfaces for transmitting and receiving image data and the like between the recording medium 133 and the memory 111.
  • Connectors 131 and 132 are connectors that connect the recording medium 133 via the interface 129 and the interface 130.
  • the recording medium 133 is a recording medium such as a memory card or a hard disk that records image data.
  • the optical viewfinder 134 is a viewfinder used by the photographer to check the subject. The photographer can take an image using only the optical viewfinder 134 without using the electronic viewfinder function of the image display unit 110.
  • the communication unit 135 has various communication functions such as RS232C, USB, IEEE1394, modem, LAN, or wireless communication.
  • the antenna 136 is a connector for connecting the electronic camera 100 to other devices by the communication unit 135 or an antenna for wireless communication.
  • the initial area acquisition circuit 137 acquires information regarding the initial area specified by the position received by the touch panel from the user or the AF area set by the user pressing the shutter switch 124, and the acquired information is stored in the memory 111. Write.
  • the initial area acquisition circuit 137 corresponds to the initial area acquisition unit 11 in FIG.
  • the conversion parameter calculation circuit 138 calculates a conversion parameter for converting the input image into an image having a color or brightness equivalent to the color or brightness that the user recognizes visually. Specifically, the conversion parameter calculation circuit 138 detects, for example, the color temperature of light that illuminates the object, and calculates a conversion parameter that converts the color of the input image according to the detected color temperature. The conversion parameter calculation circuit 138 corresponds to the conversion parameter calculation unit 12 in FIG.
  • the first image conversion circuit 139 reads an image included in the initial area from the memory 111. Further, the first image conversion circuit 139 converts the read image using the conversion parameter calculated by the conversion parameter calculation circuit 138.
  • the first image conversion circuit 139 corresponds to the first image conversion unit 13 in FIG.
  • the second image conversion circuit 140 reads an input image from the memory 111. Further, the second image conversion circuit 140 converts the read image using the conversion parameter calculated by the conversion parameter calculation circuit 138. The second image conversion circuit 140 corresponds to the second image conversion unit 14 in FIG.
  • the tracking processing circuit 141 reads the image converted by the first image conversion circuit 139 from the memory 111, and calculates the feature amount of the read image. Then, the tracking processing circuit 141 performs a tracking process of the object image by searching the input image for a region having a feature quantity most similar to the calculated feature quantity. Further, the tracking processing circuit 141 writes the tracking result (coordinate data, evaluation value, etc.) in the memory 111.
  • the tracking processing circuit 141 corresponds to the tracking processing unit 15 in FIG.
  • the tracking result drawing circuit 142 processes the display image data written in the image display memory 108 in order to display the tracking result written in the memory 111 on the display unit 121. Specifically, the tracking result drawing circuit 142 performs, for example, processing such as a tracking frame, mosaicking, text, display color change, and blurring on the image data.
  • the tracking result drawing circuit 142 corresponds to the output unit 16 in FIG.
  • the camera control circuit 143 controls the AF processing based on the position and the size of the tracking result (target area) written in the memory 111 so that the target in the target area is focused. Specifically, the camera control circuit 143 controls the photographing lens 101 so as to increase the contrast using, for example, the contrast of the object in the target area.
  • the camera control circuit 143 may control the AE process or the backlight correction process so that the exposure of the object in the target area is appropriate. Specifically, the camera control circuit 143 controls the shutter speed or aperture value of the shutter 102 having the aperture function via the exposure control unit 114 according to a mode such as shutter speed priority or aperture value priority, for example. Also good.
  • the camera control circuit 143 may set the object in a certain position or a certain size in the image (for example, so that the face that is the object appears in the center of the image, or the person who is the object).
  • the electronic camera 100 may be controlled so that the whole body is photographed.
  • the electronic camera 100 is one of the initial region acquisition circuit 137, the conversion parameter calculation circuit 138, the first image conversion circuit 139, the second image conversion circuit 140, the tracking processing circuit 141, the tracking result drawing circuit 142, and the camera control circuit 143. If such a circuit is not provided, the system control circuit 113 may perform tracking processing by software processing.
  • FIG. 3 is a flowchart showing the operation of the image processing apparatus according to the embodiment of the present invention.
  • the initial area acquisition unit 11 acquires information about the initial area and the first conversion parameter (step S101). Specifically, the initial area acquisition unit 11 acquires, for example, coordinates indicating the position of the initial area and a value indicating the size of the initial area as information regarding the initial area. The initial region acquisition unit 11 acquires, for example, a color temperature parameter for converting the first image into an image that accurately represents the color of the object regardless of the color temperature of the light source as the first conversion parameter. Subsequently, the initial region acquisition unit 11 registers the information regarding the acquired initial region and the first conversion parameter in the storage unit 17 (step S102).
  • the image processing apparatus 10 repeats the process of specifying the target area in the image taken after the first image.
  • the process of specifying the target area is as follows.
  • the conversion parameter calculation unit 12 calculates a second conversion parameter for converting an image to be processed (hereinafter referred to as “second image”) into a target image quality image (step S103). Specifically, for example, the conversion parameter calculation unit 12 uses, as the second conversion parameter, a color temperature parameter for converting the second image into an image that accurately represents the color of the object regardless of the color temperature of the light source. calculate.
  • the first image conversion unit 13 converts the first image using the first conversion parameter stored in the storage unit 17 and the second conversion parameter calculated by the conversion parameter calculation unit 12 (step) S104). Specifically, the first image conversion unit 13 reads, for example, the first image and the first conversion parameter from the storage unit 17. Then, for example, the first image conversion unit 13 uses the value obtained by dividing the first conversion parameter by the second conversion parameter calculated by the conversion parameter calculation unit 12 as the pixel value of each pixel constituting the read first image. Multiply
  • the tracking processing unit 15 extracts the feature amount of the initial region from the image converted in step S104 (step S105). Specifically, the tracking processing unit 15 reads, for example, coordinates indicating the position of the initial region and a value indicating the size stored in the storage unit 17. Then, the tracking processing unit 15 specifies a plurality of pixels constituting the initial region using, for example, the values indicating the read coordinates and size. Then, the tracking processing unit 15 extracts a color histogram representing the color frequency distribution of each identified pixel as a feature amount.
  • the tracking processing unit 15 searches the second image for a region having a feature amount most similar to the extracted feature amount, thereby specifying a target region that is a region including the image of the target object (step S106). .
  • the tracking processing unit 15 tracks the target object by specifying the target area. Specifically, for example, the tracking processing unit 15 selects a region while changing the position and size in the second image, and compares the feature amount of the selected region with the feature amount of the initial region. Then, as a result of the comparison, the tracking processing unit 15 specifies an area having the smallest feature amount difference among the selected areas as the target area.
  • the conversion parameter calculation unit 12 calculates a third conversion parameter in which the amount of change between consecutively captured images is suppressed compared to the second conversion parameter (step S107). Specifically, the conversion parameter calculation unit 12 performs the third conversion so that the difference value between the old third conversion parameter and the third conversion parameter is equal to or less than the difference value between the old third conversion parameter and the second conversion parameter. Calculate the parameters.
  • the second image conversion unit 14 converts the second image using the third conversion parameter calculated by the conversion parameter calculation unit 12 (step S108). Note that the processes shown in steps S107 and S108 may be executed prior to the processes shown in steps S104 to S106. Further, the processes shown in steps S107 and S108 may be executed in parallel with the processes shown in steps S104 to S106.
  • the output unit 16 outputs information indicating the target area searched in step S106 and the image converted in step S108 (step S109). Specifically, for example, the output unit 16 registers in the storage unit 17 an image obtained by adding a frame indicating the position of the target region to the image after the conversion in step S108.
  • the image processing apparatus 10 can track the image of the target object by repeating the processing from the above steps S103 to S109 for each continuously captured image.
  • FIG. 4 is a diagram for explaining a specific example of the operation of the image processing apparatus according to the embodiment of the present invention. Specifically, FIG. 4 is a diagram for explaining processing in a case where the light that illuminates the dog changes from sunlight to light from a fluorescent lamp when the subject dog moves from the outdoors to the indoors.
  • the first line shows an original image that is an image obtained from an image sensor or the like.
  • the second row shows the target image quality image when the original image is converted into an image having the target image quality.
  • the target image quality image is an image that does not actually need to be generated, but is shown for explaining the conversion parameters.
  • the third line shows a search image that is an image obtained by converting the original image 400 for use in searching for a target region.
  • the fourth line shows an output image, which is an image obtained by converting the original image for display on the display unit.
  • the original image 400 is an image corresponding to the first image, and is an image taken at the start of shooting.
  • the original image 400 is an image of a dog illuminated by sunlight.
  • an initial area 403 is designated by the user as an area including an image of an object to be tracked.
  • the initial area 403 is specified by, for example, a user touching an image of an object on a touch panel on which an image is displayed.
  • the target image quality image 401 is an image when the first image is converted using the first conversion parameter P1.
  • the target image quality image 401 and the original image 400 are the same image.
  • the first conversion parameter P1 is a conversion parameter calculated by the conversion parameter calculation unit 12, and is a conversion coefficient for each RGB for accurately projecting the color of the subject regardless of the color temperature of the light source.
  • the conversion parameter calculation unit 12 calculates a color temperature parameter from the original image 400 using, for example, a correlation with a known color gamut (for example, Non-Patent Document 1 “Scene illumination by sensor correlation method”). Color temperature estimation (see IEICE Transactions D-II, Tominaga et al.)).
  • the pixel value V2 of each pixel constituting the target image quality image 401 is expressed as (Equation 1) using the pixel value V1 of each pixel constituting the original image 400 and the first conversion parameter P1. .
  • the output image 402 is an image obtained by converting the original image 400 by the second image conversion unit 14 and is an image to be displayed on the display unit. Since the original image 400 is an image at the start of photographing, the third conversion parameter is the same as the first conversion parameter. Therefore, the second image conversion unit 14 converts the original image 400 into the output image 402 using the first conversion parameter P1.
  • the original image 410 is an image corresponding to the second image, and is an image taken after the original image 400.
  • the original image 410 is an image obtained by photographing the same dog as the original image 400 in the same background.
  • the light source of the original image 410 is a fluorescent lamp. That is, the original image 410 is an image shot in a shooting environment different from that of the original image 400. Therefore, the original image 410 is an image having a different image quality from that of the original image 400, and has a different color even if it is the same subject image as the original image 400.
  • the target image quality image 411 is an image when the first image is converted using the second conversion parameter P2.
  • the second conversion parameter P1 is a conversion parameter calculated by the conversion parameter calculation unit 12, and for each RGB for accurately projecting the color of the subject regardless of the color temperature of the light source. Is the conversion coefficient.
  • the search image 412 is an image obtained by converting the original image 400 by the first image conversion unit 13 using the ratio between the first conversion parameter P1 and the second conversion parameter P2. That is, the search image 412 is obtained by converting the original image 400 into an image having an image quality equivalent to that of the original image 410.
  • the first image conversion unit 13 converts the original image 400 having the pixel value V1 as the pixel value of each pixel for RGB into the pixel value as the pixel value of each pixel for RGB according to (Equation 2).
  • the image is converted into a search image 412 having V3.
  • the tracking processing unit 15 extracts the feature amount of the region 415 that is a region having the same position and size as the initial region 403 in the original image 400 from the search image 412 converted in this way. Then, the tracking processing unit 15 searches the original image 410 for a region having a feature amount most similar to the extracted feature amount. As a result of the search, the tracking processing unit 15 specifies the target area 414 as shown in the original image 410.
  • the output image 413 is an image obtained by converting the original image 410 by the second image conversion unit 14 using the third conversion parameter P3, and is a frame 416 that is information indicating the target area 414 searched in the original image 410.
  • the third conversion parameter P3 is a conversion parameter in which the amount of change from the old third conversion parameter P3pr (here, the first conversion parameter P1) is suppressed compared to the second conversion parameter P2.
  • the third conversion parameter P3 is a parameter that satisfies (Equation 3), for example.
  • Equation 3 indicates that the sum of absolute values of differences for each RGB between the old third conversion parameter and the third conversion parameter is the absolute difference of each RGB between the second conversion parameter and the third conversion parameter. Indicates that the value is less than or equal to the sum of values.
  • the conversion parameter calculation unit 12 sets the second conversion parameter P2 as the third conversion parameter. Calculated as P3.
  • the conversion parameter calculation unit 12 calculates the second conversion parameter P2 and the old third conversion parameter P3pr. A value at which the change amount becomes equal to the threshold value is calculated as the third conversion parameter P3.
  • the original images 420 and 430 are images that are taken after the original image 410 in the same shooting environment as the original image 410.
  • the target image quality images 421 and 431, the search images 422 and 432, and the output images 423 and 433 are images corresponding to the original images 420 and 430.
  • the second image conversion unit 14 converts the original images 410, 420, and 430 into output images 413, 423, and 433 using the third conversion parameter in which the temporal change amount is suppressed. Therefore, as shown in FIG. 4, the output unit 16 gradually changes to the target image quality image (output images 413, 423, and 433) in the same manner as an image recognized when a human gradually adapts to different environments. ) Can be output.
  • FIG. 5 is a diagram for explaining a specific example of the operation related to the search in the image processing apparatus according to the embodiment of the present invention.
  • FIG. 5A shows a first image 500 and an initial area 501.
  • the initial color histogram 502 is a color histogram of the initial region 501 generated from the image converted by the first image conversion unit 13.
  • the color histogram is information indicating the distribution of the frequency of colors of a plurality of pixels constituting an image or a partial region of the image.
  • the horizontal axis of the color histogram indicates the color classification when the hue (H) value (0 to 360) in the HSV (Hue Saturation Value) color space is divided into 20 parts.
  • the vertical axis of the color histogram indicates the number of pixels (frequency) belonging to each section. Which color category each pixel belongs to may be determined using an integer part of a value obtained by dividing the hue (H) value of each pixel by the number of categories.
  • the number of divisions does not necessarily have to be 20, and any number may be used as long as it is 1 or more.
  • the frequency for each large division is stored, so that the amount of memory used can be reduced.
  • the tracking processing unit 15 determines a search region 511 in the next second image 510 that is temporally continuous with the first image 500. Specifically, the tracking processing unit 15 defines a rectangular area that includes the target area (here, the initial area 501) in the first image 500 and is larger than the target area (here, the initial area 501) as the search area 511. decide. More specifically, the tracking processing unit 15 reads the length of the side of the initial area 501 and the coordinates of the center position stored in the storage unit 17. Then, the tracking processing unit 15 determines a rectangular area that is larger than the read side length and centered on the coordinates of the read center position as a search area.
  • the shape of the search area does not have to be a rectangle, and may be an arbitrary shape such as a circle or a hexagon.
  • the size of the search area may be a predetermined size, or may be a size that increases as the frame rate or the shutter speed decreases.
  • the tracking processing unit 15 selects a selection area 512 that is an area that is smaller than the search area 511 and that is within the search area 511. Then, the tracking processing unit 15 extracts a selection color histogram 513 that is a color histogram of the selected selection region 512. At this time, the selection color histogram 513 is preferably normalized using the initial color histogram 502. Specifically, the tracking processing unit 15 preferably normalizes the selection color histogram 513 by dividing the frequency of each segment in the color histogram of the selected region by the frequency of each segment of the initial color histogram 502.
  • the tracking processing unit 15 calculates the ratio of the overlapping portion 520 where the initial color histogram 502 and the selection color histogram 513 overlap as the similarity. Specifically, the tracking processing unit 15 calculates the similarity according to (Equation 4).
  • R i is the frequency of the i-th segment in the initial color histogram 502.
  • I i is the frequency of the i-th segment in the selection color histogram 513.
  • i is a value from 0 to 19.
  • it shows that the similarity degree which a similarity degree shows is so high that the ratio of the overlapping part 520 is large, and the similarity degree which a similarity degree shows is so low that it is small.
  • the tracking processing unit 15 repeats selection of the selection area 512 and extraction of the selection color histogram 513 while changing the position and size in the search area 511 as described above, and the selection area where the color histogram has the largest proportion of the overlapping portion 520 is repeated. 512 is specified as the target area. Then, the tracking processing unit 15 registers the length of the side of the target area and the coordinates of the center position in the storage unit 17.
  • the image processing apparatus 10 has the first and the first corresponding to the shooting environment even when the feature amount indicating the image of the object fluctuates due to the change of the shooting environment.
  • the target region is searched using the search image obtained by converting the first image using the two conversion parameters. That is, the image processing apparatus 10 uses the parameter that immediately follows the change in the shooting environment instead of the parameter that gradually follows the change in the shooting environment, so that the image processing apparatus 10 has an image quality equivalent to that of the second image.
  • a target area is searched using a search image obtained by converting one image. As a result, the image processing apparatus 10 can stably track the image of the object regardless of changes in the shooting environment.
  • the image processing apparatus 10 can reduce an uncomfortable feeling or an uncomfortable feeling when the user views the image by outputting an image converted using the third conversion parameter that gradually corresponds to a change in the shooting environment. It becomes possible.
  • the image processing apparatus 10 converts only the first image of the first and second images into the search image, the processing load for converting the image is higher than that for converting both the first and second images. Can be reduced.
  • the image processing apparatus 10 can track the image of the object using a color histogram having high robustness, the image of the object can be tracked more stably.
  • the image processing apparatus or the electronic camera according to the present invention has been described based on the embodiments.
  • the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, what made the various deformation
  • the first image conversion unit 13 converts the first image.
  • the first image conversion unit 13 may convert the second image so that the image has an image quality equivalent to that of the first image.
  • the first image conversion unit 13 may convert both the first image and the second image into a target image quality image so that the image quality of the converted image is equal to each other.
  • the first image conversion unit 13 uses the pixel value of each pixel for each RGB according to (Equation 5).
  • the original image 410 (second image) having the value V4 is converted into a search image having the pixel value V5 as the pixel value of each pixel for each RGB.
  • the tracking processing unit 15 searches for the region most similar to the feature amount extracted from the initial region 403 in the original image 400 in the search image thus converted.
  • the first image conversion unit 13 converts all of the first image, but may convert only the image included in the initial region of the first image.
  • the image processing apparatus 10 can reduce the processing load of the first image conversion unit 13.
  • the storage unit 17 may store the pixel value of each pixel constituting the initial region as information on the initial region. Thereby, the image processing apparatus 10 can reduce the storage capacity of the storage unit 17 as compared with the case of storing all the first images.
  • the storage unit 17 may store a feature amount extracted from the initial region as information on the initial region.
  • the first image conversion unit 13 converts the feature amount of the initial region instead of converting the first image.
  • the tracking processing unit 15 does not need to extract the feature amount of the initial region every time the target region is searched in the captured image, so that the load on the tracking processing unit 15 can be reduced.
  • the tracking processing unit 15 extracts the color histogram as the feature amount.
  • a luminance histogram may be extracted as the feature amount.
  • the tracking processing unit 15 calculates the similarity by comparing the luminance histogram obtained from the initial region and the luminance histogram obtained from the selected region.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on one chip. Specifically, a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is a computer system comprised including. For example, as shown in FIG. 1, the initial region acquisition unit 11, the conversion parameter calculation unit 12, the first image conversion unit 13, the second image conversion unit 14, the tracking processing unit 15, and the output unit 16 are A single system LSI 30 may be included.
  • the present invention may be realized not only as the image processing apparatus as described above but also as an electronic camera including a characteristic component included in the image processing apparatus as shown in FIG. Furthermore, the present invention may be realized as an image processing method in which operations of characteristic components included in the image processing apparatus are steps.
  • the present invention may also be realized as a program that causes a computer to execute the steps included in such an image processing method. Such a program may be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
  • An electronic camera, an imaging device, or the like is a digital video camera, a digital still camera, a surveillance camera, an in-vehicle device that tracks an image of an object by specifying an area in which the object to be tracked is shown. This is useful for a camera for use with a camera or a mobile phone having a camera function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Analysis (AREA)

Abstract

　撮影環境が変化する場合であっても対象物の像を安定して追跡する。　画像処理装置(１０)は、初期領域に関する情報と第１画像の撮影環境に対応する第１変換パラメータとを記憶する記憶部(１７)と、第２画像の撮影環境に応じて第２変換パラメータを算出する変換パラメータ算出部(１２)と、第１変換パラメータと第２変換パラメータとを用いて第１および第２画像の少なくとも一方を変換する第１画像変換部(１３)と、第１画像変換部(１３)による変換後の画像を用いて初期領域の特徴量に類似する特徴量を有する領域を探索することにより対象物の像を追跡する追跡処理部(１５)と、連続して撮影された画像間における変化量が第２変換パラメータよりも抑制された第３変換パラメータを用いて第２画像を変換する第２画像変換部(１４)と、第２画像変換部(１４)による変換後の画像と探索結果とを出力する出力部(１６)とを備える。

Description

電子カメラ、画像処理装置および画像処理方法
　本発明は、電子カメラ、画像処理装置等に関し、特に、入力画像において追跡の対象となる対象物の像を追跡する電子カメラ、画像処理装置等に関する。
　近年、電子カメラは、ＡＦ（オートフォーカス：Ａｕｔｏ－Ｆｏｃｕｓ）、ＡＥ（自動露出：Ａｕｔｏｍａｔｉｃ　Ｅｘｐｏｓｕｒｅ）または逆光補正機能の位置合わせ手段として物体追跡機能を有する。なお、電子カメラとは、静止画像を撮影するカメラまたは動画像を撮影するカメラである。
　例えば、電子カメラは、指定された対象物の像の色情報を初期特徴量として登録する。そして、電子カメラは、対象物の像が指定された後に撮影された画像において、初期特徴量と類似する領域を探索することにより、対象物の像の追跡を行う。具体的には、電子カメラは、色の情報を用いたテンプレートマッチングを実行する、あるいは色相のヒストグラムの重複する割合を算出することにより対象物の像が含まれる対象領域を探索する。
　ところで、監視用途の据え置きカメラは、撮影される場所がほぼ固定であり、日照条件および時間変化の情報などを容易に取得することができる。そこで、監視用途の据え置きカメラは、日照条件および時間変化の情報などを用いて周囲の環境を推定する。そして、監視用途の据え置きカメラは、推定した環境に応じて、例えばテンプレートマッチングにおけるテンプレートの色を変更することができる。
　しかし、デジタルビデオカメラなど民生機器は、様々な環境において様々な対象が撮影されるため、現在の環境を推定することが難しい。つまり、電子カメラは、追跡の対象となる対象物を撮影するときの周囲の環境（以下、「撮影環境」という。）が変化した場合、電子カメラが環境の変化に追従できないために、誤った物体を追跡し続ける、あるいは追跡が中断されるなどといった問題が生じる。例えば、電子カメラが暗い場所から明るい場所へ移動された場合、追跡の対象となる対象物の像の明るい部分の階調が失われる（白とび）ため、テンプレートマッチングができないという問題が生じる。
　そこで、従来の電子カメラは、撮影環境が変化した場合、撮影された画像において、変化した環境に応じて露光または色温度などを補正する（例えば、特許文献１を参照）。特許文献１に記載の方法では、画面内に位置を変化させながら設定された検出領域内外の輝度成分の差を用いて、画面内の輝度パターンが判定される。そして、判定された輝度パターンに適した位置に設定された測光領域を用いて露光制御が行われる。
　また、色相情報を用いずに、ＲＧＢ（Ｒｅｄ　Ｇｒｅｅｎ　Ｂｌｕｅ）の各色と輝度Ｙとを用いて算出される予測係数を用いて目標を追尾することにより、照明によって色が変化した場合でも目標を確実に追尾する方法が提案されている（例えば、特許文献２を参照）。
特許第２５６８１６１号公報 特開平７－０９５５９８号公報
　しかしながら、特許文献１に示すような従来の方法では、時間的に連続する画像において明るさあるいは色などを変換する変換パラメータが急激に変化しないように、徐々に環境に適した値へ変更される。これは、例えば、明るさまたは色温度などが変化した場合に、画像の明るさまたは色温度を変換する変換パラメータが環境に合わせて大きく変化されれば、ユーザに違和感あるいは不快感を与えるからである。このように、変換パラメータが徐々に変更されるため、特にロバストな特徴量である色を特徴量として利用した場合には、電子カメラは対象物の追跡を失敗する。
　また、特許文献２に示すような従来の方法では、予測係数を用いて対象物を追跡するため、予測が間違った場合には正しく追跡できない。
　そこで、本発明は、上記従来の課題を鑑みてなされたものである。本発明は、撮影環境が変化することによって対象物の像を示す特徴量が変動する場合であっても、対象物の像を安定して追跡することが可能な電子カメラ、画像処理装置等を提供することを目的とする。
　上記目的を達成するために、本発明に係る電子カメラは、連続して撮影された画像において追跡の対象となる対象物の像を追跡し、追跡結果を利用して、オートフォーカス処理、自動露出処理、並びにカメラ制御によるフレーミング処理および自動撮影処理のうち少なくとも１つを実行する電子カメラであって、第１画像において前記対象物の像を含む領域である初期領域に関する情報と、前記第１画像が撮影されたときの撮影環境に対応するパラメータであって前記第１画像を所定の画質を有する画像に変換するためのパラメータである第１変換パラメータとを記憶する記憶部と、前記第１画像より後に撮影された画像である第２画像が撮影されたときの撮影環境に応じて、前記第２画像を前記所定の画質を有する画像に変換するための第２変換パラメータを算出する変換パラメータ算出部と、前記記憶部に記憶された第１変換パラメータと前記変換パラメータ算出部によって算出された第２変換パラメータとを用いて、前記第１および第２画像の少なくとも一方を変換する第１画像変換部と、前記第１画像変換部によって変換された後の画像を用いて、前記初期領域の特徴を定量的に示す特徴量に類似する特徴量を有する領域を前記第２画像において探索することにより、前記対象物の像を追跡する追跡処理部と、前記第２変換パラメータよりも、連続して撮影された画像間における変化量が抑制された第３変換パラメータを用いて、前記第２画像を変換する第２画像変換部と、前記第２画像変換部によって変換された後の画像と、前記追跡処理部によって探索された領域を示す情報とを出力する出力部とを備える。
　これによって、撮影環境が変化することによって対象物の像を示す特徴量が変動した場合であっても、撮影環境に対応した変換パラメータを用いて変換した画像を利用して対象物の像を追跡することにより、対象物の像を安定して追跡することが可能となる。さらに、撮影環境の変化に徐々に対応する変換パラメータを用いて変換した画像を出力することにより、ユーザが画像を見たときの違和感あるいは不快感を低減することも可能となる。
　また、前記第１、第２および第３変換パラメータは、撮影された画像から検出される色温度、露光、露出、および輝度値の少なくとも１つに応じて、前記画像を構成する複数の画素が有する画素値を変換するためのパラメータであるとしてもよい。
　これによって、色温度、露光、露出、および輝度値が変化した場合であっても、対象物の像を安定して追跡することが可能となる。
　また、前記第１画像変換部は、前記第１および第２変換パラメータの比を用いて、前記第１および第２画像の一方を変換するとしてもよい。
　これによって、第１および第２画像の一方を変換すればよいので、画像を変換する処理の負荷を軽減することが可能となる。
　また、前記第１画像変換部は、前記第１画像を変換する場合、前記第１画像のうち前記初期領域に含まれる画像のみを変換するとしてもよい。
　これによって、第１画像の一部の領域に含まれる画像を変換すればよいので、画像を変換する処理の負荷をさらに軽減することが可能となる。
　また、前記特徴量は、画像を構成する画素が有する色の頻度分布を表す色ヒストグラムであり、前記追跡処理部は、前記初期領域の色ヒストグラムと重なる部分の割合が最も大きい色ヒストグラムを有する領域を前記第２画像において探索するとしてもよい。
　これによって、ロバスト性の高い色ヒストグラムを用いて対象物の像を追跡できるので、対象物の像をより安定して追跡することが可能となる。
　また、本発明に係る画像処理装置は、連続して撮影された画像において追跡の対象となる対象物の像を追跡する画像処理装置であって、第１画像において前記対象物の像を含む領域である初期領域に関する情報と、前記第１画像が撮影されたときの撮影環境に対応するパラメータであって前記第１画像を所定の画質を有する画像に変換するためのパラメータである第１変換パラメータとを記憶する記憶部と、前記第１画像より後に撮影された画像である第２画像が撮影されたときの撮影環境に応じて、前記第２画像を前記所定の画質を有する画像に変換するための第２変換パラメータを算出する変換パラメータ算出部と、前記記憶部に記憶された第１変換パラメータと前記変換パラメータ算出部によって算出された第２変換パラメータとを用いて、前記第１および第２画像の少なくとも一方を変換する第１画像変換部と、前記第１画像変換部によって変換された後の画像を用いて、前記初期領域の特徴を定量的に示す特徴量に類似する特徴量を有する領域を前記第２画像において探索することにより、前記対象物の像を追跡する追跡処理部と、前記第２変換パラメータよりも、連続して撮影された画像間における変化量が抑制された第３変換パラメータを用いて、前記第２画像を変換する第２画像変換部と、前記第２画像変換部によって変換された後の画像と、前記追跡処理部によって探索された領域を示す情報とを出力する出力部とを備える。
　また、本発明に係る集積回路は、連続して撮影された画像において追跡の対象となる対象物の像を追跡する画像処理装置が備える集積回路であって、前記画像処理装置は、第１画像において前記対象物の像を含む領域である初期領域に関する情報と、前記第１画像が撮影されたときの撮影環境に対応するパラメータであって前記第１画像を所定の画質を有する画像に変換するためのパラメータである第１変換パラメータとを記憶する記憶部を備え、前記集積回路は、前記第１画像より後に撮影された画像である第２画像が撮影されたときの撮影環境に応じて、前記第２画像を前記所定の画質を有する画像に変換するための第２変換パラメータを算出する変換パラメータ算出部と、前記記憶部に記憶された第１変換パラメータと前記変換パラメータ算出部によって算出された第２変換パラメータとを用いて、前記第１および第２画像の少なくとも一方を変換する第１画像変換部と、前記第１画像変換部によって変換された後の画像を用いて、前記初期領域の特徴を定量的に示す特徴量に類似する特徴量を有する領域を前記第２画像において探索することにより、前記対象物の像を追跡する追跡処理部と、前記第２変換パラメータよりも、連続して撮影された画像間における変化量が抑制された第３変換パラメータを用いて、前記第２画像を変換する第２画像変換部と、前記第２画像変換部によって変換された後の画像と、前記追跡処理部によって探索された領域を示す情報とを出力する出力部とを備える。
　なお、本発明は、このような画像処理装置として実現するだけでなく、このような画像処理装置が備える特徴的な構成部の動作をステップとする画像処理方法として実現してもよい。また、本発明は、そのような画像処理方法に含まれるステップをコンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体またはインターネット等の伝送媒体を介して配信してもよい。
　以上の説明から明らかなように、本発明に係る電子カメラ、画像処理装置等は、追跡の対象となる対象物を撮影する環境が変化した場合でも、環境変化に応じた変換パラメータを用いて画像を変換することにより対象物の像を安定して追跡することが可能となる。さらに、本発明に係る電子カメラ、画像処理装置等は、撮影環境の変化に徐々に対応する変換パラメータを用いて変換した画像を出力することにより、ユーザが画像を見たときの違和感あるいは不快感を低減することも可能となる。
図１は、本発明の実施の形態に係る画像処理装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態に係る画像処理装置の具体例である電子カメラの構成を示すブロック図である。 図３は、本発明の実施の形態に係る画像処理装置の動作を示すフローチャートである。 図４は、本発明の実施の形態に係る画像処理装置における動作の具体例を説明するための図である。 図５は、本発明の実施の形態に係る画像処理装置における探索に関する動作の具体例を説明するための図である。
　以下に、本発明の実施の形態について、図面を参照しながら説明する。
　図１は、本発明の実施の形態に係る画像処理装置の機能構成を示すブロック図である。図１に示すように、画像処理装置１０は、初期領域取得部１１と、変換パラメータ算出部１２と、第１画像変換部１３と、第２画像変換部１４と、追跡処理部１５と、出力部１６と、記憶部１７とを備える。
　初期領域取得部１１は、第１画像において対象物の像を含む領域である初期領域に関する情報を取得する。そして、初期領域取得部１１は、取得した初期領域に関する情報を記憶部１７に登録する。具体的には、初期領域取得部１１は、例えば、初期領域の位置および大きさを示す情報を取得する。
　なお、例えば、撮影している画像または撮影しようとしている画像を表示する手段としてタッチパネルを電子カメラが備える場合、初期領域取得部１１は、ユーザがタッチパネルにタッチすることにより受け付けられた初期領域の位置の情報を取得する。また例えば、表示画面の中央などのあらかじめ定められた領域に追跡したい物体が写るように電子カメラの向きを合わせた後にユーザが追跡ボタンを押した場合に、初期領域取得部１１は、当該領域を初期領域として取得してもよい。
　さらに、初期領域取得部１１は、第１画像が撮影されたときの撮影環境に応じて画像を変換するためのパラメータであって、第１画像を所定の画質（以下、単に「目的画質」という。）を有する画像（以下、単に「目的画質画像」という。）に変換するためのパラメータである第１変換パラメータを取得する。そして、初期領域取得部１１は、取得した第１変換パラメータを記憶部１７に登録する。
　ここで、目的画質とは、画像が所定の条件を満たす色または輝度を有することをいう。例えば、目的画質とは、画像が、あらかじめ定められた所定の色分布または輝度分布となることをいう。具体的には、例えば、目的画質とは、白色の被写体が撮影された画像において、光源の色温度に関わらず当該被写体の像の色が白色となることをいう。また、目的画質とは、例えば、明るい被写体の像が階調を失わない（白とびしない）ことをいう。
　変換パラメータ算出部１２は、第１画像より後に撮影された画像である第２画像が撮影されたときの撮影環境に応じて、第２画像を目的画質画像に変換するための第２変換パラメータを算出する。ここで、所定の画質は、上述した第１変換パラメータにおける所定の画質と同一である。
　また、変換パラメータ算出部１２は、第２変換パラメータよりも、連続して撮影された画像間における変化量が抑制された第３変換パラメータを算出する。つまり、変換パラメータ算出部１２は、撮影された画像を、撮影環境の変化に徐々に追随する画像へ変換するための第３変換パラメータを算出する。
　具体的には、変換パラメータ算出部１２は、第２画像よりも時間的に１つ前の画像における第３変換パラメータ（以下、単に「旧第３変換パラメータ」という。）と第２画像における第３変換パラメータとの差分値が、旧第３変換パラメータと第２画像における第２変換パラメータとの差分値以下となるように第３変換パラメータを算出する。
　第１画像変換部１３は、記憶部１７に記憶された第１変換パラメータと変換パラメータ算出部１２によって算出された第２変換パラメータとを用いて、第１および第２画像の少なくとも一方を変換する。つまり、第１画像変換部１３は、変換後の画像が同等の画質を有するように、第１および第２画像の少なくとも一方を変換する。具体的には、例えば、第１画像変換部１３は、第１変換パラメータと第２変換パラメータとの比を用いて、第１画像を変換する。
　第２画像変換部１４は、第３変換パラメータを用いて第２画像を変換する。
　追跡処理部１５は、第１画像変換部１３によって変換された後の画像を用いて、初期領域の特徴を定量的に示す特徴量と最も類似する特徴量を有する領域を第２画像において探索することにより、対象物の像を追跡する。具体的には、例えば、追跡処理部１５は、第２画像内の位置および大きさを変更しながら選択した領域の特徴量を抽出する。そして、追跡処理部１５は、算出した特徴量のうち初期領域の特徴量と最も差分が小さい特徴量を有する領域を対象領域として特定する。なお、対象領域とは、対象物の像を含む領域である。
　ここで、特徴量とは、例えば、領域内における画素の色の頻度分布を示す色ヒストグラムである。また、特徴量とは、例えば、領域内において検出されるエッジであってもよい。また、特徴量とは、例えば、領域を構成する画素が有する輝度値であってもよい。
　出力部１６は、第２画像変換部１４によって変換された後の画像と、追跡処理部１５によって探索された領域を示す情報とを出力する。具体的には、出力部１６は、例えば、電子カメラなどが有する表示部に表示させるために、第２画像変換部１４によって変換された後の画像と対象領域を示す枠などとを含む画像を記憶部１７に登録する。
　記憶部１７は、初期領域に関する情報と第１変換パラメータとを記憶する。
　なお、上記において、第１、第２および第３変換パラメータは、撮影された画像から検出される色温度、露光、露出、および輝度値の少なくとも１つに応じて、画像を構成する複数の画素が有する画素値を変換するためのパラメータである。具体的には、第１、第２および第３変換パラメータは、例えば、各画素のＲＧＢごとの輝度値を変換する変換係数である。
　図２は、本発明の実施の形態に係る画像処理装置の具体例である電子カメラの構成を示すブロック図である。図２に示すように、電子カメラ１００は、撮影レンズ１０１と、シャッター１０２と、撮像素子１０３と、ＡＤ変換器１０４と、タイミング発生回路１０５と、画像処理回路１０６と、メモリ制御回路１０７と、画像表示メモリ１０８と、ＤＡ変換器１０９と、画像表示部１１０と、メモリ１１１と、リサイズ回路１１２と、システム制御回路１１３と、露光制御部１１４と、測距制御部１１５と、ズーム制御部１１６と、バリア制御部１１７と、フラッシュ１１８と、保護部１１９と、メモリ１２０と、表示部１２１と、不揮発性メモリ１２２と、モードダイアルスイッチ１２３と、シャッタースイッチ１２４と、電源制御部１２５と、コネクタ１２６および１２７と、電源１２８と、インタフェース１２９および１３０と、コネクタ１３１および１３２と、記録媒体１３３と、光学ファインダ１３４と、通信部１３５と、アンテナ１３６と、初期領域取得回路１３７と、変換パラメータ算出回路１３８と、第１画像変換回路１３９と、第２画像変換回路１４０と、追跡処理回路１４１と、追跡結果描画回路１４２と、カメラ制御回路１４３とを備える。なお、電源１２８および記録媒体１３３は、取り外し可能でもよい。
　撮影レンズ１０１は、ズーミングおよびフォーカシング機能を有するレンズであり、入射する光を撮像素子１０３上に結像させる。
　シャッター１０２は、絞り機能を備え、撮像素子１０３に入射する光の量を調節する。
　撮像素子１０３は、入射した光が結像して得られる光学像を電気信号（画像データ）に変換する。
　ＡＤ変換器１０４は、撮像素子１０３から出力されるアナログ信号をデジタル信号に変換する。ＡＤ変換器１０４は、デジタル信号に変換された画像データを、メモリ制御回路１０７を介して、画像表示メモリ１０８またはメモリ１１１に書き込む。または、ＡＤ変換器１０４は、デジタル信号に変換された画像データを画像処理回路１０６に出力する。
　タイミング発生回路１０５は、撮像素子１０３、ＡＤ変換器１０４およびＤＡ変換器１０９にクロック信号または制御信号を供給する。タイミング発生回路１０５は、メモリ制御回路１０７およびシステム制御回路１１３により制御される。
　画像処理回路１０６は、ＡＤ変換器１０４から出力される画像データまたはメモリ制御回路１０７から出力される画像データに対して、所定の画像補間処理または色変換処理などを行う。また、画像処理回路１０６は、入力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路１１３が露光制御部１１４および測距制御部１１５に対して制御を行う。
　メモリ制御回路１０７は、ＡＤ変換器１０４、タイミング発生回路１０５、画像処理回路１０６、画像表示メモリ１０８、ＤＡ変換器１０９、メモリ１１１およびリサイズ回路１１２を制御する。
　画像表示メモリ１０８は、表示用の画像データを記憶する。
　ＤＡ変換器１０９は、メモリ制御回路１０７を介して、画像表示メモリ１０８から表示用の画像データを取得し、デジタル信号からアナログ信号に変換する。
　画像表示部１１０は、ＤＡ変換器１０９でアナログ信号に変換された表示用の画像データを表示する。また、画像表示部１１０は、ユーザから追跡の対象となる対象物が写っている領域（初期領域）を特定するための情報を受け付けてもよい。画像表示部１１０は、例えば、ＴＦＴＬＣＤ（Ｔｈｉｎ　Ｆｉｌｍ　Ｔｒａｎｓｉｓｔｏｒ　Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、タッチパネルなどのディスプレイである。
　メモリ１１１は、ＡＤ変換器１０４から得られる画像データ、および、画像処理回路１０６で処理された画像データを記憶する。さらに、メモリ１１１は、初期領域取得回路１３７によって取得された初期領域に関する情報など追跡処理に必要な情報を記憶する。なお、メモリ１１１は、図１の記憶部１７に相当する。
　リサイズ回路１１２は、撮影して得られた画像から低解像度の画像を生成する。なお、リサイズ回路１１２は、用途に応じて所定の複数の解像度を選択することができる。リサイズ回路１１２は、メモリ１１１に格納された画像データを読み込み、読み込んだ画像データに対してリサイズ処理を行い、処理を終えたデータをメモリ１１１に書き込む。
　なお、リサイズ回路１１２は、撮像素子１０３の画素数と異なる画素数（サイズ）で記録媒体１３３などに画像データを記録したい場合などに利用される。また、画像表示部１１０の表示可能な画素数は、撮像素子１０３の画素数よりもかなり小さい。したがって、リサイズ回路１１２は、撮影した画像データを画像表示部１１０に表示する場合の表示用画像を生成する場合にも利用される。
　システム制御回路１１３は、電子カメラ１００全体の各処理部および各処理回路を制御することによって、撮影処理を行う。撮影処理は、露光処理、現像処理および記録処理などからなる。露光処理とは、撮像素子１０３から読み出した画像データをＡＤ変換器１０４およびメモリ制御回路１０７を介してメモリ１１１に書き込む処理である。現像処理とは、画像処理回路１０６およびメモリ制御回路１０７での演算処理である。記録処理とは、メモリ１１１から画像データを読み出し、記録媒体１３３に画像データを書き込む処理である。
　露光制御部１１４は、絞り機能を備えるシャッター１０２を制御する。また、露光制御部１１４は、フラッシュ１１８と連携することによりフラッシュ調光機能も有する。
　測距制御部１１５は、撮影レンズ１０１のフォーカシングを制御する。ズーム制御部１１６は、撮影レンズ１０１のズーミングを制御する。バリア制御部１１７は、保護部１１９の動作を制御する。
　フラッシュ１１８は、被写体に対してフラッシュ光を照射する。フラッシュ１１８は、さらに、ＡＦ補助光の投光機能およびフラッシュ調光機能も有する。
　保護部１１９は、電子カメラ１００の撮影レンズ１０１、シャッター１０２および撮像素子１０３などを含む撮像部を覆うことにより、撮像部の汚れまたは破損を防止するバリアである。
　メモリ１２０は、システム制御回路１１３の動作用の定数、変数およびプログラムなどを記録する。
　表示部１２１は、システム制御回路１１３でのプログラムの実行に応じて、文字、画像または音声などを用いて動作状態またはメッセージなどを表示する液晶表示装置またはスピーカーなどである。表示部１２１は、電子カメラ１００の操作部近辺の視認しやすい単数または複数の箇所に設置される。表示部１２１は、例えば、ＬＣＤ、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）、または、発音素子などの組み合わせにより構成されている。
　不揮発性メモリ１２２は、電気的に証拠・記録可能なメモリであり、電子カメラ１００の動作設定データまたは利用者固有の情報などを記憶する。不揮発性メモリ１２２は、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などである。
　モードダイアルスイッチ１２３は、自動撮影モード、撮影モード、パノラマ撮影モードおよびＲＡＷモードなどの各機能モードを切り替え、設定することができる。
　シャッタースイッチ１２４は、シャッターボタン（図示せず）の操作途中でＯＮとなりＡＦ処理、ＡＥ処理およびＡＷＢ（Ａｕｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）処理などの動作開始を指示する。また、シャッタースイッチ１２４は、露光処理、現像処理および記録処理という一連の処理の動作の開始を指示する。
　電源制御部１２５は、電池検出回路、ＤＣ－ＤＣコンバータ、および、通電するブロックを切り替えるスイッチ回路などにより構成されている。電源制御部１２５は、電池の装着の有無、電池の種類および電池残量の検出を行う。さらに、電源制御部１２５は、検出結果およびシステム制御回路１１３の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を帰還させ、記録媒体１３３を含む各処理部へ電圧を、コネクタ１２６および１２７を介して供給する。
　コネクタ１２６および１２７は、電源制御部１２５と、電源１２８との接続を行うコネクタである。
　電源１２８は、アルカリ電池もしくはリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池もしくはＬｉ電池などの二次電池、または、ＡＣアダプタなどである。
　インタフェース１２９および１３０は、記録媒体１３３とメモリ１１１などとの間で画像データなどの送受信を行うためのインタフェースである。
　コネクタ１３１および１３２は、インタフェース１２９とインタフェース１３０とを介した記録媒体１３３との接続を行うコネクタである。
　記録媒体１３３は、画像データを記録するメモリカードまたはハードディスクなどの記録媒体である。
　光学ファインダ１３４は、撮影者が被写体を確認するために使用するファインダである。撮影者は、画像表示部１１０による電子ファインダ機能を使用することなく、光学ファインダ１３４のみを用いて撮影を行うことが可能である。
　通信部１３５は、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、モデム、ＬＡＮ、または無線通信などの各種通信機能を有する。
　アンテナ１３６は、通信部１３５により電子カメラ１００を他の機器と接続されるコネクタまたは無線通信の場合のアンテナである。
　初期領域取得回路１３７は、タッチパネルがユーザから受け付けた位置、あるいはユーザがシャッタースイッチ１２４を押すことによって設定されるＡＦ領域等によって特定された初期領域に関する情報を取得し、取得した情報をメモリ１１１に書き込む。なお、初期領域取得回路１３７は、図１の初期領域取得部１１に相当する。
　変換パラメータ算出回路１３８は、ユーザが視覚を通じて認識する色または明るさと同等の色または明るさを有する画像に入力画像を変換するための変換パラメータを算出する。具体的には、変換パラメータ算出回路１３８は、例えば、対象物を照らす光の色温度を検出し、検出した色温度に応じて入力画像の色を変換する変換パラメータを算出する。なお、変換パラメータ算出回路１３８は、図１の変換パラメータ算出部１２に相当する。
　第１画像変換回路１３９は、メモリ１１１から初期領域に含まれる画像を読み込む。さらに、第１画像変換回路１３９は、変換パラメータ算出回路１３８によって算出された変換パラメータを用いて、読み込んだ画像を変換する。なお、第１画像変換回路１３９は、図１の第１画像変換部１３に相当する。
　第２画像変換回路１４０は、メモリ１１１から入力画像を読み込む。さらに、第２画像変換回路１４０は、変換パラメータ算出回路１３８によって算出された変換パラメータを用いて、読み込んだ画像を変換する。なお、第２画像変換回路１４０は、図１の第２画像変換部１４に相当する。
　追跡処理回路１４１は、メモリ１１１から第１画像変換回路１３９によって変換された画像を読み込み、読み込んだ画像の特徴量を算出する。そして、追跡処理回路１４１は、算出した特徴量と最も類似する特徴量を有する領域を入力画像において探索することにより、対象物の像の追跡処理を行う。さらに、追跡処理回路１４１は、追跡結果（座標データ、評価値など）をメモリ１１１に書き込む。なお、追跡処理回路１４１は、図１の追跡処理部１５に相当する。
　追跡結果描画回路１４２は、メモリ１１１に書き込まれた追跡結果を表示部１２１に表示させるために、画像表示メモリ１０８に書き込まれた表示用の画像データを加工する。具体的には、追跡結果描画回路１４２は、画像データに対して、例えば、追跡枠、モザイク化、文字、表示色の変更、ぼかしなどの加工を行う。なお、追跡結果描画回路１４２は、図１の出力部１６に相当する。
　カメラ制御回路１４３は、メモリ１１１に書き込まれた追跡結果（対象領域）の位置と大きさとに基づいて、対象領域に写っている対象物に焦点が合うように、ＡＦ処理を制御する。具体的には、カメラ制御回路１４３は、例えば、対象領域に写っている対象物のコントラストを利用して、コントラストが高くなるように撮影レンズ１０１を制御する。
　また、カメラ制御回路１４３は、対象領域に写っている対象物の露出が適正となるように、ＡＥ処理または逆光補正処理を制御してもよい。具体的には、カメラ制御回路１４３は、例えば、シャッター速度優先、または絞り値優先などモードにしたがって、露光制御部１１４を介して、絞り機能を備えるシャッター１０２のシャッター速度または絞り値を制御してもよい。
　さらに、カメラ制御回路１４３は、対象物が画像内の一定の位置または一定の大きさとなるように（例えば、対象物である顔が画像の中央に写るように、あるいは、対象物である人物の全身が写るようになど）電子カメラ１００を制御してもよい。
　なお、電子カメラ１００が初期領域取得回路１３７、変換パラメータ算出回路１３８、第１画像変換回路１３９、第２画像変換回路１４０、追跡処理回路１４１、追跡結果描画回路１４２、およびカメラ制御回路１４３のいずれかの回路を備えない場合、システム制御回路１１３が、ソフトウェア処理によって追跡処理などを行ってもよい。
　次に、以上のように構成された画像処理装置における各種動作について説明する。
　図３は、本発明の実施の形態に係る画像処理装置の動作を示すフローチャートである。
　まず、初期領域取得部１１は、初期領域に関する情報と第１変換パラメータとを取得する（ステップＳ１０１）。具体的には、初期領域取得部１１は、例えば、初期領域の位置を示す座標と初期領域の大きさを示す値とを初期領域に関する情報として取得する。また、初期領域取得部１１は、例えば、光源の色温度に関わらず対象物の色を正確に表す画像へ第１画像を変換するための色温度パラメータを第１変換パラメータとして取得する。続いて、初期領域取得部１１は、取得した初期領域に関する情報と第１変換パラメータとを記憶部１７に登録する（ステップＳ１０２）。
　その後、画像処理装置１０は、第１画像より後に撮影された画像において、対象領域を特定する処理を繰り返す。対象領域を特定する処理は、以下のとおりである。
　まず、変換パラメータ算出部１２は、処理対象となる画像（以下、「第２画像」という。）を目的画質画像へ変換するための第２変換パラメータを算出する（ステップＳ１０３）。具体的には、変換パラメータ算出部１２は、例えば、光源の色温度に関わらず対象物の色を正確に表す画像へと第２画像を変換するための色温度パラメータを、第２変換パラメータとして算出する。
　次に、第１画像変換部１３は、記憶部１７に記憶されている第１変換パラメータと変換パラメータ算出部１２によって算出された第２変換パラメータとを用いて、第１画像を変換する（ステップＳ１０４）。具体的には、第１画像変換部１３は、例えば、記憶部１７から第１画像と第１変換パラメータとを読み出す。そして、第１画像変換部１３は、例えば、変換パラメータ算出部１２によって算出された第２変換パラメータにより第１変換パラメータが除された値を、読み出した第１画像を構成する各画素の画素値に乗じる。
　続いて、追跡処理部１５は、ステップＳ１０４において変換された画像から初期領域の特徴量を抽出する（ステップＳ１０５）。具体的には、追跡処理部１５は、例えば、記憶部１７に記憶されている初期領域の位置を示す座標および大きさを示す値を読み出す。そして、追跡処理部１５は、例えば、読み出した座標および大きさを示す値を用いて初期領域を構成する複数の画素を特定する。そして、追跡処理部１５は、特定した各画素が有する色の頻度分布を表す色ヒストグラムを特徴量として抽出する。
　次に、追跡処理部１５は、抽出した特徴量と最も類似する特徴量を有する領域を第２画像において探索することにより、対象物の像を含む領域である対象領域を特定する（ステップＳ１０６）。すなわち、追跡処理部１５は、対象領域を特定することによって、対象物の追跡を行う。具体的には、追跡処理部１５は、例えば、第２画像において位置および大きさを変更しながら領域を選択し、選択した領域の特徴量と初期領域の特徴量とを比較する。そして、追跡処理部１５は、比較した結果、選択した領域のうち最も特徴量の差異が小さい領域を対象領域として特定する。
　また、変換パラメータ算出部１２は、第２変換パラメータよりも、連続して撮影された画像間における変化量が抑制された第３変換パラメータを算出する（ステップＳ１０７）。具体的には、変換パラメータ算出部１２は、旧第３変換パラメータと第３変換パラメータとの差分値が、旧第３変換パラメータと第２変換パラメータとの差分値以下となるように第３変換パラメータを算出する。
　次に、第２画像変換部１４は、変換パラメータ算出部１２によって算出された第３変換パラメータを用いて、第２画像を変換する（ステップＳ１０８）。なお、ステップＳ１０７およびステップＳ１０８に示す処理は、ステップＳ１０４～ステップＳ１０６に示す処理よりも先に実行されてもよい。また、ステップＳ１０７およびステップＳ１０８に示す処理は、ステップＳ１０４～ステップＳ１０６に示す処理と並行して実行されてもよい。
　最後に、出力部１６は、ステップＳ１０６において探索された対象領域を示す情報と、ステップＳ１０８において変換された後の画像とを出力する（ステップＳ１０９）。具体的には、出力部１６は、例えば、ステップＳ１０８において変換された後の画像に、対象領域の位置を示す枠を付加した画像を記憶部１７に登録する。
　以上のステップＳ１０３～Ｓ１０９までの処理を連続して撮影された画像ごとに繰り返すことにより、画像処理装置１０は、対象物の像を追跡することができる。
　次に、各画素が有する色を変換するためのＲＧＢごとの変換係数を変換パラメータとして用いる場合の、画像処理装置１０における各種動作の具体例について説明する。
　図４は、本発明の実施の形態に係る画像処理装置における動作の具体例を説明するための図である。具体的には、図４は、被写体である犬が屋外から屋内に移動することにより、犬を照らす光が太陽光から蛍光灯による光に変化した場合の処理を説明するための図である。
　図４において、１行目には、撮像素子などから得られる画像である原画像が示されている。また、２行目には、目的画質を有する画像へ原画像を変換した場合の目的画質画像が示されている。なお、目的画質画像は、実際には生成される必要がない画像であるが、変換パラメータを説明するために示されている。また、３行目には、対象領域を探索する際に用いるために原画像４００を変換した画像である探索用画像が示されている。また、４行目には、表示部に表示するために原画像を変換した画像である出力用画像が示されている。
　原画像４００は、第１画像に相当する画像であり、撮影開始時に撮影された画像である。また、原画像４００は、太陽光に照らされた犬が撮影された画像である。原画像４００において、追跡の対象となる対象物の像を含む領域として初期領域４０３がユーザによって指定されている。この初期領域４０３は、例えば、画像が表示されたタッチパネルにおいて、対象物の像をユーザがタッチすることにより指定される。
　目的画質画像４０１は、第１変換パラメータＰ１を用いて第１画像を変換した場合の画像である。説明の便宜のため、図４において、目的画質画像４０１と原画像４００とは同一の画像である。
　ここで第１変換パラメータＰ１は、変換パラメータ算出部１２によって算出される変換パラメータであり、光源の色温度に関わらず被写体の色を正確に写し出すためのＲＧＢごとの変換係数である。具体的には、変換パラメータ算出部１２は、例えば、既知の色域との相関を利用して、原画像４００から色温度パラメータを算出する（例えば、非特許文献１「センサ相関法によるシーン照明の色温度推定（電子情報通信学会論文誌Ｄ－ＩＩ、富永ら）」を参照）。なお、目的画質画像４０１を構成する各画素の画素値Ｖ２は、原画像４００を構成する各画素の画素値Ｖ１と第１変換パラメータＰ１とを用いて、（式１）のように表される。
Figure JPOXMLDOC01-appb-M000001
　出力用画像４０２は、第２画像変換部１４によって原画像４００が変換された画像であり、表示部に表示するための画像である。なお、原画像４００が撮影開始時の画像であるので、第３変換パラメータは第１変換パラメータと同一となる。したがって、第２画像変換部１４は、第１変換パラメータＰ１を用いて原画像４００を出力用画像４０２へ変換する。
　原画像４１０は、第２画像に相当する画像であり、原画像４００の次に撮影された画像である。また、原画像４１０は、原画像４００と同一の犬が同一の背景において撮影された画像である。ただし、原画像４１０の光源は、原画像４００の光源とは異なり、蛍光灯である。つまり、原画像４１０は、原画像４００と異なる撮影環境において撮影された画像である。したがって、原画像４１０は、原画像４００と異なる画質の画像であり、原画像４００と同一の被写体像であっても異なる色を有する。
　目的画質画像４１１は、第２変換パラメータＰ２を用いて第１画像を変換した場合の画像である。ここで第２変換パラメータＰ１は、第１変換パラメータＰ１と同様に、変換パラメータ算出部１２によって算出される変換パラメータであり、光源の色温度に関わらず被写体の色を正確に写し出すためのＲＧＢごとの変換係数である。
　探索用画像４１２は、第１変換パラメータＰ１と第２変換パラメータＰ２との比を用いて、第１画像変換部１３により原画像４００が変換された画像である。つまり、探索用画像４１２は、原画像４１０と同等の画質を有する画像へ原画像４００が変換されたものである。具体的には、第１画像変換部１３は、（式２）にしたがって、ＲＧＢごとの各画素の画素値として画素値Ｖ１を有する原画像４００を、ＲＧＢごとの各画素の画素値として画素値Ｖ３を有する探索用画像４１２へ変換する。
Figure JPOXMLDOC01-appb-M000002
　追跡処理部１５は、このように変換された探索用画像４１２において、原画像４００における初期領域４０３と同等の位置および大きさの領域である領域４１５が有する特徴量を抽出する。そして、追跡処理部１５は、抽出した特徴量と最も類似する特徴量を有する領域を原画像４１０の中から探索する。探索の結果、追跡処理部１５は、原画像４１０内に示すように対象領域４１４を特定する。
　出力用画像４１３は、第３変換パラメータＰ３を用いて第２画像変換部１４により原画像４１０が変換された画像であって、原画像４１０において探索された対象領域４１４を示す情報である枠４１６が含まれる画像である。この第３変換パラメータＰ３は、第２変換パラメータＰ２よりも、旧第３変換パラメータＰ３ｐｒ（ここでは、第１変換パラメータＰ１）からの変化量が抑制された変換パラメータである。具体的には、第３変換パラメータＰ３は、例えば、（式３）を満たすパラメータである。なお、（式３）は、旧第３変換パラメータと第３変換パラメータとの間におけるＲＧＢごとの差分の絶対値の和が、第２変換パラメータと第３変換パラメータとのＲＧＢごとの差分の絶対値の和以下となることを示す。
Figure JPOXMLDOC01-appb-M000003
　より具体的には、第２変換パラメータＰ２と旧第３変換パラメータＰ３ｐｒとの変化量があらかじめ定められた閾値以下の場合は、変換パラメータ算出部１２は、第２変換パラメータＰ２を第３変換パラメータＰ３として算出する。一方、第２変換パラメータＰ２と旧第３変換パラメータＰ３ｐｒとの変化量があらかじめ定められた閾値より大きい場合は、変換パラメータ算出部１２は、第２変換パラメータＰ２と旧第３変換パラメータＰ３ｐｒとの変化量が当該閾値と等しくなる値を第３変換パラメータＰ３として算出する。
　原画像４２０および４３０は、原画像４１０と同一の撮影環境において、原画像４１０よりも時間的に後に撮影された画像である。また、目的画質画像４２１および４３１と探索用画像４２２および４３２と出力用画像４２３および４３３とは、原画像４２０および４３０に対応する画像である。
　すなわち、第２画像変換部１４は、時間的な変化量が抑制された第３変換パラメータを用いて、原画像４１０、４２０および４３０を、出力用画像４１３、４２３および４３３へ変換する。したがって、出力部１６は、図４に示すように、人間が異なる環境に徐々に適応する場合に認識する像と同様に、徐々に目的画質画像に変化する画像（出力用画像４１３、４２３および４３３）を出力することができる。
　次に、特徴量として色ヒストグラムを利用した場合における探索処理の具体例について説明する。
　図５は、本発明の実施の形態に係る画像処理装置における探索に関する動作の具体例を説明するための図である。図５（ａ）には、第１画像５００と初期領域５０１とが示されている。初期色ヒストグラム５０２は、第１画像変換部１３によって変換された後の画像からを生成された初期領域５０１の色ヒストグラムである。
　なお、色ヒストグラムは、画像または画像の一部領域を構成する複数の画素が有する色の頻度の分布を示す情報である。例えば、色ヒストグラムの横軸は、ＨＳＶ（Ｈｕｅ　Ｓａｔｕｒａｔｉｏｎ　Ｖａｌｕｅ）色空間の色相（Ｈ）の値（０～３６０）を２０分割したときの色の区分を示す。また、色ヒストグラムの縦軸は、各区分に属する画素の数（度数）を示す。各画素がどの色の区分に属するかは、各画素の色相（Ｈ）の値を区分の数で除したときの値の整数部分を用いて決定されればよい。
　また、区分の数は、必ずしも２０である必要はなく、１以上であればどのような数でもよい。ただし、初期領域に含まれる色が多いほど、区分の数が多くなることが好ましい。これにより、初期領域に含まれる色が多い場合には、小さな区分ごとの度数を用いて類似する領域を探索できるので、対象領域の特定の精度を向上させることができる。一方、初期領域に含まれる色が少ない場合には、大きな区分ごとの度数が記憶されるので、メモリの使用量を少なくすることができる。
　次に、図５（ｂ）に示すように、追跡処理部１５は、第１画像５００と時間的に連続する次の第２画像５１０において、探索領域５１１を決定する。具体的には、追跡処理部１５は、第１画像５００における対象領域（ここでは、初期領域５０１）を含み、かつ対象領域（ここでは、初期領域５０１）よりも大きい矩形領域を探索領域５１１と決定する。さらに具体的には、追跡処理部１５は、記憶部１７に格納されている、初期領域５０１の辺の長さおよび中心位置の座標を読み出す。そして、追跡処理部１５は、読み出した辺の長さよりも大きな矩形領域であって読み出した中心位置の座標を中心とする矩形領域を、探索領域と決定する。
　なお、探索領域の形状は、矩形である必要はなく、円形、六角形等の任意の形状でもよい。また、探索領域の大きさは、あらかじめ定められた大きさであってもよいし、フレームレートまたはシャッター速度が小さいほど大きくなるような大きさであってもよい。
　そして、追跡処理部１５は、探索領域５１１よりも小さな領域であって探索領域５１１内の領域である選択領域５１２を選択する。そして、追跡処理部１５は、選択した選択領域５１２の色ヒストグラムである選択色ヒストグラム５１３を抽出する。このとき、選択色ヒストグラム５１３は、初期色ヒストグラム５０２を用いて正規化されることが好ましい。具体的には、追跡処理部１５は、選択領域の色ヒストグラムにおける各区分の度数を、初期色ヒストグラム５０２の各区分の度数で除することにより、選択色ヒストグラム５１３を正規化することが好ましい。
　続いて、図５（ｃ）に示すように、追跡処理部１５は、初期色ヒストグラム５０２と選択色ヒストグラム５１３とが重なる部分である重複部分５２０の割合を類似度として算出する。具体的には、追跡処理部１５は、（式４）にしたがって類似度を算出する。
Figure JPOXMLDOC01-appb-M000004
　ここで、Ｒｉは、初期色ヒストグラム５０２におけるｉ番目の区分の度数である。一方、Ｉｉは、選択色ヒストグラム５１３におけるｉ番目の区分の度数である。ここでは、２０分割されているので、ｉは０から１９までの値となる。なお、重複部分５２０の割合が大きいほど類似度が示す類似度合いは高く、小さいほど類似度が示す類似度合いは低いことを示す。
　追跡処理部１５は、このように探索領域５１１内において位置および大きさを変更しながら選択領域５１２の選択および選択色ヒストグラム５１３の抽出を繰り返し、色ヒストグラムが重複部分５２０の割合が最も大きい選択領域５１２を対象領域として特定する。そして、追跡処理部１５は、対象領域の辺の長さおよび中心位置の座標を記憶部１７に登録する。
　以上のように、本実施の形態に係る画像処理装置１０は、撮影環境が変化することによって対象物の像を示す特徴量が変動した場合であっても、撮影環境に対応した第１および第２変換パラメータを用いて第１画像を変換した探索用画像を利用して対象領域を探索する。つまり、画像処理装置１０は、撮影環境の変化に徐々に追随するパラメータではなく、撮影環境の変化に即座に追随するパラメータを用いて、第２画像と同等の画質を有する画像となるように第１画像を変換した探索用画像を利用して対象領域を探索する。その結果、画像処理装置１０は、撮影環境の変化に関わらず、対象物の像を安定して追跡することが可能になる。
　さらに、画像処理装置１０は、撮影環境の変化に徐々に対応する第３変換パラメータを用いて変換した画像を出力することにより、ユーザが画像を見たときの違和感あるいは不快感を低減することも可能となる。
　また、画像処理装置１０は、第１および第２画像のうち第１画像のみを探索用画像へ変換するので、第１および第２画像の両方を変換するよりも、画像を変換する処理の負荷を軽減することが可能となる。
　また、画像処理装置１０は、ロバスト性の高い色ヒストグラムを用いて対象物の像を追跡できるので、対象物の像をより安定して追跡することが可能となる。
　以上、本発明に係る画像処理装置または電子カメラについて、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本発明の範囲内に含まれる。
　例えば、上記実施の形態において、第１画像変換部１３は、第１画像を変換していたが、第１画像と同等の画質を有する画像となるように第２画像を変換してもよい。また、第１画像変換部１３は、変換後の画像の画質が互いに同等となるように第１画像および第２画像の両方を目的画質画像へ変換してもよい。具体的には、例えば、第１画像および第２画像のうち第２画像のみを変換する場合、第１画像変換部１３は、（式５）にしたがって、ＲＧＢごとの各画素の画素値として画素値Ｖ４を有する原画像４１０（第２画像）を、ＲＧＢごとの各画素の画素値として画素値Ｖ５を有する探索用画像へ変換する。そして、追跡処理部１５は、このように変換された探索用画像において、原画像４００における初期領域４０３から抽出される特徴量と最も類似する領域を探索する。
Figure JPOXMLDOC01-appb-M000005
　また、上記実施の形態において、第１画像変換部１３は、第１画像のすべてを変換していたが、第１画像のうち初期領域に含まれる画像のみを変換してもよい。これにより、画像処理装置１０は、第１画像変換部１３の処理の負荷を軽減させることができる。またこの場合、記憶部１７には、初期領域に関する情報として、初期領域を構成する各画素の画素値が記憶されればよい。これにより、画像処理装置１０は、第１画像のすべてを記憶する場合よりも、記憶部１７の記憶容量を削減できる。
　また、記憶部１７には、初期領域に関する情報として、初期領域から抽出される特徴量が記憶されてもよい。この場合、第１画像変換部１３は、第１画像を変換する代わりに、初期領域の特徴量を変換する。これにより、追跡処理部１５は、撮影された画像において対象領域を探索するたびに初期領域の特徴量を抽出する必要がなくなるので、追跡処理部１５の負荷を軽減できる。
　また、上記実施の形態において、追跡処理部１５は、特徴量として色ヒストグラムを抽出していたが、例えば、輝度ヒストグラムを特徴量として抽出してもよい。この場合、追跡処理部１５は、初期領域から得られる輝度ヒストグラムと選択領域から得られる輝度ヒストグラムとを比較することにより、類似度を算出する。
　また、上記の画像処理装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。例えば、図１に示すように、初期領域取得部１１と、変換パラメータ算出部１２と、第１画像変換部１３と、第２画像変換部１４と、追跡処理部１５と、出力部１６とは、１個のシステムＬＳＩ３０から構成されてもよい。
　また、本発明は、上記のような画像処理装置として実現するだけでなく、図２に示すように、画像処理装置が備える特徴的な構成部を備える電子カメラとして実現してもよい。またさらに、本発明は、画像処理装置が備える特徴的な構成部の動作をステップとする画像処理方法として実現してもよい。また、本発明は、そのような画像処理方法に含まれるステップをコンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体またはインターネット等の伝送媒体を介して配信してもよい。
　本発明に係る電子カメラまたは撮像装置等は、追跡の対象となる対象物が写っている領域を特定することにより対象物の像を追跡する、デジタルビデオカメラ、デジタルスチルカメラ、監視用カメラ、車載用カメラ、またはカメラ機能を備えた携帯電話などに有用である。
　　１０　画像処理装置
　　１１　初期領域取得部
　　１２　変換パラメータ算出部
　　１３　第１画像変換部
　　１４　第２画像変換部
　　１５　追跡処理部
　　１６　出力部
　　１７　記憶部
　　３０　システムＬＳＩ
　１００　電子カメラ
　１０１　撮影レンズ
　１０２　シャッター
　１０３　撮像素子
　１０４　ＡＤ変換器
　１０５　タイミング発生回路
　１０６　画像処理回路
　１０７　メモリ制御回路
　１０８　画像表示メモリ
　１０９　ＤＡ変換器
　１１０　画像表示部
　１１１、１２０　メモリ
　１１２　リサイズ回路
　１１３　システム制御回路
　１１４　露光制御部
　１１５　測距制御部
　１１６　ズーム制御部
　１１７　バリア制御部
　１１８　フラッシュ
　１１９　保護部
　１２１　表示部
　１２２　不揮発性メモリ
　１２３　モードダイアルスイッチ
　１２４　シャッタースイッチ
　１２５　電源制御部
　１２６、１２７、１３１、１３２　コネクタ
　１２８　電源
　１２９、１３０　インタフェース
　１３３　記録媒体
　１３４　光学ファインダ
　１３５　通信部
　１３６　アンテナ
　１３７　初期領域取得回路
　１３８　変換パラメータ算出回路
　１３９　第１画像変換回路
　１４０　第２画像変換回路
　１４１　追跡処理回路
　１４２　追跡結果描画回路
　１４３　カメラ制御回路
　４００、４１０、４２０、４３０　原画像
　４０１、４１１、４２１、４３１　目的画質画像
　４０２、４１３、４２３、４３３　出力用画像
　４０３　初期領域
　４１２、４２２、４３２　探索用画像
　４１４　対象領域
　４１５　領域
　４１６　枠
　５０１　初期領域
　５０２　初期色ヒストグラム
　５１１　探索領域
　５１２　選択領域
　５１３　選択色ヒストグラム
　５２０　重複部分

Claims (9)

  1. 　連続して撮影された画像において追跡の対象となる対象物の像を追跡し、追跡結果を利用して、オートフォーカス処理、自動露出処理、並びにカメラ制御によるフレーミング処理および自動撮影処理のうち少なくとも１つを実行する電子カメラであって、
    　第１画像において前記対象物の像を含む領域である初期領域に関する情報と、前記第１画像が撮影されたときの撮影環境に対応するパラメータであって前記第１画像を所定の画質を有する画像に変換するためのパラメータである第１変換パラメータとを記憶する記憶部と、
    　前記第１画像より後に撮影された画像である第２画像が撮影されたときの撮影環境に応じて、前記第２画像を前記所定の画質を有する画像に変換するための第２変換パラメータを算出する変換パラメータ算出部と、
    　前記記憶部に記憶された第１変換パラメータと前記変換パラメータ算出部によって算出された第２変換パラメータとを用いて、前記第１および第２画像の少なくとも一方を変換する第１画像変換部と、
    　前記第１画像変換部によって変換された後の画像を用いて、前記初期領域の特徴を定量的に示す特徴量に類似する特徴量を有する領域を前記第２画像において探索することにより、前記対象物の像を追跡する追跡処理部と、
    　前記第２変換パラメータよりも、連続して撮影された画像間における変化量が抑制された第３変換パラメータを用いて、前記第２画像を変換する第２画像変換部と、
    　前記第２画像変換部によって変換された後の画像と、前記追跡処理部によって探索された領域を示す情報とを出力する出力部とを備える
    　電子カメラ。
  2. 　前記第１、第２および第３変換パラメータは、撮影された画像から検出される色温度、露光、露出、および輝度値の少なくとも１つに応じて、前記画像を構成する複数の画素が有する画素値を変換するためのパラメータである
    　請求項１に記載の電子カメラ。
  3. 　前記第１画像変換部は、前記第１および第２変換パラメータの比を用いて、前記第１および第２画像の一方を変換する
    　請求項１に記載の電子カメラ。
  4. 　前記第１画像変換部は、前記第１画像を変換する場合、前記第１画像のうち前記初期領域に含まれる画像のみを変換する
    　請求項１に記載の電子カメラ。
  5. 　前記特徴量は、画像を構成する画素が有する色の頻度分布を表す色ヒストグラムであり、
    　前記追跡処理部は、前記初期領域の色ヒストグラムと重なる部分の割合が最も大きい色ヒストグラムを有する領域を前記第２画像において探索する
    　請求項１に記載の電子カメラ。
  6. 　連続して撮影された画像において追跡の対象となる対象物の像を追跡する画像処理装置であって、
    　第１画像において前記対象物の像を含む領域である初期領域に関する情報と、前記第１画像が撮影されたときの撮影環境に対応するパラメータであって前記第１画像を所定の画質を有する画像に変換するためのパラメータである第１変換パラメータとを記憶する記憶部と、
    　前記第１画像より後に撮影された画像である第２画像が撮影されたときの撮影環境に応じて、前記第２画像を前記所定の画質を有する画像に変換するための第２変換パラメータを算出する変換パラメータ算出部と、
    　前記記憶部に記憶された第１変換パラメータと前記変換パラメータ算出部によって算出された第２変換パラメータとを用いて、前記第１および第２画像の少なくとも一方を変換する第１画像変換部と、
    　前記第１画像変換部によって変換された後の画像を用いて、前記初期領域の特徴を定量的に示す特徴量に類似する特徴量を有する領域を前記第２画像において探索することにより、前記対象物の像を追跡する追跡処理部と、
    　前記第２変換パラメータよりも、連続して撮影された画像間における変化量が抑制された第３変換パラメータを用いて、前記第２画像を変換する第２画像変換部と、
    　前記第２画像変換部によって変換された後の画像と、前記追跡処理部によって探索された領域を示す情報とを出力する出力部とを備える
    　画像処理装置。
  7. 　連続して撮影された画像において追跡の対象となる対象物の像を追跡する画像処理装置において用いられる画像処理方法であって、
    　前記画像処理装置は、
    　第１画像において前記対象物の像を含む領域である初期領域に関する情報と、前記第１画像が撮影されたときの撮影環境に対応するパラメータであって前記第１画像を所定の画質を有する画像に変換するためのパラメータである第１変換パラメータとを記憶する記憶部を備え、
    　前記画像処理方法は、
    　前記第１画像より後に撮影された画像である第２画像が撮影されたときの撮影環境に応じて、前記第２画像を前記所定の画質を有する画像に変換するための第２変換パラメータを算出する変換パラメータ算出ステップと、
    　前記記憶部に記憶された第１変換パラメータと前記変換パラメータ算出ステップにおいて算出された第２変換パラメータとを用いて、前記第１および第２画像の少なくとも一方を変換する第１画像変換ステップと、
    　前記第１画像変換ステップにおいて変換された後の画像を用いて、初期領域の特徴を定量的に示す特徴量に類似する特徴量を有する領域を探索することにより、前記対象物の像を追跡する追跡処理ステップと、
    　前記第２変換パラメータよりも、連続して撮影された画像間における変化量が抑制された第３変換パラメータを用いて、前記第２画像を変換する第２画像変換ステップと、
    　前記第２画像変換ステップにおいて変換された後の画像と、前記追跡処理ステップにおいて探索された領域を示す情報とを出力する出力ステップとを含む
    　画像処理方法。
  8. 　連続して撮影された画像において追跡の対象となる対象物の像を追跡する画像処理装置が備える集積回路であって、
    　前記画像処理装置は、
    　第１画像において前記対象物の像を含む領域である初期領域に関する情報と、前記第１画像が撮影されたときの撮影環境に対応するパラメータであって前記第１画像を所定の画質を有する画像に変換するためのパラメータである第１変換パラメータとを記憶する記憶部を備え、
    　前記集積回路は、
    　前記第１画像より後に撮影された画像である第２画像が撮影されたときの撮影環境に応じて、前記第２画像を前記所定の画質を有する画像に変換するための第２変換パラメータを算出する変換パラメータ算出部と、
    　前記記憶部に記憶された第１変換パラメータと前記変換パラメータ算出部によって算出された第２変換パラメータとを用いて、前記第１および第２画像の少なくとも一方を変換する第１画像変換部と、
    　前記第１画像変換部によって変換された後の画像を用いて、前記初期領域の特徴を定量的に示す特徴量に類似する特徴量を有する領域を前記第２画像において探索することにより、前記対象物の像を追跡する追跡処理部と、
    　前記第２変換パラメータよりも、連続して撮影された画像間における変化量が抑制された第３変換パラメータを用いて、前記第２画像を変換する第２画像変換部と、
    　前記第２画像変換部によって変換された後の画像と、前記追跡処理部によって探索された領域を示す情報とを出力する出力部とを備える
    　集積回路。
  9. 　連続して撮影された画像において追跡の対象となる対象物の像を追跡するコンピュータ実行可能なプログラムであって、
    　前記コンピュータは、
    　第１画像において前記対象物の像を含む領域である初期領域に関する情報と、前記第１画像が撮影されたときの撮影環境に対応するパラメータであって前記第１画像を所定の画質を有する画像に変換するためのパラメータである第１変換パラメータとを記憶する記憶部を備え、
    　前記プログラムは、
    　前記第１画像より後に撮影された画像である第２画像が撮影されたときの撮影環境に応じて、前記第２画像を前記所定の画質を有する画像に変換するための第２変換パラメータを算出する変換パラメータ算出ステップと、
    　前記記憶部に記憶された第１変換パラメータと前記変換パラメータ算出ステップにおいて算出された第２変換パラメータとを用いて、前記第１および第２画像の少なくとも一方を変換する第１画像変換ステップと、
    　前記第１画像変換ステップにおいて変換された後の画像を用いて、初期領域の特徴を定量的に示す特徴量に類似する特徴量を有する領域を探索することにより、前記対象物の像を追跡する追跡処理ステップと、
    　前記第２変換パラメータよりも、連続して撮影された画像間における変化量が抑制された第３変換パラメータを用いて、前記第２画像を変換する第２画像変換ステップと、
    　前記第２画像変換ステップにおいて変換された後の画像と、前記追跡処理ステップにおいて探索された領域を示す情報とを出力する出力ステップとをコンピュータに実行させる
    　プログラム。
PCT/JP2010/002685 2009-05-11 2010-04-14 電子カメラ、画像処理装置および画像処理方法 WO2010131416A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP10774676.0A EP2432214A4 (en) 2009-05-11 2010-04-14 ELECTRONIC CAMERA, IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING METHOD
US13/002,771 US8593522B2 (en) 2009-05-11 2010-04-14 Digital camera, image processing apparatus, and image processing method
CN201080002005.8A CN102084642B (zh) 2009-05-11 2010-04-14 电子照相机、图像处理装置及图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009114958A JP5313037B2 (ja) 2009-05-11 2009-05-11 電子カメラ、画像処理装置および画像処理方法
JP2009-114958 2009-05-11

Publications (1)

Publication Number Publication Date
WO2010131416A1 true WO2010131416A1 (ja) 2010-11-18

Family

ID=43084802

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/002685 WO2010131416A1 (ja) 2009-05-11 2010-04-14 電子カメラ、画像処理装置および画像処理方法

Country Status (6)

Country Link
US (1) US8593522B2 (ja)
EP (1) EP2432214A4 (ja)
JP (1) JP5313037B2 (ja)
KR (1) KR20120007948A (ja)
CN (1) CN102084642B (ja)
WO (1) WO2010131416A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016171259A1 (ja) * 2015-04-23 2016-10-27 株式会社ニコン 画像処理装置、及び撮像装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5663923B2 (ja) * 2010-03-31 2015-02-04 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US8441548B1 (en) * 2012-06-15 2013-05-14 Google Inc. Facial image quality assessment
CN103780841A (zh) * 2014-01-23 2014-05-07 深圳市金立通信设备有限公司 一种拍摄方法及拍摄装置
US9131150B1 (en) * 2014-06-06 2015-09-08 Amazon Technologies, Inc. Automatic exposure control and illumination for head tracking
US9436870B1 (en) * 2014-06-06 2016-09-06 Amazon Technologies, Inc. Automatic camera selection for head tracking using exposure control
CN106576155B (zh) * 2014-07-08 2019-04-16 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及程序
WO2016076514A1 (ko) * 2014-11-14 2016-05-19 삼성전자 주식회사 연사 촬영을 위한 장치 및 방법
JP2016096459A (ja) 2014-11-14 2016-05-26 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 撮像装置及び撮像方法
WO2016132623A1 (ja) * 2015-02-18 2016-08-25 富士フイルム株式会社 追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラム
EP3316184B1 (en) * 2015-06-25 2020-03-11 Fujitsu Limited Program generating device, program generating method, and generating program
CN105141855B (zh) * 2015-08-31 2018-11-09 联想(北京)有限公司 一种图像处理方法及电子设备
JP6439004B2 (ja) 2016-04-28 2018-12-19 株式会社松屋アールアンドディ 縫製装置及び縫製方法
WO2018018514A1 (en) 2016-07-28 2018-02-01 SZ DJI Technology Co., Ltd. Target-based image exposure adjustment
US10163212B2 (en) * 2016-08-19 2018-12-25 Sony Corporation Video processing system and method for deformation insensitive tracking of objects in a sequence of image frames
KR102401659B1 (ko) * 2017-03-23 2022-05-25 삼성전자 주식회사 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법
WO2019039296A1 (ja) * 2017-08-23 2019-02-28 ソニー株式会社 映像処理装置、映像処理方法、プログラム、および遠隔コミュニケーションシステム
TWI632527B (zh) * 2017-11-22 2018-08-11 東友科技股份有限公司 影像擷取與輸出方法
CN108742170B (zh) * 2018-05-08 2020-08-18 华南理工大学 一种烤箱的智能识别烹饪***
CN109104573B (zh) * 2018-09-29 2021-01-08 维沃移动通信（杭州）有限公司 一种确定对焦点的方法及终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322153A (ja) * 1996-05-31 1997-12-12 Matsushita Electric Ind Co Ltd 自動監視装置
JP2000082135A (ja) * 1998-09-07 2000-03-21 Dainippon Printing Co Ltd 撮像画像幾何歪み検出装置
JP2001506820A (ja) * 1996-11-27 2001-05-22 プリンストン ビデオ イメージ，インコーポレイテッド 画像テクスチャーテンプレートを用いた動き追跡
JP2002150287A (ja) * 2000-11-07 2002-05-24 Minolta Co Ltd 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ
JP2006018389A (ja) * 2004-06-30 2006-01-19 Canon Inc 画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体
JP2009017457A (ja) * 2007-07-09 2009-01-22 Fujifilm Corp 複眼撮影装置及びその調節方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2568161B2 (ja) 1988-11-24 1996-12-25 キヤノン株式会社 自動露光制御装置
JPH0730796A (ja) * 1993-07-14 1995-01-31 Sony Corp ビデオ信号追従処理システム
JPH0795598A (ja) * 1993-09-25 1995-04-07 Sony Corp 目標追尾装置
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
US6100925A (en) * 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US6741725B2 (en) * 1999-05-26 2004-05-25 Princeton Video Image, Inc. Motion tracking using image-texture templates
US6859552B2 (en) * 2000-11-07 2005-02-22 Minolta Co., Ltd. Image retrieving apparatus
US7043058B2 (en) * 2001-04-20 2006-05-09 Avid Technology, Inc. Correcting motion vector maps for image processing
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
JP4363151B2 (ja) * 2003-10-14 2009-11-11 カシオ計算機株式会社 撮影装置、その画像処理方法及びプログラム
US7505607B2 (en) * 2004-12-17 2009-03-17 Xerox Corporation Identifying objects tracked in images using active device
KR20080037738A (ko) * 2005-08-26 2008-04-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미징 카메라 처리 유닛 및 방법
WO2007038642A2 (en) * 2005-09-26 2007-04-05 Cognisign, Llc Apparatus and method for trajectory-based identification of digital data content
GB2430735A (en) * 2005-09-30 2007-04-04 Sony Uk Ltd Object detection
JP2010218271A (ja) * 2009-03-17 2010-09-30 Tokyo Institute Of Technology パラメータ制御処理装置及び画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322153A (ja) * 1996-05-31 1997-12-12 Matsushita Electric Ind Co Ltd 自動監視装置
JP2001506820A (ja) * 1996-11-27 2001-05-22 プリンストン ビデオ イメージ，インコーポレイテッド 画像テクスチャーテンプレートを用いた動き追跡
JP2000082135A (ja) * 1998-09-07 2000-03-21 Dainippon Printing Co Ltd 撮像画像幾何歪み検出装置
JP2002150287A (ja) * 2000-11-07 2002-05-24 Minolta Co Ltd 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ
JP2006018389A (ja) * 2004-06-30 2006-01-19 Canon Inc 画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体
JP2009017457A (ja) * 2007-07-09 2009-01-22 Fujifilm Corp 複眼撮影装置及びその調節方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2432214A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016171259A1 (ja) * 2015-04-23 2016-10-27 株式会社ニコン 画像処理装置、及び撮像装置

Also Published As

Publication number Publication date
EP2432214A1 (en) 2012-03-21
US8593522B2 (en) 2013-11-26
CN102084642A (zh) 2011-06-01
CN102084642B (zh) 2014-05-14
JP5313037B2 (ja) 2013-10-09
EP2432214A4 (en) 2014-07-16
JP2010263584A (ja) 2010-11-18
KR20120007948A (ko) 2012-01-25
US20110122254A1 (en) 2011-05-26

Similar Documents

Publication Publication Date Title
JP5313037B2 (ja) 電子カメラ、画像処理装置および画像処理方法
JP5054063B2 (ja) 電子カメラ、画像処理装置及び画像処理方法
CN101489051B (zh) 图像处理设备和图像处理方法以及摄像设备
US8509482B2 (en) Subject tracking apparatus, subject region extraction apparatus, and control methods therefor
US8139136B2 (en) Image pickup apparatus, control method of image pickup apparatus and image pickup apparatus having function to detect specific subject
TWI549501B (zh) An imaging device, and a control method thereof
US8582891B2 (en) Method and apparatus for guiding user with suitable composition, and digital photographing apparatus
US8558935B2 (en) Scene information displaying method and apparatus and digital photographing apparatus using the scene information displaying method and apparatus
KR101605771B1 (ko) 디지털 촬영 장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
CN105103534A (zh) 摄像装置、校准方法、程序以及记录介质
US20160117803A1 (en) Image processing apparatus capable of properly emphasizing differences in brightness between bright spots, image processing method, and storage medium
US20080100721A1 (en) Method of detecting specific object region and digital camera
US9020269B2 (en) Image processing device, image processing method, and recording medium
JP2009027352A (ja) 撮像装置、画像処理装置およびプログラム
KR20100099008A (ko) 오토 포커싱 제어 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP2021136661A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
JP5414216B2 (ja) 撮像装置、その制御方法及びプログラム
US11405562B2 (en) Image processing apparatus, method of controlling the same, image capturing apparatus, and storage medium
JP4573599B2 (ja) 表示装置
KR20100096494A (ko) 플래시를 이용한 화이트 밸런스 조정 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP2012034146A (ja) 電子機器およびプログラム
JP5137343B2 (ja) 撮像装置および撮像方法
JP2008263320A (ja) 撮像装置及び制御方法
JP2012039256A (ja) 撮像装置、その制御方法及びプログラム
KR20100011287A (ko) 얼굴 표정을 인식하는지에 따라 얼굴 영역을 상이하게가리키는 디지털 영상 처리 장치의 제어 방법 및 상기방법을 실행하는 디지털 영상 처리 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080002005.8

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 20107028848

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10774676

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010774676

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13002771

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE