JP4808918B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4808918B2 JP4808918B2 JP2003382516A JP2003382516A JP4808918B2 JP 4808918 B2 JP4808918 B2 JP 4808918B2 JP 2003382516 A JP2003382516 A JP 2003382516A JP 2003382516 A JP2003382516 A JP 2003382516A JP 4808918 B2 JP4808918 B2 JP 4808918B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- red
- eye
- displayed
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stroboscope Apparatuses (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、画像中の赤目部分や金目部分などといった目に関する所定の不具合を検出し、検出された不具合を修正する画像修正装置および撮像装置に関する。 The present invention relates to an image correction apparatus and an imaging apparatus that detect a predetermined defect relating to an eye such as a red-eye part or a gold-eye part in an image and correct the detected defect.
従来より、閃光を発する発光部を有する閃光装置を備えたカメラが知られている。ここで、人物や動物の目は、暗所においては瞳孔が大きく開かれることによってより多くの光が取り入れられるような構造となっている。したがって、暗所において瞳孔が大きく開かれた状態の人物や動物を、カメラに備えられた閃光装置を用いて写真撮影すると、大きく開かれた瞳孔を通して閃光装置の発光部で発せられた閃光が眼球内に入射し、その閃光が眼球の内面を覆う網膜の毛細血管によって反射されることによって、人物や動物の瞳孔部分が赤く再現される、いわゆる赤目現象が起きる場合がある。また、カメラに備えられた閃光装置を用いて写真撮影すると、閃光装置で発せられた閃光が眼球に対して入射する入射角によっては、眼球の最外層をとりまく強膜や角膜でその閃光が反射することによって、人物や動物の瞳孔部分が白みを帯びたように再現される、いわゆる金目現象が起きる場合もある。 2. Description of the Related Art Conventionally, a camera including a flash device having a light emitting unit that emits flash light is known. Here, the eyes of humans and animals have a structure that allows more light to be taken in by opening the pupils greatly in the dark. Therefore, when a person or animal with a pupil wide open in a dark place is photographed using the flash device provided in the camera, the flash emitted from the light emitting part of the flash device through the wide open pupil The so-called red-eye phenomenon, in which the pupil part of a person or animal is reproduced in red, may occur by being reflected by the capillaries of the retina covering the inner surface of the eyeball. Also, when taking a picture using the flash device provided in the camera, depending on the incident angle at which the flash light emitted from the flash device is incident on the eyeball, the flashlight is reflected by the sclera and cornea surrounding the outermost layer of the eyeball. By doing so, a so-called gold eye phenomenon may occur in which the pupil portion of a person or animal is reproduced as white.
近年のデジタル処理技術の発達に伴い、上述したような、人物や動物の瞳孔部分が赤く再現されたり白みを帯びたように再現される写真を表す画像データを取得し、取得された画像データにより表わされる画像中の赤目部分や金目部分を検出し、検出された赤目部分や金目部分を修正する画像処理装置や電子カメラが提案されている(例えば、特許文献1参照)。
上述した特許文献1に提案された、Charge Coupled Device(CCD)固体撮像素子上に被写体の像を結像させて、その被写体を表す画像データを信号として取り込む電子カメラは、上述したような、写真撮影された人物や動物の画像中の赤目部分を検出し、検出された赤目部分を修正する画像処理装置の機能が搭載されたものである。また、この特許文献1に提案された電子カメラには、画像を表示する画像表示装置が備えられており、赤目部分が検出されることによって画像表示装置に人物や動物の目が赤目に再現された画像が表示され、表示に基づいて撮影者等のユーザは写真撮影で得られた画像中の赤目部分を確認し、赤目部分の修正を行うか否かを判断する。判断の結果、赤目部分の修正を指示した場合には、赤目部分が修正された後の画像が画像表示装置に表示されることによって、正確に修正されたか否かを確認する。 An electronic camera proposed in Patent Document 1 described above that forms an image of a subject on a Charge Coupled Device (CCD) solid-state imaging device and captures image data representing the subject as a signal is as described above. It is equipped with a function of an image processing device that detects a red-eye portion in a photographed person or animal image and corrects the detected red-eye portion. In addition, the electronic camera proposed in Patent Document 1 includes an image display device that displays an image. When a red-eye portion is detected, the eyes of a person or an animal are reproduced on the image display device. Based on the display, a user such as a photographer confirms the red-eye portion in the image obtained by photography, and determines whether or not to correct the red-eye portion. As a result of the determination, when an instruction to correct the red-eye part is given, an image after the red-eye part is corrected is displayed on the image display device, thereby confirming whether or not the red-eye part has been corrected correctly.
ところが、電子カメラに備えられる画像表示装置は、一般に画面の小さなものであるため、このような画面の小さな画像表示装置で赤目部分を目視で確認することは困難であり、赤目部分を見落とすおそれがある。 However, since an image display device provided in an electronic camera generally has a small screen, it is difficult to visually check the red-eye portion with such a small image display device, and the red-eye portion may be overlooked. is there.
このような問題点を解消する手段として、画像表示装置に表示された画像中の赤目部分を拡大表示することによって目視による赤目部分の確認を容易にする手段が知られているが、複数の目が赤目に再現された画像では、確認作業が煩雑となる。 As means for solving such a problem, means for facilitating the confirmation of the red-eye part by visual observation by enlarging the red-eye part in the image displayed on the image display device is known. In an image in which red eyes are reproduced, the confirmation work becomes complicated.
上記の問題は、カメラや写真の分野に限らず、例えばWEB上から取り込んだ画像などといった任意の画像に対して画像処理を施す場合など、画像処理分野で一般的に生じる。 The above problem is not limited to the field of cameras and photographs, but generally occurs in the field of image processing, for example, when image processing is performed on an arbitrary image such as an image captured from the WEB.
本発明は、上記事情に鑑み、画像中の赤目部分や金目部分などといった目に関する所定の不具合を容易に確認することができる画像修正装置および撮像装置を提供することを目的とする。 SUMMARY OF THE INVENTION In view of the above circumstances, an object of the present invention is to provide an image correction apparatus and an imaging apparatus that can easily confirm a predetermined defect relating to an eye such as a red-eye part or a gold-eye part in an image.
上記目的を達成する本発明の画像修正装置は、
画像を表す画像データを取得する画像取得部と、
画像取得部により取得された画像データにより表わされる画像中の目に関する所定の不具合を検出し、検出された不具合を修正する修正部と、
修正部により不具合が検出された箇所数を、その箇所を含む画像とともに表示する画像表示部とを備えたものであることを特徴とする。
The image correction apparatus of the present invention that achieves the above object is
An image acquisition unit for acquiring image data representing an image;
A correction unit that detects a predetermined defect relating to the eye in the image represented by the image data acquired by the image acquisition unit, and corrects the detected defect;
An image display unit that displays the number of locations where a defect has been detected by the correction unit together with an image including the location is provided.
本発明の画像修正装置は、画像中の赤目部分や金目部分などといった目に関する所定の不具合が検出された箇所数を、その箇所を含む、上記修正部によってその不具合が修正される前の画像、あるいは上記修正部によってその不具合が修正された後の画像とともに表示するものであるため、例えば複数の目が赤目に再現された画像であっても、表示された箇所数を参照することによって不具合を見落とすような過ちを犯すことなく不具合を容易に確認することができる。 The image correction device of the present invention includes the number of places where a predetermined defect relating to the eye such as a red-eye part or a gold-eye part in the image is detected, the image before the defect is corrected by the correction unit, Alternatively, since the image is displayed together with the image after the defect is corrected by the correction unit, for example, even if the image is a reproduction of a plurality of eyes with red eyes, the defect can be determined by referring to the number of displayed points. Failures can be easily confirmed without making mistakes that are overlooked.
ここで、本発明の画像修正装置において、上記修正部は、画像中の不具合を検出するとともに、不具合が見つかった箇所に所定の基準で優先順位を付けるものであり、
画像表示部は、画像を表示するにあたって、修正部によって付けられた優先順位が高い箇所を優先して表示するものであることが好ましい。
Here, in the image correction device of the present invention, the correction unit detects a defect in the image, and prioritizes a place where the defect is found based on a predetermined criterion.
It is preferable that the image display unit preferentially displays a portion with a high priority given by the correction unit when displaying an image.
例えば、撮影画角の中央に写っている被写体や、顔部分が大きく写っている被写体などに高い優先順位をつけ、それ以外の被写体に低い優先順位をつけることによって、主要な被写体を優先して確認し、通行人などのような不要な被写体の確認作業を省くことができる。 For example, give priority to the main subject by giving high priority to subjects that are in the center of the shooting angle of view or subjects that have a large face, and low priority to other subjects. Confirmation and unnecessary work confirmation such as passersby can be omitted.
また、本発明の画像修正装置において、上記画像表示部は、画像を表示するにあたって、上記箇所の一覧を表示するものであることが好適である。 In the image correction apparatus of the present invention, it is preferable that the image display unit displays a list of the locations when displaying an image.
この好適な画像修正装置によると、不具合が見つかった箇所を一度に確認することができる。 According to this preferred image correction apparatus, it is possible to confirm the location where a defect is found at a time.
また、本発明の画像修正装置において、上記画像表示部は、画像を表示するにあたって、上記箇所を拡大して表示するものであることが好ましい。 In the image correction apparatus of the present invention, it is preferable that the image display unit displays the portion in an enlarged manner when displaying an image.
このように、画像中の目に関する所定の不具合が検出された箇所数が、その箇所が拡大して表示された画像とともに表示されれば、その不具合の確認がより一層容易である。 As described above, if the number of locations where a predetermined defect related to the eyes in the image is detected is displayed together with an image in which the location is enlarged, the defect can be confirmed more easily.
また、本発明の画像修正装置において、上記画像表示部は、画像を表示するにあたって、上記箇所を拡大しない通常画像と、その箇所を拡大した拡大画像とを表示するものであることが好適である。 In the image correction apparatus of the present invention, it is preferable that the image display unit displays a normal image in which the portion is not enlarged and an enlarged image in which the portion is enlarged when displaying the image. .
この好適な画像修正装置によると、通常画像全体を確認しながら、不具合が検出された箇所の細部や位置を確認することができる。 According to this preferred image correction apparatus, it is possible to confirm the details and position of the location where the defect is detected while confirming the entire normal image.
また、本発明の画像修正装置は、上記画像表示部に表示された画像中の、修正部により不具合が検出された箇所を確認する操作を受け付ける確認部を備え、
画像表示部は、箇所数を表わす表示を行うにあたって、確認部で確認された数を差し引いた箇所数を表わす表示を行うものであることが好ましい。
Further, the image correction device of the present invention includes a confirmation unit that receives an operation of confirming a location where a defect is detected by the correction unit in the image displayed on the image display unit,
The image display unit preferably performs display indicating the number of locations obtained by subtracting the number confirmed by the confirmation unit when performing display indicating the number of locations.
このような確認部を備え、確認された数を差し引いた箇所数が表示される画像修正装置であれば、画像中の目に関する所定の不具合を見落としてしまった場合であっても、箇所数を参照することによって確実にその不具合を確認することができる。 In the case of an image correction apparatus that includes such a confirmation unit and displays the number of places subtracted from the number confirmed, the number of places can be calculated even if a predetermined defect related to the eyes in the image is overlooked. It is possible to confirm the defect reliably by referring to it.
また、本発明の画像修正装置において、上記修正部は、画像中の赤目部分を検出し、検出された赤目部分を修正するものであることがさらに好ましい。 In the image correction device of the present invention, it is further preferable that the correction unit detects a red-eye part in the image and corrects the detected red-eye part.
目に関する所定の不具合のうち特に赤目は、心理的な違和感が強いのに対し、視覚的には確認が困難であるため、このような、画像中の赤目部分に対する修正確認が容易な画像修正装置は特に有用である。 Among the predetermined defects relating to the eye, the red eye has a strong psychological discomfort, but it is difficult to visually confirm, so such an image correction device that makes it easy to check the red eye portion in the image. Is particularly useful.
さらに、上記本発明の画像修正装置において、上記画像表示部は、上記修正部により上記不具合が検出された目の数を上記箇所数として表示するものであってもよく、あるいは、上記画像表示部は、上記修正部により上記不具合が検出された人の数を上記箇所数として表示するものであってもよい。 Furthermore, in the image correction device according to the present invention, the image display unit may display the number of eyes in which the defect is detected by the correction unit as the number of locations, or the image display unit May display the number of persons whose defect has been detected by the correction unit as the number of places.
また、上記目的を達成する本発明の第1の撮像装置は、
撮影光学系を経由してきた被写体光による被写体像を固体撮像素子上に結像させて被写体像を表す画像データを得る撮像装置において、
被写体像中の目に関する所定の不具合を検出し、検出された不具合を修正する修正部と、
修正部により不具合が検出された箇所を含む画像を表示するとともに、不具合が検出された箇所数を表わす表示を行う画像表示部とを備えたものであることを特徴とする。
The first imaging device of the present invention that achieves the above object is
In an imaging apparatus that obtains image data representing a subject image by forming a subject image by subject light that has passed through a photographing optical system on a solid-state imaging device,
A correction unit that detects a predetermined defect related to the eye in the subject image and corrects the detected defect;
The image display unit includes an image display unit that displays an image including a location where a defect is detected by the correction unit and displays a number indicating the number of locations where the defect is detected.
“発明が解決しようとする課題”で説明したように、撮像装置に備えられる画像表示装置は、一般に画面の小さなものであるが、本発明の撮像装置のように、被写体像中の赤目部分や金目部分などといった目に関する所定の不具合が検出された箇所数を、その箇所を含む、上記修正部によってその不具合が修正される前の画像、あるいは上記修正部によってその不具合が修正された後の画像とともに表示するものであれば、例えば複数の目が赤目に再現された画像であっても、表示された箇所数を参照することによって不具合を見落とすような過ちを犯すことなく不具合を容易に確認することができる。 As described in “Problems to be Solved by the Invention”, an image display device provided in an imaging device generally has a small screen. However, like the imaging device of the present invention, The number of places where a predetermined defect relating to the eye such as a gold-eye part is detected, an image including that part before the defect is corrected by the correction unit, or an image after the defect is corrected by the correction unit For example, even if it is an image in which multiple eyes are reproduced with red eyes, by referring to the number of displayed points, it is possible to easily confirm the defect without making a mistake that would cause the defect to be overlooked. be able to.
ここで、本発明の第1の撮像装置において、上記画像表示部は、画像を表示するにあたって上記箇所を拡大して表示するものであることが好ましい。 Here, in the first image pickup apparatus of the present invention, it is preferable that the image display unit enlarges and displays the portion when displaying an image.
また、本発明の第1の撮像装置は、上記画像表示部に表示された画像中の、上記修正部により不具合が検出された箇所を確認する操作を受け付ける確認部を備え、
上記画像表示部は、上記箇所数を表示するにあたって、上記確認部で確認された数を差し引いた箇所数を表示するものであることも好ましい形態である。
In addition, the first imaging device of the present invention includes a confirmation unit that receives an operation of confirming a location where a defect is detected by the correction unit in the image displayed on the image display unit,
In a preferred mode, the image display unit displays the number of locations obtained by subtracting the number confirmed by the confirmation unit when displaying the number of locations.
また、本発明の第1の撮像装置において、上記修正部は、上記画像中の赤目部分を検出し、検出された赤目部分を修正するものであることがさらに好ましい。 In the first imaging device of the present invention, it is further preferable that the correction unit detects a red-eye part in the image and corrects the detected red-eye part.
さらに、本発明の第1の撮像装置において、上記画像表示部は、上記修正部により上記不具合が検出された目の数を上記箇所数として表示するものであってもよく、あるいは、上記画像表示部は、上記修正部により上記不具合が検出された人の数を上記箇所数として表示するものであってもよい。 Furthermore, in the first imaging device of the present invention, the image display unit may display the number of eyes in which the defect is detected by the correction unit as the number of locations, or the image display The unit may display the number of persons whose defect has been detected by the correction unit as the number of places.
また、上記目的を達成する本発明の第2の撮像装置は、
撮影光学系を経由してきた被写体光による被写体像を固体撮像素子上に結像させて被写体像を表す画像データを得る撮像部と、
被写体の撮影における撮影条件を取得する撮影条件取得部と、
撮像部で得られる画像データが表わす被写体像中に、目に関する所定の不具合が生じるか否かを上記撮影条件取得部で取得された撮影条件に基づいて推定する推定部とを備えたことを特徴とする。
The second imaging device of the present invention that achieves the above object is
An imaging unit that obtains image data representing a subject image by forming a subject image by subject light that has passed through the photographing optical system on a solid-state image sensor;
A shooting condition acquisition unit for acquiring shooting conditions for shooting a subject;
An estimation unit that estimates whether or not a predetermined defect relating to the eye occurs in the subject image represented by the image data obtained by the imaging unit based on the imaging condition acquired by the imaging condition acquisition unit. And
被写体像中に目に関する所定の不具合が生じるか否かを予め推定しておくことによって、不具合が生じる場合には確実に確認を行うことができるうえ、不具合が生じない場合の確認作業を省くことができる。 By preliminarily estimating whether or not a predetermined defect relating to the eye occurs in the subject image, it is possible to reliably check if a defect occurs, and to omit the confirmation work when no defect occurs. Can do.
また、本発明の第2の撮像装置において、上記撮像部での撮影に同期して閃光を発する閃光発光部と、
上記推定部での推定結果に応じて、閃光発光部における発光を制御する制御部とをさらに備えたことが好ましい。
Further, in the second imaging device of the present invention, a flash light emitting unit that emits a flash in synchronization with photographing by the imaging unit,
It is preferable to further include a control unit that controls light emission in the flash light emitting unit according to the estimation result in the estimation unit.
撮影画像中に所定の不具合が生じると推定された場合に、例えば、閃光発光部における発光強度などを調整することによって、不具合の発生を低減することができる。 When it is estimated that a predetermined defect occurs in the photographed image, the occurrence of the defect can be reduced by adjusting, for example, the light emission intensity in the flash light emitting unit.
また、本発明の第2の撮像装置において、上記推定部で不具合が生じると推定された場合に、被写体像中の目に関する所定の不具合を検出して、検出された不具合を修正する修正部をさらに備えたことも好ましい。 Further, in the second imaging device of the present invention, a correction unit that detects a predetermined defect related to the eyes in the subject image and corrects the detected defect when the estimation unit estimates that a problem occurs. Furthermore, it is also preferable to provide.
撮影画像中に所定の不具合が生じると推定された場合に、被写体像中の不具合の検出および修正を行うことによって、不具合が生じていない見た目に好ましい画像を得ることができる。 When it is estimated that a predetermined defect occurs in the captured image, it is possible to obtain an image that is visually appealing without a defect by detecting and correcting the defect in the subject image.
あるいは、本発明の第2の撮像装置において、上記推定部で不具合が生じると推定された場合に、不具合が生じる旨を表わす警告を発する警告部をさらに備えたことも好ましい。 Alternatively, it is preferable that the second imaging apparatus of the present invention further includes a warning unit that issues a warning indicating that a problem occurs when the estimation unit estimates that a problem occurs.
撮影者は、不具合が生じる旨を表わす警告を受けることによって、被写体との距離を変えて撮影を行うなどして、不具合の発生を未然に防ぐことができる。 By receiving a warning indicating that a malfunction occurs, the photographer can prevent the malfunction from occurring by changing the distance from the subject and shooting.
また、本発明の第2の撮像装置において、閃光を発する閃光発光部をさらに備え、
上記撮像部は、閃光発光部における発光を避けて第1の画像データを得るとともに、閃光発光部における発光に同期して第2の画像データを得るものであり、
上記推定部は、第1の画像データが表わす第1の画像の色と、第2の画像データが表わす第2の画像の色とを比較して、色が所定程度以上異なる箇所に前記不具合が生じているとみなす不具合検出部を備えてもよい。
The second imaging device of the present invention further includes a flash light emitting unit that emits flash light,
The imaging unit obtains first image data by avoiding light emission in the flash light emitting unit, and obtains second image data in synchronization with light emission in the flash light emitting unit,
The estimation unit compares the color of the first image represented by the first image data with the color of the second image represented by the second image data, and the defect is found at a location where the colors differ by a predetermined degree or more. You may provide the malfunction detection part considered that it has arisen.
赤目などといった目に関する所定の不具合は、通常、閃光発光部における閃光が原因となる場合が多い。したがって、閃光を伴わずに得られた、不具合が生じていない第1の画像の色と、閃光を伴って得られた第2の画像の色とを比較して、それらの色が所定程度以上異なる箇所に不具合が生じているとみなすことによって、容易に撮影画像中の不具合を検出することができる。 A predetermined defect related to an eye such as a red eye is usually caused by a flash in a flash light emitting unit. Therefore, the color of the first image obtained without flashing and having no defects is compared with the color of the second image obtained with flashing, and those colors are not less than a predetermined level. By assuming that a defect has occurred in a different location, it is possible to easily detect the defect in the captured image.
本発明によれば、画像中の赤目部分や金目部分などといった目に関する所定の不具合を容易に確認することができる画像修正装置および撮像装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the image correction apparatus and imaging device which can confirm easily the predetermined | prescribed malfunctions regarding eyes, such as a red eye part and a gold-eye part in an image, can be provided.
以下、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described.
ここでは、本発明を、Charge Coupled Device(CCD)固体撮像素子上に被写体の像を結像させて、その被写体を表す画像データを信号として取り込む電子カメラに適用した実施形態について説明する。 Here, an embodiment will be described in which the present invention is applied to an electronic camera that forms an image of a subject on a charge coupled device (CCD) solid-state imaging device and captures image data representing the subject as a signal.
図1は、本発明の一実施形態の電子カメラを前面斜め上から見た外観斜視図である。ここでは、先ず図1〜図3を参照して、電子カメラの一般的な構成について説明する。尚、本実施形態の電子カメラにおける本発明としての特徴は、後述する“第1自動赤目補正処理”モードおよび“第2自動赤目補正処理”モードの処理動作にあるが、これらのモードの動作説明については後で詳細に行う。 FIG. 1 is an external perspective view of an electronic camera according to an embodiment of the present invention as seen from diagonally above the front. Here, first, a general configuration of the electronic camera will be described with reference to FIGS. The feature of the electronic camera of the present embodiment as the present invention lies in processing operations of a “first automatic red-eye correction processing” mode and a “second automatic red-eye correction processing” mode, which will be described later. Will be described in detail later.
図1に示すカメラ100は、図示しない写真フィルム上に写真撮影を行うカメラである。
A
このカメラ100の前面には、撮影レンズ101aを内部に備えたレンズ鏡胴101が備えられている。この撮影レンズ101aは、入射した被写体光を、内部に配置されたCCD固体撮像素子(ここでは図示せず)の撮影面上に結像させ、そのCCD固体撮像素子で被写体を表す画像データが生成される。
On the front surface of the
また、このカメラ100の前面には、閃光を発する閃光発光装置103、閃光発光装置103から発光された光量を計測する調光センサ102、点灯して被写体に撮影の開始を知らせるセルフタイマLED115、および撮影者が被写体の位置などを定めるために覗く光学式ファインダ対物窓104aが備えられている。この閃光発光装置103は、本発明にいう閃光発光部の一例にあたる。
Further, on the front surface of the
また、このカメラ100の上面の右端には、撮影時に押されるシャッタレリーズボタン105が備えられている。尚、背面上部に備えられた撮影モードダイヤル112については、図2を参照して説明する。
Further, a
さらに、このカメラ100の左側面の下方には、上から順に、写真撮影によって得られた画像データをパーソナルコンピュータなどに送信する際に使用されるUniversal Serial Bus(USB)ケーブルが接続されるUSB端子106、およびカメラ100に外部電源を供給する際に使用される電源ケーブルが接続される電源入力端子107が備えられている。
Further, below the left side surface of the
図2は、図1に示すカメラを背面斜め上から見た外観斜視図である。 FIG. 2 is an external perspective view of the camera shown in FIG.
このカメラ100の背面には、光学式ファインダ接眼窓104b、画像や日時を表示する液晶ディスプレイ(Liquid Crystal Display:LCD)パネル108、LCDパネル108による画像表示をオン/オフするためのLCDパネル起動ボタン109、バリエーションの選択およびズームを行なう際に操作される十字キー110、例えば日付や日時の設定などといったメニューをLCDパネル108上に表示させたり、そのメニューを確定する際に使用されるメニュー/OKスイッチ111、各種操作によって変更された設定を無効にする際に使用されるキャンセルスイッチ116、後述する各種モードを選択する際に使用される撮影モードダイヤル112、写真撮影を行う“撮影記録”機能と、写真撮影されて記録された画像データを再生する“画像データ再生”機能とのうちのいずれかの機能を選択する際に使用される機能選択レバー113、および、機能選択レバー113の軸上に設けられたメインスイッチ114が備えられている。また、このカメラ100では、十字キー110による操作に応じて、被写体像中の赤目部分を検出して検出された赤目部分を修正する“第1自動赤目補正処理”モードや“第2自動赤目補正処理”モードを選択することができる。尚、この“第1自動赤目補正処理”モードや“第2自動赤目補正処理”モードの詳細な説明は後述する。ここで、LCDパネル108は、本発明にいう画像表示部、および警告部それぞれの一例に相当するものである。
On the back of the
このカメラ100では、機能選択レバー113を“撮影記録”側113aにもっていくことによって“撮影記録”機能が選択され、機能選択レバー113を“画像データ再生”側113bにもっていくことによって“画像データ再生”機能が選択される。また、この機能選択レバー113によって“撮影記録”機能が選択されている場合には、撮影モードダイヤル112を回転させることによって、人物を写真撮影するのに適した“人物撮影”モード、風景を写真撮影するのに適した“風景撮影”モード、動きの速い被写体を写真撮影するのに適した“スポーツ”モード、シャッタレリーズボタン105が押下されてから実際に写真撮影されるまでに時差を与える“セルフタイマ”モード、および撮影者自身を写真撮影するのに適した“自己撮影”モードのうちのいずれかのモードを選択することができる。尚、モードが選択されない場合には、“人物撮影”モードが選択されたものとして撮影が行われる。
In this
図3は、図1,図2に示すカメラの内部に配備された信号処理部の構成ブロック図である。 FIG. 3 is a block diagram showing the configuration of the signal processing unit provided in the camera shown in FIGS.
この図3に示す構成ブロック図を参照してカメラ100内に配備された信号処理部の構成を説明する。
The configuration of the signal processing unit provided in the
図1,図2に示すカメラ100では、すべての処理がCPU211によって制御されている。CPU211は、本発明にいう撮影条件取得部、および制御部それぞれの一例に相当する。
In the
まず、各種スイッチについて説明する。 First, various switches will be described.
写真撮影の開始指示を行うシャッタレリーズボタン105(図1,図2参照)には、このシャッタレリーズボタン105の押下に同期して作動するシャッタスイッチ105aが設けられている。このシャッタスイッチ105aのオンオフ信号がCPU211へ入力される。CPU211ではシャッタスイッチ105aのオン信号を撮影開始の合図として受け取る。このときには、機能選択レバー113が”画像記録”側113aに切り替えられており、写真撮影を行うことがCPU211で検知されている。
A shutter release button 105 (see FIGS. 1 and 2) for instructing to start taking a photograph is provided with a
十字キー110ではLCDパネル108に表示される選択メニューの、複数の項目の中のいずれかが選択できるようになっている。図3には十字キー110の接点1101〜1104が示されている。たとえば接点1101が押下されたら上方向へカーソルが移動する。また1102が押下されたら右方向へ移動するようになっている。そして、いずれかの接点1101〜1104が接続されてオンオフ信号がCPU211に入力されるとCPU211ではその移動指示に基づいてバス220を介してLCDパネル108へカーソルの移動指示を転送する。そうすると複数表示されている項目の中のいずれかにカーソルが移動する。従って、LCDパネル108に表示されるカーソルに基づいて、ユーザは選択メニューの中の複数の項目のいずれかを、十字キー110によって選択することができる。ここで電子ズームが選択されると被写体の中央を中心として撮影画角内の一部領域が切り出され、電子ズームが行われる。このときには切り出しを行う領域のサイズの指定も行えるような構成になっている。
With the
また、機能選択レバー113が”画像データ再生”側113bに切り替えられると記録メディア240からの再生が行われる。このときには写真撮影を行うための指示を行うシャッタスイッチ105aなどからの信号が入力されても処理は行われない。
When the
次にスイッチ以外の各種要素について説明する。 Next, various elements other than the switch will be described.
CPU211には、上述した各種スイッチに加えて、図1にも示す閃光発光装置103、タイミングジェネレータ212、フォーカスレンズ216を駆動するためのモータドライバ217、光量調整装置300に備えられたモータを駆動するためのモータドライバ214、およびCDSAMP213が接続されている。
In addition to the various switches described above, the
ユーザが写真撮影を行うときには、LCDパネル108上に被写体像が被写体の動きにあわせて表示されている。この表示されている被写体の像を見ながら、ユーザはフレーミングを行い、シャッタレリーズボタン105を押下して写真撮影を行う。このときにシャッタレリーズボタン105に同期して作動するシャッタスイッチ105aがオンされることによってCPU211では撮影開始の指示がユーザから送られたことを知る。そこでCPU211では、発光を指示する信号を閃光発光装置103に出力するとともに、撮影開始を指示する信号をタイミングジェネレータ212へ出力する。閃光発光装置103では、発光の指示を受けて閃光を発する。また、タイミングジェネレータ212では撮影開始の指示を受けてCCD固体撮像素子210へシャッタレリーズボタン105が押下されたことを知らせる信号を供給する。この信号を受けてCCD固体撮像素子210ではシャッタレリーズボタン105が押されたときにCCD固体撮像素子210によって撮像されていた画像データをRGB信号として出力する。このときCCD固体撮像素子210から読み出されたRGB信号は雑音が多いので、CPU211ではこの雑音を低減するためCDSAMP213へも雑音低減処理を行うタイミング信号を出力する。
When the user takes a picture, a subject image is displayed on the
図1,図2に示す各種スイッチからの入力信号に応じてCPU211から出力される信号は以上のとおりである。
The signals output from the
ここからはCCD固体撮像素子210で撮像された撮像信号がどのように処理されるかを順を追って説明する。
From here, how the image signal picked up by the CCD solid-
図2に示す機能選択レバー113が”画像記録”側113aになっているときにシャッタレリーズボタン105が押下される場合を説明する。
A case where the
CPU211に接続されている機能選択レバー113が”画像記録”側113aになっていてシャッタレリーズボタン105が押下されるとシャッタスイッチ105aが接続されて、CPU211ではシャッタレリーズボタン105の押下が検知される。このようにユーザによってシャッタレリーズボタン105が押下されるとCPU211からタイミングジェネレータ212に対して写真撮影の開始指示が行われる。この開始指示を受けてCCD固体撮像撮像素子210はRGB信号を出力する。
When the
シャッタレリーズボタンが押されていなくても、画像表示装置227のLCDパネル108には撮影レンズが向けられた方向の被写体像が常に表示されている。この表示されている被写体像は、CCD固体撮像素子210から所定の時間間隔ごとに読み出されるRGB信号から成る画像データを画像信号処理回路222でYC信号に変換し、そのYC信号をVideoEncorder226を経由させて画像表示装置227に供給して得られるものである。このような被写体像の表示が行われているときにAE&AWB検出回路231では露出調節が、AF検出回路230ではコントラストの検出が絶えず行われている。ここで、画像信号処理回路222は、本発明にいう修正部、および確認部の機能の一例を担うものであり、後述するように、写真撮影時には撮影画像中の赤目部分の検出と修正を行う。また、CPU211と画像信号処理回路222とを合わせたものは、本発明にいう推定部、および不具合検出部それぞれの一例に相当する。
Even if the shutter release button is not pressed, the subject image in the direction in which the photographing lens is directed is always displayed on the
露出調節にあってはCCD固体撮像素子210から所定の時間間隔ごとに読み出されるRGB信号の輝度情報に基づいてAE&AWB検出回路231で露出調整が行われる。AE&AWB検出回路231で露出調整が行われるとCPU211にその結果が伝えられ、CPU211ではその結果に基づいてモータドライバ214に指示を出し、適正な露出となるような光量が得られるように、光量調整装置300に備えられたモータが駆動される(以下では、輝度情報が取得されて光量調整装置300が適正露光に調整されるまでの一連の処理を露出処理と称する)。また焦点調節にあってはAF検出回路230でフォーカスレンズ216を移動させ、所定の時間間隔ごとにAF検出回路230でRGB信号のコントラストの検出を行って焦点調節が行われる。AF検出回路230でコントラストの検出が行われるとCPU211にその結果が伝えられ、CPU211ではその結果に基づいてモータドライバ217にフォーカスレンズ216の駆動指示を出し、検出されたコントラスが最大となる合焦点位置にフォーカスレンズ216が駆動される(以下では、コントラストが検出されて合焦点位置にフォーカスレンズ216が配されるまでの一連の処理を合焦処理と称する)。そしてフォーカスレンズ216が合焦点位置に配置されたら、CPU211から画像取り込みの信号がタイミングジェネレータ212へ供給され、タイミングジェネレータ212から撮影開始信号がCCD固体撮像素子210に供給され、CCD固体撮像素子210に蓄積された電荷がタイミングジェネレータ212の読み出し信号によってRGB信号としてCDSAMP213側へ読み出される。
In exposure adjustment, exposure adjustment is performed by the AE &
この読み出されたRGB信号が供給されたCDSAMP213では、雑音低減の処理が行われて、雑音が除去されたRGB信号がA/D変換回路218へと供給される。A/D変換回路218ではアナログのRGB信号がA/D変換されてデジタル信号のRGB信号に変換される。
In the
なおCPU211と画像入力コントローラ219、メモリ(SDRAM)221、画像信号処理回路222、圧縮処理回路223、メディアコントローラ224、USBcontroller225、VideoEncorder226、AF検出回路230、AE&AWB検出回路231とはバス220によって接続されており、このバス220を介してアドレス、データなどの授受が行われる。そのバス220を介してデータの授受を行うためのレジスタがCPU211内には各種用意されていてこれらのレジスタの内容が各処理部の処理の進行状況に応じて書き換えられる。CPU211内ではこのレジスタの内容を判読して処理が行われる。
The
デジタル信号に変換されたRGB信号は画像入力コントローラ219によってバス220側へ導かれてCPU211によって制御され、メモリ(SDRAM)221に書き込まれる。ここで、画像入力コントローラ219は、本発明にいう画像取得部の一例に相当するものである。そしてRGB信号の取り込みが完了したら、今度はメモリ(SDRAM)221からRGB信号が読み出されてバス220を経て画像信号処理回路222に供給される。画像信号処理回路222ではRGB信号からYC信号への変換が行なわれ、さらに圧縮処理回路223で圧縮された画像データがメディアコントローラ224を介して記録メディア240にJPEGファイルとして記録される。
The RGB signals converted into digital signals are guided to the
なお、USBcontroller225も図1,図2に示すカメラには備えられており、USB規格準拠の外部機器との接続も可能な構成になっている。
Note that the
以上が図1,図2に示すカメラ100で写真撮影が行われるときに記録メディア240に記録されるまでの画像データの流れである。
The above is the flow of the image data until recording is performed on the
図4は、“第1自動赤目補正処理”モードが選択される場合における操作の流れを説明するフローチャートである。 FIG. 4 is a flowchart for explaining the operation flow when the “first automatic red-eye correction process” mode is selected.
まず、図2に示す機能選択レバー113を“撮影記録”側113aにもっていくことによって“撮影記録”機能を選択し、撮影モードダイヤル112を回転させることによって所望の撮影モードを選択し、更に十字キー110による操作に応じて“第1自動赤目補正処理”モードを選択した後にシャッタレリーズボタン105を押下することによって写真撮影が行われる(ステップS101)。
First, the “shooting / recording” function is selected by moving the
ここで、図5は、ステップS101によって写真撮影された撮影画像の一例を示す図である。 Here, FIG. 5 is a diagram illustrating an example of a photographed image photographed in step S101.
ここでは、図2に示す撮影モードダイヤル112によって“人物撮影”モードが選択され、更に十字キー110による操作に応じて“第1自動赤目補正処理”モードが選択された後にシャッタレリーズボタン105が押下され、3人の人物410,420,430が写真撮影された撮影画像の例が示されている。
In this case, after the “portrait shooting” mode is selected by the
次に、図2に示す十字キー110による操作に応じて“第1自動赤目補正処理”モードを選択されていることを受けて、ステップS101によって写真撮影されて得られた撮影画像中の赤目部分を検出して検出された赤目部分を修正する自動赤目補正処理が開始される(ステップS102)。
Next, in response to the selection of the “first automatic red-eye correction processing” mode according to the operation with the
次に、ステップS102による撮影画像中の赤目部分の検出で、赤目部分が検出されていた場合には(ステップS103:YES)、赤目部分が検出された人物の数のうち、後述する確認操作による確認がなされていない未確認箇所数が、自動赤目補正処理の施された後の赤目補正結果画像とともに、図2に示すLCDパネル108に表示される(ステップS104)。ここで、未確認箇所数は、本発明にいう箇所数の一例に相当するものである。
Next, when the red-eye portion is detected in the photographed image in step S102 (step S103: YES), out of the number of persons in which the red-eye portion is detected, a confirmation operation described later is performed. The number of unconfirmed parts that have not been confirmed is displayed on the
また、ステップS102による撮影画像中の赤目部分の検出で、赤目部分が検出されなかった場合には(ステップS103:NO)、撮影画像を表す画像データが、図3に示すメディアコントローラ224を介して記録メディア240にJPEGファイルとして記録される(ステップS112)。
In addition, when the red-eye portion in the photographed image is detected in step S102 (step S103: NO), the image data representing the photographed image is transmitted via the
ここで、図6は、ステップS104によって自動赤目補正処理が施された後の赤目補正結果画像および未確認箇所数がLCDパネルに表示された表示例を示す図である。 Here, FIG. 6 is a diagram showing a display example in which the red-eye correction result image and the number of unconfirmed places after the automatic red-eye correction processing is performed in step S104 are displayed on the LCD panel.
ここでは、図5に示す撮影画像に対して自動赤目補正処理が施された後の赤目補正結果画像が、自動赤目補正処理によって修正された人物411,421,431の顔411a,421a,431aが実線の丸510,520,530で囲われるように強調されて、図2に示すLCDパネル108に表示されるとともに、このLCDパネル108の左上に、赤目部分が検出された人物の数のうち、後述する確認操作による確認がなされていない未確認箇所数610が表示された例が示されている。この図6に示す例では、LCDパネル108の左上に未確認箇所数610が“3”と表示され、3人の人物411,421,431すべてに対し赤目部分が検出されて修正されたことが示されている。
Here, the red-eye correction result image after the automatic red-eye correction processing is performed on the captured image shown in FIG. 5 is the
また、図7は、赤目補正結果画像および未確認箇所数における、図6とは別の表示例を示す図である。 FIG. 7 is a diagram showing a display example different from FIG. 6 in the red-eye correction result image and the number of unconfirmed portions.
図6の未確認箇所数610では、未確認箇所数が数字で表現されているが、図7のパート(A)に示す未確認箇所数611では、未確認箇所数がバーによって表現されており、パート(B)に示す未確認箇所数612では、未確認箇所数が点の数によって表現されている。このように、未確認箇所数は数字以外で表現されてもよい。
In the number of
以上のように、赤目補正結果画像中の赤目部分が検出されて確認がなされていない未確認箇所数が、赤目補正結果画像とともに表示されると、図6に示すように複数の人物の目が赤目に再現された画像であっても、表示された未確認箇所数を参照することによって、赤目部分を見落とすような過ちを犯すことなく赤目部分を容易に確認することができる。また、赤目補正結果画像中の赤目部分を有する顔が強調されて表示されると、赤目補正結果画像中の赤目部分の確認が、より一層容易である。 As described above, when the number of unconfirmed portions that have not been confirmed because the red-eye portion in the red-eye correction result image has been detected is displayed together with the red-eye correction result image, the eyes of a plurality of persons have red eyes as shown in FIG. Even in an image reproduced in the above manner, the red-eye portion can be easily confirmed without making a mistake of overlooking the red-eye portion by referring to the displayed number of unconfirmed portions. In addition, when a face having a red-eye portion in the red-eye correction result image is displayed with being emphasized, confirmation of the red-eye portion in the red-eye correction result image is further facilitated.
次に、ステップS104によって自動赤目補正処理が施された後の赤目補正結果画像による赤目部分の確認の結果、赤目部分が適切に検出され適切に修正されたものであるとユーザが判断した場合には、図2に示すメニュー/OKスイッチ111を押下することによって(ステップS105:YES)、その赤目補正結果画像を表す画像データが、図3に示すメディアコントローラ224を介して記録メディア240にJPEGファイルとして記録される(ステップS112)。
Next, when the user determines that the red-eye portion is appropriately detected and properly corrected as a result of the confirmation of the red-eye portion by the red-eye correction result image after the automatic red-eye correction processing is performed in step S104. When the menu /
このように、“第1自動赤目補正処理”モードでは、シャッタレリーズボタン105を押下して写真撮影が行われた後、ステップS105でメニュー/OKスイッチ111を押下する1操作のみで赤目部分の確認が終了するため、赤目部分の確認が極めて簡単に行える。
As described above, in the “first automatic red-eye correction processing” mode, after the
また、ステップS104によって自動赤目補正処理が施された後の赤目補正結果画像による赤目部分の確認の結果、自動赤目補正処理によって修正された人物の顔を拡大して赤目部分を確認したい場合には、図2に示すキャンセルスイッチ116を押下することによって(ステップS105:NO)、図2に示す十字キー110による顔の選択が可能となる(ステップS106)。
Further, as a result of confirming the red-eye portion by the red-eye correction result image after the automatic red-eye correction processing is performed in step S104, when it is desired to enlarge the face of the person corrected by the automatic red-eye correction processing and confirm the red-eye portion. By pressing the cancel
ここで、図8は、ステップS106によって十字キーによる顔の選択が可能な赤目補正結果画像がLCDパネルに表示された表示例を示す図である。 Here, FIG. 8 is a diagram showing a display example in which a red-eye correction result image capable of selecting a face with the cross key is displayed on the LCD panel in step S106.
ここでは、図2に示す十字キー110によって顔が選択された人物411の顔411aが実線の丸511で囲われ、十字キー110による顔の選択が可能な他の人物421,431の顔421a,431aが破線の丸521,531で囲われた赤目補正結果画像が、図2に示すLCDパネル108に表示された例が示されている。十字キー110による操作に応じて実線の丸510が別の人物の顔に移動して、所望の人物411,421,431の顔411a,421a,431aを選択することができる。
Here, the
また、図9は、ステップS106によって顔の選択が可能な赤目補正結果画像における、図8とは別の表示例を示す図である。 FIG. 9 is a diagram showing a display example different from FIG. 8 in the red-eye correction result image in which the face can be selected in step S106.
図9のパート(A)には、十字キー110によって選択が可能な、図8に示す顔411a,421a,431aに対応する顔541,542,543が、赤目補正結果画像の下に並べて一覧表示された表示例が示されており、パート(B)には、パート(A)に示す赤目補正結果画像が表示されずに、顔541,542,543のみが一覧表示された表示例が示されている。十字キー110による操作に応じてポインタ540が移動して、一覧表示された顔541,542,543のなかから所望の顔を選択することができる。このように、自動赤目補正処理によって修正された人物の顔541,542,543を一覧表示することによって、それらの顔541,542,543を一度に確認することができる。本実施形態においては、ステップS106において、図8に示すように赤目補正結果画像が表示される例について説明を続ける。
In part (A) of FIG. 9, faces 541, 542, and 543 corresponding to the
次に、図2に示す十字キー110による操作に応じて所望の人物の顔を選択した後に、メニュー/OKスイッチ111を押下することによって、選択された人物の顔が拡大されて、図2に示すLCDパネル108に表示される(ステップS107)。
Next, after selecting a desired person's face in accordance with the operation of the
ここで、図10は、ステップS107によって拡大された顔がLCDパネルに表示された表示例を示す図である。 Here, FIG. 10 is a diagram illustrating a display example in which the face enlarged in step S107 is displayed on the LCD panel.
ここでは、図8に示す赤目補正結果画像の中の、顔が実線の丸510で囲われた人物411の顔411aを選択した後に、メニュー/OKスイッチ111を押下することによって、その顔411aが拡大されて、図2に示すLCDパネル108に表示された例が示されている。
Here, after selecting the
また、図11は、拡大された顔における、図10とは異なる表示例を示す図である。 FIG. 11 is a diagram showing a display example different from FIG. 10 in the enlarged face.
図11のパート(A)では、LCDパネル108が2つの領域108_1,108_2に分割されており、赤目補正結果画像が第1の領域108_1に表示され、選択された顔411aが拡大されて第2の領域108_2に表示されている。このように、赤目補正結果画像と、拡大された顔とを並べて表示することによって、赤目補正が施された位置などを容易に確認することができる。また、LCDパネルを2つ以上備えている場合には、パート(B)に示すように、1つのパネル108Aに撮影画像を表示し、他のパネル108Bに拡大された顔を表示してもよい。本実施形態においては、ステップS107によって、拡大された顔が図10に示す表示方法で表示される例について説明する。
In part (A) of FIG. 11, the
次に、ステップS107によって拡大された顔による、自動赤目補正処理が施された後の赤目部分の確認の結果、赤目部分が適切に検出され適切に修正されたものであるとユーザが判断した場合には、図2に示すメニュー/OKスイッチ111を押下する確認操作によって(ステップS108:YES)、その拡大された顔の赤目部分に対する自動赤目補正処理が確定され、ステップS104に戻って画像の全体が、図2に示すLCDパネル108に表示される。また、上述したようにしてこのLCDパネル108の左上に表示される未確認箇所数は、このステップS108による確認操作を1回受けるごとに1つ差し引いた数が未確認箇所数として表示される。その後は、自動赤目補正処理が確定された人物以外の人物の選択が、上記と同様の手順で可能となる。
Next, when the user determines that the red-eye portion is appropriately detected and appropriately corrected as a result of the confirmation of the red-eye portion after the automatic red-eye correction processing is performed using the face enlarged in step S107 2 is confirmed by pressing the menu /
このように、確認された数を差し引いた未確認箇所数が表示される電子カメラであれば、赤目補正結果画像中の赤目部分を見落としてしまった場合であっても、未確認箇所数を参照することによって確実にその赤目部分を確認することができる。 In this way, with an electronic camera that displays the number of unconfirmed points after subtracting the confirmed number, refer to the number of unconfirmed points even when the red-eye portion in the red-eye correction result image is overlooked. The red eye portion can be confirmed with certainty.
また、ステップS107によって拡大された顔による、自動赤目補正処理が施された後の赤目部分の確認の結果、拡大された顔の目部分を更に拡大して赤目部分を確認したい場合には、図2に示すキャンセルスイッチ116を押下することによって(ステップS108:NO)、拡大された目部分が、図2に示すLCDパネル108に表示される(ステップS109)。
Further, as a result of confirming the red-eye portion after the automatic red-eye correction process is performed by the face enlarged in step S107, when it is desired to further enlarge the eye portion of the enlarged face and confirm the red-eye portion, FIG. When the cancel
ここで、図12は、ステップS109によって拡大された目部分がLCDパネルに表示された表示例を示す図である。 Here, FIG. 12 is a diagram illustrating a display example in which the eye portion enlarged in step S109 is displayed on the LCD panel.
ここでは、図10に示す拡大された顔411aの目部分411bが拡大されて、図2に示すLCDパネル108に表示された例が示されている。
Here, an example is shown in which the
尚、本実施形態の説明では、目部分が拡大表示される例として両目が拡大表示される例を示したが、片目ずつ拡大表示するものであってもよい。 In the description of the present embodiment, an example in which both eyes are enlarged and displayed is shown as an example in which the eye portion is enlarged and displayed, but one eye may be enlarged and displayed.
次に、ステップS109によって拡大された目部分による、自動赤目補正処理が施された後の赤目部分の確認の結果、赤目部分が適切に検出され適切に修正されたものであるとユーザが判断した場合には、図2に示すメニュー/OKスイッチ111を押下する確認操作によって(ステップS110:YES)、その拡大された顔の赤目部分に対する自動赤目補正処理が確定され、ステップS104に戻って画像の全体が、図2に示すLCDパネル108に表示される。また、上述したようにしてこのLCDパネル108の左上に表示される未確認箇所数は、このステップS110による確認操作を1回受けるごとに1つ差し引いた数が未確認箇所数として表示される。その後は、自動赤目補正処理が確定された人物以外の人物の選択が、上記と同様の手順で可能となる。
Next, as a result of the confirmation of the red-eye part after the automatic red-eye correction process is performed by the eye part enlarged in step S109, the user determines that the red-eye part is appropriately detected and appropriately corrected. In this case, the confirmation operation for depressing the menu /
また、ステップS109によって拡大された目部分による、自動赤目補正処理が施された後の赤目部分の確認の結果、赤目部分の検出や修正において誤った検出や不適切な修正が施されたものであるとユーザが判断した場合には、図2に示すキャンセルスイッチ116を押下することによって(ステップS110:NO)、その拡大された目に対する赤目部分の検出や修正が取り消され(ステップS111)、ステップS104に戻って画像の全体が、図2に示すLCDパネル108に表示される。また、上述したようにしてこのLCDパネル108の左上に表示される未確認箇所数は、このステップS111による確認操作を1回受けるごとに1つ差し引いた数が未確認箇所数として表示される。その後は、自動赤目補正処理が確定され、あるいは取り消された人物以外の人物の選択が、上記と同様の手順で可能となる。
In addition, as a result of the confirmation of the red-eye portion after the automatic red-eye correction processing is performed by the eye portion enlarged in step S109, erroneous detection or inappropriate correction is performed in the detection or correction of the red-eye portion. If the user determines that there is, the detection and correction of the red-eye portion for the enlarged eye is canceled by depressing the cancel
図13は、“第2自動赤目補正処理”モードが選択される場合における操作の流れを説明するフローチャートである。 FIG. 13 is a flowchart for explaining the operation flow when the “second automatic red-eye correction process” mode is selected.
まず、図2に示す機能選択レバー113を“撮影記録”側113aにもっていくことによって“撮影記録”機能を選択し、撮影モードダイヤル112を回転させることによって所望の撮影モードを選択し、更に十字キー110による操作に応じて“第2自動赤目補正処理”モードを選択した後にシャッタレリーズボタン105を押下することによって写真撮影が行われる(ステップS201)。
First, the “shooting / recording” function is selected by moving the
撮影が行われると、CPU211は、図2に示す十字キー110による操作に応じて“第2自動赤目補正処理”モードが選択されていることを受けて、ステップS201によって写真撮影されて得られた撮影画像中の赤目部分を検出する。さらに、検出した赤目部分を修正する自動赤目補正処理を開始する(ステップS202)。
When photographing is performed, the
続いて、ステップS202による撮影画像中の赤目部分の検出で、赤目部分が検出されていた場合には(ステップS203:YES)、赤目部分が検出された人物の数(以下、この数を検出数と称する)が、自動赤目補正処理の施された後の赤目補正結果画像とともに、図2に示すLCDパネル108に表示される(ステップS204)。
Subsequently, when the red-eye part is detected in the captured image in step S202 (step S203: YES), the number of persons whose red-eye part is detected (hereinafter, this number is referred to as the number of detections). Is displayed on the
また、ステップS202による撮影画像中の赤目部分の検出で、赤目部分が検出されなかった場合には(ステップS203:NO)、撮影画像を表す画像データが、図3に示すメディアコントローラ224を介して記録メディア240にJPEGファイルとして記録される(ステップS213)。
If the red-eye portion in the captured image is detected in step S202 (step S203: NO), the image data representing the captured image is sent via the
ここで、図14は、ステップS204によって自動赤目補正処理が施された後の赤目補正結果画像および検出数がLCDパネルに表示された表示例を示す図である。 Here, FIG. 14 is a diagram showing a display example in which the red-eye correction result image and the number of detections after the automatic red-eye correction processing is performed in step S204 are displayed on the LCD panel.
ここでは、ステップS201によって3人の人物410,420,430が写真撮影された、図5に示す撮影画像と同一の撮影画像に対して自動赤目補正処理が施された後の赤目補正結果画像が、自動赤目補正処理によって修正された人物411,421,431の顔411a,421a,431aが実線の丸510,520,530で囲われるように強調されて、図2に示すLCDパネル108に表示されるとともに、このLCDパネル108の左上に、赤目部分が検出された検出数620が表示された例が示されている。この図14に示す例では、LCDパネル108の左上に検出数620が“3”と表示され、3人の人物411,421,431すべてに対し赤目部分が検出されて修正されたことが示されている。
Here, the red-eye correction result image after the automatic red-eye correction process is performed on the same captured image as the captured image shown in FIG. 5 in which the three
このように、赤目補正結果画像中の赤目部分が検出された検出数が、赤目補正結果画像とともに表示されると、図14に示すように複数の人物の目が赤目に再現された画像であっても、表示された検出数を参照することによって、赤目部分を見落とすような過ちを犯すことなく赤目部分を容易に確認することができる。また、赤目補正結果画像中の赤目部分を有する顔が強調されて表示されると、赤目補正結果画像中の赤目部分の確認が、より一層容易である。 As described above, when the number of detected red-eye portions in the red-eye correction result image is displayed together with the red-eye correction result image, as shown in FIG. However, by referring to the displayed number of detections, the red-eye portion can be easily confirmed without making a mistake that overlooks the red-eye portion. In addition, when a face having a red-eye portion in the red-eye correction result image is displayed with being emphasized, confirmation of the red-eye portion in the red-eye correction result image is further facilitated.
次に、CPU211では、ステップS202において自動赤目補正処理が施された赤目部分に、確認の際の優先順番が付される。本実施形態においては、まず、「赤目部分のうち撮影画角の中央から近いもの」ほど優先順位が高く、続いて、「赤目部分の面積が広いもの」ほど優先順位が高くなるように優先順番が付される(ステップS205)。
Next, in the
次に、ステップS204によって自動赤目補正処理が施された後の赤目補正結果画像による赤目部分の確認の後に、後述する、顔や目部分が拡大表示された画像よる赤目部分の確認を行わない場合には、図2に示すキャンセルスイッチ116を押下することによって(ステップS206:NO)、その赤目補正結果画像を表す画像データが、図3に示すメディアコントローラ224を介して記録メディア240にJPEGファイルとして記録される(ステップS213)。
Next, after confirming the red-eye portion by the red-eye correction result image after the automatic red-eye correction processing is performed in step S204, the red-eye portion is not confirmed by an image in which the face and the eye portion are enlarged and displayed later. When the cancel
このように、“第2自動赤目補正処理”モードでは、シャッタレリーズボタン105を押下して写真撮影が行われた後、ステップS206でキャンセルスイッチ116を押下する1操作のみで赤目部分の確認が終了するため、赤目部分の確認が極めて簡単に行える。
As described above, in the “second automatic red-eye correction processing” mode, after the
また、ステップS204によって自動赤目補正処理が施された後の赤目補正結果画像による赤目部分の確認の結果、自動赤目補正処理によって修正された人物の顔を拡大して赤目部分を確認したい場合には、図2に示すメニュー/OKスイッチ111を押下することによって(ステップS206:YES)、ステップS204によって顔が実線の丸で囲われるように強調されて表示された人物のうちの、ステップS205で付された優先順位が最も高い赤目部分を有する人物の顔が拡大されて、図2に示すLCDパネル108に、未確認箇所数とともに表示される(ステップS207)。ここでいう未確認箇所数とは、上述した“第1自動赤目補正処理”モードにおける未確認箇所数と同様に、赤目部分が検出された人物の数のうち、後述する確認操作による確認がなされていない数をいい、この未確認箇所数も、本発明にいう箇所数の一例に相当するものである。
In addition, as a result of the confirmation of the red-eye portion by the red-eye correction result image after the automatic red-eye correction processing is performed in step S204, when it is desired to confirm the red-eye portion by enlarging the face of the person corrected by the automatic red-eye correction processing When the menu /
このように、確認された数を差し引いた未確認箇所数が表示される電子カメラであれば、赤目補正結果画像中の赤目部分を見落としてしまった場合であっても、未確認箇所数を参照することによって確実にその赤目部分を確認することができる。 In this way, with an electronic camera that displays the number of unconfirmed points after subtracting the confirmed number, refer to the number of unconfirmed points even when the red-eye portion in the red-eye correction result image is overlooked. The red eye portion can be confirmed with certainty.
ここで、図15は、ステップS207によって拡大された顔および未確認箇所数がLCDパネルに表示された表示例を示す図である。 Here, FIG. 15 is a diagram showing a display example in which the face enlarged in step S207 and the number of unconfirmed places are displayed on the LCD panel.
ここでは、図14に示す赤目補正結果画像の中の、顔411a,421a,431aが実線の丸510,520,530で囲われた人物411,421,431のうちの人物411の顔411aが拡大されて、図2に示すLCDパネル108に表示されるとともに、このLCDパネル108の左上に、赤目部分が検出された人物の数のうち、後述する確認操作による確認がなされていない未確認箇所数610が表示された例が示されている。
Here, in the red-eye correction result image shown in FIG. 14, the
次に、ステップS207によって拡大された顔による、自動赤目補正処理が施された後の赤目部分の確認の結果、赤目部分が適切に検出され適切に修正されたものであるとユーザが判断した場合には、図2に示すメニュー/OKスイッチ111を押下する確認操作によって(ステップS208:YES)、その拡大された顔の赤目部分に対する自動赤目補正処理が確定され、自動赤目補正処理が確定された人物以外の、ステップS204によって自動赤目補正処理が施された人物が存在する場合には(ステップS212:YES)、自動赤目補正処理が確定された人物を除いて、優先順位が最も高い赤目部分を有する人物の顔が拡大されて、図2に示すLCDパネル108に表示される(ステップS207)。また、上述したようにしてこのLCDパネル108の左上に表示される未確認箇所数610は、このステップS208による確認操作を1回受けるごとに1つ差し引いた数が未確認箇所数として表示される。
Next, when the user determines that the red-eye portion is appropriately detected and appropriately corrected as a result of the confirmation of the red-eye portion after the automatic red-eye correction processing is performed using the face enlarged in step S207 The confirmation operation for depressing the menu /
また、ステップS208:YESによって拡大された顔の赤目部分に対する自動赤目補正処理が確定され、自動赤目補正処理が確定され、あるいは後述する“結果消去”モードによって取り消された人物以外の、ステップS204によって自動赤目補正処理が施された人物が存在しない場合には(ステップS212:NO)、そのステップS208:YESによって確定され、あるいは後述する“結果消去”モードによって取り消された赤目補正結果画像を表す画像データが、図3に示すメディアコントローラ224を介して記録メディア240にJPEGファイルとして記録される(ステップS213)。
In step S208: YES, the automatic red-eye correction process for the red-eye portion of the enlarged face is confirmed, the automatic red-eye correction process is confirmed, or a person other than the person canceled by the “result erasure” mode described later, in step S204. If there is no person who has been subjected to the automatic red-eye correction process (step S212: NO), an image representing the red-eye correction result image that has been confirmed in step S208: YES or canceled in a “result deletion” mode described later. The data is recorded as a JPEG file on the
また、ステップS207によって拡大された顔による、自動赤目補正処理が施された後の赤目部分の確認の結果、拡大された顔の目部分を更に拡大して赤目部分を確認したい場合には、図2に示すキャンセルスイッチ116を押下することによって(ステップS208:NO)、拡大された目部分が、図2に示すLCDパネル108に、未確認箇所数とともに表示される(ステップS209)。
In addition, as a result of checking the red-eye part after the automatic red-eye correction process is performed by the face enlarged in step S207, when it is desired to further enlarge the eye part of the enlarged face and check the red-eye part, FIG. When the cancel
ここで、図16は、ステップS209によって拡大された目部分および未確認箇所数がLCDパネルに表示された表示例を示す図である。 Here, FIG. 16 is a diagram showing a display example in which the eye portion enlarged in step S209 and the number of unconfirmed portions are displayed on the LCD panel.
ここでは、図15に示す拡大された顔411aの目部分411bが拡大されて、図2に示すLCDパネル108に表示されるとともに、このLCDパネル108の左上に、赤目部分が検出された人物の数のうち、後述する確認操作による確認がなされていない未確認箇所数610が表示された例が示されている。
Here, the
尚、本実施形態の説明では、目部分が拡大表示される例として両目が拡大表示される例を示したが、片目ずつ拡大表示するものであってもよい。 In the description of the present embodiment, an example in which both eyes are enlarged and displayed is shown as an example in which the eye portion is enlarged and displayed, but one eye may be enlarged and displayed.
次に、ステップS209によって拡大された目部分による、自動赤目補正処理が施された後の赤目部分の確認の結果、赤目部分が適切に検出され適切に修正されたものであるとユーザが判断した場合には、図2に示すメニュー/OKスイッチ111を押下する確認操作によって(ステップS210:YES)、その拡大された顔の赤目部分に対する自動赤目補正処理が確定され、自動赤目補正処理が確定された人物以外の、ステップS204によって自動赤目補正処理が施された人物が存在する場合には(ステップS212:YES)、自動赤目補正処理が確定された人物以外の人物のうち、最も優先順位の高い赤目部分を有する人物の顔が拡大されて、図2に示すLCDパネル108に表示される(ステップS207)。また、上述したようにしてこのLCDパネル108の左上に表示される未確認箇所数610は、このステップS210による確認操作を1回受けるごとに1つ差し引いた数が未確認箇所数として表示される。
Next, as a result of confirmation of the red-eye part after the automatic red-eye correction process is performed by the eye part enlarged in step S209, the user determines that the red-eye part is appropriately detected and appropriately corrected. In this case, the automatic red-eye correction process for the enlarged red-eye portion of the enlarged face is confirmed by the confirmation operation for depressing the menu /
また、ステップS210:YESによって拡大された顔の赤目部分に対する自動赤目補正処理が確定され、自動赤目補正処理が確定され、あるいは後述する“結果消去”モードによって取り消された人物以外の、ステップS204によって自動赤目補正処理が施された人物が存在しない場合には(ステップS212:NO)、そのステップS210:YESによって確定され、あるいは後述する“結果消去”モードによって取り消された赤目補正結果画像を表す画像データが、図3に示すメディアコントローラ224を介して記録メディア240にJPEGファイルとして記録される(ステップS213)。
In step S210: YES, the automatic red-eye correction process for the red-eye portion of the enlarged face is confirmed, the automatic red-eye correction process is confirmed, or a person other than a person who is canceled by the “result erase” mode described later, in step S204. If there is no person who has been subjected to the automatic red-eye correction process (step S212: NO), an image representing the red-eye correction result image that has been confirmed in step S210: YES or canceled in a “result deletion” mode described later. The data is recorded as a JPEG file on the
ここで、未確認箇所数が小さくなるごとに、拡大表示される人物の顔における赤目部分の優先順位が低くなる。したがって、ステップS207からステップS212までの一連の処理を繰り返して、拡大された顔の赤目部分が重要ではなくなったと判断した場合には、ユーザが図2に示すキャンセルスイッチ116を押下することによって、ステップS212からステップS213の処理に進み、赤目補正結果画像を記録することができる。
Here, as the number of unconfirmed places decreases, the priority order of the red-eye portion in the face of the person to be enlarged is lowered. Therefore, when it is determined that the red-eye portion of the enlarged face is no longer important by repeating a series of processing from step S207 to step S212, the user presses the cancel
また、ステップS209によって拡大された目部分による、自動赤目補正処理が施された後の赤目部分の確認の結果、赤目部分の検出や修正において誤った検出や不適切な修正が施されたものであるとユーザが判断した場合には、図2に示すキャンセルスイッチ116を押下する(ステップS210:NO)。
In addition, as a result of the confirmation of the red-eye part after the automatic red-eye correction process is performed by the eye part enlarged in step S209, the red-eye part is erroneously detected or inappropriately corrected. If the user determines that there is, the cancel
尚、本実施形態のカメラ100で“第2自動赤目補正処理”モードを選択して写真撮影する場合には、拡大された目に対する赤目部分の検出や修正が取り消される“結果消去”モード、あるいはその拡大された目に対する赤目部分を手動で再修正することのできる“修正”モードのいずれかのモードがあらかじめ選択されて設定されているものとする。このようないずれかのモードがあらかじめ設定された基では、ステップS210:NOでキャンセルスイッチ116が押下されると、あらかじめ設定されたいずれかのモードに自動的に移行する。
When the
“結果消去”モードが設定されている場合には、ステップS210:NOでキャンセルスイッチ116が押下されることによって、拡大された目に対する赤目部分の検出や修正が取り消され(ステップS211)、自動赤目補正処理が取り消された人物以外の、ステップS204によって自動赤目補正処理が施された人物が存在する場合には(ステップS212:YES)、自動赤目補正処理が取り消された人物以外の人物のうち、最も優先順位の高い赤目部分を有する人物の顔が拡大されて、図2に示すLCDパネル108に表示される(ステップS207)。また、上述したようにしてこのLCDパネル108の左上に表示される未確認箇所数610は、このステップS211による確認操作を1回受けるごとに1つ差し引いた数が未確認箇所数として表示される。
If the “result erase” mode is set, the cancel
また、ステップS211によって拡大された顔の赤目部分に対する自動赤目補正処理が取り消され、自動赤目補正処理が取り消され、あるいは上述した確認操作によって確定された人物以外の、ステップS204によって自動赤目補正処理が施された人物が存在しない場合には(ステップS212:NO)、そのステップS211によって取り消され、あるいは上述した確認操作によって確定された赤目補正結果画像を表す画像データが、図3に示すメディアコントローラ224を介して記録メディア240にJPEGファイルとして記録される(ステップS213)。
Further, the automatic red-eye correction processing for the red-eye portion of the face enlarged in step S211 is canceled, the automatic red-eye correction processing is canceled, or the automatic red-eye correction processing is performed in step S204 other than the person confirmed by the above-described confirmation operation. When the applied person does not exist (step S212: NO), the image data representing the red-eye correction result image canceled by the step S211 or confirmed by the confirmation operation described above is the
次に、“修正”モードが設定されている場合には、ステップS210:NOでキャンセルスイッチ116が押下されることによって、拡大された目に対する赤目部分の検出や修正の位置ずれや大きさ変更などといった誤った検出や不適切な修正を手動で再修正することができる。
Next, when the “correction” mode is set, the cancel
以上で、本発明における第1実施形態の説明を終了し、本発明の第2実施形態の説明を行う。本実施形態のカメラは、図1から図3に示す第1実施形態のカメラ100と同様の構成を有しており、これら図1から図3を本実施形態の説明でも用いて、第1実施形態との相違点のみ説明する。
Above, description of 1st Embodiment in this invention is complete | finished, and 2nd Embodiment of this invention is demonstrated. The camera of this embodiment has the same configuration as that of the
図17は、本実施形態のカメラで被写体を撮影して、撮影画像を保存するまでの一連の処理を示すフローチャートである。 FIG. 17 is a flowchart showing a series of processes from photographing a subject with the camera of the present embodiment to storing the photographed image.
まず、第1実施形態と同様に、ユーザが図2に示す機能選択レバー113を”画像記録”側113aに合わせると、図3に示すCCD固体撮像素子210で所定の時間間隔ごとに被写体像が粗く読み取られ、RGB信号が出力されて上述した一連の露出処理、および合焦処理が行われる(ステップS301のプレ撮影)。
First, as in the first embodiment, when the user moves the
オペレータは、図2に示す撮影モードダイヤル112を使ってモード(“人物撮影”モード、“風景撮影”モード、“スポーツ”モード、“セルフタイマ”モード、“自己撮影”モード)を選択し、さらに、閃光を伴ったフラッシュ撮影を行う場合には、図示しない閃光ボタンを押下することによってフラッシュ撮影を指定する。撮影モードダイヤル112および閃光ボタンの押下状況は、CPU211に伝えられる。
The operator uses the
ここで、閃光ボタンが押下されない場合には(ステップS302:NO)、CPU211において、撮影画像中に赤目の不具合は生じないと推定されて、図17のフローチャートではステップS302からステップS310に進む。
If the flash button is not pressed (step S302: NO), the
ユーザによってシャッタレリーズボタン105が押下されると、CPU211ではシャッタレリーズボタン105の押下が検知される。さらに、CPU211からタイミングジェネレータ212に対して写真撮影の開始指示が行われて、CCD固体撮像素子210で被写体像が細かく読み取られ、図4のステップS101と同様の撮影処理が行われる(ステップS310)。
When the
撮影が行われて得られた画像データには、画像信号処理回路222によって、階調補正処理などといった所定の画像処理が施され、画像処理が施された画像データが記録メディア240に記録される(図17のステップS313)。この階調補正処理などといった画像処理は、従来から広範に行われている処理であり、本明細書では説明を省略する。
Image data obtained by shooting is subjected to predetermined image processing such as gradation correction processing by the image
通常、フラッシュ撮影が行われない場合には、赤目などといった目に関する不具合は生じにくい。したがって、フラッシュ撮影が行われない場合には、赤目補正処理を省略することによって、処理を高速化することができる。 In general, when flash photography is not performed, eye-related problems such as red eyes are unlikely to occur. Therefore, when flash photography is not performed, the processing speed can be increased by omitting the red-eye correction processing.
また、ユーザによって閃光ボタンが押下されており(ステップS302:YES)、モードとして“人物撮影”モード以外のモードが選択された場合(ステップS303:NO)にも、CPU211において、撮影画像中に赤目の不具合は生じないと推定され、フローチャートのステップS303からステップS311に進んで撮影処理が行われる。
In addition, even when the flash button is pressed by the user (step S302: YES) and a mode other than the “portrait photographing” mode is selected as the mode (step S303: NO), the
さらに、ユーザによって閃光ボタンが押下されており(ステップS302:YES)、モードとして“人物撮影”モードが選択されており(ステップS303:YES)、ステップS301のプレ撮影中の合焦処理において算出される、撮影画角の中央付近の被写体までの距離(被写体距離)が所定範囲外の距離である場合(ステップS304:NO)にも、CPU211において、撮影画像中に赤目の不具合は生じないと推定されて、フローチャートのステップS304からステップS311に進んで撮影処理が行われる。
Further, the flash button is pressed by the user (step S302: YES), the “portrait shooting” mode is selected as the mode (step S303: YES), and the calculation is performed in the focusing process during pre-shooting in step S301. Even when the distance to the subject near the center of the shooting angle of view (subject distance) is outside the predetermined range (step S304: NO), the
被写体距離が近すぎたり、遠すぎたりして、所定範囲外の距離である場合には、撮影画像中に人物が写っていても、赤目が生じている可能性が低い。また、本実施形態においては、モードとして“人物撮影”モード以外のモード(“風景撮影”モード、“スポーツ”モード、“セルフタイマ”モード、および“自己撮影”モード)が選択されている場合には、撮影画像中に人物が写っていなかったり、写っていても被写体距離が所定範囲外の距離であると推定して、赤目補正処理を省略している。尚、本実施形態においては、初期状態が“人物撮影”モードであるため、ユーザがモードを特に意識せずに撮影を行ってしまった場合であっても、“人物撮影”モードが採用されて(ステップS303:YES)、後述する赤目の不具合を未然に防ぐ撮影が行われる。初期状態が“人物撮影”モード以外のモードであるカメラの場合や、カメラが自動的に適切なモードを選択するオートモードの場合には、例えば、「モードが“人物撮影”モード(ステップS303)」、および「被写体距離が所定範囲内(ステップS304)」のうちのいずれか一方が真ならばステップS305以降の赤目の不具合を未然に防ぐ撮影処理に進むものであってもよい。 When the subject distance is too close or too far, and the distance is outside the predetermined range, the possibility that red eyes are generated is low even if a person is captured in the captured image. In the present embodiment, when a mode other than the “portrait shooting” mode (“landscape shooting” mode, “sport” mode, “self-timer” mode, and “self-shooting” mode) is selected as the mode. Does not include the person in the photographed image or estimates that the subject distance is outside the predetermined range even if the person is photographed, and omits the red-eye correction process. In this embodiment, since the initial state is the “portrait shooting” mode, the “portrait shooting” mode is adopted even when the user has shot without being particularly conscious of the mode. (Step S303: YES), shooting is performed to prevent a red-eye problem to be described later. In the case of a camera whose initial state is a mode other than the “portrait shooting” mode or in the auto mode in which the camera automatically selects an appropriate mode, for example, “the mode is“ portrait shooting ”mode (step S303). ”And“ Subject distance within predetermined range (step S304) ”may be true, the process may proceed to a photographing process for preventing red-eye defects in and after step S305.
また、ユーザによって閃光ボタンが押下されており(ステップS302:YES)、モードとして“人物撮影”モードが選択されており(ステップS303:YES)、被写体距離が所定範囲内の距離である場合(ステップS304:YES)には、CPU211において、撮影画像中に赤目が生じると推定される。このとき、CPU211は、図2に示すLCDパネル108に「赤目が発生します」という警告を表示させる(ステップS305)。ユーザは警告を受け取ることによって、「赤目が発生する可能性がある」ことを確実に認識することができる。
Further, when the flash button is pressed by the user (step S302: YES), the “portrait photographing” mode is selected as the mode (step S303: YES), and the subject distance is within a predetermined range (step S303). In S304: YES), the
さらに、CPU211は、図3に示す閃光発光装置103に指示を与え、閃光発光装置103おける発光強度や発光時間を赤目が生じにくい所定の値に調整する(ステップS306)。
Further, the
閃光発光装置103の調整が終了し、ユーザによってシャッタレリーズボタン105が押下されると、CPU211ではシャッタレリーズボタン105の押下が検知されて、閃光を伴った撮影処理が行われる(ステップS307)。このステップS307の撮影処理によって得られる画像データは、赤目の発生が未然に抑えられている。
When the adjustment of the flash
また、CPU211はCDSAMP213に指示を与え、アンプゲインの調整を行う(ステップS308)。
In addition, the
撮影によって得られた画像データには、ステップS312と同様の画像処理が施され(ステップS309)、画像処理が施された画像データは記録メディア240に記録される(ステップS310)。 The image data obtained by shooting is subjected to the same image processing as in step S312 (step S309), and the image data subjected to the image processing is recorded on the recording medium 240 (step S310).
このように、撮影モードや、閃光の有無や、被写体距離などといった撮影条件に基づいて、撮影画像に赤目などといった不具合が生じるか否かを予め推定しておき、不具合が生じると推定された場合には、閃光発光装置における発光を調整することによって、赤目の発生を低減することができる。 In this way, when it is estimated that a defect such as red-eye occurs in the captured image in advance based on the shooting conditions such as the shooting mode, the presence or absence of flash, the subject distance, etc. In addition, the occurrence of red eyes can be reduced by adjusting the light emission in the flash light emitting device.
また、本実施形態においては、赤目の発生が軽減されているため、撮影画像の確認作業が行われないが、警告が発せられた場合には、念のために確認作業を行ってもよい。 Further, in the present embodiment, since the occurrence of red eyes is reduced, the confirmation operation of the captured image is not performed, but if a warning is issued, the confirmation operation may be performed just in case.
以上で、本発明における第2実施形態の説明を終了し、本発明における第3実施形態の説明を行う。本実施形態のカメラも、図1から図3に示す第1実施形態のカメラ100と同様の構成を有しており、これら図1から図3を本実施形態の説明でも用いて、第1実施形態および第2実施形態との相違点のみ説明する。
Above, description of 2nd Embodiment in this invention is complete | finished, and 3rd Embodiment in this invention is demonstrated. The camera of this embodiment also has the same configuration as the
本実施形態のカメラは、図1に示すシャッタレリーズボタン105が2段階に押下可能であり、1段目が押下されると上述したプレ撮影(露出処理、および合焦処理)が行われ、2段目が押下されると実際の撮影処理が行われる。
The camera of the present embodiment can press the
図18は、本実施形態のカメラで被写体を撮影して、撮影画像を保存するまでの一連の処理を示すフローチャートである。 FIG. 18 is a flowchart showing a series of processes from photographing a subject with the camera of the present embodiment to storing the photographed image.
まず、ユーザは、図2に示す撮影モードダイヤル112を使ってモード(“人物撮影”モード、“風景撮影”モード、“スポーツ”モード、“セルフタイマ”モード、“自己撮影”モード)を選択し、さらに、閃光を伴ったフラッシュ撮影を行う場合には、図示しない閃光ボタンでフラッシュ撮影を指定する。さらに、自動赤目修正処理を行う場合には、十字キー110によって“自動赤目補正処理”モード(被写体像中の赤目部分を検出して検出された赤目部分を修正する)を選択する。十字キー110、撮影モードダイヤル112および閃光ボタンの設定状況は、CPU211に伝えられる。
First, the user selects a mode (“portrait shooting” mode, “landscape shooting” mode, “sports” mode, “self-timer” mode, “self-shooting” mode) using the
続いて、ユーザはカメラを所望の被写体に向けて、シャッタレリーズボタン105の一段目を押下する(ステップS401)。 Subsequently, the user points the camera toward a desired subject and presses the first stage of the shutter release button 105 (step S401).
閃光ボタンでフラッシュ撮影が選択されない場合には(図18のステップS402:NO)、図17のステップS310と同様な、閃光を伴わない撮影処理が行われ(ステップS411)、撮影処理によって得られた画像データが記録メディア240に記録される(ステップS410)。閃光を伴わない撮影における撮影画像中には、赤目などといった目に関する不具合が生じることは少ないため、赤目補正処理を省略することができる。 When the flash photography is not selected with the flash button (step S402 in FIG. 18: NO), the photographing process without flash is performed (step S411), which is the same as step S310 in FIG. 17, and obtained by the photographing process. Image data is recorded on the recording medium 240 (step S410). Since there are few problems relating to eyes such as red eyes in a photographed image taken without flashing, the red-eye correction process can be omitted.
また、閃光ボタンでフラッシュ撮影が選択された場合には(図18のステップS402:YES)、カメラの内部で、図17のステップS301と同様のプレ撮影が行われ、閃光発光装置103からの閃光を伴わずに、画素が粗い画像データ(以下、この画素の粗い画像データを低解像度データと称する)が取得される(ステップS403)。この低解像度データは、本発明にいう第1の画像データの一例にあたり、低解像素データが表わす低解像度画像は、本発明にいう第1の画像の一例に相当する。
When flash photography is selected with the flash button (step S402 in FIG. 18: YES), pre-photographing similar to step S301 in FIG. 17 is performed inside the camera, and the flash from the flash
さらに、ユーザはシャッタレリーズボタン105の二段目を押下して、撮影を指示する(ステップS404)。
Further, the user presses the second stage of the
カメラの内部では図7のステップS307と同様な、閃光を伴う撮影処理が行われて、画素が細かい画像データ(以下、この画素が細かい画像データを高解像度データと称する)が取得される(ステップS405)。この高解像度データは、本発明にいう第2の画像データの一例にあたり、高解像素データが表わす高解像度画像は、本発明にいう第2の画像の一例に相当する。 Inside the camera, photographing processing with flashing is performed in the same manner as in step S307 in FIG. 7, and image data with fine pixels (hereinafter, image data with fine pixels is referred to as high resolution data) is acquired (step S307). S405). This high resolution data corresponds to an example of the second image data according to the present invention, and the high resolution image represented by the high resolution element data corresponds to an example of the second image according to the present invention.
ここで、“自動赤目補正処理”モードが選択されていない場合には(ステップS406:NO)、赤目補正処理が行われずに、取得された高解像度データが記録メディア240に記録される(ステップS410)。
Here, when the “automatic red-eye correction process” mode is not selected (step S406: NO), the acquired high-resolution data is recorded on the
“自動赤目補正処理”モードが選択されている場合には(ステップS406:YES)、画像信号処理回路222において、ステップS403で得られた低解像度データが表わす低解像度画像の色と、ステップS405で得られた高解像度データが表わす高解像度画像の色とが比較される(ステップS407)。本実施形態では、画像信号処理回路222によって、高解像度画像と低解像度画像の色相差が取得される。
When the “automatic red-eye correction processing” mode is selected (step S406: YES), the image
ステップS407で取得された色相差が所定値よりも小さい場合(ステップS408:NO)、高解像度画像中に赤目が生じていないと推定され、画像信号処理回路222における赤目補正処理が行われずに、高解像度画像データが記録メディア240に記録される(ステップS410)。低解像度画像は閃光を伴わずに取得したため、赤目が生じている可能性が低い。一方、高解像度画像は閃光を伴って取得したため、赤目が生じている可能性が高いが、高解像度画像の色と低解像度の色との差が所定値より小さい場合、赤目が生じていないと判定される。
If the hue difference acquired in step S407 is smaller than the predetermined value (step S408: NO), it is estimated that no red-eye has occurred in the high-resolution image, and the red-eye correction processing in the image
また、ステップS407で取得された色相差が所定値以上であった場合(ステップS408:YES)、画像信号処理回路222は、高解像度画像中の色相差が所定値以上である箇所に不具合が生じているとみなす。尚、高解像度画像中の不具合が生じている箇所における明度差が、その箇所の周辺部分における明度差よりも大きく変わっている場合、その箇所に生じている不具合は金目であると考えられ、その箇所における色相差や彩度差が、その箇所の周辺部分における色相差や彩度差よりも大きく変わっている場合、その箇所に生じている不具合は赤目であると考えられる。
If the hue difference acquired in step S407 is greater than or equal to a predetermined value (step S408: YES), the image
不具合が検出されると、高解像度データには、図4のステップS102と同様な自動赤目補正処理が施され(ステップS409)、その赤目部分の確認作業が行われた後に、自動赤目補正処理が施された画像データが記録メディア240に記録される(ステップS410)。 When a defect is detected, the automatic red-eye correction process similar to step S102 in FIG. 4 is performed on the high-resolution data (step S409), and after confirming the red-eye portion, the automatic red-eye correction process is performed. The applied image data is recorded on the recording medium 240 (step S410).
このように、予め撮影画像に赤目が生じると推定される場合にのみ、赤目補正処理を行うことによって、処理の負担を軽減させることができるとともに、赤目補正処理が施された画像の確認作業を軽減させることもできる。 As described above, only when it is presumed that red eyes are generated in the captured image in advance, the processing load can be reduced by performing the red eye correction process, and the confirmation work of the image subjected to the red eye correction process can be performed. It can also be reduced.
尚、本実施形態では、CCD固体撮像素子上に被写体の像を結像させて、その被写体を表す画像データを信号として取り込む電子カメラに本発明を適用した例で説明したが、本発明は、これに限られるものではなく、取得された画像データにより表わされる画像中の目に関する所定の不具合を検出し、検出された不具合を修正し、不具合が検出された箇所数を、その箇所を含む画像とともに表示する、例えばパーソナルコンピュータなどで実現される画像修正装置にも適用することができる。 In the present embodiment, an example in which the present invention is applied to an electronic camera in which an image of a subject is formed on a CCD solid-state imaging device and image data representing the subject is captured as a signal has been described. However, the present invention is not limited to this, and a predetermined defect related to the eye in the image represented by the acquired image data is detected, the detected defect is corrected, and the number of points where the defect is detected is included in the image. The present invention can also be applied to an image correction apparatus that is displayed together with, for example, a personal computer.
また、本実施形態の説明では、“第1自動赤目補正処理”モードあるいは“第2自動赤目補正処理”モードが選択されていることを受けて自動赤目補正処理が施される例を示したが、写真撮影後に必ず自動赤目補正処理が施されるものや、閃光を用いた写真撮影後に必ず自動赤目補正処理が施されるものであってもよい。 In the description of the present embodiment, an example in which automatic red-eye correction processing is performed in response to selection of the “first automatic red-eye correction processing” mode or the “second automatic red-eye correction processing” mode is shown. The automatic red-eye correction process may always be performed after taking a picture, or the automatic red-eye correction process may be always given after taking a picture using a flash.
また、上記説明では、撮影後すぐに赤目補正処理やその確認作業が行われる例について説明したが、本発明の画像修正装置および撮像装置は、まず撮影画像を複数取得しておき、赤目補正処理やその確認作業は後でまとめて行うものであってもよく、撮影後すぐに赤目補正処理を行い、その確認作業は後でまとめて行うものであってもよい。赤目補正処理の確認作業のみ後でまとめて行う場合、元の撮影画像と赤目修正後の修正画像とを保存しておき、確認作業後に不要な画像を消去する。また、この場合、画像全体を保存しておくのではなく、不具合が生じている画像部分のみ保存するものであってもよく、画像ではなく補正情報などを保存するものであってもよい。 In the above description, an example in which red-eye correction processing and confirmation work are performed immediately after shooting has been described. However, the image correction device and the imaging device of the present invention first acquire a plurality of shot images, and then perform red-eye correction processing. The confirmation work may be performed collectively later, the red-eye correction process may be performed immediately after shooting, and the confirmation work may be performed collectively later. When only the confirmation operation for the red-eye correction process is performed later, the original captured image and the corrected image after the red-eye correction are stored, and unnecessary images are deleted after the confirmation operation. In this case, the entire image may not be stored, but only an image portion where a defect has occurred may be stored, or correction information or the like may be stored instead of the image.
また、上記では、不具合が生じる旨を表わす警告を画像表示部に表示する例について説明したが、本発明にいう警告は、例えば、ユーザが撮影時に覗くファインダなどに表示するものであってもよい。 In the above description, an example in which a warning indicating that a malfunction occurs is displayed on the image display unit. However, the warning according to the present invention may be displayed on, for example, a finder that the user peeks at the time of shooting. .
また、上記では、不具合が生じる旨を表わす警告を画像表示部に表示する例について説明したが、本発明にいう警告部は、例えば、音声によって警告を発するものであってもよい。 In the above description, an example in which a warning indicating that a malfunction occurs is displayed on the image display unit. However, the warning unit according to the present invention may issue a warning by voice, for example.
また、上記では、不具合が生じる旨を表わす警告を発する警告部の例について説明したが、本発明にいう警告部は、撮影モードと連動して、例えば、自動赤目補正処理モードが設定されている場合に、補正処理が働く旨を表わす通告を発するものであってもよく、自動赤目補正処理モードが設定されておらずに、フラッシュ撮影が設定されている場合に、自動赤目補正処理モードの設定を進める勧告を発するものなどであってもよい。 In the above description, an example of a warning unit that issues a warning indicating that a problem has occurred has been described. However, for example, an automatic red-eye correction processing mode is set in the warning unit according to the present invention in conjunction with the shooting mode. In this case, a notification indicating that the correction process is working may be issued, and setting of the automatic red-eye correction processing mode is set when the flash photography is set without setting the automatic red-eye correction processing mode. It may be one that issues a recommendation to proceed.
また、上記では、閃光を伴わずに取得した第1の画像の色と、閃光を伴って取得した第2の画像の色との差によって、撮影画像中に不具合が生じているか否かを推定する例について説明したが、本発明の画像補正装置および撮像装置は、プレ撮影時にも閃光を発し、そのプレ撮影で取得された低解像度データに基づいて赤目検出や警告を行うものであってもよい。このように、プレ撮影で取得された低解像度データを使って赤目を検出しておくことによって処理が分散され、本撮影後の赤目補正処理にかかる時間を短縮することができる。 Further, in the above, it is estimated whether or not there is a problem in the photographed image based on the difference between the color of the first image acquired without flashing and the color of the second image acquired with flashing. Although the image correction apparatus and the imaging apparatus of the present invention emit a flash even during pre-photographing and perform red-eye detection and warning based on low-resolution data acquired by the pre-photographing. Good. In this way, the processing is distributed by detecting red eyes using the low resolution data acquired in the pre-shooting, and the time required for the red-eye correction processing after the main shooting can be shortened.
また、本実施形態の説明では、撮影画像中の赤目部分を検出し、検出された赤目部分を修正する例を示したが、本発明は、これに限られるものではなく、例えば金目部分などといった目に関する所定の不具合を検出し、検出された不具合を修正するものであってもよい。 In the description of the present embodiment, an example in which a red-eye portion in a captured image is detected and the detected red-eye portion is corrected has been described. However, the present invention is not limited to this, and for example, a gold-eye portion or the like. A predetermined defect related to the eyes may be detected and the detected defect may be corrected.
また、本実施形態の説明では、本発明にいう「箇所数」の一例として、赤目部分が検出された人物の数を表す「未確認箇所数」を挙げたが、本発明にいう「箇所数」は、例えば赤目部分などといった不具合が検出された目の数であってもよい。 In the description of the present embodiment, as an example of the “number of places” referred to in the present invention, the “number of unconfirmed places” representing the number of persons in which the red-eye portion is detected has been described, but the “number of places” referred to in the present invention. May be the number of eyes in which a defect such as a red-eye portion is detected.
また、上記では、不具合が検出された箇所数を表示する例について説明したが、本発明にいう画像表示部は、例えば、不具合の程度ごとに、その程度における不具合の箇所数を表示するものであってもよい。 In the above description, the example of displaying the number of locations where a defect has been detected has been described. However, the image display unit according to the present invention displays, for example, the number of locations of defects at each level of the problem. There may be.
さらに、本実施形態の説明では、撮影画像中の赤目部分が検出された箇所数を、その箇所を含む、撮影画像中の赤目部分が検出されて修正された後の赤目補正結果画像とともに表示する例を示したが、本発明は、これに限られるものではなく、撮影画像中の赤目部分が検出された箇所数を、その箇所を含む、撮影画像中の赤目部分が検出されて修正される前の撮影画像とともに表示するものであってもよい。 Further, in the description of the present embodiment, the number of locations where the red-eye portion is detected in the captured image is displayed together with the red-eye correction result image after the red-eye portion in the captured image including the location is detected and corrected. Although an example has been shown, the present invention is not limited to this, and the number of locations where the red-eye portion is detected in the captured image is detected and corrected by detecting the red-eye portion in the captured image including the location. It may be displayed together with the previous photographed image.
100 カメラ
101 レンズ鏡胴
101a 撮影レンズ
102 調光センサ
103 閃光発光装置
104a 光学式ファインダ対物窓
104b 光学式ファインダ接眼窓
105 シャッタレリーズボタン
105a シャッタスイッチ
106 USB端子
107 電源入力端子
108 LCDパネル
109 LCDパネル起動ボタン
110 十字キー
111 メニュー/OKスイッチ
112 撮影モードダイヤル
113 機能選択レバー
113a “撮影記録”側
113b “画像データ再生”側
114 メインスイッチ
115 セルフタイマLED
116 キャンセルスイッチ
210 CCD固体撮像素子
211 CPU
212 タイミングジェネレータ
213 CDSAMP
214,217 モータドライバ
216 フォーカスレンズ
218 A/D変換回路
219 画像コントーラ
220 バス
221 メモリ(SDRAM)
222 画像信号処理回路
223 圧縮処理回路
224 メディアコントローラ
225 USBcontroller
226 VideoEncorder
227 画像表示装置
230 AE検出回路
231 AE&AWB検出回路
240 記録メディア
300 光量調整装置
410,411,420,421,430,431 人物
411a,421a,431a 顔
411b 目部分
510,511,520,521,530,531 丸
610 未確認箇所数
620 検出数
DESCRIPTION OF
116 Cancel
212
214, 217
222 Image
226 VideoEncoder
227
Claims (5)
前記画像データにより表わされる画像中の人物の目における赤目を検出し、検出された赤目を修正するとともに、該赤目が見つかった箇所に所定の基準で優先順位を付ける修正部と、
前記修正部により赤目が検出された人物の数を表わす箇所数を、該箇所を含む画像とともに表示する画像表示部とを備え、
前記画像表示部は、前記画像を表示するにあたって、前記修正部によって付けられた優先順位が高い箇所を優先して表示するものであることを特徴とする撮像装置。 In an imaging device that forms an image of a subject by subject light that has passed through a photographing optical system on a solid-state image sensor to obtain image data representing the subject image, and records the image data.
Detecting a red eye in a person's eye in the image represented by the image data, correcting the detected red eye, and a correction unit that prioritizes a place where the red eye is found according to a predetermined criterion ;
An image display unit that displays the number of places representing the number of persons whose red eyes are detected by the correction unit together with an image including the place ;
The image display unit is characterized in that when displaying the image, the image display unit preferentially displays a portion with a high priority given by the correction unit .
前記画像表示部は、前記箇所数を表わす表示を行うにあたって、前記確認部で確認された数を差し引いた箇所数を表わす表示を行うものであることを特徴とする請求項1記載の撮像装置。 A confirmation unit that receives an operation of confirming a location where a defect is detected by the correction unit in the image displayed on the image display unit;
The image display section, when performing display representing the number of the point, the imaging apparatus according to claim 1, characterized in that to perform a display representing the location number obtained by subtracting the number identified in the check unit.
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003382516A JP4808918B2 (en) | 2002-12-11 | 2003-11-12 | Imaging device |
DE60327003T DE60327003D1 (en) | 2002-12-11 | 2003-12-09 | Image correcting device and image pickup device |
EP06009674A EP1688883B1 (en) | 2002-12-11 | 2003-12-09 | Image correction apparatus and image pickup apparatus |
EP06009675A EP1688884B1 (en) | 2002-12-11 | 2003-12-09 | Image pickup apparatus |
DE60322328T DE60322328D1 (en) | 2002-12-11 | 2003-12-09 | Image correcting device and image pickup device |
DE60327004T DE60327004D1 (en) | 2002-12-11 | 2003-12-09 | Imaging device |
EP03028226A EP1429290B1 (en) | 2002-12-11 | 2003-12-09 | Image correction apparatus and image pickup apparatus |
US10/731,116 US20040114796A1 (en) | 2002-12-11 | 2003-12-10 | Image correction apparatus and image pickup apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002359679 | 2002-12-11 | ||
JP2002359679 | 2002-12-11 | ||
JP2003382516A JP4808918B2 (en) | 2002-12-11 | 2003-11-12 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004208279A JP2004208279A (en) | 2004-07-22 |
JP4808918B2 true JP4808918B2 (en) | 2011-11-02 |
Family
ID=32828579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003382516A Expired - Fee Related JP4808918B2 (en) | 2002-12-11 | 2003-11-12 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4808918B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7738015B2 (en) * | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
JP4265600B2 (en) | 2005-12-26 | 2009-05-20 | 船井電機株式会社 | Compound eye imaging device |
-
2003
- 2003-11-12 JP JP2003382516A patent/JP4808918B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004208279A (en) | 2004-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1429290B1 (en) | Image correction apparatus and image pickup apparatus | |
JP4671133B2 (en) | Image processing device | |
US7817915B2 (en) | Image taking system | |
JP4683339B2 (en) | Image trimming device | |
US7430369B2 (en) | Image capture apparatus and control method therefor | |
US8284264B2 (en) | Imaging apparatus, method, and program | |
JP4291408B2 (en) | Imaging device | |
JP4551839B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
US20080100721A1 (en) | Method of detecting specific object region and digital camera | |
JP2006025238A (en) | Imaging device | |
JP2005175684A (en) | Digital camera, and image acquisition method for digital camera | |
JP4697549B2 (en) | Image capturing apparatus and face detection method thereof | |
JP4658015B2 (en) | Digital camera and control method thereof | |
JP4173459B2 (en) | Digital camera | |
JP2003289468A (en) | Imaging apparatus | |
JP4717840B2 (en) | Imaging apparatus and control method thereof | |
JP4336186B2 (en) | Image correction apparatus and imaging apparatus | |
JP2007049408A (en) | Photographing device | |
JP4808918B2 (en) | Imaging device | |
JP4964992B2 (en) | Image capturing apparatus and image recording method thereof | |
JP2007074402A (en) | Display device, display operation device, processor, photographing device, and display method | |
KR101467871B1 (en) | Digital image processing apparatus comprising auto zooming fuction and the controlling method of the same | |
JP4241448B2 (en) | Digital camera | |
JP2005065079A (en) | Camera | |
JP2008219120A (en) | Image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060418 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090119 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090831 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090928 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20091016 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110818 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140826 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4808918 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |