JP2002010073A - Image processor and image processing method and recording medium - Google Patents
Image processor and image processing method and recording mediumInfo
- Publication number
- JP2002010073A JP2002010073A JP2000187511A JP2000187511A JP2002010073A JP 2002010073 A JP2002010073 A JP 2002010073A JP 2000187511 A JP2000187511 A JP 2000187511A JP 2000187511 A JP2000187511 A JP 2000187511A JP 2002010073 A JP2002010073 A JP 2002010073A
- Authority
- JP
- Japan
- Prior art keywords
- frequency distribution
- smoothing
- information
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000009826 distribution Methods 0.000 claims abstract description 149
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000003287 optical effect Effects 0.000 claims abstract description 37
- 238000009499 grossing Methods 0.000 claims description 104
- 238000012545 processing Methods 0.000 claims description 53
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 230000014509 gene expression Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 101100533652 Homo sapiens SLIRP gene Proteins 0.000 description 1
- 102100025491 SRA stem-loop-interacting RNA-binding protein, mitochondrial Human genes 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- XOOUIPVCVHRTMJ-UHFFFAOYSA-L zinc stearate Chemical compound [Zn+2].CCCCCCCCCCCCCCCCCC([O-])=O.CCCCCCCCCCCCCCCCCC([O-])=O XOOUIPVCVHRTMJ-UHFFFAOYSA-L 0.000 description 1
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、デジタルスチルカ
メラやスキャナなどによって入力された各種画像データ
に対し画像処理を行う画像処理装置および画像処理方法
および記録媒体に関する。[0001] 1. Field of the Invention [0002] The present invention relates to an image processing apparatus, an image processing method, and a recording medium for performing image processing on various image data input by a digital still camera, a scanner, or the like.
【０００２】[0002]
【従来の技術】従来よりデジタル画像に対する様々な処
理が行われている。例えば、彩度や色調の調整やコント
ラストの拡大などである。これらは、画像処理の知識を
もった専門的な操作者がパーソナルコンピュータを用い
てモニタ上で調整具合を確認しながら行うのが一般的で
あった。2. Description of the Related Art Conventionally, various processes have been performed on digital images. For example, adjustment of saturation and color tone, enlargement of contrast, and the like. These operations are generally performed by a professional operator having knowledge of image processing while confirming the adjustment on a monitor using a personal computer.
【０００３】最近、撮影画像の再生及び消去が即座に行
えることと、インターネットの普及とに伴って、デジタ
ルスチルカメラ（以下”デジタルカメラ”と記す）が急
速に普及した。また、デジタルカメラの普及により、画
像を専門的に取り扱っていないユーザの間にも撮影画像
を印刷またはプリントアウトする機会が増えている。[0003] Recently, digital still cameras (hereinafter referred to as "digital cameras") have rapidly become widespread along with the ability to immediately reproduce and delete photographed images and the spread of the Internet. Also, with the spread of digital cameras, opportunities for printing or printing out photographed images have been increasing among users who do not specialize in images.
【０００４】このような背景を反映し、デジタルカメラ
のユーザ層は従来型のアナログカメラの愛好家ではな
く、ほとんどがパーソナルコンピュータ等を使用する人
々である。そのため、カメラ本来の扱いには慣れておら
ず、逆光や暗い場所などの特殊な撮影条件では適切な露
光調節を行えていない。[0004] Reflecting such a background, the digital camera users are not lovers of conventional analog cameras but mostly people who use personal computers and the like. Therefore, the user is not accustomed to the original handling of the camera, and cannot perform appropriate exposure adjustment under special shooting conditions such as a backlight or a dark place.
【０００５】さらに、デジタルカメラのダイナミックレ
ンジは、銀塩フィルムのそれよりも狭く、ラチチュード
（適正露出からアンダ、オーバになってもその調子が崩
れない許容範囲）が狭い。現在、ほとんどのデジタルカ
メラでは自動的に露出調整が行われるが、上記のように
ラチチュードが狭いため、特殊な撮影条件では適切な微
調整が行われにくいどころか、画像処理によっては逆に
余分なノイズがのってしまうこともあり、満足な画像を
得られない。Further, the dynamic range of a digital camera is narrower than that of a silver halide film, and the latitude (an allowable range in which the tone is not lost even if the exposure is under or over from proper exposure) is narrow. Currently, most digital cameras automatically adjust the exposure.However, due to the narrow latitude as described above, it is difficult to make appropriate fine adjustments under special shooting conditions. In some cases, a satisfactory image cannot be obtained.
【０００６】このように撮影時での不適切な露光状態を
補うために画像処理ソフトやレタッチソフトなどで画像
を修正するのが一般的だが、撮影条件を指定するなど、
依然、人間が関与しなくてはならない。As described above, in order to compensate for an improper exposure state at the time of photographing, it is common to correct the image with image processing software, retouching software, or the like.
Still, humans must be involved.
【０００７】しかし最近では、撮影時、画像処理時、ま
たはプリント時に、撮影条件から自動的に露出調整を行
うための様々な技術が提案されている。それらの技術の
ほとんどは、画像データの輝度、及びＲＧＢ信号の頻度
分布から撮影条件を判断するものである。However, recently, various techniques have been proposed for automatically performing exposure adjustment based on photographing conditions during photographing, image processing, or printing. Most of these techniques determine the imaging conditions from the luminance of image data and the frequency distribution of RGB signals.
【０００８】[0008]
【発明が解決しようとする課題】特開平１０−２７１５
２４号には、デジタルカメラで撮影された画像が正確さ
に乏しく、非熟練者には困難であり、全階調にわたって
正しく修正されず、単なる色ずれ以外の要素を含んでい
る場合に、画像データに対して間引きなどして各色成分
の頻度分布を求め、分布間に類似性があるか否かを判断
し、類似性が低くなければ本来的に頻度分布から見い出
される特性は一致するものと判断して、オフセット修正
やコントラスト強調や明るさ修正によってずれを修正
し、これにより、色再現性の悪い画像であってもメリハ
リのある良好な画像としつつ、これらの作業を自動化す
る技術が示されている。Problems to be Solved by the Invention
No. 24 claims that images taken with a digital camera are inaccurate, difficult for unskilled people, not correctly corrected over all gradations, and contain elements other than just color shift. The frequency distribution of each color component is obtained by thinning the data, and it is determined whether or not there is a similarity between the distributions. If the similarity is not low, the characteristics originally found from the frequency distribution are the same. Judgment is made, and offset correction, contrast enhancement and brightness correction are used to correct the shift, and the technology that automates these tasks while maintaining a sharp and good image even for images with poor color reproduction is shown. Have been.
【０００９】特開平１０−２７１５２４号に示されてい
る技術では、撮影条件を判別するための有効な分布領域
を輝度値の最大値と最小値からある一律の割合（例えば
０．５％）だけ内側に入った両端としている。この方法
では、ダイナミックレンジ調整時などに生じる白点や黒
点等を取り除くことができるが、画像によっては、分布
の両端にあるデータは必ずしも取り除いて良い訳ではな
い。また、一律に両端のデータを切り捨てることは、頻
度分布固有の形状に対応しておらず、逆に不必要なデー
タを残してしまう恐れもある。In the technique disclosed in Japanese Patent Application Laid-Open No. Hei 10-271524, an effective distribution area for discriminating photographing conditions is determined by a uniform ratio (for example, 0.5%) from the maximum value and the minimum value of the luminance value. Both ends are inside. According to this method, white points and black points generated at the time of dynamic range adjustment or the like can be removed. However, depending on an image, data at both ends of the distribution may not always be removed. Also, uniformly truncating the data at both ends does not correspond to the shape unique to the frequency distribution, and may possibly leave unnecessary data.
【００１０】また、特開平１１−１５４２３５号には、
画像処理を行う際に利用される参照濃度値を適切に抽出
することで、画像の露出状態に関わらず適切な画像処理
が行われるようにするために、あらかじめ撮影条件のも
つ特徴的な濃度に対する頻度分布の形状をニューラルネ
ットワークを用いて学習させ、その形状との類似性を判
断させることによって、分布の有効な濃度範囲を求める
技術が示されている。[0010] Japanese Patent Application Laid-Open No. 11-154235 discloses that
By appropriately extracting the reference density value used when performing image processing, appropriate image processing is performed regardless of the exposure state of the image. A technique is disclosed in which the shape of a frequency distribution is learned using a neural network and the similarity to the shape is determined to determine an effective density range of the distribution.
【００１１】特開平１１−１５４２３５号に示されてい
る技術は、一律ではないが、やはり頻度分布の両端を切
り取る方式である。また、参照濃度域はあらかじめニュ
ーラルネットワークによって学習されたデータとの類似
性で決定するため、特開平１０−２７１５２４号に示さ
れている技術と同様に、頻度分布の任意の形状に完全に
対応しているとは言えない。The technique disclosed in Japanese Patent Application Laid-Open No. 11-154235 is not uniform, but also employs a method of cutting off both ends of a frequency distribution. Further, since the reference density range is determined based on the similarity with the data learned in advance by the neural network, the reference density range completely corresponds to an arbitrary shape of the frequency distribution similarly to the technique disclosed in Japanese Patent Application Laid-Open No. 10-271524. I can't say that.
【００１２】本発明は、デジタルカメラで撮影された画
像やスキャナで取り込まれた画像などの持つ光学情報の
頻度分布から、撮影条件や露光状態を適切に判断するこ
との可能な画像処理装置および画像処理方法および記録
媒体を提供することを目的としている。The present invention relates to an image processing apparatus and an image processing apparatus capable of appropriately judging a photographing condition and an exposure state from a frequency distribution of optical information such as an image photographed by a digital camera or an image captured by a scanner. It is an object to provide a processing method and a recording medium.
【００１３】[0013]
【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の発明は、多階調画像を構成する各画
素の明度情報あるいは濃度情報あるいは色度情報のうち
少なくとも１つの光学情報から撮影条件や露光状態を判
別するための情報を抽出する画像処理方法であって、前
記光学情報の頻度分布を求める工程と、前記頻度分布か
ら特異点を除去する工程と、前記特異点を除去した頻度
分布から、前記多階調画像の撮影条件や露光状態を判別
するための情報を抽出する工程とを有していることを特
徴としている。In order to achieve the above object, the invention according to claim 1 provides at least one of lightness information, density information and chromaticity information of each pixel constituting a multi-tone image. An image processing method for extracting information for determining a shooting condition or an exposure state from information, a step of obtaining a frequency distribution of the optical information, a step of removing a singular point from the frequency distribution, and Extracting the information for determining the photographing condition and the exposure state of the multi-tone image from the removed frequency distribution.
【００１４】また、請求項２記載の発明は、請求項１記
載の画像処理方法において、前記頻度分布からの特異点
の除去は、前記頻度分布に対し平滑化を施すことによっ
てなされることを特徴としている。According to a second aspect of the present invention, in the image processing method of the first aspect, the singular point is removed from the frequency distribution by performing smoothing on the frequency distribution. And
【００１５】また、請求項３記載の発明は、請求項２記
載の画像処理方法において、平滑化は、平滑化後の頻度
分布が満たすべき、全体的な平滑化を調節する定数と、
前記平滑化前の頻度分布と平滑化後の頻度分布との差の
大きさを個々に調節する定数とを用いて、平滑の度合い
を決定することによってなされることを特徴としてい
る。According to a third aspect of the present invention, in the image processing method according to the second aspect, the smoothing includes a constant for adjusting the overall smoothing that the frequency distribution after the smoothing should satisfy;
It is characterized in that the degree of smoothing is determined by using a constant for individually adjusting the magnitude of the difference between the frequency distribution before smoothing and the frequency distribution after smoothing.
【００１６】また、請求項４記載の発明は、多階調画像
を構成する各画素の明度情報あるいは濃度情報あるいは
色度情報のうち少なくとも１つの光学情報から撮影条件
や露光状態を判別するための特徴情報を抽出する画像処
理装置であって、前記多階調画像を入力する画像情報入
力手段と、画像情報入力手段で入力された多階調画像よ
り光学情報を得る光学情報入手手段と、光学情報入手手
段によって得られた光学情報の頻度分布を作成する頻度
分布作成手段と、頻度分布作成手段によって作成された
頻度分布から特異点を除去する特異点除去手段と、特異
点除去手段によって特異点が除去された頻度分布から、
前記多階調画像の撮影条件や露光状態を判別するための
情報を抽出する抽出手段とを備えていることを特徴とし
ている。According to a fourth aspect of the present invention, a photographing condition and an exposure state are determined from at least one of lightness information, density information and chromaticity information of each pixel constituting a multi-tone image. An image processing apparatus for extracting characteristic information, comprising: image information input means for inputting the multi-tone image; optical information obtaining means for obtaining optical information from the multi-tone image input by the image information input means; Frequency distribution creating means for creating a frequency distribution of optical information obtained by the information obtaining means, singular point removing means for removing singular points from the frequency distribution created by the frequency distribution creating means, and singular points by singular point removing means Is removed from the frequency distribution,
An extraction unit for extracting information for determining a photographing condition and an exposure state of the multi-tone image is provided.
【００１７】また、請求項５記載の発明は、請求項４記
載の画像処理装置において、特異点除去手段は、前記頻
度分布に対し平滑化処理を行うことによって、特異点を
除去することを特徴としている。According to a fifth aspect of the present invention, in the image processing apparatus of the fourth aspect, the singularity removing means removes the singularity by performing a smoothing process on the frequency distribution. And
【００１８】また、請求項６記載の発明は、請求項５記
載の画像処理装置において、特異点除去手段における平
滑化処理は、平滑化後の頻度分布の満たすべき、全体的
な平滑化を調節する定数と、平滑化前の頻度分布と平滑
化後の頻度分布との差の大きさを個々に調節する定数と
から、平滑化の度合いを決定することによってなされる
ことを特徴としている。According to a sixth aspect of the present invention, in the image processing apparatus of the fifth aspect, the smoothing processing in the singular point removing means adjusts the overall smoothing to be satisfied by the frequency distribution after the smoothing. This is characterized by determining the degree of smoothing from a constant to be performed and a constant for individually adjusting the difference between the frequency distribution before smoothing and the frequency distribution after smoothing.
【００１９】また、請求項７記載の発明は、多階調画像
を構成する各画素の明度情報あるいは濃度情報あるいは
色度情報のうち少なくとも１つの光学情報の頻度分布を
求める処理と、前記頻度分布から特異点を除去する処理
と、前記特異点を除去した頻度分布から、前記多階調画
像の撮影条件や露光状態を判別するための情報を抽出す
る処理とをコンピュータに実行させるためのプログラム
を記録したコンピュータ読取可能な記憶媒体である。Further, according to a seventh aspect of the present invention, there is provided a process for obtaining a frequency distribution of at least one optical information among brightness information, density information and chromaticity information of each pixel constituting a multi-tone image, A program for causing a computer to execute a process of removing a singular point from the image and a process of extracting information for determining a shooting condition and an exposure state of the multi-tone image from a frequency distribution in which the singular point is removed. The recorded computer-readable storage medium.
【００２０】[0020]
【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。本願の発明者は、次の観点から本発
明を完成させた。Embodiments of the present invention will be described below with reference to the drawings. The inventor of the present application has completed the present invention from the following viewpoints.
【００２１】すなわち、頻度分布の形状からその画像の
撮影条件を判断するには、分布のピークが輝度レベルの
いずれに存在していようとも、それが全体の形から見て
特異的だとみなされるものを除けば良く、重要なのは、
特異的なピークとそうでないピークとを見極める技術で
ある。また、特異的なピークは、その画像データを修正
処理する場合は必要であるが、撮影条件を判断する場合
は精細さを欠く可能性があり必要ない。In other words, in order to determine the photographing condition of the image from the shape of the frequency distribution, regardless of which of the luminance levels the peak of the distribution exists, it is considered to be peculiar from the overall shape. All you have to do is save the things, and the important thing is
This is a technique for identifying a specific peak and a peak that is not. Also, a specific peak is necessary when the image data is subjected to a correction process, but is not necessary when judging the photographing condition because there is a possibility that the definition may be lacking.
【００２２】また、ある輝度レベル範囲にピークが多数
存在し、かつ、すべてが画像に関わっている場合は、そ
れらのピークを連続的な塊、すなわち一つの山とみなせ
る方が撮影条件を判断するには好都合である。つまり、
特異的なピークは判断材料からはずし、分布の細やかな
部分よりも大まかな形状を見ることにより、後に行う撮
影条件固有の頻度分布との類似性評価が行いやすくな
る。また、一般的に画像の露光状態の悪さは撮影条件の
寄与が大きい。つまり、撮影条件を正確に知ることで、
高精細な画像処理の自動化が可能となる。If there are many peaks in a certain luminance level range and all of them are related to the image, the photographing condition is determined by considering those peaks as a continuous mass, that is, one peak. It is convenient. That is,
By removing the specific peak from the judgment material and seeing a rough shape rather than a fine portion of the distribution, it becomes easier to evaluate the similarity with the frequency distribution specific to the imaging condition performed later. In general, the poor exposure condition of an image largely depends on the shooting conditions. In other words, knowing the shooting conditions accurately
High-definition image processing can be automated.
【００２３】図１は本発明に係る画像処理装置の構成例
を示す図である。図１を参照すると、この画像処理装置
は、多階調画像を構成する各画素の明度情報あるいは濃
度情報あるいは色度情報のうち少なくとも１つの光学情
報から撮影条件や露光状態を判別するための特徴情報を
抽出するものであり、前記多階調画像を入力する画像情
報入力手段２００と、画像情報入力手段２００で入力さ
れた多階調画像を記憶する第１の画像情報記憶部２０１
と、第１の画像情報記憶部２０１に記憶された多階調画
像より光学情報を得る光学情報入手手段２０２と、光学
情報入手手段２０２によって得られた光学情報の頻度分
布を作成する頻度分布作成手段２０３と、頻度分布作成
手段２０３によって作成された頻度分布を記憶する第２
の画像情報記憶部２０４と、第２の画像情報記憶部２０
４に記憶された頻度分布から特異点を除去する特異点除
去手段２０５と、特異点除去手段２０５によって特異点
が除去された頻度分布から、前記多階調画像の撮影条件
や露光状態を判別するための情報を抽出する抽出手段２
０６とを備えている。FIG. 1 is a diagram showing a configuration example of an image processing apparatus according to the present invention. Referring to FIG. 1, the image processing apparatus has a feature for determining a shooting condition and an exposure state from at least one optical information among brightness information, density information, and chromaticity information of each pixel forming a multi-tone image. Image information input means 200 for inputting the multi-tone image, and a first image information storage unit 201 for storing the multi-tone image input by the image information input means 200
An optical information obtaining unit 202 for obtaining optical information from the multi-tone image stored in the first image information storage unit 201, and a frequency distribution generation for generating a frequency distribution of the optical information obtained by the optical information obtaining unit 202 Means 203 and a second memory for storing the frequency distribution created by the frequency distribution creating means 203.
Image information storage unit 204 and the second image information storage unit 20
4. The singular point removing means 205 for removing singular points from the frequency distribution stored in No. 4 and the frequency distribution from which the singular points have been removed by the singular point removing means 205 determine the photographing conditions and exposure state of the multi-tone image. Extraction means 2 for extracting information for
06.
【００２４】ここで、画像情報入力手段２００として
は、デジタルスチルカメラ、または、スキャナやビデオ
カメラなどを用いることができる。なお、以下では、説
明の便宜上、画像情報入力手段２００は、デジタルスチ
ルカメラ（以下、“デジタルカメラ”と称す）であると
する。Here, as the image information input means 200, a digital still camera, a scanner, a video camera, or the like can be used. In the following, for convenience of description, it is assumed that the image information input unit 200 is a digital still camera (hereinafter, referred to as a “digital camera”).
【００２５】また、光学情報入手手段２０２，頻度分布
作成手段２０３，特異点除去手段２０５，抽出手段２０
６は、パーソナルコンピュータなどのコンピュータで実
現できる。また、第１の画像情報記憶部２０１，第２の
画像情報記憶部２０４は、コンピュータのＲＡＭなどで
実現できる。The optical information obtaining means 202, the frequency distribution creating means 203, the singular point removing means 205, and the extracting means 20
6 can be realized by a computer such as a personal computer. Further, the first image information storage unit 201 and the second image information storage unit 204 can be realized by a RAM or the like of a computer.
【００２６】本発明は、デジタルカメラそのものやプリ
ンタコントローラに組み込まれる画像処理にも応用でき
るが、以下では、デジタルカメラで撮影した画像をパー
ソナルコンピュータ上で扱う場合について説明する。Although the present invention can be applied to image processing incorporated in a digital camera itself or a printer controller, a case where an image captured by a digital camera is handled on a personal computer will be described below.
【００２７】図２は多階調画像を構成する各画素の明度
情報あるいは濃度情報あるいは色度情報のうち少なくと
も１つの光学情報から撮影条件や露光状態を判別するた
めの情報を抽出する本発明の処理の一例を示すフローチ
ャートである。FIG. 2 is a block diagram of the present invention for extracting information for determining a photographing condition and an exposure state from at least one of lightness information, density information, and chromaticity information of each pixel constituting a multi-tone image. It is a flowchart which shows an example of a process.
【００２８】図２の処理例では、デジタルカメラによっ
て撮影した画像データを、専用ケーブルやフロッピディ
スク，スマートメディアなどを用いてコンピュータに取
り込み（ステップＳ１００）、光学情報を得る（ステッ
プＳ１０１）。In the processing example of FIG. 2, image data taken by a digital camera is taken into a computer using a dedicated cable, floppy disk, smart media, or the like (step S100), and optical information is obtained (step S101).
【００２９】ここで、撮影条件を知るためには、例えば
画像の明るさを示す成分の分布を得れば良く、ＣＩＥ１
９７６Ｌ＊ａ＊ｂ＊均等色空間での明度成分や、次式
（数１）で与えられる輝度成分等が適当である。Here, in order to know the photographing conditions, it is sufficient to obtain, for example, a distribution of components indicating the brightness of the image.
A lightness component in a 976L * a * b * uniform color space, a luminance component given by the following equation (Equation 1), and the like are appropriate.
【００３０】[0030]
【数１】 Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ## EQU1 ## Y = 0.299R + 0.587G + 0.114B
【００３１】なお、ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色
空間については既知の技術なので説明を省略し、以下で
は輝度成分を仮定して説明する。Since the CIE1976L * a * b * uniform color space is a known technique, a description thereof will be omitted, and the following description will be made assuming a luminance component.
【００３２】このように、ステップＳ１０１で光学情報
（例えば輝度成分）が得られると、次に、頻度分布（輝
度の頻度の分布）を得る（ステップＳ１０２）。頻度分
布は、全画素について求めてもよいが、特性の傾向を判
断することが目的であり、必ずしも全画素についての分
布を求める必要はない。つまり、間引き処理などを行
い、適度にサンプリングされた画像でも構わない。例え
ば、数１で変換された輝度成分のそれぞれ全階調レベル
（以下、単に“レベル”と称す）についてそのレベル値
ごとにカウントし、頻度分布Ｉ（ｕ）を求める。As described above, when optical information (for example, a luminance component) is obtained in step S101, a frequency distribution (distribution of luminance frequency) is obtained (step S102). The frequency distribution may be obtained for all pixels, but the purpose is to determine the tendency of the characteristic, and it is not always necessary to obtain the distribution for all pixels. That is, an image that has been subjected to a thinning process or the like and appropriately sampled may be used. For example, the frequency distribution I (u) is obtained by counting each level value of all the gradation levels (hereinafter, simply referred to as “levels”) of the luminance components converted by the equation (1).
【００３３】なお、光学情報からサンプリングを行い、
輝度成分を求め頻度分布を得る手順は、可能であれば同
時に行っても良い。It should be noted that sampling is performed from optical information,
The procedure of obtaining the luminance component and obtaining the frequency distribution may be performed simultaneously if possible.
【００３４】次に、頻度分布から特異的なスペクトル
（ピーク）、すなわち特異点を除去する（ステップＳ１
０３）。図３は特異点の除去の手順を説明するための図
である。なお、図３において、横軸は輝度レベルｕであ
り、縦軸は頻度Ｉ（ｕ）である。図３において、周辺の
頻度Ｉ（ｕ）に比べて突出している成分が特異点であ
る。Next, a specific spectrum (peak), that is, a specific point is removed from the frequency distribution (step S1).
03). FIG. 3 is a diagram for explaining a procedure for removing a singular point. In FIG. 3, the horizontal axis is the luminance level u, and the vertical axis is the frequency I (u). In FIG. 3, a component protruding from the surrounding frequency I (u) is a singular point.
【００３５】特異点は、画像情報入力手段２００の性能
により出力画像上に現われるノイズや、画像データ自体
が持つ例えばフレア光などの影響を含むため、これを分
離し、平滑化が施された太線部分の分布を平滑化後分布
Ｆ（ｕ）と呼ぶ。The singular point includes noise appearing on the output image due to the performance of the image information input means 200 and the influence of the image data itself such as flare light. The partial distribution is referred to as a smoothed distribution F (u).
【００３６】ここで、平滑化後分布Ｆ（ｕ）は、画像の
撮影条件や露光状態を表している。特殊な撮影条件に
は、逆光撮影，フラッシュ撮影，夜景撮影などがあり、
図４から図６は各撮影条件下での画像の特異点除去後の
頻度分布の特徴を示す図である。また、図７は露出不足
下の条件で撮影された画像の特異点除去前後の頻度分布
を示す図である。Here, the distribution F (u) after the smoothing represents the photographing condition and the exposure state of the image. Special shooting conditions include backlit shooting, flash shooting, night view shooting, etc.
FIG. 4 to FIG. 6 are diagrams showing the characteristics of the frequency distribution after removing the singular point of the image under each photographing condition. FIG. 7 is a diagram showing a frequency distribution before and after removal of a singular point of an image captured under the condition of underexposure.
【００３７】例えば、図４の逆光撮影の頻度分布では、
被写体を表す領域より高いレベル域に背景部があるた
め、高いレベル値でのピークが存在する。よって、平均
値＜中央値であり、中央値と標準偏差とがともに極端に
大きいのが特徴である。For example, in the backlight frequency distribution shown in FIG.
Since the background portion is in a higher level region than the region representing the subject, there is a peak at a high level value. Therefore, the characteristic is that the average value is smaller than the median value, and both the median value and the standard deviation are extremely large.
【００３８】また、図５のフラッシュ撮影の頻度分布
は、フラッシュが被写体に当たるため、分布が二極化す
る。つまり、標準偏差が大きく、この点は逆光と特徴が
似ているが、背景が暗いため、ピークは低いレベル値に
存在する。よって、平均値＞中央値である。The frequency distribution of flash photography in FIG. 5 is polarized because the flash hits the subject. That is, the standard deviation is large, and this point is similar in characteristics to backlight, but since the background is dark, the peak exists at a low level value. Therefore, the average value is larger than the median value.
【００３９】また、図６の夜景撮影は、暗いレベル値に
頻度が集中するため、中央値≒平均値でともに低く、標
準偏差も小さい。In the night view photographing shown in FIG. 6, since the frequency concentrates on the dark level value, the median / average value is low and the standard deviation is small.
【００４０】また、図７の露出不足の状態で撮影された
画像は、全体的に分布がレベルの低い方に片寄りがちで
はあるが、二極化はしないため、平均値＞中央値であ
り、標準偏差は逆光やフラッシュ撮影のそれほどは大き
くないのが特徴である。また、図７では、平滑化によっ
て分布が滑らかにされ、大まかな形が把握しやすい。Although the image taken under the underexposure condition shown in FIG. 7 tends to be biased toward the lower distribution level as a whole, the average value is larger than the median value because the image is not polarized. The feature is that the standard deviation is not so large in backlight or flash photography. Further, in FIG. 7, the distribution is smoothed by the smoothing, and the rough shape can be easily grasped.
【００４１】このようにして、ステップＳ１０３で特異
点を除去した後、撮影条件および露光状態の判別を行な
う（ステップＳ１０４）。After the singular point is removed in step S103, the photographing condition and the exposure state are determined (step S104).
【００４２】先ず、撮影条件を判別する手順を述べる。
例えば、平均値と中央値の絶対値、及び相対値、標準偏
差の４つの特徴値で、少なくとも４つの撮影条件を判別
できる。First, the procedure for determining the photographing conditions will be described.
For example, at least four photographing conditions can be determined from the four characteristic values of the absolute value of the average value and the median value, the relative value, and the standard deviation.
【００４３】すなわち、例えば、中央値にα１，α２
（但しα１＜α２）の２つの閾値を設け、標準偏差にβ
１，β２（但しβ１＜β２）の２つの閾値を設ける。That is, for example, the median values α1, α2
(However, two thresholds of α1 <α2) are set and the standard deviation is β
Two threshold values of 1 and β2 (where β1 <β2) are provided.
【００４４】但し、α１はフラッシュ撮影画像の頻度分
布の代表的な中央値、α２は逆光撮影画像の頻度分布の
代表的な中央値である。また、β１は夜景撮影画像の頻
度分布の代表的な標準偏差値（≒０）であり、β２は逆
光またはフラッシュ撮影画像の頻度分布の代表的な標準
偏差値である。これらの閾値を用いて、上記４つの撮影
条件は、それぞれ以下の条件を満たす。Here, α1 is a representative median of the frequency distribution of the flash photographed image, and α2 is a representative median of the frequency distribution of the backlight photographed image. Further, β1 is a typical standard deviation value (≒ 0) of the frequency distribution of the night view photographed image, and β2 is a typical standard deviation value of the frequency distribution of the backlight or flash photographed image. Using these thresholds, the above four shooting conditions satisfy the following conditions, respectively.
【００４５】すなわち、逆光撮影では、撮影条件は、次
式（数２）の条件を満たす。That is, in the backlight photographing, the photographing condition satisfies the condition of the following equation (Equation 2).
【００４６】[0046]
【数２】Ａｖｅ−Ｍｏｄ＜０， Ｍｏｄ≒α１ ，
ｓ．ｄ＞β２Ave-Mod <0, Mod ≒ α1,
s. d> β2
【００４７】また、フラッシュ撮影では、撮影条件は、
次式（数３）の条件を満たす。In flash photography, the photographing conditions are as follows:
The condition of the following equation (Equation 3) is satisfied.
【００４８】[0048]
【数３】Ａｖｅ−Ｍｏｄ＞０， Ｍｏｄ≒α１ ，
ｓ．ｄ＞β２Ave-Mod> 0, Mod ≒ α1,
s. d> β2
【００４９】また、夜景撮影では、撮影条件は、次式
（数４）の条件を満たす。In the night scene shooting, the shooting conditions satisfy the following equation (Equation 4).
【００５０】[0050]
【数４】Ａｖｅ−Ｍｏｄ＜α１（≒０）， Ｍｏｄ＜
α１（≒０）， ｓ．ｄ≒β１Ave-Mod <α1 (≒ 0), Mod <
α1 (≒ 0), s. d ≒ β1
【００５１】また、露出不足では、撮影条件は、次式
（数５）の条件を満たす。When the exposure is insufficient, the photographing condition satisfies the condition of the following equation (Equation 5).
【００５２】[0052]
【数５】Ａｖｅ−Ｍｏｄ＜０， α１≪Ｍｏｄ≪α
２， β１≪ｓ．ｄ≪β２Ave-Mod <0, α1≪Mod≪α
2, β1≪s. d≪β2
【００５３】なお、上記各式において、Ａｖｅは頻度分
布の平均値、Ｍｏｄは頻度分布の中央値、ｓ．ｄは頻度
分布の標準偏差である。In each of the above equations, Ave is the average value of the frequency distribution, Mod is the median of the frequency distribution, s. d is the standard deviation of the frequency distribution.
【００５４】また、撮影条件を判別する仕方として、撮
影条件を各々特徴付ける代表的なヒストグラムをデータ
ベース化するなどしてあらかじめ用意しておき、それら
と入力画像ヒストグラムとの類似度を調べる方法もあ
る。類似度は、相関係数を求めたり、数段階に分けた各
々のレベル内での平均値や中央値などで行列成分をと
り、内積を求める等の方法がある。このようにして撮影
条件を判別することができる。As a method of determining the photographing conditions, there is a method in which representative histograms characterizing the photographing conditions are prepared in advance in a database or the like, and the similarity between them and the input image histogram is checked. As the similarity, there is a method of obtaining a correlation coefficient, taking a matrix component by an average value or a median value in each level divided into several steps, and calculating an inner product. Thus, the photographing conditions can be determined.
【００５５】また、一般的に、後に行う画質向上のため
の画像処理では、コントラスト及び色調の調整やエッジ
強調などを行うが、撮影条件にあわせてそれらのパラメ
ータを決定すれば、自動化に伴う失敗が少なく、高精細
な処理が期待できる。In general, in image processing for improving image quality performed later, adjustment of contrast and color tone and edge emphasis are performed. However, if these parameters are determined according to shooting conditions, failures associated with automation may occur. And high-definition processing can be expected.
【００５６】上述の例では、説明の便宜上、光学情報に
は、数１の輝度値を用いたが、これのかわりに、ＣＩＥ
１９７６Ｌ＊ａ＊ｂ＊均等色空間の明度成分などでも良
い。また、ヒストグラムの類似性を４つの特徴量（特徴
値）から判別したが、特徴値の数や判別方法は、これに
限定されるものではない。また、上記以外の特殊な撮影
条件がいくつか考えられるが、そのいずれを用いても良
い。In the above-described example, for convenience of explanation, the luminance value of Expression 1 is used for the optical information.
A lightness component in a 1976L * a * b * uniform color space may be used. In addition, although the similarity of the histogram is determined from the four feature amounts (feature values), the number of feature values and the determination method are not limited thereto. Some special imaging conditions other than the above can be considered, and any of them may be used.
【００５７】いずれにせよ、本発明では、多階調画像の
光学情報の頻度分布を平滑化してから特徴量を抽出する
ことにより、撮影条件や露光状態をより高精細に判別す
ることができる。In any case, according to the present invention, the photographing condition and the exposure state can be determined with higher precision by extracting the characteristic amount after smoothing the frequency distribution of the optical information of the multi-tone image.
【００５８】このように、本発明において、頻度分布か
らの特異点の除去は、前記頻度分布に対し平滑化を施す
ことによってなされる。As described above, in the present invention, the singular point is removed from the frequency distribution by performing smoothing on the frequency distribution.
【００５９】すなわち、頻度分布からその特徴を抽出す
る祭、ゲイン調整など撮影条件以外の要因により分布の
形が乱れた場合、そのような特異点は排除されるべきで
ある。一方、分布の全体的なバランスに比べ、単数また
は複数のピークが与える影響が大きければ、それは特異
点とは判断されずに分布の特徴として残されなくてはな
らない。That is, when the shape of the distribution is disturbed due to factors other than the photographing conditions, such as a festival for extracting the feature from the frequency distribution, gain adjustment, and the like, such a singular point should be excluded. On the other hand, if the influence of one or more peaks is large compared to the overall balance of the distribution, it must be left as a characteristic of the distribution without being judged as a singular point.
【００６０】特異点を取り除く場合に、頻度分布Ｉ
（ｕ）に対して、経験上どの程度の強さの平滑化を行え
ば良いかがあらかじめ分かっている場合は、メディアン
フィルタ処理やウェーブレット平滑化などを行えば、短
い処理時間で良好な結果を得ることができる。When removing a singular point, the frequency distribution I
For (u), if it is known in advance how much smoothing should be performed, if median filter processing or wavelet smoothing is performed, good results can be obtained in a short processing time. Obtainable.
【００６１】メディアンフィルタによる平滑化は、次の
ようにしてなされる。すなわち、データ列：Ｘのｉ番目
の入力データ値ｘ（ｉ），（ｉ＝０，１，２．．．．ｎ
−１、ここでｎは入力データ数）に対し、フィルタの大
きさに当たるランクｒを指定すると、平滑化された値と
して、メディアン値（中央値）ｙiが次式（数６，数
７）のように算出される。The smoothing by the median filter is performed as follows. That is, the i-th input data value x (i), (i = 0, 1, 2,... N) of the data sequence: X
−1, where n is the number of input data, if a rank r corresponding to the size of the filter is specified, the median value (median value) y i is expressed as the smoothed value by the following equation (Equation 6, Equation 7). It is calculated as follows.
【００６２】[0062]
【数６】Ｊi＝｛ｘ（ｉ−ｒ），ｘ（ｉ−ｒ＋１），
…，ｘ（ｉ−１），ｘ（ｉ），ｘ（ｉ＋１），…，ｘ
（ｉ＋ｒ−１），ｘ（ｉ＋ｒ）｝J i = ｛x (ir), x (ir + 1),
..., x (i-1), x (i), x (i + 1), ..., x
(I + r-1), x (i + r)}
【００６３】[0063]
【数７】メディアン値＝ｙi＝Ｍｅｄｉａｎ（Ｊi），
（ｉ＝０，１，２，…，ｎ−１、ここでｎは入力データ
数）(7) Median value = y i = Median (J i ),
(I = 0, 1, 2,..., N-1, where n is the number of input data)
【００６４】但し、数６において、データ列：Ｘの範囲
外のデータはすべて０とする。数６，数７によってメデ
ィアンフィルタによる平滑化がなされる。However, in equation (6), all data outside the range of the data string: X are set to 0. Smoothing by the median filter is performed by Equations 6 and 7.
【００６５】また、ウェーブレット平滑化は、次のよう
になされる。なお、説明を簡単にするために、以下では
Ｈａａｒのウェーブレットを使用する。Ｈａａｒのウェ
ーブレットは次式（数８）で表される。The wavelet smoothing is performed as follows. For simplicity of description, a Haar wavelet will be used below. The Haar wavelet is represented by the following equation (Equation 8).
【００６６】[0066]
【数８】Ψh（ｘ）＝１， ０≦ｘ＜１／２ Ψh（ｘ）＝−１， １／２≦ｘ＜１ Ψh（ｘ）＝０， それ以外Equation 8] Ψ h (x) = 1, 0 ≦ x <1/2 Ψ h (x) = - 1, 1/2 ≦ x <1 Ψ h (x) = 0, otherwise
【００６７】さて、区間［０，１）で任意の連続関数ｆ
（ｘ）を区分的に定数である階段関数ｆJ（ｘ）で近似
する。また、区間［０，１）を２J個の小区間に分割
し、小区間をＩk（Ｊ）とする。ここで、小区間をＩ
k（Ｊ）は、次式（数９）によって与えられる。Now, in the interval [0, 1), an arbitrary continuous function f
(X) is approximated stepwise by a step function f J (x) which is a piecewise constant. Also, the section [0, 1) is divided into 2 J small sections, and the small section is defined as I k (J). Here, the small section is I
k (J) is given by the following equation (Equation 9).
【００６８】[0068]
【数９】Ｉk（Ｊ）＝［ｋ／２J，（ｋ＋１）／２J），
ｋ＝０，１，２，…，２J−１I k (J) = [k / 2 J , (k + 1) / 2 J ),
k = 0, 1, 2,..., 2 J −1
【００６９】近似関数は、小区間：Ｉk（Ｊ）で、定
数：ｃk（Ｊ）に等しいとすると、ウェーブレットの多
重解像度解析理論によって、関数ｆJ（ｘ）は次式（数
１０）で表される。Assuming that the approximate function is a small section: I k (J) and is equal to a constant: c k (J), the function f J (x) is given by the following equation (Equation 10) according to the wavelet multiresolution analysis theory. It is represented by
【００７０】[0070]
【数１０】 (Equation 10)
【００７１】ここで、ウェーブレットの分解アルゴリズ
ムにより次式（数１１）の関係を満たす。Here, the relation of the following equation (Equation 11) is satisfied by the wavelet decomposition algorithm.
【００７２】[0072]
【数１１】ｄk（ｊ−１）＝（１／２）・（ｃ2k（ｊ）
＋ｃ2k+1（ｊ）） ｃk（ｊ−１）＝（１／２）・（ｃ2k（ｊ）−ｃ
2k+1（ｊ））D k (j−1) = (ｊ) · (c 2k (j)
+ C 2k + 1 (j)) c k (j−1) = (1/2) · (c 2k (j) −c
2k + 1 (j))
【００７３】例えば、図８には、平滑化前の頻度分布Ｉ
（ｕ）と平滑化後の頻度分布Ｆ１（ｕ）が示されてお
り、また、図９には、Ｉ（ｕ）とＦ１（ｕ）とは異なる
平滑化の強さで平滑化した平滑化後の頻度分布Ｆ２
（ｕ）が示されている。ここで、Ｆ１（ｕ），Ｆ２
（ｕ）は、ともにメディアンフィルタを使用している
が、フィルタの大きさは、Ｆ１（ｕ）が“９”であり、
Ｆ２（ｕ）は“３”である。For example, FIG. 8 shows a frequency distribution I before smoothing.
(U) and the frequency distribution F1 (u) after smoothing are shown, and FIG. 9 shows smoothing performed by smoothing with different smoothing strengths from I (u) and F1 (u). Later frequency distribution F2
(U) is shown. Here, F1 (u), F2
(U) uses a median filter, but the size of the filter is such that F1 (u) is "9",
F2 (u) is "3".
【００７４】図８，図９を比べればわかるように、図９
では平滑化が行えていない。すなわち、メディアンフィ
ルタではフィルタの大きさに依存して平滑化の強さが決
まるため、図９のように平滑化がうまくできない場合も
ある。しかし、取り除く対象のノイズが明確で、あらか
じめ適切な平滑化の強さが分かっていれば、短時間で行
える処理のため大変有効な方法である。同様のことはウ
ェーブレット平滑化にも言える。As can be seen by comparing FIGS. 8 and 9, FIG.
Does not perform smoothing. That is, in the median filter, the smoothing strength is determined depending on the size of the filter, and thus the smoothing may not be performed well as shown in FIG. However, if the noise to be removed is clear and the appropriate level of smoothing is known in advance, this is a very effective method because it can be performed in a short time. The same can be said for wavelet smoothing.
【００７５】ここで、平滑化の方法として、メディアン
フィルタやＨａａｒのウェーブレット平滑化を挙げた
が、平滑化の強さを調節できる方法であれば、これ以外
の方法を用いることもできる。いずれにせよ、本発明で
は、頻度分布Ｉ（ｕ）から特異点を取り除くのに、適切
な平滑化処理を行う。Here, the median filter and the wavelet smoothing of Haar are mentioned as the smoothing method, but any other method can be used as long as the smoothing strength can be adjusted. In any case, in the present invention, an appropriate smoothing process is performed to remove a singular point from the frequency distribution I (u).
【００７６】頻度分布に対し平滑化を施すことによって
頻度分布から特異点を除去する方法は、頻度分布：Ｉ
（ｕ）に対する適切な平滑化の強さがあらかじめ分かっ
ている場合には有効な方法であったが、分からない場合
は何らかの判定条件を設け、平滑化の強さを決定しなく
てはならない。A method of removing a singular point from a frequency distribution by performing smoothing on the frequency distribution is as follows.
This is an effective method when the appropriate smoothing strength for (u) is known in advance, but if it is not known, some determination condition must be provided to determine the smoothing strength.
【００７７】そこで、本発明は、このような場合に、平
滑化後の頻度分布が満たすべき、全体的な平滑化を調節
する定数と、平滑化前の頻度分布と平滑化後の頻度分布
との差の大きさを個々に調節する定数とを用いて、平滑
の度合いを決定することによって、平滑化を行なう。Therefore, in such a case, the present invention provides a constant for adjusting the overall smoothing, which should be satisfied by the frequency distribution after smoothing, a frequency distribution before smoothing and a frequency distribution after smoothing. Smoothing is performed by determining the degree of smoothing using a constant that individually adjusts the magnitude of the difference.
【００７８】ここで、平滑化手法としては、Ｒｅｉｎｓ
ｃｈ Ｃ．Ｈ．らの提案している３次スプライン関数を
用いた平滑化のアルゴリズムを使用することができる。
なお、このアルゴリズムの詳細は、文献「Reinsch C.
H.:Smoothing by Spline Functions, Numerische Mathe
matik, vol 10, p177-183, 1967」に示されている。Here, as the smoothing method, Reins
ch C.I. H. An algorithm for smoothing using a cubic spline function proposed by the authors can be used.
The details of this algorithm are described in the document `` Reinsch C.
H.:Smoothing by Spline Functions, Numerische Mathe
matik, vol 10, p177-183, 1967 ".
【００７９】平滑化のアルゴリズムを以下に説明する。
なお、説明の便宜上、輝度レベルをｘi、頻度分布を
ｙi、平滑化後分布であるスプライン関数分布（以下、
予測値と呼ぶ）をｆ（ｘi）とする。The algorithm for smoothing will be described below.
For convenience of explanation, the luminance level is x i , the frequency distribution is y i , and a spline function distribution (hereinafter, referred to as a smoothed distribution).
F (x i ).
【００８０】まず、ｘi，ｙi，ｉ＝０，１，２，…，ｎ
なるデータ（真値）を与える。但し、ｘ0＜ｘ1＜…＜ｘ
nである。また、入力データ数（すなわち、輝度レベル
数）をＮとすると、ｎ＝Ｎ−１である。First, x i , y i , i = 0, 1, 2,..., N
Data (true value). Where x 0 <x 1 <... <x
n . If the number of input data (that is, the number of luminance levels) is N, then n = N-1.
【００８１】次に、次式（数１２）のような予測式（３
次の予測式）を設定する。Next, a prediction equation (3) as shown in the following equation (Equation 12) is used.
Set the following prediction formula).
【００８２】[0082]
【数１２】ｆ（ｘ）＝ａi＋ｂi（ｘ−ｘi）＋ｃi（ｘ−
ｘi）2＋ｄi（ｘ−ｘi）3 但し、ｘi≦ｘ＜ｘi+1 F (x) = a i + b i (x−x i ) + c i (x−
x i ) 2 + d i (x−x i ) 3 where x i ≦ x <x i + 1
【００８３】スプライン平滑化法で求めたいのは、数１
２のｆ（ｘ）である。すなわち、全てのｉ（ｉ＝0，
１，２，…，ｎ）についてのａi，ｂi，ｃi，ｄiが求ま
れば良い。このため、予測式ｆ（ｘ）が満たすべき境界
条件を設定する。第１に、予測式ｆ（ｘ）は３次関数で
あるので、４次の微分係数が０でなくてはならない。第
２に、節点で予測式ｆ（ｘ）が滑らかにつながるため
に、１次，２次，３次の微分係数が節点近傍で満たすべ
き条件を設定する。第３に、端点での条件を設定する。What is desired by the spline smoothing method is:
2 is f (x). That is, all i (i = 0,
It is sufficient that a i , b i , c i , and d i for 1, 2,..., N) are obtained. Therefore, a boundary condition to be satisfied by the prediction formula f (x) is set. First, since the prediction equation f (x) is a cubic function, the fourth-order differential coefficient must be zero. Second, in order for the prediction formula f (x) to be smoothly connected at the node, a condition is set in which the first, second, and third order differential coefficients should be satisfied near the node. Third, conditions at the end points are set.
【００８４】先ず、４次の微分係数が０の条件は、次式
（数１３）によって与えられる。なお、ｆ4（ｘ）の
“４”は４階微分を意味している。First, the condition that the fourth-order differential coefficient is 0 is given by the following equation (Equation 13). Note that “4” of f 4 (x) means the fourth derivative.
【００８５】[0085]
【数１３】ｆ4（ｘ）＝０， ｘi＜ｘ＜ｘi+1，ｉ＝
０，１，２，…，（ｎ−１）## EQU13 ## f 4 (x) = 0, x i <x <x i + 1 , i =
0, 1, 2, ..., (n-1)
【００８６】また、節点の微分係数の条件は、次式（数
１４）によって与えられる。The condition of the differential coefficient of the node is given by the following equation (Equation 14).
【００８７】[0087]
【数１４】 [Equation 14]
【００８８】数１４において、ｆk（ｘ）の“ｋ”はｋ
回微分を意味している。また、ｐはラグラジュアンパラ
メータである。また、δｙiは個々の節点における真値
に対する平滑化の強さを指定するパラメータである。In Equation 14, “k” of f k (x) is k
Means differential. P is a Lagrangian parameter. Δy i is a parameter for specifying the level of smoothing of the true value at each node.
【００８９】また、端点の微分係数の条件は、次式（数
１５）によって与えられる。The condition of the differential coefficient at the end point is given by the following equation (Equation 15).
【００９０】[0090]
【数１５】 (Equation 15)
【００９１】次に、次式（数１６）により、平滑化の強
さを設定する。これを真値との誤差の最小条件と呼ぶ。Next, the smoothing strength is set by the following equation (Equation 16). This is called the minimum condition of the error from the true value.
【００９２】[0092]
【数１６】 (Equation 16)
【００９３】ここで、Ｓは予測関数の全体的な平滑化の
強さを指定するパラメータである。Here, S is a parameter for specifying the overall smoothing strength of the prediction function.
【００９４】数１４，数１６におけるパラメータＳ及び
δｙiの指定についての推奨値は、例えば次のようなも
のである。すなわち、入力データ数がＮの時、パラメー
タδｙiを次式（数１７）のように指定する。The recommended values for designating the parameters S and δy i in Equations 14 and 16 are, for example, as follows. That is, when the number of input data is N, the parameter δy i is specified as in the following equation (Equation 17).
【００９５】[0095]
【数１７】δｙi＝ｓ．ｄ（ｙi）／２## EQU17 ## δy i = s. d (y i ) / 2
【００９６】ここで、ｓ．ｄ（ｙi）は、ｙiの標準偏差
（分散値）である。δｙiを数１７のように指定すると
き、パラメータＳを次式（数１８）の範囲に設定する。Here, s. d (y i ) is the standard deviation (variance) of y i . When δy i is specified as in Equation 17, the parameter S is set in the range of the following Equation (Equation 18).
【００９７】[0097]
【数１８】Ｎ−（２Ｎ）1/2≦Ｓ≦Ｎ＋（２Ｎ）1/2 [Expression 18] N− (2N) 1/2 ≦ S ≦ N + (2N) 1/2
【００９８】このように、入力データ数がＮのとき、パ
ラメータδｙiを数１７により指定すると、パラメータ
Ｓを数１８の範囲に設定すれば、真値に対して良くフィ
ッティングする。ここで、Ｓが大きいと直線近似に近付
き、Ｓが小さいと真値に近付く。As described above, when the number of input data is N, if the parameter δy i is specified by Expression 17, if the parameter S is set in the range of Expression 18, a good fit can be made to the true value. Here, if S is large, it approaches linear approximation, and if S is small, it approaches true value.
【００９９】数１２の予測式ｆ（ｘ）は、具体的には、
次のように算出される。すなわち、 先ず、直線ｘi，ｙi（ｉ＝０，１，２，…，ｎ）に
対し、平滑化関数のフィッティングの度合いを指定す
る。つまり、数１７，数１８のように、δｙi，Ｓを与
える。 次に、ｐ＝０にする。 数１３〜数１５により、ａi，ｂi，ｃi，ｄiを求め
る。 ａi，ｂi，ｃi，ｄiから、ｆ（ｘ）を求める。 数１６の左辺Ｆ（ｐ）を計算し、最小条件を満たす
か否か（数１６を満たすか否か）、すなわち、真値との
フィッティング度合いが良いか否かを調べる。 この結果、数１６の左辺Ｆ（ｐ）がＳよりも大き
く、最小条件を満たさなかった場合、次式（数１９）に
より、ｐの新しい値を求める（ｐを次式によりインクリ
メントする）。The prediction equation f (x) of Equation 12 is specifically expressed as
It is calculated as follows. That is, first, the degree of fitting of the smoothing function to the straight lines x i , y i (i = 0, 1, 2,..., N) is specified. That is, δy i and S are given as in Expressions 17 and 18. Next, p = 0 is set. A i , b i , c i , and d i are obtained from Expressions 13 to 15. f (x) is obtained from a i , b i , c i , and d i . The left side F (p) of Equation 16 is calculated to check whether the minimum condition is satisfied (whether Equation 16 is satisfied), that is, whether the degree of fitting with the true value is good. As a result, when the left side F (p) of Equation 16 is larger than S and does not satisfy the minimum condition, a new value of p is obtained by the following equation (Equation 19) (p is incremented by the following equation).
【０１００】[0100]
【数１９】ｐ＝ｐ−〔（Ｆ（ｐ）−Ｓ1/2）／（ｄＦ
（ｐ）／ｄｐ）P = p-[(F (p) -S 1/2 ) / (dF
(P) / dp)
【０１０１】このようにして、新しいｐが求まったら、
に戻り、で最小条件を満たすまで、〜を繰り返
す。最小条件が満たされると、そのときのａi，ｂi，ｃ
i，ｄiをのｆ（ｘ）の係数に決定し、これにより、ｆ
（ｘ）が平滑化関数として求められる。Thus, when a new p is found,
Return to and repeat ~ until the minimum condition is satisfied. If the minimum condition is satisfied, then a i , b i , c
i and d i are determined to be the coefficients of f (x), whereby f
(X) is obtained as a smoothing function.
【０１０２】ここで、Ｆ（ｐ）は数１６の左辺であり、
ｐ＝０の時は直線近似となり、ｐ≧０ の時は３次のス
プライン近似となる。Here, F (p) is the left side of Expression 16, and
When p = 0, linear approximation is performed, and when p ≧ 0, cubic spline approximation is performed.
【０１０３】以上では、３次スプライン関数を用いた平
滑化のアルゴリズムの一例を述べたが、数１６の最小条
件のように、判定条件を設けて平滑化を行う方法であれ
ば、上記の例以外のアルゴリズムを用いることもでき
る。いずれにせよ、適切な平滑化の強さが分からない場
合に、平滑化の強さを決定した後に平滑化を行う方法で
あれば良い。In the above, an example of the smoothing algorithm using the cubic spline function has been described. However, if the smoothing is performed by providing a judgment condition such as the minimum condition of Expression 16, the above-described example is used. Other algorithms can also be used. In any case, if an appropriate level of smoothing is not known, any method may be used as long as the method determines the level of smoothing and then performs smoothing.
【０１０４】このように、図１の画像評価装置では、次
のような処理がなされる。As described above, the following processing is performed in the image evaluation apparatus of FIG.
【０１０５】すなわち、デジタルカメラなどの画像情報
入力手段２００で画像データを入力すると、画像情報入
力手段２００によって入力された画像データは第１の画
像情報記憶部２０１に記憶される。That is, when image data is input by the image information input means 200 such as a digital camera, the image data input by the image information input means 200 is stored in the first image information storage unit 201.
【０１０６】次に、入力された画像データは、光学情報
入手手段２０２により第１の画像情報記憶部２０１から
読取られ、適当に間引き処理が行われて、数１で表され
る輝度値やＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色空間など
の所定の表色系に変換され、光学情報として算出され
る。Next, the input image data is read from the first image information storage unit 201 by the optical information obtaining means 202, and is appropriately thinned out to obtain the luminance value represented by the equation (1) and the CIE1976L. The image data is converted into a predetermined color system such as * a * b * uniform color space and calculated as optical information.
【０１０７】次に、頻度分布作成手段２０３により各階
調レベルごとに度数がカウントされて、頻度分布が作成
され、第２の画像情報記憶部２０４に記憶される。Next, the frequency is created for each gradation level by the frequency distribution creating means 203 to create a frequency distribution, which is stored in the second image information storage section 204.
【０１０８】次に、特異点除去手段２０５により第２の
画像情報記憶部２０４から頻度分布が読み出され、特異
的なスペクトルの除去が行われ、平滑化後分布Ｆ（ｕ）
が算出される。Next, the frequency distribution is read out from the second image information storage unit 204 by the singular point removing means 205, the specific spectrum is removed, and the smoothed distribution F (u) is removed.
Is calculated.
【０１０９】次に、抽出手段２０６により撮影条件が判
断される。例えば、前述のように、平均値と中央値の絶
対値、及び相対値、標準偏差の４つの特徴値と数２〜数
５を使い、撮影条件が判別される。Next, the photographing conditions are determined by the extracting means 206. For example, as described above, the photographing conditions are determined using the four characteristic values of the average value, the absolute value of the median value, the relative value, and the standard deviation, and Equations 2 to 5.
【０１１０】なお、撮影条件を各々特徴付ける代表的な
ヒストグラムと平滑化後分布ヒストグラムとの類似度を
相関係数などで調べる方法もある。It is to be noted that there is also a method of examining the similarity between a representative histogram characterizing each photographing condition and the distribution histogram after smoothing by using a correlation coefficient or the like.
【０１１１】また、一般的に、後に行う画質向上のため
の画像処理では、コントラスト及び色調の調整やエッジ
強調などを行うが、撮影条件にあわせてそれらのパラメ
ータを決定する手順を設ければ、自動化に伴う失敗が少
なく、高精細な処理が期待できる。In general, in image processing for improving image quality performed later, adjustment of contrast and color tone, edge enhancement, and the like are performed. However, if a procedure for determining those parameters according to shooting conditions is provided, There are few failures associated with automation, and high-definition processing can be expected.
【０１１２】上述の例では、説明の便宜上、光学情報に
は、数１の輝度値を用いたが、ＣＩＥ１９７６Ｌ＊ａ＊
ｂ＊均等色空間の明度成分などを用いても良い。また、
ヒストグラムの類似性判別方法には種々のものが考えら
れるが、そのいずれを用いても良い。また、上記以外に
も特殊的な撮影条件がいくつか考えられるが、そのいず
れについて調べても良い。In the above-described example, for convenience of explanation, the luminance value of Equation 1 is used for the optical information, but CIE1976L * a *
b * A lightness component in a uniform color space may be used. Also,
There are various methods for determining the similarity of histograms, and any of them may be used. In addition, some special shooting conditions other than the above can be considered, and any of them may be checked.
【０１１３】いずれにせよ、多階調画像の光学情報の頻
度分布を平滑化してから特徴量を抽出することにより、
撮影条件や露光状態をより高精細に判別することができ
る。In any case, the frequency distribution of the optical information of the multi-tone image is smoothed, and then the feature amount is extracted.
The photographing condition and the exposure state can be determined with higher definition.
【０１１４】図１０は特異点除去手段２０５の処理概要
を示す図である。FIG. 10 is a diagram showing an outline of the processing of the singular point removing means 205.
【０１１５】図１０の例では、特異点除去手段２０５
は、平滑化前の頻度分布（第２の画像情報記憶部２０４
に記憶されている頻度分布）に対して適切な平滑化処理
を行い、平滑化後分布を算出する。例えば、頻度分布に
対しどの程度の強さの平滑化処理が適切かがあらかじめ
分かっている場合は、メディアンフィルタ処理やウェー
ブレット平滑化処理などを行えば、短い処理時間で良好
な結果を得ることができる。In the example of FIG. 10, the singular point removing means 205
Is the frequency distribution before smoothing (the second image information storage unit 204
Is performed on the frequency distribution stored in the..., And a distribution after the smoothing is calculated. For example, if it is known in advance how much smoothing processing is appropriate for the frequency distribution, a good result can be obtained in a short processing time by performing median filter processing or wavelet smoothing processing. it can.
【０１１６】具体的に、図１０の処理例では、特異点除
去手段２０５には、メディアンフィルタの大きさを表す
定数ｅがあらかじめ記憶されている。この場合、特異点
除去手段２０５は、第２の画像情報記憶部２０４から頻
度分布を読み取ると、予め記憶されている係数ｅを用い
て、頻度分布の平滑化処理としてメディアンフィルタ処
理を行ない、平滑化後成分を算出する。More specifically, in the processing example of FIG. 10, the singular point removing means 205 stores in advance a constant e representing the size of the median filter. In this case, when reading the frequency distribution from the second image information storage unit 204, the singular point removing unit 205 performs a median filter process as a frequency distribution smoothing process using the coefficient e stored in advance, and Calculate the post-conversion component.
【０１１７】上述の例では、平滑化処理の一例として、
メディアンフィルタ処理やウェーブレット平滑化処理を
挙げたが、平滑化の強さを調節できる処理であれば、メ
ディアンフィルタ処理やウェーブレット平滑化処理以外
のものを用いることもできる。In the above example, as an example of the smoothing process,
Although the median filter processing and the wavelet smoothing processing have been described, any processing other than the median filter processing or the wavelet smoothing processing can be used as long as the processing can adjust the strength of the smoothing.
【０１１８】いずれにせよ、頻度分布Ｉ（ｕ）から特異
点を取り除くのに、適切な平滑化処理を行うことができ
る。In any case, an appropriate smoothing process can be performed to remove a singular point from the frequency distribution I (u).
【０１１９】具体的に、平滑化は、平滑化後の頻度分布
が満たすべき、全体的な平滑化を調節する定数と、平滑
化前の頻度分布と平滑化後の頻度分布との差の大きさを
個々に調節する定数とを用いて、平滑の度合いを決定す
ることによってなされる。More specifically, the smoothing is performed by adjusting a constant for adjusting the overall smoothing, which should be satisfied by the frequency distribution after the smoothing, and a difference between the frequency distribution before the smoothing and the frequency distribution after the smoothing. This is done by determining the degree of smoothness using a constant that individually adjusts the degree of smoothness.
【０１２０】図１１は平滑化処理の一例を示すフローチ
ャートである。図１１を参照すると、第２の画像情報記
憶部２０４には、輝度レベル：ｘi、頻度分布：ｙi、入
力データ数（すなわち、輝度レベル数）：Ｎが記憶され
ている。この場合、ステップＳ４０１では、ｐおよびａ
i，ｂi，ｃi，ｄi（ｉ＝０，１，２，…，ｎ）を初期化
する。すなわち、ｐ＝０、ａi＝ｂi＝ｃi＝ｄi＝０とす
る。FIG. 11 is a flowchart showing an example of the smoothing process. Referring to FIG. 11, the second image information storage unit 204 stores a luminance level: x i , a frequency distribution: y i , and the number of input data (that is, the number of luminance levels): N. In this case, in step S401, p and a
Initialize i , b i , c i , d i (i = 0, 1, 2,..., n). That is, the p = 0, a i = b i = c i = d i = 0.
【０１２１】次いで、ステップＳ４０２では、頻度分
布：（ｘi，ｙi）と入力データ数：Ｎとにより、数１
３，数１４，数１５を満たすａi，ｂi，ｃi，ｄi（ｉ＝
０，１，２，…，ｎ）を決定する。Next, in step S402, the frequency distribution: (x i , y i ) and the number of input data: N are used to calculate the number 1
3, number 14, a i satisfying number 15, b i, c i, d i (i =
0, 1, 2,..., N).
【０１２２】次いで、ステップＳ４０３では、あらかじ
め指定した定数δｙi，ｉ＝０，１，２，…，ｎ（ｎ＝
Ｎ−１），Ｓを読み出し、ステップＳ４０４で数１６の
左辺(＝Ｆ(ｐ)）を算出し、ステップＳ４０５では、数
１６の条件（最小条件）を満たすか否かを判定する。Next, in step S403, constants δy i , i = 0, 1, 2,..., N (n =
N-1) and S are read, the left side (= F (p)) of Equation 16 is calculated in Step S404, and in Step S405, it is determined whether or not the condition of Equation 16 (minimum condition) is satisfied.
【０１２３】この判定の結果、数１６の条件（最小条
件）を満たしていなければ、ステップＳ４０６に進み、
ステップＳ４０６では、ｐを数１９に従ってインクリメ
ントし、ステップＳ４０４に戻る。これに対し、ステッ
プＳ４０５の判定の結果、数１６の条件（最小条件）を
満たしていれば、ステップＳ４０７に進み、ステップＳ
４０７では、数１２に従って予測値ｆ（ｘi）、すなわ
ち平滑化後分布を算出する。If the result of this determination is that the condition (minimum condition) of Equation 16 is not satisfied, the flow advances to step S406, and
In step S406, p is incremented according to equation 19, and the process returns to step S404. On the other hand, as a result of the determination in step S405, if the condition (minimum condition) of Expression 16 is satisfied, the process proceeds to step S407 and proceeds to step S407.
In 407, the predicted value f (x i ), that is, the distribution after smoothing, is calculated according to Equation 12.
【０１２４】図１２は図１の画像処理装置のハードウェ
ア構成例を示す図である。図１２を参照すると、この画
像処理装置は、例えばワークステーションやパーソナル
コンピュータ等で実現され、全体を制御するＣＰＵ２１
と、ＣＰＵ２１の制御プログラム等が記憶されているＲ
ＯＭ２２と、ＣＰＵ２１のワークエリア等として使用さ
れるＲＡＭ２３と、ハードディスク２４と、画像情報を
入力する画像情報入力手段（デジタルカメラやスキャ
ナ，ビデオカメラなど）２００とを有している。FIG. 12 is a diagram showing an example of a hardware configuration of the image processing apparatus of FIG. Referring to FIG. 12, this image processing apparatus is realized by, for example, a workstation or a personal computer, and controls a CPU 21 that controls the whole.
And R in which a control program of the CPU 21 and the like are stored.
It has an OM 22, a RAM 23 used as a work area for the CPU 21, a hard disk 24, and image information input means (digital camera, scanner, video camera, etc.) 200 for inputting image information.
【０１２５】ここで、ＣＰＵ２１は、図１の光学情報入
手手段２０２，頻度分布作成手段２０３，特異点除去手
段２０５，抽出手段２０６の機能を有している。Here, the CPU 21 has the functions of the optical information obtaining means 202, the frequency distribution creating means 203, the singular point removing means 205, and the extracting means 206 of FIG.
【０１２６】なお、ＣＰＵ２１におけるこのような光学
情報入手手段２０２，頻度分布作成手段２０３，特異点
除去手段２０５，抽出手段２０６等としての機能は、例
えばソフトウェアパッケージ(具体的には、ＣＤ−ＲＯ
Ｍ等の情報記録媒体)の形で提供することができ、この
ため、図１２の例では、情報記録媒体３０がセットさせ
るとき、これを駆動する媒体駆動装置３１が設けられて
いる。The functions of the CPU 21 such as the optical information obtaining means 202, the frequency distribution creating means 203, the singular point removing means 205, and the extracting means 206 are, for example, software packages (specifically, CD-ROs).
(Information recording medium such as M) can be provided. For this reason, in the example of FIG. 12, when the information recording medium 30 is set, a medium driving device 31 that drives the information recording medium 30 is provided.
【０１２７】換言すれば、本発明の画像処理装置は、デ
ジタルカメラ，ディスプレイ等を備えた汎用の計算機シ
ステムにＣＤ−ＲＯＭ等の情報記録媒体に記録されたプ
ログラムを読み込ませて、この汎用計算機システムのマ
イクロプロセッサに画像処理を実行させる装置構成にお
いても実施することが可能である。この場合、本発明の
画像処理を実行するためのプログラム(すなわち、ハー
ドウェアシステムで用いられるプログラム)は、媒体に
記録された状態で提供される。プログラムなどが記録さ
れる情報記録媒体としては、ＣＤ−ＲＯＭに限られるも
のではなく、ＲＯＭ，ＲＡＭ，フレキシブルディスク，
メモリカード等が用いられても良い。媒体に記録された
プログラムは、ハードウェアシステムに組み込まれてい
る記憶装置、例えばハードディスク装置にインストール
されることにより、このプログラムを実行して、本発明
の画像処理機能を実現することができる。In other words, the image processing apparatus of the present invention causes a general-purpose computer system having a digital camera, a display, and the like to read a program recorded on an information recording medium such as a CD-ROM, and It is also possible to implement the present invention in an apparatus configuration in which a microprocessor executes image processing. In this case, the program for executing the image processing of the present invention (that is, the program used in the hardware system) is provided in a state recorded on a medium. Information recording media on which programs and the like are recorded are not limited to CD-ROMs, but include ROMs, RAMs, flexible disks,
A memory card or the like may be used. The program recorded on the medium is installed in a storage device incorporated in the hardware system, for example, a hard disk device, so that the program can be executed to realize the image processing function of the present invention.
【０１２８】また、本発明の画像処理機能を実現するた
めのプログラムは、媒体の形で提供されるのみならず、
通信によって(例えばサーバによって)提供されるもので
あっても良い。The program for realizing the image processing function of the present invention is provided not only in the form of a medium but also in the form of a medium.
It may be provided by communication (for example, by a server).
【０１２９】[0129]
【発明の効果】以上に説明したように、請求項１，請求
項４，請求項７記載の発明によれば、多階調画像を構成
する各画素の明度情報あるいは濃度情報あるいは色度情
報のうち少なくとも１つの光学情報から撮影条件や露光
状態を判別するための情報を抽出するときに、前記光学
情報の頻度分布を求め、頻度分布から特異点を除去し、
特異点を除去した頻度分布から、多階調画像の撮影条件
や露光状態を判別するための情報を抽出するようになっ
ているので、適切で高精細に撮影条件や露光状態を判断
することが可能となる。As described above, according to the first, fourth and seventh aspects of the present invention, the brightness information, density information or chromaticity information of each pixel constituting a multi-tone image is obtained. When extracting information for determining a shooting condition or an exposure state from at least one of the optical information, a frequency distribution of the optical information is obtained, and a singular point is removed from the frequency distribution.
Information for determining the shooting conditions and exposure state of the multi-tone image is extracted from the frequency distribution from which the singular points have been removed, so that the shooting conditions and exposure state can be determined appropriately and with high precision. It becomes possible.
【０１３０】また、請求項２，請求項５記載の発明によ
れば、頻度分布からの特異点の除去は、頻度分布に対し
平滑化を施すことによってなされるので、撮影条件や露
光状態を判断するのに無用な成分を除去することが可能
となる。According to the second and fifth aspects of the present invention, the singular point is removed from the frequency distribution by performing smoothing on the frequency distribution. This makes it possible to remove components that are unnecessary to perform.
【０１３１】また、請求項３，請求項６記載の発明によ
れば、平滑化は、平滑化後の頻度分布が満たすべき、全
体的な平滑化を調節する定数と、平滑化前の頻度分布と
平滑化後の頻度分布との差の大きさを個々に調節する定
数とを用いて、平滑の度合いを決定することによってな
されるので、頻度分布が様々な形をとっていても適切な
平滑化が可能である。According to the third and sixth aspects of the present invention, the smoothing includes a constant for adjusting the overall smoothing, which should be satisfied by the frequency distribution after the smoothing, and a frequency distribution before the smoothing. This is done by determining the degree of smoothing using a constant that individually adjusts the magnitude of the difference between the frequency distribution and the smoothed frequency distribution. Is possible.
【図１】本発明に係る画像処理装置の構成例を示す図で
ある。FIG. 1 is a diagram illustrating a configuration example of an image processing apparatus according to the present invention.
【図２】本発明による画像処理の一例を示すフローチャ
ートである。FIG. 2 is a flowchart illustrating an example of image processing according to the present invention.
【図３】頻度分布から特異点を除去する手順を説明する
ための図である。FIG. 3 is a diagram for explaining a procedure for removing a singular point from a frequency distribution.
【図４】逆光撮影条件下での画像の特異点除去後の頻度
分布の特徴を示す図である。FIG. 4 is a diagram illustrating characteristics of a frequency distribution after removing a singular point of an image under backlight shooting conditions.
【図５】フラッシュ撮影条件下での画像の特異点除去後
の頻度分布の特徴を示す図である。FIG. 5 is a diagram showing characteristics of a frequency distribution after removing a singular point of an image under flash photography conditions.
【図６】夜景撮影条件下での画像の特異点除去後の頻度
分布の特徴を示す図である。FIG. 6 is a diagram illustrating characteristics of a frequency distribution after removing a singular point of an image under a night view shooting condition.
【図７】露出不足下の条件で撮影された画像の特異点除
去前後の頻度分布を示す図である。FIG. 7 is a diagram illustrating a frequency distribution before and after removal of a singular point of an image captured under the condition of underexposure.
【図８】平滑化前の頻度分布Ｉ（ｕ）と平滑化後の頻度
分布Ｆ１（ｕ）を示す図である。FIG. 8 is a diagram showing a frequency distribution I (u) before smoothing and a frequency distribution F1 (u) after smoothing.
【図９】Ｉ（ｕ）とＦ１（ｕ）とは異なる平滑化の強さ
で平滑化した平滑化後の頻度分布Ｆ２（ｕ）を示す図で
ある。FIG. 9 is a diagram showing a frequency distribution F2 (u) after smoothing with smoothing strength different from I (u) and F1 (u).
【図１０】特異点除去手段の処理概要を示す図である。FIG. 10 is a diagram showing a processing outline of a singular point removing unit.
【図１１】平滑化処理の一例を示すフローチャートであ
る。FIG. 11 is a flowchart illustrating an example of a smoothing process.
【図１２】図１の画像処理装置のハードウェア構成例を
示す図である。FIG. 12 is a diagram illustrating a hardware configuration example of the image processing apparatus of FIG. 1;
２００ 画像情報入力手段 ２０１ 第１の画像情報記憶部 ２０２ 光学情報入手手段 ２０３ 頻度分布作成手段 ２０４ 第２の画像情報記憶部 ２０５ 特異点除去手段 ２０６ 抽出手段 ２１ ＣＰＵ ２２ ＲＯＭ ２３ ＲＡＭ ２４ ハードディスク ３０ 記録媒体 ３１ 媒体駆動装置 Reference Signs List 200 image information input unit 201 first image information storage unit 202 optical information acquisition unit 203 frequency distribution creation unit 204 second image information storage unit 205 singular point removal unit 206 extraction unit 21 CPU 22 ROM 23 RAM 24 hard disk 30 recording medium 31 Medium Drive
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/46 Ｈ０４Ｎ 1/40 Ｄ 5/243 １０１Ｃ // Ｈ０４Ｎ 101:00 1/46 Ｚ Ｆターム(参考） 5B057 BA02 BA11 CE05 CE16 CH01 CH11 DB02 DB06 DB09 DC23 5C022 AA13 AB19 AB31 AC69 5C077 MP08 PP02 PP31 PP32 PP36 PP43 PP46 PP47 PP61 PP71 PQ12 PQ19 PQ20 RR18 SS01 TT09 5C079 HB06 JA10 LA11 MA01 MA11 NA29 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 1/46 H04N 1/40 D 5/243 101C // H04N 101: 00 1/46 Z F term (Reference ) 5B057 BA02 BA11 CE05 CE16 CH01 CH11 DB02 DB06 DB09 DC23 5C022 AA13 AB19 AB31 AC69 5C077 MP08 PP02 PP31 PP32 PP36 PP43 PP46 PP47 PP61 PP71 PQ12 PQ19 PQ20 RR18 SS01 TT09 5C079 HB06 JA10 LA11 MA01 MA11 NA29
Claims (7)
あるいは濃度情報あるいは色度情報のうち少なくとも１
つの光学情報から撮影条件や露光状態を判別するための
情報を抽出する画像処理方法であって、前記光学情報の
頻度分布を求める工程と、前記頻度分布から特異点を除
去する工程と、前記特異点を除去した頻度分布から、前
記多階調画像の撮影条件や露光状態を判別するための情
報を抽出する工程とを有していることを特徴とする画像
処理方法。At least one of brightness information, density information and chromaticity information of each pixel constituting a multi-tone image is provided.
An image processing method for extracting information for determining a shooting condition and an exposure state from two pieces of optical information, wherein a step of obtaining a frequency distribution of the optical information, a step of removing a singular point from the frequency distribution, and Extracting information for determining the photographing conditions and the exposure state of the multi-tone image from the frequency distribution from which points have been removed.
前記頻度分布からの特異点の除去は、前記頻度分布に対
し平滑化を施すことによってなされることを特徴とする
画像処理方法。2. The image processing method according to claim 1, wherein
The image processing method according to claim 1, wherein the singular point is removed from the frequency distribution by performing smoothing on the frequency distribution.
平滑化は、平滑化後の頻度分布が満たすべき、全体的な
平滑化を調節する定数と、前記平滑化前の頻度分布と平
滑化後の頻度分布との差の大きさを個々に調節する定数
とを用いて、平滑の度合いを決定することによってなさ
れることを特徴とする画像処理方法。3. The image processing method according to claim 2, wherein
The smoothing individually adjusts a constant for adjusting the overall smoothing, which is to be satisfied by the frequency distribution after the smoothing, and a magnitude of a difference between the frequency distribution before the smoothing and the frequency distribution after the smoothing. An image processing method which is performed by determining a degree of smoothing using a constant.
あるいは濃度情報あるいは色度情報のうち少なくとも１
つの光学情報から撮影条件や露光状態を判別するための
特徴情報を抽出する画像処理装置であって、前記多階調
画像を入力する画像情報入力手段と、画像情報入力手段
で入力された多階調画像より光学情報を得る光学情報入
手手段と、光学情報入手手段によって得られた光学情報
の頻度分布を作成する頻度分布作成手段と、頻度分布作
成手段によって作成された頻度分布から特異点を除去す
る特異点除去手段と、特異点除去手段によって特異点が
除去された頻度分布から、前記多階調画像の撮影条件や
露光状態を判別するための情報を抽出する抽出手段とを
備えていることを特徴とする画像処理装置。4. At least one of brightness information, density information, and chromaticity information of each pixel constituting a multi-tone image
An image processing apparatus for extracting characteristic information for determining a photographing condition and an exposure state from two pieces of optical information, the image information input means for inputting the multi-tone image, and the multi-level image input by the image information input means. Optical information obtaining means for obtaining optical information from a toned image, frequency distribution creating means for creating a frequency distribution of optical information obtained by the optical information obtaining means, and singular points are removed from the frequency distribution created by the frequency distribution creating means A singular point removing unit that performs extraction of information for determining a shooting condition and an exposure state of the multi-tone image from a frequency distribution from which the singular point has been removed by the singular point removing unit. An image processing apparatus characterized by the above-mentioned.
特異点除去手段は、前記頻度分布に対し平滑化処理を行
うことによって、特異点を除去することを特徴とする画
像処理装置。5. The image processing apparatus according to claim 4, wherein
An image processing apparatus, wherein the singular point removing means removes singular points by performing a smoothing process on the frequency distribution.
特異点除去手段における平滑化処理は、平滑化後の頻度
分布の満たすべき、全体的な平滑化を調節する定数と、
平滑化前の頻度分布と平滑化後の頻度分布との差の大き
さを個々に調節する定数とから、平滑化の度合いを決定
することによってなされることを特徴とする画像処理装
置。6. The image processing apparatus according to claim 5, wherein
The smoothing process in the singularity removing means includes a constant for adjusting the overall smoothing to be satisfied by the frequency distribution after the smoothing,
An image processing apparatus characterized by determining the degree of smoothing from a constant for individually adjusting the magnitude of the difference between the frequency distribution before smoothing and the frequency distribution after smoothing.
あるいは濃度情報あるいは色度情報のうち少なくとも１
つの光学情報の頻度分布を求める処理と、前記頻度分布
から特異点を除去する処理と、前記特異点を除去した頻
度分布から、前記多階調画像の撮影条件や露光状態を判
別するための情報を抽出する処理とをコンピュータに実
行させるためのプログラムを記録したコンピュータ読取
可能な記憶媒体。7. At least one of brightness information, density information, and chromaticity information of each pixel constituting a multi-tone image
A process for obtaining a frequency distribution of two optical information, a process for removing a singular point from the frequency distribution, and information for determining a shooting condition and an exposure state of the multi-tone image from the frequency distribution from which the singular point is removed. And a computer-readable storage medium storing a program for causing a computer to execute a process for extracting a program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000187511A JP4100860B2 (en) | 2000-06-19 | 2000-06-19 | Image processing apparatus, image processing method, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000187511A JP4100860B2 (en) | 2000-06-19 | 2000-06-19 | Image processing apparatus, image processing method, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002010073A true JP2002010073A (en) | 2002-01-11 |
| JP4100860B2 JP4100860B2 (en) | 2008-06-11 |
Family
ID=18687480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000187511A Expired - Fee Related JP4100860B2 (en) | 2000-06-19 | 2000-06-19 | Image processing apparatus, image processing method, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4100860B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007251265A (en) * | 2006-03-13 | 2007-09-27 | Toshiba Corp | Semiconductor integrated circuit device and circuit insertion method thereof |
| US7570836B2 (en) | 2003-07-30 | 2009-08-04 | Seiko Epson Corporation | Backlit image judgment |
| JP2009219140A (en) * | 2004-12-01 | 2009-09-24 | Univ Of Tokushima | Exposure evaluation method for color image |
| US7756331B2 (en) | 2004-07-12 | 2010-07-13 | Canon Kabushiki Kaisha | Image processing apparatus and method for displaying images and corresponding histograms |
| JP2010171532A (en) * | 2009-01-20 | 2010-08-05 | Honda Motor Co Ltd | Imaging controller |
| US7974469B2 (en) | 2004-12-24 | 2011-07-05 | Seiko Epson Corporation | Image processing apparatus, image processing method, and image processing program for superior image output |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08278343A (en) * | 1995-04-07 | 1996-10-22 | Furukawa Electric Co Ltd:The | Device and method for signal processing |
| JPH1023279A (en) * | 1996-06-28 | 1998-01-23 | Fuji Xerox Co Ltd | Image-processing unit |
| JPH11167633A (en) * | 1997-12-02 | 1999-06-22 | Dainippon Screen Mfg Co Ltd | Method and device for analyzing image |
| JPH11168630A (en) * | 1997-07-01 | 1999-06-22 | Xerox Corp | Method for determining background gray levels of document |
| JP2000013624A (en) * | 1998-06-24 | 2000-01-14 | Canon Inc | Image processing method, device and recording medium |
-
2000
- 2000-06-19 JP JP2000187511A patent/JP4100860B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08278343A (en) * | 1995-04-07 | 1996-10-22 | Furukawa Electric Co Ltd:The | Device and method for signal processing |
| JPH1023279A (en) * | 1996-06-28 | 1998-01-23 | Fuji Xerox Co Ltd | Image-processing unit |
| JPH11168630A (en) * | 1997-07-01 | 1999-06-22 | Xerox Corp | Method for determining background gray levels of document |
| JPH11167633A (en) * | 1997-12-02 | 1999-06-22 | Dainippon Screen Mfg Co Ltd | Method and device for analyzing image |
| JP2000013624A (en) * | 1998-06-24 | 2000-01-14 | Canon Inc | Image processing method, device and recording medium |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7570836B2 (en) | 2003-07-30 | 2009-08-04 | Seiko Epson Corporation | Backlit image judgment |
| US7756331B2 (en) | 2004-07-12 | 2010-07-13 | Canon Kabushiki Kaisha | Image processing apparatus and method for displaying images and corresponding histograms |
| JP2009219140A (en) * | 2004-12-01 | 2009-09-24 | Univ Of Tokushima | Exposure evaluation method for color image |
| US7974469B2 (en) | 2004-12-24 | 2011-07-05 | Seiko Epson Corporation | Image processing apparatus, image processing method, and image processing program for superior image output |
| JP2007251265A (en) * | 2006-03-13 | 2007-09-27 | Toshiba Corp | Semiconductor integrated circuit device and circuit insertion method thereof |
| JP4738216B2 (en) * | 2006-03-13 | 2011-08-03 | 株式会社東芝 | Semiconductor integrated circuit device and circuit insertion method thereof |
| US8719741B2 (en) | 2006-03-13 | 2014-05-06 | Kabushiki Kaisha Toshiba | Guarding logic inserting method based on gated clock enable signals |
| JP2010171532A (en) * | 2009-01-20 | 2010-08-05 | Honda Motor Co Ltd | Imaging controller |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4100860B2 (en) | 2008-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7468759B2 (en) | Method, apparatus and recording medium for image processing | |
| US7933454B2 (en) | Class-based image enhancement system | |
| US6373992B1 (en) | Method and apparatus for image processing | |
| US7809197B2 (en) | Method for automatically determining the acceptability of a digital image | |
| US8285059B2 (en) | Method for automatic enhancement of images containing snow | |
| US6952286B2 (en) | Doubleprint photofinishing service with the second print having subject content-based modifications | |
| US7103228B2 (en) | Local change of an image sharpness of photographic images with masks | |
| US20070070440A1 (en) | Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program | |
| JP4415188B2 (en) | Image shooting device | |
| Safonov et al. | Adaptive image processing algorithms for printing | |
| US20060098889A1 (en) | Digital image processing system and method for emphasizing a main subject of an image | |
| US20060056731A1 (en) | Determining sharpness predictors for a digital image | |
| JP2004357277A (en) | Digital image processing method | |
| JPH10187994A (en) | Method for evaluating and controlling digital image contrast | |
| JP2002197457A (en) | Method for detecting skin color in digital image | |
| US7006252B2 (en) | Image processing system and method that maintains black level | |
| US20050135701A1 (en) | Image sharpening | |
| JP2002300402A (en) | Image processor, processing method and recording medium | |
| JP4221577B2 (en) | Image processing device | |
| JP4100860B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| US20050046902A1 (en) | Image processing apparatus, method and program | |
| JP4006590B2 (en) | Image processing apparatus, scene determination apparatus, image processing method, scene determination method, and program | |
| US20030231324A1 (en) | Image processing method and apparatus | |
| Hardeberg | Digital red eye removal | |
| JPH11154235A (en) | Method and device for extracting image reference density value and image processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040727 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070605 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080318 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080318 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120328 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140328 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |