JP2002223355A - Image processor and recording medium with image processing program recorded thereon - Google Patents
Image processor and recording medium with image processing program recorded thereonInfo
- Publication number
- JP2002223355A JP2002223355A JP2001016466A JP2001016466A JP2002223355A JP 2002223355 A JP2002223355 A JP 2002223355A JP 2001016466 A JP2001016466 A JP 2001016466A JP 2001016466 A JP2001016466 A JP 2001016466A JP 2002223355 A JP2002223355 A JP 2002223355A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image information
- image
- dynamic range
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 121
- 238000000605 extraction Methods 0.000 claims description 142
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 238000011156 evaluation Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 7
- 238000000034 method Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 35
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 239000000872 buffer Substances 0.000 description 11
- 230000010365 information processing Effects 0.000 description 11
- 230000001276 controlling effect Effects 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、比較的ダイナミッ
クレンジの広い画像情報を処理して、比較的ダイナミッ
クレンジの狭い出力系に画像を再現させるための画像処
理装置および画像処理プログラムを記録した記録媒体に
関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus for processing image information having a relatively wide dynamic range and reproducing an image on an output system having a relatively narrow dynamic range, and a recording apparatus storing an image processing program. It is about media.
【０００２】[0002]
【従来の技術】最近、デジタルスチルカメラ（ＤＳＣ）
やスキャナ等の入力系で生成される画像情報は、ＣＣＤ
等の固体撮像素子の性能向上により、比較的ダイナミッ
クレンジの広いものとなっている。また、もともとダイ
ナミックレンジが狭い固体撮像素子であっても、露光量
を異ならせて撮影した画像を合成することにより、ダイ
ナミックレンジの広い画像情報を生成することができ
る。2. Description of the Related Art Recently, digital still cameras (DSC) have been developed.
Image information generated by input systems such as scanners and scanners
And the like, the performance of the solid-state imaging device has been improved, so that the dynamic range is relatively wide. Even with a solid-state image sensor having a narrow dynamic range, image information with a wide dynamic range can be generated by synthesizing images captured with different exposure amounts.
【０００３】一方、モニタやプリンタ等の出力系のダイ
ナミックレンジは入力系から生成される画像情報のダイ
ナミックレンジと異なる場合が多く、特に画像情報のダ
イナミックレンジに対して出力系のダイナミックレンジ
は狭いのが実状である。On the other hand, the dynamic range of an output system such as a monitor or a printer is often different from the dynamic range of image information generated from an input system. In particular, the dynamic range of an output system is narrower than the dynamic range of image information. Is the actual situation.
【０００４】したがって、この場合には、ダイナミック
レンジの広い画像情報をどのように変換して、ダイナミ
ックレンジの異なる出力系において適切な画像として再
現するかということが課題となる。Therefore, in this case, the problem is how to convert image information having a wide dynamic range and reproduce it as an appropriate image in an output system having a different dynamic range.
【０００５】かかる課題に対しては、従来幾つかの方法
が提案されている。例えば、特開平１１−１９５１１５
号公報には、入力された画像情報から飽和画像域の面
積、面積率、色、ヒストグラムの最大画像情報値に対す
る最大基準値の比率等に基づいて、主要となる被写体が
適切に再現されるよう露出のレベルを推定する内容が開
示されている。[0005] To solve this problem, several methods have been proposed in the past. For example, JP-A-11-195115
The publication discloses that the main subject is appropriately reproduced from the input image information based on the area of the saturated image area, the area ratio, the color, the ratio of the maximum reference value to the maximum image information value of the histogram, and the like. The contents of estimating the level of exposure are disclosed.
【０００６】また、特開平９−９７３３８号公報には、
画像データの濃度ヒストグラムから原画像のハイライト
部分とシャドウ部分とを規定し、各部分に該当するデー
タについては階調を圧縮、該当しないデータについては
階調を伸張して濃度変換特性を作成する内容が開示され
ている。[0006] Japanese Patent Application Laid-Open No. 9-97338 discloses that
A highlight portion and a shadow portion of the original image are defined from the density histogram of the image data, and tone conversion is performed by compressing a gradation for data corresponding to each portion and expanding a gradation for data not corresponding to each portion. The contents are disclosed.
【０００７】さらに、特開平７−１３１７０４号公報に
は、露光量の異なる画像データを合成してダイナミック
レンジの広い画像データを生成し、この画像データを出
力部のダイナミックレンジや出力特性に合わせて出力す
る内容が開示されている。Further, Japanese Patent Application Laid-Open No. Hei 7-131704 discloses that image data having different exposure amounts are combined to generate image data having a wide dynamic range, and this image data is adapted to the dynamic range and output characteristics of an output section. The contents to be output are disclosed.
【０００８】[0008]
【発明が解決しようとする課題】ところが、上記の公開
公報に開示の技術では、それぞれ以下に説明するような
問題がある。すなわち、特開平１１−１９５１１５号公
報には、露出レベルを推定した後、その推定結果に基づ
いて画像情報を修正する内容が具体的に記述されておら
ず、実際には作業者が修正しなければならないため手間
がかかることになる。However, the techniques disclosed in the above publications have the following problems, respectively. That is, Japanese Patent Application Laid-Open No. H11-195115 does not specifically describe the content of correcting the image information based on the estimation result after estimating the exposure level. This has to be troublesome.
【０００９】また、特開平９−９７３３８号公報に開示
の技術では、主要被写体がハイライト部分やシャドウ部
分に近い部分に存在する場合には、この部分の階調が圧
縮されてしまい、結果として適切な画像を再現できなく
なるという問題が生じる。このため、この従来技術の場
合には、主要被写体がハイライト部分やシャドウ部分に
存在しないことが前提となってしまう。Further, according to the technique disclosed in Japanese Patent Application Laid-Open No. 9-97338, when a main subject exists in a portion close to a highlight portion or a shadow portion, the gradation of this portion is compressed, and as a result, There is a problem that an appropriate image cannot be reproduced. Therefore, in the case of the related art, it is assumed that the main subject does not exist in the highlight portion or the shadow portion.
【００１０】さらに、特開平７−１３１７０４号公報に
開示の技術では、合成情報を用いてダイナミックレンジ
を変更する圧縮操作を行っているものの、そこで用いら
れる圧縮特性は画像に依存しない固定的なものとなって
いる。このため、画像中の明るい部分や暗い部分等の
「非標準露光」と呼ばれる部分は出力されても、それら
の部分は固定の圧縮操作によってコントラスト感が乏し
いものとなり、再現される画像がかえって不自然になる
ことが懸念される。Further, in the technique disclosed in Japanese Patent Application Laid-Open No. Hei 7-131704, although a compression operation for changing a dynamic range is performed using synthetic information, a compression characteristic used therefor is fixed and independent of an image. It has become. For this reason, even though portions called "non-standard exposure" such as bright portions and dark portions in the image are output, those portions become poor in contrast due to the fixed compression operation, and the reproduced image is rather unnatural. There is concern that it will become natural.
【００１１】したがって、かかる点に鑑みてなされた本
発明の目的は、ダイナミックレンジの広い画像情報にお
ける主要被写体が比較的暗い部分や明るい部分に存在し
ていても、ダイナミックレンジの異なる出力系において
適切に階調を再現でき、かつ全体として違和感のない画
像を再現することができる画像処理装置および画像処理
プログラムを記録した記録媒体を提供することにある。Accordingly, an object of the present invention made in view of the above point is that even if a main subject in image information having a wide dynamic range exists in a relatively dark or bright portion, it is suitable for an output system having a different dynamic range. It is an object of the present invention to provide an image processing apparatus and a recording medium on which an image processing program is recorded, which is capable of reproducing an image without any discomfort as a whole.
【００１２】[0012]
【課題を解決するための手段】上記目的を達成する請求
項１に係る画像処理装置の発明は、ｍビットのダイナミ
ックレンジを持つ画像情報から所定の条件に基づいてｎ
ビット（ｍ≧ｎ）のダイナミックレンジを持つ画像情報
を取出す情報取出し部と、該情報取出し部によって取り
出された画像情報に対して画像処理を行う画像処理部
と、を有することを特徴とするものである。According to a first aspect of the present invention, there is provided an image processing apparatus, comprising:
An information extracting unit that extracts image information having a dynamic range of bits (m ≧ n); and an image processing unit that performs image processing on the image information extracted by the information extracting unit. It is.
【００１３】請求項１に係る発明によると、ダイナミッ
クレンジの広い画像情報から所定の条件を満たす部分、
例えば主要被写体が存在する部分、等を取出すので、広
いダイナミックレンジにおいて取出す部分が明部または
暗部に偏っていても、ダイナミックレンジの異なる出力
系に対して適切に再現できるように画像情報を取出すこ
とができ、その取り出された画像情報に対して画像処理
を行うので、取り出された部分の階調を出力系のダイナ
ミックレンジに対して適切に再現でき、かつ全体として
違和感のない画像を再現することが可能となる。According to the first aspect of the present invention, a portion satisfying a predetermined condition from image information having a wide dynamic range,
For example, since the main subject is extracted, the image information is extracted so that it can be properly reproduced on an output system with a different dynamic range even if the extracted portion is biased to a bright or dark part in a wide dynamic range. And perform image processing on the extracted image information, so that the gradation of the extracted part can be appropriately reproduced in the dynamic range of the output system, and the image as a whole can be reproduced without discomfort. Becomes possible.
【００１４】さらに、請求項２に係る画像処理装置の発
明は、ｍビットのダイナミックレンジを持つ画像情報か
ら所定の条件に基づいてｎビット（ｍ≧ｎ）のダイナミ
ックレンジを持つ画像情報を取出す情報取出し部と、該
情報取出し部によって取り出された画像情報に対して画
像処理を行ってｐビット（ｎ≧ｐ）のダイナミックレン
ジを持つ画像情報を出力する画像処理部と、を有するこ
とを特徴とするものである。Further, according to a second aspect of the present invention, there is provided an image processing apparatus for extracting image information having a dynamic range of n bits (m ≧ n) from image information having a dynamic range of m bits based on a predetermined condition. An image processing unit that performs image processing on image information extracted by the information extraction unit and outputs image information having a p-bit (n ≧ p) dynamic range. Is what you do.
【００１５】請求項２に係る発明によると、ダイナミッ
クレンジの広い画像情報から所定の条件を満たす部分、
例えば主要被写体が存在する部分、等を取出すので、広
いダイナミックレンジにおいて取出す部分が明部または
暗部に偏っていても、ダイナミックレンジの異なる出力
系に対して適切に再現できるように取出すことができ、
また取り出された画像情報に対して画像処理を行って出
力系のダイナミックレンジに合わせて新たな画像情報を
出力することができるので、取り出された部分の階調を
出力系のダイナミックレンジに対して適切に再現でき、
かつ全体として違和感のない画像を再現することが可能
となる。According to the second aspect of the present invention, a portion satisfying a predetermined condition from image information having a wide dynamic range,
For example, since the part where the main subject is present is extracted, even if the part to be extracted in a wide dynamic range is biased toward a bright part or a dark part, it can be extracted so that it can be appropriately reproduced for an output system with a different dynamic range,
Also, image processing can be performed on the extracted image information and new image information can be output in accordance with the dynamic range of the output system. Can be properly reproduced,
In addition, it is possible to reproduce an image that does not cause discomfort as a whole.
【００１６】請求項３に係る発明は、請求項１または２
に記載の画像処理装置において、前記情報取出し部は、
前記ｍビットのダイナミックレンジを持つ画像情報に対
して、画像情報が第１の所定値以下となる画素または前
記第ｌの所定値より大きい第２の所定値以上となる画素
を検出し、検出された画素を除去した状態でｎビットの
ダイナミックレンジを持つ画像情報を取出すことを特徴
とするものである。The invention according to claim 3 is the invention according to claim 1 or 2
In the image processing device according to the above, the information extraction unit,
With respect to the image information having the m-bit dynamic range, a pixel in which the image information is equal to or less than a first predetermined value or a pixel in which the image information is equal to or more than a second predetermined value larger than the first predetermined value is detected and detected. And extracting image information having an n-bit dynamic range with the removed pixels removed.
【００１７】請求項３に係る発明によると、暗部や明部
等で階調がつぶれている画素を除去した有意な画像情報
のみを取出すことが可能となる。According to the third aspect of the present invention, it is possible to extract only significant image information from which pixels whose gradations have been lost in a dark portion or a bright portion are removed.
【００１８】請求項４に係る発明は、請求項１または２
に記載の画像処理装置において、前記情報取出し部は、
前記ｍビットのダイナミックレンジを持つ画像情報から
ｎビットのダイナミックレンジを持つ画像情報を取出す
場合に存在する複数の取出しパターン候補についてそれ
ぞれ評価値を設定し、これら評価値に基づいて取出しパ
ターンを決定して、その決定された取出しパターンに基
づいてｎビットのダイナミックレンジを持つ画像情報を
取出すことを特徴とするものである。The invention according to claim 4 is the invention according to claim 1 or 2
In the image processing device according to the above, the information extraction unit,
An evaluation value is set for each of a plurality of extraction pattern candidates existing when extracting image information having an n-bit dynamic range from the image information having an m-bit dynamic range, and an extraction pattern is determined based on these evaluation values. And extracting image information having an n-bit dynamic range based on the determined extraction pattern.
【００１９】請求項４に係る発明によると、複数の取出
しパターン候補間での評価値を比較して取出しパターン
を決定することができるので、適切な画像情報の取出し
が可能となる。According to the fourth aspect of the present invention, it is possible to determine an extraction pattern by comparing evaluation values among a plurality of extraction pattern candidates, so that appropriate image information can be extracted.
【００２０】請求項５に係る発明は、請求項４に記載の
画像処理装置において、前記複数の取出しパターン候補
は、前記ｍビットのダイナミックレンジを持つ画像情報
の最上位ビットからｎビット分連続するビット列を取出
す第１パターン候補、該第１パターン候補を１ビット右
にシフトさせてｎビット分連続するビット列を取出す第
２パターン候補、と続き、前記ｍビットのダイナミック
レンジを持つ画像情報の最下位ビットまでのｎビット分
連続するビット列を取出す最終パターン候補を含む、
（ｍ−ｎ＋１）個の取出しパターン候補からなることを
特徴とするものである。According to a fifth aspect of the present invention, in the image processing apparatus according to the fourth aspect, the plurality of extraction pattern candidates are continuous for n bits from the most significant bit of the image information having the m-bit dynamic range. A first pattern candidate for extracting a bit sequence, a second pattern candidate for shifting the first pattern candidate right by one bit to extract a bit sequence that is continuous for n bits, and the lowest order of the image information having the m-bit dynamic range Including a final pattern candidate for extracting a bit string continuous for n bits up to the bit,
It is characterized by comprising (m-n + 1) extraction pattern candidates.
【００２１】請求項５に係る発明によると、（ｍ−ｎ＋
１）個の取出しパターン候補から決定される取出しパタ
ーンを用いて、ｎビット連続するビット列として画像情
報を取出すので、適切な画像情報の取出しが可能とな
る。According to the invention of claim 5, (m−n +
1) Since image information is extracted as an n-bit continuous bit string using an extraction pattern determined from the number of extraction pattern candidates, appropriate image information can be extracted.
【００２２】請求項６に係る発明は、請求項４に記載の
画像処理装置において、前記複数の取出しパターン候補
について、各取出しパターン候補に対応して暗部を示す
所定値および明部を示す所定値を設定し、前記各取出し
パターン候補により前記ｍビットのダイナミックレンジ
を持つ画像情報を参照して、画像情報が前記暗部を示す
所定値以下となる画素の数または前記明部を示す所定値
以上となる画素の数を前記評価値とし、該評価値が最小
となる取出しパターン候補を取出しパターンとして決定
することを特徴とするものである。According to a sixth aspect of the present invention, in the image processing apparatus according to the fourth aspect, a predetermined value indicating a dark portion and a predetermined value indicating a bright portion corresponding to each of the plurality of extraction pattern candidates. By referring to the image information having the m-bit dynamic range by each extraction pattern candidate, the number of pixels where the image information is less than or equal to a predetermined value indicating the dark portion or a predetermined value or more indicating the light portion Is determined as the evaluation value, and an extraction pattern candidate with the minimum evaluation value is determined as an extraction pattern.
【００２３】請求項６に係る発明によると、暗部や明部
等において階調がつぶれている画素の数が最小となる、
すなわち階調が存在する有意な画素の数が最大となる取
出しパターン候補を用いてｎビットのダイナミックレン
ジを持つ画像情報を取出すことができ、適切な画像情報
の取出しが可能となる。According to the invention of claim 6, the number of pixels whose gradation is lost in a dark portion, a bright portion, or the like is minimized.
That is, it is possible to extract image information having an n-bit dynamic range by using an extraction pattern candidate in which the number of significant pixels having gradations is the largest, and it is possible to extract appropriate image information.
【００２４】請求項７に係る発明は、請求項１または２
に記載の画像処理装置において、前記情報取出し部は、
前記ｍビットのダイナミックレンジを持つ画像情報から
ヒストグラムを算出し、該ヒストグラムの統計情報に基
づいて前記ｎビットのダイナミックレンジを持つ画像情
報を取出すことを特徴とするものである。The invention according to claim 7 is the invention according to claim 1 or 2
In the image processing device according to the above, the information extraction unit,
A histogram is calculated from the image information having the m-bit dynamic range, and the image information having the n-bit dynamic range is extracted based on the statistical information of the histogram.
【００２５】請求項７に係る発明によると、画像情報の
分布に基づく情報に依存して画像情報を取出すことがで
きるので、様々なシーンに対して適応的な画像情報の取
出しが可能となる。According to the invention of claim 7, since the image information can be taken out depending on the information based on the distribution of the image information, it is possible to take out the image information adaptively for various scenes.
【００２６】請求項８に係る発明は、請求項７に記載の
画像処理装置において、前記画像情報のヒストグラムの
統計情報は、平均値、標準偏差、最頻値、中央値、の少
なくとも一つを含むことを特徴とするものである。According to an eighth aspect of the present invention, in the image processing apparatus according to the seventh aspect, the statistical information of the histogram of the image information includes at least one of an average value, a standard deviation, a mode value, and a median value. It is characterized by including.
【００２７】請求項８に係る発明によると、画像情報の
分布に基づく情報に依存して画像情報を取出すことがで
きるので、様々なシーンに対して適応的な画像情報の取
出しが可能となる。According to the eighth aspect of the present invention, since image information can be taken out depending on information based on the distribution of image information, it is possible to take out image information adaptively for various scenes.
【００２８】請求項９に係る発明は、請求項１または２
に記載の画像処理装置において、前記ｍビットのダイナ
ミックレンジを持つ画像情報は、同一シーンについて露
光時間の異なるｍビットより小さいダイナミックレンジ
を持つ複数の画像情報を合成することにより生成される
ことを特徴とするものである。The invention according to claim 9 is the first or second invention.
Wherein the image information having the m-bit dynamic range is generated by synthesizing a plurality of pieces of image information having a dynamic range smaller than m bits having different exposure times for the same scene. It is assumed that.
【００２９】請求項９に係る発明によると、撮像素子の
ダイナミックレンジが狭い場合でもダイナミックレンジ
の広い画像情報を得ることが可能となる。According to the ninth aspect, it is possible to obtain image information having a wide dynamic range even when the dynamic range of the image pickup device is narrow.
【００３０】請求項１０に係る発明は、請求項１または
２に記載の画像処理装置において、前記画像処理部は、
前記情報取出し部によって取り出された画像情報に基づ
いて階調特性を求め、該階調特性により階調を変換する
階調変換処理部を含むことを特徴とするものである。According to a tenth aspect of the present invention, in the image processing apparatus according to the first or second aspect, the image processing section comprises:
The image processing apparatus further includes a gradation conversion processing unit that obtains a gradation characteristic based on the image information extracted by the information extraction unit and converts the gradation based on the gradation characteristic.
【００３１】請求項１０に係る発明によると、画像情報
に依存して階調変換を行うことができるので、様々なシ
ーンに対して適応的な画像処理が可能となる。According to the tenth aspect, since gradation conversion can be performed depending on image information, adaptive image processing can be performed on various scenes.
【００３２】さらに、請求項１１に係る記録媒体の発明
は、画像処理装置の動作を制御するためのコンピュータ
に、ｍビットのダイナミックレンジを持つ画像情報から
所定の条件に基づいてｎビット（ｍ≧ｎ）のダイナミッ
クレンジを持つ画像情報を取出す情報取出し機能と、そ
の取り出された画像情報に対して画像処理を行う画像処
理機能と、を実現させるための画像処理プログラムを記
録したことを特徴とするものである。Further, according to the invention of a recording medium according to the eleventh aspect, a computer for controlling the operation of the image processing apparatus is configured to transmit n bits (m ≧ m) based on image information having a dynamic range of m bits based on a predetermined condition. An image processing program for realizing an information extracting function for extracting image information having a dynamic range of n) and an image processing function for performing image processing on the extracted image information is recorded. Things.
【００３３】請求項１１に係る発明によると、記録媒体
を画像処理装置に装填することで、情報取出し機能およ
び画像処理機能を実行でき、これによりダイナミックレ
ンジの広い画像情報から所定の条件を満たす部分、例え
ば主要被写体が存在する部分を取り出し、その取り出し
た部分を出力系のダイナミックレンジに対して適切な階
調で、かつ全体として違和感のない画像として再現する
ことが可能となる。According to the eleventh aspect of the present invention, by loading a recording medium into an image processing apparatus, an information extracting function and an image processing function can be executed, whereby a portion satisfying a predetermined condition from image information having a wide dynamic range can be realized. For example, it is possible to take out a portion where a main subject is present, and reproduce the taken out portion as an image with a gradation suitable for the dynamic range of the output system and as a whole without discomfort.
【００３４】請求項１２に係る記録媒体の発明は、画像
処理装置の動作を制御するためのコンピュータに、ｍビ
ットのダイナミックレンジを持つ画像情報から所定の条
件に基づいてｎビット（ｍ≧ｎ）のダイナミックレンジ
を持つ画像情報を取出す情報取出し機能と、その取り出
された画像情報に対して画像処理を行ってｐビット（ｎ
≧ｐ）のダイナミックレンジを持つ画像情報を出力する
画像処理機能と、を実現させるための画像処理プログラ
ムを記録したことを特徴とするものである。According to a twelfth aspect of the present invention, a computer for controlling the operation of an image processing apparatus transmits n bits (m.gtoreq.n) based on image information having a dynamic range of m bits based on a predetermined condition. An information extraction function for extracting image information having a dynamic range of p, and performing image processing on the extracted image information to obtain p bits (n
An image processing function for realizing an image processing function of outputting image information having a dynamic range of ≧ p) is recorded.
【００３５】請求項１２に係る発明によると、記録媒体
を画像処理装置に装填することで、情報取出し機能およ
び画像処理機能を実行でき、これによりダイナミックレ
ンジの広い画像情報から所定の条件を満たす部分、例え
ば主要被写体が存在する部分を取り出し、その取り出し
た部分を出力系のダイナミックレンジに合わせてｐビッ
ト（ｎ≧ｐ）のダイナミックレンジを持つ新たな画像情
報として画像処理して出力することができるので、取り
出された部分の階調を出力系のダイナミックレンジに対
して適切に再現でき、かつ全体として違和感のない画像
を再現することが可能となる。According to the twelfth aspect, by loading a recording medium into an image processing apparatus, an information extracting function and an image processing function can be executed. For example, it is possible to extract a portion where a main subject exists, perform image processing on the extracted portion as new image information having a dynamic range of p bits (n ≧ p) in accordance with the dynamic range of the output system, and output the processed image information. Therefore, it is possible to appropriately reproduce the gradation of the extracted portion with respect to the dynamic range of the output system, and to reproduce an image that does not cause any discomfort as a whole.
【００３６】[0036]
【発明の実施の形態】以下、本発明による画像処理装置
の実施の形態について図１〜図１４を参照して説明す
る。DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of an image processing apparatus according to the present invention will be described below with reference to FIGS.
【００３７】（第１実施の形態）図１は本発明の第１実
施の形態における電子カメラの基本的な構成を示すブロ
ック図である。この電子カメラは、電子シャッタ機能を
有する単板式のカラーＣＣＤ等からなり、被写体像を光
電変換して画像情報として出力するための撮像素子１
と、この撮像素子１上に被写体像を結像するためのレン
ズ２と、このレンズ２を通過した光束の通過範囲や通過
時間を制御するための絞り・シャッタ機構３と、前記撮
像素子１から出力され、図示しない相関二重サンプリン
グ回路等でノイズ成分の除去が行われた画像情報を増幅
するアンプ４と、このアンプ４により増幅されたアナロ
グ情報をデジタル情報に変換するためのＡ／Ｄ変換器５
と、このＡ／Ｄ変換器５によりデジタル化された情報に
対して後述するような各種の処理を施す画像処理装置を
内蔵したカメラ情報処理回路６と、前記Ａ／Ｄ変換器５
からのデジタル出力を受けて、ＡＦ（オートフォーカ
ス）情報、ＡＥ（オートエクスポージヤ）情報、ＡＷＢ
（オートホワイトバランス）情報を検出するためのＡ
Ｆ，ＡＥ，ＡＷＢ検波回路７と、前記カメラ情報処理回
路６からの画像データを圧縮処理する圧縮回路（ＪＰＥ
Ｇ）９と、この圧縮回路９により圧縮された画像データ
を後述するメモリカード１５に記録するための制御を行
うメモリカードＩ／Ｆ１４と、このメモリカードＩ／Ｆ
１４の制御により画像データを記録するメモリカード１
５と、画像データの色処理等を行う際に作業用メモリと
して用いられるＤＲＡＭ１１と、このＤＲＡＭ１１の制
御を行うメモリコントローラ１０と、前記メモリカード
１５に記録されている画像データをパーソナルコンピュ
ータ（ＰＣ）１７等へ転送するためのインターフェース
であるＰＣＩ／Ｆ１６と、後述するＬＣＤ１３の制御を
行う表示回路１２と、この表示回路１２の制御により前
記メモリカード１５に記録された画像データを再生して
表示したり、この電子カメラに係る各種の撮影状態等を
表示したりするＬＣＤ１３と、被写体を照明するための
照明光を発光するストロボ１９と、前記撮像素子１を駆
動するためのタイミングパルスを発生するタイミングジ
ェネレータ（ＴＧ）１８と、各種の撮影モードを設定す
るためのスイッチや撮影動作を指示入力するためのトリ
ガスイッチ等を有してなる入力キー２０と、前記カメラ
情報処理回路６、圧縮回路９、メモリコントローラ１
０、表示回路１２、メモリカードＩ／Ｆ１４、ＰＣＩ／
Ｆ１６とバスラインを介して接続され、前記ＡＦ，Ａ
Ｅ，ＡＷＢ検波回路７の検出結果や前記入力キー２０に
よる入力、あるいは前記ストロボ１９による発光情報等
を受け取るとともに、前記レンズ２、絞り・シャッタ機
構３、タイミングジェネレータ１８、カメラ情報処理回
路６、ストロボ１９、入力キー２０や前記バスラインに
接続された各回路を含むこの電子カメラ全体の制御を行
うＣＰＵ８と、を有している。(First Embodiment) FIG. 1 is a block diagram showing a basic configuration of an electronic camera according to a first embodiment of the present invention. This electronic camera is composed of a single-plate type color CCD or the like having an electronic shutter function, and is an image pickup device 1 for photoelectrically converting a subject image and outputting it as image information.
A lens 2 for forming a subject image on the image sensor 1, an aperture / shutter mechanism 3 for controlling a passing range and a passing time of a light beam passing through the lens 2, An amplifier 4 for amplifying the image information that has been output and from which noise components have been removed by a correlated double sampling circuit or the like (not shown), and an A / D converter for converting the analog information amplified by the amplifier 4 into digital information Vessel 5
A camera information processing circuit 6 incorporating an image processing device for performing various processes to be described later on the information digitized by the A / D converter 5;
(Auto Focus) information, AE (Auto Exposure) information, AWB
A for detecting (auto white balance) information
F, AE, AWB detection circuit 7 and a compression circuit (JPE) for compressing image data from the camera information processing circuit 6
G) 9, a memory card I / F 14 for controlling recording of image data compressed by the compression circuit 9 on a memory card 15 described later, and the memory card I / F.
Memory card 1 for recording image data under the control of 14
5, a DRAM 11 used as a working memory when performing color processing of image data, a memory controller 10 for controlling the DRAM 11, and a personal computer (PC) for storing image data recorded on the memory card 15. A display interface 12 for controlling an LCD 13 to be described later, and reproducing and displaying image data recorded on the memory card 15 under the control of the display circuit 12. LCD 13 for displaying various photographing states of the electronic camera, a strobe 19 for emitting illumination light for illuminating a subject, and a timing for generating a timing pulse for driving the image sensor 1 Generator (TG) 18 and switches for setting various shooting modes An input key 20 comprising a trigger switch for inputting an instruction photographing operation, the camera processing circuit 6, the compression circuit 9, a memory controller 1
0, display circuit 12, memory card I / F14, PCI /
F16, which is connected via a bus line to the AF, A
In addition to receiving the detection result of the E / AWB detection circuit 7, the input by the input key 20, or the light emission information by the strobe 19, the lens 2, the aperture / shutter mechanism 3, the timing generator 18, the camera information processing circuit 6, the strobe 19, and a CPU 8 for controlling the entire electronic camera including the input keys 20 and each circuit connected to the bus line.
【００３８】この電子カメラでは、一画像を撮影してそ
れを画像データとする通常撮影モード、または露光量の
異なる複数画像の撮影を時間的に近接して行い、これら
の画像を合成して一つの広ダイナミックレンジ（以下、
ＤＲとも言う）画像を得る広ＤＲ撮影モードを、入力キ
ー２０の操作により手動的に選択するか、あるいは撮像
素子１からの画像情報の白とびを検出するなどしてＣＰ
Ｕ８により自動的に選択し、その選択した撮影モードに
応じてＣＰＵ８により撮影動作を制御するようになって
いる。In this electronic camera, one image is photographed and a normal photographing mode in which it is used as image data, or a plurality of images having different exposure amounts are photographed in close proximity to each other, and these images are combined to produce one image. Two wide dynamic ranges (hereafter,
The wide DR shooting mode for obtaining an image is manually selected by operating the input key 20 or the overexposure of the image information from the image sensor 1 is detected.
U8 is automatically selected, and the CPU 8 controls the photographing operation according to the selected photographing mode.
【００３９】すなわち、通常撮影モードが選択された場
合には、撮影動作によって一回の撮影で撮像素子１から
１画面分の画像情報を取得し、また、広ＤＲ撮影モード
が選択された場合には、撮像素子１の電子シャッタ機
能、あるいはこの電子シャッタ機能と絞り・シャッタ機
構３との組み合わせによる公知の手段によって、同一被
写体に対する撮影で撮像素子１からの露光量の異なる複
数画面分（例えば２画面分）の画像情報を取得して、カ
メラ情報処理回路６において撮影モードに応じた画像デ
ータの処理を行うようになっている。That is, when the normal photographing mode is selected, image information for one screen is obtained from the image pickup device 1 in one photographing operation by the photographing operation, and when the wide DR photographing mode is selected. By using a known means based on the electronic shutter function of the image sensor 1 or a combination of the electronic shutter function and the aperture / shutter mechanism 3, a plurality of screens (for example, 2. The image information corresponding to the screen is acquired, and the camera information processing circuit 6 processes the image data according to the shooting mode.
【００４０】図２は、第１実施の形態におけるカメラ情
報処理回路６の要部の構成を示すブロック図である。こ
のカメラ情報処理回路６は、カメラプロセス前処理回路
２１、第１スイッチ２２、単一画像処理回路２３、第２
スイッチ２４、カメラプロセス後処理回路２５、長時間
露光（ＬＥ）画像情報バッファ２６、短時間露光（Ｓ
Ｅ）画像情報バッファ２７、乗算器２８、ＳＥ画像情報
ゲイン算出回路２９、画像情報合成回路３０、合成情報
取出し処理回路３１、取出し画像処理回路３２を有して
おり、広ＤＲ撮影モードにおいては、異なる露光量で撮
影された二つの画像情報を合成することにより広ＤＲ画
像情報を生成するようになっている。FIG. 2 is a block diagram showing a configuration of a main part of the camera information processing circuit 6 according to the first embodiment. The camera information processing circuit 6 includes a camera process pre-processing circuit 21, a first switch 22, a single image processing circuit 23,
Switch 24, camera process post-processing circuit 25, long exposure (LE) image information buffer 26, short exposure (S
E) It has an image information buffer 27, a multiplier 28, an SE image information gain calculation circuit 29, an image information synthesis circuit 30, a synthesis information extraction processing circuit 31, and an extraction image processing circuit 32. In the wide DR shooting mode, Wide DR image information is generated by combining two pieces of image information photographed with different exposure amounts.
【００４１】図２において、カメラプロセス前処理回路
２１には、Ａ／Ｄ変換器５（図１参照）からのデジタル
化された画像情報ａａが供給され、ここで画像情報ａａ
に対して欠落色情報の補間処理等といった、本処理に先
立って行われる前処理が行われる。前処理後の欠落色情
報が補間された画像情報ｂｂは、第１スイッチ２２の状
態により、単一画像処理回路２３、ＬＥ画像情報バッフ
ァ２６またはＳＥ画像情報バッファ２７のいずれかに伝
送される。In FIG. 2, digitized image information aa from the A / D converter 5 (see FIG. 1) is supplied to the camera process pre-processing circuit 21, where the image information aa
, A pre-process performed prior to this process, such as an interpolation process for missing color information, is performed. The image information bb in which the missing color information after the preprocessing is interpolated is transmitted to one of the single image processing circuit 23, the LE image information buffer 26, and the SE image information buffer 27 depending on the state of the first switch 22.
【００４２】第１スイッチ２２および第２スイッチ２４
は、ＣＰＵ８（図１参照）からの制御情報ｑｑにより制
御される。すなわち、制御情報ｑｑが通常撮影モードを
表す情報の場合には、画像情報ｂｂは第１スイッチ２２
を経て単一画像処理回路２３に伝送され、ここで通常撮
影における画像処理（階調変換処理、γ変換処理等）が
行われ、その画像処理された画像情報ｃｃが第２スイッ
チ２４を介して後述するカメラプロセス後処理回路２５
に伝送される。First switch 22 and second switch 24
Are controlled by control information qq from the CPU 8 (see FIG. 1). That is, when the control information qq is information indicating the normal shooting mode, the image information bb is
Is transmitted to the single image processing circuit 23 through which image processing (gradation conversion processing, γ conversion processing, etc.) in normal photographing is performed, and the processed image information cc is transmitted via the second switch 24. Camera process post-processing circuit 25 described later
Is transmitted to
【００４３】一方、制御情報ｑｑが広ＤＲ撮影モードを
表す情報の場合には、画像情報ｂｂは第１スイッチ２２
を経てＬＥ画像情報バッファ２６またはＳＥ画像情報バ
ッファ２７のいずれかに伝送される。この広ＤＲ撮影モ
ードでは、二つの異なる露光画像が撮影されることか
ら、画像情報ｂｂが長時間露光（ＬＥ）の場合はＬＥ画
像情報バッファ２６に、画像情報ｂｂが短時間露光（Ｓ
Ｅ）の場合はＳＥ画像情報バッファ２７に、それぞれ伝
送される。On the other hand, if the control information qq is information indicating the wide DR shooting mode, the image information bb is
Is transmitted to either the LE image information buffer 26 or the SE image information buffer 27. In this wide DR shooting mode, since two different exposure images are shot, when the image information bb is the long exposure (LE), the image information bb is stored in the LE image information buffer 26 in the short exposure (S
In the case of E), they are transmitted to the SE image information buffer 27, respectively.
【００４４】各バッファ２６、２７に伝送された二つの
画像情報は、それぞれＬＥ画像情報ｆｆ、ＳＥ画像情報
ｇｇとして出力され、ＬＥ画像情報ｆｆは画像情報合成
回路３０に直接供給され、ＳＥ画像情報ｇｇは乗算器２
８においてＳＥ画像情報ゲイン算出回路２９からのゲイ
ン情報ｅｅと乗算されてゲイン調整され、そのゲイン調
整されたＳＥ画像情報ｈｈが画像情報合成回路３０に供
給される。The two pieces of image information transmitted to the buffers 26 and 27 are output as LE image information ff and SE image information gg, respectively. The LE image information ff is directly supplied to the image information synthesizing circuit 30, and the SE image information gg is the multiplier 2
In 8, the gain is adjusted by multiplying the gain information ee from the SE image information gain calculation circuit 29, and the gain-adjusted SE image information hh is supplied to the image information synthesis circuit 30.
【００４５】ここで、ＳＥ画像情報ゲイン算出回路２９
は、ＣＰＵ８から出力される二つの画像の露光比を示す
情報ｄｄに基づいて、ＬＥ画像情報ｆｆとＳＥ画像情報
ｇｇとを合成する際のＳＥ画像情報ｇｇのゲインを計算
して、乗算器２８にゲイン情報ｅｅとして出力する。な
お、露光比を示す情報ｄｄは、撮影時に設定される露光
比により決定してもよいし、撮影された画像情報の比率
（例えば輝度情報の比率等）から決定してもよい。Here, the SE image information gain calculating circuit 29
Calculates the gain of the SE image information gg when combining the LE image information ff and the SE image information gg based on the information dd indicating the exposure ratio of the two images output from the CPU 8, and As gain information ee. The information dd indicating the exposure ratio may be determined based on an exposure ratio set at the time of shooting, or may be determined from a ratio of shot image information (for example, a ratio of luminance information or the like).
【００４６】画像情報合成回路３０では、供給されるＬ
Ｅ画像情報ｆｆおよびゲイン調整されたＳＥ画像情報ｈ
ｈに基づいて、図３（ａ）に示すＬＥ画像情報ｆｆの出
力レベルが１００％となっている（飽和している）部分
を、図３（ｂ）に示すＳＥ画像情報ｇｇを露光比分ゲイ
ン調整した情報ｈｈに切り替える合成処理が行われ、こ
れにより図３（ｃ）に示すように、露光比に対応するＤ
Ｒ分拡大された合成情報ｉｉが生成される。In the image information synthesizing circuit 30, the supplied L
E image information ff and gain-adjusted SE image information h
3A, the portion where the output level of the LE image information ff shown in FIG. 3A is 100% (saturated) is converted into the SE image information gg shown in FIG. A synthesizing process for switching to the adjusted information hh is performed. As a result, as shown in FIG.
Synthesized information ii expanded by R is generated.
【００４７】画像情報合成回路３０で生成された合成情
報ｉｉは、合成情報取出し処理回路３１において後述す
る取出し処理が行われ、取出し画像情報ｍｍが出力され
る。この合成情報取出し処理回路３１では、ＣＰＵ８か
ら出力される、取出しの出力情報量を制御するための取
出しビット制御情報ｋｋを利用する。取出し画像情報ｍ
ｍは、取出しビット制御情報ｋｋと共に取出し画像処理
回路３２に伝送され、後述する画像処理が行われた後に
取出し出力画像情報ｎｎとして出力され、第２スイッチ
２４を介してカメラプロセス後処理回路２５に伝送され
る。The synthesized information ii generated by the image information synthesizing circuit 30 is subjected to an extraction process described later in a synthesized information extraction processing circuit 31, and the extracted image information mm is output. The combined information extraction processing circuit 31 uses extraction bit control information kk output from the CPU 8 for controlling the output information amount of extraction. Extracted image information m
m is transmitted to the extraction image processing circuit 32 together with the extraction bit control information kk, and is output as extraction output image information nn after image processing to be described later is performed, and is output to the camera process post-processing circuit 25 via the second switch 24. Transmitted.
【００４８】カメラプロセス後処理回路２５では、画像
情報を出力系に再現するための処理、例えばホワイトバ
ランス調節処理、色情報強調処理、エッジ強調処理、等
が行われ、その処理された出力画像情報ｐｐがバスライ
ンを介して各処理部に伝送される。The camera process post-processing circuit 25 performs processing for reproducing image information on an output system, for example, white balance adjustment processing, color information enhancement processing, edge enhancement processing, and the like. pp is transmitted to each processing unit via the bus line.
【００４９】図４は、図２に示す合成情報取出し処理回
路３１の要部の構成を示すブロック図である。この合成
情報取出し処理回路３１は、輝度情報検出回路４１、取
出しパターン決定回路４２および取出し画像情報変換回
路４３を有している。FIG. 4 is a block diagram showing a configuration of a main part of the combined information extraction processing circuit 31 shown in FIG. The synthesis information extraction processing circuit 31 includes a luminance information detection circuit 41, an extraction pattern determination circuit 42, and an extraction image information conversion circuit 43.
【００５０】図４において、輝度情報検出回路４１に
は、画像情報合成回路３０（図２参照）で生成された合
成情報ｉｉが供給され、ここで合成情報ｉｉに基づいて
輝度情報ｒｒが算出される。この輝度情報ｒｒは、ＣＰ
Ｕ８からの取出しビット制御情報ｋｋと共に取出しパタ
ーン決定回路４２に入力され、ここで後述する処理が行
われて取出しパターン情報ｓｓが出力される。この取出
しパターン情報ｓｓは、合成情報ｉｉおよび輝度情報ｒ
ｒと共に取出し画像情報変換回路４３に入力され、ここ
で後述する処理が行われて取出し画像情報ｍｍが出力さ
れる。In FIG. 4, the combined information ii generated by the image information combining circuit 30 (see FIG. 2) is supplied to the brightness information detecting circuit 41, and the brightness information rr is calculated based on the combined information ii. You. This luminance information rr is CP
The data is input to the extraction pattern determination circuit 42 together with the extraction bit control information kk from U8, where the processing described later is performed, and the extraction pattern information ss is output. The extraction pattern information ss is composed of the combination information ii and the luminance information r.
The input image information is input to the extracted image information conversion circuit 43 together with r, where the processing described later is performed and the extracted image information mm is output.
【００５１】図５および図６は、上記の合成情報取出し
処理回路３１の動作を示すフローチャートである。以
下、図５および図６に示すフローチャートについて、図
７および図８を参照しながら説明する。なお、図７は各
取出しパターン候補に対応する黒つぶれ閾値ＴｈＢ
［ｉ］、白とび閾値ＴｈＷ［ｉ］および取出しゲイン係
数Ｇｉを示しており、図８は取出しパターンおよび対応
する取出し画像情報のイメージ例を示している。FIGS. 5 and 6 are flow charts showing the operation of the above-mentioned combined information fetch processing circuit 31. Hereinafter, the flowcharts shown in FIGS. 5 and 6 will be described with reference to FIGS. 7 and 8. FIG. 7 shows the blackout threshold value ThB corresponding to each extraction pattern candidate.
[I], the overexposure threshold ThW [i], and the takeout gain coefficient Gi. FIG. 8 shows an example of a takeout pattern and corresponding takeout image information.
【００５２】先ず、合成情報ｉｉである広ＤＲ画像情報
について輝度情報を算出する（ステップＳ１）。その
後、合成情報ｉｉを取出す際の取出しパターンについ
て、取出しパターン決定の際の評価値となる、各取出し
パターン候補ｉに対応した暗部（黒つぶれ）および明部
（白とび）の画素数を表すカウンタＣＴ［ｉ］を初期化
する（ステップＳ２）。First, luminance information is calculated for the wide DR image information that is the composite information ii (step S1). Thereafter, a counter representing the number of pixels of a dark portion (darkened portion) and a bright portion (exposed portion) corresponding to each extracted pattern candidate i, which is an evaluation value when determining the extracted pattern, for the extracted pattern at the time of extracting the combined information ii. CT [i] is initialized (step S2).
【００５３】ここで、取出しパターン候補について、広
ＤＲ画像情報（合成情報ｉｉ）のビット数をｍ、取出し
画像情報のビット数をｎとすると、取出しパターン候補
の数は（ｍ−ｎ＋１）となる。図７に示す例では、ｍ＝
１２、ｎ＝１０であるから、取出しパターン候補の数は
１２−１０＋１＝３となるので、３個のカウンタを初期
化する。また、この場合の取出しパターン候補ｉは、図
８に示すようになる。すなわち、取出しパターン候補１
は１２ビットの広ＤＲ画像情報から上位１０ビットの情
報を取出し、取出しパターン候補２は中間の１０ビット
の情報を取出し、取出しパターン候補３は下位１０ビッ
トの情報を取出すものとなる。Assuming that the number of bits of the wide DR image information (synthesis information ii) is m and the number of bits of the extracted image information is n, the number of extracted pattern candidates is (m−n + 1). . In the example shown in FIG.
Since 12, n = 10, the number of extraction pattern candidates is 12−10 + 1 = 3, so three counters are initialized. Further, the extraction pattern candidate i in this case is as shown in FIG. That is, extraction pattern candidate 1
Extracts the upper 10 bits of information from the 12-bit wide DR image information, the extraction pattern candidate 2 extracts the intermediate 10 bits of information, and the extraction pattern candidate 3 extracts the lower 10 bits of information.
【００５４】次に、取出し画像情報のビット数に合わせ
て決定される、黒つぶれを判断するための暗部閾値Ｔｈ
Ｂ、および白とびを判断するための明部閾値ＴｈＷか
ら、各取出しパターン候補ｉに対応した黒つぶれを判断
するための黒つぶれ閾値ＴｈＢ［ｉ］、および白とびを
判断するための白とび閾値ＴｈＷ［ｉ］を生成する（ス
テップＳ３）。ここで、暗部閾値ＴｈＢおよび明部閾値
ＴｈＷは、例えば取出し画像情報の最大値をＣＭＡＸと
すると、所定の割合係数α（０≦α≦１）によって、次
式のように定義される。Next, a dark portion threshold Th for judging underexposure, which is determined according to the number of bits of the extracted image information.
B, and a bright section threshold ThW for determining overexposure, a blackout threshold ThB [i] for determining overexposure corresponding to each extraction pattern candidate i, and an overexposure threshold for judging overexposure. ThW [i] is generated (step S3). Here, the dark part threshold ThB and the light part threshold ThW are defined by a predetermined ratio coefficient α (0 ≦ α ≦ 1) as follows, for example, where the maximum value of the extracted image information is CMAX.
【００５５】[0055]
【数１】 ＴｈＢ＝α・（ＣＭＡＸ＋１） ＴｈＷ＝（１−α）・（ＣＭＡＸ＋１）−１ ・・・（１）ThB = α · (CMAX + 1) ThW = (1−α) · (CMAX + 1) −1 (1)
【００５６】図７の例では、取出し画像情報のビット数
が１０であるからＣＭＡＸ＝１０２３となり、α＝０．
０１５６２５とするとＴｈＢ＝１６、ＴｈＷ＝１００７
となる。In the example of FIG. 7, since the number of bits of the extracted image information is 10, CMAX = 11023, and α = 0.
Assuming that 015625, ThB = 16 and ThW = 1007
Becomes
【００５７】各取出しパターン候補ｉに対応した黒つぶ
れ閾値ＴｈＢ［ｉ］および白とび閾値ＴｈＷ［ｉ］は、
広ＤＲ画像情報を各取出しパターン候補ｉにより取出す
際に黒つぶれおよび白とびの状態で取り出される時の、
広ＤＲ画像情報に関する閾値を示すものである。The underexposure threshold ThB [i] and overexposure threshold ThW [i] corresponding to each extraction pattern candidate i are
When the wide DR image information is extracted in each of the extraction pattern candidates i when the image is extracted in a state of underexposure and overexposure,
It shows a threshold value for wide DR image information.
【００５８】例えば、図７および図８の例において、取
出しパターン候補１の場合には、１０ビットの取出しビ
ット列（図８のグレー色に相当するビット列）に関する
「１６」という値は、１２ビットの広ＤＲ画像情報に関
する「６４」という値に相当する。すなわち、取出しパ
ターン候補１によって画像情報を取出す場合には、取出
し前の情報が「６４」に対して取出し後の情報は「１
６」となる。同様に取出し前の情報が「４０３１」に対
して取出し後の情報は「１００７」となる。これによ
り、各取出しパターン候補ｉに関して、取出し後の情報
が暗部閾値ＴｈＢおよび明部閾値ＴｈＷとなる場合の広
ＤＲ画像情報における（取出し前の）対応情報が決定さ
れる。これを各取出しパターン候補ｉに対応した黒つぶ
れ閾値ＴｈＢ［ｉ］および白とび閾値ＴｈＷ［ｉ］とし
て生成する。For example, in the example of FIGS. 7 and 8, in the case of the extraction pattern candidate 1, the value of “16” regarding the 10-bit extraction bit string (the bit string corresponding to the gray color in FIG. 8) is 12 bits. This corresponds to a value of “64” regarding the wide DR image information. That is, when the image information is extracted by the extraction pattern candidate 1, the information before the extraction is “64” and the information after the extraction is “1”.
6 ". Similarly, the information before extraction is “4031” and the information after extraction is “1007”. Thereby, for each extraction pattern candidate i, the corresponding information (before extraction) in the wide DR image information when the information after extraction is the dark part threshold ThB and the light part threshold ThW is determined. This is generated as a blackout threshold ThB [i] and a whiteout threshold ThW [i] corresponding to each extraction pattern candidate i.
【００５９】次に、広ＤＲ画像情報の画素を走査し（ス
テップＳ４）、参照画素の輝度情報Ｙに関して、広ＤＲ
画像情報に関する暗部を示す閾値ＴｈＭｉｎ以下または
広ＤＲ画像情報に関する明部を示す閾値ＴｈＭａｘより
大か否かを調べる（ステップＳ５）。閾値ＴｈＭｉｎお
よび閾値ＴｈＭａｘは、例えば上記の（１）式に則って
定義すれば、広ＤＲ画像情報の最大値をＰＭＡＸとする
と、所定の割合係数β（０≦β≦１）によって、次式の
ように定義される。Next, the pixels of the wide DR image information are scanned (step S4), and the wide DR
It is checked whether the threshold value is equal to or smaller than a threshold value ThMin indicating a dark part related to image information or larger than a threshold value ThMax indicating a bright part related to wide DR image information (step S5). For example, if the threshold value ThMin and the threshold value ThMax are defined according to the above equation (1), and the maximum value of the wide DR image information is PMAX, a predetermined ratio coefficient β (0 ≦ β ≦ 1) Is defined as
【００６０】[0060]
【数２】 ＴｈＭｉｎ＝β・（ＰＭＡＸ＋１） ＴｈＭａｘ＝（１一β）・（ＰＭＡＸ＋１）−１ ・・・（２）ThMin = β · (PMAX + 1) ThMax = (1−1β) · (PMAX + 1) −1 (2)
【００６１】例えば、図７の例の場合は、広ＤＲ画像情
報が１２ビットでＰＭＡＸ＝４０９５となるので、β＝
０．０６２５とすると、ＴｈＭｉｎ＝２５６、ＴｈＭａ
ｘ＝３８３９となる。For example, in the case of FIG. 7, since the wide DR image information is 12 bits and PMAX = 4095, β =
Assuming 0.0625, ThMin = 256, ThMa
x = 3839.
【００６２】ステップＳ５において条件が一致する場合
（Ｙｅｓ）はステップＳ４に戻る。これは広ＤＲ画像情
報において、既に黒つぶれや白とびである、または反射
率等の影響でもともと黒色や白色である画素は、どの取
出しパターン候補によっても黒つぶれや白とび画素とし
てカウントされることにより取出し処理が適切に行われ
ない可能性があるため、以降の処理の対象外とするとい
う内容の処理である。If the conditions match in step S5 (Yes), the process returns to step S4. This is because, in the wide DR image information, a pixel that is already black or overexposed or that is originally black or white due to the influence of reflectance or the like is counted as a black overexposed or overexposed pixel by any extraction pattern candidate. Since the extraction process may not be properly performed, the process is excluded from the subsequent processes.
【００６３】ステップＳ５においてＮｏと判断された場
合は、次に取出しパターン候補ｉを走査し（ステップＳ
６）、参照画素の輝度情報Ｙに関して、取出しパターン
候補ｉに対応した黒つぶれ閾値ＴｈＢ［ｉ］以下か否か
を調べる（ステップＳ７）。ここでＹｅｓと判断された
場合（輝度情報ＹがＴｈＢ［ｉ］以下である場合）はス
テップＳ９に進み、Ｎｏと判断された場合は、同様に輝
度情報Ｙに関して、取出しパターン候補ｉに対応した白
とび閾値ＴｈＷ［ｉ］より大か否かを調べる（ステップ
Ｓ８）。If No is determined in step S5, the extraction pattern candidate i is scanned next (step S5).
6) It is checked whether or not the luminance information Y of the reference pixel is equal to or less than a blackout threshold ThB [i] corresponding to the extraction pattern candidate i (step S7). Here, when it is determined to be Yes (when the luminance information Y is equal to or less than ThB [i]), the process proceeds to step S9, and when it is determined to be No, the luminance information Y similarly corresponds to the extraction pattern candidate i. It is checked whether the value is greater than the overexposed threshold value ThW [i] (step S8).
【００６４】ステップＳ８でＮｏと判断された場合（輝
度情報ＹがＴｈＷ［ｉ］以下である場合）はステップＳ
１０に進む。これに対し、ステップＳ８においてＹｅｓ
と判断された場合は、ステップＳ９に進む。If it is determined No in step S8 (the luminance information Y is equal to or less than ThW [i]), the process proceeds to step S8.
Go to 10. On the other hand, in step S8, Yes
If it is determined, the process proceeds to step S9.
【００６５】ステップＳ９は、輝度情報Ｙが黒つぶれ閾
値ＴｈＢ［ｉ］以下である（すなわち黒つぶれであ
る）、または白とび閾値ＴｈＷ［ｉ］より大である（す
なわち白とびである）場合のみ実行され、該当する取出
しパターン候補ｉの黒つぶれおよび白とび画素数を表す
カウンタＣＴ［ｉ］をインクリメントする。そして取出
しパターン候補ｉの走査が終了したか否かを判断し（ス
テップＳ１０）、終了しない場合はステップＳ６に戻
る。終了した場合は、広ＤＲ画像情報の画素の走査が終
了したか否かを判断し（ステップＳ１１）、終了しない
場合はステップＳ４に戻る。Step S9 is executed only when the luminance information Y is equal to or less than the underexposure threshold ThB [i] (that is, underexposure) or greater than the overexposure threshold ThW [i] (ie, underexposure). Then, the counter CT [i] indicating the number of overexposed pixels and overexposed pixels of the corresponding extraction pattern candidate i is incremented. Then, it is determined whether or not the scanning of the extraction pattern candidate i has been completed (step S10), and if not, the process returns to step S6. If the scanning has been completed, it is determined whether the scanning of the pixels of the wide DR image information has been completed (step S11), and if not, the process returns to step S4.
【００６６】ステップＳ１１において、広ＤＲ画像情報
の全画素について全ての取出しパターン候補に関する走
査が終了したら、各取出しパターン候補ｉの中から、黒
つぶれおよび白とび画素数を表すカウンタＣＴ［ｉ］が
最小となる取出しパターンＩを決定する（ステップＳ１
２）。ここでは、黒つぶれおよび白とび画素数が最小で
ある、すなわち画像として階調を再現できる情報が最大
となる取出しパターン候補を選択して、広ＤＲ画像情報
から取出しを行うというアプローチをとっている。In step S11, when the scanning for all the extracted pattern candidates is completed for all the pixels of the wide DR image information, a counter CT [i] indicating the number of overexposed pixels and overexposed pixels is taken out of each extracted pattern candidate i. The minimum take-out pattern I is determined (Step S1)
2). Here, an approach is adopted in which an extraction pattern candidate with the minimum number of blackout and overexposed pixels, that is, the maximum information that can reproduce the gradation as an image, is selected, and extraction is performed from wide DR image information. .
【００６７】次に、決定された取出しパターンＩから、
広ＤＲ画像情報のビット列から取出すビット列を決定す
るための取出しゲイン係数ＧＩを算出する（ステップＳ
１３）。この取出しゲイン係数ＧＩは、ステップＳ２の
取出しパターン候補の説明で用いた値を利用し、広ＤＲ
画像情報のビット数をｍ、取出し画像情報のビット数を
ｎとし、取出しパターン定数Ｉを用いると、次の（３）
式で表される。Next, from the determined extraction pattern I,
The extraction gain coefficient GI for determining the bit string to be extracted from the bit string of the wide DR image information is calculated (step S).
13). The extraction gain coefficient GI uses the value used in the description of the extraction pattern candidate in step S2, and
When the number of bits of the image information is m, the number of bits of the extracted image information is n, and the extraction pattern constant I is used, the following (3)
It is expressed by an equation.
【００６８】[0068]
【数３】 ＧＩ＝２｛Ｉ−（ｍ−ｎ＋１）｝ ・・・（３）GI = 2 {I− (m−n + 1)} (3)
【００６９】ここで、取出しパターン定数Ｉは、図７お
よび図８の例から、広ＤＲ画像情報から最上位のビット
列を取出す取出しパターンの場合にはＩ＝１、以後、取
出しパターンが１ビットずつ右にシフトするにつれてＩ
が１ずつインクリメントされる定数であり、決定された
取出しパターンが広ＤＲ画像情報の上位何ビット目から
下をビット列として取出すかによって決定される。Here, the extraction pattern constant I is 1 in the case of the extraction pattern for extracting the most significant bit sequence from the wide DR image information from the examples of FIGS. 7 and 8, and thereafter, the extraction pattern is one bit at a time. As I shift to the right
Is a constant that is incremented by one, and is determined by the number of upper bits of the wide DR image information from which the determined extraction pattern is extracted as a bit string.
【００７０】次に、広ＤＲ画像情報の画素を走査し（ス
テップＳ１４）、参照画素の輝度情報Ｙに関してステッ
プＳ１３で算出された取出しゲイン係数ＧＩを乗じた変
換輝度情報Ｙ′を計算する（ステップＳ１５）。ここ
で、上記（３）式から明らかなように、輝度情報Ｙに取
出しゲイン係数ＧＩを乗じることは、輝度情報Ｙのビッ
ト列を｛（ｍ−ｎ＋１）−Ｉ｝ビット右にシフトするこ
とに等しい。Next, the pixels of the wide DR image information are scanned (step S14), and the converted luminance information Y 'is calculated by multiplying the luminance information Y of the reference pixel by the extraction gain coefficient GI calculated in step S13 (step S14). S15). Here, as is apparent from the above equation (3), multiplying the luminance information Y by the extraction gain coefficient GI is equivalent to shifting the bit string of the luminance information Y to the right by {(mn + 1) -I} bits. .
【００７１】その後、ステップＳ１６において、変換輝
度情報Ｙ′が０であるか否かを調べる。ステップＳ１６
でＹｅｓと判断された場合は、ステップＳ１９にて参照
画素の全ての色情報を０にして、ステップＳ２０に進
む。これに対して、ステップＳ１６でＮｏと判断された
場合は、変換輝度情報Ｙ′が取出し画像情報の最大値
（ＣＭＡＸ）より大か否かを調べる（ステップＳ１
７）。Thereafter, in step S16, it is checked whether or not the converted luminance information Y 'is "0". Step S16
If Yes is determined in step S19, the color information of all the reference pixels is set to 0 in step S19, and the process proceeds to step S20. On the other hand, if No is determined in step S16, it is checked whether or not the converted luminance information Y 'is greater than the maximum value (CMAX) of the extracted image information (step S1).
7).
【００７２】ステップＳ１７でＹｅｓと判断された場合
は、ステップＳ１８にて参照画素の全ての色情報をＣＭ
ＡＸにして、ステップＳ２０に進む。これに対して、ス
テップＳ１７でＮｏと判断された場合は、ステップＳ１
８またはステップＳ１９の処理が終了した後、広ＤＲ画
像情報の画素の走査が終了したか否かを判断し（ステッ
プＳ２０）、終了しない場合はステップＳ１４に戻り、
終了した場合はステップＳ１４〜ステップＳ２０によっ
て変換された広ＤＲ画像情報、すなわち広ＤＲ画像情報
からの取出し画像情報を出力して（ステップＳ２１）、
処理を終了する。If it is determined as Yes in step S17, all the color information of the reference pixel is converted into CM in step S18.
AX is set, and the process proceeds to step S20. On the other hand, if No is determined in step S17, the process proceeds to step S1.
8 or after the processing of step S19 is completed, it is determined whether or not the scanning of the pixels of the wide DR image information has been completed (step S20). If not, the process returns to step S14.
When the processing is completed, the wide DR image information converted in steps S14 to S20, that is, the extracted image information from the wide DR image information is output (step S21).
The process ends.
【００７３】図８の例で見ると、取出しパターン候補１
は、１２ビットの広ＤＲ画像情報のうち上位１０ビット
の情報を用いるため、全体的に暗めの画像となる。した
がって、暗い部分の情報（図８の人物等）は黒つぶれに
なる。一方、取出しパターン候補３は、１２ビットの広
ＤＲ画像情報のうち下位１０ビットの情報を用いるた
め、全体的に明るめの画像となる。したがって、明るい
部分の情報（図８の背景等）は白とびになる。取出しパ
ターン候補２は、１２ビットの広ＤＲ画像情報のうち中
間の１０ビットの情報を用いるため、結果的に黒つぶれ
および白とびの画素数が最小となる場合である。図８の
例では、図５および図６に示す処理によって、取出しパ
ターン候補２が取出しパターンとして決定される。Referring to the example of FIG. 8, the extraction pattern candidate 1
Uses the upper 10 bits of information of the 12-bit wide DR image information, so that the image becomes darker as a whole. Therefore, the information of the dark part (such as the person in FIG. 8) is lost in black. On the other hand, the extraction pattern candidate 3 uses lower-order 10-bit information of the 12-bit wide DR image information, and thus becomes a brighter image as a whole. Therefore, the information of the bright part (the background in FIG. 8, etc.) is overexposed. The take-out pattern candidate 2 uses the middle 10-bit information of the 12-bit wide DR image information, so that the number of blackout and overexposed pixels is minimized as a result. In the example of FIG. 8, the extraction pattern candidate 2 is determined as an extraction pattern by the processing shown in FIGS.
【００７４】図９は、図２に示した取出し画像処理回路
３２の要部の構成を示すブロック図である。この取出し
画像処理回路３２は、取出し画像のエッジに着目し、エ
ッジ部分に関するヒストグラムを用いて階調変換処理を
行うもので、輝度情報検出回路５１、輝度エッジ情報検
出回路５２、エッジヒストグラム算出回路５３、トーン
カーブ設定回路５４、および画像情報階調変換回路５５
を有している。FIG. 9 is a block diagram showing a configuration of a main part of the extracted image processing circuit 32 shown in FIG. The extracted image processing circuit 32 performs a gradation conversion process using a histogram related to an edge portion by focusing on the edge of the extracted image. The luminance information detection circuit 51, the luminance edge information detection circuit 52, and the edge histogram calculation circuit 53 , Tone curve setting circuit 54, and image information gradation conversion circuit 55
have.
【００７５】図９において、輝度情報検出回路５１に
は、合成情報取出し処理回路３１（図２参照）からの取
出し画像情報ｍｍが供給され、ここでその取出し画像輝
度情報ｔｔが算出される。取出し画像輝度情報ｔｔは輝
度エッジ情報検出回路５２に伝送され、公知のエッジ検
出アルゴリズムに従って輝度エッジ情報ｕｕが検出され
て出力される。輝度エッジ情報ｕｕおよび取出し画像輝
度情報ｔｔは共にエッジヒストグラム算出回路５３に入
力され、ここでエッジ部分に関する取出し画像輝度情報
のヒストグラム（エッジヒストグラム）が算出される。In FIG. 9, the extracted image information mm from the combined information extraction processing circuit 31 (see FIG. 2) is supplied to the luminance information detection circuit 51, where the extracted image luminance information tt is calculated. The extracted image luminance information tt is transmitted to the luminance edge information detection circuit 52, and the luminance edge information uu is detected and output according to a known edge detection algorithm. Both the luminance edge information uu and the extracted image luminance information tt are input to the edge histogram calculation circuit 53, where a histogram (edge histogram) of the extracted image luminance information relating to the edge portion is calculated.
【００７６】ここで、エッジヒストグラムは、エッジが
存在する部分の輝度情報に対応する度数を増分したり、
エッジの大小（変化量）に応じて輝度情報に対応する度
数の増分値を異ならせたり、様々なものが考えられる。
また、画面の位置に応じて度数の増分値を変えるように
してもよい。例えば、画面中央に人物等の主要被写体が
存在する人物撮影等の場合には、画面中央部について画
面周辺部より度数の増分値を多くとり、風景撮影等の場
合には画面の位置によらず一律に度数の増分値をとる、
等といった複数の増分パターンを用意して、撮影状況に
応じてヒストグラムの算出方法を変えるようにする。こ
のような方法により、エッジヒストグラム情報ｗｗを生
成する。Here, the edge histogram is used to increase the frequency corresponding to the luminance information of the portion where the edge exists,
Depending on the magnitude of the edge (the amount of change), the increment value of the frequency corresponding to the luminance information may be varied, or various types may be considered.
Further, the increment value of the frequency may be changed according to the position of the screen. For example, in the case of photographing a person in which a main subject such as a person is present in the center of the screen, a larger value of the frequency is taken for the central part of the screen than in the peripheral part of the screen. Take the frequency increment uniformly,
And the like, and a method of calculating a histogram is changed according to a shooting situation. By such a method, the edge histogram information ww is generated.
【００７７】エッジヒストグラム算出回路５３から出力
されるエッジヒストグラム情報ｗｗは、ＣＰＵ８からの
取出しビット制御情報ｋｋと共にトーンカーブ設定回路
５４に伝送される。トーンカーブ設定回路５４では、エ
ッジヒストグラム情報ｗｗの分布状態、および取出しビ
ット制御情報ｋｋから決定される画像情報の出力範囲等
に基づいて、取出し画像に依存した階調変換特性（トー
ンカーブ）を生成し、トーンカーブ情報ｘｘを出力す
る。トーンカーブ情報ｘｘは、取出し画像情報ｍｍおよ
び取出し画像輝度情報ｔｔと共に画像情報階調変換回路
５５に伝送され、ここでトーンカーブ情報ｘｘに基づい
て階調変換が行われる。階調変換の一例としては、取出
し画像輝度情報ｔｔをトーンカーブ情報ｘｘにより階調
変換を行い、輝度情報の変換前後の変化をもとに画像情
報ｍｍ全体を変換する、等といった方法がある。そし
て、階調変換された取出し画像情報ｍｍは、取出し出力
画像情報ｎｎとして出力される。The edge histogram information ww output from the edge histogram calculation circuit 53 is transmitted to the tone curve setting circuit 54 together with the extracted bit control information kk from the CPU 8. The tone curve setting circuit 54 generates a gradation conversion characteristic (tone curve) depending on the extracted image based on the distribution state of the edge histogram information ww, the output range of the image information determined from the extracted bit control information kk, and the like. Then, the tone curve information xx is output. The tone curve information xx is transmitted to the image information gradation conversion circuit 55 together with the extracted image information mm and the extracted image luminance information tt, where gradation conversion is performed based on the tone curve information xx. As an example of the gradation conversion, there is a method of performing gradation conversion of the extracted image luminance information tt using the tone curve information xx, and converting the entire image information mm based on changes before and after the conversion of the luminance information. Then, the extracted image information mm whose gradation has been converted is output as extracted output image information nn.
【００７８】以上のように、本実施の形態においては、
露光量の異なる二つの画像情報を合成してｍ（例えばｍ
＝１２）ビットの広ＤＲ画像情報を生成し、その画像情
報から黒つぶれおよび白とびの画素数が最小となるｎ
（例えばｎ＝１０）ビットの取出しパターンを決定し
て、その決定された取出しパターンに基づいて広ＤＲ画
像情報のｍビット列からｎビット列の画像情報を取出し
て画像処理するようにしたので、ｍビットの広ＤＲでは
取出す部分が明部または暗部に偏っていても、ｎビット
のＤＲを持つ出力系に対して主要被写体が存在する部分
を適切に再現できるように画像情報を取出して画像処理
することができる。したがって、取り出された部分の階
調を出力系のＤＲに対して適切に再現でき、全体として
違和感のない画像を再現することができる。As described above, in the present embodiment,
By combining two pieces of image information having different exposure amounts, m (for example, m
= 12) Generates wide DR image information of bits, and uses the image information to minimize the number of pixels of underexposure and overexposure.
(E.g., n = 10) The extraction pattern of bits is determined, and based on the determined extraction pattern, the image information of the n-bit string is extracted from the m-bit string of the wide DR image information and image processing is performed. In the wide DR, image information must be extracted and processed so that the part where the main subject exists can be appropriately reproduced for an output system with n-bit DR even if the part to be extracted is biased to a bright part or a dark part. Can be. Therefore, the gradation of the extracted portion can be appropriately reproduced with respect to the DR of the output system, and an image without a sense of discomfort as a whole can be reproduced.
【００７９】（第２実施の形態）本発明の第２実施の形
態では、図１に示した基本構成を有する電子カメラにお
いて、撮像素子１としてＤＲの広いものを用い、この撮
像素子１から得られるｍビットの広いＤＲの単一の画像
情報から、所定の条件に基づいてｎビット（ｍ≧ｎ）の
ＤＲを持つ画像情報を取出して画像処理する。(Second Embodiment) In a second embodiment of the present invention, in the electronic camera having the basic configuration shown in FIG. Image information having DR of n bits (m ≧ n) is extracted from a single piece of image information of a wide DR of m bits to be processed based on a predetermined condition.
【００８０】図１０は、本実施の形態における図１に示
したカメラ情報処理回路６の要部の構成を示すブロック
図で、第１実施の形態と同様の作用を成す構成要素には
同一の参照番号を付してその詳細な説明を省略する。こ
のカメラ情報処理回路６は、カメラプロセス前処理回路
２１、画像情報取出し処理回路６１、取出し画像処理回
路６２、およびカメラプロセス後処理回路２５を有して
いる。FIG. 10 is a block diagram showing a configuration of a main part of the camera information processing circuit 6 shown in FIG. 1 according to the present embodiment. Components having the same functions as those in the first embodiment are the same. Reference numerals are given and detailed description thereof is omitted. The camera information processing circuit 6 includes a camera process pre-processing circuit 21, an image information extraction processing circuit 61, an extracted image processing circuit 62, and a camera process post-processing circuit 25.
【００８１】図１０において、カメラプロセス前処理回
路２１には、Ａ／Ｄ変換器５（図１参照）からのデジタ
ル化された画像情報ａａが供給され、ここで第１実施の
形態で説明したと同様の前処理が行われる。この前処理
後の画像情報ｂｂは、ＣＰＵ８（図１参照）から出力さ
れる取出しの出力情報量を制御するための取出しビット
制御情報ｋｋと共に画像情報取出し処理回路６１に伝送
され、後述する取出し処理が行われ、取出し画像情報ｍ
ｍが出力される。In FIG. 10, digitized image information aa from the A / D converter 5 (see FIG. 1) is supplied to the camera process pre-processing circuit 21, which has been described in the first embodiment. The same pre-processing is performed. The preprocessed image information bb is transmitted to the image information extraction processing circuit 61 together with extraction bit control information kk for controlling the output information amount of extraction output from the CPU 8 (see FIG. 1), and the extraction processing described later is performed. Is performed, and the extracted image information m
m is output.
【００８２】この取出し画像情報ｍｍは、取出しビット
制御情報ｋｋと共に取出し画像処理回路６２に入力さ
れ、ここで第１実施の形態と同様の画像処理が行われて
取出し出力画像情報ｎｎが出力される。この取出し出力
画像情報ｎｎは、カメラプロセス後処理回路２５に入力
されて画像情報を出力系に再現するための処理が行わ
れ、その処理が施された出力画像情報ｐｐがバスライン
を介して各処理部に伝送される。The extracted image information mm is input to the extracted image processing circuit 62 together with the extracted bit control information kk, where the same image processing as in the first embodiment is performed, and the extracted output image information nn is output. . The extracted output image information nn is input to the camera process post-processing circuit 25, and a process for reproducing the image information on an output system is performed. The processed output image information pp is transmitted to each of the output image information pp via a bus line. It is transmitted to the processing unit.
【００８３】図１１は、図１０に示した画像情報取出し
処理回路６１の要部の構成を示すブロック図である。こ
の画像情報取出し処理回路６１は、輝度情報検出回路７
１、ヒストグラム算出回路７２、ヒストグラム統計量算
出回路７３、取出しパターン決定回路７４、および取出
し画像情報変換回路７５を有している。FIG. 11 is a block diagram showing a configuration of a main part of the image information extraction processing circuit 61 shown in FIG. The image information extraction processing circuit 61 includes a luminance information detection circuit 7
1, a histogram calculation circuit 72, a histogram statistic calculation circuit 73, a take-out pattern determination circuit 74, and a take-out image information conversion circuit 75.
【００８４】図１１において、輝度情報検出回路７１に
は、カメラプロセス前処理回路２１で前処理された画像
情報ｂｂが供給され、ここでその輝度情報ｒｒが算出さ
れる。この輝度情報ｒｒは、ヒストグラム算出回路７２
に入力されて輝度情報のヒストグラムが算出され、その
輝度ヒストグラム情報ｙｙがヒストグラム統計量算出回
路７３に供給される。In FIG. 11, the image information bb preprocessed by the camera process preprocessing circuit 21 is supplied to the luminance information detecting circuit 71, where the luminance information rr is calculated. This luminance information rr is calculated by the histogram calculation circuit 72.
And the histogram of the luminance information is calculated, and the luminance histogram information yy is supplied to the histogram statistic calculation circuit 73.
【００８５】ここで、ヒストグラム算出回路７２は、入
力画像情報（輝度情報ｒｒ）が例えば図１２（ａ）に示
す「逆光時の人物撮影」の場合には、画面中央部に関す
る輝度の度数増分値を多くして（「重み」を大きくし
て）ヒストグラムをとることで、図１２（ｂ）のような
ヒストグラムを算出する。なお、ヒストグラム算出時の
「重み」については、撮影状況に応じた「重み」を予め
設定する等により、撮影状況に適したヒストグラムを得
ることができる。Here, when the input image information (luminance information rr) is, for example, “person photographing at the time of back light” shown in FIG. Is increased (the “weight” is increased) to obtain a histogram, whereby a histogram as shown in FIG. 12B is calculated. As for the “weight” at the time of calculating the histogram, a histogram suitable for the shooting situation can be obtained by presetting the “weight” according to the shooting situation.
【００８６】輝度ヒストグラム情報ｙｙは、ヒストグラ
ム統計量算出回路７３に入力され、ここで輝度ヒストグ
ラム情報ｙｙに関する統計量、例えば平均値、標準偏差
（分散）、最頻値、中央値、等が求められる。例えば、
図１２（ｂ）に示した輝度ヒストグラムの場合の平均
値、中央値、最頻値は、図１２（ｃ）に示すようにな
る。このヒストグラム統計量算出回路７３で求められた
統計量は、輝度ヒストグラム統計量情報ｚｚとして出力
される。The luminance histogram information yy is input to the histogram statistic calculation circuit 73, where statistics relating to the luminance histogram information yy, for example, an average value, a standard deviation (variance), a mode value, a median value, and the like are obtained. . For example,
The average value, median value, and mode value in the case of the luminance histogram shown in FIG. 12B are as shown in FIG. The statistic calculated by the histogram statistic calculation circuit 73 is output as luminance histogram statistic information zz.
【００８７】輝度ヒストグラム統計量情報ｚｚは、取出
しビット制御情報ｋｋと共に取出しパターン決定回路７
４に入力され、ここで後述する方法により第１実施の形
態と同様の取出しパターンを取出しパターン情報ｓｓと
して出力する。この取出しパターン情報ｓｓは、前処理
後の画像情報ｂｂおよび輝度情報ｒｒと共に取出し画像
情報変換回路７５に入力され、ここで第１実施の形態と
同様の処理が施されて、最終的に取出し画像情報ｍｍと
して出力される。The luminance histogram statistic information zz is output together with the extraction bit control information kk to the extraction pattern determination circuit 7.
4 and outputs the same extraction pattern as in the first embodiment as extraction pattern information ss by a method described later. The extracted pattern information ss is input to the extracted image information conversion circuit 75 together with the pre-processed image information bb and luminance information rr, where the same processing as in the first embodiment is performed, and finally the extracted image information It is output as information mm.
【００８８】図１３は、上記の取出しパターン決定回路
７４の動作を示すフローチャートである。以下、図１３
に示すフローチャートについて、図１４に示す各取出し
パターン候補に対応する取出しビット列および変換係数
を参照しながら説明する。FIG. 13 is a flow chart showing the operation of the extraction pattern determination circuit 74 described above. Hereinafter, FIG.
Will be described with reference to the extraction bit string and the conversion coefficient corresponding to each extraction pattern candidate shown in FIG.
【００８９】先ず、ステップＳ３１にて、ＣＰＵ８から
の取出しビット制御情報ｋｋに基づいて複数の取出しパ
ターン候補を設定する。この取出しパターン候補は、例
えば入力画像情報のビット数を１２、取出し画像情報の
ビット数を８（取出し画像情報のビット数は取出しビッ
ト制御情報ｋｋにより決定）とすると、第１実施の形態
の場合と同様、１２−８＋１＝５通り存在する。その各
取出しパターン候補に対応する取出しビット列は、図１
４に示すようになる。First, in step S31, a plurality of extraction pattern candidates are set based on the extraction bit control information kk from the CPU 8. Assuming that the number of bits of the input image information is 12, and the number of bits of the extracted image information is 8 (the number of bits of the extracted image information is determined by the extraction bit control information kk), the extraction pattern candidate is the case of the first embodiment. Similarly, there are 12−8 + 1 = 5 patterns. The extraction bit string corresponding to each extraction pattern candidate is shown in FIG.
As shown in FIG.
【００９０】次に、ステップＳ３２にて、輝度情報ヒス
トグラムの統計量情報ｚｚに基づいて、画像の特徴を顕
著に表す情報を画像特徴値として決定し、以後の処理に
利用する。この画像特徴値は、輝度情報ヒストグラムの
統計量情報として、例えば平均値、中央値、最頻値のい
ずれか、平均値、中央値、最頻値のうち二つ以上を加重
平均した値、標準偏差（分散）を重みとして平均値、中
央値、最頻値を加重平均した値、等に決定することがで
きる。Next, in step S32, information that prominently expresses the feature of the image is determined as an image feature value based on the statistical information zz of the brightness information histogram, and is used for the subsequent processing. This image feature value is, as statistical information of the luminance information histogram, for example, any one of the average value, the median value, and the mode value, the average value, the median value, the value obtained by weighting two or more of the mode values, An average value, a median value, a value obtained by weighted averaging of the mode value, and the like can be determined using the deviation (variance) as a weight.
【００９１】次に、ステップＳ３３にて、ステップＳ３
２で決定された画像特徴値を、入力画像情報ビットの範
囲において予め決められた所定値（これを取出し標準値
と定義する）に変換するための変換係数Ｔを、下記の
（４）式に従って算出する。Next, in step S33, step S3
A conversion coefficient T for converting the image feature value determined in 2 into a predetermined value (which is defined as a standard value) in a range of input image information bits is calculated according to the following equation (4). calculate.
【００９２】[0092]
【数４】 Ｔ＝（２ｍ−ａ）／ｘ （ｘ≦２ｍ−ａの時） （２ｍ−ｘ）／ａ （ｘ＞２ｍ−ａの時） ・・・（４） （ｍ：入力画像情報のビット数、ａ：取出し標準値、
ｘ：画像特徴値）[Number 4] T = (2 m -a) / x ( when x ≦ 2 m -a) (2 m -x) / a (x> time of 2 m -a) ··· (4) (m : Number of bits of input image information, a: standard value to be extracted,
x: image feature value)
【００９３】ここで、変換係数Ｔは、画像特徴値を取出
し標準値に変換することで、入力画像情報のどのビット
を取出すかを示す評価値として位置付けるもので、例え
ば画像特徴値として輝度情報ヒストグラムの平均値を用
い、取出し標準値として入力画像情報ビットの中央値を
用いる。これにより、画像特徴値が取出し標準値に比べ
て小さい（入力画像情報が比較的暗い）場合は、比較的
暗い部分を含む取出しパターンによって画像情報を取出
し、画像特徴値が取出し標準値に比べて大きい（入力画
像情報が比較的明るい）場合は、比較的明るい部分を含
む取出しパターンによって画像情報を取出すようにす
る。このようにして、画像の特徴を示す画像特徴値を所
望の値（取出し標準値）にする変換を利用して取出しパ
ターン候補を決定する。Here, the conversion coefficient T is used as an evaluation value indicating which bit of the input image information is to be extracted by extracting the image characteristic value and converting it to a standard value. And the median value of the input image information bits is used as the extraction standard value. With this, when the image feature value is smaller than the extraction standard value (input image information is relatively dark), the image information is extracted using an extraction pattern including a relatively dark portion, and the image feature value is compared with the extraction standard value. If the input image information is large (the input image information is relatively bright), the image information is extracted using an extraction pattern including a relatively bright portion. In this way, the extraction pattern candidate is determined by using the conversion of the image characteristic value indicating the characteristic of the image to a desired value (extraction standard value).
【００９４】その後、ステップＳ３４にて、ステップＳ
３３で求められた変換係数に対応した取出しパターン候
補を取出しパターンＩとして決定する。図１４に、変換
係数算出において、取出し標準値を入力画像情報ビット
の中央値とした場合の、各取出しパターン候補に対応す
る変換係数を示す。Thereafter, in step S34, step S
An extraction pattern candidate corresponding to the conversion coefficient obtained in 33 is determined as an extraction pattern I. FIG. 14 shows the conversion coefficients corresponding to each extraction pattern candidate when the extraction standard value is set to the median value of the input image information bits in the conversion coefficient calculation.
【００９５】ここでは、変換係数が決められた範囲内に
ある取出しパターン候補を取出しパターンＩとして決定
する。例えば、１２ビット入力画像情報のヒストグラム
統計量から決まる画像特徴値（平均値、等）を３０００
とすると、１２ビットとしての入力画像情報の中央値は
２０４８であるから、変換係数は（４）式より、Ｔ＝
（２１２−３０００）／２０４８≒０．５３５となり、
「取出しパターン２」が取出しパターンとして決定さ
れ、このパターンにより以後の処理が行われて、取出し
画像情報が生成される。Here, the extraction pattern candidate whose conversion coefficient is within the determined range is determined as the extraction pattern I. For example, the image feature value (average value, etc.) determined from the histogram statistic of the 12-bit input image information is 3000
Then, since the median value of the input image information as 12 bits is 2048, the conversion coefficient is given by T =
(2 12 -3000) /2048≒0.535,
“Extraction pattern 2” is determined as an extraction pattern, and subsequent processing is performed using this pattern to generate extracted image information.
【００９６】なお、図１４に示す変換係数Ｔの範囲は、
以下のようにして設定する。例えば、取出し標準値ａを
入力画像情報ビットの中央値（２ｍ／２）とする場合に
は、画像特徴値ｘが取出し標準値ａの１倍、１／２（＝
１−１／２）倍、１／４（＝１−１／２−１／４）倍、
３／２（＝１＋１／２）倍、および７／４（＝１＋１／
２＋１／４）倍のときのＴの値に応じて取出しパターン
を割当てる。この場合、Ｔの値は上記（４）式からそれ
ぞれ１、２、４、１／２、および１／４となるので、Ｔ
＝１のときに中央部分のビット列を取出す、ということ
を基準にして、Ｔ＝１をパターン３に、Ｔ＝２をパター
ン４に、Ｔ＝４をパターン５に、Ｔ＝１／２をパターン
２に、Ｔ＝１／４をパターン１に割当てる。The range of the conversion coefficient T shown in FIG.
Set as follows. For example, when the extraction standard value a is set to the median value (2 m / 2) of the input image information bits, the image characteristic value x is one time of the extraction standard value a, 1/2 (=
1-1 / 2) times, 1/4 (= 1-1-2 / 4) times,
3/2 (= 1 + 1/2) times, and 7/4 (= 1 + 1 /
An extraction pattern is assigned according to the value of T at the time of (2 + ／) times. In this case, the value of T becomes 1, 2, 4, 1/2, and 1/4 from the above equation (4), respectively.
T = 1 is taken as a pattern 3, T = 2 as a pattern 4, T = 4 as a pattern 5, and T = 1/2 as a pattern 2 and T = 1/4 is assigned to pattern 1.
【００９７】そして、パターンを切り替えるＴの値を、
パターン１とパターン２との切換ではそれらの中間値、
この場合は（１／４＋１／２）／２＝３／８に設定す
る。同様に、パターン２とパターン３との切換では、
（１／２＋１）／２＝３／４に設定し、パターン３とパ
ターン４との切換では、（１＋２）／２＝３／２に設定
し、パターン４とパターン５との切換では、（２＋４）
／２＝３に設定する。このように、中間値をパターンが
変わるポイントとして、実際に求めるＴの値が、これら
のどの部分に属するかによって、取出しパターンを決定
する。Then, the value of T for switching the pattern is
When switching between pattern 1 and pattern 2, their intermediate values,
In this case, (１ ／ +＋ １) / 2 = 3/8 is set. Similarly, in switching between pattern 2 and pattern 3,
(1/2 + 1) / 2 = 3/4, (1 + 2) / 2 = 3/2 for switching between pattern 3 and pattern 4, and (2 + 4) for switching between pattern 4 and pattern 5 )
/ 2 = 3. As described above, the extraction pattern is determined based on which portion of the value of T actually obtained belongs to the intermediate value as a point at which the pattern changes.
【００９８】以上のように、本実施の形態によれば、ｍ
（例えばｍ＝１２）ビットの広ＤＲを持つ画像情報から
ヒストグラムを算出し、そのヒストグラムの統計情報に
基づいてｎ（例えばｎ＝８）ビットのＤＲを持つ画像情
報を取出して画像処理するようにしたので、様々なシー
ンに対応して画像情報を取出して、その取り出された部
分の階調を出力系のＤＲに対して適切に再現でき、全体
として違和感のない画像を再現することができる。As described above, according to the present embodiment, m
A histogram is calculated from image information having a wide DR (for example, m = 12) bits, and image information having a DR of n (for example, n = 8) bits is extracted based on the statistical information of the histogram to perform image processing. As a result, image information can be extracted corresponding to various scenes, and the tones of the extracted portion can be appropriately reproduced with respect to the DR of the output system, so that an image having no unnatural feeling as a whole can be reproduced.
【００９９】本発明のさらに他の実施形態では、以上の
各実施形態あるいは変形例で説明した画像情報の取出し
動作、およびその取出した画像情報に対する画像処理動
作を実行するためのプログラムを記録媒体に記録してお
き、電子カメラ等の画像処理装置には記録媒体のドライ
バを付設して、記録媒体に記録されいてるプログラムを
ドライバを介して画像処理装置の動作を制御するための
コンピュータ（例えば、図１のＣＰＵ８）で読み取って
実行するようにすることもできる。In still another embodiment of the present invention, a program for executing the image information fetching operation and the image processing operation for the fetched image information described in each of the above embodiments and modifications is recorded on a recording medium. An image processing apparatus such as an electronic camera is provided with a recording medium driver, and a program recorded on the recording medium is controlled by a computer for controlling the operation of the image processing apparatus via the driver (for example, FIG. The first CPU 8) can read and execute the data.
【０１００】なお、本発明は上記実施の形態にのみ限定
されるものではなく、幾多の変形または変更が可能であ
る。例えば、第１実施の形態では、１２ビットの広ＤＲ
の画像情報から１０ビットの画像情報を取出すようにし
たが、例えば図９において、トーンカーブ設定回路５４
にＣＰＵ８から８ビットに対応する取出しビット制御情
報ｋｋを供給することにより、１０ビットの画像情報を
さらに８ビットの画像情報として出力するようにするこ
ともできる。また、第１実施の形態では、露光量の異な
る二つの画像情報を合成して広ＤＲの画像情報を生成す
るようにしたが、露光量の異なる三つ以上の画像情報を
合成して広ＤＲの画像情報を生成するようにすることも
できる。さらに、本発明は電子カメラに限らず、画像処
理を行う各種の画像処理装置に有効に適用することがで
きる。Note that the present invention is not limited to the above-described embodiment, and various modifications or changes can be made. For example, in the first embodiment, a 12-bit wide DR
The 10-bit image information is extracted from the image information of the tone curve setting circuit 54 shown in FIG.
By supplying the extracted bit control information kk corresponding to 8 bits from the CPU 8, the 10-bit image information can be further output as 8-bit image information. Further, in the first embodiment, the wide DR image information is generated by combining two pieces of image information having different exposure amounts. However, the wide DR image information is synthesized by combining three or more pieces of image information having different exposure amounts. May be generated. Further, the present invention is not limited to an electronic camera, and can be effectively applied to various image processing apparatuses that perform image processing.
【０１０１】[0101]
【発明の効果】以上のように、本発明によれば、ｍビッ
トのＤＲを持つ画像情報から所定の条件に基づいてｎビ
ット（ｍ≧ｎ）のＤＲを持つ画像情報を取出して画像処
理するようにしたので、ＤＲの広い画像情報における主
要被写体が比較的暗い部分や明るい部分に存在していて
も、ＤＲの異なる出力系において適切に階調を再現で
き、かつ全体として違和感のない画像を再現することが
できる。As described above, according to the present invention, image information having DR of n bits (m.gtoreq.n) is extracted from image information having DR of m bits and image processing is performed based on predetermined conditions. Therefore, even if the main subject in the image information with a wide DR exists in a relatively dark or bright portion, it is possible to appropriately reproduce the gradation in an output system with a different DR, and generate an image that does not give a sense of incongruity as a whole. Can be reproduced.
【図１】 本発明の第１実施の形態における電子カメラ
の基本的な構成を示すブロック図である。FIG. 1 is a block diagram illustrating a basic configuration of an electronic camera according to a first embodiment of the present invention.
【図２】 図１に示したカメラ情報処理回路の要部の構
成を示すブロック図である。FIG. 2 is a block diagram showing a configuration of a main part of the camera information processing circuit shown in FIG.
【図３】 画像情報の合成処理を説明するための図であ
る。FIG. 3 is a diagram illustrating a process of synthesizing image information.
【図４】 図２に示した合成情報取出し処理回路の要部
の構成を示すブロック図である。FIG. 4 is a block diagram illustrating a configuration of a main part of a combined information extraction processing circuit illustrated in FIG. 2;
【図５】 図４に示した合成情報取出し処理回路の動作
を示すフローチャートである。FIG. 5 is a flowchart showing the operation of the combined information extraction processing circuit shown in FIG. 4;
【図６】 同じく、動作を示すフローチャートである。FIG. 6 is a flowchart showing the operation.
【図７】 同じく、動作を説明するための各取出しパタ
ーン候補に対応する黒つぶれ閾値、白とび閾値および取
出しゲイン係数の例を示す図である。FIG. 7 is a diagram showing an example of an underexposure threshold, an overexposure threshold, and an extraction gain coefficient corresponding to each extraction pattern candidate for explaining the operation.
【図８】 同じく、動作を説明するための取出しパター
ンおよび対応する取出し画像情報のイメージ例を示す図
である。FIG. 8 is also a diagram showing an example of an extraction pattern for explaining the operation and corresponding extracted image information.
【図９】 図２に示した取出し画像処理回路の要部の構
成を示すブロック図である。FIG. 9 is a block diagram illustrating a configuration of a main part of the extracted image processing circuit illustrated in FIG. 2;
【図１０】 本発明の第２実施の形態における図１に示
したカメラ情報処理回路の要部の構成を示すブロック図
である。FIG. 10 is a block diagram illustrating a configuration of a main part of a camera information processing circuit illustrated in FIG. 1 according to a second embodiment of the present invention.
【図１１】 図１０に示した画像情報取出し処理回路の
要部の構成を示すブロック図である。11 is a block diagram illustrating a configuration of a main part of the image information extraction processing circuit illustrated in FIG. 10;
【図１２】 図１１に示したヒストグラム算出回路の動
作を説明するための図である。12 is a diagram for explaining the operation of the histogram calculation circuit shown in FIG.
【図１３】 図１１に示した取出しパターン決定回路の
動作を示すフローチャートである。13 is a flowchart showing the operation of the extraction pattern determination circuit shown in FIG.
【図１４】 同じく、動作を説明するための各取出しパ
ターン候補に対応する取出しビット列および変換係数を
示す図である。FIG. 14 is a diagram showing a fetched bit string and a conversion coefficient corresponding to each fetching pattern candidate for explaining the operation.
６ カメラ情報処理回路 ８ ＣＰＵ ２１ カメラプロセス前処理回路 ２２ 第１スイッチ ２３ 単一画像処理回路 ２４ 第２スイッチ ２５ カメラプロセス後処理回路 ２６ 長時間露光（ＬＥ）画像情報バッファ ２７ 短時間露光（ＳＥ）画像情報バッファ ２８ 乗算器 ２９ ＳＥ画像情報ゲイン算出回路 ３０ 画像情報合成回路 ３１ 合成情報取出し処理回路 ３２ 取出し画像処理回路 ４１ 輝度情報検出回路 ４２ 取出しパターン決定回路 ４３ 取出し画像情報変換回路 ５１ 輝度情報検出回路 ５２ 輝度エッジ情報検出回路 ５３ エッジヒストグラム算出回路 ５４ トーンカーブ設定回路 ５５ 画像情報階調変換回路 ６１ 画像情報取出し処理回路 ６２ 取出し画像処理回路 ７１ 輝度情報検出回路 ７２ ヒストグラム算出回路 ７３ ヒストグラム統計量算出回路 ７４ 取出しパターン決定回路 ７５ 取出し画像情報変換回路 Reference Signs List 6 camera information processing circuit 8 CPU 21 camera process preprocessing circuit 22 first switch 23 single image processing circuit 24 second switch 25 camera process postprocessing circuit 26 long exposure (LE) image information buffer 27 short exposure (SE) Image information buffer 28 Multiplier 29 SE image information gain calculation circuit 30 Image information synthesis circuit 31 Synthetic information extraction processing circuit 32 Extracted image processing circuit 41 Luminance information detection circuit 42 Extraction pattern determination circuit 43 Extracted image information conversion circuit 51 Luminance information detection circuit 52 luminance edge information detection circuit 53 edge histogram calculation circuit 54 tone curve setting circuit 55 image information gradation conversion circuit 61 image information extraction processing circuit 62 extracted image processing circuit 71 luminance information detection circuit 72 histogram calculation circuit 73 histogram statistics Detection circuit 74 is taken out pattern determination circuit 75 is taken out image information converting circuit
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE08 CE11 DA17 DB02 DB09 DC23 5C021 PA53 PA56 PA76 PA77 PA80 PA87 XA31 XA35 5C022 AB01 AC01 AC41 AC69 5C077 LL19 MM03 PP15 PP43 PP46 PP55 PP61 PQ08 PQ19 PQ20 RR06 SS01 TT09 ──────────────────────────────────────────────────続 き Continued on front page F-term (reference) PP61 PQ08 PQ19 PQ20 RR06 SS01 TT09
Claims (12)
像情報から所定の条件に基づいてｎビット（ｍ≧ｎ）の
ダイナミックレンジを持つ画像情報を取出す情報取出し
部と、 該情報取出し部によって取り出された画像情報に対して
画像処理を行う画像処理部と、 を有することを特徴とする画像処理装置。1. An information extracting unit for extracting image information having an n-bit (m ≧ n) dynamic range from image information having an m-bit dynamic range based on a predetermined condition, and an information extracting unit extracting the image information. An image processing device comprising: an image processing unit that performs image processing on image information.
像情報から所定の条件に基づいてｎビット（ｍ≧ｎ）の
ダイナミックレンジを持つ画像情報を取出す情報取出し
部と、 該情報取出し部によって取り出された画像情報に対して
画像処理を行ってｐビット（ｎ≧ｐ）のダイナミックレ
ンジを持つ画像情報を出力する画像処理部と、 を有することを特徴とする画像処理装置。2. An information extracting unit for extracting image information having a dynamic range of n bits (m ≧ n) from image information having a dynamic range of m bits based on a predetermined condition, and an information extracting unit extracting the image information. An image processing device, comprising: an image processing unit that performs image processing on image information and outputs image information having a dynamic range of p bits (n ≧ p).
イナミックレンジを持つ画像情報に対して、画像情報が
第１の所定値以下となる画素または前記第ｌの所定値よ
り大きい第２の所定値以上となる画素を検出し、検出さ
れた画素を除去した状態でｎビットのダイナミックレン
ジを持つ画像情報を取出すことを特徴とする請求項１ま
たは２に記載の画像処理装置。3. The information extracting section according to claim 1, wherein said image information having a dynamic range of m bits is a pixel whose image information is equal to or less than a first predetermined value or a second predetermined value which is larger than said first predetermined value. 3. The image processing apparatus according to claim 1, wherein a pixel having a value greater than or equal to a value is detected, and image information having an n-bit dynamic range is extracted with the detected pixel removed.
イナミックレンジを持つ画像情報からｎビットのダイナ
ミックレンジを持つ画像情報を取出す場合に存在する複
数の取出しパターン候補についてそれぞれ評価値を設定
し、これら評価値に基づいて取出しパターンを決定し
て、その決定された取出しパターンに基づいてｎビット
のダイナミックレンジを持つ画像情報を取出すことを特
徴とする請求項１または２に記載の画像処理装置。4. The information extracting unit sets an evaluation value for each of a plurality of extraction pattern candidates existing when extracting image information having an n-bit dynamic range from the image information having the m-bit dynamic range, 3. The image processing apparatus according to claim 1, wherein a takeout pattern is determined based on the evaluation values, and image information having an n-bit dynamic range is taken out based on the determined takeout pattern.
ｍビットのダイナミックレンジを持つ画像情報の最上位
ビットからｎビット分連続するビット列を取出す第１パ
ターン候補、該第１パターン候補を１ビット右にシフト
させてｎビット分連続するビット列を取出す第２パター
ン候補、と続き、前記ｍビットのダイナミックレンジを
持つ画像情報の最下位ビットまでのｎビット分連続する
ビット列を取出す最終パターン候補を含む、（ｍ−ｎ＋
１）個の取出しパターン候補からなることを特徴とする
請求項４に記載の画像処理装置。5. The plurality of extracted pattern candidates are: a first pattern candidate for extracting a bit sequence that is n bits continuous from the most significant bit of the image information having the m-bit dynamic range; A second pattern candidate for extracting an n-bit continuous bit sequence by shifting to a final pattern candidate for extracting an n-bit continuous bit sequence up to the least significant bit of the image information having the m-bit dynamic range. (Mn +
5. The image processing apparatus according to claim 4, wherein the image processing apparatus comprises 1) extraction pattern candidates.
て、各取出しパターン候補に対応して暗部を示す所定値
および明部を示す所定値を設定し、前記各取出しパター
ン候補により前記ｍビットのダイナミックレンジを持つ
画像情報を参照して、画像情報が前記暗部を示す所定値
以下となる画素の数または前記明部を示す所定値以上と
なる画素の数を前記評価値とし、該評価値が最小となる
取出しパターン候補を取出しパターンとして決定するこ
とを特徴とする請求項４に記載の画像処理装置。6. A predetermined value indicating a dark part and a predetermined value indicating a light part are set for each of the plurality of extraction pattern candidates, and the m-bit dynamic range is set by each of the extraction pattern candidates. With reference to the image information possessed, the number of pixels whose image information is equal to or less than a predetermined value indicating the dark part or the number of pixels equal to or more than the predetermined value indicating the light part is set as the evaluation value, and the evaluation value is minimized The image processing apparatus according to claim 4, wherein the extraction pattern candidate is determined as an extraction pattern.
イナミックレンジを持つ画像情報からヒストグラムを算
出し、該ヒストグラムの統計情報に基づいて前記ｎビッ
トのダイナミックレンジを持つ画像情報を取出すことを
特徴とする請求項１または２に記載の画像処理装置。7. The information extracting unit calculates a histogram from the image information having the m-bit dynamic range, and extracts the image information having the n-bit dynamic range based on the statistical information of the histogram. The image processing apparatus according to claim 1 or 2, wherein
は、平均値、標準偏差、最頻値、中央値、の少なくとも
一つを含むことを特徴とする請求項７に記載の画像処理
装置。8. The image processing apparatus according to claim 7, wherein the statistical information of the histogram of the image information includes at least one of an average value, a standard deviation, a mode value, and a median value.
つ画像情報は、同一シーンについて露光時間の異なるｍ
ビットより小さいダイナミックレンジを持つ複数の画像
情報を合成することにより生成されることを特徴とする
請求項１または２に記載の画像処理装置。9. The image information having the m-bit dynamic range includes m image data having different exposure times for the same scene.
3. The image processing apparatus according to claim 1, wherein the image processing apparatus is generated by combining a plurality of pieces of image information having a dynamic range smaller than a bit.
によって取り出された画像情報に基づいて階調特性を求
め、該階調特性により階調を変換する階調変換処理部を
含むことを特徴とする請求項１または２に記載の画像処
理装置。10. The image processing unit according to claim 1, further comprising: a gradation conversion processing unit that obtains a gradation characteristic based on the image information extracted by the information extraction unit and converts the gradation based on the gradation characteristic. The image processing apparatus according to claim 1 or 2, wherein
コンピュータに、 ｍビットのダイナミックレンジを持つ画像情報から所定
の条件に基づいてｎビット（ｍ≧ｎ）のダイナミックレ
ンジを持つ画像情報を取出す情報取出し機能と、その取
り出された画像情報に対して画像処理を行う画像処理機
能と、 を実現させるための画像処理プログラムを記録した記録
媒体。11. A computer for controlling the operation of an image processing apparatus extracts image information having an n-bit (m ≧ n) dynamic range from image information having an m-bit dynamic range based on a predetermined condition. A recording medium storing an image processing program for realizing an information extracting function and an image processing function of performing image processing on the extracted image information.
コンピュータに、 ｍビットのダイナミックレンジを持つ画像情報から所定
の条件に基づいてｎビット（ｍ≧ｎ）のダイナミックレ
ンジを持つ画像情報を取出す情報取出し機能と、 その取り出された画像情報に対して画像処理を行ってｐ
ビット（ｎ≧ｐ）のダイナミックレンジを持つ画像情報
を出力する画像処理機能と、 を実現させるための画像処理プログラムを記録した記録
媒体。12. A computer for controlling the operation of an image processing apparatus extracts image information having a dynamic range of n bits (m ≧ n) based on predetermined conditions from image information having a dynamic range of m bits. An information extraction function and image processing for the extracted image information
A recording medium for recording an image processing function for outputting image information having a dynamic range of bits (n ≧ p), and an image processing program for realizing:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001016466A JP2002223355A (en) | 2001-01-25 | 2001-01-25 | Image processor and recording medium with image processing program recorded thereon |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001016466A JP2002223355A (en) | 2001-01-25 | 2001-01-25 | Image processor and recording medium with image processing program recorded thereon |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002223355A true JP2002223355A (en) | 2002-08-09 |
Family
ID=18882834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001016466A Pending JP2002223355A (en) | 2001-01-25 | 2001-01-25 | Image processor and recording medium with image processing program recorded thereon |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002223355A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007020071A (en) * | 2005-07-11 | 2007-01-25 | Casio Comput Co Ltd | Imaging apparatus, imaging method, and program |
| JP2007336419A (en) * | 2006-06-19 | 2007-12-27 | Matsushita Electric Ind Co Ltd | Luminance conversion apparatus |
| JP2009527059A (en) * | 2006-02-14 | 2009-07-23 | フォトネーション アイルランド リミテッド | Image blur processing |
| JP2010225047A (en) * | 2009-03-25 | 2010-10-07 | Seiko Epson Corp | Noise component removing device, and medium with noise component removing program recorded thereon |
| JP2010239610A (en) * | 2009-03-13 | 2010-10-21 | Omron Corp | Image processing device and image processing method |
| US8170350B2 (en) | 2004-08-16 | 2012-05-01 | DigitalOptics Corporation Europe Limited | Foreground/background segmentation in digital images |
| US8175385B2 (en) | 2004-08-16 | 2012-05-08 | DigitalOptics Corporation Europe Limited | Foreground/background segmentation in digital images with differential exposure calculations |
| JP2018097897A (en) * | 2018-02-08 | 2018-06-21 | 株式会社ニコン | Image processing apparatus and image processing program |
| JP2019062286A (en) * | 2017-09-25 | 2019-04-18 | 株式会社 日立産業制御ソリューションズ | Imaging apparatus |
-
2001
- 2001-01-25 JP JP2001016466A patent/JP2002223355A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8170350B2 (en) | 2004-08-16 | 2012-05-01 | DigitalOptics Corporation Europe Limited | Foreground/background segmentation in digital images |
| US8175385B2 (en) | 2004-08-16 | 2012-05-08 | DigitalOptics Corporation Europe Limited | Foreground/background segmentation in digital images with differential exposure calculations |
| JP2007020071A (en) * | 2005-07-11 | 2007-01-25 | Casio Comput Co Ltd | Imaging apparatus, imaging method, and program |
| JP4544064B2 (en) * | 2005-07-11 | 2010-09-15 | カシオ計算機株式会社 | Imaging apparatus, imaging method, and program |
| JP2009527059A (en) * | 2006-02-14 | 2009-07-23 | フォトネーション アイルランド リミテッド | Image blur processing |
| JP2007336419A (en) * | 2006-06-19 | 2007-12-27 | Matsushita Electric Ind Co Ltd | Luminance conversion apparatus |
| JP4550016B2 (en) * | 2006-06-19 | 2010-09-22 | パナソニック株式会社 | Brightness converter |
| JP2010239610A (en) * | 2009-03-13 | 2010-10-21 | Omron Corp | Image processing device and image processing method |
| JP2010225047A (en) * | 2009-03-25 | 2010-10-07 | Seiko Epson Corp | Noise component removing device, and medium with noise component removing program recorded thereon |
| JP2019062286A (en) * | 2017-09-25 | 2019-04-18 | 株式会社 日立産業制御ソリューションズ | Imaging apparatus |
| JP2018097897A (en) * | 2018-02-08 | 2018-06-21 | 株式会社ニコン | Image processing apparatus and image processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4934326B2 (en) | Image processing apparatus and processing method thereof | |
| US7023580B2 (en) | System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines | |
| JP4240023B2 (en) | Imaging apparatus, imaging method and imaging program, and image processing apparatus, image processing method and image processing program | |
| JP4218723B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP4163353B2 (en) | Image processing device | |
| JP3668014B2 (en) | Image processing method and apparatus | |
| JP5761946B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP5665436B2 (en) | Image processing apparatus, image processing method, and program | |
| CN100366052C (en) | Image processing device and method | |
| WO2003013129A1 (en) | Image pickup apparatus and image pickup method | |
| JP2008104009A (en) | Imaging apparatus and method | |
| JP5672796B2 (en) | Image processing apparatus and image processing method | |
| JP4479527B2 (en) | Image processing method, image processing apparatus, image processing program, and electronic camera | |
| JP4639037B2 (en) | Image processing method and apparatus | |
| JP5804857B2 (en) | Image processing apparatus, image processing method, and program | |
| CN110047060B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
| JP2015154102A (en) | Image processing apparatus and method, image processing program, imaging device | |
| JP5911525B2 (en) | Image processing apparatus and method, image processing program, and imaging apparatus | |
| JP2008148180A (en) | Imaging apparatus, image processing device and method, and computer program | |
| JP2004007202A (en) | Image processor | |
| US20080131007A1 (en) | Image Coding Method and Image Coding Device | |
| JP2002223355A (en) | Image processor and recording medium with image processing program recorded thereon | |
| JP2006080942A (en) | Image processing apparatus, image processing program, image processing method, and imaging apparatus | |
| JPH10262182A (en) | Image synthesizer | |
| JP2002369075A (en) | Image pickup unit, picture processor, image pickup program and picture processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091117 |