JP5800970B2 - Image processing apparatus, imaging apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, imaging apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP5800970B2 JP5800970B2 JP2014175411A JP2014175411A JP5800970B2 JP 5800970 B2 JP5800970 B2 JP 5800970B2 JP 2014175411 A JP2014175411 A JP 2014175411A JP 2014175411 A JP2014175411 A JP 2014175411A JP 5800970 B2 JP5800970 B2 JP 5800970B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- edge enhancement
- image
- reduction
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 364
- 238000003384 imaging method Methods 0.000 title claims description 12
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 169
- 230000008569 process Effects 0.000 claims description 151
- 238000012937 correction Methods 0.000 claims description 129
- 230000009467 reduction Effects 0.000 claims description 104
- 230000003287 optical effect Effects 0.000 claims description 25
- 238000011946 reduction process Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 description 55
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000006837 decompression Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 238000011161 development Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
本発明は、画像データに対して歪補正を行う技術に関する。 The present invention relates to a technique for performing distortion correction on image data.
デジタルカメラでは、撮影により得られたＲＡＷデータに対して色再現やエッジ強調といった画像処理を行うことによって、見た目の印象に近い画像が撮影できる。また、レンズの光学特性に起因する歪や色収差を補正するための画像処理を行うことによって、歪や色収差の少ない画像を撮影できるカメラが知られている。特許文献１には、レンズの特性に合わせて画像データを部分的に拡大・縮小することによって、歪補正を行う画像処理装置が開示されている。
With a digital camera, an image close to the visual impression can be taken by performing image processing such as color reproduction and edge enhancement on the RAW data obtained by photographing. In addition, there is known a camera that can capture an image with less distortion and chromatic aberration by performing image processing for correcting distortion and chromatic aberration caused by optical characteristics of the lens.
しかしながら、歪補正後の画像では、部分的に拡大された箇所のコントラストが他の箇所のコントラストに比べて低下するという問題があった。 However, the image after distortion correction has a problem that the contrast of a partially enlarged portion is lower than the contrast of other portions.
本発明は、上述した問題に鑑みてなされたものであり、レンズの光学歪特性に応じた歪を補正するとともに、歪補正後の画像における部分的なコントラストの低下を抑制する技術を提供することを目的とする。 The present invention has been made in view of the above-described problems, and provides a technique for correcting distortion according to the optical distortion characteristics of a lens and suppressing partial reduction in contrast in an image after distortion correction. With the goal.
本発明のある態様に係る画像処理装置は、画像データに対して、撮影時に使用したレンズの光学歪特性に応じた局所的な拡大処理または縮小処理を行うことによって、歪を補正する歪補正処理を施す歪補正部と、前記画像データに対して、エッジ強調処理を施すエッジ強調部と、前記局所的な拡大処理または縮小処理に応じて、前記画像データに対するエッジ強調処理を変更する制御部と、を備え、前記制御部は、前記歪補正処理および前記エッジ強調処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、同一の周波数帯域のエッジを強調し、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御し、前記局所的な拡大処理または縮小処理における局所的な拡大率および縮小率と、最終的に必要とされる画像サイズへ画像データを拡大または縮小する際のリサイズ率との積の最大値が所定のしきい値以下の場合には、前記エッジ強調処理を変更する処理は行わない。
本発明の別の態様に係る撮像装置は、画像データに対して、撮影時に使用したレンズの光学歪特性に応じた局所的な拡大処理または縮小処理を行うことによって、歪を補正する歪補正処理を施す歪補正部と、前記画像データに対して、エッジ強調処理を施すエッジ強調部と、前記局所的な拡大処理または縮小処理に応じて、前記画像データに対するエッジ強調処理を変更する制御部と、を備え、前記制御部は、前記歪補正処理および前記エッジ強調処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、同一の周波数帯域のエッジを強調し、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御する画像処理装置と、撮影レンズの周波数に応じたコントラスト特性を記憶する記憶部と、を備えた撮像装置であって、前記制御部は、前記記憶部に記憶されているコントラスト特性に応じて、前記エッジ強調処理を施す周波数帯域を変更し、静止画撮影時は、前記エッジ強調処理を施す周波数帯域とともに、エッジを強調する度合いを示すエッジ強調度を変更する処理を行い、動画撮影時は、前記エッジ強調処理を施す周波数帯域を変更する処理および前記エッジ強調度を変更する処理のうちのいずれか一方の処理を行う。
An image processing apparatus according to an aspect of the present invention performs distortion correction processing for correcting distortion by performing local enlargement processing or reduction processing according to the optical distortion characteristics of a lens used at the time of photographing on image data. A distortion correcting unit that performs edge enhancement on the image data, and a control unit that changes edge enhancement on the image data in accordance with the local enlargement or reduction process. The control unit emphasizes edges in the same frequency band in the image after the distortion correction processing and the edge enhancement processing according to the local enlargement processing or reduction processing, and provides partial contrast. and a reduction of suppression to control so as to approach uniform contrast, the local magnification and reduction ratio in the local enlargement processing or reduction processing, and finally If the maximum value of the product of the resizing ratio when enlarging or reducing the image data to an image size that is essential is less than a predetermined threshold, the process of changing the edge enhancement process is not performed.
An imaging apparatus according to another aspect of the present invention performs distortion correction processing for correcting distortion by performing local enlargement processing or reduction processing according to the optical distortion characteristics of a lens used at the time of imaging on image data. A distortion correcting unit that performs edge enhancement on the image data, and a control unit that changes edge enhancement on the image data in accordance with the local enlargement or reduction process. The control unit emphasizes edges in the same frequency band in the image after the distortion correction processing and the edge enhancement processing according to the local enlargement processing or reduction processing, and provides partial contrast. An image processing apparatus that controls the contrast so that the contrast is made close to uniform, and a storage unit that stores contrast characteristics according to the frequency of the photographing lens In the imaging apparatus, the control unit changes a frequency band on which the edge enhancement processing is performed according to a contrast characteristic stored in the storage unit, and the frequency at which the edge enhancement processing is performed during still image shooting. In addition to the band, a process for changing the edge enhancement degree indicating the degree of edge enhancement is performed. Either of these processes is performed.
本発明の別の態様に係る画像処理装置は、画像データに対して、撮影時に使用したレンズの光学歪特性に応じた局所的な拡大処理または縮小処理を行うことによって、歪を補正する歪補正処理を施す歪補正部と、前記歪補正処理後の画像データに対して、エッジ強調処理を施すエッジ強調部と、前記局所的な拡大処理または縮小処理に応じて、前記歪補正処理を施した画像データに対するエッジ強調処理を変更する制御部と、を備え、前記制御部は、前記歪補正処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御し、前記局所的な拡大処理または縮小処理における局所的な拡大率および縮小率と、最終的に必要とされる画像サイズへ画像データを拡大または縮小する際のリサイズ率との積の最大値が所定のしきい値以下の場合には、前記エッジ強調処理を変更する処理は行わない。
本発明の別の態様に係る撮像装置は、画像データに対して、撮影時に使用したレンズの光学歪特性に応じた局所的な拡大処理または縮小処理を行うことによって、歪を補正する歪補正処理を施す歪補正部と、前記歪補正処理後の画像データに対して、エッジ強調処理を施すエッジ強調部と、前記局所的な拡大処理または縮小処理に応じて、前記歪補正処理を施した画像データに対するエッジ強調処理を変更する制御部と、を備え、前記制御部は、前記歪補正処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御する画像処理装置と、撮影レンズの周波数に応じたコントラスト特性を記憶する記憶部と、を備えた撮像装置であって、前記制御部は、前記記憶部に記憶されているコントラスト特性に応じて、前記エッジ強調処理を施す周波数帯域を変更し、静止画撮影時は、前記エッジ強調処理を施す周波数帯域とともに、エッジを強調する度合いを示すエッジ強調度を変更する処理を行い、動画撮影時は、前記エッジ強調処理を施す周波数帯域を変更する処理および前記エッジ強調度を変更する処理のうちのいずれか一方の処理を行う。
An image processing apparatus according to another aspect of the present invention is a distortion correction that corrects distortion by performing local enlargement processing or reduction processing on image data according to the optical distortion characteristics of a lens used at the time of shooting. A distortion correction unit that performs processing, an edge enhancement unit that performs edge enhancement processing on the image data after the distortion correction processing, and the distortion correction processing according to the local enlargement processing or reduction processing A control unit that changes edge enhancement processing on the image data, and the control unit reduces a partial contrast in the image after the distortion correction processing according to the local enlargement processing or reduction processing. by suppressing, controlled to close uniformly contrast, image and local magnification and reduction ratio in the local enlargement processing or reduction processing, to the image size eventually needed If the maximum value of the product of the resizing ratio when enlarging or reducing the data is less than a predetermined threshold value, it does not perform the process for changing the edge enhancement processing.
An imaging apparatus according to another aspect of the present invention performs distortion correction processing for correcting distortion by performing local enlargement processing or reduction processing according to the optical distortion characteristics of a lens used at the time of imaging on image data. A distortion correction unit that performs image processing, an edge enhancement unit that performs edge enhancement processing on the image data after the distortion correction processing, and an image that has undergone the distortion correction processing according to the local enlargement processing or reduction processing A control unit that changes edge enhancement processing on data, and the control unit suppresses partial reduction in contrast in the image after the distortion correction processing according to the local enlargement processing or reduction processing. An image processing apparatus including an image processing apparatus that controls the contrast so as to approach the uniform and a storage unit that stores a contrast characteristic according to the frequency of the photographing lens. The unit changes the frequency band to which the edge enhancement processing is performed according to the contrast characteristics stored in the storage unit, and the degree of edge enhancement together with the frequency band to which the edge enhancement processing is performed during still image shooting In the moving image shooting, one of a process for changing the frequency band to which the edge enhancement process is performed and a process for changing the edge enhancement degree are performed.
本発明のさらに別の態様に係る画像処理方法は、画像データに対して、撮影時に使用したレンズの光学歪特性に応じた局所的な拡大処理または縮小処理を行うことによって、歪を補正する歪補正処理を施すステップと、前記画像データに対して、エッジ強調処理を施すステップと、前記局所的な拡大処理または縮小処理に応じて、前記画像データに対するエッジ強調処理を変更するステップと、を備え、前記エッジ強調処理を変更するステップでは、前記歪補正処理および前記エッジ強調処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、同一の周波数帯域のエッジを強調し、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御し、前記局所的な拡大処理または縮小処理における局所的な拡大率および縮小率と、最終的に必要とされる画像サイズへ画像データを拡大または縮小する際のリサイズ率との積の最大値が所定のしきい値以下の場合には、前記エッジ強調処理を変更する処理は行わない。 According to still another aspect of the present invention, there is provided an image processing method in which distortion is corrected by performing local enlargement processing or reduction processing on image data according to the optical distortion characteristics of a lens used during shooting. Performing a correction process; performing an edge enhancement process on the image data; and changing an edge enhancement process on the image data in accordance with the local enlargement process or reduction process. In the step of changing the edge enhancement processing, in the image after the distortion correction processing and the edge enhancement processing, edges in the same frequency band are emphasized according to the local enlargement processing or reduction processing, and are partially and suppressing a decrease in a contrast control so as to approach a uniform contrast, local in the local enlargement processing or reduction processing When the maximum value of the product of the enlargement ratio and the reduction ratio and the resizing ratio when the image data is enlarged or reduced to the finally required image size is equal to or smaller than a predetermined threshold value, the edge enhancement processing The process of changing is not performed .
本発明のさらに別の態様に係る画像処理方法は、画像データに対して、撮影時に使用したレンズの光学歪特性に応じた局所的な拡大処理または縮小処理を行うことによって、歪を補正する歪補正処理を施すステップと、前記歪補正処理後の画像データに対して、エッジ強調処理を施すステップと、前記局所的な拡大処理または縮小処理に応じて、前記歪補正処理を施した画像データに対するエッジ強調処理を変更するステップと、を備え、前記エッジ強調処理を変更するステップでは、前記歪補正処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御し、前記局所的な拡大処理または縮小処理における局所的な拡大率および縮小率と、最終的に必要とされる画像サイズへ画像データを拡大または縮小する際のリサイズ率との積の最大値が所定のしきい値以下の場合には、前記エッジ強調処理を変更する処理は行わない。 According to still another aspect of the present invention, there is provided an image processing method in which distortion is corrected by performing local enlargement processing or reduction processing on image data according to the optical distortion characteristics of a lens used during shooting. Performing a correction process; performing an edge enhancement process on the image data after the distortion correction process; and applying the distortion correction process to the image data subjected to the distortion correction process according to the local enlargement process or reduction process A step of changing an edge enhancement process, and in the step of changing the edge enhancement process, in the image after the distortion correction process, a partial reduction in contrast according to the local enlargement process or reduction process by suppressing, controlled to close uniformly contrast, a local magnification and reduction ratio in the local enlargement processing or reduction processing, the outermost Maximum value of the product of the resizing ratio when enlarging or reducing the image data to an image size that is to require in the case of less than a predetermined threshold value, does not perform the process for changing the edge enhancement processing.
本発明のさらに別の態様に係る画像処理プログラムは、画像データに対して、撮影時に使用したレンズの光学歪特性に応じた局所的な拡大処理または縮小処理を行うことによって、歪を補正する歪補正処理を施すステップと、前記画像データに対して、エッジ強調処理を施すステップと、前記局所的な拡大処理または縮小処理に応じて、前記画像データに対するエッジ強調処理を変更するステップと、をコンピュータに実行させる。前記エッジ強調処理を変更するステップでは、前記歪補正処理および前記エッジ強調処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、同一の周波数帯域のエッジを強調し、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御し、前記局所的な拡大処理または縮小処理における局所的な拡大率および縮小率と、最終的に必要とされる画像サイズへ画像データを拡大または縮小する際のリサイズ率との積の最大値が所定のしきい値以下の場合には、前記エッジ強調処理を変更する処理は行わない。 An image processing program according to still another aspect of the present invention is a distortion correcting image by performing local enlargement processing or reduction processing according to the optical distortion characteristics of a lens used at the time of photographing on image data. Performing a correction process; performing an edge enhancement process on the image data; and changing an edge enhancement process on the image data in accordance with the local enlargement process or reduction process. To run. In the step of changing the edge enhancement process, in the image after the distortion correction process and the edge enhancement process, an edge of the same frequency band is emphasized according to the local enlargement process or reduction process, Suppressing the decrease in contrast and controlling the contrast to be uniform, the image data to the local enlargement / reduction ratio in the local enlargement / reduction process, and finally to the required image size If the maximum value of the product with the resizing ratio when enlarging or reducing the size is equal to or smaller than a predetermined threshold value, the processing for changing the edge enhancement processing is not performed.
本発明のさらに別の態様に係る画像処理プログラムは、画像データに対して、撮影時に使用したレンズの光学歪特性に応じた局所的な拡大処理または縮小処理を行うことによって、歪を補正する歪補正処理を施すステップと、前記歪補正処理後の画像データに対して、エッジ強調処理を施すステップと、前記局所的な拡大処理または縮小処理に応じて、前記歪補正処理を施した画像データに対するエッジ強調処理を変更するステップと、をコンピュータに実行させる。前記エッジ強調処理を変更するステップでは、前記歪補正処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御し、前記局所的な拡大処理または縮小処理における局所的な拡大率および縮小率と、最終的に必要とされる画像サイズへ画像データを拡大または縮小する際のリサイズ率との積の最大値が所定のしきい値以下の場合には、前記エッジ強調処理を変更する処理は行わない。 An image processing program according to still another aspect of the present invention is a distortion correcting image by performing local enlargement processing or reduction processing according to the optical distortion characteristics of a lens used at the time of photographing on image data. Performing a correction process; performing an edge enhancement process on the image data after the distortion correction process; and applying the distortion correction process to the image data subjected to the distortion correction process according to the local enlargement process or reduction process And causing the computer to execute the step of changing the edge enhancement processing. In the step of changing the edge enhancement processing, in the image after the distortion correction processing, a reduction in partial contrast is suppressed in accordance with the local enlargement processing or reduction processing so that the contrast is made closer to uniform. The maximum value of the product of the local enlargement ratio and reduction ratio in the local enlargement process or reduction process and the resizing ratio when the image data is enlarged or reduced to the finally required image size. If is less than or equal to a predetermined threshold value, the edge enhancement process is not changed.
本発明によれば、歪補正後の画像における部分的なコントラストの低下を抑制することができる。 According to the present invention, a partial reduction in contrast in an image after distortion correction can be suppressed.
＜第１の実施形態＞
図１は、第１の実施形態における画像処理装置を適用したデジタルスチルカメラの構成を示すブロック図である。図１に示すデジタルスチルカメラは、カメラ本体１と交換式レンズ２から構成される。
<First Embodiment>
FIG. 1 is a block diagram illustrating a configuration of a digital still camera to which the image processing apparatus according to the first embodiment is applied. The digital still camera shown in FIG. 1 includes a
交換式レンズ２は、レンズ１０１０と、Ｆｌａｓｈメモリ１０１１と、マイクロコンピュータ１０１２と、ドライバ１０１３と、絞り１０１４と、を有している。交換式レンズ２は、Ｉ／Ｆ９９９を介して、カメラ本体１と通信可能に接続されている。
The
カメラ本体１は、メカシャッター１０１と、撮像素子１０２と、アナログ処理部１０３と、アナログ/デジタル変換部１０４（以下、Ａ/Ｄ変換部１０４）と、バス１０５と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、画像圧縮展開部１１０と、メモリインターフェース１１１（以下、メモリＩ/Ｆ１１１）と、記録媒体１１２と、ＬＣＤドライバ１１３と、ＬＣＤ１１４と、マイクロコンピュータ１１５と、操作部１１６と、Ｆｌａｓｈメモリ１１７と、を有している。
The
レンズ１０１０は、被写体の光学像を撮像素子１０２に集光させる。レンズ１０１０は、単焦点レンズであってもよいし、ズームレンズであってもよい。
The
マイクロコンピュータ１０１２は、Ｉ／Ｆ９９９、Ｆｌａｓｈメモリ１０１１、および、ドライバ１０１３と接続されていて、Ｆｌａｓｈメモリ１０１１に記憶されている情報の読み込み・書き込みを行うとともに、ドライバ１０１３を制御する。Ｆｌａｓｈメモリ１０１１に記憶されている情報には、交換式レンズ２の焦点距離およびフォーカス位置に応じた歪特性のデータ、および、交換式レンズ２のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性のデータなどが含まれる。
The
マイクロコンピュータ１０１２は、さらに、Ｉ／Ｆ９９９を介して、マイクロコンピュータ１１５と通信することができ、様々な情報をマイクロコンピュータ１１５へ送信し、また、マイクロコンピュータ１１５から絞り値等の情報を受信する。
The
ドライバ１０１３は、マイクロコンピュータ１０１２の指示を受けて、レンズ１０１０を駆動させて、焦点距離やフォーカス位置の変更を行うとともに、絞り１０１４を駆動する。絞り１０１４は、レンズ１０１０の近傍に設けられ、被写体の光量を調節する。
In response to an instruction from the
メカシャッター１０１は、マイクロコンピュータ１１５の指示を受けて駆動し、撮像素子１０２に被写体を露光する時間を制御する。
The
撮像素子１０２は、各画素を構成するフォトダイオードの前面に、ベイヤー配列のカラーフィルタが配置された撮像素子である。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。この撮像素子１０２は、レンズ１０１０により集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量としてアナログ処理部１０３へ出力する。なお、撮像素子１０２は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。
The
アナログ処理部１０３は、撮像素子１０２から読み出された電気信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるように、ゲインアップを行う。Ａ/Ｄ変換部１０４は、アナログ処理部１０３から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。
The
バス１０５は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１０５は、Ａ/Ｄ変換部１０４と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、画像圧縮展開部１１０と、メモリＩ/Ｆ１１１と、ＬＣＤドライバ１１３と、マイクロコンピュータ１１５に接続されている。
A
Ａ/Ｄ変換部１０４から出力される画像データは、バス１０５を介して一旦ＳＤＲＡＭ１０６に記憶される。ＳＤＲＡＭ１０６は、Ａ/Ｄ変換部１０４において得られた画像データや、画像処理部１０７、画像圧縮展開部１１０において処理された画像データ等の各種データが一時的に記憶される記憶部である。
The image data output from the A /
画像処理部１０７は、オプティカルブラック減算部１０７１（以下、ＯＢ減算部１０７１）、ホワイトバランス補正部１０７２（以下、ＷＢ補正部１０７２）、同時化処理部１０７３、カラーマトリクス演算部１０７４、ガンマ・色再現処理部１０７５、エッジ強調処理部１０７６、ノイズ低減処理部１０７７（以下、ＮＲ処理部１０７７）、および、歪補正部１０７８を含み、ＳＤＲＡＭ１０６から読み出した画像データに対して様々な画像処理を施す。
The
ＯＢ減算部１０７１は、画像データに対して、オプティカルブラック減算処理（以下、ＯＢ減算処理）を行う。ＯＢ減算処理は、画像データを構成する各画素の画素値から、撮像素子１０２の暗電流等に起因するオプティカルブラック値（以下、ＯＢ値）を減算する処理である。
The
ＷＢ補正部１０７２は、画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。ホワイトバランスモードは、晴天、曇天、電球、蛍光灯などの光源に応じて、ユーザが設定可能である。
The
同時化処理部１０７３は、ベイヤー配列による画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化する処理を行う。カラーマトリクス演算部１０７４は、画像データに対して、カラーマトリクス係数を乗じる線形変換を行って、画像データの色を補正する。ガンマ・色再現処理部１０７５は、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。
The
エッジ強調処理部１０７６は、バンドパスフィルタを用いて、画像データからエッジ成分を抽出し、抽出したエッジ成分のデータに、エッジ強調度に応じた係数を乗じてから、画像データに加算することにより、画像データのエッジを強調する処理を行う。
The edge
ＮＲ処理部１０７７は、高周波を低減するフィルタを用いた処理や、コアリング処理等により、ノイズを低減する処理を行う。
The
歪補正部１０７８は、交換式レンズ２の歪特性に基づいて、画像を部分的に拡大・縮小することによって、歪を補正する処理を行う。なお、レンズの歪特性に基づいて、画像を部分的に拡大・縮小することによって歪を補正する処理は、公知の処理である。
The
画像処理部１０７によって各処理が行われた後の画像データは、ＳＤＲＡＭ１０６に記憶される。
The image data after each processing is performed by the
ＡＥ処理部１０８は、画像データから被写体輝度を算出する。被写体輝度を算出するためのデータは、専用の測光センサの出力であってもよい。ＡＦ処理部１０９は、画像データから高周波成分の信号を取り出し、ＡＦ（Auto Focus）積算処理により、合焦評価値を取得する。
The
画像圧縮展開部１１０は、静止画像データの記録時には、ＳＤＲＡＭ１０６から画像データを読み出し、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮して、圧縮したＪＰＥＧ画像データを、ＳＤＲＡＭ１０６に一旦記憶する。マイクロコンピュータ１１５は、ＳＤＲＡＭ１０６に記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、作成したＪＰＥＧファイルを、メモリＩ/Ｆ１１１を介して記録媒体１１２に記録する。
When still image data is recorded, the image compression /
画像圧縮展開部１１０は、また、動画データの記録時には、ＳＤＲＡＭ１０６から動画データを読み出し、読み出した動画データを、例えば、Ｈ．２６４方式に従って圧縮して、圧縮した動画データをＳＤＲＡＭ１０６に一旦記憶する。画像圧縮展開部１１０は、さらに、マイクロコンピュータ１１５からの指令に基づいて、圧縮データを展開（伸長）する処理を行う。
The image compressing /
記録媒体１１２は、例えばカメラ本体１に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。
The
ＬＣＤドライバ１１３は、ＬＣＤ１１４に画像を表示させる。画像の表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体１１２に記録されたＪＰＥＧファイルの再生表示、および、ライブビュー表示等の動画の表示が含まれる。記録媒体１１２に記録された圧縮データを再生する場合、画像圧縮展開部１１０は、記録媒体１１２に記録されている圧縮データを読み出して展開（伸長）処理を施した上で、展開したデータを一旦ＳＤＲＡＭ１０６に記憶させる。ＬＣＤドライバ１１３は、伸張されたデータをＳＤＲＡＭ１０６から読み出し、読み出したデータを映像信号へ変換した後でＬＣＤ１１４へ出力して表示を行う。
The
制御部としての機能を有するマイクロコンピュータ１１５は、デジタルカメラ本体１の各種シーケンスを統括的に制御する。マイクロコンピュータ１１５には、操作部１１６およびＦｌａｓｈメモリ１１７が接続されている。
The
操作部１１６は、電源ボタン、レリーズボタン、動画ボタン、各種入力キー等の操作部材である。ユーザによって、操作部１１６の何れかの操作部材が操作されることにより、マイクロコンピュータ１１５は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されると、当該デジタルカメラの電源がオンとなる。再度、電源ボタンが押されると当該デジタルカメラの電源はオフとなる。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、撮影シーケンスを実行して撮影を行う。
The
動画ボタンは、動画の撮影を開始させ、また終了させるためのボタンである。初期状態では動画未撮影状態であるので、この状態で動画ボタンを押すと動画の撮影を開始し、動画撮影中に動画ボタンを押すと、動画の撮影を終了する。従って、動画ボタンを押すたびに、動画の撮影開始と終了を交互に繰り返す。 The movie button is a button for starting and ending movie shooting. Since the moving image is not yet shot in the initial state, when the moving image button is pressed in this state, moving image shooting starts. When the moving image button is pressed during moving image shooting, moving image shooting ends. Therefore, each time the moving image button is pressed, the start and end of moving image shooting are repeated alternately.
Ｆｌａｓｈメモリ１１７は、ホワイトバランスモードに応じたホワイトバランスゲインやカラーマトリクス係数、ローパスフィルタ係数等のデジタルカメラの動作に必要な各種パラメータ、および、デジタルスチルカメラを特定するための製造番号などを記憶している。また、Ｆｌａｓｈメモリ１１７は、マイクロコンピュータ１１５にて実行する各種プログラムも記憶している。マイクロコンピュータ１１５は、Ｆｌａｓｈメモリ１１７に記憶されているプログラムに従い、またＦｌａｓｈメモリ１１７から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。
The
図２は、第１の実施形態に係る画像処理装置を適用したデジタルスチルカメラで行われるメインの処理フローを示すフローチャートである。ユーザにより電源ボタンが押されて、デジタルスチルカメラの電源がオンになると、マイクロコンピュータ１１５は、ステップＳ２０１の処理を開始する。
FIG. 2 is a flowchart illustrating a main processing flow performed by the digital still camera to which the image processing apparatus according to the first embodiment is applied. When the user presses the power button to turn on the digital still camera, the
ステップＳ２０１では、記録中フラグをオフに初期化する。記録中フラグは、動画撮影中にオン、動画を撮影していない時にオフとなるフラグである。 In step S201, the recording flag is initialized to off. The recording flag is a flag that is turned on during moving image shooting and turned off when no moving image is shot.
ステップＳ２０２では、ユーザによって、動画ボタンが操作されたか否かを判定する。動画ボタンが操作されたと判定するとステップＳ２０３に進み、操作されていないと判定すると、ステップＳ２０４に進む。 In step S202, it is determined whether or not the moving image button has been operated by the user. If it is determined that the movie button has been operated, the process proceeds to step S203. If it is determined that the movie button has not been operated, the process proceeds to step S204.
ステップＳ２０３では、記録中フラグを反転させて、ステップＳ２０４に進む。前述したように、動画ボタンは押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。 In step S203, the recording flag is reversed, and the process proceeds to step S204. As described above, every time the video button is pressed, the video recording start and end are alternately repeated. Therefore, in this step, if the recording flag is off, it is on, and if it is on, Turn off and invert the recording flag.
ステップＳ２０４では、記録中フラグがオンであるか否かを判定する。記録中フラグがオンであると判定すると、ステップＳ２０９に進む。ステップＳ２０９では、動画記録中であると判定すると、撮像素子１０２からの画像信号に基づく動画の画像データについて画像処理および画像圧縮を行った後、記録媒体１１２に記録する。また、動画記録中ではないと判定すると、静止画撮影における被写体構図やシャッタタイミングの決定を行うためのライブビュー表示を行う。ステップＳ２０９のライブビュー表示・動画撮影・画像処理の詳細については、図４を用いて後述する。
In step S204, it is determined whether the recording flag is on. If it is determined that the recording flag is on, the process proceeds to step S209. If it is determined in step S209 that a moving image is being recorded, the image data of the moving image based on the image signal from the
一方、ステップＳ２０４において、記録中フラグがオフであると判定すると、ステップＳ２０５に進む。ステップＳ２０５では、ユーザによってレリーズボタンが半押しされて、ファーストレリーズスイッチがオンされたか否かを判定する。ファーストレリーズスイッチがオンされたと判定すると、ステップＳ２０６に進む。 On the other hand, if it is determined in step S204 that the recording flag is off, the process proceeds to step S205. In step S205, it is determined whether or not the user has pressed the release button halfway to turn on the first release switch. If it is determined that the first release switch is turned on, the process proceeds to step S206.
ステップＳ２０６では、ＡＦ処理を行う。具体的には、まず、ＡＦ処理部１０９において、合焦評価値を算出する。マイクロコンピュータ１１５は、合焦評価値に基づいて、レンズ１０１０を駆動させる指令をドライバ１０１３に出す。ドライバ１０１３は、この指令に基づいて、レンズ１０１０を駆動させて、焦点距離やフォーカス位置の変更を行う。
In step S206, AF processing is performed. Specifically, first, the
ステップＳ２０５において、ファーストレリーズスイッチがオンされなかった場合、または、ファーストレリーズスイッチがオンされたままの状態の場合には、ステップＳ２０７に進む。ステップＳ２０７では、ユーザによってレリーズボタンが全押しされて、セカンドレリーズスイッチがオンされたか否かを判定する。セカンドレリーズスイッチがオンされたと判定するとステップＳ２０８に進み、セカンドレリーズスイッチがオンされないと判定すると、ステップＳ２０９に進む。 If the first release switch is not turned on in step S205, or if the first release switch remains on, the process proceeds to step S207. In step S207, it is determined whether or not the user has fully pressed the release button to turn on the second release switch. If it is determined that the second release switch is turned on, the process proceeds to step S208. If it is determined that the second release switch is not turned on, the process proceeds to step S209.
ステップＳ２０８では、静止画撮影・画像処理を行う。静止画撮影・画像処理の詳細については、図３を用いて後述する。 In step S208, still image shooting and image processing are performed. Details of the still image shooting / image processing will be described later with reference to FIG.
ステップＳ２１０では、デジタルスチルカメラの電源がオフされたか否かを判定する。電源がオフされていないと判定すると、ステップＳ２０２に戻り、上述した処理を行う。一方、ユーザにより電源ボタンが押されて、電源がオフされると、フローチャートの処理を終了する。 In step S210, it is determined whether the power of the digital still camera is turned off. If it is determined that the power is not turned off, the process returns to step S202, and the above-described processing is performed. On the other hand, when the power button is pressed by the user and the power is turned off, the process of the flowchart is ended.
このように、本実施形態におけるメインフローでは、初期設定では静止画撮影モードになっており、この状態では、ステップＳ２０２→Ｓ２０４→Ｓ２０５→Ｓ２０７→Ｓ２０９→Ｓ２１０→Ｓ２０２を順次実行し、この間ライブビュー表示を行う。ライブビュー表示中に、レリーズボタンが半押しされると、ステップＳ２０６においてＡＦ動作を行い、またレリーズボタンが全押しされると、ステップＳ２０８において静止画の撮影を行う。また、動画ボタンを押すと、ステップＳ２０３において記録中フラグをオンとし、ステップＳ２０４→Ｓ２０９→Ｓ２１０→Ｓ２０２→Ｓ２０４を繰り返し実行することにより、動画撮影を継続する。この状態で再度、動画ボタンを押すと、ステップＳ２０３において記録中フラグがオフとなることから、前述の静止画のフローに戻る。 As described above, in the main flow in the present embodiment, the still image shooting mode is set in the initial setting, and in this state, steps S202 → S204 → S205 → S207 → S209 → S210 → S202 are sequentially executed during this time. Display. If the release button is pressed halfway during live view display, an AF operation is performed in step S206, and if the release button is fully pressed, a still image is shot in step S208. When the moving image button is pressed, the recording flag is turned on in step S203, and moving image shooting is continued by repeatedly executing steps S204 → S209 → S210 → S202 → S204. If the moving image button is pressed again in this state, the recording flag is turned off in step S203, and the flow returns to the still image flow described above.
図３は、図２に示すフローチャートのステップＳ２０８の処理、すなわち、静止画撮影・画像処理の詳細を示すフローチャートである。 FIG. 3 is a flowchart showing details of the process in step S208 of the flowchart shown in FIG. 2, that is, the still image shooting / image processing.
ステップＳ３１０では、ＡＥ処理を行う。具体的には、ＡＥ処理部１０８において、被写体輝度を算出し、算出した被写体輝度に基づいて、Ｆｌａｓｈメモリ１１７に記憶されている露出条件決定テーブルを参照することにより、撮影時のＩＳＯ感度、絞り、およびシャッター速を決定する。
In step S310, AE processing is performed. Specifically, the
ステップＳ３２０では、撮影を行う。撮影（静止画撮影）に関しては、従来から用いられている手法と同様である。ドライバ１０１３は、マイクロコンピュータ１０１２の指示に基づいて、設定された絞り値になるように絞り１０１４を駆動させる。そして、決定したシャッター速に基づいて、メカシャッター１０１を制御して撮影を行い、決定したＩＳＯ感度に応じた画像データを得る。
In step S320, shooting is performed. The shooting (still image shooting) is the same as a conventionally used method. The
ステップＳ３３０では、ステップＳ３２０の撮影で得られた画像データ（ベイヤーデータ）に対して様々な画像処理を施して、輝度（Ｙ）および色差（Ｃｂ、Ｃｒ）信号データに変換する現像処理を行う。現像処理の詳細については、図５を用いて後述する。 In step S330, various image processes are performed on the image data (Bayer data) obtained in step S320 to perform development processing for conversion into luminance (Y) and color difference (Cb, Cr) signal data. Details of the development processing will be described later with reference to FIG.
ステップＳ３４０では、画像圧縮展開部１１０において、画像データに対して、ＪＰＥＧ圧縮を行い、画像サイズや撮影条件などのヘッダ情報を付加して、ＪＰＥＧファイルを生成する。
In step S340, the image compression /
ステップＳ３５０では、ステップＳ３４０で生成したＪＰＥＧファイルを、メモリＩ/Ｆ１１１を介して記録媒体１１２に記録する。
In step S350, the JPEG file generated in step S340 is recorded on the
図４は、図２に示すフローチャートのステップＳ２０９の処理、すなわち、ライブビュー表示・動画撮影・画像処理の詳細を示すフローチャートである。 FIG. 4 is a flowchart showing details of the process in step S209 of the flowchart shown in FIG. 2, that is, details of live view display / moving image capturing / image processing.
ステップＳ４１０では、ＡＥ処理を行う。この処理は、図３に示すフローチャートのステップＳ３１０の処理と同じである。 In step S410, an AE process is performed. This process is the same as the process of step S310 in the flowchart shown in FIG.
ステップＳ４２０では、撮影を行う。撮影（動画撮影）に関しては、従来から用いられている手法と同様である。すなわち、決定した絞り、シャッター速、ＩＳＯ感度に基づいて、いわゆる電子シャッターを制御して撮影を行う。 In step S420, shooting is performed. The shooting (moving image shooting) is the same as a conventionally used method. That is, shooting is performed by controlling a so-called electronic shutter based on the determined aperture, shutter speed, and ISO sensitivity.
ステップＳ４３０では、ステップＳ４２０の撮影で得られた画像データ（ベイヤーデータ）に対して様々な画像処理を施して、輝度（Ｙ）および色差（Ｃｂ、Ｃｒ）信号データに変換する現像処理を行う。現像処理の詳細については、図５を用いて後述する。 In step S430, various image processing is performed on the image data (Bayer data) obtained in step S420 to perform development processing for conversion into luminance (Y) and color difference (Cb, Cr) signal data. Details of the development processing will be described later with reference to FIG.
ステップＳ４４０では、ＬＣＤドライバ１１３により、画像データをＬＣＤ１１４に表示させる。この表示は、いわゆるライブビュー表示である。
In step S440, the
ステップＳ４５０では、動画が記録中であるか否かを判定する。記録中フラグがオフの場合には、動画記録中ではないと判定して、本フローチャートの処理を終了し、記録中フラグがオンの場合には、動画記録中であると判定して、ステップＳ４６０に進む。 In step S450, it is determined whether a moving image is being recorded. If the recording flag is off, it is determined that the moving image is not being recorded, and the processing of this flowchart is terminated. If the recording flag is on, it is determined that the moving image is being recorded, and step S460 is performed. Proceed to
ステップＳ４６０では、動画ファイルを生成して、記録媒体１１２に記録する。すなわち、画像圧縮展開部１１０において、画像データに対して、動画ファイルの形式に応じた圧縮を行い、所定のヘッダ情報を付加して、動画ファイルを生成する。動画ファイルの圧縮形式には、「Ｈ．２６４」、「Ｍｏｔｉｏｎ ＪＰＥＧ」、「ＭＰＥＧ」などがある。そして、生成した動画ファイルを、メモリＩ／Ｆ１１１を介して記録媒体１１２に記録する。
In step S460, a moving image file is generated and recorded on the
図５は、図３に示すフローチャートのステップＳ３３０の処理、および、図４に示すフローチャートのステップＳ４３０の処理、すなわち、現像処理の詳細を示すフローチャートである。 FIG. 5 is a flowchart showing details of the process in step S330 in the flowchart shown in FIG. 3 and the process in step S430 in the flowchart shown in FIG. 4, that is, the development process.
ステップＳ５１０では、ＯＢ減算部１０７１により、撮影により得られた画像データから、撮像時に得られたＯＢ値を減算するＯＢ減算処理を施す。
In step S510, the
ステップＳ５２０では、ＷＢ補正部１０７２により、ＯＢ減算処理が施された画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。なお、ホワイトバランスモードは、ユーザが操作部１１６に含まれる入力キーを操作することによって、１回の撮影ごとに設定することができる。マイクロコンピュータ１１５は、ユーザによる操作部１１６の操作に基づいて、ホワイトバランスモードを設定する。また、デジタルスチルカメラがホワイトバランスを自動的に調整するオートホワイトバランス機能を備えている場合、マイクロコンピュータ１１５は、撮影時の光源に応じたホワイトバランスモードを自動的に設定する。
In step S520, the
ステップＳ５３０では、同時化処理部１０７３により、ホワイトバランス補正処理が施された画像データに対して、同時化処理を施す。ステップＳ５４０では、カラーマトリクス演算部１０７５により、同時化処理が施された画像データに対して、ホワイトバランスモードに応じたカラーマトリクス係数を乗じるカラーマトリクス演算を行う。
In step S530, the
ステップＳ５５０では、ガンマ・色再現処理部１０７４により、カラーマトリクス演算が行われた画像データに対して、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。
In step S550, the gamma / color
ステップＳ５６０では、エッジ強調処理部１０７６により、ガンマ補正処理および色再現処理が行われた画像データに対して、エッジ強調処理を行う。エッジ強調処理の詳細については後述する。
In step S560, the edge
ステップＳ５７０では、ＮＲ処理部１０７７により、エッジ強調処理が行われた画像データに対して、ノイズを低減する処理を行う。ノイズ低減処理は、コアリングパラメータに基づいたコアリング処理、または、ノイズ低減パラメータ（以下、ＮＲパラメータ）に基づいて、高周波を低減するフィルタを用いた処理を行う。
In step S570, the
ステップＳ５８０では、歪補正部１０７８により、ノイズ低減処理後の画像データに対して、交換式レンズ２の歪特性に応じた歪補正処理を行う。このため、マイクロコンピュータ１０１２は、交換式レンズ２の焦点距離およびフォーカス位置に応じた歪特性のデータをＦｌａｓｈメモリ１０１１から読み出し、撮影時の焦点距離およびフォーカス位置に基づいて、読み出した歪特性のデータを参照することにより、撮影時の歪特性を求める。マイクロコンピュータ１１５は、撮影時の歪特性の情報をＩ／Ｆ９９９を介してマイクロコンピュータ１０１２から取得し、取得した歪特性に基づいて、画像を部分的に拡大・縮小することによって、歪を補正する処理を行う。
In step S580, the
ステップＳ５９０では、歪補正後の画像データを、記録または表示するための画像サイズに縮小または拡大するリサイズ処理を行う。この処理は、画像処理部１０７で行ってもよいし、マイクロコンピュータ１１５で行ってもよい。
In step S590, resize processing is performed to reduce or enlarge the image data after distortion correction to an image size for recording or display. This processing may be performed by the
図６は、図５に示すフローチャートのステップＳ５６０の処理、すなわち、エッジ強調処理の詳細を示すフローチャートである。 FIG. 6 is a flowchart showing details of the process in step S560 of the flowchart shown in FIG. 5, that is, the edge enhancement process.
ステップ６１０では、交換式レンズ２の歪特性を取得する。この処理は、図５に示すフローチャートのステップＳ５８０における歪特性情報の取得方法と同じであるため、詳しい説明は省略する。
In step 610, the distortion characteristic of the
図７は、交換式レンズ２の歪特性の一例を示す図である。実線７１が交換式レンズ２の歪特性（糸巻き型歪特性）を示し、一点鎖線７２は、歪が無い場合の特性を示している。図７において、横軸は理想像高、縦軸は実像高である。理想像高とは、歪のない理想的な画像上の像高のことであり、実像高とは、実際の撮影により得られた画像上の像高のことである。また、像高とは、画像の中心からの距離であり、ここでは、画像の中心を０、画像の四隅を１とする。
FIG. 7 is a diagram illustrating an example of distortion characteristics of the
図６のステップＳ６２０では、画像データの各画素について、歪補正部１０７８によって、局所的な拡大・縮小処理を行う際の拡大率または縮小率を算出する。ここではまず、各画素について、像高（実像高）を算出する。そして、ステップＳ６１０で取得した歪特性に基づいて、算出した像高位置における歪特性の傾きを求める。算出した像高位置における歪特性の傾きとは、図７に示す歪特性の曲線に接する接線の傾きである。例えば、図７を参照すると、像高ｈ１の位置における歪特性の傾きは、接線７３の傾きとなる。この傾きが１未満の場合は、画像を拡大する歪補正処理を行い、１以上の場合は、画像を縮小する歪補正処理を行う。ここでは、歪特性の傾きと拡大率または縮小率との関係を定めたデータを予め用意しておき、求めた傾きに基づいて、上記データを参照することにより、拡大率または縮小率を算出する。
In step S620 of FIG. 6, the
ステップＳ６３０では、画像からエッジを抽出する周波数帯域（以下、エッジ抽出帯域と呼ぶ）を算出する。ここでは、基準となるエッジ抽出帯域（以下、基準エッジ抽出帯域と呼ぶ）を予め求めておき、各画素ごとに、ステップＳ６２０で求めた拡大率が大きいほど、基準エッジ抽出帯域に対して高周波側の周波数帯域をエッジ抽出帯域とする。これは、拡大後の画像では、拡大前の画像に対して、コントラスト成分が低周波側に寄るからである。また、縮小率が大きいほど、基準エッジ抽出帯域に対して低周波側の周波数帯域をエッジ抽出帯域とする。すなわち、画像が拡大された場合、および、縮小された場合のいずれの場合でも、拡大・縮小後の画像において、同一の周波数帯域のエッジが強調されるようにする。拡大率または縮小率と、基準エッジ抽出帯域からの周波数帯域の変更量との関係は、予め定めておけばよい。 In step S630, a frequency band for extracting an edge from the image (hereinafter referred to as an edge extraction band) is calculated. Here, a reference edge extraction band (hereinafter referred to as a reference edge extraction band) is obtained in advance, and for each pixel, the higher the enlargement ratio obtained in step S620, the higher the frequency of the reference edge extraction band. Is the edge extraction band. This is because in the image after enlargement, the contrast component is closer to the low frequency side than the image before enlargement. Further, the higher the reduction ratio, the lower the frequency band with respect to the reference edge extraction band is set as the edge extraction band. That is, the edge of the same frequency band is emphasized in the enlarged / reduced image regardless of whether the image is enlarged or reduced. The relationship between the enlargement ratio or reduction ratio and the amount of change in the frequency band from the reference edge extraction band may be determined in advance.
ステップＳ６４０では、Ｆｌａｓｈメモリ１０１１から、交換式レンズ２のＭＴＦ特性を取得し、撮像素子１０２の画素ピッチや画素数、光学ローパスフィルタの特性を考慮して、撮像画像の周波数に応じたコントラスト特性を算出する。
In step S640, the MTF characteristics of the
図８の点線は、Ｆｌａｓｈメモリ１０１１から取得した交換式レンズ２のＭＴＦ特性の一例を示す図であり、実線は、取得したＭＴＦ特性に基づいて算出したコントラスト特性の一例を示す図である。図８の横軸は周波数、縦軸はコントラストを表している。
A dotted line in FIG. 8 is a diagram illustrating an example of the MTF characteristic of the
ステップＳ６５０では、ステップＳ６３０で算出したエッジ抽出帯域を補正する。ここでは、ステップＳ６４０で算出したコントラスト特性に基づいて、エッジ抽出帯域の周波数に対応するコントラストが所定のコントラスト下限値未満の画素が存在する場合に、その画素のエッジ抽出帯域を、所定のコントラスト下限値に対応する周波数に補正する。 In step S650, the edge extraction band calculated in step S630 is corrected. Here, based on the contrast characteristics calculated in step S640, when there is a pixel whose contrast corresponding to the frequency of the edge extraction band is less than the predetermined contrast lower limit value, the edge extraction band of the pixel is set as the predetermined contrast lower limit. Correct to the frequency corresponding to the value.
図９は、エッジ抽出帯域の補正方法を説明するための図である。図９に示す曲線は、図８に示す曲線と同じ曲線、すなわち、交換式レンズ２のＭＴＦ特性に基づいて算出したコントラスト特性を示している。図９を参照すると、ある画素のエッジ抽出帯域（周波数）がｆ２である場合、対応するコントラストが所定のコントラスト下限値未満であるため、この画素のエッジ抽出帯域を、コントラスト下限値に対応するエッジ抽出帯域（周波数）ｆ１とする。
FIG. 9 is a diagram for explaining a method of correcting the edge extraction band. The curve shown in FIG. 9 shows the same curve as the curve shown in FIG. 8, that is, the contrast characteristic calculated based on the MTF characteristic of the
ステップＳ６６０では、画像データの各画素について、ステップＳ６２０で算出した拡大率または縮小率に応じて歪補正を行った後のコントラスト特性を求める。ただし、歪補正は、エッジ強調処理の後に行われる処理であるため、歪補正を行った後のコントラスト特性とは、歪補正を行ったと仮定した場合のコントラスト特性を意味している。具体的には、拡大率が大きいほど、コントラスト特性を低周波数側に、また、縮小率が大きいほど、コントラスト特性を高周波数側にコントラスト成分が寄るように変更する。 In step S660, contrast characteristics after performing distortion correction for each pixel of the image data according to the enlargement ratio or reduction ratio calculated in step S620 are obtained. However, since the distortion correction is a process performed after the edge enhancement process, the contrast characteristic after the distortion correction means a contrast characteristic when it is assumed that the distortion correction is performed. Specifically, the contrast characteristic is changed so that the contrast component is closer to the lower frequency side as the enlargement ratio is larger, and the contrast characteristic is closer to the higher frequency side as the reduction ratio is larger.
図１０は、歪補正後のコントラスト特性の算出方法を説明するための図である。実線９１は、ステップＳ６４０で算出したコントラスト特性を示している。点線９２は、拡大率に応じて、低周波数側に圧縮されたコントラスト特性の一例を、点線９３は、縮小率に応じて、高周波数側に引き伸ばされたコントラスト特性の一例をそれぞれ示している。
FIG. 10 is a diagram for explaining a method of calculating contrast characteristics after distortion correction. A
ステップＳ６７０では、画像データの各画素について、エッジ強調度を求める。まず初めに、ステップＳ６４０で取得したコントラスト特性、および、ステップＳ６６０で算出したコントラスト特性に基づいて、歪補正後のコントラスト特性に応じたエッジ抽出帯域を求める。このため、各画素ごとに、ステップＳ６４０で算出したコントラスト特性（実線９１）を参照して、ステップＳ６３０で求めたエッジ抽出帯域に対応するコントラストを求める。続いて、求めたコントラストに対応するエッジ抽出帯域を、ステップＳ６６０で算出したコントラスト特性（点線９２，９３）に基づいて求める（図１０のＩ参照）。最後に、求めたエッジ抽出帯域において、基準となるコントラストとの差（図１０のＩＩ参照）に基づいて、基準となるコントラストを得るために必要なエッジ強調度を求める。基準となるコントラスト特性（以下、基準コントラスト特性と呼ぶ）は、予め定めておく。また、基準となるコントラストとの差と、エッジ強調度との関係も予め定めておく。
In step S670, an edge enhancement degree is obtained for each pixel of the image data. First, based on the contrast characteristic acquired in step S640 and the contrast characteristic calculated in step S660, an edge extraction band corresponding to the contrast characteristic after distortion correction is obtained. Therefore, for each pixel, the contrast corresponding to the edge extraction band obtained in step S630 is obtained with reference to the contrast characteristic (solid line 91) calculated in step S640. Subsequently, an edge extraction band corresponding to the obtained contrast is obtained based on the contrast characteristics (dotted
上述したように、歪補正後のコントラスト特性は、歪補正時の拡大率が大きいほど、低周波数側に圧縮される。従って、歪補正時の拡大率が大きいほど、基準となるコントラストとの差（図１０のＩＩ）が大きくなり、エッジ強調度が大きくなる。また、歪補正後のコントラスト特性は、歪補正時の縮小率が大きいほど、高周波数側に引き伸ばされた特性となるので、基準となるコントラストとの差が小さくなり、エッジ強調度は小さくなる。 As described above, the contrast characteristic after distortion correction is compressed to the lower frequency side as the enlargement ratio at the time of distortion correction is larger. Therefore, the larger the magnification at the time of distortion correction, the greater the difference from the reference contrast (II in FIG. 10), and the greater the edge enhancement. Further, since the contrast characteristic after distortion correction becomes a characteristic stretched to the higher frequency side as the reduction ratio at the time of distortion correction is larger, the difference from the reference contrast becomes smaller and the edge enhancement degree becomes smaller.
図６のフローチャートのステップＳ６８０では、ステップＳ６５０で補正を行ったエッジ抽出帯域、および、ステップＳ６７０で算出したエッジ強調度に基づいて、エッジ強調処理を行う。ここでは、複数のバンドパスフィルタ係数とエッジ強調帯域との関係を定めたデータを予め用意しておき、このデータを参照して、算出したエッジ抽出帯域に最も近いエッジ強調帯域に対応するバンドパスフィルタ係数を求める。このバンドパスフィルタ係数に基づいてエッジ成分を抽出し、抽出したエッジ成分にエッジ強調度を乗じた値を、画像データの輝度（Ｙ）信号データに加算することによって、エッジを強調する。 In step S680 in the flowchart of FIG. 6, edge enhancement processing is performed based on the edge extraction band corrected in step S650 and the edge enhancement degree calculated in step S670. Here, data that defines the relationship between a plurality of bandpass filter coefficients and edge enhancement bands is prepared in advance, and the bandpass corresponding to the edge enhancement band that is closest to the calculated edge extraction band by referring to this data Find the filter coefficients. An edge component is extracted based on the bandpass filter coefficient, and the edge is enhanced by adding a value obtained by multiplying the extracted edge component by the edge enhancement degree to the luminance (Y) signal data of the image data.
第１の実施形態における画像処理装置によれば、エッジ強調処理後の画像データに対して、撮影時に使用したレンズの光学歪特性に応じた局所的な拡大処理または縮小処理を行うことによって、歪を補正する処理を行う。この時、歪補正処理を施さない画像データに対するエッジ強調処理を基準として、局所的な拡大処理または縮小処理に応じて、歪補正処理を施す対象の画像データに対するエッジ強調処理を変更する。これにより、歪補正後の画像における部分的なコントラストの低下を抑制して、画像上のコントラストを均一に近づけることができる。 According to the image processing apparatus in the first embodiment, distortion is obtained by performing local enlargement processing or reduction processing according to the optical distortion characteristics of the lens used at the time of photographing on the image data after the edge enhancement processing. The process which correct | amends is performed. At this time, the edge enhancement processing for the image data to be subjected to the distortion correction processing is changed according to the local enlargement processing or reduction processing based on the edge enhancement processing for the image data not subjected to the distortion correction processing. As a result, it is possible to suppress the partial reduction in contrast in the image after distortion correction and to bring the contrast on the image closer to uniform.
＜第２の実施形態＞
図１１は、第２の実施形態における画像処理装置を適用したデジタルスチルカメラの構成を示すブロック図である。図１に示すデジタルスチルカメラと異なるのは、画像処理部１０７の内部の構成である。すなわち、ガンマ・色再現処理部１０７５の後段に、ＮＲ処理部１０７７が接続されており、歪補正部１０７８の後段に、エッジ強調処理部１０７６が接続されている。各処理部１０７１〜１０７８の内部で行われる処理内容は同じである。
<Second Embodiment>
FIG. 11 is a block diagram illustrating a configuration of a digital still camera to which the image processing apparatus according to the second embodiment is applied. A difference from the digital still camera shown in FIG. 1 is an internal configuration of the
図１２は、第２の実施形態における画像処理装置による現像処理の詳細を示すフローチャートである。図５に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。 FIG. 12 is a flowchart showing details of development processing by the image processing apparatus according to the second embodiment. Steps for performing the same processes as those in the flowchart shown in FIG. 5 are denoted by the same reference numerals, and detailed description thereof is omitted.
第２の実施形態における画像処理装置による現像処理では、ガンマ・色再現処理部１０７４によるガンマ補正処理および色再現処理（Ｓ５５０）が行われると、ＮＲ処理部１０７７によるノイズ低減処理（Ｓ５７０）、および、歪補正部１０７８による歪補正処理（Ｓ５８０）が行われる。その後、エッジ強調処理部１０７６によるエッジ強調処理（Ｓ１２００）が行われ、最後に、リサイズ処理（Ｓ５９０）が行われる。すなわち、歪補正処理が行われた後に、エッジ強調処理が行われる。
In the development processing by the image processing apparatus in the second embodiment, when gamma correction processing and color reproduction processing (S550) are performed by the gamma / color
図１３は、図１２に示すフローチャートのステップＳ１２００の処理、すなわち、エッジ強調処理の詳細を示すフローチャートである。図６に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。 FIG. 13 is a flowchart showing details of the process in step S1200 of the flowchart shown in FIG. 12, that is, the edge enhancement process. Steps for performing the same processing as the processing in the flowchart shown in FIG.
ステップＳ６１０Ａでは、交換式レンズ２の歪特性を取得する。エッジ強調処理の前に歪補正処理（図１２のステップＳ５８０）が行われて、歪特性を既に取得済みであるため、ここでは、歪補正処理で取得して、ＳＤＲＡＭ１０６に格納しておいた歪特性を読み出す。なお、再度、同様の方法によって、交換式レンズ２の歪特性を求めてもよい。
In step S610A, the distortion characteristics of the
ステップＳ６２０Ａでは、画像データの各画素について、歪補正部１０７８によって、局所的な拡大・縮小処理を行う際の拡大率または縮小率を算出する。ここでも、歪補正処理で算出済みの拡大率または縮小率を歪補正時にＳＤＲＡＭ１０６に記憶しておき、ＳＤＲＡＭ１０６から読み出して用いる。なお、再度、同様の方法によって、拡大率または縮小率を算出するようにしてもよい。
In step S620A, for each pixel of the image data, the
ステップＳ６４０では、Ｆｌａｓｈメモリ１０１１から、交換式レンズ２のＭＴＦ特性を取得し、撮像素子１０２の画素ピッチや画素数を考慮して、撮像画像の周波数に応じたコントラスト特性を算出する。ステップＳ６５０では、画像データの各画素について、ステップＳ６２０Ａで求めた拡大率または縮小率に応じて歪補正を行った後のコントラスト特性を求める。
In step S640, the MTF characteristics of the
ステップＳ１３００では、画像データの各画素について、エッジ抽出帯域を算出する。このため、まず、ステップＳ６５０で求めたコントラスト特性に基づいて、予め設定した基準エッジ抽出帯域に対応するコントラストを求める。求めたコントラストが所定のコントラスト下限値未満の場合には、所定のコントラスト下限値に対応する周波数を、エッジ抽出帯域とする。また、求めたコントラストが所定のコントラスト上限値より大きい場合には、所定のコントラスト上限値に対応する周波数を、エッジ抽出帯域とする。求めたコントラストが所定のコントラスト下限値以上、所定のコントラスト以下の場合には、基準エッジ抽出帯域をエッジ抽出帯域とする。 In step S1300, an edge extraction band is calculated for each pixel of the image data. Therefore, first, the contrast corresponding to the preset reference edge extraction band is obtained based on the contrast characteristic obtained in step S650. When the obtained contrast is less than the predetermined contrast lower limit value, the frequency corresponding to the predetermined contrast lower limit value is set as the edge extraction band. Further, when the obtained contrast is larger than the predetermined contrast upper limit value, the frequency corresponding to the predetermined contrast upper limit value is set as the edge extraction band. When the obtained contrast is not less than the predetermined contrast lower limit value and not more than the predetermined contrast, the reference edge extraction band is set as the edge extraction band.
図１４は、求めたコントラストが所定のコントラスト下限値未満の場合におけるエッジ抽出帯域の算出方法を説明するための図である。コントラスト特性１４００は、拡大率に応じて歪補正を行った後のコントラスト特性である。この場合、基準エッジ抽出帯域に対応するコントラストは、所定のコントラスト下限値未満であるため、所定のコントラスト下限値に対応する周波数をエッジ抽出帯域とする。すなわち、エッジ抽出帯域は、基準エッジ抽出帯域よりも低周波数側にずらされる。これにより、画像上でエッジ抽出することができない周波数帯域に基づいたエッジ抽出処理が行われるのを防ぐことができる。 FIG. 14 is a diagram for explaining a method of calculating an edge extraction band when the obtained contrast is less than a predetermined contrast lower limit value. A contrast characteristic 1400 is a contrast characteristic after performing distortion correction according to the enlargement ratio. In this case, since the contrast corresponding to the reference edge extraction band is less than the predetermined contrast lower limit value, the frequency corresponding to the predetermined contrast lower limit value is set as the edge extraction band. That is, the edge extraction band is shifted to a lower frequency side than the reference edge extraction band. Thereby, it is possible to prevent the edge extraction processing based on the frequency band where the edge cannot be extracted on the image from being performed.
図１５は、求めたコントラストが所定のコントラスト上限値よりも大きい場合におけるエッジ抽出帯域の算出方法を説明するための図である。コントラスト特性１５００は、縮小率に応じて歪補正を行った後のコントラスト特性である。この場合、基準エッジ抽出帯域に対応するコントラストは、所定のコントラスト上限値よりも大きいため、所定のコントラスト上限値に対応する周波数をエッジ抽出帯域とする。すなわち、エッジ抽出帯域は、基準エッジ抽出帯域よりも高周波数側にずらされる。これにより、より高周波数側のエッジを強調することができる。 FIG. 15 is a diagram for explaining a method of calculating an edge extraction band when the obtained contrast is larger than a predetermined contrast upper limit value. A contrast characteristic 1500 is a contrast characteristic after performing distortion correction according to the reduction ratio. In this case, since the contrast corresponding to the reference edge extraction band is larger than the predetermined contrast upper limit value, the frequency corresponding to the predetermined contrast upper limit value is set as the edge extraction band. That is, the edge extraction band is shifted to a higher frequency side than the reference edge extraction band. Thereby, the higher frequency side edge can be emphasized.
なお、コントラスト下限値を高めに設定しておいて、歪補正処理にて拡大処理を行った場合には常に、エッジ抽出帯域を、基準エッジ抽出帯域よりも低周波数側にずらすようにしてもよい。また、コントラスト上限値を低めに設定しておいて、歪補正処理にて縮小処理を行った場合には常に、エッジ抽出帯域を、基準エッジ抽出帯域よりも高周波数側にずらすようにしてもよい。 Note that the edge extraction band may be shifted to the lower frequency side than the reference edge extraction band whenever the contrast lower limit value is set higher and the enlargement process is performed in the distortion correction process. . In addition, when the contrast upper limit value is set low and the reduction process is performed in the distortion correction process, the edge extraction band may be shifted to the higher frequency side than the reference edge extraction band. .
ステップＳ１３１０では、エッジ強調度を算出する。ここでは、ステップＳ１３００で求めたエッジ抽出帯域において、ステップＳ６５０で求めた、拡大率または縮小率に応じて歪補正を行った後のコントラスト特性に応じたコントラストと、所定の基準コントラスト特性との差に基づいて、基準となるコントラストを得るために必要なエッジ強調度を求める。 In step S1310, an edge enhancement degree is calculated. Here, in the edge extraction band obtained in step S1300, the difference between the contrast according to the contrast characteristic obtained after the distortion correction according to the enlargement ratio or reduction ratio obtained in step S650 and a predetermined reference contrast characteristic. Based on the above, the edge enhancement necessary to obtain the reference contrast is obtained.
図１６は、拡大率に応じて歪補正を行った後のコントラスト特性に基づいて、エッジ強調度を算出する方法を説明するための図である。コントラスト特性１４００は、図１４に示すコントラスト特性１４００と同じく、拡大率に応じて歪補正を行った後のコントラスト特性である。ステップＳ１３００で求めたエッジ抽出帯域において、コントラスト特性１４００に対応するコントラストと、基準コントラスト特性１６１０に対応するコントラストとの差１６２０を求め、コントラスト差１６２０に基づいて、エッジ強調度を求める。第１の実施形態と同様に、コントラスト差とエッジ強調度との関係については、予め定めておく。
FIG. 16 is a diagram for explaining a method of calculating the edge enhancement degree based on the contrast characteristics after performing distortion correction according to the enlargement ratio. A contrast characteristic 1400 is a contrast characteristic after distortion correction is performed in accordance with the enlargement ratio, like the contrast characteristic 1400 shown in FIG. In the edge extraction band obtained in step S1300, a
図１７は、縮小率に応じて歪補正を行った後のコントラスト特性に基づいて、エッジ強調度を算出する方法を説明するための図である。コントラスト特性１５００は、縮小率に応じて歪補正を行った後のコントラスト特性である。コントラスト特性１５００は、図１５に示すコントラスト特性１５００と同じく、縮小率に応じて歪補正を行った後のコントラスト特性である。ステップＳ１３００で求めたエッジ抽出帯域において、コントラスト特性１５００に対応するコントラストと、基準コントラスト特性１６１０に対応するコントラストとの差１７２０を求め、コントラスト差１７２０に基づいて、エッジ強調度を求める。上述したように、コントラスト差とエッジ強調度との関係については、予め定めておく。
FIG. 17 is a diagram for explaining a method of calculating the edge enhancement degree based on the contrast characteristics after performing distortion correction according to the reduction ratio. A contrast characteristic 1500 is a contrast characteristic after performing distortion correction according to the reduction ratio. Contrast characteristic 1500 is the contrast characteristic after distortion correction is performed in accordance with the reduction ratio, similar to contrast characteristic 1500 shown in FIG. In the edge extraction band obtained in step S1300, the
図１３のフローチャートのステップＳ６８０では、ステップＳ１３００で算出したエッジ抽出帯域、および、ステップＳ１３１０で算出したエッジ強調度に基づいて、エッジ強調処理を行う。 In step S680 of the flowchart of FIG. 13, edge enhancement processing is performed based on the edge extraction band calculated in step S1300 and the edge enhancement degree calculated in step S1310.
以上、第２の実施形態における画像処理装置によれば、画像データに対して、撮影時に使用したレンズの光学歪特性に応じた局所的な拡大処理または縮小処理を行うことによって、歪を補正する処理を行った後、エッジ強調処理を行う。このとき、局所的な拡大処理または縮小処理に応じて、歪補正処理を施した画像データに対するエッジ強調処理を変更するので、歪補正後の画像における部分的なコントラストの低下を抑制して、画像上のコントラストを均一に近づけることができる。 As described above, according to the image processing apparatus of the second embodiment, distortion is corrected by performing local enlargement or reduction processing on the image data according to the optical distortion characteristics of the lens used during shooting. After performing the processing, edge enhancement processing is performed. At this time, since the edge enhancement processing for the image data subjected to the distortion correction processing is changed according to the local enlargement processing or reduction processing, the partial contrast decrease in the image after the distortion correction is suppressed, and the image The upper contrast can be made uniform.
＜第３の実施形態＞
第３の実施形態における画像処理装置を適用したデジタルスチルカメラの構成は、図１に示す第１の実施の形態における画像処理装置を適用したデジタルスチルカメラの構成と同じである。
<Third Embodiment>
The configuration of the digital still camera to which the image processing apparatus in the third embodiment is applied is the same as the configuration of the digital still camera to which the image processing apparatus in the first embodiment shown in FIG. 1 is applied.
図１８は、図５に示すフローチャートのステップＳ５６０の処理、すなわち、エッジ強調処理の詳細を示すフローチャートである。図６に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。 FIG. 18 is a flowchart showing details of the process in step S560 of the flowchart shown in FIG. 5, that is, the edge enhancement process. Steps for performing the same processing as the processing in the flowchart shown in FIG.
ステップＳ６２０に続くステップＳ１８００では、リサイズ処理を行う際のリサイズ率を取得する。リサイズ処理は、画像データを記録または表示するための画像サイズに縮小または拡大する処理（図５のステップＳ５９０）である。 In step S1800 following step S620, a resizing rate for performing the resizing process is acquired. The resizing process is a process for reducing or enlarging the image data to an image size for recording or displaying (step S590 in FIG. 5).
ステップＳ１８１０では、画像データの各画素に対して、ステップＳ６２０で算出した拡大率または縮小率に、ステップＳ１８００で取得したリサイズ率を乗算することによって、縮尺率を算出する。 In step S1810, for each pixel of the image data, the scale ratio is calculated by multiplying the enlargement ratio or reduction ratio calculated in step S620 by the resizing ratio acquired in step S1800.
ステップＳ１８２０では、ステップＳ１８１０で各画素ごとに算出した縮尺率のうち、最大の縮尺率が１より大きいか否かを判定する。最大縮尺率が１より大きい場合、画像上で局所的な拡大処理が行われるため、拡大処理が行われる箇所のコントラストが低下する。従って、最大縮尺率が１より大きいと判定すると、エッジ強調制御を行うために、ステップＳ６３０に進む。ステップＳ６３０からステップＳ６８０までの処理は、図６に示すフローチャートの処理と同じである。 In step S1820, it is determined whether the maximum scale ratio among the scale ratios calculated for each pixel in step S1810 is greater than one. When the maximum scale ratio is larger than 1, since the local enlargement process is performed on the image, the contrast of the portion where the enlargement process is performed is lowered. Therefore, if it is determined that the maximum scale ratio is greater than 1, the process proceeds to step S630 to perform edge enhancement control. The processing from step S630 to step S680 is the same as the processing of the flowchart shown in FIG.
一方、最大縮尺率が１以下である場合、画像全体において拡大処理は行われないため、コントラストの局所的な低下は生じない。従って、ステップＳ１８２０において、最大縮尺率が１以下であると判定すると、ステップＳ１８３０に進み、所定のエッジ強調度を設定する。所定のエッジ強調度は、予め設計により定めた、各画素について同一の値とする。 On the other hand, when the maximum scale ratio is 1 or less, the enlargement process is not performed on the entire image, and thus a local reduction in contrast does not occur. Therefore, if it is determined in step S1820 that the maximum scale ratio is 1 or less, the process advances to step S1830 to set a predetermined edge enhancement level. The predetermined edge enhancement degree is set to the same value for each pixel, which is predetermined by design.
以上、第３の実施形態における画像処理装置によれば、歪補正処理を行う際の局所的な拡大率および縮小率と、最終的に必要とされる画像サイズへ画像データを拡大または縮小する際のリサイズ率との積の最大値が所定のしきい値以下の場合には、エッジ強調処理を変更する処理は行わない。これにより、コントラストの局所的な低下が生じない場合には、エッジ強調処理を変更する処理を行わないので、処理負荷を軽減するとともに、処理時間を短縮することができる。 As described above, according to the image processing apparatus of the third embodiment, when the image data is enlarged or reduced to the local enlargement ratio and reduction ratio when performing the distortion correction process and the finally required image size. When the maximum value of the product of the resizing rate is equal to or smaller than a predetermined threshold value, the process for changing the edge enhancement process is not performed. As a result, when there is no local decrease in contrast, the processing for changing the edge enhancement processing is not performed, so that the processing load can be reduced and the processing time can be shortened.
＜第４の実施形態＞
第４の実施形態における画像処理装置を適用したデジタルスチルカメラの構成は、図１に示す第１の実施の形態における画像処理装置を適用したデジタルスチルカメラの構成と同じである。
<Fourth Embodiment>
The configuration of the digital still camera to which the image processing apparatus in the fourth embodiment is applied is the same as that of the digital still camera to which the image processing apparatus in the first embodiment shown in FIG. 1 is applied.
図１９は、図５に示すフローチャートのステップＳ５６０の処理、すなわち、エッジ強調処理の詳細を示すフローチャートである。図６に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。 FIG. 19 is a flowchart showing details of the process in step S560 of the flowchart shown in FIG. 5, that is, the edge enhancement process. Steps for performing the same processing as the processing in the flowchart shown in FIG.
ステップＳ６２０において、画像データの各画素について、局所的な拡大・縮小処理を行う際の拡大率または縮小率を算出すると、ステップＳ６４０に進む。ステップＳ６４０では、撮像画像の周波数に応じたコントラスト特性を算出する。 In step S620, when the enlargement ratio or reduction ratio when performing local enlargement / reduction processing is calculated for each pixel of the image data, the process proceeds to step S640. In step S640, contrast characteristics corresponding to the frequency of the captured image are calculated.
ステップＳ６６０では、画像データの各画素について、ステップＳ６２０で算出した拡大率または縮小率に応じて歪補正を行った後のコントラスト特性を求める。 In step S660, contrast characteristics after performing distortion correction for each pixel of the image data according to the enlargement ratio or reduction ratio calculated in step S620 are obtained.
ステップＳ１９００では、処理対象の画像データが静止画データであるか、または動画データであるかを判定する。この判定は、静止画の撮影であるか、または、動画の撮影であるかに基づいて行うことができる。ユーザが動画を見る場合、画像の細かな解像感はそれほど気にならない。従って、処理対象の画像データが動画データであると判定すると、歪補正を考慮したエッジ強調処理を簡易的に行うために、ステップＳ１９１０に進む。 In step S1900, it is determined whether the image data to be processed is still image data or moving image data. This determination can be made based on whether a still image is taken or a moving image is taken. When a user views a moving image, the fine resolution of the image is not so much of concern. Accordingly, if it is determined that the image data to be processed is moving image data, the process advances to step S1910 in order to easily perform edge enhancement processing considering distortion correction.
ステップＳ１９１０では、所定のエッジ抽出帯域を設定する。所定のエッジ抽出帯域は、予め設計により定めた、各画素について同一の値とする。 In step S1910, a predetermined edge extraction band is set. The predetermined edge extraction band is set to the same value for each pixel, which is predetermined by design.
一方、ステップＳ１９００において、処理対象の画像データが静止画データであると判定すると、ステップＳ６３０に進む。ステップＳ６３０、Ｓ６５０、Ｓ６７０、Ｓ６８０の処理は、図６に示すフローチャートの処理と同じである。 On the other hand, if it is determined in step S1900 that the image data to be processed is still image data, the process proceeds to step S630. The processes in steps S630, S650, S670, and S680 are the same as those in the flowchart shown in FIG.
なお、図１９に示すフローチャートでは、動画データの処理時において、エッジ強調度は歪補正を考慮した値を算出するが、エッジ抽出帯域については、歪補正を考慮しない固定の値を用いるものとした。しかし、エッジ抽出帯域について歪補正を考慮した値を算出し、エッジ強調度について、歪補正を考慮しない固定の値を用いるようにしてもよい。 In the flowchart shown in FIG. 19, when processing moving image data, the edge enhancement degree is a value that considers distortion correction, but a fixed value that does not consider distortion correction is used for the edge extraction band. . However, a value that considers distortion correction may be calculated for the edge extraction band, and a fixed value that does not consider distortion correction may be used for the edge enhancement degree.
以上、第４の実施形態における画像処理装置によれば、静止画撮影時は、歪補正処理を考慮して、エッジ強調処理を施す周波数帯域とともにエッジ強調度を変更する処理を行い、動画撮影時は、エッジ強調処理を施す周波数帯域を変更する処理およびエッジ強調度を変更する処理のうちのいずれか一方の処理を行う。これにより、視覚上、細かな解像度が気にならない動画データの処理時には、処理速度を向上させることができる。また、静止画データの処理時には、歪補正を考慮して、エッジ強調処理を施す周波数帯域を変更する処理およびエッジ強調度を変更する処理を行うことにより、コントラストを均一に近づけた画像を生成することができる。 As described above, according to the image processing apparatus of the fourth embodiment, at the time of still image shooting, in consideration of distortion correction processing, the processing for changing the edge enhancement level is performed together with the frequency band on which the edge enhancement processing is performed. Performs any one of the process of changing the frequency band to which the edge enhancement process is performed and the process of changing the edge enhancement degree. As a result, the processing speed can be improved when processing moving image data in which a fine resolution is not a concern visually. In addition, when processing still image data, an image with a close contrast is generated by performing processing for changing the frequency band for performing edge enhancement processing and processing for changing the edge enhancement degree in consideration of distortion correction. be able to.
なお、上述した第１〜第４の実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。 In the description of the first to fourth embodiments described above, hardware processing is assumed as processing performed by the image processing apparatus. However, the present invention is not limited to such a configuration. For example, a configuration in which processing is performed separately by software is also possible. In this case, the image processing apparatus includes a main storage device such as a CPU and a RAM, and a computer-readable storage medium storing a program for realizing all or part of the above processing. Here, this program is called an image processing program. The CPU reads out the image processing program stored in the storage medium and executes information processing / calculation processing, thereby realizing the same processing as that of the above-described image processing apparatus.
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。 Here, the computer-readable recording medium refers to a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, and the like. Alternatively, the image processing program may be distributed to a computer via a communication line, and the computer that has received the distribution may execute the image processing program.
本発明は、上述した第１〜第４の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、画像処理装置をデジタルスチルカメラに適用した例を挙げて説明したが、ビデオカメラに適用することもできるし、カメラ以外の電子機器などに適用することもできる。 The present invention is not limited to the first to fourth embodiments described above, and various modifications and applications can be made without departing from the scope of the present invention. For example, the example in which the image processing apparatus is applied to a digital still camera has been described. However, the image processing apparatus can also be applied to a video camera or an electronic device other than the camera.
上述した各実施形態では、交換式レンズ２のＭＴＦ特性に基づいて算出したコントラスト特性を参照して、エッジ強調処理を施す周波数帯域とともにエッジ強調度を求めたが、簡易的な方法により求めることもできる。例えば、交換式レンズ２の歪特性に応じた拡大率または縮小率と、エッジ抽出帯域およびエッジ強調度との関係を定めたデータを予めＦｌａｓｈメモリ１０１１に格納しておき、このデータに基づいて、エッジ抽出帯域およびエッジ強調度を求めてもよい。
In each of the above-described embodiments, the edge enhancement degree is obtained together with the frequency band to which the edge enhancement process is performed with reference to the contrast characteristic calculated based on the MTF characteristic of the
デジタルスチルカメラは、カメラ本体１と交換式レンズ２から構成されるものとして説明したが、カメラ本体とレンズとが一体的に構成されていてもよい。この場合、レンズの焦点距離およびフォーカス位置に応じた歪特性のデータ、および、レンズのＭＴＦ特性のデータは、カメラ本体内部のメモリに記憶しておけばよい。
Although the digital still camera has been described as including the
１…カメラ本体
２…交換式レンズ
１０１…メカシャッター
１０２…撮像素子
１０３…アナログ処理部
１０４…アナログ/デジタル変換部
１０６…ＳＤＲＡＭ
１０７…画像処理部
１０８…ＡＥ処理部
１０９…ＡＦ処理部
１１０…画像圧縮展開部
１１２…記録媒体
１１４…ＬＣＤ
１１５…マイクロコンピュータ
１１６…操作部
１１７…Ｆｌａｓｈメモリ
１０１０…レンズ
１０１１…Ｆｌａｓｈメモリ
１０１２…マイクロコンピュータ
１０７１…ＯＢ減算部
１０７２…ホワイトバランス補正部
１０７３…同時化処理部
１０７４…カラーマトリクス演算部
１０７５…ガンマ・色再現処理部
１０７６…エッジ強調処理部
１０７７…ノイズ低減処理部
１０７８…歪補正部
DESCRIPTION OF
107 ...
DESCRIPTION OF
Claims (9)
前記画像データに対して、エッジ強調処理を施すエッジ強調部と、
前記局所的な拡大処理または縮小処理に応じて、前記画像データに対するエッジ強調処理を変更する制御部と、
を備え、
前記制御部は、
前記歪補正処理および前記エッジ強調処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、同一の周波数帯域のエッジを強調し、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御し、
前記局所的な拡大処理または縮小処理における局所的な拡大率および縮小率と、最終的に必要とされる画像サイズへ画像データを拡大または縮小する際のリサイズ率との積の最大値が所定のしきい値以下の場合には、前記エッジ強調処理を変更する処理は行わないことを特徴とする画像処理装置。 A distortion correction unit that performs distortion correction processing for correcting distortion by performing local enlargement processing or reduction processing on the image data according to the optical distortion characteristics of the lens used at the time of shooting,
An edge enhancement unit that performs edge enhancement processing on the image data;
A control unit that changes edge enhancement processing on the image data in accordance with the local enlargement processing or reduction processing;
With
The controller is
In the image after the distortion correction processing and the edge enhancement processing, the edge of the same frequency band is enhanced in accordance with the local enlargement processing or reduction processing, and the contrast is reduced by suppressing a partial contrast decrease. Control to be close to the uniform ,
A maximum value of a product of a local enlargement ratio and reduction ratio in the local enlargement process or reduction process and a resizing ratio when image data is enlarged or reduced to a finally required image size is predetermined. The image processing apparatus according to claim 1, wherein when the threshold value is equal to or less than the threshold value, the edge enhancement process is not changed .
前記歪補正処理後の画像データに対して、エッジ強調処理を施すエッジ強調部と、
前記局所的な拡大処理または縮小処理に応じて、前記歪補正処理を施した画像データに対するエッジ強調処理を変更する制御部と、
を備え、
前記制御部は、
前記歪補正処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御し、
前記局所的な拡大処理または縮小処理における局所的な拡大率および縮小率と、最終的に必要とされる画像サイズへ画像データを拡大または縮小する際のリサイズ率との積の最大値が所定のしきい値以下の場合には、前記エッジ強調処理を変更する処理は行わないことを特徴とする画像処理装置。 A distortion correction unit that performs distortion correction processing for correcting distortion by performing local enlargement processing or reduction processing on the image data according to the optical distortion characteristics of the lens used at the time of shooting,
An edge enhancement unit that performs edge enhancement processing on the image data after the distortion correction processing;
A control unit that changes edge enhancement processing on the image data subjected to the distortion correction processing according to the local enlargement processing or reduction processing;
With
The controller is
In the image after the distortion correction processing, in accordance with the local enlargement processing or reduction processing, the reduction of the partial contrast is suppressed and control is performed so as to make the contrast close to uniform ,
A maximum value of a product of a local enlargement ratio and reduction ratio in the local enlargement process or reduction process and a resizing ratio when image data is enlarged or reduced to a finally required image size is predetermined. The image processing apparatus according to claim 1, wherein when the threshold value is equal to or less than the threshold value, the edge enhancement process is not changed .
撮影レンズの周波数に応じたコントラスト特性を記憶する記憶部と、 A storage unit that stores contrast characteristics according to the frequency of the photographing lens;
を備えた撮像装置であって、An imaging device comprising:
前記制御部は、 The controller is
前記記憶部に記憶されているコントラスト特性に応じて、前記エッジ強調処理を施す周波数帯域を変更し、 In accordance with the contrast characteristics stored in the storage unit, the frequency band for performing the edge enhancement processing is changed,
静止画撮影時は、前記エッジ強調処理を施す周波数帯域とともに、エッジを強調する度合いを示すエッジ強調度を変更する処理を行い、動画撮影時は、前記エッジ強調処理を施す周波数帯域を変更する処理および前記エッジ強調度を変更する処理のうちのいずれか一方の処理を行うことを特徴とする撮像装置。 In still image shooting, a process of changing the edge enhancement degree indicating the degree of edge enhancement is performed together with a frequency band in which the edge enhancement process is performed, and in a moving image shooting, a process of changing the frequency band in which the edge enhancement process is performed. And an image processing apparatus that performs any one of the processes for changing the edge enhancement degree.
撮影レンズの周波数に応じたコントラスト特性を記憶する記憶部と、 A storage unit that stores contrast characteristics according to the frequency of the photographing lens;
を備えた撮像装置であって、An imaging device comprising:
前記制御部は、 The controller is
前記記憶部に記憶されているコントラスト特性に応じて、前記エッジ強調処理を施す周波数帯域を変更し、 In accordance with the contrast characteristics stored in the storage unit, the frequency band for performing the edge enhancement processing is changed,
静止画撮影時は、前記エッジ強調処理を施す周波数帯域とともに、エッジを強調する度合いを示すエッジ強調度を変更する処理を行い、動画撮影時は、前記エッジ強調処理を施す周波数帯域を変更する処理および前記エッジ強調度を変更する処理のうちのいずれか一方の処理を行うことを特徴とする撮像装置。 In still image shooting, a process of changing the edge enhancement degree indicating the degree of edge enhancement is performed together with a frequency band in which the edge enhancement process is performed, and in a moving image shooting, a process of changing the frequency band in which the edge enhancement process is performed. And an image processing apparatus that performs any one of the processes for changing the edge enhancement degree.
前記画像データに対して、エッジ強調処理を施すステップと、 Applying edge enhancement processing to the image data;
前記局所的な拡大処理または縮小処理に応じて、前記画像データに対するエッジ強調処理を変更するステップと、 Changing edge enhancement processing on the image data in accordance with the local enlargement processing or reduction processing;
を備え、With
前記エッジ強調処理を変更するステップでは、 In the step of changing the edge enhancement process,
前記歪補正処理および前記エッジ強調処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、同一の周波数帯域のエッジを強調し、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御し、 In the image after the distortion correction processing and the edge enhancement processing, the edge of the same frequency band is enhanced in accordance with the local enlargement processing or reduction processing, and the contrast is reduced by suppressing a partial contrast decrease. Control to be close to the uniform,
前記局所的な拡大処理または縮小処理における局所的な拡大率および縮小率と、最終的に必要とされる画像サイズへ画像データを拡大または縮小する際のリサイズ率との積の最大値が所定のしきい値以下の場合には、前記エッジ強調処理を変更する処理は行わないことを特徴とする画像処理方法。 A maximum value of a product of a local enlargement ratio and reduction ratio in the local enlargement process or reduction process and a resizing ratio when image data is enlarged or reduced to a finally required image size is predetermined. An image processing method characterized in that, when the value is equal to or less than a threshold value, the process for changing the edge enhancement process is not performed.
前記歪補正処理後の画像データに対して、エッジ強調処理を施すステップと、 Applying edge enhancement processing to the image data after the distortion correction processing;
前記局所的な拡大処理または縮小処理に応じて、前記歪補正処理を施した画像データに対するエッジ強調処理を変更するステップと、 Changing edge enhancement processing on the image data subjected to the distortion correction processing according to the local enlargement processing or reduction processing;
を備え、With
前記エッジ強調処理を変更するステップでは、 In the step of changing the edge enhancement process,
前記歪補正処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御し、 In the image after the distortion correction processing, in accordance with the local enlargement processing or reduction processing, the reduction of the partial contrast is suppressed and control is performed so as to make the contrast close to uniform,
前記局所的な拡大処理または縮小処理における局所的な拡大率および縮小率と、最終的に必要とされる画像サイズへ画像データを拡大または縮小する際のリサイズ率との積の最大値が所定のしきい値以下の場合には、前記エッジ強調処理を変更する処理は行わないことを特徴とする画像処理方法。 A maximum value of a product of a local enlargement ratio and reduction ratio in the local enlargement process or reduction process and a resizing ratio when image data is enlarged or reduced to a finally required image size is predetermined. An image processing method characterized in that, when the value is equal to or less than a threshold value, the process for changing the edge enhancement process is not performed.
前記画像データに対して、エッジ強調処理を施すステップと、
前記局所的な拡大処理または縮小処理に応じて、前記画像データに対するエッジ強調処理を変更するステップと、
をコンピュータに実行させるための画像処理プログラムであって、
前記エッジ強調処理を変更するステップでは、
前記歪補正処理および前記エッジ強調処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、同一の周波数帯域のエッジを強調し、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御し、
前記局所的な拡大処理または縮小処理における局所的な拡大率および縮小率と、最終的に必要とされる画像サイズへ画像データを拡大または縮小する際のリサイズ率との積の最大値が所定のしきい値以下の場合には、前記エッジ強調処理を変更する処理は行わないことを特徴とする画像処理プログラム。 Applying distortion correction processing to correct distortion by performing local enlargement processing or reduction processing on the image data according to the optical distortion characteristics of the lens used at the time of shooting;
Applying edge enhancement processing to the image data;
Changing edge enhancement processing on the image data in accordance with the local enlargement processing or reduction processing;
An image processing program for causing a computer to execute
In the step of changing the edge enhancement process,
In the image after the distortion correction processing and the edge enhancement processing, the edge of the same frequency band is enhanced in accordance with the local enlargement processing or reduction processing, and the contrast is reduced by suppressing a partial contrast decrease. Control to be close to the uniform,
A maximum value of a product of a local enlargement ratio and reduction ratio in the local enlargement process or reduction process and a resizing ratio when image data is enlarged or reduced to a finally required image size is predetermined. An image processing program characterized by not performing the process of changing the edge enhancement process when the value is not more than a threshold value .
前記歪補正処理後の画像データに対して、エッジ強調処理を施すステップと、
前記局所的な拡大処理または縮小処理に応じて、前記歪補正処理を施した画像データに対するエッジ強調処理を変更するステップと、
をコンピュータに実行させるための画像処理プログラムであって、
前記エッジ強調処理を変更するステップでは、
前記歪補正処理後の画像において、前記局所的な拡大処理または縮小処理に応じて、部分的なコントラストの低下を抑制して、コントラストを均一に近づけるように制御し、
前記局所的な拡大処理または縮小処理における局所的な拡大率および縮小率と、最終的に必要とされる画像サイズへ画像データを拡大または縮小する際のリサイズ率との積の最大値が所定のしきい値以下の場合には、前記エッジ強調処理を変更する処理は行わないことを特徴とする画像処理プログラム。 Applying distortion correction processing to correct distortion by performing local enlargement processing or reduction processing on the image data according to the optical distortion characteristics of the lens used at the time of shooting;
Applying edge enhancement processing to the image data after the distortion correction processing;
Changing edge enhancement processing on the image data subjected to the distortion correction processing according to the local enlargement processing or reduction processing;
An image processing program for causing a computer to execute
In the step of changing the edge enhancement process,
In the image after the distortion correction processing, in accordance with the local enlargement processing or reduction processing, the reduction of the partial contrast is suppressed and control is performed so as to make the contrast close to uniform,
A maximum value of a product of a local enlargement ratio and reduction ratio in the local enlargement process or reduction process and a resizing ratio when image data is enlarged or reduced to a finally required image size is predetermined. An image processing program characterized by not performing the process of changing the edge enhancement process when the value is not more than a threshold value .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014175411A JP5800970B2 (en) | 2014-08-29 | 2014-08-29 | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014175411A JP5800970B2 (en) | 2014-08-29 | 2014-08-29 | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009242185A Division JP5607911B2 (en) | 2009-10-21 | 2009-10-21 | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015008523A JP2015008523A (en) | 2015-01-15 |
| JP5800970B2 true JP5800970B2 (en) | 2015-10-28 |
Family
ID=52338470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014175411A Active JP5800970B2 (en) | 2014-08-29 | 2014-08-29 | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5800970B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097970B (en) | 2016-08-10 | 2018-11-20 | 深圳市华星光电技术有限公司 | A kind of driving method and drive system for reducing AMOLED and showing ghost |
| JP6858073B2 (en) * | 2017-05-19 | 2021-04-14 | キヤノン株式会社 | Image processing device, image processing method, and program |
| JP6929711B2 (en) * | 2017-06-15 | 2021-09-01 | オリンパス株式会社 | Image processing device, image processing method, image processing program |
| JP6987707B2 (en) | 2018-06-28 | 2022-01-05 | ルネサスエレクトロニクス株式会社 | Semiconductor devices, image recognition systems |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4436626B2 (en) * | 2003-06-20 | 2010-03-24 | オリンパス株式会社 | Image processing device |
| JP2008146155A (en) * | 2006-12-06 | 2008-06-26 | Sony Corp | Image processing method and device |
-
2014
- 2014-08-29 JP JP2014175411A patent/JP5800970B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015008523A (en) | 2015-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9769377B2 (en) | Imaging apparatus and control method for handling a raw image of a moving image or a still image | |
| JP5660341B2 (en) | Imaging apparatus and imaging method | |
| JP5592776B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US9398230B2 (en) | Imaging device and imaging method | |
| US9894270B2 (en) | Image processing apparatus and image processing method for handling a raw image, of a moving image or a still image | |
| US9723169B2 (en) | Imaging apparatus and imaging apparatus control method | |
| JP5800970B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
| JP5607911B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
| US10091415B2 (en) | Image processing apparatus, method for controlling image processing apparatus, image pickup apparatus, method for controlling image pickup apparatus, and recording medium | |
| US9282257B2 (en) | Image apparatus and imaging method | |
| US9979943B2 (en) | Image processing apparatus for applying emphasis effect processing to a specific component of an image signal, image processing method and image capture apparatus | |
| JP2011160183A (en) | Imaging device and method | |
| JP2010283504A (en) | Imaging device, imaging method, and imaging program | |
| JP5310331B2 (en) | Imaging apparatus and imaging method | |
| JP6592293B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| US20110050953A1 (en) | Method of setting image aspect ratio according to scene recognition and digital photographing apparatus for performing the method | |
| JP5191941B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and image processing program | |
| JP5094686B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2009219028A (en) | Image recording method and imaging unit | |
| JP6592292B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP5849532B2 (en) | Imaging apparatus and imaging method | |
| JP5807378B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP2010028607A (en) | Image processing apparatus, image capturing apparatus and image processing mehtod | |
| JP2011086209A (en) | Moving picture processing apparatus and moving picture processing method | |
| JP2011147012A (en) | Image display device, and method of displaying image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150423 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150430 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150715 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150804 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150825 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5800970 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |