JP2019149787A - Imaging apparatus, image processing apparatus, and image processing program - Google Patents
Imaging apparatus, image processing apparatus, and image processing program Download PDFInfo
- Publication number
- JP2019149787A JP2019149787A JP2018035298A JP2018035298A JP2019149787A JP 2019149787 A JP2019149787 A JP 2019149787A JP 2018035298 A JP2018035298 A JP 2018035298A JP 2018035298 A JP2018035298 A JP 2018035298A JP 2019149787 A JP2019149787 A JP 2019149787A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- weight
- noise
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置、画像処理装置、および画像処理プログラムに関する。 The present invention relates to an imaging device, an image processing device, and an image processing program.
動画に対するノイズ除去手法として、過去のフレームと現在のフレームの重み付き平均処理がある（たとえば、下記特許文献１を参照）。しかしながら、特許文献１のノイズ低減システムは、より精度を上げるには画像メモリーにより多くの過去のフレームを保持しなければならないが、画像メモリーの使用メモリ量にも限界がある。一方、使用メモリ量を制限すると、ノイズ低減の精度向上が見込めない。
As a noise removal technique for a moving image, there is a weighted average process of a past frame and a current frame (see, for example,
本願において開示される発明の第１側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データと前記第２画像データよりも時間的に後の第３画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みをする算出部と、前記算出部によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去部と、を有する。 An image pickup apparatus according to a first aspect of the invention disclosed in the present application picks up a subject, and uses first image data and second image data that is temporally later than the first image data and the second image data. An imaging unit that outputs the third image data that is later in time, the first noise-removed image data that has been denoised from the first image data, and the second image data. A first weight is calculated, a second weight of the second image data is calculated based on the second noise-removed image data from which noise has been removed from the second image data and the third image data, and the first weight And a calculating unit that applies a third weight based on the second weight, and a removing unit that removes noise from the third image data based on the third weight calculated by the calculating unit.
本願において開示される発明の第２側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部と、前記抽出部によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、を有する。 An image pickup apparatus according to a second aspect of the invention disclosed in the present application picks up an image of a subject and outputs first image data and second image data temporally later than the first image data; An extraction unit that extracts first spatial information indicating characteristics of a spatial structure included in an image from at least one of the first noise-removed image data and the second image data that have been denoised from the first image data; Based on the first spatial information extracted by the extraction unit, a calculation unit that calculates a first weight of the first image data, the first noise-removed image data, and a first weight calculated by the calculation unit And a removing unit that removes noise from the second image data.
本願において開示される発明の第３側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第２画像データ内の残像を低減する残像低減処理部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第２画像データからノイズを除去する除去部と、を有する。 An image pickup apparatus according to a third aspect of the invention disclosed in the present application picks up an image of a subject and outputs first image data and second image data temporally later than the first image data; A calculation unit for calculating a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from the first image data; Second image data that has been subjected to afterimage reduction processing by the afterimage reduction processing unit based on the afterimage reduction processing unit that reduces afterimages, the first noise-removed image data, and the first weight calculated by the calculation unit. And a removing unit that removes noise from.
本願において開示される発明の第４側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理部と、を有する。 An imaging device according to a fourth aspect of the invention disclosed in the present application is an imaging unit that images a subject and outputs first image data and second image data later in time than the first image data; A calculation unit for calculating a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from the first image data; and the first noise-removed image data And a removal unit that removes noise from the second image data based on the first weight calculated by the calculation unit, and a second noise removal in which noise is removed from the second image data by the removal unit An afterimage reduction processing unit that reduces afterimages in the image data.
本願において開示される発明の第５側面となる撮像装置は、被写体を撮像する際のフレームレートの入力を受け付ける入力部と、露光時間を、前記入力部によって入力されたフレームレートに対応する第１露光時間から前記第１露光時間よりも長い第２露光時間に調整する調整部と、前記フレームレートおよび前記調整部によって調整された第２露光時間に基づいて、前記被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、を有する。 An imaging apparatus according to a fifth aspect of the invention disclosed in the present application includes an input unit that receives an input of a frame rate when imaging a subject, and an exposure time corresponding to a frame rate input by the input unit. An adjustment unit that adjusts an exposure time to a second exposure time that is longer than the first exposure time; and an image of the subject based on the frame rate and the second exposure time adjusted by the adjustment unit; An imaging unit that outputs image data and second image data that is temporally later than the first image data, first noise-removed image data that has been denoised from the first image data, and second image data Based on the calculation unit that calculates the first weight of the first image data, the first noise-removed image data, and the first weight calculated by the calculation unit. Has a removal unit for removing noise from the second image data.
本願において開示される発明の第６側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データと前記第２画像データよりも時間的に後に撮像された第３画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出する算出部と、前記算出部によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去部と、を有する。 An image processing apparatus according to a sixth aspect of the invention disclosed in the present application is the first image data, the second image data captured later in time than the first image data, and the second image data temporally than the second image data. An acquisition unit for acquiring the third image data captured later, the first noise-removed image data from which the noise has been removed from the first image data, and the second image data. 1 weight is calculated, a second weight of the second image data is calculated based on the second noise-removed image data from which noise has been removed from the second image data and the third image data, and the first weight and A calculating unit that calculates a third weight based on the second weight; and a removing unit that removes noise of the third image data based on the third weight calculated by the calculating unit.
本願において開示される発明の第７側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部と、前記抽出部によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、を有する。 An image processing apparatus according to a seventh aspect of the invention disclosed in the present application includes: an acquisition unit that acquires first image data and second image data captured after the first image data; An extraction unit for extracting first spatial information indicating a feature of a spatial structure included in an image from at least one of the first noise-removed image data and the second image data from which noise has been removed from one image data; and the extraction unit Based on the calculation unit that calculates the first weight of the first image data based on the extracted first spatial information, the first noise-removed image data, and the first weight calculated by the calculation unit. And a removing unit that removes noise from the second image data.
本願において開示される発明の第８側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第２画像データ内の残像を低減する残像低減処理部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第２画像データからノイズを除去する除去部と、を有する。 An image processing apparatus according to an eighth aspect of the invention disclosed in the present application includes: an acquisition unit that acquires first image data and second image data captured after the first image data; A calculation unit that calculates a first weight of the first image data based on the first noise-removed image data from which noise has been removed from one image data and the second image data, and an afterimage in the second image data is reduced Noise from the second image data that has been subjected to the afterimage reduction processing by the afterimage reduction processing unit, based on the afterimage reduction processing unit, the first noise-removed image data, and the first weight calculated by the calculation unit. And a removing portion to be removed.
本願において開示される発明の第９側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理部と、を有する。 An image processing apparatus according to a ninth aspect of the invention disclosed in the present application includes: an acquisition unit configured to acquire first image data and second image data captured after the first image data; Based on the first noise-removed image data from which noise has been removed from one image data and the second image data, a calculation unit that calculates a first weight of the first image data, the first noise-removed image data, Based on the first weight calculated by the calculation unit, a removal unit that removes noise from the second image data, and the second noise-removed image data in which noise is removed from the second image data by the removal unit An afterimage reduction processing unit that reduces the afterimage of the image.
本願において開示される発明の第１０側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データと前記第２画像データよりも時間的に後に撮像された第３画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出する算出処理と、前記算出処理によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去処理と、をプロセッサに実行させる。 An image processing program according to a tenth aspect of the invention disclosed in the present application is the first image data, the second image data captured later in time than the first image data, and the second image data temporally than the second image data. Based on the acquisition processing for acquiring the third image data captured later, the first noise-removed image data noise-removed from the first image data, and the second image data. 1 weight is calculated, a second weight of the second image data is calculated based on the second noise-removed image data from which noise has been removed from the second image data and the third image data, and the first weight and A calculation process for calculating a third weight based on the second weight, and a removal process for removing noise of the third image data based on the third weight calculated by the calculation process , To perform to the processor.
本願において開示される発明の第１１側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出処理と、前記抽出処理によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出処理と、前記第１ノイズ除去画像データと、前記算出処理によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去処理と、をプロセッサに実行させる。 An image processing program according to an eleventh aspect of the invention disclosed in the present application is an acquisition process for acquiring first image data and second image data captured after the first image data in time, An extraction process for extracting first spatial information indicating a feature of a spatial structure included in the image from at least one of the first noise-removed image data and the second image data from which noise has been removed from one image data; and Based on the calculation processing for calculating the first weight of the first image data based on the extracted first spatial information, the first noise-removed image data, and the first weight calculated by the calculation processing. Then, the processor executes a removal process for removing noise from the second image data.
本願において開示される発明の第１２側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出処理と、前記第２画像データ内の残像を低減する残像低減処理と、前記第１ノイズ除去画像データと、前記算出処理によって算出された第１重みと、に基づいて、前記残像低減処理による残像低減処理済みの第２画像データからノイズを除去する除去処理と、をプロセッサに実行させる。 An image processing program according to a twelfth aspect of the invention disclosed in the present application is an acquisition process for acquiring first image data and second image data captured later in time than the first image data; A calculation process for calculating a first weight of the first image data based on the first noise-removed image data from which noise has been removed from one image data and the second image data, and an afterimage in the second image data is reduced. Noise is removed from the second image data that has been subjected to the afterimage reduction processing by the afterimage reduction processing, based on the afterimage reduction processing to be performed, the first noise-removed image data, and the first weight calculated by the calculation processing. The removal process is executed by the processor.
本願において開示される発明の第１３側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出処理と、前記第１ノイズ除去画像データと、前記算出処理によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去処理と、前記除去処理によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理と、をプロセッサに実行させる。 An image processing program according to a thirteenth aspect of the invention disclosed in the present application is an acquisition process for acquiring first image data and second image data captured after the first image data in time, A calculation process for calculating a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from one image data; the first noise-removed image data; Based on the first weight calculated by the calculation process, a removal process for removing noise from the second image data, and the second noise-removed image data in which noise has been removed from the second image data by the removal process And causing the processor to perform afterimage reduction processing for reducing the afterimage.
実施例１について説明する。動画に対するノイズ除去手法として、ノイズ除去された過去の画像データとノイズが除去されていない現在の画像データとの重み付き平均処理がある。ノイズの除去精度を高めるためには過去フレーム数をメモリに多く保持しておく必要があるが、メモリ使用量が増加してしまう。 Example 1 will be described. As a noise removal technique for a moving image, there is a weighted average process between past image data from which noise has been removed and current image data from which noise has not been removed. In order to increase the noise removal accuracy, it is necessary to store a large number of past frames in the memory, but this increases the amount of memory used.
このため、実施例１では、ノイズが除去されたノイズ除去画像データの数を必要最小限に抑制するため、撮像装置は、ノイズ除去に使用される重みを再帰的に利用することにより、ノイズ除去精度の向上を図り、メモリ使用量を低減する。 For this reason, in the first embodiment, in order to suppress the number of noise-removed image data from which noise has been removed to the necessary minimum, the imaging apparatus recursively uses the weights used for noise removal, thereby removing noise. Improve accuracy and reduce memory usage.
重みとは、動画像において時間的に連続する先行画像データと後続画像データとを同一領域で比較した場合の当該領域ごとにおける後続画像データに対する先行画像データの信頼度である。領域とは、１画素以上の画素集合である。領域は画像データ全体であってもよい。 The weight is the reliability of the preceding image data with respect to the subsequent image data in each region when the temporally continuous preceding image data and the subsequent image data are compared in the same region. A region is a set of one or more pixels. The region may be the entire image data.
重みは、たとえば、０．０以上１．０以下の範囲をとり、値が大きいほど信頼度が高いことを意味する。先行画像データおよび後続画像データの同一領域どうしが類似するほど、重みの値は大きくなる。重みを再帰的に利用することにより、過去の画像データの残像ほど重みの値が小さくなり、残像が低減される。以下、実施例１について詳細に説明する。 For example, the weight ranges from 0.0 to 1.0, and the larger the value, the higher the reliability. The more similar the same area of the preceding image data and the subsequent image data, the larger the weight value. By using the weight recursively, the afterimage of the past image data has a smaller weight value and the afterimage is reduced. Hereinafter, Example 1 will be described in detail.
＜撮像装置のハードウェア構成例＞
図１は、撮像装置のハードウェア構成例を示すブロック図である。撮像装置１００は、動画撮影可能な装置であり、具体的には、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、パーソナルコンピュータ、ゲーム機である。図１では、撮像装置の一例としてデジタルカメラを例に挙げて説明する。
<Example of hardware configuration of imaging apparatus>
FIG. 1 is a block diagram illustrating a hardware configuration example of the imaging apparatus. The
撮像装置１００は、プロセッサ１０１と、記憶デバイス１０２と、駆動部１０３と、光学系１０４と、撮像素子１０５と、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０６と、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１０７と、操作デバイス１０８と、センサ１０９と、表示デバイス１１０と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１１１と、バス１１２と、を有する。プロセッサ１０１、記憶デバイス１０２、駆動部１０３、ＬＳＩ１０７、操作デバイス１０８、センサ１０９、表示デバイス１１０、および通信ＩＦ１１１は、バス１１２に接続される。
The
プロセッサ１０１は、撮像装置１００を制御する。記憶デバイス１０２は、プロセッサ１０１の作業エリアとなる。また、記憶デバイス１０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス１０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。記憶デバイス１０２は、撮像装置１００に複数実装されてもよく、そのうちの少なくとも１つは、撮像装置１００に対し着脱自在でもよい。
The
駆動部１０３は、光学系１０４を駆動制御する。駆動部１０３は、駆動回路１０３ａと駆動源１０３ｂとを有する。駆動回路１０３ａは、プロセッサ１０１からの指示により駆動源１０３ｂを制御する。駆動源１０３ｂは、たとえば、モータであり、駆動回路１０３ａの制御により、光学系１０４内のズーミングレンズ１４１ｂおよびフォーカシングレンズ１４１ｃを光軸方向に移動させたり、絞り１４２を開閉制御する。
The
光学系１０４は、光軸方向に配列された複数のレンズ（レンズ１４１ａ、ズーミングレンズ１４１ｂ、およびフォーカシングレンズ１４１ｃ）と、絞り１４２と、を含む。光学系１０４は、被写体光を集光し、撮像素子１０５に出射する。
The
撮像素子１０５は、光学系１０４からの被写体光を受光して電気信号に変換する。撮像素子１０５は、たとえば、ＸＹアドレス方式の固体撮像素子（たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ‐Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ））であってもよく、順次走査方式の固体撮像素子（たとえば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ））であってもよい。
The
撮像素子１０５の受光面には、複数の受光素子（画素）がマトリクス状に配列されている。そして、撮像素子１０５の画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列（たとえば、ベイヤ配列）に従って配置される。そのため、撮像素子１０５の各画素は、カラーフィルタでの色分解によって各色成分に対応するアナログの電気信号を出力する。
A plurality of light receiving elements (pixels) are arranged in a matrix on the light receiving surface of the
ＡＦＥ１０６は、撮像素子１０５からのアナログの電気信号に対して信号処理を施すアナログフロントエンド回路である。ＡＦＥ１０６は、電気信号のゲイン調整、アナログ信号処理（相関二重サンプリング、黒レベル補正など）、Ａ／Ｄ変換処理、デジタル信号処理（欠陥画素補正など）を順次実行してＲＡＷ画像データを生成し、ＬＳＩに出力する。上述した駆動部１０３、光学系１０４、撮像素子１０５、およびＡＦＥ１０６は、撮像部１２０を構成する。
The
ＬＳＩ１０７は、ＡＦＥ１０６からのＲＡＷ画像データについて、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理など、特定の処理を実行する集積回路である。ＬＳＩ１０７は、具体的には、たとえば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によって実現してもよい。
The
操作デバイス１０８は、コマンドやデータを入力する。操作デバイス１０８としては、たとえば、レリーズボタンを含む各種ボタン、スイッチ、ダイヤル、タッチパネルがある。センサは、情報を検出するデバイスであり、たとえば、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）センサ、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）センサ、ジャイロセンサ、加速度センサ、温度センサなどがある。表示デバイス１１０は、画像データや設定画面を表示する。表示デバイス１１０には、撮像装置１００の背面にある背面モニタと、電子ビューファインダと、がある。通信ＩＦ１１１は、ネットワークと接続し、データを送受信する。
The
＜撮像装置１００の機能的構成例＞
図２は、実施例１にかかる撮像装置１００の機能的構成例を示すブロック図である。撮像装置１００は、取得部２０１と、算出部２０２と、除去部２０３と、画像保存部２０４と、第１メモリ２０５と、を有する。取得部２０１、算出部２０２、除去部２０３、画像保存部２０４、および第１メモリ２０５は、画像処理装置２００を構成する。
<Functional Configuration Example of
FIG. 2 is a block diagram of a functional configuration example of the
取得部２０１は、撮像部１２０によって撮像された時間的に連続する一連の画像データを取得する。取得部２０１は、たとえば、記憶デバイス１０２の１つであるバッファメモリである。なお、撮像装置１００が、撮像部１２０がない画像処理装置２００である場合、記憶デバイス１０２または通信ＩＦ１１１からの一連の画像データを取得することになる。取得部２０１は、たとえば、記憶デバイス１０２の１つであるバッファメモリである。
The
算出部２０２、除去部２０３および画像保存部２０４は、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０７により実現される。また、第１メモリ２０５は、記憶デバイス１０２の１つである。
Specifically, the
ここで、一連の画像データを、連続する第１画像データ〜第３画像データを例に挙げて説明する。なお、撮像部１２０は、被写体を撮像して、第１画像データ〜第３画像データの順に出力するものとする。第１画像データは、連続する第１画像データ〜第３画像データの中で、撮像部１２０から出力された時間的に最古の画像データとする。第２画像データは、第１画像データよりも時間的に後に撮像部１２０から出力された画像データとする。第３画像データは、第２画像データよりも時間的に後に撮像部１２０から出力された画像データとする。
Here, a series of image data will be described by taking continuous first image data to third image data as an example. Note that the
算出部２０２は、重み計算部２２１と、重み調整部２２２と、重み保存部２２３と、第２メモリ２２４と、を有する。重み計算部２２１は、除去部２０３によって第１画像データからノイズ除去された第１ノイズ除去画像データおよび第２画像データに基づいて、第１画像データの第１重みを算出する。算出部２０２は、第１重みを算出する際、第２画像データに先行する過去画像データとして、第１ノイズ除去画像データを第１メモリ２０５から読み出す。第１画像データは、第２画像データの先行画像データであり、第２画像データは、第１画像データの後続画像データである。
The
また、算出部２０２は、除去部２０３によって第２画像データからノイズ除去された第２ノイズ除去画像データおよび第３画像データに基づいて、第２画像データの第２重みを算出する。算出部２０２は、第２重みを算出する際、第３画像データに先行する過去画像データとして、第１メモリ２０５から第２ノイズ除去画像データを読み出す。第２画像データは、第３画像データの先行画像データであり、第３画像データは、第２画像データの後続画像データである。
The calculating
重みとは、上述したように、時間的に連続する先行画像データと後続画像データとを同一領域で比較した場合の当該領域ごとにおける後続画像データに対する先行画像データの信頼度である。領域とは、１画素以上の画素集合である。領域は画像データ全体であってもよい。 As described above, the weight is the reliability of the preceding image data with respect to the subsequent image data in each region when the temporally continuous preceding image data and the subsequent image data are compared in the same region. A region is a set of one or more pixels. The region may be the entire image data.
ここで、時刻ｔよりも前にノイズ除去処理された画像データをＩｏｌｄと表記し、時刻ｔの画像データをＩｔと表記する。ＩｏｌｄやＩｔを区別しない場合は、単に画像データＩと表記する。画像データＩは、たとえば、マトリクス状の画素群の各値に対応する行列である。したがって、重みもまた行列により表現され、Ｗと表記する。重みＷの各要素は、画像データＩ内の領域（ｘ，ｙ）に対応し、その領域の重みｗは、たとえば、０．０以上１．０以下の範囲をとる。 Here, image data that has been subjected to noise removal processing before time t is denoted as I old, and image data at time t is denoted as It. If not distinguished I old and I t, simply referred to as image data I. The image data I is, for example, a matrix corresponding to each value of a matrix pixel group. Therefore, the weight is also expressed by a matrix and denoted as W. Each element of the weight W corresponds to a region (x, y) in the image data I, and the weight w of the region ranges from 0.0 to 1.0, for example.
ある領域において、重み（信頼度）ｗが高いほど、当該領域において、先行画像データと後続画像データとの間で画像のブレが少ない、すなわち、残像が少ないことを示し、重み（信頼度）が低いほど、当該領域において、先行画像データと後続画像データとの間でブレが多い、すなわち、残像が多いことを示す。 The higher the weight (reliability) w in a certain region, the less blurring of the image between the preceding image data and the subsequent image data in the region, that is, the less afterimage, and the weight (reliability) is lower. A lower value indicates that there is more blur between the preceding image data and the subsequent image data in the region, that is, there are more afterimages.
時刻ｔの後続画像データに対する先行画像データＩｏｌｄ内の領域の重みｗは、下記式（１）により算出される。 The weight w of the area in the preceding image data I old with respect to the subsequent image data at time t is calculated by the following equation (1).
ｗ＝ｆ（Ｉｔ，Ｉｏｌｄ）・・・（１） w = f (I t , I old ) (1)
関数ｆ（・）は、先行画像データＩｏｌｄ内の領域の重みｗを求める関数である。なお、領域が先行画像データＩｏｌｄの全体であれば、重みｗは１つの値となる。また、重み計算部２２１は、先行画像データＩｏｌｄのチャンネル数に応じて複数の重みＷを求めてもよい。先行画像データＩｏｌｄの領域の重みｗは、後続画像データＩｔの類似度が大きいほど大きくするのがよい。領域の重みｗの求め方の一例としては下記式（２）がある。
The function f (·) is a function for obtaining the weight w of the area in the preceding image data I old . If the region is the entire preceding image data I old , the weight w is a single value. In addition, the
関数ｆｘ,ｙは、領域（ｘ，ｙ）の重みｗの算出を意味する。ｘは先行画像データＩｏｌｄの領域の列方向における位置を示し、ｙは行方向の位置を示す。また，関数φｘ,ｙは領域（ｘ，ｙ）を中心とした近傍領域の部分画像データを取得する関数である。また，||・||はＬ２ノルムを意味する。また，σは、重みの算出結果を調整するパラメータである。σは上記式（２）の分子の値である画像の差に対する感度を調整するためパラメータであり、σの値を大きくすると画像の差が大きくても重みが大きく算出されることになる。 The function f x, y means calculation of the weight w of the region (x, y). x indicates the position in the column direction of the area of the preceding image data I old , and y indicates the position in the row direction. Further, the function φ x, y is a function for acquiring partial image data of a neighboring region centered on the region (x, y). || · || means the L2 norm. Σ is a parameter for adjusting the weight calculation result. σ is a parameter for adjusting the sensitivity to the image difference, which is the numerator value of the above formula (2). When the value of σ is increased, a large weight is calculated even if the image difference is large.
重み調整部２２２は、第２メモリ２２４に保存されている最新の重みＷｏｌｄに基づいて、重み計算部２２１によって計算された重みＷを調整する。調整済みの重みＷを重みＷ´とする。重み保存部２２３は、重み調整部２２２による調整前の重みＷをＷｏｌｄとして第２メモリ２２４に保存する（式（４）を参照）。第２メモリ２２４は、記憶デバイス１０２により構成される。
The
調整済みの重みＷ´は、下記式（３）により算出される。 The adjusted weight W ′ is calculated by the following equation (3).
Ｗ´＝ｇ（Ｗ，Ｗｏｌｄ）・・・（３） W ′ = g (W, W old ) (3)
関数ｇ（・）は、重みＷを調整する関数である。Ｗｏｌｄは、下記式（４）のように、調整前の重みＷにより更新される。ここでは直接重みＷをＷｏｌｄに更新しているが，重みＷのサイズを縮小してＷｏｌｄに更新してもよい。重みを過去重みＷｏｌｄと称す。 The function g (•) is a function for adjusting the weight W. W old is updated by the weight W before adjustment as shown in the following equation (4). Although the weight W is directly updated to Wold here, the size of the weight W may be reduced and updated to Wold . The weight referred to as the past weight W old.
Ｗｏｌｄ＝Ｗ・・・（４） W old = W (4)
また、式（３）の右辺は、たとえば、下記式（５）により表現される。 Moreover, the right side of Formula (3) is represented by the following formula (5), for example.
また、調整済みの重みＷ´に上限や下限を設けたり、一律の調整係数を掛けたりしてもよい。また、式（３）の右辺は、たとえば、下記式（６）により表現されてもよい。 Further, the adjusted weight W ′ may be provided with an upper limit or a lower limit, or may be multiplied by a uniform adjustment coefficient. Moreover, the right side of Formula (3) may be expressed by the following Formula (6), for example.
ｇ（Ｗ，Ｗｏｌｄ）＝ｍｉｎ（Ｗ，Ｗｏｌｄ）・・・（６） g (W, Wold ) = min (W, Wold ) (6)
上記式（６）は、重みＷと過去重みＷｏｌｄを要素ごとに比較して、値が小さい方の重みｗを採用する。このようにして、調整済みの重みＷ´の領域の重みｗ´は、調整前の重みｗに比べて小さくなる。 In the above equation (6), the weight W and the past weight W old are compared for each element, and the weight w having the smaller value is adopted. In this way, the weight w ′ of the adjusted weight W ′ area is smaller than the weight w before adjustment.
ここで、上述した第１画像データ〜第３画像データを例に挙げて、重みＷの調整について説明する。なお、第１画像データを先行画像データとし、第１画像データからノイズ除去された第１ノイズ除去画像データを過去画像Ｉｏｌｄとした場合の重みＷを重みＷ１とする。また、第２画像データを先行画像データとし、第２画像データからノイズ除去された第２ノイズ除去画像データを過去画像Ｉｏｌｄとした場合の重みＷを重みＷ２とする。また、第３画像データを先行画像データとし、第３画像データからノイズ除去された第３ノイズ除去画像データを過去画像Ｉｏｌｄとした場合の重みＷを重みＷ３とする。 Here, the adjustment of the weight W will be described by taking the first to third image data described above as an example. The weight W when the first image data is the preceding image data and the first noise-removed image data from which the noise has been removed from the first image data is the past image I old is the weight W1. Further, the weight W when the second image data is the preceding image data and the second noise-removed image data from which the noise has been removed from the second image data is the past image I old is the weight W2. Further, the weight W when the third image data is the preceding image data and the third noise-removed image data from which noise has been removed from the third image data is the past image I old is the weight W3.
なお、第１画像データが動画像データの先頭画像データである場合、第１画像データに先行する画像データは存在しないため、重みＷ１は重み調整部２２２によって調整されずに、重み保存部２２３により第２メモリ２２４に過去重みＷｏｌｄとして保存される。第１画像データおよび第２画像データにより重みＷ２が計算された場合、重み調整部２２２は、第２メモリ２２４から過去重みＷｏｌｄ（＝重みＷ１）を読みだして、上記式（５）により重みＷ２と乗算して、調整済みの重みＷ２´を算出する。重み保存部２２３は、調整前の重みＷ２を過去重みＷｏｌｄとして第２メモリ２２４に保存する。
Note that when the first image data is the head image data of the moving image data, there is no image data preceding the first image data, so the weight W1 is not adjusted by the
また、第２画像データおよび第３画像データにより重みＷ３が計算された場合、重み調整部２２２は、第２メモリ２２４から重みＷｏｌｄ（＝重みＷ２）を読みだして、上記式（５）により、重みＷ３と乗算して、調整済みの重みＷ３´を算出する。重み保存部２２３は、調整前の重みＷ３をＷｏｌｄとして第２メモリ２２４に保存する。
Further, when the weight W3 is calculated from the second image data and the third image data, the
除去部２０３は、調整済みの重みＷ´に基づいて、ノイズ除去対象の画像データのノイズを除去し、ノイズ除去画像データを出力する。具体的には、たとえば、除去部２０３は、調整済みの重みＷ´を用いた重み付け平均により、ノイズ除去対象の画像データのノイズを除去する。重み付け平均は、たとえば、下記式（７）により表現される。
Based on the adjusted weight W ′, the
上記式（７）において、Ｉｏｕｔは、ノイズ除去された画像データ（ノイズ除去画像データ）である。 In the above equation (7), I out is image data from which noise has been removed (noise-removed image data).
画像保存部２０４は，除去部２０３から出力されたノイズ除去画像データＩｏｕｔを過去画像データＩｏｌｄとして第１メモリ２０５に保存する。第１メモリ２０５は、記憶デバイス１０２により構成される。
The
＜再帰的ノイズ除去処理＞
図３は、実施例１にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。図４は、調整済みの重みＷ´による再帰的ノイズ除去例を示す説明図である。図４の比較例として、図５を例示する。図５は、調整済みの重みＷ´を適用しない再帰的ノイズ除去例を示す説明図である。なお、図４および図５において図３のステップに該当する箇所には、図３のステップ番号を付す。なお、図５では調整済みの重みＷ´を適用しないため、ステップＳ３０４〜Ｓ３０６は存在しない。また、図４および図５では、撮像装置１００は、撮像方向を固定しており、被写体像が左から右に移動する動画像データを撮像する場合を例に挙げて説明する。
<Recursive noise removal processing>
FIG. 3 is a flowchart illustrating an example of a recursive noise removal procedure performed by the
まず、図４および図５の中央点線の左側について、図３を用いて説明する。撮像装置１００は、取得部２０１により現在画像データを取得して読み込み（ステップＳ３０１）、過去画像データを第１メモリ２０５から読み込む（ステップＳ３０２）。ここで、現在画像データとは、時刻ｔ−１の後続画像データＩ（ｔ−１）であり、過去画像データとは、時刻（ｔ−１）以前の時刻（ｔ−２）の先行画像データからノイズ除去されたノイズ除去画像データ、すなわちＩｏｌｄである。Ｉｏｌｄには、被写体像ＯＢ（ｔ−２）が存在するものとする。
First, the left side of the central dotted line in FIGS. 4 and 5 will be described with reference to FIG. The
撮像装置１００は、重み計算部２２１により、過去画像データＩｏｌｄと現在画像データＩ（ｔ−１）とを式（２）に与えて、重みＷ（ｔ−１）を計算する（ステップＳ３０３）。過去画像データＩｏｌｄと現在画像データＩ（ｔ−１）とにおいて、同一領域の画像が類似するほど、重みは大きくなり、類似しなくなるほど、小さくなる。したがって、過去画像データＩｏｌｄと現在画像データＩ（ｔ−１）とにおいて、被写体像ＯＢ（ｔ−２），ＯＢ（ｔ−１）がいずれも存在しない領域は、ほぼ同じ画像となり、当該領域の重みｗ（ｔ−１）は、たとえば、最大値の１．０となる。
The
一方、過去画像データＩｏｌｄと現在画像データＩ（ｔ−１）とにおいて、被写体像ＯＢ（ｔ−２），ＯＢ（ｔ−１）のいずれか一方が存在する領域は、異なる画像となり、当該領域の重みｗ（ｔ−１）は低くなる。ここでは、例として、当該領域の重みｗ（ｔ−１）を０．０とする。なお、被写体像ＯＢ（ｔ−２），ＯＢ（ｔ−１）の境界部分の領域については、被写体像ＯＢ（ｔ−２），ＯＢ（ｔ−１）のいずれか一方が存在する領域よりも類似している。ここでは、例として、当該領域の重みｗ（ｔ−１）を０．５とする。 On the other hand, in the past image data I old and the current image data I (t−1), the region where one of the subject images OB (t−2) and OB (t−1) exists is a different image, The area weight w (t−1) is low. Here, as an example, the weight w (t−1) of the area is set to 0.0. Note that the area at the boundary between the subject images OB (t−2) and OB (t−1) is greater than the region in which one of the subject images OB (t−2) and OB (t−1) exists. It is similar. Here, as an example, the weight w (t−1) of the area is set to 0.5.
つぎに、撮像装置１００は、第２メモリ２２４から過去重みＷｏｌｄを読み込む（ステップＳ３０４）。この過去重みＷｏｌｄを例として、全要素の値が「１．０」の行列とする。撮像装置１００は、重み調整部２２２により、第２メモリ２２４からの過去重みＷｏｌｄと、ステップＳ３０３で重み計算した重みＷ（t−１）とを式（３）に与えて、調整済みの重みＷ´を出力する（ステップＳ３０５）。
Next, the
調整済みの重みＷ´は、たとえば、式（５）に示したように、過去重みＷｏｌｄと、重みＷ（ｔ）との積により求められる。過去重みＷｏｌｄは全要素の値が「１．０」の行列であるため、調整済みの重みＷ´は、重み計算した重みＷ（t−１）と同じである。 The adjusted weight W ′ is obtained, for example, by the product of the past weight W old and the weight W (t) as shown in Expression (5). Since the past weight W old is a matrix whose values of all elements are “1.0”, the adjusted weight W ′ is the same as the weight W (t−1) calculated by weight.
そして、撮像装置１００は、第２メモリ２２４に調整前の重みＷ（ｔ−１）を格納して、あらたな過去重みＷｏｌｄとする（ステップＳ３０６）。
Then, the
撮像装置１００は、除去部２０３により、過去画像データＩｏｌｄと現在画像データＩ（ｔ−１）と調整済みの重みＷ´とを式（７）に与えて、現在画像データＩ（ｔ−１）からノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩｏｕｔ（ｔ−１）を出力する（ステップＳ３０８）。出力されたノイズ除去画像データＩｏｕｔ（ｔ−１）は、表示デバイス１１０に表示される。ノイズ除去画像データＩｏｕｔ（ｔ−１）は、現在画像データＩ（ｔ−１）と同じ位置に被写体像ＯＢ（ｔ−１）が存在し、過去画像データＩｏｌｄの被写体像ＯＢ（ｔ−２）と同じ位置に残像Ａ（ｔ−２）が存在する。残像Ａ（ｔ−２）は、主に、被写体像ＯＢ（ｔ−２）の輪郭が際立った画像データとなる。
The
また、撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩｏｕｔ（ｔ−１）を第１メモリ２０５に出力し、過去画像データＩｏｌｄを更新する（ステップＳ３０９）。このあと、撮像装置１００は、たとえば、ユーザの動作撮影の終了操作入力により、画像処理が終了するか否かを判断する（ステップＳ３１０）。終了しない場合（ステップＳ３１０：Ｎｏ）、撮像装置１００は、取得部２０１におけるバッファメモリの読み込み位置を更新し（ステップＳ３１１）、ステップＳ３０１に戻る。
In addition, the
つぎに、図４および図５の中央点線の右側について、図３を用いて説明する。撮像装置１００は、取得部２０１により時刻ｔの現在画像データＩ（ｔ）を取得して読み込み（ステップＳ３０１）、過去画像データＩｏｌｄを第１メモリ２０５から読み込む（ステップＳ３０２）。ここで、過去画像データＩｏｌｄは、ステップＳ３０９で得られたノイズ除去画像データＩｏｕｔ（ｔ−１）である。
Next, the right side of the center dotted line in FIGS. 4 and 5 will be described with reference to FIG. The
撮像装置１００は、重み計算部２２１により、過去画像データＩｏｌｄと現在画像データＩ（ｔ）とを式（２）に与えて、重みＷ（ｔ）を計算する（ステップＳ３０３）。過去画像データＩｏｌｄと現在画像データＩ（ｔ）とにおいて、同一領域の画像が類似するほど、重みは大きくなり、類似しなくなるほど、小さくなる。したがって、過去画像データＩｏｌｄと現在画像データＩ（ｔ）とにおいて、被写体像ＯＢ（ｔ−１），ＯＢ（ｔ）がいずれも存在しない領域は、ほぼ同じ画像となり、当該領域の重みｗ（ｔ）は、たとえば、最大値の１．０となる。
The
一方、過去画像データＩｏｌｄと現在画像データＩ（ｔ）とにおいて、被写体像ＯＢ（ｔ−１），ＯＢ（ｔ）のいずれか一方が存在する領域は、異なる画像となり、当該領域の重みｗ（ｔ）は低くなる。ここでは、例として、当該領域の重みｗ（ｔ）を０．０とする。なお、被写体像ＯＢ（ｔ−１），ＯＢ（ｔ）の境界部分の領域については、被写体像ＯＢ（ｔ−１），ＯＢ（ｔ）のいずれか一方が存在する領域よりも類似している。ここでは、例として、当該領域の重みｗ（ｔ）を０．５とする。また、過去画像データＩｏｌｄ（ノイズ除去画像データＩｏｕｔ（ｔ−１））において、残像Ａ（ｔ−２）が存在する領域の重みを０．７５とする。 On the other hand, in the past image data I old and the current image data I (t), the area where one of the subject images OB (t−1) and OB (t) exists is a different image, and the weight w of the area (T) becomes low. Here, as an example, the weight w (t) of the area is set to 0.0. Note that the boundary area between the subject images OB (t−1) and OB (t) is more similar to the region where one of the subject images OB (t−1) and OB (t) exists. . Here, as an example, the weight w (t) of the area is set to 0.5. In the past image data I old (noise-removed image data I out (t−1)), the weight of the region where the afterimage A (t−2) exists is set to 0.75.
つぎに、撮像装置１００は、第２メモリ２２４から過去重みＷｏｌｄを読み込む（ステップＳ３０４）。この過去重みＷｏｌｄは、ステップＳ３０６で先に算出された重みＷ（t−１）である。撮像装置１００は、重み調整部２２２により、第２メモリ２２４からの過去重みＷｏｌｄと、ステップＳ３０３で重み計算した重みＷ（t）とを式（３）に与えて、調整済みの重みＷ´を出力する（ステップＳ３０５）。
Next, the
調整済みの重みＷ´は、たとえば、式（５）に示したように、過去重みＷｏｌｄと、重みＷ（t）との積により求められる。この場合の過去重みＷｏｌｄは、ステップＳ３０６で先に算出された重みＷ（t−１）であるため、残像Ａ（ｔ−２）が存在する領域内部の重みｗ（ｔ）は０になり、輪郭の重みｗ（ｔ）は、０．３７５（＝０．７５×０．５）となる。また、残像Ａ（ｔ−１）が存在する領域内部の重みｗ（ｔ）は０（＝０．０×０．０）のままであるが、輪郭の重みｗ（ｔ）は０．２５（＝０．５×０．５）である。 The adjusted weight W ′ is obtained, for example, by the product of the past weight W old and the weight W (t) as shown in the equation (5). Since the past weight W old in this case is the weight W (t−1) previously calculated in step S306, the weight w (t) inside the region where the afterimage A (t−2) exists becomes 0. The contour weight w (t) is 0.375 (= 0.75 × 0.5). Further, the weight w (t) inside the region where the afterimage A (t−1) exists remains 0 (= 0.0 × 0.0), but the contour weight w (t) is 0.25 ( = 0.5 × 0.5).
そして、撮像装置１００は、第２メモリ２２４に調整前の重みＷ（ｔ）を格納して、あらたな過去重みＷｏｌｄとする（ステップＳ３０６）。
Then, the
撮像装置１００は、除去部２０３により、過去画像データＩｏｌｄと現在画像データＩ（ｔ）と調整済みの重みＷ´とを式（７）に与えて、現在画像データＩ（ｔ）からノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩｏｕｔ（ｔ）を出力する（ステップＳ３０８）。出力されたノイズ除去画像データＩｏｕｔ（ｔ）は、表示デバイス１１０に表示される。ノイズ除去画像データＩｏｕｔ（ｔ）は、現在画像データＩ（ｔ）と同じ位置に被写体像ＯＢ（ｔ）が存在し、過去画像データＩｏｌｄの被写体像ＯＢ（ｔ−１）と同じ位置に残像Ａ（ｔ−１）が存在し、さらに、被写体像ＯＢ（ｔ−２）と同じ位置に残像Ａ（ｔ−２）が存在する。
The
また、撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩｏｕｔ（ｔ）を第１メモリ２０５に出力し、過去画像データＩｏｌｄを更新する（ステップＳ３０９）。このあと、撮像装置１００は、たとえば、ユーザの動作撮影の終了操作入力により、画像処理が終了するか否かを判断する（ステップＳ３１０）。終了する場合（ステップＳ３１０：Ｙｅｓ）、撮像装置１００は、画像処理を終了する。
In addition, the
このように、過去画像データＩｏｌｄと現在画像データＩ（ｔ−１），Ｉ（ｔ）との間で変換のない領域では過去画像データＩｏｌｄを参照するための重みＷ（ｔ−１），Ｗ（ｔ）が大きくなるため、結果的に使用メモリを削減しつつノイズ除去率を増加させることができる。 As described above, the weight W (t−1) for referring to the past image data I old in an area where there is no conversion between the past image data I old and the current image data I (t−1) and I (t). , W (t) increases, and as a result, the noise removal rate can be increased while reducing the memory used.
ただし、図５の例の場合、過去画像データＩｏｌｄと現在画像データＩ（ｔ−１），Ｉ（ｔ）との間で重みの算出がうまくいっていない領域、すなわち失敗している領域がある場合、その結果も保持される。したがって、長期にわたり失敗が残ってしまう。これが残像として画質を著しく劣化させてしまう原因となる。 However, in the example of FIG. 5, there is a region where weight calculation is not successful between the past image data I old and the current image data I (t−1), I (t), that is, a region that has failed. If so, the result is also retained. Therefore, failure remains for a long time. This causes a significant deterioration in image quality as an afterimage.
たとえば、図５の中の太矢印５Ａ１で示した被写体像ＯＢ（ｔ−２）の輪郭の残像Ａ（ｔ−２）のように、次のフレーム（画像データＩ（ｔ））でのステップＳ３０３の重み算出結果が太矢印５ａ１のように大きくなっており（ｗ（ｔ−１）＝０．７５）、結果として太矢印５Ａ２のように失敗した輪郭の残像Ａ（ｔ−２）が残ってしまっている。 For example, step S303 in the next frame (image data I (t)) like the afterimage A (t-2) of the contour of the subject image OB (t-2) indicated by the thick arrow 5A1 in FIG. The weight calculation result is increased as indicated by the thick arrow 5a1 (w (t-1) = 0.75), and as a result, the afterimage A (t-2) of the failed contour remains as indicated by the thick arrow 5A2. I'm stuck.
一方、実施例１の撮像装置１００は、過去画像データＩｏｌｄに、その時算出した重みが付随した状態で保持され、これを再利用する。これにより、残像が発生しているような信頼度の低い領域で過去画像データＩｏｌｄを参照するための重みＷ（ｔ−１），Ｗ（ｔ）が小さくなりやすくなるため、結果的に残像発生を抑制することができる。
On the other hand, the
たとえば、図４中の太矢印４Ｂ１で示した被写体像ＯＢ（ｔ−２）の輪郭の重みｗ（ｔ−１）が太矢印４ｂ１のように大きく出ている一方（０．７５）、調整を掛けた太矢印４ｂ２では重みｗ（ｔ）が小さくなっており（０．３７５＝０．５×０．７５）、結果として太矢印５Ｂ２のように失敗した輪郭の残像Ａ（ｔ−２）の残り具合が低減できている。 For example, while the weight w (t-1) of the outline of the subject image OB (t-2) indicated by the thick arrow 4B1 in FIG. 4 is large as indicated by the thick arrow 4b1 (0.75), the adjustment is performed. In the thick arrow 4b2, the weight w (t) is small (0.375 = 0.5 × 0.75). As a result, the afterimage A (t−2) of the failed contour as indicated by the thick arrow 5B2 is obtained. The remaining condition can be reduced.
このように、図５の場合、ノイズ除去精度が図４に比べて低いため、図４と同等のノイズ除去精度を出すためには、過去の画像データの枚数を図４の場合よりも第１メモリ２０５に多く保持しておく必要があり、メモリ使用量が増加する。これに対し、図４では、直近の過去画像データを第１メモリ２０５に保持しておけばよいため、ノイズ除去精度の向上と省メモリ化とを両立することができる。
Thus, in the case of FIG. 5, since the noise removal accuracy is lower than that in FIG. 4, in order to obtain the same noise removal accuracy as in FIG. It is necessary to store a large amount in the
実施例２は、画像データに含まれる空間情報を利用することで残像の発生を抑制する例である。なお、実施例２では、実施例１との相違点を中心に説明し、実施例１と共通部分については同一符号を用いて説明を省略する。 The second embodiment is an example in which afterimage generation is suppressed by using spatial information included in image data. In the second embodiment, differences from the first embodiment will be mainly described, and the same parts as those in the first embodiment are denoted by the same reference numerals and the description thereof is omitted.
＜撮像装置１００の機能的構成例＞
図６は、実施例２にかかる撮像装置１００の機能的構成例を示すブロック図である。実施例２の算出部６０２は、空間情報抽出部６２１と、重み計算部６２２と、を有する。空間情報抽出部６２１は、抽出対象となる画像データから空間情報を抽出する。抽出対象となる画像データは、過去画像データＩｏｌｄまたは現在画像データＩｔの少なくとも一方である。両方の画像データＩｏｌｄ，Ｉｔを用いる場合、空間情報抽出部６２１は、各々の画像データＩについて空間情報を抽出し、２つの空間情報の平均を算出したり、最大値を選択したり、αブレンドを算出してもよい。
<Functional Configuration Example of
FIG. 6 is a block diagram of a functional configuration example of the
空間情報とは、抽出対象となる画像データに含まれる空間構造の特徴を示す情報であり、具体的には、たとえば、空間周波数成分がある。空間周波数成分の場合、たとえば、空間情報抽出部６２１は、下記式（８）〜（１３）のように、２種類のサイズのローパスフィルタを用いて低周波成分Ｓｌｏｗと高周波成分Ｓｈｉｇｈを抽出することができる。
Spatial information is information indicating the characteristics of the spatial structure included in the image data to be extracted, and specifically includes, for example, a spatial frequency component. In the case of the spatial frequency component, for example, the spatial
式（８），（９）のＩは、抽出対象となる画像データである。また、式（１１）の関数ａｂｓ（・）は、領域（ｘ，ｙ）ごとの絶対値を算出する関数である。式（１３）は、式（８），（９）に代入される。式（８）に代入される場合、式（１３）は、Ｈσ１（ｘ，ｙ）となり、σはσ１となる。同様に、式（９）に代入される場合、式（１３）は、Ｈσ２（ｘ，ｙ）となり、σはσ２となる。 I in the equations (8) and (9) is image data to be extracted. In addition, the function abs (·) in the equation (11) is a function for calculating an absolute value for each region (x, y). Expression (13) is assigned to Expressions (8) and (9). When assigned to Equation (8), Equation (13) becomes H σ1 (x, y), and σ becomes σ 1 . Similarly, when assigned to equation (9), equation (13) becomes H σ2 (x, y), and σ becomes σ 2 .
なお、抽出対象となる画像データＩについては、空間情報を抽出しやすくするために事前に画像データＩに変換を掛けてもよい。さらに、空間情報抽出部６２１は、低周波成分Ｓｌｏｗと高周波成分Ｓｈｉｇｈの２成分だけでなく複数の帯域の周波数成分を算出してもよい。
For the image data I to be extracted, the image data I may be converted in advance in order to facilitate the extraction of spatial information. Further, the spatial
重み計算部６２２は、現在画像データと、過去画像データと、空間情報抽出部６２１によって抽出された空間情報と、に基づいて、過去画像データの重みＷを計算する。残像が目立ちやすい領域は明るい領域であったり、エッジ付近（過去画像データにおける被写体像の輪郭）のようにであったりすることが多い。このため、そのような領域の重みを小さくするのがよい。
The
そこで、まず明るい領域を判断するため、重み計算部６２２は、低周波成分Ｓｌｏｗを用いて下記式（１４），（１５）のような処理を実行する。
Therefore, first, in order to determine a bright region, the
式（１４）のＳｌｏｗ，Ｉｔ，Ｓｌｏｗ，Ｉｏｌｄは、それぞれ現在画像データＩｔと過去画像データＩｏｌｄの低周波成分Ｓｌｏｗを意味する。式（１４）のｍａｘ（・）は、領域（ｘ，ｙ）ごとに最大値を算出する関数である。式（１５）のＳ´ｌｏｗは、現在画像データＩｔと過去画像データＩｏｌｄの低周波成分Ｓｌｏｗの最大値となるが、平均値でもよい。 S low,, S low of formula (14), Iold each means a low-frequency component S low current image data I t and the past image data I old. In formula (14), max (·) is a function for calculating the maximum value for each region (x, y). S'low of formula (15) is the maximum value of the low frequency components S low current image data I t and the past image data I old, or an average value.
また、σ（・）は領域（ｘ，ｙ）ごとに値を算出するシグモイド関数で、入力値が大きいほど１に近づく。Ｔｌｏｗはしきい値を表すパラメータである。これにより、式（１５）の低周波成分Ｓｌｏｗによる調整値Ｋｌｏｗは、低周波成分Ｓｌｏｗが大きいほど、すなわち、明るい領域ほど小さい値になる。 Also, σ (•) is a sigmoid function that calculates a value for each region (x, y), and approaches 1 as the input value increases. T low is a parameter representing a threshold value. Thereby, the adjustment value K low by the low frequency component S low in the equation (15) becomes smaller as the low frequency component S low is larger, that is, the brighter region is.
次にエッジ付近を判断するため、重み計算部６２２は、高周波成分Ｓｈｉｇｈを用いて下記式（１６），（１７）のような処理を実行する。
Next, in order to determine the vicinity of the edge, the
式（１６）のＳｈｉｇｈ，Ｉｔ，Ｓｈｉｇｈ，Ｉｏｌｄは、それぞれ現在画像データＩｔと過去画像データＩｏｌｄの高周波成分Ｓｈｉｇｈを意味する。式（１６）のｍａｘ（・）は、領域（ｘ，ｙ）ごとに最大値を算出する関数である。式（１７）のＳ´ｈｉｇｈは、現在画像データＩｔと過去画像データＩｏｌｄの高周波成分Ｓｈｉｇｈの最大値となるが、平均値でもよい。 S high, It, S high expression (16), Iold each means a high-frequency component S high current image data I t and the past image data I old. In formula (16), max (·) is a function for calculating the maximum value for each region (x, y). S'high expression (17) is the maximum value of the high frequency component S high current image data I t and the past image data I old, or an average value.
また、σ（・）は領域（ｘ，ｙ）ごとに値を算出するシグモイド関数で、入力値が大きいほど１に近づく。Ｔｈｉｇｈはしきい値を表すパラメータである。これにより、式（１７）の高周波成分Ｓｈｉｇｈによる調整値Ｋｈｉｇｈは、高周波成分Ｓｈｉｇｈが大きいほど、すなわち、エッジ付近であるほど小さい値になる。 Also, σ (•) is a sigmoid function that calculates a value for each region (x, y), and approaches 1 as the input value increases. T high is a parameter representing a threshold value. Accordingly, the adjustment value K high due to the high frequency component S high the formula (17), the more high-frequency component S high is large, i.e., the smaller value is near the edge.
求められた低周波成分Ｓｌｏｗによる調整値Ｋｌｏｗと高周波成分Ｓｈｉｇｈによる調整値Ｋｈｉｇｈとを用いて，最終的に更新された重みＷｎｅｗは、下記式（１８）で求められる。除去部２０３は、更新済みの重みＷｎｅｗを用いて、実施例１と同様な処理で現在画像データＩｔからノイズを除去し、ノイズ除去画像データとして出力する。また、画像保存部２０４は、ノイズ除去画像データを過去画像データＩｏｌｄとして第１メモリ２０５に保存する。
By using the adjustment value K high by the adjustment value K low and the high frequency component S high by the low-frequency component S low obtained finally updated weights W new new is calculated by the following formula (18). Removing
式（１８）において、右辺のＷは、過去画像データＩｏｌｄを参照するための重みである。式（１８）で重みＷを重みＷｎｅｗに更新することにより、残像が目立ちやすい領域である明るい領域やエッジ付近の重みが小さくなるため、残像発生を抑制することができる。ここでは現在画像データＩｔと過去画像データＩｏｌｄの低周波成分Ｓｌｏｗおよび高周波成分Ｓｈｉｇｈを用いたが、低周波成分Ｓｌｏｗおよび高周波成分Ｓｈｉｇｈのいずれか一方だけを用いてもよい。 In Expression (18), W on the right side is a weight for referring to the past image data I old . By updating the weight W to the weight W new by the equation (18), the weight in the bright area and the edge vicinity where the afterimage is conspicuous becomes small, and thus the afterimage generation can be suppressed. Here it is used a low-frequency component S low and high frequency components S high current image data I t and the past image data I old, may be used only one of the low-frequency component S low and high frequency components S high.
＜再帰的ノイズ除去処理＞
図７は、実施例２にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例２では、図３と比較した場合、ステップＳ３０３〜Ｓ３０６が存在せず、ステップＳ３０２のあと、撮像装置１００は、空間情報抽出部６２１により、空間情報抽出処理を実行する（ステップＳ７０１）。つぎに、撮像装置１００は、重み計算部６２２により、調整重みＷｎｅｗを計算する（ステップＳ７０２）。このあと、撮像装置１００は、除去部２０３により、調整重みＷｎｅｗを用いて、現在画像データＩｔからノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩｏｕｔを表示デバイス１１０に出力する（ステップＳ３０８）。
<Recursive noise removal processing>
FIG. 7 is a flowchart illustrating an example of a recursive noise removal procedure performed by the
撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩｏｕｔを過去画像データＩｏｌｄとして第１メモリ２０５に保存する（ステップＳ３０９）。このような処理を撮像が終了するまで、再帰的に実行することで、残像が目立ちやすい領域での重みが低く調整され、結果的に残像発生を抑制することができる。
The
実施例３は、実施例１において、実施例２の空間情報抽出部６２１を適用した例である。実施例３では、実施例１，２との相違点を中心に説明し、実施例１，２と共通部分については同一符号を用いて説明を省略する。
The third embodiment is an example in which the spatial
＜撮像装置１００の機能的構成例＞
図８は、実施例３にかかる撮像装置１００の機能的構成例を示すブロック図である。実施例３の場合、算出部８０２は、空間情報抽出部６２１と、重み計算部６２２と、重み調整部２２２と、重み保存部２２３と、第２メモリ２２４と、を有する。重み調整部２２２は、第２メモリ２２４に保存されている最新の重みＷｏｌｄに基づいて、重み計算部６２２で更新された重みＷｎｅｗを調整する。
<Functional Configuration Example of
FIG. 8 is a block diagram of a functional configuration example of the
調整された更新済みの重みＷｎｅｗを調整済み重みＷ´とする。重み保存部２２３は、重み調整部２２２による調整前の重みＷｎｅｗを過去重みＷｏｌｄとして第２メモリ２２４に保存する。具体的には、たとえば、重み調整部２２２は、重み調整部２２２で用いる式（３）〜（７）のＷをＷｎｅｗに置き換えて重みＷｎｅｗを調整することになる。
The adjusted updated weight W new is set as an adjusted weight W ′. The
＜再帰的ノイズ除去処理＞
図９は、実施例３にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例３では、図３と比較した場合、ステップＳ３０３が存在せず、ステップＳ３０２のあと、撮像装置１００は、空間情報抽出部６２１により、空間情報抽出処理を実行する（ステップＳ７０１）。つぎに、撮像装置１００は、重み計算部６２２により、重みＷｎｅｗを計算する（ステップＳ７０２）。
<Recursive noise removal processing>
FIG. 9 is a flowchart illustrating an example of a recursive noise removal procedure performed by the
撮像装置１００は、過去重みＷｏｌｄを第２メモリ２２４から読み出し（ステップＳ３０４）、重み調整部２２２により、過去重みＷｏｌｄで重みＷｎｅｗを調整し、調整済み重みＷ´を除去部２０３に出力するとともに、調整前の重みＷｎｅｗを重み保存部２２３に出力する（ステップＳ３０５）。そして、重み保存部２２３は、調整前の重みＷｎｅｗを第２メモリ２２４に保存して、過去重みＷｏｌｄを更新する（ステップＳ３０６）。
The
このあと、撮像装置１００は、除去部２０３により、調整済み重みＷ´を用いて、現在画像データＩｔからノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩｏｕｔを表示デバイス１１０に出力する（ステップＳ３０８）。撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩｏｕｔを過去画像データＩｏｌｄとして第１メモリ２０５に保存する（ステップＳ３０９）。このような処理を撮像が終了するまで、再帰的に実行することで、残像が目立ちやすい領域での重みが低く調整され、結果的に残像発生を抑制することができる。
Thereafter, the
このように、空間情報を抽出して、空間情報を用いて重みを計算してから重みを調整することにより、重み調整前後において残像を抑制することができ、残像発生抑制の効率化を図ることができる。 In this way, by extracting the spatial information, calculating the weight using the spatial information, and adjusting the weight, it is possible to suppress the afterimage before and after the weight adjustment, and to improve the efficiency of suppressing the afterimage generation. Can do.
実施例４は、除去部２０３において重みを用いた現在画像データからのノイズ除去に先立って、現在画像データに対し、残像低減処理を実行する例である。除去部２０３は、残像低減処理後の現在画像データから重みを用いてノイズ除去を実行することになる。実施例４の撮像装置１００は、ノイズ除去前に現在画像データの残像を低減させることで、残像発生の抑制を図る。実施例４では、実施例１〜３との相違点を中心に説明し、実施例１〜３と共通部分については同一符号を用いて説明を省略する。
The fourth embodiment is an example in which afterimage reduction processing is executed on the current image data prior to noise removal from the current image data using weights in the
＜機能的構成例＞
図１０は、実施例４にかかる撮像装置１００の機能的構成例を示すブロック図である。実施例４の場合、除去部２０３は、算出部２０２から重みを取得する。算出部２０２からの重みは、実施例１，３の場合は調整済みの重みＷ´であり、実施例２の場合は、更新済みの重みＷｎｅｗである。また、算出部２０２が図５に示した構成である場合、算出部２０２からの重みは、重み計算部２２１により、過去画像データＩｏｌｄと現在画像データＩとを上記式（２）に与えて計算された重みＷである。実施例４では、特に区別しない限り、これらの重みを総称して、単に、重みＷと表記する。
<Functional configuration example>
FIG. 10 is a block diagram of a functional configuration example of the
除去部２０３は、残像低減処理部１００１と、ノイズ除去処理部１００２と、を有する。残像低減処理部１００１は、現在画像データの残像を低減する処理を実行する。具体的には、たとえば、残像低減処理部１００１は、現在画像データにローパスフィルタを施すことにより、残像となる動く被写体像の輪郭をぼかす。これにより、動く被写体像の輪郭を目立ちにくくする。また、残像低減処理部１００１は、時間方向に連続する２枚の画像データＩ（ｔ−１），Ｉ（ｔ）について、動く被写体像の間を補間することにより、残像となる動く被写体像の輪郭をぼかす（補間処理）。
The
ノイズ除去処理部１００２は、残像低減処理部１００１によって残像低減処理が施された画像データについて、算出部２０２からの重みＷに基づいて、ノイズ除去対象の画像データのノイズを除去し、ノイズ除去画像データを出力する。具体的には、たとえば、除去部２０３は、算出部２０２からの重みＷを上記式（７）のＷ´に代入することにより、重み付け平均でノイズ除去対象の画像データのノイズを除去する。ノイズ除去対象の画像データとは、ローパスフィルタが施された画像データ、または、補間処理により生成された画像データである。
The noise
＜補間処理例＞
図１１は、実施例４にかかる残像低減処理部１００１による補間処理例を示す説明図である。図１１において、矩形は、時間方向に連続する画像データ群、すなわち、動画像データである。（Ａ）は、取得部２０１から残像低減処理部１００１に入力された残像低減処理が施されていない未加工状態の画像データＩａ（ｔ−３），Ｉａ（ｔ−２），Ｉａ（ｔ−１），Ｉａ（ｔ）を示す。画像データＩａ（ｔ−３），Ｉａ（ｔ−２），Ｉａ（ｔ−１），Ｉａ（ｔ）において、被写体像ＯＢａ（ｔ−３），ＯＢａ（ｔ−２），ＯＢａ（ｔ−１），ＯＢａ（ｔ）が左から右に移動しているものとする。
<Example of interpolation processing>
FIG. 11 is an explanatory diagram of an example of interpolation processing performed by the afterimage
（Ｂ）は、画像データの合成を示す。残像低減処理部１００１は、時間方向に連続する２枚の画像データを合成して、動きベクトルを検出する。具体的には、たとえば、残像低減処理部１００１は、画像データＩａ（ｔ−３），Ｉａ（ｔ−２）を合成して合成画像データＩｂ（ｔ−２）を生成し、被写体像ＯＢａ（ｔ−３），ＯＢａ（ｔ−２）間の動きベクトルｍｖ（ｔ−２）を検出する。
(B) shows composition of image data. The afterimage
同様に、残像低減処理部１００１は、画像データＩａ（ｔ−２），Ｉａ（ｔ−１）を合成して合成画像データＩｂ（ｔ−１）を生成し、被写体像ＯＢａ（ｔ−２），ＯＢａ（ｔ−１）間の動きベクトルｍｖ（ｔ−１）を検出する。残像低減処理部１００１は、画像データＩａ（ｔ−１），Ｉａ（ｔ）を合成して合成画像データＩｂ（ｔ）を生成し、被写体像ＯＢａ（ｔ−１），ＯＢａ（ｔ）間の動きベクトルｍｖ（ｔ）を検出する。
Similarly, the afterimage
（Ｃ）は、合成画像データＩｂ（ｔ−２），Ｉｂ（ｔ−１），Ｉｂ（ｔ）の補間を示す。具体的には、たとえば、残像低減処理部１００１は、合成画像データＩｂ（ｔ−２）において、時間的に古い方の被写体像ＯＢａ（ｔ−３）の輪郭のうち、動きベクトルｍｖ（ｔ−２）の終端側の輪郭（左側半分の円弧）を移動方向に複製することで、被写体像ＯＢａ（ｔ−３），ＯＢａ（ｔ−２）の間を補間する。これにより、残像低減処理部１００１は、補間された被写体像ＯＢｃ（ｔ−２）を含む補間合成画像データＩｃ（ｔ−２）を生成する。
(C) shows interpolation of the composite image data Ib (t-2), Ib (t-1), and Ib (t). Specifically, for example, the afterimage
同様に、残像低減処理部１００１は、合成画像データＩｂ（ｔ−１）において、時間的に古い方の被写体像ＯＢａ（ｔ−２）の輪郭のうち、動きベクトルｍｖ（ｔ−１）の終端側の輪郭（左側半分の円弧）を移動方向に複製することで、被写体像ＯＢａ（ｔ−２），ＯＢａ（ｔ−１）の間を補間する。これにより、残像低減処理部１００１は、補間された被写体像ＯＢｃ（ｔ−１）を含む補間合成画像データＩｃ（ｔ−１）を生成する。
Similarly, the afterimage
また、残像低減処理部１００１は、合成画像データＩｂ（ｔ）において、時間的に古い方の被写体像ＯＢａ（ｔ−１）の輪郭のうち、動きベクトルｍｖ（ｔ）の終端側の輪郭（左側半分の円弧）を移動方向に複製することで、被写体像ＯＢａ（ｔ−１），ＯＢａ（ｔ）の間を補間する。これにより、残像低減処理部１００１は、補間された被写体像ＯＢｃ（ｔ）を含む補間合成画像データＩｃ（ｔ）を生成する。なお、図１１では、輪郭の複製対象をとなる輪郭を時間的に古い方の被写体像の輪郭としたが、時間的に新しい方の被写体像の輪郭としてもよい。
In addition, the afterimage
このように、撮像装置１００は、補間処理により、各画像データに離散的に出現する残像を、シャッタースピードを遅くしたかのような被写体像の移動軌跡に変換して連続的に表示する。これにより、あたかも残像が存在しないかのようにユーザに見せることで、残像を低減することができる。
In this way, the
＜再帰的ノイズ除去処理＞
図１２は、実施例４にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例４では、ステップＳ３０２のあと、撮像装置１００は、実施例１〜３、および図５におけるいずれかにより重みを計算する（ステップＳ１２０３）。つぎに、撮像装置１００は、残像低減処理部１００１により、ローパスフィルタまたは補間処理による残像低減処理を実行する（ステップＳ１２０４）。そして、撮像装置１００は、ノイズ除去処理部１００２により、ステップＳ１２０３で計算された重みＷを用いて、残像低減処理後の画像データからノイズを除去する（ステップＳ３０７）。
<Recursive noise removal processing>
FIG. 12 is a flowchart of a recursive noise removal procedure example performed by the
このあと、撮像装置１００は、ノイズ除去画像データＩｏｕｔを表示デバイス１１０に出力し（ステップＳ３０８）、画像保存部２０４により、ノイズ除去画像データＩｏｕｔを過去画像データＩｏｌｄとして第１メモリ２０５に保存する（ステップＳ３０９）。このような処理を撮像が終了するまで、再帰的に実行することで、残像を連続的に目立たなくし、結果的に残像発生を抑制することができる。
Thereafter, the
実施例４では、除去部２０３において重みを用いた現在画像データからのノイズ除去に先立って、現在画像データに対し残像低減処理を実行する例について説明したが、これとは逆に、実施例５は、除去部２０３において重みを用いた現在画像データからのノイズ除去後に、ノイズ除去画像データに対し、残像低減処理を実行する例である。実施例５の撮像装置１００は、ノイズ除去後に現在画像データの残像を低減させることで、残像発生の抑制を図る。実施例５では、実施例４との相違点を中心に説明し、実施例１〜４と共通部分については同一符号を用いて説明を省略する。
In the fourth embodiment, the example in which the afterimage reduction process is performed on the current image data prior to noise removal from the current image data using the weight in the
＜機能的構成例＞
図１３は、実施例５にかかる撮像装置１００の機能的構成例を示すブロック図である。除去部２０３は、算出部２０２から重みを取得する。算出部２０２からの重みは、実施例１，３の場合は調整済みの重みＷ´であり、実施例２の場合は、更新済みの重みＷｎｅｗである。また、算出部２０２が図５に示した構成である場合、算出部２０２からの重みは、重み計算部２２１により、過去画像データＩｏｌｄと現在画像データＩとを上記式（２）に与えて計算された重みＷである。実施例５では、特に区別しない限り、これらの重みを総称して、単に、重みＷと表記する。
<Functional configuration example>
FIG. 13 is a block diagram illustrating a functional configuration example of the
除去部２０３は、ノイズ除去処理部１００２と、残像低減処理部１００１と、を有する。ノイズ除去処理部１００２は、取得部２０１からの画像データについて、算出部２０２からの重みＷに基づいて、ノイズ除去対象の画像データのノイズを除去し、ノイズ除去画像データを出力する。具体的には、たとえば、除去部２０３は、算出部２０２からの重みＷを上記式（７）のＷ´に代入することにより、重み付け平均で画像データのノイズを除去する。
The
残像低減処理部１００１は、ノイズ除去画像データの残像を低減する処理を実行する。具体的には、たとえば、残像低減処理部１００１は、ノイズ除去画像データにローパスフィルタを施すことにより、残像となる動く被写体像の輪郭をぼかす。これにより、動く被写体像の輪郭を目立ちにくくする。また、残像低減処理部１００１は、図１１に示したように、時間方向に連続する２枚のノイズ除去画像データＩ（ｔ−１），Ｉ（ｔ）について、動く被写体像の間を補間することにより、残像となる動く被写体像の輪郭をぼかす（補間処理）。
The afterimage
＜再帰的ノイズ除去処理＞
図１４は、実施例５にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例５では、ステップＳ３０２のあと、撮像装置１００は、実施例１〜３、および図５におけるいずれかにより重みを計算する（ステップＳ１２０３）。つぎに、撮像装置１００は、ノイズ除去処理部１００２により、ステップＳ１２０３で計算された重みＷを用いて、ノイズ除去画像データからノイズを除去する（ステップＳ３０７）。そして、撮像装置１００は、残像低減処理部１００１により、ローパスフィルタまたは補間処理による残像低減処理を実行する（ステップＳ１２０４）。
<Recursive noise removal processing>
FIG. 14 is a flowchart illustrating an example of a recursive noise removal procedure performed by the
このあと、撮像装置１００は、ノイズ除去画像データＩｏｕｔを表示デバイス１１０に出力し（ステップＳ３０８）、画像保存部２０４により、ノイズ除去画像データＩｏｕｔを過去画像データＩｏｌｄとして第１メモリ２０５に保存する（ステップＳ３０９）。このような処理を撮像が終了するまで、再帰的に実行することで、残像を連続的に目立たなくし、結果的に残像発生を抑制することができる。また、残像低減処理に先立ってノイズ除去を実行することで、ノイズのぼかしや補間を抑制することができる。
Thereafter, the
実施例６は、画像データから残像が発生する領域（残像発生領域）を検出して、検出した残像発生領域（検出領域）から残像を除去する例である。これにより、残像を低減する範囲を、残像発生領域に絞り込むことができ、残像低減処理を効率的に実行することができる。実施例６では、実施例５との相違点を中心に説明し、実施例１〜５と共通部分については同一符号を用いて説明を省略する。 The sixth embodiment is an example in which an afterimage generation area (afterimage generation area) is detected from image data and the afterimage is removed from the detected afterimage generation area (detection area). As a result, the afterimage reduction range can be narrowed down to the afterimage generation region, and the afterimage reduction process can be executed efficiently. The sixth embodiment will be described with a focus on differences from the fifth embodiment, and the same reference numerals are used for the same parts as in the first to fifth embodiments, and the description will be omitted.
図１５は、実施例６にかかる残像低減処理例を示す説明図である。図１５において、矩形は画像データを示す。矩形内の網掛けの範囲はノイズＮを示す。ノイズは画像データ全体に一様に存在する場合もあるが、ここでは、説明を単純化するため、特定の位置にノイズＮが存在するものとする。（Ａ）は、被写体像が移動しない場合の例を示し、（Ｂ）は、被写体像が移動する場合の例を示す。 FIG. 15 is an explanatory diagram of an example of afterimage reduction processing according to the sixth embodiment. In FIG. 15, a rectangle indicates image data. The shaded area in the rectangle indicates noise N. Although noise may exist uniformly in the entire image data, it is assumed here that noise N exists at a specific position in order to simplify the description. (A) shows an example when the subject image does not move, and (B) shows an example when the subject image moves.
（Ａ）において、画像データＩａ（ｔ−１），Ｉａ（ｔ）は、時間方向に連続する画像データ列である。画像データＩａ（ｔ−１），Ｉａ（ｔ）は、ともに同じ位置にノイズＮおよび被写体像ＯＢ（ｔ−１），ＯＢ（ｔ）を有する。ノイズ除去画像データＮＲＩａ（ｔ−１）は、時刻ｔ−２のノイズ除去画像データ（過去画像データＩｏｌｄ）に基づいて画像データＩａ（ｔ−１）からノイズＮが除去された画像データである。ノイズ除去画像データＮＲＩａ（ｔ）は、時刻ｔ−１のノイズ除去画像データＮＲＩａ（ｔ−１）（過去画像データＩｏｌｄ）に基づいて画像データＩａ（ｔ）からノイズＮが除去された画像データである。 In (A), the image data Ia (t−1) and Ia (t) are image data strings that are continuous in the time direction. The image data Ia (t−1) and Ia (t) both have noise N and subject images OB (t−1) and OB (t) at the same position. The noise-removed image data NRIa (t−1) is image data obtained by removing the noise N from the image data Ia (t−1) based on the noise-removed image data (past image data I old ) at time t−2. . The noise-removed image data NRIa (t) is image data obtained by removing the noise N from the image data Ia (t) based on the noise-removed image data NRIa (t−1) (past image data I old ) at time t−1. It is.
撮像装置１００は、現在画像データである時刻ｔの画像データＩａ（ｔ）と、時刻ｔ−１のノイズ除去画像データＮＲＩａ（ｔ−１）（過去画像データＩｏｌｄ）と、の加重平均により、画像データＩａ（ｔ）からノイズＮが除去されたノイズ除去画像データＮＲＩａ（ｔ）を生成する。また、差分画像データＤＩａ（ｔ）は、画像データＩａ（ｔ）とノイズ除去画像データＮＲＩａ（ｔ）との差分をとった画像データである。この場合、被写体像ＯＢ（ｔ）とその背景は相殺され、差分としてノイズＮが残存することになる。
The
（Ｂ）において、画像データＩｂ（ｔ−１），Ｉｂ（ｔ）は、時間方向に連続する画像データ列である。画像データＩｂ（ｔ−１），Ｉｂ（ｔ）は、同じ位置にノイズＮを有するが、被写体像ＯＢ（ｔ−１），ＯＢ（ｔ）の位置は異なる。すなわち、被写体が左から右に移動していることを示す。 In (B), the image data Ib (t−1) and Ib (t) are image data strings that are continuous in the time direction. The image data Ib (t-1) and Ib (t) have noise N at the same position, but the positions of the subject images OB (t-1) and OB (t) are different. That is, the subject is moving from left to right.
ノイズ除去画像データＮＲＩｂ（ｔ−１）は、時刻ｔ−２のノイズ除去画像データ（過去画像データＩｏｌｄ）に基づいて画像データＩｂ（ｔ−１）からノイズＮが除去された画像データである。ノイズ除去画像データＮＲＩｂ（ｔ−１）には、時刻ｔ−２の画像データに存在していた被写体像の残像Ａ（ｔ−２）が存在するものとする。 The noise-removed image data NRIb (t−1) is image data obtained by removing the noise N from the image data Ib (t−1) based on the noise-removed image data (past image data I old ) at time t−2. . In the noise-removed image data NRIb (t−1), it is assumed that the afterimage A (t−2) of the subject image that existed in the image data at time t−2 exists.
ノイズ除去画像データＮＲＩｂ（ｔ）は、時刻ｔ−１のノイズ除去画像データＮＲＩｂ１（ｔ−１）（過去画像データＩｏｌｄ）に基づいて画像データＩｂ（ｔ）からノイズＮが除去された画像データである。ただし、ノイズ除去画像データＮＲＩｂ１（ｔ）には、ノイズ除去画像データＮＲＩｂ（ｔ−１）における被写体像ＯＢ（ｔ−１）の位置に、残像Ａ（ｔ−１）が存在する。 The noise-removed image data NRIb (t) is image data obtained by removing the noise N from the image data Ib (t) based on the noise-removed image data NRIb1 (t−1) (past image data I old ) at time t−1. It is. However, in the noise-removed image data NRIb1 (t), an afterimage A (t-1) exists at the position of the subject image OB (t-1) in the noise-removed image data NRIb (t-1).
撮像装置１００は、現在画像データである時刻ｔの画像データＩｂ（ｔ）と、時刻ｔ−１のノイズ除去画像データＮＲＩｂ（ｔ−１）（過去画像データＩｏｌｄ）と、の加重平均により、画像データＩｂ（ｔ）からノイズＮが除去されたノイズ除去画像データＮＲＩｂ１（ｔ）を生成する。また、差分画像データＤＩｂ（ｔ）は、画像データＩｂ（ｔ）とノイズ除去画像データＮＲＩｂ１（ｔ）との差分をとった画像データである。この場合、被写体像ＯＢ（ｔ）とその背景は相殺され、差分としてノイズＮおよび残像Ａ（ｔ−１）が残存することになる。
The
撮像装置１００は、差分画像データＤＩｂ（ｔ）を参照して、残像Ａ（ｔ−１）の領域を残像発生領域１５００として特定する。つぎに、撮像装置１００は、残像発生領域の画像データ（この場合は、輪郭の残像Ａ（ｔ−１））と同じ位置の画像データ１５０１を、時刻ｔの画像データＩｂ（ｔ）から抽出する。そして、撮像装置１００は、ノイズ除去画像データＮＲＩｂ１（ｔ）における残像Ａ（ｔ−１）を、当該抽出した画像データ１５０１に置換する。これにより、撮像装置１００は、ノイズ除去画像データＮＲＩｂ１（ｔ）から残像Ａ（ｔ−１）を除去したノイズ除去画像データＮＲＩｂ２（ｔ）を生成することができる。
The
なお、撮像装置１００は、残像発生領域１５００の画像データ（この場合は、輪郭の残像Ａ（ｔ−１））と同じ位置の画像データ１５０１を、時刻ｔの画像データＩｂ（ｔ）から抽出することとしたが、抽出する範囲は、残像発生領域１５００と同じ位置に限らず、残像発生領域１５００とその近傍を含む領域でもよい。また、ここでは、残像は、被写体像の輪郭であることが多いため、残像発生領域１５００を被写体像の輪郭に対応する領域としたが、輪郭で囲まれる内部も残像発生領域１５００としてもよい。これにより、残像の除去漏れの低減を図ることができる。
The
＜機能的構成例＞
図１６は、実施例６にかかる撮像装置１００の機能的構成例を示すブロック図である。残像低減部は、図１５に示したように、ノイズ除去処理部１００２からノイズ除去画像データを取得する。また、残像低減処理部１００１は、図１５に示したように、たとえば、取得部２０１から現在画像データＩｂ（ｔ）を取得する。また、残像低減処理部１００１は、第１メモリ２０５から過去画像データＩｏｌｄを取得する。過去画像データＩｏｌｄは、たとえば、１つ前の時刻ｔ−１のノイズ除去画像データＮＲＩｂ（ｔ−１）である。
<Functional configuration example>
FIG. 16 is a block diagram of a functional configuration example of the
残像低減処理部１００１は、図１５に示したように、現在画像データＩｂ（ｔ）と過去画像データＩｏｌｄとの加重平均により、現在画像データＩｂ（ｔ）についてのノイズ除去画像データＮＲＩｂ（ｔ）を生成し、現在画像データＩｂ（ｔ）と生成したノイズ除去画像データＮＲＩｂ（ｔ）との差分画像データＤＩｂ（ｔ）を生成する。
As illustrated in FIG. 15, the afterimage
そして、残像低減処理部１００１は、差分画像データＤＩｂ（ｔ）から残像発生領域１５００を検出し、残像発生領域１５００と同一位置の画像データ１５０１を現在画像データＩｂ（ｔ）から特定する。そして、残像低減処理部１００１は、ノイズ除去画像データＮＲＩｂ１（ｔ）において、画像データ１５０１を合成することにより、残像Ａ（ｔ−１）を除去したノイズ除去画像データＮＲＩｂ２（ｔ）を生成する。
Then, the afterimage
残像低減処理部１００１は、生成したノイズ除去画像データＮＲＩｂ２（ｔ）を表示デバイス１１０に出力するとともに、画像保存部２０４に出力する。画像保存部２０４は、取得したノイズ除去画像データＮＲＩｂ２（ｔ）をあらたな過去画像データＩｏｌｄとして第１メモリ２０５に保存する。
The afterimage
なお、残像低減処理部１００１は、実施例５に示したローパスフィルタや補間処理を実施例６に適用してもよい。具体的には、たとえば、残像低減処理部１００１は、現在画像データＩｂ（ｔ）についてローパスフィルタまたは補間処理を適用し、当該適用後の現在画像データＩｂ（ｔ）と生成したノイズ除去画像データＮＲＩｂ（ｔ）との差分画像データＤＩｂ（ｔ）を生成してもよい。
Note that the afterimage
また、残像低減処理部１００１は、生成したノイズ除去画像データＮＲＩｂ２（ｔ）についてローパスフィルタや補間処理を適用し、当該適用後のノイズ除去画像データＮＲＩｂ２（ｔ）を表示デバイス１１０および画像保存部２０４に出力してもよい。
The afterimage
＜再帰的ノイズ除去処理＞
図１７は、実施例６にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例６では、ステップＳ３０２のあと、撮像装置１００は、実施例１〜３、および図５におけるいずれかにより重みを計算する（ステップＳ１２０３）。つぎに、撮像装置１００は、ノイズ除去処理部１００２により、ステップＳ１２０３で計算された重みＷを用いて、ノイズ除去画像データからノイズを除去する（ステップＳ３０７）。そして、撮像装置１００は、残像低減処理部１００１により、ローパスフィルタまたは補間処理による残像低減処理を実行する（ステップＳ１７７１〜Ｓ１７７３）。
<Recursive noise removal processing>
FIG. 17 is a flowchart illustrating a recursive noise removal procedure example performed by the
具体的には、たとえば、残像低減処理部１００１は、現在画像データＩｂ（ｔ）とノイズ除去画像データＮＲＩｂ１（ｔ）との差分画像データＤＩｂ（ｔ）を生成し（ステップＳ１７７１）、差分画像データＤＩｂ（ｔ）から残像発生領域１５００を検出する（ステップＳ１７７２）。
Specifically, for example, the afterimage
そして、残像低減処理部１００１は、残像発生領域１５００と同じ位置の画像データ１５０１を現在画像データＩｂ（ｔ）から抽出して、ノイズ除去画像データＮＲＩｂ１（ｔ）に合成することで、ノイズ除去画像データＮＲＩｂ２（ｔ）を生成し、残像Ａ（ｔ−１）を除去する（ステップＳ１７７３）。このあと、残像低減処理部１００１は、ノイズ除去画像データＮＲＩｂ２（ｔ）を出力画像データＩｏｕｔとして表示デバイス１１０に出力し（ステップＳ３０８）、画像保存部２０４に出力する（ステップＳ３０９）。
Then, the afterimage
このような処理を撮像が終了するまで、再帰的に実行することで、残像を連続的に目立たなくし、結果的に残像発生を抑制することができる。このように、残像を低減する範囲を、残像発生領域に絞り込むことができ、残像低減処理を効率的に実行することができる。換言すれば、残像が発生していない領域については残像低減処理を実行しなくて済むため、残像を低減しなくてもよい領域の残像低減処理を回避することができ、元の画像を維持することができる。 By executing such a process recursively until the imaging is completed, the afterimage is made inconspicuous continuously, and as a result, the occurrence of the afterimage can be suppressed. As described above, the afterimage reduction range can be narrowed down to the afterimage generation region, and the afterimage reduction processing can be performed efficiently. In other words, since it is not necessary to perform afterimage reduction processing for a region where no afterimage has occurred, it is possible to avoid the afterimage reduction processing of a region where it is not necessary to reduce the afterimage, and maintain the original image. be able to.
実施例７は、残像が発生しづらい動画を撮像する条件を調整することにより、残像を目立ちにくくする例である。 Example 7 is an example in which afterimages are made inconspicuous by adjusting conditions for capturing a moving image in which afterimages are less likely to occur.
＜動画撮像例＞
図１８は、実施例７にかかる動画撮像例を示す説明図である。図１８は、ある被写体を動画撮像する例であり、矩形は、時間方向に連続する画像データ列、すなわち、動画像データである。また、フレームレートは、説明の便宜上、一例として３［ｆｐｓ］とする。また、時刻ｔ１〜ｔ３のうち時刻ｔ１が最古の時刻であり、時刻ｔ３が最新の時刻である。（Ａ）は、撮像条件が実施例７で調整されていない動画撮像例であり、（Ｂ）は、撮像条件が実施例７で調整された動画撮像例である。したがって、（Ａ），（Ｂ）ともに１／３［ｆｐｓ］で画像データが１枚生成される。
<Example of video capture>
FIG. 18 is an explanatory diagram of an example of moving image capturing according to the seventh embodiment. FIG. 18 is an example of capturing a moving image of a subject, and a rectangle is an image data string continuous in the time direction, that is, moving image data. The frame rate is assumed to be 3 [fps] as an example for convenience of explanation. Of the times t1 to t3, the time t1 is the oldest time, and the time t3 is the latest time. (A) is a moving image imaging example in which the imaging conditions are not adjusted in the seventh embodiment, and (B) is a moving image imaging example in which the imaging conditions are adjusted in the seventh embodiment. Accordingly, one image data is generated at 1/3 [fps] in both (A) and (B).
なお、符号の末尾には、時刻ｔ１〜ｔ３を区別するため、（ｔ１）〜（ｔ３）が付してあるが、時刻ｔ１〜ｔ３を区別しない場合は、単に、（ｔ）と表記する。時刻ｔ１〜ｔ３を区別しないも、単に、時刻ｔと表記する。 Note that, at the end of the code, (t1) to (t3) are attached to distinguish the times t1 to t3, but when the times t1 to t3 are not distinguished, they are simply expressed as (t). Although the times t1 to t3 are not distinguished, they are simply written as time t.
（Ａ）において、ｅｔ（ｔ）は露光時間である。ｇｐ（ｔ）は連続する露光時間の間のギャップ時間である。露光時間とは、シャッター（たとえば、ローリングシャッター）の開放状態から閉塞状態になるまで撮像素子１０５がレンズ系からの被写体光にさらされる時間である。
In (A), et (t) is the exposure time. gp (t) is the gap time between successive exposure times. The exposure time is the time during which the
撮像装置１００は、被写体を時刻ｔ１〜ｔ３に撮像して、画像データＩａ（ｔ１），Ｉａ（ｔ２），Ｉａ（ｔ３）を生成する。画像データＩａ（ｔ１），Ｉａ（ｔ２），Ｉａ（ｔ３）はそれぞれ、被写体像ＯＢａ（ｔ１），ＯＢａ（ｔ２），ＯＢａ（ｔ３）を含む。
The
被写体を撮像する場合、まず、撮像装置１００は、時刻ｔから始まる１／３［ｓ］の間で、時刻ｔから始まる露光時間ｅｔ（ｔ）で露光する。つぎに、撮像装置１００は、露光時間ｅｔ（ｔ）経過後のギャップ時間ｇｐ（ｔ）で、撮像素子１０５からアナログの電気信号を読み出して、ＡＦＥ１０６が信号処理を実行する。これにより、画像データＩａ（ｔ）が生成される。
When imaging a subject, first, the
撮像装置１００は、時刻ｔごとに再帰的にノイズ除去を実行する。たとえば、時刻ｔ３では、撮像装置１００は、時刻ｔ３で得られる画像データＩａ（ｔ３）についてノイズ除去を実行する。具体的には、たとえば、撮像装置１００は、画像データＩａ（ｔ２）からノイズが除去されたノイズ除去画像データと、画像データＩａ（ｔ３）との重み付き平均をとることにより、画像データＩａ（ｔ３）からノイズが除去されたノイズ除去画像データＮＲＩａ（ｔ３）を生成する。
The
ノイズ除去画像データＮＲＩａ（ｔ３）において、残像Ａａ（ｔ２），Ａａ（ｔ１）は、再帰的なノイズ除去により画像データＩａ（ｔ２），Ｉａ（ｔ１）内の被写体像ＯＢａ（ｔ２），ＯＢａ（ｔ１）から引き継がれた画像データであり、古い時刻の被写体像ＯＢａ（ｔ２），ＯＢａ（ｔ１）ほど薄くなる。 In the noise-removed image data NRIa (t3), the afterimages Aa (t2) and Aa (t1) are subject image OBa (t2) and OBa (in the image data Ia (t2) and Ia (t1) by recursive noise removal. This is image data inherited from t1), and becomes thinner as the subject images OBa (t2) and OBa (t1) at the old time.
また、ノイズ除去画像データＮＲＩａ（ｔ３）では、被写体像ＯＢａ（ｔ３）および残像Ａａ（ｔ２），Ａａ（ｔ１）が被写体の移動方向に離散的に出現するため、被写体の動きが不自然な映像となる。すなわち、露光時間ｅｔ（ｔ）が短いと、露光していない時間であるギャップ時間ｇｐ（ｔ）が相対的に長くなり、前後の画像にずれが生じて不連続さが目立つ。 In the noise-removed image data NRIa (t3), the subject image OBa (t3) and the afterimages Aa (t2) and Aa (t1) appear discretely in the moving direction of the subject, so that the motion of the subject is unnatural. It becomes. That is, when the exposure time et (t) is short, the gap time gp (t), which is the time when the exposure is not performed, becomes relatively long, and the discontinuity is conspicuous due to the deviation between the preceding and subsequent images.
（Ｂ）において、ＥＴ（ｔ）は露光時間である。ＧＰ（ｔ）は連続する露光時間の間のギャップ時間である。露光時間ＥＴ（ｔ）は、本実施例７による撮像条件設定により、露光時間ｅｔ（ｔ）よりも長くなり、これにより、ギャップ時間ＧＰ（ｔ）は、ギャップ時間ｇｐ（ｔ）よりも短くなる。 In (B), ET (t) is the exposure time. GP (t) is the gap time between successive exposure times. The exposure time ET (t) becomes longer than the exposure time et (t) due to the imaging condition setting according to the seventh embodiment, whereby the gap time GP (t) becomes shorter than the gap time gp (t). .
撮像装置１００は、被写体を時刻ｔ１〜ｔ３に撮像して、画像データＩｂ（ｔ１），Ｉｂ（ｔ２），Ｉｂ（ｔ３）を生成する。画像データＩｂ（ｔ１），Ｉｂ（ｔ２），Ｉｂ（ｔ３）はそれぞれ、被写体像ＯＢｂ（ｔ１），ＯＢｂ（ｔ２），ＯＢｂ（ｔ３）を含む。
The
被写体を撮像する場合、まず、撮像装置１００は、時刻ｔから始まる１／３［ｓ］の間で、時刻ｔから始まる露光時間ＥＴ（ｔ）で露光する。つぎに、撮像装置１００は、露光時間ＥＴ（ｔ）経過後のギャップ時間ＧＰ（ｔ）で、撮像素子１０５からアナログの電気信号を読み出して、ＡＦＥ１０６が信号処理を実行する。これにより、画像データＩｂ（ｔ）が生成される。
When imaging a subject, first, the
露光時間ＥＴ（ｔ）は、（Ａ）の露光時間ｅｔ（ｔ）よりも長いため、被写体が動いている様子を撮像することができる。この場合、画像データＩｂ（ｔ）は、被写体が左から右に移動する様子として、被写体像ＯＢｂ（ｔ）と被写体像ＯＢｂ（ｔ）に追従する軌跡ＴＪ（ｔ）とを含む。軌跡ＴＪ（ｔ）は、露光時間ＥＴ（ｔ）の経過にともなって得られる被写体像ＯＢｂ（ｔ）の時系列な残像である。 Since the exposure time ET (t) is longer than the exposure time et (t) of (A), it is possible to capture an image of how the subject is moving. In this case, the image data Ib (t) includes a subject image OBb (t) and a trajectory TJ (t) following the subject image OBb (t) as the state of the subject moving from left to right. The trajectory TJ (t) is a time-series afterimage of the subject image OBb (t) obtained as the exposure time ET (t) elapses.
撮像装置１００は、時刻ｔごとに再帰的にノイズ除去を実行する。たとえば、時刻ｔ３では、撮像装置１００は、時刻ｔ３で得られる画像データＩｂ（ｔ３）についてノイズ除去を実行する。具体的には、たとえば、撮像装置１００は、画像データＩｂ（ｔ２）からノイズが除去されたノイズ除去画像データと、画像データＩｂ（ｔ３）との重み付き平均をとることにより、画像データＩｂ（ｔ３）からノイズが除去されたノイズ除去画像データＮＲＩｂ（ｔ３）を生成する。
The
ノイズ除去画像データＮＲＩｂ（ｔ３）において、残像Ａｂ（ｔ２），Ａｂ（ｔ１）は、再帰的なノイズ除去により画像データＩｂ（ｔ２），Ｉｂ（ｔ１）内の被写体像ＯＢａ（ｔ２），ＯＢａ（ｔ１）の軌跡ＴＪ（ｔ２），ＴＪ（ｔ１）から引き継がれた画像データであり、古い時刻の被写体像ＯＢｂ（ｔ２），ＯＢｂ（ｔ１）ほど薄くなる。 In the noise-removed image data NRIb (t3), the afterimages Ab (t2) and Ab (t1) are subject images OBa (t2) and OBa (in the image data Ib (t2) and Ib (t1) by recursive noise removal. The image data is inherited from the trajectories TJ (t2) and TJ (t1) of t1), and the subject images OBb (t2) and OBb (t1) at the old time become thinner.
ノイズ除去画像データＮＲＩｂ（ｔ３）では、被写体像ＯＢｂ（ｔ３）とその軌跡ＴＪ（ｔ３）および残像Ａｂ（ｔ２），Ａｂ（ｔ１）が被写体の移動方向に連続的に出現するため、被写体の動きが自然な映像となる。すなわち、露光時間ＥＴ（ｔ）が露光時間ｅｔ（ｔ）よりも短いと、露光していない時間であるギャップ時間ＧＰ（ｔ）が相対的に短くなり、前後の画像のずれが低減され不連続さが目立たなくなる。 In the noise-removed image data NRIb (t3), the subject image OBb (t3), its trajectory TJ (t3), and afterimages Ab (t2) and Ab (t1) appear continuously in the moving direction of the subject. Becomes a natural image. In other words, when the exposure time ET (t) is shorter than the exposure time et (t), the gap time GP (t), which is the time during which exposure is not performed, becomes relatively short, and the shift between the front and rear images is reduced, resulting in discontinuity. Will not stand out.
＜撮像装置１００の機能的構成例＞
図１９は、実施例７にかかる撮像装置１００の機能的構成例を示すブロック図である。撮像装置１００は、変換テーブル１９００と、入力部１９０１と、設定部１９０２と、調整部１９０３と、撮像部１２０と、画像処理部１９０５と、を有する。変換テーブル１９００は、具体的には、たとえば、図１に示した記憶デバイス１０２により実現される。また、入力部１９０１、設定部１９０２、調整部１９０３、および画像処理部１９０５は、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０７により実現される。
<Functional Configuration Example of
FIG. 19 is a block diagram illustrating a functional configuration example of the
変換テーブル１９００は、第１撮像条件を第２撮像条件に変換するテーブルである。第１撮像条件１９５２は、デフォルトの撮像条件であり、たとえば、フレームレート１９５１に応じた露光時間である。撮像装置１００において、たとえば、フレームレート１９５１が「ＦＲｉ」に設定されると、露光時間は、「ｅｔｉ」に設定される。図１８の例では、（Ａ）においてフレームレート１９５１が、３［ｆｐｓ］である場合、露光時間は、ｅｔ（ｔ）となる。
The conversion table 1900 is a table for converting the first imaging condition to the second imaging condition. The
第２撮像条件１９５３とは、残像を低減させるための撮像条件であり、第１撮像条件１９５２に対応する。たとえば、第２撮像条件１９５３であるＦＣｉは、フレームレート１９５１がＦＲｉの場合のデフォルトの露光時間ｅｔｉよりも長い露光時間ＥＴｉとする。また、露光時間がｅｔｉからＥＴｉに延長されたことによる露出オーバーを抑制するため、第２撮像条件１９５３であるＦＣｉは、ＩＳＯ感度の低下量（低下後のＩＳＯ感度でもよい）を含んでもよい。
The
入力部１９０１は、被写体を撮像する際のフレームレート１９５１の入力を操作デバイス１０８から受け付ける。なお、入力部１９０１は、撮影モードが操作デバイス１０８から選択されることで、当該撮影モードで規定されるフレームレート１９５１を受け付けてもよい。なお、撮影モードによっては同じフレームレート１９５１でも露光時間が異なる場合がある。
The
設定部１９０２は、入力部１９０１によって入力されたフレームレート１９５１および当該フレームレート１９５１に対応する露光時間に基づいて、残像を低減する第２撮像条件１９５３を設定する。具体的には、たとえば、設定部１９０２は、入力部１９０１からのフレームレート１９５１に対応する第２撮像条件１９５３を変換テーブル１９００から読み出す。入力部１９０１からフレームレート１９５１のみが与えられた場合には、第１撮像条件１９５２の露光時間はデフォルトの露光時間として、設定部１９０２は、対応する第２撮像条件１９５３を変換テーブル１９００から読み出す。
The
また、入力部１９０１からの撮影モードによりフレームレート１９５１および露光時間が指定されている場合には、設定部１９０２は、当該フレームレート１９５１および露光時間に対応する第２撮像条件１９５３を変換テーブル１９００から読み出す。また、第２撮像条件１９５３にＩＳＯ感度の低下量（または低下後のＩＳＯ感度）が含まれている場合、設定部１９０２は、当該ＩＳＯ感度の低下量（または低下後のＩＳＯ感度）も読みだす。
When the
調整部１９０３は、入力部１９０１によって入力されたフレームレート１９５１に対応する露光時間から、当該露光時間よりも長い露光時間に調整する。具体的には、たとえば、図１８に示したように、調整部１９０３は、たとえば、フレームレート１９５１が３［ｆｐｓ］でその露光時間がｅｔ（ｔ）とすると、露光時間ｅｔ（ｔ）を変換テーブル１９００から得られた露光時間ＥＴ（ｔ）に変更する。
The
撮像部１２０は、フレームレート１９５１および調整部１９０３によって調整された露光時間に基づいて、被写体を撮像して、時間方向に連続する画像データ列を出力する。具体的には、たとえば、撮像部１２０は、図１８の（Ｂ）に示したような画像データＩｂ（ｔ）を生成する。
The
画像処理部１９０５は、撮像部１２０からの画像データＩｂ（ｔ）を、画像処理する。具体的には、たとえば、画像処理部１９０５は、実施例１〜６に示した取得部２０１、算出部２０２、除去部２０３、画像保存部２０４、および第１メモリ２０５により構成される。したがって、実施例１で示した再帰的ノイズ処理により、図１８の（Ｂ）に示したようなノイズ除去画像データＮＲＩｂ（ｔ３）を生成する。
The
＜撮像処理手順例＞
図２０は、撮像装置１００による撮像処理手順例を示すフローチャートである。撮像装置１００は、入力部１９０１によりフレームレート１９５１の入力を受け付け（ステップＳ２００１）、設定部１９０２により第２撮像条件１９５３を設定する（ステップＳ２００２）。
<Example of imaging processing procedure>
FIG. 20 is a flowchart illustrating an example of an imaging process procedure performed by the
撮像装置１００は、調整部１９０３により第２撮像条件１９５３で露光時間を調整し（ステップＳ２００３）、撮像部１２０により被写体を撮像して画像データ列を生成する（ステップＳ２００４）。撮像装置１００は、画像処理部１９０５により、実施例１〜６に示した再帰的ノイズ除去処理（図３、図７、図９、図１２、図１４、図１７）を含む画像処理を実行する（ステップＳ２００５）。なお、画像処理（ステップＳ２００５）は、図５に示したような再帰的ノイズ除去処理を含んでもよい。
In the
なお、上述の例では、光量情報である露光時間を調整対象としたが、調整対象となる光量情報は露光時間に限らず、Ｆ値やＩＳＯ感度でもよい。Ｆ値を調整対象とした場合、第１撮像条件１９５２の露光時間がＦ値となり、第２撮像条件１９５３の露光時間が、第１撮像条件１９５２のＦ値よりも値が小さいＦ値となる。この場合も露出オーバーを低減するため、第２撮像条件１９５３に、デフォルトの露光時間よりも短くしたり、ＩＳＯ感度を低くしたりする値を含めればよい。
In the above-described example, the exposure time that is the light amount information is the adjustment target. However, the light amount information that is the adjustment target is not limited to the exposure time, and may be an F value or ISO sensitivity. When the F value is an adjustment target, the exposure time of the
また、ＩＳＯ感度を調整対象とした場合、第１撮像条件１９５２の露光時間がＩＳＯ感度となり、第２撮像条件１９５３の露光時間が、第１撮像条件１９５２のＩＳＯ感度よりも高いＩＳＯ感度となる。この場合も露出オーバーを低減するため、第２撮像条件１９５３に、デフォルトの露光時間よりも短くしたり、Ｆ値を大きくしたりする値を含めればよい。
When the ISO sensitivity is an adjustment target, the exposure time of the
このように、実施例７によれば、残像が目立ちにくい画像データ列を生成することができる。また、これらの画像データ列を画像処理部１９０５に適用することにより、実施例１〜６のようなノイズ除去結果を再帰的に得ることができる。
As described above, according to the seventh embodiment, it is possible to generate an image data string in which an afterimage is not noticeable. Further, by applying these image data strings to the
１００ 撮像装置、１０１ プロセッサ、１０２ 記憶デバイス、１０５ 撮像素子、１２０ 撮像部、２００ 画像処理装置、２０１ 取得部、２０２ 算出部、２０３ 除去部、２０４ 画像保存部、２０５ 第１メモリ、２２１ 重み計算部、２２２ 重み調整部、２２３ 重み保存部、２２４ 第２メモリ、６０２ 算出部、６２１ 空間情報抽出部、６２２ 重み計算部、８０２ 算出部、１００１ 残像低減処理部、１００２ ノイズ除去処理部、１９００ 変換テーブル、１９０１ 入力部、１９０２ 設定部、１９０３ 調整部、１９０５ 画像処理部
DESCRIPTION OF
Claims (20)
前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みをする算出部と、
前記算出部によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去部と、
を有する撮像装置。 An imaging unit that captures an image of a subject and outputs first image data, second image data later in time than the first image data, and third image data later in time than the second image data. When,
A first weight of the first image data is calculated based on the first noise-removed image data from which noise has been removed from the first image data and the second image data, and the first weight from which noise has been removed from the second image data. A calculation unit that calculates a second weight of the second image data based on two noise-removed image data and the third image data, and that performs a third weight based on the first weight and the second weight;
A removing unit that removes noise of the third image data based on the third weight calculated by the calculating unit;
An imaging apparatus having
前記撮像部は、前記被写体を撮像して、前記第３画像データよりも時間的に後の前記被写体の第４画像データを出力し、
前記算出部は、前記除去部によって前記第３画像データからノイズ除去された第３ノイズ除去画像データおよび前記第４画像データに基づいて、前記第３画像データの第４重みを算出し、前記第３重みおよび前記第４重みに基づいて、第５重みを算出し、
前記除去部は、前記算出部によって算出された第５重みに基づいて、前記第４画像データのノイズを除去する、撮像装置。 The imaging apparatus according to claim 1,
The imaging unit images the subject and outputs fourth image data of the subject that is temporally later than the third image data;
The calculation unit calculates a fourth weight of the third image data based on the third noise-removed image data from which noise has been removed from the third image data by the removal unit and the fourth image data, and Based on the 3 weights and the fourth weight, the fifth weight is calculated,
The image pickup apparatus, wherein the removal unit removes noise of the fourth image data based on the fifth weight calculated by the calculation unit.
前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部と、
前記抽出部によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出部と、
前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、
を有する撮像装置。 An imaging unit that images a subject and outputs first image data and second image data temporally later than the first image data;
An extraction unit that extracts first spatial information indicating characteristics of a spatial structure included in an image from at least one of the first noise-removed image data and the second image data that have been denoised from the first image data;
A calculation unit that calculates a first weight of the first image data based on the first spatial information extracted by the extraction unit;
A removing unit that removes noise from the second image data based on the first noise-removed image data and the first weight calculated by the calculating unit;
An imaging apparatus having
前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
前記抽出部は、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データの少なくとも一方から、第２空間情報を抽出し、
前記算出部は、前記抽出部によって抽出された第２空間情報および前記第１重みに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
前記除去部は、前記第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記第３画像データのノイズを除去する、撮像装置。 The imaging apparatus according to claim 3,
The imaging unit outputs third image data temporally later than the second image data,
The extraction unit extracts second spatial information from at least one of the second noise-removed image data and the third image data from which noise has been removed from the second image data by the removal unit,
The calculation unit calculates a second weight of the second image data based on the second spatial information extracted by the extraction unit and the first weight, and based on the first weight and the second weight , Calculate the third weight,
The image pickup apparatus, wherein the removal unit removes noise of the third image data based on the second noise-removed image data and the third weight calculated by the calculation unit.
前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、
前記第２画像データ内の残像を低減する残像低減処理部と、
前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第２画像データからノイズを除去する除去部と、
を有する撮像装置。 An imaging unit that images a subject and outputs first image data and second image data temporally later than the first image data;
A calculating unit that calculates a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from the first image data;
An afterimage reduction processing unit for reducing afterimages in the second image data;
Based on the first noise-removed image data and the first weight calculated by the calculation unit, a removal unit that removes noise from the second image data that has been subjected to afterimage reduction processing by the afterimage reduction processing unit;
An imaging apparatus having
前記残像低減処理部は、ローパスフィルタを用いて、前記第２画像データ内の残像を低減する、撮像装置。 The imaging apparatus according to claim 5,
The afterimage reduction processing unit reduces an afterimage in the second image data using a low-pass filter.
前記残像低減処理部は、前記第１画像データと前記第２画像データとを合成し、合成された画像データにおいて、前記第１画像データ内の被写体像と前記第２画像データ内の被写体像との間を補間する、撮像装置。 The imaging apparatus according to claim 5,
The afterimage reduction processing unit combines the first image data and the second image data, and in the combined image data, a subject image in the first image data and a subject image in the second image data An imaging device that interpolates between the two.
前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
前記算出部は、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
前記残像低減処理部は、前記第３画像データ内の残像を低減し、
前記除去部は、前記第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第３画像データからノイズを除去する、撮像装置。 The imaging apparatus according to claim 5,
The imaging unit outputs third image data temporally later than the second image data,
The calculation unit calculates a second weight of the second image data based on the second noise-removed image data from which the noise is removed from the second image data by the removal unit and the third image data, and A third weight is calculated based on the first weight and the second weight;
The afterimage reduction processing unit reduces afterimages in the third image data;
The removal unit removes noise from the third image data that has been subjected to the afterimage reduction processing by the afterimage reduction processing unit, based on the second noise removal image data and the third weight calculated by the calculation unit. , Imaging device.
前記第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部を有し、
前記算出部は、前記抽出部によって抽出された第１空間情報に基づいて、前記第１重みを算出する、撮像装置。 The imaging apparatus according to claim 5,
An extraction unit that extracts first spatial information indicating characteristics of a spatial structure included in the image from at least one of the first noise-removed image data and the second image data;
The said calculating part is an imaging device which calculates a said 1st weight based on the 1st spatial information extracted by the said extraction part.
前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、
前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、
前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理部と、
を有する撮像装置。 An imaging unit that images a subject and outputs first image data and second image data temporally later than the first image data;
A calculating unit that calculates a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from the first image data;
A removing unit that removes noise from the second image data based on the first noise-removed image data and the first weight calculated by the calculating unit;
An afterimage reduction processing unit that reduces afterimages in the second noise-removed image data that has been denoised from the second image data by the removal unit;
An imaging apparatus having
前記残像低減処理部は、ローパスフィルタを用いて、前記第２ノイズ除去画像データ内の残像を低減する、撮像装置。 The imaging apparatus according to claim 10,
The afterimage reduction processing unit reduces an afterimage in the second noise-removed image data using a low-pass filter.
前記残像低減処理部は、前記第１ノイズ除去画像データと前記第２ノイズ除去画像データとを合成し、合成された画像データにおいて、前記第１ノイズ除去画像データ内の被写体像と前記第２ノイズ除去画像データ内の被写体像との間を補間する、撮像装置。 The imaging apparatus according to claim 10,
The afterimage reduction processing unit synthesizes the first noise-removed image data and the second noise-removed image data. In the synthesized image data, the subject image and the second noise in the first noise-removed image data are combined. An imaging device that interpolates between subject images in removed image data.
重みを調整する調整部を有し、
前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
前記算出部は、前記残像低減処理部による残像低減処理済みの第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
前記除去部は、前記残像低減処理済みの第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記第３画像データからノイズを除去し、
前記残像低減処理部は、前記除去部によって前記第３画像データからノイズ除去された第３ノイズ除去画像データ内の残像を低減する、撮像装置。 The imaging apparatus according to claim 10,
An adjustment unit for adjusting the weight;
The imaging unit outputs third image data temporally later than the second image data,
The calculation unit calculates a second weight of the second image data based on the second noise-removed image data that has been subjected to the afterimage reduction processing by the afterimage reduction processing unit and the third image data, and the first weight and Calculating a third weight based on the second weight;
The removal unit removes noise from the third image data based on the second noise-removed image data that has been subjected to the afterimage reduction processing and the third weight calculated by the calculation unit,
The afterimage reduction processing unit reduces an afterimage in the third noise-removed image data from which noise has been removed from the third image data by the removing unit.
前記第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部を有し、
前記算出部は、前記抽出部によって抽出された第１空間情報に基づいて、前記第１重みを算出する、撮像装置。 The imaging apparatus according to claim 10,
An extraction unit that extracts first spatial information indicating characteristics of a spatial structure included in the image from at least one of the first noise-removed image data and the second image data;
The said calculating part is an imaging device which calculates a said 1st weight based on the 1st spatial information extracted by the said extraction part.
前記残像低減処理部は、前記第１ノイズ除去画像データと前記第２画像データとの差分に基づいて、前記第２ノイズ除去画像データ内に存在する残像の画像データを検出し、前記残像の画像データを、前記残像の検出領域に対応する前記第２画像データ内の領域の画像データに置換する、撮像装置。 The imaging apparatus according to claim 10,
The afterimage reduction processing unit detects afterimage image data present in the second noise-removed image data based on a difference between the first noise-removed image data and the second image data, and the image of the afterimage An imaging apparatus that replaces data with image data of a region in the second image data corresponding to the detection region of the afterimage.
前記入力部によって入力されたフレームレートに対応する第１光量情報から前記第１光量情報よりも大きい第２光量情報に調整する調整部と、
前記フレームレートおよび前記調整部によって調整された第２光量情報に基づいて、前記被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、
前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、
前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、
を有する撮像装置。 An input unit for receiving an input of a frame rate when imaging a subject;
An adjustment unit that adjusts the first light amount information corresponding to the frame rate input by the input unit to second light amount information that is larger than the first light amount information;
The subject is imaged based on the frame rate and the second light quantity information adjusted by the adjustment unit, and the first image data and the second image data temporally later than the first image data are output. An imaging unit to
A calculating unit that calculates a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from the first image data;
A removing unit that removes noise from the second image data based on the first noise-removed image data and the first weight calculated by the calculating unit;
An imaging apparatus having
前記フレームレートおよび前記第１光量情報に基づいて、残像を低減する撮像条件を設定する設定部を有し、
前記撮像部は、前記フレームレート、前記第２光量情報、および前記設定部によって設定された撮像条件に基づいて、前記被写体を撮像して、前記第１画像データおよび前記第２画像データを出力する、撮像装置。 The imaging device according to claim 16,
Based on the frame rate and the first light quantity information, a setting unit for setting an imaging condition for reducing afterimages,
The imaging unit images the subject based on the frame rate, the second light quantity information, and the imaging condition set by the setting unit, and outputs the first image data and the second image data. , Imaging device.
重みを調整する調整部を有し、
前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
前記算出部は、前記除去部によってノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
前記除去部は、前記第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記第３画像データからノイズを除去する、撮像装置。 The imaging device according to claim 16,
An adjustment unit for adjusting the weight;
The imaging unit outputs third image data temporally later than the second image data,
The calculation unit calculates a second weight of the second image data based on the second noise-removed image data and the third image data from which noise has been removed by the removal unit, and the first weight and the second weight Based on the weight, a third weight is calculated,
The image pickup apparatus, wherein the removing unit removes noise from the third image data based on the second noise-removed image data and the third weight calculated by the calculating unit.
前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出する算出部と、
前記算出部によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去部と、
を有する画像処理装置。 An acquisition unit that acquires first image data, second image data captured after the first image data, and third image data captured after the second image data;
A first weight of the first image data is calculated based on the first noise-removed image data from which noise has been removed from the first image data and the second image data, and the first weight from which noise has been removed from the second image data. A calculation unit that calculates a second weight of the second image data based on two noise-removed image data and the third image data, and calculates a third weight based on the first weight and the second weight; ,
A removing unit that removes noise of the third image data based on the third weight calculated by the calculating unit;
An image processing apparatus.
前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出する算出処理と、
前記算出処理によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去処理と、
をプロセッサに実行させる画像処理プログラム。 An acquisition process for acquiring first image data, second image data captured after the first image data, and third image data captured after the second image data,
A first weight of the first image data is calculated based on the first noise-removed image data from which noise has been removed from the first image data and the second image data, and the first weight from which noise has been removed from the second image data. Calculation processing for calculating a second weight of the second image data based on two noise-removed image data and the third image data, and calculating a third weight based on the first weight and the second weight; ,
A removal process for removing noise of the third image data based on the third weight calculated by the calculation process;
An image processing program for causing a processor to execute.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018035298A JP7098958B2 (en) | 2018-02-28 | 2018-02-28 | Image pickup device, image processing device, and image processing program |
| JP2022104994A JP2022125149A (en) | 2018-02-28 | 2022-06-29 | Imaging apparatus |
| JP2023172451A JP2023174740A (en) | 2018-02-28 | 2023-10-04 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018035298A JP7098958B2 (en) | 2018-02-28 | 2018-02-28 | Image pickup device, image processing device, and image processing program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022104994A Division JP2022125149A (en) | 2018-02-28 | 2022-06-29 | Imaging apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019149787A true JP2019149787A (en) | 2019-09-05 |
| JP7098958B2 JP7098958B2 (en) | 2022-07-12 |
Family
ID=67850898
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018035298A Active JP7098958B2 (en) | 2018-02-28 | 2018-02-28 | Image pickup device, image processing device, and image processing program |
| JP2022104994A Pending JP2022125149A (en) | 2018-02-28 | 2022-06-29 | Imaging apparatus |
| JP2023172451A Pending JP2023174740A (en) | 2018-02-28 | 2023-10-04 | Imaging apparatus |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022104994A Pending JP2022125149A (en) | 2018-02-28 | 2022-06-29 | Imaging apparatus |
| JP2023172451A Pending JP2023174740A (en) | 2018-02-28 | 2023-10-04 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP7098958B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455221A (en) * | 2023-12-25 | 2024-01-26 | 青岛可颂食品有限公司 | Processing flow management system suitable for baking cream |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006025396A1 (en) * | 2004-09-03 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | Image processing device, and image processing program |
| JP2008294696A (en) * | 2007-05-24 | 2008-12-04 | Sony Corp | Video signal processing method, program of video signal processing method, recording medium with recorded program of video signal processing method, and video signal processor |
| JP2010011072A (en) * | 2008-06-26 | 2010-01-14 | Olympus Corp | Imaging system, image processing method and image processing program |
| JP2010171517A (en) * | 2009-01-20 | 2010-08-05 | Hitachi Kokusai Electric Inc | Noise reduction circuit |
| JP2011205520A (en) * | 2010-03-26 | 2011-10-13 | Nanao Corp | Cyclic noise removing device and method therefor |
| JP2013179566A (en) * | 2012-02-01 | 2013-09-09 | Panasonic Corp | Image processing apparatus and imaging apparatus |
| JP2013255132A (en) * | 2012-06-07 | 2013-12-19 | Olympus Corp | Image processor, image processing method and program |
| JP2017050646A (en) * | 2015-08-31 | 2017-03-09 | キヤノン株式会社 | Image processing apparatus, image processing method and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007288595A (en) * | 2006-04-18 | 2007-11-01 | Pioneer Electronic Corp | Frame circulation noise reduction device |
-
2018
- 2018-02-28 JP JP2018035298A patent/JP7098958B2/en active Active
-
2022
- 2022-06-29 JP JP2022104994A patent/JP2022125149A/en active Pending
-
2023
- 2023-10-04 JP JP2023172451A patent/JP2023174740A/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006025396A1 (en) * | 2004-09-03 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | Image processing device, and image processing program |
| US20070248332A1 (en) * | 2004-09-03 | 2007-10-25 | Matsushita Electric Industrial Co., Ltd. | Image Processing Device, and Image Processing Program |
| JP2008294696A (en) * | 2007-05-24 | 2008-12-04 | Sony Corp | Video signal processing method, program of video signal processing method, recording medium with recorded program of video signal processing method, and video signal processor |
| JP2010011072A (en) * | 2008-06-26 | 2010-01-14 | Olympus Corp | Imaging system, image processing method and image processing program |
| JP2010171517A (en) * | 2009-01-20 | 2010-08-05 | Hitachi Kokusai Electric Inc | Noise reduction circuit |
| JP2011205520A (en) * | 2010-03-26 | 2011-10-13 | Nanao Corp | Cyclic noise removing device and method therefor |
| JP2013179566A (en) * | 2012-02-01 | 2013-09-09 | Panasonic Corp | Image processing apparatus and imaging apparatus |
| JP2013255132A (en) * | 2012-06-07 | 2013-12-19 | Olympus Corp | Image processor, image processing method and program |
| JP2017050646A (en) * | 2015-08-31 | 2017-03-09 | キヤノン株式会社 | Image processing apparatus, image processing method and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455221A (en) * | 2023-12-25 | 2024-01-26 | 青岛可颂食品有限公司 | Processing flow management system suitable for baking cream |
| CN117455221B (en) * | 2023-12-25 | 2024-03-26 | 青岛可颂食品有限公司 | Processing flow management system suitable for baking cream |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7098958B2 (en) | 2022-07-12 |
| JP2022125149A (en) | 2022-08-26 |
| JP2023174740A (en) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6911202B2 (en) | Imaging control method and imaging device | |
| JP5589446B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| US8994849B2 (en) | Method and apparatus for increasing dynamic range of image by using electronic shutter | |
| JP2010063088A (en) | Imaging apparatus | |
| CN110166706B (en) | Image processing method, image processing apparatus, electronic device, and storage medium | |
| JPWO2011145297A1 (en) | Imaging apparatus, image processing apparatus, image processing method, and image processing program | |
| WO2007119680A1 (en) | Image pickup device | |
| JP5541205B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
| JP6351271B2 (en) | Image composition apparatus, image composition method, and program | |
| JP2008035167A (en) | Imaging apparatus | |
| JP5861924B2 (en) | Imaging device | |
| JP2011114823A (en) | Image processing apparatus, and imaging apparatus | |
| JP2023174740A (en) | Imaging apparatus | |
| JP6108680B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP2008099260A (en) | Image processing device, electronic camera and image processing program | |
| JP5213604B2 (en) | Imaging device | |
| JP4052348B2 (en) | Image processing apparatus and image processing method | |
| JP6173027B2 (en) | Image processing apparatus and image processing method | |
| JP4389671B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2012044377A (en) | Image compositing device, image compositing method and program | |
| JP6779408B2 (en) | Imaging equipment, imaging methods, and programs | |
| JP7064351B2 (en) | Imaging device and imaging method | |
| JP5012805B2 (en) | Image processing apparatus, electronic camera, and image processing program | |
| JP6376769B2 (en) | Imaging apparatus and control method thereof | |
| JP5234123B2 (en) | Image processing apparatus, imaging apparatus, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220531 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220613 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7098958 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |