JP2023174740A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2023174740A JP2023174740A JP2023172451A JP2023172451A JP2023174740A JP 2023174740 A JP2023174740 A JP 2023174740A JP 2023172451 A JP2023172451 A JP 2023172451A JP 2023172451 A JP2023172451 A JP 2023172451A JP 2023174740 A JP2023174740 A JP 2023174740A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- noise
- weight
- unit
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 215
- 206010047571 Visual impairment Diseases 0.000 claims abstract description 192
- 238000012545 processing Methods 0.000 claims abstract description 150
- 238000000605 extraction Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 10
- 238000011946 reduction process Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 13
- 230000035945 sensitivity Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 10
- 239000002131 composite material Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Landscapes
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging device.
動画に対するノイズ除去手法として、過去のフレームと現在のフレームの重み付き平均処理がある（たとえば、下記特許文献１を参照）。しかしながら、特許文献１のノイズ低減システムは、より精度を上げるには画像メモリーにより多くの過去のフレームを保持しなければならないが、画像メモリーの使用メモリ量にも限界がある。一方、使用メモリ量を制限すると、ノイズ低減の精度向上が見込めない。
As a noise removal method for moving images, there is weighted averaging processing of past frames and current frames (for example, see
本願において開示される発明の第１側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データと前記第２画像データよりも時間的に後の第３画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みをする算出部と、前記算出部によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去部と、を有する。 An imaging device according to a first aspect of the invention disclosed in this application images a subject and uses first image data, second image data temporally later than the first image data, and the second image data. an imaging unit that outputs third image data that is temporally later than the first image data; A first weight is calculated, and a second weight of the second image data is calculated based on the second denoised image data and the third image data from which noise is removed from the second image data, and the first weight is calculated. and a calculation unit that calculates a third weight based on the second weight, and a removal unit that removes noise from the third image data based on the third weight calculated by the calculation unit.
本願において開示される発明の第２側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部と、前記抽出部によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、を有する。 An imaging device according to a second aspect of the invention disclosed in this application includes an imaging unit that images a subject and outputs first image data and second image data that is temporally later than the first image data. , an extraction unit that extracts first spatial information indicating characteristics of a spatial structure included in the image from at least one of the first noise-removed image data and the second image data, which are noise-removed from the first image data; a calculation unit that calculates a first weight of the first image data based on the first spatial information extracted by the extraction unit; the first noise-removed image data; and the first weight calculated by the calculation unit; , a removing unit that removes noise from the second image data based on .
本願において開示される発明の第３側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第２画像データ内の残像を低減する残像低減処理部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第２画像データからノイズを除去する除去部と、を有する。 An imaging device according to a third aspect of the invention disclosed in the present application includes an imaging unit that images a subject and outputs first image data and second image data that is temporally later than the first image data. , a calculation unit that calculates a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from the first image data; second image data that has been subjected to afterimage reduction processing by the afterimage reduction processing unit based on the afterimage reduction processing unit that reduces afterimages, the first noise removed image data, and the first weight calculated by the calculation unit; and a removal unit that removes noise from the noise.
本願において開示される発明の第４側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理部と、を有する。 An imaging device according to a fourth aspect of the invention disclosed in this application includes an imaging unit that images a subject and outputs first image data and second image data that is temporally later than the first image data. , a calculation unit that calculates a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from the first image data; and the first noise-removed image data. and a first weight calculated by the calculation unit, a removal unit that removes noise from the second image data, and a second noise removal unit that removes noise from the second image data by the removal unit. and an afterimage reduction processing unit that reduces afterimages in image data.
本願において開示される発明の第５側面となる撮像装置は、被写体を撮像する際のフレームレートの入力を受け付ける入力部と、露光時間を、前記入力部によって入力されたフレームレートに対応する第１露光時間から前記第１露光時間よりも長い第２露光時間に調整する調整部と、前記フレームレートおよび前記調整部によって調整された第２露光時間に基づいて、前記被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、を有する。 An imaging device according to a fifth aspect of the invention disclosed in the present application includes an input section that receives an input of a frame rate when imaging a subject, and a first input section that sets an exposure time corresponding to the frame rate input by the input section. an adjustment unit that adjusts the exposure time to a second exposure time that is longer than the first exposure time; and an adjustment unit that images the subject based on the frame rate and the second exposure time adjusted by the adjustment unit; an imaging unit that outputs image data and second image data that is temporally later than the first image data; a calculation unit that calculates a first weight of the first image data based on the first noise removed image data, and a first weight calculated by the calculation unit, from the second image data. and a removing section that removes noise.
本願において開示される発明の第６側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データと前記第２画像データよりも時間的に後に撮像された第３画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出する算出部と、前記算出部によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去部と、を有する。 An image processing device according to a sixth aspect of the invention disclosed in the present application includes first image data, second image data captured temporally later than the first image data, and temporally larger image data than the second image data. an acquisition unit that acquires third image data captured later in the first image data; 1 weight is calculated, and a second weight of the second image data is calculated based on the second noise-removed image data and the third image data in which noise is removed from the second image data, and the second weight is calculated based on the first weight and the third image data. The image forming apparatus includes a calculation section that calculates a third weight based on the second weight, and a removal section that removes noise from the third image data based on the third weight calculated by the calculation section.
本願において開示される発明の第７側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部と、前記抽出部によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、を有する。 An image processing device according to a seventh aspect of the invention disclosed in the present application includes an acquisition unit that acquires first image data and second image data captured temporally later than the first image data; an extraction unit that extracts first spatial information indicating characteristics of a spatial structure included in the image from at least one of the first noise-removed image data and the second image data from which noise has been removed from the first image data; a calculation unit that calculates a first weight of the first image data based on the extracted first spatial information; and a first weight calculated by the first noise-removed image data and the calculation unit. and a removing unit that removes noise from the second image data.
本願において開示される発明の第８側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第２画像データ内の残像を低減する残像低減処理部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第２画像データからノイズを除去する除去部と、を有する。 An image processing device according to an eighth aspect of the invention disclosed in the present application includes an acquisition unit that acquires first image data and second image data captured temporally later than the first image data; a calculation unit that calculates a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from the first image data; and reducing afterimages in the second image data. noise is removed from the second image data that has been subjected to afterimage reduction processing by the afterimage reduction processing section based on the afterimage reduction processing section that performs afterimage reduction processing, the first noise removed image data, and the first weight calculated by the calculation section. and a removing section for removing.
本願において開示される発明の第９側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理部と、を有する。 An image processing device according to a ninth aspect of the invention disclosed in the present application includes an acquisition unit that acquires first image data and second image data captured temporally later than the first image data; a calculation unit that calculates a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from one image data; the first noise-removed image data; a removing unit that removes noise from the second image data based on the first weight calculated by the calculating unit; and a second noise-removed image data from which noise is removed from the second image data by the removing unit. and an afterimage reduction processing section that reduces afterimages of.
本願において開示される発明の第１０側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データと前記第２画像データよりも時間的に後に撮像された第３画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出する算出処理と、前記算出処理によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去処理と、をプロセッサに実行させる。 An image processing program according to a tenth aspect of the invention disclosed in the present application includes first image data, second image data captured temporally later than the first image data, and second image data captured temporally later than the second image data. an acquisition process of acquiring third image data captured after the first image data; 1 weight is calculated, and a second weight of the second image data is calculated based on the second noise-removed image data and the third image data in which noise is removed from the second image data, and the second weight is calculated based on the first weight and the third image data. A processor executes a calculation process of calculating a third weight based on the second weight, and a removal process of removing noise from the third image data based on the third weight calculated by the calculation process. let
本願において開示される発明の第１１側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出処理と、前記抽出処理によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出処理と、前記第１ノイズ除去画像データと、前記算出処理によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去処理と、をプロセッサに実行させる。 An image processing program according to an eleventh aspect of the invention disclosed in this application includes an acquisition process of acquiring first image data and second image data captured temporally later than the first image data; an extraction process for extracting first spatial information indicating a feature of a spatial structure included in the image from at least one of the first noise-removed image data and the second image data from which noise has been removed from the first image data, and the extraction process a calculation process of calculating a first weight of the first image data based on the extracted first spatial information; and a first weight calculated by the first noise-removed image data and the calculation process. and causes the processor to perform a removal process of removing noise from the second image data.
本願において開示される発明の第１２側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出処理と、前記第２画像データ内の残像を低減する残像低減処理と、前記第１ノイズ除去画像データと、前記算出処理によって算出された第１重みと、に基づいて、前記残像低減処理による残像低減処理済みの第２画像データからノイズを除去する除去処理と、をプロセッサに実行させる。 An image processing program according to a twelfth aspect of the invention disclosed in this application includes an acquisition process of acquiring first image data and second image data captured temporally later than the first image data; A calculation process of calculating a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from the first image data, and reducing afterimages in the second image data. noise is removed from the second image data that has been subjected to the afterimage reduction process by the afterimage reduction process, based on the afterimage reduction process performed by the afterimage reduction process, the first noise removed image data, and the first weight calculated by the calculation process. The processor executes the removal process.
本願において開示される発明の第１３側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出処理と、前記第１ノイズ除去画像データと、前記算出処理によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去処理と、前記除去処理によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理と、をプロセッサに実行させる。 An image processing program according to a thirteenth aspect of the invention disclosed in this application includes an acquisition process of acquiring first image data and second image data captured temporally later than the first image data; a calculation process of calculating a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from one image data; the first noise-removed image data; a first weight calculated by the calculation process, and a removal process for removing noise from the second image data based on the first weight; The processor is caused to execute afterimage reduction processing for reducing afterimages of.
実施例１について説明する。動画に対するノイズ除去手法として、ノイズ除去された過去の画像データとノイズが除去されていない現在の画像データとの重み付き平均処理がある。ノイズの除去精度を高めるためには過去フレーム数をメモリに多く保持しておく必要があるが、メモリ使用量が増加してしまう。 Example 1 will be explained. As a method for removing noise from moving images, there is weighted averaging processing of past image data from which noise has been removed and current image data from which noise has not been removed. In order to improve noise removal accuracy, it is necessary to store a large number of past frames in memory, but this increases memory usage.
このため、実施例１では、ノイズが除去されたノイズ除去画像データの数を必要最小限に抑制するため、撮像装置は、ノイズ除去に使用される重みを再帰的に利用することにより、ノイズ除去精度の向上を図り、メモリ使用量を低減する。 Therefore, in the first embodiment, in order to suppress the number of noise-removed image data to the necessary minimum, the imaging device performs noise removal by recursively using the weights used for noise removal. Improve accuracy and reduce memory usage.
重みとは、動画像において時間的に連続する先行画像データと後続画像データとを同一領域で比較した場合の当該領域ごとにおける後続画像データに対する先行画像データの信頼度である。領域とは、１画素以上の画素集合である。領域は画像データ全体であってもよい。 The weight is the reliability of the preceding image data with respect to the succeeding image data for each area when temporally continuous preceding image data and subsequent image data are compared in the same area in a moving image. A region is a pixel set of one or more pixels. The region may be the entire image data.
重みは、たとえば、０．０以上１．０以下の範囲をとり、値が大きいほど信頼度が高いことを意味する。先行画像データおよび後続画像データの同一領域どうしが類似するほど、重みの値は大きくなる。重みを再帰的に利用することにより、過去の画像データの残像ほど重みの値が小さくなり、残像が低減される。以下、実施例１について詳細に説明する。 The weight ranges, for example, from 0.0 to 1.0, and the larger the value, the higher the reliability. The more similar the same areas of the preceding image data and the subsequent image data are, the larger the weight value becomes. By using weights recursively, the value of weight becomes smaller for afterimages of past image data, and afterimages are reduced. Example 1 will be described in detail below.
＜撮像装置のハードウェア構成例＞
図１は、撮像装置のハードウェア構成例を示すブロック図である。撮像装置１００は、動画撮影可能な装置であり、具体的には、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、パーソナルコンピュータ、ゲーム機である。図１では、撮像装置の一例としてデジタルカメラを例に挙げて説明する。
<Example of hardware configuration of imaging device>
FIG. 1 is a block diagram showing an example of the hardware configuration of an imaging device. The
撮像装置１００は、プロセッサ１０１と、記憶デバイス１０２と、駆動部１０３と、光学系１０４と、撮像素子１０５と、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０６と、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１０７と、操作デバイス１０８と、センサ１０９と、表示デバイス１１０と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１１１と、バス１１２と、を有する。プロセッサ１０１、記憶デバイス１０２、駆動部１０３、ＬＳＩ１０７、操作デバイス１０８、センサ１０９、表示デバイス１１０、および通信ＩＦ１１１は、バス１１２に接続される。
The
プロセッサ１０１は、撮像装置１００を制御する。記憶デバイス１０２は、プロセッサ１０１の作業エリアとなる。また、記憶デバイス１０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス１０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。記憶デバイス１０２は、撮像装置１００に複数実装されてもよく、そのうちの少なくとも１つは、撮像装置１００に対し着脱自在でもよい。
A
駆動部１０３は、光学系１０４を駆動制御する。駆動部１０３は、駆動回路１０３ａと駆動源１０３ｂとを有する。駆動回路１０３ａは、プロセッサ１０１からの指示により駆動源１０３ｂを制御する。駆動源１０３ｂは、たとえば、モータであり、駆動回路１０３ａの制御により、光学系１０４内のズーミングレンズ１４１ｂおよびフォーカシングレンズ１４１ｃを光軸方向に移動させたり、絞り１４２を開閉制御する。
The
光学系１０４は、光軸方向に配列された複数のレンズ（レンズ１４１ａ、ズーミングレンズ１４１ｂ、およびフォーカシングレンズ１４１ｃ）と、絞り１４２と、を含む。光学系１０４は、被写体光を集光し、撮像素子１０５に出射する。
撮像素子１０５は、光学系１０４からの被写体光を受光して電気信号に変換する。撮像素子１０５は、たとえば、ＸＹアドレス方式の固体撮像素子（たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ‐Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ））であってもよく、順次走査方式の固体撮像素子（たとえば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ））であってもよい。
The
撮像素子１０５の受光面には、複数の受光素子（画素）がマトリクス状に配列されている。そして、撮像素子１０５の画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列（たとえば、ベイヤ配列）に従って配置される。そのため、撮像素子１０５の各画素は、カラーフィルタでの色分解によって各色成分に対応するアナログの電気信号を出力する。
On the light-receiving surface of the
ＡＦＥ１０６は、撮像素子１０５からのアナログの電気信号に対して信号処理を施すアナログフロントエンド回路である。ＡＦＥ１０６は、電気信号のゲイン調整、アナログ信号処理（相関二重サンプリング、黒レベル補正など）、Ａ／Ｄ変換処理、デジタル信号処理（欠陥画素補正など）を順次実行してＲＡＷ画像データを生成し、ＬＳＩに出力する。上述した駆動部１０３、光学系１０４、撮像素子１０５、およびＡＦＥ１０６は、撮像部１２０を構成する。
The
ＬＳＩ１０７は、ＡＦＥ１０６からのＲＡＷ画像データについて、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理など、特定の処理を実行する集積回路である。ＬＳＩ１０７は、具体的には、たとえば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によって実現してもよい。
The
操作デバイス１０８は、コマンドやデータを入力する。操作デバイス１０８としては、たとえば、レリーズボタンを含む各種ボタン、スイッチ、ダイヤル、タッチパネルがある。センサは、情報を検出するデバイスであり、たとえば、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）センサ、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）センサ、ジャイロセンサ、加速度センサ、温度センサなどがある。表示デバイス１１０は、画像データや設定画面を表示する。表示デバイス１１０には、撮像装置１００の背面にある背面モニタと、電子ビューファインダと、がある。通信ＩＦ１１１は、ネットワークと接続し、データを送受信する。
The operating
＜撮像装置１００の機能的構成例＞
図２は、実施例１にかかる撮像装置１００の機能的構成例を示すブロック図である。撮像装置１００は、取得部２０１と、算出部２０２と、除去部２０３と、画像保存部２０４と、第１メモリ２０５と、を有する。取得部２０１、算出部２０２、除去部２０３、画像保存部２０４、および第１メモリ２０５は、画像処理装置２００を構成する。
<Functional configuration example of
FIG. 2 is a block diagram showing an example of the functional configuration of the
取得部２０１は、撮像部１２０によって撮像された時間的に連続する一連の画像データを取得する。取得部２０１は、たとえば、記憶デバイス１０２の１つであるバッファメモリである。なお、撮像装置１００が、撮像部１２０がない画像処理装置２００である場合、記憶デバイス１０２または通信ＩＦ１１１からの一連の画像データを取得することになる。取得部２０１は、たとえば、記憶デバイス１０２の１つであるバッファメモリである。
The
算出部２０２、除去部２０３および画像保存部２０４は、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０７により実現される。また、第１メモリ２０５は、記憶デバイス１０２の１つである。
Specifically, the
ここで、一連の画像データを、連続する第１画像データ～第３画像データを例に挙げて説明する。なお、撮像部１２０は、被写体を撮像して、第１画像データ～第３画像データの順に出力するものとする。第１画像データは、連続する第１画像データ～第３画像データの中で、撮像部１２０から出力された時間的に最古の画像データとする。第２画像データは、第１画像データよりも時間的に後に撮像部１２０から出力された画像データとする。第３画像データは、第２画像データよりも時間的に後に撮像部１２０から出力された画像データとする。
Here, a series of image data will be explained using consecutive first to third image data as an example. It is assumed that the
算出部２０２は、重み計算部２２１と、重み調整部２２２と、重み保存部２２３と、第２メモリ２２４と、を有する。重み計算部２２１は、除去部２０３によって第１画像データからノイズ除去された第１ノイズ除去画像データおよび第２画像データに基づいて、第１画像データの第１重みを算出する。算出部２０２は、第１重みを算出する際、第２画像データに先行する過去画像データとして、第１ノイズ除去画像データを第１メモリ２０５から読み出す。第１画像データは、第２画像データの先行画像データであり、第２画像データは、第１画像データの後続画像データである。
The
また、算出部２０２は、除去部２０３によって第２画像データからノイズ除去された第２ノイズ除去画像データおよび第３画像データに基づいて、第２画像データの第２重みを算出する。算出部２０２は、第２重みを算出する際、第３画像データに先行する過去画像データとして、第１メモリ２０５から第２ノイズ除去画像データを読み出す。第２画像データは、第３画像データの先行画像データであり、第３画像データは、第２画像データの後続画像データである。
Further, the
重みとは、上述したように、時間的に連続する先行画像データと後続画像データとを同一領域で比較した場合の当該領域ごとにおける後続画像データに対する先行画像データの信頼度である。領域とは、１画素以上の画素集合である。領域は画像データ全体であってもよい。 As described above, the weight is the reliability of the preceding image data relative to the succeeding image data for each area when temporally continuous preceding image data and subsequent image data are compared in the same area. A region is a pixel set of one or more pixels. The region may be the entire image data.
ここで、時刻ｔよりも前にノイズ除去処理された画像データをＩｏｌｄと表記し、時刻ｔの画像データをＩｔと表記する。ＩｏｌｄやＩｔを区別しない場合は、単に画像データＩと表記する。画像データＩは、たとえば、マトリクス状の画素群の各値に対応する行列である。したがって、重みもまた行列により表現され、Ｗと表記する。重みＷの各要素は、画像データＩ内の領域（ｘ，ｙ）に対応し、その領域の重みｗは、たとえば、０．０以上１．０以下の範囲をとる。 Here, image data subjected to noise removal processing before time t is written as Iold, and image data at time t is written as It. When Iold and It are not distinguished, they are simply expressed as image data I. The image data I is, for example, a matrix corresponding to each value of a matrix-like pixel group. Therefore, the weights are also expressed by a matrix and are denoted W. Each element of the weight W corresponds to a region (x, y) in the image data I, and the weight w of that region ranges from, for example, 0.0 to 1.0.
ある領域において、重み（信頼度）ｗが高いほど、当該領域において、先行画像データと後続画像データとの間で画像のブレが少ない、すなわち、残像が少ないことを示し、重み（信頼度）が低いほど、当該領域において、先行画像データと後続画像データとの間でブレが多い、すなわち、残像が多いことを示す。 The higher the weight (reliability) w in a certain area, the less blurring of the image between the preceding image data and the subsequent image data in that area, that is, the less afterimage. The lower the value, the more blurring occurs between the preceding image data and the subsequent image data in the region, that is, the more afterimages there are.
時刻ｔの後続画像データに対する先行画像データＩｏｌｄ内の領域の重みｗは、下記式（１）により算出される。 The weight w of the area in the preceding image data Iold with respect to the succeeding image data at time t is calculated by the following equation (1).
ｗ＝ｆ（Ｉｔ，Ｉｏｌｄ）・・・（１） w=f(It,Iold)...(1)
関数ｆ（・）は、先行画像データＩｏｌｄ内の領域の重みｗを求める関数である。なお、領域が先行画像データＩｏｌｄの全体であれば、重みｗは１つの値となる。また、重み計算部２２１は、先行画像データＩｏｌｄのチャンネル数に応じて複数の重みＷを求めてもよい。先行画像データＩｏｌｄの領域の重みｗは、後続画像データＩｔの類似度が大きいほど大きくするのがよい。領域の重みｗの求め方の一例としては下記式（２）がある。
The function f(·) is a function for determining the weight w of the area in the preceding image data Iold. Note that if the area is the entire preceding image data Iold, the weight w will be one value. Further, the
関数ｆｘ,ｙは、領域（ｘ，ｙ）の重みｗの算出を意味する。ｘは先行画像データＩｏｌｄの領域の列方向における位置を示し、ｙは行方向の位置を示す。また，関数φｘ,ｙは領域（ｘ，ｙ）を中心とした近傍領域の部分画像データを取得する関数である。また，||・||はＬ２ノルムを意味する。また，σは、重みの算出結果を調整するパラメータである。σは上記式（２）の分子の値である画像の差に対する感度を調整するためパラメータであり、σの値を大きくすると画像の差が大きくても重みが大きく算出されることになる。 The function fx,y means calculation of the weight w of the region (x,y). x indicates the position of the area of the preceding image data Iold in the column direction, and y indicates the position in the row direction. Further, the function φx,y is a function that obtains partial image data of a neighboring area centered on the area (x, y). Also, ||·|| means L2 norm. Further, σ is a parameter that adjusts the weight calculation result. σ is a parameter for adjusting the sensitivity to the image difference, which is the value of the numerator of the above equation (2), and when the value of σ is increased, a larger weight is calculated even if the image difference is large.
重み調整部２２２は、第２メモリ２２４に保存されている最新の重みＷｏｌｄに基づいて、重み計算部２２１によって計算された重みＷを調整する。調整済みの重みＷを重みＷ´とする。重み保存部２２３は、重み調整部２２２による調整前の重みＷをＷｏｌｄとして第２メモリ２２４に保存する（式（４）を参照）。第２メモリ２２４は、記憶デバイス１０２により構成される。
The
調整済みの重みＷ´は、下記式（３）により算出される。 The adjusted weight W' is calculated by the following formula (3).
Ｗ´＝ｇ（Ｗ，Ｗｏｌｄ）・・・（３） W′=g(W,Wold)...(3)
関数ｇ（・）は、重みＷを調整する関数である。Ｗｏｌｄは、下記式（４）のように、調整前の重みＷにより更新される。ここでは直接重みＷをＷｏｌｄに更新しているが，重みＷのサイズを縮小してＷｏｌｄに更新してもよい。重みを過去重みＷｏｌｄと称す。 The function g(·) is a function that adjusts the weight W. Wold is updated by the weight W before adjustment, as shown in equation (4) below. Here, the weight W is directly updated to Wold, but the size of the weight W may be reduced and updated to Wold. The weight is called a past weight Wold.
Ｗｏｌｄ＝Ｗ・・・（４） Wold=W...(4)
また、式（３）の右辺は、たとえば、下記式（５）により表現される。 Further, the right side of equation (3) is expressed, for example, by equation (5) below.
また、調整済みの重みＷ´に上限や下限を設けたり、一律の調整係数を掛けたりしてもよい。また、式（３）の右辺は、たとえば、下記式（６）により表現されてもよい。 Further, the adjusted weight W' may be set with an upper limit or a lower limit, or may be multiplied by a uniform adjustment coefficient. Further, the right side of equation (3) may be expressed by, for example, equation (6) below.
ｇ（Ｗ，Ｗｏｌｄ）＝ｍｉｎ（Ｗ，Ｗｏｌｄ）・・・（６） g(W,Wold)=min(W,Wold)...(6)
上記式（６）は、重みＷと過去重みＷｏｌｄを要素ごとに比較して、値が小さい方の重みｗを採用する。このようにして、調整済みの重みＷ´の領域の重みｗ´は、調整前の重みｗに比べて小さくなる。 In the above equation (6), the weight W and the past weight Wold are compared for each element, and the weight w having the smaller value is adopted. In this way, the weight w' of the area of the adjusted weight W' becomes smaller than the weight w before adjustment.
ここで、上述した第１画像データ～第３画像データを例に挙げて、重みＷの調整について説明する。なお、第１画像データを先行画像データとし、第１画像データからノイズ除去された第１ノイズ除去画像データを過去画像Ｉｏｌｄとした場合の重みＷを重みＷ１とする。また、第２画像データを先行画像データとし、第２画像データからノイズ除去された第２ノイズ除去画像データを過去画像Ｉｏｌｄとした場合の重みＷを重みＷ２とする。また、第３画像データを先行画像データとし、第３画像データからノイズ除去された第３ノイズ除去画像データを過去画像Ｉｏｌｄとした場合の重みＷを重みＷ３とする。 Here, adjustment of the weight W will be explained using the above-mentioned first image data to third image data as examples. Note that the weight W in the case where the first image data is the preceding image data and the first noise-removed image data obtained by removing noise from the first image data is the past image Iold is defined as the weight W1. Further, the weight W when the second image data is the preceding image data and the second noise-removed image data obtained by removing noise from the second image data is the past image Iold is set as the weight W2. Further, the weight W when the third image data is the preceding image data and the third noise-removed image data obtained by removing noise from the third image data is the past image Iold is set as the weight W3.
なお、第１画像データが動画像データの先頭画像データである場合、第１画像データに先行する画像データは存在しないため、重みＷ１は重み調整部２２２によって調整されずに、重み保存部２２３により第２メモリ２２４に過去重みＷｏｌｄとして保存される。第１画像データおよび第２画像データにより重みＷ２が計算された場合、重み調整部２２２は、第２メモリ２２４から過去重みＷｏｌｄ（＝重みＷ１）を読みだして、上記式（５）により重みＷ２と乗算して、調整済みの重みＷ２´を算出する。重み保存部２２３は、調整前の重みＷ２を過去重みＷｏｌｄとして第２メモリ２２４に保存する。
Note that when the first image data is the first image data of the moving image data, there is no image data preceding the first image data, so the weight W1 is not adjusted by the
また、第２画像データおよび第３画像データにより重みＷ３が計算された場合、重み調整部２２２は、第２メモリ２２４から重みＷｏｌｄ（＝重みＷ２）を読みだして、上記式（５）により、重みＷ３と乗算して、調整済みの重みＷ３´を算出する。重み保存部２２３は、調整前の重みＷ３をＷｏｌｄとして第２メモリ２２４に保存する。
Further, when the weight W3 is calculated based on the second image data and the third image data, the
除去部２０３は、調整済みの重みＷ´に基づいて、ノイズ除去対象の画像データのノイズを除去し、ノイズ除去画像データを出力する。具体的には、たとえば、除去部２０３は、調整済みの重みＷ´を用いた重み付け平均により、ノイズ除去対象の画像データのノイズを除去する。重み付け平均は、たとえば、下記式（７）により表現される。
The
上記式（７）において、Ｉｏｕｔは、ノイズ除去された画像データ（ノイズ除去画像データ）である。 In the above equation (7), Iout is the image data from which noise has been removed (noise removed image data).
画像保存部２０４は，除去部２０３から出力されたノイズ除去画像データＩｏｕｔを過去画像データＩｏｌｄとして第１メモリ２０５に保存する。第１メモリ２０５は、記憶デバイス１０２により構成される。
The
＜再帰的ノイズ除去処理＞
図３は、実施例１にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。図４は、調整済みの重みＷ´による再帰的ノイズ除去例を示す説明図である。図４の比較例として、図５を例示する。図５は、調整済みの重みＷ´を適用しない再帰的ノイズ除去例を示す説明図である。なお、図４および図５において図３のステップに該当する箇所には、図３のステップ番号を付す。なお、図５では調整済みの重みＷ´を適用しないため、ステップＳ３０４～Ｓ３０６は存在しない。また、図４および図５では、撮像装置１００は、撮像方向を固定しており、被写体像が左から右に移動する動画像データを撮像する場合を例に挙げて説明する。
<Recursive noise removal process>
FIG. 3 is a flowchart illustrating an example of a recursive noise removal procedure by the
まず、図４および図５の中央点線の左側について、図３を用いて説明する。撮像装置１００は、取得部２０１により現在画像データを取得して読み込み（ステップＳ３０１）、過去画像データを第１メモリ２０５から読み込む（ステップＳ３０２）。ここで、現在画像データとは、時刻ｔ－１の後続画像データＩ（ｔ－１）であり、過去画像データとは、時刻（ｔ－１）以前の時刻（ｔ－２）の先行画像データからノイズ除去されたノイズ除去画像データ、すなわちＩｏｌｄである。Ｉｏｌｄには、被写体像ＯＢ（ｔ－２）が存在するものとする。
First, the left side of the center dotted line in FIGS. 4 and 5 will be described using FIG. 3. The
撮像装置１００は、重み計算部２２１により、過去画像データＩｏｌｄと現在画像データＩ（ｔ－１）とを式（２）に与えて、重みＷ（ｔ－１）を計算する（ステップＳ３０３）。過去画像データＩｏｌｄと現在画像データＩ（ｔ－１）とにおいて、同一領域の画像が類似するほど、重みは大きくなり、類似しなくなるほど、小さくなる。したがって、過去画像データＩｏｌｄと現在画像データＩ（ｔ－１）とにおいて、被写体像ＯＢ（ｔ－２），ＯＢ（ｔ－１）がいずれも存在しない領域は、ほぼ同じ画像となり、当該領域の重みｗ（ｔ－１）は、たとえば、最大値の１．０となる。
The
一方、過去画像データＩｏｌｄと現在画像データＩ（ｔ－１）とにおいて、被写体像ＯＢ（ｔ－２），ＯＢ（ｔ－１）のいずれか一方が存在する領域は、異なる画像となり、当該領域の重みｗ（ｔ－１）は低くなる。ここでは、例として、当該領域の重みｗ（ｔ－１）を０．０とする。なお、被写体像ＯＢ（ｔ－２），ＯＢ（ｔ－１）の境界部分の領域については、被写体像ＯＢ（ｔ－２），ＯＢ（ｔ－１）のいずれか一方が存在する領域よりも類似している。ここでは、例として、当該領域の重みｗ（ｔ－１）を０．５とする。 On the other hand, in the past image data Iold and the current image data I(t-1), the area where either the subject image OB(t-2) or OB(t-1) exists is a different image, and the area The weight w(t-1) becomes low. Here, as an example, the weight w(t-1) of the area is set to 0.0. Note that the area at the boundary between the subject images OB(t-2) and OB(t-1) is larger than the area where either one of the subject images OB(t-2) or OB(t-1) exists. Similar. Here, as an example, the weight w(t-1) of the area is set to 0.5.
つぎに、撮像装置１００は、第２メモリ２２４から過去重みＷｏｌｄを読み込む（ステップＳ３０４）。この過去重みＷｏｌｄを例として、全要素の値が「１．０」の行列とする。撮像装置１００は、重み調整部２２２により、第２メモリ２２４からの過去重みＷｏｌｄと、ステップＳ３０３で重み計算した重みＷ（t－１）とを式（３）に与えて、調整済みの重みＷ´を出力する（ステップＳ３０５）。
Next, the
調整済みの重みＷ´は、たとえば、式（５）に示したように、過去重みＷｏｌｄと、重みＷ（ｔ）との積により求められる。過去重みＷｏｌｄは全要素の値が「１．０」の行列であるため、調整済みの重みＷ´は、重み計算した重みＷ（t－１）と同じである。 The adjusted weight W' is obtained by, for example, the product of the past weight Wold and the weight W(t), as shown in equation (5). Since the past weight Wold is a matrix in which all elements have values of "1.0", the adjusted weight W' is the same as the calculated weight W(t-1).
そして、撮像装置１００は、第２メモリ２２４に調整前の重みＷ（ｔ－１）を格納して、あらたな過去重みＷｏｌｄとする（ステップＳ３０６）。
Then, the
撮像装置１００は、除去部２０３により、過去画像データＩｏｌｄと現在画像データＩ（ｔ－１）と調整済みの重みＷ´とを式（７）に与えて、現在画像データＩ（ｔ－１）からノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩｏｕｔ（ｔ－１）を出力する（ステップＳ３０８）。出力されたノイズ除去画像データＩｏｕｔ（ｔ－１）は、表示デバイス１１０に表示される。ノイズ除去画像データＩｏｕｔ（ｔ－１）は、現在画像データＩ（ｔ－１）と同じ位置に被写体像ＯＢ（ｔ－１）が存在し、過去画像データＩｏｌｄの被写体像ＯＢ（ｔ－２）と同じ位置に残像Ａ（ｔ－２）が存在する。残像Ａ（ｔ－２）は、主に、被写体像ＯＢ（ｔ－２）の輪郭が際立った画像データとなる。
The
また、撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩｏｕｔ（ｔ－１）を第１メモリ２０５に出力し、過去画像データＩｏｌｄを更新する（ステップＳ３０９）。このあと、撮像装置１００は、たとえば、ユーザの動作撮影の終了操作入力により、画像処理が終了するか否かを判断する（ステップＳ３１０）。終了しない場合（ステップＳ３１０：Ｎｏ）、撮像装置１００は、取得部２０１におけるバッファメモリの読み込み位置を更新し（ステップＳ３１１）、ステップＳ３０１に戻る。
Furthermore, the
つぎに、図４および図５の中央点線の右側について、図３を用いて説明する。撮像装置１００は、取得部２０１により時刻ｔの現在画像データＩ（ｔ）を取得して読み込み（ステップＳ３０１）、過去画像データＩｏｌｄを第１メモリ２０５から読み込む（ステップＳ３０２）。ここで、過去画像データＩｏｌｄは、ステップＳ３０９で得られたノイズ除去画像データＩｏｕｔ（ｔ－１）である。
Next, the right side of the center dotted line in FIGS. 4 and 5 will be described using FIG. 3. The
撮像装置１００は、重み計算部２２１により、過去画像データＩｏｌｄと現在画像データＩ（ｔ）とを式（２）に与えて、重みＷ（ｔ）を計算する（ステップＳ３０３）。過去画像データＩｏｌｄと現在画像データＩ（ｔ）とにおいて、同一領域の画像が類似するほど、重みは大きくなり、類似しなくなるほど、小さくなる。したがって、過去画像データＩｏｌｄと現在画像データＩ（ｔ）とにおいて、被写体像ＯＢ（ｔ－１），ＯＢ（ｔ）がいずれも存在しない領域は、ほぼ同じ画像となり、当該領域の重みｗ（ｔ）は、たとえば、最大値の１．０となる。
The
一方、過去画像データＩｏｌｄと現在画像データＩ（ｔ）とにおいて、被写体像ＯＢ（ｔ－１），ＯＢ（ｔ）のいずれか一方が存在する領域は、異なる画像となり、当該領域の重みｗ（ｔ）は低くなる。ここでは、例として、当該領域の重みｗ（ｔ）を０．０とする。なお、被写体像ＯＢ（ｔ－１），ＯＢ（ｔ）の境界部分の領域については、被写体像ＯＢ（ｔ－１），ＯＢ（ｔ）のいずれか一方が存在する領域よりも類似している。ここでは、例として、当該領域の重みｗ（ｔ）を０．５とする。また、過去画像データＩｏｌｄ（ノイズ除去画像データＩｏｕｔ（ｔ－１））において、残像Ａ（ｔ－２）が存在する領域の重みを０．７５とする。 On the other hand, in the past image data Iold and the current image data I(t), an area where either the subject image OB(t-1) or OB(t) exists becomes a different image, and the weight of the area w( t) becomes lower. Here, as an example, the weight w(t) of the region is set to 0.0. Note that the area at the boundary between the subject images OB(t-1) and OB(t) is more similar than the area where either one of the subject images OB(t-1) and OB(t) exists. . Here, as an example, the weight w(t) of the region is set to 0.5. Furthermore, in the past image data Iold (noise removed image data Iout(t-1)), the weight of the area where the afterimage A(t-2) exists is set to 0.75.
つぎに、撮像装置１００は、第２メモリ２２４から過去重みＷｏｌｄを読み込む（ステップＳ３０４）。この過去重みＷｏｌｄは、ステップＳ３０６で先に算出された重みＷ（t－１）である。撮像装置１００は、重み調整部２２２により、第２メモリ２２４からの過去重みＷｏｌｄと、ステップＳ３０３で重み計算した重みＷ（t）とを式（３）に与えて、調整済みの重みＷ´を出力する（ステップＳ３０５）。
Next, the
調整済みの重みＷ´は、たとえば、式（５）に示したように、過去重みＷｏｌｄと、重みＷ（t）との積により求められる。この場合の過去重みＷｏｌｄは、ステップＳ３０６で先に算出された重みＷ（t－１）であるため、残像Ａ（ｔ－２）が存在する領域内部の重みｗ（ｔ）は０になり、輪郭の重みｗ（ｔ）は、０．３７５（＝０．７５×０．５）となる。また、残像Ａ（ｔ－１）が存在する領域内部の重みｗ（ｔ）は０（＝０．０×０．０）のままであるが、輪郭の重みｗ（ｔ）は０．２５（＝０．５×０．５）である。 The adjusted weight W' is obtained by, for example, the product of the past weight Wold and the weight W(t), as shown in equation (5). In this case, the past weight Wold is the weight W(t-1) calculated earlier in step S306, so the weight w(t) inside the area where the afterimage A(t-2) exists is 0, The contour weight w(t) is 0.375 (=0.75×0.5). Also, the weight w(t) inside the area where the afterimage A(t-1) exists remains 0 (=0.0×0.0), but the weight w(t) of the contour is 0.25( =0.5×0.5).
そして、撮像装置１００は、第２メモリ２２４に調整前の重みＷ（ｔ）を格納して、あらたな過去重みＷｏｌｄとする（ステップＳ３０６）。
Then, the
撮像装置１００は、除去部２０３により、過去画像データＩｏｌｄと現在画像データＩ（ｔ）と調整済みの重みＷ´とを式（７）に与えて、現在画像データＩ（ｔ）からノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩｏｕｔ（ｔ）を出力する（ステップＳ３０８）。出力されたノイズ除去画像データＩｏｕｔ（ｔ）は、表示デバイス１１０に表示される。ノイズ除去画像データＩｏｕｔ（ｔ）は、現在画像データＩ（ｔ）と同じ位置に被写体像ＯＢ（ｔ）が存在し、過去画像データＩｏｌｄの被写体像ＯＢ（ｔ－１）と同じ位置に残像Ａ（ｔ－１）が存在し、さらに、被写体像ＯＢ（ｔ－２）と同じ位置に残像Ａ（ｔ－２）が存在する。
The
また、撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩｏｕｔ（ｔ）を第１メモリ２０５に出力し、過去画像データＩｏｌｄを更新する（ステップＳ３０９）。このあと、撮像装置１００は、たとえば、ユーザの動作撮影の終了操作入力により、画像処理が終了するか否かを判断する（ステップＳ３１０）。終了する場合（ステップＳ３１０：Ｙｅｓ）、撮像装置１００は、画像処理を終了する。
Further, the
このように、過去画像データＩｏｌｄと現在画像データＩ（ｔ－１），Ｉ（ｔ）との間で変換のない領域では過去画像データＩｏｌｄを参照するための重みＷ（ｔ－１），Ｗ（ｔ）が大きくなるため、結果的に使用メモリを削減しつつノイズ除去率を増加させることができる。 In this way, in the area where there is no conversion between the past image data Iold and the current image data I(t-1), I(t), the weights W(t-1), W for referring to the past image data Iold are Since (t) becomes larger, it is possible to increase the noise removal rate while reducing the amount of memory used.
ただし、図５の例の場合、過去画像データＩｏｌｄと現在画像データＩ（ｔ－１），Ｉ（ｔ）との間で重みの算出がうまくいっていない領域、すなわち失敗している領域がある場合、その結果も保持される。したがって、長期にわたり失敗が残ってしまう。これが残像として画質を著しく劣化させてしまう原因となる。 However, in the case of the example shown in FIG. 5, if there is an area where the weight calculation is not successful between the past image data Iold and the current image data I(t-1), I(t), that is, there is an area where the calculation has failed. , the results are also retained. Therefore, the failure remains for a long time. This causes a significant deterioration in image quality as an afterimage.
たとえば、図５の中の太矢印５Ａ１で示した被写体像ＯＢ（ｔ－２）の輪郭の残像Ａ（ｔ－２）のように、次のフレーム（画像データＩ（ｔ））でのステップＳ３０３の重み算出結果が太矢印５ａ１のように大きくなっており（ｗ（ｔ－１）＝０．７５）、結果として太矢印５Ａ２のように失敗した輪郭の残像Ａ（ｔ－２）が残ってしまっている。 For example, as in the afterimage A(t-2) of the outline of the object image OB(t-2) indicated by the thick arrow 5A1 in FIG. 5, step S303 in the next frame (image data I(t)) The weight calculation result becomes large as shown by the thick arrow 5a1 (w(t-1)=0.75), and as a result, an afterimage A(t-2) of the failed contour remains as shown by the thick arrow 5A2. It's stored away.
一方、実施例１の撮像装置１００は、過去画像データＩｏｌｄに、その時算出した重みが付随した状態で保持され、これを再利用する。これにより、残像が発生しているような信頼度の低い領域で過去画像データＩｏｌｄを参照するための重みＷ（ｔ－１），Ｗ（ｔ）が小さくなりやすくなるため、結果的に残像発生を抑制することができる。
On the other hand, the
たとえば、図４中の太矢印４Ｂ１で示した被写体像ＯＢ（ｔ－２）の輪郭の重みｗ（ｔ－１）が太矢印４ｂ１のように大きく出ている一方（０．７５）、調整を掛けた太矢印４ｂ２では重みｗ（ｔ）が小さくなっており（０．３７５＝０．５×０．７５）、結果として太矢印５Ｂ２のように失敗した輪郭の残像Ａ（ｔ－２）の残り具合が低減できている。 For example, while the contour weight w(t-1) of the object image OB(t-2) indicated by the thick arrow 4B1 in FIG. In the multiplied thick arrow 4b2, the weight w(t) is small (0.375=0.5×0.75), and as a result, the afterimage A(t-2) of the failed contour as shown in the thick arrow 5B2. The remaining condition has been reduced.
このように、図５の場合、ノイズ除去精度が図４に比べて低いため、図４と同等のノイズ除去精度を出すためには、過去の画像データの枚数を図４の場合よりも第１メモリ２０５に多く保持しておく必要があり、メモリ使用量が増加する。これに対し、図４では、直近の過去画像データを第１メモリ２０５に保持しておけばよいため、ノイズ除去精度の向上と省メモリ化とを両立することができる。
In this way, in the case of FIG. 5, the noise removal accuracy is lower than that in FIG. 4, so in order to achieve the same noise removal accuracy as in FIG. It is necessary to hold a large amount in the
実施例２は、画像データに含まれる空間情報を利用することで残像の発生を抑制する例である。なお、実施例２では、実施例１との相違点を中心に説明し、実施例１と共通部分については同一符号を用いて説明を省略する。
＜撮像装置１００の機能的構成例＞
図６は、実施例２にかかる撮像装置１００の機能的構成例を示すブロック図である。実施例２の算出部６０２は、空間情報抽出部６２１と、重み計算部６２２と、を有する。空間情報抽出部６２１は、抽出対象となる画像データから空間情報を抽出する。抽出対象となる画像データは、過去画像データＩｏｌｄまたは現在画像データＩｔの少なくとも一方である。両方の画像データＩｏｌｄ，Ｉｔを用いる場合、空間情報抽出部６２１は、各々の画像データＩについて空間情報を抽出し、２つの空間情報の平均を算出したり、最大値を選択したり、αブレンドを算出してもよい。
<Functional configuration example of
FIG. 6 is a block diagram showing an example of the functional configuration of the
空間情報とは、抽出対象となる画像データに含まれる空間構造の特徴を示す情報であり、具体的には、たとえば、空間周波数成分がある。空間周波数成分の場合、たとえば、空間情報抽出部６２１は、下記式（８）～（１３）のように、２種類のサイズのローパスフィルタを用いて低周波成分Ｓｌｏｗと高周波成分Ｓｈｉｇｈを抽出することができる。
Spatial information is information indicating characteristics of a spatial structure included in image data to be extracted, and specifically includes, for example, a spatial frequency component. In the case of spatial frequency components, for example, the spatial
式（８），（９）のＩは、抽出対象となる画像データである。また、式（１１）の関数ａｂｓ（・）は、領域（ｘ，ｙ）ごとの絶対値を算出する関数である。式（１３）は、式（８），（９）に代入される。式（８）に代入される場合、式（１３）は、Ｈσ１（ｘ，ｙ）となり、σはσ１となる。同様に、式（９）に代入される場合、式（１３）は、Ｈσ２（ｘ，ｙ）となり、σはσ２となる。 I in equations (8) and (9) is image data to be extracted. Furthermore, the function abs(·) in equation (11) is a function that calculates the absolute value for each region (x, y). Equation (13) is substituted into equations (8) and (9). When substituted into equation (8), equation (13) becomes Hσ1(x,y), and σ becomes σ1. Similarly, when substituted into equation (9), equation (13) becomes Hσ2(x,y) and σ becomes σ2.
なお、抽出対象となる画像データＩについては、空間情報を抽出しやすくするために事前に画像データＩに変換を掛けてもよい。さらに、空間情報抽出部６２１は、低周波成分Ｓｌｏｗと高周波成分Ｓｈｉｇｈの２成分だけでなく複数の帯域の周波数成分を算出してもよい。
Note that the image data I to be extracted may be converted in advance to make it easier to extract spatial information. Furthermore, the spatial
重み計算部６２２は、現在画像データと、過去画像データと、空間情報抽出部６２１によって抽出された空間情報と、に基づいて、過去画像データの重みＷを計算する。残像が目立ちやすい領域は明るい領域であったり、エッジ付近（過去画像データにおける被写体像の輪郭）のようにであったりすることが多い。このため、そのような領域の重みを小さくするのがよい。
The
そこで、まず明るい領域を判断するため、重み計算部６２２は、低周波成分Ｓｌｏｗを用いて下記式（１４），（１５）のような処理を実行する。
Therefore, in order to first determine a bright area, the
式（１４）のＳｌｏｗ，Ｉｔ，Ｓｌｏｗ，Ｉｏｌｄは、それぞれ現在画像データＩｔと過去画像データＩｏｌｄの低周波成分Ｓｌｏｗを意味する。式（１４）のｍａｘ（・）は、領域（ｘ，ｙ）ごとに最大値を算出する関数である。式（１５）のＳ´ｌｏｗは、現在画像データＩｔと過去画像データＩｏｌｄの低周波成分Ｓｌｏｗの最大値となるが、平均値でもよい。 Slow, It, Slow, and Iold in Equation (14) mean the low frequency component Slow of the current image data It and past image data Iold, respectively. max(·) in equation (14) is a function that calculates the maximum value for each region (x, y). S′low in equation (15) is the maximum value of the low frequency component Slow of the current image data It and past image data Iold, but may be an average value.
また、σ（・）は領域（ｘ，ｙ）ごとに値を算出するシグモイド関数で、入力値が大きいほど１に近づく。Ｔｌｏｗはしきい値を表すパラメータである。これにより、式（１５）の低周波成分Ｓｌｏｗによる調整値Ｋｌｏｗは、低周波成分Ｓｌｏｗが大きいほど、すなわち、明るい領域ほど小さい値になる。 Further, σ(·) is a sigmoid function that calculates a value for each region (x, y), and the larger the input value, the closer it approaches 1. Tlow is a parameter representing a threshold value. As a result, the adjustment value Klow based on the low frequency component Slow in equation (15) becomes a smaller value as the low frequency component Slow becomes larger, that is, the brighter the area.
次にエッジ付近を判断するため、重み計算部６２２は、高周波成分Ｓｈｉｇｈを用いて下記式（１６），（１７）のような処理を実行する。
Next, in order to determine the vicinity of the edge, the
式（１６）のＳｈｉｇｈ，Ｉｔ，Ｓｈｉｇｈ，Ｉｏｌｄは、それぞれ現在画像データＩｔと過去画像データＩｏｌｄの高周波成分Ｓｈｉｇｈを意味する。式（１６）のｍａｘ（・）は、領域（ｘ，ｙ）ごとに最大値を算出する関数である。式（１７）のＳ´ｈｉｇｈは、現在画像データＩｔと過去画像データＩｏｌｄの高周波成分Ｓｈｉｇｈの最大値となるが、平均値でもよい。 High, It, High, and Iold in Equation (16) mean the high frequency component High of the current image data It and past image data Iold, respectively. max(·) in equation (16) is a function that calculates the maximum value for each region (x, y). S'high in equation (17) is the maximum value of the high frequency components High of the current image data It and past image data Iold, but may be an average value.
また、σ（・）は領域（ｘ，ｙ）ごとに値を算出するシグモイド関数で、入力値が大きいほど１に近づく。Ｔｈｉｇｈはしきい値を表すパラメータである。これにより、式（１７）の高周波成分Ｓｈｉｇｈによる調整値Ｋｈｉｇｈは、高周波成分Ｓｈｉｇｈが大きいほど、すなわち、エッジ付近であるほど小さい値になる。 Further, σ(·) is a sigmoid function that calculates a value for each region (x, y), and the larger the input value, the closer it approaches 1. Thigh is a parameter representing a threshold value. As a result, the adjustment value Khigh based on the high frequency component High in equation (17) becomes a smaller value as the high frequency component High becomes larger, that is, closer to the edge.
求められた低周波成分Ｓｌｏｗによる調整値Ｋｌｏｗと高周波成分Ｓｈｉｇｈによる調整値Ｋｈｉｇｈとを用いて，最終的に更新された重みＷｎｅｗは、下記式（１８）で求められる。除去部２０３は、更新済みの重みＷｎｅｗを用いて、実施例１と同様な処理で現在画像データＩｔからノイズを除去し、ノイズ除去画像データとして出力する。また、画像保存部２０４は、ノイズ除去画像データを過去画像データＩｏｌｄとして第１メモリ２０５に保存する。
Using the obtained adjustment value Klow based on the low frequency component Slow and the adjustment value Khigh based on the high frequency component Shigh, the finally updated weight Wnew is obtained by the following equation (18). The
式（１８）において、右辺のＷは、過去画像データＩｏｌｄを参照するための重みである。式（１８）で重みＷを重みＷｎｅｗに更新することにより、残像が目立ちやすい領域である明るい領域やエッジ付近の重みが小さくなるため、残像発生を抑制することができる。ここでは現在画像データＩｔと過去画像データＩｏｌｄの低周波成分Ｓｌｏｗおよび高周波成分Ｓｈｉｇｈを用いたが、低周波成分Ｓｌｏｗおよび高周波成分Ｓｈｉｇｈのいずれか一方だけを用いてもよい。 In equation (18), W on the right side is a weight for referring to past image data Iold. By updating the weight W to the weight Wnew in equation (18), the weight in bright areas and near edges, where afterimages are likely to be noticeable, becomes smaller, so it is possible to suppress the occurrence of afterimages. Although the low frequency component Slow and the high frequency component High of the current image data It and the past image data Iold are used here, only one of the low frequency component Slow and the high frequency component High may be used.
＜再帰的ノイズ除去処理＞
図７は、実施例２にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例２では、図３と比較した場合、ステップＳ３０３～Ｓ３０６が存在せず、ステップＳ３０２のあと、撮像装置１００は、空間情報抽出部６２１により、空間情報抽出処理を実行する（ステップＳ７０１）。つぎに、撮像装置１００は、重み計算部６２２により、調整重みＷｎｅｗを計算する（ステップＳ７０２）。このあと、撮像装置１００は、除去部２０３により、調整重みＷｎｅｗを用いて、現在画像データＩｔからノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩｏｕｔを表示デバイス１１０に出力する（ステップＳ３０８）。
<Recursive noise removal process>
FIG. 7 is a flowchart illustrating an example of a recursive noise removal procedure by the
撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩｏｕｔを過去画像データＩｏｌｄとして第１メモリ２０５に保存する（ステップＳ３０９）。このような処理を撮像が終了するまで、再帰的に実行することで、残像が目立ちやすい領域での重みが低く調整され、結果的に残像発生を抑制することができる。
The
実施例３は、実施例１において、実施例２の空間情報抽出部６２１を適用した例である。実施例３では、実施例１，２との相違点を中心に説明し、実施例１，２と共通部分については同一符号を用いて説明を省略する。
＜撮像装置１００の機能的構成例＞
図８は、実施例３にかかる撮像装置１００の機能的構成例を示すブロック図である。実施例３の場合、算出部８０２は、空間情報抽出部６２１と、重み計算部６２２と、重み調整部２２２と、重み保存部２２３と、第２メモリ２２４と、を有する。重み調整部２２２は、第２メモリ２２４に保存されている最新の重みＷｏｌｄに基づいて、重み計算部６２２で更新された重みＷｎｅｗを調整する。
<Functional configuration example of
FIG. 8 is a block diagram showing an example of the functional configuration of the
調整された更新済みの重みＷｎｅｗを調整済み重みＷ´とする。重み保存部２２３は、重み調整部２２２による調整前の重みＷｎｅｗを過去重みＷｏｌｄとして第２メモリ２２４に保存する。具体的には、たとえば、重み調整部２２２は、重み調整部２２２で用いる式（３）～（７）のＷをＷｎｅｗに置き換えて重みＷｎｅｗを調整することになる。
Let the adjusted updated weight Wnew be an adjusted weight W'. The
＜再帰的ノイズ除去処理＞
図９は、実施例３にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例３では、図３と比較した場合、ステップＳ３０３が存在せず、ステップＳ３０２のあと、撮像装置１００は、空間情報抽出部６２１により、空間情報抽出処理を実行する（ステップＳ７０１）。つぎに、撮像装置１００は、重み計算部６２２により、重みＷｎｅｗを計算する（ステップＳ７０２）。
<Recursive noise removal process>
FIG. 9 is a flowchart illustrating an example of a recursive noise removal procedure by the
撮像装置１００は、過去重みＷｏｌｄを第２メモリ２２４から読み出し（ステップＳ３０４）、重み調整部２２２により、過去重みＷｏｌｄで重みＷｎｅｗを調整し、調整済み重みＷ´を除去部２０３に出力するとともに、調整前の重みＷｎｅｗを重み保存部２２３に出力する（ステップＳ３０５）。そして、重み保存部２２３は、調整前の重みＷｎｅｗを第２メモリ２２４に保存して、過去重みＷｏｌｄを更新する（ステップＳ３０６）。
The
このあと、撮像装置１００は、除去部２０３により、調整済み重みＷ´を用いて、現在画像データＩｔからノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩｏｕｔを表示デバイス１１０に出力する（ステップＳ３０８）。撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩｏｕｔを過去画像データＩｏｌｄとして第１メモリ２０５に保存する（ステップＳ３０９）。このような処理を撮像が終了するまで、再帰的に実行することで、残像が目立ちやすい領域での重みが低く調整され、結果的に残像発生を抑制することができる。
After that, the
このように、空間情報を抽出して、空間情報を用いて重みを計算してから重みを調整することにより、重み調整前後において残像を抑制することができ、残像発生抑制の効率化を図ることができる。 In this way, by extracting spatial information, calculating weights using the spatial information, and then adjusting the weights, it is possible to suppress afterimages before and after adjusting the weights, and to improve the efficiency of suppressing the occurrence of afterimages. I can do it.
実施例４は、除去部２０３において重みを用いた現在画像データからのノイズ除去に先立って、現在画像データに対し、残像低減処理を実行する例である。除去部２０３は、残像低減処理後の現在画像データから重みを用いてノイズ除去を実行することになる。実施例４の撮像装置１００は、ノイズ除去前に現在画像データの残像を低減させることで、残像発生の抑制を図る。実施例４では、実施例１～３との相違点を中心に説明し、実施例１～３と共通部分については同一符号を用いて説明を省略する。
The fourth embodiment is an example in which the
＜機能的構成例＞
図１０は、実施例４にかかる撮像装置１００の機能的構成例を示すブロック図である。実施例４の場合、除去部２０３は、算出部２０２から重みを取得する。算出部２０２からの重みは、実施例１，３の場合は調整済みの重みＷ´であり、実施例２の場合は、更新済みの重みＷｎｅｗである。また、算出部２０２が図５に示した構成である場合、算出部２０２からの重みは、重み計算部２２１により、過去画像データＩｏｌｄと現在画像データＩとを上記式（２）に与えて計算された重みＷである。実施例４では、特に区別しない限り、これらの重みを総称して、単に、重みＷと表記する。
<Functional configuration example>
FIG. 10 is a block diagram showing an example of the functional configuration of the
除去部２０３は、残像低減処理部１００１と、ノイズ除去処理部１００２と、を有する。残像低減処理部１００１は、現在画像データの残像を低減する処理を実行する。具体的には、たとえば、残像低減処理部１００１は、現在画像データにローパスフィルタを施すことにより、残像となる動く被写体像の輪郭をぼかす。これにより、動く被写体像の輪郭を目立ちにくくする。また、残像低減処理部１００１は、時間方向に連続する２枚の画像データＩ（ｔ－１），Ｉ（ｔ）について、動く被写体像の間を補間することにより、残像となる動く被写体像の輪郭をぼかす（補間処理）。
The
ノイズ除去処理部１００２は、残像低減処理部１００１によって残像低減処理が施された画像データについて、算出部２０２からの重みＷに基づいて、ノイズ除去対象の画像データのノイズを除去し、ノイズ除去画像データを出力する。具体的には、たとえば、除去部２０３は、算出部２０２からの重みＷを上記式（７）のＷ´に代入することにより、重み付け平均でノイズ除去対象の画像データのノイズを除去する。ノイズ除去対象の画像データとは、ローパスフィルタが施された画像データ、または、補間処理により生成された画像データである。
The noise
＜補間処理例＞
図１１は、実施例４にかかる残像低減処理部１００１による補間処理例を示す説明図である。図１１において、矩形は、時間方向に連続する画像データ群、すなわち、動画像データである。（Ａ）は、取得部２０１から残像低減処理部１００１に入力された残像低減処理が施されていない未加工状態の画像データＩａ（ｔ－３），Ｉａ（ｔ－２），Ｉａ（ｔ－１），Ｉａ（ｔ）を示す。画像データＩａ（ｔ－３），Ｉａ（ｔ－２），Ｉａ（ｔ－１），Ｉａ（ｔ）において、被写体像ＯＢａ（ｔ－３），ＯＢａ（ｔ－２），ＯＢａ（ｔ－１），ＯＢａ（ｔ）が左から右に移動しているものとする。
<Interpolation processing example>
FIG. 11 is an explanatory diagram showing an example of interpolation processing by the afterimage
（Ｂ）は、画像データの合成を示す。残像低減処理部１００１は、時間方向に連続する２枚の画像データを合成して、動きベクトルを検出する。具体的には、たとえば、残像低減処理部１００１は、画像データＩａ（ｔ－３），Ｉａ（ｔ－２）を合成して合成画像データＩｂ（ｔ－２）を生成し、被写体像ＯＢａ（ｔ－３），ＯＢａ（ｔ－２）間の動きベクトルｍｖ（ｔ－２）を検出する。
(B) shows the composition of image data. The afterimage
同様に、残像低減処理部１００１は、画像データＩａ（ｔ－２），Ｉａ（ｔ－１）を合成して合成画像データＩｂ（ｔ－１）を生成し、被写体像ＯＢａ（ｔ－２），ＯＢａ（ｔ－１）間の動きベクトルｍｖ（ｔ－１）を検出する。残像低減処理部１００１は、画像データＩａ（ｔ－１），Ｉａ（ｔ）を合成して合成画像データＩｂ（ｔ）を生成し、被写体像ＯＢａ（ｔ－１），ＯＢａ（ｔ）間の動きベクトルｍｖ（ｔ）を検出する。
Similarly, the afterimage
（Ｃ）は、合成画像データＩｂ（ｔ－２），Ｉｂ（ｔ－１），Ｉｂ（ｔ）の補間を示す。具体的には、たとえば、残像低減処理部１００１は、合成画像データＩｂ（ｔ－２）において、時間的に古い方の被写体像ＯＢａ（ｔ－３）の輪郭のうち、動きベクトルｍｖ（ｔ－２）の終端側の輪郭（左側半分の円弧）を移動方向に複製することで、被写体像ＯＢａ（ｔ－３），ＯＢａ（ｔ－２）の間を補間する。これにより、残像低減処理部１００１は、補間された被写体像ＯＢｃ（ｔ－２）を含む補間合成画像データＩｃ（ｔ－２）を生成する。
(C) shows interpolation of composite image data Ib(t-2), Ib(t-1), and Ib(t). Specifically, for example, the afterimage
同様に、残像低減処理部１００１は、合成画像データＩｂ（ｔ－１）において、時間的に古い方の被写体像ＯＢａ（ｔ－２）の輪郭のうち、動きベクトルｍｖ（ｔ－１）の終端側の輪郭（左側半分の円弧）を移動方向に複製することで、被写体像ＯＢａ（ｔ－２），ＯＢａ（ｔ－１）の間を補間する。これにより、残像低減処理部１００１は、補間された被写体像ＯＢｃ（ｔ－１）を含む補間合成画像データＩｃ（ｔ－１）を生成する。
Similarly, the afterimage
また、残像低減処理部１００１は、合成画像データＩｂ（ｔ）において、時間的に古い方の被写体像ＯＢａ（ｔ－１）の輪郭のうち、動きベクトルｍｖ（ｔ）の終端側の輪郭（左側半分の円弧）を移動方向に複製することで、被写体像ＯＢａ（ｔ－１），ＯＢａ（ｔ）の間を補間する。これにより、残像低減処理部１００１は、補間された被写体像ＯＢｃ（ｔ）を含む補間合成画像データＩｃ（ｔ）を生成する。なお、図１１では、輪郭の複製対象をとなる輪郭を時間的に古い方の被写体像の輪郭としたが、時間的に新しい方の被写体像の輪郭としてもよい。
In addition, the afterimage
このように、撮像装置１００は、補間処理により、各画像データに離散的に出現する残像を、シャッタースピードを遅くしたかのような被写体像の移動軌跡に変換して連続的に表示する。これにより、あたかも残像が存在しないかのようにユーザに見せることで、残像を低減することができる。
In this way, the
＜再帰的ノイズ除去処理＞
図１２は、実施例４にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例４では、ステップＳ３０２のあと、撮像装置１００は、実施例１～３、および図５におけるいずれかにより重みを計算する（ステップＳ１２０３）。つぎに、撮像装置１００は、残像低減処理部１００１により、ローパスフィルタまたは補間処理による残像低減処理を実行する（ステップＳ１２０４）。そして、撮像装置１００は、ノイズ除去処理部１００２により、ステップＳ１２０３で計算された重みＷを用いて、残像低減処理後の画像データからノイズを除去する（ステップＳ３０７）。
<Recursive noise removal process>
FIG. 12 is a flowchart illustrating an example of a recursive noise removal procedure by the
このあと、撮像装置１００は、ノイズ除去画像データＩｏｕｔを表示デバイス１１０に出力し（ステップＳ３０８）、画像保存部２０４により、ノイズ除去画像データＩｏｕｔを過去画像データＩｏｌｄとして第１メモリ２０５に保存する（ステップＳ３０９）。このような処理を撮像が終了するまで、再帰的に実行することで、残像を連続的に目立たなくし、結果的に残像発生を抑制することができる。
After that, the
実施例４では、除去部２０３において重みを用いた現在画像データからのノイズ除去に先立って、現在画像データに対し残像低減処理を実行する例について説明したが、これとは逆に、実施例５は、除去部２０３において重みを用いた現在画像データからのノイズ除去後に、ノイズ除去画像データに対し、残像低減処理を実行する例である。実施例５の撮像装置１００は、ノイズ除去後に現在画像データの残像を低減させることで、残像発生の抑制を図る。実施例５では、実施例４との相違点を中心に説明し、実施例１～４と共通部分については同一符号を用いて説明を省略する。
In the fourth embodiment, an example was described in which the
＜機能的構成例＞
図１３は、実施例５にかかる撮像装置１００の機能的構成例を示すブロック図である。除去部２０３は、算出部２０２から重みを取得する。算出部２０２からの重みは、実施例１，３の場合は調整済みの重みＷ´であり、実施例２の場合は、更新済みの重みＷｎｅｗである。また、算出部２０２が図５に示した構成である場合、算出部２０２からの重みは、重み計算部２２１により、過去画像データＩｏｌｄと現在画像データＩとを上記式（２）に与えて計算された重みＷである。実施例５では、特に区別しない限り、これらの重みを総称して、単に、重みＷと表記する。
<Functional configuration example>
FIG. 13 is a block diagram showing an example of the functional configuration of the
除去部２０３は、ノイズ除去処理部１００２と、残像低減処理部１００１と、を有する。ノイズ除去処理部１００２は、取得部２０１からの画像データについて、算出部２０２からの重みＷに基づいて、ノイズ除去対象の画像データのノイズを除去し、ノイズ除去画像データを出力する。具体的には、たとえば、除去部２０３は、算出部２０２からの重みＷを上記式（７）のＷ´に代入することにより、重み付け平均で画像データのノイズを除去する。
The
残像低減処理部１００１は、ノイズ除去画像データの残像を低減する処理を実行する。具体的には、たとえば、残像低減処理部１００１は、ノイズ除去画像データにローパスフィルタを施すことにより、残像となる動く被写体像の輪郭をぼかす。これにより、動く被写体像の輪郭を目立ちにくくする。また、残像低減処理部１００１は、図１１に示したように、時間方向に連続する２枚のノイズ除去画像データＩ（ｔ－１），Ｉ（ｔ）について、動く被写体像の間を補間することにより、残像となる動く被写体像の輪郭をぼかす（補間処理）。
The afterimage
＜再帰的ノイズ除去処理＞
図１４は、実施例５にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例５では、ステップＳ３０２のあと、撮像装置１００は、実施例１～３、および図５におけるいずれかにより重みを計算する（ステップＳ１２０３）。つぎに、撮像装置１００は、ノイズ除去処理部１００２により、ステップＳ１２０３で計算された重みＷを用いて、ノイズ除去画像データからノイズを除去する（ステップＳ３０７）。そして、撮像装置１００は、残像低減処理部１００１により、ローパスフィルタまたは補間処理による残像低減処理を実行する（ステップＳ１２０４）。
<Recursive noise removal process>
FIG. 14 is a flowchart illustrating an example of a recursive noise removal procedure by the
このあと、撮像装置１００は、ノイズ除去画像データＩｏｕｔを表示デバイス１１０に出力し（ステップＳ３０８）、画像保存部２０４により、ノイズ除去画像データＩｏｕｔを過去画像データＩｏｌｄとして第１メモリ２０５に保存する（ステップＳ３０９）。このような処理を撮像が終了するまで、再帰的に実行することで、残像を連続的に目立たなくし、結果的に残像発生を抑制することができる。また、残像低減処理に先立ってノイズ除去を実行することで、ノイズのぼかしや補間を抑制することができる。
After that, the
実施例６は、画像データから残像が発生する領域（残像発生領域）を検出して、検出した残像発生領域（検出領域）から残像を除去する例である。これにより、残像を低減する範囲を、残像発生領域に絞り込むことができ、残像低減処理を効率的に実行することができる。実施例６では、実施例５との相違点を中心に説明し、実施例１～５と共通部分については同一符号を用いて説明を省略する。
Embodiment 6 is an example in which a region where an afterimage occurs (an afterimage occurrence region) is detected from image data, and the afterimage is removed from the detected afterimage occurrence region (detection region). Thereby, the range for reducing afterimages can be narrowed down to the afterimage generation area, and afterimage reduction processing can be efficiently executed. Embodiment 6 will be mainly described with respect to the differences from Embodiment 5, and the same reference numerals will be used for parts common to
図１５は、実施例６にかかる残像低減処理例を示す説明図である。図１５において、矩形は画像データを示す。矩形内の網掛けの範囲はノイズＮを示す。ノイズは画像データ全体に一様に存在する場合もあるが、ここでは、説明を単純化するため、特定の位置にノイズＮが存在するものとする。（Ａ）は、被写体像が移動しない場合の例を示し、（Ｂ）は、被写体像が移動する場合の例を示す。 FIG. 15 is an explanatory diagram showing an example of afterimage reduction processing according to the sixth embodiment. In FIG. 15, rectangles indicate image data. The shaded range within the rectangle indicates noise N. Although noise may exist uniformly in the entire image data, here, in order to simplify the explanation, it is assumed that noise N exists at a specific position. (A) shows an example where the subject image does not move, and (B) shows an example where the subject image moves.
（Ａ）において、画像データＩａ（ｔ－１），Ｉａ（ｔ）は、時間方向に連続する画像データ列である。画像データＩａ（ｔ－１），Ｉａ（ｔ）は、ともに同じ位置にノイズＮおよび被写体像ＯＢ（ｔ－１），ＯＢ（ｔ）を有する。ノイズ除去画像データＮＲＩａ（ｔ－１）は、時刻ｔ－２のノイズ除去画像データ（過去画像データＩｏｌｄ）に基づいて画像データＩａ（ｔ－１）からノイズＮが除去された画像データである。ノイズ除去画像データＮＲＩａ（ｔ）は、時刻ｔ－１のノイズ除去画像データＮＲＩａ（ｔ－１）（過去画像データＩｏｌｄ）に基づいて画像データＩａ（ｔ）からノイズＮが除去された画像データである。 In (A), image data Ia(t-1) and Ia(t) are image data sequences that are continuous in the time direction. Image data Ia(t-1) and Ia(t) both have noise N and object images OB(t-1) and OB(t) at the same position. The noise-removed image data NRIa(t-1) is image data from which noise N has been removed from the image data Ia(t-1) based on the noise-removed image data at time t-2 (past image data Iold). The noise-removed image data NRIa(t) is image data from which noise N has been removed from the image data Ia(t) based on the noise-removed image data NRIa(t-1) at time t-1 (past image data Iold). be.
撮像装置１００は、現在画像データである時刻ｔの画像データＩａ（ｔ）と、時刻ｔ－１のノイズ除去画像データＮＲＩａ（ｔ－１）（過去画像データＩｏｌｄ）と、の加重平均により、画像データＩａ（ｔ）からノイズＮが除去されたノイズ除去画像データＮＲＩａ（ｔ）を生成する。また、差分画像データＤＩａ（ｔ）は、画像データＩａ（ｔ）とノイズ除去画像データＮＲＩａ（ｔ）との差分をとった画像データである。この場合、被写体像ＯＢ（ｔ）とその背景は相殺され、差分としてノイズＮが残存することになる。
The
（Ｂ）において、画像データＩｂ（ｔ－１），Ｉｂ（ｔ）は、時間方向に連続する画像データ列である。画像データＩｂ（ｔ－１），Ｉｂ（ｔ）は、同じ位置にノイズＮを有するが、被写体像ＯＢ（ｔ－１），ＯＢ（ｔ）の位置は異なる。すなわち、被写体が左から右に移動していることを示す。 In (B), image data Ib(t-1) and Ib(t) are image data sequences that are continuous in the time direction. The image data Ib(t-1) and Ib(t) have noise N at the same position, but the positions of the subject images OB(t-1) and OB(t) are different. That is, it shows that the subject is moving from left to right.
ノイズ除去画像データＮＲＩｂ（ｔ－１）は、時刻ｔ－２のノイズ除去画像データ（過去画像データＩｏｌｄ）に基づいて画像データＩｂ（ｔ－１）からノイズＮが除去された画像データである。ノイズ除去画像データＮＲＩｂ（ｔ－１）には、時刻ｔ－２の画像データに存在していた被写体像の残像Ａ（ｔ－２）が存在するものとする。 The noise-removed image data NRIb(t-1) is image data from which noise N has been removed from the image data Ib(t-1) based on the noise-removed image data at time t-2 (past image data Iold). It is assumed that the noise-removed image data NRIb(t-1) includes an afterimage A(t-2) of the subject image that existed in the image data at time t-2.
ノイズ除去画像データＮＲＩｂ（ｔ）は、時刻ｔ－１のノイズ除去画像データＮＲＩｂ１（ｔ－１）（過去画像データＩｏｌｄ）に基づいて画像データＩｂ（ｔ）からノイズＮが除去された画像データである。ただし、ノイズ除去画像データＮＲＩｂ１（ｔ）には、ノイズ除去画像データＮＲＩｂ（ｔ－１）における被写体像ＯＢ（ｔ－１）の位置に、残像Ａ（ｔ－１）が存在する。 The noise-removed image data NRIb(t) is image data from which noise N has been removed from the image data Ib(t) based on the noise-removed image data NRIb1(t-1) (past image data Iold) at time t-1. be. However, the noise-removed image data NRIb1(t) includes an afterimage A(t-1) at the position of the object image OB(t-1) in the noise-removed image data NRIb(t-1).
撮像装置１００は、現在画像データである時刻ｔの画像データＩｂ（ｔ）と、時刻ｔ－１のノイズ除去画像データＮＲＩｂ（ｔ－１）（過去画像データＩｏｌｄ）と、の加重平均により、画像データＩｂ（ｔ）からノイズＮが除去されたノイズ除去画像データＮＲＩｂ１（ｔ）を生成する。また、差分画像データＤＩｂ（ｔ）は、画像データＩｂ（ｔ）とノイズ除去画像データＮＲＩｂ１（ｔ）との差分をとった画像データである。この場合、被写体像ＯＢ（ｔ）とその背景は相殺され、差分としてノイズＮおよび残像Ａ（ｔ－１）が残存することになる。
The
撮像装置１００は、差分画像データＤＩｂ（ｔ）を参照して、残像Ａ（ｔ－１）の領域を残像発生領域１５００として特定する。つぎに、撮像装置１００は、残像発生領域の画像データ（この場合は、輪郭の残像Ａ（ｔ－１））と同じ位置の画像データ１５０１を、時刻ｔの画像データＩｂ（ｔ）から抽出する。そして、撮像装置１００は、ノイズ除去画像データＮＲＩｂ１（ｔ）における残像Ａ（ｔ－１）を、当該抽出した画像データ１５０１に置換する。これにより、撮像装置１００は、ノイズ除去画像データＮＲＩｂ１（ｔ）から残像Ａ（ｔ－１）を除去したノイズ除去画像データＮＲＩｂ２（ｔ）を生成することができる。
The
なお、撮像装置１００は、残像発生領域１５００の画像データ（この場合は、輪郭の残像Ａ（ｔ－１））と同じ位置の画像データ１５０１を、時刻ｔの画像データＩｂ（ｔ）から抽出することとしたが、抽出する範囲は、残像発生領域１５００と同じ位置に限らず、残像発生領域１５００とその近傍を含む領域でもよい。また、ここでは、残像は、被写体像の輪郭であることが多いため、残像発生領域１５００を被写体像の輪郭に対応する領域としたが、輪郭で囲まれる内部も残像発生領域１５００としてもよい。これにより、残像の除去漏れの低減を図ることができる。
Note that the
＜機能的構成例＞
図１６は、実施例６にかかる撮像装置１００の機能的構成例を示すブロック図である。残像低減部は、図１５に示したように、ノイズ除去処理部１００２からノイズ除去画像データを取得する。また、残像低減処理部１００１は、図１５に示したように、たとえば、取得部２０１から現在画像データＩｂ（ｔ）を取得する。また、残像低減処理部１００１は、第１メモリ２０５から過去画像データＩｏｌｄを取得する。過去画像データＩｏｌｄは、たとえば、１つ前の時刻ｔ－１のノイズ除去画像データＮＲＩｂ（ｔ－１）である。
<Functional configuration example>
FIG. 16 is a block diagram showing an example of the functional configuration of the
残像低減処理部１００１は、図１５に示したように、現在画像データＩｂ（ｔ）と過去画像データＩｏｌｄとの加重平均により、現在画像データＩｂ（ｔ）についてのノイズ除去画像データＮＲＩｂ（ｔ）を生成し、現在画像データＩｂ（ｔ）と生成したノイズ除去画像データＮＲＩｂ（ｔ）との差分画像データＤＩｂ（ｔ）を生成する。
As shown in FIG. 15, the afterimage
そして、残像低減処理部１００１は、差分画像データＤＩｂ（ｔ）から残像発生領域１５００を検出し、残像発生領域１５００と同一位置の画像データ１５０１を現在画像データＩｂ（ｔ）から特定する。そして、残像低減処理部１００１は、ノイズ除去画像データＮＲＩｂ１（ｔ）において、画像データ１５０１を合成することにより、残像Ａ（ｔ－１）を除去したノイズ除去画像データＮＲＩｂ２（ｔ）を生成する。
Then, the afterimage
残像低減処理部１００１は、生成したノイズ除去画像データＮＲＩｂ２（ｔ）を表示デバイス１１０に出力するとともに、画像保存部２０４に出力する。画像保存部２０４は、取得したノイズ除去画像データＮＲＩｂ２（ｔ）をあらたな過去画像データＩｏｌｄとして第１メモリ２０５に保存する。
The afterimage
なお、残像低減処理部１００１は、実施例５に示したローパスフィルタや補間処理を実施例６に適用してもよい。具体的には、たとえば、残像低減処理部１００１は、現在画像データＩｂ（ｔ）についてローパスフィルタまたは補間処理を適用し、当該適用後の現在画像データＩｂ（ｔ）と生成したノイズ除去画像データＮＲＩｂ（ｔ）との差分画像データＤＩｂ（ｔ）を生成してもよい。
Note that the afterimage
また、残像低減処理部１００１は、生成したノイズ除去画像データＮＲＩｂ２（ｔ）についてローパスフィルタや補間処理を適用し、当該適用後のノイズ除去画像データＮＲＩｂ２（ｔ）を表示デバイス１１０および画像保存部２０４に出力してもよい。
The afterimage
＜再帰的ノイズ除去処理＞
図１７は、実施例６にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例６では、ステップＳ３０２のあと、撮像装置１００は、実施例１～３、および図５におけるいずれかにより重みを計算する（ステップＳ１２０３）。つぎに、撮像装置１００は、ノイズ除去処理部１００２により、ステップＳ１２０３で計算された重みＷを用いて、ノイズ除去画像データからノイズを除去する（ステップＳ３０７）。そして、撮像装置１００は、残像低減処理部１００１により、ローパスフィルタまたは補間処理による残像低減処理を実行する（ステップＳ１７７１～Ｓ１７７３）。
<Recursive noise removal process>
FIG. 17 is a flowchart illustrating an example of a recursive noise removal procedure by the
具体的には、たとえば、残像低減処理部１００１は、現在画像データＩｂ（ｔ）とノイズ除去画像データＮＲＩｂ１（ｔ）との差分画像データＤＩｂ（ｔ）を生成し（ステップＳ１７７１）、差分画像データＤＩｂ（ｔ）から残像発生領域１５００を検出する（ステップＳ１７７２）。
Specifically, for example, the afterimage
そして、残像低減処理部１００１は、残像発生領域１５００と同じ位置の画像データ１５０１を現在画像データＩｂ（ｔ）から抽出して、ノイズ除去画像データＮＲＩｂ１（ｔ）に合成することで、ノイズ除去画像データＮＲＩｂ２（ｔ）を生成し、残像Ａ（ｔ－１）を除去する（ステップＳ１７７３）。このあと、残像低減処理部１００１は、ノイズ除去画像データＮＲＩｂ２（ｔ）を出力画像データＩｏｕｔとして表示デバイス１１０に出力し（ステップＳ３０８）、画像保存部２０４に出力する（ステップＳ３０９）。
Then, the afterimage
このような処理を撮像が終了するまで、再帰的に実行することで、残像を連続的に目立たなくし、結果的に残像発生を抑制することができる。このように、残像を低減する範囲を、残像発生領域に絞り込むことができ、残像低減処理を効率的に実行することができる。換言すれば、残像が発生していない領域については残像低減処理を実行しなくて済むため、残像を低減しなくてもよい領域の残像低減処理を回避することができ、元の画像を維持することができる。 By performing such processing recursively until the imaging is completed, it is possible to continuously make afterimages less noticeable and, as a result, to suppress the occurrence of afterimages. In this way, the range for reducing afterimages can be narrowed down to the afterimage occurrence area, and the afterimage reduction process can be efficiently executed. In other words, it is not necessary to perform afterimage reduction processing on areas where afterimages do not occur, so it is possible to avoid afterimage reduction processing on areas where afterimages do not need to be reduced, and the original image can be maintained. be able to.
実施例７は、残像が発生しづらい動画を撮像する条件を調整することにより、残像を目立ちにくくする例である。 Example 7 is an example in which afterimages are made less noticeable by adjusting the conditions for capturing a moving image in which afterimages are less likely to occur.
＜動画撮像例＞
図１８は、実施例７にかかる動画撮像例を示す説明図である。図１８は、ある被写体を動画撮像する例であり、矩形は、時間方向に連続する画像データ列、すなわち、動画像データである。また、フレームレートは、説明の便宜上、一例として３［ｆｐｓ］とする。また、時刻ｔ１～ｔ３のうち時刻ｔ１が最古の時刻であり、時刻ｔ３が最新の時刻である。（Ａ）は、撮像条件が実施例７で調整されていない動画撮像例であり、（Ｂ）は、撮像条件が実施例７で調整された動画撮像例である。したがって、（Ａ），（Ｂ）ともに１／３［ｆｐｓ］で画像データが１枚生成される。
<Video imaging example>
FIG. 18 is an explanatory diagram showing an example of moving image capturing according to the seventh embodiment. FIG. 18 is an example of capturing a moving image of a certain subject, and the rectangles are image data sequences that are continuous in the time direction, that is, moving image data. Further, for convenience of explanation, the frame rate is assumed to be 3 [fps] as an example. Further, among times t1 to t3, time t1 is the oldest time, and time t3 is the latest time. (A) is an example of video imaging in which the imaging conditions are not adjusted according to the seventh embodiment, and (B) is an example of video imaging in which the imaging conditions are adjusted in the seventh embodiment. Therefore, one piece of image data is generated at 1/3 [fps] in both (A) and (B).
なお、符号の末尾には、時刻ｔ１～ｔ３を区別するため、（ｔ１）～（ｔ３）が付してあるが、時刻ｔ１～ｔ３を区別しない場合は、単に、（ｔ）と表記する。時刻ｔ１～ｔ３を区別しないも、単に、時刻ｔと表記する。 Note that (t1) to (t3) are added to the end of the code to distinguish between times t1 to t3, but if the times t1 to t3 are not to be distinguished, they are simply written as (t). Although times t1 to t3 are not distinguished, they are simply expressed as time t.
（Ａ）において、ｅｔ（ｔ）は露光時間である。ｇｐ（ｔ）は連続する露光時間の間のギャップ時間である。露光時間とは、シャッター（たとえば、ローリングシャッター）の開放状態から閉塞状態になるまで撮像素子１０５がレンズ系からの被写体光にさらされる時間である。
In (A), et(t) is the exposure time. gp(t) is the gap time between successive exposure times. The exposure time is the time during which the
撮像装置１００は、被写体を時刻ｔ１～ｔ３に撮像して、画像データＩａ（ｔ１），Ｉａ（ｔ２），Ｉａ（ｔ３）を生成する。画像データＩａ（ｔ１），Ｉａ（ｔ２），Ｉａ（ｔ３）はそれぞれ、被写体像ＯＢａ（ｔ１），ＯＢａ（ｔ２），ＯＢａ（ｔ３）を含む。
The
被写体を撮像する場合、まず、撮像装置１００は、時刻ｔから始まる１／３［ｓ］の間で、時刻ｔから始まる露光時間ｅｔ（ｔ）で露光する。つぎに、撮像装置１００は、露光時間ｅｔ（ｔ）経過後のギャップ時間ｇｐ（ｔ）で、撮像素子１０５からアナログの電気信号を読み出して、ＡＦＥ１０６が信号処理を実行する。これにより、画像データＩａ（ｔ）が生成される。
When capturing an image of a subject, first, the
撮像装置１００は、時刻ｔごとに再帰的にノイズ除去を実行する。たとえば、時刻ｔ３では、撮像装置１００は、時刻ｔ３で得られる画像データＩａ（ｔ３）についてノイズ除去を実行する。具体的には、たとえば、撮像装置１００は、画像データＩａ（ｔ２）からノイズが除去されたノイズ除去画像データと、画像データＩａ（ｔ３）との重み付き平均をとることにより、画像データＩａ（ｔ３）からノイズが除去されたノイズ除去画像データＮＲＩａ（ｔ３）を生成する。
The
ノイズ除去画像データＮＲＩａ（ｔ３）において、残像Ａａ（ｔ２），Ａａ（ｔ１）は、再帰的なノイズ除去により画像データＩａ（ｔ２），Ｉａ（ｔ１）内の被写体像ＯＢａ（ｔ２），ＯＢａ（ｔ１）から引き継がれた画像データであり、古い時刻の被写体像ＯＢａ（ｔ２），ＯＢａ（ｔ１）ほど薄くなる。 In the noise-removed image data NRIa(t3), the afterimages Aa(t2) and Aa(t1) are converted into object images OBa(t2) and OBa( This is image data taken over from t1), and the older the object images OBa(t2) and OBa(t1), the thinner the object images become.
また、ノイズ除去画像データＮＲＩａ（ｔ３）では、被写体像ＯＢａ（ｔ３）および残像Ａａ（ｔ２），Ａａ（ｔ１）が被写体の移動方向に離散的に出現するため、被写体の動きが不自然な映像となる。すなわち、露光時間ｅｔ（ｔ）が短いと、露光していない時間であるギャップ時間ｇｐ（ｔ）が相対的に長くなり、前後の画像にずれが生じて不連続さが目立つ。 In addition, in the noise-removed image data NRIa (t3), the object image OBa (t3) and afterimages Aa (t2) and Aa (t1) appear discretely in the direction of movement of the object, resulting in an image in which the movement of the object is unnatural. becomes. That is, when the exposure time et(t) is short, the gap time gp(t), which is the non-exposed time, becomes relatively long, causing a shift between the previous and subsequent images and making discontinuity noticeable.
（Ｂ）において、ＥＴ（ｔ）は露光時間である。ＧＰ（ｔ）は連続する露光時間の間のギャップ時間である。露光時間ＥＴ（ｔ）は、本実施例７による撮像条件設定により、露光時間ｅｔ（ｔ）よりも長くなり、これにより、ギャップ時間ＧＰ（ｔ）は、ギャップ時間ｇｐ（ｔ）よりも短くなる。 In (B), ET(t) is the exposure time. GP(t) is the gap time between successive exposure times. The exposure time ET(t) becomes longer than the exposure time et(t) due to the imaging condition setting according to the seventh embodiment, and thus the gap time GP(t) becomes shorter than the gap time GP(t). .
撮像装置１００は、被写体を時刻ｔ１～ｔ３に撮像して、画像データＩｂ（ｔ１），Ｉｂ（ｔ２），Ｉｂ（ｔ３）を生成する。画像データＩｂ（ｔ１），Ｉｂ（ｔ２），Ｉｂ（ｔ３）はそれぞれ、被写体像ＯＢｂ（ｔ１），ＯＢｂ（ｔ２），ＯＢｂ（ｔ３）を含む。
The
被写体を撮像する場合、まず、撮像装置１００は、時刻ｔから始まる１／３［ｓ］の間で、時刻ｔから始まる露光時間ＥＴ（ｔ）で露光する。つぎに、撮像装置１００は、露光時間ＥＴ（ｔ）経過後のギャップ時間ＧＰ（ｔ）で、撮像素子１０５からアナログの電気信号を読み出して、ＡＦＥ１０６が信号処理を実行する。これにより、画像データＩｂ（ｔ）が生成される。
When capturing an image of a subject, first, the
露光時間ＥＴ（ｔ）は、（Ａ）の露光時間ｅｔ（ｔ）よりも長いため、被写体が動いている様子を撮像することができる。この場合、画像データＩｂ（ｔ）は、被写体が左から右に移動する様子として、被写体像ＯＢｂ（ｔ）と被写体像ＯＢｂ（ｔ）に追従する軌跡ＴＪ（ｔ）とを含む。軌跡ＴＪ（ｔ）は、露光時間ＥＴ（ｔ）の経過にともなって得られる被写体像ＯＢｂ（ｔ）の時系列な残像である。 Since the exposure time ET(t) is longer than the exposure time et(t) in (A), it is possible to capture an image of the subject moving. In this case, the image data Ib(t) includes an object image OBb(t) and a trajectory TJ(t) that follows the object image OBb(t) as the object moves from left to right. The trajectory TJ(t) is a time-series afterimage of the subject image OBb(t) obtained as the exposure time ET(t) passes.
撮像装置１００は、時刻ｔごとに再帰的にノイズ除去を実行する。たとえば、時刻ｔ３では、撮像装置１００は、時刻ｔ３で得られる画像データＩｂ（ｔ３）についてノイズ除去を実行する。具体的には、たとえば、撮像装置１００は、画像データＩｂ（ｔ２）からノイズが除去されたノイズ除去画像データと、画像データＩｂ（ｔ３）との重み付き平均をとることにより、画像データＩｂ（ｔ３）からノイズが除去されたノイズ除去画像データＮＲＩｂ（ｔ３）を生成する。
The
ノイズ除去画像データＮＲＩｂ（ｔ３）において、残像Ａｂ（ｔ２），Ａｂ（ｔ１）は、再帰的なノイズ除去により画像データＩｂ（ｔ２），Ｉｂ（ｔ１）内の被写体像ＯＢａ（ｔ２），ＯＢａ（ｔ１）の軌跡ＴＪ（ｔ２），ＴＪ（ｔ１）から引き継がれた画像データであり、古い時刻の被写体像ＯＢｂ（ｔ２），ＯＢｂ（ｔ１）ほど薄くなる。 In the noise-removed image data NRIb(t3), the afterimages Ab(t2) and Ab(t1) are converted into object images OBa(t2) and OBa( This is image data taken over from the trajectory TJ(t2) and TJ(t1) of t1), and the older the object images OBb(t2) and OBb(t1), the thinner the object images are.
ノイズ除去画像データＮＲＩｂ（ｔ３）では、被写体像ＯＢｂ（ｔ３）とその軌跡ＴＪ（ｔ３）および残像Ａｂ（ｔ２），Ａｂ（ｔ１）が被写体の移動方向に連続的に出現するため、被写体の動きが自然な映像となる。すなわち、露光時間ＥＴ（ｔ）が露光時間ｅｔ（ｔ）よりも短いと、露光していない時間であるギャップ時間ＧＰ（ｔ）が相対的に短くなり、前後の画像のずれが低減され不連続さが目立たなくなる。 In the noise-removed image data NRIb(t3), the subject image OBb(t3), its trajectory TJ(t3), and afterimages Ab(t2) and Ab(t1) appear continuously in the moving direction of the subject, so the subject's movement is becomes a natural image. In other words, when the exposure time ET(t) is shorter than the exposure time et(t), the gap time GP(t), which is the non-exposed time, becomes relatively short, and the shift between the previous and subsequent images is reduced, resulting in discontinuity. becomes less noticeable.
＜撮像装置１００の機能的構成例＞
図１９は、実施例７にかかる撮像装置１００の機能的構成例を示すブロック図である。撮像装置１００は、変換テーブル１９００と、入力部１９０１と、設定部１９０２と、調整部１９０３と、撮像部１２０と、画像処理部１９０５と、を有する。変換テーブル１９００は、具体的には、たとえば、図１に示した記憶デバイス１０２により実現される。また、入力部１９０１、設定部１９０２、調整部１９０３、および画像処理部１９０５は、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０７により実現される。
<Functional configuration example of
FIG. 19 is a block diagram showing an example of the functional configuration of the
変換テーブル１９００は、第１撮像条件を第２撮像条件に変換するテーブルである。第１撮像条件１９５２は、デフォルトの撮像条件であり、たとえば、フレームレート１９５１に応じた露光時間である。撮像装置１００において、たとえば、フレームレート１９５１が「ＦＲｉ」に設定されると、露光時間は、「ｅｔｉ」に設定される。図１８の例では、（Ａ）においてフレームレート１９５１が、３［ｆｐｓ］である場合、露光時間は、ｅｔ（ｔ）となる。
The conversion table 1900 is a table for converting the first imaging condition to the second imaging condition. The
第２撮像条件１９５３とは、残像を低減させるための撮像条件であり、第１撮像条件１９５２に対応する。たとえば、第２撮像条件１９５３であるＦＣｉは、フレームレート１９５１がＦＲｉの場合のデフォルトの露光時間ｅｔｉよりも長い露光時間ＥＴｉとする。また、露光時間がｅｔｉからＥＴｉに延長されたことによる露出オーバーを抑制するため、第２撮像条件１９５３であるＦＣｉは、ＩＳＯ感度の低下量（低下後のＩＳＯ感度でもよい）を含んでもよい。
The
入力部１９０１は、被写体を撮像する際のフレームレート１９５１の入力を操作デバイス１０８から受け付ける。なお、入力部１９０１は、撮影モードが操作デバイス１０８から選択されることで、当該撮影モードで規定されるフレームレート１９５１を受け付けてもよい。なお、撮影モードによっては同じフレームレート１９５１でも露光時間が異なる場合がある。
The
設定部１９０２は、入力部１９０１によって入力されたフレームレート１９５１および当該フレームレート１９５１に対応する露光時間に基づいて、残像を低減する第２撮像条件１９５３を設定する。具体的には、たとえば、設定部１９０２は、入力部１９０１からのフレームレート１９５１に対応する第２撮像条件１９５３を変換テーブル１９００から読み出す。入力部１９０１からフレームレート１９５１のみが与えられた場合には、第１撮像条件１９５２の露光時間はデフォルトの露光時間として、設定部１９０２は、対応する第２撮像条件１９５３を変換テーブル１９００から読み出す。
The
また、入力部１９０１からの撮影モードによりフレームレート１９５１および露光時間が指定されている場合には、設定部１９０２は、当該フレームレート１９５１および露光時間に対応する第２撮像条件１９５３を変換テーブル１９００から読み出す。また、第２撮像条件１９５３にＩＳＯ感度の低下量（または低下後のＩＳＯ感度）が含まれている場合、設定部１９０２は、当該ＩＳＯ感度の低下量（または低下後のＩＳＯ感度）も読みだす。
Further, when the
調整部１９０３は、入力部１９０１によって入力されたフレームレート１９５１に対応する露光時間から、当該露光時間よりも長い露光時間に調整する。具体的には、たとえば、図１８に示したように、調整部１９０３は、たとえば、フレームレート１９５１が３［ｆｐｓ］でその露光時間がｅｔ（ｔ）とすると、露光時間ｅｔ（ｔ）を変換テーブル１９００から得られた露光時間ＥＴ（ｔ）に変更する。
The
撮像部１２０は、フレームレート１９５１および調整部１９０３によって調整された露光時間に基づいて、被写体を撮像して、時間方向に連続する画像データ列を出力する。具体的には、たとえば、撮像部１２０は、図１８の（Ｂ）に示したような画像データＩｂ（ｔ）を生成する。
The
画像処理部１９０５は、撮像部１２０からの画像データＩｂ（ｔ）を、画像処理する。具体的には、たとえば、画像処理部１９０５は、実施例１～６に示した取得部２０１、算出部２０２、除去部２０３、画像保存部２０４、および第１メモリ２０５により構成される。したがって、実施例１で示した再帰的ノイズ処理により、図１８の（Ｂ）に示したようなノイズ除去画像データＮＲＩｂ（ｔ３）を生成する。
The
＜撮像処理手順例＞
図２０は、撮像装置１００による撮像処理手順例を示すフローチャートである。撮像装置１００は、入力部１９０１によりフレームレート１９５１の入力を受け付け（ステップＳ２００１）、設定部１９０２により第２撮像条件１９５３を設定する（ステップＳ２００２）。
<Example of imaging processing procedure>
FIG. 20 is a flowchart illustrating an example of an imaging processing procedure by the
撮像装置１００は、調整部１９０３により第２撮像条件１９５３で露光時間を調整し（ステップＳ２００３）、撮像部１２０により被写体を撮像して画像データ列を生成する（ステップＳ２００４）。撮像装置１００は、画像処理部１９０５により、実施例１～６に示した再帰的ノイズ除去処理（図３、図７、図９、図１２、図１４、図１７）を含む画像処理を実行する（ステップＳ２００５）。なお、画像処理（ステップＳ２００５）は、図５に示したような再帰的ノイズ除去処理を含んでもよい。
In the
なお、上述の例では、光量情報である露光時間を調整対象としたが、調整対象となる光量情報は露光時間に限らず、Ｆ値やＩＳＯ感度でもよい。Ｆ値を調整対象とした場合、第１撮像条件１９５２の露光時間がＦ値となり、第２撮像条件１９５３の露光時間が、第１撮像条件１９５２のＦ値よりも値が小さいＦ値となる。この場合も露出オーバーを低減するため、第２撮像条件１９５３に、デフォルトの露光時間よりも短くしたり、ＩＳＯ感度を低くしたりする値を含めればよい。
Note that in the above example, the exposure time, which is the light amount information, is the subject of adjustment, but the light amount information that is the subject of adjustment is not limited to the exposure time, but may be the F value or the ISO sensitivity. When the F value is the adjustment target, the exposure time of the
また、ＩＳＯ感度を調整対象とした場合、第１撮像条件１９５２の露光時間がＩＳＯ感度となり、第２撮像条件１９５３の露光時間が、第１撮像条件１９５２のＩＳＯ感度よりも高いＩＳＯ感度となる。この場合も露出オーバーを低減するため、第２撮像条件１９５３に、デフォルトの露光時間よりも短くしたり、Ｆ値を大きくしたりする値を含めればよい。
Further, when the ISO sensitivity is the adjustment target, the exposure time of the
このように、実施例７によれば、残像が目立ちにくい画像データ列を生成することができる。また、これらの画像データ列を画像処理部１９０５に適用することにより、実施例１～６のようなノイズ除去結果を再帰的に得ることができる。
In this way, according to the seventh embodiment, it is possible to generate an image data sequence in which afterimages are less noticeable. Further, by applying these image data strings to the
１００ 撮像装置、１０１ プロセッサ、１０２ 記憶デバイス、１０５ 撮像素子、１２０ 撮像部、２００ 画像処理装置、２０１ 取得部、２０２ 算出部、２０３ 除去部、２０４ 画像保存部、２０５ 第１メモリ、２２１ 重み計算部、２２２ 重み調整部、２２３ 重み保存部、２２４ 第２メモリ、６０２ 算出部、６２１ 空間情報抽出部、６２２ 重み計算部、８０２ 算出部、１００１ 残像低減処理部、１００２ ノイズ除去処理部、１９００ 変換テーブル、１９０１ 入力部、１９０２ 設定部、１９０３ 調整部、１９０５ 画像処理部 100 imaging device, 101 processor, 102 storage device, 105 imaging element, 120 imaging unit, 200 image processing device, 201 acquisition unit, 202 calculation unit, 203 removal unit, 204 image storage unit, 205 first memory, 221 weight calculation unit , 222 weight adjustment unit, 223 weight storage unit, 224 second memory, 602 calculation unit, 621 spatial information extraction unit, 622 weight calculation unit, 802 calculation unit, 1001 afterimage reduction processing unit, 1002 noise removal processing unit, 1900 conversion table , 1901 input section, 1902 setting section, 1903 adjustment section, 1905 image processing section
Claims (14)
前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、
前記第２画像データ内の残像を低減する残像低減処理部と、
前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第２画像データからノイズを除去する除去部と、
を有する撮像装置。 an imaging unit that images a subject and outputs first image data and second image data that is temporally later than the first image data;
a calculation unit that calculates a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from the first image data;
an afterimage reduction processing unit that reduces afterimages in the second image data;
a removing unit that removes noise from second image data that has been subjected to afterimage reduction processing by the afterimage reduction processing unit, based on the first noise-removed image data and the first weight calculated by the calculation unit;
An imaging device having:
前記残像低減処理部は、ローパスフィルタを用いて、前記第２画像データ内の残像を低減する、撮像装置。 The imaging device according to claim 1,
The afterimage reduction processing section is an imaging device that reduces afterimages in the second image data using a low-pass filter.
前記残像低減処理部は、前記第１画像データと前記第２画像データとを合成し、合成された画像データにおいて、前記第１画像データ内の被写体像と前記第２画像データ内の被写体像との間を補間する、撮像装置。 The imaging device according to claim 1,
The afterimage reduction processing unit combines the first image data and the second image data, and in the combined image data, a subject image in the first image data and a subject image in the second image data are combined. An imaging device that interpolates between.
前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
前記算出部は、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
前記残像低減処理部は、前記第３画像データ内の残像を低減し、
前記除去部は、前記第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第３画像データからノイズを除去する、撮像装置。 The imaging device according to claim 2,
The imaging unit outputs third image data that is temporally later than the second image data,
The calculation unit calculates a second weight of the second image data based on the second noise-removed image data and the third image data from which noise has been removed from the second image data by the removal unit, and 1 weight and the second weight, calculate a third weight,
The afterimage reduction processing unit reduces afterimages in the third image data,
The removal unit removes noise from the third image data that has been subjected to afterimage reduction processing by the afterimage reduction processing unit, based on the second noise-removed image data and the third weight calculated by the calculation unit. , imaging device.
前記第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部を有し、
前記算出部は、前記抽出部によって抽出された第１空間情報に基づいて、前記第１重みを算出する、撮像装置。 The imaging device according to claim 1,
an extraction unit that extracts first spatial information indicating characteristics of a spatial structure included in the image from at least one of the first noise-removed image data and the second image data;
The calculation unit is an imaging device that calculates the first weight based on the first spatial information extracted by the extraction unit.
前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、
前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、
前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理部と、
を有する撮像装置。 an imaging unit that images a subject and outputs first image data and second image data that is temporally later than the first image data;
a calculation unit that calculates a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from the first image data;
a removal unit that removes noise from the second image data based on the first noise-removed image data and the first weight calculated by the calculation unit;
an afterimage reduction processing unit that reduces afterimages in second noise-removed image data from which noise has been removed from the second image data by the removal unit;
An imaging device having:
前記残像低減処理部は、ローパスフィルタを用いて、前記第２ノイズ除去画像データ内の残像を低減する、撮像装置。 The imaging device according to claim 6,
The afterimage reduction processing unit is an imaging device that reduces afterimages in the second noise-removed image data using a low-pass filter.
前記残像低減処理部は、前記第１ノイズ除去画像データと前記第２ノイズ除去画像データとを合成し、合成された画像データにおいて、前記第１ノイズ除去画像データ内の被写体像と前記第２ノイズ除去画像データ内の被写体像との間を補間する、撮像装置。 The imaging device according to claim 6,
The afterimage reduction processing unit combines the first noise-removed image data and the second noise-removed image data, and in the combined image data, the subject image in the first noise-removed image data and the second noise An imaging device that interpolates between the removed image data and a subject image.
重みを調整する調整部を有し、
前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
前記算出部は、前記残像低減処理部による残像低減処理済みの第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
前記除去部は、前記残像低減処理済みの第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記第３画像データからノイズを除去し、
前記残像低減処理部は、前記除去部によって前記第３画像データからノイズ除去された第３ノイズ除去画像データ内の残像を低減する、撮像装置。 The imaging device according to claim 7,
It has an adjustment section that adjusts the weight,
The imaging unit outputs third image data that is temporally later than the second image data,
The calculation unit calculates a second weight of the second image data based on the second noise-removed image data and the third image data that have been subjected to afterimage reduction processing by the afterimage reduction processing unit, and calculates a second weight of the second image data, and Calculating a third weight based on the second weight,
The removal unit removes noise from the third image data based on the second noise-removed image data that has undergone the afterimage reduction process and the third weight calculated by the calculation unit,
The afterimage reduction processing section is an imaging device that reduces afterimages in third noise-removed image data from which noise has been removed from the third image data by the removal section.
前記第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部を有し、
前記算出部は、前記抽出部によって抽出された第１空間情報に基づいて、前記第１重みを算出する、撮像装置。 The imaging device according to claim 6,
an extraction unit that extracts first spatial information indicating characteristics of a spatial structure included in the image from at least one of the first noise-removed image data and the second image data;
The calculation unit is an imaging device that calculates the first weight based on the first spatial information extracted by the extraction unit.
前記残像低減処理部は、前記第１ノイズ除去画像データと前記第２画像データとの差分に基づいて、前記第２ノイズ除去画像データ内に存在する残像の画像データを検出し、前記残像の画像データを、前記残像の検出領域に対応する前記第２画像データ内の領域の画像データに置換する、撮像装置。 The imaging device according to claim 6,
The afterimage reduction processing unit detects image data of an afterimage existing in the second noise removed image data based on the difference between the first noise removed image data and the second image data, and An imaging device that replaces data with image data of a region within the second image data that corresponds to the afterimage detection region.
前記入力部によって入力されたフレームレートに対応する第１光量情報から前記第１光量情報よりも大きい第２光量情報に調整する調整部と、
前記フレームレートおよび前記調整部によって調整された第２光量情報に基づいて、前記被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、
前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、
前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、
を有する撮像装置。 an input section that accepts input of a frame rate when capturing an image of a subject;
an adjustment unit that adjusts first light amount information corresponding to the frame rate input by the input unit to second light amount information larger than the first light amount information;
Based on the frame rate and second light amount information adjusted by the adjustment section, image the subject and output first image data and second image data that is temporally later than the first image data. an imaging unit to
a calculation unit that calculates a first weight of the first image data based on the first noise-removed image data and the second image data from which noise has been removed from the first image data;
a removal unit that removes noise from the second image data based on the first noise-removed image data and the first weight calculated by the calculation unit;
An imaging device having:
前記フレームレートおよび前記第１光量情報に基づいて、残像を低減する撮像条件を設定する設定部を有し、
前記撮像部は、前記フレームレート、前記第２光量情報、および前記設定部によって設定された撮像条件に基づいて、前記被写体を撮像して、前記第１画像データおよび前記第２画像データを出力する、撮像装置。 The imaging device according to claim 12,
a setting unit configured to set imaging conditions for reducing afterimages based on the frame rate and the first light amount information;
The imaging unit images the subject based on the frame rate, the second light amount information, and the imaging conditions set by the setting unit, and outputs the first image data and the second image data. , imaging device.
重みを調整する調整部を有し、
前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
前記算出部は、前記除去部によってノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
前記除去部は、前記第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記第３画像データからノイズを除去する、撮像装置。
The imaging device according to claim 12,
It has an adjustment section that adjusts the weight,
The imaging unit outputs third image data that is temporally later than the second image data,
The calculation unit calculates a second weight of the second image data based on the second noise-removed image data and the third image data from which noise has been removed by the removal unit, and calculates a second weight of the second image data, and Calculate a third weight based on the weight,
The removing unit is an imaging device that removes noise from the third image data based on the second noise-removed image data and a third weight calculated by the calculating unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023172451A JP2023174740A (en) | 2018-02-28 | 2023-10-04 | Imaging apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018035298A JP7098958B2 (en) | 2018-02-28 | 2018-02-28 | Image pickup device, image processing device, and image processing program |
| JP2022104994A JP2022125149A (en) | 2018-02-28 | 2022-06-29 | Imaging apparatus |
| JP2023172451A JP2023174740A (en) | 2018-02-28 | 2023-10-04 | Imaging apparatus |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022104994A Division JP2022125149A (en) | 2018-02-28 | 2022-06-29 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023174740A true JP2023174740A (en) | 2023-12-08 |
Family
ID=67850898
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018035298A Active JP7098958B2 (en) | 2018-02-28 | 2018-02-28 | Image pickup device, image processing device, and image processing program |
| JP2022104994A Pending JP2022125149A (en) | 2018-02-28 | 2022-06-29 | Imaging apparatus |
| JP2023172451A Pending JP2023174740A (en) | 2018-02-28 | 2023-10-04 | Imaging apparatus |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018035298A Active JP7098958B2 (en) | 2018-02-28 | 2018-02-28 | Image pickup device, image processing device, and image processing program |
| JP2022104994A Pending JP2022125149A (en) | 2018-02-28 | 2022-06-29 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP7098958B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455221B (en) * | 2023-12-25 | 2024-03-26 | 青岛可颂食品有限公司 | Processing flow management system suitable for baking cream |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006025396A1 (en) | 2004-09-03 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | Image processing device, and image processing program |
| JP2007288595A (en) * | 2006-04-18 | 2007-11-01 | Pioneer Electronic Corp | Frame circulation noise reduction device |
| JP2008294696A (en) | 2007-05-24 | 2008-12-04 | Sony Corp | Video signal processing method, program of video signal processing method, recording medium with recorded program of video signal processing method, and video signal processor |
| JP5123756B2 (en) | 2008-06-26 | 2013-01-23 | オリンパス株式会社 | Imaging system, image processing method, and image processing program |
| JP5464541B2 (en) | 2009-01-20 | 2014-04-09 | 株式会社日立国際電気 | Noise reduction circuit |
| JP5006423B2 (en) | 2010-03-26 | 2012-08-22 | 株式会社ナナオ | Cyclic noise removal apparatus or method |
| JP6020904B2 (en) | 2012-02-01 | 2016-11-02 | パナソニックＩｐマネジメント株式会社 | Image processing apparatus and imaging apparatus |
| JP5927051B2 (en) | 2012-06-07 | 2016-05-25 | オリンパス株式会社 | Image processing apparatus, image processing method, and program |
| JP6652290B2 (en) | 2015-08-31 | 2020-02-19 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
-
2018
- 2018-02-28 JP JP2018035298A patent/JP7098958B2/en active Active
-
2022
- 2022-06-29 JP JP2022104994A patent/JP2022125149A/en active Pending
-
2023
- 2023-10-04 JP JP2023172451A patent/JP2023174740A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019149787A (en) | 2019-09-05 |
| JP2022125149A (en) | 2022-08-26 |
| JP7098958B2 (en) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6911202B2 (en) | Imaging control method and imaging device | |
| CN108322669B (en) | Image acquisition method and apparatus, imaging apparatus, and readable storage medium | |
| JP5589446B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| US8994849B2 (en) | Method and apparatus for increasing dynamic range of image by using electronic shutter | |
| US20150296116A1 (en) | Image processing apparatus and image processing method | |
| JP2010063088A (en) | Imaging apparatus | |
| WO2007119680A1 (en) | Image pickup device | |
| JP2008035167A (en) | Imaging apparatus | |
| JP5541205B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
| JP2011114823A (en) | Image processing apparatus, and imaging apparatus | |
| JP2023174740A (en) | Imaging apparatus | |
| JP2022179514A (en) | Control apparatus, imaging apparatus, control method, and program | |
| JP5211589B2 (en) | Image processing apparatus, electronic camera, and image processing program | |
| JP6108680B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| WO2012070440A1 (en) | Image processing device, image processing method, and image processing program | |
| JP6173027B2 (en) | Image processing apparatus and image processing method | |
| JP5012656B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| US11089231B2 (en) | Image capturing apparatus, image capturing method, and program | |
| JP5012805B2 (en) | Image processing apparatus, electronic camera, and image processing program | |
| JP5507865B2 (en) | Image processing apparatus and image processing method | |
| JP7064351B2 (en) | Imaging device and imaging method | |
| JP6376769B2 (en) | Imaging apparatus and control method thereof | |
| JP2023180137A (en) | Image processing device, image processing method and image processing program | |
| JP2015204489A (en) | Image processing apparatus and image processing method | |
| JP2007329621A (en) | Image processing device, image processing method and image signal processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231004 |