JP6101896B2 - 画像処理プログラムおよび画像処理装置 - Google Patents
画像処理プログラムおよび画像処理装置 Download PDFInfo
- Publication number
- JP6101896B2 JP6101896B2 JP2012002805A JP2012002805A JP6101896B2 JP 6101896 B2 JP6101896 B2 JP 6101896B2 JP 2012002805 A JP2012002805 A JP 2012002805A JP 2012002805 A JP2012002805 A JP 2012002805A JP 6101896 B2 JP6101896 B2 JP 6101896B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- parameter
- frame
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 172
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000002093 peripheral effect Effects 0.000 claims description 11
- 230000004075 alteration Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 description 52
- 238000000034 method Methods 0.000 description 46
- 230000008569 process Effects 0.000 description 42
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Description
本発明は、複数の画像に対し、同じ画像処理を実行するのに要する計算時間を短縮することができる画像処理プログラムおよび画像処理装置を提供することを目的とする。
多くの場合、同じタイムラインに属する少なくとも一部の複数の画像に対しては、同じパラメータを用いて同じ画像処理を実行することが適切となり得る。それらの画像は、似通った条件下で撮影された可能性が高いからである。ここでは、同じタイムライン上の第1画像および第2画像に対し、同じパラメータを用いて同じ画像処理を実行可能である。従って、画像処理を高速化しつつ、適切な画像を得ることができる。
異なるタイムラインに属する複数の画像に対し、同じパラメータを用いて同じ画像処理を実行することが適切となる場合がある。例えば、それらの画像が、同じ場所に設置された同じカメラによって撮影された場合などである。ここでは、異なるタイムライン上の第1画像および第2画像に対し、同じパラメータを用いて同じ画像処理を実行可能である。従って、画像処理を高速化しつつ、適切な画像を得ることができる。
<1.画像処理装置の概要>
図1に示す画像処理装置1は、本発明に係る画像処理装置の一実施形態である。画像処理装置1は、汎用のパーソナルコンピュータである。画像処理装置1には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム2がインストールされている。画像処理プログラム2は、動画および静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム2は、画像処理装置1に後述する動作に含まれるステップを実行させる。
ディスプレイ10は、後述する画面等をユーザに対し表示する。入力部20は、画像処理装置1に対するユーザからの操作を受け付ける。
制御部40は、ユーザが入力部20を介して所定の操作を行ったことを検知すると、画像処理プログラム2を起動する。画像処理プログラム2が起動されると、基本画面W1(図2参照)がディスプレイ10上に表示される。なお、制御部40は、ディスプレイ10上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示を制御する。
基本画面W1は、オリジナル画像領域51への画像データの取り込みの命令をユーザから受け付ける。オリジナル画像領域51へ取り込まれた画像データは、後述する画像処理の対象になる。制御部40は、静止画ファイル又は動画ファイルから、オリジナル画像領域51へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。
オリジナル画像領域51へ静止画ファイル群が取り込まれると、制御部40は、基本画面W1上に表示ウィンドウW2(図3参照)を重ねて表示させる。表示ウィンドウW2は、オリジナル画像領域51への静止画ファイル群の取り込み動作の数だけ、表示される。
以下、選択フレーム群に対する画像処理について説明する。
画像処理部41は、ノイズ除去、ノイズ付加、シャープネス、明るさ/コントラスト/彩度調整、画像解像度、回転、文字/矢印/モザイクの付加、歪曲収差補正、周辺光量補正、ボケ補正などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム2に組み込まれている。
以下、ボケ補正の画像処理(以下、ボケ補正処理)の詳細について説明する。上記のとおり、指示受付部42は、ボケ補正処理を実行する指示をユーザから受け付ける。画像処理部41は、ユーザによるボケ補正処理の実行の指示に応じて、選択フレーム群に対し、図5に示すボケ補正処理を開始する。
h(x,y)=(1/2πσ2)exp{−(x2+y2)/2σ2} (式1)
F(u,v)=Hinv(u,v)G(u,v) (式2)
以上の態様で、選択フレーム群に含まれる全フレームについて、ステップS2の処理が終了すると、図5に示すボケ補正処理が完了する。
上記のとおり、画像処理プログラム2は、静止画又は動画ファイルのどちらから画像データを取り込もうとも、その後、画像データを静止画ファイル群として管理する。従って、画像処理プログラム2は、同じタイムラインの中の任意のフレームを任意に画像処理したいというユーザの要望に容易に応えることができる。また、画像処理プログラム2は、静止画ファイル群を動画として再生する機能を有している。その結果、画像データが画像処理プログラム2内で静止画ファイル群として取り扱われようとも、ユーザは、その画像データを動画として認識することができる。従って、画像処理プログラム2は、動画の解析や編集等を行う場面で特に有用である。
<4−1>
上記実施形態では、画像処理部41は、選択フレーム群に含まれる全フレームのうちの1枚目のフレームから、ボケ補正ルーチンのパラメータである点拡がり関数(PSF)を算出しつつ、そのPSFを用いて、1枚目のフレームに対しボケ補正ルーチンを実行する。また、画像処理部41は、同じPSFを用いて、選択フレーム群に含まれる1枚目以降のフレームに対してもボケ補正ルーチンを実行する。
画像のボケ具合は、焦点ボケ等、カメラのレンズの特性に依存し得る。従って、同じカメラで撮影されたフレームであれば、あるフレームから推定されたボケ具合を、別のフレームに適用し得る。上記実施形態では、選択フレーム群に含まれる1枚目のフレームから推定された1枚目のフレームのボケ具合を用いて、1枚目のフレームだけでなく、2枚目以降のフレームに対してもボケ補正ルーチンが実行される。従って、ユーザは、撮影に使用されたカメラが同じである等、似通った条件下で撮影された複数のフレームを選択フレーム群として選択することにより、それらのフレームに対するボケ補正処理を高速化しつつ、ボケの改善された適切な画像を得ることができる。
多くの場合、同じタイムラインに属する少なくとも一部の複数のフレームに対しては、同じパラメータを用いて同じ画像処理を実行することが適切となり得る。それらのフレームは、似通った条件下で撮影された可能性が高いからである。上記実施形態では、同じタイムライン上の複数のフレームを含む選択フレーム群に対し、同じPSFを用いてボケ補正ルーチンを実行可能である。従って、ボケ補正処理を高速化しつつ、ボケの改善された適切な画像を得ることができる。
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。
ステップS22では、パラメータが、選択フレーム群に含まれる全フレームのうち、タイムライン上で先頭のフレームから算出されるようになっていたが、先頭以外のフレームから算出されるようにしてもよい。例えば、パラメータの算出の基礎となるフレームを、ユーザが任意に指定できるようにしてもよいし、先頭以外のフレームが選択され得る所定のアルゴリズムに従って、自動的に決定してもよい。
ステップS22では、パラメータが、選択フレーム群に含まれる全フレームのうち、1枚のフレームのみから算出されるようになっていたが、2枚以上のフレームから算出されるようにしてもよい。例えば、選択フレーム群に含まれる全フレームのうち、タイムライン上で1枚目と2枚目のフレームのみからパラメータを算出し、そのパラメータを、1枚目と2枚目のフレームだけでなく、3枚目以降のフレームのボケ補正ルーチンで流用するようにしてもよい。
上記実施形態では、選択フレーム群に含まれる全フレームに対するステップS23の処理が、シーケンス処理されるようになっていたが、並列処理されるようにしてもよい。例えば、ステップS22でパラメータが算出されたことに応じて、画像処理部41−1,41−2,・・・が、それぞれ異なるフレームに対し、ステップS23の処理を並列に実行するようにしてもよい。
上記実施形態では、画像処理モジュールの実行の対象である選択フレーム群を、同じタイムライン上のフレームのみから選択可能であったが、異なるタイムライン上のフレームからも選択可能にしてもよい。
上記実施形態では、複数のフレームに対するボケ補正ルーチンで用いられるパラメータとして、PSFの標準偏差σが算出されたが、ボケ具合を表す別のパラメータが算出されてもよい。例えば、PSFをガウス関数以外でモデル化し、そのモデルに含まれる別の変数を算出するようにしてもよい。あるいは、ボケ具合を表すパラメータとして、PSF以外の指標を算出するようにしてもよい。
上記実施形態では、ステップS22で算出されたパラメータを複数のフレーム間で共用するステップS23の画像処理として、ボケ補正ルーチンが実行されたが、他の画像処理が実行されてもよい。なお、ステップS23の画像処理が変われば、ステップS22で算出されるべきパラメータも変わることは言うまでもない。
上記実施形態では、選択フレーム群に含まれる全フレームのうちの1枚目のフレームから算出されたパラメータが、1枚目のフレームのパラメータとしてだけでなく、残りのフレームのパラメータとしてもそのまま用いられるようになっていた。しかし、1枚目のフレームのパラメータを残りのフレームに対する画像処理に流用する方法は、これに限られない。例えば、残りのフレームに対する画像処理時に、1枚目のフレームから算出されたパラメータを、残りのフレームのパラメータとしてより適切になるよう、残りのフレームの情報を用いて微調整してもよい。本変形例では、残りのフレームのパラメータを算出する処理が簡略化され、全フレームに対し同じ画像処理を実行するのに要する計算時間が短縮される。本変形例を上記実施形態のステップS2に適用する場合、例えば、図6に示すステップS2の処理は、図7に示すように変更され得る。すなわち、1枚目のフレーム以外のフレームに対しては、パラメータを一から算出するステップS22の代わりに、既にステップS22で算出済みのパラメータを微調整するステップS24を実行するように変更され得る。
上記実施形態では、オリジナル画像領域51へ取り込まれた画像データは、全て静止画ファイルとして保存されるようになっていた。しかしながら、オリジナル画像領域51へ取り込まれた画像データを、動画ファイルとして保存するようにしてもよい。オリジナル画像領域51内の画像データの形式を静止画形式とするか動画形式とするかは、ユーザが選択できるようにしてもよいし、取り込み元の画像データの形式等に応じて自動的に決定されるようにしてもよい。
さらに、その後、動画ファイルに対して画像処理が施される場合には、その画像処理後の画像データも動画ファイルの形式で保存するようにしてもよい。
2 画像処理プログラム
41 画像処理部
41−L 第L画像処理部
42 指示受付部
Claims (9)
- 第1画像および第2画像のうち、前記第2画像を用いず、前記第1画像のみから、画像処理のパラメータを算出しつつ、前記パラメータを用いて、前記第1画像に対し前記画像処理を実行するステップと、
前記第2画像を用いて前記パラメータを微調整し、当該微調整されたパラメータを用いて、前記第2画像に対し前記画像処理を実行するステップと
をコンピュータに実行させる、
画像処理プログラム。 - 前記第1画像および前記第2画像は、同じタイムライン上の画像であり、
前記第1画像は、前記タイムライン上において所定の順番の画像である、
請求項1に記載の画像処理プログラム。 - 前記第1画像は、前記タイムライン上において先頭の画像である、
請求項2に記載の画像処理プログラム。 - 前記第1画像および前記第2画像は、異なるタイムライン上の画像である、
請求項1に記載の画像処理プログラム。 - 前記パラメータは、ボケ具合を含み、
前記画像処理は、エッジを強調する処理を含む、
請求項1から4のいずれかに記載の画像処理プログラム。 - 前記パラメータは、ノイズ情報、歪曲収差情報および周辺光量情報の少なくとも1つを
含み、
前記画像処理は、ノイズを除去する処理、ノイズを付加する処理、歪曲収差を補正する処理および周辺光量を補正する処理の少なくとも1つを含む、
請求項1から5のいずれかに記載の画像処理プログラム。 - 前記第1画像および前記第2画像に対し、前記画像処理を実行する指示を受け付けるステップ
をさらにコンピュータに実行させ、
前記第1画像に対し前記画像処理を実行するステップは、前記指示に応じて、前記パラメータを算出しつつ、前記第1画像に対し前記画像処理を実行するステップであり、
前記第2画像に対し前記画像処理を実行するステップは、前記パラメータが算出されたことに応じて、前記第2画像に対し前記画像処理を実行するステップである、
請求項1から6のいずれかに記載の画像処理プログラム。 - 第1画像および第2画像のうち、前記第2画像を用いず、前記第1画像のみから、画像処理のパラメータを算出しつつ、前記パラメータを用いて、前記第1画像に対し前記画像処理を実行する第1画像処理部と、
前記第2画像を用いて前記パラメータを微調整し、当該微調整されたパラメータを用いて、前記第2画像に対し前記画像処理を実行する第2画像処理部と
を備える、
画像処理装置。 - 前記第1画像および前記第2画像は、同じタイムライン上の画像であり、
前記第1画像は、前記タイムライン上において所定の順番の画像である、
請求項8に記載の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012002805A JP6101896B2 (ja) | 2012-01-11 | 2012-01-11 | 画像処理プログラムおよび画像処理装置 |
US13/738,617 US9025905B2 (en) | 2012-01-11 | 2013-01-10 | Image processing apparatus, recording medium storing image processing program, and method of image processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012002805A JP6101896B2 (ja) | 2012-01-11 | 2012-01-11 | 画像処理プログラムおよび画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013142997A JP2013142997A (ja) | 2013-07-22 |
JP6101896B2 true JP6101896B2 (ja) | 2017-03-29 |
Family
ID=48743980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012002805A Active JP6101896B2 (ja) | 2012-01-11 | 2012-01-11 | 画像処理プログラムおよび画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9025905B2 (ja) |
JP (1) | JP6101896B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8225704B2 (en) | 2010-01-16 | 2012-07-24 | Nanoridge Materials, Inc. | Armor with transformed nanotube material |
US20110177322A1 (en) | 2010-01-16 | 2011-07-21 | Douglas Charles Ogrin | Ceramic articles and methods |
JP6101896B2 (ja) * | 2012-01-11 | 2017-03-29 | ノーリツプレシジョン株式会社 | 画像処理プログラムおよび画像処理装置 |
JP5962278B2 (ja) * | 2012-07-12 | 2016-08-03 | ノーリツプレシジョン株式会社 | 画像処理プログラム、画像処理装置及び画像処理方法 |
JP5765394B2 (ja) * | 2012-11-20 | 2015-08-19 | 株式会社デンソー | ガスセンサ |
JP5933129B2 (ja) * | 2013-08-02 | 2016-06-08 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP7158478B2 (ja) * | 2017-12-22 | 2022-10-21 | グーグル エルエルシー | 画像選択提案 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5600734A (en) * | 1991-10-04 | 1997-02-04 | Fujitsu Limited | Electron beam tester |
JPH06311425A (ja) * | 1993-04-21 | 1994-11-04 | Konica Corp | 画像補正装置 |
US5929908A (en) * | 1995-02-03 | 1999-07-27 | Canon Kabushiki Kaisha | Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion |
JP2001054013A (ja) * | 1999-08-13 | 2001-02-23 | Fuji Photo Film Co Ltd | 撮像信号処理装置およびその処理方法 |
JP4796007B2 (ja) * | 2007-05-02 | 2011-10-19 | 富士フイルム株式会社 | 撮像装置 |
US8049932B2 (en) * | 2007-08-02 | 2011-11-01 | Canon Kabushiki Kaisha | Image forming apparatus and image density control method therefor |
JP2010010798A (ja) | 2008-06-24 | 2010-01-14 | Canon Inc | 動画像処理装置、カメラ一体型画像記録装置、動画像再生装置、遠隔操作システム、動画像処理方法、動画像処理プログラム、記憶媒体及び、動画像処理システム |
JP6101896B2 (ja) * | 2012-01-11 | 2017-03-29 | ノーリツプレシジョン株式会社 | 画像処理プログラムおよび画像処理装置 |
-
2012
- 2012-01-11 JP JP2012002805A patent/JP6101896B2/ja active Active
-
2013
- 2013-01-10 US US13/738,617 patent/US9025905B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9025905B2 (en) | 2015-05-05 |
JP2013142997A (ja) | 2013-07-22 |
US20130177256A1 (en) | 2013-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6101896B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
US8194996B2 (en) | Image processing apparatus, image processing method, image processing program, and image capturing apparatus | |
CN104349019B (zh) | 图像处理装置、图像处理方法和程序 | |
JP6711396B2 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
KR101839617B1 (ko) | 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치 | |
CN110213479B (zh) | 一种视频拍摄防抖方法和装置 | |
US9483813B2 (en) | Image processing apparatus, computer-readable medium storing an image processing program, and image processing method | |
CN110465085A (zh) | 弹幕处理方法、终端设备、电子设备及介质 | |
JP5751184B2 (ja) | 画像処理プログラム、画像処理装置および画像処理方法 | |
CN112819699A (zh) | 视频处理方法、装置及电子设备 | |
US9361674B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6645076B2 (ja) | 画像処理装置 | |
JP5962278B2 (ja) | 画像処理プログラム、画像処理装置及び画像処理方法 | |
WO2015146240A1 (ja) | 画像処理装置 | |
JP6385206B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
US9129357B2 (en) | Image processing apparatus, method of image processing, and recording medium storing image processing program | |
JP5783030B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
JP5857708B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
JP4770965B2 (ja) | 画像マッチング装置、およびカメラ | |
JP5765209B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
JP5201058B2 (ja) | 輪郭強調処理プログラム、輪郭強調処理方法及び輪郭強調処理装置 | |
JP2008017109A (ja) | 携帯型撮像装置 | |
JP6257127B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
US9531922B2 (en) | Image processing apparatus, image processing method, and computer readable storage medium for improving sharpness | |
JP2014027560A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140314 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150227 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151023 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20151104 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20160108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6101896 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |