JP6037224B2 - 画像処理装置、撮像装置、およびプログラム - Google Patents
画像処理装置、撮像装置、およびプログラム Download PDFInfo
- Publication number
- JP6037224B2 JP6037224B2 JP2013000800A JP2013000800A JP6037224B2 JP 6037224 B2 JP6037224 B2 JP 6037224B2 JP 2013000800 A JP2013000800 A JP 2013000800A JP 2013000800 A JP2013000800 A JP 2013000800A JP 6037224 B2 JP6037224 B2 JP 6037224B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- motion vector
- image
- interpolation
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Television Systems (AREA)
Description
以下、本開示の技術をデジタルビデオカメラに適用した実施の形態1について図面を参照しながら説明する。以下の説明において、動画像を構成する個々の静止画像を示すデータを「フレーム画像」または単に「フレーム」と称する。また、連続する2つのフレームの間に挿入するフレームを「補間フレーム画像」または単に「補間フレーム」と称する。
本実施の形態のデジタルビデオカメラ100(以下、単に「カメラ」と呼ぶことがある。)は動画像を撮影できる撮像装置である。本実施の形態のデジタルビデオカメラ100は、動画像の撮影の際リアルタイムに、または撮影後、ユーザの指示などに応じてフレームレートを変換することができる。本実施の形態のデジタルビデオカメラ100は、撮影により得られた連続するフレーム画像間に、補間フレーム画像を挿入することにより、フレームレートを変更する。例えば、毎秒60フレームの動画撮影を行っている状態から、フレーム間に補間フレーム画像を挿入することによって毎秒120フレームの動画撮影へと切り替えることができる。デジタルビデオカメラ100がフレームレートを切り替えるタイミングは、ユーザによるフレームレート変更の指示があったときでもよいし、撮影によって取得した画像(以下、「撮影画像」と称する。)から得られる情報(輝度情報など)が変更されたときであってもよいし、所定のモード(低速撮影モードなど)が選択されたときでもよい。
まず、本実施の形態にかかるデジタルビデオカメラの構成について図1を用いて説明する。図1は、デジタルビデオカメラ100の構成を示すブロック図である。デジタルビデオカメラ100は、1または2以上のレンズを含む光学系110により形成された被写体像をCMOSイメージセンサ140で撮像する。CMOSイメージセンサ140で生成された画像データは、画像処理部160で各種処理が施され、メモリカード200に格納される。以下、デジタルビデオカメラ100の構成を詳細に説明する。
続いて、本実施の形態にかかるデジタルビデオカメラ100の動作について説明する。本実施の形態にかかるデジタルビデオカメラ100は、時間的に連続している第1のフレームおよび第2のフレームから、第1のフレームと第2のフレームとの間に挿入する補間フレームを作成する機能を備えている。
F = αF1 + βF2 (式3)
ここで、式3の演算は、例えば画素ごとに行われる。
以上のように、本実施の形態においては、繰り返しパターン検出部301が検出した繰り返しパターンの幅(繰り返し周期)と、動きベクトル算出部302が算出した動きベクトルの大きさとの比較結果に基づいて、フレーム画像間に挿入する適切な補間フレーム画像が生成される。これにより、繰り返しパターンの繰り返し周期に起因する動きベクトルの誤検出を考慮した補間フレーム画像を作成することができる。従って、フレームレートを高フレームレートに変更したとしても、より画質のよい動画像を表示モニタに表示させることができる。
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
110 光学系
120 レンズ駆動部
130 シャッタ
140 CMOSイメージセンサ
150 A/Dコンバータ
160 画像処理部
170 バッファ
180 コントローラ
190 カードスロット
200 メモリカード
210 操作部材
220 表示モニタ
230 内部メモリ
240 ジャイロセンサ
300 画像入力部
301 繰り返しパターン検出部
302 動きベクトル算出部
303 動き補償補間画像生成部
304 画像出力部
306 合成部
307 加算平均補間画像生成部
310 補間フレーム生成部
400 撮像部
Claims (11)
- 動画像中の連続する第1のフレームおよび第2のフレームの間に挿入する補間フレームを生成する画像処理装置であって、
前記第1および第2のフレームの少なくとも一方に繰り返しパターンが存在するか否かを検出する繰り返しパターン検出部と、
前記第1および第2のフレーム中の被写体の動きベクトルを算出する動きベクトル算出部と、
前記繰り返しパターンの第1の方向における繰り返し周期と前記動きベクトルの前記第1の方向における大きさとを比較し、その比較結果に応じた処理により、前記補間フレームを生成する補間フレーム生成部と、
を備え、
前記補間フレーム生成部は、前記繰り返しパターンの前記第1の方向における繰り返し周期に基づいて定められる閾値よりも前記動きベクトルの前記第1の方向における大きさの方が小さい場合には、前記動きベクトルに基づいて定まる前記第1および第2のフレームの過渡状態を示すフレームを前記補間フレームとして生成し、それ以外の場合には、前記過渡状態を示すフレームよりも前記動きベクトルの依存度の低いフレームを前記補間フレームとして生成する、画像処理装置。 - 前記閾値は、前記繰り返しパターンの前記第1の方向における繰り返し周期と同一の値に設定される、請求項1に記載の画像処理装置。
- 前記補間フレーム生成部は、前記閾値よりも前記動きベクトルの前記第1の方向における大きさの方が大きい場合には、前記第1および第2のフレームの加算平均を含む処理によって得られるフレームを前記補間フレームとして生成する、請求項1または2に記載の画像処理装置。
- 前記補間フレーム生成部は、前記閾値よりも前記動きベクトルの前記第1の方向における大きさの方が大きい場合には、前記過渡状態を示すフレームと、前記第1および第2のフレームの加算平均によって得られるフレームとの合成フレームを前記補間フレームとして生成する、請求項3に記載の画像処理装置。
- 前記補間フレーム生成部は、前記過渡状態を示すフレームと、前記第1および第2のフレームの加算平均によって得られるフレームとを、前記動きベクトルの前記第1の方向における大きさに応じて異なる比率で合成することにより、前記合成フレームを生成する、請求項4に記載の画像処理装置。
- 前記補間フレーム生成部は、前記閾値よりも前記動きベクトルの前記第1の方向における大きさの方が大きい場合には、前記第1のフレームまたは前記第2のフレームを前記補間フレームとする、請求項1または2に記載の画像処理装置。
- 前記補間フレーム生成部は、さらに、前記繰り返しパターンの前記第1の方向とは異なる第2の方向における繰り返し周期と、前記動きベクトルの前記第2の方向における大きさとを比較し、その比較結果に基づいて、前記補間フレームを生成し、
前記補間フレーム生成部は、前記繰り返しパターンの前記第2の方向における繰り返し周期に基づいて定められる閾値よりも前記動きベクトルの前記第2の方向における大きさの方が小さい場合には、前記動きベクトルに基づいて定まる前記第1および第2のフレームの過渡状態を示すフレームを前記補間フレームとして生成し、それ以外の場合には、前記過渡状態を示すフレームよりも前記動きベクトルの依存度の低いフレームを前記補間フレームとして生成する、請求項1から6のいずれかに記載の画像処理装置。 - 前記第1の方向は各フレームが示す画像の水平方向であり、前記第2の方向は各フレームが示す画像の垂直方向である、請求項7に記載の画像処理装置。
- 前記動きベクトル算出部は、前記第1および第2のフレームを複数の部分に分割し、分割した部分ごとに前記第1および第2のフレーム間でマッチングを行うことによって前記部分ごとに前記動きベクトルを算出し、
前記補間フレーム生成部は、前記部分ごとに算出された前記動きベクトルに基づいて、前記補間フレームを生成する、
請求項1から8のいずれかに記載の画像処理装置。 - 請求項1から9のいずれかに記載の画像処理装置と、
撮像によって前記第1および第2のフレームを含む動画像のデータを生成する撮像部と、
を備える撮像装置。 - 動画像中の連続する第1のフレームおよび第2のフレームの間に挿入する補間フレームを生成する画像処理装置において用いられるプログラムであって、コンピュータに対し、
前記第1および第2のフレームの少なくとも一方に繰り返しパターンが存在するか否かを検出するステップと、
前記第1および第2のフレーム中の被写体の動きベクトルを算出するステップと、
前記繰り返しパターンの第1の方向における繰り返し周期と前記動きベクトルの前記第1の方向における大きさとを比較するステップと、
比較結果に応じた処理により、前記補間フレームを生成するステップと、
を実行させ、
前記補間フレームを生成するステップは、前記繰り返しパターンの前記第1の方向における繰り返し周期に基づいて定められる閾値よりも前記動きベクトルの前記第1の方向における大きさの方が小さい場合には、前記動きベクトルに基づいて定まる前記第1および第2のフレームの過渡状態を示すフレームを前記補間フレームとして生成し、それ以外の場合には、前記過渡状態を示すフレームよりも前記動きベクトルの依存度の低いフレームを前記補間フレームとして生成するステップを含む、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013000800A JP6037224B2 (ja) | 2012-01-11 | 2013-01-08 | 画像処理装置、撮像装置、およびプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012002735 | 2012-01-11 | ||
JP2012002735 | 2012-01-11 | ||
JP2013000800A JP6037224B2 (ja) | 2012-01-11 | 2013-01-08 | 画像処理装置、撮像装置、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013165484A JP2013165484A (ja) | 2013-08-22 |
JP6037224B2 true JP6037224B2 (ja) | 2016-12-07 |
Family
ID=48743692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013000800A Active JP6037224B2 (ja) | 2012-01-11 | 2013-01-08 | 画像処理装置、撮像装置、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8976258B2 (ja) |
JP (1) | JP6037224B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6222514B2 (ja) * | 2012-01-11 | 2017-11-01 | パナソニックIpマネジメント株式会社 | 画像処理装置、撮像装置、およびコンピュータブログラム |
JP6609098B2 (ja) | 2014-10-30 | 2019-11-20 | キヤノン株式会社 | 表示制御装置、表示制御方法、及びコンピュータプログラム |
KR102192488B1 (ko) * | 2015-11-25 | 2020-12-17 | 삼성전자주식회사 | 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법 |
JP6545229B2 (ja) * | 2017-08-23 | 2019-07-17 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム |
US10497321B2 (en) * | 2017-10-31 | 2019-12-03 | Wuhan China Star Optoelectronics Technology Co., Ltd. | Image processing method and device thereof |
CN112199140B (zh) * | 2020-09-09 | 2024-06-14 | Oppo广东移动通信有限公司 | 应用插帧方法及相关装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2277003B (en) * | 1993-04-08 | 1997-09-24 | Sony Uk Ltd | Motion compensated image processing |
FR2742900B1 (fr) * | 1995-12-22 | 1998-02-13 | Thomson Multimedia Sa | Procede d'interpolation de trames progressives |
JP2006178642A (ja) * | 2004-12-21 | 2006-07-06 | Olympus Corp | 動きベクトル検出装置 |
JP4731356B2 (ja) * | 2006-02-28 | 2011-07-20 | シャープ株式会社 | 画像表示装置及び方法 |
JP2009060377A (ja) * | 2007-08-31 | 2009-03-19 | Toshiba Corp | 補間フレーム生成装置及び補間フレーム生成方法 |
US8331710B2 (en) * | 2007-11-06 | 2012-12-11 | Sony Corporation | Image processing apparatus and method, learning apparatus and method, and program |
JP2010081411A (ja) * | 2008-09-26 | 2010-04-08 | Toshiba Corp | フレーム補間装置及びフレーム補間方法 |
JP5251544B2 (ja) | 2009-01-27 | 2013-07-31 | 日本電気株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP5441555B2 (ja) * | 2009-08-05 | 2014-03-12 | キヤノン株式会社 | 映像信号処理装置及び映像信号処理方法 |
JP2011244085A (ja) * | 2010-05-14 | 2011-12-01 | Sony Corp | 信号処理装置及び信号処理方法 |
JP5669523B2 (ja) * | 2010-07-06 | 2015-02-12 | 三菱電機株式会社 | フレーム補間装置及び方法、並びにプログラム及び記録媒体 |
JP5645636B2 (ja) * | 2010-12-16 | 2014-12-24 | 三菱電機株式会社 | フレーム補間装置及び方法 |
JP6222514B2 (ja) * | 2012-01-11 | 2017-11-01 | パナソニックIpマネジメント株式会社 | 画像処理装置、撮像装置、およびコンピュータブログラム |
-
2013
- 2013-01-08 JP JP2013000800A patent/JP6037224B2/ja active Active
- 2013-01-10 US US13/738,069 patent/US8976258B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8976258B2 (en) | 2015-03-10 |
JP2013165484A (ja) | 2013-08-22 |
US20130176488A1 (en) | 2013-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6222514B2 (ja) | 画像処理装置、撮像装置、およびコンピュータブログラム | |
US8368771B2 (en) | Generating a synthesized image from a plurality of images | |
US8890971B2 (en) | Image processing apparatus, image capturing apparatus, and computer program | |
JP4900401B2 (ja) | 撮影装置およびプログラム | |
JP6037224B2 (ja) | 画像処理装置、撮像装置、およびプログラム | |
US9154728B2 (en) | Image processing apparatus, image capturing apparatus, and program | |
US20080101710A1 (en) | Image processing device and imaging device | |
US20110013061A1 (en) | Image sensing apparatus | |
KR101109532B1 (ko) | 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체 | |
US20130076855A1 (en) | Image processing device capable of generating wide-range image | |
JP2012029014A (ja) | 画像処理装置及びその制御方法 | |
JP4916378B2 (ja) | 撮像装置、画像処理装置、画像ファイル及び階調補正方法 | |
JP2010166512A (ja) | 撮像装置 | |
JP2008236289A (ja) | 撮像装置 | |
KR20160044945A (ko) | 이미지 촬영 장치 | |
JP2013165488A (ja) | 画像処理装置、撮像装置、およびプログラム | |
JP4742813B2 (ja) | 画像処理装置および画像処理方法 | |
US20130177287A1 (en) | Reproduction apparatus, image capturing apparatus, and program | |
WO2012147337A1 (ja) | フリッカ検出装置、フリッカ検出方法およびフリッカ検出プログラム | |
JP2008147715A (ja) | 撮像装置及び方法 | |
JP5780885B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2010262428A (ja) | 中間画像生成装置およびその動作制御方法 | |
JP5161939B2 (ja) | 画像処理装置、撮像システム、及び画像処理装置の制御方法 | |
JP2010239459A (ja) | 画像合成装置及びプログラム | |
JP5548023B2 (ja) | 撮像装置および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141006 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161020 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6037224 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |