JP4385077B1 - 動きベクトル検出装置および画像処理装置 - Google Patents
動きベクトル検出装置および画像処理装置 Download PDFInfo
- Publication number
- JP4385077B1 JP4385077B1 JP2008217866A JP2008217866A JP4385077B1 JP 4385077 B1 JP4385077 B1 JP 4385077B1 JP 2008217866 A JP2008217866 A JP 2008217866A JP 2008217866 A JP2008217866 A JP 2008217866A JP 4385077 B1 JP4385077 B1 JP 4385077B1
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- fitness
- candidate
- pixel
- candidates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】間引き部12で、入力フレームの各座標において、水平方向にM(Mは1以上の整数)画素、垂直方向にN(Nは1以上の整数)画素からなる領域の複数の画素から代表1画素に間引いた後で、適合度候補算出部13によって適合度候補を算出するので、適合度候補を算出するための演算量を削減することが可能となる。これによって、適合度候補を算出するための回路規模または処理時間を小さく抑えることができる。この適合度候補を用いて動きベクトル候補が算出され、動きベクトルが検出されるので、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができる。
【選択図】図1
Description
また本発明の動きベクトル検出装置は、第1および第2の入力フレーム間で、前記第1および第2の入力フレームにそれぞれ含まれる1個以上の画素同士を対応付ける動きベクトルを検出する動きベクトル検出装置であって、各前記入力フレームのエッジ成分を検出するエッジ検出手段と、各前記入力フレームの予め定める注目領域に含まれる複数の画素を、前記エッジ検出手段によって検出されるエッジ成分に基づいて、代表となる1個の画素に間引いて、この画素を代表1画素として出力する間引き手段と、前記間引き手段から出力される前記第1および第2の入力フレームの前記代表1画素を用いて、前記第1および第2の入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する適合度候補算出手段と、前記間引き手段から出力される前記代表1画素の各入力フレームにおける位置、および前記適合度候補算出手段によって算出される前記適合度候補に基づいて、前記第1および第2の入力フレーム間の前記動きベクトルの候補となる動きベクトル候補を算出する動きベクトル候補算出手段と、前記適合度候補算出手段によって算出される前記適合度候補、および前記動きベクトル候補算出手段によって算出される前記動きベクトル候補を記憶する記憶手段と、前記記憶手段に記憶される前記適合度候補および前記動きベクトル候補に基づいて、前記適合度および前記動きベクトルを決定する動きベクトル決定手段とを備え、前記記憶手段は、前記間引き手段から出力される前記代表1画素の各入力フレームにおける位置に基づいて、前記動きベクトル候補および前記適合度候補を記憶する記憶アドレスを算出し、算出した前記記憶アドレスに前記動きベクトル候補および前記適合度候補を記憶し、前記動きベクトル決定手段は、前記記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の適合度候補を前記画素の動きベクトル候補に乗算して、乗算後の動きベクトル候補を算出し、さらに前記動きベクトル補間範囲に含まれる画素の前記乗算後の動きベクトル候補の和を、前記動きベクトル補間範囲に含まれる画素の適合度候補の和で除算することにより、前記動きベクトル補間範囲の中心に位置する中心画素の動きベクトルを算出することを特徴とする。
また本発明の動きベクトル検出装置によれば、動きベクトル決定手段は、記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の適合度候補を前記画素の動きベクトル候補に乗算して、乗算後の動きベクトル候補を算出し、さらに前記動きベクトル補間範囲に含まれる画素の前記乗算後の動きベクトル候補の和を、前記動きベクトル補間範囲に含まれる画素の適合度候補の和で除算することにより、前記動きベクトル補間範囲の中心に位置する中心画素の動きベクトルを算出する。これによって、より精度の高い動きベクトルを決定することができる。
図1は、本発明の第1の実施の形態である動きベクトル検出装置1の構成を示すブロック図である。図2は、代表1画素の一例を示す図である。動きベクトル検出装置1は、入力される複数のフレーム間において、複数のフレームにそれぞれ含まれる1個以上の画素同士を対応付ける動きベクトルを検出するものである。具体的には、動きベクトル検出装置1は、入力されるフレーム(以下「入力フレーム」という場合がある)のうち、注目する2つの入力フレーム、すなわち第1および第2の入力フレーム間で、第1および第2の入力フレームにそれぞれ含まれる1個以上の画素同士を対応付ける動きベクトルを検出する。
(g0(x,y),E’x0(x,y),E’y0(x,y),E’’x0(x,y),E’’y0(x,y))、
(g1(x,y),E’x1(x,y),E’y1(x,y),E’’x1(x,y),E’’y1(x,y))
の間で以下の式(6)を用いて、移動量(ξM,ηN)のマッチングの指標である適合度候補e(ξM,ηN)を求める。
次に、本発明の第2の実施の形態の動きベクトル検出装置について説明する。本実施の形態の動きベクトル検出装置は、前述の第1の実施の形態の動きベクトル検出装置1と構成が類似しているので、対応する箇所に同一の参照符を付して、第1の実施の形態と共通する説明を省略する。本実施の形態の動きベクトル検出装置は、図1に示す第1の実施の形態の動きベクトル検出装置1において、記憶部15を、図13に示す記憶部15Aに置き換えた構成である。
次に、本発明の第3の実施の形態の画像処理装置について説明する。図14は、本発明の第3の実施の形態である画像処理装置60の構成を示すブロック図である。
画像処理装置60は、入力端子61、動きベクトル検出装置62、フレームレート変換部63および出力端子64を備えて構成される。本実施の形態の動きベクトル検出装置62は、前述の第1の実施の形態または第2の実施の形態の動きベクトル検出装置である。
次に、本発明の参考形態の画像処理装置について説明する。本参考形態の画像処理装置は、前述の第3の実施の形態の画像処理装置60と構成が類似しているので、対応する箇所に同一の参照符を付して、第3の実施の形態と共通する説明を省略する。
Claims (10)
- 第1および第2の入力フレーム間で、前記第1および第2の入力フレームにそれぞれ含まれる1個以上の画素同士を対応付ける動きベクトルを検出する動きベクトル検出装置であって、
各前記入力フレームのエッジ成分を検出するエッジ検出手段と、
各前記入力フレームの予め定める注目領域に含まれる複数の画素を、前記エッジ検出手段によって検出されるエッジ成分に基づいて、代表となる1個の画素に間引いて、この画素を代表1画素として出力する間引き手段と、
前記間引き手段から出力される前記第1および第2の入力フレームの前記代表1画素を用いて、前記第1および第2の入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する適合度候補算出手段と、
前記間引き手段から出力される前記代表1画素の各入力フレームにおける位置、および前記適合度候補算出手段によって算出される前記適合度候補に基づいて、前記第1および第2の入力フレーム間の前記動きベクトルの候補となる動きベクトル候補を算出する動きベクトル候補算出手段と、
前記適合度候補算出手段によって算出される前記適合度候補、および前記動きベクトル候補算出手段によって算出される前記動きベクトル候補を記憶する記憶手段と、
前記記憶手段に記憶される前記適合度候補および前記動きベクトル候補に基づいて、前記適合度および前記動きベクトルを決定する動きベクトル決定手段とを備え、
前記記憶手段は、
前記間引き手段から出力される前記代表1画素の各入力フレームにおける位置に基づいて、前記動きベクトル候補および前記適合度候補を記憶する記憶アドレスを算出し、算出した前記記憶アドレスに前記動きベクトル候補および前記適合度候補を記憶し、
前記動きベクトル決定手段は、
前記記憶手段に記憶される適合度候補のうち、予め定める適合度補間範囲に含まれる画素の適合度候補を用いて、前記適合度補間範囲の中心に位置する中心画素の適合度を算出することを特徴とする動きベクトル検出装置。 - 前記動きベクトル決定手段は、前記適合度補間範囲に含まれる画素の適合度候補を単純平均することによって、前記中心画素の適合度を算出することを特徴とする請求項1に記載の動きベクトル検出装置。
- 前記記憶手段は、前記動きベクトル決定手段によって前記中心画素の適合度が算出されると、前記中心画素に対応する記憶アドレスに記憶される適合度候補に代えて、前記動きベクトル決定手段によって算出された前記中心画素の適合度を記憶することを特徴とする請求項1または2に記載の動きベクトル検出装置。
- 第1および第2の入力フレーム間で、前記第1および第2の入力フレームにそれぞれ含まれる1個以上の画素同士を対応付ける動きベクトルを検出する動きベクトル検出装置であって、
各前記入力フレームのエッジ成分を検出するエッジ検出手段と、
各前記入力フレームの予め定める注目領域に含まれる複数の画素を、前記エッジ検出手段によって検出されるエッジ成分に基づいて、代表となる1個の画素に間引いて、この画素を代表1画素として出力する間引き手段と、
前記間引き手段から出力される前記第1および第2の入力フレームの前記代表1画素を用いて、前記第1および第2の入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する適合度候補算出手段と、
前記間引き手段から出力される前記代表1画素の各入力フレームにおける位置、および前記適合度候補算出手段によって算出される前記適合度候補に基づいて、前記第1および第2の入力フレーム間の前記動きベクトルの候補となる動きベクトル候補を算出する動きベクトル候補算出手段と、
前記適合度候補算出手段によって算出される前記適合度候補、および前記動きベクトル候補算出手段によって算出される前記動きベクトル候補を記憶する記憶手段と、
前記記憶手段に記憶される前記適合度候補および前記動きベクトル候補に基づいて、前記適合度および前記動きベクトルを決定する動きベクトル決定手段とを備え、
前記記憶手段は、
前記間引き手段から出力される前記代表1画素の各入力フレームにおける位置に基づいて、前記動きベクトル候補および前記適合度候補を記憶する記憶アドレスを算出し、算出した前記記憶アドレスに前記動きベクトル候補および前記適合度候補を記憶し、
前記動きベクトル決定手段は、
前記記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の適合度候補を前記画素の動きベクトル候補に乗算して、乗算後の動きベクトル候補を算出し、さらに前記動きベクトル補間範囲に含まれる画素の前記乗算後の動きベクトル候補の和を、前記動きベクトル補間範囲に含まれる画素の適合度候補の和で除算することにより、前記動きベクトル補間範囲の中心に位置する中心画素の動きベクトルを算出することを特徴とする動きベクトル検出装置。 - 前記動きベクトル決定手段は、
前記記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の適合度候補を前記画素の動きベクトル候補に乗算して、乗算後の動きベクトル候補を算出し、さらに前記動きベクトル補間範囲に含まれる画素の前記乗算後の動きベクトル候補の和を、前記動きベクトル補間範囲に含まれる画素の適合度候補の和で除算することにより、前記動きベクトル補間範囲の中心に位置する中心画素の動きベクトルを算出することを特徴とする請求項1〜3のいずれか1つに記載の動きベクトル検出装置。 - 前記記憶手段は、前記記憶手段に記憶される適合度候補のうち、予め定める適合度補間範囲の中心に位置する中心画素に対応する記憶アドレスに記憶された中心画素適合度候補と、予め定める適合度閾値とを比較し、前記中心画素適合度候補が前記適合度閾値以上であると、前記中心画素に対応する記憶アドレスに記憶される適合度候補を保持し、前記中心画素適合度候補が前記適合度閾値未満であると、前記中心画素適合度候補に代えて、前記適合度閾値を記憶することを特徴とする請求項1〜8のいずれか1つに記載の動きベクトル検出装置。
- 請求項1〜9のいずれか1つに記載の動きベクトル検出装置と、
前記動きベクトル検出装置によって検出される前記動きベクトルおよび前記適合度に基づいて、前記第1および第2の入力フレームに含まれる画素から、前記第1および第2の入力フレーム間に内挿する内挿フレームに含まれる画素を生成することによって、画像のフレームレートを変換するフレームレート変換手段とを備えることを特徴とする画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008217866A JP4385077B1 (ja) | 2008-08-27 | 2008-08-27 | 動きベクトル検出装置および画像処理装置 |
PCT/JP2009/055423 WO2010023982A1 (ja) | 2008-08-27 | 2009-03-19 | 動きベクトル検出装置および画像処理装置 |
EP09809637A EP2317763A4 (en) | 2008-08-27 | 2009-03-19 | DEVICE FOR DETECTING MOTION VECTORS AND IMAGE PROCESSING DEVICE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008217866A JP4385077B1 (ja) | 2008-08-27 | 2008-08-27 | 動きベクトル検出装置および画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4385077B1 true JP4385077B1 (ja) | 2009-12-16 |
JP2010055252A JP2010055252A (ja) | 2010-03-11 |
Family
ID=41549789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008217866A Expired - Fee Related JP4385077B1 (ja) | 2008-08-27 | 2008-08-27 | 動きベクトル検出装置および画像処理装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2317763A4 (ja) |
JP (1) | JP4385077B1 (ja) |
WO (1) | WO2010023982A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5448983B2 (ja) * | 2010-04-05 | 2014-03-19 | 三菱電機株式会社 | 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 |
WO2013034981A2 (en) | 2011-09-08 | 2013-03-14 | Offshore Incorporations (Cayman) Limited, | System and method for visualizing synthetic objects withinreal-world video clip |
JP5975791B2 (ja) * | 2012-08-27 | 2016-08-23 | 三菱電機株式会社 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
EP3149945A1 (en) | 2014-05-30 | 2017-04-05 | Paofit Holdings Pte Ltd | Systems and methods for motion-vector-aided video interpolation using real-time smooth video playback speed variation |
JP6619565B2 (ja) * | 2015-05-21 | 2019-12-11 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
US9704298B2 (en) | 2015-06-23 | 2017-07-11 | Paofit Holdings Pte Ltd. | Systems and methods for generating 360 degree mixed reality environments |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE68928217T2 (de) * | 1988-09-09 | 1998-01-29 | Canon Kk | Automatische Bildstabilisierungsvorrichtung |
US6002431A (en) * | 1993-03-03 | 1999-12-14 | Goldstar Co., Ltd. | Video correction apparatus for camcorder |
JPH08163573A (ja) * | 1994-12-09 | 1996-06-21 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置 |
JP3534551B2 (ja) * | 1996-09-20 | 2004-06-07 | シャープ株式会社 | 動き検出装置 |
KR100708091B1 (ko) | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
JP4692846B2 (ja) * | 2004-04-09 | 2011-06-01 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2006186504A (ja) * | 2004-12-27 | 2006-07-13 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
KR101036787B1 (ko) | 2005-01-14 | 2011-05-25 | 가부시키가이샤 모르포 | 움직임 벡터 연산 방법과 이 방법을 이용한 손 떨림 보정장치, 촬상 장치, 및 동영상 생성 장치 |
-
2008
- 2008-08-27 JP JP2008217866A patent/JP4385077B1/ja not_active Expired - Fee Related
-
2009
- 2009-03-19 WO PCT/JP2009/055423 patent/WO2010023982A1/ja active Application Filing
- 2009-03-19 EP EP09809637A patent/EP2317763A4/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
EP2317763A4 (en) | 2012-04-11 |
WO2010023982A1 (ja) | 2010-03-04 |
JP2010055252A (ja) | 2010-03-11 |
EP2317763A1 (en) | 2011-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4997281B2 (ja) | イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置 | |
JP4869045B2 (ja) | 補間フレーム作成方法および補間フレーム作成装置 | |
WO2010079685A1 (ja) | 動きベクトル生成装置および動きベクトル生成方法 | |
JP4385077B1 (ja) | 動きベクトル検出装置および画像処理装置 | |
US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
EP1841234A2 (en) | Apparatus for creating interpolation frame | |
US20120093231A1 (en) | Image processing apparatus and image processing method | |
KR20100139030A (ko) | 이미지들의 수퍼 해상도를 위한 방법 및 장치 | |
CN109328454B (zh) | 图像处理装置 | |
US9245316B2 (en) | Image processing device, image processing method and non-transitory computer readable medium | |
JP2011509617A (ja) | 超解像ビデオ処理のためのスパースジオメトリー | |
US20100080299A1 (en) | Frame frequency conversion apparatus, frame frequency conversion method, program for achieving the method, computer readable recording medium recording the program, motion vector detection apparatus, and prediction coefficient generation apparatus | |
US20120008689A1 (en) | Frame interpolation device and method | |
JP2012049603A (ja) | 画像処理装置および画像処理プログラム | |
JP5139086B2 (ja) | インターレース方式から非インターレース方式へのビデオデータの変換 | |
US9106926B1 (en) | Using double confirmation of motion vectors to determine occluded regions in images | |
JP2012095048A (ja) | 画像処理装置、画像処理方法、画像表示装置、及び画像表示方法 | |
JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP6604783B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5928465B2 (ja) | 劣化復元システム、劣化復元方法およびプログラム | |
JP5448983B2 (ja) | 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 | |
JP2507178B2 (ja) | 動き検出方法及び動き検出装置 | |
JP2013126123A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP5975791B2 (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
JP2013192094A (ja) | 映像拡大装置及び映像拡大方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090915 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090928 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |