KR100870115B1 - 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법 - Google Patents
블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법 Download PDFInfo
- Publication number
- KR100870115B1 KR100870115B1 KR20050126746A KR20050126746A KR100870115B1 KR 100870115 B1 KR100870115 B1 KR 100870115B1 KR 20050126746 A KR20050126746 A KR 20050126746A KR 20050126746 A KR20050126746 A KR 20050126746A KR 100870115 B1 KR100870115 B1 KR 100870115B1
- Authority
- KR
- South Korea
- Prior art keywords
- block
- frame
- interpolation
- motion vector
- determining
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000013598 vector Substances 0.000 claims abstract description 71
- 238000001914 filtration Methods 0.000 claims description 19
- 238000009499 grossing Methods 0.000 claims description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 2
- 238000002604 ultrasonography Methods 0.000 abstract description 7
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 230000002457 bidirectional effect Effects 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
Claims (13)
- a) 각각 다수의 블록으로 분류되는 화소들을 포함하는, 이웃하는 제1 및 제2 프레임을 입력받는 단계;b) 상기 제1 및 제2 프레임의 상관도를 구하여 상기 제1 및 제2 프레임 사이에, 다수의 블록으로 분류되는 화소들을 포함하는 보간 프레임 형성 여부를 결정하는 단계;c) 상기 보간 프레임의 내의 모든 블록을 차례로 기준블록으로서 선택하면서, 상기 선택된 기준블록에 대응하는 제1 블록을 상기 제1 프레임에서 선택하고 상기 기준블록과 상기 제1 블록 사이의 제1 움직임 벡터를 결정하고, 상기 제1 블록에 정합되는 제2 블록을 상기 제2 프레임에서 결정하고, 상기 기준블록과 상기 제2 블록 사이의 제2 움직임 벡터를 결정하는 단계;d) 상기 제1 및 제2 움직임 벡터에 기초하여 상기 보간 프레임 내 각 블록의 움직임 벡터를 결정하는 단계;e) 상기 보간 프레임 내 각 블록의 움직임 벡터를 적용하여, 상기 제1 프레임 및 상기 제2 프레임으로부터 상기 보간 프레임의 화소값을 결정하여 상기 보간 프레임을 형성하는 단계; 및f) 상기 보간 프레임의 손상도를 검사하여 상기 손상도가 임계값 이하일 경우 상기 보간 프레임을 채택하여 영상을 형성하는 단계를 포함하는, 영상 형성 방법.
- 제 1 항에 있어서,상기 b) 단계는,b1) 상기 상관도와 임계값을 비교하는 단계;b2) 상기 상관도가 임계값 이하일 경우, 상기 단계 a)로 되돌아 가는 단계; 및b3) 상기 상관도가 임계값 이상일 경우, 상기 보간 프레임을 형성하기로 결정하는 단계를 포함하는, 영상 형성 방법.
- 제 1 항에 있어서,상기 단계 c)는,c1) 상기 보간 프레임에서 선택된 상기 기준블록의 위치를 중심으로 상기 제1 프레임 및 상기 제2 프레임에서 동일한 크기의 탐색영역을 각각 설정하는 단계;c2) 상기 제1 프레임에서 상기 선택된 기준블록에 대응하는 상기 제1 블록을 선택하는 단계;c3) 상기 기준블록 중심의 좌표와 상기 제1 블록 중심의 좌표로부터 상기 제1 움직임 벡터를 결정하는 단계;c4) 상기 제2 프레임 내에서 상기 제1 블록에 정합되는 상기 제2 블록을 결정하는 단계; 및c5) 상기 기준블록의 중심 좌표와 상기 제2 블록 중심의 좌표로부터 상기 제2 움직임 벡터를 결정하는 단계를 포함하는, 영상 형성 방법.
- 제 3 항에 있어서,상기 단계 c4)에서,상기 제1 움직임 벡터의 크기에 따라 화소 간격을 변화시키면서 정합을 검색하여 상기 제2 블록을 결정하는, 영상 형성 방법.
- 제 3 항에 있어서,상기 단계 c4)는,c41) 상기 제1 움직임 벡터의 크기가 임계값과 같을 경우 상기 탐색영역의 중심에서 나선형으로 제1 화소 간격만큼 이동하면서 상기 제1 블록에 정합되는 블록을 탐색하는 단계;c42) 상기 제1 움직임 벡터의 크기가 임계값 보다 클 경우 상기 탐색영역의 중심에서 나선형으로 상기 제1 화소 간격 보다 큰 제2 화소 간격만큼 이동하면서 상기 제1 블록에 정합되는 블록을 탐색하는 단계; 및c43) 상기 c42) 단계에서 상기 정합 블록이 탐색된 경우, 상기 탐색된 정합 블록을 중심으로 상기 제2 화소 간격 보다 작은 제3 화소 간격만큼 이동하면서 상기 제1 블록에 정합되는 블록을 탐색하여 상기 제2 블록을 결정하는 단계를 포함하는, 영상 형성 방법.
- 제 1 항에 있어서,상기 단계 c) 후,상기 제1 및 제2 움직임 벡터를 벡터 미디언 필터링(vector median filtering)을 이용하여 평활화시키는 단계를 더 포함하는, 영상 형성 방법.
- 제 1 항에 있어서,상기 단계 e)에서,가중치 정보를 이용한 보간 기법으로 다수의 보간 프레임을 형성하는, 영상 형성 방법.
- 제 1 항에 있어서,상기 단계 f)는,f1) 상기 보간 프레임과 상기 제1 프레임 또는 상기 제2 프레임을 비교하여 상기 보간 프레임내 각 블록의 SAD(Sum of Absolute Difference)를 산출하는 하는 단계; 및f2) 상기 SAD가 임계값 이상인 블록의 수가 기준 갯수 이하일 경우, 상기 형성된 보간 프레임을 채택하는 단계를 포함하는, 영상 형성 방법.
- 제 8 항에 있어서,상기 단계 f) 후,g) 상기 SAD에 기초하여, 상기 채택된 상기 보간 프레임 내의 각 블록의 손상 여부를 파악하는 단계; 및h) 선형보간을 실시하여 상기 손상된 블록을 복구하는 단계를 더 포함하는, 영상 형성 방법.
- 제 9 항에 있어서,상기 단계 h) 후,g1) 경계를 필터링할 블록을 결정하는 단계;g2) 결정된 블록의 경계를 필터링하는 단계를 더 포함하는, 영상 형성 방법.
- 제 10 항에 있어서,상기 단계 g1)은,g11) 상기 단계 h) 후, 상기 보간 프레임 내 이웃하는 블록들의 움직임 벡터의 차를 산출하는 단계; 및g12) 상기 산출된 움직임 벡터의 차에 기초하여 경계를 필터링할 블록을 결정하는 단계를 포함하는, 영상 형성 방법.
- 제 10 항에 있어서,상기 단계 g1)에서 상기 보간 프레임 내 블록들의 SAD에 기초하여 경계를 필터링할 블록을 결정하는, 영상 형성 방법.
- 제 11 항에 있어서,상기 단계 g2)에서 상기 산출된 움직임 벡터의 차와 상기 SAD에 기초하여 경계를 필터링할 블록을 결정하는, 영상 형성 방법.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20050126746A KR100870115B1 (ko) | 2005-12-21 | 2005-12-21 | 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법 |
US11/613,569 US20070140347A1 (en) | 2005-12-21 | 2006-12-20 | Method of forming an image using block matching and motion compensated interpolation |
EP20060026410 EP1814329A3 (en) | 2005-12-21 | 2006-12-20 | Method of forming an image using block matching and motion compensated interpolation |
JP2006345009A JP2007181674A (ja) | 2005-12-21 | 2006-12-21 | ブロック整合及び動き補償補間を利用した映像形成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20050126746A KR100870115B1 (ko) | 2005-12-21 | 2005-12-21 | 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070066047A KR20070066047A (ko) | 2007-06-27 |
KR100870115B1 true KR100870115B1 (ko) | 2008-12-10 |
Family
ID=38137767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR20050126746A KR100870115B1 (ko) | 2005-12-21 | 2005-12-21 | 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20070140347A1 (ko) |
EP (1) | EP1814329A3 (ko) |
JP (1) | JP2007181674A (ko) |
KR (1) | KR100870115B1 (ko) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100855976B1 (ko) * | 2007-02-02 | 2008-09-02 | 삼성전자주식회사 | 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법 |
JP4513819B2 (ja) * | 2007-03-19 | 2010-07-28 | 株式会社日立製作所 | 映像変換装置、映像表示装置、映像変換方法 |
US8605786B2 (en) * | 2007-09-04 | 2013-12-10 | The Regents Of The University Of California | Hierarchical motion vector processing method, software and devices |
US8204126B2 (en) * | 2008-01-10 | 2012-06-19 | Panasonic Corporation | Video codec apparatus and method thereof |
KR101493325B1 (ko) | 2008-09-03 | 2015-02-16 | 삼성전자주식회사 | 정밀 움직임 예측을 기반으로 한 프레임 보간 장치 및 그 방법 |
US20100303301A1 (en) * | 2009-06-01 | 2010-12-02 | Gregory Micheal Lamoureux | Inter-Frame Motion Detection |
JP2010288098A (ja) * | 2009-06-12 | 2010-12-24 | Sony Corp | 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム |
JP2011223493A (ja) * | 2010-04-14 | 2011-11-04 | Canon Inc | 画像処理装置および画像処理方法 |
JP5600285B2 (ja) * | 2010-11-16 | 2014-10-01 | 日立アロカメディカル株式会社 | 超音波画像処理装置 |
KR101677696B1 (ko) * | 2010-12-14 | 2016-11-18 | 한국전자통신연구원 | 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치 |
US9560372B2 (en) * | 2010-12-27 | 2017-01-31 | Stmicroelectronics, Inc. | Directional motion vector filtering |
TWI493978B (zh) * | 2011-08-23 | 2015-07-21 | Mstar Semiconductor Inc | 影像處理裝置、影像處理方法及影像播放系統 |
JP2013074384A (ja) * | 2011-09-27 | 2013-04-22 | Jvc Kenwood Corp | 画像処理装置及び画像処理方法 |
JP5897308B2 (ja) | 2011-11-24 | 2016-03-30 | 株式会社東芝 | 医用画像処理装置 |
JP2013165487A (ja) * | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置、およびプログラム |
US9280806B2 (en) * | 2013-01-10 | 2016-03-08 | Broadcom Corporation | Edge smoothing block filtering and blending |
KR101449853B1 (ko) * | 2013-05-23 | 2014-10-13 | 경희대학교 산학협력단 | 스테레오 영상의 블록 매칭 장치 |
JP2015056695A (ja) | 2013-09-10 | 2015-03-23 | 株式会社東芝 | 動画再生装置 |
US9558421B2 (en) * | 2013-10-04 | 2017-01-31 | Reald Inc. | Image mastering systems and methods |
KR101581689B1 (ko) * | 2014-04-22 | 2015-12-31 | 서강대학교산학협력단 | 움직임 보정을 이용한 광음향 영상 획득 장치 및 방법 |
KR101964844B1 (ko) * | 2016-07-22 | 2019-04-03 | 주식회사 바텍 | 움직임 보상에 기반한 ct 데이터 재구성 방법 및 장치 |
KR101708905B1 (ko) * | 2016-11-14 | 2017-03-08 | 한국전자통신연구원 | 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치 |
KR101867885B1 (ko) * | 2017-08-11 | 2018-07-23 | 한국전자통신연구원 | 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치 |
CN112055254B (zh) * | 2019-06-06 | 2023-01-06 | Oppo广东移动通信有限公司 | 视频播放的方法、装置、终端及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010111740A (ko) * | 2000-06-13 | 2001-12-20 | 윤종용 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
KR20020067192A (ko) * | 2001-02-15 | 2002-08-22 | 삼성전자 주식회사 | 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6594313B1 (en) * | 1998-12-23 | 2003-07-15 | Intel Corporation | Increased video playback framerate in low bit-rate video applications |
US7408986B2 (en) * | 2003-06-13 | 2008-08-05 | Microsoft Corporation | Increasing motion smoothness using frame interpolation with motion analysis |
JP2005184233A (ja) * | 2003-12-17 | 2005-07-07 | Sony Corp | データ処理装置およびその方法と符号化装置 |
US7346109B2 (en) * | 2003-12-23 | 2008-03-18 | Genesis Microchip Inc. | Motion vector computation for video sequences |
US8369405B2 (en) * | 2004-05-04 | 2013-02-05 | Qualcomm Incorporated | Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video |
US20060233253A1 (en) * | 2005-03-10 | 2006-10-19 | Qualcomm Incorporated | Interpolated frame deblocking operation for frame rate up conversion applications |
US8520739B2 (en) * | 2005-05-09 | 2013-08-27 | Intel Corporation | Method and apparatus for adaptively reducing artifacts in block-coded video |
-
2005
- 2005-12-21 KR KR20050126746A patent/KR100870115B1/ko active IP Right Grant
-
2006
- 2006-12-20 US US11/613,569 patent/US20070140347A1/en not_active Abandoned
- 2006-12-20 EP EP20060026410 patent/EP1814329A3/en not_active Withdrawn
- 2006-12-21 JP JP2006345009A patent/JP2007181674A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010111740A (ko) * | 2000-06-13 | 2001-12-20 | 윤종용 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
KR20020067192A (ko) * | 2001-02-15 | 2002-08-22 | 삼성전자 주식회사 | 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
EP1814329A3 (en) | 2010-10-06 |
KR20070066047A (ko) | 2007-06-27 |
US20070140347A1 (en) | 2007-06-21 |
EP1814329A2 (en) | 2007-08-01 |
JP2007181674A (ja) | 2007-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100870115B1 (ko) | 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법 | |
US8018998B2 (en) | Low complexity motion compensated frame interpolation method | |
CN105517671B (zh) | 一种基于光流法的视频插帧方法及*** | |
JP5594968B2 (ja) | ビデオ画像間の運動を確定するための方法と装置 | |
KR101536794B1 (ko) | 후광현상이 줄어든 영상보간 장치 및 방법 | |
CN104219533B (zh) | 一种双向运动估计方法和视频帧率上转换方法及*** | |
Dikbas et al. | Novel true-motion estimation algorithm and its application to motion-compensated temporal frame interpolation | |
US20110129015A1 (en) | Hierarchical motion vector processing method, software and devices | |
CN106254885B (zh) | 数据处理***、执行运动估计的方法 | |
JP2014511054A (ja) | 画像シーケンスを圧縮するためのコーディング方法及び画像コーディング装置 | |
KR20100139030A (ko) | 이미지들의 수퍼 해상도를 위한 방법 및 장치 | |
JPH10285602A (ja) | 映像データをエンコードするための動的なスプライト | |
KR101418116B1 (ko) | 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환장치 | |
KR20070063369A (ko) | 움직임 추정 기반 프레임 보간을 위한 장치 및 방법 | |
KR101544158B1 (ko) | 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치 | |
JP5025645B2 (ja) | 動き推定方法 | |
Gangal et al. | An improved motion-compensated restoration method for damaged color motion picture films | |
JP5014987B2 (ja) | ビデオモード検出による動き補償 | |
Li et al. | Multi-channel mixed-pattern based frame rate up-conversion using spatio-temporal motion vector refinement and dual-weighted overlapped block motion compensation | |
US8743959B2 (en) | Motion estimation | |
KR20050081730A (ko) | 움직임 보상 기반의 영상 신호 프레임율 변환 방법 | |
Li et al. | Wavelet pyramid based multi-resolution bilateral motion estimation for frame rate up-conversion | |
KR100961456B1 (ko) | 프레임 차이 기반의 적응형 확장 블록을 이용한 움직임추정 방법 | |
Zhao et al. | Frame rate up-conversion based on edge information | |
Lu et al. | An artifact information based motion vector processing method for motion compensated frame interpolation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120910 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20130911 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20141103 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20151020 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20161026 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20171106 Year of fee payment: 10 |