JP6412819B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents
画像処理装置、画像処理方法、および画像処理プログラム Download PDFInfo
- Publication number
- JP6412819B2 JP6412819B2 JP2015070390A JP2015070390A JP6412819B2 JP 6412819 B2 JP6412819 B2 JP 6412819B2 JP 2015070390 A JP2015070390 A JP 2015070390A JP 2015070390 A JP2015070390 A JP 2015070390A JP 6412819 B2 JP6412819 B2 JP 6412819B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- vector
- motion vector
- image processing
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/553—Motion estimation dealing with occlusions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Description
Claims (11)
- 第1フレームと第1フレームとは異なる時刻に表示される第2フレームとの間に内挿される補間フレームを生成する画像処理装置であって、
前記第1フレームから第2フレームへの動きベクトルを前記補間フレームに割当てる動き推定部と、
前記動き推定部によって動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第1の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第1の相違度を算出する第1の相違度算出部と、
前記第1の領域よりも広い第2の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第2の相違度を算出する第2の相違度算出部と、
前記第1の相違度および前記第2の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成する補間フレーム生成部を備える画像処理装置。 - 第1フレームと第1フレームとは異なる時刻に表示される第2フレームとの間に内挿される補間フレームを生成する画像処理装置であって、
前記第1フレームから第2フレームへの動きベクトルを前記補間フレームに割当てる動き推定部と、
前記動き推定部によって動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第1の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第1の相違度を算出する第1の相違度算出部と、
背景の主要な領域の動きベクトルを表す主要背景ベクトルと前記候補ベクトルとから第2の相違度を算出する第2の相違度算出部と、
前記第1の相違度および前記第2の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成する補間フレーム生成部を備える画像処理装置。 - 前記第1の相違度と前記第2の相違度を合成して合成重みを算出する合成部と、
前記合成重みで前記候補ベクトルを重み付け加算したベクトルを出力する出力部とを更に有し、
前記補間フレーム生成部は、前記動きベクトルおよび前記出力部から出力されたベクトルに基づいて第1フレームおよび第2フレームの画素値から補間フレームを生成する請求項1または2に記載の画像処理装置。 - 前記合成部は、前記第1の相違度から前記第1の相違度が小さいほど大きくなる第1の信頼度を計算し、前記第2の相違度から前記第2の相違度が小さいほど大きくなる第2の信頼度を計算し、前記第1の信頼度と前記第2の信頼度の積により前記合成重みを算出することを特徴とする請求項3に記載の画像処理装置。
- 前記合成部は,前記第1の相違度と前記第2の相違度を重み付け加算することを特徴とする請求項3に記載の画像処理装置。
- 前記出力部は,前記合成重みが最も大きくなる候補ベクトルを選択することを特徴とする請求項3に記載の画像処理装置。
- 前記出力部は,前記合成重みが最も小さくなる候補ベクトルを選択することを特徴とする請求項3に記載の画像処理装置。
- 前記主要背景ベクトルは,最も奥に存在する被写体の動きベクトルであることを特徴とする請求項2に記載の画像処理装置。
- 第1フレームと第1フレームとは異なる時刻に表示される第2フレームとの間に内挿される補間フレームの動きベクトルを生成する画像処理装置であって、
前記第1フレームから前記第2フレームへの動きベクトルを前記補間フレームに割当てる動き推定部と、
前記動き推定部によって動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第1の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第1の相違度を算出する第1の相違度算出部と、
前記第1の領域よりも広い第2の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第2の相違度を算出する第2の相違度算出部と、
前記第1の相違度および前記第2の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素の動きベクトルを出力する出力部を備える画像処理装置。 - 第1フレームと第1フレームとは異なる時刻に表示される第2フレームとの間に内挿される補間フレームを生成する画像処理方法であって、
前記第1フレームから第2フレームへの動きベクトルを前記補間フレームに割当てるステップと、
前記動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第1の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第1の相違度を算出するステップと、
前記第1の領域よりも広い第2の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第2の相違度を算出するステップと、
前記第1の相違度および前記第2の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成するステップを備える画像処理方法。 - 第1フレームと第1フレームとは異なる時刻に表示される第2フレームとの間に内挿される補間フレームを生成する画像処理プログラムであって、
前記第1フレームから第2フレームへの動きベクトルを前記補間フレームに割当てるステップと、
前記動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第1の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第1の相違度を算出するステップと、
前記第1の領域よりも広い第2の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第2の相違度を算出するステップと、
前記第1の相違度および前記第2の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成するステップをコンピュータに実行させるための画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015070390A JP6412819B2 (ja) | 2015-03-30 | 2015-03-30 | 画像処理装置、画像処理方法、および画像処理プログラム |
US14/943,374 US10038913B2 (en) | 2015-03-30 | 2015-11-17 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015070390A JP6412819B2 (ja) | 2015-03-30 | 2015-03-30 | 画像処理装置、画像処理方法、および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016192601A JP2016192601A (ja) | 2016-11-10 |
JP6412819B2 true JP6412819B2 (ja) | 2018-10-24 |
Family
ID=57016500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015070390A Expired - Fee Related JP6412819B2 (ja) | 2015-03-30 | 2015-03-30 | 画像処理装置、画像処理方法、および画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10038913B2 (ja) |
JP (1) | JP6412819B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6659317B2 (ja) * | 2015-11-17 | 2020-03-04 | 株式会社東芝 | 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム |
KR102508757B1 (ko) * | 2018-08-03 | 2023-03-09 | 엘지디스플레이 주식회사 | 영상 처리 장치 및 방법, 디스플레이 장치 |
KR20220163994A (ko) * | 2020-04-24 | 2022-12-12 | 엘지전자 주식회사 | Pov 디스플레이 장치 및 그 제어방법 |
RU2747965C1 (ru) * | 2020-10-05 | 2021-05-18 | Самсунг Электроникс Ко., Лтд. | Обработка окклюзий для frc c помощью глубокого обучения |
US11889227B2 (en) | 2020-10-05 | 2024-01-30 | Samsung Electronics Co., Ltd. | Occlusion processing for frame rate conversion using deep learning |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4238772A (en) * | 1979-08-03 | 1980-12-09 | The United States Of America As Represented By The Secretary Of The Air Force | Image enhancement using on-line spatial filtering |
US4488245A (en) * | 1982-04-06 | 1984-12-11 | Loge/Interpretation Systems Inc. | Method and means for color detection and modification |
US4890160A (en) * | 1986-03-19 | 1989-12-26 | British Broadcasting Corporation | TV picture motion vector measurement by correlation of pictures |
EP0419752B1 (en) * | 1989-09-25 | 1995-05-10 | Rai Radiotelevisione Italiana | System for encoding and transmitting video signals comprising motion vectors |
DE69811631T2 (de) * | 1997-10-29 | 2003-10-30 | Koninklijke Philips Electronics N.V., Eindhoven | Bewegungsvektorschätzung und detektion von bedeckten/unbedeckten bildteilen |
JP2002523985A (ja) * | 1998-08-21 | 2002-07-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像信号における問題領域位置決め |
EP1590957A1 (en) | 2003-01-23 | 2005-11-02 | Koninklijke Philips Electronics N.V. | Background motion vector detection |
JP4655214B2 (ja) | 2005-09-09 | 2011-03-23 | ソニー株式会社 | 画像処理装置および方法、プログラム並びに記録媒体 |
JP4303748B2 (ja) * | 2006-02-28 | 2009-07-29 | シャープ株式会社 | 画像表示装置及び方法、画像処理装置及び方法 |
JP2008252176A (ja) * | 2007-03-29 | 2008-10-16 | Toshiba Corp | 動画像符号化装置及び方法 |
JP2009188702A (ja) * | 2008-02-06 | 2009-08-20 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP4670918B2 (ja) | 2008-08-26 | 2011-04-13 | ソニー株式会社 | フレーム補間装置及びフレーム補間方法 |
JP5245783B2 (ja) | 2008-12-09 | 2013-07-24 | 富士通株式会社 | フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置 |
CN101686393B (zh) * | 2008-09-28 | 2012-10-17 | 华为技术有限公司 | 应用于模板匹配的快速运动搜索方法及装置 |
TWI490819B (zh) * | 2009-01-09 | 2015-07-01 | Mstar Semiconductor Inc | 影像處理方法及其裝置 |
EP2224738A1 (en) * | 2009-02-27 | 2010-09-01 | Nxp B.V. | Identifying occlusions |
WO2011030399A1 (ja) | 2009-09-08 | 2011-03-17 | 株式会社 東芝 | 画像処理方法及び装置 |
TWI408621B (zh) * | 2009-11-17 | 2013-09-11 | Mstar Semiconductor Inc | 影像插補處理裝置及其方法 |
US20110169818A1 (en) * | 2010-01-13 | 2011-07-14 | Sharp Laboratories Of America, Inc. | Reducing viewing discomfort |
JP4991890B2 (ja) | 2010-03-01 | 2012-08-01 | 株式会社東芝 | 補間フレーム生成装置及び方法 |
ES2660610T3 (es) * | 2010-04-30 | 2018-03-23 | Vestel Elektronik Sanayi Ve Ticaret A.S. | Procedimiento y aparato para la detección y clasificación de regiones de oclusión |
-
2015
- 2015-03-30 JP JP2015070390A patent/JP6412819B2/ja not_active Expired - Fee Related
- 2015-11-17 US US14/943,374 patent/US10038913B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US10038913B2 (en) | 2018-07-31 |
JP2016192601A (ja) | 2016-11-10 |
US20160295232A1 (en) | 2016-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6412819B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP4398925B2 (ja) | 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム | |
US9591258B2 (en) | Image processing apparatus, image processing method, program and storage medium | |
JP6186834B2 (ja) | 目標追尾装置及び目標追尾プログラム | |
US20110050939A1 (en) | Image processing apparatus, image processing method, program, and electronic device | |
KR102094506B1 (ko) | 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치. | |
JPWO2017154630A1 (ja) | 画像処理装置、画像処理方法および記録媒体 | |
KR20210056149A (ko) | 깊이 영상 생성 방법 및 깊이 영상 생성 장치 | |
CN108885778B (zh) | 图像处理设备和图像处理方法 | |
JP2012034327A5 (ja) | ||
JP6223899B2 (ja) | 動きベクトル検出装置、距離検出装置および動きベクトル検出方法 | |
JP2009077309A (ja) | 動き予測装置および動き予測方法 | |
JP2010055252A (ja) | 動きベクトル検出装置および画像処理装置 | |
JP2012181710A (ja) | オブジェクト追跡装置、方法、及びプログラム | |
JP2013098961A (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
JP5975791B2 (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
JP6854629B2 (ja) | 画像処理装置、画像処理方法 | |
JP2010039968A (ja) | オブジェクト検出装置及び検出方法 | |
JP2005250561A (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP2007156954A (ja) | 信頼度テーブル作成方法、オプティカルフロー推定方法、信頼度テーブル作成装置、オプティカルフロー推定装置、及びプログラム | |
WO2014175484A1 (ko) | 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치 | |
JP2014153918A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2019062406A (ja) | 動きベクトル検出装置 | |
US10057596B2 (en) | Motion estimation method and apparatus for periodic pattern | |
JP2023156866A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20170220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180831 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181001 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6412819 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |