JP6317180B2 - 画像生成装置及びプログラム - Google Patents
画像生成装置及びプログラム Download PDFInfo
- Publication number
- JP6317180B2 JP6317180B2 JP2014110633A JP2014110633A JP6317180B2 JP 6317180 B2 JP6317180 B2 JP 6317180B2 JP 2014110633 A JP2014110633 A JP 2014110633A JP 2014110633 A JP2014110633 A JP 2014110633A JP 6317180 B2 JP6317180 B2 JP 6317180B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- space
- original
- information
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
画像生成装置は、入力される静止画像又は動画像において指定される欠損領域における画像を補完することにより、欠損領域を除去した静止画像又は動画像を生成する装置である。以下、静止画像と動画像とを区別しない場合に静止画像と動画像とを画像という。なお、動画像は、複数の連続した静止画像(フレーム)の集合である。図1は、画像生成装置1の構成例を示すブロック図である。図1に示すように、画像生成装置1は、情報量空間変換部11、コンプリーション処理部12及び情報量空間逆変換部13を備える。
(手順1)情報量空間変換部11は、入力された画像においてマスクが示す欠損領域と欠損領域以外の領域とを二値で表したマスク情報を生成する。
(手順2)情報量空間変換部11は、入力された画像のうち欠損領域以外の領域に対して、原画像空間から変換後空間への変換を行って変換後空間における画像を取得する。
第1の実施形態における画像生成装置1では、情報量空間変換部11がカラー画像空間からグレイスケール画像空間への変換を行う。第1の実施形態においては、原画像がカラーの画像であり、原画像空間がカラー画像空間である。また、情報量空間変換部11は、原画像の各画素における3つのパラメータである画素値(R,G,B)で定められるカラー画像空間から1つのパラメータである画素値Yで定められるグレイスケール画像空間への変換を行う。情報量空間変換部11は、変換により生成したグレイスケール画像をコンプリーション処理部12に出力する。
Y=0.299×R+0.587×G+0.114×B …(1)
[参考文献1]Anat Levin, Dani Lischinski and Yair Weiss, "Colorization Using Optimization," SIGGRAPH'04 ACM SIGGRAPH 2004 Papers, August 2004, p.689-694
[参考文献2]Tomihisa Welsh, Michael Ashikhmin and Klaus Mueller, "Transferring Color to Greyscale Images," SIGGRAPH'02 Proceedings of the 29th annual conference on Computer graphics and interactive techniques, July 2002, P.277-280
(手順A)情報量空間逆変換部13の入力であるカラー画像と、コンプリーション処理部12の入力であるグレイスケール画像とにおける特徴点を取得し、カラー画像とグレイスケール画像とにおける特徴点のマッチングをとる。特徴点のマッチングをとる際には、例えばSIFTやSURFによる特徴点検出・特徴量抽出を用いることができる。
(手順B)マッチングのとれた特徴点の組に対し、カラー画像の画素値(R,G,B)をグレイスケール画像の画素値Yに対するサンプルとして取得する。
第2の実施形態における画像生成装置1では、情報量空間変換部11がカラー画像空間から動きベクトル空間への変換を行う。第2の実施形態においては、原画像がカラーの動画像であり、原画像空間がカラー画像空間である。情報量空間変換部11は、原画像の各画素又は予め定められた各部分領域に対して動きベクトルを算出し、動画像に含まれる各静止画像の画素又は部分領域それぞれに動きベクトルを割り当てた画像を生成する。情報量空間変換部11は、生成した画像をコンプリーション処理部12に出力する。
[参考文献3]Bruce D. Lucas and Takeo Kanade, "An Iterative Image Registration Technique with an Application to Stereo Vision," IJCAI'81 Proceedings of the 7th international joint conference on Artificial intelligence - Volume.2, 1981, P.674-679
[参考文献4]Jean-Yves Bouguet, "Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm," In Intel Research Laboratory, Technical Report, 1999
[参考文献5]Takaaki Shiratori, Yasuyuki Matsushita, Sing Bing Kang and Xiaoou Tang, " Video Completion by Motion Field Transfer," In IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR 2006), Volume 1, 2006
第3の実施形態における画像生成装置1では、情報量空間変換部11がカラー画像空間からグレイスケール画像空間への変換を原画像に対して行い、更にグレイスケール画像空間の画像を特徴量空間に変換する。コンプリーション処理部12が、特徴量空間の画像に基づいて、グレイスケール画像空間の画像に対してコンプリーション処理を行う。第3の実施形態においては、原画像がカラー画像であり、原画像空間がカラー画像空間である。
11…情報量空間変換部
12…コンプリーション処理部
13…情報量空間逆変換部
Claims (5)
- 欠損領域の除去対象である1枚の原静止画像と前記欠損領域を示すマスク情報とから前記1枚の原静止画像内の欠損領域を除去した画像を生成する画像生成装置であって、
前記1枚の原静止画像の各画素値を示すパラメータで定められる原画像空間と異なる画像空間への変換を前記1枚の原静止画像に対して行うことにより、前記異なる画像空間における第1の画像を生成する情報量空間変換部と、
前記マスク情報と前記第1の画像とに基づいて、前記第1の画像における前記欠損領域に対するコンプリーション処理を行うことにより第2の画像を生成するコンプリーション処理部と、
前記1枚の原静止画像及び前記第2の画像の画素値に基づいて、前記異なる画像空間から前記原画像空間への変換を前記第2の画像に対して行う情報量空間逆変換部と
を備えることを特徴とする画像生成装置。 - 前記情報量空間変換部は、前記原画像空間における画素値よりも画素の特徴を示す値の取り得る範囲が狭い前記異なる画像空間への変換を、前記1枚の原静止画像に対して行う
ことを特徴とする請求項1に記載の画像生成装置。 - 欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とから前記原画像内の欠損領域を除去した画像を生成する画像生成装置であって、
前記原画像の各画素値を示すパラメータで定められる原画像空間と異なる画像空間への変換を前記原画像に対して行うことにより、前記異なる画像空間における第1の画像を生成する情報量空間変換部と、
前記マスク情報と前記第1の画像とに基づいて、前記第1の画像における前記欠損領域に対するコンプリーション処理を行うことにより第2の画像を生成するコンプリーション処理部と、
前記原画像及び前記第2の画像の画素値に基づいて、前記異なる画像空間から前記原画像空間への変換を前記第2の画像に対して行う情報量空間逆変換部と
を備え、
前記情報量空間変換部は、前記原画像空間であるカラー画像からグレイスケール画像空間への変換を、前記原画像に対して行うことにより前記第1の画像としてグレイスケール画像を生成し、
前記情報量空間逆変換部は、グレイスケール画像空間からカラー画像空間への変換を前記第2の画像に対して行う
ことを特徴とする画像生成装置。 - 前記情報量空間変換部は、前記グレイスケール画像に対して、グレイスケール画像空間から特徴量空間への変換を行うことにより特徴量画像を生成し、
前記コンプリーション処理部は、前記特徴量画像における前記欠損領域に対してコンプリーション処理を行うことにより第3の画像を生成し、前記マスク情報と前記グレイスケール画像と前記第3の画像とに基づいて、前記グレイスケール画像における前記欠損領域に対するコンプリーション処理を行うことにより前記第2の画像を生成する
ことを特徴とする請求項3に記載の画像生成装置。 - 請求項1から請求項4のいずれか一項に記載の画像生成装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014110633A JP6317180B2 (ja) | 2014-05-28 | 2014-05-28 | 画像生成装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014110633A JP6317180B2 (ja) | 2014-05-28 | 2014-05-28 | 画像生成装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015225552A JP2015225552A (ja) | 2015-12-14 |
JP6317180B2 true JP6317180B2 (ja) | 2018-04-25 |
Family
ID=54842234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014110633A Active JP6317180B2 (ja) | 2014-05-28 | 2014-05-28 | 画像生成装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6317180B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017131071A1 (ja) * | 2016-01-28 | 2017-08-03 | 日本電信電話株式会社 | 仮想環境構築装置、映像提示装置、モデル学習装置、最適奥行き決定装置、それらの方法、およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004264919A (ja) * | 2003-02-26 | 2004-09-24 | Rikogaku Shinkokai | 画像処理方法 |
JP2007148945A (ja) * | 2005-11-30 | 2007-06-14 | Tokyo Institute Of Technology | 画像修復方法 |
JP2011035567A (ja) * | 2009-07-30 | 2011-02-17 | Ricoh Co Ltd | 画像処理装置、方法及びコンピュータ読取可能な記録媒体 |
-
2014
- 2014-05-28 JP JP2014110633A patent/JP6317180B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015225552A (ja) | 2015-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wadhwa et al. | Synthetic depth-of-field with a single-camera mobile phone | |
Zhang et al. | Densely connected pyramid dehazing network | |
JP7403528B2 (ja) | シーンの色及び深度の情報を再構成するための方法及びシステム | |
US8665341B2 (en) | Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data | |
JP7003994B2 (ja) | 画像処理装置および方法 | |
KR101991766B1 (ko) | 적응적인 다중-차원 데이터 분해 | |
EP3104332B1 (en) | Digital image manipulation | |
JP5945255B2 (ja) | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム | |
JP2019057248A (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
JP2007201533A (ja) | ボケ変換装置及び方法 | |
WO2013190862A1 (ja) | 画像処理装置及び画像処理方法 | |
Chandramouli et al. | Convnet-based depth estimation, reflection separation and deblurring of plenoptic images | |
US11620730B2 (en) | Method for merging multiple images and post-processing of panorama | |
CN111179159B (zh) | 消除视频中目标影像的方法、装置、电子设备及存储介质 | |
JP2008191072A (ja) | 3次元形状復元方法,3次元形状復元装置,その方法を実装した3次元形状復元プログラム及びそのプログラムを記録した記録媒体 | |
JP5824155B2 (ja) | 画像のノイズ除去、圧縮および補間のための異方性勾配の正則化 | |
TW201436552A (zh) | 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置 | |
JP2018067106A (ja) | 画像処理装置、画像処理プログラム、及び画像処理方法 | |
JP2016015037A (ja) | 情報処理装置及びその制御方法、並びに、ビデオカメラ | |
Sharif et al. | DarkDeblur: Learning single-shot image deblurring in low-light condition | |
JP6317180B2 (ja) | 画像生成装置及びプログラム | |
KR101566459B1 (ko) | 이미지 기반의 비주얼 헐에서의 오목 표면 모델링 | |
JP2012169701A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR101152525B1 (ko) | 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치 | |
JP5478533B2 (ja) | 全方位画像生成方法、画像生成装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170919 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180327 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180329 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6317180 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |