JP6845181B2 - 映像生成装置、映像生成方法、およびプログラム - Google Patents
映像生成装置、映像生成方法、およびプログラム Download PDFInfo
- Publication number
- JP6845181B2 JP6845181B2 JP2018083179A JP2018083179A JP6845181B2 JP 6845181 B2 JP6845181 B2 JP 6845181B2 JP 2018083179 A JP2018083179 A JP 2018083179A JP 2018083179 A JP2018083179 A JP 2018083179A JP 6845181 B2 JP6845181 B2 JP 6845181B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- deformation
- color
- map
- modulated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 43
- 230000010354 integration Effects 0.000 claims description 23
- 238000000926 separation method Methods 0.000 claims description 18
- 239000003086 colorant Substances 0.000 claims description 16
- 230000000875 corresponding effect Effects 0.000 description 162
- 239000012780 transparent material Substances 0.000 description 56
- 239000000126 substance Substances 0.000 description 48
- 239000007788 liquid Substances 0.000 description 26
- 230000008859 change Effects 0.000 description 19
- 239000007787 solid Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 239000000463 material Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 9
- 238000010606 normalization Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 206010021403 Illusion Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000000295 fuel oil Substances 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/147—Optical correction of image distortions, e.g. keystone
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B25/00—Viewers, other than projection viewers, giving motion-picture effects by persistence of vision, e.g. zoetrope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/60—3D [Three Dimensional] animation of natural phenomena, e.g. rain, snow, water or plants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Description
[概要]
まず本実施形態の概要を説明する。
色を操作する映像生成装置は、複数の変形地図(原画像に由来する各画素に対応する各要素を持ち、各要素が対応する各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図)のそれぞれを用い、原画像に由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得、複数の変調画像を輝度成分(明度成分)と色成分に分離して複数の輝度成分画像と色成分画像とを得、色変調情報に従って複数の色成分画像の色を変調した(色を変えた)複数の色変調画像を得、輝度成分画像と色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る。この映像を見た観察者は、色変調情報に従った色を持つ透明素材質感の物質が原画像と当該観察者との間の領域に配置されているかのように錯覚する。この映像の生成に複雑な画像処理技術は不要である。
参考文献1:Kawabe, T., Maruya, K., & Nishida, S., "Perceptual transparency from image deformation," Proceedings of the National Academy of Sciences, August 18, 2015, 112(33), E4620-E4627, [平成30年3月20日検索]、インターネット<https://doi.org/10.1073/pnas.1500913112>
第1実施形態では、透明素材質感の色および明るさの両方を独立に操作する例を説明する。
<構成>
図1に例示するように、本実施形態の映像生成装置1は、変形地図生成部11、変調領域決定部12、歪み変調部13、分離部14、色変調部15(変調部)、輝度変調部16(変調部)、統合部17、および記憶部18を有する。なお、入力されたデータおよび各部で得られたデータは記憶部18に格納される。記憶部18に格納されたデータは必要に応じて読み出されて使用される。
次に、本実施形態の処理を説明する。
≪変形地図生成部11の処理≫
本実施形態の変形地図生成部11には、3次元ノイズ画像N、振幅情報A、空間周波数情報SF、時間周波数情報TF、および変形領域情報PSが入力される。3次元ノイズ画像Nは時間次元と二次元の空間次元とを持つノイズ画像である。言い換えると、3次元ノイズ画像Nは、複数のフレームに対応する変形地図MPの元になる複数の2次元ノイズ画像を有する。本実施形態の3次元ノイズ画像Nは、前述の「水平方向用変形地図」の元になる水平方向用ノイズ画像NHと「垂直方向用変形地図」の元になる垂直方向用ノイズ画像NVとを含む。水平方向用ノイズ画像NHおよび垂直方向用ノイズ画像NVの各画素は正値、負値、零値の何れかである。本実施形態の3次元ノイズ画像Nの空間次元のサイズ(水平方向用ノイズ画像NHの空間次元のサイズ、および垂直方向用ノイズ画像NVのサイズ)は原画像のサイズと同一である(例えば、256×256ピクセル)。3次元ノイズ画像Nの例は、3次元ガウシアンノイズ画像や3次元ホワイトノイズである。振幅情報Aは、各フレームに対応する変形地図MPの各要素(各画素)の振幅(画素値の絶対値)を操作するための情報である。例えば、振幅情報Aに基づいて変形地図MPの各画素の振幅の最大値が定まる。空間周波数情報SFは変形地図MPの空間周波数を操作するための情報である。例えば、空間周波数情報SFに基づいて変形地図MPに含まれる空間周波数成分の絶対値が定まる。空間周波数情報SFの一例は変形地図MPに含まれる空間周波数成分の絶対値を3cpd以下に定める情報である。例えば、空間周波数情報SFに従って変形地図MPを生成する際に用いられる空間次元のローパスフィルタ(低域通過型フィルタ)のカットオフ周波数が定まる。例えば、空間周波数情報SFは、上述の空間次元のローパスフィルタのカットオフ周波数(例えば、3cpd以下)を特定する。時間周波数情報TFは、複数のフレームに対応する複数の変形地図MPの時間周波数を操作するための情報である。例えば、時間周波数情報TFに基づいて、複数のフレームに対応する複数の変形地図MPに含まれる時間周波数成分の絶対値が定まる。時間周波数情報TFの一例は、複数のフレームに対応する複数の変形地図MPの時間周波数成分の絶対値を8Hz以下に定める情報である。例えば、時間周波数情報TFに従って、複数のフレームに対応する複数の変形地図MPの時間次元のローパスフィルタのカットオフ周波数が定まる。例えば、時間周波数情報TFは、上述の時間次元のローパスフィルタのカットオフ周波数(例えば、8Hz以下)を特定する。変形領域情報PSは、変形領域の空間位置および形状を特定するための情報である。
任意の原画像P、および変形地図生成部11から出力された複数のフレームに対応する複数の変形地図MP=(MWH,MWV)(原画像Pに由来する各画素に対応する各要素を持ち、各要素が対応する各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図)は歪み変調部13に入力される。歪み変調部13は、各フレームの変形地図MP=(MWH,MWV)を用い、原画像Pに由来する各画素を当該画素に対応する変形地図MP=(MWH,MWV)の各要素により特定される移動方向および移動量だけ移動させて、各フレームの変調画像P1を得る。例えば、歪み変調部13は画像ワープ法(例えば、特許文献1や参考文献1等参照)を用い、各フレームの変形地図MP=(MWH,MWV)を用いて原画像Pに由来する画素を変形して各フレームの変調画像P1を得る。例えば、各フレームの変調画像P1は原画像Pを当該フレームの変形地図MP=(MWH,MWV)で変形して得られる画像である。あるいは、先頭のフレームf0の変調画像P1は原画像Pであり、2番目以降のフレームfiの変調画像P1は直前のフレームfi−1の変調画像P1を当該フレームfiの変形地図MP=(MWH,MWV)で変形して得られる画像であってもよい。これにより、歪み変調部13は、複数のフレームに対応する複数の変調画像P1(すなわち、後述のように統合部17で生成される映像Mを構成する、時系列に並べられたフレームのそれぞれに対応する各変調画像P1)を得て出力する。
複数のフレームに対応する複数の変調画像P1は分離部14に入力される。分離部14は、複数の変調画像P1を輝度成分と色成分に分離し、複数のフレームに対応する複数の輝度成分画像L(すなわち、後述のように統合部17で生成される映像Mを構成する、時系列に並べられたフレームのそれぞれに対応する各輝度成分画像L)と色成分画像C(すなわち、後述のように統合部17で生成される映像Mを構成する、時系列に並べられたフレームのそれぞれに対応する各色成分画像C)とを得て出力する。例えば、変調画像P1がRGB表色系で表現されている場合、分離部14は、変調画像P1を輝度次元と色次元とに分離できる表色系(例えば、CIE Lab表色系,CIE Yxy表色系,CIE HSV表色系)に変換し、変換後の表色系で輝度成分画像Lと色成分画像Cとを得る。例えば、分離部14は、RGB表色系で表現された変調画像P1をCIE Lab表色系の変調画像P2に変換し、各フレームについて、変調画像P2の輝度(明度)次元(L座標)の各座標値の二次元配列である輝度成分画像Lと、補色次元(ab座標)の各座標値の二次元配列からなる色成分画像Cとを得て出力する。
変調領域決定部12には変形領域情報PSが入力される。変調領域決定部12は、変形領域情報PSに基づいて色および輝度の調整を行う空間領域(変調領域)の空間位置および形状を表す変調領域情報Rを得て出力する。本実施形態の変調領域の空間位置および形状は、変形領域の空間位置および形状と同一である。
色変調情報CM、分離部14から出力された複数のフレームに対応する複数の色成分画像C、および変調領域決定部12から出力された変調領域情報Rが、色変調部15に入力される。色変調部15は、変調領域情報Rに基づく複数の色成分画像Cの変調領域の色を、色変調情報CMに基づいて変調した複数の色変調画像C1を得て出力する。複数の色変調画像C1のそれぞれは各フレームに対応する。これにより、前述のように錯覚させようとする透明素材質感の物質の変調領域(すなわち、変形地図において絶対値が零以上の値を持つ画素に対応する色成分画像Cの領域)を所望の色に設定できる。なお、色変調情報CMが色成分画像Cの色を変化させない(色成分画像Cの色を維持する)ことを表す場合、色変調部15は各フレームに対応する色成分画像Cである色変調画像C1を出力する(C1=C)。
輝度変調情報LM、分離部14から出力された複数のフレームに対応する複数の輝度成分画像L、および変調領域決定部12から出力された変調領域情報Rが、輝度変調部16に入力される。輝度変調部16は、変調領域情報Rに基づく複数の輝度成分画像Lの変調領域の輝度を、輝度変調情報LMに基づいて変調した複数の輝度変調画像L1を得て出力する。輝度変調画像L1のそれぞれは各フレームに対応する。これにより、前述のように錯覚させようとする透明素材質感の物質の変調領域(すなわち、変形地図において絶対値が零以上の値を持つ画素に対応する輝度成分画像Lの領域)を所望の明るさに設定できる。例えば、輝度(L座標値)を下げれば、暗い色の透明素材質感の物質(例えば、重油のような物質)を知覚させることができるし、輝度(L座標値)を上げれば、明るい色の透明素材質感の物質(例えば、牛乳のような物質)を知覚させることができる。なお、輝度変調情報LMが輝度成分画像Lの輝度を変化させない(輝度成分画像Lの輝度を維持する)ことを表す場合、輝度変調部16は各フレームに対応する輝度成分画像Lである輝度変調画像L1を出力する(L1=L)。
色変調部15から出力された複数のフレームに対応する複数の色変調画像C1、および、輝度変調部16から出力された複数のフレームに対応する複数の輝度変調画像L1は、統合部17に入力される。統合部17は、各フレームの色変調画像C1と輝度変調画像L1とを統合して、各フレームの統合画像を得て記憶部18に格納する。統合画像は、例えば、RGB表色系で表現された画像であるが、CIE Lab表色系等のその他の表色系で表現された画像であってもよい。統合部17は、このように得た複数のフレームに対応する複数の統合画像をフレーム順に並べる(時間的に並べる)ことで構成される映像Mを得て出力する。映像Mはディスプレイに表示されたり、プロジェクターでスクリーン等の物体に投影されたりする。
映像Mを見た観察者は、色変調情報CMに従った色および/または輝度変調情報LMに従った輝度を持つ透明素材質感の物質が原画像Pと当該観察者との間の領域に配置されているかのように錯覚する。上述のように、この映像Mの生成に複雑な画像処理技術は不要である。また、映像Mの色成分(例えば、ab座標値)と輝度成分(例えば、L座標値)とを独立に操作できるため、透明素材質感の色と輝度とを互いに独立に操作できる。
第1実施形態では、変形領域と空間位置および形状が同一の変調領域に対して色変調や輝度変調を行った。第2実施形態では、変形領域、または、変形領域および変形領域の近傍領域である変調領域に対して色変調や輝度変調を行う例を説明する。以下では、既に説明した事項との相違点を中心に説明し、既に説明した事項と共通する部分については同じ参照番号を用いて説明を簡略化する。
図1に例示するように、本実施形態の映像生成装置2は、変形地図生成部11、変調領域決定部22、歪み変調部13、分離部14、色変調部15(変調部)、輝度変調部16(変調部)、統合部17、および記憶部18を有する。
次に、本実施形態の処理を説明する。第2実施形態の第1実施形態からの相違点は、変調領域決定部12の処理が以下の変調領域決定部22の処理に置換される点のみである。以下では、変調領域決定部22の処理のみを説明する。
変調領域決定部22には変形領域情報PSおよび変調領域情報Sが入力される。変調領域情報Sは、例えば、変形領域に対する変調領域の位置関係に対応する情報である。例えば、変調領域情報Sは、変形領域に対する変調領域のずれ量(移動量)を表す情報であってもよいし、変形領域に対する変調領域のずれ量およびずれ方向(移動方向)を表す情報であってもよいし、変形領域と変調領域との差分を表す情報であってもよいし、変形領域の変形のさせ方を表す情報であってもよい。変形領域と変調領域との空間位置ずれ分の視角が0.12度(deg)以内であることが望ましい(この理由については後述する)。すなわち、「変形領域の近傍」は「変形領域」に対する視角(映像Mから所定距離離れた位置から見たときの視角)が0.12度以内の領域(空間領域)であることが望ましい。例えば、変形領域と変調領域から100cmはなれた位置から変形領域と変調領域を観察する場合、変形領域と変調領域のずれは0.21cm以内に設定することが望ましい。変調領域決定部22は、変形領域情報PSおよび変調領域情報Sに基づいて変調領域の空間位置および形状を表す変調領域情報Rを得て出力する。本実施形態の変調領域は、変形領域、または、変形領域および変形領域の近傍の空間領域である。変調領域情報Rは色変調部15および輝度変調部16に送られる。色変調部15は、複数の色成分画像Cの変形領域、または、変形領域および変形領域の近傍の色を変調して複数の色変調画像C1を得る。輝度変調部16は、複数の輝度成分画像Lの変形領域、または、変形領域および変形領域の近傍の輝度を変調して複数の輝度変調画像L1を得る。その他の処理は第1実施形態のものと同じである。
本実施形態でも、映像Mを見た観察者は、色変調情報CMに従った色および/または輝度変調情報LMに従った輝度を持つ透明素材質感の物質が原画像Pと当該観察者との間の領域に配置されているかのように錯覚する。上述のように、この映像Mの生成に複雑な画像処理技術は不要である。また、映像Mの色成分(例えば、ab座標値)と輝度成分(例えば、L座標値)とを独立に操作できるため、知覚される透明素材質感の色と輝度とを互いに独立に操作できる。
第1,2実施形態では、変形領域の空間位置や形状に基づいて、変調領域の位置や形状を決定していた。そのため、色や輝度を変調する変調領域が決定され、色変調部15および輝度変調部16の処理が終了するまで、変形領域の空間位置や形状に関する変形領域情報PSを保持しておく必要があった。本実施形態では、互いに同一の空間位置の原画像Pの画素と変調画像P1の画素との差分を計算し、その差分が零でない領域を変調領域とする。これにより、変形領域情報PSを保存することなく、変調領域を決定できる。
図1に例示するように、本実施形態の映像生成装置3は、変形地図生成部11、変調領域決定部32、歪み変調部13、分離部14、色変調部15(変調部)、輝度変調部16(変調部)、統合部17、および記憶部18を有する。
次に、本実施形態の処理を説明する。第3実施形態の第1,2実施形態からの相違点は、変調領域決定部12,22の処理が以下の変調領域決定部32の処理に置換される点のみである。以下では、変調領域決定部32の処理のみを説明する。
変調領域決定部32には、原画像Pと変調画像P1とが入力される。変調領域決定部32は、互いに同一の空間位置の原画像Pの各画素と変調画像P1の各画素との差分を計算し、その差分が零でない領域を変調領域とし、当該変調領域を特定する変調領域情報Rを出力する。あるいは、第2実施形態で説明したように、さらに変調領域情報Sが変調領域決定部32に入力されてもよい。この場合、変調領域決定部32は、上述のように差分に基づいて特定された変調領域と変調領域情報Sに基づいて、変調領域の空間位置および形状を表す変調領域情報Rを得て出力する。その他の処理は、第1実施形態で説明した通りである。
本実施形態では、変形領域情報PSを保持しておくことなく、第1,2実施形態で説明した効果を得ることができる。
本実施形態では、変形領域の輪郭を変形する。すなわち、本実施形態の複数のフレームに対応する複数の変形領域は、低空間周波数成分を有する複数の異なる第2変形地図をそれぞれ用いて原画像に含まれた原変形領域の輪郭を変形させたものである。これらの複数の変形領域の輪郭は互いに異なる。ここで、粘性変調情報に従って、第2変形地図の空間周波数成分の絶対値の大きさ、および第2変形地図の振幅、の少なくとも何れかを変調することで、観察者に知覚される透明素材質感の粘度を調整できる。これにより、透明素材質感の色や明るさだけではなく、さらに透明素材質感の粘度をも調整できる。
図1に例示するように、本実施形態の映像生成装置4は、変形地図生成部41、変調領域決定部12、歪み変調部43、分離部14、色変調部15(変調部)、輝度変調部16(変調部)、統合部17、および記憶部18を有する。図4に例示するように、変形地図生成部41は、制御部413、原変形領域設定部414、水平変形地図生成部415、垂直変形地図生成部416、歪み変調部417、水平変形地図生成部418、垂直変形地図生成部410、および乗算部411,419を有する。
次に、本実施形態の処理を説明する。第4実施形態の第1〜3実施形態からの相違点は、変形地図生成部11の処理が以下の変形地図生成部41の処理に置換され、歪み変調部13の処理が以下の歪み変調部43の処理に置換される点のみである。以下では、変形地図生成部41および歪み変調部43の処理のみを説明する。
本実施形態の変形地図生成部41の制御部413には、3次元ノイズ画像N,N2、振幅情報A,A2、空間周波数情報SF,SF2、時間周波数情報TF,TF2、および変形領域情報PSが入力される。振幅情報A2および空間周波数情報SF2は「粘性変調情報」に相当する。3次元ノイズ画像N2は時間次元と二次元の空間次元とを持つノイズ画像である。言い換えると、3次元ノイズ画像N2は、複数のフレームに対応する変形地図MO(第2変形地図)の元になる複数の2次元ノイズ画像を有する。本実施形態の3次元ノイズ画像N2は、前述の「第2水平方向用変形地図」の元になる水平方向用ノイズ画像N2Hと「第2垂直方向用変形地図」の元になる垂直方向用ノイズ画像N2Vとを含む。水平方向用ノイズ画像N2Hおよび垂直方向用ノイズ画像N2Vの各画素は正値、負値、零値の何れかである。本実施形態の3次元ノイズ画像N2の空間次元のサイズ(水平方向用ノイズ画像N2Hの空間次元のサイズ、および垂直方向用ノイズ画像N2Vのサイズ)は原画像のサイズと同一である。水平方向用ノイズ画像N2Hと垂直方向用ノイズ画像N2Vとの各空間位置での画素値は、互いに独立していてもよいし、互いに相関していてもよい。3次元ノイズ画像N2の例は、3次元ガウシアンノイズ画像や3次元ホワイトノイズである。本実施形態の変形領域情報PSは、原変形領域の空間位置および形状を特定するための情報である。振幅情報A2は、各フレームに対応する変形地図MOの各要素(各画素)の振幅(画素値の絶対値)を操作するための情報である。例えば、振幅情報A2に基づいて変形地図MOの各画素の振幅の最大値が定まる。空間周波数情報SF2は変形地図MOの空間周波数を操作するための情報である。例えば、空間周波数情報SF2に基づいて変形地図MOに含まれる空間周波数成分の絶対値が定まる。空間周波数情報SF2の一例は変形地図MOに含まれる空間周波数成分の絶対値を3cpd以下に定める情報である。例えば、空間周波数情報SF2に従って変形地図MOを生成する際に用いられる空間次元のローパスフィルタ(低域通過型フィルタ)のカットオフ周波数が定まる。例えば、空間周波数情報SF2は、上述の空間次元のローパスフィルタのカットオフ周波数(例えば、3cpd以下)を特定する。時間周波数情報TF2は、複数のフレームに対応する複数の変形地図MO(すなわち、映像Mを構成する、時系列に並べられたフレームのそれぞれに対応する各変形地図MO)の時間周波数を操作するための情報である。例えば、時間周波数情報TF2に基づいて、複数のフレームに対応する複数の変形地図MOに含まれる時間周波数成分の絶対値が定まる。時間周波数情報TF2の一例は、複数のフレームに対応する複数の変形地図MOの時間周波数成分の絶対値を8Hz以下に定める情報である。例えば、時間周波数情報TF2に従って、複数のフレームに対応する複数の変形地図MOの時間次元のローパスフィルタのカットオフ周波数が定まる。例えば、時間周波数情報TF2は、上述の時間次元のローパスフィルタのカットオフ周波数(例えば、8Hz以下)を特定する。
原変形領域設定部414は、変形領域情報PSを入力とし、変形領域情報PSによって特定される空間位置および形状の原変形領域を含む原変形領域画像DOを出力する。原変形領域画像DOは原画像Pと同じサイズの二次元配列である。原変形領域画像DOの例は、原変形領域の画素値を1とし、その他の領域の画素値を0とした2値画像である。原変形領域画像DOの他の例は、各画素値が所定の最小値(例えば0)から最大値(例えば1)までの範囲に属し、原変形領域の画素値の絶対値がその他の領域の画素値の絶対値よりも大きいグレースケール画像(強度画像)である。言い換えると、原変形領域画像DOの他の例は、各画素値が所定の最小値(例えば0)から最大値(例えば1)までの範囲に属し、原変形領域の画素値の絶対値が所定値以上であり、その他の領域の画素値の絶対値が当該所定値未満であるグレースケール画像である。本実施形態では1つの原変形領域画像DOが複数のフレームで共用される。そのため、原画像Pから1つの映像Mを得るために、少なくとも1つの原変形領域画像DOが生成されればよい。ただし、1つの映像Mに対して複数個の原変形領域画像DOが生成されてもかまわない。例えば、フレーム間で原変形領域の空間位置が移動してもよい。例えば、複数のフレームにおいて、原変形領域が「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動してもよい。
水平変形地図生成部415および垂直変形地図生成部416は、複数のフレームのそれぞれについて、原変形領域画像DOの原変形領域の輪郭を変形するための変形地図(第2変形地図)MO=(MOH,MOV)を生成して出力する。変形地図MOは、原変形領域画像DOに由来する各画素を水平方向に変調するための水平方向用変形地図(変形領域画像DOの原変形領域の輪郭を水平方向に変形するための水平方向用変形地図)MOH(第2水平方向用変形地図)と、垂直方向に変調するための垂直方向用変形地図(変形領域画像DOの原変形領域の輪郭を垂直方向に変形するための垂直方向用変形地図)MOV(第2垂直方向用変形地図)と、を有する。複数のフレームに対応する複数の水平方向用変形地図MOH(すなわち、映像Mを構成する、時系列に並べられたフレームのそれぞれに対応する各水平方向用変形地図MOH)は互いに異なり、複数のフレームに対応する複数の垂直方向用変形地図MOV(すなわち、映像Mを構成する、時系列に並べられたフレームのそれぞれに対応する各垂直方向用変形地図MOV)は互いに異なる。一部の複数のフレームでそれぞれ生成される水平方向用変形地図MOHが互いに同一であってもよいし、一部の何れか複数のフレームでそれぞれ生成される垂直方向用変形地図MOVが互いに同一であってもよい。水平方向用変形地図MOH,垂直方向用変形地図MOVは原変形領域画像DOと同じサイズの二次元配列である。水平方向用変形地図MOHは、変形領域画像DOに由来する各画素の水平な移動方向および移動量を表す値を各画素の画素値とする。垂直方向用変形地図MOVは、変形領域画像DOに由来する各画素の垂直な移動方向および移動量を表す値を各画素の画素値とする。例えば、水平方向用変形地図MOH,垂直方向用変形地図MOVの各画素値の正負は移動方向を表し、各画素値の絶対値は移動量(移動画素数)を表す。変形領域画像DOに由来する各画素の位置は、その画素の移動方向および移動量を表す水平方向用変形地図MOH,垂直方向用変形地図MOVの画素の位置と同じである。水平方向用変形地図MOHおよび垂直方向用変形地図MOVの各空間位置での画素値は、互いに独立していてもよいし、互いに相関していてもよい。また水平方向用変形地図MOH,垂直方向用変形地図MOVは低空間周波数成分を有する。
歪み変調部417には、原変形領域画像DO、および、複数のフレームそれぞれの水平方向用変形地図MOH,垂直方向用変形地図MOVが入力される。歪み変調部417は、各フレームについて、水平方向用変形地図MOH,垂直方向用変形地図MOVに基づく画像ワープ法(例えば、特許文献1や参考文献1等参照)によって原変形領域画像DOを変形し、それによって得られた変形領域画像Dを出力する(図5)。すなわち、歪み変調部417は、各フレームにおいて、変形地図MOHに基づいて原変形領域画像DOに由来する各画素を水平方向に移動させ、垂直方向用変形地図MOVに基づいて原変形領域画像DOに由来する各画素を垂直方向に移動させ、それによって変形領域画像Dを得て出力する。例えば、先頭のフレームf0の変形領域画像Dは原変形領域画像DOであり、2番目以降のフレームfiの変形領域画像Dは直前のフレームfi−1の変形領域画像Dを当該フレームfiの変形地図MO=(MOH,MOV)で変形して得られる画像である。これにより、歪み変調部417は、複数のフレームに対応する複数の変形領域画像D(すなわち、映像Mを構成する、時系列に並べられたフレームのそれぞれに対応する各変形領域画像D)を得て出力する。上述のように各フレームで得られる変形領域画像Dは、原変形領域画像DOの原変形領域の輪郭を水平方向用変形地図MOH,垂直方向用変形地図MOVを用いて変形した変形領域を含む。すなわち、このように得られる複数の変形領域は、低空間周波数成分を有する複数の異なる水平方向用変形地図MOH,垂直方向用変形地図MOVをそれぞれ用いて原変形領域の輪郭を変形させたものである。変形領域画像Dは原画像Pと同じサイズの二次元配列である。
まず、水平変形地図生成部418および垂直変形地図生成部410は、3次元ノイズ画像N、振幅情報A、空間周波数情報SF、時間周波数情報TF、および変形領域情報PSを用い、各フレームで原画像Pに由来する各画素を変形するための変形地図M2=(MH,MV)を得る(図6Aおよび図6B)。変形地図M2は、原画像Pに由来する各画素を水平方向に変調するための複数の水平方向用変形地図MHと、垂直方向に変調するための複数の垂直方向用変形地図MVとを有する。第1実施形態で説明した水平方向用変形地図MWHおよび垂直方向用変形地図MWVは、変形領域にのみ絶対値が零以上の値を持ち、その他の領域には零値を持っていたが、水平方向用変形地図MHおよび垂直方向用変形地図MVはすべての領域で絶対値が零以上の値を持つ。それ以外の点は、水平方向用変形地図MHは水平方向用変形地図MWHと同じであり、垂直方向用変形地図MVは垂直方向用変形地図MWVと同じである。例えば、水平変形地図生成部418および垂直変形地図生成部410は、3次元ノイズ画像N2に含まれる水平方向用ノイズ画像N2Hおよび垂直方向用ノイズ画像N2Vを空間周波数領域に変換し、空間周波数情報SFに基づいた空間次元のローパスフィルタ(例えば、カットオフ周波数が3cpd以下のローパスフィルタ)でフィルタリングした後に空間領域に戻し、さらに正規化を行いことで、複数のフレームに対応する複数の水平方向用変形地図MH(すなわち、映像Mを構成する、時系列に並べられたフレームのそれぞれに対応する各水平方向用変形地図MH)と垂直方向用変形地図MV(すなわち、映像Mを構成する、時系列に並べられたフレームのそれぞれに対応する各垂直方向用変形地図MV)とを得る。水平変形地図生成部418および垂直変形地図生成部410は、正規化の際に、振幅情報Aに基づいて水平方向用変形地図MHと垂直方向用変形地図MVとの振幅を調整してもよい。また水平変形地図生成部418および垂直変形地図生成部410は、時間周波数情報TFに基づいた時間次元のローパスフィルタ(例えば、カットオフ周波数が8Hz以下のローパスフィルタ)で、水平方向用ノイズ画像N2Hと垂直方向用ノイズ画像N2Vを時間次元でフィルタリングしてから空間周波数領域に変換してもよい。これにより、変形領域の画素値をフレーム間で滑らかに変化させる水平方向用変形地図MHおよび垂直方向用変形地図MVを得ることができる。なお、変形地図M2=(MH,MV)を得るための空間次元のローパスフィルタのカットオフ周波数は、前述した変形地図MO=(MOH,MOV)を得るための空間次元のローパスフィルタのカットオフ周波数と同一または近似することが望ましい。すなわち、変形地図MO=(MOH,MOV)は主に空間周波数の絶対値が第1値以下の空間周波数成分を含み、変形地図M2=(MH,MV)は主に空間周波数の絶対値が第2値以下の空間周波数成分を含み、第1値は第2値に等しいまたは近似することが望ましい。これらが大きく異なると、映像Mによって知覚させようとする所望の質感を知覚させることができなくなる可能性があるからである。ただし、知覚させようとする所望の質感を知覚させることができるのであれば、これらが異なっていてもかまわない。
乗算部419は、各フレームの変形領域画像Dおよび水平方向用変形地図MHを入力とし、各フレームについて、以下のように変形領域画像Dで水平方向用変形地図MHを重み付けした水平方向用変形地図MWHを生成して出力する(図6A)。
MWH=MH×D
すなわち、水平方向用変形地図MHの各画素(x,y)の画素値と変形領域画像Dの各画素(x,y)の画素値とを乗じて得られる値を水平方向用変形地図MWHの各画素(x,y)の画素値とする。フレーム間で原変形領域の空間位置が移動する場合、水平方向用変形地図MWHの変形領域も移動する。例えば、複数のフレームにおいて、原変形領域の空間位置が「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動する場合、水平方向用変形地図MWHの変形領域も「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動する。
MWV=MV×D
すなわち、垂直方向用変形地図MVの各画素(x,y)の画素値と垂直方向用変形領域画像Dの各画素(x,y)の画素値とを乗じて得られる値を垂直方向用変形地図MWVの各画素(x,y)の画素値とする。例えば、複数のフレームにおいて、原変形領域の空間位置が「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動する場合、垂直方向用変形地図MWVの変形領域も「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動する。以上のように得られた複数のフレームに対応する複数の変形地図MP=(MWH,MWV)(すなわち、映像Mを構成する、時系列に並べられたフレームのそれぞれに対応する各変形地図MP)は歪み変調部43に送られる。
任意の原画像P、および変形地図生成部41から出力された複数のフレームに対応する複数の変形地図MP=(MWH,MWV)(原画像Pに由来する各画素に対応する各要素を持ち、各要素が対応する各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図)は歪み変調部43に入力される。例えば、歪み変調部43は、第1実施形態の歪み変調部13と同じように、各フレームの変形地図MP=(MWH,MWV)を用い、原画像Pに由来する各画素を当該画素に対応する変形地図MP=(MWH,MWV)の各要素により特定される移動方向および移動量だけ移動させて、各フレームの変調画像P1を得る。あるいは、歪み変調部43は、第1実施形態の歪み変調部13と同じように、各フレームの変形地図MP=(MWH,MWV)を用い、原画像Pに由来する各画素を当該画素に対応する変形地図MP=(MWH,MWV)の各要素により特定される移動方向および移動量だけ移動させて、各フレームの変調画像P1’を得、当該変調画像P1’に窓関数Wを乗じた画像を変調画像P1として出力してもよい。窓関数Wは変調画像P1’の外縁(辺縁、外枠)付近の画像を隠すものである。変形地図MPによる変調によって変調画像P1’の外縁が変形した場合、変調画像P1’自体の形状が歪んでしまう。窓関数Wはこのような変調画像P1’の外縁の歪みを隠すために用いられる。窓関数Wは、例えば、変調画像P1’外縁付近の座標に対して0となり、それ以外の座標に対して1となる関数である。窓関数Wの0から1への変化が滑らかであってもよい。歪み変調部43は、は、各フレームについて、以下のように変調画像P1’に窓関数Wを乗じ、変調画像P1を得て出力してもよい。
P1=W×P1’
その他の処理は、第1実施形態で説明した通りである。
映像Mを見た観察者は、色変調情報CMに従った色および/または輝度変調情報LMに従った輝度を持つ透明素材質感の物質が原画像Pと当該観察者との間の領域に配置されているかのように錯覚する。この映像Mの生成に複雑な画像処理技術は不要である。また、映像Mの色成分と輝度成分とを独立に操作できるため、透明素材質感の色と輝度とを互いに独立に操作できる。さらに本形態では、知覚される透明素材の物質の粘性も操作できる。
第4実施形態の変調領域決定部12が前述した変調領域決定部22または32に置換されてもよい。
第4実施形態では、変形領域の輪郭を変形し、所望の透明な材質の質感を知覚させた。第5実施形態では、これに代えて変形領域の輪郭をぼかす(輪郭の鮮鋭度を下げる)ことで、所望の透明な材質の質感を知覚させる。
図1に例示するように、本実施形態の映像生成装置5は、変形地図生成部51、変調領域決定部12、歪み変調部13、分離部14、色変調部15(変調部)、輝度変調部16(変調部)、統合部17、および記憶部18を有する。図8に例示するように、変形地図生成部51は、制御部413、原変形領域設定部414、輪郭ぼかし部512、水平変形地図生成部418、垂直変形地図生成部410、および乗算部411,419を有する。
第5実施形態の第4実施形態からの相違点は、水平変形地図生成部415、垂直変形地図生成部416、および歪み変調部417の処理に代えて、輪郭ぼかし部512の処理が行われる点である。その他は第4実施形態で説明した通りである。以下では、第4実施形態からの相違点である輪郭ぼかし部512の処理のみを説明する。
原変形領域設定部414から出力された原変形領域画像DO、および、原変形領域の輪郭のぼかし具合を表すぼかし度合情報F(粘性変調情報)が輪郭ぼかし部512に入力される。輪郭ぼかし部512は、ぼかし度合情報Fに従って原変形領域画像DO中の原変形領域の輪郭をぼかした(原変形領域の輪郭の鮮鋭度を下げた)変形領域を含む変形領域画像Dを得て出力する。変形領域画像Dは原画像Pと同じサイズの二次元配列である。例えば、輪郭ぼかし部512は、原変形領域画像DOにガウシアンフィルタを適用して得られる画像を変形領域画像Dとして出力してもよいし、原変形領域画像DOにローパスフィルタを適用して得られる画像を変形領域画像Dとして出力してもよい。ぼかし度合情報Fが示す値の大きさに応じて原変形領域画像DO中の原変形領域の輪郭のぼかし量が異なる。例えば、原変形領域画像DOの輪郭にガウシアンフィルタを適用してられる画像を変形領域画像Dとする場合、輪郭ぼかし部512は、例えば、ぼかし度合情報Fが示す値の大きさに応じてガウシアンフィルタのフィルタサイズを変化させる。例えば、原変形領域画像DOにローパスフィルタを適用して得られる画像を変形領域画像Dとする場合、輪郭ぼかし部512は、例えば、ぼかし度合情報Fが示す値の大きさに応じてカットオフ周波数の大きさを変化させる。
映像Mを見た観察者は、色変調情報CMに従った色および/または輝度変調情報LMに従った輝度を持つ透明素材質感の物質が原画像Pと当該観察者との間の領域に配置されているかのように錯覚する。この映像Mの生成に複雑な画像処理技術は不要である。また、映像Mの色成分と輝度成分とを独立に操作できるため、透明素材質感の色と輝度とを互いに独立に操作できる。さらに本形態では、原変形領域の輪郭のぼかし量を操作することで、知覚される透明素材の物質の粘性も操作できる。
第5実施形態の変調領域決定部12が前述した変調領域決定部22または32に置換されてもよい。
なお、本発明は上述の実施形態に限定されるものではない。例えば、図10に例示する映像生成装置6のように、第1から第5実施形態およびそれらの変形例の映像生成装置から輝度変調部16が省略されていてもよい。この場合には色変調のみが可能である。すなわち、この映像生成装置6は、複数の異なる変形地図のそれぞれを用い、原画像Pに由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像P1を得、複数の変調画像P1を輝度成分と色成分に分離して複数の輝度成分画像Lと色成分画像Cとを得、色変調情報CMに従って複数の色成分画像Cの色を変調した複数の色変調画像C1を得、輝度成分画像Lと色変調画像C1とを統合して得られる複数の統合画像を時間的に並べることで構成される映像Mを得て出力する。
Claims (13)
- 原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調部と、
前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離部と、
色変調情報に従って前記複数の色成分画像の色を変調した複数の色変調画像を得る変調部と、
前記輝度成分画像と前記色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合部と、
を有する映像生成装置。 - 原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調部と、
前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離部と、
輝度変調情報に従って前記複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得る変調部と、
前記輝度変調画像と前記色成分画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合部と、
を有する映像生成装置。 - 原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調部と、
前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離部と、
輝度変調情報に従って前記複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得、色変調情報に従って前記複数の色成分画像の色を変調した複数の色変調画像を得る変調部と、
前記輝度変調画像と前記色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合部と、
を有する映像生成装置。 - 請求項1の映像生成装置であって、
前記変形地図は、変形領域に属する前記各画素の移動方向および移動量を示し、
前記変調部は、前記複数の色成分画像の前記変形領域または前記変形領域および前記変形領域の近傍の色を変調して前記複数の色変調画像を得る、映像生成装置。 - 請求項2の映像生成装置であって、
前記変形地図は、変形領域に属する前記各画素の移動方向および移動量を示し、
前記変調部は、前記複数の輝度成分画像の前記変形領域または前記変形領域および前記変形領域の近傍の輝度を変調して前記複数の輝度変調画像を得る、映像生成装置。 - 請求項3の映像生成装置であって、
前記変形地図は、変形領域に属する前記各画素の移動方向および移動量を示し、
前記変調部は、前記複数の色成分画像の前記変形領域または前記変形領域および前記変形領域の近傍の色を変調して前記複数の色変調画像を得る、および、前記複数の輝度成分画像の前記変形領域または前記変形領域および前記変形領域の近傍の輝度を変調して前記複数の輝度変調画像を得る、映像生成装置。 - 請求項4から6の何れかの映像生成装置であって、
前記変形領域の近傍は、前記変形領域に対する視角が0.12度以内の領域である、映像生成装置。 - 請求項1から7の何れかの映像生成装置であって、
前記変形地図を生成する変形地図生成部をさらに有し、
前記複数の異なる変形地図は、複数の変形領域内の前記各画素の移動方向および移動量を示し、
前記複数の変形領域は、低空間周波数成分を有する複数の異なる第2変形地図をそれぞれ用いて前記原画像に含まれた原変形領域の輪郭を変形させたものであり、前記複数の変形領域の輪郭は互いに異なり、
前記変形地図生成部は、粘性変調情報に従って、前記第2変形地図の空間周波数成分の絶対値の大きさ、および前記第2変形地図の振幅、の少なくとも何れかを変調する、映像生成装置。 - 請求項1から7の何れかの映像生成装置であって、
前記変形地図を生成する変形地図生成部をさらに有し、
前記複数の異なる変形地図は、複数の変形領域内の前記各画素の移動方向および移動量を示し、
前記変形地図生成部は、粘性変調情報に従って、前記複数の変形領域の輪郭の鮮鋭度を変調する、映像生成装置。 - 映像生成装置の映像生成方法であって、
原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調ステップと、
前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離ステップと、
色変調情報に従って前記複数の色成分画像の色を変調した複数の色変調画像を得る変調ステップと、
前記輝度成分画像と前記色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合ステップと、
を有する映像生成方法。 - 映像生成装置の映像生成方法であって、
原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調ステップと、
前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離ステップと、
輝度変調情報に従って前記複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得る変調ステップと、
前記輝度変調画像と前記色成分画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合ステップと、
を有する映像生成方法。 - 映像生成装置の映像生成方法であって、
原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調ステップと、
前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離ステップと、
輝度変調情報に従って前記複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得、色変調情報に従って前記複数の色成分画像の色を変調した複数の色変調画像を得る変調ステップと、
前記輝度変調画像と前記色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合ステップと、
を有する映像生成方法。 - 請求項1から9の何れかの映像生成装置としてコンピュータを機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018083179A JP6845181B2 (ja) | 2018-04-24 | 2018-04-24 | 映像生成装置、映像生成方法、およびプログラム |
US17/049,652 US11350065B2 (en) | 2018-04-24 | 2019-04-04 | Video generation device, video generation method, and program |
PCT/JP2019/014948 WO2019208143A1 (ja) | 2018-04-24 | 2019-04-04 | 映像生成装置、映像生成方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018083179A JP6845181B2 (ja) | 2018-04-24 | 2018-04-24 | 映像生成装置、映像生成方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019191875A JP2019191875A (ja) | 2019-10-31 |
JP6845181B2 true JP6845181B2 (ja) | 2021-03-17 |
Family
ID=68294066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018083179A Active JP6845181B2 (ja) | 2018-04-24 | 2018-04-24 | 映像生成装置、映像生成方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11350065B2 (ja) |
JP (1) | JP6845181B2 (ja) |
WO (1) | WO2019208143A1 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3610702B2 (ja) * | 1996-10-18 | 2005-01-19 | 富士通株式会社 | 映像生成装置 |
US8493313B2 (en) * | 2008-02-13 | 2013-07-23 | Dolby Laboratories Licensing Corporation | Temporal filtering of video signals |
EP2452311A1 (en) * | 2009-07-08 | 2012-05-16 | Technion Research And Development Foundation Ltd. | Method and system for super-resolution signal reconstruction |
JP6069115B2 (ja) | 2013-06-25 | 2017-02-01 | 日本電信電話株式会社 | 映像生成装置、映像生成方法、プログラム |
WO2015163317A1 (ja) * | 2014-04-22 | 2015-10-29 | 日本電信電話株式会社 | 映像表示装置、映像投影装置、動的錯覚呈示装置、映像生成装置、それらの方法、データ構造、プログラム |
US11178064B2 (en) * | 2016-08-09 | 2021-11-16 | Nippon Telegraph And Telephone Corporation | Resource allocation device and resource allocation method |
JP6505646B2 (ja) * | 2016-08-15 | 2019-04-24 | 日本電信電話株式会社 | 映像生成装置、映像生成方法、およびプログラム |
JP6759347B2 (ja) * | 2016-09-23 | 2020-09-23 | 日本電信電話株式会社 | 画像生成装置、画像生成方法、およびプログラム |
-
2018
- 2018-04-24 JP JP2018083179A patent/JP6845181B2/ja active Active
-
2019
- 2019-04-04 US US17/049,652 patent/US11350065B2/en active Active
- 2019-04-04 WO PCT/JP2019/014948 patent/WO2019208143A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2019208143A1 (ja) | 2019-10-31 |
US20210258547A1 (en) | 2021-08-19 |
JP2019191875A (ja) | 2019-10-31 |
US11350065B2 (en) | 2022-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7283513B2 (ja) | 映像表示装置、映像投影装置、それらの方法、プログラム | |
US11398007B2 (en) | Video generation device, video generation method, program, and data structure | |
KR101295649B1 (ko) | 화상처리장치, 화상처리방법, 및 기억매체 | |
JP4535954B2 (ja) | 2眼式立体表示装置およびプログラム | |
JP6505646B2 (ja) | 映像生成装置、映像生成方法、およびプログラム | |
JP6845181B2 (ja) | 映像生成装置、映像生成方法、およびプログラム | |
JP6615818B2 (ja) | 映像生成装置、映像生成方法、およびプログラム | |
JP6457964B2 (ja) | 装置、投影装置、表示装置、画像生成装置、それらの方法、およびプログラム | |
JP6430420B2 (ja) | 情報呈示システム、および情報呈示方法 | |
JP6305942B2 (ja) | 画像質感操作方法、画像質感操作装置、およびプログラム | |
WO2020026670A1 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
JP2019013012A (ja) | データ構造 | |
US20130076733A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2017084395A (ja) | 映像生成装置、映像生成方法、プログラム | |
KR20120056757A (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독가능한 기억 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6845181 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |