JP6666296B2 - Video generation apparatus, method, and program - Google Patents

Description

本発明は、錯覚をもたらす映像に関し、特に、同じ動きの反復によって継続的な動きを知覚させる映像に関する。   The present invention relates to an image that causes an illusion, and more particularly, to an image that perceives continuous movement by repeating the same movement.

非特許文献１には、同じ動きの反復によって継続的な動きを知覚させる映像が開示されている。その映像は４フレームの画像から構成される。第１フレームおよび第１フレームの後に続く第２フレームの画像は通常のものであるが、第２フレームの後に続く第３フレームの画像は第１フレームの反転画像（ネガティブ画像）となっており、第３フレームの後に続く第４フレームの画像は第２フレームの反転画像となっている。この４フレームの画像を連続して繰り返し表示することで、あたかもフレーム内の映像が継続的に動き続けているような印象を与えることができる。   Non-Patent Literature 1 discloses an image in which continuous movement is perceived by repeating the same movement. The video is composed of four frames of images. The first frame and the image of the second frame following the first frame are normal, but the image of the third frame following the second frame is an inverted image (negative image) of the first frame, The image of the fourth frame following the third frame is an inverted image of the second frame. By displaying these four frames of images continuously and repeatedly, it is possible to give the impression that the video in the frame is continuously moving.

Anstis, S. M. & Rogers, B. J., “Illusory continuous motion from oscillating positive-negative patterns: implications for motion perception,” Perception 15, 627-640 (1986).Anstis, S.M. & Rogers, B.J., “Illusory continuous motion from oscillating positive-negative patterns: implications for motion perception,” Perception 15, 627-640 (1986).

ここで、第１フレームと第２フレームとの間、および第３フレームと第４フレームとの間の画像強度は連続的なものと知覚される。しかし、第２フレームと第３フレームとの間、および第４フレームと第１フレームとの間の強度は、強度反転のため急峻に変化しており、いわゆる、ちらつきとして感じられる。このちらつきは人間にとって快適なものではない。   Here, the image intensity between the first and second frames and between the third and fourth frames is perceived as continuous. However, the intensity between the second frame and the third frame and between the fourth frame and the first frame are sharply changed due to the intensity reversal, and are felt as so-called flickering. This flicker is not comfortable for humans.

本発明の目的は、同じ動きの反復によって継続的な動きを知覚させる映像のちらつきを低減させることである。   SUMMARY OF THE INVENTION It is an object of the present invention to reduce the flicker of an image that perceives continuous motion by repeating the same motion.

第１時間区間に属する複数の第１画像のそれぞれに含まれた一部の成分を反転させた、第１時間区間の後に続く第２時間区間に属する複数の第２画像を得、第１画像および第２画像を含む映像を得る。ただし、当該一部の成分は、主に輝度成分、高空間周波数成分、および動き成分の少なくとも何れかを含む。   A plurality of second images belonging to a second time section subsequent to the first time section are obtained by inverting some components included in each of the plurality of first images belonging to the first time section, and the first image is obtained. And a video including the second image. However, the partial components mainly include at least one of a luminance component, a high spatial frequency component, and a motion component.

これにより、同じ動きの反復によって継続的な動きを知覚させる映像のちらつきを低減させることができる。   Thus, it is possible to reduce the flicker of an image that perceives a continuous movement by repeating the same movement.

図１は実施形態の映像生成装置の機能構成を例示したブロック図である。FIG. 1 is a block diagram illustrating a functional configuration of the video generation device according to the embodiment. 図２は実施形態の画像を例示した図である。FIG. 2 is a diagram illustrating an image of the embodiment. 図３は実施形態の画像を例示した図である。FIG. 3 is a diagram illustrating an image of the embodiment. 図４は実施形態の画像を例示した図である。FIG. 4 is a diagram illustrating an image of the embodiment. 図５は実施形態の映像生成装置の機能構成を例示したブロック図である。FIG. 5 is a block diagram illustrating a functional configuration of the video generation device according to the embodiment. 図６は実施形態の映像生成装置の機能構成を例示したブロック図である。FIG. 6 is a block diagram illustrating a functional configuration of the video generation device according to the embodiment. 図７は実施形態の映像生成装置の機能構成を例示したブロック図である。FIG. 7 is a block diagram illustrating a functional configuration of the video generation device according to the embodiment. 図８は実施形態の映像生成装置の機能構成を例示したブロック図である。FIG. 8 is a block diagram illustrating a functional configuration of the video generation device according to the embodiment. 図９は原理を説明するための図である。FIG. 9 is a diagram for explaining the principle.

以下、本発明の実施形態を説明する。
［概要］
まず概要を説明する。
各実施形態の映像生成装置は、「第１時間区間」に属する複数の「第１画像」のそれぞれに含まれた「一部の成分」を反転させた、「第１時間区間」の後に続く「第２時間区間」に属する複数の「第２画像」を得、複数の「第１画像」および「第２画像」を含む「映像」を得る。ただし、「一部の成分」は、主に輝度成分、高空間周波数成分、および動き成分の少なくとも何れかを含む。すなわち、「第１画像」のすべての画像強度を反転させるのではなく、「第１画像」の輝度成分、高空間周波数成分、および動き成分のいずれか、またはすべてを反転させた「第２画像」を得る。なお、複数の「第１画像」の「動き成分」は、動きをもつ空間領域の成分である。言い換えると、複数の「第１画像」の「動き成分」は、複数の「第１画像」の間で変化する空間領域である。「第２画像」は「第１画像」に含まれた「一部の成分」を反転して得られる成分と「第１画像」に含まれた「一部の成分」以外の成分とを含む。「αの後に続くβ」とは、時間的にαの後に続くβを意味する。βは時間的にαの次に位置する。また、複数の「第１画像」は互いに順序付けられており、複数の「第２画像」も互いに順序付けられている。順序付けられた複数の「第１画像」および「第２画像」を時間順に並べたものが「映像」である。以上のように生成された「映像」は同じ動きの反復によって継続的な動きを知覚させるものである。すなわち、「映像」が繰り返し再生された場合、複数の「第１画像」および「第２画像」が順番に繰り返し提示される。このように同じ動きが反復されているにもかかわらず、それを見た観察者は同じ動きが反復されているのではなく、「映像」中の物体が継続的に動き続けているような印象（例えば、滝の水が流れ落ち続けている印象、シャボン玉が一定方向に移動し続けている印象、落ち葉が風に飛ばされ続けている印象など）を受ける。さらに各実施形態では、従来技術のように「第１画像」全体の反転画像を「第２画像」とするのではなく、「第１画像」の「一部の成分」を反転させた「第２画像」を得る。これにより、「第１画像」全体の反転画像を「第２画像」とする従来技術に比べ、反転している成分が減じられ、「映像」のちらつきを低減させることができる。 Hereinafter, embodiments of the present invention will be described.
[Overview]
First, an outline will be described.
The video generation device of each embodiment follows the “first time section” by inverting “partial components” included in each of the plurality of “first images” belonging to the “first time section”. A plurality of "second images" belonging to the "second time section" are obtained, and a "video" including the plurality of "first images" and "second images" is obtained. However, the “partial component” mainly includes at least one of a luminance component, a high spatial frequency component, and a motion component. That is, instead of inverting all the image intensities of the “first image”, “the second image” in which any or all of the luminance component, the high spatial frequency component, and the motion component of the “first image” are inverted To get. The “motion component” of the plurality of “first images” is a component of a spatial region having motion. In other words, the “motion component” of the plurality of “first images” is a spatial region that changes between the plurality of “first images”. The “second image” includes components obtained by inverting “partial components” included in the “first image” and components other than “partial components” included in the “first image” . “Β following α” means β following α temporally. β is located next to α in time. Also, the plurality of “first images” are ordered with each other, and the plurality of “second images” are also ordered with each other. The “video” is obtained by arranging a plurality of ordered “first images” and “second images” in chronological order. The “video” generated as described above allows a continuous motion to be perceived by repeating the same motion. That is, when the “video” is repeatedly reproduced, a plurality of “first images” and “second images” are repeatedly and sequentially presented. Even though the same movement is repeated in this way, the observer who saw it does not repeat the same movement, but the impression that the object in the `` video '' continues to move (For example, the impression that the water of the waterfall keeps flowing, the impression that the soap bubble keeps moving in a certain direction, the impression that the fallen leaves keep flying in the wind, etc.) are received. Further, in each embodiment, instead of the inverted image of the entire “first image” being the “second image” as in the related art, the “first image” is obtained by inverting the “partial component” of the “first image”. 2 images ". As a result, compared to the related art in which the entire inverted image of the “first image” is set as the “second image”, the inverted component is reduced, and the flicker of the “video” can be reduced.

好ましくは、「一部の成分」は輝度成分および／または高空間周波数成分および／または動き成分のみを含む。言い換えると、「一部の成分」は、輝度成分、高空間周波数成分、および動き成分を除く成分を含まない。これにより、より一層「映像」のちらつきを低減させることができる。より好ましくは、「第１画像」は色画像であり、「一部の成分」が主に輝度成分を含むことが望ましい。より一層好ましくは、「一部の成分」が輝度成分のみを含むことが望ましい。「映像」を繰り返し再生によって継続的な動きを知覚させることができるのは、再生される画像の強度を反転させることにより、視覚における動きセンサーを効率よく刺激するからである。例えば図９Ａでは、「第１フレーム」で白いバー、「第１フレーム」の後に続く「第２フレーム」で「第１フレーム」にある白いバーを少し右へずらしたもの、「第２フレーム」の後に続く「第３フレーム」で「第１フレーム」のバーの輝度を反転させたもの、「第３フレーム」の後に続く「第４フレーム」で「第２フレーム」バーの輝度を反転させたものを表示している。これを繰り返し見た観察者は一方向へバーが動いているような印象を得る。図９Ｂはバーの動きを時空間プロットしたものである。一般に人間の視覚における運動センサーは時空間プロット上の輝度の流れに対して敏感である（参考文献１：Adelson, E. H. & Bergen, J. R., “Spatiotemporal energy models for the perception of motion,” J Opt Soc Am A 2, 284-299 (1985).）。図９Ａのような輝度を反転させたバーの動きは当該運動センサーを効率よく刺激するので、観察者にはバーの動きが見えるのである。そのため、「第１画像」の主に輝度成分を反転させたものを「第２画像」とすることで継続的な動きを知覚させることができる。一方で「第１画像」の残りの成分は「第２画像」で反転されていないため、「映像」のちらつきを低減させることができる。   Preferably, "some components" include only luminance components and / or high spatial frequency components and / or motion components. In other words, the “partial component” does not include components other than the luminance component, the high spatial frequency component, and the motion component. As a result, the flicker of “video” can be further reduced. More preferably, the “first image” is a color image, and it is desirable that “partial components” mainly include a luminance component. Even more preferably, it is desirable that “partial components” include only a luminance component. The reason why continuous movement can be perceived by repeatedly playing back the “video” is that by inverting the intensity of the played back image, a motion sensor in vision is efficiently stimulated. For example, in FIG. 9A, a white bar in the “first frame”, a white bar in the “second frame” following the “first frame” in the “first frame” slightly shifted to the right, a “second frame” The brightness of the bar of the "first frame" is inverted in the "third frame" following the "3rd frame", and the brightness of the bar of the "second frame" is inverted in the "4th frame" following the "3rd frame" You are displaying things. An observer who sees this repeatedly gets the impression that the bar is moving in one direction. FIG. 9B is a spatiotemporal plot of the bar movement. In general, motion sensors in human vision are sensitive to the flow of luminance on a spatiotemporal plot (Reference 1: Adelson, EH & Bergen, JR, “Spatiotemporal energy models for the perception of motion,” J Opt Soc Am A 2, 284-299 (1985).). The movement of the bar whose brightness is inverted as shown in FIG. 9A efficiently stimulates the motion sensor, so that the observer can see the movement of the bar. Therefore, a continuous movement can be perceived by setting the “first image” whose luminance component is mainly inverted to the “second image”. On the other hand, the remaining components of the “first image” are not inverted in the “second image”, so that flicker of the “video” can be reduced.

好ましくは、「一部の成分」は、主に輝度成分の高空間周波数成分を含むことが望ましい。より一層好ましくは、「一部の成分」が輝度成分の高空間周波数成分のみを含むことが望ましい。「第１画像」の高空間周波数成分は「第１画像」に表された物体の動きへの貢献度が高い成分であり、この成分を反転させることで視覚における運動センサーを効率よく刺激できるからである。また、本来「映像」の「動き成分」以外の成分は変化しないことが望ましい。そのため、「一部の成分」が主に輝度成分の動き成分を含んでもよく、「一部の成分」が輝度成分の動き成分のみを含んでもよい。より好ましくは、「一部の成分」が主に輝度成分の高空間周波数成分の動き成分を含むことが望ましく、より一層好ましくは、「一部の成分」が輝度成分の高空間周波数成分の動き成分のみを含むことが望ましい。   Preferably, the “partial component” preferably includes mainly a high spatial frequency component of a luminance component. Even more preferably, the “partial component” desirably includes only the high spatial frequency component of the luminance component. The high spatial frequency component of the “first image” is a component that has a high contribution to the motion of the object represented in the “first image”, and by inverting this component, a motion sensor in vision can be efficiently stimulated. It is. In addition, it is desirable that components other than the “motion component” of the “video” do not change. Therefore, “partial components” may mainly include motion components of luminance components, and “partial components” may include only motion components of luminance components. More preferably, the "partial component" preferably includes the motion component of the high spatial frequency component of the luminance component, and even more preferably, the "partial component" includes the motion of the high spatial frequency component of the luminance component. It is desirable to include only the components.

なお、「第１時間区間」に複数の「第１画像」が属し、「第２時間区間」に複数の「第２画像」が属するのであれば、「第１時間区間」に属する「第１画像」の個数、および「第２時間区間」に属する「第２画像」の個数に限定はない。言い換えると、「第１時間区間」に属する「第１画像」のフレーム数、および「第２時間区間」に属する「第２画像」のフレーム数に限定はない。「第１時間区間」に属する「第１画像」の個数と「第２時間区間」に属する「第２画像」の個数が互いに同一または近似する場合（すなわち、第１時間区間」に属する「第１画像」のフレーム数と「第２時間区間」に属する「第２画像」のフレーム数とが互いに同一または近似する場合）、観察者に滑らかで継続的な動きの印象を与えることができる。「αとβとが互いに近似する」とは、αに対するαとβとの差分｜α−β｜の割合γ＝｜α−β｜／α、またはβに対する差分｜α−β｜の割合γ＝｜α−β｜／βが、０≦γ≦δを満たすことを意味する。ただし、δは所定の正値である。δの例は０．３、０．２、０．１、０．０５、０．０３などである。一方、「第１時間区間」に属する「第１画像」の個数と「第２時間区間」に属する「第２画像」の個数が互いに同一でもないし近似もしない場合、観察者に特別な視覚的効果を与えることができる。   If a plurality of “first images” belong to “first time section” and a plurality of “second images” belong to “second time section”, “first time section” belongs to “first time section”. The number of “images” and the number of “second images” belonging to “second time section” are not limited. In other words, the number of frames of the “first image” belonging to the “first time section” and the number of frames of the “second image” belonging to the “second time section” are not limited. When the number of “first images” belonging to the “first time section” and the number of “second images” belonging to the “second time section” are the same or close to each other (that is, the “second image” belonging to the first time section) When the number of frames of “one image” and the number of frames of “second image” belonging to the “second time section” are the same or similar to each other, it is possible to give a smooth and continuous movement impression to the observer. “Α and β are close to each other” means that the ratio γ of the difference | α−β | between α and β with respect to α = | α−β | / α, or the ratio γ of the difference | α−β | = | Α-β | / β means that 0 ≦ γ ≦ δ is satisfied. Here, δ is a predetermined positive value. Examples of δ are 0.3, 0.2, 0.1, 0.05, 0.03 and the like. On the other hand, if the number of “first images” belonging to “first time section” and the number of “second images” belonging to “second time section” are not the same or approximate to each other, a special visual Can give an effect.

例えば、ｎが４以上の偶数であり、ｉが１以上ｎ／２以下の整数であり、複数の「第１画像」は、時系列に沿った「第１フレーム」の画像から「第ｎ／２フレーム」の画像を含み、複数の「第２画像」は、時系列に沿った「第｛（ｎ／２）＋１｝フレーム」の画像から「第ｎフレーム」の画像を含み、映像生成装置は「第ｉフレーム」の画像に含まれた「一部の成分」を反転させた「第｛（ｎ／２）＋ｉ｝フレーム」の画像を得る。ただし、「第（ｊ＋１）フレーム」（ｊは正整数）は時間的に「第ｊフレーム」の後に続くフレームである。「第１フレーム」の画像から「第ｎ／２フレーム」の画像を時系列に並べて得られる部分映像は、略直線方向（例えば、直線方向）に移動する物体の動きを表すものであることが望ましい。これにより、継続的な動きを十分に知覚させる「映像」を生成できる。ｎ＝４であれば必ずこの要件が満たされる。なお、ｎ＝４の場合、「第１時間区間」は、「第１フレーム」および「第１フレーム」の後に続く「第２フレーム」を含み、「第２時間区間」は、「第２フレーム」の後に続く「第３フレーム」および「第３フレーム」の後に続く「第４フレーム」を含み、複数の「第１画像」は、「第１フレーム」の画像および「第２フレーム」の画像を含み、複数の「第２画像」は、「第３フレーム」の画像および「第４フレーム」の画像を含み、映像生成装置は「第１フレーム」の画像に含まれた「一部の成分」を反転させた「第３フレーム」の画像を得、「第２フレーム」の画像に含まれた「一部の成分」を反転させた「第４フレーム」の画像を得る。ｎが６以上の場合には、ｎ＝４の場合に比べて、ぬるぬるとした動きの印象を与えることができたり、滑らかな動きの印象を与えることができたり、多様な動きの印象を与えることができたりする「映像」を生成できる。ｎが４の倍数であってもよい。   For example, n is an even number greater than or equal to 4 and i is an integer greater than or equal to 1 and less than or equal to n / 2, and a plurality of “first images” are obtained by selecting “n / A plurality of “second images” including images of “{(n / 2) +1} frame” to “n-th frame” in chronological order; Obtains an image of the “{(n / 2) + i} frame” in which the “partial components” included in the image of the “i-th frame” are inverted. However, the “(j + 1) th frame” (j is a positive integer) is a frame temporally following the “jth frame”. A partial video obtained by chronologically arranging the images of the “n / 2th frame” from the image of the “first frame” may represent the movement of an object moving in a substantially linear direction (for example, a linear direction). desirable. As a result, it is possible to generate an "image" that allows a continuous motion to be sufficiently perceived. If n = 4, this requirement is always satisfied. When n = 4, the “first time section” includes the “first frame” and the “second frame” following the “first frame”, and the “second time section” includes the “second frame”. , The "first frame" and the "second frame" include a "third frame" following the "third frame" and a "fourth frame" following the "third frame". And the plurality of “second images” include an image of “third frame” and an image of “fourth frame”, and the video generation device may output “partial components” included in the image of “first frame”. Is obtained, the image of the "third frame" is obtained, and the "partial component" included in the image of the "second frame" is obtained, thereby obtaining the image of the "fourth frame". When n is 6 or more, a slimy motion impression, a smooth motion impression, or various motion impressions can be given as compared with the case where n = 4. You can generate "videos" that you can do. n may be a multiple of four.

上述した「映像」のデータ構造が提供されてもよい。このデータ構造は、「第１時間区間」に属する複数の「第１画像」と、複数の「第１画像」のそれぞれに含まれた「一部の成分」を反転させた、「第１時間区間」の後に続く「第２時間区間」に属する複数の「第２画像」と、を有する。「映像」のデータ構造が入力された映像提示装置は、「第１時間区間」で複数の「第１画像」のそれぞれを提示し、「第２時間区間」で複数の「第２画像」のそれぞれを提示する。提示された「第１画像」および「第２画像」から構成される「映像」を見た観察者は継続的な動きを知覚する。   The data structure of the “video” described above may be provided. This data structure is obtained by inverting the “partial components” included in the plurality of “first images” belonging to the “first time section” and the plurality of “first images”, respectively. And a plurality of “second images” belonging to a “second time section” following the section. The video presentation device to which the data structure of “video” is input presents each of the plurality of “first images” in the “first time interval”, and displays the plurality of “second images” in the “second time interval”. Present each. The observer who sees the "video" composed of the presented "first image" and "second image" perceives continuous movement.

さらに、映像生成装置が、「対象」に基づく「対象画像」を得、「対象画像」を変形および／または動かした「処理画像」を得、「対象」に含まれた「一部の成分」を反転させつつ強度を高めた画像、および「対象」を変形および／または動かした画像に含まれた一部の成分を反転させつつ強度を高めた画像、を含む複数の「第２画像」を得、少なくとも「処理画像」を含む「第１画像」を「第１時間区間」に属する画像とし、「第２画像」を「第１時間区間」の後に続く「第２時間区間」に属する画像とした「映像」を得てもよい。ただし、「映像」は主に輝度運動成分を含む。より好ましくは、「映像」が輝度運動成分のみを含むことが望ましい。「対象」は、立体的形状を備える物（例えば、花瓶、ボール、模型）であってもよいし、所定の平面（例えば、紙、ボード、壁、スクリーン）であってもよい。「対象」が平面である場合には、その平面にパターンが含まれることが望ましい。平面に含まれるパターンの例として、例えば、紙に印刷した写真、画像、所定の平面に投影した写真、画像が考えられる。「対象」をディスプレイなどの画面とした場合には、パターンの例として、ディスプレイなどの画面に表示した画像などが挙げられる。「対象画像」の例は、「対象」を撮影して得られる画像、「対象」をスキャンして得られる画像、「対象」を描画して得られる画像、「対象」の画像データを複製して得られる画像、そのような画像の輝度成分からなる画像、さらにこの輝度成分の高空間周波数成分などである。このように得られた「映像」を「対象」に重畳させた様子を見た観察者は、実際には動いていない「対象」が継続的に動いているように知覚する。   Further, the video generation device obtains a “target image” based on the “target”, obtains a “processed image” obtained by deforming and / or moving the “target image”, and “partial components” included in the “target”. A plurality of “second images” including an image in which the intensity is increased while inverting the image, and an image in which the intensity is increased while inverting some components included in the image obtained by deforming and / or moving the “object”. The “first image” including at least the “processed image” is defined as an image belonging to the “first time section”, and the “second image” is defined as an image belonging to the “second time section” following the “first time section”. You may obtain the "video" that is described. However, the “image” mainly includes a luminance motion component. More preferably, it is desirable that the “image” includes only the luminance motion component. The “object” may be an object having a three-dimensional shape (eg, a vase, a ball, a model) or a predetermined plane (eg, paper, board, wall, screen). When the “object” is a plane, it is desirable that the plane include the pattern. Examples of the pattern included in the plane include a photograph and an image printed on paper, a photograph and an image projected on a predetermined plane, and the like. When the “target” is a screen such as a display, an example of the pattern is an image displayed on a screen such as a display. Examples of “target image” are images obtained by shooting “target”, images obtained by scanning “target”, images obtained by drawing “target”, and image data of “target”. Image obtained from the image, an image composed of luminance components of such an image, and a high spatial frequency component of the luminance component. The observer who sees the state in which the obtained “video” is superimposed on the “target” perceives that the “target” that is not actually moving is continuously moving.

［第１実施形態］
第１実施形態では、映像生成装置が「第１画像」に含まれた輝度成分の高空間周波数成分を反転させて「第２画像」を得、４フレームからなる「映像」を生成する。 [First Embodiment]
In the first embodiment, the video generation device inverts the high spatial frequency component of the luminance component included in the “first image” to obtain a “second image” and generates a “video” composed of four frames.

＜構成＞
図１に例示するように、本形態の映像生成装置１は、入力部１０１、記憶部１０２、画像抽出部１０３、画像生成部１０４、および映像構成部１０５を有する。画像生成部１０４は、成分分離部１０４１、低域フィルタリング部１０４２、高域フィルタリング部１０４３、反転部１０４４、および合成部１０４５を有する。 <Structure>
As illustrated in FIG. 1, the video generation device 1 according to the present embodiment includes an input unit 101, a storage unit 102, an image extraction unit 103, an image generation unit 104, and a video configuration unit 105. The image generation unit 104 includes a component separation unit 1041, a low-pass filtering unit 1042, a high-pass filtering unit 1043, an inversion unit 1044, and a combining unit 1045.

＜処理＞
次に本形態の処理を説明する。
≪入力映像Ｍ_ＩＮの入力≫
映像生成装置１（図１）の入力部１０１に、２つ以上のフレーム（映像フレーム）から構成される任意の入力映像Ｍ_ＩＮが入力される。本形態の入力映像Ｍ_ＩＮは色成分を含む色映像（動画）である。 <Process>
Next, the processing of this embodiment will be described.
«Input of the input image _{M IN»}
The input unit 101 of the image generating apparatus 1 (FIG. 1), any of the input video M _IN composed of two or more frames (video frame) are input. Input image M _IN in this embodiment is a color image (moving picture) including color components.

≪画像抽出部１０３の処理≫
画像抽出部１０３は、記憶部１０２から読み出した入力映像Ｍ_ＩＮから連続する２フレームの画像を取り出し、それぞれを第１フレームの画像Ｐ_１（第１画像）、第２フレームの画像Ｐ_２（第１画像）として出力する。ただし、第２フレームは時間的に第１フレームの後に続くフレームである。画像Ｐ_ｉ（ただし、ｉ＝１，２）は色空間を構成する各チャネルにおける二次元配列の集合であり、各チャネルにおける二次元配列は当該チャネルの座標（ｘ，ｙ）における画素値（強度）Ｐ_ｉ（ｘ，ｙ）を要素とするものである。ただし、ｘはｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘを満たし、ｙはｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘを満たし、ｘ_ｍｉｎは画像Ｐ_ｉのｘ座標の最小値であり、ｘ_ｍａｘは画像Ｐ_ｉのｘ座標の最大値であり、ｙ_ｍｉｎは画像Ｐ_ｉのｙ座標の最小値であり、ｙ_ｍａｘは画像Ｐ_ｉのｙ座標の最大値である。例えば、ＲＧＢ色空間の場合、画像Ｐ_ｉはＲＧＢの３チャネルの上記二次元配列の集合である。 << Process of Image Extraction Unit 103 >>
Image extraction unit 103, an image of 2 consecutive frames from the input video _{M IN} read from the storage unit 102 is taken out, the image _{P 1} (first image) of the first frame, respectively, the image _{P 2} of the second frame (the (1 image). However, the second frame is a frame temporally subsequent to the first frame. The image P _i (where i = 1, 2) is a set of two-dimensional arrays in each channel constituting the color space, and the two-dimensional array in each channel has a pixel value (intensity) at coordinates (x, y) of the channel. ) P _i (x, y) as elements. Here, x satisfies x _min ≦ x ≦ x _max , y satisfies y _min ≦ y ≦ y _max , x _min is the minimum value of the x coordinate of the image P _i , and x _max is the x coordinate of the image P _i , Y _min is the minimum value of the y coordinate of the image P _i , and y _max is the maximum value of the y coordinate of the image P _i . For example, in the case of the RGB color space, the image _Pi is a set of the above-described two-dimensional array of three channels of RGB.

≪画像生成部１０４の処理≫
画像生成部１０４は、「第１時間区間」に属する第１フレームの画像Ｐ_１および第２フレームの画像Ｐ_２のそれぞれに含まれた一部の成分を反転させて、「第２時間区間」に属する第３フレームの画像Ｐ_３（第２画像）および第４フレームの画像Ｐ_４（第２画像）を得て出力する。すなわち、画像生成部１０４は、画像Ｐ_１に含まれた一部の成分を反転させて画像Ｐ_３を得、画像Ｐ_２に含まれた一部の成分を反転させて画像Ｐ_４を得る。ただし、第４フレームは時間的に第３フレームの後に続くフレームである。 << Process of Image Generation Unit 104 >>
Image generating unit 104 inverts a part of components included in each of the image P ₂ of the image P ₁ and the second frame of the first frame belonging to the "first time period", "second time period" And obtains and outputs the image P ₃ (second image) of the third frame and the image P ₄ (second image) of the fourth frame. That is, the image generating unit 104 inverts the component part included in the image P ₁ to obtain an image P ₃ and inverts the component part included in the image P ₂ to obtain an image P ₄ in. However, the fourth frame is a frame temporally subsequent to the third frame.

まず、成分分離部１０４１は、各第ｉフレーム（ただし、ｉ＝１，２）の画像Ｐ_ｉを入力とし、画像Ｐ_ｉを色成分Ｃ_ｉと輝度成分Ｙ_ｉに分離して出力する（図２Ａ）。画像Ｐ_ｉがＲＧＢチャンネルそれぞれの画素値で表現されている場合、成分分離部１０４１は、それをＬＡＢやＹｘｙといった色成分Ｃ_ｉと輝度成分Ｙ_ｉとの分離可能な表現へ置き換え、色成分Ｃ_ｉと輝度成分Ｙ_ｉを得て出力する。色成分Ｃ_ｉは、色成分を構成する各チャネルにおける二次元配列の集合であり、各チャネルにおける二次元配列は当該チャネルの座標（ｘ，ｙ）における画素値Ｃ_ｉ（ｘ，ｙ）を要素とする。輝度成分Ｙ_ｉは、輝度成分を表すチャネルでの座標（ｘ，ｙ）の画素値Ｃ_ｉ（ｘ，ｙ）を要素とする二次元配列である。 First, the component separation unit 1041 receives an image P _i of each i-th frame (where i = 1, 2), separates the image P _i into a color component C _i and a luminance component Y _i , and outputs them (FIG. 2A). When the image P _i is represented by the pixel values of each of the RGB channels, the component separation unit 1041 replaces it with a separable representation of the color component C _i such as LAB or Yxy and the luminance component Y _i , and outputs the color component C to obtain a _i a luminance component _{Y i} outputs. The color component C _i is a set of two-dimensional arrays in each channel constituting the color component, and the two-dimensional array in each channel includes a pixel value C _i (x, y) at coordinates (x, y) of the channel as an element. And The luminance component Y _i is a two-dimensional array in which the pixel value C _i (x, y) at the coordinates (x, y) in the channel representing the luminance component is an element.

各第ｉフレーム（ただし、ｉ＝１，２）の輝度成分Ｙ_ｉは低域フィルタリング部１０４２および高域フィルタリング部１０４３に入力される。低域フィルタリング部１０４２は、入力された輝度成分Ｙ_ｉに低域通過型フィルタＬＦを適用して輝度成分Ｙ_ｉの低空間周波数成分ＬＹ_ｉ（低空間周波数画像）を得て出力する（ＬＹ_ｉ＝ＬＦ・Ｙ_ｉ）。高域フィルタリング部１０４３は、入力された輝度成分Ｙ_ｉに高域通過型フィルタＨＦを適用して輝度成分Ｙ_ｉの高空間周波数成分ＨＹ_ｉ（高空間周波数画像）を得て出力する（ＨＹ_ｉ＝ＨＦ・Ｙ_ｉ）（図２Ｂ）。なお、低域通過型フィルタＬＦは、絶対値がカットオフ周波数ｆ_ＬＦ以下である低空間周波数成分を通過させ、カットオフ周波数ｆ_ＬＦを超える高空間周波数成分を抑圧する空間周波数操作用のフィルタである。高域通過型フィルタＨＦは、絶対値がカットオフ周波数ｆ_ＨＦ以上である高空間周波数成分を通過させ、カットオフ周波数ｆ_ＨＦ未満である低空間周波数成分を抑圧する空間周波数操作用のフィルタである。ここで、画像Ｐ_１，Ｐ_２における空間周波数の振幅を保ち、画像Ｐ_１，Ｐ_２の見え方を画像Ｐ_３，Ｐ_４でも保つために、両フィルタのカットオフ周波数ｆ_ＬＦ，ｆ_ＨＦを互いに等しくすることが望ましい。一方で、画像Ｐ_１，Ｐ_２の見え方を画像Ｐ_３，Ｐ_４でも保つことができれば、必ずしもカットオフ周波数ｆ_ＬＦ，ｆ_ＨＦを互いに等しくする必要はない。カットオフ周波数ｆ_ＬＦ，ｆ_ＨＦは、観察者の視力、画像の大きさ、観察距離、観察者の好みにより調整する。カットオフ周波数ｆ_ＬＦ，ｆ_ＨＦを３ｃｐｄ（cycles per degree）といった低い値に設定すると、観察者の視力が低くても／画像が小さくても／観察距離が大きくても本手法の効果が見られるが、カットオフ周波数ｆ_ＬＦ，ｆ_ＨＦを例えば９ｃｐｄなどといった高い値に設定すると、観察者の視力が高いとき／画像が大きいとき／観察距離が小さいときのみに本手法の効果が見られる。低空間周波数成分ＬＹ_ｉは、座標（ｘ，ｙ）の画素値ＬＹ_ｉ（ｘ，ｙ）を要素とする二次元配列である。高空間周波数成分ＨＹ_ｉは、座標（ｘ，ｙ）の画素値ＨＹ_ｉ（ｘ，ｙ）を要素とする二次元配列である。 Each i-th frame (where, i = 1, 2) the luminance component _{Y i} of input to the low-pass filtering unit 1042 and highband filter unit 1043. The low-pass filtering unit 1042 applies a low-pass filter LF to the input luminance component Y _i to obtain and output a low spatial frequency component LY _i (low spatial frequency image) of the luminance component Y _i (LY _i). = LF · _Y i). The high-pass filtering unit 1043 applies a high-pass filter HF to the input luminance component Y _i to obtain and output a high spatial frequency component HY _i (high spatial frequency image) of the luminance component Y _i (HY _i). = HF · _Y i) (FIG. 2B). Note that the low-pass filter LF, the absolute value is passed through the low spatial frequency components which is below the cut-off frequency f _LF, a filter for a spatial frequency operation for suppressing the high spatial frequency components above the cut-off frequency f _LF is there. High-pass filter HF is the absolute value passes the high spatial frequency components are cut-off frequency f _HF or more, a filter for a spatial frequency operation for suppressing the low spatial frequency component is lower than the cutoff frequency f _HF . Here, in order to keep the amplitude of the spatial frequency in the images P _{1 and} P ₂ and keep the appearance of the images P _{1 and} P ₂ also in the images P _{3 and} P ₄ , the cutoff frequencies f _{LF and} f _HF of both filters are set. It is desirable to make them equal to each other. On the other hand, as long as the images P _{1 and} P ₂ can be seen in the images P _{3 and} P ₄ , the cutoff frequencies f _{LF and} f _HF do not necessarily have to be equal to each other. The cutoff frequencies f _{LF and} f _HF are adjusted according to the observer's eyesight, image size, observation distance, and observer's preference. When the cutoff frequencies f _{LF and} f _HF are set to low values such as 3 cpd (cycles per degree), the effect of the present method can be obtained even if the observer has low visual acuity / small image / large observation distance. However, if the cutoff frequencies f _{LF and} f _HF are set to high values such as 9 cpd, the effect of the present method can be obtained only when the observer has high visual acuity / large image / small observation distance. Low spatial frequency components LY _i is a two-dimensional array of coordinates (x, y) pixel value _LY i (x, y) of the element. The high spatial frequency component HY _i is a two-dimensional array having the pixel value HY _i (x, y) at the coordinates (x, y) as an element.

各第ｉフレーム（ただし、ｉ＝１，２）の高空間周波数成分ＨＹ_ｉは反転部１０４４に入力される。反転部１０４４は、入力された高空間周波数成分ＨＹ_ｉの画素値ＨＹ_ｉ（ｘ，ｙ）を反転して反転高空間周波数成分ＲＨＹ_ｉを得て出力する。反転高空間周波数成分ＲＨＹ_ｉは、座標（ｘ，ｙ）の画素値ＲＨＹ_ｉ（ｘ，ｙ）を要素とする二次元配列である（図３）。例えば、反転部１０４４は、高空間周波数成分ＨＹ_ｉから、高空間周波数成分ＨＹ_ｉの画素値ＨＹ_ｉ（ｘ，ｙ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘかつｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ）の平均値ＭＨＹ_ｉを減じ、その減算結果ＨＹ_ｉ−ＭＨＹ_ｉの正負符号を反転させた後、再度、平均値ＭＨＹ_ｉ加えたものを反転高空間周波数成分ＲＨＹ_ｉとして出力する。
ＲＨＹ_ｉ＝−（ＨＹ_ｉ−ＭＨＹ_ｉ）＋ＭＨＹ_ｉ
ＲＨＹ_ｉは、座標（ｘ，ｙ）の画素値ＲＨＹ_ｉ（ｘ，ｙ）を要素とする二次元配列である。 Each i-th frame (where, i = 1, 2) high spatial frequency component HY _i of is inputted to the inverting section 1044. Inverting section 1044, pixel value _HY i (x, y) of the high spatial frequency component HY _i input inverted to obtain an inverted high spatial frequency components RHY _i output. The inverted high spatial frequency component RHY _i is a two-dimensional array in which pixel values RHY _i (x, y) at coordinates (x, y) are elements (FIG. 3). For example, the inverting unit 1044 converts the pixel value HY _i (x, y) of the high spatial frequency component HY _i from the high spatial frequency component HY _i (where x _min ≦ x ≦ x _max and y _min ≦ y ≦ y _max ). subtracting the average value MHy _i, after inverting the sign of the subtraction result _{HY i} -MHY i, again, to output a plus mean value MHy _i as inverting high spatial frequency components RHY _i.
RHY _i = − (HY _i −MHY _i ) + MHY _i
RHY _i is a two-dimensional array whose elements are pixel values RHY _i (x, y) at coordinates (x, y).

各第ｉフレーム（ただし、ｉ＝１，２）の色成分Ｃ_ｉ、低空間周波数成分ＬＹ_ｉ、および反転高空間周波数成分ＲＨＹ_ｉは、合成部１０４５に入力される。合成部１０４５は、色成分Ｃ_１、低空間周波数成分ＬＹ_１、および反転高空間周波数成分ＲＨＹ_１を足し合わせたものを第３フレームの画像Ｐ_３として得て出力する（Ｐ_３＝Ｃ_１＋ＬＹ_１＋ＲＨＹ_１）。また合成部１０４５は、色成分Ｃ_２、低空間周波数成分ＬＹ_２、および反転高空間周波数成分ＲＨＹ_２を足し合わせたものを第４フレームの画像Ｐ_４として得て出力する（Ｐ_４＝Ｃ_２＋ＬＹ_２＋ＲＨＹ_２）（図３）。 The color component C _i , low spatial frequency component LY _i , and inverted high spatial frequency component RHY _i of each i-th frame (where i = 1, 2) are input to the combining unit 1045. The synthesizing unit 1045 obtains and outputs a sum of the color component C ₁ , the low spatial frequency component LY ₁ , and the inverted high spatial frequency component RHY ₁ as an image P ₃ of the third frame (P ₃ = C ₁ + LY). ₁ + RHY ₁ ). Further, the synthesizing unit 1045 obtains and outputs a sum of the color component C ₂ , the low spatial frequency component LY ₂ , and the inverted high spatial frequency component RHY ₂ as an image P ₄ of the fourth frame (P ₄ = C _2). + LY ₂ + RHY ₂ ) (FIG. 3).

≪映像構成部１０５の処理≫
映像構成部１０５は、第１，２，３，４フレームの画像Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４を入力とし、画像Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４を時間的に並べることでこれらを含む映像Ｍ_ＯＵＴを得て出力する。なお、各第ｉフレーム（ただし、ｉ＝１，２，３，４）の画像Ｐ_ｉの提示時間は、映像Ｍ_ＯＵＴが静止画の系列ではなく動画像として認識可能なように調整される。この範囲であればフレームレートは固定であっても可変であってもよい。 << Process of Image Composition Unit 105 >>
The video composition unit 105 receives the images P ₁ , P ₂ , P ₃ , and P ₄ of the _first , _second , _third , and _fourth frames as inputs, and arranges the images P ₁ , P ₂ , P ₃ , and P ₄ in time. To obtain and output a video M _OUT including these. Note that the presentation time of the image P _i of each i-th frame (where i = 1, 2, 3, 4) is adjusted so that the video M _OUT can be recognized as a moving image instead of a still image sequence. Within this range, the frame rate may be fixed or variable.

以上のように得られた映像Ｍ_ＯＵＴは映像提示装置１５０に入力され、映像提示装置１５０は映像Ｍ_ＯＵＴを繰り返し再生する。すなわち、映像提示装置１５０は、第１時間区間で複数の画像Ｐ_１，Ｐ_２（第１画像）を提示する処理と、第１時間区間の後に続く第２時間区間で複数の画像Ｐ_３，Ｐ_４（複数の第１画像のそれぞれに含まれた一部の成分を反転させた第２画像）を提示する処理と、を繰り返す。つまり、映像提示装置１５０は以下の処理を行う。
ステップＳ１：映像提示装置１５０は画像Ｐ_１を再生し、ステップＳ２に進む。
ステップＳ２：映像提示装置１５０は画像Ｐ_２を再生し、ステップＳ３に進む。
ステップＳ３：映像提示装置１５０は画像Ｐ_３を再生し、ステップＳ４に進む。
ステップＳ４：映像提示装置１５０は画像Ｐ_４を再生し、ステップＳ１に進む。
これにより、再生された映像Ｍ_ＯＵＴを見た観察者は継続的な動きを知覚する。また、画像Ｐ_３は画像Ｐ_１の輝度成分の高空間周波数成分を反転させたものであり、画像Ｐ_４は画像Ｐ_２の輝度成分の高空間周波数成分を反転させたものであるため、画像Ｐ_１と画像Ｐ_３との間、および、画像Ｐ_１と画像Ｐ_３との間での色味の変化は小さい。その結果、画像Ｐ_２と画像Ｐ_３との間での強度の変化、および、画像Ｐ_４と画像Ｐ_１との間での強度の変化を抑えることができ、ちらつきの少ない連続した動きを観察者に与えることができる。 The video M _OUT obtained as described above is input to the video presentation device 150, and the video presentation device 150 repeatedly reproduces the video M _OUT . That is, the video presenting device 150 presents the plurality of images P ₁ and P ₂ (first images) in the first time interval, and the plurality of images P ₃ and P ₃ in the second time interval following the first time interval. A process of presenting P ₄ (a second image obtained by inverting some components included in each of the plurality of first images) is repeated. That is, the video presentation device 150 performs the following processing.
Step S1: image presentation apparatus 150 reproduces the image _{P 1,} the process proceeds to step S2.
Step S2: video presentation device 150 reproduces the image _{P 2,} the process proceeds to step S3.
Step S3: image presentation apparatus 150 reproduces the image _{P 3,} the process proceeds to step S4.
Step S4: image presentation apparatus 150 reproduces the image _{P 4,} the process proceeds to step S1.
Thus, the observer who has watched the reproduced video _MOUT perceives continuous movement. The image P ₃ is obtained by inverting the high spatial frequency components of the luminance component of the image P _1, since the image P ₄ is obtained by inverting the high spatial frequency components of the luminance component of the image P _2, the image between the P ₁ and the image _{P 3,} and, color changes between the images _{P 1} and the image _{P 3} is small. As a result, the intensity change in between the image P ₂ and the image P _3, and can suppress the change in intensity between the images P ₄ and the image P _1, observed less continuous motion flicker Can be given to others.

［第１実施形態の変形例１］
第１実施形態では、画像Ｐ_１およびＰ_２の輝度成分の高空間周波数成分を反転させたものを画像Ｐ_３およびＰ_４とした。しかし、画像Ｐ_１およびＰ_２の輝度成分全体を反転させたものを画像Ｐ_３およびＰ_４としてもよい。以下では、既に説明した事項との相違点を中心に説明し、既に説明した事項については同じ参照番号を引用して説明を簡略化する。 [Modification 1 of First Embodiment]
In the first embodiment, and the one obtained by inverting the high spatial frequency components of the luminance component of the image P ₁ and P ₂ and the image P ₃ and P _4. However, it may be used as an image _{P 3} and _{P 4} obtained by inverting the entire luminance component of the image _{P 1} and _{P 2.} In the following, the differences from the already described items will be mainly described, and the already described items will be referred to by the same reference numerals to simplify the description.

＜構成＞
図５に例示するように、本変形例の映像生成装置１’は、入力部１０１、記憶部１０２、画像抽出部１０３、画像生成部１０４’、および映像構成部１０５を有する。画像生成部１０４’は、成分分離部１０４１、反転部１０４４’、および合成部１０４５’を有する。 <Structure>
As illustrated in FIG. 5, a video generation device 1 ′ of the present modification includes an input unit 101, a storage unit 102, an image extraction unit 103, an image generation unit 104 ′, and a video configuration unit 105. The image generation unit 104 ′ includes a component separation unit 1041, an inversion unit 1044 ′, and a synthesis unit 1045 ′.

＜処理＞
第１実施形態との相違点は、前述した≪画像生成部１０４の処理≫に代えて、以下の≪画像生成部１０４’の処理≫が実行される点である。この相違点のみを説明する。 <Process>
The difference from the first embodiment is that the following {processing of the image generation unit 104 ′} is executed instead of the above {processing of the image generation unit 104}. Only this difference will be described.

≪画像生成部１０４’の処理≫
画像生成部１０４’は、画像Ｐ_１に含まれた「一部の成分」である輝度成分全体を反転させて画像Ｐ_３を得、画像Ｐ_２に含まれた「一部の成分」である輝度成分全体を反転させて画像Ｐ_４を得る。 << Process of Image Generation Unit 104 '>>
Image generation unit 104 'inverts the entire luminance component is included in the image P ₁ "part of component" obtain an image P ₃ and is the included in the image P ₂ "part of the component" obtaining an image P ₄ by inverting the entire luminance component.

まず成分分離部１０４１は、各第ｉフレーム（ただし、ｉ＝１，２）の画像Ｐ_ｉを入力とし、画像Ｐ_ｉを色成分Ｃ_ｉと輝度成分Ｙ_ｉに分離して出力する（図２Ａ）。 First, the component separation unit 1041 receives the image P _i of each i-th frame (where i = 1, 2), and separates and outputs the image P _i into a color component C _i and a luminance component Y _i (FIG. 2A). ).

各第ｉフレーム（ただし、ｉ＝１，２）の輝度成分Ｙ_ｉは反転部１０４４’に入力される。反転部１０４４’は、入力された輝度成分Ｙ_ｉの画素値Ｙ_ｉ（ｘ，ｙ）を反転して反転輝度成分ＲＹ_ｉを得て出力する。反転輝度成分ＲＹ_ｉは、座標（ｘ，ｙ）の画素値ＲＹ_ｉ（ｘ，ｙ）を要素とする二次元配列である。例えば、反転部１０４４’は、輝度成分Ｙ_ｉから、輝度成分Ｙ_ｉの画素値Ｙ_ｉ（ｘ，ｙ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘかつｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ）の平均値ＭＹ_ｉを減じ、その減算結果Ｙ_ｉ−ＭＹ_ｉの正負符号を反転させた後、再度、平均値ＭＹ_ｉ加えたものを反転輝度成分ＲＹ_ｉとして出力する。
ＲＹ_ｉ＝−（Ｙ_ｉ−ＭＹ_ｉ）＋ＭＹ_ｉ
ＲＹ_ｉは、座標（ｘ，ｙ）の画素値ＲＹ_ｉ（ｘ，ｙ）を要素とする二次元配列である。 Each i-th frame (where, i = 1, 2) the luminance component _{Y i} of is inputted to the inverting section 1044 '. Reversing portion 1044 ', the pixel value _Y i (x, y) of the input luminance component _{Y i} inverted outputs obtained an inverted luminance component RY _i the. Inverted luminance component RY _i is a two-dimensional array of coordinates (x, y) of the pixel value _RY i (x, y) as elements. For example, the inverting unit 1044 ′ calculates an average value of the pixel values Y _i (x, y) (where x _min ≦ x ≦ x _max and y _min ≦ y ≦ y _max ) of the brightness component Y _i from the brightness component Y _i. subtracting MY _i, after inverting the sign of the subtraction result _Y i -my _i, again, to output a plus mean value MY _i as an inverted luminance component RY _i.
RY _i = − (Y _i −MY _i ) + MY _i
RY _i is a two-dimensional array whose elements are pixel values RY _i (x, y) at coordinates (x, y).

各第ｉフレーム（ただし、ｉ＝１，２）の色成分Ｃ_ｉ、および反転輝度成分ＲＹ_ｉは、合成部１０４５’に入力される。合成部１０４５’は、色成分Ｃ_１、および反転輝度成分ＲＹ_１を足し合わせたものを第３フレームの画像Ｐ_３として得て出力する（Ｐ_３＝Ｃ_１＋ＲＹ_１）。また合成部１０４５’は、色成分Ｃ_２、および反転輝度成分ＲＹ_２を足し合わせたものを第４フレームの画像Ｐ_４として得て出力する（Ｐ_４＝Ｃ_２＋ＲＹ_２）。 The color component C _i and the inverted luminance component RY _i of each i-th frame (where i = 1, 2) are input to the synthesis unit 1045 ′. Combining unit 1045 'is obtained to output color components _{C 1,} and which is the sum of the inverted luminance component RY ₁ as an image _{P 3} of the third frame _{(P 3 = C 1 + RY} 1). The combining unit 1045 'is obtained and output which is the sum of the color components _{C 2,} and an inverted luminance component RY ₂ as an image _{P 4} of the fourth frame _{(P 4 = C 2 + RY} 2).

以降の処理は第１実施形態と同じである。これによっても、ちらつきの少ない連続した動きを観察者に与える映像Ｍ_ＯＵＴを生成できる。 Subsequent processing is the same as in the first embodiment. In this way, it is also possible to generate an image M _OUT that gives a continuous motion with little flicker to the observer.

［第１実施形態の変形例２］
第１実施形態では、画像Ｐ_１およびＰ_２の輝度成分の高空間周波数成分を反転させたものを画像Ｐ_３およびＰ_４とした。しかし、画像Ｐ_１およびＰ_２全体の高空間周波数成分を反転させたものを画像Ｐ_３およびＰ_４としてもよい。すなわち、画像Ｐ_１およびＰ_２の輝度成分の高空間周波数成分だけではなく、色成分の高空間周波数成分をも反転させて、画像Ｐ_３およびＰ_４を得てもよい。 [Modification 2 of First Embodiment]
In the first embodiment, and the one obtained by inverting the high spatial frequency components of the luminance component of the image P ₁ and P ₂ and the image P ₃ and P _4. However, it may be used as an image P ₃ and P ₄ obtained by inverting the high spatial frequency component of the whole image P ₁ and P _2. That is, not only the high spatial frequency components of the luminance component of the image P ₁ and P _2, also invert the high spatial frequency component of the color components may be obtained an image P ₃ and P _4.

＜構成＞
図６に例示するように、本変形例の映像生成装置１”は、入力部１０１、記憶部１０２、画像抽出部１０３、画像生成部１０４”、および映像構成部１０５を有する。画像生成部１０４”は、低域フィルタリング部１０４２”、高域フィルタリング部１０４３”、反転部１０４４”、および合成部１０４５”を有する。 <Structure>
As illustrated in FIG. 6, the video generation device 1 ″ of the present modification includes an input unit 101, a storage unit 102, an image extraction unit 103, an image generation unit 104 ″, and a video configuration unit 105. The image generating unit 104 ″ includes a low-pass filtering unit 1042 ″, a high-pass filtering unit 1043 ″, an inverting unit 1044 ″, and a combining unit 1045 ″.

＜処理＞
第１実施形態との相違点は、前述した≪画像生成部１０４の処理≫に代えて、以下の≪画像生成部１０４”の処理≫が実行される点である。この相違点のみを説明する。 <Process>
The difference from the first embodiment is that the following {processing of the image generation unit 104 ″} is executed instead of the above-mentioned {processing of the image generation unit 104}. Only this difference will be described. .

≪画像生成部１０４”の処理≫
画像生成部１０４”は、画像Ｐ_１に含まれた「一部の成分」である高空間周波数成分を反転させて画像Ｐ_３を得、画像Ｐ_２に含まれた「一部の成分」である高空間周波数成分を反転させて画像Ｐ_４を得る。 << Process of Image Generation Unit 104 >>
Image generation unit 104 "inverts the high spatial frequency components which are included in the image P _1" part of component "obtain an image P _3, in included in the image P _2" part of the component " obtaining an image P ₄ by reversing some high spatial frequency components.

各第ｉフレーム（ただし、ｉ＝１，２）の画像Ｐ_ｉは低域フィルタリング部１０４２”および高域フィルタリング部１０４３”に入力される。低域フィルタリング部１０４２”は、入力された画像Ｐ_ｉに低域通過型フィルタＬＦを適用して画像Ｐ_ｉの低空間周波数成分ＬＰ_ｉ（低空間周波数画像）を得て出力する（ＬＰ_ｉ＝ＬＦ・Ｐ_ｉ）。高域フィルタリング部１０４３”は、入力された画像Ｐ_ｉに高域通過型フィルタＨＦを適用して画像Ｐ_ｉの高空間周波数成分ＨＰ_ｉ（高空間周波数画像）を得て出力する（ＨＰ_ｉ＝ＨＦ・Ｐ_ｉ）。 The image P _i of each i-th frame (where i = 1, 2) is input to the low-pass filtering unit 1042 ″ and the high-pass filtering unit 1043 ″. The low-pass filtering unit 1042 ″ applies a low-pass filter LF to the input image P _i to obtain and output a low spatial frequency component LP _i (low spatial frequency image) of the image P _i (LP _i = LF · _P i). high-pass filtering unit 1043 ", with the by applying the high pass filter HF in the input image _{P i} high spatial frequency components HP _i of the image _{P i} (high spatial frequency image) Output (HP _i = HF · P _i ).

各第ｉフレーム（ただし、ｉ＝１，２）の高空間周波数成分ＨＰ_ｉは反転部１０４４”に入力される。反転部１０４４”は、入力された高空間周波数成分ＨＰ_ｉの画素値ＨＰ_ｉ（ｘ，ｙ）を反転して反転高空間周波数成分ＲＨＰ_ｉを得て出力する。反転高空間周波数成分ＲＨＰ_ｉは、座標（ｘ，ｙ）の画素値ＲＨＰ_ｉ（ｘ，ｙ）を要素とする二次元配列である（図３）。例えば、反転部１０４４”は、高空間周波数成分ＨＰ_ｉから、高空間周波数成分ＨＰ_ｉの画素値ＨＰ_ｉ（ｘ，ｙ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘかつｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ）の平均値ＭＨＰ_ｉを減じ、その減算結果ＨＰ_ｉ−ＭＨＰ_ｉの正負符号を反転させた後、再度、平均値ＭＨＰ_ｉ加えたものを反転高空間周波数成分ＲＨＰ_ｉとして出力する。
ＲＨＰ_ｉ＝−（ＨＰ_ｉ−ＭＨＰ_ｉ）＋ＭＨＰ_ｉ
ＲＨＰ_ｉは、座標（ｘ，ｙ）の画素値ＲＨＰ_ｉ（ｘ，ｙ）を要素とする二次元配列である。 Each i-th frame (where, i = 1, 2) of the "input. Inversion section 1044 to" the high spatial frequency components HP _i inverting unit 1044, the pixel value HP _i of the high spatial frequency components HP _i entered (X, y) is inverted to obtain and output an inverted high spatial frequency component RHP _i . The inverted high spatial frequency component RHP _i is a two-dimensional array having the pixel value RHP _i (x, y) at the coordinates (x, y) as an element (FIG. 3). For example, the inverting unit 1044 ″ converts the pixel value HP _i (x, y) of the high spatial frequency component HP _i from the high spatial frequency component HP _i (where x _min ≦ x ≦ x _max and y _min ≦ y ≦ y _max). subtracting the average value MHP _i) of, after inverting the sign of the subtraction result _{HP i} -MHP i, again, to output a plus mean value MHP _i as inverting high spatial frequency components RHP _i.
RHP _i = − (HP _i −MHP _i ) + MHP _i
RHP _i is a two-dimensional array whose elements are pixel values RHP _i (x, y) at coordinates (x, y).

各第ｉフレーム（ただし、ｉ＝１，２）の低空間周波数成分ＬＰ_ｉ、および反転高空間周波数成分ＲＨＰ_ｉは合成部１０４５”に入力される。合成部１０４５”は、低空間周波数成分ＬＰ_１、および反転高空間周波数成分ＲＨＰ_１を足し合わせたものを第３フレームの画像Ｐ_３として得て出力する（Ｐ_３＝ＬＰ_１＋ＲＨＰ_１）。また合成部１０４５”は、低空間周波数成分ＬＰ_２、および反転高空間周波数成分ＲＨＰ_２を足し合わせたものを第４フレームの画像Ｐ_４として得て出力する（Ｐ_４＝ＬＰ_２＋ＲＨＰ_２）。 The low spatial frequency component LP _i and the inverted high spatial frequency component RHP _i of each i-th frame (where i = 1, 2) are input to the combining unit 1045 ″. The combining unit 1045 ″ outputs the low spatial frequency component LP. ₁ and the inverted high spatial frequency component RHP ₁ are added as a third frame image P ₃ and output (P ₃ = LP ₁ + RHP ₁ ). The combining unit 1045 ", and outputs the resulting low spatial frequency components LP _2, and which is the sum of the inverting high spatial frequency components RHP ₂ as an image _{P 4} of the fourth frame _{(P 4 = LP 2 + RHP} 2).

以降の処理は第１実施形態と同じである。これによっても、ちらつきの少ない連続した動きを観察者に与える映像Ｍ_ＯＵＴを生成できる。 Subsequent processing is the same as in the first embodiment. In this way, it is also possible to generate an image M _OUT that gives a continuous motion with little flicker to the observer.

［第２実施形態］
第１実施形態では、画像Ｐ_１およびＰ_２の輝度成分の高空間周波数成分を反転させたものを画像Ｐ_３およびＰ_４とした。しかし、画像Ｐ_１およびＰ_２の輝度成分の高空間周波数成分の動き成分を反転させたものを画像Ｐ_３およびＰ_４としてもよい。これにより、ちらつきをより低減できる。 [Second embodiment]
In the first embodiment, and the one obtained by inverting the high spatial frequency components of the luminance component of the image P ₁ and P ₂ and the image P ₃ and P _4. However, it may be used as an image P ₃ and P ₄ obtained by inverting the motion component of the high spatial frequency components of the luminance component of the image P ₁ and P _2. Thereby, flicker can be further reduced.

＜構成＞
図１に例示するように、本形態の映像生成装置２は、入力部１０１、記憶部１０２、画像抽出部１０３、画像生成部２０４、および映像構成部１０５を有する。画像生成部２０４は、成分分離部１０４１、低域フィルタリング部１０４２、高域フィルタリング部１０４３、反転部２０４４、および合成部１０４５を有する。 <Structure>
As illustrated in FIG. 1, the video generation device 2 according to the present embodiment includes an input unit 101, a storage unit 102, an image extraction unit 103, an image generation unit 204, and a video configuration unit 105. The image generation unit 204 includes a component separation unit 1041, a low-pass filtering unit 1042, a high-pass filtering unit 1043, an inversion unit 2044, and a combining unit 1045.

＜処理＞
第１実施形態との相違点は、前述した≪画像生成部１０４の処理≫に代えて、以下の≪画像生成部２０４の処理≫が実行される点である。この相違点のみを説明する。 <Process>
The difference from the first embodiment is that the following {processing of the image generation unit 204} is executed instead of the above {processing of the image generation unit 104}. Only this difference will be described.

≪画像生成部２０４の処理≫
まず、成分分離部１０４１は、各第ｉフレーム（ただし、ｉ＝１，２）の画像Ｐ_ｉを入力とし、画像Ｐ_ｉを色成分Ｃ_ｉと輝度成分Ｙ_ｉに分離して出力する。低域フィルタリング部１０４２は、入力された輝度成分Ｙ_ｉに低域通過型フィルタＬＦを適用して輝度成分Ｙ_ｉの低空間周波数成分ＬＹ_ｉ（低空間周波数画像）を得て出力する（ＬＹ_ｉ＝ＬＦ・Ｙ_ｉ）。高域フィルタリング部１０４３は、入力された輝度成分Ｙ_ｉに高域通過型フィルタＨＦを適用して輝度成分Ｙ_ｉの高空間周波数成分ＨＹ_ｉ（高空間周波数画像）を得て出力する（ＨＹ_ｉ＝ＨＦ・Ｙ_ｉ）。 << Process of Image Generation Unit 204 >>
First, the component separation unit 1041 receives the image P _i of each i-th frame (where i = 1, 2), separates the image P _i into a color component C _i and a luminance component Y _i , and outputs them. The low-pass filtering unit 1042 applies a low-pass filter LF to the input luminance component Y _i to obtain and output a low spatial frequency component LY _i (low spatial frequency image) of the luminance component Y _i (LY _i). = LF · _Y i). The high-pass filtering unit 1043 applies a high-pass filter HF to the input luminance component Y _i to obtain and output a high spatial frequency component HY _i (high spatial frequency image) of the luminance component Y _i (HY _i). = HF · Y _i ).

各第ｉフレーム（ただし、ｉ＝１，２）の高空間周波数成分ＨＹ_ｉは反転部２０４４に入力される。反転部２０４４は、入力された高空間周波数成分ＨＹ_ｉの動き成分である高空間周波数動き成分ＨＭＹ_ｉの画素値ＨＭＹ_ｉ（ｘ，ｙ）を反転して反転高空間周波数成分ＲＨＭＹ_ｉを得て出力する。反転高空間周波数成分ＲＨＭＹ_ｉは、座標（ｘ，ｙ）の画素値ＲＨＭＹ_ｉ（ｘ，ｙ）を要素とする二次元配列である。 Each i-th frame (where, i = 1, 2) high spatial frequency component HY _i of is inputted to the inverting section 2044. Inverting unit 2044, the pixel value _HMY i (x, y) of the high spatial frequency motion component HMY _i which is the motion component of the high spatial frequency component HY _i input inverted and the resulting inverted high spatial frequency components RHMY _i Output. The inverted high spatial frequency component RHMY _i is a two-dimensional array having the pixel value RHMY _i (x, y) at the coordinates (x, y) as an element.

反転部２０４４の処理を詳細に説明する。反転部２０４４が画素値ＨＭＹ_ｉ（ｘ，ｙ）を反転させる空間領域は、第ｉフレーム（ただし、ｉ＝１，２）の高空間周波数成分ＨＹ_ｉにおいて動き情報がある領域に限られる。すなわち、高空間周波数成分ＨＹ_１とＨＭＹ_２との間で動き情報のある領域のみの画素値ＨＭＹ_ｉ（ｘ，ｙ）を反転させる。動き情報は高空間周波数成分ＨＹ_ｉのオプティカルフロー（各画素の動きを表すベクトル）を計算することによって得られる。まず、反転部２０４４は、高空間周波数成分ＨＹ_ｉのオプティカルフローを計算し、各座標（ｘ，ｙ）での動き量Ｖ_ｉ（ｘ，ｙ）（オプティカルフローの大きさ）を得る。次に反転部２０４４は、動き量Ｖ_ｉ（ｘ，ｙ）をフロー全体で標準化して各座標（ｘ，ｙ）の重みｎＶ_ｉ（ｘ，ｙ）を得、重みｎＶ_ｉ（ｘ，ｙ）を用いて高空間周波数成分ＨＹ_ｉに空間的な重み付けを行って、画素値を反転させる領域を制限する。例えば、標準化は以下のように行われる。
ｎＶ_ｉ（ｘ，ｙ）＝（Ｖ_ｉ（ｘ，ｙ）−Ｖｍｉｎ_ｉ）／（Ｖｍａｘ_ｉ−Ｖｍｉｎ_ｉ） （１）
ただし、Ｖｍｉｎ_ｉは第ｉフレームでの動き量Ｖ_ｉ（ｘ，ｙ）の最小値であり、Ｖｍａｘ_ｉは第ｉフレームでの動き量Ｖ_ｉ（ｘ，ｙ）の最大値である。 The processing of the reversing unit 2044 will be described in detail. The spatial area in which the inverting unit 2044 inverts the pixel value HMY _i (x, y) is limited to an area having motion information in the high spatial frequency component HY _i of the i-th frame (where i = 1, 2). That is, to invert the pixel value _HMY i only certain regions of the motion information (x, y) between the high spatial frequency component HY ₁ and HMY _2. The motion information is obtained by calculating the high spatial frequency component HY _i optical flow (vector representing the motion of each pixel). First, the inversion unit 2044 calculates the optical flow of the high spatial frequency component HY _i, obtain the coordinates (x, y) the amount of motion in the _V i (x, y) (the magnitude of the optical flow). Then inverting section 2044, obtained motion amount _V i (x, y) coordinates and standardized across flow the (x, y) weighted _nV i (x, y) of a weight _nV i (x, y) Carry out spatial weighting to a high spatial frequency component HY _i is used to limit the region to invert the pixel value. For example, standardization is performed as follows.
_{nV i (x, y) =} (V i (x, y) -Vmin i) / (Vmax i -Vmin i) (1)
However, Vmin _i is the minimum value of the motion amount _V i (x, y) in the i-th frame, Vmax _i is the maximum value of the motion amount _V i (x, y) in the i-th frame.

反転させる領域を拡張または縮小する場合には、式（１）で得られたｎＶ_ｉ（ｘ，ｙ）に対してさらに式（２）の処理を行って得られたものを重みｎＶ_ｉ（ｘ，ｙ）としてもよい。
ｎＶ_ｉ（ｘ，ｙ）：＝｛ｎＶ_ｉ（ｘ，ｙ）｝^１／ｋ （２）
ただし、「α：＝β」はβを新たなαとすること（すなわち、βをαに代入すること）を意味する。ｋは正値のパラメータである。反転させる領域を拡張する場合にはｋ＞１とし、反転させる領域を縮小する場合には１＞ｋ＞０とし、反転させる領域を変化させない場合にはｋ＝１とする。 When expanding or reducing the area for reversing the formula (1) obtained in nV i _(x, y) weighted those obtained by further performing a treatment of the formula (2) with respect nV i _(x , Y).
_{nV i (x, y):} = {nV i (x, y)} 1 / k (2)
However, “α: = β” means that β is a new α (that is, β is substituted for α). k is a parameter of a positive value. If the area to be inverted is expanded, k> 1. If the area to be inverted is reduced, 1>k> 0. If the area to be inverted is not changed, k = 1.

式（１）または式（２）で得られたｎＶ_ｉ（ｘ，ｙ）を２値化したものを重みｎＶ_ｉ（ｘ，ｙ）としてもよい。ｎＶ_ｉ（ｘ，ｙ）を２値化は以下のように行われる。
もしｎＶ_ｉ（ｘ，ｙ）≧ＴＨならばｎＶ_ｉ（ｘ，ｙ）：＝１ （３）
もしｎＶ_ｉ（ｘ，ｙ）＜ＴＨならばｎＶ_ｉ（ｘ，ｙ）：＝０
ただし、ＴＨは正の閾値であり、例えばＴＨ＝０．５である。 Equation (1) or _nV i (x, y) obtained by formula (2) obtained by binarizing those weights _nV i (x, y) may be. nV _i (x, y) 2 digitizes the is done as follows.
If nV _i (x, y) ≧ TH, nV _i (x, y): = 1 (3)
If _{nV i (x, y) <} TH if _{nV i (x, y):} = 0
Here, TH is a positive threshold, for example, TH = 0.5.

式（３）によって２値化されたｎＶ_ｉ（ｘ，ｙ）は明確なエッジを有しており、反転させる領域とそうでない領域とが明確に二分化され、視覚上不自然な印象を与えてしまう場合がある。そのため、式（３）によって２値化されたｎＶ_ｉ（ｘ，ｙ）にガウシアンフィルタを適用して得られるものを重みｎＶ_ｉ（ｘ，ｙ）としてもよい。ガウシアンフィルタの標準偏差は任意でよいが、標準偏差の大きさが大きくなるほど、動きを伴わない領域においても重みｎＶ_ｉ（ｘ，ｙ）が正値となる確率が高くなる。 The nV _i (x, y) binarized by the expression (3) has a clear edge, and a region to be inverted and a region not to be inverted are clearly divided into two, giving a visually unnatural impression. In some cases. Therefore, a value obtained by applying a Gaussian filter to nV _i (x, y) binarized by Expression (3) may be used as the weight nV _i (x, y). The standard deviation of the Gaussian filter may be arbitrary, but the larger the standard deviation, the higher the probability that the weight nV _i (x, y) will be a positive value even in a region that does not involve motion.

反転部２０４４は、以上のように得られる重みｎＶ_ｉ（ｘ，ｙ）を用い、第ｉフレーム（ただし、ｉ＝１，２）の高空間周波数成分ＨＹ_ｉの動き成分である高空間周波数動き成分ＨＭＹ_ｉの画素値ＨＭＹ_ｉ（ｘ，ｙ）を反転して反転高空間周波数成分ＲＨＭＹ_ｉを得て出力する。すなわち、反転部２０４４は、第１実施形態で説明したように高空間周波数成分ＨＹ_ｉの画素値ＨＹ_ｉ（ｘ，ｙ）を反転して反転高空間周波数成分ＲＨＹ_ｉを得、さらに以下のように反転高空間周波数成分ＲＨＭＹ_ｉを得て出力する（図４）。
ＲＨＭＹ_ｉ（ｘ，ｙ）：＝ＲＨＹ_ｉ（ｘ，ｙ）×ｎＶ_ｉ（ｘ，ｙ）＋ＨＹ_ｉ（ｘ，ｙ）×（１−ｎＶ_ｉ（ｘ，ｙ））
ただし、ＲＨＹ_ｉ（ｘ，ｙ）×ｎＶ_ｉ（ｘ，ｙ）は、高空間周波数動き成分ＨＭＹ_ｉの画素値ＨＭＹ_ｉ（ｘ，ｙ）を反転したものである。 Inverting section 2044, using a weighting _nV i (x, y) obtained as described above, the i-th frame (where, i = 1, 2) high spatial frequency component HY _i high spatial frequency movement is the motion component of the The pixel value HMY _i (x, y) of the component HMY _i is inverted to obtain and output an inverted high spatial frequency component RHMY _i . That is, the inverting unit 2044 inverts the pixel value HY _i (x, y) of the high spatial frequency component HY _i as described in the first embodiment to obtain an inverted high spatial frequency component RHY _i. Newsletter inverting high spatial frequency components RHMY _i outputs (Figure 4).
_{RHMY i (x, y):} = RHY i (x, y) × nV i (x, y) + HY i (x, y) × (1-nV i (x, y))
_{However, RHY i (x, y)} × nV i (x, y) is obtained by inverting the pixel values _HMY i of high spatial frequency motion component HMY _i (x, y).

各第ｉフレーム（ただし、ｉ＝１，２）の色成分Ｃ_ｉ、低空間周波数成分ＬＹ_ｉ、および反転高空間周波数成分ＲＨＭＹ_ｉは、合成部１０４５に入力される。合成部１０４５は、色成分Ｃ_１、低空間周波数成分ＬＹ_１、および反転高空間周波数成分ＲＨＭＹ_１を足し合わせたものを第３フレームの画像Ｐ_３として得て出力する（Ｐ_３＝Ｃ_１＋ＬＹ_１＋ＲＨＭＹ_１）。また合成部１０４５は、色成分Ｃ_２、低空間周波数成分ＬＹ_２、および反転高空間周波数成分ＲＨＭＹ_２を足し合わせたものを第４フレームの画像Ｐ_４として得て出力する（Ｐ_４＝Ｃ_２＋ＬＹ_２＋ＲＨＭＹ_２）（図４）。 The color component C _i , low spatial frequency component LY _i , and inverted high spatial frequency component RHMY _i of each i-th frame (where i = 1, 2) are input to the combining unit 1045. The synthesizing unit 1045 obtains the sum of the color component C ₁ , the low spatial frequency component LY ₁ , and the inverted high spatial frequency component RHMY ₁ as an image P ₃ of the third frame, and outputs the image (P ₃ = C ₁ + LY). ₁ + RHMY ₁ ). Further, the synthesizing unit 1045 obtains and outputs a sum of the color component C ₂ , the low spatial frequency component LY ₂ , and the inverted high spatial frequency component RHMY ₂ as an image P ₄ of the fourth frame (P ₄ = C _2). + LY ₂ + RHMY ₂ ) (FIG. 4).

以降の処理は第１実施形態と同じである。これによっても連続した動きを観察者に与える映像Ｍ_ＯＵＴを生成できる。さらに本形態の映像Ｍ_ＯＵＴでは、もともと動き成分が含まれていなかった領域の輝度が反転しないため、観察者はよりちらつきの少ない、連続的な動きの含まれる映像を体験できる。 Subsequent processing is the same as in the first embodiment. In this way, it is also possible to generate an image M _OUT that gives a continuous movement to the observer. Further, in the video M _{OUT of the} present embodiment, since the luminance of the region that originally did not include a motion component is not inverted, the observer can experience a video with less flicker and continuous motion.

［第２実施形態の変形例１］
第２実施形態では、画像Ｐ_１およびＰ_２における輝度成分の高空間周波数成分の動き成分を反転させたものを画像Ｐ_３およびＰ_４とした。しかし、画像Ｐ_１およびＰ_２の輝度成分全体の動き成分を反転させたものを画像Ｐ_３およびＰ_４としてもよい。 [Modification 1 of Second Embodiment]
In the second embodiment, and the one obtained by inverting the motion component of the high spatial frequency components of the luminance component in the image P ₁ and P ₂ and the image P ₃ and P _4. However, it may be used as an image P ₃ and P ₄ obtained by inverting the luminance component motion of the entire component of the image P ₁ and P _2.

＜構成＞
図５に例示するように、本変形例の映像生成装置２’は、入力部１０１、記憶部１０２、画像抽出部１０３、画像生成部２０４’、および映像構成部１０５を有する。画像生成部２０４’は、成分分離部１０４１、反転部２０４４’、および合成部１０４５’を有する。 <Structure>
As illustrated in FIG. 5, the video generation device 2 ′ of the present modification includes an input unit 101, a storage unit 102, an image extraction unit 103, an image generation unit 204 ′, and a video configuration unit 105. The image generation unit 204 ′ includes a component separation unit 1041, an inversion unit 2044 ′, and a synthesis unit 1045 ′.

＜処理＞
第２実施形態との相違点は、前述した≪画像生成部２０４の処理≫に代えて、以下の≪画像生成部２０４’の処理≫が実行される点である。この相違点のみを説明する。 <Process>
The difference from the second embodiment is that the following {processing of the image generation unit 204 ′} is executed instead of the above {processing of the image generation unit 204}. Only this difference will be described.

≪画像生成部２０４’の処理≫
画像生成部２０４’は、画像Ｐ_１に含まれた「一部の成分」である輝度成分全体の動き成分を反転させて画像Ｐ_３を得、画像Ｐ_２に含まれた「一部の成分」である輝度成分全体の動き成分を反転させて画像Ｐ_４を得る。 << Process of Image Generation Unit 204 '>>
Image generating unit 204 'has been included in the image P ₁ is inverted to "part of component" luminance component overall motion component is obtained an image P ₃ and were included in the image P ₂ "of the portion of components by inverting the luminance component overall motion component is a "get image P ₄ in.

まず成分分離部１０４１は、各第ｉフレーム（ただし、ｉ＝１，２）の画像Ｐ_ｉを入力とし、画像Ｐ_ｉを色成分Ｃ_ｉと輝度成分Ｙ_ｉに分離して出力する（図２Ａ）。 First, the component separation unit 1041 receives the image P _i of each i-th frame (where i = 1, 2), and separates and outputs the image P _i into a color component C _i and a luminance component Y _i (FIG. 2A). ).

各第ｉフレーム（ただし、ｉ＝１，２）の輝度成分Ｙ_ｉは反転部２０４４’に入力される。反転部２０４４’は、入力された輝度成分Ｙ_ｉの動き成分である輝度動き成分ＭＹ_ｉの画素値ＭＹ_ｉ（ｘ，ｙ）を反転して反転輝度動きＲＭＹ_ｉを得て出力する。この処理は、第２実施形態の反転部２０４４が行う処理の「高空間周波数成分ＨＹ_ｉ」を「輝度成分Ｙ_ｉ」に置換したものである。すなわち、反転部２０４４’は、第１実施形態の変形例１で説明したように輝度成分Ｙ_ｉの画素値Ｙ_ｉ（ｘ，ｙ）を反転して反転輝度成分ＲＹ_ｉを得、さらに「高空間周波数成分ＨＹ_ｉ」に代えて「輝度成分Ｙ_ｉ」ついて重みｎＶ_ｉ（ｘ，ｙ）を得、以下のように反転輝度成分ＲＭＹ_ｉを得て出力する。
ＲＭＹ_ｉ（ｘ，ｙ）：＝ＲＹ_ｉ（ｘ，ｙ）×ｎＶ_ｉ（ｘ，ｙ）＋Ｙ_ｉ（ｘ，ｙ）×（１−ｎＶ_ｉ（ｘ，ｙ））
ただし、反転輝度成分ＲＭＹ_ｉは、座標（ｘ，ｙ）の画素値ＲＭＹ_ｉ（ｘ，ｙ）を要素とする二次元配列である。ＲＹ_ｉ（ｘ，ｙ）×ｎＶ_ｉ（ｘ，ｙ）は、輝度成分Ｙ_ｉの動き成分である輝度動き成分ＭＹ_ｉの画素値ＭＹ_ｉ（ｘ，ｙ）を反転したものである。 Each i-th frame (where, i = 1, 2) the luminance component _{Y i} of is inputted to the inverting section 2044 '. Reversing portion 2044 ', the pixel value _MY i (x, y) of the motion component of the input luminance component _{Y i} luminance motion component MY _i inverted outputs obtained an inverted luminance motion RMY _i a. This processing is obtained by replacing the “high spatial frequency component HY _i ” of the processing performed by the inversion unit 2044 of the second embodiment with the “luminance component Y _i ”. That is, the inverting section 2044 ', the pixel value Y _{i (x,} y) of the luminance component Y _i as described in Modification 1 of the first embodiment inverts the resulting inverted luminance component RY _i, further "high instead of the spatial frequency component HY _i "to obtain a weight _nV i (x, y) with" luminance component _{Y i} ", and outputs the resulting inverted luminance component RMY _i as follows.
_{RMY i (x, y):} = RY i (x, y) × nV i (x, y) + Y i (x, y) × (1-nV i (x, y))
However, inverting the luminance component RMY _i is a two-dimensional array of coordinates (x, y) of the pixel values _RMY i (x, y) as elements. RY _i (x, y) × nV _i (x, y) is the inverse of the pixel value MY _i (x, y) of the luminance motion component MY _i that is the motion component of the luminance component Y _i .

各第ｉフレーム（ただし、ｉ＝１，２）の色成分Ｃ_ｉ、および反転輝度成分ＲＭＹ_ｉは、合成部１０４５’に入力される。合成部１０４５’は、色成分Ｃ_１、および反転輝度成分ＲＭＹ_１を足し合わせたものを第３フレームの画像Ｐ_３として得て出力する（Ｐ_３＝Ｃ_１＋ＲＭＹ_１）。また合成部１０４５’は、色成分Ｃ_２、および反転輝度成分ＲＭＹ_２を足し合わせたものを第４フレームの画像Ｐ_４として得て出力する（Ｐ_４＝Ｃ_２＋ＲＭＹ_２）。 The color component C _i and the inverted luminance component RMY _i of each i-th frame (where i = 1, 2) are input to the synthesis unit 1045 ′. Combining unit 1045 'is obtained to output color components _{C 1,} and which is the sum of the inverted luminance component RMY ₁ as an image _{P 3} of the third frame _{(P 3 = C 1 + RMY} 1). Further, the synthesizing unit 1045 'obtains and adds the sum of the color component C ₂ and the inverted luminance component RMY ₂ as an image P ₄ of the fourth frame (P ₄ = C ₂ + RMY ₂ ).

以降の処理は第２実施形態と同じである。これによっても、ちらつきの少ない連続した動きを観察者に与える映像Ｍ_ＯＵＴを生成できる。 Subsequent processing is the same as in the second embodiment. In this way, it is also possible to generate an image M _OUT that gives a continuous motion with little flicker to the observer.

［第２実施形態の変形例２］
第２実施形態では、画像Ｐ_１およびＰ_２における輝度成分の高空間周波数成分の動き成分を反転させたものを画像Ｐ_３およびＰ_４とした。しかし、画像Ｐ_１およびＰ_２全体の高空間周波数成分の動き成分を反転させたものを画像Ｐ_３およびＰ_４としてもよい。すなわち、画像Ｐ_１およびＰ_２の輝度成分の高空間周波数成分の動き成分だけではなく、色成分の高空間周波数成分の動き成分をも反転させて、画像Ｐ_３およびＰ_４を得てもよい。 [Modification 2 of Second Embodiment]
In the second embodiment, and the one obtained by inverting the motion component of the high spatial frequency components of the luminance component in the image P ₁ and P ₂ and the image P ₃ and P _4. However, it may be used as an image P ₃ and P ₄ obtained by inverting the image P ₁ and P ₂ motion component of the overall high spatial frequency components. That is, not only the movement component of the high spatial frequency components of the luminance component of the image P ₁ and P _2, also reverses the motion component of the high spatial frequency components of the color components may be obtained an image P ₃ and P ₄ .

＜構成＞
図６に例示するように、本変形例の映像生成装置２”は、入力部１０１、記憶部１０２、画像抽出部１０３、画像生成部２０４”、および映像構成部１０５を有する。画像生成部２０４”は、低域フィルタリング部１０４２”、高域フィルタリング部１０４３”、反転部２０４４”、および合成部１０４５”を有する。 <Structure>
As illustrated in FIG. 6, the video generation device 2 ″ of the present modification includes an input unit 101, a storage unit 102, an image extraction unit 103, an image generation unit 204 ″, and a video configuration unit 105. The image generation unit 204 ″ includes a low-pass filtering unit 1042 ″, a high-pass filtering unit 1043 ″, an inverting unit 2044 ″, and a combining unit 1045 ″.

＜処理＞
第２実施形態との相違点は、前述した≪画像生成部２０４の処理≫に代えて、以下の≪画像生成部２０４”の処理≫が実行される点である。この相違点のみを説明する。 <Process>
The difference from the second embodiment is that the following {processing of the image generation unit 204 ″} is executed instead of the above-mentioned {processing of the image generation unit 204}. Only this difference will be described. .

≪画像生成部２０４”の処理≫
画像生成部２０４”は、画像Ｐ_１に含まれた「一部の成分」である高空間周波数成分の動き成分を反転させて画像Ｐ_３を得、画像Ｐ_２に含まれた「一部の成分」である高空間周波数成分の動き成分を反転させて画像Ｐ_４を得る。 << Process of Image Generation Unit 204 >>
Image generating unit 204 'is included in the image P ₁ by reversing the motion component of the high spatial frequency component is "part of the component" obtain an image P ₃ and were included in the image P ₂ "of the part obtaining an image P ₄ by reversing the movement components in the high spatial frequency component is component ".

各第ｉフレーム（ただし、ｉ＝１，２）の画像Ｐ_ｉは低域フィルタリング部１０４２”および高域フィルタリング部１０４３”に入力される。低域フィルタリング部１０４２”は、入力された画像Ｐ_ｉに低域通過型フィルタＬＦを適用して画像Ｐ_ｉの低空間周波数成分ＬＰ_ｉ（低空間周波数画像）を得て出力する（ＬＰ_ｉ＝ＬＦ・Ｐ_ｉ）。高域フィルタリング部１０４３”は、入力された画像Ｐ_ｉに高域通過型フィルタＨＦを適用して画像Ｐ_ｉの高空間周波数成分ＨＰ_ｉ（高空間周波数画像）を得て出力する（ＨＰ_ｉ＝ＨＦ・Ｐ_ｉ）。 The image P _i of each i-th frame (where i = 1, 2) is input to the low-pass filtering unit 1042 ″ and the high-pass filtering unit 1043 ″. The low-pass filtering unit 1042 ″ applies a low-pass filter LF to the input image P _i to obtain and output a low spatial frequency component LP _i (low spatial frequency image) of the image P _i (LP _i = LF · _P i). high-pass filtering unit 1043 ", with the by applying the high pass filter HF in the input image _{P i} high spatial frequency components HP _i of the image _{P i} (high spatial frequency image) Output (HP _i = HF · P _i ).

各第ｉフレーム（ただし、ｉ＝１，２）の高空間周波数成分ＨＰ_ｉは反転部２０４４”に入力される。反転部２０４４”は、入力された高空間周波数成分ＨＰ_ｉの動き成分である高空間周波数動き成分ＨＭＰ_ｉの画素値ＨＭＰ_ｉ（ｘ，ｙ）を反転して反転高空間周波数成分ＲＨＭＰ_ｉを得て出力する。この処理は、第２実施形態の反転部２０４４が行う処理の「高空間周波数成分ＨＹ_ｉ」を「高空間周波数成分ＨＰ_ｉ」に置換したものである。すなわち、反転部２０４４”は、第１実施形態の変形例２で説明したように高空間周波数成分ＨＰ_ｉの画素値ＨＰ_ｉ（ｘ，ｙ）を反転して反転高空間周波数成分ＲＨＰ_ｉを得、さらに「高空間周波数成分ＨＹ_ｉ」に代えて「高空間周波数成分ＨＰ_ｉ」ついて重みｎＶ_ｉ（ｘ，ｙ）を得、以下のように反転高空間周波数成分ＲＨＭＰ_ｉを得て出力する。
ＲＨＭＰ_ｉ（ｘ，ｙ）：＝ＲＨＰ_ｉ（ｘ，ｙ）×ｎＶ_ｉ（ｘ，ｙ）＋ＨＰ_ｉ（ｘ，ｙ）×（１−ｎＶ_ｉ（ｘ，ｙ））
ただし、反転輝度成分ＲＨＭＰ_ｉは、座標（ｘ，ｙ）の画素値ＲＨＭＰ_ｉ（ｘ，ｙ）を要素とする二次元配列である。ＲＨＰ_ｉ（ｘ，ｙ）×ｎＶ_ｉ（ｘ，ｙ）は、高空間周波数成分ＨＰ_ｉの動き成分である高空間周波数動き成分ＨＭＰ_ｉの画素値ＨＭＰ_ｉ（ｘ，ｙ）を反転したものである。 Each i-th frame (where, i = 1, 2) the high spatial frequency components HP _i of "is input to. Inversion section 2044" inversion section 2044 is a motion component of the high spatial frequency components HP _i entered The pixel value HMP _i (x, y) of the high spatial frequency motion component HMP _i is inverted to obtain and output an inverted high spatial frequency component RHMP _i . This process is obtained by replacing the “high spatial frequency component HY _i ” of the process performed by the inverting unit 2044 of the second embodiment with the “high spatial frequency component HP _i ”. Resulting Namely, inverting unit 2044 ", the pixel value _HP i (x, y) inverting high spatial frequency components RHP _i inverts the high spatial frequency components HP _i as explained in the second modification of the first embodiment Further, a weight nV _i (x, y) is obtained for “high spatial frequency component HP _i ” instead of “high spatial frequency component HY _i ”, and inverted high spatial frequency component RHMP _i is obtained and output as follows.
_{RHMP i (x, y):} = RHP i (x, y) × nV i (x, y) + HP i (x, y) × (1-nV i (x, y))
However, the inverted luminance component RHMP _i is a two-dimensional array having the pixel value RHMP _i (x, y) at the coordinates (x, y) as an element. RHP _i (x, y) × nV _i (x, y) is the inverse of the pixel value HMP _i (x, y) of the high spatial frequency motion component HMP _i that is the motion component of the high spatial frequency component HP _i. is there.

各第ｉフレーム（ただし、ｉ＝１，２）の低空間周波数成分ＬＰ_ｉ、および反転高空間周波数成分ＲＨＭＰ_ｉは合成部１０４５”に入力される。合成部１０４５”は、低空間周波数成分ＬＰ_１、および反転高空間周波数成分ＲＨＭＰ_１を足し合わせたものを第３フレームの画像Ｐ_３として得て出力する（Ｐ_３＝ＬＰ_１＋ＲＨＭＰ_１）。また合成部１０４５”は、低空間周波数成分ＬＰ_２、および反転高空間周波数成分ＲＨＭＰ_２を足し合わせたものを第４フレームの画像Ｐ_４として得て出力する（Ｐ_４＝ＬＰ_２＋ＲＨＭＰ_２）。 The low spatial frequency component LP _i and the inverted high spatial frequency component RHMP _i of each i-th frame (where i = 1, 2) are input to the combining unit 1045 ″. The combining unit 1045 ″ outputs the low spatial frequency component LP. ₁ and the inverted high spatial frequency component RHMP ₁ are added and obtained as an image P ₃ of the third frame and output (P ₃ = LP ₁ + RHMP ₁ ). The combining unit 1045 ", and outputs the resulting low spatial frequency components LP _2, and which is the sum of the inverting high spatial frequency components RHMP ₂ as an image _{P 4} of the fourth frame _{(P 4 = LP 2 + RHMP} 2).

以降の処理は第２実施形態と同じである。これによっても、ちらつきの少ない連続した動きを観察者に与える映像Ｍ_ＯＵＴを生成できる。 Subsequent processing is the same as in the second embodiment. In this way, it is also possible to generate an image M _OUT that gives a continuous motion with little flicker to the observer.

［第２実施形態の変形例３］
第２実施形態では、画像Ｐ_１およびＰ_２における輝度成分の高空間周波数成分の動き成分を反転させたものを画像Ｐ_３およびＰ_４とした。しかし、画像Ｐ_１およびＰ_２全体の動き成分を反転させたものを画像Ｐ_３およびＰ_４としてもよい。 [Modification 3 of Second Embodiment]
In the second embodiment, and the one obtained by inverting the motion component of the high spatial frequency components of the luminance component in the image P ₁ and P ₂ and the image P ₃ and P _4. However, it may be used as an image _{P 3} and _{P 4} obtained by inverting the image _{P 1} and _{P 2} whole motion component.

＜構成＞
図７に例示するように、本変形例の映像生成装置２’’’は、入力部１０１、記憶部１０２、画像抽出部１０３、画像生成部２０４’’’、および映像構成部１０５を有する。画像生成部２０４’’’は反転部２０４４’’’を有する。 <Structure>
As illustrated in FIG. 7, the video generation device 2 ″ ″ of the present modified example includes an input unit 101, a storage unit 102, an image extraction unit 103, an image generation unit 204 ″ ″, and a video configuration unit 105. The image generation unit 204 ′ ″ includes an inversion unit 2044 ″ ″.

＜処理＞
第２実施形態との相違点は、前述した≪画像生成部２０４の処理≫に代えて、以下の≪画像生成部２０４’’’の処理≫が実行される点である。この相違点のみを説明する。 <Process>
The difference from the second embodiment is that the following {processing of the image generation unit 204 ′ ″} is executed instead of the above {processing of the image generation unit 204}. Only this difference will be described.

≪画像生成部２０４’’’の処理≫
画像生成部２０４’’’は、画像Ｐ_１に含まれた「一部の成分」である動き成分を反転させて画像Ｐ_３を得、画像Ｐ_２に含まれた「一部の成分」である動き成分を反転させて画像Ｐ_４を得る。 << Processing of Image Generation Unit 204 ''''>>
Image generating unit 204 '''inverts the motion component is included in the image P ₁ "part of component" obtain an image P _3, in included in the image P ₂ "part of the component" obtaining an image P ₄ by inverting the certain motion component.

各第ｉフレーム（ただし、ｉ＝１，２）の画像Ｐ_ｉは反転部２０４４’’’に入力される。反転部２０４４’’’は、入力された画像Ｐ_ｉの動き成分である画像動き成分ＭＰ_ｉの画素値ＭＰ_ｉ（ｘ，ｙ）を反転して反転画像成分ＲＭＰ_ｉを得て出力する。この処理は、第２実施形態の反転部２０４４が行う処理の「高空間周波数成分ＨＹ_ｉ」を「画像Ｐ_ｉ」に置換したものである。すなわち、まず、反転部２０４４’’’は、「高空間周波数成分ＨＹ_ｉ」の画素値ＨＹ_ｉ（ｘ，ｙ）に代えて「画像Ｐ_ｉ」の画素値Ｐ_ｉ（ｘ，ｙ）を反転して反転画像成分ＲＰ_ｉを得、さらに「高空間周波数成分ＨＹ_ｉ」に代えて「画像Ｐ_ｉ」ついて重みｎＶ_ｉ（ｘ，ｙ）を得、以下のように反転画像成分ＲＭＰ_ｉを得て出力する。
ＲＭＰ_ｉ（ｘ，ｙ）：＝ＲＰ_ｉ（ｘ，ｙ）×ｎＶ_ｉ（ｘ，ｙ）＋Ｐ_ｉ（ｘ，ｙ）×（１−ｎＶ_ｉ（ｘ，ｙ））
ただし、反転画像成分ＲＭＰ_ｉは、座標（ｘ，ｙ）の画素値ＲＭＰ_ｉ（ｘ，ｙ）を要素とする二次元配列である。ＲＰ_ｉ（ｘ，ｙ）×ｎＶ_ｉ（ｘ，ｙ）は、画像Ｐ_ｉの動き成分である画像動き成分ＭＰ_ｉの画素値ＭＰ_ｉ（ｘ，ｙ）を反転したものである。画像生成部２０４’’’は、ＲＭＰ_１（ｘ，ｙ）を第３フレームの画像Ｐ_３として出力し、ＲＭＰ_２（ｘ，ｙ）を第４フレームの画像Ｐ_４として出力する。 The image P _i of each i-th frame (where i = 1, 2) is input to the reversing unit 2044 ′ ″. Inverting section 2044 ''', the pixel value _MP i (x, y) of the motion component of the input image _{P i} image motion component MP _i inverted outputs to obtain a reverse image component RMP _i a. This processing is obtained by replacing the “high spatial frequency component HY _i ” of the processing performed by the reversing unit 2044 of the second embodiment with the “image P _i ”. That is, first, the inversion unit 2044 ′ ″ inverts the pixel value P _i (x, y) of “image P _i ” instead of the pixel value HY _i (x, y) of “high spatial frequency component HY _i ”. obtained to give a reverse image component RP _i, further "the high spatial frequency component HY _i" instead of the "image _{P i"} with by weight _nV i (x, y) to obtain a, a reverse image component RMP _i as follows Output.
_{RMP i (x, y):} = RP i (x, y) × nV i (x, y) + P i (x, y) × (1-nV i (x, y))
However, the inverted image component RMP _i is a two-dimensional array having the pixel value RMP _i (x, y) at the coordinates (x, y) as an element. RP _i (x, y) × nV _i (x, y) is obtained by inverting the pixel value MP _i (x, y) of the image motion component MP _i that is the motion component of the image P _i . The image generation unit 204 ′ ″ outputs RMP ₁ (x, y) as the image P ₃ of the third frame, and outputs RMP ₂ (x, y) as the image P ₄ of the fourth frame.

以降の処理は第２実施形態と同じである。これによっても、ちらつきの少ない連続した動きを観察者に与える映像Ｍ_ＯＵＴを生成できる。 Subsequent processing is the same as in the second embodiment. In this way, it is also possible to generate an image M _OUT that gives a continuous motion with little flicker to the observer.

［第３実施形態］
第１，２実施形態およびそれらの変形例では、４フレームの画像Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４からなる映像Ｍ_ＯＵＴを生成した。しかし、これらと同様な手法を用い、６フレーム以上の映像Ｍ_ＯＵＴを生成してもよい。すなわち、ｎが４以上の偶数であり、複数の「第１画像」が時系列に沿った第１フレームの画像Ｐ_１から第ｎ／２フレームの画像Ｐ_{（ｎ／２）}を含み、複数の「第２画像」が時系列に沿った第｛（ｎ／２）＋１｝フレームの画像Ｐ_{｛（ｎ／２）＋１｝}から第ｎフレームの画像Ｐ_ｎを含み、第ｉフレームの画像Ｐ_ｉ（ただし、ｉは１以上ｎ／２以下の整数）に含まれた一部の成分を反転させて第｛（ｎ／２）＋ｉ｝フレームの画像Ｐ_{｛（ｎ／２）＋}ｉ_｝を得、ｎフレームの画像Ｐ_１，…，Ｐ_ｎからなる映像Ｍ_ＯＵＴを生成するものであればよい。第１，２実施形態およびそれらの変形例はｎ＝４の例であったが、ｎが６以上の整数であってもよい。第３実施形態では第１実施形態をｎ≧４に一般化する。 [Third embodiment]
In the first and second embodiments and their modifications, the video M _{OUT including} the images P ₁ , P ₂ , P ₃ , and P _{4 of} four frames is generated. However, the video M _OUT of six or more frames may be generated by using the same method. That is, n is an even number of 4 or more, and the plurality of “first images” include the image P ₁ of the first frame along the time series to the image P _{(n / 2)} of the _{n / 2 th} frame. It includes an image _{P n} of the n-th frame from the "second image" along the time series {(n / 2) +1} image frame _{P {(n / 2) +1} }, the image _{P i} of the i-th frame (Where i is an integer of 1 or more and n / 2 or less), the image P _{{(n / 2) +} i _} of the {(n / 2) + i} frame is obtained by inverting some of the components contained in the image. , Pn, an image M _OUT composed of images P ₁ ,..., P _n . Although the first and second embodiments and their modifications are examples of n = 4, n may be an integer of 6 or more. In the third embodiment, the first embodiment is generalized to n ≧ 4.

＜構成＞
図１に例示するように、本形態の映像生成装置３は、入力部１０１、記憶部１０２、画像抽出部３０３、画像生成部１０４、および映像構成部３０５を有する。 <Structure>
As illustrated in FIG. 1, the video generation device 3 of the present embodiment includes an input unit 101, a storage unit 102, an image extraction unit 303, an image generation unit 104, and a video configuration unit 305.

＜処理＞
本形態の処理を説明する。
≪入力映像Ｍ_ＩＮの入力≫
映像生成装置１（図１）の入力部１０１に、ｎ／２個以上のフレーム（映像フレーム）から構成される任意の入力映像Ｍ_ＩＮが入力される。本形態の入力映像Ｍ_ＩＮは色成分を含む色映像である。 <Process>
The processing of this embodiment will be described.
«Input of the input image _{M IN»}
The input unit 101 of the image generating apparatus 1 (FIG. 1), any of the input video M _IN composed n / 2 or more frames (video frame) are input. Input image M _IN in this embodiment is a color image including a color component.

≪画像抽出部３０３の処理≫
画像抽出部３０３は、記憶部１０２から読み出した入力映像Ｍ_ＩＮから連続するｎ／２フレームの画像を取り出し、それぞれを第ｉフレーム（ただし、ｉ＝１，…，ｎ／２）の画像Ｐ_ｉ（第１画像）として出力する。第（ｊ＋１）フレームは時間的に第ｊフレームの後に続くフレームである（ただし、ｊ＋１，ｊ∈｛１，…，ｎ／２｝）。なお、第１フレームの画像Ｐ_１から第ｎ／２フレームの画像Ｐ_ｎ／２を時系列に並べて得られる部分映像Ｍ_ｐ＝｛Ｐ_１，…，Ｐ_ｎ／２｝は、略直線方向に移動する物体の動きを表すものであることが望ましい。すなわち、部分映像Ｍ_ｐ内の局所的な運動方向がほぼ一定（局所的な運動方向が複数フレーム間で変わらずにほぼ単一の方向性をもつ状態）であることが望ましい。 << Process of Image Extraction Unit 303 >>
Image extraction unit 303, an image of the n / 2 consecutive frames from the input video _{M IN} read from the storage unit 102 is taken out, respectively the i-th frame (where, i = 1, ..., n / 2) picture _{P i} of Output as (first image). The (j + 1) th frame is a frame temporally subsequent to the jth frame (however, j + 1, j {1,..., N / 2}). Note that a partial video M _p = {P ₁ ,..., P _{n / 2} } obtained by arranging the image P _{n / 2} of the n / 2th frame from the image P ₁ of the first frame in time series is substantially linear. Desirably, it represents the movement of a moving object. In other words, it is desirable local direction of movement of the partial image M _p is substantially constant (state local direction of motion has a substantially single direction unchanged across multiple frames).

≪画像生成部１０４の処理≫
画像生成部１０４は、第ｉフレームの画像Ｐ_ｉ（ただし、ｉ＝１，…，ｎ／２）に含まれた一部の成分を反転させて第｛（ｎ／２）＋ｉ｝フレームの画像Ｐ_{｛（ｎ／２）＋}ｉ_｝を得て出力する。第１実施形態ではｎ＝４としてこの処理を行った。本形態はこれを４以上の偶数ｎに一般化するものに過ぎない。画像生成部１０４は、各第｛（ｎ／２）＋ｉ｝フレーム（ただし、ｉ＝１，…，ｎ／２）の画像Ｐ_{｛（ｎ／２）＋}ｉ_｝を出力する。 << Process of Image Generation Unit 104 >>
The image generation unit 104 inverts a part of the components included in the image P _i of the i-th frame (where i = 1,..., N / 2) to generate an image of the {(n / 2) + i} frame. P _{{(n / 2) +} i _} is obtained and output. In the first embodiment, this process is performed with n = 4. The present embodiment merely generalizes this to an even number n of 4 or more. The image generation unit 104 outputs an image P _{{(n / 2) +} i _} of each {(n / 2) + i} frame (where i = 1,..., N / 2).

≪映像構成部３０５の処理≫
映像構成部３０５は、第１，…，ｎフレームの画像Ｐ_１，…，Ｐ_ｎを入力とし、画像Ｐ_１，…，Ｐ_ｎを時間的に並べることでこれらを含む映像Ｍ_ＯＵＴを得て出力する。なお、各第ｉフレーム（ただし、ｉ＝１，…，ｎ）の画像Ｐ_ｉの提示時間は、映像Ｍ_ＯＵＴが静止画の系列ではなく動画像として認識可能なように調整される。この範囲であればフレームレートは固定であっても可変であってもよい。 << Process of Image Composition Unit 305 >>
Image construction unit 305, first, ..., the image _P 1 of the n-frame, ..., and inputs the _{P n,} the image _P 1, ..., to obtain an image _{M OUT} containing them by arranging the _{P n} temporally Output. The presentation time of the image P _i of each i-th frame (where i = 1,..., N) is adjusted so that the video M _OUT can be recognized as a moving image instead of a series of still images. Within this range, the frame rate may be fixed or variable.

以上のように得られた映像Ｍ_ＯＵＴは映像提示装置１５０に入力され、映像提示装置は映像Ｍ_ＯＵＴを繰り返し再生する。すなわち、映像提示装置１５０は、第１時間区間で複数の画像Ｐ_１，…，Ｐ_ｎ／２（第１画像）を提示する処理と、第１時間区間の後に続く第２時間区間で複数の画像Ｐ_{（ｎ／２）＋１}，…，Ｐ_ｎ（複数の第１画像のそれぞれに含まれた一部の成分を反転させた第２画像）を提示する処理と、を繰り返す。つまり映像提示装置１５０は以下の処理を行う。
ステップＳ１：映像提示装置１５０は画像Ｐ_１を再生し、ステップＳ２に進む。
ステップＳ２：映像提示装置１５０は画像Ｐ_２を再生し、ステップＳ３に進む。
・・・
ステップＳｉ：映像提示装置１５０は画像Ｐ_ｉを再生し、ステップＳ１に進む。
これにより、再生された映像Ｍ_ＯＵＴを見た観察者は、ちらつきの少ない継続的な動きを知覚する。 The video M _OUT obtained as described above is input to the video presentation device 150, and the video presentation device repeatedly reproduces the video M _OUT . In other words, the video presenting device 150 performs a process of presenting a plurality of images P ₁ ,..., P _{n / 2} (first images) in a first time interval, and a plurality of images in a second time interval following the first time interval. The process of presenting the images P _{(n / 2) +1} ,..., P _n (second images obtained by inverting some components included in each of the plurality of first images) is repeated. That is, the video presentation device 150 performs the following processing.
Step S1: image presentation apparatus 150 reproduces the image _{P 1,} the process proceeds to step S2.
Step S2: video presentation device 150 reproduces the image _{P 2,} the process proceeds to step S3.
...
Step Si: video presentation device 150 reproduces the image _{P i,} the flow proceeds to step S1.
As a result, the observer who has seen the reproduced image M _OUT perceives less continuous movement of flickering.

［第３実施形態の変形例１］
第１実施形態の変形例１，２、第２実施形態、および第２実施形態１〜３をｎ≧４に一般化する場合（図１，５，６，７）、映像生成装置３が画像生成部１０４に代えて、それぞれ画像生成部１０４’，１０４”，２０４，２０４’，２０４”，２０４’’’を備え、画像生成部１０４’，１０４”，２０４，２０４’，２０４”，２０４’’’のそれぞれが、第ｉフレームの画像Ｐ_ｉ（ただし、ｉ＝１，…，ｎ／２）に含まれた一部の成分を反転させて第｛（ｎ／２）＋ｉ｝フレームの画像Ｐ_{｛（ｎ／２）＋}ｉ_｝を得て出力すればよい。第１実施形態の変形例１，２、第２実施形態、および第２実施形態１〜３ではｎ＝４としてこの処理を行ったが、本変形例はこれを４以上の偶数ｎに一般化するものに過ぎない。画像生成部１０４’，１０４”，２０４，２０４’，２０４”，２０４’’’は、各第｛（ｎ／２）＋ｉ｝フレーム（ただし、ｉ＝１，…，ｎ／２）の画像Ｐ_{｛（ｎ／２）＋}ｉ_｝を出力する。その他は第３実施形態と同じである。 [Modification 1 of Third Embodiment]
When the modifications 1 and 2 of the first embodiment, the second embodiment, and the second to third embodiments are generalized to n ≧ 4 (FIGS. 1, 5, 6, and 7), the image generation device 3 In place of the generation unit 104, image generation units 104 ', 104 ", 204, 204', 204", 204 "'are provided, respectively, and the image generation units 104', 104", 204, 204 ', 204 ", 204" are provided. '''Inverts some of the components included in the image P _i of the i-th frame (where i = 1,..., N / 2) to form the {(n / 2) + i} frame What is necessary is just to obtain and output the image P _{{(n / 2) +} i _} . In the modified examples 1 and 2 of the first embodiment, the second embodiment, and the second to third embodiments, this processing is performed with n = 4. In this modified example, this is generalized to an even number n of 4 or more. It's just what you do. The image generation units 104 ′, 104 ″, 204, 204 ′, 204 ″, and 204 ″ ″ generate an image P of each {(n / 2) + i} frame (i = 1,..., N / 2). Output _{{(n / 2) +} i _} . Others are the same as the third embodiment.

［第４実施形態］
止まっている対象に動きが与えられているように知覚させるために、当該対象に与えられる動きに対応する輝度運動成分を含む映像を当該対象に重畳する技術が知られている（例えば、国際公開第ＷＯ／２０１５／１６３３１７号等参照）。この技術を上述した各実施形態またはその変形例に適用し、止まっている対象が継続的に動いているように知覚させる映像を生成してもよい。 [Fourth embodiment]
2. Description of the Related Art There is known a technique of superimposing a video including a luminance motion component corresponding to a motion applied to a stationary object on the object in order to make the stationary object perceive that the motion is applied (for example, international publication). No. WO / 2015/163317). This technique may be applied to each of the above-described embodiments or modifications thereof to generate a video that makes a stationary object perceive as if it is continuously moving.

＜構成＞
図８に例示するように、本形態の映像生成装置４４０は、対象画像生成部４４１、記憶部４４２、画像処理部４４４、映像構成部４４５、および反転部４０４を有する。対象画像生成部４４１はカメラなどの撮影装置４２０に接続され、映像構成部４４５は投影装置などの重畳装置４３０に接続されている。画像処理部４４４および反転部４０４によって「画像生成部」が構成される。 <Structure>
As illustrated in FIG. 8, the video generation device 440 of the present embodiment includes a target image generation unit 441, a storage unit 442, an image processing unit 444, a video configuration unit 445, and an inversion unit 404. The target image generation unit 441 is connected to a photographing device 420 such as a camera, and the video composition unit 445 is connected to a superposition device 430 such as a projection device. An “image generation unit” is configured by the image processing unit 444 and the inversion unit 404.

＜処理＞
まず、止まっている対象４１０を準備する。対象４１０は、立体的形状を備える物（例えば、花瓶、ボール、模型）であってもよいし、所定の平面（例えば、紙、ボード、壁、スクリーン）であってもよい。 <Process>
First, a stopped subject 410 is prepared. The object 410 may be an object having a three-dimensional shape (for example, a vase, a ball, a model) or a predetermined plane (for example, paper, a board, a wall, a screen).

≪撮影および対象画像の抽出（ステップＳ４１）≫
撮影装置４２０は対象４１０を撮影し、それによって得られた静止画像Ｐ_ＩＮは対象画像生成部４４１に送られる。対象画像生成部４４１は、入力された静止画像Ｐ_ＩＮから輝度成分Ｙを抽出し、さらに輝度成分Ｙに高域通過型フィルタＨＦを適用して高空間周波数成分ＨＹ_１（対象画像）を得て出力する（ＨＹ_１＝ＨＦ・Ｙ）。高空間周波数成分ＨＹ_１は記憶部４４２に格納される。高空間周波数成分ＨＹ_１は座標（ｘ，ｙ）の画素値ＨＹ_１（ｘ，ｙ）からなる二次元配列である。 {Shooting and Extraction of Target Image (Step S41)}
The image capturing device 420 captures an image of the object 410, and the still image _PIN obtained thereby is sent to the object image generating unit 441. The target image generation unit 441 extracts a luminance component Y from the input still image _PIN , and further applies a high-pass filter HF to the luminance component Y to obtain a high spatial frequency component HY ₁ (target image). Output (HY ₁ = HF · Y). High spatial frequency component HY ₁ is stored in the storage unit 442. The high spatial frequency component HY ₁ is a two-dimensional array including pixel values HY ₁ (x, y) at coordinates (x, y).

≪第１フレームの画像Ｐ_１の重畳（ステップＳ４２）≫
高空間周波数成分ＨＹ_１は、第１フレームの画像Ｐ_１（第１時間区間に属する第１画像）として映像構成部４４５に送られる。映像構成部４４５は画像Ｐ_１を映像Ｍ_ＯＵＴの第１フレームの画像として重畳装置４３０に出力する。重畳装置４３０は画像Ｐ_１を対象４１０に投影して重畳する。なお、ステップＳ４２の処理が省略されてもよい。すなわち、映像Ｍ_ＯＵＴは画像Ｐ_１を含まなくてもよい。 «Superimposed image _{P 1} of the first frame (Step S42)»
The high spatial frequency component HY ₁ is sent to the video composition unit 445 as a first frame image P ₁ (first image belonging to a first time section). Picture composition unit 445 outputs the superimposed unit 430 an image _{P 1} as the image of the first frame of the video _{M OUT.} Superimposing device 430 superimposes by projecting the object 410 image _{P 1.} Note that the processing in step S42 may be omitted. That is, the image _{M OUT} may not include the image _{P 1.}

≪画像処理部４４４の処理（ステップＳ４３）≫
画像処理部４４４は、画像Ｐ_１（対象画像）を入力とし、画像Ｐ_１を変形および／または動かした画像Ｐ_２，…，Ｐ_ｎ／２（処理画像）を得て出力する。ただし、ｎは４以上の偶数である。画像Ｐ_１をどのように変形および／または動かして画像Ｐ_２，…，Ｐ_ｎ／２を得るかについての限定はない。ただし、ｎが６以上の場合、第１フレームの画像Ｐ_１から第ｎ／２フレームの画像Ｐ_ｎ／２を時系列に並べて得られる部分映像Ｍ_ｐ＝｛Ｐ_１，…，Ｐ_ｎ／２｝が、略直線方向に移動する物体の動きを表すものであることが望ましい。 << Process of Image Processing Unit 444 (Step S43) >>
The image processing unit 444, an image _{P 1} (the target image) as input, transform the image _{P 1} and / or the image _P 2 moves, _..., and outputs to obtain _{P n / 2} (processed image). Here, n is an even number of 4 or more. How deform and / or move the image P ₂ of the image P _1, ..., there is no limitation as to whether obtain P n / _2. However, when n is 6 or more, partial image _M p ₌ {P 1 obtained from the image _{P 1} of the first frame side-by-side image _{P n / 2} of the n / 2 frame in time series, _{..., P n / 2} ｝ Desirably represents the movement of an object moving in a substantially linear direction.

≪第２から第ｎ／２フレームの画像Ｐ_２，…，Ｐ_ｎ／２の重畳（ステップＳ４４）≫
画像Ｐ_２，…，Ｐ_ｎ／２（第１画像）は第２から第ｎ／２フレームの画像（第１時間区間に属する第１画像）として映像構成部４４５に送られる。映像構成部４４５は、画像Ｐ_２，…，Ｐ_ｎ／２のそれぞれを映像Ｍ_ＯＵＴの第２から第ｎ／２フレームの画像として重畳装置４３０に出力する。重畳装置４３０は画像Ｐ_２，…，Ｐ_ｎ／２のそれぞれを時間順に対象４１０に投影して重畳する。 {Superimposition of images P ₂ ,..., P _{n / 2} of second to n / 2th frames (step S44) _}
The images P ₂ ,..., P _{n / 2} (first images) are sent to the video composition unit 445 as images of the second to n / 2th frames (first images belonging to the first time section). The video forming unit 445 outputs each of the images P ₂ ,..., P _{n /} 2 to the superimposing device 430 as the images of the second to n / 2-th frames of the video M _OUT . The superimposing device 430 projects and superimposes each of the images P ₂ ,..., P _{n / 2} on the target 410 in chronological order.

≪反転部４０４の処理（ステップＳ４５）≫
反転部４０４は、画像Ｐ_１を入力とし、画像Ｐ_１を反転させつつ強度を高めた画像を第｛（ｎ／２）＋１｝フレームの画像Ｐ_{｛（ｎ／２）＋１｝}（第２時間区間に属する第２画像）として得て出力する。画像Ｐ_{｛（ｎ／２）＋１｝}は、対象４１０（静止画像Ｐ_ＩＮ）に含まれた一部の成分（対象４１０の静止画像Ｐ_ＩＮに含まれた輝度成分の高空間周波数成分）を反転させつつ強度を高めた画像である。 << Process of Inverting Unit 404 (Step S45) >>
Inverting section 404 receives as input images _{P 1,} an image with increased strength while inverting the image _{P 1} the {(n / 2) +1} image _P of the frame _{{(n / 2) +1}} ( second time (A second image belonging to the section). The image P _{{(n / 2) +1}} is obtained by inverting some components (high spatial frequency components of the luminance component included in the still image _PIN of the target 410) included in the target 410 (still image _PIN ). This is an image in which the intensity is increased while the image is being made.

≪第｛（ｎ／２）＋１｝フレームの画像Ｐ_{｛（ｎ／２）＋１｝}の重畳（ステップＳ４４）≫
画像Ｐ_{｛（ｎ／２）＋１｝}は第｛（ｎ／２）＋１｝フレームの画像（第２時間区間に属する第２画像）として映像構成部４４５に送られる。映像構成部４４５は、画像Ｐ_{｛（ｎ／２）＋１｝}を映像Ｍ_ＯＵＴの第｛（ｎ／２）＋１｝フレームの画像として重畳装置４３０に出力する。重畳装置４３０は画像Ｐ_{｛（ｎ／２）＋１｝}を対象４１０に投影して重畳する。画像Ｐ_{｛（ｎ／２）＋１｝}は、対象４１０に含まれた一部の成分を反転させつつ強度を高めた画像である。そのため、対象４１０に画像Ｐ_{｛（ｎ／２）＋１｝}が重畳された様子を見た観察者は、対象４１０の輝度成分の高空間周波数成分を打ち消しつつ、その輝度成分の高空間周波数成分が反転された印象を受ける。 {Superposition of {P _{(n / 2) +1}} -frame image P _{{(n / 2) +1}} (Step S44) _}
The image P _{{(n / 2) +1}} is sent to the video composition unit 445 as an image of the ((n / 2) +1) th frame (a second image belonging to a second time interval). The video configuration unit 445 outputs the image P _{{(n / 2) +1}} to the superimposition device 430 as an image of the {(n / 2) +1} th frame of the video M _OUT . The superimposing device 430 projects and superimposes the image P _{{(n / 2) +1}} on the target 410. Image P _{{(n / 2) +1}} is an image in which the intensity is increased while inverting some components included in target 410. Therefore, the observer who sees the image P _{{(n / 2) +1}} superimposed on the object 410 cancels out the high spatial frequency component of the luminance component of the object 410 and changes the high spatial frequency component of the luminance component. I get a reversed impression.

≪画像処理部４４４の処理（ステップＳ４５）≫
画像処理部４４４は、画像Ｐ_{｛（ｎ／２）＋１｝}を入力とし、画像Ｐ_{｛（ｎ／２）＋１｝}を変形および／または動かした画像Ｐ_{｛（ｎ／２）＋２｝}，…，Ｐ_ｎ（第２時間区間に属する第２画像）を得て出力する。画像Ｐ_{｛（ｎ／２）＋１｝}を変形および／または動かして画像Ｐ_{｛（ｎ／２）＋２｝}，…，Ｐ_ｎを得る方法は、画像Ｐ_１を変形および／または動かして画像Ｐ_２，…，Ｐ_ｎ／２を得る方法と同一である。画像Ｐ_{｛（ｎ／２）＋２｝}，…，Ｐ_ｎは、対象４１０（静止画像Ｐ_ＩＮ）を変形および／または動かした画像に含まれた一部の成分（対象４１０の静止画像Ｐ_ＩＮに含まれた輝度成分の高空間周波数成分）を反転させつつ強度を高めた画像である。 << Process of Image Processing Unit 444 (Step S45) >>
The image processing unit 444 receives the image P _{{(n / 2) +1}} as an input, and transforms and / or moves the image P _{{(n / 2) +1}} to generate an image P _{{(n / 2) +2},.} P _n (a second image belonging to the second time interval) is obtained and output. Image _P deformed _{{(n / 2) +1}} and / or move the image _{P {(n / 2) +2} }, ..., method, image _{P 2} of the image _{P 1} modified and / or moved to obtain a _{P n} ,..., P _{n / 2} . The image P _{{(n / 2) +2}} ,..., _Pn is a part of the component (still image P _IN of the object 410) included in the image obtained by deforming and / or moving the object 410 (still image P _IN ). This is an image in which the intensity is increased while inverting the included high spatial frequency component of the luminance component.

≪第｛（ｎ／２）＋２｝から第ｎフレームの画像Ｐ_{｛（ｎ／２）＋２｝}，…，Ｐ_ｎの重畳（ステップＳ４６）≫
画像Ｐ_{｛（ｎ／２）＋２｝}，…，Ｐ_ｎは第｛（ｎ／２）＋２｝から第ｎフレームの画像Ｐ_{｛（ｎ／２）＋２｝}，…，Ｐ_ｎ（第２時間区間に属する第２画像）として映像構成部４４５に送られる。映像構成部４４５は、画像Ｐ_{｛（ｎ／２）＋２｝}，…，Ｐ_ｎのそれぞれを映像Ｍ_ＯＵＴの第｛（ｎ／２）＋２｝から第ｎフレームの画像として重畳装置４３０に出力する。重畳装置４３０は画像Ｐ_{｛（ｎ／２）＋２｝}，…，Ｐ_ｎのそれぞれを時間順に対象４１０に投影して重畳する。画像Ｐ_{｛（ｎ／２）＋２｝}，…，Ｐ_ｎは、対象４１０を変形および／または動かした画像に含まれた一部の成分を反転させつつ強度を高めた画像である。そのため、対象４１０に画像Ｐ_{｛（ｎ／２）＋２｝}，…，Ｐ_ｎが重畳された様子を見た観察者は、対象４１０の輝度成分の高空間周波数成分を打ち消しつつ、その輝度成分の高空間周波数成分が反転された印象を受ける。 {Superimposition of the image P of the n-th frame from {(n / 2) +2} to _{{(n / 2) +2}} ,..., P _n (step S46) _}
Image _{P {(n / 2) +2} }, ..., P n is the from {(n / 2) +2} of the n-th frame image _{P {(n / 2) +2} }, ..., P n ( second time period To the video composition unit 445. The video forming unit 445 outputs each of the images P _{{(n / 2) +2}} ,..., _{Pn from} the {(n / 2) +2} of the video M _OUT to the superimposing device 430 as an image of the n-th frame. . Superimposing device 430 image _{P {(n / 2) +2} }, ..., superimposed and projected onto the target 410 in order each time _{P n.} The images P _{{(n / 2) +2}} ,..., _Pn are images in which the intensity is increased while inverting some components included in the image obtained by deforming and / or moving the object 410. Therefore, the observer who sees the image P _{{(n / 2) +2}} ,..., _Pn superimposed on the object 410 cancels out the high spatial frequency component of the object 410 It gives the impression that the high spatial frequency component has been inverted.

以上のように得られる映像Ｍ_ＯＵＴは主に輝度運動成分を含む。上述のステップＳ４１からＳ４６の処理またはステップＳ４２からＳ４６の処理が繰り返されることで対象４１０に映像Ｍ_ＯＵＴが重畳させる様子を見た観察者は、実際には動いていない対象４１０が継続的に動いているように知覚する。 The image M _OUT obtained as described above mainly includes a luminance motion component. The observer who sees the image _MOUT superimposed on the object 410 by repeating the processing of steps S41 to S46 or the processing of steps S42 to S46 described above, sees that the object 410 that is not actually moving continuously moves. Perceive as if.

［第４実施形態の変形例１］
第４実施形態では、静止画像Ｐ_ＩＮから抽出された輝度成分Ｙに高域通過型フィルタＨＦを適用して得られた高空間周波数成分ＨＹ_１を画像Ｐ_１（対象画像）とした。しかし、静止画像Ｐ_ＩＮそのものを画像Ｐ_１（対象画像）としてもよいし、静止画像Ｐ_ＩＮから抽出された輝度成分Ｙを画像Ｐ_１（対象画像）としてもよい。 [Modification 1 of Fourth Embodiment]
In the fourth embodiment, obtained by applying a high pass filter HF in the extracted from the still image P _IN luminance component Y of the high spatial frequency component HY ₁ was image P _{1 (target} image). However, it may still images _{P IN} itself as an image _{P 1} (target image), the luminance component Y extracted from the still image _{P IN} may be an image _{P 1} (target image).

［第４実施形態の変形例２］
ステップＳ４５に代えて、反転部４０４が、画像Ｐ_１，…，Ｐ_ｎ／２を入力とし、画像Ｐ_１，…，Ｐ_ｎ／２のそれぞれを反転させつつ強度を高めた画像を、第｛（ｎ／２）＋１｝から第ｎフレームの画像Ｐ_{｛（ｎ／２）＋１｝}，…，Ｐ_ｎ（第２時間区間に属する第２画像）として得て出力してもよい。これにより、ステップＳ４５の処理を省略できる。この場合、反転部４０４が、画像Ｐ_１，…，Ｐ_ｎ／２の動き成分のそれぞれを反転させつつ強度を高めた画像を、第｛（ｎ／２）＋１｝から第ｎフレームの画像Ｐ_{｛（ｎ／２）＋１｝}，…，Ｐ_ｎ（第２時間区間に属する第２画像）として得て出力してもよい。 [Modification 2 of Fourth Embodiment]
In place of step S45, the inversion unit 404, the image _P 1, _..., as input _{P n / 2,} the image _P 1, _..., an image with improved strength while inverting the respective _{P n / 2,} the { .., P _n (the second image belonging to the second time section ₎ from the (n / 2) +1} and the n-th frame image P _{{(n / 2) +1},.} Thereby, the process of step S45 can be omitted. In this case, the reversing unit 404 converts the image whose strength is increased while reversing each of the motion components of the images P ₁ ,..., P _{n / 2} from the {(n / 2) +1} to the image P of the n-th frame. _{{(N / 2) +1}} ,..., P _n (a second image belonging to a second time interval) and may be output.

［第４実施形態の変形例３］
映像Ｍ_ＯＵＴを対象４１０に重畳する方法にも限定はない。例えば、対象４１０と観察者との間に配置された透明ディスプレイに映像Ｍ_ＯＵＴが表示され、観察者が透明ディスプレイに表示された映像Ｍ_ＯＵＴ越しに対象４１０を見ることで、映像Ｍ_ＯＵＴが対象４１０に重畳されてもよい。上記では入力映像Ｍ_ＩＮが色映像である例を示したが、各実施形態およびその変形例において入力映像Ｍ_ＩＮが輝度成分を含む白黒映像（動画）やモノトーン映像（動画）であってもよい。上記では動画である入力映像Ｍ_ＩＮから画像Ｐ_１，…，Ｐ_ｎ（第１時間区間に属する複数の第１画像）を抽出したが、第１〜３実施形態およびそれらの変形例において、静止画像に任意の動き（少なくとも、輝度成分の動き）を与えて画像Ｐ_１，…，Ｐ_ｎを得てもよい。 [Modification 3 of Fourth Embodiment]
The method of superimposing the video M _OUT on the target 410 is not limited. For example, the image M _OUT is displayed on a transparent display arranged between the object 410 and the observer, and the observer views the object 410 over the image M _OUT displayed on the transparent display, so that the image M _OUT is 410 may be superimposed. In the above has shown an example input image M _IN is a color image or may be the embodiments and monochrome video input image M _IN in its modification including a luminance component (video) or monotone image (video) . In the above, the images P ₁ ,..., P _n (the plurality of first images belonging to the first time section) are extracted from the input video M _IN which is a moving image. The images P ₁ ,..., P _n may be obtained by giving an arbitrary motion (at least the motion of the luminance component) to the image.

［その他の変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、第２画像が上述した以外の成分を含んでいてもよい。各装置を構成する処理部がネットワーク上に分散配置され、それらが協働して上述の処理が実現されてもよい。上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。 [Other modified examples]
Note that the present invention is not limited to the above embodiment. For example, the second image may include components other than those described above. The processing units constituting each device may be distributed and arranged on a network, and may cooperate to implement the above-described processing. The various processes described above may be executed not only in chronological order as described, but also in parallel or individually according to the processing capability of the device that executes the process or as necessary. In addition, it goes without saying that changes can be made as appropriate without departing from the spirit of the present invention.

上記の各装置は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。   Each of the above devices is, for example, a general-purpose or dedicated computer including a processor (hardware processor) such as a CPU (central processing unit) and a memory such as a RAM (random-access memory) and a ROM (read-only memory). Is executed by executing a predetermined program. This computer may include one processor or memory, or may include a plurality of processors or memories. This program may be installed in a computer, or may be recorded in a ROM or the like in advance. Some or all of the processing units are configured using an electronic circuit that realizes a processing function without using a program, instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. You may. An electronic circuit constituting one device may include a plurality of CPUs.

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。   When the above configuration is implemented by a computer, the processing contents of the functions that each device should have are described by a program. By executing this program on a computer, the processing functions described above are realized on the computer. A program describing this processing content can be recorded on a computer-readable recording medium. An example of a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。   The distribution of this program is carried out, for example, by selling, transferring, lending, or the like a portable recording medium such as a DVD or a CD-ROM on which the program is recorded. Further, the program may be stored in a storage device of a server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。   A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, the computer reads a program stored in its own storage device and executes a process according to the read program. As another execution form of this program, the computer may read the program directly from the portable recording medium and execute processing according to the program, and further, each time the program is transferred from the server computer to this computer. The processing may be sequentially performed according to the received program. A configuration in which the above-described processing is executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by executing instructions and obtaining results without transferring the program from the server computer to this computer is performed. Good.

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。   In the above embodiment, the processing functions of the apparatus are realized by executing a predetermined program on a computer, but at least a part of these processing functions may be realized by hardware.

１，１’，１”，２，２’，２”，２’’’，３，３’，３”，３’’’ 映像生成装置 1, 1 ", 1", 2, 2 ', 2 ", 2", 3, 3', 3 ", 3" "

Claims (14)

同じ動きの反復によって継続的な動きの映像を生成する映像生成装置であって、
第１時間区間に属する複数の第１画像のそれぞれに含まれた一部の成分を反転させた、前記第１時間区間の後に続く第２時間区間に属する複数の第２画像を得る画像生成部と、
前記第１画像および前記第２画像を含む前記映像を得る映像構成部と、を有し、
前記一部の成分は、主に輝度成分、および高空間周波数成分の少なくとも何れかを含む、映像生成装置。 An image generation device that generates an image of a continuous motion by repeating the same motion,
An image generation unit that obtains a plurality of second images belonging to a second time section following the first time section, in which some components included in each of the plurality of first images belonging to the first time section are inverted. When,
A video component for obtaining the video including the first image and the second image,
The image generation device, wherein the some components mainly include at least one of a luminance component and a high spatial frequency component. 同じ動きの反復によって継続的な動きの映像を生成する映像生成装置であって、
対象に基づく対象画像を得る対象画像生成部と、
前記対象画像を変形および／または動かした処理画像を得る画像処理部と、
前記対象に含まれた一部の成分を反転させつつ強度を高めた画像、および前記対象を変形および／または動かした画像に含まれた一部の成分を反転させつつ強度を高めた画像、を含む複数の第２画像を得る画像生成部と、
少なくとも前記処理画像を含む第１画像を第１時間区間に属する画像とし、前記第２画像を前記第１時間区間の後に続く第２時間区間に属する画像とした映像を得る映像構成部と、を有し、
前記一部の成分は、主に輝度成分、高空間周波数成分、および動き成分の少なくとも何れかを含み、
前記映像は、主に輝度運動成分を含む、映像生成装置。 An image generation device that generates an image of a continuous motion by repeating the same motion,
A target image generation unit for obtaining a target image based on the target,
An image processing unit that obtains a processed image obtained by deforming and / or moving the target image;
An image in which the intensity is increased while inverting some components included in the object, and an image in which the intensity is increased while inverting some components included in an image obtained by deforming and / or moving the object. An image generating unit that obtains a plurality of second images including:
A video component for obtaining a video in which the first image including at least the processed image is an image belonging to a first time interval, and the second image is an image belonging to a second time interval following the first time interval. Have
The some components mainly include at least one of a luminance component, a high spatial frequency component, and a motion component,
The image generation device, wherein the image mainly includes a luminance motion component. 請求項１または２の映像生成装置であって、
前記一部の成分は、輝度成分および／または高空間周波数成分および／または動き成分のみを含む、映像生成装置。 The image generation device according to claim 1 or 2,
The image generation device, wherein the some components include only a luminance component and / or a high spatial frequency component and / or a motion component. 請求項１から３の何れかの映像生成装置であって、
前記一部の成分は、主に輝度成分を含む、映像生成装置。 The video generation device according to any one of claims 1 to 3,
The image generation device, wherein the some components mainly include a luminance component. 請求項１から４のいずれかの映像生成装置であって、
前記一部の成分は、主に輝度成分の高空間周波数成分を含む、映像生成装置。 The image generation device according to any one of claims 1 to 4,
The image generation device, wherein the some components mainly include a high spatial frequency component of a luminance component. 請求項１から４のいずれかの映像生成装置であって、
前記一部の成分は、主に輝度成分の動き成分を含む、映像生成装置。 The image generation device according to any one of claims 1 to 4,
The image generation device, wherein the some components mainly include a motion component of a luminance component. 請求項１から４のいずれかの映像生成装置であって、
前記一部の成分は、主に輝度成分の高空間周波数成分の動き成分を含む、映像生成装置。 The image generation device according to any one of claims 1 to 4,
The image generation device, wherein the some components mainly include a motion component of a high spatial frequency component of a luminance component. 請求項１、３から７の何れかの映像生成装置であって、
ｎが４以上の偶数であり、ｉが１以上ｎ／２以下の整数であり、
前記第１画像は、時系列に沿った第１フレームの画像から第ｎ／２フレームの画像を含み、
前記第２画像は、時系列に沿った第｛（ｎ／２）＋１｝フレームの画像から第ｎフレームの画像を含み、
前記画像生成部は、前記第ｉフレームの画像に含まれた前記一部の成分を反転させた第｛（ｎ／２）＋ｉ｝フレームの画像を得る、映像生成装置。 The image generation device according to claim 1, wherein:
n is an even number of 4 or more, i is an integer of 1 or more and n / 2 or less,
The first image includes an image of an (n / 2) th frame from an image of a first frame along a time series,
The second image includes an image of an n-th frame from an image of an {(n / 2) +1} -th frame along a time series,
The image generation device, wherein the image generation unit obtains an image of a {(n / 2) + i} frame in which the partial components included in the image of the i-th frame are inverted. 請求項８の映像生成装置であって、
前記第１フレームの画像から前記第ｎ／２フレームの画像を時系列に並べて得られる部分映像は、略直線方向に移動する物体の動きを表す、映像生成装置。 9. The video generation device according to claim 8, wherein:
A video generation device, wherein a partial video obtained by chronologically arranging the images of the n / 2th frame from the image of the first frame represents the movement of an object moving in a substantially linear direction. 請求項８または９の映像生成装置であって、
ｎが６以上である、映像生成装置。 The video generation device according to claim 8, wherein:
The image generation device wherein n is 6 or more. 請求項１、３から９の何れかの映像生成装置であって、
前記第１時間区間は、第１フレームおよび前記第１フレームの後に続く第２フレームを含み、
前記第２時間区間は、前記第２フレームの後に続く第３フレームおよび前記第３フレームの後に続く第４フレームを含み、
前記第１画像は、前記第１フレームの画像および第２フレームの画像を含み、
前記第２画像は、前記第３フレームの画像および第４フレームの画像を含み、
前記画像生成部は、前記第１フレームの画像に含まれた前記一部の成分を反転させた前記第３フレームの画像を得、前記第２フレームの画像に含まれた前記一部の成分を反転させた前記第４フレームの画像を得る、映像生成装置。 The video generation device according to any one of claims 1, 3 to 9,
The first time interval includes a first frame and a second frame following the first frame,
The second time interval includes a third frame following the second frame and a fourth frame following the third frame,
The first image includes an image of the first frame and an image of a second frame,
The second image includes an image of the third frame and an image of a fourth frame,
The image generating unit obtains the image of the third frame by inverting the partial components included in the image of the first frame, and calculates the partial components included in the image of the second frame. A video generation device for obtaining an inverted image of the fourth frame. 同じ動きの反復によって継続的な動きの映像を生成する映像生成方法であって、
画像生成部において、第１時間区間に属する複数の第１画像のそれぞれに含まれた一部の成分を反転させた、前記第１時間区間の後に続く第２時間区間に属する複数の第２画像を得る画像生成ステップと、
映像構成部において、前記第１画像および前記第２画像を含む前記映像を得る映像構成ステップと、を有し、
前記一部の成分は、主に輝度成分、および高空間周波数成分の少なくとも何れかを含む、映像生成方法。 A video generation method for generating a video of a continuous motion by repeating the same motion,
In the image generating unit, a plurality of second images belonging to a second time section following the first time section, in which some components included in each of the plurality of first images belonging to the first time section are inverted. An image generation step of obtaining
A video configuration unit, comprising: a video configuration step of obtaining the video including the first image and the second image;
The image generation method, wherein the some components mainly include at least one of a luminance component and a high spatial frequency component. 同じ動きの反復によって継続的な動きの映像を生成する映像生成方法であって、
対象画像生成部において、対象に基づく対象画像を得る対象画像生成ステップと、
画像処理部において、前記対象画像を変形および／または動かした処理画像を得る画像処理ステップと、
画像生成部において、前記対象に含まれた一部の成分を反転させつつ強度を高めた画像、および前記対象を変形および／または動かした画像に含まれた一部の成分を反転させつつ強度を高めた画像、を含む複数の第２画像を得る画像生成ステップと、
映像構成部において、少なくとも前記処理画像を含む第１画像を第１時間区間に属する画像とし、前記第２画像を前記第１時間区間の後に続く第２時間区間に属する画像とした映像を得る映像構成ステップと、を有し、
前記一部の成分は、主に輝度成分、高空間周波数成分、および動き成分の少なくとも何れかを含み、
前記映像は、主に輝度運動成分を含む、映像生成方法。 A video generation method for generating a video of a continuous motion by repeating the same motion,
A target image generating step of obtaining a target image based on the target in the target image generating unit;
An image processing step of obtaining a processed image obtained by deforming and / or moving the target image in an image processing unit;
In the image generation unit, an image in which the intensity is increased while inverting some components included in the target, and the intensity while inverting some components included in an image in which the target is deformed and / or moved are inverted. An image generating step of obtaining a plurality of second images including the enhanced image;
A video obtaining unit that obtains a video in which the first image including at least the processed image is an image belonging to a first time interval and the second image is an image belonging to a second time interval following the first time interval. And a configuration step.
The some components mainly include at least one of a luminance component, a high spatial frequency component, and a motion component,
The image generation method, wherein the image mainly includes a luminance motion component. 請求項１から１１の何れかの映像生成装置としてコンピュータを機能させるためのプログラム。 Program for causing a computer to function to claims 1 and any of the video generation equipment 11.