JP6490107B2 - Stereoscopic video zooming - Google Patents
Stereoscopic video zooming Download PDFInfo
- Publication number
- JP6490107B2 JP6490107B2 JP2016572706A JP2016572706A JP6490107B2 JP 6490107 B2 JP6490107 B2 JP 6490107B2 JP 2016572706 A JP2016572706 A JP 2016572706A JP 2016572706 A JP2016572706 A JP 2016572706A JP 6490107 B2 JP6490107 B2 JP 6490107B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- eye view
- frames
- stereoscopic video
- modified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
- H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
本開示は、立体視ビデオズーミング、並びにビデオにおける前景及び背景の検出を含む、ビデオデータの処理に関する。 The present disclosure relates to processing video data, including stereoscopic video zooming and foreground and background detection in video.
3次元ビデオ(例えばテレビジョン、映画等)を生成するための3次元(立体視(stereoscopic))撮像は、近年ますます普及してきた。その1つの理由は、3次元ビデオを作成するために用いられるカメラ及びポストプロダクションにおいて著しい進歩があったということである。3次元ビデオが普及してきているもう1つの理由は、娯楽を見る大衆がこの特殊効果に割増料金を喜んで支払うように見えるということである。 Three-dimensional (stereoscopic) imaging for generating three-dimensional video (eg, television, movies, etc.) has become increasingly popular in recent years. One reason is that there have been significant advances in the cameras and post-production used to create 3D video. Another reason that 3D video has become widespread is that the entertainment crowd appears to be willing to pay a premium for this special effect.
しかし、3次元撮影技術は、3次元技術を用いてビデオを撮影することは2次元(平面視(monoscopic))技術を用いるのに比べてかなり多くの費用が掛かるというものである。それに加えて、既に生成されているが3次元技術を用いて撮影されていない非常に多くの2次元ビデオが存在する。 However, in the three-dimensional imaging technique, it is considerably more expensive to take a video using the three-dimensional technique than to use a two-dimensional (monoscopic) technique. In addition, there are numerous 2D videos that have already been generated but have not been shot using 3D technology.
そういうことであるから、多くの人が2次元ビデオを3次元ビデオに変換する試みを行ってきた。しかし、2次元ビデオを3次元ビデオに変換するこれらの方法は、うまくいかないかもしれないし、多くのリソースが必要であり、及び/又は許容できる結果を生成しない(例えば、書き割り効果(cardboard cut-out effect)を生じる)。 As such, many people have attempted to convert 2D video to 3D video. However, these methods of converting 2D video to 3D video may not work, require a lot of resources and / or do not produce acceptable results (eg, cardboard cut-out effect).
ここでクレームされる主題は、上述されたような環境においてのみ、いかなる不利な点をも解消する又は動作する実施形態には、限定されない。むしろ、この背景技術は、ここで説明されるいくつかの実施形態が行われる1つの技術分野の例を示すためにのみ提供される。 The claimed subject matter is not limited to embodiments that overcome or operate any disadvantages only in an environment such as those described above. Rather, this background is only provided to illustrate one example technology area where some embodiments described herein can be practiced.
実施形態のある局面によると、方法は、平面視ビデオの第1フレームと前記平面視ビデオの第2フレームとの間の動きを求めることを含み得る。前記方法は、前記動きに基づいてカメラ効果を分析すること、前記動き及び前記カメラ効果に基づいて第1修正フレームを生成すること、及び、前記動き及び前記カメラ効果に基づいて第2修正フレームを生成することも含み得る。前記方法は、前記カメラ効果、並びに、前記第1修正フレーム及び前記第2修正フレームのうちの少なくとも1つに基づいて、立体視ビデオの左目ビューフレームを生成することも含み得る。前記方法は、前記カメラ効果、並びに、前記第1修正フレーム及び前記第2修正フレームのうちの少なくとも1つに基づいて、前記立体視ビデオの右目ビューフレームを生成することを更に含み得る。 According to an aspect of the embodiment, the method may include determining a motion between a first frame of the planar video and a second frame of the planar video. The method analyzes a camera effect based on the motion, generates a first modified frame based on the motion and the camera effect, and generates a second modified frame based on the motion and the camera effect. Producing can also be included. The method may also include generating a left-eye view frame of a stereoscopic video based on the camera effect and at least one of the first modified frame and the second modified frame. The method may further include generating a right-eye view frame of the stereoscopic video based on the camera effect and at least one of the first modified frame and the second modified frame.
実施形態の他の局面によると、ビデオを分析する方法は、ビデオの第1フレーム及び前記ビデオの第2フレームに基づいて、前記ビデオ内の動きが最も速い要素、動きが遅い要素、及び支配的な要素のうちの少なくとも1つを求めることを含み得る。前記方法は、前記動きが最も速い要素、前記動きが遅い要素、及び前記支配的な要素のうちの少なくとも1つに基づいて、前記ビデオ内の前景及び背景のうちの少なくとも1つを求めることも含み得る。 According to another aspect of the embodiment, the method of analyzing the video is based on the first frame of the video and the second frame of the video, the fastest moving element in the video, the slow moving element, and the dominant Determining at least one of the elements. The method may also determine at least one of the foreground and background in the video based on at least one of the fastest moving element, the slow moving element, and the dominant element. May be included.
前記実施形態の目的及び有利な点は、少なくとも特許請求の範囲において特に示される要素、特徴、及び組み合わせによって、理解され、かつ達成されるであろう。 The objects and advantages of the embodiments will be realized and attained by means of the elements, features and combinations particularly pointed out in the appended claims.
特許請求の範囲に請求されているように、前述の一般的な説明及び以下の詳細な説明は、いずれも、典型的な、かつ、説明のためのものであり、本発明を限定するものではない、ということが理解されるべきである。 It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention as claimed. It should be understood that there is no.
例としての実施形態が、添付の図面を通して更に具体的かつ詳細に表現され説明されるであろう。
人間は、およそ2.5インチ(およそ6.5センチメートル)離れている2つの目を用いる両眼視システムを有する。それぞれの目は、わずかに異なる視点から世界を見る。脳は、距離を計算又は測定するためにこれらの視点の差を利用する。この両眼視システムは、物体の距離を比較的よい精度で求める能力を部分的に担っている。視野における複数の物体の相対距離も両眼視の助けを借りて求められ得る。 Humans have a binocular vision system that uses two eyes that are approximately 2.5 inches apart (approximately 6.5 centimeters). Each eye sees the world from a slightly different perspective. The brain uses these viewpoint differences to calculate or measure distance. This binocular vision system is partially responsible for the ability to determine the distance of an object with relatively good accuracy. The relative distance of multiple objects in the field of view can also be determined with the help of binocular vision.
3次元(立体視)撮像は、1つの画像が1つの目(例えば左目)に、他の画像が他の目(例えば右目)に提示されるという、観察者(viewer)に2つの画像を提示することによって、両眼視によって知覚される奥行きを利用する。2つの目に提示される画像は、実質的に同じ要素を含んでいてよいが、2つの画像内の要素は、日常生活において観察者の目によって知覚され得るオフセットする視点を模倣するために、互いにオフセットされ得る。よって、観察者は画像に描かれた要素に奥行きを知覚し得る。 Three-dimensional (stereoscopic) imaging presents two images to the viewer, one image presented to one eye (eg left eye) and the other image presented to the other eye (eg right eye) By using the depth perceived by binocular vision. The images presented to the two eyes may contain substantially the same elements, but the elements in the two images mimic the offset viewpoint that can be perceived by the observer's eyes in daily life. Can be offset from each other. Therefore, the observer can perceive depth in the element drawn in the image.
従来から、3次元ビデオは2つの異なる目によって知覚され得るような場面(setting)を取得するために、約3〜8インチ離れて並んで取り付けられた2つのビデオソース(例えばカメラ)を使用して作成されてきた。この距離はしばしば「軸間(interaxial)」又は「眼間距離」と呼ばれる。したがって、2つのビデオソースは2つのビデオを、1つは左目用に、1つは右目用に、作成する。2つのビデオは、右目ビデオが観察者の右目に提示され、左目ビデオが観察者の左目に提示され、観察者がビデオを3次元で知覚するような、立体視(又は3D)ビデオとしてまとめられ得る。対照的に、本開示のいくつかの実施形態によると、立体視ビデオは単一の(平面視)ビデオソースを用いて得られるビデオから導出され得る。平面視ビデオソースから導出されるこれらのビデオは、「2D」又は「平面視ビデオ」と呼ばれ得る。 Traditionally, 3D video has used two video sources (eg, cameras) mounted side by side about 3-8 inches apart to obtain settings that can be perceived by two different eyes. Has been created. This distance is often referred to as “interaxial” or “interocular distance”. Thus, two video sources create two videos, one for the left eye and one for the right eye. The two videos are combined as a stereoscopic (or 3D) video where the right eye video is presented to the viewer's right eye, the left eye video is presented to the viewer's left eye, and the viewer perceives the video in three dimensions. obtain. In contrast, according to some embodiments of the present disclosure, a stereoscopic video may be derived from video obtained using a single (planar) video source. These videos derived from a planar video source may be referred to as “2D” or “planar video”.
「ビデオ」という用語は、いかなるモーションタイプのピクチャをも示し得るし、限定ではなく例として、映画、テレビショー、記録されたイベント(例えばスポーツイベント、コンサート等)、ホームムービー、インターネットビデオ等を含み得る。ビデオは、それぞれが要素又は対象物(一般に「要素」と呼ばれる)を含み得る場面の画像を表示する、一連の「フレーム」(「フレーム」又は「ビデオフレーム」と呼ばれる)で構成されている。要素は、動いていてもよいし、静止していてもよい。例えば、フレームは、山、丘、木、動物、建物、飛行機、列車、自動車等のような要素を含み得る風景の画像であり得る。 The term “video” may refer to any motion type picture and includes, but is not limited to, movies, television shows, recorded events (eg, sporting events, concerts, etc.), home movies, internet videos, etc. obtain. A video is made up of a series of “frames” (referred to as “frames” or “video frames”) that display images of a scene, each of which may contain elements or objects (commonly referred to as “elements”). The element may be moving or may be stationary. For example, the frame may be a landscape image that may include elements such as mountains, hills, trees, animals, buildings, airplanes, trains, cars, and the like.
いくつかの実施形態によると、平面視ビデオの第1フレームとその平面視ビデオの第2フレーム(例えば、第1フレームの次のフレーム又は前のフレーム)との間の要素の動きは、第1フレームに対応し得る、かつ、立体視ビデオを生成するために使用され得る1つ以上の修正第1フレームを生成するために使用され得る。いくつかの実施形態においては、第1及び第2フレームは連続したフレームであり得、他の実施形態においては、第1及び第2フレームの間に1つ以上の中間フレームが含まれ得る。第1フレーム及び修正第1フレームは、第1フレームと第2フレームとの間の要素の動きに基づいて、1つ以上の要素が第1フレームと修正第1フレームとで互いにオフセットしていて、実質的に同じ要素を含み得る。更に、要素の動きは、第1フレーム及び第2フレームに関して、カメラ効果(例えば、ズーム効果、パン(panning)効果、回転(rotating)効果、及び/又は静止(stationary)効果)を分析するために使用され得る。いくつかの実施形態においては、修正第1フレームは分析されたカメラ効果に基づいて生成され得る。 According to some embodiments, the movement of an element between a first frame of a planar video and a second frame of the planar video (eg, the next frame or the previous frame of the first frame) is the first It can correspond to a frame and can be used to generate one or more modified first frames that can be used to generate a stereoscopic video. In some embodiments, the first and second frames may be consecutive frames, and in other embodiments, one or more intermediate frames may be included between the first and second frames. The first frame and the modified first frame have one or more elements offset from each other in the first frame and the modified first frame based on the movement of the elements between the first frame and the second frame; It can include substantially the same elements. In addition, the movement of the element can be analyzed with respect to the first and second frames for camera effects (eg, zoom effects, panning effects, rotating effects, and / or stationary effects). Can be used. In some embodiments, the modified first frame may be generated based on the analyzed camera effect.
いくつかの実施形態においては、左目ビューフレームは、観察者の左目によって観察されるように構成され得るのであるが、求められたカメラ効果、及び第1フレームと修正第1フレームとのうちの少なくとも1つに基づいて生成され得る。同様に、右目ビューフレームは、観察者の右目によって観察されるように構成され得るのであるが、求められたカメラ効果、及び第1フレームと修正第1フレームとのうちの少なくとも1つに基づいて生成され得る。このプロセスは、立体視ビデオの対応する左目及び右目ビューフレームを生成するために、平面視ビデオの複数のフレームに対して繰り返され得る。したがって、そのような実施形態において、分析されたカメラ効果、及び第1フレームとそれに関連する第2フレームとの間の動きに基づいて、立体視ビデオが平面視ビデオから生成され得る。 In some embodiments, the left eye view frame may be configured to be viewed by the viewer's left eye, but the determined camera effect and at least one of the first frame and the modified first frame. Can be generated based on one. Similarly, the right eye view frame may be configured to be viewed by the viewer's right eye, but based on the determined camera effect and at least one of the first frame and the modified first frame. Can be generated. This process may be repeated for multiple frames of the stereoscopic video to generate corresponding left and right eye view frames of the stereoscopic video. Thus, in such an embodiment, a stereoscopic video can be generated from the planar video based on the analyzed camera effect and the motion between the first frame and the associated second frame.
更に、いくつかの実施形態において、左目ビューフレーム及び右目ビューフレームの生成は、第1フレーム及び第2フレームに関連する平面視ビデオのシーンの前景及び背景のうちの少なくとも1つの動きを求めることに基づき得る。これらの又は他の実施形態において、前景及び/又は背景は、第1フレーム及び第2フレームに関連するシーンに含まれる動きが最も速い要素、動きが遅い要素、及び/又は支配的な要素に基づいて求められ得る。 Further, in some embodiments, the generation of the left eye view frame and the right eye view frame is to determine movement of at least one of the foreground and background of the planar video scene associated with the first frame and the second frame. Can be based. In these or other embodiments, the foreground and / or background is based on the fastest, slowest, and / or dominant factors included in the scene associated with the first and second frames. Can be requested.
更に、立体視ビデオにおける奥行きの量は、左目ビューフレーム及び右目ビューフレームに含まれる要素間のオフセットを調節することによって修正され得る。その上、立体視ビデオに関連する場面の前景又は背景にどの要素が含まれるかの知覚も、要素間のオフセットを調節することによって修正され得る。 Further, the amount of depth in the stereoscopic video can be modified by adjusting the offset between the elements contained in the left eye view frame and the right eye view frame. Moreover, the perception of which elements are included in the foreground or background of a scene associated with a stereoscopic video can also be modified by adjusting the offset between the elements.
ここで説明される右目ビューフレーム及び左目ビューフレームは、それぞれ「右目画像」及び「左目画像」とも呼ばれ得る。更に、右目ビューフレーム及び左目ビューフレームは、上/下、左/右、SENSIO(登録商標)Hi-Fi 3D、Blu-ray(登録商標) 3D、又は他の任意の適用可能な3Dフォーマットのような、いかなる適切な3Dフォーマットをも使用して、立体視ビデオを生成するために使用され得る。 The right eye view frame and left eye view frame described herein may also be referred to as “right eye image” and “left eye image”, respectively. Further, the right eye view frame and left eye view frame can be up / down, left / right, SENSIO® Hi-Fi 3D, Blu-ray® 3D, or any other applicable 3D format. Any suitable 3D format can be used to generate the stereoscopic video.
図1は、平面視(2−D)ビデオに基づいて立体視(3−D)ビデオ103を生成する、本開示のいくつかの実施形態による、例示システム100を示す。システム100は、3次元(立体視)ビデオ生成モジュール104(以下では「立体視ビデオモジュール104」として参照される)を含み得る。立体視ビデオモジュール104は、平面視ビデオ101を受け取り、平面視ビデオ101を立体視ビデオ103に変換する、いかなる適切なシステム、装置、又はデバイスをも含み得る。例えば、いくつかの実施形態においては、立体視ビデオモジュール104は、平面視ビデオ101を立体視ビデオ103に変換する動作をプロセッサに行わせる、コンピュータで実行可能な命令を含むソフトウェアであり得る。 FIG. 1 illustrates an example system 100 according to some embodiments of the present disclosure that generates a stereoscopic (3-D) video 103 based on a planar view (2-D) video. The system 100 may include a three-dimensional (stereoscopic) video generation module 104 (hereinafter referred to as “stereoscopic video module 104”). The stereoscopic video module 104 may include any suitable system, apparatus, or device that receives the stereoscopic video 101 and converts the stereoscopic video 101 to the stereoscopic video 103. For example, in some embodiments, the stereoscopic video module 104 may be software that includes computer-executable instructions that cause the processor to perform an operation to convert the stereoscopic video 101 to the stereoscopic video 103.
立体視ビデオモジュール104は、平面視ビデオ101のフレーム間の1つ以上の要素の動きに基づいて立体視ビデオ103を生成するように構成され得る。いくつかの実施形態において、立体視ビデオモジュール104は、動きに基づいて修正フレームを生成し得る。立体視ビデオモジュール104によって行われ得る修正フレームの生成は、図2及び3に関して以下で更に詳細に述べられる。いくつかの実施形態において、立体視ビデオモジュール104は、また、フレーム間の要素の動きに基づいて、平面視ビデオ101に関連するカメラ効果を分析又は求めるように構成され得る。これらの実施形態において、立体視ビデオモジュール104は、求められたカメラ効果及びそれに関連する動きに基づいて、修正フレーム並びに立体視ビデオ103のための左目及び右目ビューフレームを生成するように構成され得る。更に、いくつかの実施形態において、立体視ビデオモジュール104は、平面視ビデオ101のシーン内の前景及び背景に関連する動きを求めることに基づいて、修正フレーム並びに左目及び右目ビューフレームを生成するように構成され得る。カメラ効果の分析、並びに、分析されたカメラ効果に基づいて立体視ビデオモジュール104によって実行され得る修正フレーム並びに左目及び右目ビューフレームの生成は、図4−7及び10に関して更に詳細に述べられる。 Stereoscopic video module 104 may be configured to generate stereoscopic video 103 based on the movement of one or more elements between frames of planar video 101. In some embodiments, the stereoscopic video module 104 may generate a modified frame based on the motion. The generation of modified frames that may be performed by the stereoscopic video module 104 is described in further detail below with respect to FIGS. In some embodiments, the stereoscopic video module 104 may also be configured to analyze or determine a camera effect associated with the planar video 101 based on the movement of elements between frames. In these embodiments, the stereoscopic video module 104 may be configured to generate a modified frame and left and right eye view frames for the stereoscopic video 103 based on the determined camera effect and associated motion. . Further, in some embodiments, the stereoscopic video module 104 generates a modified frame and left and right eye view frames based on determining motion associated with the foreground and background in the scene of the stereoscopic video 101. Can be configured. The analysis of camera effects and the generation of modified frames and left and right eye view frames that can be performed by the stereoscopic video module 104 based on the analyzed camera effects are described in further detail with respect to FIGS. 4-7 and 10.
いくつかの実施形態において、立体視ビデオモジュール104は、また、平面視ビデオ101のシーンの前景及び/又は背景を求めるように構成され得る。これらの実施形態のいくつかにおいて、立体視ビデオモジュール104は、平面視ビデオ101のシーンに含まれる動きが最も速い要素、動きが遅い要素、及び/又は支配的な要素に基づいて、前景及び/又は背景を求めるように構成され得る。動きが最も速い要素、動きが遅い要素、及び/又は支配的な要素を求めることは、図8に関して更に詳細に述べられる。立体視ビデオモジュール104によって実行され得る前景及び/又は背景を求めることは、図9に関して更に詳細に以下で説明される。 In some embodiments, the stereoscopic video module 104 can also be configured to determine the foreground and / or background of the scene of the planar video 101. In some of these embodiments, the stereoscopic video module 104 is based on the fastest, slowest, and / or dominant factors in the scene of the planar video 101 based on the foreground and / or Or it may be configured to determine the background. The determination of the fastest, slowest and / or dominant elements is described in more detail with respect to FIG. Determining the foreground and / or background that can be performed by the stereoscopic video module 104 is described in further detail below with respect to FIG.
更に、いくつかの実施形態において、立体視ビデオモジュール104は、左目及び右目ビューフレームに含まれる要素間のオフセットを調節することによって、立体視ビデオ103を見ている観察者によって知覚される奥行きの量を調節するように構成され得る。立体視ビデオモジュール104によって行われ得る奥行き知覚の修正は、図12A−12C及び13に関して以下で更に詳細に述べられる。更に、いくつかの実施形態において、観察者によって知覚される場面の前景又は背景内にどの要素があり得るかという知覚を立体視ビデオモジュール104が修正し得るように、立体視ビデオ103の焦点を調節するようにも、立体視ビデオモジュール104は構成され得る。立体視ビデオモジュール104によって行われ得る焦点の修正は、図12A,12B,12D,及び14に関して以下で更に詳細に述べられる。 Further, in some embodiments, the stereoscopic video module 104 adjusts the offset between the elements included in the left and right eye view frames to adjust the depth perceived by the viewer watching the stereoscopic video 103. It can be configured to adjust the amount. The modification of depth perception that may be performed by the stereoscopic video module 104 is described in further detail below with respect to FIGS. 12A-12C and 13. Further, in some embodiments, the stereoscopic video 103 is focused so that the stereoscopic video module 104 can modify the perception of what elements may be in the foreground or background of the scene perceived by the viewer. The stereoscopic video module 104 can also be configured to adjust. The focus modifications that may be performed by the stereoscopic video module 104 are described in further detail below with respect to FIGS. 12A, 12B, 12D, and 14.
上述のように、立体視ビデオモジュール104は、フレーム間の1つ以上の要素の動きに基づいて立体視ビデオ103の左及び右目ビューフレームを生成するために使用され得る修正フレームを生成するように構成され得る。図2は、本開示のいくつかの実施形態による、平面視ビデオ201の異なるフレーム202の間の要素の動きに基づく修正フレーム202’の生成を図示する例としてのブロック図200を示す。いくつかの実施形態において、そして図2に関して例として示されているように、修正フレーム202’は、図1に関して上述されている立体視ビデオモジュール104のような、立体視ビデオモジュールによって生成され得る。図2に図示されているように、平面視ビデオ201は、図1に関して説明された平面視ビデオ101に実質的に類似し得るし、平面視ビデオ201に関連する1つ以上の場面の画像を含み得る一連のフレーム202を含み得る。本開示のいくつかの実施形態によると、立体視ビデオモジュールは、フレーム202の間の1つ以上の要素(明示されていない)の水平方向の動きに基づいて、修正フレーム202’を生成し得る。 As described above, the stereoscopic video module 104 generates modified frames that can be used to generate left and right eye view frames of the stereoscopic video 103 based on the movement of one or more elements between the frames. Can be configured. FIG. 2 shows an example block diagram 200 illustrating the generation of a modified frame 202 'based on the movement of elements between different frames 202 of the planar video 201, according to some embodiments of the present disclosure. In some embodiments, and as illustrated by way of example with respect to FIG. 2, the modified frame 202 ′ may be generated by a stereoscopic video module, such as the stereoscopic video module 104 described above with respect to FIG. . As illustrated in FIG. 2, the planar video 201 may be substantially similar to the planar video 101 described with respect to FIG. 1 and may include images of one or more scenes associated with the planar video 201. A series of frames 202 may be included. According to some embodiments of the present disclosure, the stereoscopic video module may generate a modified frame 202 ′ based on the horizontal movement of one or more elements (not explicitly shown) between the frames 202. .
例えば、フレーム202a及び202b内の要素(フレーム202bはフレーム202aの後に続くフレームであり得る)は、その要素がフレーム202aと202bとの間で左から右へ水平方向に動き得るように、フレーム202aとフレーム202bとの間で位置が異なり得る。したがって、立体視ビデオモジュールは、要素がフレーム202aに対して修正フレーム202a’において右にオフセットするように、フレーム202aと202bとの間での要素の水平方向の動きに基づいて、修正フレーム202a’を生成し得る。立体視ビデオモジュールは、同様に、フレーム202b及び202cに基づいて修正フレーム202b’を(フレーム202cはフレーム202bの後に続くフレームであり得る)、フレーム202c及び202dに基づいて修正フレーム202c’を(フレーム202dはフレーム202cの後に続くフレームであり得る)生成し得る。したがって、観察者の右目及び左目によって知覚されるような画像の水平方向のオフセットを模倣するために、フレーム間の要素の水平方向の動きに基づいて、修正フレーム202’は、対応するフレーム202の対応する要素に対して水平方向にオフセットし得る。 For example, an element in frames 202a and 202b (frame 202b may be a frame that follows frame 202a) such that the element can move horizontally from left to right between frames 202a and 202b. And the frame 202b may have different positions. Accordingly, the stereoscopic video module may modify the modified frame 202a ′ based on the horizontal movement of the element between the frames 202a and 202b such that the element is offset to the right in the modified frame 202a ′ relative to the frame 202a. Can be generated. Similarly, the stereoscopic video module may generate a modified frame 202b ′ based on the frames 202b and 202c (the frame 202c may be a frame following the frame 202b), and a modified frame 202c ′ based on the frames 202c and 202d (the frame 202d may be a frame following frame 202c). Thus, to mimic the horizontal offset of the image as perceived by the viewer's right and left eyes, based on the horizontal movement of the elements between frames, the modified frame 202 ′ It can be offset horizontally relative to the corresponding element.
いくつかの実施形態において、フレーム202間の要素の動きは、垂直方向にもあり得る(「垂直方向の動き」と称する)。しかし、観察者の目は一般に垂直方向には実質的にオフセットしていないので、立体視ビデオモジュールは、修正フレーム202’を生成するときにフレーム202間の要素の垂直方向の動きを実質的に無視し得る。よって、修正フレーム202’は、それらの要素が修正フレーム202’においては関連するフレーム202における対応する要素に対して水平方向にオフセットするように、水平方向の動きに基づいて生成され得る。しかし、修正フレーム202’の要素は、フレーム間で垂直方向の動きが生じていても、関連するフレーム202の対応する要素に対して垂直方向には実質的にオフセットし得ない。 In some embodiments, the movement of the elements between the frames 202 can also be in the vertical direction (referred to as “vertical movement”). However, since the observer's eyes are generally not substantially offset in the vertical direction, the stereoscopic video module substantially reduces the vertical movement of the elements between the frames 202 when generating the modified frame 202 ′. Can be ignored. Thus, a modified frame 202 'can be generated based on horizontal movement such that those elements are offset horizontally in the modified frame 202' with respect to corresponding elements in the associated frame 202. However, the elements of the modified frame 202 'cannot be substantially offset in the vertical direction relative to the corresponding elements of the associated frame 202, even if there is vertical movement between the frames.
更に、いくつかの実施形態において、1つのフレームからもう1つのフレームへの要素の動きは、1つのフレーム内の1つ以上の要素が、修正フレームを生成するために使用され得る後続のフレームに存在しない、という結果を生じ得る。そのような場合には、立体視ビデオモジュール104は、なくなった要素を元のフレームからコピーして関連する修正フレームに配置し得る。 Further, in some embodiments, the movement of an element from one frame to another frame causes a subsequent frame in which one or more elements in one frame can be used to generate a modified frame. Can result in non-existence. In such cases, the stereoscopic video module 104 may copy the missing element from the original frame and place it in the associated modified frame.
例えば、フレーム202aの要素が人の手であり得、フレーム202aとフレーム202bとの間のその人の動きが、その人の手がフレーム202bでは見えなくなるようなものであり得る。更に、修正フレーム202a’が、フレーム202aからフレーム202bへのその人の水平方向の動きに基づいて生成され得る。よって、修正フレーム202a’をその人の水平方向の動きに基づいて生成する際に、その人は、フレーム202aと202bとの間のその人の水平方向の動きに基づいて、修正フレーム202a’において水平方向にオフセットし得る。しかし、その人の手はフレーム202aからコピーされ修正フレーム202a’に挿入され得る。その結果、修正フレーム202a’の要素の水平方向のオフセットが抽出されるフレーム202bから手が消失していても、手が修正フレーム202a’には存在し得る。 For example, the element of frame 202a can be a human hand and the person's movement between frame 202a and frame 202b can be such that the person's hand is not visible on frame 202b. Further, a modified frame 202a 'can be generated based on the person's horizontal movement from frame 202a to frame 202b. Thus, when generating the modified frame 202a ′ based on the person's horizontal movement, the person is in the modified frame 202a ′ based on the person's horizontal movement between the frames 202a and 202b. It can be offset horizontally. However, the person's hand can be copied from the frame 202a and inserted into the modified frame 202a '. As a result, even if the hand disappears from the frame 202b from which the horizontal offset of the element of the correction frame 202a 'is extracted, the hand can be present in the correction frame 202a'.
本開示の範囲を逸脱することなく、図2には修正、追加、又は省略がなされ得る。例えば、平面視ビデオ201は、明示的に図示されているより多数の又は少数のフレームを含み得る。更に、いくつかの実施形態において、図示されたフレームの間に1つ以上の中間フレームが含まれ得る。例えば、平面視ビデオ201は、フレーム202aと202bとの間、フレーム202bと202cとの間、及び/又は、フレーム202cと202dとの間にあり得る、1つ以上の中間フレームを含み得る。更に、いくつかの実施形態において、平面視ビデオ201内のシーンは、1つのフレーム202が1つのシーンに関連し得、後続のフレームが異なるシーンに関連し得る、というように変化し得る。「シーンチェンジ」又はシーンの変更が、同一の場面のカメラアングル又は視野(perspective)の変更、及び/又はビデオに描写される場面の変更を指し得るように、本開示において、「シーン」は、特定の場面に関する特定のカメラ視野又はアングルのことを指し得る。そのような実施形態において、修正フレームは、以前のフレームにおいて識別された1つ以上の要素の動きに基づき得る、推測フレームに基づいて生成され得る。 Modifications, additions, or omissions may be made to FIG. 2 without departing from the scope of the present disclosure. For example, the planar video 201 may include more or fewer frames than are explicitly illustrated. Further, in some embodiments, one or more intermediate frames may be included between the illustrated frames. For example, the planar video 201 may include one or more intermediate frames that may be between frames 202a and 202b, between frames 202b and 202c, and / or between frames 202c and 202d. Further, in some embodiments, the scene in the planar video 201 may vary such that one frame 202 may be associated with one scene and subsequent frames may be associated with different scenes. In this disclosure, “scene” refers to a change in the camera angle or perspective of the same scene and / or a change in the scene depicted in the video. It may refer to a specific camera field of view or angle for a specific scene. In such embodiments, the modified frame may be generated based on a speculative frame that may be based on the movement of one or more elements identified in the previous frame.
図3は、本開示のいくつかの実施形態による、修正フレーム302’の生成を図示する例示的なブロック図300を示し、1つ以上の修正フレーム302’は、平面視ビデオ301の1つ以上の推測フレーム305に基づいて生成され得る。いくつかの実施形態において、そして図3に関して例として与えられているように、修正フレーム302’は、図1に関して上述された立体視ビデオモジュール104のような立体視ビデオモジュールによって、生成され得る。図3に図示されているように、平面視ビデオ301は、平面視ビデオ301に関連する1つ以上のシーンの画像を含み得る一連のフレーム302(フレーム302a−302dとして図示されている)を含み得る。説明されている実施形態において、フレーム302a−302cは平面視ビデオ301のシーン306aに関連し得、フレーム302dは平面視ビデオ301の異なるシーンであるシーン306bに関連し得る。 FIG. 3 illustrates an exemplary block diagram 300 illustrating the generation of a modified frame 302 ′ according to some embodiments of the present disclosure, where one or more modified frames 302 ′ are one or more of the planar view video 301. Can be generated based on the estimated frame 305. In some embodiments, and as provided as an example with respect to FIG. 3, the modified frame 302 'may be generated by a stereoscopic video module, such as the stereoscopic video module 104 described above with respect to FIG. As illustrated in FIG. 3, the planar video 301 includes a series of frames 302 (shown as frames 302a-302d) that may include images of one or more scenes associated with the planar video 301. obtain. In the described embodiment, frames 302 a-302 c may be associated with scene 306 a of planar video 301 and frame 302 d may be associated with scene 306 b that is a different scene of planar video 301.
本開示のいくつかの実施形態によると、立体視ビデオモジュールは、上述の修正フレーム202a’及び202b’の生成と同様に、フレーム302aと302bとの間、及び、フレーム302bと302cとの間のそれぞれの、1つ以上の要素(特に図示されていない)の動きに基づいて、修正フレーム302a’及び302b’を生成するように構成され得る。例えば、修正フレーム302a’は、フレーム302aと302b(これはフレーム302aの後に続き得る)との間の1つ以上の要素の動きに基づいて生成され得る。更に、修正フレーム302b’は、フレーム302bと302c(これはフレーム302bの後に続き得る)との間の1つ以上の要素の動きに基づいて生成され得る。 According to some embodiments of the present disclosure, the stereoscopic video module may be between frames 302a and 302b and between frames 302b and 302c, similar to the generation of modified frames 202a ′ and 202b ′ described above. Based on the movement of each one or more elements (not specifically shown), the modified frames 302a ′ and 302b ′ may be configured to be generated. For example, the modified frame 302a 'can be generated based on the movement of one or more elements between the frames 302a and 302b (which can follow the frame 302a). Further, a modified frame 302b 'can be generated based on the movement of one or more elements between frames 302b and 302c (which can follow frame 302b).
しかし、説明されている実施形態において、フレーム302cは、平面視ビデオ301のシーン306aに関連する最後のフレームであり得る。よって、フレーム302dのような後続のフレームは、異なるシーンに関連し得る、又は、他のフレームに移行する前に関連する実質的な動きを有し得ないので、フレーム302cに関連する要素の動きは、フレーム302cとフレーム302cの後続のフレームとの間には存在し得ない。このような場合には、立体視ビデオモジュールは、シーンがその最後のフレーム以降継続していればシーンの後続フレームを表現し得る推測フレームを生成するように、構成され得る。例えば、説明されている実施形態において、立体視ビデオモジュールは、シーン306aがフレーム302c以降継続していればシーン306aのフレーム302cの後続フレームを表現し得る推測フレーム305を生成するように、構成され得る。 However, in the described embodiment, frame 302c may be the last frame associated with scene 306a of planar video 301. Thus, a subsequent frame, such as frame 302d, may be associated with a different scene, or may not have substantial movement associated with it before transitioning to another frame, so that element movement associated with frame 302c. Cannot exist between frame 302c and a frame subsequent to frame 302c. In such a case, the stereoscopic video module may be configured to generate a speculative frame that can represent a subsequent frame of the scene if the scene continues since its last frame. For example, in the described embodiment, the stereoscopic video module is configured to generate a speculative frame 305 that can represent a subsequent frame of the frame 302c of the scene 306a if the scene 306a continues from frame 302c. obtain.
いくつかの実施形態において、立体視ビデオモジュールは、シーンチェンジを求めるように構成され得、検出されたシーンチェンジに基づいてシーンの最終フレームを求め得る。立体視ビデオモジュールは、シーンチェンジを検出することに基づいて推測フレームを生成するようにも構成され得る。例えば、立体視ビデオモジュールは、シーン306aからシーン306bへのシーンチェンジを検出するように構成され得、フレーム302cがシーン306aの最終フレームであることを求め得、かつ、シーン306aからシーン306bへのシーンチェンジを検出することに基づいて、推測フレーム305を生成し得る。 In some embodiments, the stereoscopic video module may be configured to determine a scene change and may determine a final frame of the scene based on the detected scene change. The stereoscopic video module may also be configured to generate a speculative frame based on detecting a scene change. For example, the stereoscopic video module may be configured to detect a scene change from scene 306a to scene 306b, may determine that frame 302c is the last frame of scene 306a, and is from scene 306a to scene 306b. A guess frame 305 may be generated based on detecting a scene change.
これらの実施形態のいくつかにおいて、立体視ビデオモジュールは、フレーム間のピクセルの空間及び/又は色の分布の分析に基づいて、シーンチェンジを求めるように構成され得る。もしピクセルの分布がフレームから他のフレームに、実質的に類似しているなら、立体視ビデオモジュールは、フレーム302が同一のシーン306に関連しているということを求め得る。しかし、もしピクセルの分布がフレーム間で実質的に異なるなら、立体視ビデオモジュールは、シーンチェンジが発生したということを求め得る。例えば、立体視ビデオモジュールは、フレーム302a,302b,及び302cの間のピクセルの分布が実質的に類似しているということを求めて、フレーム302a,302b,及び302cがシーン306aの一部であり得るということを求め得る。立体視ビデオモジュールは、また、フレーム302cと302dとの間のピクセルの分布が実質的に異なるということを求めて、フレーム302cと302dとの間でシーン306aからシーン306bへのシーンチェンジが発生するということを求め得る。 In some of these embodiments, the stereoscopic video module may be configured to determine a scene change based on an analysis of pixel spacing and / or color distribution between frames. If the distribution of pixels is substantially similar from frame to other frame, the stereoscopic video module may determine that the frame 302 is associated with the same scene 306. However, if the distribution of pixels differs substantially between frames, the stereoscopic video module may require that a scene change has occurred. For example, the stereoscopic video module seeks that the distribution of pixels between frames 302a, 302b, and 302c is substantially similar, and frames 302a, 302b, and 302c are part of scene 306a. You can ask for that. The stereoscopic video module also requires that the distribution of pixels between frames 302c and 302d be substantially different and a scene change from scene 306a to scene 306b occurs between frames 302c and 302d. You can ask that.
第1シーンから第2シーンへのシーンチェンジの検出に応じて、立体視ビデオモジュールは、第1シーンのフレーム間の1つ以上の要素の動きを検出するように構成され得る。第1シーンのフレーム間の要素の動きに基づいて、立体視ビデオモジュールは、第1シーン用に推測フレームを生成するように構成され得る。推測フレームを生成すると、立体視ビデオモジュールは、第1シーンの最終フレームと推測フレームとの間の要素の動きに基づいて、第1シーンの最終フレーム用に修正フレームを生成するように構成され得る。 In response to detecting a scene change from the first scene to the second scene, the stereoscopic video module may be configured to detect movement of one or more elements between frames of the first scene. Based on the movement of elements between frames of the first scene, the stereoscopic video module may be configured to generate speculative frames for the first scene. Upon generating the speculative frame, the stereoscopic video module may be configured to generate a modified frame for the final frame of the first scene based on the movement of elements between the final frame of the first scene and the speculative frame. .
例えば、シーン306aからシーン306bへのシーンチェンジを検出後、立体視ビデオモジュールは、シーンチェンジの検出に応じてフレーム302bと302cとの間の1つ以上の要素の動きを検出するように構成され得る。フレーム302bと302cとの間の検出された動きに基づいて、立体視ビデオモジュールは、シーン306aがフレーム302c以降継続していればフレーム302cとシーン306aの後続のフレームとの間にどのような動きが発生し得るかを推測するように構成され得る。いくつかの実施形態において、要素間の動きの推測は、シーン306aがフレーム302cの後に終了していなければフレーム302bと302cとの間の要素の動きがフレーム302c以降も継続するであろうという仮定に基づいて行われ得る。立体視ビデオモジュールは、したがって、シーン306aがフレーム302c以降継続していればシーン306aにおいて継続しているであろう動きを推測フレーム305が反映し得るように、シーン306aのフレーム302bと302cとの間の要素の動きに基づいてシーン306a用に推測フレーム305を生成するように、構成され得る。 For example, after detecting a scene change from scene 306a to scene 306b, the stereoscopic video module is configured to detect movement of one or more elements between frames 302b and 302c in response to detecting the scene change. obtain. Based on the detected motion between frames 302b and 302c, the stereoscopic video module can determine what motion between frame 302c and the subsequent frames of scene 306a if scene 306a continues from frame 302c. May be configured to infer whether can occur. In some embodiments, motion estimation between elements assumes that the motion of elements between frames 302b and 302c will continue beyond frame 302c unless scene 306a ends after frame 302c. Based on The stereoscopic video module can therefore match the frames 302b and 302c of the scene 306a so that the speculative frame 305 can reflect the motion that would have continued in the scene 306a if the scene 306a continued from frame 302c. It may be configured to generate a guess frame 305 for the scene 306a based on the movement of elements in between.
推測フレーム305が生成されると、立体視ビデオモジュールは、フレーム302aと302bとの間、及び、フレーム302bと302cとの間のそれぞれの動きに基づいて修正フレーム302a’及び302b’を生成するのと同様に、フレーム302cと推測フレーム305との間の1つ以上の要素の動きに基づいて修正フレーム302c’を生成し得る。よって、修正フレーム302c’は、フレーム302から実質的に同一の要素を有する後続のフレームへの間で、たとえそのような後続のフレームが存在し得なくても、発生し得る動きに基づいて、生成され得る。 Once the inferred frame 305 is generated, the stereoscopic video module generates modified frames 302a ′ and 302b ′ based on the motion between frames 302a and 302b and between frames 302b and 302c, respectively. Similarly, a modified frame 302c ′ may be generated based on the movement of one or more elements between the frame 302c and the guess frame 305. Thus, the modified frame 302c ′ is based on the motion that can occur between the frame 302 and a subsequent frame having substantially the same elements, even if no such subsequent frame can exist. Can be generated.
本開示の範囲を逸脱することなく、図3には修正、追加、又は省略がなされ得る。例えば、平面視ビデオ301は、明示的に図示されているより多数の又は少数のフレーム302及び/又はシーン306を含み得る。更に、各シーン306は、いかなる数のフレーム302をも含み得る。更に、いくつかの実施形態において、図示されたフレーム302の間に1つ以上の中間フレームが含まれ得る。 Modifications, additions, or omissions may be made to FIG. 3 without departing from the scope of the present disclosure. For example, the planar video 301 may include more or fewer frames 302 and / or scenes 306 than are explicitly illustrated. Further, each scene 306 can include any number of frames 302. Further, in some embodiments, one or more intermediate frames may be included between the illustrated frames 302.
図1に戻り、前述のように、立体視ビデオモジュール104は、カメラ効果及び平面視ビデオ101の修正フレームに基づいて、立体視ビデオ103の左目及び右目ビューフレームを生成するように構成され得る。修正フレームは、図2及び3に関して上述のように、フレーム間の要素の動きに基づいて生成され得る。したがって、立体視ビデオモジュール104は、本開示の1つ以上の実施形態に従って、平面視ビデオ101のカメラ効果を分析するようにも構成され得る。そのような実施形態において、立体視ビデオモジュール104は、カメラ効果がパン効果又はズーム効果のいずれであるのかを求め得、カメラ効果がパン効果又はズーム効果のいずれであるのかに基づいて、左目及び右目ビューフレームを生成し得る。カメラ効果がパン効果であると求めたことに基づいた左目ビューフレーム及び右目ビューフレームの生成は、図4及び5に関して以下で更に詳細に述べられる。カメラ効果がズーム効果であると求めたことに基づいた左目ビューフレーム及び右目ビューフレームの生成は、図6及び7に関して以下で更に詳細に論じられる。 Returning to FIG. 1, as described above, the stereoscopic video module 104 may be configured to generate the left eye and right eye view frames of the stereoscopic video 103 based on the camera effect and the modified frame of the stereoscopic video 101. A modified frame may be generated based on the movement of elements between frames, as described above with respect to FIGS. Accordingly, the stereoscopic video module 104 may also be configured to analyze the camera effect of the planar video 101 according to one or more embodiments of the present disclosure. In such an embodiment, the stereoscopic video module 104 may determine whether the camera effect is a pan effect or a zoom effect, and based on whether the camera effect is a pan effect or a zoom effect, A right eye view frame may be generated. The generation of a left eye view frame and a right eye view frame based on determining that the camera effect is a pan effect is described in further detail below with respect to FIGS. The generation of left and right eye view frames based on determining that the camera effect is a zoom effect is discussed in more detail below with respect to FIGS.
更に、もしカメラ効果がパン効果又はズーム効果のいずれでもないということを立体視ビデオモジュール104が求めるなら、立体視ビデオモジュール104は、このように求めたことに基づいて左目及び右目ビューフレームを生成し得る。これらの実施形態のいくつかにおいて、立体視ビデオモジュール104は、平面視ビデオ101のフレームに関連する前景及び背景の動きに基づいて、左目ビューフレーム及び右目ビューフレームを生成し得る。前景及び背景の検出は、図8及び9に関してより詳細に説明される。カメラ効果がパン効果又はズーム効果のいずれでもないということが求められたということに基づく左目ビューフレーム及び右目ビューフレームの生成は、図10に関して以下で更に詳細に論じられる。 Further, if the stereoscopic video module 104 determines that the camera effect is neither a panning effect nor a zooming effect, the stereoscopic video module 104 generates left-eye and right-eye view frames based on this determination. Can do. In some of these embodiments, the stereoscopic video module 104 may generate a left eye view frame and a right eye view frame based on foreground and background motion associated with the frame of the stereoscopic video 101. Foreground and background detection is described in more detail with respect to FIGS. The generation of a left eye view frame and a right eye view frame based on the requirement that the camera effect is neither a pan effect nor a zoom effect is discussed in further detail below with respect to FIG.
図4は、本開示のいくつかの実施形態による、平面視ビデオ401のフレーム402a及び402bに関連する右へのパン効果に基づく、立体視ビデオ403の左目ビューフレーム410及び右目ビューフレーム412の生成を図示する例示的なブロック図400を示す。説明されている例において、立体視ビデオ403は、図1に関して上述された立体視ビデオモジュール104のような、立体視ビデオモジュールによって生成され得る。 FIG. 4 illustrates the generation of a left-eye view frame 410 and a right-eye view frame 412 of a stereoscopic video 403 based on a panning right effect associated with the frames 402a and 402b of the stereoscopic video 401 according to some embodiments of the present disclosure. FIG. 4 shows an exemplary block diagram 400 illustrating the. In the described example, the stereoscopic video 403 may be generated by a stereoscopic video module, such as the stereoscopic video module 104 described above with respect to FIG.
フレーム402a及び402bは、それぞれフレーム402a及びフレーム402bの両方に含まれ得る1つ以上の要素408を含み得る。例えば、説明されている実施形態において、各フレーム402a及び402bは、要素408a及び408bを含み得る。フレーム402a及び402bは、図4に明示されていない他の要素も含み得る。 Frames 402a and 402b may include one or more elements 408 that may be included in both frame 402a and frame 402b, respectively. For example, in the described embodiment, each frame 402a and 402b may include elements 408a and 408b. Frames 402a and 402b may also include other elements not explicitly shown in FIG.
カメラがパンするとき、カメラによって撮影される場面全体は、パン効果に関連するフレーム内の要素が実質的に一律の大きさで実質的に一律の方向に動くように、カメラが動くのに従って動く。例えば、フレーム402a及び402bは、フレーム402a及び402b内の要素408a及び408bがフレーム402aと402bとの間で右から左に実質的に同じ量だけ一様に動くように、カメラが生成するフレーム402a及び402bが左から右にパンされ得たような、右へのパン(right-panning)効果に関連し得る。 When the camera pans, the entire scene filmed by the camera moves as the camera moves so that the elements in the frame associated with the pan effect move in a substantially uniform direction and in a substantially uniform direction. . For example, frames 402a and 402b are frames 402a generated by the camera such that elements 408a and 408b in frames 402a and 402b move uniformly between the frames 402a and 402b by substantially the same amount from right to left. And 402b can be related to a right-panning effect, such as can be panned from left to right.
右へのパン効果は、左から右へ実際にカメラをパンすることに基づいて、又は、左から右へカメラをパンすることのシミュレーションに基づいて、生成され得る。いくつかの実施形態において、パン効果は、軸のまわりのカメラの回転に、又は、そのパン効果を生成するような、適切ないかなるシミュレーションにも、関連し得る。他の実施形態において、パン効果は、撮影される場面に関して水平方向のカメラ全体の動き(例えば、左から右へ)に、又は、そのパン効果を生成するような、適切ないかなるシミュレーションにも、関連し得る。 The right pan effect may be generated based on actually panning the camera from left to right or based on a simulation of panning the camera from left to right. In some embodiments, the pan effect can be related to the rotation of the camera about an axis or to any suitable simulation that produces the pan effect. In other embodiments, the pan effect may be applied to the overall camera movement in the horizontal direction with respect to the scene being shot (e.g., from left to right) or to any suitable simulation that produces the pan effect. May be related.
立体視ビデオモジュールは、フレーム402aと402bとの間で、要素408a及び408bのような要素の動きを分析することに基づいて、右へのパン効果がフレーム402aと402bとの間に存在するかどうかを求めるように構成され得る。例えばいくつかの実施形態において、立体視ビデオモジュールは、フレーム402a及び402bのさまざまな区域(例えば、右上、左上、右下、及び左下区域)に位置するさまざまな要素の動きを分析し得る。いくつかの実施形態において、立体視ビデオモジュールは、要素に対応し得るフレーム402a及び402bのピクセルに関連する動きを分析することによって、その要素の動きを分析し得る。これらの又は他の実施形態において、立体視ビデオモジュールは、フレーム402aとフレーム402bとの間の要素の動きを求めるために、フレーム402a及び402bの各ピクセルに関連する動きを分析し得る。もしフレーム402a及び402bのさまざまな区域に位置する要素(又は、いくつかの実施形態においてはピクセル)に関連する動きが、全て右から左へ実質的に同じ程度動くなら、立体視ビデオモジュールは、カメラ効果は右へのパン効果である、ということを求め得る。 The stereoscopic video module is based on analyzing the movement of elements such as elements 408a and 408b between frames 402a and 402b, and whether a panning effect to the right exists between frames 402a and 402b. Can be configured to ask for For example, in some embodiments, the stereoscopic video module may analyze the movement of various elements located in various areas of the frames 402a and 402b (eg, upper right, upper left, lower right, and lower left areas). In some embodiments, the stereoscopic video module may analyze the motion of the element by analyzing the motion associated with the pixels of frames 402a and 402b that may correspond to the element. In these or other embodiments, the stereoscopic video module may analyze the motion associated with each pixel of frames 402a and 402b to determine the motion of the elements between frames 402a and 402b. If the motion associated with elements (or pixels in some embodiments) located in various areas of frames 402a and 402b all move from right to left to substantially the same extent, the stereoscopic video module It can be sought that the camera effect is a panning effect to the right.
立体視ビデオモジュールは、求められた右へのパン効果及びそれに関連する動きに基づいて、フレーム402aに関連する修正フレーム402a’を生成し得る。例えば、上述のように、右へのパン効果は、要素408a及び408bが、フレーム402aからフレーム402bへ、右から左へ実質的に同じ程度動くという結果となり得る。したがって、いくつかの実施形態において、立体視ビデオモジュールは、右へのパン効果によって引き起こされた、フレーム402aと402bとの間の要素408a及び408bの水平方向の位置の差のため、フレーム402bを用いて修正フレーム402a’を生成しうる。フレーム402aと402bとの間で要素408a及び408bの垂直方向のオフセットがほとんど、又は全くあり得ないような、いくつかの実施形態において、フレーム402bは、修正フレーム402a’として使用され得る。フレーム402aと402bとの間で要素408a及び408bに垂直方向のオフセットが存在し得るような、他の実施形態において、フレーム402aと402bとの間の要素408a及び408bの垂直方向の位置の差は、フレーム402aと修正フレーム402a’との間の要素408a及び408bの垂直方向のいかなるオフセットもが本質的なものではあり得ないように、修正フレーム402a’の生成中に除去され得る。 The stereoscopic video module may generate a modified frame 402a 'associated with the frame 402a based on the determined right panning effect and associated motion. For example, as described above, a panning effect to the right can result in elements 408a and 408b moving substantially the same amount from frame 402a to frame 402b, from right to left. Thus, in some embodiments, the stereoscopic video module causes frame 402b to be displayed due to the horizontal position difference of elements 408a and 408b between frames 402a and 402b caused by a panning effect to the right. Can be used to generate a modified frame 402a ′. In some embodiments, where there may be little or no vertical offset of elements 408a and 408b between frames 402a and 402b, frame 402b may be used as a modified frame 402a '. In other embodiments, where there may be a vertical offset in elements 408a and 408b between frames 402a and 402b, the difference in the vertical position of elements 408a and 408b between frames 402a and 402b is The vertical offset of elements 408a and 408b between frame 402a and modified frame 402a ′ can be removed during the generation of modified frame 402a ′ so that it cannot be essential.
立体視ビデオ403の左目ビューフレーム410及び右目ビューフレーム412は、平面視ビデオ401のビューフレーム402aに関連し得るのであるが、右へのパン効果、ビューフレーム402a、及び修正ビューフレーム402a’に基づいて生成され得る。例えば、右へのパン効果のため、フレーム402aは左目ビューフレーム410として指定され得、修正フレーム402a’は右目ビューフレーム412として指定され得る。よって、立体視ビデオ403の左目ビューフレーム410及び右目ビューフレーム412は、右へのパン効果及び修正フレーム402a’に少なくとも部分的に基づいて生成され得る。修正フレーム402a’は、フレーム402aと402bとの間の要素408a及び408bの動きに関連し得る。 The left-eye view frame 410 and the right-eye view frame 412 of the stereoscopic video 403 may be related to the view frame 402a of the planar video 401, but based on the panning effect to the right, the view frame 402a, and the modified view frame 402a ′. Can be generated. For example, due to a panning effect to the right, frame 402a may be designated as left eye view frame 410 and modified frame 402a 'may be designated as right eye view frame 412. Thus, the left eye view frame 410 and the right eye view frame 412 of the stereoscopic video 403 may be generated based at least in part on the right pan effect and the modified frame 402a '. The modified frame 402a 'may relate to the movement of the elements 408a and 408b between the frames 402a and 402b.
明示的に説明されたもの以外の修正、追加、又は省略が、立体視ビデオ403の生成に対して行われ得る。例えば、平面視ビデオ401の他のフレーム402に関連する左目及び右目ビューフレーム(例えば、フレーム402bに関連する左目及び右目ビューフレーム)は、同様に生成され得る。更に、いくつかの実施形態において、左目及び右目ビューフレームは、それぞれのシーンの最後、又は最後に近いフレームであり得るフレーム402に対して、フレーム402に関連する修正フレームが図3に関して上述されたようなやり方で求められる推測フレームに基づいて生成され得るように、生成され得る。 Modifications, additions, or omissions other than those explicitly described may be made to the generation of the stereoscopic video 403. For example, left eye and right eye view frames associated with other frames 402 of planar video 401 (eg, left eye and right eye view frames associated with frame 402b) may be similarly generated. Further, in some embodiments, the left eye and right eye view frames are frames at the end of each scene, or frames 402 that may be near the end of the frame, whereas a modified frame associated with frame 402 has been described above with respect to FIG. It can be generated in such a way that it can be generated based on a guess frame determined in such a way.
図5は、本開示のいくつかの実施形態による、平面視ビデオ501のフレーム502a及び502bに関連する左へのパン(left-panning)効果に基づく、立体視ビデオ503の左目ビューフレーム510及び右目ビューフレーム512の生成を図示する、例としてのブロック図500を示す。図示されている例において、立体視ビデオ503は、図1に関して上述された立体視ビデオモジュール104のような立体視ビデオモジュールによって、生成され得る。 FIG. 5 illustrates a left-eye view frame 510 and right eye of a stereoscopic video 503 based on a left-panning effect associated with the frames 502a and 502b of the planar video 501 according to some embodiments of the present disclosure. An example block diagram 500 illustrating the generation of a view frame 512 is shown. In the illustrated example, the stereoscopic video 503 can be generated by a stereoscopic video module, such as the stereoscopic video module 104 described above with respect to FIG.
フレーム502a及び502bは、それぞれがフレーム502a及びフレーム502bの両方に含まれ得る1つ以上の要素508を含み得る。例えば、図示されている実施形態において、フレーム502a及び502bのそれぞれが、要素508a及び508bを含み得る。 Frames 502a and 502b can include one or more elements 508, each of which can be included in both frame 502a and frame 502b. For example, in the illustrated embodiment, each of the frames 502a and 502b can include elements 508a and 508b.
上述のように、フレーム502a及び502bは、フレーム502a及び502b内の要素508がフレーム502aと502bとの間で左から右へ実質的に同じ量だけ一律に動き得るように、フレーム502a及び502bを生成するカメラが右から左にパンされ得た、左へのパン効果に関連し得る。例えば、図示される実施形態において、要素508a及び508bは、フレーム502a及び502bに関連する左へのパン効果に基づいて、実質的に同じ量だけフレーム502aと502bとの間で左から右に動き得る。 As described above, frames 502a and 502b move frames 502a and 502b so that elements 508 in frames 502a and 502b can move substantially the same amount from left to right between frames 502a and 502b. This can be related to the left panning effect, where the producing camera can be panned from right to left. For example, in the illustrated embodiment, elements 508a and 508b move from left to right between frames 502a and 502b by substantially the same amount based on the left pan effect associated with frames 502a and 502b. obtain.
右へのパン効果と同様に、左へのパン効果は、右から左へ実際にカメラをパンすることに基づいて、又は、右から左へカメラをパンすることのシミュレーションに基づいて、生成され得る。また、いくつかの実施形態において、パン効果は、軸のまわりのカメラの回転に、又は、そのパン効果を生成するような、適切ないかなるシミュレーションにも、関連し得る。他の実施形態において、パン効果は、撮影される場面に関して水平方向のカメラ全体の動き(例えば、右から左へ)に、又は、そのパン効果を生成するような、適切ないかなるシミュレーションにも、関連し得る。 Similar to the right pan effect, the left pan effect is generated based on actually panning the camera from right to left or based on a simulation of panning the camera from right to left. obtain. Also, in some embodiments, the pan effect can be related to the rotation of the camera about the axis or to any suitable simulation that produces the pan effect. In other embodiments, the pan effect can be applied to the overall camera movement in the horizontal direction with respect to the scene being shot (eg, from right to left) or to any suitable simulation that produces the pan effect. May be related.
図4に関して上で論じられているように、右へのパン効果が存在するかどうかを求めるのと同様に、立体視ビデオモジュールは、フレーム502aと502bとの間で、要素508a及び508bのような要素(又は、いくつかの実施形態においてはピクセル)に関連する動きを分析することに基づいて、左へのパン効果がフレーム502aと502bとの間に存在するかどうかを求めるように構成され得る。もしフレーム502a及び502bのさまざまな区域に位置する要素(又は、いくつかの実施形態においてはピクセル)に関連する動きが、全て左から右へ実質的に同じ程度動くなら、立体視ビデオモジュールは、カメラ効果は左へのパン効果である、ということを求め得る。 As discussed above with respect to FIG. 4, similar to determining if there is a panning right effect, the stereoscopic video module is between elements 502a and 502b as elements 508a and 508b. Configured to determine whether a left panning effect exists between frames 502a and 502b, based on analyzing motion associated with a particular element (or pixel in some embodiments). obtain. If the motion associated with elements (or pixels in some embodiments) located in different areas of frames 502a and 502b all move from left to right to substantially the same extent, the stereoscopic video module It can be sought that the camera effect is a panning effect to the left.
立体視ビデオモジュールは、求められた左へのパン効果及びそれに関連する動きに基づいて、フレーム502aに関連する修正フレーム502a’を生成し得る。例えば、上述のように、左へのパン効果は、要素508a及び508bが、フレーム502aからフレーム502bへ、左から右へ実質的に同じ程度動くという結果となり得る。したがって、いくつかの実施形態において、立体視ビデオモジュールは、左へのパン効果によって引き起こされた、フレーム502aと502bとの間の要素508a及び508bの水平方向の位置の差のため、フレーム502bに基づいて修正フレーム502a’を生成しうる。フレーム502aと502bとの間で要素508a及び508bの垂直方向のオフセットがほとんど、又は全くあり得ないような、いくつかの実施形態において、フレーム502bは、修正フレーム502a’として使用され得る。フレーム502aと502bとの間で要素508a及び508bに垂直方向のオフセットが存在し得るような、他の実施形態において、フレーム502aと502bとの間の要素508a及び508bの垂直方向の位置の差は、フレーム502aと修正フレーム502a’との間の要素508a及び508bの垂直方向のいかなるオフセットもが本質的なものではあり得ないように、修正フレーム502a’の生成中に除去され得る。 The stereoscopic video module may generate a modified frame 502a 'associated with frame 502a based on the determined left pan effect and associated motion. For example, as described above, a panning effect to the left can result in elements 508a and 508b moving substantially the same amount from frame 502a to frame 502b, from left to right. Thus, in some embodiments, the stereoscopic video module may cause the frame 502b to move due to a difference in the horizontal position of the elements 508a and 508b between the frames 502a and 502b caused by the left pan effect. Based on this, a modified frame 502a ′ may be generated. In some embodiments, where there may be little or no vertical offset of elements 508a and 508b between frames 502a and 502b, frame 502b may be used as a modified frame 502a '. In other embodiments, where there may be a vertical offset in elements 508a and 508b between frames 502a and 502b, the difference in the vertical position of elements 508a and 508b between frames 502a and 502b is , Any vertical offset of elements 508a and 508b between frame 502a and modified frame 502a ′ can be removed during generation of modified frame 502a ′.
立体視ビデオ503の左目ビューフレーム510及び右目ビューフレーム512は、平面視ビデオ501のビューフレーム502aに関連し得るのであるが、左へのパン効果、ビューフレーム502a、及び修正ビューフレーム502a’に基づいて生成され得る。例えば、左へのパン効果のため、修正フレーム502a’は左目ビューフレーム510として指定され得、フレーム502aは右目ビューフレーム512として指定され得る。よって、立体視ビデオ503の左目ビューフレーム510及び右目ビューフレーム512は、左へのパン効果及び修正フレーム502a’に少なくとも部分的に基づいて生成され得る。修正フレーム502a’は、フレーム502aと502bとの間の要素508a及び508bの動きに関連し得る。 The left-eye view frame 510 and the right-eye view frame 512 of the stereoscopic video 503 may be related to the view frame 502a of the stereoscopic video 501 but are based on the panning effect to the left, the view frame 502a, and the modified view frame 502a ′. Can be generated. For example, due to a panning effect to the left, the modified frame 502a 'can be designated as the left eye view frame 510 and the frame 502a can be designated as the right eye view frame 512. Thus, the left eye view frame 510 and the right eye view frame 512 of the stereoscopic video 503 may be generated based at least in part on the left pan effect and the modified frame 502a '. The modified frame 502a 'may relate to the movement of the elements 508a and 508b between the frames 502a and 502b.
明示的に説明されたもの以外の修正、追加、又は省略が、立体視ビデオ503の生成に対して行われ得る。例えば、平面視ビデオ501の他のフレーム502に関連する左目及び右目ビューフレーム(例えば、フレーム502bに関連する左目及び右目ビューフレーム)は、同様に生成され得る。更に、いくつかの実施形態において、左目及び右目ビューフレームは、それぞれのシーンの最後、又は最後に近いフレームであり得るフレーム502に対して、フレーム502に関連する修正フレームが図3に関して上述されたようなやり方で求められる推測フレームに基づいて生成され得るように、生成され得る。 Modifications, additions, or omissions other than those explicitly described may be made to the stereoscopic video 503 generation. For example, left eye and right eye view frames associated with other frames 502 of planar video 501 (eg, left eye and right eye view frames associated with frame 502b) may be similarly generated. Further, in some embodiments, the left-eye and right-eye view frames are frames that may be the last or close frames of their respective scenes, whereas a modified frame associated with frame 502 has been described above with respect to FIG. It can be generated in such a way that it can be generated based on a guess frame determined in such a way.
図6は、本開示のいくつかの実施形態による、平面視ビデオ601のフレーム602a及びフレーム602bに関連するズームアウトカメラ効果に基づく、立体視ビデオ603の左目ビューフレーム610及び右目ビューフレーム612の生成を図示する、例としてのブロック図600を示す。図示される実施形態において、立体視ビデオ603は、図1に関して上述された立体視ビデオモジュール104のような立体視ビデオモジュールによって、生成され得る。 FIG. 6 illustrates the generation of a left-eye view frame 610 and a right-eye view frame 612 of a stereoscopic video 603 based on the zoom-out camera effect associated with the frames 602a and 602b of the stereoscopic video 601 according to some embodiments of the present disclosure. An exemplary block diagram 600 is shown, illustrating FIG. In the illustrated embodiment, the stereoscopic video 603 may be generated by a stereoscopic video module, such as the stereoscopic video module 104 described above with respect to FIG.
フレーム602a及び602bは、それぞれがフレーム602a及びフレーム602bの両方に含まれ得る1つ以上の要素608を含み得る。例えば、図示されている実施形態において、フレーム602a及び602bのそれぞれが、要素608a,608b,608c及び608dを含み得る。 Frames 602a and 602b can include one or more elements 608, each of which can be included in both frame 602a and frame 602b. For example, in the illustrated embodiment, each of the frames 602a and 602b can include elements 608a, 608b, 608c, and 608d.
カメラがズームアウトするとき、カメラによって生成されるフレーム内の要素は、1つのフレームからもう1つのフレームへ、フレームによってキャプチャされた場面の中心に向かって動き得る。例えば、図6に示されているように、フレーム602a及び602bは、フレーム602a及び602b内の要素608a,608b,608c及び608dが、フレーム602aからフレーム602bへ、フレーム602a及び602bによってキャプチャされた場面の中央に向かって動くように、ズームアウトカメラ効果に関連し得る。ズームアウトカメラ効果は、実際のカメラのズームアウト、又はズームアウトのシミュレーションに基づいて、生成され得る。 When the camera zooms out, the elements in the frame generated by the camera can move from one frame to the other toward the center of the scene captured by the frame. For example, as shown in FIG. 6, frames 602a and 602b are the scenes where elements 608a, 608b, 608c and 608d in frames 602a and 602b are captured by frames 602a and 602b from frame 602a to frame 602b. It can be related to the zoom-out camera effect as it moves toward the center of the camera. The zoom-out camera effect can be generated based on actual camera zoom-out or simulation of zoom-out.
図4及び5に関して上で論じられたように、右へのパン効果又は左へのパン効果が存在するかどうかを求めるのと同様に、立体視ビデオモジュールは、フレーム602a及び602bのさまざまな区域(例えば、左上、右上、左下、及び右下区域)に位置する要素の、例えば、フレーム602a及び602bの、左上、右上、左下、及び右下区域にそれぞれ位置し得る、要素608a,608b,608c及び608dのような要素の、フレーム602aと602bとの間の動きを分析することに基づいて、ズームアウトカメラ効果がフレーム602aと602bとの間に存在するかどうかを求めるように構成され得る。いくつかの実施形態において、立体視ビデオモジュールは、要素に対応し得るフレーム602a及び602bのピクセルに関連する動きを分析することによって、その要素の動きを分析し得る。これらの又は他の実施形態において、立体視ビデオモジュールは、フレーム602aとフレーム602bとの間の要素の動きを求めるために、フレーム602a及び602bの各ピクセルに関連する動きを分析し得る。もしフレーム602a及び602bのさまざまな区域に位置する要素(又は、いくつかの実施形態においてはピクセル)に関連する動きが、フレーム602a及び602bによってキャプチャされた場面の中心に実質的に向かって動くなら、立体視ビデオモジュールは、カメラ効果はズームアウトカメラ効果である、ということを求め得る。 As discussed above with respect to FIGS. 4 and 5, as with determining whether there is a right panning effect or a left panning effect, the stereoscopic video module performs various areas of frames 602a and 602b. Elements 608a, 608b, 608c that may be located in the upper left, upper right, lower left, and lower right areas of the elements located in (eg, upper left, upper right, lower left, and lower right areas), for example, frames 602a and 602b, respectively. And 608d may be configured to determine whether a zoom-out camera effect exists between frames 602a and 602b based on analyzing the movement between elements 602a and 602b. In some embodiments, the stereoscopic video module may analyze the motion of the element by analyzing the motion associated with the pixels in frames 602a and 602b that may correspond to the element. In these or other embodiments, the stereoscopic video module may analyze the motion associated with each pixel in frames 602a and 602b to determine the motion of the elements between frames 602a and 602b. If the motion associated with elements (or pixels in some embodiments) located in various areas of frames 602a and 602b moves substantially towards the center of the scene captured by frames 602a and 602b The stereoscopic video module may require that the camera effect is a zoom-out camera effect.
立体視ビデオモジュールは、求められたズームアウトカメラ効果及びそれに関連する動きに基づいて、フレーム602aに関連する修正フレーム602a’及び修正フレーム602a”を生成し得る。例えば、ズームアウトカメラ効果は、フレーム602a及び602bのそれぞれの左側614a及び614bに含まれる要素(例えば、要素608a及び608c)が、フレーム602aからフレーム602bへ、左から右へ実質的に同じ程度動くという結果となり得る。更に、ズームアウトカメラ効果は、フレーム602a及び602bのそれぞれの右側616a及び616bに含まれる要素(例えば、要素608b及び608d)が、フレーム602aからフレーム602bへ、右から左へ実質的に同じ程度動くという結果となり得る。 The stereoscopic video module may generate a modified frame 602a ′ and a modified frame 602a ″ associated with the frame 602a based on the determined zoom-out camera effect and associated motion. This can result in the elements (eg, elements 608a and 608c) included on each left side 614a and 614b of 602a and 602b moving substantially the same amount from frame 602a to frame 602b and from left to right. The camera effect can result in the elements (eg, elements 608b and 608d) included on the right side 616a and 616b of each of the frames 602a and 602b moving substantially the same amount from frame 602a to frame 602b and from right to left. .
いくつかの実施形態において、立体視ビデオモジュールは、フレーム602a及び602bのそれぞれの左側614aと614bとの間の、要素の水平方向のオフセットに基づいて、修正フレーム602a’の左側614cを生成し得る。更に、立体視ビデオモジュールは、左側614cの生成中は、左側614aと614bとの間の、要素のいかなる垂直方向のオフセットをも無視し得る。例えば、要素608a及び608cは、修正フレーム602a’の左側614cにおいて、フレーム602bの左側614bにおけるのと実質的に同一の水平方向の位置を有し得る。しかし、要素608a及び608cは、修正フレーム602a’の左側614cにおいて、フレーム602aの左側614aにおけるのと実質的に同一の垂直方向の位置を有し得る。 In some embodiments, the stereoscopic video module may generate the left side 614c of the modified frame 602a ′ based on the horizontal offset of the elements between the left side 614a and 614b of each of the frames 602a and 602b. . In addition, the stereoscopic video module may ignore any vertical offset of elements between the left side 614a and 614b during the generation of the left side 614c. For example, elements 608a and 608c may have substantially the same horizontal position on left side 614c of modified frame 602a 'as on left side 614b of frame 602b. However, elements 608a and 608c may have substantially the same vertical position on the left side 614c of the modified frame 602a 'as on the left side 614a of the frame 602a.
更に、立体視ビデオモジュールは、右側616cが右側616aに実質的に類似し得るように、フレーム602aの右側616aに含まれる要素の水平方向及び垂直方向の両方の位置に基づいて、修正フレーム602a’の右側616cを生成し得る。例えば、要素608b及び608dは、修正フレーム602a’の右側616cにおいて、フレーム602aの右側616aにおけるのと実質的に同一の水平方向及び垂直方向の位置を有し得る。 Further, the stereoscopic video module may modify the modified frame 602a ′ based on both the horizontal and vertical positions of the elements included in the right side 616a of the frame 602a such that the right side 616c may be substantially similar to the right side 616a. Of the right side 616c. For example, elements 608b and 608d may have substantially the same horizontal and vertical positions on the right side 616c of the modified frame 602a 'as on the right side 616a of the frame 602a.
立体視ビデオモジュールは、フレーム602a及び602bのそれぞれの右側616aと616bとの間の、要素の水平方向のオフセットに基づいて、修正フレーム602a”の右側616dを生成し得る。更に、立体視ビデオモジュールは、右側616dの生成中は、右側616aと616bとの間の、要素のいかなる垂直方向のオフセットをも無視し得る。例えば、要素608b及び608dは、修正フレーム602a”の右側616dにおいて、フレーム602bの右側616bにおけるのと実質的に同一の水平方向の位置を有し得る。しかし、要素608b及び608dは、修正フレーム602a”の右側616dにおいて、フレーム602aの右側616aにおけるのと実質的に同一の垂直方向の位置を有し得る。 The stereoscopic video module may generate the right side 616d of the modified frame 602a "based on the horizontal offset of the elements between the right side 616a and 616b of each of the frames 602a and 602b. Further, the stereoscopic video module. Can ignore any vertical offset of the elements between the right side 616a and 616b during the generation of the right side 616d. For example, the elements 608b and 608d can have the frame 602b May have substantially the same horizontal position as on the right side 616b. However, elements 608b and 608d may have substantially the same vertical position on the right side 616d of the modified frame 602a ″ as on the right side 616a of the frame 602a.
対照的に、立体視ビデオモジュールは、左側614dが左側614aに実質的に類似し得るように、フレーム602aの左側614aに含まれる要素の水平方向及び垂直方向の両方の位置に基づいて、修正フレーム602a”の左側614dを生成し得る。例えば、要素608a及び608cは、修正フレーム602a”の左側614dにおいて、フレーム602aの左側614aにおけるのと実質的に同一の水平方向及び垂直方向の位置を有し得る。 In contrast, the stereoscopic video module may modify the modified frame based on both horizontal and vertical positions of elements included in the left side 614a of the frame 602a so that the left side 614d may be substantially similar to the left side 614a. 602a "left side 614d. For example, elements 608a and 608c have horizontal and vertical positions on the left side 614d of modified frame 602a" that are substantially the same as on left side 614a of frame 602a. obtain.
図6に図示されているように、上述のズームアウト効果のための修正フレーム602a’及び602a”の構成は、要素608a,608b,608c及び608dが、修正フレーム602a’において修正フレーム602a”に対して右に水平方向にオフセットするという結果となり得る。更に、要素608a,608b,608c及び608dは、修正フレーム602a’において修正フレーム602a”に対して垂直方向のオフセットをほとんど又は全く有し得ない。 As shown in FIG. 6, the configuration of the correction frames 602a ′ and 602a ″ for the zoom out effect described above is such that the elements 608a, 608b, 608c and 608d are relative to the correction frame 602a ″ in the correction frame 602a ′. Result in a horizontal offset to the right. Furthermore, elements 608a, 608b, 608c and 608d may have little or no offset in the correction frame 602a 'perpendicular to the correction frame 602a ".
立体視ビデオ603の左目ビューフレーム610及び右目ビューフレーム612は、平面視ビデオ601のビューフレーム602aに関連し得るのであるが、ズームアウトカメラ効果並びに修正ビューフレーム602a’及び602a”に基づいて生成され得る。例えば、ズームアウトカメラ効果のため、修正フレーム602a’は左目ビューフレーム610として指定され得、修正フレーム602a”は右目ビューフレーム612として指定され得る。よって、立体視ビデオ603の左目ビューフレーム610及び右目ビューフレーム612は、ズームアウトカメラ効果並びに修正フレーム602a’及び602a”に少なくとも部分的に基づいて生成され得る。修正フレーム602a’及び602a”は、フレーム602aと602bとの間の要素608a,608b,608c及び608dの動きに関連し得る。 The left-eye view frame 610 and the right-eye view frame 612 of the stereoscopic video 603 may be related to the view frame 602a of the stereoscopic video 601 but are generated based on the zoom-out camera effect and the modified view frames 602a ′ and 602a ″. For example, for zoom-out camera effects, the modified frame 602a ′ may be designated as the left eye view frame 610 and the modified frame 602a ″ may be designated as the right eye view frame 612. Thus, the left eye view frame 610 and the right eye view frame 612 of the stereoscopic video 603 may be generated based at least in part on the zoom-out camera effect and the modified frames 602a ′ and 602a ″. The modified frames 602a ′ and 602a ″ are It may be related to the movement of elements 608a, 608b, 608c and 608d between frames 602a and 602b.
明示的に説明されたもの以外の修正、追加、又は省略が、立体視ビデオ603の生成に対して行われ得る。例えば、平面視ビデオ601の他のフレーム602に関連する左目及び右目ビューフレーム(例えば、フレーム602bに関連する左目及び右目ビューフレーム)は、同様に生成され得る。更に、いくつかの実施形態において、左目及び右目ビューフレームは、それぞれのシーンの最後、又は最後に近いフレームであり得るフレーム602に対して、フレーム602に関連する修正フレームがフレーム602及び図3に関して上述されたようなやり方で生成される関連する推測フレームに基づいて生成され得るように、生成され得る。 Modifications, additions, or omissions other than those explicitly described may be made for the generation of the stereoscopic video 603. For example, left eye and right eye view frames associated with other frames 602 of planar video 601 (eg, left eye and right eye view frames associated with frame 602b) may be generated as well. Further, in some embodiments, the left-eye and right-eye view frames are frames 602 that may be the last frame or the last frame of each scene, while the modified frame associated with frame 602 is related to frame 602 and FIG. It can be generated such that it can be generated based on an associated guess frame generated in the manner as described above.
図7は、本開示のいくつかの実施形態による、平面視ビデオ701のフレーム702a及びフレーム702bに関連するズームインカメラ効果の左目ビューフレーム710及び右目ビューフレーム712の生成を図示する、例としてのブロック図700を示す。フレーム702a及び702bは、それぞれがフレーム702a及びフレーム702bの両方に含まれ得る1つ以上の要素708を含み得る。例えば、図示されている実施形態において、フレーム702a及び702bのそれぞれが、要素708a,708b,708c及び708dを含み得る。 FIG. 7 is an example block illustrating the generation of a left-eye view frame 710 and a right-eye view frame 712 for a zoom-in camera effect associated with frames 702a and 702b of a planar video 701, according to some embodiments of the present disclosure. A diagram 700 is shown. Frames 702a and 702b can include one or more elements 708, each of which can be included in both frame 702a and frame 702b. For example, in the illustrated embodiment, each of the frames 702a and 702b can include elements 708a, 708b, 708c, and 708d.
カメラがズームインするとき、カメラによって生成されるフレーム内の要素は、1つのフレームからもう1つのフレームへ、フレームによってキャプチャされた場面の中心から離れるように動き得る。例えば、図7に示されているように、フレーム702a及び702bは、フレーム702a及び702b内の要素708a,708b,708c及び708dが、フレーム702aからフレーム702bへ、フレーム702a及び702bによってキャプチャされた場面の中央から離れるように動くように、ズームインカメラ効果に関連し得る。ズームインカメラ効果は、実際のカメラのズームイン、又はズームインのシミュレーションに基づいて、生成され得る。 When the camera zooms in, the elements in the frame generated by the camera can move from one frame to another and away from the center of the scene captured by the frame. For example, as shown in FIG. 7, frames 702a and 702b are captured by frames 702a and 702b from elements 708a, 708b, 708c and 708d in frames 702a and 702b from frame 702a to frame 702b. It can be related to the zoom in camera effect to move away from the center of the camera. The zoom-in camera effect can be generated based on actual camera zoom-in or a zoom-in simulation.
図4−6に関して上で論じられたように、右へのパン効果、左へのパン効果、又はズームアウトカメラ効果が存在するかどうかを求めるのと同様に、立体視ビデオモジュールは、要素708a,708b,708c及び708dのような、フレーム702a及び702bのさまざまな区域(例えば、右上、左上、右下、及び左下区域)に位置する要素の、フレーム702aと702bとの間の動きを分析することに基づいて、ズームインカメラ効果がフレーム702aと702bとの間に存在するかどうかを求めるように構成され得る。いくつかの実施形態において、立体視ビデオモジュールは、要素に対応し得るフレーム702a及び702bのピクセルに関連する動きを分析することによって、その要素の動きを分析し得る。これらの又は他の実施形態において、立体視ビデオモジュールは、フレーム702aとフレーム702bとの間の要素の動きを求めるために、フレーム702a及び702bの各ピクセルに関連する動きを分析し得る。もしフレーム702a及び702bのさまざまな区域に位置する要素(又は、いくつかの実施形態においてはピクセル)に関連する動きが、フレーム702a及び702bによってキャプチャされた場面の中心から実質的に離れるように動くなら、立体視ビデオモジュールは、カメラ効果はズームインカメラ効果である、ということを求め得る。 As discussed above with respect to FIGS. 4-6, similar to determining whether there is a right panning effect, a left panning effect, or a zoom-out camera effect, the stereoscopic video module performs the element 708a. , 708b, 708c and 708d, for example, to analyze the motion between the frames 702a and 702b of elements located in various areas of the frames 702a and 702b (eg, upper right, upper left, lower right and lower left areas). Based on that, it may be configured to determine if a zoom-in camera effect exists between frames 702a and 702b. In some embodiments, the stereoscopic video module may analyze the motion of the element by analyzing the motion associated with the pixels in frames 702a and 702b that may correspond to the element. In these or other embodiments, the stereoscopic video module may analyze the motion associated with each pixel in frames 702a and 702b to determine the motion of the elements between frames 702a and 702b. If the motion associated with elements (or pixels in some embodiments) located in various areas of frames 702a and 702b moves substantially away from the center of the scene captured by frames 702a and 702b If so, the stereoscopic video module may require that the camera effect is a zoom-in camera effect.
立体視ビデオモジュールは、求められたズームインカメラ効果及びそれに関連する動きに基づいて、フレーム702aに関連する修正フレーム702a’及び修正フレーム702a”を生成し得る。例えば、ズームインカメラ効果は、フレーム702a及び702bのそれぞれの左側714a及び714bに含まれる要素(例えば、要素708a及び708c)が、フレーム702aからフレーム702bへ、右から左へ実質的に同じ程度動くという結果となり得る。更に、ズームインカメラ効果は、フレーム702a及び702bのそれぞれの右側716a及び716bに含まれる要素(例えば、要素708b及び708d)が、フレーム702aからフレーム702bへ、左から右へ実質的に同じ程度動くという結果となり得る。 The stereoscopic video module may generate a modified frame 702a ′ and a modified frame 702a ″ associated with the frame 702a based on the determined zoom-in camera effect and associated motion. For example, the zoom-in camera effect may include the frames 702a and 702a. The elements contained in each left side 714a and 714b of 702b (eg, elements 708a and 708c) may result in substantially the same amount of movement from frame 702a to frame 702b, from right to left. , Elements included in the respective right side 716a and 716b of frames 702a and 702b (eg, elements 708b and 708d) may result in substantially the same movement from frame 702a to frame 702b and from left to right.
いくつかの実施形態において、立体視ビデオモジュールは、フレーム702a及び702bのそれぞれの左側714aと714bとの間の、要素の水平方向のオフセットに基づいて、修正フレーム702a’の左側714cを生成し得る。更に、立体視ビデオモジュールは、左側714cの生成中は、左側714aと714bとの間の、要素のいかなる垂直方向のオフセットをも無視し得る。例えば、要素708a及び708cは、修正フレーム702a’の左側714cにおいて、フレーム702bの左側714bにおけるのと実質的に同一の水平方向の位置を有し得る。しかし、要素708a及び708cは、修正フレーム702a’の左側714cにおいて、フレーム702aの左側714aにおけるのと実質的に同一の垂直方向の位置を有し得る。 In some embodiments, the stereoscopic video module may generate the left side 714c of the modified frame 702a ′ based on the horizontal offset of the elements between the left side 714a and 714b of each of the frames 702a and 702b. . In addition, the stereoscopic video module may ignore any vertical offset of elements between the left side 714a and 714b during the generation of the left side 714c. For example, elements 708a and 708c may have substantially the same horizontal position on left side 714c of modified frame 702a 'as on left side 714b of frame 702b. However, the elements 708a and 708c may have substantially the same vertical position on the left side 714c of the modified frame 702a 'as on the left side 714a of the frame 702a.
更に、立体視ビデオモジュールは、右側716cが右側716aに実質的に類似し得るように、フレーム702aの右側716aに含まれる要素の水平方向及び垂直方向の両方の位置に基づいて、修正フレーム702a’の右側716cを生成し得る。例えば、要素708b及び708dは、修正フレーム702a’の右側716cにおいて、フレーム702aの右側716aにおけるのと実質的に同一の水平方向及び垂直方向の位置を有し得る。 Further, the stereoscopic video module may modify the modified frame 702a ′ based on both the horizontal and vertical positions of the elements included in the right side 716a of the frame 702a such that the right side 716c may be substantially similar to the right side 716a. Of the right side 716c. For example, the elements 708b and 708d may have substantially the same horizontal and vertical positions on the right side 716c of the correction frame 702a 'as on the right side 716a of the frame 702a.
立体視ビデオモジュールは、フレーム702a及び702bのそれぞれの右側716aと716bとの間の、要素の水平方向のオフセットに基づいて、修正フレーム702a”の右側716dを生成し得る。更に、立体視ビデオモジュールは、右側716dの生成中は、右側716aと716bとの間の、要素のいかなる垂直方向のオフセットをも無視し得る。例えば、要素708b及び708dは、修正フレーム702a”の右側716dにおいて、フレーム702bの右側716bにおけるのと実質的に同一の水平方向の位置を有し得る。しかし、要素708b及び708dは、修正フレーム702a”の右側716dにおいて、フレーム702aの右側716aにおけるのと実質的に同一の垂直方向の位置を有し得る。 The stereoscopic video module may generate the right side 716d of the modified frame 702a "based on the horizontal offset of the elements between the right side 716a and 716b of each of the frames 702a and 702b. Further, the stereoscopic video module. Can ignore any vertical offset of the elements between the right side 716a and 716b during the generation of the right side 716d. For example, the elements 708b and 708d are the frame 702b at the right side 716d of the modified frame 702a ″. May have substantially the same horizontal position as on the right side 716b. However, the elements 708b and 708d may have substantially the same vertical position on the right side 716d of the modified frame 702a "as on the right side 716a of the frame 702a.
更に、立体視ビデオモジュールは、左側714dが左側714aに実質的に類似し得るように、フレーム702aの左側714aに含まれる要素の水平方向及び垂直方向の両方の位置に基づいて、修正フレーム702a”の左側714dを生成し得る。例えば、要素708a及び708cは、修正フレーム702a”の左側714dにおいて、フレーム702aの左側714aにおけるのと実質的に同一の水平方向及び垂直方向の位置を有し得る。 Further, the stereoscopic video module may modify the modified frame 702a "based on both the horizontal and vertical positions of the elements included in the left side 714a of the frame 702a so that the left side 714d may be substantially similar to the left side 714a. For example, elements 708a and 708c may have substantially the same horizontal and vertical positions on left side 714d of modified frame 702a ″ as on left side 714a of frame 702a.
図7に図示されているように、上述のズームイン効果のための修正フレーム702a’及び702a”の構成は、要素708a,708b,708c及び708dが、修正フレーム702a’において修正フレーム702a”に対して左に水平方向にオフセットするという結果となり得る。更に、要素708a,708b,708c及び708dは、修正フレーム702a’において修正フレーム702a”に対して垂直方向のオフセットをほとんど又は全く有し得ない。 As shown in FIG. 7, the configuration of modified frames 702a ′ and 702a ″ for the zoom-in effect described above is such that elements 708a, 708b, 708c and 708d are relative to modified frame 702a ″ in modified frame 702a ′. This can result in a horizontal offset to the left. Further, elements 708a, 708b, 708c and 708d may have little or no offset in the correction frame 702a 'perpendicular to the correction frame 702a ".
立体視ビデオ703の左目ビューフレーム710及び右目ビューフレーム712は、平面視ビデオ701のビューフレーム702aに関連し得るのであるが、ズームインカメラ効果並びに修正ビューフレーム702a’及び702a”に基づいて生成され得る。例えば、ズームインカメラ効果のため、修正フレーム702a”は左目ビューフレーム710として指定され得、修正フレーム702a’は右目ビューフレーム712として指定され得る。よって、立体視ビデオ703の左目ビューフレーム710及び右目ビューフレーム712は、ズームインカメラ効果並びに修正フレーム702a’及び702a”に少なくとも部分的に基づいて生成され得る。修正フレーム702a’及び702a”は、フレーム702aと702bとの間の要素708a,708b,708c及び708dの動きに関連し得る。 The left-eye view frame 710 and the right-eye view frame 712 of the stereoscopic video 703 can be related to the view frame 702a of the stereoscopic video 701, but can be generated based on the zoom-in camera effect and the modified view frames 702a ′ and 702a ″. For example, for the zoom-in camera effect, the modified frame 702a ″ may be designated as the left eye view frame 710 and the modified frame 702a ′ may be designated as the right eye view frame 712. Thus, the left-eye view frame 710 and the right-eye view frame 712 of the stereoscopic video 703 can be generated based at least in part on the zoom-in camera effect and the modified frames 702a ′ and 702a ″. The modified frames 702a ′ and 702a ″ are frames. It may relate to the movement of elements 708a, 708b, 708c and 708d between 702a and 702b.
明示的に説明されたもの以外の修正、追加、又は省略が、立体視ビデオ703の生成に対して行われ得る。例えば、平面視ビデオ701の他のフレーム702に関連する左目及び右目ビューフレーム(例えば、フレーム702bに関連する左目及び右目ビューフレーム)は、同様に生成され得る。更に、いくつかの実施形態において、左目及び右目ビューフレームは、それぞれのシーンの最後、又は最後に近いフレームであり得るフレーム702に対して、フレーム702に関連する修正フレームがフレーム702及び図3に関して上述されたようなやり方で生成される対応する推測フレームに基づいて生成され得るように、生成され得る。 Modifications, additions, or omissions other than those explicitly described may be made for the generation of the stereoscopic video 703. For example, left eye and right eye view frames associated with other frames 702 of planar video 701 (eg, left eye and right eye view frames associated with frame 702b) may be similarly generated. Further, in some embodiments, the left-eye and right-eye view frames are frames 702 that can be the last or close frames of the respective scene, while the modified frame associated with frame 702 is related to frames 702 and It can be generated such that it can be generated based on the corresponding guess frame generated in the manner as described above.
図1に戻り、立体視ビデオモジュール104は、よって、図4−7に関して上述されたようなパン又はズーム効果に基づいて、立体視ビデオ103用の左目及び右目ビューフレームを生成するように構成され得る。しかし、いくつかの例において、カメラ効果はパン又はズーム効果とは異なるものであり得る。例えば、カメラ効果は、回転カメラ効果又は静止カメラ効果であり得る。そのような場合、立体視ビデオモジュール104は、カメラ効果がパン又はズーム効果ではないということを求め得、このことに従って左目及び右目ビューフレームを生成し得る。これらの実施形態のいくつかにおいて、立体視ビデオモジュール104は、カメラ効果がパン又はズーム効果ではないということを求めたことに基づいて、かつ、平面視ビデオ101のフレームに関連する前景及び/又は背景の動きに基づいて、左目ビューフレーム及び右目ビューフレームを生成し得る。 Returning to FIG. 1, the stereoscopic video module 104 is thus configured to generate left and right eye view frames for the stereoscopic video 103 based on the pan or zoom effect as described above with respect to FIGS. 4-7. obtain. However, in some examples, the camera effect may be different from the pan or zoom effect. For example, the camera effect can be a rotating camera effect or a stationary camera effect. In such a case, the stereoscopic video module 104 may determine that the camera effect is not a pan or zoom effect, and may generate left and right eye view frames accordingly. In some of these embodiments, the stereoscopic video module 104 is based on determining that the camera effect is not a pan or zoom effect and foreground and / or associated with a frame of the stereoscopic video 101. A left eye view frame and a right eye view frame may be generated based on the background motion.
したがって、いくつかの実施形態において、立体視ビデオモジュール104は、立体視ビデオモジュールが前景及び/又は背景に関連する動きを分析し得るように、平面視ビデオ101に関連する前景及び背景のうちの少なくとも1つを求めるように構成され得る。これらの実施形態のいくつかにおいて、立体視ビデオモジュール104は、平面視ビデオ101のフレームに基づいて、前景及び/又は背景を求めるために、平面視ビデオ101のフレームに関連する、動きが最も速い要素、動きが遅い要素、及び/又は支配的な要素を求めるように構成され得る。 Accordingly, in some embodiments, the stereoscopic video module 104 may include the foreground and background associated with the stereoscopic video 101 such that the stereoscopic video module may analyze motion associated with the foreground and / or background. It may be configured to determine at least one. In some of these embodiments, the stereoscopic video module 104 has the fastest motion associated with the frame of the stereoscopic video 101 to determine the foreground and / or background based on the frame of the stereoscopic video 101. It may be configured to seek elements, slow moving elements, and / or dominant elements.
図8は、本開示のいくつかの実施形態による、平面視ビデオ801の、例としてのフレーム802a及び802bを示し、フレーム802a及び802bは動きが最も速い要素820、動きが遅い要素822、及び支配的な要素824を含む。平面視ビデオ801は、図1の平面視ビデオ101に実質的に類似し得る。図示される実施形態において、フレーム802a及び802bは、平面視ビデオ801の同一のシーンに関連し得、フレーム802bはフレーム802aの後続フレームであり得る。図1の立体視ビデオモジュール104のような立体視ビデオモジュールは、動きが最も速い要素820、動きが遅い要素822、及び/又は支配的な要素824を特定するように構成され得る。 FIG. 8 shows exemplary frames 802a and 802b of a planar video 801 according to some embodiments of the present disclosure, where the frames 802a and 802b are the fastest moving element 820, the slow moving element 822, and the dominant. A typical element 824. The planar video 801 may be substantially similar to the planar video 101 of FIG. In the illustrated embodiment, frames 802a and 802b may be associated with the same scene of planar video 801, and frame 802b may be a successor frame of frame 802a. A stereoscopic video module, such as the stereoscopic video module 104 of FIG. 1, may be configured to identify the fastest moving element 820, the slow moving element 822, and / or the dominant element 824.
立体視ビデオモジュールは、動きが最も速い要素820、動きが遅い要素822、及び/又は支配的な要素824を求めるためにフレーム802a及び802bを分析し得る。例えば、立体視ビデオモジュールは、動きが最も速い要素820及び動きが遅い要素822を特定するために、フレーム802aに対するフレーム802bにおける要素の変位を分析し得る。動きが速い要素は、フレーム802aからフレーム802bへ、動きが遅い要素より長い距離を動き得る。よって、立体視ビデオモジュールは、フレーム802aからフレーム802bへ、要素の変位を分析し得、変位の量が最大の要素は、動きが最も速い要素であると求められ得る。 The stereoscopic video module may analyze frames 802a and 802b to determine the fastest moving element 820, slow moving element 822, and / or dominant element 824. For example, the stereoscopic video module may analyze the displacement of elements in frame 802b relative to frame 802a to identify the fastest moving element 820 and slow moving element 822. A fast moving element can move from frame 802a to frame 802b a longer distance than a slow moving element. Thus, the stereoscopic video module can analyze the displacement of the element from frame 802a to frame 802b, and the element with the greatest amount of displacement can be determined to be the element with the fastest movement.
図示される実施形態において、動きが最も速い要素820は、立体視ビデオモジュールが、動きが最も速い要素820をフレーム802aからフレーム802bへの動きが最も速い要素として特定し得るように、フレーム802aからフレーム802bへの最大の変位を有し得る。更に、図8に示されているように、動きが遅い要素822も、フレーム802aとフレーム802bとの間で動き得るが、動きが最も速い要素820より程度が小さい。したがって、立体視ビデオモジュールは、動きが遅い要素822を、動きが最も速い要素820より動きが遅い要素として特定し得る。 In the illustrated embodiment, the fastest moving element 820 is from the frame 802a so that the stereoscopic video module can identify the fastest moving element 820 as the fastest moving element from frame 802a to frame 802b. There may be a maximum displacement into the frame 802b. Furthermore, as shown in FIG. 8, the slow moving element 822 can also move between the frames 802a and 802b, but to a lesser extent than the fastest moving element 820. Accordingly, the stereoscopic video module may identify the slow moving element 822 as the slower moving element than the fastest moving element 820.
更に、立体視ビデオモジュールは、支配的な要素824がフレーム802a及び802b内で支配的な要素であることを求めるように構成され得る。いくつかの実施形態において、立体視ビデオモジュールは、特定の要素に関連するピクセルの数が求められ得るように、フレーム802a及び802bに関連するピクセルの分析に基づいて、フレーム802a及び802b内の要素を特定し得る。したがって、いくつかの実施形態において、立体視ビデオモジュールは、支配的な要素824がフレーム802a及び802bに含まれる他の要素より実質的により多数のピクセルに関連しているということに基づいて、支配的な要素824を特定するように構成され得る。よって、フレーム802a及び802bを分析することによって、立体視ビデオモジュールは、動きが最も速い要素820、動きが遅い要素822、及び支配的な要素824を特定することが可能であり得る。以下で詳述されるように、これらの要素を特定することは、フレーム802a及び802bに関連する前景及び/又は背景を求める際に助けとなり得る。 Further, the stereoscopic video module may be configured to determine that the dominant element 824 is the dominant element in frames 802a and 802b. In some embodiments, the stereoscopic video module can determine whether the number of pixels associated with a particular element can be determined based on an analysis of the pixels associated with frames 802a and 802b. Can be specified. Accordingly, in some embodiments, the stereoscopic video module may control the dominant element 824 based on the fact that the dominant element 824 is associated with substantially more pixels than the other elements included in the frames 802a and 802b. Specific elements 824 may be configured. Thus, by analyzing frames 802a and 802b, the stereoscopic video module may be able to identify the fastest moving element 820, the slow moving element 822, and the dominant element 824. As described in detail below, identifying these elements can help in determining the foreground and / or background associated with frames 802a and 802b.
図8の図示は、単に、動きが最も速い要素、動きが遅い要素、及び支配的な要素の背後の概念を導入するためにある。したがって、本開示の範囲を逸脱することなく、修正、追加、又は省略が、図8に行われ得る。いくつかの実施形態において、動きが最も速い要素820及び動きが遅い要素822のフレーム802aと802bとの間の変位の量は、動きが最も速い要素820及び動きが遅い要素822のスピードにおける差に基づいて異なり得る。例えば、いくつかの例において、動きが最も速い要素820及び動きが遅い要素822のフレーム802aと802bとの間の変位の量が実質的に同一であるように、動きが最も速い要素820及び動きが遅い要素822は実質的に同一のスピードで動き得る。更に、いくつかの実施形態において、支配的な要素824はフレーム802aと802bとの間で動き得るが、他の実施形態において、支配的な要素824は動き得ない。更に、いくつかの例において、フレーム802a及び802bは支配的な要素を含み得ない。また、動きが最も速い要素820、動きが遅い要素822、及び/又は支配的な要素824の動きの方向は、異なり得る。 The illustration in FIG. 8 is merely to introduce the concept behind the fastest, slowest and dominant elements. Accordingly, modifications, additions, or omissions may be made to FIG. 8 without departing from the scope of the present disclosure. In some embodiments, the amount of displacement between the fastest moving element 820 and the slow moving element 822 frames 802a and 802b is the difference in speed between the fastest moving element 820 and the slow moving element 822. Can vary based on. For example, in some examples, the fastest-moving element 820 and the fastest-moving element 820 and the slow-moving element 822 have the fastest-moving element 820 and the moving so that the amount of displacement between the frames 802a and 802b is substantially the same. Slow element 822 can move at substantially the same speed. Further, in some embodiments, dominant element 824 can move between frames 802a and 802b, while in other embodiments, dominant element 824 cannot move. Further, in some examples, frames 802a and 802b may not include dominant elements. Also, the direction of movement of the fastest moving element 820, slow moving element 822, and / or dominant element 824 may be different.
上述のように、シーンの前景及び/又は背景は、そのシーンに関連する動きが最も速い要素、動きが遅い要素、及び/又は支配的な要素に基づいて求められ得る。図9は、本開示のいくつかの実施形態による、シーンに関連する、動きが最も速い要素、動きが遅い要素、及び支配的な要素のうちの少なくとも1つに基づいて、そのシーンの前景及び/又は背景を求める例としての方法900のフローチャートである。方法900は、いくつかの実施形態において、図1の立体視ビデオモジュール104のような、立体視ビデオモジュールによって実現され得る。例えば、立体視ビデオモジュール104は、方法900の1つ以上のブロックによって表されているような、前景及び/又は背景を求めるための動作を実行するためのコンピュータ命令を実行するように構成され得る。分離したブロックとして図示されているが、所望の実装に応じて、さまざまなブロックが、更なるブロックに分離され、より少ない数のブロックに結合され、又は削除され得る。 As described above, the foreground and / or background of a scene may be determined based on the fastest, slowest, and / or dominant factors associated with the scene. FIG. 9 illustrates the foreground of a scene based on at least one of the fastest, slowest, and dominant elements associated with the scene, according to some embodiments of the present disclosure. 10 is a flowchart of an example method 900 for determining a background. The method 900 may be implemented in some embodiments by a stereoscopic video module, such as the stereoscopic video module 104 of FIG. For example, the stereoscopic video module 104 may be configured to execute computer instructions to perform operations for determining the foreground and / or background, as represented by one or more blocks of the method 900. . Although illustrated as separate blocks, depending on the desired implementation, various blocks may be separated into further blocks, combined into a smaller number of blocks, or deleted.
第1フレームと第2フレームとの間の要素及び/又はピクセルの動きが求められ得るブロック902において、方法900は開始し得る。ブロック904において、全ての要素及び/又はピクセルが実質的に同じ向きに動いているかどうかが求められ得る。もし全ての要素及び/又はピクセルが実質的に同じ向きに動いていれば、方法900はブロック906に進み得る。もし全ての要素及び/又はピクセルが実質的に同じ向きに動いていなければ、方法900はブロック914に進み得る。 The method 900 may begin at block 902 where element and / or pixel motion between the first frame and the second frame may be determined. At block 904, it can be determined whether all elements and / or pixels are moving in substantially the same orientation. If all elements and / or pixels are moving in substantially the same direction, the method 900 may proceed to block 906. If all elements and / or pixels are not moving in substantially the same direction, the method 900 may proceed to block 914.
ブロック906において、第1フレームと第2フレームとに関連する動きが最も速い要素と動きが遅い要素とが求められ得る。図8のフレーム802aと802bとの間の動きが最も速い要素820及び動きが遅い要素822に関して上述されたように、いくつかの実施形態において、動きが最も速い要素及び動きが遅い要素は、第1フレームに対する第2フレームにおける要素の変位に基づいて求められ得る。 At block 906, the fastest and slowest motion elements associated with the first and second frames may be determined. As described above with respect to the fastest moving element 820 and slow moving element 822 between frames 802a and 802b of FIG. 8, in some embodiments, the fastest moving element and the slow moving element are It can be determined based on the displacement of the element in the second frame relative to one frame.
ブロック908において、動きが最も速い要素と動きが遅い要素との間に大きな速度差があるかどうかが求められ得る。もし大きな速度差があるなら、方法900はブロック910に進み得る。もし大きな速度差がないなら、方法900はブロック912に進み得る。いくつかの実施形態において、速度差は、第1フレームから第2フレームへの、動きが最も速い要素と動きが遅い要素とのオフセットの差を測定することによって求められ得る。更に、いくつかの実施形態において、速度差(例えばオフセットにおける差)は閾値と比較され得、もし速度差が閾値より大きいなら、方法900はブロック910に進み得るし、もし速度差が閾値より小さいなら、方法900はブロック912に進み得る。いくつかの例において、閾値は映画のタイプによって変動し得る。例えば、閾値は、アクション映画に対してはドラマより高い値であり得る。 At block 908, it may be determined whether there is a large speed difference between the fastest moving element and the slow moving element. If there is a large speed difference, the method 900 may proceed to block 910. If there is no significant speed difference, the method 900 may proceed to block 912. In some embodiments, the speed difference may be determined by measuring the offset difference between the fastest and slowest moving elements from the first frame to the second frame. Further, in some embodiments, the speed difference (eg, the difference in offset) can be compared to a threshold, and if the speed difference is greater than the threshold, method 900 can proceed to block 910 and the speed difference is less than the threshold. If so, the method 900 may proceed to block 912. In some examples, the threshold may vary depending on the type of movie. For example, the threshold may be higher than the drama for action movies.
ブロック910において、動きが最も速い要素と動きが遅い要素との間の速度差が実質的に十分に大きい(例えば閾値より大きい)ので、動きが最も速い要素が前景にあると見なされ得るように、前景が、動きが最も速い要素と関連付けられ得る。ブロック912において、動きが最も速い要素と動きが遅い要素との間の速度差が実質的に十分に大きくない(例えば閾値より小さい)ので、背景が第1フレーム及び第2フレームと関連するシーン全体と関連付けられ得る。したがって、ブロック912において、第1フレーム及び第2フレームと関連するシーン全体は、背景にあると見なされ得る。 At block 910, the speed difference between the fastest and slow moving elements is substantially large enough (eg, greater than a threshold) so that the fastest moving element can be considered in the foreground. The foreground can be associated with the fastest moving element. In block 912, because the speed difference between the fastest and slowest moving elements is not substantially large enough (eg, less than a threshold), the entire scene with the background associated with the first and second frames Can be associated with Accordingly, at block 912, the entire scene associated with the first frame and the second frame can be considered to be in the background.
ブロック904に戻り、上述のように、もし全ての要素及び/又はピクセルの動きが同じでなければ、方法900はブロック914に進み得る。ブロック914において、支配的な要素が第1及び第2フレームに関連するシーンに存在するかどうかが求められ得る。いくつかの実施形態において、支配的な要素が存在するか否かを求めることは、図8の支配的要素824に関して上述されたように、各要素に関連するピクセルの数に基づいて求められ得る。もし支配的要素が存在するなら、方法900はブロック916に進み得る。もし支配的要素が存在しないなら、方法900はブロック922に進み得る。 Returning to block 904, as described above, the method 900 may proceed to block 914 if not all elements and / or pixels have the same motion. At block 914, it may be determined whether a dominant element is present in the scene associated with the first and second frames. In some embodiments, determining whether there are dominant elements may be determined based on the number of pixels associated with each element, as described above with respect to dominant element 824 in FIG. . If a dominant element is present, method 900 may proceed to block 916. If there is no dominant element, method 900 may proceed to block 922.
ブロック916において、ブロック914で求められた支配的要素が第1及び第2フレームに関連するシーンの実質的に中央にあるか否かが求められ得る。もし支配的要素が実質的に中央にあるなら、方法900はブロック918に進み得る。もし支配的要素が実質的に中央にないなら、方法900はブロック920に進み得る。 At block 916, it may be determined whether the dominant element determined at block 914 is substantially in the middle of the scene associated with the first and second frames. If the dominant element is substantially centered, the method 900 may proceed to block 918. If the dominant element is not substantially centered, the method 900 may proceed to block 920.
ブロック918において、支配的要素がシーンの実質的に中央にあるので、支配的要素が前景と見なされ得るように、前景が支配的要素と関連付けられ得る。ブロック920において、支配的要素がシーンの実質的に中央にないので、支配的要素が背景と見なされ得るように、背景が支配的要素と関連付けられ得る。 At block 918, the foreground may be associated with the dominant element so that the dominant element may be considered the foreground because the dominant element is substantially in the middle of the scene. At block 920, the background can be associated with the dominant element so that the dominant element can be considered the background because the dominant element is not substantially in the middle of the scene.
ブロック914に戻り、もし支配的要素が存在しないということが明らかになると、上述のように、方法900はブロック922に進み得る。ブロック922において、ブロック906で行われたのと同様に、第1フレームと第2フレームとに関連する動きが最も速い要素と動きが遅い要素とが求められ得る。ブロック924において、ブロック908で行われたのと同様に、動きが最も速い要素と動きが遅い要素との間に大きな速度差があるかどうかが求められ得る。もし大きな速度差があるなら、方法900はブロック926に進み得る。もし大きな速度差がないなら、方法900はブロック928に進み得る。 Returning to block 914, if it becomes apparent that no dominant element is present, the method 900 may proceed to block 922, as described above. At block 922, the fastest and slowest motion elements associated with the first and second frames may be determined, similar to what was done at block 906. At block 924, it can be determined whether there is a large speed difference between the fastest and slowest moving elements, as was done at block 908. If there is a large speed difference, the method 900 may proceed to block 926. If there is no significant speed difference, the method 900 may proceed to block 928.
ブロック926において、動きが最も速い要素と動きが遅い要素との間の速度差が実質的に十分に大きいので、動きが最も速い要素が前景にあると見なされ得るように、前景が、動きが最も速い要素と関連付けられ得る。ブロック928において、動きが最も速い要素と動きが遅い要素との間の速度差が実質的に十分に大きくないので、背景又は前景が第1フレーム及び第2フレームと関連するシーン全体と関連付けられ得る。したがって、ブロック928において、第1フレーム及び第2フレームと関連するシーン全体は、背景又は前景にあると見なされ得る。 At block 926, the foreground is Can be associated with the fastest element. At block 928, the background or foreground may be associated with the entire scene associated with the first frame and the second frame because the speed difference between the fastest and slowest motion elements is not substantially large enough. . Accordingly, at block 928, the entire scene associated with the first frame and the second frame may be considered to be in the background or foreground.
したがって、方法900は、シーンの背景及び/又は前景を求めるために用いられ得る。当業者には、ここに開示されたさまざまな処理及び方法に関して、その処理及び方法において行われる機能は異なる順序で実行され得る、ということがわかるであろう。更に、概説されたステップ及び動作は、例として提供されているのみであって、ステップ及び動作のいくつかは、開示された実施形態の本質を損ねることなく、オプションであり、より少ないステップ及び動作に結合され、又は、更なるステップ及び動作に拡張され得る。 Accordingly, the method 900 can be used to determine the background and / or foreground of the scene. Those skilled in the art will appreciate that for the various processes and methods disclosed herein, the functions performed in the processes and methods can be performed in different orders. Further, the outlined steps and operations are provided as examples only, and some of the steps and operations are optional and do not detract from the nature of the disclosed embodiments. Or can be extended to further steps and operations.
図1に戻り、上述のように、カメラ効果がパン又はズーム効果ではないと立体視ビデオモジュール104が判定し得る実施形態においては、立体視ビデオモジュール104は、平面視ビデオ101のフレームに関連する前景及び/又は背景の動きに基づいて、左目ビューフレーム及び右目ビューフレームを生成し得る。 Returning to FIG. 1, in embodiments where the stereoscopic video module 104 may determine that the camera effect is not a pan or zoom effect, as described above, the stereoscopic video module 104 is associated with a frame of the stereoscopic video 101. A left eye view frame and a right eye view frame may be generated based on foreground and / or background motion.
図10は、ここで説明されるいくつかの実施形態による、平面視ビデオ1001に関連する前景及び/又は背景の動きに基づく、平面視ビデオ1001からの立体視ビデオ1003の左目ビューフレーム1010及び右目ビューフレーム1012の生成のための、例としてのブロック図1000を示す。左目ビューフレーム1010及び右目ビューフレーム1012は、図1の立体視ビデオモジュール104のような立体視ビデオモジュールによって生成され得る。立体視ビデオ1003の左目ビューフレーム1010及び右目ビューフレーム1012は、平面視ビデオ1001のフレーム1002aに対応し得、フレーム1002a及びその関連する修正フレーム1002a’に基づいて生成され得る。図示される実施形態において、修正フレーム1002a’は、図2に関して上述されたようなやり方でフレーム1002aと1002bとの間の動きに基づいて生成され得るが、他の実施形態においては、修正フレーム1002a’は、図3に関して上述されたようなやり方で推測フレームを用いて生成され得る。 FIG. 10 illustrates a left-eye view frame 1010 and a right eye of a stereoscopic video 1003 from a stereoscopic video 1001 based on foreground and / or background motion associated with the stereoscopic video 1001, according to some embodiments described herein. An example block diagram 1000 for the generation of a view frame 1012 is shown. The left eye view frame 1010 and the right eye view frame 1012 may be generated by a stereoscopic video module, such as the stereoscopic video module 104 of FIG. The left-eye view frame 1010 and the right-eye view frame 1012 of the stereoscopic video 1003 may correspond to the frame 1002a of the stereoscopic video 1001, and may be generated based on the frame 1002a and its associated modified frame 1002a '. In the illustrated embodiment, the modified frame 1002a ′ can be generated based on movement between the frames 1002a and 1002b in the manner described above with respect to FIG. 2, but in other embodiments, the modified frame 1002a. 'May be generated using a guess frame in the manner described above with respect to FIG.
図示される実施形態において、立体視ビデオモジュールは、フレーム1002a及び1002bに関連するカメラ効果はパン又はズーム効果ではないということを求めたことに基づいて、かつ、フレーム1002a及び1002bに関連する前景及び背景の相対的な動きに基づいて(したがって修正フレーム1002a’にも基づいて)、左目ビューフレーム1010及び右目ビューフレーム1012を生成することもし得る。いくつかの実施形態において、立体視ビデオモジュールは、図9に関して上述された方法900を用いて背景及び前景を求め得る。他の実施形態において、背景及び前景は、他のいかなる適切な方法によっても求められ得る。 In the illustrated embodiment, the stereoscopic video module is based on determining that the camera effect associated with frames 1002a and 1002b is not a pan or zoom effect and foreground associated with frames 1002a and 1002b and A left eye view frame 1010 and a right eye view frame 1012 may also be generated based on the relative movement of the background (and thus also based on the modified frame 1002a ′). In some embodiments, the stereoscopic video module may determine the background and foreground using the method 900 described above with respect to FIG. In other embodiments, the background and foreground can be determined by any other suitable method.
例えば、いくつかの例において、フレーム1002aと1002bとの間において前景が景より速く動き得、立体視ビデオモジュールはそのようなことを求め得る。そのような場合、もし前景が右に動いているなら、背景がどの方向に動き得るかとは関係なく、立体視ビデオモジュールは、フレーム1002aを左目ビューフレーム1010として指定し得、修正フレーム1002a’を右目ビューフレーム1012として指定し得る。更に、そのような場合、もし前景が左に動いているなら、背景がどの方向に動き得るかとは関係なく、立体視ビデオモジュールは、修正フレーム1002a’を左目ビューフレーム1010として指定し得、フレーム1002aを右目ビューフレーム1012として指定し得る。 For example, in some examples, the foreground may move faster than the scene between frames 1002a and 1002b, and the stereoscopic video module may require such. In such a case, if the foreground is moving to the right, the stereoscopic video module may designate the frame 1002a as the left-eye view frame 1010, regardless of in which direction the background may move, and the modified frame 1002a ′. It may be designated as the right eye view frame 1012. Further, in such a case, if the foreground is moving to the left, the stereoscopic video module may designate the modified frame 1002a ′ as the left eye view frame 1010, regardless of which direction the background may move. 1002a may be designated as the right eye view frame 1012.
他の場合において、フレーム1002aと1002bとの間において背景が前景より速く動き得、立体視ビデオモジュールはそのようなことを求め得る。そのような場合、もし背景が左に動いているなら、前景がどの方向に動き得るかとは関係なく、立体視ビデオモジュールは、フレーム1002aを左目ビューフレーム1010として指定し得、修正フレーム1002a’を右目ビューフレーム1012として指定し得る。更に、そのような場合、もし背景が右に動いているなら、前景がどの方向に動き得るかとは関係なく、立体視ビデオモジュールは、修正フレーム1002a’を左目ビューフレーム1010として指定し得、フレーム1002aを右目ビューフレーム1012として指定し得る。 In other cases, the background may move faster than the foreground between frames 1002a and 1002b, and the stereoscopic video module may seek such. In such a case, if the background is moving to the left, the stereoscopic video module may designate the frame 1002a as the left-eye view frame 1010, regardless of in which direction the foreground may move, and the modified frame 1002a ′. It may be designated as the right eye view frame 1012. Further, in such a case, if the background is moving to the right, the stereoscopic video module may designate the modified frame 1002a ′ as the left eye view frame 1010 regardless of which direction the foreground may move. 1002a may be designated as the right eye view frame 1012.
したがって、立体視ビデオモジュールは、フレーム1002a及び1002bに関連するカメラ効果がパン又はズーム効果ではないということを求めたことに従って、フレーム1002a及び1002bに関連する背景及び前景の相対的な動きに基づいて(したがって、修正フレーム1002a’にも基づいて)、左目ビューフレーム1010及び右目ビューフレーム1012を生成するように構成され得る。 Accordingly, the stereoscopic video module is based on the relative motion of the background and foreground associated with frames 1002a and 1002b in accordance with the requirement that the camera effect associated with frames 1002a and 1002b is not a pan or zoom effect. It may be configured to generate a left eye view frame 1010 and a right eye view frame 1012 (and thus also based on the modified frame 1002a ′).
本開示の範囲を逸脱することなく、修正、追加、又は省略が、図10に行われ得る。例えば、上述のように、図示される実施形態において、フレーム1002bはフレーム1002aに後続し得、修正フレーム1002a’はフレーム1002aと1002bとの間の動きに基づいて生成され得る。しかし、修正フレームが特定のシーンの最後、又は最後に近いフレームのために生成されているようないくつかの場合において、そのような場合の修正フレームは、図3に関して上述されたような推測フレームに基づいて生成され得る。更に、いくつかの実施形態においては、前景及び背景は図9の方法900に従って検出され、他の実施形態においては、前景及び背景は他の受け入れ可能なやり方で検出され得る。 Modifications, additions, or omissions may be made to FIG. 10 without departing from the scope of the present disclosure. For example, as described above, in the illustrated embodiment, frame 1002b may follow frame 1002a, and modified frame 1002a 'may be generated based on the motion between frames 1002a and 1002b. However, in some cases where a modified frame has been generated for the end of a particular scene or a frame near the end, the modified frame in such a case is a speculative frame as described above with respect to FIG. Can be generated based on Further, in some embodiments, the foreground and background are detected according to the method 900 of FIG. 9, and in other embodiments, the foreground and background can be detected in other acceptable ways.
ここで説明されるいくつかの実施形態によると、立体視ビデオモジュール(例えば、図1の立体視ビデオモジュール104)が、平面視ビデオのフレーム間の動き及び平面視ビデオに関連する求められたカメラ効果に基づいて、立体視ビデオ用の左目及び右目ビューフレームを生成するように構成され得る、ということを、図1−10の上述の説明は示す。図11は、本開示のいくつかの実施形態による、カメラ効果に基づいて平面視ビデオを立体視ビデオに変換する、例としての方法1100のフローチャートである。方法1100は、いくつかの実施形態において、図1の立体視ビデオモジュール104のような立体視ビデオモジュールによって実行され得る。例えば、立体視ビデオモジュール104は、方法1100の1つ以上のブロックによって表されているように、平面視ビデオを立体視ビデオに変換するための動作を行うためのコンピュータ命令を実行するように構成され得る。分離したブロックとして図示されているが、さまざまなブロックが、所望の実装に応じて、更なるブロックに分割、より少ないブロックに結合、又は削除され得る。 According to some embodiments described herein, a stereoscopic video module (e.g., the stereoscopic video module 104 of FIG. 1) is used to determine motion between frames of a stereoscopic video and the associated camera for the stereoscopic video. The above description of FIGS. 1-10 shows that based on the effect, it can be configured to generate left and right eye view frames for stereoscopic video. FIG. 11 is a flowchart of an example method 1100 for converting a stereoscopic video to a stereoscopic video based on camera effects according to some embodiments of the present disclosure. The method 1100 may be performed by a stereoscopic video module, such as the stereoscopic video module 104 of FIG. 1, in some embodiments. For example, the stereoscopic video module 104 is configured to execute computer instructions to perform operations for converting a stereoscopic video to a stereoscopic video, as represented by one or more blocks of the method 1100. Can be done. Although illustrated as separate blocks, the various blocks may be divided into further blocks, combined into fewer blocks, or deleted, depending on the desired implementation.
方法1100が開始し得るが、ブロック1102において、平面視ビデオの第1フレームとその平面視ビデオの第2フレームとの間の動きが求められ得る。ブロック1104において、その動きに基づいて修正第1フレームが生成され得る。いくつかの実施形態において、修正第1フレームは、図2に関して与えられた説明に基づいて生成され得る。他の実施形態において、修正第1フレームは、図3に関して説明されたような推測フレームに基づいて生成され得る。 Although the method 1100 may begin, at block 1102, motion between the first frame of the planar video and the second frame of the planar video may be determined. At block 1104, a modified first frame may be generated based on the movement. In some embodiments, the modified first frame may be generated based on the description given with respect to FIG. In other embodiments, the modified first frame may be generated based on a speculative frame as described with respect to FIG.
ブロック1106において、カメラ効果が、動きに基づいて分析され、求められ得る。例えば、カメラ効果は、パン効果、ズーム効果、又はいずれでもないとして求められ得る。ブロック1108において、立体視ビデオの左目ビューフレームが、カメラ効果分析並びに第1フレーム及び修正第1フレームのうちの少なくとも1つに基づいて求められ得る。ブロック1110において、立体視ビデオの右目ビューフレームが、カメラ効果分析並びに第1フレーム及び修正第1フレームのうちの少なくとも1つに基づいて求められ得る。ズーム効果の場合、いくつかの実施形態において、第1フレーム及び第2フレームに基づいて第2の修正第1フレームも生成され得、第1の修正第1フレーム及び第2の修正第1フレームに基づいて左目及び右目ビューフレームが生成され得る。いくつかの実施形態において、図4−10において与えられた説明に従って、左目及び右目ビューフレームが生成され得る。 At block 1106, the camera effect may be analyzed and determined based on the motion. For example, the camera effect may be determined as a pan effect, a zoom effect, or neither. At block 1108, a left-eye view frame of the stereoscopic video may be determined based on the camera effect analysis and at least one of the first frame and the modified first frame. At block 1110, a right-eye view frame of the stereoscopic video may be determined based on the camera effect analysis and at least one of the first frame and the modified first frame. In the case of a zoom effect, in some embodiments, a second modified first frame may also be generated based on the first frame and the second frame, with the first modified first frame and the second modified first frame being Based on this, left and right eye view frames can be generated. In some embodiments, left and right eye view frames may be generated according to the description given in FIGS. 4-10.
よって、方法1100は、平面視ビデオを立体視ビデオに変換するために使用され得る。当業者は、ここに開示されるこの及び他のプロセス及び方法のために、プロセス及び方法において行われる機能は異なる順序で実行され得るということを理解するであろう。更に、概説されたステップ及び動作は、例としてのみ提供されており、ステップ及び動作のいくつかは、開示された実施形態の本質を損なうことなく、オプションであり得、より少ないステップ及び動作に結合され得、又は更なるステップ及び動作に拡張され得る。 Thus, the method 1100 can be used to convert a stereoscopic video to a stereoscopic video. Those skilled in the art will appreciate that for this and other processes and methods disclosed herein, the functions performed in the processes and methods can be performed in different orders. Further, the outlined steps and operations are provided as examples only, and some of the steps and operations may be optional without compromising the essence of the disclosed embodiments and coupled to fewer steps and operations. Can be extended to further steps and operations.
例えば、いくつかの実施形態において、方法1100は、図9及び10に関して上述されたような、今度は立体視ビデオを生成するために使用され得る背景及び/又は前景を求めることに関連するステップを含み得る。他の実施形態において、前景及び背景は、他のやり方で求められ得る、又は入力によって指定され得る。 For example, in some embodiments, the method 1100 includes steps associated with determining a background and / or foreground that can now be used to generate a stereoscopic video, as described above with respect to FIGS. May be included. In other embodiments, the foreground and background may be determined in other ways or specified by input.
図1に戻り、上述のように、立体視ビデオモジュール104は、左目及び右目ビューフレームに含まれる要素の間のオフセットを調節することによって、立体視ビデオ103に関連する深度(depth)の量を調節するようにも構成され得る。上述のように、いくつかの実施形態において、立体視ビデオモジュール104が、観察者によって知覚される、どの要素が場面の前景又は背景内にあり得るのかという知覚を修正し得るように、立体視ビデオモジュール104は、立体視ビデオ103の焦点(focus point)を調節するようにも構成され得る。深度の調節及び焦点の調節は、図12Aから14に関して以下で説明される。 Returning to FIG. 1, as described above, the stereoscopic video module 104 adjusts the offset between the elements contained in the left and right eye view frames to adjust the amount of depth associated with the stereoscopic video 103. It can also be configured to adjust. As described above, in some embodiments, the stereoscopic video module 104 may modify the stereoscopic perception perceived by the viewer as to which elements may be in the foreground or background of the scene. Video module 104 may also be configured to adjust the focus point of stereoscopic video 103. Depth adjustment and focus adjustment are described below with respect to FIGS. 12A-14.
図12Aは、いくつかの実施形態による、左目1202及び右目1204によって知覚され得る、例としての場面1200を示す。場面1200は、近い要素1206、中間要素1208、及び遠い要素1210を含み得る。図示される例において、左目1202及び右目1204は、中間要素1208が左目1202及び右目1204の焦点にあり得るように、中間要素1208に焦点が合わせられ得る。よって、近い要素1206は、左目1202及び右目1204によって知覚される前景内にあり得る。更に、左目1202及び右目1204が中間要素1208に焦点が合わせられているので、遠い要素1210は、左目1202及び右目1204によって知覚される背景内にあり得る。 FIG. 12A illustrates an example scene 1200 that may be perceived by the left eye 1202 and the right eye 1204 according to some embodiments. The scene 1200 can include a near element 1206, an intermediate element 1208, and a far element 1210. In the illustrated example, left eye 1202 and right eye 1204 can be focused on intermediate element 1208 such that intermediate element 1208 can be in the focus of left eye 1202 and right eye 1204. Thus, the near element 1206 can be in the foreground perceived by the left eye 1202 and the right eye 1204. Further, because the left eye 1202 and right eye 1204 are focused on the intermediate element 1208, the distant element 1210 can be in the background perceived by the left eye 1202 and right eye 1204.
図12Bは、ここに開示されるいくつかの実施形態による、場面1200に関連する立体視ビデオの左目ビューフレーム及び右目ビューフレームにおいて、要素1206,1208及び1210の間に見られ得る、例としてのオフセットを示すグリッド1201を図示する。上述のように、要素1206,1208及び1210の間のオフセットは、場面1200について左目1202及び右目1204の異なる視点を模倣し得る。 FIG. 12B is an example that may be seen between elements 1206, 1208, and 1210 in the left and right eye view frames of a stereoscopic video associated with a scene 1200, according to some embodiments disclosed herein. A grid 1201 showing an offset is illustrated. As described above, the offset between elements 1206, 1208, and 1210 may mimic different viewpoints of left eye 1202 and right eye 1204 for scene 1200.
図示される実施形態において、左近要素1206aは、図12Aの左目1202の視点からの図12Aの近い要素1206を表し得、右近要素1206bは、図12Aの右目1204の視点からの図12Aの近い要素1206を表し得る。よって、グリッド1201における右近要素1206bについての左近要素1206aの位置の差は、関連する立体視ビデオの、右目ビューフレームについての左目ビューフレームにおける近い要素1206のオフセットを表し得る。 In the illustrated embodiment, the left near element 1206a may represent the near element 1206 of FIG. 12A from the viewpoint of the left eye 1202 of FIG. 12A, and the right near element 1206b may be the near element of FIG. 12A from the viewpoint of the right eye 1204 of FIG. 1206 may be represented. Thus, the difference in the position of the left near element 1206a for the right near element 1206b in the grid 1201 may represent the offset of the near element 1206 in the left eye view frame for the right eye view frame of the associated stereoscopic video.
図示される実施形態において、左近要素1206aは右にあり得る。なぜなら、図12Aに示されているように、近い要素1206が左目1202に関連する視線1212の右にあり得るからである。更に、右近要素1206bは左にあり得る。なぜなら、近い要素1206が右目1204に関連する視線1214の左にあり得るからである。この現象は、しばしば「ネガティブパララックス」と呼ばれ、2つの目の焦点の前にある物体について発生し、図示される実施形態において焦点は中間要素1208に設定され得る。 In the illustrated embodiment, the left proximate element 1206a can be on the right. This is because the near element 1206 can be to the right of the line of sight 1212 associated with the left eye 1202, as shown in FIG. 12A. Further, the right near element 1206b may be on the left. This is because the near element 1206 can be to the left of the line of sight 1214 associated with the right eye 1204. This phenomenon is often referred to as “negative parallax” and occurs for an object in front of the focus of the second eye, and in the illustrated embodiment the focus can be set to the intermediate element 1208.
グリッド1201の中間要素1208a/bは、図12Aの左目1202及び右目1204の両方の視点からの図12Aの中間要素1208を表し得る。図12Aの図示される実施形態において、左目1202と右目1204との視点の間にオフセットがほとんど又は全くあり得ないように、中間要素1208は左目1202及び右目1204の焦点にあり得る。よって、中間要素1208は、関連する立体視ビデオの右目ビューフレーム及び左目ビューフレームにおいて実質的に同じ位置にあり得る。図12Bの中間要素1208a/bは、したがって、左目1202によって知覚される左中間要素1208aと右目1204によって知覚される右中間要素1208bとのオーバーラップを示す。 Intermediate element 1208a / b of grid 1201 may represent intermediate element 1208 of FIG. 12A from both the left eye 1202 and right eye 1204 viewpoints of FIG. 12A. In the illustrated embodiment of FIG. 12A, the intermediate element 1208 can be at the focus of the left eye 1202 and the right eye 1204 such that there can be little or no offset between the viewpoints of the left eye 1202 and the right eye 1204. Thus, the intermediate element 1208 can be in substantially the same position in the right and left eye view frames of the associated stereoscopic video. The intermediate element 1208a / b in FIG. 12B thus illustrates the overlap of the left intermediate element 1208a perceived by the left eye 1202 and the right intermediate element 1208b perceived by the right eye 1204.
更に、左遠要素1210a及び右遠要素1210bは、それぞれ図12Aの左目1202及び右目1204の視点からの、図12Aの遠い要素1210を表し得る。よって、グリッド1201における右遠要素1210bについての左遠要素1210aの位置の差は、関連する立体視ビデオの、右目ビューフレームについての左目ビューフレームにおける遠い要素1210のオフセットを表し得る。 Further, the far left element 1210a and the far right element 1210b may represent the far element 1210 of FIG. 12A from the viewpoint of the left eye 1202 and right eye 1204 of FIG. 12A, respectively. Thus, the difference in position of the far left element 1210a for the far right element 1210b in the grid 1201 may represent the offset of the far element 1210 in the left eye view frame for the right eye view frame of the associated stereoscopic video.
図示される実施形態において、左遠要素1210aは左にあり得る。なぜなら、図12Aに示されているように、遠い要素1210が左目1202に関連する視線1212の左にあり得るからである。更に、右遠要素1210bは右にあり得る。なぜなら、遠い要素1210が右目1204に関連する視線1214の右にあり得るからである。この現象は、しばしば「ポジティブパララックス」と呼ばれ、2つの目の焦点の背後にある物体について発生し、図示される実施形態において焦点は中間要素1208に設定され得る。 In the illustrated embodiment, the far left element 1210a can be on the left. This is because the distant element 1210 can be to the left of the line of sight 1212 associated with the left eye 1202, as shown in FIG. 12A. Further, the far right element 1210b may be on the right. This is because the distant element 1210 can be to the right of the line of sight 1214 associated with the right eye 1204. This phenomenon is often referred to as “positive parallax” and occurs for objects behind the focus of the second eye, and in the illustrated embodiment, the focus can be set to the intermediate element 1208.
立体視ビデオの深度の量は、左目ビューフレーム及びその関連する右目ビューフレームの対応する要素間のオフセットを調節することによって、調節され得る。例えば、図12Bに関連する立体視ビデオに関連する深度の量は、左近要素1206aと右近要素1206bとの間のオフセットを調節することによって、左中間要素1208aと右中間要素1208bとの間のオフセットを調節することによって、及び/又は、左遠要素1210aと右遠要素1210bとの間のオフセットを調節することによって、調節され得る。本開示のいくつかの実施形態において、深度は、要素間のオフセットに一律の乗算係数を適用することによって、調節され得る。 The amount of stereoscopic video depth can be adjusted by adjusting the offset between corresponding elements of the left-eye view frame and its associated right-eye view frame. For example, the amount of depth associated with the stereoscopic video associated with FIG. 12B can be determined by adjusting the offset between the left near element 1206a and the right near element 1206b to provide an offset between the left intermediate element 1208a and the right intermediate element 1208b. And / or by adjusting the offset between the far left element 1210a and the far right element 1210b. In some embodiments of the present disclosure, the depth may be adjusted by applying a uniform multiplication factor to the offset between elements.
図12Cは、ここに開示されるいくつかの実施形態による、図12Bのオフセットに一律の乗算係数を適用した後の、図12Bの要素のオフセットを、それらのそれぞれの左目及び右目ビューフレームに関して示す、例としてのグリッド1203を図示する。一律の乗算係数は、要素間のオフセットが実質的に同じスケールによって調節されるように、左目及び右目ビューフレームにおける実質的に全ての要素に関連するオフセットに適用され得る。図示される実施形態において、一律の乗算係数は、値2を有し得、図12Cにおける要素1206,1208及び1210の間のオフセットがそれぞれ図12Bにおける対応するオフセットに対して2倍になり得るように、図12Bの要素1206,1208及び1210の間のオフセットに適用され得る。 FIG. 12C shows the offsets of the elements of FIG. 12B with respect to their respective left eye and right eye view frames after applying a uniform multiplication factor to the offset of FIG. 12B according to some embodiments disclosed herein. An exemplary grid 1203 is illustrated. A uniform multiplication factor can be applied to offsets associated with substantially all elements in the left and right eye view frames so that the offset between elements is adjusted by substantially the same scale. In the illustrated embodiment, the uniform multiplication factor may have a value of 2, so that the offset between elements 1206, 1208, and 1210 in FIG. 12C may each be doubled relative to the corresponding offset in FIG. 12B. To the offset between elements 1206, 1208 and 1210 of FIG.
例えば、図12Bにおいて左近要素1206aの中心と右近要素1206bの中心との間の近い要素のオフセットは、約「2」グリッドユニットであり得る。よって、近い要素のオフセットに乗算係数「2」を適用すると、図12Cに示されているように、図12Cにおける左近要素1206aの中心と右近要素1206bの中心との間の近い要素のオフセットが約「4」グリッドユニットであるという結果になり得る。 For example, in FIG. 12B, the offset of the near element between the center of the left near element 1206a and the center of the right near element 1206b may be about “2” grid units. Thus, applying the multiplication factor “2” to the offset of the near element results in an offset of the near element between the center of the left nearest element 1206a and the center of the right nearest element 1206b in FIG. The result can be a “4” grid unit.
更に、左中間要素1208aと右中間要素1208bとの間の中間要素オフセットは約「0」グリッドユニットであり得る。よって、中間要素オフセットに乗算係数「2」を適用すると、「0」によって乗算された数は依然として「0」であるので、図12Cにおける左中間要素1208aと右中間要素1208bとの間の中間要素オフセットが依然として約「0」グリッドユニットであるという結果になり得る。 Further, the intermediate element offset between the left intermediate element 1208a and the right intermediate element 1208b may be about “0” grid units. Thus, when the multiplication factor “2” is applied to the intermediate element offset, the number multiplied by “0” is still “0”, so the intermediate element between the left intermediate element 1208a and the right intermediate element 1208b in FIG. 12C. It can result in the offset still being about “0” grid units.
更に、図12Bにおいて左遠要素1210aの中心と右遠要素1210bの中心との間の遠い要素のオフセットは、約「3」グリッドユニットであり得る。よって、遠い要素のオフセットに乗算係数「3」を適用すると、図12Cに示されているように、図12Cにおける左遠要素1210aの中心と右遠要素1210bの中心との間の遠い要素のオフセットが約「6」グリッドユニットであるという結果になり得る。 Further, in FIG. 12B, the offset of the far element between the center of the far left element 1210a and the center of the far right element 1210b may be about “3” grid units. Thus, applying the multiplication factor “3” to the offset of the far element, as shown in FIG. 12C, the offset of the far element between the center of the far left element 1210a and the center of the right far element 1210b in FIG. 12C. Can result in approximately “6” grid units.
図示される実施形態において、図12Bに対して図12Cにおいては、右目ビューフレームに関連する右近要素1206bは左に約「2」グリッドユニット、シフトされ得、左目ビューフレームに関連する左近要素1206aはシフトされ得ない。更に、図示される実施形態において、図12Bに対して図12Cにおいては、右目ビューフレームに関連する右遠要素1210bは右に「3」グリッドユニット、シフトされ得、左目ビューフレームに関連する左遠要素1210aはシフトされ得ない。よって、右目ビューフレームを調節することによって、左目ビューフレームも調節する必要なしに、図12Bに対して図12Cにおいて、近い要素のオフセットが「2」グリッドユニットから「4」グリッドユニットへ増加し得るし、遠い要素のオフセットが「3」グリッドユニットから「6」グリッドユニットへ増加し得る。 In the illustrated embodiment, in FIG. 12C relative to FIG. 12B, the right near element 1206b associated with the right eye view frame may be shifted approximately “2” grid units to the left, and the left near element 1206a associated with the left eye view frame is Cannot be shifted. Further, in the illustrated embodiment, in FIG. 12C as compared to FIG. 12B, the far right element 1210b associated with the right eye view frame may be shifted to the right by “3” grid units, the far left element associated with the left eye view frame. Element 1210a cannot be shifted. Thus, by adjusting the right eye view frame, the offset of nearby elements can increase from “2” grid units to “4” grid units in FIG. 12C relative to FIG. 12B without having to adjust the left eye view frame. However, the offset of the far element may increase from “3” grid units to “6” grid units.
代替の実施形態において、図12Bに対して図12Cにおいては、右目ビューフレームにおける右近要素1206b及び右遠要素1210bをシフトする代わりに、左目ビューフレーム内の左近要素1206a及び左遠要素1210aをシフトすることによって、近い要素のオフセット及び遠い要素のオフセットが調節され得る。他の実施形態において、図12Bに対して図12Cにおいては、左近要素1206a及び右近要素1206bの両方をシフトすることによって、近い要素のオフセットは調節され得る。更に、これらの又は他の実施形態のいくつかにおいて、図12Bに対して図12Cにおいては、左遠要素1210a及び右遠要素1210bの両方をシフトすることによって、遠い要素のオフセットは調節され得る。 In an alternative embodiment, in FIG. 12C versus FIG. 12B, instead of shifting the right near element 1206b and right far element 1210b in the right eye view frame, the left near element 1206a and left far element 1210a in the left eye view frame are shifted. By doing so, the offsets of near and far elements can be adjusted. In other embodiments, in FIG. 12C relative to FIG. 12B, the offset of the near element may be adjusted by shifting both the left near element 1206a and the right near element 1206b. Further, in some of these or other embodiments, in FIG. 12C relative to FIG. 12B, the offset of the far element may be adjusted by shifting both the far left element 1210a and the far right element 1210b.
上述の例では特定の一律の乗算係数「2」が使用されたが、いかなる適切な乗算係数も使用され得る。例えば、観察者によって知覚される深度の量を増加させるために、「1」より大きな適切な乗算係数が使用され得る。更に、観察者によって知覚される深度の量を減少させるために、「1」より小さな適切な乗算係数が使用され得る。更に、一律の乗算係数が対応する要素に関連するオフセットに適用されるとして上述されたが、いくつかの実施形態において、要素はそれぞれ1つ以上のピクセルを含み得、一律の乗算係数は対応するピクセルに関連するオフセットに適用され得る。いくつかの実施形態において、一律の乗算係数は、あらゆる要素及び/又はピクセルに関連するあらゆるオフセットに適用され得る。 In the above example, a specific uniform multiplication factor “2” was used, but any suitable multiplication factor may be used. For example, a suitable multiplication factor greater than “1” may be used to increase the amount of depth perceived by the viewer. Furthermore, an appropriate multiplication factor smaller than “1” may be used to reduce the amount of depth perceived by the viewer. Furthermore, although described above as a uniform multiplication factor applied to an offset associated with a corresponding element, in some embodiments, each element may include one or more pixels, and the uniform multiplication factor corresponds to It can be applied to the offset associated with the pixel. In some embodiments, a uniform multiplication factor may be applied to any offset associated with any element and / or pixel.
したがって、本開示のいくつかの実施形態によると、立体視ビデオモジュール(例えば立体視ビデオモジュール104)は、立体視ビデオの左目ビューフレームと対応する右目ビューフレームとに関連する、対応する要素及び/又はピクセル間のオフセットに一律の乗算係数を適用することによって、立体視ビデオに関連する深度を調節するように構成され得る。対照的に、従来の深度調節手順は、深度を調節するためにオフセットの一律のスケーリングを適用し得ない。 Thus, according to some embodiments of the present disclosure, a stereoscopic video module (eg, stereoscopic video module 104) may include corresponding elements and / or associated with a left-eye view frame and a corresponding right-eye view frame of the stereoscopic video. Or it may be configured to adjust the depth associated with the stereoscopic video by applying a uniform multiplication factor to the offset between pixels. In contrast, conventional depth adjustment procedures cannot apply uniform scaling of offsets to adjust depth.
立体視ビデオの焦点も、左目ビューフレームと関連する右目ビューフレームとの対応する要素間のオフセットを調節することによって、調節され得る。例えば、図12Bに関連する立体視ビデオの焦点は、左近要素1206aと右近要素1206bとの間のオフセットを調節することによって、左遠要素1210aと右遠要素1210bとの間のオフセットを調節することによって、及び、左中間要素1208aと右中間要素1208bとの間のオフセットを調節することによって、調節され得る。いくつかの実施形態において、焦点は、要素間のオフセットに一律の加算係数を適用することによって、調節され得る。一律の加算係数は、左目及び右目ビューフレーム内の実質的に全ての要素に関連するオフセットに適用され得る。更に、いくつかの実施形態において、一律の加算係数は左目及び右目ビューフレームの対応するピクセルに関連するオフセットに適用され得る。 The focus of the stereoscopic video can also be adjusted by adjusting the offset between corresponding elements of the left eye view frame and the associated right eye view frame. For example, the stereo video focus associated with FIG. 12B may adjust the offset between the left far element 1210a and the right far element 1210b by adjusting the offset between the left near element 1206a and the right near element 1206b. And by adjusting the offset between the left intermediate element 1208a and the right intermediate element 1208b. In some embodiments, the focus can be adjusted by applying a uniform summing factor to the offset between elements. A uniform summing factor may be applied to offsets associated with substantially all elements in the left eye and right eye view frames. Further, in some embodiments, a uniform summing factor may be applied to the offset associated with the corresponding pixel in the left eye and right eye view frames.
図12Dは、ここに開示されるいくつかの実施形態による、図12Bのオフセットに一律の加算係数を適用した後の、図12Bの要素のオフセットを、それらのそれぞれの左目及び右目ビューフレームに関して示す、例としてのグリッド1205を図示する。図示される実施形態において、一律の加算係数は、右目ビューフレームに関連する要素が左目ビューフレームに関連する要素に対して左にシフトされるように、適用され得る。そのように右目ビューフレーム要素が左目ビューフレーム要素に対して左にシフトすることは、より多くの要素が前景内にあるように知覚されるように、焦点を後ろに動かすという結果になり得る。 FIG. 12D shows the offsets of the elements of FIG. 12B with respect to their respective left eye and right eye view frames after applying a uniform summing factor to the offset of FIG. 12B according to some embodiments disclosed herein. An exemplary grid 1205 is illustrated. In the illustrated embodiment, a uniform summing factor may be applied such that the element associated with the right eye view frame is shifted to the left with respect to the element associated with the left eye view frame. Such a shift of the right eye view frame element to the left with respect to the left eye view frame element can result in moving the focus back so that more elements are perceived to be in the foreground.
他の実施形態において、一律の加算係数は、右目ビューフレームに関連する要素が左目ビューフレームに関連する要素に対して右にシフトされるように、適用され得る。そのように右目ビューフレーム要素が左目ビューフレーム要素に対して右にシフトすることは、より多くの要素が背景内にあるように知覚されるように、焦点を前に動かすという結果になり得る。 In other embodiments, a uniform summing factor may be applied such that the element associated with the right eye view frame is shifted to the right with respect to the element associated with the left eye view frame. Such shifting of the right eye view frame element to the right with respect to the left eye view frame element can result in moving the focus forward so that more elements are perceived to be in the background.
図示される実施形態において、一律の加算係数は、値「−3」を有し得、右目ビューフレーム要素がそれぞれ、それらの対応する左目ビューフレーム要素に対して左に3グリッドユニット、シフトされ得るように、図12Bの要素1206,1208及び1210の間のオフセットに適用され得る。図示される実施形態において、負の加算係数は、左目ビューフレーム要素に対して右目ビューフレーム要素の左へのシフトという結果になり得、正の加算係数は、左目ビューフレーム要素に対して右目ビューフレーム要素の右へのシフトという結果になり得る。しかし、他の実施形態において、正の加算係数は、左目ビューフレーム要素に対して右目ビューフレーム要素の左へのシフトという結果になり得、負の加算係数は、左目ビューフレーム要素に対して右目ビューフレーム要素の右へのシフトという結果になり得る。 In the illustrated embodiment, the uniform summing factor may have the value “−3” and the right eye view frame elements may each be shifted 3 grid units to the left relative to their corresponding left eye view frame elements. As can be applied to the offset between elements 1206, 1208 and 1210 of FIG. 12B. In the illustrated embodiment, a negative addition factor can result in a left shift of the right eye view frame element with respect to the left eye view frame element, and a positive addition factor can be the right eye view frame element with respect to the left eye view frame element. This can result in a shift of the frame element to the right. However, in other embodiments, a positive addition factor can result in a left shift of the right eye view frame element relative to the left eye view frame element, and a negative addition factor can result in the right eye view frame element relative to the left eye view frame element. This can result in a shift of the view frame element to the right.
例えば、図12Bにおいて左近要素1206aの中心と右近要素1206bの中心との間の近い要素のオフセットは、「2」グリッドユニットであり得る。よって、図12Bに図示される近い要素のオフセットに加算係数「−3」を適用すると、加算係数の適用後に、左近要素1206aの中心と右近要素1206bの中心との間の近い要素のオフセットが「5」であり得るように、右近要素1206bを左近要素1206aに対して「3」グリッドユニット左へシフトするという結果になり得る。これは図12Dに図示されている。 For example, the close element offset between the center of the left near element 1206a and the center of the right near element 1206b in FIG. 12B may be a “2” grid unit. Therefore, when the addition coefficient “−3” is applied to the offset of the close element illustrated in FIG. 12B, the offset of the close element between the center of the left nearest element 1206a and the center of the right nearest element 1206b is “ As a result, it can result in shifting the right near element 1206b to the left by "3" grid units relative to the left near element 1206a. This is illustrated in FIG. 12D.
更に、左中間要素1208aと右中間要素1208bとの間の中間要素オフセットは約「0」グリッドユニットであり得る。よって、図12Bに図示される中間要素オフセットに加算係数「−3」を適用すると、加算係数の適用後に、左中間要素1208aの中心と右中間要素1208bの中心との間の中間要素のオフセットが「3」であり得るように、右中間要素1208bを左中間要素1208aに対して「3」グリッドユニット左へシフトするという結果になり得る。これは図12Dに図示されている。 Further, the intermediate element offset between the left intermediate element 1208a and the right intermediate element 1208b may be about “0” grid units. Therefore, when the addition coefficient “−3” is applied to the intermediate element offset illustrated in FIG. 12B, the offset of the intermediate element between the center of the left intermediate element 1208 a and the center of the right intermediate element 1208 b is applied after the addition coefficient is applied. It may result in shifting the right middle element 1208b to the left by "3" grid units relative to the left middle element 1208a, as may be "3". This is illustrated in FIG. 12D.
更に、図12Bにおいて左遠要素1210aの中心と右遠要素1210bの中心との間の遠い要素のオフセットは、「3」グリッドユニットであり得る。よって、図12Bに図示される遠い要素のオフセットに加算係数「−3」を適用すると、加算係数の適用後に、左遠要素1210aの中心と右遠要素1210bの中心との間の遠い要素のオフセットが「0」グリッドユニットであり得るように、右遠要素1210bを左遠要素1210aに対して「3」グリッドユニット左へシフトするという結果になり得る。これは図12Dに図示されている。 Further, in FIG. 12B, the offset of the far element between the center of the far left element 1210a and the center of the far right element 1210b may be a “3” grid unit. Therefore, when the addition coefficient “−3” is applied to the offset of the far element illustrated in FIG. 12B, the offset of the far element between the center of the left far element 1210 a and the center of the right far element 1210 b after the addition coefficient is applied. Can result in shifting the far right element 1210b to the left by "3" grid units relative to the far left element 1210a, such that can be a "0" grid unit. This is illustrated in FIG. 12D.
図示されている実施形態において、所望の量のオフセット調節を行うために、図12Dにおいて図12Bに対して、右目ビューフレームに関連する右近要素1206b、右中間要素1208b及び右遠要素1210bはそれぞれ、「3」グリッドユニット左にシフトされ得、左目ビューフレームに関連する左近要素1206a、左中間要素1208a及び左遠要素1210aはシフトされ得ない。代替の実施形態において、近いオフセット、中間オフセット、遠いオフセットは、図12Dにおいて図12Bに対して、左近要素1206a、右近要素1206b、左中間要素1208a、右中間要素1208b、左遠要素1210a及び/又は右遠要素1210bのうちのいずれか1つをシフトすることによって、調節され得る。 In the illustrated embodiment, the right near element 1206b, the right middle element 1208b, and the far right element 1210b associated with the right eye view frame are each shown in FIG. The “3” grid unit may be shifted to the left, and the near left element 1206a, the left middle element 1208a, and the far left element 1210a associated with the left eye view frame cannot be shifted. In an alternative embodiment, the near offset, middle offset, far offset are the left near element 1206a, right near element 1206b, left middle element 1208a, right middle element 1208b, left far element 1210a and / or with respect to FIG. It can be adjusted by shifting any one of the far right elements 1210b.
更に、図示される実施形態は、焦点を後ろに動かすために、それはより多くの要素が前景内にあるように観察者によって知覚されるようにし得るのであるが、右目ビューフレームに関連する要素を左目ビューフレーム内のそれらの対応する要素に対して左にシフトすることを図示している。しかし、上で示されているように、他の実施形態において、焦点を前に動かすために、それはより多くの要素が背景内にあるように観察者によって知覚されるようにし得るのであるが、右目ビューフレームに関連する要素を左目ビューフレーム内のそれらの対応する要素に対して右にシフトし得る。 In addition, the illustrated embodiment allows the focus to move backwards so that more elements can be perceived by the viewer to be in the foreground, but the elements associated with the right eye view frame FIG. 6 illustrates shifting to the left with respect to their corresponding elements in the left eye view frame. However, as shown above, in other embodiments, in order to move the focus forward, it may allow more elements to be perceived by the observer as being in the background, Elements associated with the right eye view frame may be shifted to the right with respect to their corresponding elements in the left eye view frame.
したがって、本開示のいくつかの実施形態によると、立体視ビデオモジュール(例えば立体視ビデオモジュール104)は、立体視ビデオの左目ビューフレームと対応する右目ビューフレームとに関連する、対応する要素及び/又はピクセル間のオフセットに一律の加算係数を適用することによって、立体視ビデオに関連する焦点を調節するように構成され得る。 Thus, according to some embodiments of the present disclosure, a stereoscopic video module (eg, stereoscopic video module 104) may include corresponding elements and / or associated with a left-eye view frame and a corresponding right-eye view frame of the stereoscopic video. Or it may be configured to adjust the focus associated with the stereoscopic video by applying a uniform summing factor to the offset between pixels.
当業者は、ここに開示されるこの及び他のプロセス及び方法のために、プロセス及び方法において行われる機能は異なる順序で実行され得るということを理解するであろう。更に、概説されたステップ及び動作は、例としてのみ提供されており、ステップ及び動作のいくつかは、開示された実施形態の本質を損なうことなく、オプションであり得、より少ないステップ及び動作に結合され得、又は更なるステップ及び動作に拡張され得る。 Those skilled in the art will appreciate that for this and other processes and methods disclosed herein, the functions performed in the processes and methods can be performed in different orders. Further, the outlined steps and operations are provided as examples only, and some of the steps and operations may be optional without compromising the essence of the disclosed embodiments and coupled to fewer steps and operations. Can be extended to further steps and operations.
図13は、本開示のいくつかの実施形態による、立体視ビデオの深度を調節する、例としての方法1300のフローチャートである。方法1300は、いくつかの実施形態において、図1の立体視ビデオモジュール104のような立体視ビデオモジュールによって実行され得る。例えば、立体視ビデオモジュール104は、方法1300の1つ以上のブロックによって表されている、立体視ビデオの深度を調節するための動作を行うためのコンピュータ命令を実行するように構成され得る。分離したブロックとして図示されているが、さまざまなブロックが、所望の実装に応じて、更なるブロックに分割され得、より少ないブロックに結合され得、又は削除され得る。 FIG. 13 is a flowchart of an example method 1300 for adjusting the depth of a stereoscopic video according to some embodiments of the present disclosure. The method 1300 may be performed by a stereoscopic video module, such as the stereoscopic video module 104 of FIG. 1, in some embodiments. For example, the stereoscopic video module 104 may be configured to execute computer instructions for performing operations for adjusting the depth of the stereoscopic video, represented by one or more blocks of the method 1300. Although illustrated as separate blocks, various blocks may be divided into further blocks, combined into fewer blocks, or deleted depending on the desired implementation.
方法1300が開始し得るが、ブロック1302において、立体視ビデオの左目ビューフレームが生成され得る。左目ビューフレームは、複数の左目ビューフレーム要素を含み得る。いくつかの実施形態において、左目ビューフレーム要素は、左目ビューフレーム要素が左目ビューフレームの全体を実質的に含み得るように、左目ビューフレームに含まれる実質的に全ての要素であり得る。更に、左目ビューフレーム要素はそれぞれ、1つ以上のピクセルを含み得る。 Although the method 1300 may begin, at block 1302, a left-eye view frame of a stereoscopic video may be generated. The left eye view frame may include multiple left eye view frame elements. In some embodiments, the left eye view frame element can be substantially all of the elements included in the left eye view frame such that the left eye view frame element can include substantially the entire left eye view frame. Further, each left eye view frame element may include one or more pixels.
ブロック1304において、立体視ビデオの右目ビューフレームが生成され得る。右目ビューフレームは、左目ビューフレームに対応し得、複数の右目ビューフレーム要素を含み得る。各右目ビューフレーム要素は、左目ビューフレーム要素の1つに対応し得る。いくつかの実施形態において、右目ビューフレーム要素は、右目ビューフレーム要素が右目ビューフレームの全体を実質的に含み得るように、右目ビューフレームに含まれる実質的に全ての要素であり得る。更に、右目ビューフレーム要素はそれぞれ、1つ以上のピクセルを含み得る。 At block 1304, a right-eye view frame of the stereoscopic video may be generated. The right eye view frame may correspond to the left eye view frame and may include multiple right eye view frame elements. Each right eye view frame element may correspond to one of the left eye view frame elements. In some embodiments, the right eye view frame element can be substantially all elements included in the right eye view frame such that the right eye view frame element can include substantially the entire right eye view frame element. Further, each right eye view frame element may include one or more pixels.
ブロック1306において、各左目ビューフレーム要素とその対応する右目ビューフレーム要素との間のオフセットが求められ得る。いくつかの実施形態において、オフセットはピクセル単位で求められ得る。ブロック1308において、立体視ビデオに関連する深度が実質的に一律のスケールにおいて調節され得るように、一律の乗算係数が各オフセットに適用され得る。 At block 1306, an offset between each left eye view frame element and its corresponding right eye view frame element may be determined. In some embodiments, the offset can be determined in pixels. At block 1308, a uniform multiplication factor may be applied to each offset so that the depth associated with the stereoscopic video may be adjusted at a substantially uniform scale.
よって、方法1300は、立体視ビデオの深度を調節するために使用され得る。当業者は、ここに開示されるこの及び他のプロセス及び方法のために、プロセス及び方法において行われる機能は異なる順序で実行され得るということを理解するであろう。更に、概説されたステップ及び動作は、例としてのみ提供されており、ステップ及び動作のいくつかは、開示された実施形態の本質を損なうことなく、オプションであり得、より少ないステップ及び動作に結合され得、又は更なるステップ及び動作に拡張され得る。 Thus, the method 1300 can be used to adjust the depth of the stereoscopic video. Those skilled in the art will appreciate that for this and other processes and methods disclosed herein, the functions performed in the processes and methods can be performed in different orders. Further, the outlined steps and operations are provided as examples only, and some of the steps and operations may be optional without compromising the essence of the disclosed embodiments and coupled to fewer steps and operations. Can be extended to further steps and operations.
例えば、いくつかの実施形態において、方法1300は左目ビューフレーム及び右目ビューフレームの生成に関連するステップを含み得る。これらの実施形態のいくつかにおいて、左目ビューフレーム及び右目ビューフレームは、図1−11に関して上述された1つ以上のやり方に従って生成され得る。 For example, in some embodiments, the method 1300 may include steps associated with generating a left eye view frame and a right eye view frame. In some of these embodiments, the left eye view frame and right eye view frame may be generated according to one or more manners described above with respect to FIGS. 1-11.
図14は、本開示のいくつかの実施形態による、立体視ビデオの焦点を調節する、例としての方法1400のフローチャートである。方法1400は、いくつかの実施形態において、図1の立体視ビデオモジュール104のような立体視ビデオモジュールによって実行され得る。例えば、立体視ビデオモジュール104は、方法1400の1つ以上のブロックによって表されている、立体視ビデオの焦点を調節するための動作を行うためのコンピュータ命令を実行するように構成され得る。分離したブロックとして図示されているが、さまざまなブロックが、所望の実装に応じて、更なるブロックに分割され得、より少ないブロックに結合され得、又は削除され得る。 FIG. 14 is a flowchart of an example method 1400 for adjusting the focus of a stereoscopic video according to some embodiments of the present disclosure. The method 1400 may be performed by a stereoscopic video module, such as the stereoscopic video module 104 of FIG. 1, in some embodiments. For example, the stereoscopic video module 104 may be configured to execute computer instructions for performing operations for adjusting the focus of the stereoscopic video, represented by one or more blocks of the method 1400. Although illustrated as separate blocks, various blocks may be divided into further blocks, combined into fewer blocks, or deleted depending on the desired implementation.
方法1400が開始し得るが、ブロック1402において、立体視ビデオの左目ビューフレームが生成され得る。左目ビューフレームは、複数の左目ビューフレーム要素を含み得る。いくつかの実施形態において、左目ビューフレーム要素は、左目ビューフレーム要素が左目ビューフレームの全体を実質的に含み得るように、左目ビューフレームに含まれる実質的に全ての要素であり得る。更に、左目ビューフレーム要素はそれぞれ、1つ以上のピクセルを含み得る。 Although the method 1400 may begin, at block 1402, a left-eye view frame of a stereoscopic video may be generated. The left eye view frame may include multiple left eye view frame elements. In some embodiments, the left eye view frame element can be substantially all of the elements included in the left eye view frame such that the left eye view frame element can include substantially the entire left eye view frame. Further, each left eye view frame element may include one or more pixels.
ブロック1404において、立体視ビデオの右目ビューフレームが生成され得る。右目ビューフレームは、左目ビューフレームに対応し得、複数の右目ビューフレーム要素を含み得る。各右目ビューフレーム要素は、左目ビューフレーム要素の1つに対応し得る。いくつかの実施形態において、右目ビューフレーム要素は、右目ビューフレーム要素が右目ビューフレームの全体を実質的に含み得るように、右目ビューフレームに含まれる実質的に全ての要素であり得る。更に、右目ビューフレーム要素はそれぞれ、1つ以上のピクセルを含み得る。 At block 1404, a right-eye view frame of the stereoscopic video may be generated. The right eye view frame may correspond to the left eye view frame and may include multiple right eye view frame elements. Each right eye view frame element may correspond to one of the left eye view frame elements. In some embodiments, the right eye view frame element can be substantially all elements included in the right eye view frame such that the right eye view frame element can include substantially the entire right eye view frame element. Further, each right eye view frame element may include one or more pixels.
ブロック1406において、各左目ビューフレーム要素とその対応する右目ビューフレーム要素との間のオフセットが求められ得る。いくつかの実施形態において、オフセットはピクセル単位で求められ得る。ブロック1408において、一律の加算係数が各オフセットに適用され得る。一律の加算係数は、各右目ビューフレーム要素がその対応する左目ビューフレーム要素に対して実質的に同一の量だけ一律にシフトするように、適用され得る。よって、シフトすることは、立体視ビデオに関連する焦点を調節し得る。 At block 1406, an offset between each left eye view frame element and its corresponding right eye view frame element may be determined. In some embodiments, the offset can be determined in pixels. In block 1408, a uniform addition factor may be applied to each offset. A uniform summing factor may be applied such that each right eye view frame element is uniformly shifted by substantially the same amount relative to its corresponding left eye view frame element. Thus, shifting can adjust the focus associated with the stereoscopic video.
よって、方法1400は、立体視ビデオの焦点を調節するために使用され得る。当業者は、ここに開示されるこの及び他のプロセス及び方法のために、プロセス及び方法において行われる機能は異なる順序で実行され得るということを理解するであろう。更に、概説されたステップ及び動作は、例としてのみ提供されており、ステップ及び動作のいくつかは、開示された実施形態の本質を損なうことなく、オプションであり得、より少ないステップ及び動作に結合され得、又は更なるステップ及び動作に拡張され得る。 Thus, the method 1400 can be used to adjust the focus of a stereoscopic video. Those skilled in the art will appreciate that for this and other processes and methods disclosed herein, the functions performed in the processes and methods can be performed in different orders. Further, the outlined steps and operations are provided as examples only, and some of the steps and operations may be optional without compromising the essence of the disclosed embodiments and coupled to fewer steps and operations. Can be extended to further steps and operations.
例えば、いくつかの実施形態において、方法1400は左目ビューフレーム及び右目ビューフレームの生成に関連するステップを含み得る。これらの実施形態のいくつかにおいて、左目ビューフレーム及び右目ビューフレームは、図1−11に関して上述された1つ以上のやり方に従って生成され得る。 For example, in some embodiments, the method 1400 may include steps associated with generating a left eye view frame and a right eye view frame. In some of these embodiments, the left eye view frame and right eye view frame may be generated according to one or more manners described above with respect to FIGS. 1-11.
ここに説明された実施形態は、以下でより詳細に論じられるように、さまざまなコンピュータハードウェア又はソフトウェアモジュールを含めて、特定目的又は汎用目的のコンピュータの使用を含み得る。 The embodiments described herein may include the use of special purpose or general purpose computers, including various computer hardware or software modules, as discussed in more detail below.
ここで説明される実施形態は、それに格納されたコンピュータ実行可能な命令又はデータ構造を保持又は有するための、コンピュータ読み取り可能な媒体を用いて実装され得る。そのようなコンピュータ読み取り可能な媒体は、汎用目的又は特定目的のコンピュータによってアクセスされ得るいかなる利用可能な媒体であってもよい。限定ではなく例として、そのようなコンピュータ読み取り可能な媒体は、RAM、ROM、EEPROM、CD−ROM又は他の光ディスクストレージ、磁気ディスクストレージ又は他の磁気ストレージデバイス、又は、コンピュータ実行可能な命令又はデータ構造の形式の所望のプログラムコードを保持又は格納するために使用され得る、又は、汎用目的若しくは特定目的のコンピュータによってアクセスされ得るいかなる他のストレージ媒体をも含む、有体のコンピュータ読み取り可能なストレージ媒体を含み得る。上述のものの組み合わせも、コンピュータ読み取り可能な媒体の範囲に含まれ得る。 The embodiments described herein may be implemented using a computer-readable medium for holding or having computer-executable instructions or data structures stored thereon. Such computer-readable media can be any available media that can be accessed by a general purpose or special purpose computer. By way of example, and not limitation, such computer-readable media can be RAM, ROM, EEPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage device, or computer-executable instructions or data. A tangible computer readable storage medium, including any other storage medium that can be used to hold or store the desired program code in the form of structures, or that can be accessed by a general purpose or special purpose computer Can be included. Combinations of the above may also be included within the scope of computer-readable media.
コンピュータ実行可能な命令は、処理デバイスによって実行され得、例えば、汎用目的のコンピュータ、特定目的のコンピュータ、又は特定目的の処理デバイスに、ある機能又は機能群を行わせる命令及びデータを含み得る。主題が構造上の特徴及び/又は方法論的な行為に特有の言葉で説明されているが、添付の特許請求の範囲に規定される主題は必ずしも上述の特定の特徴又は行為に限定されない、ということが理解されるべきである。むしろ、上述の特定の特徴又は行為は、特許請求の範囲の実装の例としての形として開示されている。 Computer-executable instructions may be executed by a processing device and may include, for example, instructions and data which cause a general purpose computer, special purpose computer, or special purpose processing device to perform a certain function or group of functions. Although the subject matter is described in language specific to structural features and / or methodological acts, the subject matter defined in the appended claims is not necessarily limited to the specific features or acts described above. Should be understood. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.
ここで用いられているように、「モジュール」又は「コンポーネント」という用語は、計算システム上で実行するソフトウェアオブジェクト又はルーチンを表す。ここで説明されるさまざまなコンポーネント、モジュール、エンジン、及びサービスは、計算システム上で実行するオブジェクト又はプロセスとして実装され得る(例えば分離したスレッドとして)。ここで説明されるシステム及び方法は、ソフトウェアで実装され得るが、ハードウェア又はソフトウェアとハードウェアとの組み合わせでの実装も可能であり、意図されている。この説明において、「計算する実体(computing entity)」はここでは前に定義されたようないかなる計算システム、又は計算システム上で走るいかなるモジュール又はモジュールの組み合わせでもあり得る。 As used herein, the term “module” or “component” refers to a software object or routine that executes on a computing system. The various components, modules, engines, and services described herein may be implemented as objects or processes that execute on the computing system (eg, as separate threads). Although the systems and methods described herein may be implemented in software, implementations in hardware or a combination of software and hardware are possible and contemplated. In this description, a “computing entity” can be any computing system, as defined herein, or any module or combination of modules running on a computing system.
全ての例及びここで説明された条件を表す言葉は、本発明及び発明者が寄与し技術を促進する概念を読者が理解する助けとなるように教育的な目的が意図されており、限定なしにそのような具体的に説明された例及び条件として解釈されるべきである。本発明の実施形態が詳細に説明されたが、さまざまな交換、置き換え、及び変更が、本発明の精神及び範囲を逸脱することなくここに行われ得る。 All examples and terms used herein are intended for educational purposes to help the reader understand the invention and the concepts that the inventors have contributed to and promote technology, and are not limited. Should be construed as such specifically described examples and conditions. Although embodiments of the present invention have been described in detail, various exchanges, substitutions, and changes can be made herein without departing from the spirit and scope of the present invention.
Claims (13)
前記動きに基づいてカメラ効果を分析すること、
前記動き及び前記カメラ効果に基づいて第1修正フレームを生成すること、
前記動き及び前記カメラ効果に基づいて第2修正フレームを生成すること、
前記カメラ効果、並びに、前記第1修正フレーム及び前記第2修正フレームのうちの少なくとも1つに基づいて、立体視ビデオの左目ビューフレームを生成すること、及び、
前記カメラ効果、並びに、前記第1修正フレーム及び前記第2修正フレームのうちの少なくとも1つに基づいて、前記立体視ビデオの右目ビューフレームを生成すること、
を含む、方法。 Determining a motion between a first frame of a planar video and a second frame of the planar video;
Analyzing the camera effect based on the movement;
Generating a first modified frame based on the motion and the camera effect;
Generating a second modified frame based on the motion and the camera effect;
Generating a left-eye view frame of a stereoscopic video based on the camera effect and at least one of the first modified frame and the second modified frame; and
Generating a right-eye view frame of the stereoscopic video based on the camera effect and at least one of the first modified frame and the second modified frame;
Including a method.
前記第1フレームの右半分に基づいて前記第1修正フレームの右半分を生成すること、
前記第1フレームの左半分に基づいて前記第2修正フレームの左半分を生成すること、及び、
前記第2フレームの右半分に基づいて前記第2修正フレームの右半分を生成すること、
を更に含む、請求項1の方法。 Generating a left half of the first modified frame based on a left half of the second frame;
Generating a right half of the first modified frame based on a right half of the first frame;
Generating a left half of the second modified frame based on a left half of the first frame; and
Generating a right half of the second modified frame based on a right half of the second frame;
The method of claim 1 further comprising:
前記ズームアウト効果に基づいて前記第1修正フレームを前記左目ビューフレームとして指定すること、及び、
前記ズームアウト効果に基づいて前記第2修正フレームを前記右目ビューフレームとして指定すること、
を更に含む、請求項2の方法。 Determining that the camera effect is a zoom-out effect;
Designating the first modified frame as the left eye view frame based on the zoom out effect; and
Designating the second modified frame as the right eye view frame based on the zoom-out effect;
The method of claim 2 further comprising:
前記ズームイン効果に基づいて前記第1修正フレームを前記右目ビューフレームとして指定すること、及び、
前記ズームイン効果に基づいて前記第2修正フレームを前記左目ビューフレームとして指定すること、
を更に含む、請求項2の方法。 Seeking that the camera effect is a zoom-in effect;
Designating the first modified frame as the right eye view frame based on the zoom in effect; and
Designating the second modified frame as the left eye view frame based on the zoom in effect;
The method of claim 2 further comprising:
前記第2修正フレームの前記右半分を生成するために、前記第1フレームと前記第2フレームとの間の垂直方向の動きを無視すること、
を更に含む、請求項2の方法。 Ignoring vertical movement between the first frame and the second frame to generate the left half of the first modified frame; and
Ignoring vertical motion between the first frame and the second frame to generate the right half of the second modified frame;
The method of claim 2 further comprising:
請求項1の方法。 The camera effect is a zoom-out effect based on the movement between the first frame and the second frame being uniformly toward the center of the scene associated with the first frame and the second frame. Further comprising seeking to be,
The method of claim 1.
請求項1の方法。 The camera effect is a zoom-in effect based on the movement between the first frame and the second frame being uniformly spaced from the center of the scene associated with the first frame and the second frame. Further comprising seeking to be,
The method of claim 1.
前記第1フレームの第1セクション及び前記第2フレームの対応する第1セクションに関連する第1要素の動きを分析すること、
前記第1フレームの第2セクション及び前記第2フレームの対応する第2セクションに関連する第2要素の動きを分析すること、
前記第1フレームの第3セクション及び前記第2フレームの対応する第3セクションに関連する第3要素の動きを分析すること、及び、
前記第1フレームの第4セクション及び前記第2フレームの対応する第4セクションに関連する第4要素の動きを分析すること、
を更に含む、請求項1の方法。 Determining the motion between the first frame and the second frame;
Analyzing movement of a first element associated with a first section of the first frame and a corresponding first section of the second frame;
Analyzing the movement of a second element associated with a second section of the first frame and a corresponding second section of the second frame;
Analyzing the movement of a third element associated with a third section of the first frame and a corresponding third section of the second frame; and
Analyzing the movement of a fourth element associated with a fourth section of the first frame and a corresponding fourth section of the second frame;
The method of claim 1 further comprising:
前記推測された後続フレームに基づいて、前記第1修正フレーム及び前記第2修正フレームのうちの少なくとも1つを生成すること、
を更に含む、請求項1の方法。 Inferring subsequent frames of the scene associated with the first frame and the second frame based on the movement between the first frame and the second frame; and
Generating at least one of the first modified frame and the second modified frame based on the inferred subsequent frame;
The method of claim 1 further comprising:
前記第1フレームの右半分に基づいて、前記第1修正フレームの右半分を生成すること、
前記第1フレームの左半分に基づいて、前記第2修正フレームの左半分を生成すること、及び、
前記推測された後続フレームの右半分に基づいて、前記第2修正フレームの右半分を生成すること、
を更に含む、請求項9の方法。 Generating a left half of the first modified frame based on the left half of the inferred subsequent frame;
Generating a right half of the first modified frame based on a right half of the first frame;
Generating a left half of the second modified frame based on the left half of the first frame; and
Generating a right half of the second modified frame based on the inferred right half of the subsequent frame;
10. The method of claim 9, further comprising:
前記ズームアウト効果に基づいて前記第1修正フレームを前記左目ビューフレームとして指定すること、及び、
前記ズームアウト効果に基づいて前記第2修正フレームを前記右目ビューフレームとして指定すること、
を更に含む、請求項10の方法。 Determining that the camera effect is a zoom-out effect;
Designating the first modified frame as the left eye view frame based on the zoom out effect; and
Designating the second modified frame as the right eye view frame based on the zoom-out effect;
The method of claim 10, further comprising:
前記ズームイン効果に基づいて前記第1修正フレームを前記右目ビューフレームとして指定すること、及び、
前記ズームイン効果に基づいて前記第2修正フレームを前記左目ビューフレームとして指定すること、
を更に含む、請求項10の方法。 Seeking that the camera effect is a zoom-in effect;
Designating the first modified frame as the right eye view frame based on the zoom in effect; and
Designating the second modified frame as the left eye view frame based on the zoom in effect;
The method of claim 10, further comprising:
平面視ビデオの第1フレームと前記平面視ビデオの第2フレームとの間の動きを求めること、
前記動きに基づいてカメラ効果を分析すること、
前記動き及び前記カメラ効果に基づいて第1修正フレームを生成すること、
前記動き及び前記カメラ効果に基づいて第2修正フレームを生成すること、
前記カメラ効果、並びに、前記第1修正フレーム及び前記第2修正フレームのうちの少なくとも1つに基づいて、立体視ビデオの左目ビューフレームを生成すること、及び、
前記カメラ効果、並びに、前記第1修正フレーム及び前記第2修正フレームのうちの少なくとも1つに基づいて、前記立体視ビデオの右目ビューフレームを生成すること、
を含む、コンピュータ読み取り可能な記憶媒体。 A computer-readable storage medium comprising computer-executable instructions for causing a system to perform an operation, the operation comprising:
Determining a motion between a first frame of a planar video and a second frame of the planar video;
Analyzing the camera effect based on the movement;
Generating a first modified frame based on the motion and the camera effect;
Generating a second modified frame based on the motion and the camera effect;
Generating a left-eye view frame of a stereoscopic video based on the camera effect and at least one of the first modified frame and the second modified frame; and
Generating a right-eye view frame of the stereoscopic video based on the camera effect and at least one of the first modified frame and the second modified frame;
Including a computer-readable storage medium.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/301,143 US9693042B2 (en) | 2014-06-10 | 2014-06-10 | Foreground and background detection in a video |
US14/301,146 | 2014-06-10 | ||
US14/301,143 | 2014-06-10 | ||
US14/301,146 US9661309B2 (en) | 2014-06-10 | 2014-06-10 | Stereoscopic video zooming |
PCT/US2015/035186 WO2015191768A1 (en) | 2014-06-10 | 2015-06-10 | Stereoscopic video zooming and foreground and background detection in a video |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017523671A JP2017523671A (en) | 2017-08-17 |
JP6490107B2 true JP6490107B2 (en) | 2019-03-27 |
Family
ID=54834271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016572706A Expired - Fee Related JP6490107B2 (en) | 2014-06-10 | 2015-06-10 | Stereoscopic video zooming |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP3155809A4 (en) |
JP (1) | JP6490107B2 (en) |
KR (1) | KR101907127B1 (en) |
CN (1) | CN106716995A (en) |
WO (1) | WO2015191768A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110620916A (en) * | 2018-12-29 | 2019-12-27 | 北京时光荏苒科技有限公司 | Method and apparatus for processing image |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5028996A (en) * | 1989-06-26 | 1991-07-02 | Matsushita Electric Industrial Co., Ltd. | Picture coding method |
JP2000261828A (en) * | 1999-03-04 | 2000-09-22 | Toshiba Corp | Stereoscopic video image generating method |
TW521519B (en) * | 1999-11-26 | 2003-02-21 | Sanyo Electric Co | Apparatus and method for converting a two dimensional image to a three dimensional image |
JP2006042280A (en) * | 2004-07-30 | 2006-02-09 | Nihon Brain Ware Co Ltd | Image processing apparatus |
US9232228B2 (en) * | 2004-08-12 | 2016-01-05 | Gurulogic Microsystems Oy | Processing of image |
FI117845B (en) * | 2004-08-12 | 2007-03-15 | Gurulogic Microsystems Oy | Video image processing |
CN102685533B (en) * | 2006-06-23 | 2015-03-18 | 图象公司 | Methods and systems for converting 2d motion pictures into stereoscopic 3d exhibition |
US8330801B2 (en) * | 2006-12-22 | 2012-12-11 | Qualcomm Incorporated | Complexity-adaptive 2D-to-3D video sequence conversion |
US9172940B2 (en) * | 2009-02-05 | 2015-10-27 | Bitanimate, Inc. | Two-dimensional video to three-dimensional video conversion based on movement between video frames |
JP2011114863A (en) * | 2009-11-23 | 2011-06-09 | Samsung Electronics Co Ltd | Method for providing 3d image, method for converting 3d image, gui providing method, 3d display apparatus using the same, and system for providing 3d image |
US9171372B2 (en) * | 2010-11-23 | 2015-10-27 | Qualcomm Incorporated | Depth estimation based on global motion |
US9123115B2 (en) * | 2010-11-23 | 2015-09-01 | Qualcomm Incorporated | Depth estimation based on global motion and optical flow |
JP2012213583A (en) * | 2011-03-31 | 2012-11-08 | Fujifilm Corp | Stereoscopic display apparatus |
-
2015
- 2015-06-10 CN CN201580043225.8A patent/CN106716995A/en active Pending
- 2015-06-10 WO PCT/US2015/035186 patent/WO2015191768A1/en active Application Filing
- 2015-06-10 KR KR1020177000775A patent/KR101907127B1/en active IP Right Grant
- 2015-06-10 JP JP2016572706A patent/JP6490107B2/en not_active Expired - Fee Related
- 2015-06-10 EP EP15806292.7A patent/EP3155809A4/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
KR20170035885A (en) | 2017-03-31 |
EP3155809A4 (en) | 2018-01-03 |
KR101907127B1 (en) | 2018-10-11 |
EP3155809A1 (en) | 2017-04-19 |
CN106716995A (en) | 2017-05-24 |
WO2015191768A1 (en) | 2015-12-17 |
JP2017523671A (en) | 2017-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20110228051A1 (en) | Stereoscopic Viewing Comfort Through Gaze Estimation | |
JP6734620B2 (en) | Video processing method and video processing apparatus | |
WO2011108277A1 (en) | 3d imaging device and 3d imaging method | |
WO2011078065A1 (en) | Device, method and program for image processing | |
US20120069004A1 (en) | Image processing device and method, and stereoscopic image display device | |
WO2011108283A1 (en) | 3d imaging device and 3d imaging method | |
JP2019510991A (en) | Arrangement for rendering virtual reality with an adaptive focal plane | |
WO2011108276A1 (en) | 3d imaging device and 3d imaging method | |
US10554954B2 (en) | Stereoscopic focus point adjustment | |
JP6685241B2 (en) | Stereoscopic video generation | |
JP6490107B2 (en) | Stereoscopic video zooming | |
JP6608852B2 (en) | Stereoscopic depth adjustment and focus adjustment | |
US9693042B2 (en) | Foreground and background detection in a video | |
US9674500B2 (en) | Stereoscopic depth adjustment | |
US9661309B2 (en) | Stereoscopic video zooming | |
WO2013015217A1 (en) | Stereoscopic image processing device and stereoscopic image processing method | |
CA2982015A1 (en) | Method and apparatus for depth enhanced imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180417 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180717 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6490107 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |