JP2011166498A - Stereoscopic video adjustment device and adjustment method - Google Patents
Stereoscopic video adjustment device and adjustment method Download PDFInfo
- Publication number
- JP2011166498A JP2011166498A JP2010027682A JP2010027682A JP2011166498A JP 2011166498 A JP2011166498 A JP 2011166498A JP 2010027682 A JP2010027682 A JP 2010027682A JP 2010027682 A JP2010027682 A JP 2010027682A JP 2011166498 A JP2011166498 A JP 2011166498A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- foreground object
- region
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、立体映像調整装置及び調整方法に係り、特にステレオ立体映像で提示される画像の編集処理と表示調整に関する。 The present invention relates to a stereoscopic video adjustment device and an adjustment method, and more particularly, to editing processing and display adjustment of an image presented as a stereoscopic stereoscopic video.
三次元ディスプレイに表示するステレオ画像では、複数の画像の間の対応関係(視差量)によって、奥行き方向の長さが決定される。このため、ステレオ画像を編集・改変する場合には、二次元画像の編集・改変作業よりもペア画像の整合性を満たす制約条件が加わる分だけ作業が困難になる。これらの視差は、具体的な画像データ上においては、左右のステレオ画像間で対応の取れないピクセルの領域として表現される。このような領域は前景オブジェクトが背景を隠す部分に多く現れ、オクルージョン領域と呼ばれる。この領域によって視差が生まれることで立体感と臨場感を感じる一方で、その提示手段であるディスプレイ性能や、視聴の環境条件と一致しないほどの過剰な視差がある場合には、視聴者が疲労しやすいなどの事例も指摘されており、視差の量は、環境ごと、個人ごとの制約に合わせた適切な値になっていることが望ましい。 In the stereo image displayed on the three-dimensional display, the length in the depth direction is determined by the correspondence (parallax amount) between the plurality of images. For this reason, when editing / modifying a stereo image, the work is more difficult than the editing / modifying work of a two-dimensional image, as much as a constraint condition that satisfies the consistency of the pair image is added. These parallaxes are expressed as pixel areas that cannot be matched between the left and right stereo images on specific image data. Such an area often appears in a portion where the foreground object hides the background, and is called an occlusion area. While the parallax is created by this area, the viewer feels three-dimensional and immersive, while the display performance, which is the presentation means, and excessive parallax that does not match the viewing environment conditions cause the viewer to become tired. Cases such as easy cases have been pointed out, and it is desirable that the amount of parallax be an appropriate value in accordance with the constraints of each environment and each individual.
このため、撮影環境のステレオカメラの視差量を、提示環境の条件に一致させて映像を取得するなどの配慮が多くの場合に必要とされてきた。しかし、立体コンテンツが一般的になるにつれ、異なる立体映像環境に画像を提示する場合や、ポストプロダクションレベルでの調整など、視差の量の調整が望まれるケースも生まれ始めてきた。このため、立体映像素材を用いて、画像中間画像や自由視点画像と呼ばれる、視差量を調整した映像を人為的に作成する発明がある(特許文献1)。 For this reason, in many cases, consideration has been given such as acquiring video by matching the parallax amount of the stereo camera in the shooting environment with the conditions of the presentation environment. However, as stereoscopic content becomes common, cases have arisen where adjustment of the amount of parallax is desired, such as when an image is presented in a different stereoscopic image environment, or adjustment at a post-production level. For this reason, there is an invention that artificially creates a video with an adjusted amount of parallax, called an intermediate image or a free viewpoint image, using a stereoscopic video material (Patent Document 1).
中間画像を作成する場合には、元画像では別の物体の陰になって見えなかったオクルージョン領域の映像部分を復元する必要が生まれる。非特許文献1では、そのようなオクルージョンの情報を推定し、類似画像領域から復元する手法(ホールコンプリーション)についての手法が開示されている。
In the case of creating an intermediate image, it is necessary to restore the video portion of the occlusion area that was hidden behind another object in the original image. Non-Patent
また、特許文献2では、視差の量を奥行きやオブジェクトの条件に合わせて変化させることによって、人間の視聴の興味のある部分に重点を置いて立体性を強調する手法が語られている。このような部分的な視差の強調処理を行うことによって、ディスプレイの飛び出し量の限界性能などを制御することが可能になる。 Japanese Patent Application Laid-Open No. 2004-228688 discusses a technique for emphasizing three-dimensionality with an emphasis on a portion of interest for human viewing by changing the amount of parallax in accordance with depth and object conditions. By performing such partial parallax enhancement processing, it becomes possible to control the limit performance of the pop-out amount of the display.
一方、二次元画像コンテンツの改変技術として、人間による観察時に画像内で重要となる部分を考慮した映像処理(Context-aware image processing)の研究が進められてきた。その種の技術の中で、重要なオブジェクトの形状を維持したままで縦横比率の変更を行うImage Retargetingと呼ばれる処理技術があり、このImage retargetingの処理技法の一つにSeam-carvingと呼ばれる技術が提唱されている(非特許文献2)。図1は、同技法を適用する概念図である。この技法では、元画像100に写っている主被写体や背景の物体など、目に付きやすい画像領域を避けながら、画像の上下をつなぐ 110〜115のような継ぎ目(seam:以下シームと記載)と呼ばれる一連の連結パスを探索し、このシームに沿って、ピクセルの削除、複製を行うことで、異なるサイズの画像101を作成する。
On the other hand, research on video processing (context-aware image processing) that takes into account important parts of an image during observation by humans has been advanced as a technique for modifying two-dimensional image content. Among such techniques, there is a processing technique called Image Retargeting that changes the aspect ratio while maintaining the shape of important objects, and one of the processing techniques of Image retargeting is a technique called Seam-carving. It has been proposed (Non-Patent Document 2). FIG. 1 is a conceptual diagram to which the technique is applied. With this technique, seams such as 110-115 that connect the top and bottom of the image (seam: hereinafter referred to as a seam) while avoiding easy-to-see image areas such as the main subject and background objects in the original image 100 A series of connection paths called is searched, and
しかしながら、上記従来の技術では、画一的な視差量調整しかできなかった。また、利用者によっては映像に違和感が発生するおそれもあり、これに対応することは困難であった。そのため、オクルージョン領域の映像情報が不明であるステレオ画像において、映像としての違和感を与えることなく前景と背景の視差量を調整することが望まれている。 However, with the above conventional technique, only a uniform parallax amount adjustment can be performed. In addition, some users may feel uncomfortable in the video, and it has been difficult to cope with this. Therefore, it is desired to adjust the amount of parallax between the foreground and the background without giving a sense of discomfort as a video in a stereo image in which video information in the occlusion area is unknown.
本発明は、上記課題を解決するため、以下の構成を備える。即ち、立体映像調整装置は、複数のカメラで前景物体と背景物体が撮影され、ステレオマッチングの対応点が取られた画像に対して、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスを複数本取得する手段と、背景画像において画像勾配の小さい領域を連結したパスを複数本取得する手段と、それらのパス上のピクセルを削除または複製することによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が異なる疑似画像を作成する手段とを備える。 In order to solve the above problems, the present invention has the following configuration. That is, the 3D image adjustment apparatus captures a foreground object and a background object with a plurality of cameras, and an image area in which the foreground object is captured and an image of the foreground object with respect to an image in which corresponding points of stereo matching are taken. Means for acquiring multiple paths connecting areas with low image gradients that pass through the combined area of the background that is hidden from another viewpoint position by superimposition, and paths connecting areas with low image gradients in the background image And a means for creating a pseudo image in which a difference in depth between the foreground object and the background object is different when performing stereo viewing by deleting or duplicating pixels on the path. Is provided.
本発明によれば、ステレオ画像における映像の違和感を低減することが可能となる。 According to the present invention, it is possible to reduce the uncomfortable feeling of a video in a stereo image.
本発明の実施形態をいくつかの実施例によって説明する。 Embodiments of the present invention are illustrated by several examples.
実施例1は、図2の201、202としてステレオ画像が与えられたとき、画像の主要なオブジェクトの見た目に改変を少なく抑えたままで、ペア画像との視差を改変するための継ぎ目領域を複数セット抽出し、その継ぎ目領域のピクセルを削減または複製することで継ぎ目領域の左右の領域の視差を変更したステレオ画像を生成する画像情報処理を実行する。 In the first embodiment, when a stereo image is given as 201 and 202 in FIG. 2, a plurality of seam regions for modifying the parallax with the pair image are set while keeping the modification of the main object of the image to a small extent. Image information processing is performed to generate a stereo image in which the parallax of the left and right regions of the joint region is changed by extracting and reducing or duplicating the pixels of the joint region.
図3は、この画像201,202に写っている各物体の三次元的な位置情報を示す模式図である。前面(手前)にある物体306,307は、本ステレオ画像で注視されることを想定されて撮影された前景物体であり、画像201上の物体206,207に対応する。領域305は画像201上の物体205に対応する背景物体である。311は右目位置302から見て前景物体307に背景物体305が隠蔽される領域、312は左目位置301から見て前景物体307に背景物体305が隠蔽される領域、321は左目画像として見える視差領域の背景画像、322は右目画像として見える視差領域の背景画像領域をそれぞれ表す。以下では、左目301から見て物体307の背面となる背景領域と、右目302から見て同物体307の背面となる領域を合わせた(論理和をとった)領域310を、物体307の背面領域と呼ぶ。左目301から見た画像において、背面領域310の画像上での大きさと、物体307の大きさの差は、背景画像に対する前景画像とのオクルージョンの大きさであり、ステレオ視における相対的な奥行き量を生む。右目画像の背面領域も、同様に左右を入れ替えて定義される。
FIG. 3 is a schematic diagram showing three-dimensional position information of each object shown in the
前景物体に注視している場合、背景画像のうち背面領域に含まれる領域においてはステレオマッチングの対象が与えられない、または逆視の状態になり、奥行き情報を認識することができない。本実施例では、この領域で奥行きマッチングが行われないことに着目して、シームカービングや拡大縮小によるサイズ変更を行うことによって背景と前景との奥行き距離を調整する。 When the user is gazing at the foreground object, the stereo matching target is not given to the area included in the back area of the background image, or the depth information cannot be recognized. In this embodiment, paying attention to the fact that depth matching is not performed in this region, the depth distance between the background and the foreground is adjusted by changing the size by seam carving or enlargement / reduction.
図4は、このような情報処理を実行するための情報処理装置400の例を示す模式図である。中央演算装置405、主記憶装置406、外部記憶装置407と、外部に接続するモニタディスプレイ402にステレオ立体映像を提示する立体映像出力装置408、表示するステレオ画像を408に送る立体映像入出力インタフェース409、ネットワークインタフェース410の要素から構成される。
FIG. 4 is a schematic diagram illustrating an example of an
この情報処理装置400は汎用の計算機である。情報処理装置400は、必要に応じて、外部入出力インタフェースとしてUSBなど汎用の外部機器制御インタフェースを用いる。情報処理装置400は、他の情報処理装置とネットワークIF410を介してメッセージを交換するが、このネットワークの実装には、TCP/IPなどの既存のメッセージ交換用プロトコルを利用する。情報処理装置400は、画像データを入出力する画像データ入出力機器411が接続される。この画像データ入出力機器411としては、SDカードなど既存の磁気・光学データの読み取り装置などである。
The
画像データ入出力機器411には、画像情報および補佐情報が含まれるデータ媒体415が接続される。このデータ媒体415には、図2のステレオ画像201,202が保存されており、最終的な調整後のステレオ画像が保存される。また、データ媒体415には別装置によって計測されたステレオ画像の視差情報も、視差マップの構造体(配列データ)501、502としてあらかじめ保存されている。
A
図5は各画素の対応するステレオ画像位置への移動量の配列データを示す図であり、501は画像201から画像202への移動量を示す配列データ、502は画像202から画像201への移動量を示す配列データ、510はある画素の移動量を示すベクトル構造体である。この視差情報については、レーザ計測を用いたレンジファインダや、ステレオ画像の対応点探索処理を実行して既に取得されているものとする。また、データ媒体415にはアプリケーションで注視の対象となる前景オブジェクトと、背景オブジェクトを分離したラベル情報も保存されている。
FIG. 5 is a diagram showing array data of the movement amount of each pixel to the corresponding stereo image position, 501 is array data indicating the movement amount from the
図6は各画素の対応するオブジェクトIDを示すラベルの配列データを示す図である。601は画像201の各画素に対するラベルデータの配列、602は画像202の各画素に対するラベルデータの配列、610はある画素がどのオブジェクトに含まれるかを表現するIDのデータをそれぞれ示す。このラベル情報についても、本実施例では、人間の手作業による入力、物体の画像認識、奥行き情報に基づく切り出しなどをもとに、あらかじめ作成されているものとする。
FIG. 6 is a diagram showing array data of labels indicating object IDs corresponding to the respective pixels.
本実施例を実現するための一連の情報処理の流れを示すフロー図を図7に示す。本実施例の処理工程は、各種情報の読み込み処理(701)、背面領域の作成(702)、シームの作成(703)、画素の移動(704)、画像の保存(705)の順で、それぞれ情報処理装置400によって処理される。以下、それぞれの処理内容を説明する。
FIG. 7 shows a flowchart showing a flow of a series of information processing for realizing the present embodiment. The processing steps of this embodiment are read in various information (701), back surface creation (702), seam creation (703), pixel movement (704), and image storage (705), respectively. Processed by the
工程701では、データ媒体415に保存されている各種情報を、主記憶装置406上に読み込む。ラベルデータ601と602は、左右視点の画像の解像度と同一サイズの配列情報であり、前景のオブジェクト毎に固有のID(1〜N)を付したデータが保存されている。このとき背景画像に相当する画像ピクセルのIDは0とする。また、視差情報500と501を、主記憶上装置406に読み込む。この視差情報は、左右視点の画像の解像度と同一サイズの配列であり、左画像のpL位置にあるピクセルに対応する右画像内の位置pRへの差分情報pR−pLというベクトルが保存されている。
In
工程702では、ラベルデータのIDで特定される左右画像の各前景オブジェクトに対して、背面領域310を推定したラベル情報を作成する。
In
図8は前景画像に対応する背面領域のラベルデータの完成状態を示す模式図である。801は画像201に対応する背面領域のラベルデータ配列、806は物体206に対応する背面領域のラベル領域、807は物体207に対応する背面領域のラベル領域をそれぞれ示したものである。
FIG. 8 is a schematic diagram showing a completed state of label data in the back area corresponding to the foreground image.
右画像(右目画像)の解像度と同一サイズの配列801を用意し、配列801の全ての要素を−1でクリアする。左画像(左目画像)の各ピクセルについて、視差情報501から相対位置を読み込んで右画像内の位置を探し、配列801のその対応する位置に、前景オブジェクトに含まれている場合にはそのIDを、背景の場合には0を書き込む。左画像の全てのピクセルについて同様の処理を行う。この結果、-1として残っていた要素については、右画像内で同一位置にあるオブジェクトのIDを書き込む。出来上がった配列の各IDを背面領域データ801として、主記憶装置406上に保存する。続いて右画像と左画像を入れ替えて、同様の検出作業を行う。
An
工程703では、背景画像を分割し、拡張または縮小するためのシームの検出を行う。図9のフロー図に、このシームの検出手順を示す。
In
工程901では、シーム検出用のエネルギー補正項を計算する。各オブジェクト(オブジェクトのIDを示すサフィックスをkとする)について、左画像についてオブジェクトの背面領域を通過するシームを作成する。背面領域データ801のラベル値がkであるピクセルには、定数値−Cを、それ以外は0を割り当てた配列を作成し、これを補正エネルギーマップE1とする。定数値−Cは、シームが該当するラベル部分を通過するように誘導するための補正エネルギー値である。また、画素位置(X,Y)について、背面領域データ801のラベル値がkであるピクセル数をYについて合計した一次元のヒストグラムP1(X)を作成し、P1にガウシアンフィルタを適用して平滑化して定数倍(−C2)したヒストグラムP2(X)を作成する。定数値C2は、シームがラベル部分の上部を通過しやすいように誘導するための補正エネルギー値である。820はこのヒストグラムP2を表したヒストグラムのグラフの概念図である。
エネルギー補正項EsをEs(X,Y)=E1(X,Y)+P2(X)として算出する。
In
The energy correction term Es is calculated as Es (X, Y) = E1 (X, Y) + P2 (X).
工程902では、Esを勾配エネルギーに追加して、各前景物体(以下、このIDをkとする)視差領域調整用シームを取得する。
In
映像からシームを取得する方法は、非特許文献2に記載されている。図16は、同手法に基づいてシームの作成方法を示したものである。シームはdynamic programingの計算手法を用い、上から下に向けて一ラインずつエネルギーE(X,Y)の最小値をたどるパスを計算していくことで得られる。上から順に横方向のラインを選び(1601)、そのラインの各ピクセル(X,Y)について(1602)、一つ上のラインで近接するピクセル(距離k)のエネルギーE(X+k,Y-1)の中から最も小さいものを選びE_0(X,Y)とする(1603)。さらに、(X,Y)位置での画像の勾配値ΔI(X,Y)をE_g(X,R)とする。さらに、工程901で計算されたEs(X,Y)を合わせて、E(X,Y)=E_0(X,Y)+E_g(X,Y)+E_s(X,Y)として、このピクセルでのエネルギー量を代入する。すべてのラインについてエネルギーの計算を終えた後、最終ラインY=heightの位置で最も小さいエネルギーのピクセルを選び(1608)、工程1603でこのピクセルが選択したラインを順にたどっていくことで、すべてのYについてシームが選択される。この処理により1本のシームが選択できる。次のシームを選ぶ場合には、このシームのピクセルを削除してX方向に1ピクセル縮小した画像を作成して、繰り返し処理を行っていく。以上の一連の処理をは「シームの取得」と表現する。
A method for acquiring a seam from a video is described in
まず左画像について、S本の視差領域調整用シームを取得する。以下では、これらをS1L(k,s)とする。但しsは0<s<Sとなるサフィックスとする。(なお、このシームの取得の際に、別のオブジェクトk’のシームとして選ばれたピクセルに距離Sよりも近づいた場合には、エネルギー補正項P2が足りなかった場合である。この場合、C2を二倍にして工程901から再び処理を行う。)取得されたS本のシームのピクセルのうちで、左画像のオブジェクト領域(すなわち画像601がkとなっている領域)と重複しているものを、背面領域で左画像のオブジェクトと重複していない領域(すなわち視差となる背景画像の領域)の中で、もっとも勾配の小さい領域に移動させる。この処理により、シームが背面領域に交差したときにはオクルージョン部分が調整されるようになる。
First, S parallax region adjustment seams are acquired for the left image. Hereinafter, these are assumed to be S1L (k, s). However, s is a suffix that satisfies 0 <s <S. (Note that when the seam is acquired, if the pixel selected as the seam of another object k ′ is closer than the distance S, the energy correction term P2 is insufficient. In this case, C2 And the process is repeated from
左画像内で得られたシームの各ピクセルについて、テーブル502の移動量を用いて右画像の対応位置を算出して右画像のS本のシームS1R(k,s)を作成する。但しsは0<s<Sとなるサフィックスとする。この右画像のシームについても、取得されたシームの各ピクセルのうち、右画像のオブジェクト領域と重複しているものを、背面領域で右画像のオブジェクトと重複していない領域(すなわち視差となる背景画像の領域)の中で、もっとも勾配の小さい領域に移動させる。以上を繰り返すことにより、各前景オブジェクトに対して、背面領域操作用のシームS1L(k,s)とS1R(k,s)の対が作成される。 For each pixel of the seam obtained in the left image, the corresponding position of the right image is calculated using the movement amount of the table 502, and S seams S1R (k, s) of the right image are created. However, s is a suffix that satisfies 0 <s <S. Also for the seam of the right image, among the obtained pixels of the seam, those overlapping with the object region of the right image are the regions that do not overlap with the object of the right image in the back region (that is, the background that is parallax) Move to the area with the smallest gradient in the image area. By repeating the above, a pair of seam S1L (k, s) and S1R (k, s) for operating the back region is created for each foreground object.
工程903では、背景領域調整用シームS2を作成する。
まず左画像について、S本の背景領域調整用シームを取得する。左画像で、背面領域操作用のシームS1によって分割された背景領域について、ラベリング処理を行い、異なるオブジェクトIDによってはさまれている領域を取り出す。この各領域を中間背景領域と呼び、各領域のIDをmで表現する。
In
First, S background area adjustment seams are acquired for the left image. In the left image, a labeling process is performed on the background area divided by the seam S1 for operating the back area, and an area sandwiched by different object IDs is extracted. Each area is called an intermediate background area, and the ID of each area is represented by m.
各中間背景領域mについてS本のシームを取得する。これらを左画像のシームS2L(m,s)とする。但しsは0<s<Sとなるサフィックスとする。また、テーブル502の移動量を用いてS2Lの各ピクセルの右画像上の対応位置を算出して右画像のS本のシームを作成し、右画像のシームS2R(m,s)とする。
以上でシームが作成される。
S seams are acquired for each intermediate background region m. These are the seam S2L (m, s) of the left image. However, s is a suffix that satisfies 0 <s <S. Further, the corresponding position on the right image of each pixel of S2L is calculated using the movement amount of the table 502, and S seams of the right image are created, and the seam S2R (m, s) of the right image is obtained.
The seam is now created.
工程704では、工程703で作成されたシームを用いて視差量の変更処理を行う。
視差を縮小する場合には、非特許文献2の手法にもとづき、シームS1の領域のピクセルを削除して、シームS2の領域を複製する。(このとき、シームS1の領域を複製し、シームS2の領域を削除することで視差を拡大することが出来る。)図12はこの処理によって改変される処理の内容を示したものである。右目画像の背景領域1201、1202は相対的に左に動き、左目画像の背景領域1203〜1205は相対的に右に動く。この処理の結果として、シームカービングによって背景の画像領域が拡大して、オクルージョン領域が削減されるため、前景と背景の間の視差が小さくなる。
In
In the case of reducing the parallax, based on the method of
図10はこの手法によって作成される視差領域を調整するためのシームである。このシーム1001〜1004上のピクセルを削除することで前景と背景の視差が減少し、逆にピクセルを複製することで前景と背景の視差は増大する。また図11のシームは図10のシーム部分の改変で行われる領域の調整に合わせ、1001〜1004のピクセルを削減した時には1101〜1104のピクセルを複製することで、画像全体のサイズを維持する。
FIG. 10 shows a seam for adjusting the parallax region created by this method. Deleting the pixels on the
工程705では、工程704で改変された画像を、立体映像入出力インタフェース409を通して、立体映像出力装置408に提示する。また、同画像を、外部出力415に保存する。
以上の一連の処理により、背景視差の量を制御したステレオ画像が作成される。
In
Through the series of processes described above, a stereo image in which the amount of background parallax is controlled is created.
実施例2は、実施例1のシステムに、ステレオカメラとレンジファインダを追加して、その場で撮影された映像の奥行きを加工して表示する装置である。図13は、この実施例を実現するための装置を示した図である。1300〜1310までは、それぞれ400〜410までの機器と同一であり、ステレオの調整がされたカメラ1311,1312とレンジファインダ1313を備えている。
The second embodiment is an apparatus that adds a stereo camera and a range finder to the system of the first embodiment, and processes and displays the depth of a video shot on the spot. FIG. 13 is a diagram showing an apparatus for realizing this embodiment. The
この装置では、実施例1での工程701において、データ媒体415からステレオ画像を読み込む代わりに、ステレオカメラ1311,1312で撮影し、撮影した画像201と202を読み込む。また、データ媒体415から視差情報を読み取る代わりに、奥行き情報をレンジファインダ1313で取得し、得られた情報を視差情報に変換して、その奥行き量のデータを対応距離に変換したものをデータ501,502として用いる。また、各Y座標についてスキャンを行って奥行き量がそのラインでの最頻値よりも一定以上近い部分を前景オブジェクトとみなして、その判別結果にラベリング処理を施したものをしたデータを作成し、ラベル情報601,602として用いる。
それ以外の各工程処理については実施例1と同様の処理を行う。
In this apparatus, instead of reading a stereo image from the data medium 415 in
About each process of the other than that, the process similar to Example 1 is performed.
実施例3は、実施例1のシステムで変換した画像を表示、保存する代わりに、シーム自体を保存して、表示時にインタラクティブに奥行き情報を変換できるようにしたものである。 In the third embodiment, instead of displaying and storing the image converted by the system of the first embodiment, the seam itself is stored so that depth information can be interactively converted at the time of display.
図14は、実施例1においての動作フロー図7に対応する動作フローの図である。工程1401〜1403は、工程701〜703と同様である。実施例1において、工程704で画素の移動が行われ工程705で改変後の画像が保存されるのに対し、本実施例では、工程1404でシームの情報自体をデータ媒体415に保存する。この情報は再生時に読み込まれ、表示時のユーザ入力に併せてピクセルを削除・複製量が決められる。
FIG. 14 is an operational flow diagram corresponding to the operational flow diagram 7 in the first embodiment.
図15は、再生時の工程を示した動作フロー図である。この処理は情報処理機器400で実行される。工程1500でステレオ画像を読み込む。またシーム情報を工程1501で読み込む。工程1502では、視差の制御数を入力として受付け、工程1503でその値をメモリ領域S0に保存する。工程1504では、S0本のシームについて画素の移動改変を行い、その結果を工程1505で表示する。
これにより、最終的に出力される画像は、工程1502で入力された値に応じて視差の調整が反映されたものとなる。
FIG. 15 is an operation flowchart showing the steps during reproduction. This process is executed by the
As a result, the final output image reflects the parallax adjustment according to the value input in
実施例4は、実施例1のシステムでのシーム取得に対して、ステレオマッチング対応点の信頼精度に合わせた重み付けを行うものである。 In the fourth embodiment, the seam acquisition in the system of the first embodiment is weighted according to the reliability of stereo matching corresponding points.
画像201を移動量のテーブル502で移動して作成された画像R’(0)を作成する。この画像R’(0)と画像202の差の絶対値を計算し、D(0)とする。また、R’を左右にpピクセル移動した画像R’(p)と画像202の差の絶対値を計算し、それぞれD(p)とする。(本実施例では、pの値として、-2,-1,1,2の四種類を用いることにする)。各ピクセルについて、D(p)-D(0)の平均値を取り、この値をステレオマッチングの信頼精度Wとする。実施例1の工程902で行われるシームの抽出処理において、視差領域調整用シームが背面領域に交差したときに、シーム上の各ピクセルp(y)を移動する位置について、式(1)を用いて定める。
Min ( E_data(p(y)) + E_smooth(p(y))) (1)
”Computing Visual Correspondence with Occlusions via Graph Cuts”, Vladimir Kolmogorov and Ramin Zabih, In International Conference on Computer Vision, 2001に示されるように、式(1)は、平滑項とデータ項としてグラフ上にエネルギーを定義してグラフカットの手法を用いて最小化するための一般的な定式条件である。ただしここで、E_data(p(y))には、グラフカット処理のデータ項であり、背景領域として分割された部分領域についてはWの値を、前景領域としてラベルされた領域については定数値C3を代入する。また、E_smooth(p(y))には、シームの削除によって改変される勾配の変動量を用いる。具体的手法は、Improved seam carving for video retargeting, Michael Rubinstein, Arial Shamir, Shai Avidan, 2009に記載されている。
An image R ′ (0) created by moving the
Min (E_data (p (y)) + E_smooth (p (y))) (1)
As shown in “Computing Visual Correspondence with Occlusions via Graph Cuts”, Vladimir Kolmogorov and Ramin Zabih, In International Conference on Computer Vision, 2001, equation (1) defines the energy on the graph as smooth and data terms. This is a general formula condition for minimizing using the graph cut technique. However, here, E_data (p (y)) is a data term of the graph cut process, the value of W for the partial area divided as the background area, and the constant value C3 for the area labeled as the foreground area. Is assigned. E_smooth (p (y)) uses the variation amount of the gradient modified by seam deletion. Specific methods are described in Improved seam carving for video retargeting, Michael Rubinstein, Arial Shamir, Shai Avidan, 2009.
この値を最小化することにより、シームの削除を行うことによって視差にズレの出る可能性のある画像領域を避けながら、連続性の高いシームを選択することが出来る。 By minimizing this value, it is possible to select a seam having high continuity while avoiding an image area that may be shifted in parallax by deleting the seam.
100:シームカービング適用前の元画像、101:シームカービング適用後の縮小画像、110〜115:シーム、201:右目位置から視たステレオ画像、202:左目位置から視たステレオ画像、205:画像201上の背景物体映像、206,207:画像201上の前景物体映像、215:画像202上の背景物体映像、216,217:画像202上の前景物体映像、301:左目観察点の位置、302:右目観察点の位置、305:画像上の物体205に対応する背景物体、306,307:画像上の物体206,207に対応する前景物体、310:物体307の背面領域、311:右左目位置から見て前景物体307に背景物体305が隠蔽される領域、321:左目画像から見える視差領域の背景画像、322:右目画像から見える視差領域の背景画像、400:情報処理装置、402:モニタディスプレイ、405:中央演算装置(CPU)、406:主記憶装置(メモリ)、407:外部記憶装置(HDD)、408:立体映像出力装置、409:立体映像入出力インタフェース、410:ネットワークインタフェース、411:画像データ入出力機器、415:データ媒体、501:画像201から画像202への移動量を示す配列データ、502:画像202から画像201への移動量を示す配列データ、510:ある画素の移動量を示すベクトル構造体、601:画像201の各画素に対するラベルデータの配列、602:画像202の各画素に対するラベルデータの配列、610:ある画素がどのオブジェクトに含まれるかを表現するIDのデータ、801:201に対応する背面領域のラベルデータ配列、806:206に対応する背面領域のラベル領域、807:207に対応する背面領域のラベル領域、820:ラベル806に対してY方向に加算カウントしたヒストグラム、1001〜1004:視差領域調整用シーム、1101〜1104:視差領域調整用シーム、1201,1202:相対的に左に動く背景領域、1203,1204:相対的に右に動く背景領域、1311,1312:ステレオカメラ、1313:レンジファインダ。 100: Original image before applying seam carving, 101: Reduced image after applying seam carving, 110 to 115: Seam, 201: Stereo image viewed from right eye position, 202: Stereo image viewed from left eye position, 205: Image 201 Upper background object image, 206, 207: Foreground object image on image 201, 215: Background object image on image 202, 216, 217: Foreground object image on image 202, 301: Position of left eye observation point, 302: Right eye observation point Position, 305: Background object corresponding to object 205 on image, 306, 307: Foreground object corresponding to object 206, 207 on image, 310: Back region of object 307, 311: Background object on foreground object 307 viewed from right / left eye position 305: Area where 305 is concealed, 321: Background image of parallax area visible from left eye image, 322: Background image of parallax area visible from right eye image, 400: Information processing device, 402: Monitor display, 405: Central processing unit (CPU) , 406: Main memory (memory), 407 : External storage device (HDD), 408: stereoscopic video output device, 409: stereoscopic video input / output interface, 410: network interface, 411: image data input / output device, 415: data medium, 501: from image 201 to image 202 Array data indicating the amount of movement, 502: array data indicating the amount of movement from the image 202 to the image 201, 510: a vector structure indicating the amount of movement of a certain pixel, 601: an array of label data for each pixel of the image 201, 602 : Array of label data for each pixel of image 202, 610: data of ID expressing which object a certain pixel is included in, label data array of back area corresponding to 801: 201, back surface corresponding to 806: 206 Label area of the area, label area of the back area corresponding to 807: 207, 820: histogram added and counted in the Y direction with respect to the label 806, 1001 to 1004: seam for adjusting parallax area, 1101 to 1 104: Seam for adjusting parallax area, 1201, 1202: Background area moving relatively to the left, 1203, 1204: Background area moving relatively to the right, 1311, 1312: Stereo camera, 1313: Range finder.
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010027682A JP5307051B2 (en) | 2010-02-10 | 2010-02-10 | Stereoscopic image adjusting apparatus and adjusting method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010027682A JP5307051B2 (en) | 2010-02-10 | 2010-02-10 | Stereoscopic image adjusting apparatus and adjusting method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011166498A true JP2011166498A (en) | 2011-08-25 |
JP5307051B2 JP5307051B2 (en) | 2013-10-02 |
Family
ID=44596651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010027682A Expired - Fee Related JP5307051B2 (en) | 2010-02-10 | 2010-02-10 | Stereoscopic image adjusting apparatus and adjusting method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5307051B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013035551A1 (en) * | 2011-09-07 | 2013-03-14 | シャープ株式会社 | Stereoscopic image processing apparatus, stereoscopic image processing method, and program |
CN105100767A (en) * | 2014-05-19 | 2015-11-25 | 纬创资通股份有限公司 | Method and system for judging 3D image |
US9756321B2 (en) | 2013-11-13 | 2017-09-05 | Samsung Display Co., Ltd. | Three-dimensional image display device and method of displaying three dimensional image |
CN113973173A (en) * | 2020-07-24 | 2022-01-25 | 华为技术有限公司 | Image synthesis method and electronic device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009124308A (en) * | 2007-11-13 | 2009-06-04 | Tokyo Denki Univ | Multi-viewpoint image creating system and multi-viewpoint image creating method |
WO2009070449A1 (en) * | 2007-11-30 | 2009-06-04 | Mitsubishi Electric Research Laboratories, Inc. | Content aware resizing of images and videos |
-
2010
- 2010-02-10 JP JP2010027682A patent/JP5307051B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009124308A (en) * | 2007-11-13 | 2009-06-04 | Tokyo Denki Univ | Multi-viewpoint image creating system and multi-viewpoint image creating method |
WO2009070449A1 (en) * | 2007-11-30 | 2009-06-04 | Mitsubishi Electric Research Laboratories, Inc. | Content aware resizing of images and videos |
JP2011505631A (en) * | 2007-11-30 | 2011-02-24 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | Content-aware resizing for images and videos |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013035551A1 (en) * | 2011-09-07 | 2013-03-14 | シャープ株式会社 | Stereoscopic image processing apparatus, stereoscopic image processing method, and program |
JP2013058849A (en) * | 2011-09-07 | 2013-03-28 | Sharp Corp | Stereoscopic image processing apparatus, stereoscopic image processing method, and program |
US9756321B2 (en) | 2013-11-13 | 2017-09-05 | Samsung Display Co., Ltd. | Three-dimensional image display device and method of displaying three dimensional image |
CN105100767A (en) * | 2014-05-19 | 2015-11-25 | 纬创资通股份有限公司 | Method and system for judging 3D image |
CN113973173A (en) * | 2020-07-24 | 2022-01-25 | 华为技术有限公司 | Image synthesis method and electronic device |
Also Published As
Publication number | Publication date |
---|---|
JP5307051B2 (en) | 2013-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8878835B2 (en) | System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images | |
JP5156837B2 (en) | System and method for depth map extraction using region-based filtering | |
US6215516B1 (en) | Method and apparatus for monoscopic to stereoscopic image conversion | |
JP4879326B2 (en) | System and method for synthesizing a three-dimensional image | |
US8553972B2 (en) | Apparatus, method and computer-readable medium generating depth map | |
Cheng et al. | Spatio-temporally consistent novel view synthesis algorithm from video-plus-depth sequences for autostereoscopic displays | |
US9679415B2 (en) | Image synthesis method and image synthesis apparatus | |
US20080226128A1 (en) | System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images | |
JP2006325165A (en) | Device, program and method for generating telop | |
JP2005235211A (en) | Image compositing method of intermediate point in time, and 3d-display device with the method applied | |
CN107798704B (en) | Real-time image superposition method and device for augmented reality | |
Li et al. | Depth-aware stereo video retargeting | |
KR20110116671A (en) | Apparatus and method for generating mesh, and apparatus and method for processing image | |
Kilner et al. | Objective quality assessment in free-viewpoint video production | |
Ceulemans et al. | Robust multiview synthesis for wide-baseline camera arrays | |
Wang et al. | Stereoscopic image retargeting based on 3D saliency detection | |
KR20120082336A (en) | Apparatus and method for multi-view rendering using background pixel expansion and background-first patch matching | |
Oliveira et al. | Selective hole-filling for depth-image based rendering | |
JP2018180687A (en) | Image processing apparatus, image processing method and program | |
JP5307051B2 (en) | Stereoscopic image adjusting apparatus and adjusting method | |
US20140098246A1 (en) | Method, Apparatus and Computer-Readable Recording Medium for Refocusing Photographed Image | |
Guo et al. | View-consistent meshflow for stereoscopic video stabilization | |
US9325962B2 (en) | Method and system for creating dynamic floating window for stereoscopic contents | |
CN107798703B (en) | Real-time image superposition method and device for augmented reality | |
Klose et al. | Flowlab-an interactive tool for editing dense image correspondences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130626 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5307051 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |