JP2012104898A - Image processing system, image processing method, and program - Google Patents
Image processing system, image processing method, and program Download PDFInfo
- Publication number
- JP2012104898A JP2012104898A JP2010249282A JP2010249282A JP2012104898A JP 2012104898 A JP2012104898 A JP 2012104898A JP 2010249282 A JP2010249282 A JP 2010249282A JP 2010249282 A JP2010249282 A JP 2010249282A JP 2012104898 A JP2012104898 A JP 2012104898A
- Authority
- JP
- Japan
- Prior art keywords
- frame data
- data
- motion vector
- video data
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
Description
本発明は、二次元映像を三次元映像に変換する技術に関する。より詳しくは、フレームレートの低い二次元映像を補間しつつ三次元映像に変換するときの変換演算に要する負荷を抑制する技術に関する。 The present invention relates to a technique for converting a two-dimensional image into a three-dimensional image. More specifically, the present invention relates to a technique for suppressing a load required for a conversion operation when converting a two-dimensional video with a low frame rate into a three-dimensional video while interpolating.
昨今、三次元映像が話題となり、映像を三次元で楽しむのが流行となっている。しかしながら、これまでに撮影され、制作された映像のほとんどが二次元映像である。 In recent years, 3D video has become a hot topic, and it is becoming popular to enjoy video in 3D. However, most of the images shot and produced so far are two-dimensional images.
これら膨大な二次元映像の資産を三次元映像として楽しむために、従来より、二次元映像を擬似的な三次元映像に変換する技術が提案されている。このような技術が、例えば、特許文献1に記載されている。特許文献1に記載されている技術を用いれば、二次元映像として配信されている映像でも、三次元映像として閲覧することが可能となる。
In order to enjoy such a vast amount of 2D video assets as 3D video, a technique for converting 2D video to pseudo 3D video has been proposed. Such a technique is described in
一方、モバイル端末装置向けに配信される映像は、フレームレートが低く設定されていることが多く、このまま再生した場合には、なめらかな映像を楽しむことができない。したがって、復号化されたフレームから補間フレームを生成することによって、再生される映像のフレームレートを向上させる技術が知られている。このような技術が、例えば、特許文献2に記載されている。
On the other hand, video delivered to mobile terminal devices is often set to a low frame rate, and when played as it is, smooth video cannot be enjoyed. Therefore, a technique for improving the frame rate of a reproduced video by generating an interpolation frame from the decoded frame is known. Such a technique is described in
すなわち、フレームレートの低い二次元映像に特許文献2に記載されている技術を適用してなめらかな二次元映像を生成し、この映像を特許文献1に記載されている技術によって擬似的な三次元映像に変換すれば、モバイル端末装置等に配信されるフレームレートの低い二次元映像を、なめらかな擬似的な三次元映像として楽しむことができる。ただし、特許文献1に記載の技術と特許文献2に記載の技術とを組み合わせた技術は従来技術ではなく、従来技術に基づいて発明者が導き出した新規な技術である。
That is, a smooth two-dimensional video is generated by applying the technique described in
ところが、発明者が考えた上記新規な技術により、フレームレートの低い二次元映像からなめらかな擬似的な三次元映像を生成する場合には、画像処理に要する演算負荷が大きくなるという問題があった。フレームレートの低い二次元映像(擬似的な三次元映像に変換するだけでは足りず、補間フレームを生成して補間する必要がある映像)は、比較的演算負荷に弱いモバイル端末装置が対象となることが多く、特に、深刻な問題となる。 However, with the above-described novel technique considered by the inventor, there is a problem in that when a smooth pseudo 3D video is generated from a 2D video with a low frame rate, the computation load required for image processing increases. . 2D video with a low frame rate (video that needs to be interpolated by generating an interpolated frame is not enough to convert to pseudo 3D video) is targeted at mobile terminal devices that are relatively weak in computation load It is often a serious problem.
本発明は、上記課題に鑑みてなされたものであり、二次元映像について、フレームレートを向上させるとともに、擬似的な三次元映像に変換する場合の演算負荷を抑制する技術を提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a technique for improving the frame rate of 2D video and suppressing the calculation load when converting to a pseudo 3D video. And
上記の課題を解決するため、請求項1の発明は、時系列順に作成された複数のフレームデータから構成される二次元映像データを擬似的な三次元映像データに変換する画像処理装置であって、前記複数のフレームデータにおいて前後する2のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する2のフレームデータのうちの1のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する生成手段とを備えることを特徴とする。
In order to solve the above-mentioned problems, the invention of
また、請求項2の発明は、請求項1の発明に係る画像処理装置であって、前記生成手段は、前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記1のフレームデータと対をなす1の他眼用フレームデータを生成するための三次元化パラメータを生成するとともに、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域とに基づいて、前記前後する2のフレームデータの間を補間する補間フレームデータを生成するための第1補間パラメータを生成することを特徴とする。
Further, the invention of
また、請求項3の発明は、請求項2の発明に係る画像処理装置であって、前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第2補間パラメータを生成することを特徴とする。
The invention according to claim 3 is the image processing apparatus according to
また、請求項4の発明は、請求項2の発明に係る画像処理装置であって、前記生成手段は、前記視差量演算手段により求められた対象領域の視差量と前記第1補間パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第2補間パラメータを生成することを特徴とする。
The invention according to claim 4 is the image processing apparatus according to the invention of
また、請求項5の発明は、請求項2の発明に係る画像処理装置であって、前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記三次元化パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第2補間パラメータを生成することを特徴とする。
The invention according to claim 5 is the image processing apparatus according to the invention of
また、請求項6の発明は、請求項1ないし5のいずれかの発明に係る画像処理装置であって、前記設定手段は、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に応じて、対象領域を設定することを特徴とする。
The invention according to claim 6 is the image processing apparatus according to any one of
また、請求項7の発明は、請求項1ないし6のいずれかの発明に係る画像処理装置であって、ワンセグ放送により提供される番組を表現した情報を前記二次元映像データとして受信する受信手段をさらに備え、前記受信手段による二次元映像データの受信と前記二次元映像データから生成される前記擬似的な三次元映像データのユーザによる視聴とが実質的にリアルタイムで実行されることを特徴とする。
The invention according to claim 7 is the image processing apparatus according to any one of
また、請求項8の発明は、時系列順に作成された複数のフレームデータから構成される二次元映像データを擬似的な三次元映像データに変換する画像処理方法であって、前記複数のフレームデータにおいて前後する2のフレームデータから動きベクトルを含む特徴量を抽出する工程と、前記動きベクトルに応じて、前記前後する2のフレームデータのうちの1のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する工程と、前記動きベクトルを含む特徴量に基づいて、前記対象領域ごとの視差量を演算する工程と、前記動きベクトルと前記対象領域と前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する工程とを有することを特徴とする。 The invention of claim 8 is an image processing method for converting 2D video data composed of a plurality of frame data created in time-series order into pseudo 3D video data, wherein the plurality of frame data Extracting a feature amount including a motion vector from the two preceding and following frame data, and three-dimensionally regarding a plurality of pixels constituting one frame data of the two preceding and following frame data according to the motion vector A target region to be converted, a step of calculating a parallax amount for each target region based on a feature amount including the motion vector, a parallax amount of the motion vector, the target region, and the target region Based on the 2D video data, a process for generating pseudo 3D video data by changing a frame rate in the 2D video data. Characterized in that it has and.
また、請求項9の発明は、コンピュータによる読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、時系列順に作成された複数のフレームデータから構成される二次元映像データを記憶する記憶手段と、前記記憶手段に記憶された二次元映像データにおいて前後する2のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する2のフレームデータのうちの1のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成し、生成した前記擬似的な三次元映像データを前記記憶手段に記憶させる生成手段とを備える画像処理装置として機能させることを特徴とする。 The invention according to claim 9 is a computer-readable program, and the execution of the program by the computer is a two-dimensional video data composed of a plurality of frame data created in time series. Storage means for storing, feature extraction means for extracting feature quantities including motion vectors from two frame data before and after the 2D video data stored in the storage means, and motion vectors extracted by the feature extraction means And setting means for setting a target area to be three-dimensionalized for a plurality of pixels constituting one frame data of the two preceding and following frame data, and a motion vector extracted by the feature extraction means Calculates the amount of parallax for each target area set by the setting means based on the feature amount On the basis of the motion vector extracted by the feature extraction unit, the target area set by the setting unit, and the parallax amount of the target area obtained by the parallax amount calculation unit. Image processing comprising: generating means for generating pseudo 3D video data in which a frame rate in the 2D video data is changed from the 2D video data, and storing the generated pseudo 3D video data in the storage means It functions as a device.
本発明は、複数のフレームデータにおいて前後する2のフレームデータから動きベクトルを含む特徴量を抽出し、抽出された動きベクトルに応じて、前記前後する2のフレームデータのうちの1のフレームデータを構成する複数の画素について三次元化させる対象領域を設定し、抽出された動きベクトルを含む特徴量に基づいて、設定された対象領域ごとの視差量を演算し、抽出された動きベクトルと設定された対象領域と求められた当該対象領域の視差量とに基づいて、二次元映像データから当該二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成することにより、動きベクトルを抽出する処理を1回実行するだけで、二次元映像データのフレームレートを変更しつつ擬似的な三次元映像データを生成できるので、処理負荷が軽減される。 The present invention extracts a feature amount including a motion vector from two preceding and following frame data in a plurality of frame data, and determines one frame data of the two preceding and following frame data according to the extracted motion vector. A target region to be three-dimensionalized is set for a plurality of constituent pixels, and the amount of parallax for each set target region is calculated based on the feature amount including the extracted motion vector, and set as the extracted motion vector Based on the obtained target area and the obtained parallax amount of the target area, by generating pseudo 3D video data in which the frame rate in the 2D video data is changed from the 2D video data, a motion vector is obtained. Generate pseudo 3D video data while changing the frame rate of 2D video data by executing the extraction process once. Runode, the processing load is reduced.
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings.
<1. 実施の形態>
図1は、本発明に係る画像処理装置であるワンセグ受信モジュール1を搭載した状態の携帯端末装置2を示す図である。携帯端末装置2は、可搬性のコンピュータであり、例えば、携帯型のゲーム機、PDA、携帯電話あるいはノートパソコン等が想定される。また、ワンセグ受信モジュール1は、携帯端末装置2の図示しないスロットに着脱自在に装着され、携帯端末装置2においてワンセグ放送を受信し視聴するために使用される装置である。
<1. Embodiment>
FIG. 1 is a diagram showing a
図2は、ワンセグ受信モジュール1および携帯端末装置2の構成を示すブロック図である。
FIG. 2 is a block diagram illustrating configurations of the one-
図2に示すように、ワンセグ受信モジュール1は、各種データの演算を行うとともにワンセグ受信モジュール1の各構成を制御するCPU10と、各種データを必要に応じて適宜記憶する記憶装置11とを備えている。これによりワンセグ受信モジュール1は、記憶装置11に記憶されたプログラム110を読み取りつつ、当該プログラム110をCPU10により実行するコンピュータとしての構成および機能を有している。
As shown in FIG. 2, the one-
プログラム110、二次元映像データ111および三次元映像データ112を記憶する記憶装置11は、CPU10の一時的なワーキングエリアとして使用され比較的高速にアクセスすることが可能なRAMや、不揮発性で読み取り専用のROM、比較的短時間の間だけ情報を格納するバッファ、あるいは、着脱自在のメモリカード等から構成される。すなわち、図2において記憶装置11は、1つの構成であるかのように図示されているが、実際には、記憶する情報の種類や用途に応じて選択される、様々な種類の記憶素子を備えた装置の集合体である。
The
また、ワンセグ受信モジュール1は、チューナ12、復調回路13および復号回路14を備えている。これらの構成は、ワンセグ放送を受信して、当該ワンセグ放送の番組を表現した二次元映像データ111を生成するための構成(本発明に係る受信手段に相当する構成)であり、従来の技術を適用することが可能であるため、簡単に説明する。
The one-
アンテナを含むチューナ12は、アンテナにより受信されたRF信号を増幅するとともに、アナログのIF信号に変換して復調回路13に向けて出力する。
A
復調回路13は、例えば、A/D変換回路とOFDM復調回路とを備えた回路であり、当該A/D変換回路によりチューナ12からのアナログ信号をデジタル信号に変換するとともに、当該OFDM復調回路によりTS信号を生成して復号回路14に向けて出力する。
For example, the
復号回路14は、例えば、本実施の形態ではMPEG復号回路であり、復調回路13から入力される信号(本実施の形態ではTS信号)を復号して、二次元映像データ111を生成し、出力する。復号回路14から出力された二次元映像データ111は、記憶装置11に一旦格納される。
The
さらに、ワンセグ受信モジュール1は、インタフェース部15を備えている。インタフェース部15は、携帯端末装置2のインタフェース部25との間で電気的に接続される端子群を構成している。インタフェース部15がインタフェース部25に挿入されることにより、ワンセグ受信モジュール1は携帯端末装置2と接続され、携帯端末装置2との間でデータ通信が可能となるとともに、携帯端末装置2から電力の供給を受けることも可能となる。
Further, the one-
詳細は後述するが、本実施の形態におけるワンセグ受信モジュール1は、ワンセグ放送により提供される番組を受信して、当該番組を表現した二次元映像データ111を生成する受信機としての機能を有しているとともに、二次元映像データ111から擬似的な三次元映像データ112を作成する画像処理装置としての機能も有している。
Although details will be described later, the one-
図2に示すように、携帯端末装置2は、各種データの演算を行うとともに携帯端末装置2の各構成を制御するCPU20を備えている。また、携帯端末装置2は、各種データを必要に応じて適宜記憶する記憶装置21を備えている。これにより携帯端末装置2は、記憶装置21に記憶されたプログラム210を読み取りつつ、当該プログラム210をCPU20により実行するコンピュータとしての構成および機能を有している。
As shown in FIG. 2, the mobile
プログラム210および三次元映像データ112を記憶する記憶装置21は、CPU20の一時的なワーキングエリアとして使用され比較的高速にアクセスすることが可能なRAMや、不揮発性で読み取り専用のROM、比較的短時間の間だけ情報を格納するバッファ、あるいは、着脱自在のメモリカード等から構成される。すなわち、図2において記憶装置21は、1つの構成であるかのように図示されているが、実際には、記憶する情報の種類や用途に応じて選択される、様々な種類の記憶素子を備えた装置の集合体である。
The
さらに、携帯端末装置2は、操作部22、表示部23、スピーカ24およびインタフェース部25を備えている。
Furthermore, the mobile
操作部22は、ユーザが携帯端末装置2を操作するために必要な情報を入力するために使用される。操作部22としては、各種ボタン類やテンキー等が該当する。操作部22が操作されることにより入力された情報は、携帯端末装置2を操作するだけでなく、ワンセグ受信モジュール1を操作するためにも使用される。例えば、どのチャンネルで放送されている番組を視聴するかを選択する情報は、ユーザが操作部22を操作することによって入力されるが、この情報は、携帯端末装置2のCPU20を介して、ワンセグ受信モジュール1に伝達され、ワンセグ受信モジュール1側において、これに応じた処理が実行される(すなわち、視聴するチャンネルの切り替えが行われる。)。
The
表示部23は、液晶パネルやディスプレイ、ランプ、LED等から構成される。表示部23は、CPU20からの制御信号により、画像データに基づいて画面に画像を再生(表示)する機能を有している。本実施の形態における表示部23は、三次元映像データ112に含まれる画像データを再生することにより、ワンセグ放送の画像を再生する。
The display unit 23 includes a liquid crystal panel, a display, a lamp, an LED, and the like. The display unit 23 has a function of reproducing (displaying) an image on a screen based on image data in accordance with a control signal from the
スピーカ24は、CPU20からの制御信号により、音声データに基づいて音声を再生する機能を有している。本実施の形態におけるスピーカ24は、三次元映像データ112に含まれる音声データを再生することにより、ワンセグ放送の音声を再生する。
The
インタフェース部25は、ワンセグ受信モジュール1のインタフェース部15との間で電気的に接続される端子群を構成している。インタフェース部25にインタフェース部15が挿入されることにより、携帯端末装置2にワンセグ受信モジュール1が装着され、携帯端末装置2においてワンセグ放送の視聴が可能となる。
The
図3は、ワンセグ受信モジュール1の機能ブロックをデータの流れとともに示す図である。図3に示す特徴抽出部100、領域設定部101、視差量演算部102および生成部103は、ワンセグ受信モジュール1のCPU10がプログラム110に従って動作するこにより実現される機能ブロックである。
FIG. 3 is a diagram showing functional blocks of the one-
特徴抽出部100は、二次元映像データ111を構成する複数のフレームデータにおいて前後する2のフレームデータから動きベクトルを含む特徴量を抽出し、特徴量データ113を作成する機能を有している。
The
図4は、二次元映像データ111の映像に係る部分を概念的に示した図である。図4に示すように、二次元映像データ111は、時系列順に作成された複数のフレームデータから構成される。
FIG. 4 is a diagram conceptually showing a part related to the video of the
図4には、(n−1)番目のフレームデータと、n番目のフレームデータと、(n+1)番目のフレームデータとを示している(ただし、nは整数)。また、本実施の形態では、二次元映像データ111のフレームレートは15[fps]とする。なお、以下、n番目のフレームデータを「フレームデータn」と称する。
FIG. 4 shows (n-1) th frame data, nth frame data, and (n + 1) th frame data (where n is an integer). In the present embodiment, the frame rate of the
各フレームデータは、矩形状に配列した複数の画素から構成されている。本実施の形態では、フレームデータを構成する画素の水平方向の位置座標を「i」、垂直方向の位置座標を「j」として説明する。 Each frame data is composed of a plurality of pixels arranged in a rectangular shape. In the present embodiment, description will be made assuming that the position coordinates in the horizontal direction of the pixels constituting the frame data are “i” and the position coordinates in the vertical direction are “j”.
図5は、特徴抽出部100により作成される特徴量データ113を例示する図である。ここでは、図4に示すフレームデータnと、フレームデータ(n+1)とに基づいて作成される、フレームデータnについての特徴量データ113を示すものとして説明する。
FIG. 5 is a diagram illustrating
本実施の形態における特徴抽出部100は、前後する2のフレームデータを比較することにより、フレームデータnを構成する各画素ごとに、動きベクトルと、色と、周波数とを特徴量として抽出する。このような特徴抽出処理は従来の手法を適宜適用できる。ただし、特徴抽出部100が抽出する特徴量としては、他の種類のものを含めて取捨選択されてもよいが、動きベクトルは必須のものとする。
The
なお、本実施の形態における特徴抽出部100は、各画素ごとに特徴量を抽出するが、特徴量を抽出する単位は1画素に限定されるものではない。例えば、4(2×2)個の画素を1つの単位として特徴量を抽出するように構成してもよい。
Note that the
図3に示す領域設定部101は、前後する2のフレームデータのうちの1のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する機能を有している。
The
図6は、領域設定部101により作成される領域設定データ114を例示する図である。図6に示す例では、三次元化させる対象領域としてオブジェクト0とオブジェクト1とが設定されており、各対象領域を構成する画素がグループ化されている。
FIG. 6 is a diagram illustrating
すなわち、オブジェクト0には、画素P00(座標が(0,0))、画素P11(座標が(1,1))、画素P22(座標が(2,2))、画素P33(座標が(3,3))・・・が含まれ、オブジェクト1には、画素P1235(座標が(12,35))・・・が含まれる。言い換えれば、オブジェクト0は画素P00(座標が(0,0))、画素P11(座標が(1,1))、画素P22(座標が(2,2))、画素P33(座標が(3,3))・・・によって構成される領域であり、オブジェクト1は画素P1235(座標が(12,35))・・・によって構成される領域である。
That is, the object 0 includes pixel P 00 (coordinate is (0,0)), pixel P 11 (coordinate is (1,1)), pixel P 22 (coordinate is (2,2)), pixel P 33 ( The coordinates include (3,3))... And the
このように、特徴量データ113に基づいて、フレームデータ(フレームデータn)を構成する複数の画素を対象領域(画素グループ)にグループ化する手法としては、従来から提案されている手法を適宜採用することができる。
As described above, as a method of grouping a plurality of pixels constituting the frame data (frame data n) into the target region (pixel group) based on the
なお、本実施の形態における領域設定部101は、先述のように特徴抽出部100が抽出した特徴量(特徴量データ113)に基づいて、対象領域を設定する。ただし、領域設定部101が対象領域を設定するときに参照する情報は、特徴量データ113に限定されるものではない。例えば、二次元映像データ111の映像種別(例えば風景や、スポーツ、アニメーション等の種別)に関する情報や、CG合成映像である場合のオブジェクト指定情報等であってもよいし、これらの情報が併用されてもよい。
Note that the
また、1つのフレームデータにおいて設定される対象領域の数は不定であるが、通常、1のフレームデータを構成するすべての画素がいずれかの対象領域に設定されることはない。対象領域は、先述のように、三次元化させる(人の目によって立体的に見えるように変換する)部分的な領域であり、一般には、背景に対して前方に存在する物体に相当する画像領域である。 Further, although the number of target areas set in one frame data is indefinite, normally, all pixels constituting one frame data are not set in any target area. As described above, the target area is a partial area that is three-dimensionalized (converted so that it can be seen three-dimensionally by the human eye), and is generally an image corresponding to an object that exists in front of the background. It is an area.
図3に示す視差量演算部102は、特徴抽出部100により抽出された動きベクトルを含む特徴量(特徴量データ113)に基づいて、領域設定部101により設定された対象領域ごとの視差量を演算し、視差量データ115を作成する機能を有している。このようにして視差量を求める手法は、従来から提案されている手法を適宜採用することができるため、簡単に説明する。
3 calculates the parallax amount for each target region set by the
視差量演算部102は、領域設定データ114を参照して、当該領域設定データ114に設定されている対象領域(例えばオブジェクト0)を構成する画素(オブジェクト0であれば、画素P00、画素P11、画素P22、画素P33・・・)を特定し、特定した当該画素ごとに特徴量データ113に含まれる特徴量(動きベクトル、色および周波数)を取得する。そして、これらの値の平均値(動きベクトルの平均値、色の平均値および周波数の平均値)を求め、これらの平均値に基づいて視差量(オブジェクト0については視差量d0とする。)を求める。なお、本実施の形態における視差量演算部102は、対象領域ごとの視差量を、当該対象領域をフレームデータにおいて水平方向にずらす距離(画素数)として求める。
The parallax
図7は、視差量演算部102により作成される視差量データ115を例示する図である。図7に示すように、領域設定部101により設定されたオブジェクト0およびオブジェクト1について、視差量演算部102によりそれぞれ視差量d0および視差量d1が求められ格納されている。
FIG. 7 is a diagram illustrating the
図3に示す生成部103は、特徴抽出部100により抽出された動きベクトル(特徴量データ113)と、領域設定部101により設定された対象領域(領域設定データ114)と、視差量演算部102により求められた対象領域ごとの視差量(視差量データ115)とに基づいて、二次元映像データ111から当該二次元映像データ111におけるフレームレートを変更した擬似的な三次元映像データ112を生成する機能を有している。
The
生成部103は、領域設定部101により設定された対象領域と視差量演算部102により求められた対象領域の視差量データ115とに基づいて、フレームデータn(1のフレームデータ)と対をなす1の他眼用フレームデータを生成するための三次元化パラメータ117を生成する。なお、フレームデータnと対をなす1の他眼用フレームデータを、以下、「他眼用フレームデータn」と称する。本実施の形態では、フレームデータnは人の右目用のフレームデータであり、他眼用フレームデータnは人の左目用のフレームデータである。ただし、これに限定されるものではなく、逆であってもよい。その場合は視差量演算部102により求められる視差量の符号を反転させればよい。
The
また、生成部103は、特徴抽出部100により抽出された動きベクトルと、領域設定部101により設定された対象領域とに基づいて、フレームデータnとフレームデータ(n+1)(前後する2のフレームデータ)の間を補間する補間フレームデータを生成するための第1補間パラメータ118を生成する。
Further, the
本実施の形態における生成部103は、二次元映像データ111のフレームレートを2倍に向上させて、擬似的な三次元映像データ112に変換する例で説明する。本実施の形態では二次元映像データ111のフレームレートは先述のように15[fps]であるが、三次元映像データ112のフレームレートは30[fps]となる。したがって、フレームデータnとフレームデータ(n+1)との間を補間する補間フレームデータは、本実施の形態では1つのみ生成される。以下、当該補間フレームデータを「フレームデータ(n+1/2)」と称する。
The
さらに、生成部103は、特徴抽出部100により抽出された動きベクトル(特徴量データ113)と、領域設定部101により設定された対象領域(領域設定データ114)と、視差量演算部102により求められた対象領域ごとの視差量(視差量データ115)とに基づいて、フレームデータ(n+1/2)(補間フレームデータ)と対をなす他眼用補間フレームデータを生成するための第2補間パラメータ119を生成する。なお、フレームデータ(n+1/2)と対をなす他眼用補間フレームデータを、以下、「他眼用フレームデータ(n+1/2)」と称する。
Further, the
図3に示すように、生成部103によって生成された三次元化パラメータ117、第1補間パラメータ118および第2補間パラメータ119は、パラメータデータ116として、一旦、記憶装置11に記憶される。パラメータデータ116は、生成部103が二次元映像データ111から当該二次元映像データ111におけるフレームレートを変更した擬似的な三次元映像データ112を生成する際に利用されるが詳細は後述する。
As illustrated in FIG. 3, the three-
以上が、ワンセグ受信モジュール1および携帯端末装置2の構成および機能の説明である。次に、ワンセグ受信モジュール1による画像処理方法を説明する。
The above is the description of the configurations and functions of the one-
図8は、本発明に係る画像処理方法を示す図である。図8に示す各工程は、主に、ワンセグ受信モジュール1において実行される。
FIG. 8 is a diagram showing an image processing method according to the present invention. Each step shown in FIG. 8 is mainly executed in the one-
まず、ワンセグ受信モジュール1は、図示しない初期設定を実行した後、ワンセグ放送の受信を開始する。そして、ワンセグ放送を受信することにより、当該ワンセグ放送の1のフレームデータを受信し(ステップS11)、受信した1のフレームデータを二次元映像データ111を構成するフレームデータとして記憶装置11に記憶する。以下では、フレームデータ(n+1)を受信したときから説明する。
First, the one-
次に、特徴抽出部100が、以前にステップS11が実行されたときにすでに受信し記憶しているフレームデータnとステップS11で受信したフレームデータ(n+1)とに基づいて、動きベクトルを含む特徴量を抽出し(ステップS12)、特徴量データ113を生成する。
Next, the
特徴量データ113が生成されると、領域設定部101が特徴量データ113(動きベクトル、色および周波数)に応じて、フレームデータnを構成する複数の画素について三次元化させる対象領域を設定し(ステップS13)、領域設定データ114を生成する。
When the
領域設定データ114が生成されると、視差量演算部102が特徴量データ113に基づいて、領域設定データ114に示されている対象領域ごとに視差量を演算し(ステップS14)、視差量データ115を生成する。
When the
次に、生成部103が、特徴量データ113と、領域設定データ114と、視差量データ115とに基づいて、二次元映像データ111から擬似的な三次元映像データ112を生成するために必要なパラメータを演算し(ステップS15)、パラメータデータ116を作成する。
Next, it is necessary for the
図9は、三次元化パラメータ117を例示する図である。図9に示す例では、フレームデータnを構成する複数の画素について、フレームデータnにおける座標と、フレームデータnを他眼用フレームデータnに変換するときの変換後座標とが含まれている。
FIG. 9 is a diagram illustrating the three-
他眼用フレームデータnは、例えば、三次元化させるオブジェクト0については、当該オブジェクト0の視差量d0だけ、オブジェクト0を構成する画素の座標が水平方向に移動したものとなる。 For example, for the object 0 to be three-dimensionalized, the other-eye frame data n is obtained by moving the coordinates of the pixels constituting the object 0 in the horizontal direction by the parallax amount d0 of the object 0.
したがって、三次元化パラメータ117では、三次元化させる対象領域(オブジェクト0)を構成する画素(画素P00,P11,P22,P33・・・)について、変換後座標が示されており、当該変換後座標の値は、いずれも元の水平座標の値に視差量d0を加えた値となっている。言い換えれば、生成部103は、領域設定データ114に設定されている各対象領域を構成する画素について、当該画素の水平座標に、当該画素により構成される対象領域の視差量(視差量データ115に示される値)を加算して三次元化パラメータ117を作成する。
Therefore, the three-
これにより、二次元映像データ111を構成するフレームデータnを、三次元化パラメータ117によって変換すると、他眼用フレームデータnを生成することが可能となる。すなわち、三次元化パラメータ117はフレームデータnを他眼用フレームデータnに変換するための変換テーブルを構成している。
As a result, when the frame data n constituting the
そして、ユーザの右目にフレームデータnを見せつつ、左目に他眼用フレームデータnを見せると、視差量(視差量d0)に応じて対象領域(オブジェクト0)が立体的に見え、当該対象領域が擬似的に三次元化される。なお、三次元化パラメータ117には、変換後座標により移動した画素を埋めるための画素に関するデータも含まれているが、従来の技術を適用することが可能であるため、詳細な説明を省略する。以下、第1補間パラメータ118および第2補間パラメータ119についても同様である。
When the user's right eye shows the frame data n and the left eye shows the other-eye frame data n, the target area (object 0) appears three-dimensionally according to the amount of parallax (parallax amount d0). Is pseudo-three-dimensionalized. Note that the three-
図10は、第1補間パラメータ118を例示する図である。図10に示す例では、フレームデータnを構成する複数の画素について、フレームデータnにおける座標と、フレームデータnを補間フレームデータ(n+1/2)に変換するときの変換後座標とが含まれている。
FIG. 10 is a diagram illustrating the
補間フレームデータ(n+1/2)は、例えば、移動しているオブジェクト0については、オブジェクト0を構成する画素の座標が当該画素の動きベクトルの方向に移動したものとなる。また、このとき移動する距離は、本実施の形態のように、フレームレート変換率が「2倍」の場合、動きベクトルの大きさの1/2となる。 The interpolation frame data (n + 1/2) is, for example, for the moving object 0, in which the coordinates of the pixels constituting the object 0 are moved in the direction of the motion vector of the pixel. Further, the distance moved at this time is ½ of the magnitude of the motion vector when the frame rate conversion rate is “double” as in the present embodiment.
したがって、第1補間パラメータ118では、対象領域(オブジェクト0)を構成する画素(画素P00,P11,P22,P33・・・)について、変換後座標が示されており、当該変換後座標の値は、いずれも元の座標の値に動きベクトルの大きさの1/2を加えた値となっている。例えば、画素P00の動きベクトルは図5に示すように(v0,v1)である。したがって、画素P00の変換後座標は、(0+v0/2,0+v1/2)となる。
Therefore, the
言い換えれば、生成部103は、領域設定データ114に設定されている各対象領域を構成する画素について、当該画素の座標に、当該画素の動きベクトル(特徴量データ113に示される値)の1/2を加算して第1補間パラメータ118を作成する。
In other words, for the pixels constituting each target region set in the
これにより、二次元映像データ111を構成するフレームデータnを、第1補間パラメータ118によって変換すると、補間フレームデータ(n+1/2)を生成することが可能となる。すなわち、第1補間パラメータ118はフレームデータnを補間フレームデータ(n+1/2)に変換するための変換テーブルを構成している。
Thereby, when the frame data n constituting the
そして、フレームデータnとフレームデータ(n+1)との間に、補間フレームデータ(n+1/2)を見せることにより、二次元映像データ111において15[fps]であったフレームレートが、三次元映像データ112において30[fps]に変更される。すなわち、三次元映像データ112は二次元映像データ111よりも高いフレームレートに変換されるため滑らかな映像となる。
Then, by showing the interpolated frame data (n + 1/2) between the frame data n and the frame data (n + 1), the frame rate of 15 [fps] in the
なお、画素P00と同じ対象領域(オブジェクト0)を構成する他の画素P11,P22,P33・・・も通常は同じ動きベクトル(v0,v1)であるため、図10に示すように、これらの画素の座標にも動きベクトル(v0,v1)の1/2の値が加算されることにより、変換後座標が求められている。 Since the other pixels P 11 , P 22 , P 33 ... Constituting the same target area (object 0) as the pixel P 00 are usually the same motion vector (v0, v1), as shown in FIG. In addition, the coordinates after conversion are obtained by adding a value of ½ of the motion vector (v0, v1) to the coordinates of these pixels.
図11は、第2補間パラメータ119を例示する図である。図11に示す例では、フレームデータnを構成する複数の画素について、フレームデータnにおける座標と、フレームデータnを他眼用補間フレームデータ(n+1/2)に変換するときの変換後座標とが含まれている。
FIG. 11 is a diagram illustrating the
他眼用補間フレームデータ(n+1/2)は、例えば、三次元化させるオブジェクト0については、当該オブジェクト0の視差量d0だけ、オブジェクト0を構成する画素の座標が水平方向に移動したものとなる。また、例えば、移動しているオブジェクト0については、オブジェクト0を構成する画素の座標が当該画素の動きベクトルの方向に動きベクトルの大きさの1/2だけ移動したものとなる。 For example, for the object 0 to be three-dimensionalized, the other-eye interpolation frame data (n + 1/2) is obtained by moving the coordinates of the pixels constituting the object 0 in the horizontal direction by the parallax amount d0 of the object 0. . Further, for example, for the moving object 0, the coordinates of the pixel constituting the object 0 are moved in the direction of the motion vector of the pixel by ½ of the magnitude of the motion vector.
したがって、第2補間パラメータ119では、対象領域(オブジェクト0)を構成する画素(画素P00,P11,P22,P33・・・)について、変換後座標が示されており、当該変換後座標の値は、いずれも元の水平座標の値に視差量d0を加えるとともに、動きベクトルの大きさの1/2を加えた値となっている。例えば、画素P00の動きベクトルは先述のように(v0,v1)である。したがって、第2補間パラメータ119における画素P00の変換後座標は、(0+d0+v0/2,0+v1/2)となる。
Therefore, the
言い換えれば、本実施の形態における生成部103は、領域設定データ114に設定されている各対象領域を構成する画素について、当該画素の水平座標については視差量d0と当該画素の動きベクトル(特徴量データ113に示される値)の1/2とを加算し、垂直座標については当該画素の動きベクトル(特徴量データ113に示される値)の1/2を加算して第2補間パラメータ119を作成する。
In other words, the
そして、ユーザの右目に補間フレームデータ(n+1/2)を見せつつ、左目に他眼用補間フレームデータ(n+1/2)を見せると、フレームデータが補間されている間においても、視差量(視差量d0)に応じて対象領域(オブジェクト0)が立体的に見え、当該対象領域が擬似的に三次元化される。 If the left-eye interpolation frame data (n + 1/2) is shown while the user's right eye shows the interpolation frame data (n + 1/2), the amount of parallax (disparity) even while the frame data is interpolated. The target area (object 0) appears three-dimensionally according to the amount d0), and the target area is pseudo-three-dimensionalized.
図8に戻って、パラメータデータ116が作成されると、生成部103は、二次元映像データ111のフレームデータnと、パラメータデータ116とに基づいて、他眼用フレームデータnと、補間フレーム(n+1/2)と、他眼用補間フレーム(n+1/2)とを生成し、元のフレームデータnとともに三次元映像データ112を生成する(ステップS16)。
Returning to FIG. 8, when the
図12は、三次元映像データ112を概念的に示す図である。図4に示すように、フレームデータ(n−1),n,(n+1)から構成されていた二次元映像データ111が、図12に示すように、三次元映像データ112においては、フレームデータ(n−1),n,(n+1)が補間フレームデータ(n−1/2),(n+1/2)によって補間されることにより滑らかな映像となるとともに、これらのフレームデータと対をなす他眼用フレームデータ(n−1),n,(n+1)および他眼用補間フレームデータ(n−1/2),(n+1/2)が作成されることにより、擬似的に三次元化されている。
FIG. 12 is a diagram conceptually showing the
ステップS16において生成された三次元映像データ112は、一旦、記憶装置11に記憶された後、携帯端末装置2の記憶装置21に転送され、表示部23に表示される。
The
以上のように、本実施の形態におけるワンセグ受信モジュール1は、時系列順に作成された複数のフレームデータから構成される二次元映像データ111を擬似的な三次元映像データ112に変換する画像処理装置として構成されており、複数のフレームデータにおいて前後する2のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出部100と、特徴抽出部100により抽出された動きベクトルに応じて、前後する2のフレームデータのうちの1のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する領域設定部101と、特徴抽出部100により抽出された動きベクトルを含む特徴量に基づいて、領域設定部101により設定された対象領域ごとの視差量を演算する視差量演算部102と、特徴抽出部100により抽出された動きベクトルと領域設定部101により設定された対象領域と視差量演算部102により求められた対象領域の視差量とに基づいて、二次元映像データ111から当該二次元映像データ111におけるフレームレートを変更した擬似的な三次元映像データ112を生成する生成部103とを備える。これにより、動きベクトルを抽出する処理を1回実行するだけで、二次元映像データ111のフレームレートを変更しつつ擬似的な三次元映像データ112を生成できるので、処理負荷が軽減される。
As described above, the one-
また、領域設定部101は、特徴抽出部100により抽出された動きベクトルを含む特徴量に応じて、対象領域を設定する。すなわち、動きベクトル以外の特徴量についても対象領域の設定に有効に利用することにより、対象領域を設定するための情報を別途取得しなくても、対象領域を効率的かつ正確に設定することができる。
Further, the
また、本実施の形態では、ワンセグ放送により提供される番組を表現した二次元映像データ111の受信と当該二次元映像データ111から生成される擬似的な三次元映像データ112のユーザによる視聴とが実質的にリアルタイムで実行される。このような用途においては、画像処理に要する時間の短縮要請が高いため、本発明がより効果的となる。
In the present embodiment, reception of
なお、本実施の形態では、特徴量データ113、領域設定データ114および視差量データ115がそれぞれ別個のデータを構成している例で説明したが、これらを互いに関連づけて、データの1つの集合体として扱ってもよい。その場合、例えば、対象領域ごとに求める動きベクトルの平均値や色の平均値、周波数の平均値等も関連づけて格納するようにしてもよい。
In the present embodiment, the
<2. 変形例>
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
<2. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications can be made.
例えば、上記実施の形態では、二次元映像データとして、ワンセグ放送により提供される番組を表現した情報を受信する例を説明した。しかし、本発明が対象とする二次元映像データとは、ワンセグ放送の映像に限定されるものではない。例えば、地上デジタル放送の映像や、遠隔地に配置された撮像カメラ(防犯カメラ)から実質的にリアルタイムで受信される映像、あるいは、インターネット配信動画であってもよいし、ビデオテープやDVD、ブルーレイディスク等の記録媒体にすでに記録されている映像であってもよい。 For example, in the above embodiment, an example has been described in which information representing a program provided by one-segment broadcasting is received as 2D video data. However, the 2D video data targeted by the present invention is not limited to one-segment broadcast video. For example, it may be a terrestrial digital broadcast video, a video received in real time from an imaging camera (security camera) located at a remote location, a video distributed on the Internet, or a video tape, DVD, Blu-ray. It may be an image already recorded on a recording medium such as a disc.
また、二次元映像データの受信(取得)と、擬似的な三次元映像データへの変換処理と、ユーザによる視聴とが、上記実施の形態に示したように、実質的にリアルタイムで行われてもよいし、取得した二次元映像データを変換処理してDVDやハードディスク等に記録した後、視聴(再生)されるまでに比較的長い時間が設けられていてもよい。 In addition, the reception (acquisition) of 2D video data, conversion processing to pseudo 3D video data, and viewing by the user are performed substantially in real time as described in the above embodiment. Alternatively, after the obtained 2D video data is converted and recorded on a DVD or hard disk, a relatively long time may be provided until it is viewed (reproduced).
また、上記実施の形態では、本発明に係る画像処理装置であるワンセグ受信モジュール1が携帯端末装置2に対して着脱自在となるように構成されていたが、もちろん、画像処理装置は携帯端末装置2と一体構造物を構成し、携帯端末装置2に内蔵される構造となっていてもよい。
In the above embodiment, the one-
また、変換によりフレームレートを向上させる率(以下、「フレームレート変換率」と称する。)は「2倍(15[fps]から30[fps])」に限定されるものではない。例えば、フレームレート変換率を「4倍」とし、三次元映像データ112におけるフレームレートを60[fps]とすることも可能である。その場合には、フレームデータnとフレームデータ(n+1)との間を補間する3つの補間フレームデータ(フレームデータ(n+1/4),(n+1/2),(n+3/4))を生成すればよい。すなわち、フレームレート変換率を「4倍」にする場合は、第1補間パラメータ118は3つの補間フレームデータを生成するために必要なパラメータとなり、第2補間パラメータ119は3つの補間フレームデータのそれぞれと対をなす3つの他眼用補間フレームデータを生成するために必要なパラメータとなる。また、本実施の形態と同様に、フレームレート変換率を「2倍」とする場合であっても、例えば、30[fps]から60[fps]への変換であってもよい。
Further, the rate of improving the frame rate by conversion (hereinafter referred to as “frame rate conversion rate”) is not limited to “double (15 [fps] to 30 [fps])”. For example, the frame rate conversion rate can be set to “4 times”, and the frame rate in the
また、上記実施の形態における生成部103は、特徴抽出部100により抽出された動きベクトルと領域設定部101により設定された対象領域と視差量演算部102により求められた対象領域の視差量とに基づいて、補間フレームデータと対をなす他眼用補間フレームデータを生成するための第2補間パラメータ119を生成すると説明した。しかし、生成部103は、視差量演算部102により求められた対象領域の視差量と第1補間パラメータ118とに基づいて、補間フレームデータと対をなす他眼用補間フレームデータを生成するための第2補間パラメータ119を生成してもよい。すなわち、第1補間パラメータ118における変換後座標の水平座標の値に視差量演算部102により求められた対象領域の視差量を加算して第2補間パラメータ119としてもよい。
In addition, the
また、生成部103は、特徴抽出部100により抽出された動きベクトルと三次元化パラメータ117とに基づいて、補間フレームデータと対をなす他眼用補間フレームデータを生成するための第2補間パラメータ119を生成してもよい。すなわち、三次元化パラメータ117における変換後座標に特徴抽出部100により抽出された動きベクトルの寄与分(本実施の形態では動きベクトルの1/2)を加算して第2補間パラメータ119としてもよい。
Further, the
また、上記に示した機能ブロックの一部または全部を専用の論理回路で実現してもよい。すなわち、上記実施の形態においてソフトウェアにより実現されると説明されていた機能が、ハードウェアで実現されてもよい。 Further, some or all of the functional blocks shown above may be realized by a dedicated logic circuit. That is, the function described as being realized by software in the above embodiment may be realized by hardware.
また、上記に示した各工程はあくまでも例示であって、同様の効果が得られるならば、その内容や順序が、適宜、変更されてもよい。 Moreover, each process shown above is an illustration to the last, and if the same effect is acquired, the content and order may be changed suitably.
1 ワンセグ受信モジュール
10 CPU
100 特徴抽出部
101 領域設定部
102 視差量演算部
103 生成部
11 記憶装置
110 プログラム
111 二次元映像データ
112 三次元映像データ
113 特徴量データ
114 領域設定データ
115 視差量データ
116 パラメータデータ
117 三次元化パラメータ
118 補間パラメータ
119 補間パラメータ
12 チューナ
13 復調回路
14 復号回路
2 携帯端末装置
1 One-
DESCRIPTION OF
Claims (9)
前記複数のフレームデータにおいて前後する2のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する2のフレームデータのうちの1のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、
前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、
前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する生成手段と、
を備えることを特徴とする画像処理装置。 An image processing apparatus for converting 2D video data composed of a plurality of frame data created in time series into pseudo 3D video data,
Feature extraction means for extracting a feature quantity including a motion vector from two frame data preceding and following the plurality of frame data;
Setting means for setting a target region to be three-dimensionalized for a plurality of pixels constituting one frame data of the preceding and following two frame data according to the motion vector extracted by the feature extraction means;
A parallax amount calculating unit that calculates a parallax amount for each target region set by the setting unit based on a feature amount including a motion vector extracted by the feature extracting unit;
Based on the motion vector extracted by the feature extraction unit, the target region set by the setting unit, and the parallax amount of the target region obtained by the parallax amount calculation unit, the two-dimensional Generating means for generating pseudo 3D video data in which the frame rate in the video data is changed;
An image processing apparatus comprising:
前記生成手段は、前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記1のフレームデータと対をなす1の他眼用フレームデータを生成するための三次元化パラメータを生成するとともに、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域とに基づいて、前記前後する2のフレームデータの間を補間する補間フレームデータを生成するための第1補間パラメータを生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 1,
The generating means is a frame for one other eye that is paired with the one frame data based on the target area set by the setting means and the parallax amount of the target area obtained by the parallax amount calculating means. A three-dimensional parameter for generating data is generated, and based on the motion vector extracted by the feature extraction unit and the target region set by the setting unit, the interval between the two preceding and following frame data is calculated. An image processing apparatus for generating a first interpolation parameter for generating interpolation frame data to be interpolated.
前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第2補間パラメータを生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 2,
The generating means is based on the motion vector extracted by the feature extracting means, the target area set by the setting means, and the parallax amount of the target area obtained by the parallax amount calculating means. And a second interpolation parameter for generating interocular interpolation frame data paired with the image processing apparatus.
前記生成手段は、前記視差量演算手段により求められた対象領域の視差量と前記第1補間パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第2補間パラメータを生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 2,
The generation means generates second-eye interpolation frame data that forms a pair with the interpolation frame data based on the parallax amount of the target area obtained by the parallax amount calculation means and the first interpolation parameter. An image processing apparatus that generates two interpolation parameters.
前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記三次元化パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第2補間パラメータを生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 2,
The generation means includes second interpolation parameters for generating interocular interpolation frame data paired with the interpolation frame data based on the motion vector extracted by the feature extraction means and the three-dimensional parameter. An image processing apparatus that generates the image processing apparatus.
前記設定手段は、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に応じて、対象領域を設定することを特徴とする画像処理装置。 An image processing apparatus according to any one of claims 1 to 5,
The image processing apparatus, wherein the setting unit sets a target region according to a feature amount including a motion vector extracted by the feature extraction unit.
ワンセグ放送により提供される番組を表現した情報を前記二次元映像データとして受信する受信手段をさらに備え、
前記受信手段による二次元映像データの受信と前記二次元映像データから生成される前記擬似的な三次元映像データのユーザによる視聴とが実質的にリアルタイムで実行されることを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 6,
Receiving means for receiving information representing a program provided by one-segment broadcasting as the two-dimensional video data;
An image processing apparatus characterized in that reception of 2D video data by the receiving means and viewing of the pseudo 3D video data generated from the 2D video data by a user are performed substantially in real time. .
前記複数のフレームデータにおいて前後する2のフレームデータから動きベクトルを含む特徴量を抽出する工程と、
前記動きベクトルに応じて、前記前後する2のフレームデータのうちの1のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する工程と、
前記動きベクトルを含む特徴量に基づいて、前記対象領域ごとの視差量を演算する工程と、
前記動きベクトルと前記対象領域と前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する工程と、
を有することを特徴とする画像処理方法。 An image processing method for converting 2D video data composed of a plurality of frame data created in time series order into pseudo 3D video data,
Extracting a feature amount including a motion vector from two frame data preceding and following the plurality of frame data;
Setting a target region to be three-dimensionalized for a plurality of pixels constituting one frame data of the two preceding and following frame data according to the motion vector;
A step of calculating a parallax amount for each target region based on a feature amount including the motion vector;
Generating pseudo 3D video data in which a frame rate in the 2D video data is changed from the 2D video data based on the motion vector, the target region, and the parallax amount of the target region;
An image processing method comprising:
時系列順に作成された複数のフレームデータから構成される二次元映像データを記憶する記憶手段と、
前記記憶手段に記憶された二次元映像データにおいて前後する2のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する2のフレームデータのうちの1のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、
前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、
前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成し、生成した前記擬似的な三次元映像データを前記記憶手段に記憶させる生成手段と、
を備える画像処理装置として機能させることを特徴とするプログラム。 A computer-readable program, wherein execution of the program by the computer causes the computer to
Storage means for storing 2D video data composed of a plurality of frame data created in time series order;
Feature extraction means for extracting a feature quantity including a motion vector from two frame data before and after the 2D video data stored in the storage means;
Setting means for setting a target region to be three-dimensionalized for a plurality of pixels constituting one frame data of the preceding and following two frame data according to the motion vector extracted by the feature extraction means;
A parallax amount calculating unit that calculates a parallax amount for each target region set by the setting unit based on a feature amount including a motion vector extracted by the feature extracting unit;
Based on the motion vector extracted by the feature extraction unit, the target region set by the setting unit, and the parallax amount of the target region obtained by the parallax amount calculation unit, the two-dimensional Generating means for generating pseudo 3D video data in which the frame rate in the video data is changed, and storing the generated pseudo 3D video data in the storage means;
A program for causing a computer to function as an image processing apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010249282A JP2012104898A (en) | 2010-11-08 | 2010-11-08 | Image processing system, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010249282A JP2012104898A (en) | 2010-11-08 | 2010-11-08 | Image processing system, image processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012104898A true JP2012104898A (en) | 2012-05-31 |
Family
ID=46394846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010249282A Withdrawn JP2012104898A (en) | 2010-11-08 | 2010-11-08 | Image processing system, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012104898A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013186882A1 (en) * | 2012-06-13 | 2013-12-19 | 株式会社エム・ソフト | 3d-image generation method, and 3d-image generation system |
JP2015510578A (en) * | 2011-12-01 | 2015-04-09 | クアルコム,インコーポレイテッド | Mitigating the effects of changes in sensor calibration parameters |
-
2010
- 2010-11-08 JP JP2010249282A patent/JP2012104898A/en not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015510578A (en) * | 2011-12-01 | 2015-04-09 | クアルコム,インコーポレイテッド | Mitigating the effects of changes in sensor calibration parameters |
US9625490B2 (en) | 2011-12-01 | 2017-04-18 | Qualcomm Incorporated | Mitigating the effect of a change in sensor calibration parameters |
WO2013186882A1 (en) * | 2012-06-13 | 2013-12-19 | 株式会社エム・ソフト | 3d-image generation method, and 3d-image generation system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102844696B (en) | The method of electronic installation and reproducing three-dimensional images | |
KR101775253B1 (en) | Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video | |
CN106296781B (en) | Special effect image generation method and electronic equipment | |
CN103024408A (en) | Stereoscopic image converting apparatus and stereoscopic image output apparatus | |
JP2011139261A (en) | Image processing device, image processing method, and program | |
KR20120120502A (en) | Stereoscopic video graphics overlay | |
JP2020005202A (en) | Video processing device | |
JP6033625B2 (en) | Multi-viewpoint image generation device, image generation method, display device, program, and recording medium | |
US8619123B2 (en) | Video processing apparatus and method for scaling three-dimensional video | |
JP6934052B2 (en) | Display control device, display control method and program | |
JP2012104898A (en) | Image processing system, image processing method, and program | |
JP2012186652A (en) | Electronic apparatus, image processing method and image processing program | |
US20130120527A1 (en) | Electronic apparatus and display control method | |
WO2012014489A1 (en) | Video image signal processor and video image signal processing method | |
JP5025768B2 (en) | Electronic apparatus and image processing method | |
JP5664356B2 (en) | Generation apparatus and generation method | |
WO2013024847A1 (en) | Stereoscopic image generating device, stereoscopic image display device, stereoscopic image generating method, and program | |
JP5017445B2 (en) | Parallax image conversion device | |
JP5238849B2 (en) | Electronic device, electronic device control method, and electronic device control program | |
JP5550603B2 (en) | Video processing apparatus, video processing method, and program | |
WO2011114745A1 (en) | Video playback device | |
JP2014203017A (en) | Image processing device, image processing method, display, and electronic apparatus | |
JP5691966B2 (en) | Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program | |
CN103167299A (en) | Method and equipment used for generating three-dimensional (3D) video on a resource-limited device | |
KR101804912B1 (en) | An apparatus for displaying a 3-dimensional image and a method for displaying subtitles of a 3-dimensional image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140204 |