JP2012104898A - Image processing system, image processing method, and program - Google Patents
Image processing system, image processing method, and program Download PDFInfo
- Publication number
- JP2012104898A JP2012104898A JP2010249282A JP2010249282A JP2012104898A JP 2012104898 A JP2012104898 A JP 2012104898A JP 2010249282 A JP2010249282 A JP 2010249282A JP 2010249282 A JP2010249282 A JP 2010249282A JP 2012104898 A JP2012104898 A JP 2012104898A
- Authority
- JP
- Japan
- Prior art keywords
- frame data
- data
- motion vector
- video data
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
Description
本発明は、二次元映像を三次元映像に変換する技術に関する。より詳しくは、フレームレートの低い二次元映像を補間しつつ三次元映像に変換するときの変換演算に要する負荷を抑制する技術に関する。 The present invention relates to a technique for converting a two-dimensional image into a three-dimensional image. More specifically, the present invention relates to a technique for suppressing a load required for a conversion operation when converting a two-dimensional video with a low frame rate into a three-dimensional video while interpolating.
昨今、三次元映像が話題となり、映像を三次元で楽しむのが流行となっている。しかしながら、これまでに撮影され、制作された映像のほとんどが二次元映像である。 In recent years, 3D video has become a hot topic, and it is becoming popular to enjoy video in 3D. However, most of the images shot and produced so far are two-dimensional images.
これら膨大な二次元映像の資産を三次元映像として楽しむために、従来より、二次元映像を擬似的な三次元映像に変換する技術が提案されている。このような技術が、例えば、特許文献１に記載されている。特許文献１に記載されている技術を用いれば、二次元映像として配信されている映像でも、三次元映像として閲覧することが可能となる。
In order to enjoy such a vast amount of 2D video assets as 3D video, a technique for converting 2D video to pseudo 3D video has been proposed. Such a technique is described in
一方、モバイル端末装置向けに配信される映像は、フレームレートが低く設定されていることが多く、このまま再生した場合には、なめらかな映像を楽しむことができない。したがって、復号化されたフレームから補間フレームを生成することによって、再生される映像のフレームレートを向上させる技術が知られている。このような技術が、例えば、特許文献２に記載されている。
On the other hand, video delivered to mobile terminal devices is often set to a low frame rate, and when played as it is, smooth video cannot be enjoyed. Therefore, a technique for improving the frame rate of a reproduced video by generating an interpolation frame from the decoded frame is known. Such a technique is described in
すなわち、フレームレートの低い二次元映像に特許文献２に記載されている技術を適用してなめらかな二次元映像を生成し、この映像を特許文献１に記載されている技術によって擬似的な三次元映像に変換すれば、モバイル端末装置等に配信されるフレームレートの低い二次元映像を、なめらかな擬似的な三次元映像として楽しむことができる。ただし、特許文献１に記載の技術と特許文献２に記載の技術とを組み合わせた技術は従来技術ではなく、従来技術に基づいて発明者が導き出した新規な技術である。
That is, a smooth two-dimensional video is generated by applying the technique described in
ところが、発明者が考えた上記新規な技術により、フレームレートの低い二次元映像からなめらかな擬似的な三次元映像を生成する場合には、画像処理に要する演算負荷が大きくなるという問題があった。フレームレートの低い二次元映像（擬似的な三次元映像に変換するだけでは足りず、補間フレームを生成して補間する必要がある映像）は、比較的演算負荷に弱いモバイル端末装置が対象となることが多く、特に、深刻な問題となる。 However, with the above-described novel technique considered by the inventor, there is a problem in that when a smooth pseudo 3D video is generated from a 2D video with a low frame rate, the computation load required for image processing increases. . 2D video with a low frame rate (video that needs to be interpolated by generating an interpolated frame is not enough to convert to pseudo 3D video) is targeted at mobile terminal devices that are relatively weak in computation load It is often a serious problem.
本発明は、上記課題に鑑みてなされたものであり、二次元映像について、フレームレートを向上させるとともに、擬似的な三次元映像に変換する場合の演算負荷を抑制する技術を提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a technique for improving the frame rate of 2D video and suppressing the calculation load when converting to a pseudo 3D video. And
上記の課題を解決するため、請求項１の発明は、時系列順に作成された複数のフレームデータから構成される二次元映像データを擬似的な三次元映像データに変換する画像処理装置であって、前記複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する生成手段とを備えることを特徴とする。
In order to solve the above-mentioned problems, the invention of
また、請求項２の発明は、請求項１の発明に係る画像処理装置であって、前記生成手段は、前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記１のフレームデータと対をなす１の他眼用フレームデータを生成するための三次元化パラメータを生成するとともに、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域とに基づいて、前記前後する２のフレームデータの間を補間する補間フレームデータを生成するための第１補間パラメータを生成することを特徴とする。
Further, the invention of
また、請求項３の発明は、請求項２の発明に係る画像処理装置であって、前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする。
The invention according to claim 3 is the image processing apparatus according to
また、請求項４の発明は、請求項２の発明に係る画像処理装置であって、前記生成手段は、前記視差量演算手段により求められた対象領域の視差量と前記第１補間パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする。
The invention according to claim 4 is the image processing apparatus according to the invention of
また、請求項５の発明は、請求項２の発明に係る画像処理装置であって、前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記三次元化パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする。
The invention according to claim 5 is the image processing apparatus according to the invention of
また、請求項６の発明は、請求項１ないし５のいずれかの発明に係る画像処理装置であって、前記設定手段は、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に応じて、対象領域を設定することを特徴とする。
The invention according to claim 6 is the image processing apparatus according to any one of
また、請求項７の発明は、請求項１ないし６のいずれかの発明に係る画像処理装置であって、ワンセグ放送により提供される番組を表現した情報を前記二次元映像データとして受信する受信手段をさらに備え、前記受信手段による二次元映像データの受信と前記二次元映像データから生成される前記擬似的な三次元映像データのユーザによる視聴とが実質的にリアルタイムで実行されることを特徴とする。
The invention according to claim 7 is the image processing apparatus according to any one of
また、請求項８の発明は、時系列順に作成された複数のフレームデータから構成される二次元映像データを擬似的な三次元映像データに変換する画像処理方法であって、前記複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する工程と、前記動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する工程と、前記動きベクトルを含む特徴量に基づいて、前記対象領域ごとの視差量を演算する工程と、前記動きベクトルと前記対象領域と前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する工程とを有することを特徴とする。 The invention of claim 8 is an image processing method for converting 2D video data composed of a plurality of frame data created in time-series order into pseudo 3D video data, wherein the plurality of frame data Extracting a feature amount including a motion vector from the two preceding and following frame data, and three-dimensionally regarding a plurality of pixels constituting one frame data of the two preceding and following frame data according to the motion vector A target region to be converted, a step of calculating a parallax amount for each target region based on a feature amount including the motion vector, a parallax amount of the motion vector, the target region, and the target region Based on the 2D video data, a process for generating pseudo 3D video data by changing a frame rate in the 2D video data. Characterized in that it has and.
また、請求項９の発明は、コンピュータによる読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、時系列順に作成された複数のフレームデータから構成される二次元映像データを記憶する記憶手段と、前記記憶手段に記憶された二次元映像データにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成し、生成した前記擬似的な三次元映像データを前記記憶手段に記憶させる生成手段とを備える画像処理装置として機能させることを特徴とする。 The invention according to claim 9 is a computer-readable program, and the execution of the program by the computer is a two-dimensional video data composed of a plurality of frame data created in time series. Storage means for storing, feature extraction means for extracting feature quantities including motion vectors from two frame data before and after the 2D video data stored in the storage means, and motion vectors extracted by the feature extraction means And setting means for setting a target area to be three-dimensionalized for a plurality of pixels constituting one frame data of the two preceding and following frame data, and a motion vector extracted by the feature extraction means Calculates the amount of parallax for each target area set by the setting means based on the feature amount On the basis of the motion vector extracted by the feature extraction unit, the target area set by the setting unit, and the parallax amount of the target area obtained by the parallax amount calculation unit. Image processing comprising: generating means for generating pseudo 3D video data in which a frame rate in the 2D video data is changed from the 2D video data, and storing the generated pseudo 3D video data in the storage means It functions as a device.
本発明は、複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出し、抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定し、抽出された動きベクトルを含む特徴量に基づいて、設定された対象領域ごとの視差量を演算し、抽出された動きベクトルと設定された対象領域と求められた当該対象領域の視差量とに基づいて、二次元映像データから当該二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成することにより、動きベクトルを抽出する処理を１回実行するだけで、二次元映像データのフレームレートを変更しつつ擬似的な三次元映像データを生成できるので、処理負荷が軽減される。 The present invention extracts a feature amount including a motion vector from two preceding and following frame data in a plurality of frame data, and determines one frame data of the two preceding and following frame data according to the extracted motion vector. A target region to be three-dimensionalized is set for a plurality of constituent pixels, and the amount of parallax for each set target region is calculated based on the feature amount including the extracted motion vector, and set as the extracted motion vector Based on the obtained target area and the obtained parallax amount of the target area, by generating pseudo 3D video data in which the frame rate in the 2D video data is changed from the 2D video data, a motion vector is obtained. Generate pseudo 3D video data while changing the frame rate of 2D video data by executing the extraction process once. Runode, the processing load is reduced.
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings.
＜１． 実施の形態＞
図１は、本発明に係る画像処理装置であるワンセグ受信モジュール１を搭載した状態の携帯端末装置２を示す図である。携帯端末装置２は、可搬性のコンピュータであり、例えば、携帯型のゲーム機、ＰＤＡ、携帯電話あるいはノートパソコン等が想定される。また、ワンセグ受信モジュール１は、携帯端末装置２の図示しないスロットに着脱自在に装着され、携帯端末装置２においてワンセグ放送を受信し視聴するために使用される装置である。
<1. Embodiment>
FIG. 1 is a diagram showing a
図２は、ワンセグ受信モジュール１および携帯端末装置２の構成を示すブロック図である。
FIG. 2 is a block diagram illustrating configurations of the one-
図２に示すように、ワンセグ受信モジュール１は、各種データの演算を行うとともにワンセグ受信モジュール１の各構成を制御するＣＰＵ１０と、各種データを必要に応じて適宜記憶する記憶装置１１とを備えている。これによりワンセグ受信モジュール１は、記憶装置１１に記憶されたプログラム１１０を読み取りつつ、当該プログラム１１０をＣＰＵ１０により実行するコンピュータとしての構成および機能を有している。
As shown in FIG. 2, the one-
プログラム１１０、二次元映像データ１１１および三次元映像データ１１２を記憶する記憶装置１１は、ＣＰＵ１０の一時的なワーキングエリアとして使用され比較的高速にアクセスすることが可能なＲＡＭや、不揮発性で読み取り専用のＲＯＭ、比較的短時間の間だけ情報を格納するバッファ、あるいは、着脱自在のメモリカード等から構成される。すなわち、図２において記憶装置１１は、１つの構成であるかのように図示されているが、実際には、記憶する情報の種類や用途に応じて選択される、様々な種類の記憶素子を備えた装置の集合体である。
The
また、ワンセグ受信モジュール１は、チューナ１２、復調回路１３および復号回路１４を備えている。これらの構成は、ワンセグ放送を受信して、当該ワンセグ放送の番組を表現した二次元映像データ１１１を生成するための構成（本発明に係る受信手段に相当する構成）であり、従来の技術を適用することが可能であるため、簡単に説明する。
The one-
アンテナを含むチューナ１２は、アンテナにより受信されたＲＦ信号を増幅するとともに、アナログのＩＦ信号に変換して復調回路１３に向けて出力する。
A
復調回路１３は、例えば、Ａ／Ｄ変換回路とＯＦＤＭ復調回路とを備えた回路であり、当該Ａ／Ｄ変換回路によりチューナ１２からのアナログ信号をデジタル信号に変換するとともに、当該ＯＦＤＭ復調回路によりＴＳ信号を生成して復号回路１４に向けて出力する。
For example, the
復号回路１４は、例えば、本実施の形態ではＭＰＥＧ復号回路であり、復調回路１３から入力される信号（本実施の形態ではＴＳ信号）を復号して、二次元映像データ１１１を生成し、出力する。復号回路１４から出力された二次元映像データ１１１は、記憶装置１１に一旦格納される。
The
さらに、ワンセグ受信モジュール１は、インタフェース部１５を備えている。インタフェース部１５は、携帯端末装置２のインタフェース部２５との間で電気的に接続される端子群を構成している。インタフェース部１５がインタフェース部２５に挿入されることにより、ワンセグ受信モジュール１は携帯端末装置２と接続され、携帯端末装置２との間でデータ通信が可能となるとともに、携帯端末装置２から電力の供給を受けることも可能となる。
Further, the one-
詳細は後述するが、本実施の形態におけるワンセグ受信モジュール１は、ワンセグ放送により提供される番組を受信して、当該番組を表現した二次元映像データ１１１を生成する受信機としての機能を有しているとともに、二次元映像データ１１１から擬似的な三次元映像データ１１２を作成する画像処理装置としての機能も有している。
Although details will be described later, the one-
図２に示すように、携帯端末装置２は、各種データの演算を行うとともに携帯端末装置２の各構成を制御するＣＰＵ２０を備えている。また、携帯端末装置２は、各種データを必要に応じて適宜記憶する記憶装置２１を備えている。これにより携帯端末装置２は、記憶装置２１に記憶されたプログラム２１０を読み取りつつ、当該プログラム２１０をＣＰＵ２０により実行するコンピュータとしての構成および機能を有している。
As shown in FIG. 2, the mobile
プログラム２１０および三次元映像データ１１２を記憶する記憶装置２１は、ＣＰＵ２０の一時的なワーキングエリアとして使用され比較的高速にアクセスすることが可能なＲＡＭや、不揮発性で読み取り専用のＲＯＭ、比較的短時間の間だけ情報を格納するバッファ、あるいは、着脱自在のメモリカード等から構成される。すなわち、図２において記憶装置２１は、１つの構成であるかのように図示されているが、実際には、記憶する情報の種類や用途に応じて選択される、様々な種類の記憶素子を備えた装置の集合体である。
The
さらに、携帯端末装置２は、操作部２２、表示部２３、スピーカ２４およびインタフェース部２５を備えている。
Furthermore, the mobile
操作部２２は、ユーザが携帯端末装置２を操作するために必要な情報を入力するために使用される。操作部２２としては、各種ボタン類やテンキー等が該当する。操作部２２が操作されることにより入力された情報は、携帯端末装置２を操作するだけでなく、ワンセグ受信モジュール１を操作するためにも使用される。例えば、どのチャンネルで放送されている番組を視聴するかを選択する情報は、ユーザが操作部２２を操作することによって入力されるが、この情報は、携帯端末装置２のＣＰＵ２０を介して、ワンセグ受信モジュール１に伝達され、ワンセグ受信モジュール１側において、これに応じた処理が実行される（すなわち、視聴するチャンネルの切り替えが行われる。）。
The
表示部２３は、液晶パネルやディスプレイ、ランプ、ＬＥＤ等から構成される。表示部２３は、ＣＰＵ２０からの制御信号により、画像データに基づいて画面に画像を再生（表示）する機能を有している。本実施の形態における表示部２３は、三次元映像データ１１２に含まれる画像データを再生することにより、ワンセグ放送の画像を再生する。
The display unit 23 includes a liquid crystal panel, a display, a lamp, an LED, and the like. The display unit 23 has a function of reproducing (displaying) an image on a screen based on image data in accordance with a control signal from the
スピーカ２４は、ＣＰＵ２０からの制御信号により、音声データに基づいて音声を再生する機能を有している。本実施の形態におけるスピーカ２４は、三次元映像データ１１２に含まれる音声データを再生することにより、ワンセグ放送の音声を再生する。
The
インタフェース部２５は、ワンセグ受信モジュール１のインタフェース部１５との間で電気的に接続される端子群を構成している。インタフェース部２５にインタフェース部１５が挿入されることにより、携帯端末装置２にワンセグ受信モジュール１が装着され、携帯端末装置２においてワンセグ放送の視聴が可能となる。
The
図３は、ワンセグ受信モジュール１の機能ブロックをデータの流れとともに示す図である。図３に示す特徴抽出部１００、領域設定部１０１、視差量演算部１０２および生成部１０３は、ワンセグ受信モジュール１のＣＰＵ１０がプログラム１１０に従って動作するこにより実現される機能ブロックである。
FIG. 3 is a diagram showing functional blocks of the one-
特徴抽出部１００は、二次元映像データ１１１を構成する複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出し、特徴量データ１１３を作成する機能を有している。
The
図４は、二次元映像データ１１１の映像に係る部分を概念的に示した図である。図４に示すように、二次元映像データ１１１は、時系列順に作成された複数のフレームデータから構成される。
FIG. 4 is a diagram conceptually showing a part related to the video of the
図４には、（ｎ−１）番目のフレームデータと、ｎ番目のフレームデータと、（ｎ＋１）番目のフレームデータとを示している（ただし、ｎは整数）。また、本実施の形態では、二次元映像データ１１１のフレームレートは１５［fps］とする。なお、以下、ｎ番目のフレームデータを「フレームデータｎ」と称する。
FIG. 4 shows (n-1) th frame data, nth frame data, and (n + 1) th frame data (where n is an integer). In the present embodiment, the frame rate of the
各フレームデータは、矩形状に配列した複数の画素から構成されている。本実施の形態では、フレームデータを構成する画素の水平方向の位置座標を「ｉ」、垂直方向の位置座標を「ｊ」として説明する。 Each frame data is composed of a plurality of pixels arranged in a rectangular shape. In the present embodiment, description will be made assuming that the position coordinates in the horizontal direction of the pixels constituting the frame data are “i” and the position coordinates in the vertical direction are “j”.
図５は、特徴抽出部１００により作成される特徴量データ１１３を例示する図である。ここでは、図４に示すフレームデータｎと、フレームデータ（ｎ＋１）とに基づいて作成される、フレームデータｎについての特徴量データ１１３を示すものとして説明する。
FIG. 5 is a diagram illustrating
本実施の形態における特徴抽出部１００は、前後する２のフレームデータを比較することにより、フレームデータｎを構成する各画素ごとに、動きベクトルと、色と、周波数とを特徴量として抽出する。このような特徴抽出処理は従来の手法を適宜適用できる。ただし、特徴抽出部１００が抽出する特徴量としては、他の種類のものを含めて取捨選択されてもよいが、動きベクトルは必須のものとする。
The
なお、本実施の形態における特徴抽出部１００は、各画素ごとに特徴量を抽出するが、特徴量を抽出する単位は１画素に限定されるものではない。例えば、４（２×２）個の画素を１つの単位として特徴量を抽出するように構成してもよい。
Note that the
図３に示す領域設定部１０１は、前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する機能を有している。
The
図６は、領域設定部１０１により作成される領域設定データ１１４を例示する図である。図６に示す例では、三次元化させる対象領域としてオブジェクト０とオブジェクト１とが設定されており、各対象領域を構成する画素がグループ化されている。
FIG. 6 is a diagram illustrating
すなわち、オブジェクト０には、画素Ｐ00（座標が(0,0)）、画素Ｐ11（座標が(1,1)）、画素Ｐ22（座標が(2,2)）、画素Ｐ33（座標が(3,3)）・・・が含まれ、オブジェクト１には、画素Ｐ1235（座標が(12,35)）・・・が含まれる。言い換えれば、オブジェクト０は画素Ｐ00（座標が(0,0)）、画素Ｐ11（座標が(1,1)）、画素Ｐ22（座標が(2,2)）、画素Ｐ33（座標が(3,3)）・・・によって構成される領域であり、オブジェクト１は画素Ｐ1235（座標が(12,35)）・・・によって構成される領域である。
That is, the object 0 includes pixel P 00 (coordinate is (0,0)), pixel P 11 (coordinate is (1,1)), pixel P 22 (coordinate is (2,2)), pixel P 33 ( The coordinates include (3,3))... And the
このように、特徴量データ１１３に基づいて、フレームデータ（フレームデータｎ）を構成する複数の画素を対象領域（画素グループ）にグループ化する手法としては、従来から提案されている手法を適宜採用することができる。
As described above, as a method of grouping a plurality of pixels constituting the frame data (frame data n) into the target region (pixel group) based on the
なお、本実施の形態における領域設定部１０１は、先述のように特徴抽出部１００が抽出した特徴量（特徴量データ１１３）に基づいて、対象領域を設定する。ただし、領域設定部１０１が対象領域を設定するときに参照する情報は、特徴量データ１１３に限定されるものではない。例えば、二次元映像データ１１１の映像種別（例えば風景や、スポーツ、アニメーション等の種別）に関する情報や、ＣＧ合成映像である場合のオブジェクト指定情報等であってもよいし、これらの情報が併用されてもよい。
Note that the
また、１つのフレームデータにおいて設定される対象領域の数は不定であるが、通常、１のフレームデータを構成するすべての画素がいずれかの対象領域に設定されることはない。対象領域は、先述のように、三次元化させる（人の目によって立体的に見えるように変換する）部分的な領域であり、一般には、背景に対して前方に存在する物体に相当する画像領域である。 Further, although the number of target areas set in one frame data is indefinite, normally, all pixels constituting one frame data are not set in any target area. As described above, the target area is a partial area that is three-dimensionalized (converted so that it can be seen three-dimensionally by the human eye), and is generally an image corresponding to an object that exists in front of the background. It is an area.
図３に示す視差量演算部１０２は、特徴抽出部１００により抽出された動きベクトルを含む特徴量（特徴量データ１１３）に基づいて、領域設定部１０１により設定された対象領域ごとの視差量を演算し、視差量データ１１５を作成する機能を有している。このようにして視差量を求める手法は、従来から提案されている手法を適宜採用することができるため、簡単に説明する。
3 calculates the parallax amount for each target region set by the
視差量演算部１０２は、領域設定データ１１４を参照して、当該領域設定データ１１４に設定されている対象領域（例えばオブジェクト０）を構成する画素（オブジェクト０であれば、画素Ｐ00、画素Ｐ11、画素Ｐ22、画素Ｐ33・・・）を特定し、特定した当該画素ごとに特徴量データ１１３に含まれる特徴量（動きベクトル、色および周波数）を取得する。そして、これらの値の平均値（動きベクトルの平均値、色の平均値および周波数の平均値）を求め、これらの平均値に基づいて視差量（オブジェクト０については視差量ｄ０とする。）を求める。なお、本実施の形態における視差量演算部１０２は、対象領域ごとの視差量を、当該対象領域をフレームデータにおいて水平方向にずらす距離（画素数）として求める。
The parallax
図７は、視差量演算部１０２により作成される視差量データ１１５を例示する図である。図７に示すように、領域設定部１０１により設定されたオブジェクト０およびオブジェクト１について、視差量演算部１０２によりそれぞれ視差量ｄ０および視差量ｄ１が求められ格納されている。
FIG. 7 is a diagram illustrating the
図３に示す生成部１０３は、特徴抽出部１００により抽出された動きベクトル（特徴量データ１１３）と、領域設定部１０１により設定された対象領域（領域設定データ１１４）と、視差量演算部１０２により求められた対象領域ごとの視差量（視差量データ１１５）とに基づいて、二次元映像データ１１１から当該二次元映像データ１１１におけるフレームレートを変更した擬似的な三次元映像データ１１２を生成する機能を有している。
The
生成部１０３は、領域設定部１０１により設定された対象領域と視差量演算部１０２により求められた対象領域の視差量データ１１５とに基づいて、フレームデータｎ（１のフレームデータ）と対をなす１の他眼用フレームデータを生成するための三次元化パラメータ１１７を生成する。なお、フレームデータｎと対をなす１の他眼用フレームデータを、以下、「他眼用フレームデータｎ」と称する。本実施の形態では、フレームデータｎは人の右目用のフレームデータであり、他眼用フレームデータｎは人の左目用のフレームデータである。ただし、これに限定されるものではなく、逆であってもよい。その場合は視差量演算部１０２により求められる視差量の符号を反転させればよい。
The
また、生成部１０３は、特徴抽出部１００により抽出された動きベクトルと、領域設定部１０１により設定された対象領域とに基づいて、フレームデータｎとフレームデータ（ｎ＋１）（前後する２のフレームデータ）の間を補間する補間フレームデータを生成するための第１補間パラメータ１１８を生成する。
Further, the
本実施の形態における生成部１０３は、二次元映像データ１１１のフレームレートを２倍に向上させて、擬似的な三次元映像データ１１２に変換する例で説明する。本実施の形態では二次元映像データ１１１のフレームレートは先述のように１５［fps］であるが、三次元映像データ１１２のフレームレートは３０［fps］となる。したがって、フレームデータｎとフレームデータ（ｎ＋１）との間を補間する補間フレームデータは、本実施の形態では１つのみ生成される。以下、当該補間フレームデータを「フレームデータ（ｎ＋１／２）」と称する。
The
さらに、生成部１０３は、特徴抽出部１００により抽出された動きベクトル（特徴量データ１１３）と、領域設定部１０１により設定された対象領域（領域設定データ１１４）と、視差量演算部１０２により求められた対象領域ごとの視差量（視差量データ１１５）とに基づいて、フレームデータ（ｎ＋１／２）（補間フレームデータ）と対をなす他眼用補間フレームデータを生成するための第２補間パラメータ１１９を生成する。なお、フレームデータ（ｎ＋１／２）と対をなす他眼用補間フレームデータを、以下、「他眼用フレームデータ（ｎ＋１／２）」と称する。
Further, the
図３に示すように、生成部１０３によって生成された三次元化パラメータ１１７、第１補間パラメータ１１８および第２補間パラメータ１１９は、パラメータデータ１１６として、一旦、記憶装置１１に記憶される。パラメータデータ１１６は、生成部１０３が二次元映像データ１１１から当該二次元映像データ１１１におけるフレームレートを変更した擬似的な三次元映像データ１１２を生成する際に利用されるが詳細は後述する。
As illustrated in FIG. 3, the three-
以上が、ワンセグ受信モジュール１および携帯端末装置２の構成および機能の説明である。次に、ワンセグ受信モジュール１による画像処理方法を説明する。
The above is the description of the configurations and functions of the one-
図８は、本発明に係る画像処理方法を示す図である。図８に示す各工程は、主に、ワンセグ受信モジュール１において実行される。
FIG. 8 is a diagram showing an image processing method according to the present invention. Each step shown in FIG. 8 is mainly executed in the one-
まず、ワンセグ受信モジュール１は、図示しない初期設定を実行した後、ワンセグ放送の受信を開始する。そして、ワンセグ放送を受信することにより、当該ワンセグ放送の１のフレームデータを受信し（ステップＳ１１）、受信した１のフレームデータを二次元映像データ１１１を構成するフレームデータとして記憶装置１１に記憶する。以下では、フレームデータ（ｎ＋１）を受信したときから説明する。
First, the one-
次に、特徴抽出部１００が、以前にステップＳ１１が実行されたときにすでに受信し記憶しているフレームデータｎとステップＳ１１で受信したフレームデータ（ｎ＋１）とに基づいて、動きベクトルを含む特徴量を抽出し（ステップＳ１２）、特徴量データ１１３を生成する。
Next, the
特徴量データ１１３が生成されると、領域設定部１０１が特徴量データ１１３（動きベクトル、色および周波数）に応じて、フレームデータｎを構成する複数の画素について三次元化させる対象領域を設定し（ステップＳ１３）、領域設定データ１１４を生成する。
When the
領域設定データ１１４が生成されると、視差量演算部１０２が特徴量データ１１３に基づいて、領域設定データ１１４に示されている対象領域ごとに視差量を演算し（ステップＳ１４）、視差量データ１１５を生成する。
When the
次に、生成部１０３が、特徴量データ１１３と、領域設定データ１１４と、視差量データ１１５とに基づいて、二次元映像データ１１１から擬似的な三次元映像データ１１２を生成するために必要なパラメータを演算し（ステップＳ１５）、パラメータデータ１１６を作成する。
Next, it is necessary for the
図９は、三次元化パラメータ１１７を例示する図である。図９に示す例では、フレームデータｎを構成する複数の画素について、フレームデータｎにおける座標と、フレームデータｎを他眼用フレームデータｎに変換するときの変換後座標とが含まれている。
FIG. 9 is a diagram illustrating the three-
他眼用フレームデータｎは、例えば、三次元化させるオブジェクト０については、当該オブジェクト０の視差量ｄ０だけ、オブジェクト０を構成する画素の座標が水平方向に移動したものとなる。 For example, for the object 0 to be three-dimensionalized, the other-eye frame data n is obtained by moving the coordinates of the pixels constituting the object 0 in the horizontal direction by the parallax amount d0 of the object 0.
したがって、三次元化パラメータ１１７では、三次元化させる対象領域（オブジェクト０）を構成する画素（画素Ｐ00，Ｐ11，Ｐ22，Ｐ33・・・）について、変換後座標が示されており、当該変換後座標の値は、いずれも元の水平座標の値に視差量ｄ０を加えた値となっている。言い換えれば、生成部１０３は、領域設定データ１１４に設定されている各対象領域を構成する画素について、当該画素の水平座標に、当該画素により構成される対象領域の視差量（視差量データ１１５に示される値）を加算して三次元化パラメータ１１７を作成する。
Therefore, the three-
これにより、二次元映像データ１１１を構成するフレームデータｎを、三次元化パラメータ１１７によって変換すると、他眼用フレームデータｎを生成することが可能となる。すなわち、三次元化パラメータ１１７はフレームデータｎを他眼用フレームデータｎに変換するための変換テーブルを構成している。
As a result, when the frame data n constituting the
そして、ユーザの右目にフレームデータｎを見せつつ、左目に他眼用フレームデータｎを見せると、視差量（視差量ｄ０）に応じて対象領域（オブジェクト０）が立体的に見え、当該対象領域が擬似的に三次元化される。なお、三次元化パラメータ１１７には、変換後座標により移動した画素を埋めるための画素に関するデータも含まれているが、従来の技術を適用することが可能であるため、詳細な説明を省略する。以下、第１補間パラメータ１１８および第２補間パラメータ１１９についても同様である。
When the user's right eye shows the frame data n and the left eye shows the other-eye frame data n, the target area (object 0) appears three-dimensionally according to the amount of parallax (parallax amount d0). Is pseudo-three-dimensionalized. Note that the three-
図１０は、第１補間パラメータ１１８を例示する図である。図１０に示す例では、フレームデータｎを構成する複数の画素について、フレームデータｎにおける座標と、フレームデータｎを補間フレームデータ（ｎ＋１／２）に変換するときの変換後座標とが含まれている。
FIG. 10 is a diagram illustrating the
補間フレームデータ（ｎ＋１／２）は、例えば、移動しているオブジェクト０については、オブジェクト０を構成する画素の座標が当該画素の動きベクトルの方向に移動したものとなる。また、このとき移動する距離は、本実施の形態のように、フレームレート変換率が「２倍」の場合、動きベクトルの大きさの１／２となる。 The interpolation frame data (n + 1/2) is, for example, for the moving object 0, in which the coordinates of the pixels constituting the object 0 are moved in the direction of the motion vector of the pixel. Further, the distance moved at this time is ½ of the magnitude of the motion vector when the frame rate conversion rate is “double” as in the present embodiment.
したがって、第１補間パラメータ１１８では、対象領域（オブジェクト０）を構成する画素（画素Ｐ00，Ｐ11，Ｐ22，Ｐ33・・・）について、変換後座標が示されており、当該変換後座標の値は、いずれも元の座標の値に動きベクトルの大きさの１／２を加えた値となっている。例えば、画素Ｐ00の動きベクトルは図５に示すように（ｖ０，ｖ１）である。したがって、画素Ｐ00の変換後座標は、（０＋ｖ０／２，０＋ｖ１／２）となる。
Therefore, the
言い換えれば、生成部１０３は、領域設定データ１１４に設定されている各対象領域を構成する画素について、当該画素の座標に、当該画素の動きベクトル（特徴量データ１１３に示される値）の１／２を加算して第１補間パラメータ１１８を作成する。
In other words, for the pixels constituting each target region set in the
これにより、二次元映像データ１１１を構成するフレームデータｎを、第１補間パラメータ１１８によって変換すると、補間フレームデータ（ｎ＋１／２）を生成することが可能となる。すなわち、第１補間パラメータ１１８はフレームデータｎを補間フレームデータ（ｎ＋１／２）に変換するための変換テーブルを構成している。
Thereby, when the frame data n constituting the
そして、フレームデータｎとフレームデータ（ｎ＋１）との間に、補間フレームデータ（ｎ＋１／２）を見せることにより、二次元映像データ１１１において１５［fps］であったフレームレートが、三次元映像データ１１２において３０［fps］に変更される。すなわち、三次元映像データ１１２は二次元映像データ１１１よりも高いフレームレートに変換されるため滑らかな映像となる。
Then, by showing the interpolated frame data (n + 1/2) between the frame data n and the frame data (n + 1), the frame rate of 15 [fps] in the
なお、画素Ｐ00と同じ対象領域（オブジェクト０）を構成する他の画素Ｐ11，Ｐ22，Ｐ33・・・も通常は同じ動きベクトル（ｖ０，ｖ１）であるため、図１０に示すように、これらの画素の座標にも動きベクトル（ｖ０，ｖ１）の１／２の値が加算されることにより、変換後座標が求められている。 Since the other pixels P 11 , P 22 , P 33 ... Constituting the same target area (object 0) as the pixel P 00 are usually the same motion vector (v0, v1), as shown in FIG. In addition, the coordinates after conversion are obtained by adding a value of ½ of the motion vector (v0, v1) to the coordinates of these pixels.
図１１は、第２補間パラメータ１１９を例示する図である。図１１に示す例では、フレームデータｎを構成する複数の画素について、フレームデータｎにおける座標と、フレームデータｎを他眼用補間フレームデータ（ｎ＋１／２）に変換するときの変換後座標とが含まれている。
FIG. 11 is a diagram illustrating the
他眼用補間フレームデータ（ｎ＋１／２）は、例えば、三次元化させるオブジェクト０については、当該オブジェクト０の視差量ｄ０だけ、オブジェクト０を構成する画素の座標が水平方向に移動したものとなる。また、例えば、移動しているオブジェクト０については、オブジェクト０を構成する画素の座標が当該画素の動きベクトルの方向に動きベクトルの大きさの１／２だけ移動したものとなる。 For example, for the object 0 to be three-dimensionalized, the other-eye interpolation frame data (n + 1/2) is obtained by moving the coordinates of the pixels constituting the object 0 in the horizontal direction by the parallax amount d0 of the object 0. . Further, for example, for the moving object 0, the coordinates of the pixel constituting the object 0 are moved in the direction of the motion vector of the pixel by ½ of the magnitude of the motion vector.
したがって、第２補間パラメータ１１９では、対象領域（オブジェクト０）を構成する画素（画素Ｐ00，Ｐ11，Ｐ22，Ｐ33・・・）について、変換後座標が示されており、当該変換後座標の値は、いずれも元の水平座標の値に視差量ｄ０を加えるとともに、動きベクトルの大きさの１／２を加えた値となっている。例えば、画素Ｐ00の動きベクトルは先述のように（ｖ０，ｖ１）である。したがって、第２補間パラメータ１１９における画素Ｐ00の変換後座標は、（０＋ｄ０＋ｖ０／２，０＋ｖ１／２）となる。
Therefore, the
言い換えれば、本実施の形態における生成部１０３は、領域設定データ１１４に設定されている各対象領域を構成する画素について、当該画素の水平座標については視差量ｄ０と当該画素の動きベクトル（特徴量データ１１３に示される値）の１／２とを加算し、垂直座標については当該画素の動きベクトル（特徴量データ１１３に示される値）の１／２を加算して第２補間パラメータ１１９を作成する。
In other words, the
そして、ユーザの右目に補間フレームデータ（ｎ＋１／２）を見せつつ、左目に他眼用補間フレームデータ（ｎ＋１／２）を見せると、フレームデータが補間されている間においても、視差量（視差量ｄ０）に応じて対象領域（オブジェクト０）が立体的に見え、当該対象領域が擬似的に三次元化される。 If the left-eye interpolation frame data (n + 1/2) is shown while the user's right eye shows the interpolation frame data (n + 1/2), the amount of parallax (disparity) even while the frame data is interpolated. The target area (object 0) appears three-dimensionally according to the amount d0), and the target area is pseudo-three-dimensionalized.
図８に戻って、パラメータデータ１１６が作成されると、生成部１０３は、二次元映像データ１１１のフレームデータｎと、パラメータデータ１１６とに基づいて、他眼用フレームデータｎと、補間フレーム（ｎ＋１／２）と、他眼用補間フレーム（ｎ＋１／２）とを生成し、元のフレームデータｎとともに三次元映像データ１１２を生成する（ステップＳ１６）。
Returning to FIG. 8, when the
図１２は、三次元映像データ１１２を概念的に示す図である。図４に示すように、フレームデータ（ｎ−１），ｎ，（ｎ＋１）から構成されていた二次元映像データ１１１が、図１２に示すように、三次元映像データ１１２においては、フレームデータ（ｎ−１），ｎ，（ｎ＋１）が補間フレームデータ（ｎ−１／２），（ｎ＋１／２）によって補間されることにより滑らかな映像となるとともに、これらのフレームデータと対をなす他眼用フレームデータ（ｎ−１），ｎ，（ｎ＋１）および他眼用補間フレームデータ（ｎ−１／２），（ｎ＋１／２）が作成されることにより、擬似的に三次元化されている。
FIG. 12 is a diagram conceptually showing the
ステップＳ１６において生成された三次元映像データ１１２は、一旦、記憶装置１１に記憶された後、携帯端末装置２の記憶装置２１に転送され、表示部２３に表示される。
The
以上のように、本実施の形態におけるワンセグ受信モジュール１は、時系列順に作成された複数のフレームデータから構成される二次元映像データ１１１を擬似的な三次元映像データ１１２に変換する画像処理装置として構成されており、複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出部１００と、特徴抽出部１００により抽出された動きベクトルに応じて、前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する領域設定部１０１と、特徴抽出部１００により抽出された動きベクトルを含む特徴量に基づいて、領域設定部１０１により設定された対象領域ごとの視差量を演算する視差量演算部１０２と、特徴抽出部１００により抽出された動きベクトルと領域設定部１０１により設定された対象領域と視差量演算部１０２により求められた対象領域の視差量とに基づいて、二次元映像データ１１１から当該二次元映像データ１１１におけるフレームレートを変更した擬似的な三次元映像データ１１２を生成する生成部１０３とを備える。これにより、動きベクトルを抽出する処理を１回実行するだけで、二次元映像データ１１１のフレームレートを変更しつつ擬似的な三次元映像データ１１２を生成できるので、処理負荷が軽減される。
As described above, the one-
また、領域設定部１０１は、特徴抽出部１００により抽出された動きベクトルを含む特徴量に応じて、対象領域を設定する。すなわち、動きベクトル以外の特徴量についても対象領域の設定に有効に利用することにより、対象領域を設定するための情報を別途取得しなくても、対象領域を効率的かつ正確に設定することができる。
Further, the
また、本実施の形態では、ワンセグ放送により提供される番組を表現した二次元映像データ１１１の受信と当該二次元映像データ１１１から生成される擬似的な三次元映像データ１１２のユーザによる視聴とが実質的にリアルタイムで実行される。このような用途においては、画像処理に要する時間の短縮要請が高いため、本発明がより効果的となる。
In the present embodiment, reception of
なお、本実施の形態では、特徴量データ１１３、領域設定データ１１４および視差量データ１１５がそれぞれ別個のデータを構成している例で説明したが、これらを互いに関連づけて、データの１つの集合体として扱ってもよい。その場合、例えば、対象領域ごとに求める動きベクトルの平均値や色の平均値、周波数の平均値等も関連づけて格納するようにしてもよい。
In the present embodiment, the
＜２． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
<2. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications can be made.
例えば、上記実施の形態では、二次元映像データとして、ワンセグ放送により提供される番組を表現した情報を受信する例を説明した。しかし、本発明が対象とする二次元映像データとは、ワンセグ放送の映像に限定されるものではない。例えば、地上デジタル放送の映像や、遠隔地に配置された撮像カメラ（防犯カメラ）から実質的にリアルタイムで受信される映像、あるいは、インターネット配信動画であってもよいし、ビデオテープやＤＶＤ、ブルーレイディスク等の記録媒体にすでに記録されている映像であってもよい。 For example, in the above embodiment, an example has been described in which information representing a program provided by one-segment broadcasting is received as 2D video data. However, the 2D video data targeted by the present invention is not limited to one-segment broadcast video. For example, it may be a terrestrial digital broadcast video, a video received in real time from an imaging camera (security camera) located at a remote location, a video distributed on the Internet, or a video tape, DVD, Blu-ray. It may be an image already recorded on a recording medium such as a disc.
また、二次元映像データの受信（取得）と、擬似的な三次元映像データへの変換処理と、ユーザによる視聴とが、上記実施の形態に示したように、実質的にリアルタイムで行われてもよいし、取得した二次元映像データを変換処理してＤＶＤやハードディスク等に記録した後、視聴（再生）されるまでに比較的長い時間が設けられていてもよい。 In addition, the reception (acquisition) of 2D video data, conversion processing to pseudo 3D video data, and viewing by the user are performed substantially in real time as described in the above embodiment. Alternatively, after the obtained 2D video data is converted and recorded on a DVD or hard disk, a relatively long time may be provided until it is viewed (reproduced).
また、上記実施の形態では、本発明に係る画像処理装置であるワンセグ受信モジュール１が携帯端末装置２に対して着脱自在となるように構成されていたが、もちろん、画像処理装置は携帯端末装置２と一体構造物を構成し、携帯端末装置２に内蔵される構造となっていてもよい。
In the above embodiment, the one-
また、変換によりフレームレートを向上させる率（以下、「フレームレート変換率」と称する。）は「２倍（１５［fps］から３０［fps］）」に限定されるものではない。例えば、フレームレート変換率を「４倍」とし、三次元映像データ１１２におけるフレームレートを６０［fps］とすることも可能である。その場合には、フレームデータｎとフレームデータ（ｎ＋１）との間を補間する３つの補間フレームデータ（フレームデータ（ｎ＋１／４），（ｎ＋１／２），（ｎ＋３／４））を生成すればよい。すなわち、フレームレート変換率を「４倍」にする場合は、第１補間パラメータ１１８は３つの補間フレームデータを生成するために必要なパラメータとなり、第２補間パラメータ１１９は３つの補間フレームデータのそれぞれと対をなす３つの他眼用補間フレームデータを生成するために必要なパラメータとなる。また、本実施の形態と同様に、フレームレート変換率を「２倍」とする場合であっても、例えば、３０［fps］から６０［fps］への変換であってもよい。
Further, the rate of improving the frame rate by conversion (hereinafter referred to as “frame rate conversion rate”) is not limited to “double (15 [fps] to 30 [fps])”. For example, the frame rate conversion rate can be set to “4 times”, and the frame rate in the
また、上記実施の形態における生成部１０３は、特徴抽出部１００により抽出された動きベクトルと領域設定部１０１により設定された対象領域と視差量演算部１０２により求められた対象領域の視差量とに基づいて、補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータ１１９を生成すると説明した。しかし、生成部１０３は、視差量演算部１０２により求められた対象領域の視差量と第１補間パラメータ１１８とに基づいて、補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータ１１９を生成してもよい。すなわち、第１補間パラメータ１１８における変換後座標の水平座標の値に視差量演算部１０２により求められた対象領域の視差量を加算して第２補間パラメータ１１９としてもよい。
In addition, the
また、生成部１０３は、特徴抽出部１００により抽出された動きベクトルと三次元化パラメータ１１７とに基づいて、補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータ１１９を生成してもよい。すなわち、三次元化パラメータ１１７における変換後座標に特徴抽出部１００により抽出された動きベクトルの寄与分（本実施の形態では動きベクトルの１／２）を加算して第２補間パラメータ１１９としてもよい。
Further, the
また、上記に示した機能ブロックの一部または全部を専用の論理回路で実現してもよい。すなわち、上記実施の形態においてソフトウェアにより実現されると説明されていた機能が、ハードウェアで実現されてもよい。 Further, some or all of the functional blocks shown above may be realized by a dedicated logic circuit. That is, the function described as being realized by software in the above embodiment may be realized by hardware.
また、上記に示した各工程はあくまでも例示であって、同様の効果が得られるならば、その内容や順序が、適宜、変更されてもよい。 Moreover, each process shown above is an illustration to the last, and if the same effect is acquired, the content and order may be changed suitably.
１ ワンセグ受信モジュール
１０ ＣＰＵ
１００ 特徴抽出部
１０１ 領域設定部
１０２ 視差量演算部
１０３ 生成部
１１ 記憶装置
１１０ プログラム
１１１ 二次元映像データ
１１２ 三次元映像データ
１１３ 特徴量データ
１１４ 領域設定データ
１１５ 視差量データ
１１６ パラメータデータ
１１７ 三次元化パラメータ
１１８ 補間パラメータ
１１９ 補間パラメータ
１２ チューナ
１３ 復調回路
１４ 復号回路
２ 携帯端末装置
1 One-
DESCRIPTION OF
Claims (9)
前記複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、
前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、
前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する生成手段と、
を備えることを特徴とする画像処理装置。 An image processing apparatus for converting 2D video data composed of a plurality of frame data created in time series into pseudo 3D video data,
Feature extraction means for extracting a feature quantity including a motion vector from two frame data preceding and following the plurality of frame data;
Setting means for setting a target region to be three-dimensionalized for a plurality of pixels constituting one frame data of the preceding and following two frame data according to the motion vector extracted by the feature extraction means;
A parallax amount calculating unit that calculates a parallax amount for each target region set by the setting unit based on a feature amount including a motion vector extracted by the feature extracting unit;
Based on the motion vector extracted by the feature extraction unit, the target region set by the setting unit, and the parallax amount of the target region obtained by the parallax amount calculation unit, the two-dimensional Generating means for generating pseudo 3D video data in which the frame rate in the video data is changed;
An image processing apparatus comprising:
前記生成手段は、前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記１のフレームデータと対をなす１の他眼用フレームデータを生成するための三次元化パラメータを生成するとともに、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域とに基づいて、前記前後する２のフレームデータの間を補間する補間フレームデータを生成するための第１補間パラメータを生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 1,
The generating means is a frame for one other eye that is paired with the one frame data based on the target area set by the setting means and the parallax amount of the target area obtained by the parallax amount calculating means. A three-dimensional parameter for generating data is generated, and based on the motion vector extracted by the feature extraction unit and the target region set by the setting unit, the interval between the two preceding and following frame data is calculated. An image processing apparatus for generating a first interpolation parameter for generating interpolation frame data to be interpolated.
前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 2,
The generating means is based on the motion vector extracted by the feature extracting means, the target area set by the setting means, and the parallax amount of the target area obtained by the parallax amount calculating means. And a second interpolation parameter for generating interocular interpolation frame data paired with the image processing apparatus.
前記生成手段は、前記視差量演算手段により求められた対象領域の視差量と前記第１補間パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 2,
The generation means generates second-eye interpolation frame data that forms a pair with the interpolation frame data based on the parallax amount of the target area obtained by the parallax amount calculation means and the first interpolation parameter. An image processing apparatus that generates two interpolation parameters.
前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記三次元化パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 2,
The generation means includes second interpolation parameters for generating interocular interpolation frame data paired with the interpolation frame data based on the motion vector extracted by the feature extraction means and the three-dimensional parameter. An image processing apparatus that generates the image processing apparatus.
前記設定手段は、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に応じて、対象領域を設定することを特徴とする画像処理装置。 An image processing apparatus according to any one of claims 1 to 5,
The image processing apparatus, wherein the setting unit sets a target region according to a feature amount including a motion vector extracted by the feature extraction unit.
ワンセグ放送により提供される番組を表現した情報を前記二次元映像データとして受信する受信手段をさらに備え、
前記受信手段による二次元映像データの受信と前記二次元映像データから生成される前記擬似的な三次元映像データのユーザによる視聴とが実質的にリアルタイムで実行されることを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 6,
Receiving means for receiving information representing a program provided by one-segment broadcasting as the two-dimensional video data;
An image processing apparatus characterized in that reception of 2D video data by the receiving means and viewing of the pseudo 3D video data generated from the 2D video data by a user are performed substantially in real time. .
前記複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する工程と、
前記動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する工程と、
前記動きベクトルを含む特徴量に基づいて、前記対象領域ごとの視差量を演算する工程と、
前記動きベクトルと前記対象領域と前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する工程と、
を有することを特徴とする画像処理方法。 An image processing method for converting 2D video data composed of a plurality of frame data created in time series order into pseudo 3D video data,
Extracting a feature amount including a motion vector from two frame data preceding and following the plurality of frame data;
Setting a target region to be three-dimensionalized for a plurality of pixels constituting one frame data of the two preceding and following frame data according to the motion vector;
A step of calculating a parallax amount for each target region based on a feature amount including the motion vector;
Generating pseudo 3D video data in which a frame rate in the 2D video data is changed from the 2D video data based on the motion vector, the target region, and the parallax amount of the target region;
An image processing method comprising:
時系列順に作成された複数のフレームデータから構成される二次元映像データを記憶する記憶手段と、
前記記憶手段に記憶された二次元映像データにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、
前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、
前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成し、生成した前記擬似的な三次元映像データを前記記憶手段に記憶させる生成手段と、
を備える画像処理装置として機能させることを特徴とするプログラム。 A computer-readable program, wherein execution of the program by the computer causes the computer to
Storage means for storing 2D video data composed of a plurality of frame data created in time series order;
Feature extraction means for extracting a feature quantity including a motion vector from two frame data before and after the 2D video data stored in the storage means;
Setting means for setting a target region to be three-dimensionalized for a plurality of pixels constituting one frame data of the preceding and following two frame data according to the motion vector extracted by the feature extraction means;
A parallax amount calculating unit that calculates a parallax amount for each target region set by the setting unit based on a feature amount including a motion vector extracted by the feature extracting unit;
Based on the motion vector extracted by the feature extraction unit, the target region set by the setting unit, and the parallax amount of the target region obtained by the parallax amount calculation unit, the two-dimensional Generating means for generating pseudo 3D video data in which the frame rate in the video data is changed, and storing the generated pseudo 3D video data in the storage means;
A program for causing a computer to function as an image processing apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010249282A JP2012104898A (en) | 2010-11-08 | 2010-11-08 | Image processing system, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010249282A JP2012104898A (en) | 2010-11-08 | 2010-11-08 | Image processing system, image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012104898A true JP2012104898A (en) | 2012-05-31 |
Family
ID=46394846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010249282A Withdrawn JP2012104898A (en) | 2010-11-08 | 2010-11-08 | Image processing system, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012104898A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013186882A1 (en) * | 2012-06-13 | 2013-12-19 | 株式会社エム・ソフト | 3d-image generation method, and 3d-image generation system |
| JP2015510578A (en) * | 2011-12-01 | 2015-04-09 | クアルコム，インコーポレイテッド | Mitigating the effects of changes in sensor calibration parameters |
-
2010
- 2010-11-08 JP JP2010249282A patent/JP2012104898A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015510578A (en) * | 2011-12-01 | 2015-04-09 | クアルコム，インコーポレイテッド | Mitigating the effects of changes in sensor calibration parameters |
| US9625490B2 (en) | 2011-12-01 | 2017-04-18 | Qualcomm Incorporated | Mitigating the effect of a change in sensor calibration parameters |
| WO2013186882A1 (en) * | 2012-06-13 | 2013-12-19 | 株式会社エム・ソフト | 3d-image generation method, and 3d-image generation system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102844696B (en) | The method of electronic installation and reproducing three-dimensional images | |
| KR101775253B1 (en) | Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video | |
| CN106296781B (en) | Special effect image generation method and electronic equipment | |
| CN103024408A (en) | Stereoscopic image converting apparatus and stereoscopic image output apparatus | |
| JP2011139261A (en) | Image processing device, image processing method, and program | |
| KR20120120502A (en) | Stereoscopic video graphics overlay | |
| JP2020005202A (en) | Video processing device | |
| JP6033625B2 (en) | Multi-viewpoint image generation device, image generation method, display device, program, and recording medium | |
| US8619123B2 (en) | Video processing apparatus and method for scaling three-dimensional video | |
| JP6934052B2 (en) | Display control device, display control method and program | |
| JP2012104898A (en) | Image processing system, image processing method, and program | |
| JP2012186652A (en) | Electronic apparatus, image processing method and image processing program | |
| US20130120527A1 (en) | Electronic apparatus and display control method | |
| WO2012014489A1 (en) | Video image signal processor and video image signal processing method | |
| JP5025768B2 (en) | Electronic apparatus and image processing method | |
| JP5664356B2 (en) | Generation apparatus and generation method | |
| WO2013024847A1 (en) | Stereoscopic image generating device, stereoscopic image display device, stereoscopic image generating method, and program | |
| JP5017445B2 (en) | Parallax image conversion device | |
| JP5238849B2 (en) | Electronic device, electronic device control method, and electronic device control program | |
| JP5550603B2 (en) | Video processing apparatus, video processing method, and program | |
| WO2011114745A1 (en) | Video playback device | |
| JP2014203017A (en) | Image processing device, image processing method, display, and electronic apparatus | |
| JP5691966B2 (en) | Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program | |
| CN103167299A (en) | Method and equipment used for generating three-dimensional (3D) video on a resource-limited device | |
| KR101804912B1 (en) | An apparatus for displaying a 3-dimensional image and a method for displaying subtitles of a 3-dimensional image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140204 |