JP6182930B2 - 奥行き制作支援装置、奥行き制作方法、及びプログラム - Google Patents
奥行き制作支援装置、奥行き制作方法、及びプログラム Download PDFInfo
- Publication number
- JP6182930B2 JP6182930B2 JP2013068165A JP2013068165A JP6182930B2 JP 6182930 B2 JP6182930 B2 JP 6182930B2 JP 2013068165 A JP2013068165 A JP 2013068165A JP 2013068165 A JP2013068165 A JP 2013068165A JP 6182930 B2 JP6182930 B2 JP 6182930B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- depth value
- frames
- frame
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004519 manufacturing process Methods 0.000 title claims description 52
- 238000012545 processing Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 description 51
- 238000010586 diagram Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 210000003811 finger Anatomy 0.000 description 6
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 210000004932 little finger Anatomy 0.000 description 4
- 210000003813 thumb Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000007429 general method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
図16(a)のフレームaから図16(b)のフレームbにかけて、被写体がカメラに向かって前進してくるような画像に対してアンカーポイントを設置した状況を示している。
例えば、被写体全体がカメラに向かって前進したり、カメラから遠ざかるよう後退する動画について、ベース奥行き値設定手段により、被写体の輪郭線に一律の第1の奥行き値を設定し、アンカーポイント設定手段により、輪郭線上の特定の点(第1の点)に輪郭線上の局所的な凹凸を表す第2の奥行き値を設定するという簡単な操作により、前記奥行き決定手段が、前記第1の奥行き値と前記第2の奥行き値を加算して第1の点の最終的な奥行き値を求め、この値を元に輪郭線上の各位置の最終奥行き値を補間により求めることが可能になる。
また、前記第1のフレームは、前記複数のフレームのマスク画像のうちの最初のフレームと最後のフレームを含むことが望ましい。
また、前記奥行き決定手段は、前記第2のフレームの前記第1の点間の輪郭線上の各位置の最終奥行き値を、隣り合う前記第1の点の最終奥行き値から補間することにより求める。
これにより、全フレームのマスク画像の輪郭線上の全ての位置の最終奥行き値が決定可能になる。
これにより、全フレームのマスク画像の全画素の最終奥行き値が求まり、奥行き画像の制作が可能になる。
また、本実施の携帯の奥行き制作支援装置1では、奥行き値7については、少数のフレーム及び少数の輪郭線上の点についての奥行き値7を入力部15を介して入力することにより、奥行き制作支援装置1がその他のフレーム及びその他の輪郭線上の点についての奥行き値7を生成する。詳細については後述する。
ステップ2において、制御部11は、ユーザによって輪郭抽出が指示されると、マスク画像5の輪郭を検出し、マスク画像上に輪郭線6を描画する。輪郭線6は、1ストロークで描画される閉曲線である。尚、輪郭線6の検出方法は、例えば、画素値の変化に基づいてエッジ(境界)を認識するといった一般的な手法を用いればよい。また、輪郭線6は、ユーザがマウス等の入力部15を用いて入力したり、軌跡の形状を変形して得るようにしてもよい。
ベース奥行き値83の設定(ステップ3)は、本実施形態の奥行き制作支援装置1の特徴的な処理構成である。
ベース奥行き値83は、一旦、被写体の輪郭線6に一律に設定される奥行き値であり、被写体全体の奥行き方向の位置を決定するものである。制御部11は、少数のフレームについてのベース奥行き値83の設定を支援する画面を表示部16に表示し、ユーザに入力させる。
ベース奥行き値83の設定については、後述する。
図4は、奥行き制作支援装置1が扱う入力画像群を説明するための図である。
例えば、フレーム数が1000枚の場合、2次元画像は1000枚、マスク画像はn×1000枚、背景画像は1000枚準備される。
図5に示す2次元画像31には1つの立体物(被写体)からなるので、1フレームの入力画像群は、二次元画像と1枚のマスク画像と、背景画像で構成される。
図5に示す二次元画像31は、男性の被写体が左手でカメラ方向に腕を伸ばして指を指している。
マスク画像51は奥行きについての情報を持たないため、被写体の向きや指を指している方向は不明である。そのため、奥行き画像制作支援装置1は、マスク画像51の奥行き値7を設定して奥行き画像8を作成する処理を後述のように行うのである。
図8は、図6、図7に示したマスク画像51と同一の被写体の異なる2つのフレーム(フレームaとフレームb)の輪郭線の例を示す図である。
このような場合、被写体は同じように腕を前に出して前方を指差しているが、被写体全体は、フレームaではカメラから遠い、奥行きの深い奥の位置にあり、フレームbでは、奥行きの浅い手前の位置にある。
ベース奥行き値は、図8に示したような、被写体全体の奥行きを表す値である。
図9は、ベース奥行き値設定画面例70を示す図である。
また、ベース奥行き値設定領域73は、ベース奥行き値表示領域76、フレーム選択用スライダ74、ベース奥行き値設定用スライダ75等で構成される。
縦軸のベース奥行き値は、1〜255の値を採ることが可能で、1が最も奥、255が最も手前であることを表す。
図4のように、処理する動画像の二次元画像にn個の被写体が含まれ、n個のマスク画像がある場合、マスク選択用プルダウン71にはn個のマスク画像の識別番号等が表示され、その中の一つをユーザに選択させるようにする。
ユーザは、フレーム選択用スライダ74をスライドさせて画像表示領域72に表示されるマスク画像を見ながら、ベース奥行き値を設定するフレーム(以降、ベース奥行き値設定キーフレームと呼ぶ)を決定することが可能である。
次に、決定したベース奥行き値設定キーフレームのベース奥行き値を、ベース奥行き値設定用スライダ75を所望の位置にスライドさせて、ベース奥行き値設定ボタン65をマウス等でクリックすることによりベース奥行き値を決定することが可能である。
設定されたベース奥行き値は、ベース奥行き設定キーフレームの番号とともに記憶部12に格納される。
ベース奥行き値設定データ80は、例えば、マスク画像の識別番号81、ベース奥行き値設定キーフレームの番号82、及び、ベース奥行き値83で構成される。
以上、図3のステップ3のベース奥行き値の設定処理により、被写体全体の奥行き方向の位置が、少数のベース奥行き値設定キーフレーム82について決定される。
例えば、図11の例では、隣り合う2つのベース奥行き値設定キーフレーム82番号「22」と「32」の間にあるフレーム番号23〜31についてのベース奥行き値83を求める場合には、ベース奥行き値設定キーフレーム「22」と「32」のベース奥行き値83の値である「100」と「150」を用いて、求めるフレーム番号と両ベース奥行き値設定キーフレームの番号の比率に応じて線形補間して求めればよい。
ベース奥行き値補間処理(図3のステップ4)により、特定の被写体のマスク画像が含まれる全フレームについてベース奥行き値83が求まる。
図13に示す例では、アンカーポイント設定画面90は、マスク選択用プルダウン91、画像表示領域92、アンカーポイントの設定領域93、フレーム選択用スライダ94、キーフレーム設定ボタン96、キーフレーム削除ボタン97、キーフレーム選択ボタン98、終了ボタン99等で構成される。
図13のアンカーポイント設定画面90は一例であり、画面の構成はこれに限ることはない。
ユーザは、フレーム選択用スライダ94をスライドさせて画像表示領域92に表示されるマスク画像を見ながら、アンカーポイントを設定するフレーム(以降、アンカーポイント設定キーフレームと呼ぶ)を決定することが可能である。
図13の例では、フレーム選択用スライダ94をスライドさせて、フレーム32をアンカーポイント設定キーフレームとしている。
決定したアンカーポイント設定キーフレームを決定すると、画像表示領域92には、アンカーポイント設定キーフレームのマスク画像が輪郭線とともに表示される。
アンカーポイントは、画像表示領域92において、例えば、図13に示すように、○印で表示される。
アンカーポイントの奥行き値は、−255〜+255の値をとり、先に決定した輪郭線に一律に与えられたベース奥行き値に対する凹凸の程度を表す。
キーフレーム選択ボタン98は、既に設定されているアンカーポイント設定キーフレームを選択する際に、クリックする。
図14は、図8の、フレームaからフレームbにかけて、被写体がカメラ方向に前進するマスク画像対するアンカーポイントの奥行き値設定を示す図である。
図14(b)のフレームbでは、先に設定したベース奥行き値「150」が既に設定されている。
フレームの経過に従って、輪郭線の形状が変化するような場合には、アンカーポイントの位置はキーフレームの輪郭線上の対応する位置に設定され、アンカーポイントの奥行き値も異なる値に設定してもよい。
まず、制御部11は、各アンカーポイントのキーフレームに設定されたアンカーポイントについて、最終奥行き値を求める(ステップ61)。
これによって、各アンカーポイントのキーフレームの、各アンカーポイントの最終奥行き値が求まる。
これにより、各アンカーポイントのキーフレームの輪郭線の最終奥行き値が確定する。
すなわち、まず、各フレームの輪郭線上に、アンカーポイントに対応する点の位置を求める。これは、当該フレームの両側にあるアンカーポイントのキーフレームにおけるアンカーポイントの位置情報を、対象フレームから両キーフレームまでのフレーム数の比率により補間することで求めることができる。
最後に、隣り合うアンカーポイントに対応する点の最終奥行き値を元に、その間の輪郭線上の点の最終奥行き値を求める。
これにより、本実施の形態の奥行き制作支援装置1の動画像の奥行き制作支援処理が完了する。
2………視差画像生成装置
3、31………2次元画像
5、51、81………マスク画像
6、61………輪郭線
7………奥行き値
8………奥行き画像
70………ベース奥行き値設定画面
80………ベース奥行き値設定データ
82………ベース奥行き値設定キーフレーム
83………ベース奥行き値
85………ベース奥行き値データ
90………アンカーポイント設定画面
Claims (10)
- 立体視を実現するための視差画像の生成処理に利用する奥行き画像の制作を支援する奥行き制作支援装置であって、
元の動画像の各フレーム内に描画されている特定の被写体を識別するために2値化された複数のフレームのマスク画像を読み込むマスク画像入力手段と、
前記マスク画像に対して輪郭線を設定する輪郭線設定手段と、
前記複数のフレームのマスク画像に対して、キーとなる第1のフレームを少なくとも2つ設定し、前記第1のフレーム毎に、輪郭線全体に一律の値である第1の奥行き値を設定するベース奥行き値設定手段と、
隣り合う2つの前記第1のフレーム間にあるフレームの前記第1の奥行き値を、隣り合う2つの前記第1のフレームに設定された前記第1の奥行き値から補間により求めるベース奥行き値補間手段と、
前記複数のフレームのマスク画像に対して、キーとなる第2のフレームを少なくとも2つ設定し、各前記第2のフレームの輪郭線上の対応する位置に複数の第1の点を設定し、前記第1の点に輪郭線上の局所的な凹凸を表す第2の奥行き値を設定するアンカーポイント設定手段と、
前記第2のフレームの前記第1の点に設定された前記第2の奥行き値と、当該第2のフレームの前記第1の奥行き値を加算し、前記第2のフレームの前記第1の点の最終奥行き値を決定し、前記第2のフレームの隣り合う前記第1の点間の輪郭線上の各位置の最終奥行き値を、前記隣り合う前記第1の点の前記最終奥行き値から補間により求める奥行き決定手段と、
を具備することを特徴とする奥行き制作支援装置。 - 前記輪郭線は、1ストロークで描画される閉曲線である
ことを特徴とする請求項1に記載の奥行き制作支援装置。 - 前記第1のフレームは、前記複数のフレームのマスク画像のうちの最初のフレームと最後のフレームを含む
ことを特徴とする請求項1に記載の奥行き制作支援装置。 - 前記ベース奥行き値補間手段は、前記隣り合う2つの第1のフレームに設定された前記第1の奥行き値を、前記隣り合う2つの第1のフレーム間にあるフレームと、前記隣り合う2つの第1のフレームとの間隔の比率によって線形補間することにより、前記隣り合う2つの第1のフレーム間にあるフレームの前記第1の奥行き値を決定する
ことを特徴とする請求項1又は請求項3に記載の奥行き制作支援装置。 - 前記奥行き決定手段は、前記第2のフレームの前記第1の点間の輪郭線上の各位置の最終奥行き値を、隣り合う前記第1の点の最終奥行き値から補間することにより求める
ことを特徴とする請求項1又は請求項2に記載の奥行き制作支援装置。 - 前記奥行き決定手段は、隣り合う前記第2のフレーム間の各フレームの、前記第2のフレームに設定された前記第1の点に対応する第2の点の位置情報を、前記隣り合う第2のフレームの前記第1の点の位置情報を、前記隣り合う2つの第2のフレーム間にあるフレームと、前記隣り合う2つの第2のフレームとの間隔の比率によって線形補間することにより求め、前記第2の点の最終奥行き値を、前記隣り合う第2のフレームの前記第1の点の前記最終奥行き値を、前記隣り合う2つの第2のフレーム間にあるフレームと、前記隣り合う2つの第2のフレームとの間隔の比率によって線形補間することにより求める
ことを特徴とする請求項1に記載の奥行き制作支援装置。 - 前記奥行き決定手段は、隣り合う2つの前記第2の点間の輪郭線上の各位置の最終奥行き値を、隣り合う前記第2の点の最終奥行き値に基づいて求める
ことを特徴とする請求項6に記載の奥行き制作支援装置。 - 前記奥行き決定手段は、前記第1の点の最終奥行き値及び前記第1の点間の輪郭線上の各位置の前記最終奥行き値に基づき、前記輪郭線の内部領域が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出し、前記奥行き画像を作成する
ことを特徴とする請求項2に記載の奥行き制作支援装置。 - 立体視を実現するための視差画像の生成処理に利用する奥行き画像を制作する奥行き制作方法であって、
コンピュータが、
元の動画像の各フレーム内に描画されている特定の被写体を識別するために2値化された複数のフレームのマスク画像を読み込むマスク画像入力ステップと、
前記マスク画像に対して輪郭線を設定する輪郭線設定ステップと、
前記複数のフレームのマスク画像に対して、キーとなる第1のフレームを少なくとも2つ設定し、前記第1のフレーム毎に、輪郭線全体に一律の値である第1の奥行き値を設定するベース奥行き値設定ステップと、
隣り合う2つの前記第1のフレーム間にあるフレームの前記第1の奥行き値を、隣り合う2つの前記第1のフレームに設定された前記第1の奥行き値から補間により求めるベース奥行き値補間ステップと、
前記複数のフレームのマスク画像に対して、キーとなる第2のフレームを少なくとも2つ設定し、各前記第2のフレームの輪郭線上の対応する位置に複数の第1の点を設定し、前記第1の点に輪郭線上の局所的な凹凸を表す第2の奥行き値を設定するアンカーポイント設定ステップと、
前記第2のフレームの前記第1の点に設定された前記第2の奥行き値と、当該第2のフレームの前記第1の奥行き値を加算し、前記第2のフレームの前記第1の点の最終奥行き値を決定し、前記第2のフレームの隣り合う前記第1の点間の輪郭線上の各位置の最終奥行き値を、前記隣り合う前記第1の点の前記最終奥行き値から補間により求める奥行き決定ステップと、
を実行することを特徴とする奥行き制作方法。 - コンピュータを、立体視を実現するための視差画像の生成処理に利用する奥行き画像の制作を支援する奥行き制作支援装置として機能させるためのプログラムであって、
コンピュータを、
元の動画像の各フレーム内に描画されている特定の被写体を識別するために2値化された複数のフレームのマスク画像を読み込むマスク画像入力手段、
前記マスク画像に対して輪郭線を設定する輪郭線設定手と、
前記複数のフレームのマスク画像に対して、キーとなる第1のフレームを少なくとも2つ設定し、前記第1のフレーム毎に、輪郭線全体に一律の値である第1の奥行き値を設定するベース奥行き値設定手段、
隣り合う2つの前記第1のフレーム間にあるフレームの前記第1の奥行き値を、隣り合う2つの前記第1のフレームに設定された前記第1の奥行き値から補間により求めるベース奥行き値補間手段、
前記複数のフレームのマスク画像に対して、キーとなる第2のフレームを少なくとも2つ設定し、各前記第2のフレームの輪郭線上の対応する位置に複数の第1の点を設定し、前記第1の点に輪郭線上の局所的な凹凸を表す第2の奥行き値を設定するアンカーポイント設定手段、
前記第2のフレームの前記第1の点に設定された前記第2の奥行き値と、当該第2のフレームの前記第1の奥行き値を加算し、前記第2のフレームの前記第1の点の最終奥行き値を決定し、前記第2のフレームの隣り合う前記第1の点間の輪郭線上の各位置の最終奥行き値を、前記隣り合う前記第1の点の前記最終奥行き値から補間により求める奥行き決定手段、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013068165A JP6182930B2 (ja) | 2013-03-28 | 2013-03-28 | 奥行き制作支援装置、奥行き制作方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013068165A JP6182930B2 (ja) | 2013-03-28 | 2013-03-28 | 奥行き制作支援装置、奥行き制作方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014192794A JP2014192794A (ja) | 2014-10-06 |
JP6182930B2 true JP6182930B2 (ja) | 2017-08-23 |
Family
ID=51838673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013068165A Expired - Fee Related JP6182930B2 (ja) | 2013-03-28 | 2013-03-28 | 奥行き制作支援装置、奥行き制作方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6182930B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5920858B1 (ja) | 2015-07-01 | 2016-05-18 | 株式会社Live2D | プログラム、情報処理装置、深度定義方法及び記録媒体 |
WO2024057902A1 (ja) * | 2022-09-12 | 2024-03-21 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4862004B2 (ja) * | 2008-03-05 | 2012-01-25 | エヌ・ティ・ティ・コムウェア株式会社 | 奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム |
KR101497503B1 (ko) * | 2008-09-25 | 2015-03-04 | 삼성전자주식회사 | 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치 |
EP2635034B1 (en) * | 2010-10-27 | 2014-09-24 | Dolby International AB | 3d image interpolation device, 3d imaging device, and 3d image interpolation method |
JP2012120080A (ja) * | 2010-12-03 | 2012-06-21 | Chuo Univ | 立体写真撮影装置 |
-
2013
- 2013-03-28 JP JP2013068165A patent/JP6182930B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014192794A (ja) | 2014-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102638526B1 (ko) | 파라미터를 갖는 마커를 사용한 증강 현실의 장면 수정 | |
JP6627861B2 (ja) | 画像処理システムおよび画像処理方法、並びにプログラム | |
CN110070556A (zh) | 使用深度传感器的结构建模 | |
JP2015501044A (ja) | 実世界オブジェクトの3dモデルおよび正しい縮尺のメタデータをキャプチャし移動させるための方法およびシステム | |
US20170212661A1 (en) | 3D Model Generation from 2D Images | |
JP5809607B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
TW201610916A (zh) | 根據依時一致性超像素為圖框序列產生分段遮罩之方法和裝置,以及電腦可讀式儲存媒體 | |
JP5578149B2 (ja) | 画像合成装置、及び画像検索方法、プログラム | |
JP2019046055A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6182930B2 (ja) | 奥行き制作支援装置、奥行き制作方法、及びプログラム | |
CN110267079B (zh) | 待播放视频中人脸的替换方法和装置 | |
JP6376591B2 (ja) | データ出力装置、データ出力方法及び3次元物体製造システム | |
CN106169187A (zh) | 用于对视频中的物体设界的方法和设备 | |
CN105046748B (zh) | 一种三维地质体场景中可形成图像的3d相框装置 | |
JP5994320B2 (ja) | 奥行き制作支援装置、奥行き制作支援方法、及びプログラム | |
JP5857606B2 (ja) | 奥行き製作支援装置、奥行き製作支援方法、およびプログラム | |
JP5980960B2 (ja) | 映像生成装置、映像生成プログラム、及び映像生成方法 | |
KR20120118462A (ko) | 이미지 기반의 비주얼 헐에서의 오목 표면 모델링 | |
Saran et al. | Augmented annotations: Indoor dataset generation with augmented reality | |
JP5966837B2 (ja) | 奥行き制作支援装置、奥行き制作支援方法、およびプログラム | |
JP5817300B2 (ja) | 奥行き製作支援装置、奥行き製作支援方法、およびプログラム | |
US10289289B2 (en) | Techniques for authoring view points, view paths, and view surfaces for 3D models | |
JP7119854B2 (ja) | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム | |
JP7179633B2 (ja) | 計測方法、計測装置、およびプログラム | |
JP2022054254A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170710 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6182930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |