JP5207941B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP5207941B2 JP5207941B2 JP2008313476A JP2008313476A JP5207941B2 JP 5207941 B2 JP5207941 B2 JP 5207941B2 JP 2008313476 A JP2008313476 A JP 2008313476A JP 2008313476 A JP2008313476 A JP 2008313476A JP 5207941 B2 JP5207941 B2 JP 5207941B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- region
- color
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明の画像処理装置における他の態様は、現実画像の中から、特定の色範囲に含まれる色領域を抽出する色領域抽出手段と、仮想シーンデータに基づいてCG画像を生成するCG画像生成手段と、前記CG画像の中から、前記仮想シーンデータのCGオブジェクトが描画されている領域をCG描画領域として抽出するCG描画領域抽出手段と、前記現実画像の中から、前記CG描画領域に相当する領域を切り出す現実画像切り出し手段と、前記現実画像切り出し手段により切り出された現実画像の中から、特定の形状を有する領域を特定形状領域として抽出する形状領域抽出手段と、前記色領域抽出手段で抽出された色領域と、前記形状領域抽出手段で抽出された特定形状領域とに基づいて、前記現実画像と前記CG画像とを合成処理する合成手段とを有する。
本発明の画像処理方法における他の態様は、色領域抽出手段が、現実画像の中から、特定の色範囲に含まれる色領域を抽出する色領域抽出ステップと、CG画像生成手段が、仮想シーンデータに基づいてCG画像を生成するCG画像生成ステップと、CG描画領域抽出手段が、前記CG画像の中から、前記仮想シーンデータのCGオブジェクトが描画されている領域をCG描画領域として抽出するCG描画領域抽出ステップと、現実画像切り出し手段が、前記現実画像の中から、前記CG描画領域に相当する領域を切り出す現実画像切り出しステップと、形状領域抽出手段が、前記現実画像切り出しステップにより切り出された現実画像の中から、特定の形状を有する領域を特定形状領域として抽出する形状領域抽出ステップと、合成手段が、前記色領域抽出ステップで抽出された色領域と、前記形状領域抽出ステップで抽出された特定形状領域とに基づいて、前記現実画像と前記CG画像とを合成処理する合成ステップとを有する。
本発明のプログラムにおける他の態様は、現実画像の中から、特定の色範囲に含まれる色領域を抽出する色領域抽出ステップと、仮想シーンデータに基づいてCG画像を生成するCG画像生成ステップと、前記CG画像の中から、前記仮想シーンデータのCGオブジェクトが描画されている領域をCG描画領域として抽出するCG描画領域抽出ステップと、前記現実画像の中から、前記CG描画領域に相当する領域を切り出す現実画像切り出しステップと、前記現実画像切り出しステップにより切り出された現実画像の中から、特定の形状を有する領域を特定形状領域として抽出する形状領域抽出ステップと、前記色領域抽出ステップで抽出された色領域と、前記形状領域抽出ステップで抽出された特定形状領域とに基づいて、前記現実画像と前記CG画像とを合成処理する合成ステップとをコンピュータに実行させるためのものである。
図1に示すように、画像処理装置100は、CPU110と、ディスプレイ120と、ビデオカメラ130と、第1のメモリ140と、第2のメモリ150と、情報入力装置160と、バス170を有して構成されている。
この特定色領域画像1504は、画素値として0か1かを持つ画像である。ここでは、図3に示す現実画像1503の中から特定の色範囲(第1の色範囲)であるとして抽出された色領域(図4の画像領域402、403及び404)の画素値を1、そうでない領域(図4の画像領域401)の画素値を0としている。ここで、画像領域402及び403は、観察者の手の画像領域を示し、画像領域405は、正面に立っている人物の顔の画像領域を示している。
このCG描画領域画像1506は、画素値として0か1かを持つ画像である。ここでは、図5に示すCG画像1505の中から、仮想シーンデータ1501中のCGオブジェクトがレンダリングされたとして抽出された領域(図6の画像領域601)の画素値を1、そうでない領域(図6の画像領域602)の画素値を0としている。
図7において、画像領域701は、図3に示す現実画像1503のままの画素値の領域であり、画像領域702は、図6に示すCG描画領域画像1506で画素値が0である領域(画像領域602)に対応する画素値が0の領域である。なお、上述した、現実画像1503の各画素値にCG描画領域画像1506の各画素値を掛け合わせる際、CG描画領域画像1506において画素値が1である領域を適当な幅だけ広げた後に、掛け合わせるようにしてもよい。この場合、例えば、予め決められた画素分だけ外側に広げるなどすればよい。このようにすることにより、現実画像1503として撮影された人物の顔の領域が、CG描画領域の端の部分で一部分だけ重畳するような場合への対策となる。
図8は、図7に示す被重畳現実画像1507に対して特定の形状(ここでは顔)の認識処理を行い、認識した形状のものがどの位置にあったかを矩形で表現したものである。ここでは、図7に示す被重畳現実画像1507の中から特定の形状のものがあるとして抽出された領域(図8の画像領域801)の画素値を1、それ以外の領域(図8の画像領域802)の画素値を0としている。なお、図8に示す例では、説明を容易にするために抽出される領域を矩形としたが、不定形であることも考えられる。例えば、眼・口と認識された部分を含んで連続している肌色の領域を不定形で抽出するようなことも考えられる。
図9では、特定形状周辺領域として抽出された領域(図9の画像領域901、902及び903)の画素値が1であり、その以外の領域(図9の画像領域904)の画素値が0である。画像領域901は、図3に示す現実画像1503の人物の顔の額における領域、画像領域902は、図3に示す現実画像1503の人物の耳における領域、画像領域903は、図3に示す現実画像1503の人物のあご・首における領域である。これらの領域は、顔と認識された領域(図8の画像領域801)に連続しており、かつ、第2の色範囲の色(ここでは肌色)をしている領域である。なお、手が撮影されている領域は、肌色ではあるが、顔と認識された領域と連続していないため、ここでは抽出されない。
図10は、図2に示すステップS107の詳細な処理手順の一例を示すフローチャートである。
図11に示す色領域の画像では、第2の色範囲であると判定された領域(図11の画像領域1101、1102及び1103)の画素値を1、それ以外の領域(図11の画像領域1104)の画素値を0としている。
図14は、図2に示すステップS108の詳細な処理手順の一例を示すフローチャートである。
この判定パラメータデータ1514は、特定の形状、例えば人間の顔と認識された領域が、それ以外の領域、例えば手・腕である領域と連結してしまう場合を判断するためのものである。即ち、特定形状である顔として認識された領域の面積よりも、顔につながっている周辺の肌色領域が相対的に大きすぎるかどうかを判断することで、別の肌色領域につながっているか否かを判断するものである。
図15は、図2に示すステップS109の詳細な処理手順の一例を示すフローチャートである。
サイズは、特定形状周辺領域画素数データ1513の値と等しくなる。
図16は、図2に示すステップS110の詳細な処理手順の一例を示すフローチャートである。
図19に示す合成画像1510では、図5に示すCG画像1505に重なった手の画像領域が肌色の色領域であるとして抽出されたことによって、CG画像1505がマスクされているために、図3に示す現実画像1503の手が見えている。また、CG画像1505に重なった顔の領域とそれに連続する肌色の領域は、肌色ではあったが、特定の形状及びそれに連続する所定色領域であるとして抽出されたため、当該領域のCG画像1505はマスクされることなく、そのまま重畳されている。
前述した本発明の実施形態に係る画像処理装置100に含まれる各手段(1401〜1408)、並びに、画像処理方法を示す図2、図10、図14〜図16の各ステップは、CPU110がプログラム1400を実行することによって実現できる。このプログラム1400及び当該プログラム1400を記録したコンピュータ読み取り可能な記録媒体(例えば、第1のメモリ140)は本発明に含まれる。
110 CPU
120 ディスプレイ
130 ビデオカメラ
140 第1のメモリ
1401 色領域抽出手段
1402 形状領域抽出手段
1403 合成手段
1404 CG描画領域抽出手段
1405 現実画像切り出し手段
1406 形状周辺領域抽出手段
1407 形状周辺領域面積判定手段
1408 形状周辺領域削減手段
150 第2のメモリ
1501 仮想シーンデータ
1502 第1の色範囲データ
1503 現実画像
1504 特定色領域画像
1505 CG画像
1506 CG描画領域画像
1507 被重畳現実画像
1508 特定形状領域画像
1509 特定形状周辺領域画像
1510 合成画像
1511 第2の色範囲データ
1512 特定形状領域画素数データ
1513 特定形状周辺領域画素数データ
1514 判定パラメータデータ
1515 マスク画像
160 情報入力装置
170 バス
Claims (16)
- 現実画像の中から、特定の色範囲に含まれる色領域を抽出する色領域抽出手段と、
仮想シーンデータに基づいてCG画像を生成するCG画像生成手段と、
前記現実画像の中から、特定の形状を有する領域を特定形状領域として抽出する形状領域抽出手段と、
前記色領域抽出手段で抽出された領域のうち、前記形状領域抽出手段で抽出された特定形状領域以外の領域を除外して、前記現実画像と前記CG画像とを合成処理する合成手段と
を有することを特徴とする画像処理装置。 - 前記CG画像の中から、前記仮想シーンデータのCGオブジェクトが描画されている領域をCG描画領域として抽出するCG描画領域抽出手段と、
前記現実画像の中から、前記CG描画領域に相当する領域を切り出す現実画像切り出し手段と
を更に有し、
前記形状領域抽出手段は、前記現実画像切り出し手段により切り出された現実画像の中から、前記特定形状領域を抽出することを特徴とする請求項1に記載の画像処理装置。 - 前記特定形状領域に連続し、かつ、前記特定の色範囲に含まれる色領域を特定形状周辺領域として抽出する形状周辺領域抽出手段を更に有し、
前記合成手段は、前記色領域抽出手段で抽出された色領域および前記形状領域抽出手段で抽出された特定形状領域に加えて、更に、前記形状周辺領域抽出手段で抽出された特定形状周辺領域に基づいて、前記合成処理を行うことを特徴とする請求項1または2に記載の画像処理装置。 - 前記特定形状領域における前記特定形状周辺領域に対する面積の比が一定値以上であるか否かを判定する形状周辺領域面積判定手段と、
前記面積の比が一定値以上である場合に、前記特定形状周辺領域のうち、前記特定形状領域の重心からの距離が遠い領域を削減処理する形状周辺領域削減手段と
を更に有し、
前記合成手段は、前記特定形状周辺領域に基づく前記合成処理を行う際に、前記形状周辺領域削減手段で削減処理された特定形状周辺領域に基づく前記合成処理を行うことを特徴とする請求項3に記載の画像処理装置。 - 形状周辺領域面積判定手段は、前記面積の比として、前記特定形状領域における画素数と前記特定形状周辺領域における画素数との比を用いることを特徴とする請求項4に記載の画像処理装置。
- 前記形状周辺領域抽出手段は、前記特定形状周辺領域を抽出する際に、前記特定の色範囲に含まれる色領域にかえて、当該特定の色範囲とは異なる第2の色範囲に含まれる色領域を用いることを特徴とする請求項3乃至5のいずれか1項に記載の画像処理装置。
- 前記形状領域抽出手段は、前記特定形状領域として人間の身体の所定の領域を抽出し、
前記合成手段は、前記色領域抽出手段で抽出された領域のうち、前記人間の身体の所定の領域以外の領域を除外して、前記現実画像と前記CG画像とを合成処理することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。 - 色領域抽出手段が、現実画像の中から、特定の色範囲に含まれる色領域を抽出する色領域抽出ステップと、
CG画像生成手段が、仮想シーンデータに基づいてCG画像を生成するCG画像生成ステップと、
形状領域抽出手段が、前記現実画像の中から、特定の形状を有する領域を特定形状領域として抽出する形状領域抽出ステップと、
合成手段が、前記色領域抽出ステップで抽出された領域のうち、前記形状領域抽出ステップで抽出された特定形状領域以外の領域を除外して、前記現実画像と前記CG画像とを合成処理する合成ステップと
を有することを特徴とする画像処理方法。 - 現実画像の中から、特定の色範囲に含まれる色領域を抽出する色領域抽出ステップと、
仮想シーンデータに基づいてCG画像を生成するCG画像生成ステップと、
前記現実画像の中から、特定の形状を有する領域を特定形状領域として抽出する形状領域抽出ステップと、
前記色領域抽出ステップで抽出された領域のうち、前記形状領域抽出ステップで抽出された特定形状領域以外の領域を除外して、前記現実画像と前記CG画像とを合成処理する合成ステップと
をコンピュータに実行させるためのプログラム。 - 現実画像の中から、特定の色範囲に含まれる色領域を抽出する色領域抽出手段と、
仮想シーンデータに基づいてCG画像を生成するCG画像生成手段と、
前記CG画像の中から、前記仮想シーンデータのCGオブジェクトが描画されている領域をCG描画領域として抽出するCG描画領域抽出手段と、
前記現実画像の中から、前記CG描画領域に相当する領域を切り出す現実画像切り出し手段と、
前記現実画像切り出し手段により切り出された現実画像の中から、特定の形状を有する領域を特定形状領域として抽出する形状領域抽出手段と、
前記色領域抽出手段で抽出された色領域と、前記形状領域抽出手段で抽出された特定形状領域とに基づいて、前記現実画像と前記CG画像とを合成処理する合成手段と
を有することを特徴とする画像処理装置。 - 前記特定形状領域に連続し、かつ、前記特定の色範囲に含まれる色領域を特定形状周辺領域として抽出する形状周辺領域抽出手段を更に有し、
前記合成手段は、前記色領域抽出手段で抽出された色領域および前記形状領域抽出手段で抽出された特定形状領域に加えて、更に、前記形状周辺領域抽出手段で抽出された特定形状周辺領域に基づいて、前記合成処理を行うことを特徴とする請求項10に記載の画像処理装置。 - 前記特定形状領域における前記特定形状周辺領域に対する面積の比が一定値以上であるか否かを判定する形状周辺領域面積判定手段と、
前記面積の比が一定値以上である場合に、前記特定形状周辺領域のうち、前記特定形状領域の重心からの距離が遠い領域を削減処理する形状周辺領域削減手段と
を更に有し、
前記合成手段は、前記特定形状周辺領域に基づく前記合成処理を行う際に、前記形状周辺領域削減手段で削減処理された特定形状周辺領域に基づく前記合成処理を行うことを特徴とする請求項11に記載の画像処理装置。 - 形状周辺領域面積判定手段は、前記面積の比として、前記特定形状領域における画素数と前記特定形状周辺領域における画素数との比を用いることを特徴とする請求項12に記載の画像処理装置。
- 前記形状周辺領域抽出手段は、前記特定形状周辺領域を抽出する際に、前記特定の色範囲に含まれる色領域にかえて、当該特定の色範囲とは異なる第2の色範囲に含まれる色領域を用いることを特徴とする請求項11乃至13のいずれか1項に記載の画像処理装置。
- 色領域抽出手段が、現実画像の中から、特定の色範囲に含まれる色領域を抽出する色領域抽出ステップと、
CG画像生成手段が、仮想シーンデータに基づいてCG画像を生成するCG画像生成ステップと、
CG描画領域抽出手段が、前記CG画像の中から、前記仮想シーンデータのCGオブジェクトが描画されている領域をCG描画領域として抽出するCG描画領域抽出ステップと、
現実画像切り出し手段が、前記現実画像の中から、前記CG描画領域に相当する領域を切り出す現実画像切り出しステップと、
形状領域抽出手段が、前記現実画像切り出しステップにより切り出された現実画像の中から、特定の形状を有する領域を特定形状領域として抽出する形状領域抽出ステップと、
合成手段が、前記色領域抽出ステップで抽出された色領域と、前記形状領域抽出ステップで抽出された特定形状領域とに基づいて、前記現実画像と前記CG画像とを合成処理する合成ステップと
を有することを特徴とする画像処理方法。 - 現実画像の中から、特定の色範囲に含まれる色領域を抽出する色領域抽出ステップと、
仮想シーンデータに基づいてCG画像を生成するCG画像生成ステップと、
前記CG画像の中から、前記仮想シーンデータのCGオブジェクトが描画されている領域をCG描画領域として抽出するCG描画領域抽出ステップと、
前記現実画像の中から、前記CG描画領域に相当する領域を切り出す現実画像切り出しステップと、
前記現実画像切り出しステップにより切り出された現実画像の中から、特定の形状を有する領域を特定形状領域として抽出する形状領域抽出ステップと、
前記色領域抽出ステップで抽出された色領域と、前記形状領域抽出ステップで抽出された特定形状領域とに基づいて、前記現実画像と前記CG画像とを合成処理する合成ステップと
をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008313476A JP5207941B2 (ja) | 2008-12-09 | 2008-12-09 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008313476A JP5207941B2 (ja) | 2008-12-09 | 2008-12-09 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010140093A JP2010140093A (ja) | 2010-06-24 |
JP5207941B2 true JP5207941B2 (ja) | 2013-06-12 |
Family
ID=42350212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008313476A Expired - Fee Related JP5207941B2 (ja) | 2008-12-09 | 2008-12-09 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5207941B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3530772B2 (ja) * | 1999-06-11 | 2004-05-24 | キヤノン株式会社 | 複合現実感装置及び複合現実空間画像の生成方法 |
JP4537104B2 (ja) * | 2004-03-31 | 2010-09-01 | キヤノン株式会社 | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 |
-
2008
- 2008-12-09 JP JP2008313476A patent/JP5207941B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010140093A (ja) | 2010-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11776233B2 (en) | Beautification techniques for 3D data in a messaging system | |
US20230281930A1 (en) | Providing 3d data for messages in a messaging system | |
US9858473B2 (en) | Makeup supporting device, makeup supporting method, and non-transitory computer-readable recording medium | |
US9563975B2 (en) | Makeup support apparatus and method for supporting makeup | |
JP6332281B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US10339712B2 (en) | Image processing apparatus and image processing method | |
JP5976103B2 (ja) | プレイヤーの外観を反映するアバターの生成 | |
JP5818773B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Goesele et al. | Ambient point clouds for view interpolation | |
JP6874772B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
US11410401B2 (en) | Beautification techniques for 3D data in a messaging system | |
US20230410442A1 (en) | Augmented reality content generators including 3d data in a messaging system | |
US20240048678A1 (en) | Effects for 3d data in a messaging system | |
KR102193638B1 (ko) | 헤어 스타일 시뮬레이션 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
JP3810943B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 | |
EP4022560A1 (en) | Generating 3d data in a messaging system | |
JP2004246729A (ja) | 人物動画像生成システム | |
JP2009211513A (ja) | 画像処理装置及びその方法 | |
JP4323910B2 (ja) | 画像合成装置及び方法 | |
JP5207941B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2003044841A (ja) | モデル生成装置およびモデル生成方法ならびにモデル生成プログラムを記録した記録媒体 | |
JPH11175765A (ja) | 3次元モデル作成方法、3次元モデル作成装置及び記憶媒体 | |
CN111083345B (zh) | 独照生成装置和方法及其非易失性计算机可读媒体 | |
JP6402301B2 (ja) | 視線変換装置、視線変換方法及びプログラム | |
US10866688B2 (en) | Augmented reality tour guide |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121023 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130219 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5207941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |