JP2013077307A - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP2013077307A JP2013077307A JP2012260297A JP2012260297A JP2013077307A JP 2013077307 A JP2013077307 A JP 2013077307A JP 2012260297 A JP2012260297 A JP 2012260297A JP 2012260297 A JP2012260297 A JP 2012260297A JP 2013077307 A JP2013077307 A JP 2013077307A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- region
- image
- area
- space image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 キー領域抽出部303は、現実空間画像において予め定められた画素値を有する画素で構成される第1の領域を抽出する。動きベクトル検出部304は、現実空間画像上の複数箇所における動きベクトルを求める。被写体領域抽出部305は、動きベクトルを用いて、第1の領域にマージする第2の領域を特定する。画像合成部308は、仮想空間画像を現実空間画像上に重畳させる際に、第1の領域と第2の領域とをマージした合成領域は、仮想空間画像の重畳対象外とすることを特徴とする。
【選択図】 図3
Description
前記現実空間画像の注目フレームにおいて、予め定められた画素値を有する画素で構成される第1の領域を抽出する抽出手段と、
前記注目フレーム内において、物体の動きベクトルを求める計算手段と、
前記動きベクトルが所定の条件を満たす場合に、前記動きベクトルを用いて、前記注目フレーム内の第1の領域に関連した第2の領域を特定する特定手段と、
仮想空間画像を生成する生成手段と、
前記仮想空間画像を前記第1の領域と前記第2の領域以外の領域に、前記現実空間画像上に重畳させる重畳手段とを備え、
前記特定手段は、前記動きベクトルが、前記所定の条件を満たさない場合には、以前のフレームで第2の領域として特定された領域を前記注目フレームの第2の領域として特定することを特徴とする。
本実施形態では、現実空間画像上に仮想空間画像を重畳させる場合に、現実空間画像内に「手」の領域と「腕」の領域とが含まれている場合には、それぞれの領域をマージして1つの被写体の領域(合成領域)を生成する。そして、係る被写体の領域を常に仮想空間の画像よりも手前に表示するよう、係る重畳の処理を制御する。詳しくは後述するが、被写体の領域は、「手」の領域と「腕」の領域とをマージしたものに限定するものではなく、どのような領域をマージして被写体の領域を形成しても良い。即ち、以下の説明は、被写体の領域が異なる複数の画素値で表示されるようなものであれば、どのような被写体の領域でも良い。
・ トランスミッタが発生する磁界中で、自身の位置姿勢に応じた磁界の変化を検知するレシーバ
・ トランスミッタの動作制御を行うと共に、レシーバによる計測結果に基づいて、レシーバのセンサ座標系における位置姿勢情報を生成するセンサコントローラ
トランスミッタは現実空間中の所定の位置に配置する。そしてレシーバは、撮像部301に取り付ける。トランスミッタが磁界を発生させると、レシーバは、自身の位置姿勢(撮像部301の位置姿勢)に応じた磁界の変化を検知し、検知した結果を示す信号をセンサコントローラに送出する。センサコントローラは、係る信号に基づいて、レシーバのセンサ座標系における位置姿勢を示す位置姿勢情報を生成する。ここで、センサ座標系とは、トランスミッタの位置を原点とし、係る原点で互いに直交する3軸をそれぞれx軸、y軸、z軸とする座標系のことである。そして、センサコントローラは、求めた位置姿勢情報を、後段の画像処理装置300に対して送出する。
ここで(i,j)は現実空間画像における画素座標、target_areaは被写体領域である。また、discriminant_func()はキー領域のクラスの動きベクトルの特徴によって学習されている被写体領域識別関数、whole_vecは現実空間画像の全体の動きベクトルである。なお、上述したように、動きベクトルは現実空間画像を構成する全ての画素について求めることに限定するものではないので、ステップS803では、全ての画素について行うのではなく、動きベクトルを求めた全ての画素について行うものである。
ただし、追加領域は、ステップS805で被写体領域として適切であると判定された領域である。
第1の実施形態の冒頭でも述べたように、被写体の領域は、「手」の領域と「腕」の領域とをマージしたものに限定するものではなく、どのような領域をマージして被写体の領域を形成しても良い。即ち、以下の説明は、被写体の領域が異なる複数の画素値で表示されるようなものであれば、どのような被写体の領域でも良い。
第1,2の実施形態では、キー領域と追加領域とを毎フレーム毎に算出し、それらに基づいて被写体領域を決定した。即ち、キー領域と追加領域とに基づいて被写体領域を求める処理をフレーム毎に行っていた。本実施形態では、初期領域を指定するためのみキー領域と追加領域とを算出し、その後の被写体領域の更新は自動輪郭抽出処理によって行う。
上記実施形態では、撮像部301が撮像した現実空間画像から算出される動きベクトルのみから被写体領域を特定した。しかし、被写体領域の特定は係る方法に限定するものではない。例えば、現実空間画像から算出される動きベクトルを、撮像部301の位置および姿勢の変化から生じる動きベクトルを用いて補正することで得られる動きベクトルから被写体領域を特定してもよい。
ここで、M’は姿勢変化分動きベクトルを現実空間画像内の動きベクトルから差し引いた動きベクトルを表す行列、Mは現実空間画像から算出された動きベクトルを表す行列である。また、Rvは画像平面上に射影された姿勢変化ベクトル、Iは単位行列(行列Mと大きさが同じ行列)である。
ここで、Tvは画像平面上に射影された位置変化分動きベクトル、fは撮像部301のレンズから結像面までの距離である。また、tは撮像部301の位置変化によって生じた動きベクトル、zは被写体までの奥行き距離である。
M”は、位置変化分動きベクトルを動きベクトルM’から差し引いた動きベクトルを表す行列、M’はステップS1502の処理において補正された動きベクトルを表す行列である。また、Tvは、画像平面上に射影された位置変化ベクトル、Iは単位行列(行列Mと大きさが同じ行列)である。このように、現実空間画像から算出された動きベクトルから、撮像部301の位置変化による動きベクトルを減じる。
上記各実施形態では、図3に示した画像処理装置300を構成する各部はハードウェアで構成されているものとして説明したが、記憶装置310、撮影画像取込部302を除く他の各部はソフトウェアプログラムの形態で実現させても良い。その場合、記憶装置310、撮影画像取込部302を有するコンピュータに、係るソフトウェアプログラムをインストールし、係るソフトウェアプログラムを、このコンピュータが有するCPUが実行することで、各部の動作を実現させることになる。即ち、画像処理装置300には、一般のPC(パーソナルコンピュータ)などのコンピュータを適用させることができる。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
Claims (14)
- 複数のフレームからなる現実空間画像を取得する手段と、
前記現実空間画像の注目フレームにおいて、予め定められた画素値を有する画素で構成される第1の領域を抽出する抽出手段と、
前記注目フレーム内において、物体の動きベクトルを求める計算手段と、
前記動きベクトルが所定の条件を満たす場合に、前記動きベクトルを用いて、前記注目フレーム内の第1の領域に関連した第2の領域を特定する特定手段と、
仮想空間画像を生成する生成手段と、
前記仮想空間画像を前記第1の領域と前記第2の領域以外の領域に、前記現実空間画像上に重畳させる重畳手段とを備え、
前記特定手段は、前記動きベクトルが、前記所定の条件を満たさない場合には、以前のフレームで第2の領域として特定された領域を前記注目フレームの第2の領域として特定することを特徴とする画像処理装置。 - 前記特定手段は、
前記動きベクトルが、前記所定の条件を満たさない場合には、以前のフレームで第2の領域として特定された領域を前記注目フレームの第2の領域として特定し、前記注目フレームにおいて抽出された第1の領域を、前記注目フレームの第1の領域として特定すること特徴とする請求項1に記載の画像処理装置。 - 前記特定手段は、
前記第1の領域以外の他領域について前記計算手段が求めたそれぞれの動きベクトルのうち、前記第1の領域について前記計算手段が求めた動きベクトルの特徴と類似している動きベクトルに対応する領域を、前記第2の領域として特定する第1の手段を有することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記特定手段は、
前記第1の領域以外の他領域について前記計算手段が求めたそれぞれの動きベクトルのうち、前記第1の領域について前記計算手段が求めた動きベクトルの特徴と類似している動きベクトルに対応する領域を、前記現実空間画像中における位置および前記第1の領域との連結関係に基づいて、前記第2の領域として特定する第1の手段を有することを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。 - 前記特定手段は、前記他領域について前記計算手段が求めたそれぞれの動きベクトルに基づいて決まる代表動きベクトルの大きさが予め定められた大きさ以上であるか否かを判断し、前記代表動きベクトルの大きさが予め定められた大きさ以上である領域に対して前記第1の手段を適用することを特徴とする請求項3又は4に記載の画像処理装置。
- 前記計算手段は、
撮像装置の姿勢変化量を算出する手段と、
前記姿勢変化量に基づき、前記撮像装置の姿勢変化によって生じる動きベクトルを姿勢
変化分動きベクトルとして計算する手段と、
前記姿勢変化分動きベクトルに基づいて、前記動きベクトルを補正する手段と
を備えることを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。 - 前記計算手段は、
現実空間の奥行き情報を算出する手段と、
撮像装置の位置変化量を算出する手段と、
前記奥行き情報と前記位置変化量に基づいて、前記撮像装置の位置変化によって生じる動きベクトルを、位置変化分動きベクトルとして計算する手段と、
前記位置変化分動きベクトルに基づいて、前記動きベクトルを補正する手段と
を備えることを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。 - 前記生成手段は、
前記現実空間画像を撮像した撮像装置の位置姿勢を示す位置姿勢情報に基づいて仮想空間画像を生成することを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。 - 前記抽出手段は、前記現実空間画像において手の色を示す画素値を有する画素で構成される領域を前記第1の領域として抽出することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 前記計算手段は、前記現実空間画像を構成する各画素について動きベクトルを求めることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 更に、前記重畳手段による重畳処理によって得られる合成画像を出力する手段を備えることを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。
- 複数のフレームからなる現実空間画像を取得する工程と、
前記現実空間画像の注目フレームにおいて、予め定められた画素値を有する画素で構成される第1の領域を抽出する抽出工程と、
前記注目フレーム内において、物体の動きベクトルを求める計算工程と、
前記動きベクトルが所定の条件を満たす場合に、前記動きベクトルを用いて、前記注目フレーム内の第1の領域に関連した第2の領域を特定する特定工程と、
仮想空間画像を生成する生成工程と、
前記仮想空間画像を、前記第1の領域と前記第2の領域以外の領域に、前記現実空間画像上に重畳させる重畳工程とを備え、
前記特定工程において、前記動きベクトルが、前記所定の条件を満たさない場合には、以前のフレームで第2の領域として特定された領域を前記注目フレームの第2の領域として特定することを特徴とする画像処理方法。 - コンピュータに請求項12に記載の画像処理方法を実行させるためのプログラム。
- 請求項13に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012260297A JP5474169B2 (ja) | 2007-10-30 | 2012-11-28 | 画像処理装置、画像処理方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007282352 | 2007-10-30 | ||
JP2007282352 | 2007-10-30 | ||
JP2012260297A JP5474169B2 (ja) | 2007-10-30 | 2012-11-28 | 画像処理装置、画像処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008186501A Division JP2009134693A (ja) | 2007-10-30 | 2008-07-17 | 画像処理装置、画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013077307A true JP2013077307A (ja) | 2013-04-25 |
JP5474169B2 JP5474169B2 (ja) | 2014-04-16 |
Family
ID=40866485
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008186501A Pending JP2009134693A (ja) | 2007-10-30 | 2008-07-17 | 画像処理装置、画像処理方法 |
JP2012260297A Expired - Fee Related JP5474169B2 (ja) | 2007-10-30 | 2012-11-28 | 画像処理装置、画像処理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008186501A Pending JP2009134693A (ja) | 2007-10-30 | 2008-07-17 | 画像処理装置、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP2009134693A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017505933A (ja) * | 2013-11-26 | 2017-02-23 | シェフィ,ヨァヴ | 実在の物体上に固定された仮想画像を生成する方法及びシステム |
JP2020506487A (ja) * | 2017-02-06 | 2020-02-27 | フォトニック センサーズ アンド アルゴリズムス,エセ.エレ. | シーンから深度情報を取得するための装置および方法 |
JP2020034577A (ja) * | 2019-11-22 | 2020-03-05 | 株式会社ミツトヨ | 測定データ収集装置及びプログラム |
TWI813072B (zh) * | 2021-11-17 | 2023-08-21 | 瑞昱半導體股份有限公司 | 用於物件追蹤的電子裝置及方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3654146A1 (en) | 2011-03-29 | 2020-05-20 | QUALCOMM Incorporated | Anchoring virtual images to real world surfaces in augmented reality systems |
US9886552B2 (en) | 2011-08-12 | 2018-02-06 | Help Lighting, Inc. | System and method for image registration of multiple video streams |
US9020203B2 (en) * | 2012-05-21 | 2015-04-28 | Vipaar, Llc | System and method for managing spatiotemporal uncertainty |
JP5791082B2 (ja) | 2012-07-30 | 2015-10-07 | 国立大学法人横浜国立大学 | 画像合成装置、画像合成システム、画像合成方法およびプログラム |
US9710968B2 (en) | 2012-12-26 | 2017-07-18 | Help Lightning, Inc. | System and method for role-switching in multi-reality environments |
US9940750B2 (en) | 2013-06-27 | 2018-04-10 | Help Lighting, Inc. | System and method for role negotiation in multi-reality environments |
JP2015191480A (ja) * | 2014-03-28 | 2015-11-02 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、オブジェクトの操作方法、及びオブジェクトの操作プログラム |
WO2015146813A1 (ja) | 2014-03-28 | 2015-10-01 | 株式会社ソニー・コンピュータエンタテインメント | オブジェクトの操作方法、オブジェクトの操作プログラム、及び情報処理装置 |
JP6786792B2 (ja) * | 2015-12-03 | 2020-11-18 | セイコーエプソン株式会社 | 情報処理装置、表示装置、情報処理方法、及び、プログラム |
JP6739847B2 (ja) | 2018-09-12 | 2020-08-12 | 株式会社アルファコード | 画像表示制御装置および画像表示制御用プログラム |
US20220277460A1 (en) * | 2019-08-30 | 2022-09-01 | Ntt Docomo, Inc. | Projection controlling apparatus and projection system |
JP7127659B2 (ja) * | 2020-02-07 | 2022-08-30 | カシオ計算機株式会社 | 情報処理装置、仮想・現実合成システム、学習済みモデルの生成方法、情報処理装置に実行させる方法、プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10108198A (ja) * | 1996-09-30 | 1998-04-24 | Sanyo Electric Co Ltd | 画像領域統合方法 |
JP2000261828A (ja) * | 1999-03-04 | 2000-09-22 | Toshiba Corp | 立体映像生成方法 |
JP2003296759A (ja) * | 2002-03-29 | 2003-10-17 | Canon Inc | 情報処理方法および装置 |
JP2004096679A (ja) * | 2002-09-04 | 2004-03-25 | Nippon Hoso Kyokai <Nhk> | 切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラム |
JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
JP2006127530A (ja) * | 2005-10-31 | 2006-05-18 | Toshiba Corp | 動画像内オブジェクト抽出方法及び装置 |
-
2008
- 2008-07-17 JP JP2008186501A patent/JP2009134693A/ja active Pending
-
2012
- 2012-11-28 JP JP2012260297A patent/JP5474169B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10108198A (ja) * | 1996-09-30 | 1998-04-24 | Sanyo Electric Co Ltd | 画像領域統合方法 |
JP2000261828A (ja) * | 1999-03-04 | 2000-09-22 | Toshiba Corp | 立体映像生成方法 |
JP2003296759A (ja) * | 2002-03-29 | 2003-10-17 | Canon Inc | 情報処理方法および装置 |
JP2004096679A (ja) * | 2002-09-04 | 2004-03-25 | Nippon Hoso Kyokai <Nhk> | 切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラム |
JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
JP2006127530A (ja) * | 2005-10-31 | 2006-05-18 | Toshiba Corp | 動画像内オブジェクト抽出方法及び装置 |
Non-Patent Citations (2)
Title |
---|
CSNG200700212002; 斎藤 英雄: 'コンピュータビジョン技術を用いた3次元映像生成と表示' 映像情報メディア学会技術報告 Vol.30 No.58 (IDY2006-101,AIT2006-137), 20061110, P.39-43, (社)映像情報メディア学会 * |
JPN6013050205; 斎藤 英雄: 'コンピュータビジョン技術を用いた3次元映像生成と表示' 映像情報メディア学会技術報告 Vol.30 No.58 (IDY2006-101,AIT2006-137), 20061110, P.39-43, (社)映像情報メディア学会 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017505933A (ja) * | 2013-11-26 | 2017-02-23 | シェフィ,ヨァヴ | 実在の物体上に固定された仮想画像を生成する方法及びシステム |
JP2020506487A (ja) * | 2017-02-06 | 2020-02-27 | フォトニック センサーズ アンド アルゴリズムス,エセ.エレ. | シーンから深度情報を取得するための装置および方法 |
JP2020034577A (ja) * | 2019-11-22 | 2020-03-05 | 株式会社ミツトヨ | 測定データ収集装置及びプログラム |
TWI813072B (zh) * | 2021-11-17 | 2023-08-21 | 瑞昱半導體股份有限公司 | 用於物件追蹤的電子裝置及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2009134693A (ja) | 2009-06-18 |
JP5474169B2 (ja) | 2014-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5474169B2 (ja) | 画像処理装置、画像処理方法 | |
US8280115B2 (en) | Image processing apparatus and image processing method | |
JP4136420B2 (ja) | 情報処理方法および装置 | |
US9928411B2 (en) | Image processing apparatus, image processing system, image processing method, and computer program product | |
JP4137078B2 (ja) | 複合現実感情報生成装置および方法 | |
US10339712B2 (en) | Image processing apparatus and image processing method | |
JP4537104B2 (ja) | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 | |
US10839544B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable storage medium | |
US9767611B2 (en) | Information processing apparatus and method for estimating depth values using an approximate plane | |
US7782320B2 (en) | Information processing method and information processing apparatus | |
US8699749B2 (en) | Computer-readable storage medium, image processing apparatus, image processing system, and image processing method | |
US9779699B2 (en) | Image processing device, image processing method, computer readable medium | |
JP6744747B2 (ja) | 情報処理装置およびその制御方法 | |
US12010288B2 (en) | Information processing device, information processing method, and program | |
JP7379065B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2020032254A1 (ja) | 注意対象推定装置及び注意対象推定方法 | |
US11275434B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US20200211275A1 (en) | Information processing device, information processing method, and recording medium | |
JP4745724B2 (ja) | 画像処理方法、画像処理装置 | |
JP4323910B2 (ja) | 画像合成装置及び方法 | |
JP2021009557A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2008299670A (ja) | 画像領域抽出装置およびその制御方法、複合現実感提示システム及びコンピュータプログラム | |
US11983892B2 (en) | Information processing apparatus and information processing method for detecting a state change of a imaging apparatus | |
JP2009015648A (ja) | 画像処理装置、画像処理方法 | |
US20240161429A1 (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140204 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5474169 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |