JP5891879B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP5891879B2 JP5891879B2 JP2012061883A JP2012061883A JP5891879B2 JP 5891879 B2 JP5891879 B2 JP 5891879B2 JP 2012061883 A JP2012061883 A JP 2012061883A JP 2012061883 A JP2012061883 A JP 2012061883A JP 5891879 B2 JP5891879 B2 JP 5891879B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- display
- feature
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Description
図1は、本発明の第1実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
画像処理装置1は、例えばスマートフォンとして構成される。
入力部18は、ユーザの指示操作に応じて各種情報を入力する。
通信部21は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
メイン処理とは、ユーザにより図示せぬ電源ボタンが押下されたことを契機として開始される、次のような処理をいう。即ち、メイン処理とは、センサ17により検出した傾きに基づいて傾きを反映したキャラクタの画像を撮像画像に合成して表示するまでの一連の処理をいう。
即ち、撮像制御部61は、撮像部19による撮像動作を開始させて、当該撮像動作を継続させる。その間、撮像制御部61は、当該撮像部19から順次出力される撮像画像のデータを、記憶部20に一時的に記憶させる。このような一連の処理が、ここでいう「ライブビュー撮像処理」である。なお、ライブビュー撮像処理により記憶部20に一時的に記憶されている撮像画像を、以下、「ライブビュー画像」と呼ぶ。
また、表示制御部62は、ライブビュー撮像処理時に記憶部20に一時的に記録された各撮像画像のデータを順次読み出して、各々に対応する撮像画像を表示部16に順次表示させる。このような一連の制御処理が、ここでいう「ライブビュー表示処理」である。また、表示制御部62は、画像合成部66により生成された合成画像を表示部16において表示する制御を行う。画像合成部66による合成画像のデータの生成については、後述する。
また、マッチング部64は、対象オブジェクトの領域が特定された撮像画像に続いて入力される撮像画像のフレームにおいて、対象オブジェクトの領域の画像に変動があるか否かを評価する。即ち、対象オブジェクトの特徴と適合する部分が検出されたフレーム内の位置において、フレームの遷移による画像の変動を評価する。具体的には、マッチング部64は、初期状態の対象オブジェクトの領域における画素値の変化(例えば輝度値のヒストグラムの変化など)から、対象オブジェクトが一定以上、初期状態の対象オブジェクトの領域から移動したか否かを判定する。そして、マッチング部64は、対象オブジェクトの領域における変動の判定結果(対象オブジェクトが継続して撮像されているか否か)を傾き検出部65及び画像合成部66に出力する。なお、マッチングできない場合、即ち対象オブジェクトの領域が特定されない場合は、マッチング部64は、ライブビュー表示処理を継続して行う。
図3は、図2の機能的構成を有する図1の画像処理装置1が実行するメイン処理の流れを説明するフローチャートである。
画像処理装置1によりメイン処理が実行されると、CPU11において図2の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではCPU11が該当する。但し、本発明の理解を容易なものとすべく、CPU11において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図4は、図3のメイン処理のうち、ステップS11の対象オブジェクト特徴記憶処理の詳細を説明するフローチャートである。
上述したように、対象オブジェクト特徴記憶処理は、ユーザにより画像処理装置1の電源ボタン(図示せず)が押下されたことを契機として、ステップS11の処理として開始される。
図5は、図3のメイン処理のうち、ステップS14のマッチング処理の詳細を説明するフローチャートである。
上述したように、マッチング処理は、ライブビュー画像が取得されたことを契機として、ステップS14の処理として開始される。
図6は、図3のメイン処理のうち、ステップS21の領域変動評価処理の詳細を説明するフローチャートである。
上述したように、領域変動評価処理は、キャラクタ画像が重畳表示された後に、ライブビュー画像が取得されたことを契機として、ステップS21の処理として開始される。
図7は、図1の画像処理装置1により撮像が開始された状態を示している図である。
この際、センサ17によって検出された画像処理装置1の装置本体の傾き(即ち、画像処理装置1に設けられた表示部16の傾き)に基づいて傾けられたキャラクタの画像がライブビュー画像に合成されて、表示部16に表示される。続いて、センサによって検出された傾きに基づいて傾けられたキャラクタの画像が表示部16に表示される例について図8を参照して説明する。
図8(a)に示すように、キャラクタ120の画像は、登録された対象オブジェクトの領域110(図7(b)参照)の画像に重畳するように合成されて、表示部16に表示される。
この場合、画像処理装置1に内蔵された物理的なセンサ17により表示部16の傾きが検出され、そのセンサ17により検出された傾きに基づいて、キャラクタ120の画像の表示角度を設定する。本実施形態では、キャラクタ120は、実空間上の略鉛直方向となるように表示角度が設定されている。これにより、図8(b)に示すように、表示角度が設定されたキャラクタ120の画像が、ライブビュー画像に重畳して合成されて、表示部16に表示される。なお、本実施形態では、オブジェクトの画像の一種として猫のキャラクタ120の画像が表示部16に表示されているが、これに限られるものではない。例えば、オブジェクトの画像として、女子高生風のキャラクタや、人間の画像、花の画像、果物の画像など、様々なオブジェクトが複数記憶部20に記憶されていてもよい。この場合、入力部18は、複数のオブジェクトのうち、ユーザが選択した一のオブジェクトの選択を受け付ける。そして、画像合成部66は、選択されたオブジェクトの画像を、ライブビュー画像に合成する。
これにより、画像合成部66は、傾き検出部65により検出された表示部16の姿勢、即ち、センサ17などで検出した傾きに基づいて表示角度を設定したキャラクタの画像を撮像画像に重畳するように合成画像を生成することができる。通常、平面マーカー以外を検出対象とした場合には、検出対象となる物体の動きを特定するための処理に対する負担が大きくなるため、検出対象が高速で動く場合には、検出対象に対するオブジェクトの画像の追尾が困難となる。しかしながら、本実施形態においては、一度検出対象を特定してしまえば、後は、物理的なセンサ17などにより表示部16の姿勢を検出して、オブジェクトの画像の表示角度を設定することができるため、検出対象に対する処理の負担を軽減することができる。従って、検出対象を平面マーカーに限定することなく、センサ17による簡易な計測だけでオブジェクトの追尾を行うことができ、画像処理に対する処理の負担を軽減することができる。これにより、撮像画像における特定の被写体の画像に対応付けて、他の画像を重畳表示する際の処理負担を軽減することができる。
これにより、例えば、フレームの遷移による画像の変動が大きい場合、検出対象が撮像画像の画角から消えたと判断し、画像合成部66による画像の合成を中止することができる。
これにより、一度検出対象を特定してしまえば、後は、物理的なセンサ17などにより検出対象の姿勢を推測して、オブジェクトの画像の表示角度を設定することができるため、検出対象に対する処理の負担を軽減することができる。
これにより、ユーザは、所望のオブジェクトを選択して、撮像画像に重畳した画像を合成することができる。
次に、本発明の第2実施形態に係る画像処理装置1について説明する。
本発明の第2実施形態に係る画像処理装置1は、第1実施形態に係る画像処理装置1と基本的に同様のハードウェア構成及び機能的構成を取ることができる。
従って、図1は、第2実施形態に係る画像処理装置1のハードウェアの構成を示すブロック図でもある。
さらに、第2実施形態に係る画像処理装置1が実行する対象オブジェクト特徴記憶処理は、第1実施形態に係る対象オブジェクト特徴記憶処理と基本的に同様の流れとなる。従って、図4は、第2実施形態に係る対象オブジェクト特徴記憶処理の流れを説明するフローチャートでもある。
さらに、第2実施形態に係る画像処理装置1が実行するマッチング処理は、第1実施形態に係るマッチング処理と基本的に同様の流れとなる。従って、図5は、第2実施形態に係るマッチング処理の流れを説明するフローチャートでもある。
但し、第2実施形態では、メイン処理のうちステップS16、S18、S21、S22の処理については、第1実施形態で採用された図3のフローチャートではなく、図9のフローチャートが採用される。
図9は、図2の機能的構成を有する図1の画像処理装置1が実行する、第2実施形態に係るメイン処理の流れを説明するフローチャートである。
そこで、以下、このような差異点について主に説明し、一致点の説明は適宜省略する。
例えば、本発明は、表示機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、デジタルカメラ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機などに適用可能である。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
[付記1]
検出対象となる物体の画像の特徴を特定する対象特定手段と、
撮像画像を表示する表示部の姿勢を検出する傾き検出手段と、
前記撮像画像において、前記対象特定手段によって特定された前記特徴と適合する部分を検出するマッチング手段と、
前記マッチング手段によって前記特徴と適合する部分が検出された場合に、前記傾き検出手段により検出された前記表示部の姿勢に基づいて、前記撮像画像に重畳するオブジェクトの画像の表示角度を設定し、前記撮像画像における前記特徴と適合する部分と対応付けて、前記オブジェクトの画像を前記設定した表示角度で前記表示部に表示される前記撮像画像に合成する画像合成手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記マッチング手段は、前記特徴と適合する部分が検出されたフレーム内の位置において、フレームの遷移による画像の変動を評価し、
前記画像合成手段は、前記マッチング手段による評価の結果に応じて、前記オブジェクトの画像を重畳して表示するか否かを決定することを特徴とする付記1に記載の画像処理装置。
[付記3]
前記画像合成手段は、
前記傾き検出手段により検出された表示部の姿勢に基づいて、前記オブジェクトの画像の鉛直方向に対する表示角度が一定となるように合成することを特徴とする付記1又は2に記載の画像処理装置。
[付記4]
複数の前記オブジェクトのうち、いずれかの選択を受け付ける入力手段をさらに備え、
前記画像合成手段は、前記入力手段により受け付けられたオブジェクトの画像を合成することを特徴とする付記1乃至3のうち何れか1つに記載の画像処理装置。
[付記5]
オブジェクトの画像を合成する処理を制御する画像処理装置が実行する画像処理方法において、
検出対象となる物体の画像の特徴を特定する対象特定ステップと、
撮像画像を表示する表示部の姿勢を検出する傾き検出ステップと、
前記撮像画像において、前記対象特定ステップにおいて特定された前記特徴と適合する部分を検出するマッチングステップと、
前記マッチングステップにおいて前記特徴と適合する部分が検出された場合に、前記傾き検出ステップにおいて検出された前記表示部の姿勢に基づいて、前記撮像画像に重畳するオブジェクトの画像の表示角度を設定し、前記撮像画像における前記特徴と適合する部分と対応付けて、前記オブジェクトの画像を前記設定した表示角度で前記表示部に表示される前記撮像画像に合成する画像合成ステップと、
を含む画像処理方法。
[付記6]
オブジェクトの画像を合成するコンピュータを、
検出対象となる物体の画像の特徴を特定する対象特定手段、
撮像画像を表示する表示部の姿勢を検出する傾き検出手段、
前記撮像画像において、前記対象特定手段によって特定された前記特徴と適合する部分を検出するマッチング手段、
前記マッチング手段によって前記特徴と適合する部分が検出された場合に、前記傾き検出手段により検出された前記表示部の姿勢に基づいて、前記撮像画像に重畳するオブジェクトの画像の表示角度を設定し、前記撮像画像における前記特徴と適合する部分と対応付けて、前記オブジェクトの画像を前記設定した表示角度で前記表示部に表示される前記撮像画像に合成する画像合成手段、
として機能させることを特徴とするプログラム。
Claims (6)
- 検出対象となる物体の画像の特徴を特定する対象特定手段と、
撮像画像を表示する表示部の姿勢をセンサにより検出する傾き検出手段と、
前記撮像画像において、前記対象特定手段によって特定された前記特徴と適合する部分を検出するマッチング手段と、
前記マッチング手段によって前記特徴と適合する部分が検出された後に、前記傾き検出手段により検出された前記表示部の姿勢に基づいて、前記撮像画像に重畳するオブジェクトの画像の前記表示部に対する表示角度を前記表示部の傾きに追尾しながら所定の方向になるように設定し、前記撮像画像における前記特徴と適合する部分と対応付けて、前記オブジェクトの画像を前記設定した表示角度で前記表示部に表示される前記撮像画像の上に、前記特徴と適合する部分と前記オブジェクトの画像の両方が見える形で重畳するように合成する画像合成手段と、
を備えることを特徴とする画像処理装置。 - 前記マッチング手段は、前記特徴と適合する部分が検出されたフレーム内の位置において、フレームの遷移による画像の変動を評価し、
前記画像合成手段は、前記マッチング手段による評価の結果に応じて、前記オブジェクトの画像を重畳して表示するか否かを決定することを特徴とする請求項1に記載の画像処理装置。 - 前記画像合成手段は、
前記傾き検出手段により検出された表示部の姿勢に基づいて、前記オブジェクトの画像の鉛直方向に対する表示角度が一定となるように合成することを特徴とする請求項1又は2に記載の画像処理装置。 - 複数の前記オブジェクトのうち、いずれかの選択を受け付ける入力手段をさらに備え、
前記画像合成手段は、前記入力手段により受け付けられたオブジェクトの画像を合成することを特徴とする請求項1乃至3のうち何れか1項に記載の画像処理装置。 - オブジェクトの画像を合成する処理を制御する画像処理装置が実行する画像処理方法において、
検出対象となる物体の画像の特徴を特定する対象特定ステップと、
撮像画像を表示する表示部の姿勢をセンサにより検出する傾き検出ステップと、
前記撮像画像において、前記対象特定ステップにおいて特定された前記特徴と適合する部分を検出するマッチングステップと、
前記マッチングステップにおいて前記特徴と適合する部分が検出された後に、前記傾き検出ステップにおいて検出された前記表示部の姿勢に基づいて、前記撮像画像に重畳するオブジェクトの画像の前記表示部に対する表示角度を前記表示部の傾きに追尾しながら設定し、前記撮像画像における前記特徴と適合する部分と対応付けて、前記オブジェクトの画像を前記設定した表示角度で前記表示部に表示される前記撮像画像の上に、前記特徴と適合する部分と前記オブジェクトの画像の両方が見える形で重畳するように合成する画像合成ステップと、
を含む画像処理方法。 - オブジェクトの画像を合成するコンピュータを、
検出対象となる物体の画像の特徴を特定する対象特定手段、
撮像画像を表示する表示部の姿勢をセンサにより検出する傾き検出手段、
前記撮像画像において、前記対象特定手段によって特定された前記特徴と適合する部分を検出するマッチング手段、
前記マッチング手段によって前記特徴と適合する部分が検出された後に、前記傾き検出手段により検出された前記表示部の姿勢に基づいて、前記撮像画像に重畳するオブジェクトの画像の前記表示部に対する表示角度を前記表示部の傾きに追尾しながら設定し、前記撮像画像における前記特徴と適合する部分と対応付けて、前記オブジェクトの画像を前記設定した表示角度で前記表示部に表示される前記撮像画像の上に、前記特徴と適合する部分と前記オブジェクトの画像の両方が見える形で重畳するように合成する画像合成手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012061883A JP5891879B2 (ja) | 2012-03-19 | 2012-03-19 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012061883A JP5891879B2 (ja) | 2012-03-19 | 2012-03-19 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013197803A JP2013197803A (ja) | 2013-09-30 |
JP5891879B2 true JP5891879B2 (ja) | 2016-03-23 |
Family
ID=49396255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012061883A Active JP5891879B2 (ja) | 2012-03-19 | 2012-03-19 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5891879B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101861129B1 (ko) | 2016-03-23 | 2018-05-29 | 스튜디오모비딕(주) | 데이터 용량 감축 기능을 갖는 삼차원 애니메이션 제작방법 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6874457B2 (ja) * | 2017-03-23 | 2021-05-19 | セイコーエプソン株式会社 | 情報表示方法、システム、プログラム、および情報表示装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3841806B2 (ja) * | 2004-09-01 | 2006-11-08 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
JP4869430B1 (ja) * | 2010-09-24 | 2012-02-08 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
-
2012
- 2012-03-19 JP JP2012061883A patent/JP5891879B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101861129B1 (ko) | 2016-03-23 | 2018-05-29 | 스튜디오모비딕(주) | 데이터 용량 감축 기능을 갖는 삼차원 애니메이션 제작방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2013197803A (ja) | 2013-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111602140B (zh) | 分析由头戴式设备的相机记录的图像中的对象的方法 | |
KR102529120B1 (ko) | 영상을 획득하는 방법, 디바이스 및 기록매체 | |
US10681270B2 (en) | Electronic device for creating panoramic image or motion picture and method for the same | |
US9516223B2 (en) | Motion-based image stitching | |
US8908991B2 (en) | Image processing apparatus, image processing method and storage medium | |
US9781341B2 (en) | Image processing system, information processing device, information storage device, and image processing method | |
US8994785B2 (en) | Method for generating video data and image photographing device thereof | |
JP6417797B2 (ja) | 情報端末装置、情報処理方法、システムおよびプログラム | |
US9781340B2 (en) | Image processing system, information processing device, information storage device, and image processing method | |
US20140363044A1 (en) | Efficient Machine-Readable Object Detection and Tracking | |
JP5774226B2 (ja) | 方位センサに基づくホモグラフィ分解の曖昧性の解決 | |
JP2012151796A (ja) | 画像処理装置と画像処理方法およびプログラム | |
JP6208431B2 (ja) | 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法 | |
CN103985103A (zh) | 一种生成全景图片的方法和装置 | |
US20170278288A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP5159189B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP5769755B2 (ja) | 画像処理システム、画像処理装置及び画像処理方法 | |
US10802286B2 (en) | Camera device, display device, and method for correcting motion in device | |
JP5891879B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2015072091A1 (ja) | 画像処理装置、画像処理方法及びプログラム記憶媒体 | |
US10839549B2 (en) | Apparatus and method for estimating position of image capturing unit | |
CN107767712B (zh) | 调整匹配度的方法、装置、存储介质及电子设备 | |
JP2021507332A (ja) | ナビゲーションガイドを生成するための方法および装置 | |
JP6756103B2 (ja) | 電子機器、表示システム、表示装置、撮像装置、表示制御方法及びプログラム | |
JP4878396B2 (ja) | 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5891879 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |