JP2016220051A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 撮像時に写り込んでしまう不要物を画像内から簡略に除去できるようにする。【解決手段】 デジタルカメラ１は、セルフィースティック２に装着されている状態で撮像した画像内にセルフィースティック２が写り込んでいる場合に、このセルフィースティック２に配設されているマーカＭ１、Ｍ２の該画像内における位置を取得し、このマーカＭ１、Ｍ２の位置に基づき、その撮像画像内における不要物（セルフィースティック２）の画像部分を除去する画像処理を行う。【選択図】 図１

Description

本発明は、撮像手段を備える画像処理装置、画像処理方法及びプログラムに関する。

近年、デジタルカメラを用いて、いわゆる自分撮りを行う際に、セルフィースティックと呼ばれる延長棒（自撮り棒、或いはセルカ棒）の先端部にデジタルカメラを取り付け、このカメラのレンズ側を自分に向けて自身を撮影する方法が知られているが、より離れた位置から自分撮りを行うことができるという効果が得られる反面、不要物であるセルフィースティック自体が撮像画像内に写り込んでしまうという問題があった。
ところで、撮像画像内に写り込んだ不要物や障害物を検出する技術としては、例えば、特許文献１や特許文献２のような技術が開示されている。すなわち、特許文献１は、撮像された複数の連続画像を用いて動点の移動領域を抽出することにより障害物を自動的に検出するようにした技術であり、特許文献２は、異なる向きの画像を重ね合わせて形成した統合モデル画像を作成し、この統合モデル画像と撮影画像とのパターンマッチングにより障害物を検出する技術である。

特開２０１３−２５５０７６号公報 特開２０１１−２２１６１３号公報

しかしながら、上述した特許文献１にあっては、撮影タイミングの前後に渡る複数枚の画像を取得するために、予め連続的な撮影を行いながらその各画像をバッファに一時記憶しておく必要があり、また、特許文献２にあっては、パターンマッチングを行うために、予め異なる角度から撮影した各画像を基に統合モデル画像を作成しておく必要があるため、これらの技術は、処理負担の大きい処理を前提とするものと言わざるを得ない。

本願発明の課題は、撮像時に写り込んだ不要物を画像内から簡略に除去できるようにすることである。

上述した課題を解決するために本発明は、
撮像手段を備える画像処理装置であって、
一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する取得手段と、
前記取得手段により取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する画像処理を行う画像処理手段と、
を備えることを特徴とする。

本発明によれば、撮像時に写り込んだ不要物を画像内から簡略に除去することができる。

撮像手段を備える画像処理装置として適用したデジタルカメラ１をセルフィースティック（自撮り棒：セルカ棒）２の一端部に装着した状態を示した外観図。 デジタルカメラ１の基本的な構成要素を示したブロック図。 セルフィースティック２の基本的な構成要素を示したブロック図。 （１）は、ライブビュー画像の表示例を示し、（２）は、画像内に楕円領域（不要除去領域）を重ね合わせた状態を示し、（３）は、楕円領域（不要除去領域）に対してインペイント処理を実行した後の画像の表示例を示した図。 撮影モードに切り替えられた際に実行開始されるデジタルカメラ１の特徴的な動作を示したフローチャート。 図５の動作に続くフローチャート。 第２実施形態において、（１）は、除去対象の所定の物体として踏み台を例示した場合で、この踏み台に３つのマーカＭ１１、Ｍ１２、Ｍ１３を配設した状態を示した図、（２）は、３つのマークＭ１１〜Ｍ１３の配列関係（位置関係）を説明するための図。 第２実施形態において使用する物体形状テーブルＴを示した図。 第２実施形態において、撮影モードに切り替えられた際に実行開始されるデジタルカメラ１の特徴的な動作を示したフローチャート。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
先ず、図１〜図６を参照して本発明の第１実施形態を説明する。
図１は、撮像手段を備える画像処理装置として適用したデジタルカメラ１をセルフィースティック（自撮り棒：セルカ棒）２の一端部に装着した状態を示した外観図である。
デジタルカメラ１は、被写体を高精細に撮影可能な撮像機能、現在日時やタイマ時間を計時する計時機能、記録保存されている撮影済み画像（保存画像）を任意に読み出して再生する画像再生機能などを備えたコンパクトデジタルカメラである。セルフィースティック２は、一方の端部がデジタルカメラ１に装着され、他方の端部が使用者により把持される棒状の物体（自撮り棒：セルカ棒）で、デジタルカメラ１のシャッタを遠隔操作により駆動させるワイヤレスシャッタ機能などを備えている。

セルフィースティック２を構成するスティック部２ａは、その長さを自在に伸縮可能な構成となっており、その一方の端部にはデジタルカメラ１を装着するホルダ部２ｂが設けられ、他方の端部にはＩＣチップ（図示省略）や電源部を内蔵する把持部２ｃが設けられている。なお、ホルダ部２ｂには、スティック部２ａに対してホルダ部２ｂの角度（デジタルカメラ１の向き）を任意に調整することが可能な角度調整機構部（図示省略）と、デジタルカメラ１が装着されたことを検出する装着検出スイッチ部（図１では図示省略）が設けられている。また、スティック部２ａの外表面には、複数のマーカＭ１、Ｍ２が配設されている。

すなわち、把持部２ｃに隣接した位置（手元付近）には、メインマーカＭ１が配設され、このメインマーカＭ１の延長線上の所定位置には、サブマーカＭ２が配設されている。このようにメインマーカＭ１は、手元付近に配設されているのに対して、サブマーカＭ２は、その延長線上の所定距離（例えば、スティック部２ａの長さの１／１０程度）を隔てた位置に配設されたもので、発光色の異なるＬＥＤ（Light Emitting Diode）によって構成されている。例えば、メインマーカＭ１はその点灯により緑色を発光し、サブマーカＭ２は、その点灯により赤色を発光するもので、セルフィースティック２の電源がオンされている状態でデジタルカメラ１が装着されている間、点灯状態を維持するようにしている。なお、マーカＭ１、Ｍ２の点灯／消灯は、セルフィースティック２側に設けられたキーの操作に応じて制御するようにしてもよい。また、メインマーカＭ１とサブマーカＭ２との隔たりは、スティック部２ａの長さの１／１０に限らず、任意であるが、両者は手元側（把持部２ｃ側）に配設されていることが好ましい。

このメインマーカＭ１及びサブマーカＭ２は、撮像された画像（ライブビュー画像）内に写り込んでしまったセルフィースティック２の画像内における位置及びその輪郭（アウトライン）を特定するために使用されるマーカである。すなわち、第１実施形態においては、撮像画像内に写り込んでしまったセルフィースティック２の画像部分を特定してその画像部分を画像処理により除去するインペイント処理を実行するようにしているが、その際、セルフィースティック２上に配置された複数のマーカＭ１、Ｍ２の撮像画像内における位置関係からセルフィースティック２の画像部分（輪郭領域）を特定してインペイント処理を実行するようにしている。なお、このようなインペイント処理は、画像処理装置において一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

図２は、デジタルカメラ１の基本的な構成要素を示したブロック図である。
制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内に格納されている各種のプログラムに応じてこのデジタルカメラ１の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図５及び図６に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ１３ａと、フラグなどのデータを一時記憶するワークメモリ１３ｂなどを有している。なお、記憶部１３は、例えば、複数枚の撮影済み画像（保存画像群）を記憶可能なＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

操作部１４は、図示省略したが、各種のハードキーとして、電源オン／オフを行う電源キー、撮影が可能なモードと撮影済み画像（保存画像）を再生するモードなどを切り替えるモード変更キー、シャッタキーなど、各種のハードキーを備えたもので、制御部１１は、このハードキーの操作に応じて、例えば、モード変更処理、撮影処理などを行う。撮像部１５は、図示しないが、光学レンズからの被写体画像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影することが可能なもので、ズーム機能を備えた撮影レンズ、撮像素子、各種のセンサ、アナログ処理部、デジタル処理部を有している。制御部１１は、撮像部１５によって撮像された画像に対して各種の画像処理として、データ補間（デモザイク）を行ったり、カラー変換したり、ホワイトバランスやシャープネスなどを調整したりする現像処理を行うことにより撮像画像を撮影画像に変換すると共に、この現像処理後の画像を圧縮してファイル化する画像圧縮処理を施した後、記憶部１３の記録メディアに記録保存するようにしている。

表示部１６は、画像を表示する高精細液晶、又は有機ＥＬ（Electro Luminescence）などで構成され、その表示画面は、撮像された画像（ライブビュー画像）をリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。通信部１７は、セルフィースティック２との間で短距離通信、例えば、Bluetooth（登録商標）通信を行うもので、制御部１１は、シャッタキー（ハードキー）の操作に応じて撮影処理を行う他に、セルフィースティック２から送信されたシャッタ操作信号を通信部１７が受信した際にも撮影処理を行うようにしている。なお、デジタルカメラ１とセルフィースティック２との間での短距離通信としては、無線ＬＡＮ（Local Area Network）通信、又は有線通信であってもよい。

セルフィースティック２の基本的な構成要素を示したブロック図である。
制御部２１は、電源部（二次電池）２２からの電力供給によって動作し、記憶部２３内に格納されている各種のプログラムに応じてこのセルフィースティック２の全体動作を制御するもので、この制御部２１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。この制御部２１にはその周辺デバイスとして、上述したメインマーカＭ１、サブマーカＭ２が接続されている他、装着検出スイッチ２４、操作部２５、通信部２６、受光素子２７が接続され、それらの入出力動作を制御する。

装着検出スイッチ２４は、上述したようにホルダ部２ｂにデジタルカメラ１が装着されたことを検出するもので、制御部２１は、装着検出スイッチ２４からの検出信号に応じて、メインマーカＭ１、サブマーカＭ２、受光素子２７を駆動する制御を行うようにしている。操作部２５は、電源オン／オフを行う電源キーなどを有し、通信部２６は、デジタルカメラ１との間で短距離通信、例えば、Bluetooth（登録商標）通信を行う。受光素子２７は、上述のワイヤレスシャッタ機能を構成するもので、手元側のメインマーカＭ１に接近して配置され、メインマーカＭ１から発光された光が使用者の親指などで遮蔽された際にその発光された光を受光できなくなることによりメインマーカＭ１への遮蔽を検出する。制御部２１は、メインマーカＭ１が遮蔽された際に受光素子２７の検出信号に基づいてシャッタ操作が行われたものと判断してシャッタ操作信号を通信部２６から送信するようにしている。

図４（１）は、撮像部１５で撮像された画像（ライブビュー画像）がモニタ画面に表示されている状態を例示した図である。すなわち、デジタルカメラ１をセルフィースティック２に装着した状態において使用者（撮影者）が自分自身を頭上から撮像したときの撮像画像を示し、図示の例は、この画像内にセルフィースティック２の略全体が写り込んでしまう場合である。このように画像内にセルフィースティック２が写り込んでしまう場合、制御部１１は、その画像を解析することによって画像内のメインマーカＭ１、サブマーカＭ２の位置を検出すると共に、このメインマーカＭ１、サブマーカＭ２の位置を結ぶ直線（仮想線）を長軸とする楕円をセルフィースティック２の輪郭（アウトライン）として生成し、この楕円領域を不要除去領域として特定するようにしている。

図４（２）は、撮像画像（ライブビュー画像）内に楕円領域（セルフィースティック２の輪郭：不要除去領域）を概念的に配置した状態を示している。この場合、メインマーカＭ１、サブマーカＭ２の位置を結ぶ直線上に楕円の長軸を沿わせると共に、画像内のメインマーカＭ１の位置を起点とし、その位置に楕円領域の一端部（先細部分）を合わせることにより楕円領域を画像内に配置するようにしている。この場合、画像内のセルフィースティック２は、手元から画像の端部に向かって次第に太くなるように写し込まれるようになるため、つまり、画像の端部が最も太くなるため、楕円領域の長軸の長さ（長径）の略１／２（長半径）が画像の端に位置するような楕円領域を生成し、また、メインマーカＭ１は、手元側（把持部２ｃ側）に配設されているために、このメインマーカＭ１に楕円領域の先細部分が合うように楕円領域を画像内に配置することにより画像内におけるセルフィースティック２の輪郭領域が楕円領域と略一致するようになる。

このようにして生成した楕円領域（セルフィースティック２の輪郭：不要除去領域）に対して公知のインペイント処理を行うことによって、その楕円領域内のセルフィースティック２の画像部分を除去すると共に、その除去した部分をその周囲の色や模様などで塗り潰すことによって修復するようにしている。図４（３）は、楕円領域（不要除去領域）に対してインペイント処理を実行した後の撮像画像を示した図で、図示の例では、セルフィースティック２の画像部分が全て除去されたものとなる。

次に、第１実施形態におけるデジタルカメラ１の動作概念を図５及び図６に示すフローチャートを参照して説明する。ここで、このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図５及び図６は、デジタルカメラ１の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図５及び図６のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図５及び図６は、撮影モードに切り替えられた際に実行開始されるデジタルカメラ１の特徴的な動作を示したフローチャートである。
セルフィースティック２側の制御部２１は、その電源がオンされている状態において、そのホルダ部２ｂにデジタルカメラ１が装着されると、装着検出スイッチ２４がオンされるため、その検出信号に応じてメインマーカＭ１及びサブマーカＭ２を駆動して点灯させると共に、受光素子２７を駆動して受信可能な状態となる。この場合、メインマーカＭ１は緑色に点灯し、サブマーカＭ２は赤色に点灯するようになる。

この状態においてデジタルカメラ１側の制御部１１は、撮影モードに切り替えられると、撮像部１５から撮像画像を取得してモニタ画面にライブビュー画像として表示させる（図５のステップＡ１）。そして、その撮像画像を解析することによりメインマーカＭ１、サブマーカＭ２の検出を行う（ステップＡ２）。この場合、撮像画像内に高輝度の緑色、赤色の円形の発光体が写っているか否かに基づいて画像内にメインマーカＭ１及びサブマーカＭ２が含まれているか否か、つまり、メインマーカＭ１とサブマーカＭ２の両方が写っているかを調べる（ステップＡ３）。

なお、撮像画像内にメインマーカＭ１、サブマーカＭ２の一方だけしか写っていない場合でも、他方のマーカの一部分だけが写っている場合、又は、マーカの全てが写っていなくてもその周辺光（薄色の拡散光）を検出することができた場合には、撮像画像内に両方のマーカが写っているものと判断するようにしてもよい。すなわち、２つのマーカＭ１、Ｍ２が撮像画像内に完全に写し込まれていなくても、２つのマーカＭ１、Ｍ２の位置を推測可能であれば、画像内に２つのマーカＭ１、Ｍ２が含まれていると判別する。

いま、画像内にメインマーカＭ１及びサブマーカＭ２が写っていない場合には（ステップＡ３でＮＯ）、セルフィースティック２を使用しない場合、又はセルフィースティック２を使用しても撮像画像内にセルフィースティック２が写っていない場合であるから図６のフローに移り、セルフィースティック２からシャッタ操作信号を受信したかを調べたり（ステップＡ１１）、操作部１４上のシャッタキーが操作されたかを調べたりする（ステップＡ１２）。ここで、セルフィースティック２側では、メインマーカＭ１から発光された緑色の光が使用者の親指などで遮蔽されると、その発光された光が受光素子２７に受光できなくなるので、シャッタ操作が行われたものと判断してシャッタ操作信号を通信部２６から送信する。

デジタルカメラ１側において、セルフィースティック２からのシャッタ操作信号を受信しなかった場合（ステップＡ１１でＮＯ）、しかもシャッタキーが操作されなかった場合には（ステップＡ１２でＮＯ）、ステップＡ８７に移り、撮影モードを解除する操作が行われたかを調べるが、いま、撮影モードのままであれば（ステップＡ１８でＮＯ）、図５のステップＡ１に戻る。一方、セルフィースティック２からシャッタ操作信号を受信した場合（ステップＡ１１でＹＥＳ）、又は操作部１４上のシャッタキーが操作されたことを検出した場合には（ステップＡ１２でＹＥＳ）、撮影画像用に撮像画像を取得し（ステップＡ１３）、後述する楕円領域がライブビュー画像にあるかを調べるが（ステップＡ１４）、いま、楕円領域はないので（ステップＡ１４でＮＯ）、この撮像画像に対して現像処理を行うことにより撮影画像に変換する（ステップＡ１６）。そして、この現像処理後の画像を圧縮処理して記憶部１３の記録メディアに記録保存（ステップＡ１７）させた後、図５のステップＡ１に戻る。

一方、撮像画像内にメインマーカＭ１及びサブマーカＭ２が写っている場合には（図５のステップＡ３でＹＥＳ）、このメインマーカＭ１とサブマーカＭ２の撮像画像内における位置を取得する（ステップＡ４）。そして、メインマーカＭ１とサブマーカＭ２の位置を結ぶ直線を画像内の端まで延長した線分の長さに基づいて楕円を生成する（ステップＡ５）。この場合、メインマーカＭ１とサブマーカＭ２の位置を結ぶ直線を撮像画像内の端まで延長した線分の長さを長軸の長さの略１／２（略長半径）とし、短軸の長さ（短径）を所定値とする楕円を生成する。

次に、制御部１１は、撮影レンズの焦点距離を取得すると共に、被写体までの距離（被写体距離：フォーカス距離）を取得する（ステップＡ６）。更に、予め記憶されているセルフィースティック２の実サイズ（太さ）を読み出し取得する（ステップＡ７）。そして、取得した焦点距離、被写体距離、セルフィースティック２の実サイズ（太さ）に基づいて、画像内におけるセルフィースティック２のサイズ（太さ）を求めると共に、このセルフィースティック２のサイズ（太さ）に基づいて、楕円領域の短軸の長さ（短径）を補正する処理を行う（ステップＡ８）。

次に、上述のようにして生成した楕円領域を不要除去領域として撮像画像（ライブビュー画像）内に配置するための位置を特定し（ステップＡ９）、この楕円領域を撮像画像（ライブビュー画像）内に概念的に配置する（ステップＡ１０）。すなわち、メインマーカＭ１は、把持部２ｃに隣接した位置（手元付近）に配設されているので、このメインマーカＭ１の画像内の位置に楕円領域の先細部分を合わせると、楕円領域の先細部分がセルフィースティック２の把持部２ｃを含む手元側が略合致するようになる。また、メインマーカＭ１とサブマーカＭ２とを結ぶ直線に楕円領域の長軸を合わせると、楕円領域の長軸方向がスティック部２ａの軸方向に沿ったものとなる。

そして、図６のフローに移り、セルフィースティック２からシャッタ操作信号を受信した場合（ステップＡ１３でＹＥＳ）、又は操作部１４上のシャッタキーが操作された場合には（ステップＡ１４でＹＥＳ）、上述の楕円領域（不要除去領域）に対してインペイント処理を実行することにより、撮像画像内の楕円領域（セルフィースティック２の画像部分）を除去すると共に、その除去した領域内を周囲の色や模様などで塗り潰して修復する処理を行う。これによって処理されたインペイント後の撮像画像に対して現像処理を施して撮影画像に変換（ステップＡ１６）した後、この現像処理後の画像を圧縮処理して記憶部１３の記録メディアに記録保存させる（ステップＡ１７）。その後、図５のステップＡ１に戻る。

以上のように、第１実施形態においてデジタルカメラ１の制御部１１は、棒状の物体（セルフィースティック２）に装着されている状態で撮像した画像内にセルフィースティック２が写し込んでいる場合に、このセルフィースティック２の該画像内における位置を取得し、このセルフィースティック２の位置に基づき、その撮像画像内における不要物（セルフィースティック２）の画像部分を除去する画像処理を行うようにしたので、撮像時に写し込まれた不要物をユーザ操作でその都度指定したり、処理負担の大きい処理を必要としたりせずに、撮像画像内から不要物を簡略に除去することができる。

制御部１１は、予め棒状の物体（セルフィースティック２）に配置されているマーカの撮像画像内における位置を、セルフィースティック２の撮像画像内における位置として取得するようにしたので、マーカの位置からセルフィースティック２全体の位置を容易に得ることが可能となる。

制御部１１は、セルフィースティック２の異なる複数の位置に配置されているメインマーカＭ１及びサブマーカＭ２の画像内における位置を取得し、この複数のマーカＭ１、Ｍ２の位置関係に基づき、その撮像画像内でのセルフィースティック２の輪郭を特定すると共に、その輪郭を基にセルフィースティック２の画像部分を除去するようにしたので、画像内におけるセルフィースティック２の輪郭を簡略に特定することができ、そのセルフィースティック２の画像部分の除去も容易なものとなる。

制御部１１は、レンズの焦点距離、被写体距離、セルフィースティック２の実サイズ（太さ）に基づいてセルフィースティック２の画像内における輪郭（太さ）を特定して、その輪郭を基にセルフィースティック２の画像部分を除去するようにしたので、セルフィースティック２の太さ（楕円の短軸の長さ）を精度良く求めることができ、その除去も精度良く行うことが可能となる。

制御部１１は、セルフィースティック２の異なる複数の位置に配置されているメインマーカＭ１及びサブマーカＭ２の画像内における位置を取得し、この複数のマーカＭ１、Ｍ２の位置を結ぶ直線を撮像画像内の端まで延長した線分の長さを略長半径とする楕円を生成し、この楕円領域に基づいて、セルフィースティック２の輪郭を特定して、その輪郭を基にセルフィースティック２の画像部分を除去するようにしたので、画像内から不要物であるセルフィースティック２を簡略に除去することができる。

制御部１１は、セルフィースティック２の輪郭が特定された撮像画像をライブビュー画像として表示するようにしたので、使用者にあっては、セルフィースティック２が除去される撮像画像を確認してからその撮影を指示することができる。

制御部１１は、セルフィースティック２側においてメインマーカＭ１の発光が使用者の親指などで遮蔽されることによって送信されるシャッタ操作信号を受信すると、それを契機として、セルフィースティック２が除去された撮像画像から撮影画像を生成する処理を行うようにしたので、セルフィースティック２側のメインマーカＭ１をシャッタボタンとして機能させることが可能となる。

なお、上述した第１実施形態においてデジタルカメラ１は、セルフィースティック２上に配設された２つのマーカＭ１、Ｍ２の位置を結ぶ直線を画像内の端まで延長した線分を求めるようにしたが、セルフィースティック２上に複数のマーカを配設するのではなく、セルフィースティック２上の任意の位置に１つのマーカを設けるようにしてもよい。この際、制御部１１は、セルフィースティック２の１個所に配置されているマーカの撮像画像内における位置を取得し、このマーカの位置と、セルフィースティック２とデジタルカメラ１との連結点との位置関係に基づいて、その撮像画像内でのセルフィースティック２の輪郭を特定して、その輪郭を基にセルフィースティック２の画像部分を除去するようにしてもよい。この場合、デジタルカメラ１とセルフィースティック２との連結方向に応じた画像の端の１点を固定点として設け、この固定点の位置から画像内のマーカの位置を結ぶ直線を求めるようにすれば、セルフィースティック２上のマーカは１つでも足りることになる。

また、撮像時にユーザがセルフィースティック２をその軸方向に僅かに移動させるようにすれば、セルフィースティック２上の任意の位置に１つのマーカを設けるだけでも足りる。この場合、デジタルカメラ１側では、連続撮像された各画像を順次解析することによって画像内におけるマーカの移動軌跡を検出し、この移動軌跡（セルフィースティック２の軸方向）から画像内の端まで延長した線分を求めるようにすれば、セルフィースティック２の方向からその輪郭を特定することができるので、その輪郭を基にセルフィースティック２の画像部分を除去することが可能となる。

また、マーカを点光源ではなく面積を持たせ、撮像方向や角度によって変化するマーカの形状を検出可能とすれば、１つのマーカを設けるだけでも足りる。

また、セルフィースティック２全体を発光させるようにしてもよい。

上述した第１実施形態においてデジタルカメラ１は、レンズの焦点距離、被写体距離、セルフィースティック２の実サイズ（太さ）に基づいて、セルフィースティック２の画像内における輪郭（太さ）を特定するようにしたが、メインマーカＭ１、サブマーカＭ２の位置を結んだ直線に対してその周辺に存在する画素を解析し、直線上の画素と周辺画素とを比較することによってそれらの類似度（色、濃度）からセルフィースティック２の輪郭を特定するようにしてもよい。すなわち、メインマーカＭ１、サブマーカＭ２の位置を結んだ直線の周辺の類似度（画像の解析結果）からセルフィースティックの輪郭を特定してその輪郭を基にセルフィースティック２の画像部分を除去するようにてもよい。これによってセルフィースティック２の輪郭を更に精度良く特定することができ、その除去も精度良く行うことが可能となる。

上述した第１実施形態においては、楕円領域を生成してセルフィースティック２の輪郭を特定するようにしたが、楕円に限らず、その形状は任意であり、例えば、複数の矩形、三角形、円形などを組合わせることによってセルフィースティック２の輪郭を特定するようにしてもよい。

上述した第１実施形態においては、セルフィースティック２の画像部分を除去するインペイント処理の実行タイミングとして、セルフィースティック２側のメインマーカＭ１が遮蔽された後の撮影画像の生成時に行うようにしたが、ライブビュー画像時において、逐次セルフィースティック２の画像部分を除去するインペイント処理を行うようにしてもよい。

（第２実施形態）
以下、この発明の第２実施形態について図７〜図９を参照して説明する。
なお、上述した第１実施形態においては、撮像画像内から除去する対象（不要物）としてセルフィースティック２を例示したが、この第２実施形態においては、除去対象をセルフィースティック２に限らず、その他の所定の物体としたものである。ここで、両実施形態において基本的、或いは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

図７（１）は、第２実施形態において、除去対象（不要物）である所定の物体として、踏み台を例示した場合で、この踏み台の所定位置に３つのマーカＭ１１、Ｍ１２、Ｍ１３を配設した状態を示した図である。
図示の例は、踏み台を斜め方向から見た場合を例示したもので、この踏み台の正面には３つのマークＭ１１、Ｍ１２、Ｍ１３が配設されている。図７（２）は、３つのマークＭ１１〜Ｍ１３の配列関係（位置関係）を説明するための図で、マークＭ１１〜Ｍ１３は、正三角形の各頂点位置に配設されている。各マークＭ１１〜Ｍ１３は、同じ物体に対しては同じ色を発光するＬＥＤを使用し、物体毎に異なる色を発光するようにしている。

図８は、第２実施形態において使用する物体形状テーブルＴを示した図である。
物体形状テーブルＴは、所定の物体別にその形状データを記憶するもので、「発光色」、「物体の種類」、「形状に関する情報」の各項目を有し、ユーザ操作によって予め任意に設定されたものである。「発光色」は、所定の物体毎に異なる色を発光する各マークＭ１１〜Ｍ１３の発光色を示し、この発光色の違いによって所定の物体を識別可能としている。図示の例は、“踏み台”の「発光色」として“青色”を記憶し、“鉄棒”の「発光色」として“赤色”を記憶した場合を示している。「所定の物体」とは、撮像画像から除去する対象となる物体（不要物）を示し、例えば、人物が空中に浮かんでいる状態の画像を得るために、所定の物体として、踏み台、鉄棒などを除去対象としている。

「形状に関する情報」は、所定の物体の形状（輪郭）をその方向と長さを持つベクトルで表現するベクトルデータと、そのベクトルデータ内における複数のマーカ（上述の各マークＭ１１〜Ｍ１３に対応して正三角形の配列関係にある３つのマーカ）の位置データから成るもので、制御部１１は、各マークＭ１１、Ｍ１２、Ｍ１３の撮像画像内における位置と、ベクトルデータ内における複数のマーカの位置を対応させることにより、所定の物体の輪郭を表現するベクトルデータを変形させるようにしている。すなわち、撮像時に所定の物体がどのような向きで撮像されたかに応じて、各マークＭ１１〜Ｍ１３による正三角形を作る条件（例えば、各辺の長さが同一）が変化するために、撮像画像内の各マーク位置（三角形の各頂点位置）にベクトルデータ内の各マーク位置を合わせ込む（一致させる）ことにより、物体の輪郭を表現するベクトルデータをその物体の向きに応じて変形させるようにしている。

図９は、第２実施形態において、撮影モードに切り替えられた際に実行開始されるデジタルカメラ１の特徴的な動作を示したフローチャートである。
先ず、制御部１１は、撮影モードに切り替えられると、撮像部１５から撮像画像を取得してモニタ画面にライブビュー画像として表示させる（ステップＢ１）。次に、その撮像画像を解析することにより３つのマーカＭ１１〜Ｍ１３の検出し（ステップＢ２）、その撮像画像内に高輝度の発光体が写っているか否かに基づいて画像内に３つのマーカＭ１１〜Ｍ１３が含まれているか否かを調べる（ステップＢ３）。

この場合においても第１実施形態と同様に、３つのマーカＭ１１〜Ｍ１３が撮像画像内に完全に写し込まれていなくても、３つのマーカＭ１１〜Ｍ１３の位置関係を推測することが可能であれば、画像内に３つのマーカＭ１１〜Ｍ１３が含まれていると判別するようにしている。いま、画像内に３つのマーカＭ１１〜Ｍ１３が写っていなければ（ステップＢ３でＮＯ）、シャッタ操作が行われたかを調べたり（ステップＢ９）、撮影モードを解除する操作が行われたかを調べたりする（ステップＢ１５）。

ここで、上述したいずれの操作も行われなければ（ステップＢ９及びＢ１５でＮＯ）、上述のステップＢ１に戻るが、シャッタ操作が行われたときには（ステップＢ９でＹＥＳ）、撮影画像用に撮像画像を取得し（ステップＢ１０）、プレビュー画像内で所定の物体が識別表示されているかを調べる（ステップＢ１１）。いま、識別表示中ではないので（ステップＢ１１でＮＯ）、この撮像画像に対して現像処理を施して撮影画像に変換し（ステップＢ１３）、この現像処理後の画像を圧縮処理して記憶部１３の記録メディアに記録保存させる（ステップＢ１４）。その後、撮影モードを解除する操作が行われたかを調べ（ステップＢ１５）、撮影モードのままであれば（ステップＢ１５でＮＯ）、上述のステップＢ１に戻る。

一方、撮像画像内に３つのマーカＭ１１〜Ｍ１３が写っている場合には（ステップＢ３でＹＥＳ）、そのマーカＭ１１〜Ｍ１３の発光色（同一色）を検出する（ステップＢ４）。そして、この発光色に基づいて物体形状テーブルＴを検索し、該当する発光色が有るかを調べ（ステップＢ５）、該当する発光色が無ければ（ステップＢ５でＮＯ）、上述のシャッタ操作の有無を検出するステップＢ９に移るが、該当する発光色が有れば（ステップＢ５でＹＥＳ）、物体形状テーブルＴからその発光色に対応する所定の物体の「形状に関する情報」を取得する（ステップＢ６）。例えば、検出したマーカＭ１１〜Ｍ１３の発光色が“青色”であれば、所定の物体の種類は“踏み台”であるから、その「形状に関する情報」として、踏み台の形状（輪郭）を表現するベクトルデータと、そのベクトルデータ内における複数のマーカの位置データを読み出し取得する。

そして、この３つのマークＭ１１〜Ｍ１３の撮像画像内における位置と、ベクトルデータ内における複数のマーカの位置とを対応させることによって、所定の物体（踏み台）の輪郭を表現するベクトルデータを変形（ステップＢ７）させた後、変形した輪郭を識別表示（例えば、太線表示）させる（ステップＢ８）。この状態において、シャッタキー操作が行われると（ステップＢ９でＹＥＳ）、撮影画像用に撮像画像を取得し（ステップＢ１０）、撮像画像内で所定の物体が識別表示されているかを調べる（ステップＢ１１）。

いま、識別表示中であるので（ステップＢ１１でＹＥＳ）、輪郭領域（不要除去領域）に対してインペイント処理を実行することにより、撮像画像内の踏み台の画像部分を除去すると共に、その除去した領域内を周囲の色や模様などで塗り潰して修復する処理を行う（ステップＢ１２）。そして、このインペイント処理後の撮像画像に対して現像処理を行うことにより撮影画像に変換（ステップＢ１３）した後、この現像処理後の画像を圧縮処理して記憶部１３の記録メディアに記録保存させる（ステップＢ１４）。その後、上述のステップＢ１に戻る。

以上のように、第２実施形態においてデジタルカメラ１側の制御部１１は、所定の物体の異なる複数の位置に配置されたマーカＭ１１〜Ｍ１３が撮像部１５によって撮像された撮像画像内に写し込まれている場合に、複数のマーカＭ１１〜Ｍ１３の撮像画像内における位置と、所定の物体の形状に関する情報とに基づき、撮像画像内における所定の物体の輪郭を特定するようにしたので、撮像時に写し込まれた不要物をユーザ操作でその都度指定したり、処理負担の大きい処理を必要としたりせずに、簡略な処理で撮像画像内における所定の物体の輪郭を特定することができ、撮像時に写し込まれた所定の物体を不要物としてその画像内から簡略に除去することが可能となる。

所定の物体の形状に関する情報は、その輪郭を表現するベクトルデータと、そのベクトルデータ内における複数のマーカの位置データであり、制御部１１は、複数のマーカＭ１１〜Ｍ１３の撮像画像内における位置と、ベクトルデータ内における複数のマーカの位置とを対応させることによって、輪郭を表現するベクトルデータを変形するようにしたので、撮像時に所定の物体の向きに拘わらず、マーカの位置を合わせ込むという簡略な処理で撮像画像内における所定の物体の輪郭を容易に特定することができる。

制御部１１は、物体形状テーブルＴから所定の物体の形状に関する情報を取得することにより所定の物体の輪郭を特定するようにしたので、所定の物体の輪郭の特定が容易なものとなる。

制御部１１は、撮像画像内における所定の物体の輪郭を識別可能に表示させ、その物体の輪郭内の画像部分を除去するようにしたので、撮像時に写し込まれた所定の物体を不要物として除去することを使用者に知らせることが可能となり、不要物を間違えることなく除去することが可能となる。

なお、上述した第２実施形態においては、物体形状テーブルＴから所定の物体の形状に関する情報を読み出し取得するようにしたが、所定の物体からその形状に関する情報を、通信手段を介して受信取得するようにしてもよい。例えば、景勝地を撮像した際に、近くの立て看板が写らないようにするために、その立て看板から例えば、ＬＥＤ等の発光体を点滅させることで情報を送信する可視光通信により発信される自身の形状（輪郭）に関する情報を、デジタルカメラ１側で受信するようにしてもよい。この場合、デジタルカメラ１側では、立て看板の形状（輪郭）に関する情報に基づいて、立て看板の輪郭を特定してその輪郭を基にインペイント処理を行うようにすればよい。これによって予め物体形状テーブルＴに記憶されていない所定の物体であっても、その輪郭を容易に特定してインペイント処理を行うことが可能となる。このことは、景勝地の撮像に限らず、撮影禁止箇所で撮影を行った場合に、その禁止対象の物体を除去する場合にも適用可能である。

上述した第２実施形態においては、複数種類の物体に対応付けてその形状に関する情報を物体形状テーブルＴに記憶するようにしたが、物体形状テーブルＴに１つの物体に対応付けてその形状に関する情報を記憶するようにしてもよい。このように所定の物体が１つであれば、物体を識別表示する必要もない。

上述した第２実施形態においては、物体の形状に関する情報としてベクトルデータを示したが、ベクトルデータに限らず、関数で表現可能な単純な楕円形や矩形などの図形形状のデータであってもよい。

上述した各実施形態においては、ＬＥＤによってマーカを構成する場合を例に挙げたが、発光しないマーカであってもよく、また、自然界には余り存在していない色や形状、或いは反射率の高い塗装やシールなどであってもよい。

また、上述した各実施形態においては、撮像手段を備える画像処理装置として、カメラに適用した場合を示したが、これに限らず、例えば、カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・タブレット端末装置・スマートフォンなどの携帯電話機・電子ゲーム・音楽プレイヤーなどであってもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
撮像手段を備える画像処理装置であって、
一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する取得手段と、
前記取得手段により取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する画像処理を行う画像処理手段と、
を備えることを特徴とする。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記取得手段は、前記棒状の物体に予め配置されているマーカの撮像画像内における位置を、その棒状の物体の該撮像画像内における位置として取得する、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記取得手段は、前記棒状の物体の異なる複数の位置に配置されている各マーカの前記撮像画像内における位置を取得し、
前記画像処理手段は、前記取得手段により取得される複数のマーカの位置関係に基づき、その撮像画像内での前記棒状の物体の輪郭を特定して、その輪郭を基に棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項２に記載の画像処理装置において、
前記取得手段は、前記棒状の物体の１個所に配置されているマーカの前記撮像画像内における位置を取得し、
前記画像処理手段は、前記取得手段により取得されるマーカの位置と、前記棒状の物体の一方の端部に装着されている当該画像処理装置との連結点の位置関係に基づき、その撮像画像内での前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項２乃至４のいずれか１項に記載の画像処理装置において、
前記取得手段は、前記撮像手段を構成するレンズの焦点距離と、被写体までの距離と、前記棒状の物体の実サイズとを更に取得し、
前記画像処理手段は、前記取得手段により取得される撮像画像内におけるマーカの位置と、前記レンズの焦点距離、被写体までの距離、及び棒状の物体の実サイズに基づき、前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項２乃至５のいずれか１項に記載の画像処理装置において、
前記撮像画像を解析する画像解析手段を、更に備え、
前記画像処理手段は、前記取得手段により取得される撮像画像内におけるマーカの位置と、前記画像解析手段により解析される結果と、に基づき、前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項２、３、５、６のいずれか１項に記載の画像処理装置において、
前記画像処理手段は、前記取得手段により取得された複数のマーカの位置を結ぶ直線を撮像画像内の端まで延長した線分の長さを略長半径とする楕円を生成し、この楕円領域に基づいて、前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項１〜７のいずれか１項に記載の画像処理装置において、
前記画像処理手段によって特定された前記撮像画像内における前記棒状の物体の輪郭を識別可能にライブビュー画像として表示する表示手段を更に備える、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項２乃至８のいずれか１項に記載の画像処理装置において、
前記マーカが遮蔽されたか否かを判別する判別手段と、
前記判別手段によりマーカが遮蔽されたと判別されたことを契機として撮像画像から撮影画像を生成する処理を行う撮影画像生成手段と、
を更に備え、
前記撮影画像生成手段は、前記画像処理手段により前記棒状の物体の画像部分が除去された撮像画像から撮影画像を生成する処理を行う、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、請求項９に記載の画像処理装置において、
前記画像処理手段は、前記判別手段によりマーカが遮蔽されたと判別されたことを契機として、前記棒状の物体を除去する画像処理を行う、
ことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、
撮像手段を備える画像処理装置であって、
所定の物体の異なる複数の位置に配置されたマーカが前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記複数のマーカの前記撮像画像内における位置を取得する取得手段と、
前記取得手段により取得される複数の位置と、前記所定の物体の形状に関する情報と、に基づき、前記撮像画像内における前記所定の物体の輪郭を特定する特定手段と、
を備えることを特徴とする。
（請求項１２）
請求項１２に記載の発明は、請求項１１に記載の画像処理装置において、
前記所定の物体の形状に関する情報は、その輪郭を表現するベクトルデータと、そのベクトルデータ内における複数のマーカの位置データであり、
前記特定手段は、前記取得手段により取得される複数の位置と、前記ベクトルデータ内における複数のマーカの位置とを対応させて、輪郭を表現するベクトルデータを変形させることで、前記所定の物体の輪郭を特定する、
ことを特徴とする。
（請求項１３）
請求項１３に記載の発明は、請求項１１に記載の画像処理装置において、
前記所定の物体の形状に関する情報を予め記憶する記憶手段を更に備え、
前記特定手段は、前記取得手段により取得される複数のマーカの位置と、前記記憶手段に記憶されている所定の物体の形状に関する情報と、に基づき、前記所定の物体の輪郭を特定する、
ことを特徴とする。
（請求項１４）
請求項１４に記載の発明は、請求項１１乃至１３のいずれか１項に記載の画像処理装置において、
撮像画像を表示する表示手段と、
前記特定手段により特定される撮像画像内における前記所定の物体の輪郭を識別可能に表示する制御を行う表示制御手段と、
前記特定手段により特定される撮像画像における前記所定の物体における輪郭内の画像部分を除去する画像処理を行う画像処理手段と、
を更に備える、
ことを特徴とする。
（請求項１５）
請求項１５に記載の発明は、請求項１１乃至１４のいずれか１項に記載の画像処理装置において、
前記マーカが発光により送信する自身の形状に関する情報を、前記撮像画像を介して受信する受信手段を更に備え、
前記特定手段は、前記取得手段により取得される複数の位置と、前記受信手段により受信される所定の物体の形状に関する情報と、に基づき、前記所定の物体の輪郭を特定する、
ことを特徴とする。
（請求項１６）
請求項１６に記載の発明は、
撮像手段を備える画像処理装置における画像処理方法であって、
一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する処理と、
前記取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する処理と、
を含むことを特徴とする。
（請求項１７）
請求項１７に記載の発明は、
撮像手段を備える画像処理装置のコンピュータに対して、
一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する機能と、
前記取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する機能と、
を実現させるためのプログラムである。
（請求項１８）
請求項１８に記載の発明は、
撮像手段を備える画像処理装置における画像処理方法であって、
所定の物体の異なる複数の位置に配置されたマーカが前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記複数のマーカの前記撮像画像内における位置を取得する処理と、
前記取得手段により取得される複数の位置と、前記所定の物体の形状に関する情報と、に基づき、前記撮像画像内における前記所定の物体の輪郭を特定する処理と、
を含むことを特徴とする。
（請求項１９）
請求項１９に記載の発明は、
撮像手段を備える画像処理装置のコンピュータに対して、
所定の物体の異なる複数の位置に配置されたマーカが前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記複数のマーカの前記撮像画像内における位置を取得する機能と、
前記取得手段により取得される複数の位置と、前記所定の物体の形状に関する情報と、に基づき、前記撮像画像内における前記所定の物体の輪郭を特定する機能と、
を実現させるためのプログラムである。

１ デジタルカメラ
２ セルフィースティック
Ｍ１ メインマーカ
Ｍ２ サブマーカ
Ｍ１１、 Ｍ１２、 Ｍ１３ マーカ
Ｔ 物体形状テーブル
１１、２１ 制御部
１３、２３ 記憶部
１３ａ プログラムメモリ
１５ 撮像部
１６ 表示部
１７、２６ 通信部
２７ 受光素子

Claims (19)

1. 撮像手段を備える画像処理装置であって、
   一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する取得手段と、
   前記取得手段により取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する画像処理を行う画像処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記取得手段は、前記棒状の物体に予め配置されているマーカの撮像画像内における位置を、その棒状の物体の該撮像画像内における位置として取得する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記棒状の物体の異なる複数の位置に配置されている各マーカの前記撮像画像内における位置を取得し、
   前記画像処理手段は、前記取得手段により取得される複数のマーカの位置関係に基づき、その撮像画像内での前記棒状の物体の輪郭を特定して、その輪郭を基に棒状の物体の画像部分を除去する画像処理を行う、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記取得手段は、前記棒状の物体の１個所に配置されているマーカの前記撮像画像内における位置を取得し、
   前記画像処理手段は、前記取得手段により取得されるマーカの位置と、前記棒状の物体の一方の端部に装着されている当該画像処理装置との連結点の位置関係に基づき、その撮像画像内での前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記取得手段は、前記撮像手段を構成するレンズの焦点距離と、被写体までの距離と、前記棒状の物体の実サイズとを更に取得し、
   前記画像処理手段は、前記取得手段により取得される撮像画像内におけるマーカの位置と、前記レンズの焦点距離、被写体までの距離、及び棒状の物体の実サイズに基づき、前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
   ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記撮像画像を解析する画像解析手段を、更に備え、
   前記画像処理手段は、前記取得手段により取得される撮像画像内におけるマーカの位置と、前記画像解析手段により解析される結果と、に基づき、前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
   ことを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像処理手段は、前記取得手段により取得された複数のマーカの位置を結ぶ直線を撮像画像内の端まで延長した線分の長さを略長半径とする楕円を生成し、この楕円領域に基づいて、前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
   ことを特徴とする請求項２、３、５、６のいずれか１項に記載の画像処理装置。
8. 前記画像処理手段によって特定された前記撮像画像内における前記棒状の物体の輪郭を識別可能にライブビュー画像として表示する表示手段を更に備える、
   ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記マーカが遮蔽されたか否かを判別する判別手段と、
   前記判別手段によりマーカが遮蔽されたと判別されたことを契機として撮像画像から撮影画像を生成する処理を行う撮影画像生成手段と、
   を更に備え、
   前記撮影画像生成手段は、前記画像処理手段により前記棒状の物体の画像部分が除去された撮像画像から撮影画像を生成する処理を行う、
   ことを特徴とする請求項２乃至８のいずれか１項に記載の画像処理装置。
10. 前記画像処理手段は、前記判別手段によりマーカが遮蔽されたと判別されたことを契機として、前記棒状の物体を除去する画像処理を行う、
    ことを特徴とする請求項９に記載の画像処理装置。
11. 撮像手段を備える画像処理装置であって、
    所定の物体の異なる複数の位置に配置されたマーカが前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記複数のマーカの前記撮像画像内における位置を取得する取得手段と、
    前記取得手段により取得される複数の位置と、前記所定の物体の形状に関する情報と、に基づき、前記撮像画像内における前記所定の物体の輪郭を特定する特定手段と、
    を備えることを特徴とする画像処理装置。
12. 前記所定の物体の形状に関する情報は、その輪郭を表現するベクトルデータと、そのベクトルデータ内における複数のマーカの位置データであり、
    前記特定手段は、前記取得手段により取得される複数の位置と、前記ベクトルデータ内における複数のマーカの位置とを対応させて、輪郭を表現するベクトルデータを変形させることで、前記所定の物体の輪郭を特定する、
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記所定の物体の形状に関する情報を予め記憶する記憶手段を更に備え、
    前記特定手段は、前記取得手段により取得される複数のマーカの位置と、前記記憶手段に記憶されている所定の物体の形状に関する情報と、に基づき、前記所定の物体の輪郭を特定する、
    ことを特徴とする請求項１１に記載の画像処理装置。
14. 撮像画像を表示する表示手段と、
    前記特定手段により特定される撮像画像内における前記所定の物体の輪郭を識別可能に表示する制御を行う表示制御手段と、
    前記特定手段により特定される撮像画像における前記所定の物体における輪郭内の画像部分を除去する画像処理を行う画像処理手段と、
    を更に備える、
    ことを特徴とする請求項１１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記マーカが発光により送信する自身の形状に関する情報を、前記撮像画像を介して受信する受信手段を更に備え、
    前記特定手段は、前記取得手段により取得される複数の位置と、前記受信手段により受信される所定の物体の形状に関する情報と、に基づき、前記所定の物体の輪郭を特定する、
    ことを特徴とする請求項１１乃至１４のいずれか１項に記載の画像処理装置。
16. 撮像手段を備える画像処理装置における画像処理方法であって、
    一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する処理と、
    前記取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する処理と、
    を含むことを特徴とする画像処理方法。
17. 撮像手段を備える画像処理装置のコンピュータに対して、
    一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する機能と、
    前記取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する機能と、
    を実現させるためのプログラム。
18. 撮像手段を備える画像処理装置における画像処理方法であって、
    所定の物体の異なる複数の位置に配置されたマーカが前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記複数のマーカの前記撮像画像内における位置を取得する処理と、
    前記取得手段により取得される複数の位置と、前記所定の物体の形状に関する情報と、に基づき、前記撮像画像内における前記所定の物体の輪郭を特定する処理と、
    を含むことを特徴とする画像処理方法。
19. 撮像手段を備える画像処理装置のコンピュータに対して、
    所定の物体の異なる複数の位置に配置されたマーカが前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記複数のマーカの前記撮像画像内における位置を取得する機能と、
    前記取得手段により取得される複数の位置と、前記所定の物体の形状に関する情報と、に基づき、前記撮像画像内における前記所定の物体の輪郭を特定する機能と、
    を実現させるためのプログラム。

Images