JP2016220051A - Image processing apparatus, image processing method and program - Google Patents
Image processing apparatus, image processing method and program Download PDFInfo
- Publication number
- JP2016220051A JP2016220051A JP2015103346A JP2015103346A JP2016220051A JP 2016220051 A JP2016220051 A JP 2016220051A JP 2015103346 A JP2015103346 A JP 2015103346A JP 2015103346 A JP2015103346 A JP 2015103346A JP 2016220051 A JP2016220051 A JP 2016220051A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- processing apparatus
- captured image
- rod
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 239000003550 marker Substances 0.000 claims description 105
- 238000003384 imaging method Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 36
- 238000010191 image analysis Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 239000003973 paint Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101100010788 Arabidopsis thaliana STIC2 gene Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像手段を備える画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus including an imaging unit, an image processing method, and a program.
近年、デジタルカメラを用いて、いわゆる自分撮りを行う際に、セルフィースティックと呼ばれる延長棒（自撮り棒、或いはセルカ棒）の先端部にデジタルカメラを取り付け、このカメラのレンズ側を自分に向けて自身を撮影する方法が知られているが、より離れた位置から自分撮りを行うことができるという効果が得られる反面、不要物であるセルフィースティック自体が撮像画像内に写り込んでしまうという問題があった。
ところで、撮像画像内に写り込んだ不要物や障害物を検出する技術としては、例えば、特許文献１や特許文献２のような技術が開示されている。すなわち、特許文献１は、撮像された複数の連続画像を用いて動点の移動領域を抽出することにより障害物を自動的に検出するようにした技術であり、特許文献２は、異なる向きの画像を重ね合わせて形成した統合モデル画像を作成し、この統合モデル画像と撮影画像とのパターンマッチングにより障害物を検出する技術である。
In recent years, when taking a so-called selfie with a digital camera, a digital camera is attached to the tip of an extension stick (selfie stick or selka stick) called a selfie stick, and the lens side of this camera is pointed at you. Although there is a known method of photographing itself, there is an effect that it is possible to take a self-portrait from a farther position, but there is a problem that an unnecessary selfie stick is reflected in the captured image. there were.
By the way, as a technique for detecting an unnecessary object or an obstacle reflected in a captured image, for example, techniques such as
しかしながら、上述した特許文献１にあっては、撮影タイミングの前後に渡る複数枚の画像を取得するために、予め連続的な撮影を行いながらその各画像をバッファに一時記憶しておく必要があり、また、特許文献２にあっては、パターンマッチングを行うために、予め異なる角度から撮影した各画像を基に統合モデル画像を作成しておく必要があるため、これらの技術は、処理負担の大きい処理を前提とするものと言わざるを得ない。
However, in
本願発明の課題は、撮像時に写り込んだ不要物を画像内から簡略に除去できるようにすることである。 An object of the present invention is to make it possible to simply remove unnecessary objects reflected during imaging from an image.
上述した課題を解決するために本発明は、
撮像手段を備える画像処理装置であって、
一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する取得手段と、
前記取得手段により取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する画像処理を行う画像処理手段と、
を備えることを特徴とする。
In order to solve the above-described problems, the present invention
An image processing apparatus comprising an imaging means,
When a rod-shaped object whose one end is attached to the image processing apparatus and whose other end is gripped by a user is reflected in a captured image captured by the imaging unit, the rod-shaped object Obtaining means for obtaining a position of the object in the captured image;
Image processing means for performing image processing based on the position of the rod-shaped object in the captured image acquired by the acquisition means to remove an image portion of the rod-shaped object in the captured image;
It is characterized by providing.
本発明によれば、撮像時に写り込んだ不要物を画像内から簡略に除去することができる。 According to the present invention, it is possible to simply remove unnecessary objects reflected during imaging from the image.
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
先ず、図１〜図６を参照して本発明の第１実施形態を説明する。
図１は、撮像手段を備える画像処理装置として適用したデジタルカメラ１をセルフィースティック（自撮り棒：セルカ棒）２の一端部に装着した状態を示した外観図である。
デジタルカメラ１は、被写体を高精細に撮影可能な撮像機能、現在日時やタイマ時間を計時する計時機能、記録保存されている撮影済み画像（保存画像）を任意に読み出して再生する画像再生機能などを備えたコンパクトデジタルカメラである。セルフィースティック２は、一方の端部がデジタルカメラ１に装着され、他方の端部が使用者により把持される棒状の物体（自撮り棒：セルカ棒）で、デジタルカメラ１のシャッタを遠隔操作により駆動させるワイヤレスシャッタ機能などを備えている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(First embodiment)
First, a first embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is an external view showing a state in which a
The
セルフィースティック２を構成するスティック部２ａは、その長さを自在に伸縮可能な構成となっており、その一方の端部にはデジタルカメラ１を装着するホルダ部２ｂが設けられ、他方の端部にはＩＣチップ（図示省略）や電源部を内蔵する把持部２ｃが設けられている。なお、ホルダ部２ｂには、スティック部２ａに対してホルダ部２ｂの角度（デジタルカメラ１の向き）を任意に調整することが可能な角度調整機構部（図示省略）と、デジタルカメラ１が装着されたことを検出する装着検出スイッチ部（図１では図示省略）が設けられている。また、スティック部２ａの外表面には、複数のマーカＭ１、Ｍ２が配設されている。
The stick part 2a constituting the
すなわち、把持部２ｃに隣接した位置（手元付近）には、メインマーカＭ１が配設され、このメインマーカＭ１の延長線上の所定位置には、サブマーカＭ２が配設されている。このようにメインマーカＭ１は、手元付近に配設されているのに対して、サブマーカＭ２は、その延長線上の所定距離（例えば、スティック部２ａの長さの１／１０程度）を隔てた位置に配設されたもので、発光色の異なるＬＥＤ（Light Emitting Diode）によって構成されている。例えば、メインマーカＭ１はその点灯により緑色を発光し、サブマーカＭ２は、その点灯により赤色を発光するもので、セルフィースティック２の電源がオンされている状態でデジタルカメラ１が装着されている間、点灯状態を維持するようにしている。なお、マーカＭ１、Ｍ２の点灯／消灯は、セルフィースティック２側に設けられたキーの操作に応じて制御するようにしてもよい。また、メインマーカＭ１とサブマーカＭ２との隔たりは、スティック部２ａの長さの１／１０に限らず、任意であるが、両者は手元側（把持部２ｃ側）に配設されていることが好ましい。
That is, a main marker M1 is disposed at a position (near the hand) adjacent to the grip portion 2c, and a sub marker M2 is disposed at a predetermined position on an extension line of the main marker M1. As described above, the main marker M1 is disposed near the hand, while the sub marker M2 is located at a predetermined distance on the extension line (for example, about 1/10 of the length of the stick portion 2a). It is comprised by LED (Light Emitting Diode) from which luminescent color differs. For example, the main marker M1 emits green when it is lit, and the sub marker M2 emits red when it is lit. While the
このメインマーカＭ１及びサブマーカＭ２は、撮像された画像（ライブビュー画像）内に写り込んでしまったセルフィースティック２の画像内における位置及びその輪郭（アウトライン）を特定するために使用されるマーカである。すなわち、第１実施形態においては、撮像画像内に写り込んでしまったセルフィースティック２の画像部分を特定してその画像部分を画像処理により除去するインペイント処理を実行するようにしているが、その際、セルフィースティック２上に配置された複数のマーカＭ１、Ｍ２の撮像画像内における位置関係からセルフィースティック２の画像部分（輪郭領域）を特定してインペイント処理を実行するようにしている。なお、このようなインペイント処理は、画像処理装置において一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。
The main marker M1 and the sub marker M2 are markers used for specifying the position and outline (outline) of the
図２は、デジタルカメラ１の基本的な構成要素を示したブロック図である。
制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内に格納されている各種のプログラムに応じてこのデジタルカメラ１の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図５及び図６に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ１３ａと、フラグなどのデータを一時記憶するワークメモリ１３ｂなどを有している。なお、記憶部１３は、例えば、複数枚の撮影済み画像（保存画像群）を記憶可能なＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。
FIG. 2 is a block diagram showing basic components of the
The
操作部１４は、図示省略したが、各種のハードキーとして、電源オン／オフを行う電源キー、撮影が可能なモードと撮影済み画像（保存画像）を再生するモードなどを切り替えるモード変更キー、シャッタキーなど、各種のハードキーを備えたもので、制御部１１は、このハードキーの操作に応じて、例えば、モード変更処理、撮影処理などを行う。撮像部１５は、図示しないが、光学レンズからの被写体画像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影することが可能なもので、ズーム機能を備えた撮影レンズ、撮像素子、各種のセンサ、アナログ処理部、デジタル処理部を有している。制御部１１は、撮像部１５によって撮像された画像に対して各種の画像処理として、データ補間（デモザイク）を行ったり、カラー変換したり、ホワイトバランスやシャープネスなどを調整したりする現像処理を行うことにより撮像画像を撮影画像に変換すると共に、この現像処理後の画像を圧縮してファイル化する画像圧縮処理を施した後、記憶部１３の記録メディアに記録保存するようにしている。
Although not shown, the
表示部１６は、画像を表示する高精細液晶、又は有機ＥＬ（Electro Luminescence）などで構成され、その表示画面は、撮像された画像（ライブビュー画像）をリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。通信部１７は、セルフィースティック２との間で短距離通信、例えば、Bluetooth（登録商標）通信を行うもので、制御部１１は、シャッタキー（ハードキー）の操作に応じて撮影処理を行う他に、セルフィースティック２から送信されたシャッタ操作信号を通信部１７が受信した際にも撮影処理を行うようにしている。なお、デジタルカメラ１とセルフィースティック２との間での短距離通信としては、無線ＬＡＮ（Local Area Network）通信、又は有線通信であってもよい。
The
セルフィースティック２の基本的な構成要素を示したブロック図である。
制御部２１は、電源部（二次電池）２２からの電力供給によって動作し、記憶部２３内に格納されている各種のプログラムに応じてこのセルフィースティック２の全体動作を制御するもので、この制御部２１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。この制御部２１にはその周辺デバイスとして、上述したメインマーカＭ１、サブマーカＭ２が接続されている他、装着検出スイッチ２４、操作部２５、通信部２６、受光素子２７が接続され、それらの入出力動作を制御する。
3 is a block diagram showing basic components of
The
装着検出スイッチ２４は、上述したようにホルダ部２ｂにデジタルカメラ１が装着されたことを検出するもので、制御部２１は、装着検出スイッチ２４からの検出信号に応じて、メインマーカＭ１、サブマーカＭ２、受光素子２７を駆動する制御を行うようにしている。操作部２５は、電源オン／オフを行う電源キーなどを有し、通信部２６は、デジタルカメラ１との間で短距離通信、例えば、Bluetooth（登録商標）通信を行う。受光素子２７は、上述のワイヤレスシャッタ機能を構成するもので、手元側のメインマーカＭ１に接近して配置され、メインマーカＭ１から発光された光が使用者の親指などで遮蔽された際にその発光された光を受光できなくなることによりメインマーカＭ１への遮蔽を検出する。制御部２１は、メインマーカＭ１が遮蔽された際に受光素子２７の検出信号に基づいてシャッタ操作が行われたものと判断してシャッタ操作信号を通信部２６から送信するようにしている。
The mounting
図４（１）は、撮像部１５で撮像された画像（ライブビュー画像）がモニタ画面に表示されている状態を例示した図である。すなわち、デジタルカメラ１をセルフィースティック２に装着した状態において使用者（撮影者）が自分自身を頭上から撮像したときの撮像画像を示し、図示の例は、この画像内にセルフィースティック２の略全体が写り込んでしまう場合である。このように画像内にセルフィースティック２が写り込んでしまう場合、制御部１１は、その画像を解析することによって画像内のメインマーカＭ１、サブマーカＭ２の位置を検出すると共に、このメインマーカＭ１、サブマーカＭ２の位置を結ぶ直線（仮想線）を長軸とする楕円をセルフィースティック２の輪郭（アウトライン）として生成し、この楕円領域を不要除去領域として特定するようにしている。
FIG. 4A is a diagram illustrating a state where an image (live view image) captured by the
図４（２）は、撮像画像（ライブビュー画像）内に楕円領域（セルフィースティック２の輪郭：不要除去領域）を概念的に配置した状態を示している。この場合、メインマーカＭ１、サブマーカＭ２の位置を結ぶ直線上に楕円の長軸を沿わせると共に、画像内のメインマーカＭ１の位置を起点とし、その位置に楕円領域の一端部（先細部分）を合わせることにより楕円領域を画像内に配置するようにしている。この場合、画像内のセルフィースティック２は、手元から画像の端部に向かって次第に太くなるように写し込まれるようになるため、つまり、画像の端部が最も太くなるため、楕円領域の長軸の長さ（長径）の略１／２（長半径）が画像の端に位置するような楕円領域を生成し、また、メインマーカＭ１は、手元側（把持部２ｃ側）に配設されているために、このメインマーカＭ１に楕円領域の先細部分が合うように楕円領域を画像内に配置することにより画像内におけるセルフィースティック２の輪郭領域が楕円領域と略一致するようになる。
FIG. 4 (2) shows a state in which an elliptical area (contour of selfie stick 2: unnecessary removal area) is conceptually arranged in the captured image (live view image). In this case, the long axis of the ellipse is set along a straight line connecting the positions of the main marker M1 and the sub marker M2, and the position of the main marker M1 in the image is set as a starting point, and one end portion (tapered portion) of the elliptical region is set at the position. By combining them, an elliptical region is arranged in the image. In this case, the
このようにして生成した楕円領域（セルフィースティック２の輪郭：不要除去領域）に対して公知のインペイント処理を行うことによって、その楕円領域内のセルフィースティック２の画像部分を除去すると共に、その除去した部分をその周囲の色や模様などで塗り潰すことによって修復するようにしている。図４（３）は、楕円領域（不要除去領域）に対してインペイント処理を実行した後の撮像画像を示した図で、図示の例では、セルフィースティック２の画像部分が全て除去されたものとなる。
By performing a known in-paint process on the elliptical area thus generated (contour of selfie stick 2: unnecessary removal area), the image portion of
次に、第１実施形態におけるデジタルカメラ１の動作概念を図５及び図６に示すフローチャートを参照して説明する。ここで、このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図５及び図６は、デジタルカメラ１の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図５及び図６のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
Next, the operation concept of the
図５及び図６は、撮影モードに切り替えられた際に実行開始されるデジタルカメラ１の特徴的な動作を示したフローチャートである。
セルフィースティック２側の制御部２１は、その電源がオンされている状態において、そのホルダ部２ｂにデジタルカメラ１が装着されると、装着検出スイッチ２４がオンされるため、その検出信号に応じてメインマーカＭ１及びサブマーカＭ２を駆動して点灯させると共に、受光素子２７を駆動して受信可能な状態となる。この場合、メインマーカＭ１は緑色に点灯し、サブマーカＭ２は赤色に点灯するようになる。
FIG. 5 and FIG. 6 are flowcharts showing characteristic operations of the
When the
この状態においてデジタルカメラ１側の制御部１１は、撮影モードに切り替えられると、撮像部１５から撮像画像を取得してモニタ画面にライブビュー画像として表示させる（図５のステップＡ１）。そして、その撮像画像を解析することによりメインマーカＭ１、サブマーカＭ２の検出を行う（ステップＡ２）。この場合、撮像画像内に高輝度の緑色、赤色の円形の発光体が写っているか否かに基づいて画像内にメインマーカＭ１及びサブマーカＭ２が含まれているか否か、つまり、メインマーカＭ１とサブマーカＭ２の両方が写っているかを調べる（ステップＡ３）。
In this state, when switching to the shooting mode, the
なお、撮像画像内にメインマーカＭ１、サブマーカＭ２の一方だけしか写っていない場合でも、他方のマーカの一部分だけが写っている場合、又は、マーカの全てが写っていなくてもその周辺光（薄色の拡散光）を検出することができた場合には、撮像画像内に両方のマーカが写っているものと判断するようにしてもよい。すなわち、２つのマーカＭ１、Ｍ２が撮像画像内に完全に写し込まれていなくても、２つのマーカＭ１、Ｍ２の位置を推測可能であれば、画像内に２つのマーカＭ１、Ｍ２が含まれていると判別する。 Even if only one of the main marker M1 and the sub marker M2 is shown in the captured image, only a part of the other marker is shown, or even if all the markers are not shown, the ambient light (light If the color diffused light can be detected, it may be determined that both markers are reflected in the captured image. That is, even if the two markers M1 and M2 are not completely imprinted in the captured image, the two markers M1 and M2 are included in the image as long as the positions of the two markers M1 and M2 can be estimated. It is determined that
いま、画像内にメインマーカＭ１及びサブマーカＭ２が写っていない場合には（ステップＡ３でＮＯ）、セルフィースティック２を使用しない場合、又はセルフィースティック２を使用しても撮像画像内にセルフィースティック２が写っていない場合であるから図６のフローに移り、セルフィースティック２からシャッタ操作信号を受信したかを調べたり（ステップＡ１１）、操作部１４上のシャッタキーが操作されたかを調べたりする（ステップＡ１２）。ここで、セルフィースティック２側では、メインマーカＭ１から発光された緑色の光が使用者の親指などで遮蔽されると、その発光された光が受光素子２７に受光できなくなるので、シャッタ操作が行われたものと判断してシャッタ操作信号を通信部２６から送信する。
If the main marker M1 and the sub marker M2 are not shown in the image (NO in step A3), the
デジタルカメラ１側において、セルフィースティック２からのシャッタ操作信号を受信しなかった場合（ステップＡ１１でＮＯ）、しかもシャッタキーが操作されなかった場合には（ステップＡ１２でＮＯ）、ステップＡ８７に移り、撮影モードを解除する操作が行われたかを調べるが、いま、撮影モードのままであれば（ステップＡ１８でＮＯ）、図５のステップＡ１に戻る。一方、セルフィースティック２からシャッタ操作信号を受信した場合（ステップＡ１１でＹＥＳ）、又は操作部１４上のシャッタキーが操作されたことを検出した場合には（ステップＡ１２でＹＥＳ）、撮影画像用に撮像画像を取得し（ステップＡ１３）、後述する楕円領域がライブビュー画像にあるかを調べるが（ステップＡ１４）、いま、楕円領域はないので（ステップＡ１４でＮＯ）、この撮像画像に対して現像処理を行うことにより撮影画像に変換する（ステップＡ１６）。そして、この現像処理後の画像を圧縮処理して記憶部１３の記録メディアに記録保存（ステップＡ１７）させた後、図５のステップＡ１に戻る。
When the
一方、撮像画像内にメインマーカＭ１及びサブマーカＭ２が写っている場合には（図５のステップＡ３でＹＥＳ）、このメインマーカＭ１とサブマーカＭ２の撮像画像内における位置を取得する（ステップＡ４）。そして、メインマーカＭ１とサブマーカＭ２の位置を結ぶ直線を画像内の端まで延長した線分の長さに基づいて楕円を生成する（ステップＡ５）。この場合、メインマーカＭ１とサブマーカＭ２の位置を結ぶ直線を撮像画像内の端まで延長した線分の長さを長軸の長さの略１／２（略長半径）とし、短軸の長さ（短径）を所定値とする楕円を生成する。 On the other hand, when the main marker M1 and the sub marker M2 are shown in the captured image (YES in step A3 in FIG. 5), the positions of the main marker M1 and the sub marker M2 in the captured image are acquired (step A4). Then, an ellipse is generated based on the length of the line segment obtained by extending the straight line connecting the positions of the main marker M1 and the sub marker M2 to the end in the image (step A5). In this case, the length of the line segment obtained by extending the straight line connecting the positions of the main marker M1 and the sub marker M2 to the end in the captured image is approximately ½ of the length of the major axis (substantially major radius), and the length of the minor axis An ellipse having a predetermined value for the length (minor axis) is generated.
次に、制御部１１は、撮影レンズの焦点距離を取得すると共に、被写体までの距離（被写体距離：フォーカス距離）を取得する（ステップＡ６）。更に、予め記憶されているセルフィースティック２の実サイズ（太さ）を読み出し取得する（ステップＡ７）。そして、取得した焦点距離、被写体距離、セルフィースティック２の実サイズ（太さ）に基づいて、画像内におけるセルフィースティック２のサイズ（太さ）を求めると共に、このセルフィースティック２のサイズ（太さ）に基づいて、楕円領域の短軸の長さ（短径）を補正する処理を行う（ステップＡ８）。
Next, the
次に、上述のようにして生成した楕円領域を不要除去領域として撮像画像（ライブビュー画像）内に配置するための位置を特定し（ステップＡ９）、この楕円領域を撮像画像（ライブビュー画像）内に概念的に配置する（ステップＡ１０）。すなわち、メインマーカＭ１は、把持部２ｃに隣接した位置（手元付近）に配設されているので、このメインマーカＭ１の画像内の位置に楕円領域の先細部分を合わせると、楕円領域の先細部分がセルフィースティック２の把持部２ｃを含む手元側が略合致するようになる。また、メインマーカＭ１とサブマーカＭ２とを結ぶ直線に楕円領域の長軸を合わせると、楕円領域の長軸方向がスティック部２ａの軸方向に沿ったものとなる。
Next, a position for disposing the elliptical area generated as described above as an unnecessary removal area in the captured image (live view image) is specified (step A9), and this elliptical area is captured image (live view image). Are conceptually arranged (step A10). That is, since the main marker M1 is disposed at a position (near the hand) adjacent to the grip portion 2c, when the tapered portion of the elliptical area is aligned with the position in the image of the main marker M1, the tapered part of the elliptical area However, the hand side including the grip portion 2c of the
そして、図６のフローに移り、セルフィースティック２からシャッタ操作信号を受信した場合（ステップＡ１３でＹＥＳ）、又は操作部１４上のシャッタキーが操作された場合には（ステップＡ１４でＹＥＳ）、上述の楕円領域（不要除去領域）に対してインペイント処理を実行することにより、撮像画像内の楕円領域（セルフィースティック２の画像部分）を除去すると共に、その除去した領域内を周囲の色や模様などで塗り潰して修復する処理を行う。これによって処理されたインペイント後の撮像画像に対して現像処理を施して撮影画像に変換（ステップＡ１６）した後、この現像処理後の画像を圧縮処理して記憶部１３の記録メディアに記録保存させる（ステップＡ１７）。その後、図５のステップＡ１に戻る。
Then, the flow proceeds to the flow of FIG. 6, when the shutter operation signal is received from the selfie stick 2 (YES in step A13), or when the shutter key on the
以上のように、第１実施形態においてデジタルカメラ１の制御部１１は、棒状の物体（セルフィースティック２）に装着されている状態で撮像した画像内にセルフィースティック２が写し込んでいる場合に、このセルフィースティック２の該画像内における位置を取得し、このセルフィースティック２の位置に基づき、その撮像画像内における不要物（セルフィースティック２）の画像部分を除去する画像処理を行うようにしたので、撮像時に写し込まれた不要物をユーザ操作でその都度指定したり、処理負担の大きい処理を必要としたりせずに、撮像画像内から不要物を簡略に除去することができる。
As described above, in the first embodiment, the
制御部１１は、予め棒状の物体（セルフィースティック２）に配置されているマーカの撮像画像内における位置を、セルフィースティック２の撮像画像内における位置として取得するようにしたので、マーカの位置からセルフィースティック２全体の位置を容易に得ることが可能となる。
Since the
制御部１１は、セルフィースティック２の異なる複数の位置に配置されているメインマーカＭ１及びサブマーカＭ２の画像内における位置を取得し、この複数のマーカＭ１、Ｍ２の位置関係に基づき、その撮像画像内でのセルフィースティック２の輪郭を特定すると共に、その輪郭を基にセルフィースティック２の画像部分を除去するようにしたので、画像内におけるセルフィースティック２の輪郭を簡略に特定することができ、そのセルフィースティック２の画像部分の除去も容易なものとなる。
The
制御部１１は、レンズの焦点距離、被写体距離、セルフィースティック２の実サイズ（太さ）に基づいてセルフィースティック２の画像内における輪郭（太さ）を特定して、その輪郭を基にセルフィースティック２の画像部分を除去するようにしたので、セルフィースティック２の太さ（楕円の短軸の長さ）を精度良く求めることができ、その除去も精度良く行うことが可能となる。
The
制御部１１は、セルフィースティック２の異なる複数の位置に配置されているメインマーカＭ１及びサブマーカＭ２の画像内における位置を取得し、この複数のマーカＭ１、Ｍ２の位置を結ぶ直線を撮像画像内の端まで延長した線分の長さを略長半径とする楕円を生成し、この楕円領域に基づいて、セルフィースティック２の輪郭を特定して、その輪郭を基にセルフィースティック２の画像部分を除去するようにしたので、画像内から不要物であるセルフィースティック２を簡略に除去することができる。
The
制御部１１は、セルフィースティック２の輪郭が特定された撮像画像をライブビュー画像として表示するようにしたので、使用者にあっては、セルフィースティック２が除去される撮像画像を確認してからその撮影を指示することができる。
Since the
制御部１１は、セルフィースティック２側においてメインマーカＭ１の発光が使用者の親指などで遮蔽されることによって送信されるシャッタ操作信号を受信すると、それを契機として、セルフィースティック２が除去された撮像画像から撮影画像を生成する処理を行うようにしたので、セルフィースティック２側のメインマーカＭ１をシャッタボタンとして機能させることが可能となる。
When the
なお、上述した第１実施形態においてデジタルカメラ１は、セルフィースティック２上に配設された２つのマーカＭ１、Ｍ２の位置を結ぶ直線を画像内の端まで延長した線分を求めるようにしたが、セルフィースティック２上に複数のマーカを配設するのではなく、セルフィースティック２上の任意の位置に１つのマーカを設けるようにしてもよい。この際、制御部１１は、セルフィースティック２の１個所に配置されているマーカの撮像画像内における位置を取得し、このマーカの位置と、セルフィースティック２とデジタルカメラ１との連結点との位置関係に基づいて、その撮像画像内でのセルフィースティック２の輪郭を特定して、その輪郭を基にセルフィースティック２の画像部分を除去するようにしてもよい。この場合、デジタルカメラ１とセルフィースティック２との連結方向に応じた画像の端の１点を固定点として設け、この固定点の位置から画像内のマーカの位置を結ぶ直線を求めるようにすれば、セルフィースティック２上のマーカは１つでも足りることになる。
In the first embodiment described above, the
また、撮像時にユーザがセルフィースティック２をその軸方向に僅かに移動させるようにすれば、セルフィースティック２上の任意の位置に１つのマーカを設けるだけでも足りる。この場合、デジタルカメラ１側では、連続撮像された各画像を順次解析することによって画像内におけるマーカの移動軌跡を検出し、この移動軌跡（セルフィースティック２の軸方向）から画像内の端まで延長した線分を求めるようにすれば、セルフィースティック２の方向からその輪郭を特定することができるので、その輪郭を基にセルフィースティック２の画像部分を除去することが可能となる。
Further, if the user slightly moves the
また、マーカを点光源ではなく面積を持たせ、撮像方向や角度によって変化するマーカの形状を検出可能とすれば、１つのマーカを設けるだけでも足りる。 Also, if the marker has an area instead of a point light source, and it is possible to detect the shape of the marker that changes depending on the imaging direction and angle, it is sufficient to provide only one marker.
また、セルフィースティック２全体を発光させるようにしてもよい。
Alternatively, the
上述した第１実施形態においてデジタルカメラ１は、レンズの焦点距離、被写体距離、セルフィースティック２の実サイズ（太さ）に基づいて、セルフィースティック２の画像内における輪郭（太さ）を特定するようにしたが、メインマーカＭ１、サブマーカＭ２の位置を結んだ直線に対してその周辺に存在する画素を解析し、直線上の画素と周辺画素とを比較することによってそれらの類似度（色、濃度）からセルフィースティック２の輪郭を特定するようにしてもよい。すなわち、メインマーカＭ１、サブマーカＭ２の位置を結んだ直線の周辺の類似度（画像の解析結果）からセルフィースティックの輪郭を特定してその輪郭を基にセルフィースティック２の画像部分を除去するようにてもよい。これによってセルフィースティック２の輪郭を更に精度良く特定することができ、その除去も精度良く行うことが可能となる。
In the first embodiment described above, the
上述した第１実施形態においては、楕円領域を生成してセルフィースティック２の輪郭を特定するようにしたが、楕円に限らず、その形状は任意であり、例えば、複数の矩形、三角形、円形などを組合わせることによってセルフィースティック２の輪郭を特定するようにしてもよい。
In the first embodiment described above, the ellipse region is generated and the contour of the
上述した第１実施形態においては、セルフィースティック２の画像部分を除去するインペイント処理の実行タイミングとして、セルフィースティック２側のメインマーカＭ１が遮蔽された後の撮影画像の生成時に行うようにしたが、ライブビュー画像時において、逐次セルフィースティック２の画像部分を除去するインペイント処理を行うようにしてもよい。
In the first embodiment described above, the execution timing of the in-paint process for removing the image portion of the
（第２実施形態）
以下、この発明の第２実施形態について図７〜図９を参照して説明する。
なお、上述した第１実施形態においては、撮像画像内から除去する対象（不要物）としてセルフィースティック２を例示したが、この第２実施形態においては、除去対象をセルフィースティック２に限らず、その他の所定の物体としたものである。ここで、両実施形態において基本的、或いは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。
(Second Embodiment)
A second embodiment of the present invention will be described below with reference to FIGS.
In the first embodiment described above, the
図７（１）は、第２実施形態において、除去対象（不要物）である所定の物体として、踏み台を例示した場合で、この踏み台の所定位置に３つのマーカＭ１１、Ｍ１２、Ｍ１３を配設した状態を示した図である。
図示の例は、踏み台を斜め方向から見た場合を例示したもので、この踏み台の正面には３つのマークＭ１１、Ｍ１２、Ｍ１３が配設されている。図７（２）は、３つのマークＭ１１〜Ｍ１３の配列関係（位置関係）を説明するための図で、マークＭ１１〜Ｍ１３は、正三角形の各頂点位置に配設されている。各マークＭ１１〜Ｍ１３は、同じ物体に対しては同じ色を発光するＬＥＤを使用し、物体毎に異なる色を発光するようにしている。
FIG. 7A shows a case where a step is illustrated as a predetermined object to be removed (unnecessary) in the second embodiment, and three markers M11, M12, and M13 are arranged at predetermined positions on the step. It is the figure which showed the state which carried out.
In the example shown in the figure, the step is viewed from an oblique direction, and three marks M11, M12, and M13 are arranged on the front of the step. FIG. 7B is a diagram for explaining the arrangement relationship (positional relationship) of the three marks M11 to M13. The marks M11 to M13 are arranged at the vertex positions of the equilateral triangle. Each of the marks M11 to M13 uses an LED that emits the same color for the same object, and emits a different color for each object.
図８は、第２実施形態において使用する物体形状テーブルＴを示した図である。
物体形状テーブルＴは、所定の物体別にその形状データを記憶するもので、「発光色」、「物体の種類」、「形状に関する情報」の各項目を有し、ユーザ操作によって予め任意に設定されたものである。「発光色」は、所定の物体毎に異なる色を発光する各マークＭ１１〜Ｍ１３の発光色を示し、この発光色の違いによって所定の物体を識別可能としている。図示の例は、“踏み台”の「発光色」として“青色”を記憶し、“鉄棒”の「発光色」として“赤色”を記憶した場合を示している。「所定の物体」とは、撮像画像から除去する対象となる物体（不要物）を示し、例えば、人物が空中に浮かんでいる状態の画像を得るために、所定の物体として、踏み台、鉄棒などを除去対象としている。
FIG. 8 is a diagram showing an object shape table T used in the second embodiment.
The object shape table T stores shape data for each predetermined object. The object shape table T includes items “light emission color”, “type of object”, and “information on shape”, and is arbitrarily set in advance by a user operation. It is a thing. The “light emission color” indicates the light emission color of each mark M11 to M13 that emits a different color for each predetermined object, and the predetermined object can be identified by the difference in the light emission color. The illustrated example shows a case where “blue” is stored as the “light emission color” of the “step” and “red” is stored as the “light emission color” of the “iron bar”. The “predetermined object” indicates an object (unnecessary object) to be removed from the captured image. For example, in order to obtain an image of a person floating in the air, a predetermined object such as a step board or a horizontal bar Is targeted for removal.
「形状に関する情報」は、所定の物体の形状（輪郭）をその方向と長さを持つベクトルで表現するベクトルデータと、そのベクトルデータ内における複数のマーカ（上述の各マークＭ１１〜Ｍ１３に対応して正三角形の配列関係にある３つのマーカ）の位置データから成るもので、制御部１１は、各マークＭ１１、Ｍ１２、Ｍ１３の撮像画像内における位置と、ベクトルデータ内における複数のマーカの位置を対応させることにより、所定の物体の輪郭を表現するベクトルデータを変形させるようにしている。すなわち、撮像時に所定の物体がどのような向きで撮像されたかに応じて、各マークＭ１１〜Ｍ１３による正三角形を作る条件（例えば、各辺の長さが同一）が変化するために、撮像画像内の各マーク位置（三角形の各頂点位置）にベクトルデータ内の各マーク位置を合わせ込む（一致させる）ことにより、物体の輪郭を表現するベクトルデータをその物体の向きに応じて変形させるようにしている。
“Information about shape” corresponds to vector data representing the shape (contour) of a predetermined object by a vector having the direction and length, and a plurality of markers (the above-mentioned marks M11 to M13 described above) in the vector data. The
図９は、第２実施形態において、撮影モードに切り替えられた際に実行開始されるデジタルカメラ１の特徴的な動作を示したフローチャートである。
先ず、制御部１１は、撮影モードに切り替えられると、撮像部１５から撮像画像を取得してモニタ画面にライブビュー画像として表示させる（ステップＢ１）。次に、その撮像画像を解析することにより３つのマーカＭ１１〜Ｍ１３の検出し（ステップＢ２）、その撮像画像内に高輝度の発光体が写っているか否かに基づいて画像内に３つのマーカＭ１１〜Ｍ１３が含まれているか否かを調べる（ステップＢ３）。
FIG. 9 is a flowchart showing a characteristic operation of the
First, when switched to the shooting mode, the
この場合においても第１実施形態と同様に、３つのマーカＭ１１〜Ｍ１３が撮像画像内に完全に写し込まれていなくても、３つのマーカＭ１１〜Ｍ１３の位置関係を推測することが可能であれば、画像内に３つのマーカＭ１１〜Ｍ１３が含まれていると判別するようにしている。いま、画像内に３つのマーカＭ１１〜Ｍ１３が写っていなければ（ステップＢ３でＮＯ）、シャッタ操作が行われたかを調べたり（ステップＢ９）、撮影モードを解除する操作が行われたかを調べたりする（ステップＢ１５）。 Even in this case, as in the first embodiment, even if the three markers M11 to M13 are not completely imprinted in the captured image, it is possible to estimate the positional relationship between the three markers M11 to M13. For example, it is determined that three markers M11 to M13 are included in the image. If the three markers M11 to M13 are not shown in the image (NO in step B3), it is checked whether a shutter operation has been performed (step B9), or whether an operation to cancel the shooting mode has been performed. (Step B15).
ここで、上述したいずれの操作も行われなければ（ステップＢ９及びＢ１５でＮＯ）、上述のステップＢ１に戻るが、シャッタ操作が行われたときには（ステップＢ９でＹＥＳ）、撮影画像用に撮像画像を取得し（ステップＢ１０）、プレビュー画像内で所定の物体が識別表示されているかを調べる（ステップＢ１１）。いま、識別表示中ではないので（ステップＢ１１でＮＯ）、この撮像画像に対して現像処理を施して撮影画像に変換し（ステップＢ１３）、この現像処理後の画像を圧縮処理して記憶部１３の記録メディアに記録保存させる（ステップＢ１４）。その後、撮影モードを解除する操作が行われたかを調べ（ステップＢ１５）、撮影モードのままであれば（ステップＢ１５でＮＯ）、上述のステップＢ１に戻る。
If none of the operations described above is performed (NO in Steps B9 and B15), the process returns to Step B1 described above. However, if a shutter operation is performed (YES in Step B9), the captured image is used for the captured image. (Step B10), and it is checked whether a predetermined object is identified and displayed in the preview image (step B11). Now, since the identification display is not in progress (NO in step B11), the captured image is subjected to development processing and converted into a photographed image (step B13), and the image after the development processing is subjected to compression processing to store the
一方、撮像画像内に３つのマーカＭ１１〜Ｍ１３が写っている場合には（ステップＢ３でＹＥＳ）、そのマーカＭ１１〜Ｍ１３の発光色（同一色）を検出する（ステップＢ４）。そして、この発光色に基づいて物体形状テーブルＴを検索し、該当する発光色が有るかを調べ（ステップＢ５）、該当する発光色が無ければ（ステップＢ５でＮＯ）、上述のシャッタ操作の有無を検出するステップＢ９に移るが、該当する発光色が有れば（ステップＢ５でＹＥＳ）、物体形状テーブルＴからその発光色に対応する所定の物体の「形状に関する情報」を取得する（ステップＢ６）。例えば、検出したマーカＭ１１〜Ｍ１３の発光色が“青色”であれば、所定の物体の種類は“踏み台”であるから、その「形状に関する情報」として、踏み台の形状（輪郭）を表現するベクトルデータと、そのベクトルデータ内における複数のマーカの位置データを読み出し取得する。 On the other hand, when three markers M11 to M13 are shown in the captured image (YES in step B3), the emission colors (same colors) of the markers M11 to M13 are detected (step B4). Then, the object shape table T is searched based on the emission color to check whether the corresponding emission color exists (step B5). If there is no corresponding emission color (NO in step B5), the presence / absence of the shutter operation described above is present. If there is a corresponding emission color (YES in step B5), “shape information” of a predetermined object corresponding to the emission color is acquired from the object shape table T (step B6). ). For example, if the detected emission color of the markers M11 to M13 is “blue”, the type of the predetermined object is “steps”, and therefore, a vector that represents the shape (contour) of the step as the “information about the shape”. Data and position data of a plurality of markers in the vector data are read and acquired.
そして、この３つのマークＭ１１〜Ｍ１３の撮像画像内における位置と、ベクトルデータ内における複数のマーカの位置とを対応させることによって、所定の物体（踏み台）の輪郭を表現するベクトルデータを変形（ステップＢ７）させた後、変形した輪郭を識別表示（例えば、太線表示）させる（ステップＢ８）。この状態において、シャッタキー操作が行われると（ステップＢ９でＹＥＳ）、撮影画像用に撮像画像を取得し（ステップＢ１０）、撮像画像内で所定の物体が識別表示されているかを調べる（ステップＢ１１）。 Then, the position of the three marks M11 to M13 in the captured image is made to correspond to the positions of the plurality of markers in the vector data, thereby transforming the vector data representing the outline of the predetermined object (step). After B7), the deformed contour is displayed for identification (for example, bold line display) (step B8). In this state, when the shutter key operation is performed (YES in step B9), a captured image is acquired for the captured image (step B10), and it is checked whether a predetermined object is identified and displayed in the captured image (step B11). ).
いま、識別表示中であるので（ステップＢ１１でＹＥＳ）、輪郭領域（不要除去領域）に対してインペイント処理を実行することにより、撮像画像内の踏み台の画像部分を除去すると共に、その除去した領域内を周囲の色や模様などで塗り潰して修復する処理を行う（ステップＢ１２）。そして、このインペイント処理後の撮像画像に対して現像処理を行うことにより撮影画像に変換（ステップＢ１３）した後、この現像処理後の画像を圧縮処理して記憶部１３の記録メディアに記録保存させる（ステップＢ１４）。その後、上述のステップＢ１に戻る。
Since the identification display is being performed (YES in step B11), the in-paint process is performed on the contour area (unnecessary removal area), thereby removing the image portion of the step in the captured image and removing it. A process of filling the area with a surrounding color or pattern and repairing it is performed (step B12). The captured image after the in-paint processing is converted into a captured image by performing development processing (step B13), and then the image after the development processing is compressed and recorded and stored in the recording medium of the
以上のように、第２実施形態においてデジタルカメラ１側の制御部１１は、所定の物体の異なる複数の位置に配置されたマーカＭ１１〜Ｍ１３が撮像部１５によって撮像された撮像画像内に写し込まれている場合に、複数のマーカＭ１１〜Ｍ１３の撮像画像内における位置と、所定の物体の形状に関する情報とに基づき、撮像画像内における所定の物体の輪郭を特定するようにしたので、撮像時に写し込まれた不要物をユーザ操作でその都度指定したり、処理負担の大きい処理を必要としたりせずに、簡略な処理で撮像画像内における所定の物体の輪郭を特定することができ、撮像時に写し込まれた所定の物体を不要物としてその画像内から簡略に除去することが可能となる。
As described above, in the second embodiment, the
所定の物体の形状に関する情報は、その輪郭を表現するベクトルデータと、そのベクトルデータ内における複数のマーカの位置データであり、制御部１１は、複数のマーカＭ１１〜Ｍ１３の撮像画像内における位置と、ベクトルデータ内における複数のマーカの位置とを対応させることによって、輪郭を表現するベクトルデータを変形するようにしたので、撮像時に所定の物体の向きに拘わらず、マーカの位置を合わせ込むという簡略な処理で撮像画像内における所定の物体の輪郭を容易に特定することができる。
The information related to the shape of the predetermined object is vector data representing the contour and position data of a plurality of markers in the vector data, and the
制御部１１は、物体形状テーブルＴから所定の物体の形状に関する情報を取得することにより所定の物体の輪郭を特定するようにしたので、所定の物体の輪郭の特定が容易なものとなる。
Since the
制御部１１は、撮像画像内における所定の物体の輪郭を識別可能に表示させ、その物体の輪郭内の画像部分を除去するようにしたので、撮像時に写し込まれた所定の物体を不要物として除去することを使用者に知らせることが可能となり、不要物を間違えることなく除去することが可能となる。
Since the
なお、上述した第２実施形態においては、物体形状テーブルＴから所定の物体の形状に関する情報を読み出し取得するようにしたが、所定の物体からその形状に関する情報を、通信手段を介して受信取得するようにしてもよい。例えば、景勝地を撮像した際に、近くの立て看板が写らないようにするために、その立て看板から例えば、ＬＥＤ等の発光体を点滅させることで情報を送信する可視光通信により発信される自身の形状（輪郭）に関する情報を、デジタルカメラ１側で受信するようにしてもよい。この場合、デジタルカメラ１側では、立て看板の形状（輪郭）に関する情報に基づいて、立て看板の輪郭を特定してその輪郭を基にインペイント処理を行うようにすればよい。これによって予め物体形状テーブルＴに記憶されていない所定の物体であっても、その輪郭を容易に特定してインペイント処理を行うことが可能となる。このことは、景勝地の撮像に限らず、撮影禁止箇所で撮影を行った場合に、その禁止対象の物体を除去する場合にも適用可能である。
In the second embodiment described above, information related to the shape of a predetermined object is read out and acquired from the object shape table T, but information related to the shape of the predetermined object is received and acquired via a communication unit. You may do it. For example, when shooting a scenic spot, in order to prevent a nearby standing sign from being captured, it is transmitted from the standing sign by, for example, visible light communication that transmits information by blinking a light emitter such as an LED. Information regarding its own shape (contour) may be received by the
上述した第２実施形態においては、複数種類の物体に対応付けてその形状に関する情報を物体形状テーブルＴに記憶するようにしたが、物体形状テーブルＴに１つの物体に対応付けてその形状に関する情報を記憶するようにしてもよい。このように所定の物体が１つであれば、物体を識別表示する必要もない。 In the second embodiment described above, information on the shape is stored in the object shape table T in association with a plurality of types of objects. However, information on the shape in association with one object in the object shape table T. May be stored. Thus, if there is one predetermined object, there is no need to identify and display the object.
上述した第２実施形態においては、物体の形状に関する情報としてベクトルデータを示したが、ベクトルデータに限らず、関数で表現可能な単純な楕円形や矩形などの図形形状のデータであってもよい。 In the second embodiment described above, vector data is shown as information related to the shape of the object. However, the data is not limited to vector data, and may be simple shape data such as an ellipse or a rectangle that can be expressed by a function. .
上述した各実施形態においては、ＬＥＤによってマーカを構成する場合を例に挙げたが、発光しないマーカであってもよく、また、自然界には余り存在していない色や形状、或いは反射率の高い塗装やシールなどであってもよい。 In each of the above-described embodiments, the case where the marker is configured by the LED has been described as an example. However, the marker may not emit light, and the color and shape that do not exist so much in the natural world or the reflectance is high. It may be painted or sealed.
また、上述した各実施形態においては、撮像手段を備える画像処理装置として、カメラに適用した場合を示したが、これに限らず、例えば、カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・タブレット端末装置・スマートフォンなどの携帯電話機・電子ゲーム・音楽プレイヤーなどであってもよい。 Further, in each of the above-described embodiments, the case where the present invention is applied to a camera is shown as an image processing apparatus including an imaging unit. However, the present invention is not limited to this, and for example, a personal computer with a camera function / PDA Equipment), a tablet terminal device, a mobile phone such as a smartphone, an electronic game, a music player, and the like.
また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。 Further, the “apparatus” and “unit” shown in each of the above-described embodiments may be separated into a plurality of cases by function, and are not limited to a single case. In addition, each step described in the above-described flowchart is not limited to time-series processing, and a plurality of steps may be processed in parallel or separately.
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
撮像手段を備える画像処理装置であって、
一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する取得手段と、
前記取得手段により取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する画像処理を行う画像処理手段と、
を備えることを特徴とする。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記取得手段は、前記棒状の物体に予め配置されているマーカの撮像画像内における位置を、その棒状の物体の該撮像画像内における位置として取得する、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記取得手段は、前記棒状の物体の異なる複数の位置に配置されている各マーカの前記撮像画像内における位置を取得し、
前記画像処理手段は、前記取得手段により取得される複数のマーカの位置関係に基づき、その撮像画像内での前記棒状の物体の輪郭を特定して、その輪郭を基に棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項２に記載の画像処理装置において、
前記取得手段は、前記棒状の物体の１個所に配置されているマーカの前記撮像画像内における位置を取得し、
前記画像処理手段は、前記取得手段により取得されるマーカの位置と、前記棒状の物体の一方の端部に装着されている当該画像処理装置との連結点の位置関係に基づき、その撮像画像内での前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項２乃至４のいずれか１項に記載の画像処理装置において、
前記取得手段は、前記撮像手段を構成するレンズの焦点距離と、被写体までの距離と、前記棒状の物体の実サイズとを更に取得し、
前記画像処理手段は、前記取得手段により取得される撮像画像内におけるマーカの位置と、前記レンズの焦点距離、被写体までの距離、及び棒状の物体の実サイズに基づき、前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項２乃至５のいずれか１項に記載の画像処理装置において、
前記撮像画像を解析する画像解析手段を、更に備え、
前記画像処理手段は、前記取得手段により取得される撮像画像内におけるマーカの位置と、前記画像解析手段により解析される結果と、に基づき、前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項２、３、５、６のいずれか１項に記載の画像処理装置において、
前記画像処理手段は、前記取得手段により取得された複数のマーカの位置を結ぶ直線を撮像画像内の端まで延長した線分の長さを略長半径とする楕円を生成し、この楕円領域に基づいて、前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項１〜７のいずれか１項に記載の画像処理装置において、
前記画像処理手段によって特定された前記撮像画像内における前記棒状の物体の輪郭を識別可能にライブビュー画像として表示する表示手段を更に備える、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項２乃至８のいずれか１項に記載の画像処理装置において、
前記マーカが遮蔽されたか否かを判別する判別手段と、
前記判別手段によりマーカが遮蔽されたと判別されたことを契機として撮像画像から撮影画像を生成する処理を行う撮影画像生成手段と、
を更に備え、
前記撮影画像生成手段は、前記画像処理手段により前記棒状の物体の画像部分が除去された撮像画像から撮影画像を生成する処理を行う、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、請求項９に記載の画像処理装置において、
前記画像処理手段は、前記判別手段によりマーカが遮蔽されたと判別されたことを契機として、前記棒状の物体を除去する画像処理を行う、
ことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、
撮像手段を備える画像処理装置であって、
所定の物体の異なる複数の位置に配置されたマーカが前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記複数のマーカの前記撮像画像内における位置を取得する取得手段と、
前記取得手段により取得される複数の位置と、前記所定の物体の形状に関する情報と、に基づき、前記撮像画像内における前記所定の物体の輪郭を特定する特定手段と、
を備えることを特徴とする。
（請求項１２）
請求項１２に記載の発明は、請求項１１に記載の画像処理装置において、
前記所定の物体の形状に関する情報は、その輪郭を表現するベクトルデータと、そのベクトルデータ内における複数のマーカの位置データであり、
前記特定手段は、前記取得手段により取得される複数の位置と、前記ベクトルデータ内における複数のマーカの位置とを対応させて、輪郭を表現するベクトルデータを変形させることで、前記所定の物体の輪郭を特定する、
ことを特徴とする。
（請求項１３）
請求項１３に記載の発明は、請求項１１に記載の画像処理装置において、
前記所定の物体の形状に関する情報を予め記憶する記憶手段を更に備え、
前記特定手段は、前記取得手段により取得される複数のマーカの位置と、前記記憶手段に記憶されている所定の物体の形状に関する情報と、に基づき、前記所定の物体の輪郭を特定する、
ことを特徴とする。
（請求項１４）
請求項１４に記載の発明は、請求項１１乃至１３のいずれか１項に記載の画像処理装置において、
撮像画像を表示する表示手段と、
前記特定手段により特定される撮像画像内における前記所定の物体の輪郭を識別可能に表示する制御を行う表示制御手段と、
前記特定手段により特定される撮像画像における前記所定の物体における輪郭内の画像部分を除去する画像処理を行う画像処理手段と、
を更に備える、
ことを特徴とする。
（請求項１５）
請求項１５に記載の発明は、請求項１１乃至１４のいずれか１項に記載の画像処理装置において、
前記マーカが発光により送信する自身の形状に関する情報を、前記撮像画像を介して受信する受信手段を更に備え、
前記特定手段は、前記取得手段により取得される複数の位置と、前記受信手段により受信される所定の物体の形状に関する情報と、に基づき、前記所定の物体の輪郭を特定する、
ことを特徴とする。
（請求項１６）
請求項１６に記載の発明は、
撮像手段を備える画像処理装置における画像処理方法であって、
一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する処理と、
前記取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する処理と、
を含むことを特徴とする。
（請求項１７）
請求項１７に記載の発明は、
撮像手段を備える画像処理装置のコンピュータに対して、
一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する機能と、
前記取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する機能と、
を実現させるためのプログラムである。
（請求項１８）
請求項１８に記載の発明は、
撮像手段を備える画像処理装置における画像処理方法であって、
所定の物体の異なる複数の位置に配置されたマーカが前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記複数のマーカの前記撮像画像内における位置を取得する処理と、
前記取得手段により取得される複数の位置と、前記所定の物体の形状に関する情報と、に基づき、前記撮像画像内における前記所定の物体の輪郭を特定する処理と、
を含むことを特徴とする。
（請求項１９）
請求項１９に記載の発明は、
撮像手段を備える画像処理装置のコンピュータに対して、
所定の物体の異なる複数の位置に配置されたマーカが前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記複数のマーカの前記撮像画像内における位置を取得する機能と、
前記取得手段により取得される複数の位置と、前記所定の物体の形状に関する情報と、に基づき、前記撮像画像内における前記所定の物体の輪郭を特定する機能と、
を実現させるためのプログラムである。
The embodiment of the present invention has been described above. However, the present invention is not limited to this, and includes the invention described in the claims and the equivalent scope thereof.
Hereinafter, the invention described in the claims of the present application will be appended.
(Appendix)
(Claim 1)
The invention described in
An image processing apparatus comprising an imaging means,
When a rod-shaped object whose one end is attached to the image processing apparatus and whose other end is gripped by a user is reflected in a captured image captured by the imaging unit, the rod-shaped object Obtaining means for obtaining a position of the object in the captured image;
Image processing means for performing image processing based on the position of the rod-shaped object in the captured image acquired by the acquisition means to remove an image portion of the rod-shaped object in the captured image;
It is characterized by providing.
(Claim 2)
The invention according to
The acquisition means acquires a position in a captured image of a marker arranged in advance on the rod-shaped object as a position in the captured image of the rod-shaped object.
It is characterized by that.
(Claim 3)
The invention according to
The acquisition means acquires the position in the captured image of each marker arranged at a plurality of different positions of the rod-shaped object,
The image processing unit specifies an outline of the rod-like object in the captured image based on a positional relationship of the plurality of markers acquired by the acquisition unit, and an image portion of the rod-like object based on the outline Image processing to remove,
It is characterized by that.
(Claim 4)
The invention according to claim 4 is the image processing apparatus according to
The acquisition means acquires a position in the captured image of a marker arranged at one place of the rod-shaped object,
The image processing means is based on a positional relationship between a marker position acquired by the acquisition means and a connection point between the image processing apparatus attached to one end of the rod-shaped object. Identify the outline of the rod-shaped object at, and perform image processing to remove the image portion of the rod-shaped object based on the outline,
It is characterized by that.
(Claim 5)
The invention according to claim 5 is the image processing apparatus according to any one of
The acquisition means further acquires the focal length of the lens constituting the imaging means, the distance to the subject, and the actual size of the rod-shaped object,
The image processing means calculates the contour of the bar-shaped object based on the position of the marker in the captured image acquired by the acquisition means, the focal length of the lens, the distance to the subject, and the actual size of the bar-shaped object. Identify and perform image processing to remove the image portion of the rod-shaped object based on the contour,
It is characterized by that.
(Claim 6)
The invention according to claim 6 is the image processing apparatus according to any one of
Image analysis means for analyzing the captured image is further provided,
The image processing means identifies the outline of the rod-shaped object based on the marker position in the captured image acquired by the acquisition means and the result analyzed by the image analysis means, and determines the outline. Based on the image processing to remove the image portion of the rod-shaped object based on,
It is characterized by that.
(Claim 7)
The invention according to claim 7 is the image processing apparatus according to any one of
The image processing means generates an ellipse having a substantially long radius as a length of a line segment obtained by extending a straight line connecting the positions of the plurality of markers acquired by the acquiring means to the end in the captured image, and in this elliptical area Based on the outline of the rod-shaped object, based on the contour, to perform image processing to remove the image portion of the rod-shaped object,
It is characterized by that.
(Claim 8)
The invention according to claim 8 is the image processing apparatus according to any one of
A display unit configured to display an outline of the rod-shaped object in the captured image specified by the image processing unit as a live view image so as to be identifiable;
It is characterized by that.
(Claim 9)
The invention according to claim 9 is the image processing apparatus according to any one of
Determining means for determining whether or not the marker is shielded;
A captured image generating means for performing a process of generating a captured image from the captured image triggered by the determination that the marker has been shielded;
Further comprising
The captured image generation means performs processing for generating a captured image from a captured image from which the image portion of the rod-like object has been removed by the image processing means.
It is characterized by that.
(Claim 10)
According to a tenth aspect of the present invention, in the image processing apparatus according to the ninth aspect,
The image processing means performs image processing to remove the rod-like object when it is determined that the marker is shielded by the determination means.
It is characterized by that.
(Claim 11)
The invention according to
An image processing apparatus comprising an imaging means,
An acquisition unit configured to acquire positions of the plurality of markers in the captured image when markers arranged at different positions of the predetermined object are reflected in the captured image captured by the imaging unit;
Identification means for identifying an outline of the predetermined object in the captured image based on a plurality of positions acquired by the acquisition means and information on the shape of the predetermined object;
It is characterized by providing.
(Claim 12)
The invention according to
The information related to the shape of the predetermined object is vector data representing the contour, and position data of a plurality of markers in the vector data,
The specifying unit associates the plurality of positions acquired by the acquiring unit with the positions of the plurality of markers in the vector data, and deforms vector data representing an outline, thereby Identify contours,
It is characterized by that.
(Claim 13)
The invention according to
Storage means for storing in advance information relating to the shape of the predetermined object;
The specifying unit specifies an outline of the predetermined object based on the positions of the plurality of markers acquired by the acquiring unit and information on the shape of the predetermined object stored in the storage unit.
It is characterized by that.
(Claim 14)
The invention according to
Display means for displaying a captured image;
Display control means for performing control to display the contour of the predetermined object in the captured image specified by the specifying means in an identifiable manner;
Image processing means for performing image processing for removing an image portion within a contour of the predetermined object in the captured image specified by the specifying means;
Further comprising
It is characterized by that.
(Claim 15)
The invention according to
Receiving means for receiving, via the captured image, information related to the shape of the marker transmitted by light emission;
The specifying unit specifies an outline of the predetermined object based on a plurality of positions acquired by the acquiring unit and information on a shape of the predetermined object received by the receiving unit;
It is characterized by that.
(Claim 16)
The invention described in
An image processing method in an image processing apparatus including an imaging unit,
When a rod-shaped object whose one end is attached to the image processing apparatus and whose other end is gripped by a user is reflected in a captured image captured by the imaging unit, the rod-shaped object Processing for obtaining the position of the object in the captured image;
A process of removing an image portion of the rod-shaped object in the captured image based on the position of the rod-shaped object in the acquired captured image;
It is characterized by including.
(Claim 17)
The invention described in
For a computer of an image processing apparatus provided with an imaging means,
When a rod-shaped object whose one end is attached to the image processing apparatus and whose other end is gripped by a user is reflected in a captured image captured by the imaging unit, the rod-shaped object A function of acquiring the position of the object in the captured image;
A function of removing an image portion of the rod-shaped object in the captured image based on the position of the rod-shaped object in the acquired captured image;
It is a program for realizing.
(Claim 18)
The invention described in claim 18
An image processing method in an image processing apparatus including an imaging unit,
A process of acquiring the positions of the plurality of markers in the captured image when markers arranged at different positions of the predetermined object are reflected in the captured image captured by the imaging unit;
A process of specifying an outline of the predetermined object in the captured image based on a plurality of positions acquired by the acquisition unit and information on the shape of the predetermined object;
It is characterized by including.
(Claim 19)
The invention according to claim 19 is
For a computer of an image processing apparatus provided with an imaging means,
A function of acquiring the positions of the plurality of markers in the captured image when markers arranged at different positions of the predetermined object are reflected in the captured image captured by the imaging unit;
A function for specifying an outline of the predetermined object in the captured image based on a plurality of positions acquired by the acquisition unit and information on the shape of the predetermined object;
It is a program for realizing.
１ デジタルカメラ
２ セルフィースティック
Ｍ１ メインマーカ
Ｍ２ サブマーカ
Ｍ１１、 Ｍ１２、 Ｍ１３ マーカ
Ｔ 物体形状テーブル
１１、２１ 制御部
１３、２３ 記憶部
１３ａ プログラムメモリ
１５ 撮像部
１６ 表示部
１７、２６ 通信部
２７ 受光素子
DESCRIPTION OF
Claims (19)
一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する取得手段と、
前記取得手段により取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する画像処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。 An image processing apparatus comprising an imaging means,
When a rod-shaped object whose one end is attached to the image processing apparatus and whose other end is gripped by a user is reflected in a captured image captured by the imaging unit, the rod-shaped object Obtaining means for obtaining a position of the object in the captured image;
Image processing means for performing image processing based on the position of the rod-shaped object in the captured image acquired by the acquisition means to remove an image portion of the rod-shaped object in the captured image;
An image processing apparatus comprising:
ことを特徴とする請求項１に記載の画像処理装置。 The acquisition means acquires a position in a captured image of a marker arranged in advance on the rod-shaped object as a position in the captured image of the rod-shaped object.
The image processing apparatus according to claim 1.
前記画像処理手段は、前記取得手段により取得される複数のマーカの位置関係に基づき、その撮像画像内での前記棒状の物体の輪郭を特定して、その輪郭を基に棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする請求項２に記載の画像処理装置。 The acquisition means acquires the position in the captured image of each marker arranged at a plurality of different positions of the rod-shaped object,
The image processing unit specifies an outline of the rod-like object in the captured image based on a positional relationship of the plurality of markers acquired by the acquisition unit, and an image portion of the rod-like object based on the outline Image processing to remove,
The image processing apparatus according to claim 2.
前記画像処理手段は、前記取得手段により取得されるマーカの位置と、前記棒状の物体の一方の端部に装着されている当該画像処理装置との連結点の位置関係に基づき、その撮像画像内での前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする請求項２に記載の画像処理装置。 The acquisition means acquires a position in the captured image of a marker arranged at one place of the rod-shaped object,
The image processing means is based on a positional relationship between a marker position acquired by the acquisition means and a connection point between the image processing apparatus attached to one end of the rod-shaped object. Identify the outline of the rod-shaped object at, and perform image processing to remove the image portion of the rod-shaped object based on the outline,
The image processing apparatus according to claim 2.
前記画像処理手段は、前記取得手段により取得される撮像画像内におけるマーカの位置と、前記レンズの焦点距離、被写体までの距離、及び棒状の物体の実サイズに基づき、前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。 The acquisition means further acquires the focal length of the lens constituting the imaging means, the distance to the subject, and the actual size of the rod-shaped object,
The image processing means calculates the contour of the bar-shaped object based on the position of the marker in the captured image acquired by the acquisition means, the focal length of the lens, the distance to the subject, and the actual size of the bar-shaped object. Identify and perform image processing to remove the image portion of the rod-shaped object based on the contour,
The image processing apparatus according to claim 2, wherein the image processing apparatus is an image processing apparatus.
前記画像処理手段は、前記取得手段により取得される撮像画像内におけるマーカの位置と、前記画像解析手段により解析される結果と、に基づき、前記棒状の物体の輪郭を特定して、その輪郭を基に当該棒状の物体の画像部分を除去する画像処理を行う、
ことを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。 Image analysis means for analyzing the captured image is further provided,
The image processing means identifies the outline of the rod-shaped object based on the marker position in the captured image acquired by the acquisition means and the result analyzed by the image analysis means, and determines the outline. Based on the image processing to remove the image portion of the rod-shaped object based on,
The image processing apparatus according to claim 2, wherein the image processing apparatus is an image processing apparatus.
ことを特徴とする請求項２、３、５、６のいずれか１項に記載の画像処理装置。 The image processing means generates an ellipse having a substantially long radius as a length of a line segment obtained by extending a straight line connecting the positions of the plurality of markers acquired by the acquiring means to the end in the captured image, and in this elliptical area Based on the outline of the rod-shaped object, based on the contour, to perform image processing to remove the image portion of the rod-shaped object,
The image processing apparatus according to any one of claims 2, 3, 5, and 6.
ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。 A display unit configured to display an outline of the rod-shaped object in the captured image specified by the image processing unit as a live view image so as to be identifiable;
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
前記判別手段によりマーカが遮蔽されたと判別されたことを契機として撮像画像から撮影画像を生成する処理を行う撮影画像生成手段と、
を更に備え、
前記撮影画像生成手段は、前記画像処理手段により前記棒状の物体の画像部分が除去された撮像画像から撮影画像を生成する処理を行う、
ことを特徴とする請求項２乃至８のいずれか１項に記載の画像処理装置。 Determining means for determining whether or not the marker is shielded;
A captured image generating means for performing a process of generating a captured image from the captured image triggered by the determination that the marker has been shielded;
Further comprising
The captured image generation means performs processing for generating a captured image from a captured image from which the image portion of the rod-like object has been removed by the image processing means.
The image processing apparatus according to claim 2, wherein the image processing apparatus is an image processing apparatus.
ことを特徴とする請求項９に記載の画像処理装置。 The image processing means performs image processing to remove the rod-like object when it is determined that the marker is shielded by the determination means.
The image processing apparatus according to claim 9.
所定の物体の異なる複数の位置に配置されたマーカが前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記複数のマーカの前記撮像画像内における位置を取得する取得手段と、
前記取得手段により取得される複数の位置と、前記所定の物体の形状に関する情報と、に基づき、前記撮像画像内における前記所定の物体の輪郭を特定する特定手段と、
を備えることを特徴とする画像処理装置。 An image processing apparatus comprising an imaging means,
An acquisition unit configured to acquire positions of the plurality of markers in the captured image when markers arranged at different positions of the predetermined object are reflected in the captured image captured by the imaging unit;
Identification means for identifying an outline of the predetermined object in the captured image based on a plurality of positions acquired by the acquisition means and information on the shape of the predetermined object;
An image processing apparatus comprising:
前記特定手段は、前記取得手段により取得される複数の位置と、前記ベクトルデータ内における複数のマーカの位置とを対応させて、輪郭を表現するベクトルデータを変形させることで、前記所定の物体の輪郭を特定する、
ことを特徴とする請求項１１に記載の画像処理装置。 The information related to the shape of the predetermined object is vector data representing the contour, and position data of a plurality of markers in the vector data,
The specifying unit associates the plurality of positions acquired by the acquiring unit with the positions of the plurality of markers in the vector data, and deforms vector data representing an outline, thereby Identify contours,
The image processing apparatus according to claim 11.
前記特定手段は、前記取得手段により取得される複数のマーカの位置と、前記記憶手段に記憶されている所定の物体の形状に関する情報と、に基づき、前記所定の物体の輪郭を特定する、
ことを特徴とする請求項１１に記載の画像処理装置。 Storage means for storing in advance information relating to the shape of the predetermined object;
The specifying unit specifies an outline of the predetermined object based on the positions of the plurality of markers acquired by the acquiring unit and information on the shape of the predetermined object stored in the storage unit.
The image processing apparatus according to claim 11.
前記特定手段により特定される撮像画像内における前記所定の物体の輪郭を識別可能に表示する制御を行う表示制御手段と、
前記特定手段により特定される撮像画像における前記所定の物体における輪郭内の画像部分を除去する画像処理を行う画像処理手段と、
を更に備える、
ことを特徴とする請求項１１乃至１３のいずれか１項に記載の画像処理装置。 Display means for displaying a captured image;
Display control means for performing control to display the contour of the predetermined object in the captured image specified by the specifying means in an identifiable manner;
Image processing means for performing image processing for removing an image portion within a contour of the predetermined object in the captured image specified by the specifying means;
Further comprising
The image processing apparatus according to claim 11, wherein the image processing apparatus is an image processing apparatus.
前記特定手段は、前記取得手段により取得される複数の位置と、前記受信手段により受信される所定の物体の形状に関する情報と、に基づき、前記所定の物体の輪郭を特定する、
ことを特徴とする請求項１１乃至１４のいずれか１項に記載の画像処理装置。 Receiving means for receiving, via the captured image, information related to the shape of the marker transmitted by light emission;
The specifying unit specifies an outline of the predetermined object based on a plurality of positions acquired by the acquiring unit and information on a shape of the predetermined object received by the receiving unit;
The image processing apparatus according to claim 11, wherein the image processing apparatus is an image processing apparatus.
一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する処理と、
前記取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する処理と、
を含むことを特徴とする画像処理方法。 An image processing method in an image processing apparatus including an imaging unit,
When a rod-shaped object whose one end is attached to the image processing apparatus and whose other end is gripped by a user is reflected in a captured image captured by the imaging unit, the rod-shaped object Processing for obtaining the position of the object in the captured image;
A process of removing an image portion of the rod-shaped object in the captured image based on the position of the rod-shaped object in the acquired captured image;
An image processing method comprising:
一方の端部が当該画像処理装置に装着され、他方の端部が使用者により把持される棒状の物体が、前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記棒状の物体の該撮像画像内における位置を取得する機能と、
前記取得された前記撮像画像内における前記棒状の物体の位置に基づき、その撮像画像内における前記棒状の物体の画像部分を除去する機能と、
を実現させるためのプログラム。 For a computer of an image processing apparatus provided with an imaging means,
When a rod-shaped object whose one end is attached to the image processing apparatus and whose other end is gripped by a user is reflected in a captured image captured by the imaging unit, the rod-shaped object A function of acquiring the position of the object in the captured image;
A function of removing an image portion of the rod-shaped object in the captured image based on the position of the rod-shaped object in the acquired captured image;
A program to realize
所定の物体の異なる複数の位置に配置されたマーカが前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記複数のマーカの前記撮像画像内における位置を取得する処理と、
前記取得手段により取得される複数の位置と、前記所定の物体の形状に関する情報と、に基づき、前記撮像画像内における前記所定の物体の輪郭を特定する処理と、
を含むことを特徴とする画像処理方法。 An image processing method in an image processing apparatus including an imaging unit,
A process of acquiring the positions of the plurality of markers in the captured image when markers arranged at different positions of the predetermined object are reflected in the captured image captured by the imaging unit;
A process of specifying an outline of the predetermined object in the captured image based on a plurality of positions acquired by the acquisition unit and information on the shape of the predetermined object;
An image processing method comprising:
所定の物体の異なる複数の位置に配置されたマーカが前記撮像手段によって撮像された撮像画像内に写り込んでいる場合に、前記複数のマーカの前記撮像画像内における位置を取得する機能と、
前記取得手段により取得される複数の位置と、前記所定の物体の形状に関する情報と、に基づき、前記撮像画像内における前記所定の物体の輪郭を特定する機能と、
を実現させるためのプログラム。 For a computer of an image processing apparatus provided with an imaging means,
A function of acquiring the positions of the plurality of markers in the captured image when markers arranged at different positions of the predetermined object are reflected in the captured image captured by the imaging unit;
A function for specifying an outline of the predetermined object in the captured image based on a plurality of positions acquired by the acquisition unit and information on the shape of the predetermined object;
A program to realize
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015103346A JP2016220051A (en) | 2015-05-21 | 2015-05-21 | Image processing apparatus, image processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015103346A JP2016220051A (en) | 2015-05-21 | 2015-05-21 | Image processing apparatus, image processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016220051A true JP2016220051A (en) | 2016-12-22 |
| JP2016220051A5 JP2016220051A5 (en) | 2018-06-14 |
Family
ID=57581683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015103346A Pending JP2016220051A (en) | 2015-05-21 | 2015-05-21 | Image processing apparatus, image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016220051A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106791449A (en) * | 2017-02-27 | 2017-05-31 | 努比亚技术有限公司 | Method, photo taking and device |
| WO2018156321A1 (en) * | 2017-02-27 | 2018-08-30 | Thomson Licensing | Method, system and apparatus for visual effects |
| JP2018190335A (en) * | 2017-05-11 | 2018-11-29 | 株式会社コロプラ | Method for providing virtual space, program for implementing that method in computer, and information processor for executing that program |
| CN113744126A (en) * | 2021-08-06 | 2021-12-03 | Oppo广东移动通信有限公司 | Image processing method and device, computer readable medium and electronic device |
| WO2023005298A1 (en) * | 2021-07-27 | 2023-02-02 | 荣耀终端有限公司 | Image content masking method and apparatus based on multiple cameras |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010081357A (en) * | 2008-09-26 | 2010-04-08 | Olympus Corp | Image processing apparatus, image processing method, image processing program, and imaging device |
| JP2013109696A (en) * | 2011-11-24 | 2013-06-06 | Toyota Motor Corp | Attitude estimation device, attitude estimation method, and program |
-
2015
- 2015-05-21 JP JP2015103346A patent/JP2016220051A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010081357A (en) * | 2008-09-26 | 2010-04-08 | Olympus Corp | Image processing apparatus, image processing method, image processing program, and imaging device |
| JP2013109696A (en) * | 2011-11-24 | 2013-06-06 | Toyota Motor Corp | Attitude estimation device, attitude estimation method, and program |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106791449A (en) * | 2017-02-27 | 2017-05-31 | 努比亚技术有限公司 | Method, photo taking and device |
| WO2018156321A1 (en) * | 2017-02-27 | 2018-08-30 | Thomson Licensing | Method, system and apparatus for visual effects |
| CN106791449B (en) * | 2017-02-27 | 2020-02-11 | 努比亚技术有限公司 | Photo shooting method and device |
| JP2018190335A (en) * | 2017-05-11 | 2018-11-29 | 株式会社コロプラ | Method for providing virtual space, program for implementing that method in computer, and information processor for executing that program |
| WO2023005298A1 (en) * | 2021-07-27 | 2023-02-02 | 荣耀终端有限公司 | Image content masking method and apparatus based on multiple cameras |
| CN113744126A (en) * | 2021-08-06 | 2021-12-03 | Oppo广东移动通信有限公司 | Image processing method and device, computer readable medium and electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016220051A (en) | Image processing apparatus, image processing method and program | |
| EP2395474A2 (en) | Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method | |
| JP5769032B2 (en) | Imaging apparatus, imaging method, and program | |
| JP5255789B2 (en) | Image processing program and image processing apparatus | |
| WO2020261927A1 (en) | Presentation system, presentation device, and presentation method | |
| US20160065863A1 (en) | Image capturing apparatus and image capturing method | |
| KR20170074742A (en) | Image processing device, image processing method amd program | |
| US20160191797A1 (en) | Image Processing Device and Image Playback Device Which Control Display Of Wide-Range Image | |
| WO2015159775A1 (en) | Image processing apparatus, communication system, communication method, and image-capturing device | |
| JP7148855B2 (en) | PROJECTION CONTROL DEVICE, PROJECTION DEVICE, PROJECTION METHOD AND PROGRAM | |
| WO2016011861A1 (en) | Method and photographing terminal for photographing object motion trajectory | |
| JP2003345819A5 (en) | ||
| JP2008085555A (en) | Information display device, display control method and display control program | |
| JP6065477B2 (en) | Image processing apparatus and program | |
| JP6388115B2 (en) | Imaging apparatus, imaging control method, and program | |
| JP2014178146A (en) | Image processing apparatus and method | |
| JP2013236660A (en) | Golf club head trajectory analysis system, method of the same, and imaging stand | |
| CN109974531B (en) | Video accurate target reading system and video accurate target reading method | |
| JP7059680B2 (en) | Shooting equipment, shooting method, program | |
| JP6508730B2 (en) | Light emission marker device, marker detection device, transmission system, marker light emission method, marker detection method, and program | |
| JP2016062336A (en) | Operation instruction system, operation instruction method, attached terminal, and operation instruction management server | |
| JP2010170035A (en) | Camera and camera system | |
| JP2005257869A (en) | Imaging apparatus | |
| JP2015106111A (en) | Projection system | |
| JP6507281B2 (en) | Informing device and informing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180426 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190207 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190726 |