JP2019113980A - Image processing apparatus, image processing method and program - Google Patents
Image processing apparatus, image processing method and program Download PDFInfo
- Publication number
- JP2019113980A JP2019113980A JP2017245772A JP2017245772A JP2019113980A JP 2019113980 A JP2019113980 A JP 2019113980A JP 2017245772 A JP2017245772 A JP 2017245772A JP 2017245772 A JP2017245772 A JP 2017245772A JP 2019113980 A JP2019113980 A JP 2019113980A
- Authority
- JP
- Japan
- Prior art keywords
- image
- position state
- area
- correction
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
本発明は、撮影された画像を補正する処理を行う画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program that perform processing for correcting a captured image.
一般に、カメラ装置に採用されている魚眼レンズ（超広角レンズ）は、例えば、画角が略１８０度という広範囲な撮影が可能ではあるが、射影方式を採用しているために魚眼レンズで撮影された画像（魚眼画像）は、その中心部からその端部（周辺部）の方に向かうほど、大きく歪んだものとなる。このような魚眼レンズをカメラ装置の前面部と後面部にそれぞれ設けて全天球３６０°の撮影を可能とした技術としては、例えば、特開２０１７−８４４２２号公報（特許文献１）が知られている。このような全天球画像の撮影時に、例えば、カメラ装置を手に持って撮影したり、三脚に固定して撮影したりすると、画像の歪みによる影響を受けて、カメラ装置を支持する持ち手や三脚の一部が画像内に不自然に大きく写ってしまう。 In general, a fisheye lens (super wide-angle lens) employed in a camera device can capture a wide range of angles of view, for example, approximately 180 degrees, but an image captured with a fisheye lens because a projection method is employed The (fish-eye image) is more distorted as it goes from the center to the end (peripheral part). For example, Japanese Patent Application Laid-Open No. 2017-84422 (Patent Document 1) is known as a technology for providing such a fisheye lens on the front and back parts of the camera device to enable photographing of the full celestial sphere 360 °. There is. At the time of shooting such a omnidirectional image, for example, if the camera device is held by hand or shot fixed with a tripod, a handle that supports the camera device is affected by the distortion of the image. Some parts of the camera or tripod appear unnaturally large in the image.
上述した特許文献１の技術では、全天球画像が表示されている状態においてピンチイン操作やピンアウト操作に応じて、全天球画像を縮小表示したり、拡大表示したり、又はタップ操作に応じてその指定部分にぼかし処理を施したりするようにしているが、カメラ装置を支持する持ち手や三脚の一部が不自然に大きく写ってしまうという不具合を解消するまでには至らない。そこで、例えば、全天球画像のうち、撮影者の持ち手が写っている領域に周知のインペイント処理を施したり、持ち手が写っている領域を縮小してインペイント処理を施したりすることも考えられるが、前者の場合には、手が消去された全天球画像が生成されることになり、後者の場合には腕が消去された全天球画像が生成されることがあるため、やはり不自然で違和感のある画像となってしまう。
According to the technique of
本発明の課題は、撮像手段を支持する被写体が画像に不自然に大きく写るような場合に、この画像の領域を適切に補正できるようにすることである。 An object of the present invention is to make it possible to appropriately correct the area of an image when an object supporting the imaging means is unnaturally large in the image.
上述した課題を解決するために本発明は、
撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得する第１取得手段と、
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得手段と、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定手段と、
前記特定手段で特定された供給元領域を縮小すると共に、縮小した前記供給元領域の画像データを補正用画像データとして用いて、前記特定手段で特定された補正対象領域を補正する補正手段と、
を備えることを特徴とする画像処理装置である。
In order to solve the problems described above, the present invention is
A first acquisition unit that acquires, as a first image, an image captured when the position state of the imaging unit with respect to the imaging target is the first position state;
A second acquisition unit that acquires, as a second image, an image captured when the position state of the imaging unit with respect to the imaging target is a second position state different from the first position state;
Among the acquired first images, a predetermined area where a predetermined subject supporting the imaging means is shown is specified as a supply source area, and the object is photographed in the acquired second image. Specifying means for specifying a predetermined area as a correction target area;
A correction unit configured to reduce the supply source region specified by the specifying unit and correct the correction target region specified by the specifying unit using the reduced image data of the supply source region as correction image data;
An image processing apparatus comprising:
本発明によれば、撮像手段を支持する被写体が画像に不自然に大きく写るような場合に、この画像の領域を適切に補正することができる。 According to the present invention, when the subject supporting the imaging means is unnaturally large in the image, the area of the image can be properly corrected.
以下、図１〜図１０を参照して本発明の実施形態を説明する。
本実施形態は、画像処理装置としてカメラ装置１に適用した場合を例示したもので、図１（１）は、このカメラ装置１の外観図である。
カメラ装置１は、撮像機能を主体とするカメラで、全天球３６０°の撮影が可能な手持ちサイズの全天球カメラを構成し、表示手段などを備えた本体装置（図示省略）とは別体の構成となっている。カメラ装置１は、その筐体全体が薄型の長方体を成し、図示の例は、長方体のカメラ装置１が縦長となるように撮影者が片手で支持した状態を示し、その長さ方向の一端部（図中、下端部）側を支持部２とし、他端部（図中、上端部）側をレンズ装着部３とした構成となっている。
Hereinafter, an embodiment of the present invention will be described with reference to FIGS. 1 to 10.
The present embodiment exemplifies a case where the present invention is applied to a
The
カメラ装置１の支持部２には、電源をオンオフする電源ボタン４、撮影を指示するレリーズボタン５の他、撮影モード（全天球撮影モード、半天球撮影モード）を切り替えるモードボタンなどの各種の操作ボタンが設けられている。ここで、レリーズボタン５が装着されている側を前面（正面）とし、その反対側を後面（背面）とすると、レンズ装着部３の前面側には、前面撮像レンズ（超広角レンズ）６が設けられ、また、その後面側には後面撮像レンズ（超広角レンズ）７が設けられている。この前面撮像レンズ６と後面撮像レンズ７は、同一規格（例えば画角が１８０°）の超広角レンズ（魚眼レンズ）であり、それらは筐体を挟んで背中合わせの状態に配設されている。
The
図１（２）は、全天球３６０°撮影を説明するための図である。
全天球３６０°撮影は、前面撮像レンズ６による前方１８０°撮影と後面撮像レンズ７による後方１８０°撮影を同時に行うもので、前方１８０°撮影によって得られた前方半天球画像と後方１８０°撮影によって得られた後方半天球画像とを合成することによって全天球画像が生成される。この全天球３６０°撮影を利用して撮影者が自分自身を撮影する自撮りを行う場合に撮影者は、前面撮像レンズ６が自分の顔に対面するようにカメラ装置１を片手で支持するようにすればよい。
FIG. 1 (2) is a view for explaining the photographing of the full celestial sphere 360 °.
The 360 ° all-sky shot is a simultaneous 180 ° forward shooting with the
図２は、カメラ装置１の基本的な構成要素示したブロック図である。
カメラ装置１は、制御部１１、記憶部１２、操作部１３、音声出力部１４、通信部１５、姿勢検出部１６、撮像部１７の他に、画像データ生成部１８、画像データ処理部１９を有する構成となっている。制御部１１は、図示省略した電源部（二次電池）らの電力供給によって動作し、記憶部１２内の各種のプログラムに応じてこのカメラ装置１の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１２は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラム（図４〜図７）や各種のアプリケーションなどが格納されている。
FIG. 2 is a block diagram showing basic components of the
The
操作部１３は、電源ボタン４、レリーズボタン５などの各種の操作ボタンを備え、制御部１１は、この操作部１３からの入力操作信号に応じた処理を実行する。音声出力部１４は、撮影者に促す音声メッセージなどを出力する。通信部１５は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格の短距離無線通信機能、又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）機能を構成するもので、本体装置（図示省略）との通信インターフェイスで、生成した全天球画像を本体装置に送信してライブビュー画像として表示させたり、撮影済み画像として保存させたりする。
The
姿勢検出部１６は、カメラ装置１の姿勢を検出するもので、例えば、３軸タイプの加速度センサやジャイロセンサなどを有し、制御部１１は、姿勢検出部１６からのセンサ信号に基づいてカメラ装置１の姿勢（例えば、水平、傾きなど）を検出する。また、本実施形態において制御部１１は、姿勢検出部１６からのセンサ信号をセンシング動作信号として取得し、このセンシング動作信号を解析することによりカメラ装置１の移動方向及び移動量（移動ベクトル）を検出するようにしている。本実施形態においては、前後に連続する画像内の動きベクトル（移動ベクトル）を画素単位で推定するオプティカルフロー推定と呼ばれる技術を利用して、カメラ装置１の移動方向及び移動量を判断するようにしているが、このオプティカルフロー推定の補助的な手段として、姿勢検出部１６からのセンシング動作信号を解析してカメラ装置１の移動ベクトルを検出するようにしている。
The
撮像部１７は、高精細に静止画像や動画像を撮像可能な光学系とその駆動系を有する構成で、この撮像部１７には、前面撮像レンズ６とそれに対応する撮像素子（例えば、ＣＭＯＳ又はＣＣＤ）６０、後面撮像レンズ７とそれに対応する撮像素子（例えば、ＣＭＯＳ又はＣＣＤ）７０を有している。この前面撮像レンズ６、後面撮像レンズ７による光学像が、対応する撮像素子６０、７０に結像されると、この撮像素子６０、７０によって光電変換された画像信号（アナログ値の信号）は、画像データ生成部１８に送られる。
The
画像データ生成部１８は、撮像部１７から転送されたアナログ値の信号に対してＲＧＢの色成分毎に適宜ゲイン調整を含む所定のアナログ処理を行った後、サンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、画素補間処理などのカラープロセス処理を行い、デジタル値の輝度信号及び色差信号を生成して画像データ処理部１９に与える。ここで、本実施形態においては、全天球３６０°の撮影時には前面撮像レンズ６による前方１８０°撮影と、後面撮像レンズ７による後方１８０°撮影を同時に行うようにしているが、画像データ生成部１８は、この前方１８０°撮影によって得られた前方半天球画像と後方１８０°撮影によって得られた後方半天球画像とを合成して全天球画像（例えば、ハイパードームマスタ形式の画像）を生成するようにしている。
The image
なお、全天球画像のフォーマットとしては、曲面に投影可能なフォーマットであれば、ハイパードームマスタ形式に限らず、ドーム形式、エクイレクタングラー形式であってもよいが、これらの何れのフォーマット形式であっても全天球画像を生成する機能は、カメラ分野において一般的に用いられている技術であり、本実施形態においてもその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。 Note that the format of the omnidirectional image is not limited to the hyper dome master format as long as it can be projected on a curved surface, and the dome format or the equi-rectangler format may be used, but any of these format formats may be used. Even if there is a function to generate an omnidirectional image, it is a technology generally used in the camera field, and since the well-known technology is used also in this embodiment, the specific description thereof Shall be omitted.
画像データ処理部１９は、画像データ生成部１８から画像データを取得して現像処理やホワイトバランス調整などの各種の画像処理を行うようにしているが、本実施形態においては、更に、全天球画像を補正する処理を行うようにしている。この画像補正処理を行うために画像データ処理部１９には、取得部１９ａ、特定部１９ｂ、補正部１９ｃが設けられている。なお、この取得部１９ａ、特定部１９ｂ、補正部１９ｃについては後で詳細に説明するものとする。
The image
図３は、全天球画像の補正処理を行うために前提となる撮影方法を説明するための図で、撮影者が自分自身を含めて周囲を撮影する自撮りを行う場合のカメラ位置と、そのカメラ位置で撮影された前方半天球画像と後方半天球画像とを合成することによって生成された全天球画像（補正前）を例示した図である。
撮影者は、前面撮像レンズ６に対面するようにカメラ装置１を支持してその腕を緩め伸ばした状態において、カメラ装置１を撮影者の顔の高さに合わせたカメラ装置１の位置状態（例えば、略水平状態）を基準位置状態とした場合に、その基準位置状態から図中、矢印方向（上下方向）にカメラ装置１を所定量移動し、カメラ装置１の移動状態が複数の位置状態（例えば、下方向に移動した位置状態と上方向に移動した位置状態）の各々であるときに撮影する。ここで、“位置状態”は、厳密な１点を意味するのではなく、所定の幅（例えば、±１０ｃｍ）を持たせた意味で、この辺りに相当する。“所定量”とは、撮影時の腕の伸ばし方などによって大きく影響されるが、例えば、１０〜２０ｃｍ程度の値であり、撮影者が任意に設定可能な値である。
FIG. 3 is a view for explaining a photographing method which is a premise for performing correction processing of an omnidirectional image, and a camera position when a photographer performs self-photographing of surroundings including oneself; It is the figure which illustrated the omnidirectional image (before correction | amendment) produced | generated by synthesize | combining the front half-hemisphere image and the back half-hemisphere image which were image | photographed in the camera position.
In a state in which the photographer supports the
図３（１）は、カメラ装置１を基準位置状態（略水平状態）から下方向に所定量移動した位置状態、つまり、撮影者とその周囲の背景を含む撮影対象に対する撮像手段（撮像レンズ６、７を含む、以下同様）の位置状態が第１位置状態（例えば、前面撮像レンズ６が撮影者の胸部付近にある状態）であり、カメラ光軸の方向が撮影者の顔に向いている状態を例示している。図３（２）は、撮像手段の位置状態がこの第１位置状態であるときに撮影された前方半天球画像と後方半天球画像とを合成することによって生成された全天球画像（第１画像）を示した図である。なお、図示の例では撮影対象として撮影者のみを示し、その他の撮影対象である背景などは図示省略したもので、図中、上側半分が前方半天球画像、下側半分が後方半天球画像を示している（以下、同様）。図３（１）に示すようにカメラ装置１を持っている撮影者の持ち手は、他の部位に比べ、撮像レンズ６、７の歪曲歪みによる影響を受けて不自然に大きく写ってしまう。
FIG. 3 (1) shows a position state in which the
図３（３）は、カメラ装置１を基準位置状態から上方向に移動したカメラ装置１の位置状態、つまり、撮影対象に対する撮像手段の位置状態が第２位置状態（例えば、前面撮像レンズ６が撮影者の頭上付近にある状態）であり、カメラ光軸の方向が撮影者の顔に向いている状態を例示している。図３（４）は、撮像手段の位置状態がこの第２位置状態であるときに撮影された前方半天球画像と後方半天球画像とを合成することによって生成された全天球画像（第２画像）を示した図である。この場合においてもカメラ装置１を持っている撮影者の持ち手は、図３（２）の場合と同様に不自然に大きく写ってしまう。
In FIG. 3 (3), the position of the
このように第１位置状態で得られた全天球画像と第２位置状態で得られた全天球画像（第２画像）とは、カメラ装置１の持ち方を変えない限り、その手の写り具合（大きさや形状）は略同様で変わりはないが、その持ち手に連なる腕部分や持ち手の周囲などの写り方は、撮影位置の違い（視点の違い）によって異なる。例えば、図３（２）では、持ち手の腕の大部分がその大きな手に隠されずに、そのまま写っているのに対し、図３（４）では大きな手によって腕部分の大部分が隠されてしまう。また、持ち手の周囲において、図３（４）では、大きな手によって隠れていた片脚部分が、図３（２）では露出しているなど、第１画像と第２画像とは、持ち手を除く他の部分が撮影位置の違いによって異なる。このことを全天球画像の補正処理で利用するために、撮影位置を変えて撮影した複数枚（本実施形態では２枚）の画像を得るようにしている。
As described above, the omnidirectional image obtained in the first position state and the omnidirectional image (second image) obtained in the second position state do not change the hand of the
なお、図３の例では、第１位置状態を、撮像手段が撮影者の胸部付近にある位置状態とし、第２位置状態を、撮像手段が撮影者の頭上付近にある位置状態とした場合を示したが、それとは逆に第１位置状態を撮像手段が撮影者の頭上付近に、第２位置状態を撮像手段が撮影者の胸部付近に、それぞれある位置状態としてもよい。また、撮影する順番も、撮影者の胸部付近の次に頭上付近とする場合に限らず、撮影者の頭上付近、胸部付近の順としてもよい。更に、カメラ装置１の移動方向として、基準位置状態から上下方向への移動を例示したが、左右方向への移動などであってもよい。
In the example of FIG. 3, it is assumed that the first position state is a position state where the imaging means is near the chest of the photographer, and the second position state is a position state where the imaging means is near the head of the photographer Although the first position condition is shown near the head of the photographer and the second position condition is near the chest of the photographer, the first position condition may be in the position condition. In addition, the order of photographing is not limited to the case near the head near the chest next to the vicinity of the chest of the photographer, but may be near the chest above the head of the photographer and near the chest. Furthermore, as the movement direction of the
画像データ処理部１９においてその取得部１９ａは、撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された前方半天球画像と後方半天球画像との合成画像（全天球画像）を第１画像として取得すると共に、第２位置状態であるときに撮影された前方半天球画像と後方半天球画像との合成画像（全天球画像）を第２画像として取得する処理を行う。特定部１９ｂは、取得部１９ａによって取得された複数の全天球画像（第１画像と第２画像）内の一部を所定の領域として特定する処理を行うもので、第１画像のうち、カメラ装置１を支持する所定の被写体（撮影者の手の領域と腕の領域）が写っている所定の領域を、供給元領域として特定し、第２画像のうち、上記の被写体（撮影者の手の領域と腕の領域）が写っている所定の領域を、補正対象領域として特定する処理を行う。
In the image
補正部１９ｃは、この特定部１９ｂによって第１画像内に特定した供給元領域、第２画像内に特定した補正対象領域のうち、供給元領域内の補正用画像データを用いて、補正対象領域を補正する処理を行う。すなわち、供給元領域を縮小すると共に、補正対象領域内の画像データを削除する。そして、縮小した供給元領域の画像データを補正用画像データとして、補正対象領域内に合成した後、補正対象領域内において、この合成部分を除く残りの部分（空白部分）に対してインペイント処理を行う。なお、上述した特定処理や画像補正処理の詳細については後述するものとする。
The
次に、本実施形態におけるカメラ装置１の動作概念を図４〜図７に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードに従った動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図４〜図７は、カメラ装置１の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図４〜図７のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
Next, the operation concept of the
図４及び図５は、モードボタン（図示省略）によって全天球撮影モードが選択された際に実行開始される全天球撮影モードでの特徴的な動作を示したフローチャートである。
カメラ装置１の制御部１１は、マニュアル撮影が指定されているかオート撮影が指定されているかを判別する（図４のステップＡ１）。すなわち、上述したように本実施形態では、カメラ装置１の位置状態を変えて複数枚（本実施形態においては２回）の撮影を行うようにしているが、この複数枚の撮影方法として、レリーズボタン５が操作される毎に１枚毎に撮影するマニュアル撮影が指定されているか、レリーズボタン５を１回操作した後は、自動的に逐次撮影するオート撮影が指定されているかを判別する。
FIGS. 4 and 5 are flowcharts showing characteristic operations in the omnidirectional shooting mode which is started when the omnidirectional shooting mode is selected by the mode button (not shown).
The
いま、マニュアル撮影が指定されていれば（ステップＡ１でＹＥＳ）、レリーズボタン５の操作待ち状態となる（ステップＡ２）。ここで、撮影者は、例えば、図３（１）に示したように撮影対象に対する撮像手段の位置状態が第１位置状態であるときに、レリーズボタン５を操作する。制御部１１は、レリーズボタン５が操作されると（ステップＡ２でＹＥＳ）、その撮影タイミングで一対の半天球画像（前面撮像レンズ６及び撮像素子６０で得られた前方半天球画像と、後面撮像レンズ７及び撮像素子７０で得られた後方半天球画像）を取得する（ステップＡ３）。
If manual photographing is designated (YES in step A1), the operation of the
そして、この一対の半天球画像を合成して全天球画像を生成する画像処理を行い、その全天球画像を１枚目の全天球画像（第１画像）としてワークメモリ（図示省略）に一時記憶しておく（ステップＡ４）。これによって１枚分の撮影が終ると、撮影枚数に“１”を加算してその値を更新する撮影枚数カウント処理（ステップＡ５）を行った後、撮影枚数は所定枚数（本実施形態では２枚）に達したかを判別するが（ステップＡ６）、いま、１枚目の撮影が終った場合であるから（ステップＡ６でＮＯ）、上述のステップＡ２に戻り、再びレリーズ操作待ち状態となる。 Then, image processing is performed to generate a omnidirectional image by combining the pair of hemispheric images, and the omnidirectional image is used as a first omnidirectional image (first image) as a work memory (not shown). Temporarily store it (step A4). As a result, when one shot of the image is finished, “1” is added to the number of shots and the shot number counting process (step A5) for updating the value is performed, and then the number of shots is a predetermined number (2 in this embodiment). (Step A6). Since it is now the case that the shooting of the first image is finished (NO in step A6), the process returns to step A2 described above, and waits for the release operation again. .
ここで、撮影者は、例えば、図３（２）に示したように撮影対象に対する撮像手段の位置状態が第２位置状態であるときに、レリーズボタン５を操作する。制御部１１は、レリーズボタン５が操作されると（ステップＡ２でＹＥＳ）、上述の場合と同様に、前方半天球画像と後方半天球画像を取得して（ステップＡ３）、全天球画像を生成し、この全天球画像を２枚目の画像（第２画像）としてワークメモリ（図示省略）に一時記憶しておく（ステップＡ４）。これによって２枚分の撮影が終ると、撮影枚数の値は“２”に更新されて（ステップＡ５）、所定枚数に達するため（ステップＡ６でＹＥＳ）、この撮影枚数をクリアする処理（ステップＡ７）に移る。その後、１枚目の全天球画像（第１画像）を用いて２枚目の全天球画像（第２画像）を補正する処理（ステップＡ８）を実行した後、図４及び図５のフローから抜ける。
Here, the photographer operates the
他方、オート撮影が指定されていれば（ステップＡ１でＮＯ）、図５のフローに移り、レリーズボタン５の操作待ち状態となる（ステップＡ９）この状態において、レリーズボタン５が操作されると（ステップＡ９でＹＥＳ）、前方半天球画像を逐次取得する動作を開始すると共に、姿勢検出部１６からセンサ信号を逐次取得する動作を開始する（ステップＡ１０）。そして、逐次取得した前方半天球画像に基づいてオプティカルフロー推定を行って前画像（前フレーム画像）の各画素が後画像（後フレーム画像）のどの画素に移動したかの移動ベクトルを推定したり、姿勢検出部１６から逐次取得したセンサ信号に基づいてカメラ装置１の姿勢（水平、傾きなど）やその移動ベクトルを検出したりする動作検出処理を開始する（ステップＡ１１）。
On the other hand, if auto shooting is specified (NO in step A1), the process proceeds to the flow of FIG. 5 and waits for the operation of the release button 5 (step A9). YES in step A9) starts an operation of sequentially acquiring a front hemispherical image and an operation of sequentially acquiring a sensor signal from the posture detection unit 16 (step A10). Then, optical flow estimation is performed on the basis of the forward hemispheric image sequentially acquired to estimate the movement vector of which pixel of the subsequent image (rear frame image) each pixel of the previous image (previous frame image) has moved to An operation detection process for detecting the attitude (horizontal, tilt, etc.) of the
この検出結果（移動ベクトル）を総合的に判断してカメラ装置１（撮像手段）が基準位置状態から（ステップＡ１２でＹＥＳ）、所定方向に所定量移動したかを判別する（ステップＡ１３、Ａ１４）。ここで、所定方向（図３の例では上下方向）への移動でなければ（ステップＡ１３でＮＯ）、移動方向の間違えを促す音声メッセージを出力（ステップＡ１５）させた後、上述のステップＡ１３に戻るが、所定方向への移動でも（ステップＡ１３でＹＥＳ）、所定の移動量に達していなければ（ステップＡ１４でＮＯ）、上述のステップＡ１３に戻る。いま、基準位置状態から所定方向へ所定量分移動したことを検出すると、例えば、図３（１）に示すように撮像手段が基準位置状態から下方向に所定量分移動してその位置状態が第１位置状態に達したことを検出したときには（ステップＡ１４でＹＥＳ）、その検出タイミングで一対の半天球画像（前方半天球画像と後方半天球画像）を取得する（ステップＡ１６）。そして、この一対の半天球画像を合成して全天球画像を生成する画像処理を行い、その全天球画像を１枚目の全天球画像（第１画像）としてワークメモリ（図示省略）に一時記憶しておく（ステップＡ１７）。 This detection result (movement vector) is comprehensively judged to determine whether the camera device 1 (imaging means) has moved a predetermined amount in a predetermined direction from the reference position state (YES in step A12) (steps A13 and A14) . Here, if the movement is not in a predetermined direction (vertical direction in the example of FIG. 3) (NO in step A13), a voice message prompting an error in the movement direction is output (step A15), and then the process proceeds to step A13 described above. Although the process returns, even in the movement in the predetermined direction (YES in step A13), if the predetermined movement amount is not reached (NO in step A14), the process returns to step A13 described above. Now, when it is detected that the reference position state has moved in the predetermined direction by a predetermined amount, for example, as shown in FIG. 3 (1), the imaging means moves downward from the reference position state by a predetermined amount When it is detected that the first position state has been reached (YES in step A14), a pair of hemispheric images (forward hemispheric image and posterior hemispheric image) are acquired at the detection timing (step A16). Then, image processing is performed to generate a omnidirectional image by combining the pair of hemispheric images, and the omnidirectional image is used as a first omnidirectional image (first image) as a work memory (not shown). Temporarily store it (step A17).
これによって１枚分の撮影が終ると、撮影枚数に“１”を加算してその値を更新する撮影枚数カウント処理（ステップＡ１８）を行なった後、その撮影枚数は所定枚数に達したかを判別するが（ステップＡ１９）、いま、１枚目の撮影が終った場合であるから上述のステップＡ１２に戻る。ここで、カメラ装置１は、第１位置状態から第２位置状態に移動する際に、その移動途中で基準位置状態に戻されるので、第１位置状態から上方向に移動されて基準位置状態に達すると（ステップＡ１２でＹＥＳ）、この基準位置状態から更にカメラ装置１が所定方向（上方向）に所定量移動したか（第２位置状態に達したか）を判別する（ステップＡ１３、Ａ１４）。なお、本実施形態ではカメラ装置１の基準位置状態から下方向及び上方向への移動量を互いに同等とすることにより、第１位置状態と第２位置状態とが基準位置状態を中心として対称な位置関係となるようにしたが、それらが非対称となるように移動量を設定するようにしてもよい。
When one shot of the image is finished, "1" is added to the shot count and the shot count count process (step A18) is performed to update the value. Although it is determined (step A19), the process returns to the above-mentioned step A12 because it is the case that the photographing of the first image is finished. Here, when moving from the first position state to the second position state, the
いま、カメラ装置１の位置状態が第１位置状態から基準位置状態を経由して第２位置状態に達したことを検出すると（ステップＡ１４でＹＥＳ）、上述の場合と同様に、その検出タイミングで前方半天球画像と後方半天球画像を取得し（ステップＡ１６）、それらを合成して全天球画像を生成する画像処理を行い、その全天球画像を２枚目の全天球画像（第２画像）としてワークメモリ（図示省略）に一時記憶しておく（ステップＡ１７）。これによって２枚分の撮影が終ると、撮影枚数の更新（ステップＡ１８）によって、撮影枚数の値は、所定枚数“２”に達するので（ステップＡ１９でＹＥＳ）、撮影枚数をクリアする処理（ステップＡ２０）を行った後、図４のステップＡ８に移り、１枚目の全天球画像（第１画像）を用いて２枚目の全天球画像（第２画像）を補正する画像補正処理を実行する。
Now, when it is detected that the position state of the
図６及び図７は、１枚目の全天球画像（第１画像）を用いて２枚目の全天球画像（第２画像）を補正する画像補正処理（図４のステップＡ８）を詳述するためのフローチャートである。
この画像補正処理の全体を大別すると、「位置合わせ処理」、「領域抽出処理」、「フィッティング処理」、「合成・インペイント処理」から成る。まず、「位置合わせ処理」として、複数の全天球画像、つまり、１枚目の全天球画像（第１画像）と２枚目の全天球画像（第２画像）を上述のワークメモリから読み出してそれらの位置合わせを行う（図６のステップＢ１）。この位置合わせ処理の仕方は任意であるが、本実施形態では、ハイパードームマスタ形式の画像を球面の内側に投影し、その投影面に対して位置合わせを行う際に両画像内の着目点を合致させて両画像の向きのズレなどを調整する。
6 and 7 illustrate an image correction process (step A8 in FIG. 4) for correcting the second omnidirectional image (second image) using the first omnidirectional image (first image). It is a flowchart for describing in detail.
The entire image correction process is roughly classified into "alignment process", "region extraction process", "fitting process", and "composition / in-paint process". First, as the “alignment process”, a plurality of omnidirectional images, that is, a first omnidirectional image (first image) and a second omnidirectional image (second image) of the work memory described above Read out and align them (step B1 in FIG. 6). Although the method of this alignment processing is arbitrary, in the present embodiment, an image of the hyper dome master type is projected to the inside of a spherical surface, and when performing alignment with respect to the projection plane, Match them and adjust the deviation of the direction of both images.
次に、「領域抽出処理」としてステップＢ２〜Ｂ６を実行する。まず、各全天球画像内の中央部分を、手が写り込んでいる領域として暫定的に設定する（ステップＢ２）。すなわち、カメラ装置１の持ち手の位置は、カメラ装置１の形状などから決まり、画像内に写る手の領域の位置や大きさも決まるため、各画像の中央部分を手が写っている領域（暫定領域）として設定する。図８（１）は、１枚目の全天球画像（第１画像）を示し、図８（２）は、２枚目の全天球画像（第２画像）を示し、図中、円形の破線は、第１画像及び第２画像内に設定した手の暫定領域を示している。
Next, steps B2 to B6 are executed as "region extraction processing". First, the central part in each omnidirectional image is provisionally set as an area in which the hand is reflected (step B2). That is, the position of the holding hand of the
そして、第１画像及び第２画像内の暫定領域を比較してそれらの類似度に基づいて各画像内に手の領域を特定する（ステップＢ３）。すなわち、撮影位置を変えて撮影した各画像を比較しても手の領域だけはカメラ装置１との位置関係は変わらず、画像上でもその位置関係が変わらないため、暫定領域内の当該部分を、カメラ装置１を持つ手の領域として特定する。この場合、手の領域を特定する方法は任意であるが、本実施形態では、既知の手法として、色、輝度、エッジ、テクスチャ情報、更にはＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）などの局所特徴量の何れか、又はそれらの組合せを用いたマッチングで手の領域を特定するようにしている。
Then, temporary regions in the first image and the second image are compared, and the region of the hand is specified in each image based on the similarity (step B3). That is, even if the images taken at different shooting positions are compared, the positional relationship with the
なお、手の領域を特定する際にも撮像手段の位置状態を変えて撮影した複数の画像（第１画像と第２画像）を用いることにより、例えば、第１画像において手の領域（肌色領域）に同系色の領域が隣接していてもカメラ装置１を移動させて撮影した第２画像では、当該同系色の領域と手の領域との間に他の領域が出現することによって同系色領域と手の領域とが隣接しなくなっていれば、第１画像内に手の領域を特定する際に、第２画像を参照することにより当該同系色の領域を手の領域として誤認することはなく、手の領域だけを確実に特定することができる。このことは、逆の場合でも同様で、第２画像内に手の領域を特定する際に第１画像を参照することにより当該同系色の領域を手の領域として誤認することなく、手の領域だけを確実に特定することができる。
In addition, when specifying the area of the hand, by using a plurality of images (the first image and the second image) captured by changing the position state of the imaging unit, for example, the area of the hand (skin color area) in the first image In the second image captured by moving the
このようにして各画像内の手の領域（第１被写体）を特定すると、更に手の領域に連なる腕の領域（第２被写体）を特定する（ステップＢ４）。この場合も上述した手の領域の特定方法と同様の特定方法によって手の領域に連なる腕の領域を特定する。そして、第１画像に対しては、特定した手の領域及び腕の領域（第１及び第２被写体を含む領域）を、補正用の画像データを供給する供給元領域として特定し、また、第２画像に対しては、特定した手の領域及び腕の領域（第１及び第２被写体を含む領域）を補正対象領域として特定する（ステップＢ５）。これによって特定した供給元領域の画像データを補正用画像データとして第１画像から抽出し、また、特定した補正対象領域全体の画像データを第２画像から削除する処理を行う（ステップＢ６）。 Thus, when the area of the hand (first subject) in each image is specified, the area of the arm (second subject) connected to the area of the hand is specified (step B4). Also in this case, the area of the arm connected to the area of the hand is specified by the same specifying method as the method of specifying the hand area described above. Then, for the first image, the specified hand area and arm area (area including the first and second objects) are specified as a supply source area for supplying the image data for correction, and For two images, the specified hand area and arm area (areas including the first and second objects) are specified as correction target areas (step B5). The image data of the supply source area specified by this is extracted from the first image as the correction image data, and the image data of the entire specified correction target area is deleted from the second image (step B6).
図８（３）は、第１画像の供給元領域の画像データを補正用画像データとして抽出する際の様子を示した図で、図中、破線を付した領域は、抽出する前の供給元領域を示し、破線矢印を付して示した画像データは、供給元領域から抽出した補正用画像データを示している。図８（４）は、第２画像の補正対象領域（図中、破線を付した領域）の画像データを削除して空白領域とした状態を示した図である。このように第１画像内には供給元領域を、第２画像内には補正対象領域を特定した理由は、カメラ装置１を支持する側の腕部分の写り具合によるもので、腕部分が多く写っている方の画像内に供給元領域を特定し、他方の画像内に補正対象領域を特定するためである。このような領域抽出処理（ステップＢ２〜Ｂ６）が終ると、図７のフローに移り、「フィッティング処理」としてステップＢ７、Ｂ８を実行する。
FIG. 8 (3) is a diagram showing a state in which the image data of the supply source area of the first image is extracted as the correction image data, and the area with the broken line in the figure is the source before the extraction. The image data indicated by the broken line arrow indicates the region, and indicates the correction image data extracted from the supply source region. FIG. 8D is a diagram showing a state in which the image data of the correction target region of the second image (the region indicated by the broken line in the drawing) is deleted to be a blank region. The reason why the source area is specified in the first image and the correction target area is specified in the second image is because the appearance of the arm part on the side supporting the
まず、第１及び第２画像の各々に顔の領域（第３被写体）を特定する（ステップＢ７）。この場合の特定方法についても任意である。本実施形態では、ハイパードームマスタ形式の画像を球面の内側に投影し、その投影面に対して顔検出を行うが、その際、人物を特定してからその顔の領域（第３被写体）を特定するようにしている。次に、供給元領域を縮小するための縮小率を、全天球画像（第１画像と第２画像）内における手の領域と顔の領域との位置関係から算出する（ステップＢ８）。すなわち、曲面の内側に投影された第１画像に含まれる手（第１被写体）に対する顔（第３被写体）の位置と、曲面の内側に投影された第２画像に含まれる手（第１被写体）に対する顔（第３被写体）の位置との関係を表す関係パラメータ（縮小率）を算出する。 First, a face area (third subject) is specified in each of the first and second images (step B7). The identification method in this case is also arbitrary. In the present embodiment, an image of the hyper dome master type is projected on the inside of a spherical surface and face detection is performed on the projection plane. In this case, a person is specified and then the area (third subject) of the face is determined. I try to identify. Next, the reduction ratio for reducing the supply source area is calculated from the positional relationship between the hand area and the face area in the omnidirectional image (first and second images) (step B8). That is, the position of the face (third object) with respect to the hand (first object) contained in the first image projected inside the curved surface, and the hand (first object contained in the second image projected inside the curved surface Relationship parameter (reduction ratio) representing the relationship between the position of the face (third object) with respect to.
図９は、画像補正処理で利用する縮小率の算出方法を説明するための図である。
図９（１）は、ハイパードームマスタ形式の第１画像を半径Ｒの球面の内側に投影した投影面において、手の領域の重心と顔の領域の重心との位置関係を示し、図９（２）は、ハイパードームマスタ形式の第２画像を半径Ｒの球面の内側に投影した投影面において、手の領域の重心と顔の領域の重心との位置関係を示した図である。なお、各画像の中心は、カメラ装置１の位置（光軸）を示している。図９（１）及び図９（２）に示すように、手の領域の位置（重心）とカメラ装置１との位置関係は変わらないが、顔の領域の位置（重心）とカメラ装置１との位置関係が変わるために、図９（１）の第１画像では腕部分は写っているが、図９（２）の第２画像では腕部分が手に隠されて写らなくなる。
FIG. 9 is a diagram for explaining a method of calculating the reduction ratio used in the image correction process.
FIG. 9 (1) shows the positional relationship between the center of gravity of the hand area and the center of gravity of the face area on the projection surface obtained by projecting the first image of the hyper dome master type onto the inner side of the spherical surface of radius R. 2) is a diagram showing the positional relationship between the center of gravity of the hand area and the center of gravity of the face area on a projection plane in which the second image of the hyperdome master format is projected inside the spherical surface of radius R; The center of each image indicates the position (optical axis) of the
図中、Ｌ１は、第１画像において手の領域の重心と顔の領域の重心との間の弧の長さを示すとともに、第１画像における撮影者の腕の大きさに相当し、Ｌ２は、第２画像において手の領域の重心と顔の領域の重心との間の弧の長さを示すとともに、第２画像における撮影者の腕の大きさに相当する。図中、θ１、θ２は、顔の領域の重心と球面の中心を結ぶ直線と、手の領域の重心と球面の中心を結ぶ直線とが成す円周角で、具体的には次の様にして算出される。すなわち、第１画像（第２画像）を半径Ｒの球面の内側に投影した投影面に対して、顔の領域の重心の球面上の３次元座標ＶｅｃｔｏｒＦ （Ｘ＿ｆａｃｅ，ｙ＿ｆａｃｅ，ｚ＿ｆａｃｅ）を取得すると共に、手の領域の重心の球面上の３次元座標ＶｅｃｔｏｒＨ（Ｘ＿ｆａｃｅ,ｙ＿ｆａｃｅ,ｚ＿ｆａｃｅ）を取得し、このＶｅｃｔｏｒＦ、ＶｅｃｔｏｒＨの内積からｃｏｓθ１（ｃｏｓθ２）を算出して、円周角θ１（θ２）を求める。 In the figure, L1 represents the length of an arc between the center of gravity of the hand area and the center of gravity of the face area in the first image, and corresponds to the size of the photographer's arm in the first image. The second image indicates the length of an arc between the center of gravity of the hand area and the center of gravity of the face area in the second image, and corresponds to the size of the arm of the photographer in the second image. In the figure, θ1 and θ2 are the circumferential angles formed by the straight line connecting the center of gravity of the face area and the center of the sphere, and the straight line connecting the center of gravity of the hand area and the center of the sphere, specifically Calculated. That is, for the projection plane obtained by projecting the first image (second image) inside the spherical surface of radius R, three-dimensional coordinates VectorF (X_face, y_face, z_face) on the spherical surface of the center of gravity of the face area are acquired The three-dimensional coordinates VectorH (X_face, y_face, z_face) on the spherical surface of the center of the hand area are obtained, and cos θ1 (cos θ2) is calculated from the inner product of this Vector F and Vector H to determine the circumferential angle θ1 (θ2) .
ここで、撮影時に撮影者の腕の長さ（持ち方）を変えなければ、カメラ位置から顔までの距離も大きく変わらないので、カメラ位置から顔までの距離はＲに近似し、腕の大きさに相当する弧の長さＬ１及びＬ２は、円周角θ１及びθ２にそれぞれ比例することになる。すなわち、Ｌ１は第１画像の腕の長さに相関し、Ｌ２は第２画像の腕の長さに相関するので、縮小率はＬ２／Ｌ１により求められるが、カメラ位置によっては大きな手により腕が隠されるため、手から離れている顔に着目し、第１画像に含まれる手の位置と顔の位置の関係と、第２画像に含まれる手の位置と顔の位置との関係、つまり、円周角θ１及びθ２の関係から縮小率Ｌ２／Ｌ１=θ２／θ１を求める。本実施形態では、第１画像の手の画像を第１画像の腕の画像と一緒に、第２画像に見合った大きさに縮小するために、上記のように弧の長さＬ１、Ｌ２の比率に比例する円周角θ１、θ２の比率に基づいて、縮小率を求めるようにしている。具体的には、縮小率は次式で算出される。
縮小率＝α×（θ２／θ１）
ここで、αは、各種のアプリケーションやデバイス（カメラ装置）に応じて設定される所定の調整用パラメータである。
なお、調整用パラメータを省略してもよい。また、縮小率の算出にあたり、手や顔の領域の重心を用いているが、他の適当な位置を用いてもよい。
Here, the distance from the camera position to the face does not greatly change unless the arm length (how to hold) of the photographer is changed at the time of shooting, so the distance from the camera position to the face approximates R and the size of the arm The arc lengths L1 and L2 corresponding to the length are proportional to the circumferential angles θ1 and θ2, respectively. That is, L1 is correlated to the arm length of the first image, and L2 is correlated to the arm length of the second image, so the reduction ratio is determined by L2 / L1 but depending on the camera position Because the face is hidden, pay attention to the face away from the hand, and the relationship between the position of the hand and the position of the face included in the first image, and the relationship between the position of the hand and the position of the face included in the second image, The reduction ratio L2 / L1 = θ2 / θ1 is determined from the relationship between the circumferential angles θ1 and θ2. In this embodiment, in order to reduce the first image hand image together with the first image arm image to a size commensurate with the second image, the arc lengths L1 and L2 are set as described above. The reduction ratio is determined based on the ratio of the circumferential angles θ1 and θ2 that are proportional to the ratio. Specifically, the reduction ratio is calculated by the following equation.
Reduction ratio = α × (θ2 / θ1)
Here, α is a predetermined adjustment parameter set in accordance with various applications and devices (camera devices).
The adjustment parameter may be omitted. Further, although the center of gravity of the area of the hand or face is used to calculate the reduction ratio, any other appropriate position may be used.
このようなフィッティング処理（ステップＢ７、Ｂ８）が終ると、「合成・インペイント処理」の実行に移る（ステップＢ９〜Ｂ１１）。まず、上述のように算出した縮小率を用いて第１画像から抽出した供給元領域（手の領域と腕の領域）を縮小する処理を行う（ステップＢ９）。図１０（１）は、供給元領域内の補正用画像データを縮小する前と縮小した後の状態を示した図である。そして、縮小した供給元領域の画像データを補正用画像データとして第２画像内の補正対象領域に合成する処理を行う（ステップＢ１０）。その合成位置は、補正対象領域の重心とは限らず、例えば、補正対象領域の周囲の画像データを参照して、連結状態、全体バランス、後処理（後述するインペイント処理）の容易さなどを総合的に判断して決定するようにしている。 When such a fitting process (steps B7 and B8) is completed, the process proceeds to the "composition and in-paint process" (steps B9 to B11). First, processing of reducing the source area (the area of the hand and the area of the arm) extracted from the first image is performed using the reduction ratio calculated as described above (step B9). FIG. 10A shows a state before and after reducing the image data for correction in the supply source area. Then, processing for combining the reduced image data of the supply source area with the correction target area in the second image as correction image data is performed (step B10). The combining position is not limited to the center of gravity of the correction target area, and for example, referring to image data around the correction target area, the connection state, overall balance, ease of post-processing (in-paint processing described later), etc. It makes it to judge it comprehensively.
図１０（２）は、縮小した供給元領域の画像データを補正用画像データとして第２画像内の補正対象領域に合成した状態を示した図で、撮影者の肩に腕がバランス良く連結するようにその合成位置を決定して合成した状態を示し、腕の部分が表れた状態となる。すなわち、合成後の手の領域と顔の領域との位置関係は、図９（３）に示すように、円周角θ２は変わらないが、弧の長さはＬ３となり、Ｌ１＞Ｌ３＞Ｌ２の関係となるために、腕の部分が表れた状態となる。 FIG. 10 (2) is a diagram showing a state in which the image data of the reduced source area is combined with the correction target area in the second image as the correction image data, and the arm is connected to the shoulder of the photographer in a balanced manner. As shown in the figure, the synthesized position is determined and synthesized, and the arm portion is displayed. That is, as shown in FIG. 9 (3), the positional relationship between the hand area and the face area after composition does not change the circumferential angle θ2, but the arc length is L3 and L1> L3> L2 The part of the arm appears in order to become a relationship of
次に、補正対象領域内において、上述のように合成した手の領域及び腕の領域を除く残りの領域（空白領域）に対して、インペイント処理を施す（ステップＢ１１）。このインペイント処理は、既知の技術を使用して、補正対象領域内の残りの領域（空白領域）の画像データを、その補正対象領域の周りの領域の画像データを参照して書き換え、それにより、この補正対象領域内の残りの領域を、その周りの色や模様で塗りつぶしたり、境目を滑らかに仕上げたりするものである。図１０（３）は、上述のような画像補正処理を行った後の第２画像を示し、図１０（４）は、画像補正処理を行う前の第２画像を示している。両者を比べると、補正後の第２画像は、カメラ装置１の持ち手の大きさが自然で違和感がないものとなり、その腕部分も表れた自然な人物像となる。
Next, in the correction target area, inpainting processing is performed on the remaining area (blank area) excluding the hand area and the arm area synthesized as described above (step B11). This in-painting process rewrites the image data of the remaining area (blank area) in the correction target area with reference to the image data of the area around the correction target area, using a known technique. The remaining area in the correction target area is filled with a color or pattern around it, or the boundary is smoothed. FIG. 10 (3) shows the second image after the image correction process as described above, and FIG. 10 (4) shows the second image before the image correction process. When the two are compared, the second image after correction has a natural size of the holding hand of the
以上のように、本実施形態においてカメラ装置１は、撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得すると共に、撮影対象に対する撮像手段の位置状態が第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得し、この第１画像のうち、撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、第２画像のうち、上記の被写体が写っている所定の領域を、補正対象領域として特定した後に、この供給元領域を縮小し、この縮小した供給元領域の画像データを補正用画像データとして用いて、補正対象領域を補正するようにしたので、撮像手段を支持する被写体が画像に不自然に大きく写るような場合に、この被写体の領域を適切に補正することができ、違和感のない画像を得ることができる。
As described above, in the present embodiment, the
撮影対象に対する撮像手段の位置状態を変化させて撮影した第１画像と第２画像とを比較し、その類似度に基づいて第１画像内に供給元領域を特定すると共に第２画像内に補正対象領域を特定するようにしたので、領域特定の際に周囲に類似する色や模様などが存在していたり、オクルージョン領域が発生していたりしても、供給元領域、補正対象領域を正確に特定することが可能となる。 The first image and the second image taken by changing the position condition of the imaging means with respect to the object to be photographed are compared with each other, and the source region is specified in the first image based on the similarity and corrected in the second image Since the target area is specified, the source area and the correction target area can be accurately determined even if similar colors or patterns exist around the area specification or an occlusion area is generated. It becomes possible to identify.
撮像手段を支持する所定の被写体は、撮像手段に接する第１被写体と、この第１被写体に連なる第２被写体を含み、カメラ装置１は、曲面の内側に投影された第１画像である第１曲面画像（投影面上の画像）に含まれる第２被写体の大きさと、曲面の内側に投影された第２画像である第２曲面画像（投影面上の画像）に含まれる第２被写体の大きさとの関係を表す関係パラメータを算出するとともに、算出された関係パラメータに基づいて、供給元領域を縮小するようにしたので、撮影対象に対する撮像手段の位置状態を変化させて撮影した画像が全天球画像である場合に、その位置変化に相応した関係パラメータで供給元領域を縮小することができる。
The predetermined subject supporting the imaging means includes a first subject in contact with the imaging means and a second subject connected to the first subject, and the
第１曲面画像における第１被写体の位置と、第１曲面画像における、第２被写体に連なる所定の第３被写体の位置との関係、及び、第２曲面画像における第１被写体の位置と、第２曲面画像における第３被写体の位置との関係に応じて、関係パラメータを算出するようにしたので、撮影対象と撮像手段との位置変化によって、第１被写体（手の領域）とカメラ装置１との位置関係は変わらないが、第２被写体（腕の領域）に連なる第３被写体（顔の領域）とカメラ装置１との位置関係は変わるため、この第３被写体（顔の領域）の位置変化から関係パラメータを算出することができる。
The relationship between the position of the first subject in the first curved image and the position of the predetermined third subject in the first curved image, and the position of the first subject in the second curved image, and the second Since the related parameter is calculated according to the relationship with the position of the third subject in the curved image, the positional change between the shooting target and the imaging means causes the first subject (the area of the hand) and the
第１画像及び第２画像の各々は、一対の超広角レンズ（魚眼レンズ）を備えた撮像手段によって撮影された２つの半天球画像を合成することによって生成された全天球画像であり、この全天球画像内に撮像手段を支持する被写体が不自然に大きく写るような場合に、その被写体部分の画像を適切に補正することができる。 Each of the first image and the second image is an all-sky image generated by combining two half-emphasis images captured by an imaging unit provided with a pair of super wide-angle lenses (fish-eye lenses). When the subject supporting the image pickup means is unnaturally large in the celestial sphere image, the image of the subject part can be appropriately corrected.
撮影対象に対する撮像手段の位置状態が第１位置状態から所定の方向に所定量移動した第２位置状態に変化したことを条件に、撮像手段によって撮影された画像を第２画像として取得するようにしたので、例えば、撮影者は２枚目以降の撮影時に撮像手段の位置状態を意識しなくても所望する画像を得ることが可能となる。 The image captured by the imaging unit is acquired as a second image on condition that the position of the imaging unit with respect to the object to be imaged changes from the first position to a second position that is moved by a predetermined amount in a predetermined direction. Thus, for example, the photographer can obtain a desired image without being aware of the position state of the imaging means at the time of photographing the second and subsequent images.
撮影対象に対する撮像手段の位置状態が予め決められている基準位置状態から所定の方向に所定量移動した第１位置状態に変化したことを条件に、撮像手段によって撮影された画像を第１画像として取得し、撮影対象に対する撮像手段の位置状態が基準位置状態から所定の方向に所定量移動した第２位置状態に変化したことを条件に、撮像手段によって撮影された画像を第２画像として取得するようにしたので、撮影者は撮影時に撮像手段の位置状態を意識しなくても所望する複数の画像を得ることが可能となる。 An image captured by the imaging unit is set as a first image on the condition that the position of the imaging unit with respect to the object to be imaged has changed to a first position that is moved by a predetermined amount in a predetermined direction from a predetermined reference position. An image captured by the imaging unit is acquired as a second image on condition that the position of the imaging unit with respect to the object to be imaged has changed to the second position that is moved from the reference position to a predetermined direction by a predetermined amount. Thus, the photographer can obtain a plurality of desired images without being aware of the position state of the imaging means at the time of photographing.
第２画像の補正対象領域内において、縮小した供給元領域の画像データを補正用画像データとして合成すると共に、この合成部分を除く残りの部分の画像データを、補正対象領域の周囲の画像データを参照して書き換える処理（インペイント処理）を施すようにしたので、第２画像を適切に補正することができる。 In the correction target area of the second image, the reduced image data of the supply source area is synthesized as the correction image data, and the image data of the remaining part excluding the synthesized part is the image data of the periphery of the correction target area. Since the process of referring and rewriting (in-painting process) is performed, the second image can be appropriately corrected.
第２画像の補正対象領域内に、縮小した供給元領域の画像データを補正用画像データとして合成する際に、補正対象領域の周囲の画像データを参照してその合成位置を決定するようにしたので、全体バランス、後処理（インペイント処理）の容易さなどを総合的に判断して合成位置を決定することができる。 When combining the image data of the reduced supply source area as the correction image data in the correction target area of the second image, the combining position is determined by referring to the image data around the correction target area. Therefore, the synthetic position can be determined by comprehensively judging the overall balance, the ease of post-processing (in-paint processing) and the like.
（変形例１）
なお、上述した実施形態においては、画像補正処理において、「位置合わせ処理」、「領域抽出処理」、「フィッティング処理」、「合成・インペイント処理」を順次実行するようにしたが、「フィッティング処理」、「合成・インペイント処理」に代わって、以下の最適化手法を実行するようにしてもよい。すなわち、「位置合わせ処理」を行った後の「領域抽出処理」によって第１画像から供給元領域を抽出すると、縮小率を算出する処理を行わず、この抽出した供給元領域の大きさや合成位置などをワーピングによって遂次変更（ワープ変形）しながら補正対象領域の境界上でのエネルギー値を繰り返し算出して最適な供給元領域の大きさなどを決定する最適化手法を実行するようにしてもよい。
(Modification 1)
In the embodiment described above, in the image correction process, “position alignment process”, “region extraction process”, “fitting process”, and “composition / in-paint process” are sequentially executed, but “fitting process” is performed. The following optimization method may be executed instead of “composition / in-paint processing”. That is, when the source area is extracted from the first image by the “area extraction process” after the “alignment process”, the process of calculating the reduction ratio is not performed, and the size and the combining position of the extracted source area Even if the energy value on the boundary of the correction target area is repeatedly calculated to determine the optimum size of the supply source area etc. while executing a sequential change (warp deformation) by warping etc. Good.
この境界エネルギー値をどのように定義するかは任意であるが、例えば、補正対象領域との境界における明度変化の滑らかさが良くなると共に、バランスなどが良くなる程に、この境界エネルギー値が小さな値となるようにすると、この境界エネルギー値が最小化するようにワーピングを繰り返しながら境界エネルギー値を計算し、境界エネルギー値が最小化されたときの供給元領域の大きさや合成位置などを最適な値として決定するようにすればよい。このような最適化手法を用いることにより、撮像手段を支持する所定の被写体の画像部分を更に適切に補正することが可能となる。 How this boundary energy value is defined is arbitrary, but, for example, the boundary energy value is so small that the smoothness of the brightness change at the boundary with the correction target region is improved and the balance etc. is improved. If it is set to a value, the boundary energy value is calculated while repeating the warping so as to minimize this boundary energy value, and the size of the source area when the boundary energy value is minimized, the synthesis position, etc. It should be determined as a value. By using such an optimization method, it is possible to correct the image portion of a predetermined subject supporting the imaging means more appropriately.
このような最適化手法を用いる場合に、図９で示した縮小率を算出しながら、算出された縮小率に応じてワーピングを繰り返すようにしてもよい。すなわち、ワーピングの制約条件として縮小率を用いるようにしてもよい。例えば、まず、ワーピング前の元の２つの画像を用いて縮小率を算出してからワーピングを開始する。次に、ワーピング後の２つの画像を用いて縮小率を算出するが、その際、ワーピング前に算出した縮小率Ａとワーピング後に算出した縮小率ＢとがＢ＞Ａの関係となるようにする。このような条件で縮小率Ｂを算出すると、その値は１−ε＜Ｂ＜１＋εの範囲内にあるか否かを判別する。なお、εは値１．０よりも小さい正の所定値である。いま、縮小率Ｂが１−ε＜Ｂ＜１＋εの範囲外であれば、ワーピング処理に戻るが、その範囲内であれば、そのときの境界エネルギー値を算出する処理に移る。以下、この境界エネルギー値が最小化するまでワーピング及び縮小率Ｂの算出を繰り返しながら縮小率Ｂは、１−ε＜Ｂ＜１＋εの範囲内であるか否かを判別する。これによって、ワーピングによる供給元領域の縮小に要する時間を短縮しながら、この縮小を適切に行うことができるとともに、補正対象領域を適切に補正することができる。 When such an optimization method is used, the warping may be repeated according to the calculated reduction rate while calculating the reduction rate shown in FIG. That is, a reduction ratio may be used as a constraint of warping. For example, first, the reduction ratio is calculated using the original two images before warping and then the warping is started. Next, the reduction ratio is calculated using the two images after warping, where the reduction ratio A calculated before the warping and the reduction ratio B calculated after the warping have a relationship of B> A. . When the reduction ratio B is calculated under such conditions, it is determined whether the value is in the range of 1−ε <B <1 + ε. Here, ε is a positive predetermined value smaller than the value 1.0. Now, if the reduction ratio B is outside the range of 1−ε <B <1 + ε, the process returns to the warping process, but if it is within the range, the process proceeds to the process of calculating the boundary energy value at that time. Hereinafter, while the warping and the calculation of the reduction ratio B are repeated until the boundary energy value is minimized, it is determined whether or not the reduction ratio B is in the range of 1−ε <B <1 + ε. As a result, while the time required for the reduction of the supply source area by the warping can be shortened, the reduction can be appropriately performed, and the correction target area can be appropriately corrected.
（変形例２）
上述した実施形態においては、撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得すると共に、撮影対象に対する撮像手段の位置状態が第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得するようにしたが、撮影対象に対してカメラ装置１を移動しながら動画撮影を行い、その動画撮影された各フレーム画像の中から第１画像及び第２画像を選択するようにしてもよい。この場合、各フレーム画像内の任意の着目点（例えば、人物の鼻や目など）の写り具合を判断して、手の領域及び腕の領域を特定するのに適した画像を第１画像及び第２画像として選択すればよい。このように動画から第１画像及び第２画像を選択するようにすれば、撮影者はカメラ装置１の位置状態を気にすることなく、撮影を行うことができると共に、撮影対象に対してカメラ装置１を移動する際に、直線的な移動に制限されることもなく、移動の自由度を増すことができる。
(Modification 2)
In the embodiment described above, the image captured when the position state of the imaging means with respect to the imaging target is the first position state is acquired as a first image, and the position state of the imaging means with respect to the imaging target is the first position state The second image is acquired as the second image when it is in the second position state different from the second one. However, while moving the
上述した実施形態においては、供給元領域の縮小率を算出してその供給元領域の全体を一律に縮小する場合を例示したが、レンズの中央部と周辺部との歪曲歪みの違いを考慮して、供給元領域を複数に分け（例えば、二等分し）、その一方の領域（例えば、肩側）と他方の領域（手先側）との縮小率を、肩側＜手先側となるように求め、この各縮小率に応じて供給元領域の全体を縮小するようにしてもよい。これによって供給元領域を撮像レンズの歪曲歪みに対応させることが可能となる。 In the embodiment described above, the reduction ratio of the supply source area is calculated and the whole of the supply source area is uniformly reduced. However, in consideration of the difference in distortion between the central part and the peripheral part of the lens. Divided the supply source area into multiple parts (for example, divided into two equal parts), and the reduction ratio between one area (for example, shoulder side) and the other area (for hand side) should be shoulder side <hand side The entire supply source area may be reduced according to each reduction ratio. This makes it possible to make the supply source region correspond to distortion of the imaging lens.
上述した実施形態においては、供給元領域の縮小率を、全天球画像（第１画像と第２画像）内における手の領域と顔の領域との位置関係から算出するようにしたが、撮像手段の種類やその持ち方などに応じて予め設定されている所定値を縮小率として使用するようにしてもよい。 In the embodiment described above, the reduction ratio of the source area is calculated from the positional relationship between the hand area and the face area in the omnidirectional images (first and second images). A predetermined value set in advance in accordance with the type of the means or the manner of holding the means may be used as the reduction rate.
上述した実施形態においては、前方半天球画像と後方半天球画像を合成して全天球画像を生成した後に、この全天球画像に対して画像補正処理を実行するようにしたが、前方半天球画像と後方半天球画像の状態で画像補正処理を実行した後に、その補正後の前方半天球画像と後方半天球画像とを合成して全天球画像を生成するようにしてもよい。 In the above-described embodiment, after the front hemispheric image and the rear hemispheric image are combined to generate the omnidirectional image, the image correction processing is performed on the omnidirectional image. After the image correction processing is performed in the state of the sphere image and the rear half sphere image, the front half sphere image and the rear half sphere image after the correction may be combined to generate a whole sphere image.
上述した実施形態においては、撮影時に画像補正処理を行うようにしたが、撮影画像を保存した後、その保存画像（撮影済み画像）に対して画像補正処理を行うようにしてもよい。この場合、全天球画像の形式で保存する場合に限らず、前方半天球画像と後方半天球画像の形式で保存した場合には、この前方半天球画像及び後方半天球画像から全天球画像を生成してから画像補正処理したり、前方半天球画像及び後方半天球画像に対して画像補正処理を行った後に、補正後の前方半天球画像及び後方半天球画像を合成して全天球画像を生成したりしてもよい。 In the embodiment described above, the image correction process is performed at the time of shooting, but after the shot image is stored, the image correction process may be performed on the stored image (a shot image). In this case, the present invention is not limited to the case of saving in the form of the omnidirectional image, and in the case of saving in the form of the forward hemispheric image and the backward hemispheric image, the omnidirectional image from the forward hemispheric image and the backward hemispheric image After image correction processing is performed or image correction processing is performed on the anterior hemispheric image and the posterior hemispheric image, the anterior hemispheric image and the posterior hemispheric image after correction are synthesized to generate the omnidirectional sphere An image may be generated.
上述した実施形態においては、補正用画像データを第１画像から抽出し、抽出された補正用画像データを縮小率で縮小しているが、第１画像全体を縮小率で縮小してから、補正用画像データを第１画像から抽出してもよい。 In the above-described embodiment, the correction image data is extracted from the first image, and the extracted correction image data is reduced at the reduction rate. However, the entire first image is reduced at the reduction rate, and then the correction is performed. Image data may be extracted from the first image.
上述した実施形態においては、カメラ装置１の移動時に所定の移動方向から外れた場合にその旨を報知する音声メッセージを出力するようにしたが、カメラ装置１を第１位置状態及び第２位置状態に移動するように促す音声メッセージを出力したり、第１位置状態及び第２位置状態に達したことを報知する音声メッセージを出力したりするようにしてもよい。また、カメラ装置１にモニター装置が接続されている場合には、このモニター画面にライブビュー画像を表示させると共に、第１位置状態及び第２位置状態を案内する枠を表示させて、その枠内に撮影者の持ち手が収まるようにカメラ装置１を移動すべきことを案内するようにしてもよい。
In the above-described embodiment, when the
上述した実施形態においては、第１画像と第２画像の２枚の画像を取得する場合を例示したが、例えば、上下方向で撮影された２枚の画像と左右方向で撮影された２枚の画像、つまり、合計４枚の画像を取得するようにしてもよく、その枚数は問わない。
上述した実施形態においては、一対の超広角レンズ（魚眼レンズ）を用いた全天球カメラに適用した場合を示したが、単一の超広角レンズで略全天球の撮影を可能としたカメラに適用するようにしてもよく、３以上の広角レンズ（例えば、画角が１２０°以下）を用いて全天球の撮影を可能としたカメラに適用してもよく、更には、全天球画像に限らず、半天球画像についても適用可能である。この場合、撮像手段を支持する所定の被写体が、全天球画像の場合にはその画像の中央部に位置し、半天球画像の場合にはその画像の周辺部に位置するなどの相違点もあるが、半天球画像であっても全天球画像の場合と基本的には同様に適用可能である。
In the embodiment described above, the case of acquiring two images of the first image and the second image is exemplified, but for example, two images photographed in the vertical direction and two images photographed in the horizontal direction Images, that is, a total of four images may be acquired, regardless of the number.
In the embodiment described above, the case where the present invention is applied to the omnidirectional camera using a pair of super wide-angle lenses (fish-eye lenses) has been shown, but a camera capable of capturing substantially all celestial spheres with a single super wide-angle lens The present invention may be applied, or may be applied to a camera capable of photographing an omnidirectional sphere using three or more wide angle lenses (for example, an angle of view of 120 ° or less), and further, an omnidirectional image The present invention is applicable not only to the above, but also to semi-spherical images. In this case, the predetermined object supporting the imaging means is located at the center of the image in the case of the omnidirectional image, and is located at the periphery of the image in the case of the semi-spherical image. However, even semi-spherical images are basically applicable in the same manner as in the case of whole-sky images.
上述した実施形態においては、カメラ装置を支持する持ち手を所定の被写体とした場合を示したが、三脚にカメラ装置１を固定した場合には、例えば、この三脚に回転可能なアームを設け、このアームの先端部にカメラ装置１を取り付けた場合には、このアームを所定の被写体（第１被写体及び第２被写体）としてもよい。その場合には、アームの支点部分が第３被写体に相当する。更に、三脚に限らず、セルフィースティックと呼ばれる延長棒（自撮り棒、或いはセルカ棒）の取付け部分にカメラ装置１を取り付け、撮影者自身を撮影する場合に、その取付け部分を所定の被写体としてもよい。このようにカメラ装置１を支持する部材であれば、その支持部材を所定の被写体としてもよい。
In the embodiment described above, the case where the user holds the camera device is given as a predetermined subject, but when the
また、上述した実施形態においては、画像処理装置としてカメラ装置に適用した場合を例示したが、カメラ装置によって撮影された画像を、表示手段を備えた本体装置（図示省略）又は、他の外部装置に送信して保存させた後、その外部装置側でその撮影画像に対して画像補正処理を施すようにしてもよい。なお、上述の外部装置としては、パーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、タブレット端末装置、スマートフォンなどの携帯電話機、電子ゲーム機、音楽プレイヤー、電子腕時計などに適用するようにしてもよい。更に、画像処理装置としては、撮像手段及び表示手段などを備えたコンパクトカメラであってもよい。 Further, in the embodiment described above, the case where the image processing apparatus is applied to a camera device is exemplified, but a main device (not shown) having display means or an external device provided with an image taken by the camera device After the image is transmitted and stored, the external device may perform the image correction process on the photographed image. The above external device may be applied to personal computers, PDAs (personal digital assistants), tablet terminals, mobile phones such as smart phones, electronic game machines, music players, electronic watches, etc. Good. Furthermore, the image processing apparatus may be a compact camera provided with an imaging unit and a display unit.
また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。 Further, the “device” and the “section” described in the above-described embodiment may be separated into a plurality of cases according to functions, and is not limited to a single case. Further, each step described in the above-described flowchart is not limited to the time-series processing, and a plurality of steps may be processed in parallel or processed independently.
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得する第１取得手段と、
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得手段と、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定手段と、
前記特定手段で特定された供給元領域を縮小すると共に、縮小した供給元領域の画像データを補正用画像データとして用いて、前記特定手段で特定された補正対象領域を補正する補正手段と、
を備えることを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記特定手段は、前記撮影対象に対する前記撮像手段の位置状態を変化させて撮影することによって得られた前記第１画像と第２画像とを比較し、その類似度に基づいて前記第１画像内に前記供給元領域を特定すると共に、前記第２画像内に前記補正対象領域を特定する、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記所定の被写体には、前記撮像手段に接する第１被写体と、前記第１被写体に連なる所定の第２被写体が含まれ、
前記補正手段は、
曲面の内側に投影された前記第１画像である第１曲面画像に含まれる前記第２被写体の大きさと、曲面の内側に投影された前記第２画像である第２曲面画像に含まれる前記第２被写体の大きさとの関係を表す関係パラメータを算出するとともに、算出された関係パラメータに基づいて、前記対象領域を縮小する、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記補正手段は、
前記第１曲面画像における前記第１被写体の位置と、前記第１曲面画像における、前記第２被写体に連なる所定の第３被写体の位置との関係、及び、前記第２曲面画像における前記第１被写体の位置と、前記第２曲面画像における前記第３被写体の位置との関係に応じて、前記関係パラメータを算出する、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項３又は４に記載の画像処理装置において、
前記第１被写体は、前記撮像手段を操作する撮影者の手であり、
前記第２被写体は、前記撮影者の腕である、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項１乃至５のいずれか１項に記載の画像処理装置において、
前記第１画像及び前記第２画像の各々は、広角レンズを備えた前記撮像手段によって撮影された画像を用いて生成された全天球画像である、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項１乃至６のいずれか１項に記載の画像処理装置において、
前記第２取得手段は、前記撮影対象に対する撮像手段の位置状態が前記第１位置状態から所定の方向に所定量移動した前記第２位置状態に変化したことを条件に、前記撮像手段によって撮影された画像を前記第２画像として取得する、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項１乃至６のいずれか１項に記載の画像処理装置において、
前記第１取得手段は、前記撮影対象に対する前記撮像手段の位置状態が予め決められている基準位置状態から所定の方向に所定量移動した前記第１位置状態に変化したことを条件に、前記撮像手段によって撮影された画像を前記第１画像として取得し、
前記第２取得手段は、前記撮影対象に対する前記撮像手段の位置状態が予め決められている基準位置状態から所定の方向に所定量移動した前記第２位置状態に変化したことを条件に、前記撮像手段によって撮影された画像を前記第２画像として取得する、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項１乃至８のいずれか１項に記載の画像処理装置において、
前記補正手段は、前記第２画像の補正対象領域内において、前記縮小した供給元領域の画像データを補正用画像データとして合成すると共に、前記補正用画像データを合成した部分以外の部分の画像データを、前記補正対象領域の周囲の画像データを参照して書き換える処理を施す、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、請求項９に記載の画像処理装置において、
前記補正手段は、前記第２画像の補正対象領域内に、前記縮小した供給元領域の画像データを補正用画像データとして合成する際に、前記補正対象領域の周囲の画像データを参照して当該合成位置を決定する、
ことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、
撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得する第１取得ステップと、
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得ステップと、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定ステップと、
前記特定手段で特定された供給元領域を縮小すると共に、縮小した供給元領域の画像データを補正用画像データとして用いて、前記特定手段で特定された補正対象領域を補正する補正ステップと、
を含むことを特徴とする画像処理方法である。
（請求項１２）
請求項１２に記載の発明は、
撮像手段により撮影された画像を処理する画像処理装置に、
撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得する第１取得機能と、
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得機能と、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定機能と、
前記特定手段で特定された供給元領域を縮小すると共に、縮小した供給元領域の画像データを補正用画像データとして用いて、前記特定手段で特定された補正対象領域を補正する補正機能と、
を実現させるためのプログラムである。
As mentioned above, although embodiment of this invention was described, this invention is not limited to this, The invention described in the claim, and the range of equivalence are included.
Hereinafter, the invention described in the claims of the present application is appended.
(Supplementary note)
(Claim 1)
The invention according to
A first acquisition unit that acquires, as a first image, an image captured when the position state of the imaging unit with respect to the imaging target is the first position state;
A second acquisition unit that acquires, as a second image, an image captured when the position state of the imaging unit with respect to the imaging target is a second position state different from the first position state;
Among the acquired first images, a predetermined area where a predetermined subject supporting the imaging means is shown is specified as a supply source area, and the object is photographed in the acquired second image. Specifying means for specifying a predetermined area as a correction target area;
Correction means for reducing the supply source area specified by the specifying means and using the image data of the reduced supply source area as correction image data to correct the correction target area specified by the specifying means;
An image processing apparatus comprising:
(Claim 2)
The invention according to
The identification means compares the first image and the second image obtained by imaging while changing the position state of the imaging means with respect to the imaging target, and based on the similarity, the inside of the first image is compared. Identifying the source region and identifying the correction target region in the second image,
It is characterized by
(Claim 3)
The invention according to
The predetermined subject includes a first subject in contact with the imaging unit, and a predetermined second subject connected to the first subject,
The correction means is
The size of the second object included in the first curved surface image which is the first image projected inside the curved surface, and the second curved surface image which is the second image projected inside the curved surface (2) calculating a relation parameter representing a relation with the size of the subject, and reducing the target area based on the calculated relation parameter;
It is characterized by
(Claim 4)
The invention according to
The correction means is
The relationship between the position of the first subject in the first curved surface image and the position of a predetermined third subject in the first curved surface image, and the first subject in the second curved surface image Calculating the relationship parameter in accordance with the relationship between the position of the second subject and the position of the third object in the second curved surface image;
It is characterized by
(Claim 5)
The invention according to
The first subject is a hand of a photographer who operates the imaging unit.
The second subject is an arm of the photographer.
It is characterized by
(Claim 6)
The invention according to
Each of the first image and the second image is a omnidirectional image generated using an image captured by the imaging unit having a wide-angle lens.
It is characterized by
(Claim 7)
The invention according to
The second acquisition unit is photographed by the imaging unit on the condition that the position state of the imaging unit with respect to the photographing target has changed to the second position state moved from the first position state by a predetermined amount in a predetermined direction. A second image as the second image,
It is characterized by
(Claim 8)
The invention according to claim 8 is the image processing apparatus according to any one of
The imaging is performed under the condition that the position state of the imaging means with respect to the object to be photographed changes from the predetermined reference position state to the first position state moved by a predetermined amount in a predetermined direction. Acquiring an image taken by the means as the first image,
The imaging is performed on the condition that the position state of the imaging means with respect to the object to be photographed changes from the predetermined reference position state to the second position state moved by a predetermined amount in a predetermined direction. Acquiring an image taken by the means as the second image,
It is characterized by
(Claim 9)
The invention according to claim 9 is the image processing apparatus according to any one of
The correction means combines image data of the reduced supply source area as correction image data in the correction target area of the second image, and image data of a portion other than a portion obtained by combining the correction image data. Performing a process of referring to image data around the area to be corrected.
It is characterized by
(Claim 10)
The invention according to claim 10 is the image processing apparatus according to claim 9.
When the correction means combines the image data of the reduced supply source area as the correction image data in the correction target area of the second image, the correction means refers to the image data around the correction target area. Determine the synthesis position,
It is characterized by
(Claim 11)
The invention according to
A first acquisition step of acquiring, as a first image, an image photographed when the position state of the imaging means with respect to the object to be photographed is the first position state;
A second acquisition step of acquiring, as a second image, an image photographed when the position state of the imaging unit with respect to the photographing target is a second position state different from the first position state;
Among the acquired first images, a predetermined area where a predetermined subject supporting the imaging means is shown is specified as a supply source area, and the object is photographed in the acquired second image. A specific step of specifying a predetermined area as a correction target area;
A correction step of reducing the supply source area specified by the specifying means and using the image data of the reduced supply source area as correction image data to correct the correction target area specified by the specifying means;
And an image processing method characterized by including:
(Claim 12)
The invention according to
An image processing apparatus for processing an image captured by the imaging unit;
A first acquisition function of acquiring, as a first image, an image photographed when the position state of the imaging means with respect to the object to be photographed is the first position state;
A second acquisition function of acquiring, as a second image, an image captured when the position state of the imaging unit with respect to the imaging target is a second position state different from the first position state;
Among the acquired first images, a predetermined area where a predetermined subject supporting the imaging means is shown is specified as a supply source area, and the object is photographed in the acquired second image. A specific function of specifying a predetermined area as a correction target area;
A correction function of reducing the source area specified by the specifying means and using the image data of the reduced source area as correction image data to correct the correction target area specified by the specifying means;
Is a program for realizing
１ カメラ装置
５ レリーズボタン
６ 前面撮像レンズ
７ 後面撮像レンズ
１１ 制御部
１２ 記憶部
１３ 操作部
１６ 姿勢検出部
１７ 撮像部
１８ 画像データ生成部
１９ 画像データ処理部
１９ａ 取得部
１９ｂ 特定部
１９ｃ 補正部
６０、７０ 撮像素子
Claims (12)
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得手段と、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定手段と、
前記特定手段で特定された供給元領域を縮小すると共に、縮小した供給元領域の画像データを補正用画像データとして用いて、前記特定手段で特定された補正対象領域を補正する補正手段と、
を備えることを特徴とする画像処理装置。 A first acquisition unit that acquires, as a first image, an image captured when the position state of the imaging unit with respect to the imaging target is the first position state;
A second acquisition unit that acquires, as a second image, an image captured when the position state of the imaging unit with respect to the imaging target is a second position state different from the first position state;
Among the acquired first images, a predetermined area where a predetermined subject supporting the imaging means is shown is specified as a supply source area, and the object is photographed in the acquired second image. Specifying means for specifying a predetermined area as a correction target area;
Correction means for reducing the supply source area specified by the specifying means and using the image data of the reduced supply source area as correction image data to correct the correction target area specified by the specifying means;
An image processing apparatus comprising:
ことを特徴とする請求項１に記載の画像処理装置。 The identification means compares the first image and the second image obtained by imaging while changing the position state of the imaging means with respect to the imaging target, and based on the similarity, the inside of the first image is compared. Identifying the source region and identifying the correction target region in the second image,
The image processing apparatus according to claim 1,
前記補正手段は、
曲面の内側に投影された前記第１画像である第１曲面画像に含まれる前記第２被写体の大きさと、曲面の内側に投影された前記第２画像である第２曲面画像に含まれる前記第２被写体の大きさとの関係を表す関係パラメータを算出するとともに、算出された関係パラメータに基づいて、前記対象領域を縮小する、
ことを特徴とする請求項１又は２に記載の画像処理装置。 The predetermined subject includes a first subject in contact with the imaging unit, and a predetermined second subject connected to the first subject,
The correction means is
The size of the second object included in the first curved surface image which is the first image projected inside the curved surface, and the second curved surface image which is the second image projected inside the curved surface (2) calculating a relation parameter representing a relation with the size of the subject, and reducing the target area based on the calculated relation parameter;
The image processing apparatus according to claim 1, wherein the image processing apparatus comprises:
前記第１曲面画像における前記第１被写体の位置と、前記第１曲面画像における、前記第２被写体に連なる所定の第３被写体の位置との関係、及び、前記第２曲面画像における前記第１被写体の位置と、前記第２曲面画像における前記第３被写体の位置との関係に応じて、前記関係パラメータを算出する、
ことを特徴とする請求項３に記載の画像処理装置。 The correction means is
The relationship between the position of the first subject in the first curved surface image and the position of a predetermined third subject in the first curved surface image, and the first subject in the second curved surface image Calculating the relationship parameter in accordance with the relationship between the position of the second subject and the position of the third object in the second curved surface image;
The image processing apparatus according to claim 3, characterized in that:
前記第２被写体は、前記撮影者の腕である、
ことを特徴とする請求項３又は４に記載の画像処理装置。 The first subject is a hand of a photographer who operates the imaging unit.
The second subject is an arm of the photographer.
The image processing apparatus according to claim 3 or 4, characterized in that:
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 Each of the first image and the second image is a omnidirectional image generated using an image captured by the imaging unit having a wide-angle lens.
The image processing apparatus according to any one of claims 1 to 5, characterized in that:
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 The second acquisition unit is photographed by the imaging unit on the condition that the position state of the imaging unit with respect to the photographing target has changed to the second position state moved from the first position state by a predetermined amount in a predetermined direction. A second image as the second image,
The image processing apparatus according to any one of claims 1 to 6, characterized in that:
前記第２取得手段は、前記撮影対象に対する前記撮像手段の位置状態が予め決められている基準位置状態から所定の方向に所定量移動した前記第２位置状態に変化したことを条件に、前記撮像手段によって撮影された画像を前記第２画像として取得する、
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 The imaging is performed under the condition that the position state of the imaging means with respect to the object to be photographed changes from the predetermined reference position state to the first position state moved by a predetermined amount in a predetermined direction. Acquiring an image taken by the means as the first image,
The imaging is performed on the condition that the position state of the imaging means with respect to the object to be photographed changes from the predetermined reference position state to the second position state moved by a predetermined amount in a predetermined direction. Acquiring an image taken by the means as the second image,
The image processing apparatus according to any one of claims 1 to 6, characterized in that:
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。 The correction means combines image data of the reduced supply source area as correction image data in the correction target area of the second image, and image data of a portion other than a portion obtained by combining the correction image data. Performing a process of referring to image data around the area to be corrected.
The image processing apparatus according to any one of claims 1 to 8, characterized in that:
ことを特徴とする請求項９に記載の画像処理装置。 When the correction means combines the image data of the reduced supply source area as the correction image data in the correction target area of the second image, the correction means refers to the image data around the correction target area. Determine the synthesis position,
The image processing apparatus according to claim 9, characterized in that:
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得ステップと、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定ステップと、
前記特定手段で特定された供給元領域を縮小すると共に、縮小した供給元領域の画像データを補正用画像データとして用いて、前記特定手段で特定された補正対象領域を補正する補正ステップと、
を含むことを特徴とする画像処理方法。 A first acquisition step of acquiring, as a first image, an image photographed when the position state of the imaging means with respect to the object to be photographed is the first position state;
A second acquisition step of acquiring, as a second image, an image photographed when the position state of the imaging unit with respect to the photographing target is a second position state different from the first position state;
Among the acquired first images, a predetermined area where a predetermined subject supporting the imaging means is shown is specified as a supply source area, and the object is photographed in the acquired second image. A specific step of specifying a predetermined area as a correction target area;
A correction step of reducing the supply source area specified by the specifying means and using the image data of the reduced supply source area as correction image data to correct the correction target area specified by the specifying means;
An image processing method comprising:
撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得する第１取得機能と、
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得機能と、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定機能と、
前記特定手段で特定された供給元領域を縮小すると共に、縮小した供給元領域の画像データを補正用画像データとして用いて、前記特定手段で特定された補正対象領域を補正する補正機能と、
を実現させるためのプログラム。 An image processing apparatus for processing an image captured by the imaging unit;
A first acquisition function of acquiring, as a first image, an image photographed when the position state of the imaging means with respect to the object to be photographed is the first position state;
A second acquisition function of acquiring, as a second image, an image captured when the position state of the imaging unit with respect to the imaging target is a second position state different from the first position state;
Among the acquired first images, a predetermined area where a predetermined subject supporting the imaging means is shown is specified as a supply source area, and the object is photographed in the acquired second image. A specific function of specifying a predetermined area as a correction target area;
A correction function of reducing the source area specified by the specifying means and using the image data of the reduced source area as correction image data to correct the correction target area specified by the specifying means;
Program for realizing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017245772A JP7054437B2 (en) | 2017-12-22 | 2017-12-22 | Image processing equipment, image processing methods and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017245772A JP7054437B2 (en) | 2017-12-22 | 2017-12-22 | Image processing equipment, image processing methods and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019113980A true JP2019113980A (en) | 2019-07-11 |
| JP7054437B2 JP7054437B2 (en) | 2022-04-14 |
Family
ID=67222590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017245772A Active JP7054437B2 (en) | 2017-12-22 | 2017-12-22 | Image processing equipment, image processing methods and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7054437B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001134751A (en) * | 1999-08-26 | 2001-05-18 | Ricoh Co Ltd | Method and device for processing image, digital camera, image processing system and recording medium with image processing program recorded thereon |
| US20140363088A1 (en) * | 2013-06-07 | 2014-12-11 | Korea Institute Of Science And Technology | Method of establishing database including hand shape depth images and method and device of recognizing hand shapes |
-
2017
- 2017-12-22 JP JP2017245772A patent/JP7054437B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001134751A (en) * | 1999-08-26 | 2001-05-18 | Ricoh Co Ltd | Method and device for processing image, digital camera, image processing system and recording medium with image processing program recorded thereon |
| US20140363088A1 (en) * | 2013-06-07 | 2014-12-11 | Korea Institute Of Science And Technology | Method of establishing database including hand shape depth images and method and device of recognizing hand shapes |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7054437B2 (en) | 2022-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104995905B (en) | Image processing equipment, filming control method and program | |
| JP7023662B2 (en) | Image processing device, image pickup device, control method and program of image processing device | |
| KR102235231B1 (en) | Imaging control apparatus and control method therefor | |
| US11843862B2 (en) | Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor | |
| JP2018163648A (en) | Image processor, method for image processing, and program | |
| WO2015194084A1 (en) | Information processing device, information processing system, and information processing method and program | |
| JPWO2014148031A1 (en) | Image generating apparatus, imaging apparatus, and image generating method | |
| JP5880135B2 (en) | Detection apparatus, detection method, and program | |
| TWI615808B (en) | Image processing method for immediately producing panoramic images | |
| JP5248951B2 (en) | CAMERA DEVICE, IMAGE SHOOTING SUPPORT DEVICE, IMAGE SHOOTING SUPPORT METHOD, AND IMAGE SHOOTING SUPPORT PROGRAM | |
| JP2010021795A (en) | Image capturing apparatus, correction controller, correction control method, and program | |
| JP2019193147A (en) | Imaging device, imaging method, and program | |
| WO2015198478A1 (en) | Image distortion correction apparatus, information processing apparatus and image distortion correction method | |
| JP6257260B2 (en) | Imaging apparatus and control method thereof | |
| JP2021044710A (en) | Image processing apparatus, image processing method and program | |
| JP7054437B2 (en) | Image processing equipment, image processing methods and programs | |
| JP5623247B2 (en) | Imaging apparatus and control method thereof | |
| JP2020191546A (en) | Image processing apparatus, image processing method, and program | |
| US20230126836A1 (en) | Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor | |
| JP2019009574A (en) | Image processing apparatus | |
| JP7110657B2 (en) | Image processing device, image processing method and program | |
| JP6953961B2 (en) | Image processing equipment, image processing methods and programs | |
| US20240013499A1 (en) | Image processing apparatus, image processing method, recording medium, and image processing system | |
| JP2018174431A (en) | Image processing device, photographing device, and image processing method | |
| US20230308613A1 (en) | Display device and method for controlling display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220316 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7054437 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |