JP6861584B2

JP6861584B2 - Image processing equipment, image processing system and control program

Info

Publication number: JP6861584B2
Application number: JP2017126424A
Authority: JP
Inventors: 空悟守田
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2017-06-28
Filing date: 2017-06-28
Publication date: 2021-04-21
Anticipated expiration: 2037-06-28
Also published as: JP2019008717A

Description

本開示は、画像処理装置、画像処理システムおよび制御プログラムに関する。 The present disclosure relates to an image processing apparatus, an image processing system and a control program.

被写体（撮像対象物ともいう）を周囲の様々な角度から見た画像を得る画像処理技術として、多くの視点からの撮像で得た画像（多視点画像ともいう）を用いて、撮像対象物を任意の角度から見た再構成画像を生成および表示する技術がある（例えば、下記特許文献１など参照）。この技術では、例えば、観察者の視点位置および画像出力装置の種類から画像の再構成に必要なパラメータが計算される。次に、このパラメータが用いられて再構成画像の各画素について多視点画像の対応する画素が演算で求められる。そして、対応する画素が多視点画像から抽出されて再構成画像が生成される。 As an image processing technology for obtaining images of a subject (also called an imaging object) viewed from various angles around it, an image to be imaged is used as an image obtained by imaging from many viewpoints (also referred to as a multi-viewpoint image). There is a technique for generating and displaying a reconstructed image viewed from an arbitrary angle (see, for example, Patent Document 1 below). In this technique, for example, the parameters required for image reconstruction are calculated from the viewpoint position of the observer and the type of the image output device. Next, using this parameter, the corresponding pixel of the multi-viewpoint image is calculated for each pixel of the reconstructed image. Then, the corresponding pixels are extracted from the multi-viewpoint image to generate a reconstructed image.

特開平８−１１６５５６号公報Japanese Unexamined Patent Publication No. 8-116556

撮像対象物を周囲の様々な角度から見た画像を得る画像処理については、演算量の低減を図る点で改善の余地がある。 There is room for improvement in image processing for obtaining images of an object to be imaged from various angles around it in terms of reducing the amount of calculation.

画像処理装置、画像処理システムおよび制御プログラムが開示される。 Image processing devices, image processing systems and control programs are disclosed.

画像処理装置の一態様は、取得部と、第１認識部と、第２認識部と、推定部と、領域設定部と、検出部と、画像生成部と、を備えている。前記取得部は、視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視線方向を示す視線方向情報と、を得る。前記第１認識部は、前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する。前記第２認識部は、前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する。前記推定部は、前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する。前記領域設定部は、前記推定部で推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する。前記検出部は、前記領域設定部によって、前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する。前記画像生成部は、前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する。 One aspect of the image processing device includes an acquisition unit, a first recognition unit, a second recognition unit, an estimation unit, an area setting unit, a detection unit, and an image generation unit. The acquisition unit includes a plurality of captured images in which an object is captured under conditions in which the combination of the viewpoint position and the line-of-sight direction is different from each other, and line-of-sight direction information indicating the line-of-sight direction at the time of imaging for each of the plurality of captured images. To get. The first recognition unit is a three or more first image portions that capture three or more feature portions of the first captured image in which the object is captured in the first line-of-sight direction among the plurality of captured images. Recognize. The second recognition unit captures the three or more feature parts of the second image obtained by capturing the object in the second line-of-sight direction among the plurality of captured images, and three or more second images. Recognize the part. The estimation unit uses the first positional relationship of the three or more first image portions and the second positional relationship of the three or more second image portions to form a flat region or a first surface and a second surface. By estimating the connection region in which the surface is connected via the corner portion, the surface shape of the object is estimated. The area setting unit sets a processing target area for the surface based on the surface shape estimated by the estimation unit and a signal input in response to a user's operation. The detection unit captures the first surface in the plurality of captured images in response to the processing target region being set in the connection region of the surface by the region setting unit. The image region and the second image region in which the second surface is captured in a line-of-sight direction different from that of the first image region are detected. The image generation unit generates a composite image of the connection region by synthesizing the first image region and the second image region.

画像処理システムの一態様は、第１装置と、通信回線を介して前記第１装置と通信可能に接続されている第２装置と、を備えている。前記第１装置は、撮像部と、方向計測部と、通信部と、を有している。前記撮像部は、視点位置および視線方向の組合せが相互に異なる条件で対象物を撮像することで、複数の撮像画像を得る。前記方向計測部は、前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで、撮像時における視線方向を示す視線方向情報を得る。前記通信部は、前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視線方向情報とを、前記通信回線を介して前記第２装置に送信する。前記第２装置は、受信部と、第１認識部と、第２認識部と、推定部と、領域設定部と、検出部と、画像生成部と、を含んでいる。前記受信部は、前記通信部から送信された、前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視線方向情報と、を受信する。前記第１認識部は、前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する。前記第２認識部は、前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する。前記推定部は、前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する。前記領域設定部は、前記推定部で推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する。前記検出部は、前記領域設定部によって前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する。前記画像生成部は、前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する。 One aspect of the image processing system includes a first device and a second device communicably connected to the first device via a communication line. The first device includes an imaging unit, a direction measuring unit, and a communication unit. The imaging unit obtains a plurality of captured images by imaging an object under conditions where the combination of the viewpoint position and the line-of-sight direction is different from each other. The direction measuring unit measures the orientation of the imaging unit at the time of shooting for each of the plurality of captured images, thereby obtaining line-of-sight direction information indicating the line-of-sight direction at the time of imaging. The communication unit transmits the plurality of captured images and the line-of-sight direction information for each of the plurality of captured images to the second device via the communication line. The second device includes a receiving unit, a first recognition unit, a second recognition unit, an estimation unit, a region setting unit, a detection unit, and an image generation unit. The receiving unit receives the plurality of captured images and the line-of-sight direction information for each of the plurality of captured images transmitted from the communication unit. The first recognition unit is a three or more first image portions that capture three or more feature portions of the first captured image in which the object is captured in the first line-of-sight direction among the plurality of captured images. Recognize. The second recognition unit captures the three or more feature parts of the second image obtained by capturing the object in the second line-of-sight direction among the plurality of captured images, and three or more second images. Recognize the part. The estimation unit uses the first positional relationship of the three or more first image portions and the second positional relationship of the three or more second image portions to form a flat region or a first surface and a second surface. By estimating the connection region in which the surface is connected via the corner portion, the surface shape of the object is estimated. The area setting unit sets a processing target area for the surface based on the surface shape estimated by the estimation unit and a signal input in response to a user's operation. In response to the processing target region being set in the connection region of the surface by the region setting unit, the detection unit captures the first surface in the plurality of captured images. A region and a second image region in which the second surface is captured in a line-of-sight direction different from that of the first image region are detected. The image generation unit generates a composite image of the connection region by synthesizing the first image region and the second image region.

画像処理システムの一態様は、第１装置と、通信回線を介して前記第１装置と通信可能に接続されている第２装置と、を備えている。前記第１装置は、撮像部と、方向計測部と、第１認識部と、第２認識部と、推定部と、情報設定部と、通信部と、を含む。前記撮像部は、視点位置および視線方向の組合せが相互に異なる条件で対象物を撮像することで、複数の撮像画像を得る。前記方向計測部は、前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで、撮像時における視線方向を示す視線方向情報を得る。前記第１認識部は、前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する。前記第２認識部は、前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する。前記推定部は、前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、前記複数の撮像画像について、前記対象物を捉えた対象物領域と、前記対象物以外の部分を捉えた非対象物領域と、を推定するとともに、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する。前記情報設定部は、前記複数の撮像画像について、前記対象物領域に対する表示および合成画像の生成への利用の許可に係る許可情報の設定、および前記非対象物領域に対する前記利用の禁止に係る禁止情報の設定、の少なくとも一方の設定をおこなう。前記通信部は、前記複数の撮像画像と、前記推定部で推定した前記表面形状を示す表面形状情報と、前記情報設定部で設定された前記許可情報および前記禁止情報の少なくとも一方を含む許否情報とを、前記通信回線を介して前記第２装置に送信する。前記第２装置は、領域設定部と、検出部と、画像生成部と、を含む。前記領域設定部は、前記表面形状情報と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する。前記検出部は、該領域設定部によって、前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する。前記画像生成部は、前記許否情報に基づいて、前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する。 One aspect of the image processing system includes a first device and a second device communicably connected to the first device via a communication line. The first apparatus includes an image pickup unit, a direction measurement unit, a first recognition unit, a second recognition unit, an estimation unit, an information setting unit, and a communication unit. The imaging unit obtains a plurality of captured images by imaging an object under conditions where the combination of the viewpoint position and the line-of-sight direction is different from each other. The direction measuring unit measures the orientation of the imaging unit at the time of shooting for each of the plurality of captured images, thereby obtaining line-of-sight direction information indicating the line-of-sight direction at the time of imaging. The first recognition unit is a three or more first image portions that capture three or more feature portions of the first captured image in which the object is captured in the first line-of-sight direction among the plurality of captured images. Recognize. The second recognition unit captures the three or more feature parts of the second image obtained by capturing the object in the second line-of-sight direction among the plurality of captured images, and three or more second images. Recognize the part. The estimation unit uses the first positional relationship of the three or more first image portions and the second positional relationship of the three or more second image portions to cover the plurality of captured images. An object region that captures an object and a non-object region that captures a portion other than the object are estimated, and a flat region or a first surface and a second surface are connected via a corner portion. By estimating the connection region, the surface shape of the object is estimated. The information setting unit sets permission information for permitting the display of the plurality of captured images and generation of a composite image for the object region, and prohibition for prohibition of the use of the non-object region. Set at least one of the information settings. The communication unit includes the plurality of captured images, surface shape information indicating the surface shape estimated by the estimation unit, and permission / rejection information including at least one of the permission information and the prohibition information set by the information setting unit. Is transmitted to the second device via the communication line. The second device includes a region setting unit, a detection unit, and an image generation unit. The area setting unit sets a processing target area for the surface based on the surface shape information and a signal input in response to a user's operation. The detection unit captures the first surface in the plurality of captured images in response to the processing target region being set in the connection region of the surface by the region setting unit. The image region and the second image region in which the second surface is captured in a line-of-sight direction different from that of the first image region are detected. The image generation unit generates a composite image for the connection region by synthesizing the first image region and the second image region based on the permission / rejection information.

制御プログラムの一態様は、画像処理装置を制御するための制御プログラムである。該制御プログラムは、前記画像処理装置に、第１工程、第２工程、第３工程、第４工程、第５工程と、第６工程、第７工程と、を実行させる。前記第１工程では、視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視線方向を示す視線方向情報と、を得る。前記第２工程では、前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する。前記第３工程では、前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する。前記第４工程では、前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する。前記第５工程では、推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する。前記第６工程では、前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する。前記第７工程では、前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する。 One aspect of the control program is a control program for controlling the image processing device. The control program causes the image processing apparatus to execute the first step, the second step, the third step, the fourth step, the fifth step, and the sixth step and the seventh step. In the first step, a plurality of captured images in which an object is captured under conditions where the combination of the viewpoint position and the line-of-sight direction are different from each other, and line-of-sight direction information indicating the line-of-sight direction at the time of imaging for each of the plurality of captured images. , Get. In the second step, with respect to the first captured image in which the object is captured in the first line-of-sight direction among the plurality of captured images, three or more first image portions in which three or more feature portions are captured are obtained. recognize. In the third step, with respect to the second captured image in which the object of the plurality of captured images is captured in the second line-of-sight direction, three or more second image portions each capturing the three or more feature portions. Recognize. In the fourth step, the flat region or the first surface and the first surface are used by using the first positional relationship of the three or more first image portions and the second positional relationship of the three or more second image portions. By estimating the connection region in which the two surfaces are connected via the corners, the surface shape of the object is estimated. In the fifth step, the processing target area is set for the surface based on the estimated surface shape and the signal input in response to the user's operation. In the sixth step, in response to the setting of the processing target region in the connection region of the surface, the first image region in which the first surface is captured in the plurality of captured images and the said first image region. A second image region in which the second surface is captured in a line-of-sight direction different from that of the first image region is detected. In the seventh step, a composite image of the connection region is generated by synthesizing the first image region and the second image region.

例えば、撮像対象物を周囲の様々な角度から見た画像を得る画像処理における演算量が低減され得る。 For example, the amount of calculation in image processing for obtaining an image of an imaged object viewed from various angles around it can be reduced.

図１は、第１実施形態に係る画像処理システムの構成の一例を示す図である。FIG. 1 is a diagram showing an example of the configuration of the image processing system according to the first embodiment. 図２は、第１装置の電気的構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the electrical configuration of the first device. 図３は、第１画像処理装置の機能的構成の一例を示すブロック図である。FIG. 3 is a block diagram showing an example of the functional configuration of the first image processing apparatus. 図４は、撮像対象物を撮像する態様の一例を示す模式図である。FIG. 4 is a schematic view showing an example of an aspect of imaging an image-imaging object. 図５は、第２装置の電気的構成の一例を示すブロック図である。FIG. 5 is a block diagram showing an example of the electrical configuration of the second device. 図６は、第２画像処理装置の機能的構成の一例を示すブロック図である。FIG. 6 is a block diagram showing an example of the functional configuration of the second image processing apparatus. 図７（ａ）から図７（ｃ）は、撮像対象物の表面形状を推定する方法の一例を説明する図である。図７（ａ）は、撮像対象物の断面および撮像条件の一例を模式的に示す断面図である。図７（ｂ）は、第１撮像画像の一例を模式的に示す図である。図７（ｃ）は、第２撮像画像の一例を模式的に示す図である。7 (a) to 7 (c) are diagrams illustrating an example of a method of estimating the surface shape of an image-imaging object. FIG. 7A is a cross-sectional view schematically showing an example of a cross section of an imaging object and imaging conditions. FIG. 7B is a diagram schematically showing an example of the first captured image. FIG. 7C is a diagram schematically showing an example of the second captured image. 図８（ａ）から図８（ｃ）は、撮像対象物の表面形状を推定する方法の一例を説明する図である。図８（ａ）は、撮像対象物の断面および撮像条件の一例を模式的に示す断面図である。図８（ｂ）は、第１撮像画像の一例を模式的に示す図である。図８（ｃ）は、第２撮像画像の一例を模式的に示す図である。8 (a) to 8 (c) are diagrams illustrating an example of a method of estimating the surface shape of an image-imaging object. FIG. 8A is a cross-sectional view schematically showing an example of a cross section of an imaging object and imaging conditions. FIG. 8B is a diagram schematically showing an example of the first captured image. FIG. 8C is a diagram schematically showing an example of the second captured image. 図９（ａ）から図９（ｃ）は、撮像対象物の表面形状を推定する方法の一例を説明する図である。図９（ａ）は、撮像対象物の断面および撮像条件の一例を模式的に示す断面図である。図９（ｂ）は、第１撮像画像の一例を模式的に示す図である。図９（ｃ）は、第２撮像画像の一例を模式的に示す図である。9 (a) to 9 (c) are diagrams illustrating an example of a method of estimating the surface shape of an image-imaging object. FIG. 9A is a cross-sectional view schematically showing an example of a cross section of an imaging object and imaging conditions. FIG. 9B is a diagram schematically showing an example of the first captured image. FIG. 9C is a diagram schematically showing an example of the second captured image. 図１０は、撮像対象物の表面形状を推定する方法の一例を説明する図である。FIG. 10 is a diagram illustrating an example of a method of estimating the surface shape of an imaging object. 図１１は、撮像対象物の表面形状を推定する方法の一例を説明する図である。FIG. 11 is a diagram illustrating an example of a method of estimating the surface shape of an imaging object. 図１２（ａ）は、表示画面における拡大前の表示画像の一例を示す図である。図１２（ｂ）は、表示画面における拡大後の表示画像の一例を示す図である。FIG. 12A is a diagram showing an example of a display image before enlargement on the display screen. FIG. 12B is a diagram showing an example of an enlarged display image on the display screen. 図１３（ａ）は、表示画面におけるスクロール前の画像の一例を示す図である。図１３（ｂ）は、表示画面におけるスクロール後の画像の一例を示す図である。FIG. 13A is a diagram showing an example of an image before scrolling on the display screen. FIG. 13B is a diagram showing an example of the scrolled image on the display screen. 図１４は、第１装置による撮像対象物の撮像条件の一例を示す図である。FIG. 14 is a diagram showing an example of imaging conditions of an imaging object by the first apparatus. 図１５（ａ）から図１５（ｄ）は、図１４の撮像条件での撮像で取得された撮像画像を例示する図である。15 (a) to 15 (d) are diagrams illustrating the captured images acquired by the imaging under the imaging conditions of FIG. 14. 図１６（ａ）から図１６（ｃ）は、表示画面における画像のスクロールの一例を示す図である。16 (a) to 16 (c) are diagrams showing an example of scrolling an image on a display screen. 図１７は、画像処理システムにおける複数回の撮像動作をおこなう動作フローの一例を示す流れ図である。FIG. 17 is a flow chart showing an example of an operation flow in which an image processing operation is performed a plurality of times in an image processing system. 図１８は、画像処理システムにおける各撮像動作に係る動作フローの一例を示す流れ図である。FIG. 18 is a flow chart showing an example of an operation flow related to each imaging operation in the image processing system. 図１９は、画像処理システムにおける撮像対象物の表面形状を推定する動作フローの一例を示す流れ図である。FIG. 19 is a flow chart showing an example of an operation flow for estimating the surface shape of an image-imaging object in an image processing system. 図２０は、画像処理システムにおける表示用の画像の生成および表示をおこなう動作フローの一例を示す流れ図である。FIG. 20 is a flow chart showing an example of an operation flow for generating and displaying an image for display in an image processing system. 図２１は、第２実施形態に係る第１画像処理装置の機能的構成の一例を示すブロック図である。FIG. 21 is a block diagram showing an example of the functional configuration of the first image processing apparatus according to the second embodiment. 図２２は、第３実施形態に係る第１画像処理装置の機能的構成の一例を示すブロック図である。FIG. 22 is a block diagram showing an example of the functional configuration of the first image processing apparatus according to the third embodiment. 図２３は、第３実施形態に係る第２画像処理装置の機能的構成の一例を示すブロック図である。FIG. 23 is a block diagram showing an example of the functional configuration of the second image processing apparatus according to the third embodiment. 図２４（ａ）から図２４（ｃ）は、第３実施形態に係る表示画面における画像のスクロールの一例を示す図である。24 (a) to 24 (c) are diagrams showing an example of scrolling an image on the display screen according to the third embodiment.

例えば、工場などの製造現場では、稼働中の製造機器に何らかのアクシデントが発生すると、商品の製造が停止する。このとき、例えば、工場全体における設備稼働率の低下による製造コストの上昇、納期の遅れによる顧客満足度の低下およびサプライチェーンの崩壊など、企業活動に多大な悪影響を及ぼし得る。このため、製造機器のアクシデントからの復旧は急務となる。 For example, at a manufacturing site such as a factory, if an accident occurs in an operating manufacturing device, the manufacturing of a product is stopped. At this time, for example, the manufacturing cost may increase due to the decrease in the equipment utilization rate in the entire factory, the customer satisfaction may decrease due to the delay in delivery, and the supply chain may collapse, which may have a great adverse effect on the corporate activities. Therefore, there is an urgent need to recover from accidents in manufacturing equipment.

このような場面では、例えば、製造機器を開発した担当者などの製造機器の担当者（機器担当者ともいう）は、アクシデントが発生している製造現場からの製造機器の早急な復旧の要請に応じて、本来の職場から製造現場へ急行せざるを得ない場合が想定される。この場合には、例えば、機器担当者は、本来の職場における現在進行中の本来の業務を一旦休止して、製造現場に急行することになる。このとき、例えば、製造機器のアクシデントが、仮に、些細な原因によるものであっても、製造現場の作業者（現場作業者ともいう）が容易に解決可能なものであっても、機器担当者は、本来の職場に戻るまでは、製造機器の復旧作業に拘束される。 In such a situation, for example, the person in charge of manufacturing equipment (also called the person in charge of equipment), such as the person in charge of developing the manufacturing equipment, requests the immediate restoration of the manufacturing equipment from the manufacturing site where the accident occurs. Therefore, it is assumed that there is no choice but to rush from the original workplace to the manufacturing site. In this case, for example, the person in charge of the equipment temporarily suspends the original work currently in progress in the original workplace and rushes to the manufacturing site. At this time, for example, even if the accident of the manufacturing equipment is caused by a trivial cause or can be easily solved by the worker at the manufacturing site (also referred to as the field worker), the person in charge of the equipment Is bound by the restoration work of manufacturing equipment until he returns to his original workplace.

通常、稼働中の製造機器の出荷台数は、開発後に年々増加する傾向を示す。このため、機器担当者が製造機器の復旧作業に拘束される時間も、年々増加する傾向を示す。その結果、例えば、機器担当者が新たな製造機器の開発などの本来の業務に充てるべき時間が、製造機器の復旧作業によってさらに削られていく。 Normally, the number of manufactured equipment shipped in operation tends to increase year by year after development. For this reason, the time that the person in charge of equipment is restrained from the restoration work of the manufacturing equipment tends to increase year by year. As a result, for example, the time that the person in charge of equipment should devote to the original work such as the development of new manufacturing equipment is further reduced by the restoration work of the manufacturing equipment.

これに対して、近年では、通信ネットワークにおける広帯域化と、パーソナルコンピュータ（パソコンともいう）の遠隔操作の技術（パソコン遠隔操作技術ともいう）と、が発達してきている。このため、例えば、通信ネットワークの広帯域化とパソコン遠隔操作技術とを利用して、機器担当者が製造現場に行くことなく、アクシデントが生じた製造機器の状況を確認し、その状況に対処することが考えられる。この場合には、例えば、機器担当者が製造現場との往復に要する時間が減少し、機器担当者は、本来の業務に充てる時間を確保することができる。 On the other hand, in recent years, widening the bandwidth of communication networks and remote control technology for personal computers (also referred to as personal computers) (also referred to as remote control technology for personal computers) have been developed. For this reason, for example, by utilizing the wide band of the communication network and the remote control technology of the personal computer, the person in charge of the equipment can check the situation of the manufacturing equipment in which the accident occurred and deal with the situation without going to the manufacturing site. Can be considered. In this case, for example, the time required for the person in charge of equipment to make a round trip to the manufacturing site is reduced, and the person in charge of equipment can secure the time devoted to the original work.

ただし、パソコン遠隔操作技術では、例えば、パソコンに搭載されているソフトウェアの確認および修正、パソコンの設定の確認および修正、ならびにパソコンの制御下のセンサで取得可能な情報の確認など、が実行可能な程度である。センサで取得可能な情報には、例えば、カメラで撮像可能な視野内の情報などが含まれ得る。このため、例えば、パソコン遠隔操作技術では、製造機器における、製品、半製品もしくは部品などの載置および除去、センサの物理的な位置の調整、ならびにセンサによる計測範囲外の状況の確認など、は実行することが難しい。センサによる計測範囲外の状況の確認には、例えば、カメラの視野外の状況の確認などが含まれ得る。 However, with the computer remote control technology, for example, it is possible to check and modify the software installed in the personal computer, check and modify the settings of the personal computer, and confirm the information that can be acquired by the sensor under the control of the personal computer. Degree. The information that can be acquired by the sensor may include, for example, information in the field of view that can be captured by the camera. For this reason, for example, in computer remote control technology, mounting and removal of products, semi-finished products or parts in manufacturing equipment, adjustment of the physical position of the sensor, confirmation of the situation outside the measurement range by the sensor, etc. Difficult to carry out. The confirmation of the situation outside the measurement range by the sensor may include, for example, confirmation of the situation outside the field of view of the camera.

これに対して、機器担当者は、例えば、パソコン遠隔操作技術で実行することができない部分については、現場作業者からの報告書および現場作業者との電話による会話などを介して、製造機器の状況を把握することが想定される。また、機器担当者は、例えば、さらなる状況の把握、および製造機器に対する作業内容の説明を、現場作業者との電話で実施することが想定される。このとき、機器担当者は、例えば、現場の製造機器を観ていない状態、および通話の相手である現場作業者の視野および着目点が分からない状態で、製造機器の状況の聞き取りおよび作業内容の説明をおこなうことになる。また、このとき、現場作業者は、例えば、機器担当者が知りたい情報を正確には理解できていない状態で、自らの視点から見えている範囲で製造機器の状況を説明することになる。さらに、このとき、例えば、機器担当者と現場作業者との間で、同一の部品に異なる名称を用いるなど、前提とする知識および用語の共有化がなされていなければ、説明の内容が、相手に正しく伝わらず、相手に誤った内容で理解される危険性がある。その結果、例えば、機器担当者は、製造機器の状況の把握および製造機器に対する作業内容の伝達に非常に多くの時間を要してしまうことが想定される。具体的には、例えば、機器担当者が、製造機器についての誤った状況の把握に基づいて、不必要な作業内容を説明すれば、製造機器の復旧に対して、必要以上の多くの時間を要してしまうおそれがある。このような時間の浪費は、例えば、機器担当者と現場作業者とが言葉のみに頼って意思の疎通を図ることによって生じ得る。 On the other hand, the person in charge of the equipment, for example, for the part that cannot be executed by the remote control technology of the personal computer, uses a report from the on-site worker and a telephone conversation with the on-site worker to provide the manufacturing equipment. It is assumed that the situation will be grasped. In addition, it is assumed that the person in charge of equipment, for example, further grasps the situation and explains the work contents to the manufacturing equipment by telephone with the on-site worker. At this time, the person in charge of the equipment listens to the situation of the manufacturing equipment and the work contents without seeing the manufacturing equipment at the site and without knowing the field of view and the point of interest of the field worker who is the other party of the call. I will give an explanation. Further, at this time, the field worker will explain the situation of the manufacturing equipment within the range that can be seen from his / her own viewpoint, for example, in a state where the person in charge of the equipment does not accurately understand the information that he / she wants to know. Furthermore, at this time, if the presupposed knowledge and terms are not shared, for example, the person in charge of equipment and the field worker use different names for the same part, the content of the explanation will be the other party. There is a risk that the content will not be transmitted correctly and will be understood by the other party. As a result, for example, it is assumed that the person in charge of equipment takes an extremely large amount of time to grasp the status of the manufacturing equipment and to convey the work contents to the manufacturing equipment. Specifically, for example, if the person in charge of equipment explains unnecessary work contents based on grasping an erroneous situation about the manufacturing equipment, it takes more time than necessary for the restoration of the manufacturing equipment. It may be necessary. Such waste of time can occur, for example, when the person in charge of equipment and the field worker communicate with each other by relying only on words.

このような問題に対して、例えば、言葉だけでなく、静止画または動画などの映像その他の情報を利用することで、機器担当者と現場作業者との間における円滑な意思の疎通を図るシステム（遠隔作業支援システムともいう）が考えられる。このシステムでは、例えば、現場作業者が、スマートグラス、スマートフォンなどのような携帯可能な機器のカメラで目前の状況を撮像して得られた映像を、ネットワークなどの通信回線を介して機器担当者の端末機器に送信する態様が考えられる。このような態様では、例えば、機器担当者は、端末機器で受信した映像を視認することで、製造現場に行くことなく、現場作業者がリアルタイムで見ているものを視認することができる。また、例えば、現場作業者への作業内容の説明が、音声だけでなく、現場作業者の端末機器のディスプレイに、現場作業者が撮像で得た映像上に書き込まれた絵および文字などで示される態様も考えられる。これにより、現場作業者は、例えば、比較的容易に作業内容の説明を理解することができる。このとき、例えば、機器担当者が見たい場所を現場作業者に正しく伝えることで、現場作業者は、機器担当者が見たい映像を取得することができる。具体的には、例えば、機器担当者は、現場作業者に、製造機器の見たい場所および撮影角度などを伝えることができる。そして、現場作業者は、例えば、携行しているカメラ付きの機器を用いて、機器担当者が見たい映像を取得することができる。その結果、例えば、機器担当者は、見たい場所を容易に視認することができ、製造機器の状況の把握が容易となる。換言すれば、例えば、機器担当者は、製造機器の状況を正しく把握することが可能となり、現場作業者に作業内容を正しく伝えることができる。これにより、パソコン遠隔操作技術と比較して、例えば、機器担当者は、製造機器の状況を迅速かつ的確に把握した上で、状況に適した対策を講ずることができる。 For such problems, for example, a system that promotes smooth communication between equipment personnel and field workers by using not only words but also images such as still images or moving images and other information. (Also called a remote work support system) can be considered. In this system, for example, a field worker captures an image of the situation at hand with a camera of a portable device such as a smart glass or a smartphone, and a person in charge of the device via a communication line such as a network. A mode of transmitting to the terminal device of is conceivable. In such an aspect, for example, the person in charge of the equipment can visually recognize what the on-site worker is seeing in real time without going to the manufacturing site by visually recognizing the image received by the terminal equipment. Further, for example, the explanation of the work contents to the field worker is shown not only by voice but also by pictures and characters written on the image obtained by the field worker on the display of the terminal device of the field worker. A mode is also conceivable. As a result, the field worker can understand the explanation of the work contents relatively easily, for example. At this time, for example, by correctly telling the on-site worker the place that the person in charge of equipment wants to see, the on-site worker can acquire the image that the person in charge of equipment wants to see. Specifically, for example, the person in charge of equipment can inform the field worker of the desired location and shooting angle of the manufacturing equipment. Then, the field worker can acquire the image that the person in charge of the device wants to see by using, for example, a device with a camera that he / she carries. As a result, for example, the person in charge of the equipment can easily visually recognize the place to be seen, and it becomes easy to grasp the state of the manufacturing equipment. In other words, for example, the person in charge of equipment can correctly grasp the situation of the manufacturing equipment and can correctly convey the work contents to the field worker. As a result, as compared with the computer remote control technology, for example, the person in charge of equipment can quickly and accurately grasp the situation of the manufacturing equipment and then take measures suitable for the situation.

ただし、仮に遠隔作業支援システムを採用しても、機器担当者の意図に沿って、現場作業者が撮影をおこなうため、例えば、現場作業者が撮影者として長時間拘束されてしまう。このとき、例えば、機器担当者が、製造機器のアクシデントの原因を見つけるために、同じ場所を、何度も繰り返して見たり、製造機器を動作させながら見たり、といった態様になれば、現場作業者による撮影に要する時間が長くなる。その結果、例えば、現場作業者に対する作業負担が増大するおそれがある。また、例えば、機器担当者とっては、現場作業者に要請する作業が多くなる程、現場作業者に対する申し訳ない気持ちが増大する。その結果、例えば、機器担当者に対する精神的な負担が増大するおそれがある。このため、例えば、現場作業者に多大な作業を強いることなく、機器担当者が自分のペースで製造機器を周囲の様々な角度から確認可能な技術が存在すれば、機器担当者および現場作業者の作業効率が向上し得る。 However, even if the remote work support system is adopted, since the on-site worker takes a picture according to the intention of the person in charge of the equipment, for example, the on-site worker is restrained for a long time as a photographer. At this time, for example, if the person in charge of the equipment looks at the same place over and over again in order to find the cause of the accident of the manufacturing equipment, or looks at the manufacturing equipment while operating it, the on-site work is performed. The time required for shooting by a person becomes longer. As a result, for example, the work load on the field worker may increase. Further, for example, for the person in charge of equipment, the more work requested to the field worker, the greater the feeling of regret for the field worker. As a result, for example, the mental burden on the person in charge of the device may increase. For this reason, for example, if there is a technology that allows the equipment staff to check the manufacturing equipment from various angles around them at their own pace without forcing the field workers to do a lot of work, the equipment staff and the field workers Work efficiency can be improved.

このような要請に対して、例えば、製造機器を周囲の様々な角度から見た画像を得る画像処理技術を適用することが考えられる。このような画像処理技術としては、例えば、多くの視点からの撮像で得た画像（多視点画像）を用いて、撮像対象物を任意の角度から見た再構成画像を生成および表示する技術が考えられる。この技術では、例えば、観察者の視点位置および画像出力装置の種類から算出される、画像の再構成に必要なパラメータが用いられて、再構成画像の各画素について多視点画像の対応する画素が演算で求められ、再構成画像が生成される。 In response to such a request, for example, it is conceivable to apply an image processing technique for obtaining an image of a manufacturing device viewed from various angles around it. As such an image processing technique, for example, a technique for generating and displaying a reconstructed image of an imaged object viewed from an arbitrary angle by using an image (multi-viewpoint image) obtained by imaging from many viewpoints. Conceivable. In this technique, for example, parameters required for image reconstruction calculated from the viewpoint position of the observer and the type of image output device are used, and for each pixel of the reconstructed image, the corresponding pixel of the multi-view image is obtained. Obtained by calculation, a reconstructed image is generated.

しかしながら、このような再構成画像を生成する画像処理では、画像の再構成に必要なパラメータの算出などに多大な演算が必要である。このため、製造機器を周囲の様々な角度から見た画像を得る画像処理については、演算量の低減を図る点で改善の余地がある。 However, in the image processing for generating such a reconstructed image, a large amount of calculation is required for calculating the parameters necessary for reconstructing the image. Therefore, there is room for improvement in the image processing for obtaining an image of the manufacturing equipment viewed from various angles around it in terms of reducing the amount of calculation.

このような課題は、アクシデントが発生した製造機器が撮像対象物である場合だけでなく、立体的な撮像対象物を周囲の様々な角度から見た画像を得たい場面一般に共通する。すなわち、撮像対象物を周囲の様々な角度から見た画像を得る画像処理については、演算量の低減を図る点で改善の余地がある。 Such a problem is common not only when the manufacturing equipment in which the accident has occurred is an image pickup object, but also in a general scene where it is desired to obtain an image of a three-dimensional image pickup object viewed from various angles around it. That is, there is room for improvement in the image processing for obtaining an image of the imaged object viewed from various angles around it in terms of reducing the amount of calculation.

そこで、本願発明者らは、撮像対象物を周囲の様々な角度から見た画像を得る画像処理について、演算量を低減することができる技術を創出した。 Therefore, the inventors of the present application have created a technique capable of reducing the amount of calculation for image processing for obtaining an image of an imaged object viewed from various angles around it.

これについて、以下、各種実施形態を図面に基づいて説明する。図面においては同様な構成および機能を有する部分に同じ符号が付されており、下記説明では重複説明が省略される。図面は模式的に示されたものである。図４、図１０、図１１および図１４には、右手系のＸＹＺ座標系が付されている。このＸＹＺ座標系では、図４で示す水平方向に沿った１つの方向が＋Ｘ方向とされ、＋Ｘ方向に直交し且つ水平方向に沿った１つの方向が＋Ｙ方向とされ、＋Ｘ方向と＋Ｙ方向との両方に直交する方向が＋Ｚ方向とされている。 Hereinafter, various embodiments will be described with reference to the drawings. In the drawings, parts having the same structure and function are designated by the same reference numerals, and duplicate description will be omitted in the following description. The drawings are schematically shown. A right-handed XYZ coordinate system is attached to FIGS. 4, 10, 11 and 14. In this XYZ coordinate system, one direction along the horizontal direction shown in FIG. 4 is the + X direction, one direction orthogonal to the + X direction and along the horizontal direction is the + Y direction, and the + X direction and the + Y direction. The direction orthogonal to both of them is the + Z direction.

＜１．第１実施形態＞
＜１−１．画像処理システム＞
図１で示されるように、画像処理システム１は、第１装置２と、第２装置３と、通信回線４と、基地局５と、を備えている。ここでは、第１装置２は、例えば、無線方式または有線方式で基地局５に対して通信可能に接続されている。基地局５は、例えば、有線方式または無線方式で通信回線４に対して通信可能に接続されている。第２装置３は、例えば、有線方式または無線方式で通信回線４に対して通信可能に接続されている。通信回線４には、例えば、インターネットなどのネットワーク回線が適用される。このため、第２装置３は、例えば、通信回線４を介して第１装置２と通信可能に接続されている。 <1. First Embodiment>
<1-1. Image processing system>
As shown in FIG. 1, the image processing system 1 includes a first device 2, a second device 3, a communication line 4, and a base station 5. Here, the first device 2 is communicably connected to the base station 5 by, for example, a wireless system or a wired system. The base station 5 is communicably connected to the communication line 4 by, for example, a wired system or a wireless system. The second device 3 is communicably connected to the communication line 4 by, for example, a wired system or a wireless system. For example, a network line such as the Internet is applied to the communication line 4. Therefore, the second device 3 is communicably connected to the first device 2 via, for example, the communication line 4.

第１装置２は、例えば、第１ユーザＵ１が使用可能な装置である。第１実施形態では、第１装置２には、例えば、スマートフォンまたはタブレット端末などの撮像機能および通信機能を有する携帯機器が適用される。携帯機器は、例えば、撮像機能および通信機能を有するスマートグラスであってもよい。第１ユーザＵ１には、例えば、工場などの現場で撮像の対象物（撮像対象物ともいう）に対して作業をおこなう者（現場作業者ともいう）が含まれる。撮像対象物には、例えば、製造機器、検査機器および分析機器などの各種機器が含まれ得る。 The first device 2 is, for example, a device that can be used by the first user U1. In the first embodiment, a mobile device having an imaging function and a communication function, such as a smartphone or a tablet terminal, is applied to the first device 2. The portable device may be, for example, a smart glass having an imaging function and a communication function. The first user U1 includes, for example, a person (also referred to as an on-site worker) who works on an object to be imaged (also referred to as an object to be imaged) at a site such as a factory. The object to be imaged may include various devices such as manufacturing equipment, inspection equipment, and analysis equipment.

第２装置３は、例えば、第２ユーザＵ２が使用可能な装置である。第１実施形態では、第２装置３には、例えば、パーソナルコンピュータまたはタブレット端末などの通信機能および画像表示機能を有する機器が適用される。第２ユーザＵ２には、例えば、撮像対象物としての各種機器を開発、生産または販売したメーカーの担当者（機器担当者ともいう）が含まれる。機器担当者には、例えば、機器の開発者などが含まれる。 The second device 3 is, for example, a device that can be used by the second user U2. In the first embodiment, a device having a communication function and an image display function, such as a personal computer or a tablet terminal, is applied to the second device 3. The second user U2 includes, for example, a person in charge (also referred to as a person in charge of equipment) of a manufacturer who has developed, produced, or sold various devices as an imaging object. The person in charge of the device includes, for example, a developer of the device.

このような画像処理システム１では、例えば、第２装置３は、通信回線４を介して、第１装置２に対して、各種の指示を送出することができる。また、例えば、第２装置３は、第１装置２で取得された各種の情報を、通信回線４を介して取得することができる。 In such an image processing system 1, for example, the second device 3 can send various instructions to the first device 2 via the communication line 4. Further, for example, the second device 3 can acquire various information acquired by the first device 2 via the communication line 4.

＜１−２．第１装置の構成＞
＜１−２−１．第１装置の電気的な構成＞
図２で示されるように、第１装置２は、例えば、制御部２００、撮像部２１、方向センサ２２、表示部２３、スピーカ２４、通信部２５、タッチパネル２６および操作ボタン群２７を備えている。 <1-2. Configuration of the first device>
<1-2-1. Electrical configuration of the first device>
As shown in FIG. 2, the first device 2 includes, for example, a control unit 200, an imaging unit 21, a direction sensor 22, a display unit 23, a speaker 24, a communication unit 25, a touch panel 26, and an operation button group 27. ..

制御部２００は、例えば、一種の演算処理装置であって、例えば、電気回路であるＣＰＵ（Central Processing Unit）２１０、ＤＳＰ（Digital Signal Processor）２２０および記憶媒体２３０などを備えている。制御部２００は、例えば、第１装置２の他の構成要素を制御することで、第１装置２の動作を統括的に管理することが可能である。第１装置２は、例えば、ＳｏＣ（System-on-a-Chip）、ＭＣＵ（Micro Control Unit）およびＦＰＧＡ（Field-Programmable Gate Array）などの副処理装置（co-processor）をさらに含んでいてもよい。また、第１装置２は、ＣＰＵ（Central Processing Unit）および副処理装置の双方を協働させるか、あるいは双方のうちの一方を選択的に用いて、各種の制御をおこなってもよい。 The control unit 200 is, for example, a kind of arithmetic processing unit, and includes, for example, an electric circuit such as a CPU (Central Processing Unit) 210, a DSP (Digital Signal Processor) 220, and a storage medium 230. The control unit 200 can collectively manage the operation of the first device 2 by controlling other components of the first device 2, for example. The first device 2 may further include a co-processor such as a SoC (System-on-a-Chip), an MCU (Micro Control Unit) and an FPGA (Field-Programmable Gate Array). Good. Further, the first device 2 may perform various controls by coordinating both the CPU (Central Processing Unit) and the sub-processing device, or by selectively using one of the two.

制御部２００は、以下にさらに詳細に述べられるように、種々の機能を実行するための制御および処理能力を提供するために、少なくとも１つのプロセッサを含む。種々の実施形態によれば、少なくとも１つのプロセッサは、単一の集積回路（ＩＣ）として、または複数の通信可能に接続された集積回路および／またはディスクリート回路（discrete circuits）として実行されてもよい。少なくとも１つのプロセッサは、種々の既知の技術に従って実行されることが可能である。 The control unit 200 includes at least one processor to provide control and processing power to perform various functions, as described in more detail below. According to various embodiments, at least one processor may be run as a single integrated circuit (IC) or as multiple communicable integrated and / or discrete circuits. .. At least one processor can be run according to a variety of known techniques.

１つの実施形態において、プロセッサは、例えば、関連するメモリに記憶された指示を実行することによって１以上のデータ計算手続または処理を実行するように構成された１以上の回路またはユニットを含む。他の実施形態において、プロセッサは、１以上のデータ計算手続きまたは処理を実行するように構成されたファームウェア（例えば、ディスクリートロジックコンポーネント）であってもよい。 In one embodiment, the processor comprises, for example, one or more circuits or units configured to perform one or more data calculation procedures or processes by executing instructions stored in the associated memory. In other embodiments, the processor may be firmware (eg, a discrete logic component) configured to perform one or more data computation procedures or processes.

種々の実施形態によれば、プロセッサは、１以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ASIC）、デジタル信号処理装置、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、またはこれらのデバイス若しくは構成の任意の組み合わせ、または他の既知のデバイスおよび構成の組み合わせを含み、以下に説明される機能を実行してもよい。 According to various embodiments, the processor is one or more processors, controllers, microprocessors, microcontrollers, application specific integrated circuits (ASICs), digital signal processing devices, programmable logic devices, field programmable gate arrays, or these. Any combination of devices or configurations, or other known device and configuration combinations, may be included to perform the functions described below.

記憶媒体２３０は、例えば、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）などの、ＣＰＵ２１０およびＤＳＰ２２０が読み取り可能な非一時的な記録媒体を含む。記憶媒体２３０が有するＲＯＭは、例えば、不揮発性メモリ２３０ｂであるフラッシュＲＯＭ（フラッシュメモリ）である。記憶媒体２３０が有するＲＡＭは、例えば、揮発性メモリ２３０ａである。記憶媒体２３０には、第１装置２を制御するためのメインプログラムおよび複数のアプリケーションプログラム（アプリケーションともいう）などが記憶されている。制御部２００の各種機能は、ＣＰＵ２１０およびＤＳＰ２２０が記憶媒体２３０内の各種プログラムを実行することによって実現される。記憶媒体２３０には、例えば、撮像部２１を用いて静止画像あるいは動画像を撮像するための撮像アプリケーションならびに通信をおこなうためのアプリケーションが記憶されている。記憶媒体２３０に記憶されるアプリケーションには、例えば、第１装置２を制御するための制御プログラム２Ｐｒが含まれている。ここで、第１装置２では、制御プログラム２ＰｒをＣＰＵ２１０などで実行することで、第１画像処理装置２０としての機能を実現することができる。換言すれば、制御プログラム２Ｐｒによって、第１画像処理装置２０が制御され得る。 The storage medium 230 includes non-temporary recording media such as ROM (Read Only Memory) and RAM (Random Access Memory) that can be read by the CPU 210 and the DSP 220. The ROM included in the storage medium 230 is, for example, a flash ROM (flash memory) which is a non-volatile memory 230b. The RAM included in the storage medium 230 is, for example, the volatile memory 230a. The storage medium 230 stores a main program for controlling the first device 2, a plurality of application programs (also referred to as applications), and the like. Various functions of the control unit 200 are realized by the CPU 210 and the DSP 220 executing various programs in the storage medium 230. The storage medium 230 stores, for example, an imaging application for capturing a still image or a moving image using the imaging unit 21, and an application for performing communication. The application stored in the storage medium 230 includes, for example, a control program 2Pr for controlling the first device 2. Here, in the first device 2, the function as the first image processing device 20 can be realized by executing the control program 2Pr on the CPU 210 or the like. In other words, the first image processing device 20 can be controlled by the control program 2Pr.

記憶媒体２３０は、ＲＯＭおよびＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶媒体２３０は、例えば、小型のハードディスクドライブおよびＳＳＤ（Solid State Drive）などを備えていてもよい。記憶媒体２３０とは別の記憶媒体が存在していてもよい。この記憶媒体は制御部２００の外部に位置していてもよい。後述する情報の記憶先は、記憶媒体２３０であってもよく、他の記憶媒体であってもよい。制御部２００の全ての機能あるいは制御部２００の一部の機能は、その機能の実現にソフトウェアが不要なハードウェアによって実現されても構わない。制御部２００は回路によって形成されていればよい。制御部２００の構成は後述する他の制御部にも適用できる。 The storage medium 230 may include computer-readable non-temporary recording media other than ROM and RAM. The storage medium 230 may include, for example, a small hard disk drive and an SSD (Solid State Drive). A storage medium other than the storage medium 230 may exist. This storage medium may be located outside the control unit 200. The storage destination of the information described later may be the storage medium 230 or another storage medium. All the functions of the control unit 200 or some functions of the control unit 200 may be realized by hardware that does not require software to realize the functions. The control unit 200 may be formed by a circuit. The configuration of the control unit 200 can be applied to other control units described later.

撮像部２１は、例えば、レンズおよび撮像素子などを備えている。撮像部２１は、制御部２００によって制御され得る。撮像部２１は、レンズを介して撮像素子で光を受光して、撮像画像を生成する。これにより、撮像部２１は、撮像画像を取得することができる。撮像部２１で取得される撮像画像は、静止画像の形態とされてもよいし、繰り返し（例えば、周期的に）撮像画像を生成して動画像の形態のものとされてもよい。ここで、例えば、第１ユーザＵ１が第１装置２を携帯しつつ移動と撮像対象物の撮像とを繰り返しておこなえば、撮像部２１によって、視点の位置（視点位置ともいう）および視線の方向（視線方向ともいう）の組合せが相互に異なる条件で撮像対象物が複数回撮像される。これにより、撮像部２１は、例えば、撮像対象物に係る複数の画像（撮像画像ともいう）を得ることができる。ここで、視点位置は、例えば、撮像部２１の位置を示す。視線方向は、例えば、視点位置を基準として撮像部２１の光軸上において被写体が位置している方向（撮像方向ともいう）を示す。また、撮像部２１は、得られた撮像画像を制御部２００へ出力することができる。このとき、制御部２００では、撮像部２１によって順次に取得される複数の撮像画像が記憶媒体２３０に蓄積される。これにより、例えば、複数の撮像画像が蓄積されたデータベース（画像ＤＢともいう）２Ｉｄが不揮発性メモリ２３０ｂなどに構築される。 The image pickup unit 21 includes, for example, a lens and an image pickup device. The imaging unit 21 can be controlled by the control unit 200. The image pickup unit 21 receives light from the image pickup device via the lens to generate an image pickup image. As a result, the imaging unit 21 can acquire the captured image. The captured image acquired by the imaging unit 21 may be in the form of a still image, or may be in the form of a moving image by repeatedly (for example, periodically) generating an captured image. Here, for example, if the first user U1 repeatedly moves and images the imaged object while carrying the first device 2, the imaging unit 21 determines the position of the viewpoint (also referred to as the viewpoint position) and the direction of the line of sight. The imaged object is imaged multiple times under conditions in which combinations (also referred to as line-of-sight directions) are different from each other. As a result, the imaging unit 21 can obtain, for example, a plurality of images (also referred to as captured images) related to the image-imaging object. Here, the viewpoint position indicates, for example, the position of the imaging unit 21. The line-of-sight direction indicates, for example, the direction in which the subject is located on the optical axis of the imaging unit 21 with reference to the viewpoint position (also referred to as the imaging direction). In addition, the imaging unit 21 can output the obtained captured image to the control unit 200. At this time, in the control unit 200, a plurality of captured images sequentially acquired by the imaging unit 21 are stored in the storage medium 230. As a result, for example, a database (also referred to as an image DB) 2Id in which a plurality of captured images are stored is constructed in the non-volatile memory 230b or the like.

方向センサ２２は、例えば、第１装置２の向きを計測するための情報を得ることができる。方向センサ２２には、例えば、３軸地磁気センサなどの電子コンパスが適用される。方向センサ２２は、得られた情報を制御部２００へ出力することができる。このとき、制御部２００では、例えば、方向センサ２２で得られた情報が、画像ＤＢ２Ｉｄにおいて、対応する撮像画像と関連付けられた状態で記憶媒体２３０に記憶される。 The direction sensor 22 can obtain information for measuring the orientation of the first device 2, for example. An electronic compass such as a 3-axis geomagnetic sensor is applied to the direction sensor 22. The direction sensor 22 can output the obtained information to the control unit 200. At this time, in the control unit 200, for example, the information obtained by the direction sensor 22 is stored in the storage medium 230 in the image DB 2Id in a state associated with the corresponding captured image.

表示部２３は、例えば、表示パネルおよび表示画面を有している。表示パネルは、例えば、第１装置２の１つの面である前面側に位置している。この表示パネルには、例えば、液晶パネルあるいは有機ＥＬ(Electro Luminescence）パネルが採用され得る。表示パネルは、制御部２００に制御されることで、画像、文字、記号および図形などの各種情報を表示することが可能である。表示パネルが可視的に出力する各種情報は、表示画面に表示される。これにより、表示部２３は、例えば、各種の情報を第１ユーザＵ１が認識可能な態様で可視的に出力することができる。ここで各種の情報には、例えば、撮像部２１で取得される撮像画像、および通信部２５で受信した各種の情報などが含まれ得る。 The display unit 23 has, for example, a display panel and a display screen. The display panel is located, for example, on the front side, which is one surface of the first device 2. For this display panel, for example, a liquid crystal panel or an organic EL (Electro Luminescence) panel can be adopted. The display panel can display various information such as images, characters, symbols, and figures by being controlled by the control unit 200. Various information visually output by the display panel is displayed on the display screen. As a result, the display unit 23 can visually output various types of information in a manner recognizable by the first user U1, for example. Here, the various information may include, for example, an captured image acquired by the imaging unit 21, various information received by the communication unit 25, and the like.

スピーカ２４は、例えば、音声を出力することができる。スピーカ２４には、例えば、ダイナミックスピーカが適用され得る。例えば、スピーカ２４では、制御部２００からの電気的な音信号が音に変換されて出力され得る。これにより、スピーカ２４は、例えば、音声情報を第１ユーザＵ１が可聴的に認識可能な態様で出力することができる。 The speaker 24 can output sound, for example. For example, a dynamic speaker may be applied to the speaker 24. For example, in the speaker 24, an electrical sound signal from the control unit 200 can be converted into sound and output. As a result, the speaker 24 can output, for example, voice information in a manner that can be audibly recognized by the first user U1.

通信部２５は、例えば、通信用のインターフェースであって、アンテナを有している。通信部２５は、例えば、第１装置２とは別の装置からの信号を受信することができる。第１実施形態では、例えば、通信部２５は、通信回線４に接続された第２装置３などからの信号を、基地局５を介してアンテナで受信することができる。 The communication unit 25 is, for example, an interface for communication and has an antenna. The communication unit 25 can receive, for example, a signal from a device other than the first device 2. In the first embodiment, for example, the communication unit 25 can receive a signal from the second device 3 or the like connected to the communication line 4 by the antenna via the base station 5.

上記のように、例えば、表示部２３は、情報を可視的に出力することが可能であり、スピーカ２４は、情報を可聴的に出力することが可能であり、通信部２５は、情報をデータの形式で出力することが可能である。このため、例えば、表示部２３、スピーカ２４および通信部２５は、情報を出力する出力部２ｏｕを構成し得る。 As described above, for example, the display unit 23 can visually output the information, the speaker 24 can output the information audibly, and the communication unit 25 can output the information as data. It is possible to output in the format of. Therefore, for example, the display unit 23, the speaker 24, and the communication unit 25 may form an output unit 2ou that outputs information.

また、通信部２５は、例えば、アンテナでの受信信号に対して適宜所定の信号処理をおこなって制御部２００に処理後の受信信号を出力することが可能である。通信部２５は、例えば、制御部２００で生成された信号に対して、適宜所定の信号処理をおこなって処理後の送信信号をアンテナから無線送信することが可能である。アンテナからの送信信号は、例えば、基地局５を通じて、第１装置２以外の機器で受信される。第１装置２以外の機器には、通信回線４に接続された第２装置３が含まれる。これにより、通信部２５は、例えば、通信回線４を介して、第２装置３と通信することができる。 Further, the communication unit 25 can, for example, appropriately perform predetermined signal processing on the reception signal at the antenna and output the processed reception signal to the control unit 200. For example, the communication unit 25 can perform predetermined signal processing on the signal generated by the control unit 200 as appropriate, and wirelessly transmit the processed transmission signal from the antenna. The transmission signal from the antenna is received by a device other than the first device 2 through, for example, the base station 5. The devices other than the first device 2 include the second device 3 connected to the communication line 4. As a result, the communication unit 25 can communicate with the second device 3 via, for example, the communication line 4.

タッチパネル２６は、例えば、表示画面に対する指などによる操作を検出することが可能である。タッチパネル２６には、例えば、投影型静電容量方式のタッチパネルが適用され得る。タッチパネル２６は、第１ユーザＵ１が指などによって表示画面に対して操作をおこなうと、その操作に応じた電気信号がタッチパネル２６から制御部２００に入力される。これにより、制御部２００は、タッチパネル２６からの電気信号に基づいて、表示画面に対しておこなわれた操作の内容を特定して、その内容に応じた処理をおこなうことが可能である。第１ユーザＵ１は、例えば、指以外のスタイラスペンなどの静電式タッチパネル用ペンで表示画面を操作することによっても、第１装置２に対して各種指示を与えることができる。このタッチパネル２６は、例えば、表示画面に対するスワイプ操作に応じて、表示部２３の表示画面上に表示されている画像の範囲をスクロールさせることができる。また、このタッチパネル２６は、例えば、表示画面に対するピンチインの操作に応じて、表示部２３の表示画面上に表示されている画像を拡大させることができる。また、このタッチパネル２６は、例えば、表示画面に対するピンチアウトの操作に応じて、表示部２３の表示画面上に表示されている画像を縮小させることができる。 The touch panel 26 can detect, for example, an operation with a finger or the like on the display screen. For example, a projection type capacitance type touch panel may be applied to the touch panel 26. When the first user U1 operates the display screen with a finger or the like, the touch panel 26 inputs an electric signal corresponding to the operation to the control unit 200 from the touch panel 26. As a result, the control unit 200 can specify the content of the operation performed on the display screen based on the electric signal from the touch panel 26, and perform processing according to the content. The first user U1 can also give various instructions to the first device 2 by operating the display screen with a pen for an electrostatic touch panel such as a stylus pen other than a finger, for example. The touch panel 26 can scroll the range of the image displayed on the display screen of the display unit 23 in response to a swipe operation on the display screen, for example. Further, the touch panel 26 can enlarge the image displayed on the display screen of the display unit 23, for example, in response to a pinch-in operation on the display screen. Further, the touch panel 26 can reduce the image displayed on the display screen of the display unit 23, for example, in response to a pinch-out operation on the display screen.

操作ボタン群２７は、操作ボタン群２７に含まれる操作ボタンが第１ユーザＵ１によって操作されると、操作されたことを示す操作信号を制御部２００に出力することができる。これにより、制御部２００は、操作ボタンからの操作信号に基づいて、操作ボタンが操作されたか否かを判断することができる。制御部２００は、操作された操作ボタンに応じた処理をおこなうことが可能である。操作ボタンは、押しボタンなどのハードウェアボタンではなく、表示画面に表示されるソフトウェアボタンであってもよい。この場合には、例えば、第１ユーザＵ１によるソフトウェアボタンへの操作がタッチパネル２６によって検出され、制御部２００では、操作されたソフトウェアボタンに応じた処理がおこなわれ得る。 When the operation button included in the operation button group 27 is operated by the first user U1, the operation button group 27 can output an operation signal indicating that the operation is performed to the control unit 200. As a result, the control unit 200 can determine whether or not the operation button has been operated based on the operation signal from the operation button. The control unit 200 can perform processing according to the operated operation button. The operation button may be a software button displayed on the display screen instead of a hardware button such as a push button. In this case, for example, an operation on the software button by the first user U1 is detected by the touch panel 26, and the control unit 200 may perform processing according to the operated software button.

このように、例えば、タッチパネル２６および操作ボタン群２７は、第１ユーザＵ１の動作に応答して操作信号を入力する入力部２ｉｎとなり得る。入力部２ｉｎには、例えば、タッチパネル２６および操作ボタン群２７以外のポインティングデバイスなどが含まれていてもよい。 As described above, for example, the touch panel 26 and the operation button group 27 can be an input unit 2in for inputting an operation signal in response to the operation of the first user U1. The input unit 2in may include, for example, a pointing device other than the touch panel 26 and the operation button group 27.

＜１−２−２．第１画像処理装置の機能的な構成＞
図３は、第１装置２が第１画像処理装置２０として機能する場合における、第１画像処理装置２０の機能的な構成の一例を示す機能ブロック図である。図３で示されるように、第１画像処理装置２０は、例えば、撮像部２１、方向計測部２２１、記憶媒体２３０、通信部２５、出力部２ｏｕおよび入力部２ｉｎを備えている。 <1-2-2. Functional configuration of the first image processing device>
FIG. 3 is a functional block diagram showing an example of the functional configuration of the first image processing device 20 when the first device 2 functions as the first image processing device 20. As shown in FIG. 3, the first image processing device 20 includes, for example, an image pickup unit 21, a direction measurement unit 221 and a storage medium 230, a communication unit 25, an output unit 2ou, and an input unit 2in.

方向計測部２２１は、例えば、方向センサ２２と制御部２００との協働によって機能的な構成として実現され得る。具体的には、方向計測部２２１は、例えば、記憶媒体２３０に格納された制御プログラム２Ｐｒを制御部２００で実行することで実現され得る機能的な構成と、方向センサ２２と、の協働によって機能的な構成として実現され得る。方向計測部２２１では、例えば、撮像部２１によって取得される複数の撮像画像のそれぞれについて、撮像時における撮像部２１の向きが計測されることで、撮像時における視線方向を示す情報（視線方向情報ともいう）が得られる。この方向計測部２２１では、例えば、方向センサ２２の検出値に基づいて、撮像部２１が向いている視線方向が算出され得る。方向センサ２２には、例えば、傾斜センサが加えられてもよい。制御部２００では、例えば、方向計測部２２１で得られた視線方向情報が、画像ＤＢ２Ｉｄにおいて対応する撮像画像と関連付けられた状態で記憶媒体２３０に記憶される。 The direction measuring unit 221 can be realized as a functional configuration by the cooperation of the direction sensor 22 and the control unit 200, for example. Specifically, the direction measuring unit 221 has a functional configuration that can be realized by executing the control program 2Pr stored in the storage medium 230 in the control unit 200, and the direction sensor 22 in cooperation with the direction measuring unit 221. It can be realized as a functional configuration. The direction measurement unit 221 measures, for example, the orientation of the imaging unit 21 at the time of imaging for each of the plurality of captured images acquired by the imaging unit 21, thereby indicating information indicating the line-of-sight direction at the time of imaging (line-of-sight direction information). Also called) is obtained. The direction measuring unit 221 can calculate the line-of-sight direction in which the imaging unit 21 is facing, for example, based on the detected value of the direction sensor 22. For example, a tilt sensor may be added to the direction sensor 22. In the control unit 200, for example, the line-of-sight direction information obtained by the direction measurement unit 221 is stored in the storage medium 230 in a state associated with the corresponding captured image in the image DB2Id.

このように、例えば、撮像部２１および方向計測部２２１は、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視線方向情報と、を取得することができる取得部２ａｃとなり得る。 As described above, for example, the imaging unit 21 and the direction measuring unit 221 can be the acquisition unit 2ac capable of acquiring a plurality of captured images and the line-of-sight direction information related to each of the plurality of captured images at the time of imaging. ..

ここで、図４で示すように、例えば、第１ユーザＵ１が撮像対象物Ｏｂ０の周囲を回りながら、撮像対象物Ｏｂ０を時間順次に撮像する場合を想定する。ここでは、例えば、第１ユーザＵ１は、時刻Ｔ１から時刻Ｔ１２において、順に撮像対象物Ｏｂ０を撮像する。具体的には、まず、時刻Ｔ１における位置Ｐｔ１で視線方向ｖ１での撮像、時刻Ｔ２における位置Ｐｔ２で視線方向ｖ２での撮像、時刻Ｔ３における位置Ｐｔ３で視線方向ｖ３での撮像および時刻Ｔ４における位置Ｐｔ４で視線方向ｖ４での撮像が順におこなわれる。次に、時刻Ｔ５における位置Ｐｔ５で視線方向ｖ５での撮像、時刻Ｔ６における位置Ｐｔ６で視線方向ｖ６での撮像、時刻Ｔ７における位置Ｐｔ７で視線方向ｖ７での撮像および時刻Ｔ８における位置Ｐｔ８で視線方向ｖ８での撮像が順におこなわれる。その次に、時刻Ｔ９における位置Ｐｔ９で視線方向ｖ９での撮像、時刻Ｔ１０における位置Ｐｔ１０で視線方向ｖ１０での撮像、時刻Ｔ１１における位置Ｐｔ１１で視線方向ｖ１１での撮像および時刻Ｔ１２における位置Ｐｔ１２で視線方向ｖ１２での撮像が順におこなわれる。このとき、例えば、取得部２ａｃによって、１２回の撮像による１２枚の撮像画像と、各撮像時に係る視線方向情報と、が取得され得る。 Here, as shown in FIG. 4, for example, it is assumed that the first user U1 orbits the image-imaging object Ob0 and images the image-imaging object Ob0 in time sequence. Here, for example, the first user U1 images the image pickup target Ob0 in order from the time T1 to the time T12. Specifically, first, the position Pt1 at time T1 is imaged in the line-of-sight direction v1, the position Pt2 at time T2 is imaged in the line-of-sight direction v2, the position Pt3 at time T3 is imaged in the line-of-sight direction v3, and the position at time T4. Imaging is performed in order with Pt4 in the line-of-sight direction v4. Next, the position Pt5 at time T5 is imaged in the line-of-sight direction v5, the position Pt6 at time T6 is imaged in the line-of-sight direction v6, the position Pt7 at time T7 is imaged in the line-of-sight direction v7, and the position Pt8 at time T8 is the line-of-sight direction. Imaging with v8 is performed in order. Next, the position Pt9 at time T9 is imaged in the line-of-sight direction v9, the position Pt10 at time T10 is imaged in the line-of-sight direction v10, the position Pt11 at time T11 is imaged in the line-of-sight direction v11, and the line-of-sight is taken at position Pt12 at time T12. Imaging in the direction v12 is performed in order. At this time, for example, the acquisition unit 2ac can acquire 12 captured images obtained by 12 times of imaging and the line-of-sight direction information related to each imaging.

通信部２５は、例えば、撮像部２１で取得された複数の撮像画像と、これらの複数の撮像画像のそれぞれについての視線方向情報とを、通信回線４を介して第２装置３に向けて送信することができる。これらの情報は、例えば、撮像部２１によって撮像画像が取得される毎のタイミング、あるいは予め設定されたタイミングにおいて、通信部２５によって通信回線４を介して第２装置３に向けて送信され得る。予め設定されたタイミングは、例えば、一定の時間間隔のタイミングであってもよいし、所定数の撮像画像の取得ごとのタイミングであってもよいし、第１ユーザＵ１などの動作に応答して入力部２ｉｎで入力される信号に応答するタイミングでもよい。 For example, the communication unit 25 transmits a plurality of captured images acquired by the imaging unit 21 and line-of-sight direction information for each of the plurality of captured images to the second device 3 via the communication line 4. can do. These information can be transmitted by the communication unit 25 to the second device 3 via the communication line 4 at each timing when the captured image is acquired by the imaging unit 21, or at a preset timing, for example. The preset timing may be, for example, a timing at a fixed time interval, a timing for each acquisition of a predetermined number of captured images, or in response to an operation of the first user U1 or the like. It may be the timing to respond to the signal input by the input unit 2in.

出力部２ｏｕは、例えば、撮像部２１によって取得された撮像画像などを、可視的に出力することができる。 The output unit 2ou can visually output, for example, an captured image acquired by the imaging unit 21.

入力部２ｉｎは、例えば、第１ユーザＵ１の動作に応じて、第１画像処理装置２０において各種信号を入力することができる。このとき、第１画像処理装置２０では、例えば、入力された各種信号に応じた撮像などの動作がおこなわれ得る。 The input unit 2in can input various signals in the first image processing device 20 according to the operation of the first user U1, for example. At this time, in the first image processing device 20, for example, an operation such as imaging according to various input signals can be performed.

＜１−３．第２装置の構成＞
＜１−３−１．第２装置の電気的な構成＞
図５で示されるように、第２装置３は、例えば、制御部３００、表示部３３、スピーカ３４、通信部３５、タッチパネル３６および操作部３７を備えている。 <1-3. Configuration of the second device>
<1-3-1. Electrical configuration of the second device>
As shown in FIG. 5, the second device 3 includes, for example, a control unit 300, a display unit 33, a speaker 34, a communication unit 35, a touch panel 36, and an operation unit 37.

制御部３００は、例えば、一種の演算処理装置であって、例えば、電気回路であるＣＰＵ（Central Processing Unit）３１０および記憶媒体３３０などを備えている。制御部３００は、例えば、第２装置３の他の構成要素を制御することで、第２装置３の動作を統括的に管理することが可能である。第２装置３は、例えば、上記第１装置２と同様に、ＳｏＣ（System-on-a-Chip）、ＭＣＵ（Micro Control Unit）およびＦＰＧＡ（Field-Programmable Gate Array）などの副処理装置（co-processor）をさらに含んでいてもよい。また、第２装置３は、例えば、上記第１装置２と同様に、ＣＰＵ（Central Processing Unit）および副処理装置の双方を協働させるか、あるいは双方のうちの一方を選択的に用いて、各種の制御をおこなってもよい。 The control unit 300 is, for example, a kind of arithmetic processing device, and includes, for example, a CPU (Central Processing Unit) 310 which is an electric circuit, a storage medium 330, and the like. The control unit 300 can collectively manage the operation of the second device 3 by controlling other components of the second device 3, for example. The second device 3 is, for example, an auxiliary processing device (co) such as a SoC (System-on-a-Chip), an MCU (Micro Control Unit), and an FPGA (Field-Programmable Gate Array), similarly to the first device 2. -processor) may be further included. Further, in the second device 3, for example, similarly to the first device 2, both the CPU (Central Processing Unit) and the sub-processing device are made to cooperate, or one of the two is selectively used. Various controls may be performed.

制御部３００は、例えば、上記第１装置２の制御部２００と同様に、以下にさらに詳細に述べられるように、種々の機能を実行するための制御および処理能力を提供するために、少なくとも１つのプロセッサを含む。 The control unit 300, like the control unit 200 of the first device 2, for example, is at least one in order to provide control and processing power for performing various functions, as described in more detail below. Includes one processor.

記憶媒体３３０は、例えば、ＲＯＭ（Read Only Memory）などの不揮発性メモリ３３０ｂ、およびＲＡＭ（Random Access Memory）などの揮発性メモリ３３０ａを有している。ＲＯＭには、例えば、フラッシュＲＯＭ（フラッシュメモリ）などが含まれ得る。記憶媒体３３０には、第２装置３を制御するためのメインプログラムおよび複数のアプリケーションプログラム（アプリケーションともいう）などが記憶されている。制御部３００の各種機能は、ＣＰＵ３１０が記憶媒体３３０内の各種プログラムを実行することによって実現される。記憶媒体３３０には、例えば、第１装置２から送信されてきた複数の撮像画像を表示するための画像表示アプリケーションが記憶されている。記憶媒体３３０に記憶されるアプリケーションには、例えば、第２装置３を制御するための制御プログラム３Ｐｒが含まれている。ここで、第２装置３では、制御プログラム３ＰｒをＣＰＵ３１０などで実行することで、第２画像処理装置３０としての機能を実現することができる。換言すれば、制御プログラム３Ｐｒによって、第２画像処理装置３０が制御され得る。 The storage medium 330 has, for example, a non-volatile memory 330b such as a ROM (Read Only Memory) and a volatile memory 330a such as a RAM (Random Access Memory). The ROM may include, for example, a flash ROM (flash memory). The storage medium 330 stores a main program for controlling the second device 3, a plurality of application programs (also referred to as applications), and the like. Various functions of the control unit 300 are realized by the CPU 310 executing various programs in the storage medium 330. The storage medium 330 stores, for example, an image display application for displaying a plurality of captured images transmitted from the first device 2. The application stored in the storage medium 330 includes, for example, a control program 3Pr for controlling the second device 3. Here, in the second device 3, the function as the second image processing device 30 can be realized by executing the control program 3Pr on the CPU 310 or the like. In other words, the second image processing device 30 can be controlled by the control program 3Pr.

記憶媒体３３０は、ＲＯＭおよびＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶媒体３３０は、例えば、ハードディスクドライブおよびＳＳＤ（Solid State Drive）などを備えていてもよい。記憶媒体３３０とは別の記憶媒体が存在していてもよい。この記憶媒体は制御部３００の外部に位置していてもよい。後述する情報の記憶先は、記憶媒体３３０であってもよく、他の記憶媒体であってもよい。制御部３００の全ての機能あるいは制御部３００の一部の機能は、その機能の実現にソフトウェアが不要なハードウェアによって実現されても構わない。制御部３００は回路によって形成されていればよい。 The storage medium 330 may include a non-temporary recording medium other than ROM and RAM that can be read by a computer. The storage medium 330 may include, for example, a hard disk drive and an SSD (Solid State Drive). A storage medium other than the storage medium 330 may exist. This storage medium may be located outside the control unit 300. The storage destination of the information described later may be the storage medium 330 or another storage medium. All the functions of the control unit 300 or some functions of the control unit 300 may be realized by hardware that does not require software to realize the functions. The control unit 300 may be formed by a circuit.

表示部３３は、例えば、上記第１装置２の表示部２３と同様に、表示パネルおよび表示画面を有している。この表示パネルは、制御部３００に制御されることで、画像、文字、記号および図形などの各種情報を表示することが可能である。表示パネルが可視的に出力する各種情報は、表示画面に表示される。これにより、表示部３３は、例えば、各種の情報を第２ユーザＵ２が認識可能な態様で可視的に出力することができる。ここで各種の情報には、例えば、通信部３５で受信される撮像画像などが含まれ得る。 The display unit 33 has, for example, a display panel and a display screen similar to the display unit 23 of the first device 2. The display panel can display various information such as images, characters, symbols, and figures by being controlled by the control unit 300. Various information visually output by the display panel is displayed on the display screen. As a result, the display unit 33 can visually output various types of information in a manner recognizable by the second user U2, for example. Here, various types of information may include, for example, an captured image received by the communication unit 35.

スピーカ３４は、例えば、上記第１装置２のスピーカ２４と同様に、音声を出力することができる。例えば、スピーカ３４では、制御部３００からの電気的な音信号が音に変換されて出力され得る。これにより、スピーカ３４は、例えば、音声情報を第２ユーザＵ２が可聴的に認識可能な態様で出力することができる。 The speaker 34 can output sound in the same manner as the speaker 24 of the first device 2, for example. For example, in the speaker 34, an electrical sound signal from the control unit 300 can be converted into sound and output. As a result, the speaker 34 can output voice information in a manner that can be audibly recognized by the second user U2, for example.

通信部３５は、例えば、上記第１装置２の通信部２５と同様に、通信用のインターフェースであって、通信回線４とデータの送受信が可能な態様で接続されている。このため、通信部３５は、例えば、通信回線４を介して、第１装置２と通信可能に接続されている。この通信部３５は、例えば、制御部３００で生成された信号に対して適宜所定の信号処理をおこなったうえで、処理後の送信信号を通信回線４に向けて送信することが可能である。通信部３５から通信回線４への送信信号は、例えば、通信回線４に接続された第１装置２などで受信される。 The communication unit 35 is, for example, an interface for communication similar to the communication unit 25 of the first device 2, and is connected to the communication line 4 in a manner capable of transmitting and receiving data. Therefore, the communication unit 35 is communicably connected to the first device 2 via, for example, the communication line 4. For example, the communication unit 35 can appropriately perform predetermined signal processing on the signal generated by the control unit 300, and then transmit the processed transmission signal to the communication line 4. The transmission signal from the communication unit 35 to the communication line 4 is received, for example, by the first device 2 connected to the communication line 4.

上記のように、例えば、表示部３３は、情報を可視的に出力することが可能であり、スピーカ３４は、情報を可聴的に出力することが可能であり、通信部３５は、情報をデータの形式で出力することが可能である。このため、例えば、表示部３３、スピーカ３４および通信部３５は、情報を出力する出力部３ｏｕを構成し得る。 As described above, for example, the display unit 33 can output the information visually, the speaker 34 can output the information audibly, and the communication unit 35 can output the information as data. It is possible to output in the format of. Therefore, for example, the display unit 33, the speaker 34, and the communication unit 35 may form an output unit 3ou that outputs information.

また、通信部３５は、例えば、第２装置３とは別の装置からの信号を受信することが可能である。第２装置３とは別の装置には、例えば、通信回線４に接続された第１装置２が含まれる。ここで、通信部３５は、例えば、通信回線４を介して、第１装置２から送信された、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視線方向情報と、を受信可能な受信部３ｒｅとしての機能を有する。換言すれば、ここで、通信部３５は、例えば、通信回線４を介して、第１装置２から送信された、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視線方向情報と、を取得可能な取得部３ａｃとしての機能を有する。 Further, the communication unit 35 can receive, for example, a signal from a device other than the second device 3. The device different from the second device 3 includes, for example, the first device 2 connected to the communication line 4. Here, the communication unit 35 obtains, for example, a plurality of captured images transmitted from the first device 2 via the communication line 4 and line-of-sight direction information related to each of the plurality of captured images at the time of imaging. It has a function as a receivable receiving unit 3re. In other words, here, the communication unit 35 has, for example, a plurality of captured images transmitted from the first device 2 via the communication line 4, and a line-of-sight direction related to each of the plurality of captured images at the time of imaging. It has a function as an acquisition unit 3ac capable of acquiring information and information.

また、通信部３５では、例えば、受信した信号に対して適宜所定の信号処理をおこなって制御部３００に処理後の受信信号を出力することが可能である。例えば、通信部３５では、受信した撮像画像を制御部３００に出力することが可能である。このとき、制御部３００では、通信部３５によって順次に取得される複数の撮像画像が記憶媒体３３０に蓄積される。これにより、例えば、複数の撮像画像が蓄積されたデータベース（画像ＤＢともいう）３Ｉｄが不揮発性メモリ３３０ｂなどに構築される。 Further, the communication unit 35 can, for example, appropriately perform predetermined signal processing on the received signal and output the processed received signal to the control unit 300. For example, the communication unit 35 can output the received captured image to the control unit 300. At this time, the control unit 300 stores a plurality of captured images sequentially acquired by the communication unit 35 in the storage medium 330. As a result, for example, a database (also referred to as an image DB) 3Id in which a plurality of captured images are stored is constructed in the non-volatile memory 330b or the like.

タッチパネル３６は、例えば、上記第１装置２のタッチパネル２６と同様に、表示画面に対する指などによる操作を検出することが可能である。タッチパネル３６は、第２ユーザＵ２が指などによって表示画面に対して操作をおこなうと、その操作に応じた電気信号がタッチパネル３６から制御部３００に入力される。これにより、制御部３００は、タッチパネル３６からの電気信号に基づいて、表示画面に対しておこなわれた操作の内容を特定して、その内容に応じた処理をおこなうことが可能である。第２ユーザＵ２は、例えば、指以外のスタイラスペンなどの静電式タッチパネル用ペンで表示画面を操作することによっても、第２装置３に対して各種指示を与えることができる。このタッチパネル３６は、例えば、表示画面に対するスワイプ操作に応じて、表示部３３の表示画面上に表示されている画像の範囲をスクロールさせることができる。また、このタッチパネル３６は、例えば、表示画面に対するピンチインの操作に応じて、表示部３３の表示画面上に表示されている画像を拡大させることができる。また、このタッチパネル３６は、例えば、表示画面に対するピンチアウトの操作に応じて、表示部３３の表示画面上に表示されている画像を縮小させることができる。 The touch panel 36 can detect an operation with a finger or the like on the display screen, for example, like the touch panel 26 of the first device 2. When the second user U2 operates the display screen with a finger or the like, the touch panel 36 inputs an electric signal corresponding to the operation to the control unit 300 from the touch panel 36. As a result, the control unit 300 can specify the content of the operation performed on the display screen based on the electric signal from the touch panel 36, and perform processing according to the content. The second user U2 can also give various instructions to the second device 3 by operating the display screen with a pen for an electrostatic touch panel such as a stylus pen other than a finger, for example. The touch panel 36 can scroll the range of the image displayed on the display screen of the display unit 33 in response to a swipe operation on the display screen, for example. Further, the touch panel 36 can enlarge the image displayed on the display screen of the display unit 33 in response to a pinch-in operation on the display screen, for example. Further, the touch panel 36 can reduce the image displayed on the display screen of the display unit 33 in response to a pinch-out operation on the display screen, for example.

操作部３７は、例えば、キーボードおよびマウスなどの構成を含み、第２ユーザＵ２による操作に応じた操作信号を制御部３００に出力することができる。これにより、制御部３００は、操作部３７からの操作信号に基づいて、操作部３７が操作されたか否かを判断することができる。制御部３００は、例えば、操作部３７に対する第２ユーザＵ２の操作に応じた処理をおこなうことが可能である。操作部３７には、例えば、表示画面に表示されるソフトウェアボタンが含まれてもよい。この場合には、例えば、第２ユーザＵ２によるソフトウェアボタンへの操作がタッチパネル３６によって検出され、制御部３００では、第２ユーザＵ２によって操作されたソフトウェアボタンに応じた処理がおこなわれ得る。 The operation unit 37 includes, for example, a keyboard and a mouse, and can output an operation signal corresponding to the operation by the second user U2 to the control unit 300. As a result, the control unit 300 can determine whether or not the operation unit 37 has been operated based on the operation signal from the operation unit 37. The control unit 300 can perform processing according to the operation of the second user U2 on the operation unit 37, for example. The operation unit 37 may include, for example, a software button displayed on the display screen. In this case, for example, the touch panel 36 detects the operation of the software button by the second user U2, and the control unit 300 can perform the process according to the software button operated by the second user U2.

このように、例えば、タッチパネル３６および操作部３７は、第２ユーザＵ２の動作に応答して操作信号を入力する入力部３ｉｎとなり得る。 As described above, for example, the touch panel 36 and the operation unit 37 can be an input unit 3in for inputting an operation signal in response to the operation of the second user U2.

＜１−３−２．第２画像処理装置の機能的な構成＞
図６は、第２装置３が第２画像処理装置３０として機能する場合における、第２画像処理装置３０の機能的な構成の一例を示す機能ブロック図である。図６で示されるように、第２画像処理装置３０は、例えば、取得部３ａｃ、出力部３ｏｕ、入力部３ｉｎ、記憶媒体３３０、第１認識部３１１、第２認識部３１２、推定部３１３、情報設定部３１４、領域設定部３１５、検出部３１６および画像生成部３１７を備えている。ここで、第１認識部３１１、第２認識部３１２、推定部３１３、情報設定部３１４、領域設定部３１５、検出部３１６および画像生成部３１７は、例えば、記憶媒体３３０に格納された制御プログラム３Ｐｒを制御部３００で実行することで実現され得る機能的な構成である。 <1-3-2. Functional configuration of the second image processing device>
FIG. 6 is a functional block diagram showing an example of the functional configuration of the second image processing device 30 when the second device 3 functions as the second image processing device 30. As shown in FIG. 6, the second image processing apparatus 30 includes, for example, an acquisition unit 3ac, an output unit 3ou, an input unit 3in, a storage medium 330, a first recognition unit 311, a second recognition unit 312, and an estimation unit 313. It includes an information setting unit 314, an area setting unit 315, a detection unit 316, and an image generation unit 317. Here, the first recognition unit 311, the second recognition unit 312, the estimation unit 313, the information setting unit 314, the area setting unit 315, the detection unit 316, and the image generation unit 317 are, for example, control programs stored in the storage medium 330. It is a functional configuration that can be realized by executing 3Pr in the control unit 300.

＜１−３−２−１．取得部＞
取得部３ａｃは、例えば、第１画像処理装置２０から送信された、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視線方向情報と、を受信部３ｒｅとしての通信部３５による受信によって取得することができる。 <1-3-2-1. Acquisition department>
The acquisition unit 3ac receives, for example, a plurality of captured images transmitted from the first image processing device 20 and line-of-sight direction information related to each of the plurality of captured images at the time of imaging, as a communication unit 35 as a receiving unit 3re. Can be obtained by reception by.

＜１−３−２−２．出力部＞
出力部３ｏｕは、例えば、取得部３ａｃによって取得された撮像画像の全部または一部、および後述する画像生成部３１７によって生成される合成画像などを出力することができる。合成画像は、例えば、撮像対象物Ｏｂ０の角部を挟む第１面と第２面とがそれぞれ捉えられた第１画像領域と第２画像領域とが合成されることで生成され得る。ここで、例えば、出力部３ｏｕにおける画像の出力に、表示部３３における可視的な出力が含まれていれば、第２画像処理装置３０における合成画像の第２ユーザＵ２による視認などが可能となる。また、ここで、例えば、出力部３ｏｕにおける画像の出力に、通信部３５によるデータの出力が含まれていれば、第２画像処理装置３０以外の他の装置における合成画像の視認もしくは蓄積、などが可能となる。 <1-3-2-2. Output section>
The output unit 3ou can output, for example, all or a part of the captured image acquired by the acquisition unit 3ac, a composite image generated by the image generation unit 317 described later, and the like. The composite image can be generated, for example, by synthesizing the first image region and the second image region in which the first surface and the second surface sandwiching the corner portion of the image pickup object Ob0 are captured, respectively. Here, for example, if the output of the image in the output unit 3ou includes the visible output in the display unit 33, the composite image in the second image processing device 30 can be visually recognized by the second user U2. .. Further, here, for example, if the output of the image in the output unit 3ou includes the output of data by the communication unit 35, the composite image can be visually recognized or accumulated in a device other than the second image processing device 30. Is possible.

＜１−３−２−３．入力部＞
入力部３ｉｎは、例えば、第２ユーザＵ２の動作に応じて、第２画像処理装置３０において各種信号を入力することができる。入力部３ｉｎでは、例えば、第２ユーザＵ２の動作に応じて、表示部３３に表示されている各種画像の拡大または縮小を指示する信号が入力され得る。また、入力部３ｉｎでは、例えば、第２ユーザＵ２の動作に応じて、表示部３３に表示されている各種画像のスクロールを指示する信号が入力され得る。 <1-3-2-3. Input section>
The input unit 3in can input various signals in the second image processing device 30 according to the operation of the second user U2, for example. In the input unit 3in, for example, a signal instructing enlargement or reduction of various images displayed on the display unit 33 may be input according to the operation of the second user U2. Further, in the input unit 3in, for example, a signal instructing scrolling of various images displayed on the display unit 33 may be input according to the operation of the second user U2.

＜１−３−２−４．記憶媒体＞
記憶媒体３３０は、例えば、取得部３ａｃによって取得された複数の撮像画像を記憶することができる。これにより、記憶媒体３３０において、例えば、複数の撮像画像が格納された画像ＤＢ３Ｉｄが構築され得る。画像ＤＢ３Ｉｄでは、例えば、各撮像画像が、対応する情報が関連付けられた状態で記憶され得る。ここで、対応する情報には、例えば、視線方向情報が含まれる。また、記憶媒体３３０は、例えば、後述する推定部３１３によって推定される撮像対象物Ｏｂ０の表面形状を示す情報（表面形状情報ともいう）を記憶することもできる。また、記憶媒体３３０は、例えば、後述する画像生成部３１７によって生成される合成画像などを記憶してもよい。これにより、例えば、第２画像処理装置３０における合成画像の蓄積などが可能となる。また、記憶媒体３３０は、例えば、後述する情報設定部３１４によって設定される情報を記憶してもよい。 <1-3-2-4. Storage medium>
The storage medium 330 can store, for example, a plurality of captured images acquired by the acquisition unit 3ac. As a result, in the storage medium 330, for example, an image DB3Id in which a plurality of captured images are stored can be constructed. In the image DB3Id, for example, each captured image can be stored in a state in which the corresponding information is associated with each other. Here, the corresponding information includes, for example, line-of-sight direction information. Further, the storage medium 330 can also store, for example, information (also referred to as surface shape information) indicating the surface shape of the image pickup target Ob0 estimated by the estimation unit 313 described later. Further, the storage medium 330 may store, for example, a composite image generated by the image generation unit 317, which will be described later. As a result, for example, the composite image can be accumulated in the second image processing device 30. Further, the storage medium 330 may store information set by the information setting unit 314, which will be described later, for example.

＜１−３−２−５．第１認識部＞
第１認識部３１１は、例えば、取得部３ａｃで取得された複数の撮像画像のうちの１つの撮像画像（第１撮像画像ともいう）について、３つ以上の特徴部をそれぞれ捉えた３つ以上の画像部分（第１画像部分ともいう）を認識することができる。第１撮像画像として、例えば、撮像対象物Ｏｂ０をある１つの視線方向（第１視線方向ともいう）で捉えた撮像画像が採用される。特徴部には、例えば、凸部、凹部あるいは色彩もしくは濃淡のコントラストが大きな部分などにおける角部が含まれ得る。角部は、例えば、いわゆるコーナー検出法などによって撮像画像において認識され得る。ここで、３つ以上の第１画像部分が、例えば、仮想的な直線上に位置していない３つ以上の画像部分を含んでいれば、後述する推定部３１３における撮像対象物Ｏｂ０の表面形状の推定精度が向上し得る。さらに、例えば、３つ以上の第１画像部分に含まれる第１画像部分の数が多い程、後述する推定部３１３における撮像対象物Ｏｂ０の表面形状の推定精度が向上し得る。 <1-3-2-5. 1st recognition unit>
For example, the first recognition unit 311 captures three or more feature units of one of a plurality of captured images acquired by the acquisition unit 3ac (also referred to as a first captured image). Image portion (also referred to as first image portion) can be recognized. As the first captured image, for example, an captured image in which the imaged object Ob0 is captured in one line-of-sight direction (also referred to as the first line-of-sight direction) is adopted. The feature portion may include, for example, a convex portion, a concave portion, or a corner portion in a portion having a large contrast of color or shading. The corners can be recognized in the captured image by, for example, a so-called corner detection method. Here, if the three or more first image portions include, for example, three or more image portions that are not located on a virtual straight line, the surface shape of the image pickup target Ob0 in the estimation unit 313, which will be described later. The estimation accuracy of can be improved. Further, for example, as the number of the first image portions included in the three or more first image portions increases, the estimation accuracy of the surface shape of the image pickup target Ob0 in the estimation unit 313, which will be described later, can be improved.

＜１−３−２−６．第２認識部＞
第２認識部３１２は、例えば、取得部３ａｃで取得された複数の撮像画像のうちの第１撮像画像とは異なる他の１つの撮像画像（第２撮像画像ともいう）について、３つ以上の特徴部をそれぞれ捉えた３つ以上の画像部分（第２画像部分ともいう）を認識することができる。ここで、３つ以上の特徴部としては、例えば、第１撮像画像における３つ以上の特徴部と同一のものが採用される。第２撮像画像としては、例えば、撮像対象物Ｏｂ０を第１視線方向とは異なる他の１つの視線方向（第２視線方向ともいう）で捉えた撮像画像が採用される。第２認識部３１２では、第１認識部３１１で認識された各第１画像部分または２以上の第１画像部分について、例えば、パターンマッチングまたは位相限定相関法などの対応点の探索方法が用いられて、第１画像部分と同一の特徴部を捉えた第２画像部分が認識される。これにより、例えば、捉えられた特徴点の形および構成が第１撮像画像と似ている第２撮像画像が、複数の撮像画像から検索され得る。 <1-3-2-6. Second recognition unit>
The second recognition unit 312 has, for example, three or more of three or more captured images (also referred to as second captured images) different from the first captured image among the plurality of captured images acquired by the acquisition unit 3ac. It is possible to recognize three or more image portions (also referred to as second image portions) in which each feature portion is captured. Here, as the three or more feature parts, for example, the same ones as the three or more feature parts in the first captured image are adopted. As the second captured image, for example, an captured image in which the imaged object Ob0 is captured in another line-of-sight direction (also referred to as a second line-of-sight direction) different from the first line-of-sight direction is adopted. The second recognition unit 312 uses a method of searching for corresponding points such as pattern matching or a phase-limited correlation method for each of the first image parts or two or more first image parts recognized by the first recognition unit 311. Therefore, the second image portion that captures the same feature portion as the first image portion is recognized. Thereby, for example, a second captured image in which the shape and composition of the captured feature points are similar to those of the first captured image can be searched from the plurality of captured images.

ここで、３つ以上の第２画像部分が、例えば、仮想的な直線上に位置していない３つ以上の画像部分を含んでいれば、後述する推定部３１３における撮像対象物Ｏｂ０の表面形状の推定精度が向上し得る。さらに、例えば、３つ以上の第２画像部分に含まれる第２画像部分の数が多い程、後述する推定部３１３における撮像対象物Ｏｂ０の表面形状の推定精度が向上し得る。ここで、例えば、第２視線方向に沿った視線（第２視線ともいう）と、第１視線方向に沿った視線（第１視線ともいう）との成す角度が、予め設定された閾値よりも大きければ、後述する推定部３１３における撮像対象物Ｏｂ０の表面形状の推定精度が向上し得る。 Here, if the three or more second image portions include, for example, three or more image portions that are not located on a virtual straight line, the surface shape of the image pickup target Ob0 in the estimation unit 313, which will be described later. The estimation accuracy of can be improved. Further, for example, as the number of the second image portions included in the three or more second image portions increases, the estimation accuracy of the surface shape of the image pickup target Ob0 in the estimation unit 313, which will be described later, can be improved. Here, for example, the angle formed by the line of sight along the second line-of-sight direction (also referred to as the second line of sight) and the line of sight along the first line-of-sight direction (also referred to as the first line of sight) is greater than a preset threshold value. If it is large, the estimation accuracy of the surface shape of the imaging target Ob0 in the estimation unit 313 described later can be improved.

＜１−３−２−７．推定部＞
＜１−３−２−７−１．撮像対象物の表面形状の推定＞
推定部３１３は、例えば、３つ以上の第１画像部分の位置関係（第１位置関係ともいう）と、３つ以上の第２画像部分の位置関係（第２位置関係ともいう）と、を用いて、撮像対象物Ｏｂ０の表面に係る形状（表面形状ともいう）を推定することができる。３つ以上の第１画像部分は、例えば、第１認識部３１１によって第１撮像画像において認識され得る。３つ以上の第２画像部分は、例えば、第２認識部３１２によって第２撮像画像において認識され得る。上記第１位置関係には、例えば、第１撮像画像における１つの方向（第１方向ともいう）での３つ以上の第１画像部分の間の距離の関係が含まれ得る。上記第２位置関係には、例えば、第２撮像画像における第１方向に対応する方向（第２方向ともいう）での３つ以上の第２画像部分の間の距離の関係が含まれ得る。このとき、例えば、撮像対象物Ｏｂ０の表面形状が容易に推定され得る。推定部３１３では、例えば、平坦な領域（平坦領域ともいう）あるいは２つの平坦な面（平坦面ともいう）が角部を介して接続している領域（接続領域ともいう）が推定されることで、撮像対象物Ｏｂ０の表面に係る表面形状が推定され得る。 <1-3-2-7. Estimator>
<1-3-2-17-1. Estimating the surface shape of the object to be imaged>
The estimation unit 313, for example, determines the positional relationship of three or more first image portions (also referred to as the first positional relationship) and the positional relationship of the three or more second image portions (also referred to as the second positional relationship). It can be used to estimate the shape (also referred to as the surface shape) related to the surface of the image pickup object Ob0. Three or more first image portions can be recognized in the first captured image by, for example, the first recognition unit 311. Three or more second image portions can be recognized in the second captured image by, for example, the second recognition unit 312. The first positional relationship may include, for example, a relationship of distances between three or more first image portions in one direction (also referred to as a first direction) in the first captured image. The second positional relationship may include, for example, a relationship of distances between three or more second image portions in a direction corresponding to the first direction (also referred to as a second direction) in the second captured image. At this time, for example, the surface shape of the image pickup object Ob0 can be easily estimated. In the estimation unit 313, for example, a flat region (also referred to as a flat region) or a region in which two flat surfaces (also referred to as flat surfaces) are connected via a corner portion (also referred to as a connection region) is estimated. Therefore, the surface shape of the surface of the object to be imaged Ob0 can be estimated.

ここで、第１撮像画像における第１方向および第２撮像画像における第２方向としては、例えば、撮像対象物Ｏｂ０上の１つの仮想的な線（仮想線ともいう）に沿った方向が採用される。この１つの仮想線には、例えば、第１撮像画像の撮像時における第１装置２の第１視線および第２撮像画像の撮像時における第１装置２の第２視線の双方を含む仮想的な平面（仮想平面ともいう）と、撮像対象物Ｏｂ０の表面と、が交差する仮想的な線が適用される。また、仮想平面は、例えば、第１方向に沿った第１視線および第２方向に沿った第２視線が平面上に位置するか否かに拘わらず、水平面など予め設定された平面であってもよいし、水平面などを含む複数の平面からユーザによって選択された平面であってもよい。 Here, as the first direction in the first captured image and the second direction in the second captured image, for example, a direction along one virtual line (also referred to as a virtual line) on the imaged object Ob0 is adopted. To. This one virtual line includes, for example, both the first line of sight of the first device 2 when the first captured image is captured and the second line of sight of the first device 2 when the second captured image is captured. A virtual line at which a plane (also referred to as a virtual plane) and the surface of the imaging object Ob0 intersect is applied. Further, the virtual plane is, for example, a predetermined plane such as a horizontal plane regardless of whether or not the first line of sight along the first direction and the second line of sight along the second direction are located on the plane. It may be a plane selected by the user from a plurality of planes including a horizontal plane and the like.

ここで、推定部３１３における撮像対象物Ｏｂ０の表面形状の推定方法について、具体例を挙げて説明する。 Here, a method of estimating the surface shape of the imaging object Ob0 in the estimation unit 313 will be described with reference to specific examples.

図７（ａ）、図８（ａ）および図９（ａ）には、第１撮像画像の撮像時における第１視線および第２撮像画像の撮像時における第２視線の双方を含む仮想平面に沿った、撮像対象物Ｏｂ０の断面が示されている。 7 (a), 8 (a), and 9 (a) show a virtual plane including both the first line of sight when the first captured image is captured and the second line of sight when the second captured image is captured. The cross section of the image pickup object Ob0 along the line is shown.

まず、図７（ａ）で示されるように、撮像対象物Ｏｂ０の平坦面Ｓｆｔ０上に３つの特徴部Ｐ１，Ｐ２，Ｐ３が存在している場合を想定する。平坦面Ｓｆｔ０は、例えば、第１面Ｓｆ１あるいは第２面Ｓｆ２とされる。ここで、例えば、第１装置２によって視線方向ｖ１で平坦面Ｓｆｔ０の撮像がおこなわれることで、図７（ｂ）で示される第１撮像画像Ｇａ１が取得される。また、例えば、第１装置２によって視線方向ｖ２で平坦面Ｓｆｔ０の撮像がおこなわれることで、図７（ｃ）で示される第２撮像画像Ｇｂ１が取得される。 First, as shown in FIG. 7A, it is assumed that three feature portions P1, P2, and P3 are present on the flat surface Sft0 of the image pickup target Ob0. The flat surface Sft0 is, for example, a first surface Sf1 or a second surface Sf2. Here, for example, the first apparatus 2 captures the flat surface Sft0 in the line-of-sight direction v1, so that the first captured image Ga1 shown in FIG. 7B is acquired. Further, for example, the first apparatus 2 captures the flat surface Sft0 in the line-of-sight direction v2, so that the second captured image Gb1 shown in FIG. 7C is acquired.

図７（ｂ）で示されるように、第１撮像画像Ｇａ１には、例えば、第１画像部分として、画像部分ｐ１ａ、画像部分ｐ２ａおよび画像部分ｐ３ａが含まれている。画像部分ｐ１ａでは、撮像対象物Ｏｂ０の特徴部Ｐ１が捉えられている。画像部分ｐ２ａでは、撮像対象物Ｏｂ０の特徴部Ｐ２が捉えられている。画像部分ｐ３ａでは、撮像対象物Ｏｂ０の特徴部Ｐ３が捉えられている。 As shown in FIG. 7B, the first captured image Ga1 includes, for example, an image portion p1a, an image portion p2a, and an image portion p3a as the first image portion. In the image portion p1a, the feature portion P1 of the image pickup target Ob0 is captured. In the image portion p2a, the feature portion P2 of the image pickup target Ob0 is captured. In the image portion p3a, the feature portion P3 of the image pickup target Ob0 is captured.

図７（ｂ）には、仮想線Ｌｖａ１が二点鎖線で描かれている。仮想線Ｌｖａ１は、例えば、第１撮像画像Ｇａ１の撮像時における第１装置２の第１視線および第２撮像画像Ｇｂ１の撮像時における第１装置２の第２視線の双方を含む仮想平面と、撮像対象物Ｏｂ０と、が交差する部分に対応する。図７（ｂ）の例では、第１撮像画像Ｇａ１において、仮想線Ｌｖａ１が伸びる方向において、画像部分ｐｌａと画像部分ｐ２ａとの間の距離がｄａ１とされ、画像部分ｐ２ａと画像部分ｐ３ａとの間の距離がｄａ２とされている。 In FIG. 7B, the virtual line Lva1 is drawn as a chain double-dashed line. The virtual line Lva1 includes, for example, a virtual plane including both the first line of sight of the first device 2 at the time of capturing the first captured image Ga1 and the second line of sight of the first device 2 at the time of capturing the second captured image Gb1. Corresponds to the portion where the image-imaging object Ob0 intersects. In the example of FIG. 7B, in the first captured image Ga1, the distance between the image portion pl and the image portion p2a is set to da1 in the direction in which the virtual line Lva1 extends, and the image portion p2a and the image portion p3a The distance between them is da2.

数値ｄａ１は、特徴部Ｐ１を通り且つ第１撮像画像Ｇａ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ２を通り且つ第１撮像画像Ｇａ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄａ１に対応する。数値ｄａ２は、特徴部Ｐ２を通り且つ第１撮像画像Ｇａ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ３を通り且つ第１撮像画像Ｇａ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄａ２に対応する。 The numerical value da1 is a virtual straight line passing through the feature unit P1 and along the optical axis of the imaging unit 21 at the time of capturing the first captured image Ga1 and an image pickup passing through the feature portion P2 at the time of capturing the first captured image Ga1. It corresponds to the distance Da1 from the virtual straight line along the optical axis of the unit 21. The numerical value da2 is a virtual straight line passing through the feature unit P2 and along the optical axis of the imaging unit 21 at the time of capturing the first captured image Ga1 and an image pickup passing through the feature portion P3 at the time of capturing the first captured image Ga1. It corresponds to the distance Da2 from the virtual straight line along the optical axis of the unit 21.

図７（ｃ）で示されるように、第２撮像画像Ｇｂ１には、例えば、３つの第２画像部分として、画像部分ｐ１ｂ、画像部分ｐ２ｂおよび画像部分ｐ３ｂが含まれている。画像部分ｐ１ｂでは、撮像対象物Ｏｂ０の特徴部Ｐ１が捉えられている。画像部分ｐ２ｂでは、撮像対象物Ｏｂ０の特徴部Ｐ２が捉えられている。画像部分ｐ３ｂでは、撮像対象物Ｏｂ０の特徴部Ｐ３が捉えられている。 As shown in FIG. 7C, the second captured image Gb1 includes, for example, an image portion p1b, an image portion p2b, and an image portion p3b as three second image portions. In the image portion p1b, the feature portion P1 of the image pickup target Ob0 is captured. In the image portion p2b, the feature portion P2 of the image pickup target Ob0 is captured. In the image portion p3b, the feature portion P3 of the image pickup target Ob0 is captured.

図７（ｃ）には、仮想線Ｌｖｂ１が二点鎖線で描かれている。仮想線Ｌｖｂ１は、例えば、第１撮像画像Ｇａ１の撮像時における第１装置２の第１視線および第２撮像画像Ｇｂ１の撮像時における第１装置２の第２視線の双方を含む仮想平面と、撮像対象物Ｏｂ０と、が交差する部分に対応する。図７（ｃ）の例では、第２撮像画像Ｇｂ１において、仮想的線Ｌｖｂ１が伸びる方向において、画像部分ｐｌｂと画像部分ｐ２ｂとの間の距離がｄｂ１とされ、画像部分ｐ２ｂと画像部分ｐ３ｂとの間の距離がｄｂ２とされている。 In FIG. 7C, the virtual line Lvb1 is drawn as a chain double-dashed line. The virtual line Lvb1 includes, for example, a virtual plane including both the first line of sight of the first device 2 at the time of capturing the first captured image Ga1 and the second line of sight of the first device 2 at the time of capturing the second captured image Gb1. Corresponds to the portion where the image-imaging object Ob0 intersects. In the example of FIG. 7C, in the second captured image Gb1, the distance between the image portion plb and the image portion p2b is set to db1 in the direction in which the virtual line Lvb1 extends, and the image portion p2b and the image portion p3b The distance between them is db2.

数値ｄｂ１は、特徴部Ｐ１を通り且つ第２撮像画像Ｇｂ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ２を通り且つ第２撮像画像Ｇｂ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄｂ１に対応する。数値ｄｂ２は、特徴部Ｐ２を通り且つ第２撮像画像Ｇｂ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ３を通り且つ第２撮像画像Ｇｂ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄｂ２に対応する。 The numerical value db1 is a virtual straight line passing through the feature unit P1 and along the optical axis of the imaging unit 21 at the time of capturing the second captured image Gb1 and an image pickup passing through the feature portion P2 at the time of capturing the second captured image Gb1. It corresponds to the distance Db1 from the virtual straight line along the optical axis of the unit 21. The numerical value db2 is a virtual straight line passing through the feature unit P2 and along the optical axis of the imaging unit 21 at the time of capturing the second captured image Gb1 and an image pickup passing through the feature portion P3 at the time of capturing the second captured image Gb1. It corresponds to the distance Db2 from the virtual straight line along the optical axis of the unit 21.

このとき、推定部３１３では、例えば、次の式（１）が成立すれば、３つの特徴部Ｐ１，Ｐ２，Ｐ３を含む第１面Ｓｆ１または第２面Ｓｆ２の領域が平坦な領域（平坦領域）であるものと推定され得る。 At this time, in the estimation unit 313, for example, if the following equation (1) is satisfied, the region of the first surface Sf1 or the second surface Sf2 including the three feature units P1, P2, P3 is a flat region (flat region). ) Can be presumed to be.

ｄａ１：ｄａ２＝ｄｂ１：ｄｂ２・・・（１）。 da1: da2 = db1: db2 ... (1).

次に、図８（ａ）で示されるように、撮像対象物Ｏｂ０のうちの２つの平坦面が角部Ｃｎ１を介して接続している山型の領域の面（山型面ともいう）Ｓｆｍ０上に５つの特徴部Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８が存在している場合を想定する。２つの平坦面は、第１面Ｓｆ１および第２面Ｓｆ２とされる。ここで、例えば、第１装置２によって視線方向ｖ３で山型面Ｓｆｍ０の撮像がおこなわれることで、図８（ｂ）で示される第１撮像画像Ｇａ２が取得される。また、例えば、第１装置２によって視線方向ｖ４で山型面Ｓｆｍ０の撮像がおこなわれることで、図８（ｃ）で示される第２撮像画像Ｇｂ２が取得される。 Next, as shown in FIG. 8A, the surface of the mountain-shaped region (also referred to as the mountain-shaped surface) Sfm0 in which two flat surfaces of the imaging object Ob0 are connected via the corner portion Cn1. It is assumed that five feature parts P4, P5, P6, P7, and P8 are present above. The two flat surfaces are referred to as a first surface Sf1 and a second surface Sf2. Here, for example, the first apparatus 2 captures the mountain-shaped surface Sfm0 in the line-of-sight direction v3, so that the first captured image Ga2 shown in FIG. 8B is acquired. Further, for example, when the first device 2 captures the mountain-shaped surface Sfm0 in the line-of-sight direction v4, the second captured image Gb2 shown in FIG. 8C is acquired.

図８（ｂ）で示されるように、第１撮像画像Ｇａ２には、例えば、５つの第１画像部分として、画像部分ｐ４ａ、画像部分ｐ５ａ、画像部分ｐ６ａ、画像部分ｐ７ａおよび画像部分ｐ８ａが含まれている。画像部分ｐ４ａには、撮像対象物Ｏｂ０の特徴部Ｐ４が捉えられている。画像部分ｐ５ａには、撮像対象物Ｏｂ０の特徴部Ｐ５が捉えられている。画像部分ｐ６ａには、撮像対象物Ｏｂ０の特徴部Ｐ６が捉えられている。画像部分ｐ７ａには、撮像対象物Ｏｂ０の特徴部Ｐ７が捉えられている。画像部分ｐ８ａには、撮像対象物Ｏｂ０の特徴部Ｐ８が捉えられている。 As shown in FIG. 8B, the first captured image Ga2 includes, for example, an image portion p4a, an image portion p5a, an image portion p6a, an image portion p7a, and an image portion p8a as five first image portions. It has been. The feature portion P4 of the image pickup target Ob0 is captured in the image portion p4a. The feature portion P5 of the image pickup target Ob0 is captured in the image portion p5a. The feature portion P6 of the image pickup target Ob0 is captured in the image portion p6a. The feature portion P7 of the image pickup target Ob0 is captured in the image portion p7a. The feature portion P8 of the image pickup target Ob0 is captured in the image portion p8a.

図８（ｂ）には、仮想線Ｌｖａ２が二点鎖線で描かれている。仮想線Ｌｖａ２は、第１撮像画像Ｇａ２の撮像時における第１装置２の第１視線および第２撮像画像Ｇｂ２の撮像時における第１装置２の第２視線の双方を含む仮想平面と、撮像対象物Ｏｂ０と、が交差する部分に対応する。図８（ｂ）の例では、第１撮像画像Ｇａ２において、仮想線Ｌｖａ２が伸びる方向において、画像部分ｐ４ａと画像部分ｐ５ａとの間の距離がｄａ３とされ、画像部分ｐ５ａと画像部分ｐ６ａとの間の距離がｄａ４とされている。また、図８（ｂ）の例では、第１撮像画像Ｇａ２において、仮想線Ｌｖａ２が伸びる方向において、画像部分ｐ６ａと画像部分ｐ７ａとの間の距離がｄａ５とされ、画像部分ｐ７ａと画像部分ｐ８ａとの間の距離がｄａ６とされている。 In FIG. 8B, the virtual line Lva2 is drawn as a chain double-dashed line. The virtual line Lva2 includes a virtual plane including both the first line of sight of the first device 2 at the time of capturing the first captured image Ga2 and the second line of sight of the first device 2 at the time of capturing the second captured image Gb2, and an imaging target. Corresponds to the part where the object Ob0 and the object Ob0 intersect. In the example of FIG. 8B, in the first captured image Ga2, the distance between the image portion p4a and the image portion p5a is set to da3 in the direction in which the virtual line Lva2 extends, and the image portion p5a and the image portion p6a The distance between them is da4. Further, in the example of FIG. 8B, in the first captured image Ga2, the distance between the image portion p6a and the image portion p7a is set to da5 in the direction in which the virtual line Lva2 extends, and the image portion p7a and the image portion p8a are set. The distance between and is set to da6.

数値ｄａ３は、特徴部Ｐ４を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ５を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄａ３に対応する。数値ｄａ４は、特徴部Ｐ５を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ６を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄａ４に対応する。数値ｄａ５は、特徴部Ｐ６を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ７を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄａ５に対応する。数値ｄａ６は、特徴部Ｐ７を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ８を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄａ６に対応する。 The numerical value da3 is a virtual straight line passing through the feature unit P4 and along the optical axis of the imaging unit 21 at the time of imaging of the first captured image Ga2, and an image pickup passing through the feature portion P5 at the time of capturing the first captured image Ga2. It corresponds to the distance Da3 from the virtual straight line along the optical axis of the unit 21. The numerical value da4 is a virtual straight line passing through the feature unit P5 and along the optical axis of the imaging unit 21 at the time of capturing the first captured image Ga2, and passing through the feature portion P6 and capturing the first captured image Ga2 at the time of imaging. It corresponds to the distance Da4 from the virtual straight line along the optical axis of the unit 21. The numerical value da5 is a virtual straight line passing through the feature unit P6 and along the optical axis of the imaging unit 21 at the time of capturing the first captured image Ga2, and passing through the feature portion P7 and being imaged at the time of capturing the first captured image Ga2. It corresponds to the distance Da5 from the virtual straight line along the optical axis of the unit 21. The numerical value da6 is a virtual straight line passing through the feature unit P7 and along the optical axis of the imaging unit 21 at the time of capturing the first captured image Ga2, and an image pickup passing through the feature portion P8 at the time of capturing the first captured image Ga2. It corresponds to the distance Da6 from the virtual straight line along the optical axis of the unit 21.

図８（ｃ）で示されるように、第２撮像画像Ｇｂ２には、例えば、５つの第２画像部分として、画像部分ｐ４ｂ、画像部分ｐ５ｂ、画像部分ｐ６ｂ、画像部分ｐ７ｂおよび画像部分ｐ８ｂが含まれている。画像部分ｐ４ｂには、撮像対象物Ｏｂ０の特徴部Ｐ４が捉えられている。画像部分ｐ５ｂには、撮像対象物Ｏｂ０の特徴部Ｐ５が捉えられている。画像部分ｐ６ｂには、撮像対象物Ｏｂ０の特徴部Ｐ６が捉えられている。画像部分ｐ７ｂには、撮像対象物Ｏｂ０の特徴部Ｐ７が捉えられている。画像部分ｐ８ｂには、撮像対象物Ｏｂ０の特徴部Ｐ８が捉えられている。 As shown in FIG. 8C, the second captured image Gb2 includes, for example, an image portion p4b, an image portion p5b, an image portion p6b, an image portion p7b, and an image portion p8b as five second image portions. It has been. The feature portion P4 of the image pickup target Ob0 is captured in the image portion p4b. The feature portion P5 of the image pickup target Ob0 is captured in the image portion p5b. The feature portion P6 of the image pickup target Ob0 is captured in the image portion p6b. The feature portion P7 of the image pickup target Ob0 is captured in the image portion p7b. The feature portion P8 of the image pickup target Ob0 is captured in the image portion p8b.

図８（ｃ）には、仮想線Ｌｖｂ２が二点鎖線で描かれている。仮想線Ｌｖｂ２は、第１撮像画像Ｇａ２の撮像時における第１装置２の第１視線および第２撮像画像Ｇｂ２の撮像時における第１装置２の第２視線の双方を含む仮想平面と、撮像対象物Ｏｂ０と、が交差する部分に対応する。図８（ｃ）の例では、第２撮像画像Ｇｂ２において、仮想線Ｌｖｂ２が伸びる方向において、画像部分ｐ４ｂと画像部分ｐ５ｂとの間の距離がｄｂ３とされ、画像部分ｐ５ｂと画像部分ｐ６ｂとの間の距離がｄｂ４とされている。また、図８（ｃ）の例では、第２撮像画像Ｇｂ２において、仮想線Ｌｖｂ２が伸びる方向において、画像部分ｐ６ｂと画像部分ｐ７ｂとの間の距離がｄｂ５とされ、画像部分ｐ７ｂと画像部分ｐ８ｂとの間の距離がｄｂ６とされている。 In FIG. 8C, the virtual line Lvb2 is drawn as a chain double-dashed line. The virtual line Lvb2 includes a virtual plane including both the first line of sight of the first device 2 at the time of capturing the first captured image Ga2 and the second line of sight of the first device 2 at the time of capturing the second captured image Gb2, and an imaging target. Corresponds to the part where the object Ob0 and the object Ob0 intersect. In the example of FIG. 8C, in the second captured image Gb2, the distance between the image portion p4b and the image portion p5b is set to db3 in the direction in which the virtual line Lvb2 extends, and the image portion p5b and the image portion p6b The distance between them is db4. Further, in the example of FIG. 8C, in the second captured image Gb2, the distance between the image portion p6b and the image portion p7b is set to db5 in the direction in which the virtual line Lvb2 extends, and the image portion p7b and the image portion p8b The distance between and is set to db6.

数値ｄｂ３は、特徴部Ｐ４を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ５を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄｂ３に対応する。数値ｄｂ４は、特徴部Ｐ５を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ６を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄｂ４に対応する。数値ｄｂ５は、特徴部Ｐ６を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ７を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄｂ５に対応する。数値ｄｂ６は、特徴部Ｐ７を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ８を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄｂ６に対応する。 The numerical value db3 is a virtual straight line passing through the feature unit P4 and along the optical axis of the imaging unit 21 at the time of capturing the second captured image Gb2, and an image pickup passing through the feature portion P5 at the time of capturing the second captured image Gb2. It corresponds to the distance Db3 from the virtual straight line along the optical axis of the unit 21. The numerical value db4 is a virtual straight line passing through the feature unit P5 and along the optical axis of the imaging unit 21 at the time of capturing the second captured image Gb2, and passing through the feature portion P6 and capturing the second captured image Gb2 at the time of imaging. It corresponds to the distance Db4 from the virtual straight line along the optical axis of the unit 21. The numerical value db5 is a virtual straight line passing through the feature unit P6 and along the optical axis of the imaging unit 21 at the time of capturing the second captured image Gb2, and passing through the feature portion P7 and capturing the second captured image Gb2 at the time of imaging. It corresponds to the distance Db5 from the virtual straight line along the optical axis of the unit 21. The numerical value db6 is a virtual straight line passing through the feature unit P7 and along the optical axis of the imaging unit 21 at the time of capturing the second captured image Gb2, and an image pickup passing through the feature portion P8 and at the time of capturing the second captured image Gb2. It corresponds to the distance Db6 from the virtual straight line along the optical axis of the unit 21.

ここで、推定部３１３では、例えば、次の式（２）が成立すれば、山型面Ｓｆｍ０のうちの３つの特徴部Ｐ４，Ｐ５，Ｐ６を含む第１面Ｓｆ１の領域が、平坦領域であるものと推定され得る。 Here, in the estimation unit 313, for example, if the following equation (2) is satisfied, the region of the first surface Sf1 including the three feature portions P4, P5, P6 of the mountain-shaped surface Sfm0 is a flat region. It can be presumed to be.

ｄａ３：ｄａ４＝ｄｂ３：ｄｂ４・・・（２）。 da3: da4 = db3: db4 ... (2).

また、推定部３１３では、例えば、次の式（３）が成立すれば、山型面Ｓｆｍ０のうちの３つの特徴部Ｐ６，Ｐ７，Ｐ８を含む第２面Ｓｆ２の領域が、平坦領域であるものと推定され得る。 Further, in the estimation unit 313, for example, if the following equation (3) is satisfied, the region of the second surface Sf2 including the three feature portions P6, P7, and P8 of the mountain-shaped surface Sfm0 is a flat region. It can be presumed to be.

ｄａ５：ｄａ６＝ｄｂ５：ｄｂ６・・・（３）。 da5: da6 = db5: db6 ... (3).

また、推定部３１３では、例えば、次の式（４）が成立しなければ、山型面Ｓｆｍ０の３つの特徴部Ｐ５，Ｐ６，Ｐ７を含む面の領域が、２つの平坦面としての第１面Ｓｆ１と第２面Ｓｆ２とが角部Ｃｎ１を介して接続している接続領域であるものと推定される。 Further, in the estimation unit 313, for example, if the following equation (4) is not satisfied, the region of the surface including the three characteristic portions P5, P6, P7 of the mountain-shaped surface Sfm0 is the first as two flat surfaces. It is presumed that the surface Sf1 and the second surface Sf2 are a connection region connected via the corner portion Cn1.

ｄａ４：ｄａ５＝ｄｂ４：ｄｂ５・・・（４）。 da4: da5 = db4: db5 ... (4).

このようにして、推定部３１３では、例えば、平坦領域あるいは接続領域が推定されることで、撮像対象物Ｏｂ０の表面に係る表面形状が推定され得る。ここで、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状は、例えば、記憶媒体３３０に記憶される。このとき、例えば、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状の各部分に対して、表面形状を推定する際に用いられた特徴部を捉えた画像部分が関連付けられ得る。 In this way, the estimation unit 313 can estimate the surface shape of the surface of the image pickup target Ob0 by, for example, estimating the flat region or the connection region. Here, the surface shape of the image pickup object Ob0 estimated by the estimation unit 313 is stored in, for example, the storage medium 330. At this time, for example, an image portion that captures the feature portion used when estimating the surface shape can be associated with each portion of the surface shape of the image pickup target Ob0 estimated by the estimation unit 313.

また、推定部３１３では、例えば、１つの面の法線方向が推定されてもよい。１つの面は、平坦な第１面Ｓｆ１であってもよいし、平坦な第２面Ｓｆ２であってもよい。ここで、図９（ａ）で示されるように、撮像対象物Ｏｂ０の平坦面Ｓｆｔ０上に３つの特徴部Ｐ９，Ｐ１０，Ｐ１１が存在している場合を想定する。平坦面Ｓｆｔ０は、例えば、第１面Ｓｆ１あるいは第２面Ｓｆ２とされる。例えば、第１装置２によって第１視線方向としての視線方向ｖ５で平坦面Ｓｆｔ０の撮像がおこなわれることで、図９（ｂ）で示される第１撮像画像Ｇａ３が取得される。また、例えば、第１装置２によって第２視線方向としての視線方向ｖ６で平坦面Ｓｆｔ０の撮像がおこなわれることで、図９（ｃ）で示される第２撮像画像Ｇｂ３が取得される。 Further, in the estimation unit 313, for example, the normal direction of one surface may be estimated. One surface may be a flat first surface Sf1 or a flat second surface Sf2. Here, as shown in FIG. 9A, it is assumed that three feature portions P9, P10, and P11 are present on the flat surface Sft0 of the image pickup object Ob0. The flat surface Sft0 is, for example, a first surface Sf1 or a second surface Sf2. For example, the first apparatus 2 captures the flat surface Sft0 in the line-of-sight direction v5 as the first line-of-sight direction, so that the first captured image Ga3 shown in FIG. 9B is acquired. Further, for example, the first apparatus 2 captures the flat surface Sft0 in the line-of-sight direction v6 as the second line-of-sight direction, so that the second captured image Gb3 shown in FIG. 9C is acquired.

図９（ｂ）で示されるように、第１撮像画像Ｇａ３には、例えば、第１画像部分として、画像部分ｐ９ａ、画像部分ｐ１０ａおよび画像部分ｐ１１ａが含まれている。画像部分ｐ９ａでは、撮像対象物Ｏｂ０の特徴部Ｐ９が捉えられている。画像部分ｐ１０ａでは、撮像対象物Ｏｂ０の特徴部Ｐ１０が捉えられている。画像部分ｐ１１ａでは、撮像対象物Ｏｂ０の特徴部Ｐ１１が捉えられている。図９（ｂ）には、仮想線Ｌｖａ３が二点鎖線で描かれている。仮想線Ｌｖａ３は、第１撮像画像Ｇａ３の撮像時における第１装置２の第１視線および第２撮像画像Ｇｂ３の撮像時における第１装置２の第２視線の双方を含む仮想平面と、撮像対象物Ｏｂ０と、が交差する部分に対応する。 As shown in FIG. 9B, the first captured image Ga3 includes, for example, an image portion p9a, an image portion p10a, and an image portion p11a as the first image portion. In the image portion p9a, the feature portion P9 of the image pickup target Ob0 is captured. In the image portion p10a, the feature portion P10 of the image pickup target Ob0 is captured. In the image portion p11a, the feature portion P11 of the image pickup target Ob0 is captured. In FIG. 9B, the virtual line Lva3 is drawn as a chain double-dashed line. The virtual line Lva3 includes a virtual plane including both the first line of sight of the first device 2 at the time of capturing the first captured image Ga3 and the second line of sight of the first device 2 at the time of capturing the second captured image Gb3, and an imaging target. Corresponds to the part where the object Ob0 and the object Ob0 intersect.

図９（ｃ）で示されるように、第２撮像画像Ｇｂ３には、例えば、第２画像部分として、画像部分ｐ９ｂ、画像部分ｐ１０ｂおよび画像部分ｐ１１ｂが含まれている。画像部分ｐ９ｂでは、撮像対象物Ｏｂ０の特徴部Ｐ９が捉えられている。画像部分ｐ１０ｂでは、撮像対象物Ｏｂ０の特徴部Ｐ１０が捉えられている。画像部分ｐ１１ｂでは、撮像対象物Ｏｂ０の特徴部Ｐ１１が捉えられている。図９（ｃ）には、仮想線Ｌｖｂ３が二点鎖線で描かれている。仮想線Ｌｖｂ３は、第１撮像画像Ｇａ３の撮像時における第１装置２の第１視線および第２撮像画像Ｇｂ３の撮像時における第１装置２の第２視線の双方を含む仮想平面と、撮像対象物Ｏｂ０と、が交差する部分に対応する。 As shown in FIG. 9C, the second captured image Gb3 includes, for example, an image portion p9b, an image portion p10b, and an image portion p11b as the second image portion. In the image portion p9b, the feature portion P9 of the image pickup target Ob0 is captured. In the image portion p10b, the feature portion P10 of the image pickup target Ob0 is captured. In the image portion p11b, the feature portion P11 of the image pickup target Ob0 is captured. In FIG. 9C, the virtual line Lvb3 is drawn as a chain double-dashed line. The virtual line Lvb3 includes a virtual plane including both the first line of sight of the first device 2 at the time of capturing the first captured image Ga3 and the second line of sight of the first device 2 at the time of capturing the second captured image Gb3, and the imaging target. Corresponds to the part where the object Ob0 and the object Ob0 intersect.

ここで、第１視線方向としての視線方向ｖ５で平坦面Ｓｆｔ０の撮像がおこなわれることで得られた第１撮像画像Ｇａ３において第１方向での３つの画像部分ｐ９ａ，ｐ１０ａ，ｐ１１ａの間の距離Ｄａ０が予め設定された画素数の距離以下となっているものとする。第１方向は、例えば、仮想線Ｌｖａ３に沿った方向である。予め設定された画素数の距離としては、例えば、隣接する１画素の距離が採用される。また、第２視線方向としての視線方向ｖ６で平坦面Ｓｆｔ０の撮像がおこなわれることで得られた第２撮像画像Ｇｂ３において第２方向での３つの画像部分ｐ９ｂ，ｐ１０ｂ，ｐ１１ｂの間の距離Ｄｂ０が予め設定された画素数の距離以下となっているものとする。第２方向は、例えば、仮想線Ｌｖｂ３に沿った方向である。予め設定された画素数の距離としては、例えば、隣接する１画素の距離が採用される。 Here, in the first captured image Ga3 obtained by imaging the flat surface Sft0 in the line-of-sight direction v5 as the first line-of-sight direction, the distance between the three image portions p9a, p10a, and p11a in the first direction. It is assumed that Da0 is equal to or less than the preset number of pixels. The first direction is, for example, a direction along the virtual line Lva3. As the distance of the preset number of pixels, for example, the distance of one adjacent pixel is adopted. Further, in the second image Gb3 obtained by imaging the flat surface Sft0 in the line-of-sight direction v6 as the second line-of-sight direction, the distance Db0 between the three image portions p9b, p10b, and p11b in the second direction. Is less than or equal to the preset number of pixels. The second direction is, for example, a direction along the virtual line Lvb3. As the distance of the preset number of pixels, for example, the distance of one adjacent pixel is adopted.

このとき、視線方向ｖ５と視線方向ｖ６とが約１８０度を成している。このため、例えば、推定部３１３では、視線方向ｖ５と、視線方向ｖ６と、に基づき、第１面Ｓｆ１の法線方向（第１法線方向ともいう）あるいは第２面Ｓｆ２の法線方向（第２法線方向ともいう）が推定され得る。これにより、例えば、撮像対象物Ｏｂ０の第１面Ｓｆ１あるいは第２面Ｓｆ２の向きを容易に推定することができる。 At this time, the line-of-sight direction v5 and the line-of-sight direction v6 form about 180 degrees. Therefore, for example, in the estimation unit 313, the normal direction of the first surface Sf1 (also referred to as the first normal direction) or the normal direction of the second surface Sf2 (also referred to as the first normal direction) based on the line-of-sight direction v5 and the line-of-sight direction v6. The second normal direction) can be estimated. Thereby, for example, the orientation of the first surface Sf1 or the second surface Sf2 of the image pickup object Ob0 can be easily estimated.

ここでは、例えば、視線方向ｖ５および視線方向ｖ６のそれぞれがベクトルで表現されている場合を想定する。この場合には、例えば、視線方向ｖ５の単位ベクトルと、視線方向ｖ６の単位ベクトルと、の和の逆向きのベクトルが、第１法線方向および第２法線方向となり得る。 Here, for example, it is assumed that each of the line-of-sight direction v5 and the line-of-sight direction v6 is represented by a vector. In this case, for example, the vector in the opposite direction of the sum of the unit vector in the line-of-sight direction v5 and the unit vector in the line-of-sight direction v6 can be the first normal direction and the second normal direction.

＜１−３−２−７−２．撮像対象物を捉えた部分とその他の部分との区別＞
推定部３１３は、例えば、複数の撮像画像を対象として、第１位置関係と第２位置関係とに基づいて、撮像対象物Ｏｂ０を捉えた領域（対象物領域ともいう）と、撮像対象物Ｏｂ０以外の部分を捉えた領域（非対象物領域ともいう）と、を推定することができる。換言すれば、推定部３１３は、例えば、複数の撮像画像に含まれる第１撮像画像および第２撮像画像について、撮像対象物Ｏｂ０を捉えた対象物領域と、背景を捉えた背景領域と、を区別することができる。第１位置関係は、例えば、上述したように、第１撮像画像における３つ以上の特徴部を捉えた３つ以上の第１画像部分の位置関係である。第２位置関係は、例えば、上述したように、第２撮像画像における３つ以上の特徴部を捉えた３つ以上の第２画像部分の位置関係である。 <1-3-2-7-2. Distinction between the part that captures the object to be imaged and other parts>
For example, the estimation unit 313 targets a plurality of captured images, and based on the first positional relationship and the second positional relationship, the estimation unit 313 captures the imaged object Ob0 (also referred to as the object area) and the imaged object Ob0. It is possible to estimate the area that captures the other part (also called the non-object area). In other words, the estimation unit 313, for example, for the first captured image and the second captured image included in the plurality of captured images, obtains an object region in which the imaged object Ob0 is captured and a background region in which the background is captured. Can be distinguished. The first positional relationship is, for example, as described above, the positional relationship of three or more first image portions that capture three or more feature portions in the first captured image. The second positional relationship is, for example, as described above, the positional relationship of three or more second image portions that capture three or more feature portions in the second captured image.

ここで、例えば、図１０で示されるように、第１装置２を用いて、撮像対象物Ｏｂ０の角部Ｃｎ１を含む領域Ａ１を、３つの相互に異なる視線方向ｖ３１，ｖ３２，ｖ３３で時間順次に撮像する場合を想定する。この場合、上述したように、例えば、推定部３１３によって、撮像対象物Ｏｂ０における領域Ａ１を捉えた３つの撮像画像の間で、３つ以上の特徴部を捉えた３つの以上の画像部分の比較によって、領域Ａ１の表面形状が推定され得る。これにより、例えば、連続的に連なっている撮像対象物Ｏｂ０の表面形状が認識され得る。 Here, for example, as shown in FIG. 10, using the first apparatus 2, the region A1 including the corner portion Cn1 of the image pickup target Ob0 is sequentially time-sequentially in three mutually different line-of-sight directions v31, v32, v33. It is assumed that the image is taken in. In this case, as described above, for example, a comparison of three or more image portions that capture three or more feature portions among three captured images that capture the region A1 in the imaged object Ob0 by the estimation unit 313. Can estimate the surface shape of region A1. Thereby, for example, the surface shape of the image pickup object Ob0 that is continuously connected can be recognized.

ところで、例えば、視線方向ｖ３１で領域Ａ１を撮像することで得られる撮像画像では、領域Ａ１だけでなく背景である壁６００ｗｌも捉えられている。このため、例えば、視線方向ｖ３１に係る撮像画像については、壁６００ｗｌを捉えた部分についても、３つ以上の特徴部を捉えた３つ以上の画像部分が認識され得る。一方、例えば、視線方向ｖ３１とは異なる視線方向ｖ３２，ｖ３３で領域Ａ１を撮像することで得られる撮像画像では、背景である壁６００ｗｌが捉えられていない。このため、壁６００ｗｌについての表面形状は推定されない。これにより、例えば、推定部３１３では、表面形状が推定される領域が、撮像対象物Ｏｂ０を構成しているものと推定され得る。したがって、撮像画像について、撮像対象物Ｏｂ０を捉えた対象物領域と、背景を捉えた背景領域と、が区別され得る。 By the way, for example, in the captured image obtained by imaging the region A1 in the line-of-sight direction v31, not only the region A1 but also the background wall 600 wl is captured. Therefore, for example, in the captured image related to the line-of-sight direction v31, three or more image portions that capture three or more feature portions can be recognized even for the portion that captures the wall 600 wl. On the other hand, for example, in the captured image obtained by imaging the region A1 in the line-of-sight directions v32 and v33 different from the line-of-sight direction v31, the background wall 600 wl is not captured. Therefore, the surface shape of the wall 600 wl is not estimated. As a result, for example, in the estimation unit 313, it can be estimated that the region where the surface shape is estimated constitutes the image pickup target Ob0. Therefore, in the captured image, the object region in which the imaged object Ob0 is captured and the background region in which the background is captured can be distinguished.

＜１−３−２−７−３．撮像対象物の表面形状の推定の対象＞
例えば、図１１で示されるように、撮像対象物Ｏｂ０の周囲を一周回りながら、撮像対象物Ｏｂ０の外観について、第１装置２を用いて側方から時間順次にＮ回（Ｎは４以上の整数）の撮像をおこなう場合を想定する。ここでは、例えば、位置Ｔｐ１から撮像対象物Ｏｂ０の領域Ａ０を撮像した後に、撮像対象物Ｏｂ０の周囲を約１周回り、位置ＴｐＮから領域Ａ０を再度撮像するものとする。このとき、位置Ｔｐ１からの撮像で得られる撮像画像、および位置ＴｐＮからの撮像で得られる撮像画像の双方に、同一の複数の特徴部Ｐｘ１，Ｐｘ２，Ｐｘ３，Ｐｘ４をそれぞれ捉えた複数の画像部分が含まれている。このため、例えば、推定部３１３では、第１装置２によるＮ回の撮像で得られたＮ枚の撮像画像で構成される一連の複数の撮像画像を対象として、撮像対象物Ｏｂ０の周囲の表面形状が推定され得る。 <1-3-2-7-3. Target for estimating the surface shape of the object to be imaged>
For example, as shown in FIG. 11, while orbiting around the image-imaging object Ob0, the appearance of the image-imaging object Ob0 is sequentially N times (N is 4 or more) from the side using the first apparatus 2. It is assumed that the image is taken (integer). Here, for example, it is assumed that after the region A0 of the image-imaging object Ob0 is imaged from the position Tp1, the region A0 is imaged again from the position TpN by making about one round around the image-imaging object Ob0. At this time, a plurality of image portions in which the same plurality of feature portions Px1, Px2, Px3, and Px4 are captured in both the captured image obtained by imaging from the position Tp1 and the captured image obtained by imaging from the position TpN. It is included. Therefore, for example, the estimation unit 313 targets a series of a plurality of captured images composed of N captured images obtained by N times of imaging by the first apparatus 2, and the surface around the imaged object Ob0. The shape can be estimated.

＜１−３−２−８．情報設定部＞
情報設定部３１４は、例えば、複数の撮像画像について、表示への利用の許否および後述する画像生成部３１７による合成画像の生成への利用の許否に係る情報（許否情報ともいう）を、画像領域ごとに設定することができる。許否情報は、例えば、利用の許可に係る情報（許可情報ともいう）であってもよいし、利用の禁止に係る情報（禁止情報ともいう）であってもよい。 <1-3-2-8. Information setting section>
The information setting unit 314, for example, provides information (also referred to as permission / rejection information) relating to permission / rejection of use for display and permission / rejection of use for generation of a composite image by the image generation unit 317, which will be described later, for a plurality of captured images. It can be set for each. The permission / denial information may be, for example, information related to permission to use (also referred to as permission information) or information related to prohibition of use (also referred to as prohibited information).

具体的には、情報設定部３１４では、例えば、複数の撮像画像について、推定部３１３で推定された対象物領域に対して許可情報が設定されてもよいし、推定部３１３で推定された非対象物領域に対して禁止情報が設定されてもよい。この場合には、例えば、出力部３ｏｕでは、取得部３ａｃで取得された複数の撮像画像のうち、許可情報が設定された対象物領域に係る画像領域が可視的に出力されてもよいし、禁止情報が設定された非対象物領域を除く領域に係る画像領域が出力されてもよい。 Specifically, in the information setting unit 314, for example, permission information may be set for the object region estimated by the estimation unit 313 for a plurality of captured images, or the non-estimated non-estimated image by the estimation unit 313. Prohibition information may be set for the object area. In this case, for example, the output unit 3ou may visually output the image area related to the object area for which the permission information is set among the plurality of captured images acquired by the acquisition unit 3ac. The image area related to the area other than the non-object area in which the prohibited information is set may be output.

これにより、例えば、ユーザに対して必要な部分についての画像が表示され得る。このとき、例えば、撮像が行われた第１装置２とは異なる他の第２装置３において、必要な部分の画像が出力され得る。換言すれば、対象物領域以外の必要以上の部分が第２ユーザＵ２によって視認されないようにすることができる。その結果、例えば、情報セキュリティーの向上が図られ得る。 Thereby, for example, an image about a necessary part can be displayed to the user. At this time, for example, an image of a necessary portion can be output in another second device 3 different from the first device 2 in which the image is taken. In other words, it is possible to prevent the second user U2 from visually recognizing an unnecessary portion other than the object area. As a result, for example, information security can be improved.

＜１−３−２−９．領域設定部＞
領域設定部３１５は、例えば、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、撮像対象物Ｏｂ０の表面に対して処理の対象となる領域（処理対象領域ともいう）を設定することができる。信号には、例えば、入力部３ｉｎにおいて第２ユーザＵ２の動作に応じて入力される信号が含まれる。処理対象領域には、例えば、表示部３３において可視的な出力の処理対象となる領域（表示対象領域ともいう）、および画像生成部３１７において合成画像の生成処理の対象となる領域（合成対象領域ともいう）が含まれる。ここで、第２ユーザＵ２の動作としては、例えば、マウスホイールの回転あるいは表示画面に対するピンチインおよびピンチアウトの操作などが挙げられる。 <1-3-2-9. Area setting section>
The area setting unit 315 refers to the surface of the image pickup object Ob0 based on, for example, the surface shape of the image pickup object Ob0 estimated by the estimation unit 313 and the signal input in response to the user's operation. An area to be processed (also referred to as a processing target area) can be set. The signal includes, for example, a signal input in response to the operation of the second user U2 in the input unit 3in. The processing target area includes, for example, an area to be processed for visible output in the display unit 33 (also referred to as a display target area), and an area to be processed for generating a composite image in the image generation unit 317 (composition target area). Also called) is included. Here, examples of the operation of the second user U2 include rotation of the mouse wheel or pinch-in and pinch-out operations on the display screen.

ここで、例えば、図１２（ａ）で示されるように、表示部３３の表示画面Ｓｃ０に撮像対象物Ｏｂ０の領域Ａｒ０が捉えられた画像部分Ｉｐ０が表示されている状態を想定する。この状態で、表示画面Ｓｃ０に対してピンチインの操作がおこなわれると、撮像対象物Ｏｂ０の領域Ａｒ０に包含されている領域Ａｒ１が捉えられた画像部分Ｉｐ１が、図１２（ｂ）で示されるように、表示画面Ｓｃ０全体に拡大表示され得る。このとき、表示対象領域は、画像部分Ｉｐ０から画像部分Ｉｐ１に変更される。換言すれば、表示に係る拡大率が変更され得る。 Here, for example, as shown in FIG. 12A, it is assumed that the image portion Ip0 in which the region Ar0 of the image pickup target Ob0 is captured is displayed on the display screen Sc0 of the display unit 33. When a pinch-in operation is performed on the display screen Sc0 in this state, the image portion Ip1 in which the region Ar1 included in the region Ar0 of the imaging target Ob0 is captured is shown in FIG. 12 (b). In addition, it can be enlarged and displayed on the entire display screen Sc0. At this time, the display target area is changed from the image portion Ip0 to the image portion Ip1. In other words, the magnification of the display can be changed.

ここでは、表示対象領域を示す情報は、例えば、推定部３１３によって推定された撮像対象物Ｏｂ０の表面形状の上に沿った形態で設定される。表示対象領域は、例えば、表示画面Ｓｃ０の形状に対応する矩形状の領域として設定される。具体的には、例えば、撮像対象物Ｏｂ０の平坦領域に対して、矩形状の表示対象領域が設定され得る。また、例えば、撮像対象物Ｏｂ０の接続領域に対して、矩形状の表示対象領域が角部で折り曲げられるように設定され得る。 Here, the information indicating the display target area is set, for example, in a form along the surface shape of the image pickup target Ob0 estimated by the estimation unit 313. The display target area is set as, for example, a rectangular area corresponding to the shape of the display screen Sc0. Specifically, for example, a rectangular display target area can be set with respect to the flat area of the image pickup target Ob0. Further, for example, the rectangular display target area may be set to be bent at the corners with respect to the connection area of the image pickup target Ob0.

また、領域設定部３１５は、例えば、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、表示対象領域あるいは合成対象領域を変更することができる。信号には、例えば、入力部３ｉｎにおいて第２ユーザＵ２の動作に応じて入力される信号が含まれる。ここで、第２ユーザＵ２の動作としては、例えば、指などによる表示画面Ｓｃ０に対するスワイプ操作などが挙げられる。 Further, the area setting unit 315 is a display target area or a synthesis target area based on, for example, the surface shape of the image pickup object Ob0 estimated by the estimation unit 313 and the signal input in response to the user's operation. Can be changed. The signal includes, for example, a signal input in response to the operation of the second user U2 in the input unit 3in. Here, examples of the operation of the second user U2 include a swipe operation on the display screen Sc0 with a finger or the like.

ここで、例えば、図１３（ａ）で示されるように、表示画面Ｓｃ０に撮像対象物Ｏｂ０の表示対象領域（既表示領域ともいう）Ａｒ２が捉えられた画像部分Ｉｐ２が表示されている状態を想定する。この状態で、例えば、指Ｆｇ０などによる表示画面Ｓｃ０に対するスワイプ操作がおこなわれると、図１３（ｂ）で示されるように、既表示領域Ａｒ２が捉えられた画像部分Ｉｐ２が移動する。このとき、表示画面Ｓｃ０では、例えば、既表示領域Ａｒ２を捉えた画像部分Ｉｐ２の一部が表示画面Ｓｃ０の外に消え、既表示領域Ａｒ２の残部Ａｒ２１を捉えた画像部分Ｉｐ２１が表示される。また、例えば、表示画面Ｓｃ０のうちの画像部分Ｉｐ２がずれて存在しなくなった部分には、撮像対象物の既表示領域Ａｒ２と隣接する領域（未表示領域ともいう）Ａｒ２２が捉えられた画像部分Ｉｐ２２が新たに表示され得る。このようにして、例えば、第２ユーザＵ２は、表示画面Ｓｃ０に対するスワイプ操作によって、表示部３３の表示画面Ｓｃ０上に表示されている画像をスクロールさせることができる。 Here, for example, as shown in FIG. 13A, a state in which the image portion Ip2 in which the display target area (also referred to as the already displayed area) Ar2 of the image pickup target Ob0 is captured is displayed on the display screen Sc0. Suppose. In this state, for example, when a swipe operation is performed on the display screen Sc0 with a finger Fg0 or the like, as shown in FIG. 13B, the image portion Ip2 in which the already displayed area Ar2 is captured moves. At this time, on the display screen Sc0, for example, a part of the image portion Ip2 that captures the already displayed area Ar2 disappears outside the display screen Sc0, and the image portion Ip21 that captures the remaining portion Ar21 of the already displayed area Ar2 is displayed. Further, for example, in the portion of the display screen Sc0 where the image portion Ip2 is displaced and does not exist, the image portion in which the region (also referred to as the undisplayed region) Ar22 adjacent to the already displayed region Ar2 of the imaging target is captured. Ip22 may be newly displayed. In this way, for example, the second user U2 can scroll the image displayed on the display screen Sc0 of the display unit 33 by swiping the display screen Sc0.

ここで、例えば、表示部３３で既に後述する合成画像（第１合成画像ともいう）が表示されている場合には、領域設定部３１５によって、合成対象領域が変更され得る。このとき、変更後の合成対象領域は、例えば、撮像対象物Ｏｂ０のうち、第１合成画像で捉えられている既表示領域Ａｒ２の残部Ａｒ２１と、第１合成画像で捉えられていない撮像対象物Ｏｂ０の未表示領域Ａｒ２２と、を含む。 Here, for example, when the composite image (also referred to as the first composite image) described later is already displayed on the display unit 33, the region setting unit 315 may change the composite target area. At this time, the changed composition target area is, for example, the remaining Ar21 of the already displayed area Ar2 captured in the first composite image and the imaging target not captured in the first composite image in the imaging target Ob0. Includes the undisplayed area Ar22 of Ob0.

＜１−３−２−１０．検出部＞
検出部３１６は、例えば、記憶媒体３３０の画像ＤＢ３Ｉｄに蓄積された複数の撮像画像のうち、領域設定部３１５によって設定された処理対象領域に対応する画像部分を検出することができる。検出部３１６では、例えば、推定部３１３によって推定された撮像対象物Ｏｂ０の表面形状の上に設定された処理対象領域について、処理対象領域に含まれる表面形状に関連付けられた画像部分が検出され得る。ここでは、例えば、処理対象領域が撮像対象物Ｏｂ０の第１面Ｓｆ１あるいは第２面Ｓｆ２に含まれている場合と、処理対象領域が撮像対象物Ｏｂ０の角部Ｃｎ１を挟む第１面Ｓｆ１と第２面Ｓｆ２とを含む場合と、が想定される。 <1-3-2-10. Detector>
The detection unit 316 can detect, for example, an image portion corresponding to a processing target area set by the area setting unit 315 among a plurality of captured images stored in the image DB 3Id of the storage medium 330. For example, the detection unit 316 can detect an image portion associated with the surface shape included in the processing target area for the processing target area set on the surface shape of the image pickup target Ob0 estimated by the estimation unit 313. .. Here, for example, there are cases where the processing target area is included in the first surface Sf1 or the second surface Sf2 of the imaging target object Ob0, and the first surface Sf1 sandwiching the corner portion Cn1 of the imaging target object Ob0. It is assumed that the second surface Sf2 is included.

検出部３１６では、例えば、領域設定部３１５によって接続領域に処理対象領域が設定されたことに応答して、複数の撮像画像から接続領域を構成する２つの平坦面をそれぞれ捉えた画像領域が検出され得る。ここでは、例えば、接続領域が、撮像対象物Ｏｂ０の表面のうちの２つの平坦面としての第１面Ｓｆ１と第２面Ｓｆ２とが角部Ｃｎ１を介して接続している領域である場合が考えられる。この場合、検出部３１６では、例えば、複数の撮像画像に含まれる第１面Ｓｆ１を捉えた第１画像領域と、複数の撮像画像に含まれる第２面Ｓｆ２を第１画像領域とは異なる視線方向で捉えた第２画像領域と、が検出され得る。 In the detection unit 316, for example, in response to the processing target area being set in the connection area by the area setting unit 315, an image area in which two flat surfaces constituting the connection area are captured from a plurality of captured images is detected. Can be done. Here, for example, the connection region may be a region in which the first surface Sf1 and the second surface Sf2 as two flat surfaces of the surface of the image pickup object Ob0 are connected via the corner portion Cn1. Conceivable. In this case, in the detection unit 316, for example, the first image region in which the first surface Sf1 included in the plurality of captured images is captured and the second surface Sf2 included in the plurality of captured images are lined up differently from the first image region. A second image region captured in the direction can be detected.

具体的には、例えば、検出部３１６は、上記推定部３１３で推定された第１面Ｓｆ１の第１法線方向に基づいて、第１面Ｓｆ１の法線に沿った視線方向で該第１面Ｓｆ１を捉えた第１画像領域を複数の撮像画像から検出することができる。また、検出部３１６は、例えば、上記推定部３１３で推定された第２面Ｓｆ２の第２法線方向に基づいて、第２面Ｓｆ２の法線に沿った視線方向で該第２面Ｓｆ２を捉えた第２画像領域を複数の撮像画像から検出することができる。これにより、例えば、後述する画像生成部３１７によって、第１画像領域と第２画像領域とが合成されることで、接続領域についての合成画像が生成されれば、撮像対象物Ｏｂ０の角部Ｃｎ１を含む接続領域について、歪みの小さな合成画像が生成され得る。その結果、第２ユーザＵ２は、例えば、表示部３３に表示される歪みの小さな合成画像を見ることで、撮像対象物Ｏｂ０の状況を正しく把握することができる。 Specifically, for example, the detection unit 316 is based on the first normal direction of the first surface Sf1 estimated by the estimation unit 313, and the first detection unit 316 is in the line-of-sight direction along the normal line of the first surface Sf1. The first image region in which the surface Sf1 is captured can be detected from a plurality of captured images. Further, for example, the detection unit 316 detects the second surface Sf2 in the line-of-sight direction along the normal line of the second surface Sf2 based on the second normal direction of the second surface Sf2 estimated by the estimation unit 313. The captured second image region can be detected from a plurality of captured images. As a result, for example, if the first image region and the second image region are combined by the image generation unit 317, which will be described later, to generate a composite image of the connection region, the corner portion Cn1 of the image pickup target Ob0 is generated. A composite image with little distortion can be generated for the contiguous zone containing. As a result, the second user U2 can correctly grasp the situation of the image pickup target Ob0 by seeing, for example, the composite image with small distortion displayed on the display unit 33.

ここで、例えば、複数の撮像画像において、第１面Ｓｆ１の法線に沿った視線方向で該第１面Ｓｆ１を捉えた第１画像領域が存在していない場合もあり得る。この場合には、検出部３１６では、例えば、複数の撮像画像のうち、第１面Ｓｆ１の法線に最も近い視線方向で該第１面Ｓｆ１を捉えた第１画像領域が検出されてもよい。また、例えば、複数の撮像画像において、第２面Ｓｆ２の法線に沿った視線方向で該第２面Ｓｆ２を捉えた第２画像領域が存在していない場合もあり得る。この場合には、検出部３１６では、例えば、複数の撮像画像のうち、第２面Ｓｆ２の法線に最も近い視線方向で該第２面Ｓｆ２を捉えた第２画像領域が検出されてもよい。 Here, for example, in a plurality of captured images, there may be a case where the first image region in which the first surface Sf1 is captured does not exist in the line-of-sight direction along the normal line of the first surface Sf1. In this case, the detection unit 316 may detect, for example, the first image region in which the first surface Sf1 is captured in the line-of-sight direction closest to the normal line of the first surface Sf1 among the plurality of captured images. .. Further, for example, in a plurality of captured images, there may be a case where the second image region in which the second surface Sf2 is captured does not exist in the line-of-sight direction along the normal line of the second surface Sf2. In this case, the detection unit 316 may detect, for example, a second image region in which the second surface Sf2 is captured in the line-of-sight direction closest to the normal line of the second surface Sf2 among the plurality of captured images. ..

ところで、上述したように、例えば、図１３（ａ）および図１３（ｂ）で示されるように、表示部３３の表示画面Ｓｃ０上に表示されている画像の範囲をスクロールさせる際には、領域設定部３１５によって表示対象領域が変更される。また、例えば、表示部３３に合成画像が表示されていれば、領域設定部３１５によって、撮像対象物のうちの表示部３３で可視的に出力される合成画像で捉えられた表示対象領域が変更され得る。ここで、変更後の表示対象領域は、例えば、撮像対象物Ｏｂ０のうち、表示部３３で既に可視的に出力されている合成画像（第１合成画像）で捉えられている既表示領域Ａｒ２の残部Ａｒ２１と、第１合成画像で捉えられていない未表示領域Ａｒ２２と、を含む。 By the way, as described above, for example, as shown in FIGS. 13A and 13B, when scrolling the range of the image displayed on the display screen Sc0 of the display unit 33, the area is used. The display target area is changed by the setting unit 315. Further, for example, if the composite image is displayed on the display unit 33, the area setting unit 315 changes the display target area captured by the composite image visually output by the display unit 33 of the imaged objects. Can be done. Here, the changed display target area is, for example, the already displayed area Ar2 captured in the composite image (first composite image) already visually output by the display unit 33 of the image pickup target Ob0. The remaining portion Ar21 and the undisplayed region Ar22 not captured in the first composite image are included.

この場合、検出部３１６は、例えば、上記領域設定部３１５によって変更後の処理対象領域としての合成対象領域が設定されたことに応答して、複数の撮像画像から、未表示領域Ａｒ２２を捉えた画像部分（第３画像部分ともいう）Ｉｐ２２を検出することができる。この第３画像部分は、例えば、変更後の合成対象領域に係る合成画像の生成に用いられ得る。検出部３１６では、例えば、未表示領域Ａｒ２２の設定に応答して、画像ＤＢ３Ｉｄの複数の撮像画像について、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状と、領域設定部３１５で設定された処理対象領域と、に基づき、第３画像部分Ｉｐ２２が検出される。このとき、検出部３１６では、例えば、推定部３１３によって推定された撮像対象物Ｏｂ０の表面形状の上に設定された処理対象領域について、記憶媒体３３０において処理対象領域に含まれる表面形状に関連付けられた画像部分が検出され得る。 In this case, the detection unit 316 captures the undisplayed area Ar22 from the plurality of captured images in response to the setting of the synthesis target area as the changed processing target area by the area setting unit 315, for example. The image portion (also referred to as the third image portion) Ip22 can be detected. This third image portion can be used, for example, to generate a composite image related to the modified composite target region. In the detection unit 316, for example, in response to the setting of the undisplayed area Ar22, the surface shape of the image pickup target Ob0 estimated by the estimation unit 313 and the area setting unit 315 are set for the plurality of captured images of the image DB3Id. The third image portion Ip22 is detected based on the processing target area. At this time, in the detection unit 316, for example, the processing target area set on the surface shape of the image pickup target Ob0 estimated by the estimation unit 313 is associated with the surface shape included in the processing target area in the storage medium 330. The image part can be detected.

＜１−３−２−１１．画像生成部＞
画像生成部３１７は、例えば、検出部３１６で検出された画像部分に基づいて、処理対象領域に係る画像を生成することができる。 <1-3-2-11. Image generator>
The image generation unit 317 can generate an image related to the processing target region, for example, based on the image portion detected by the detection unit 316.

ここで、例えば、処理対象領域が撮像対象物Ｏｂ０の第１面Ｓｆ１あるいは第２面Ｓｆ２に含まれている場合が考えられる。この場合には、処理対象領域に対して、検出部３１６で検出された画像部分が、そのまま処理対象領域に係る画像とされ得る。 Here, for example, it is conceivable that the processing target region is included in the first surface Sf1 or the second surface Sf2 of the imaging target Ob0. In this case, the image portion detected by the detection unit 316 with respect to the processing target area can be directly regarded as the image related to the processing target area.

一方、例えば、処理対象領域が撮像対象物Ｏｂ０の角部Ｃｎ１を挟む第１面Ｓｆ１と第２面Ｓｆ２とを含む場合が考えられる。この場合には、画像生成部３１７は、例えば、検出部３１６で検出された第１面Ｓｆ１に係る第１画像部分と第２面Ｓｆ２に係る第２画像部分とを合成することで、接続領域についての合成画像を生成することができる。ここでは、例えば、撮像対象物Ｏｂ０を相互に異なる方向から撮像して得られた第１画像部分と第２画像部分とが並べられるように合成される。これにより、例えば、撮像対象物Ｏｂ０を周囲の複数の角度から捉えた擬似的な３次元画像である合成画像が比較的少ない演算量で容易に取得され得る。その結果、例えば、撮像対象物Ｏｂ０を周囲の様々な角度から見た画像を得る画像処理における演算量が低減され得る。 On the other hand, for example, it is conceivable that the processing target region includes the first surface Sf1 and the second surface Sf2 that sandwich the corner portion Cn1 of the image pickup target Ob0. In this case, the image generation unit 317 combines, for example, the first image portion related to the first surface Sf1 detected by the detection unit 316 and the second image portion related to the second surface Sf2 to form a connection region. Can generate a composite image of. Here, for example, the first image portion and the second image portion obtained by imaging the imaged object Ob0 from different directions are synthesized so as to be arranged side by side. Thereby, for example, a composite image which is a pseudo three-dimensional image obtained by capturing the image pickup object Ob0 from a plurality of surrounding angles can be easily acquired with a relatively small amount of calculation. As a result, for example, the amount of calculation in image processing for obtaining an image of the imaged object Ob0 viewed from various angles around it can be reduced.

画像生成部３１７で生成される合成画像は、上述したように、例えば、出力部３ｏｕで出力されてもよいし、記憶媒体３３０に記憶されてもよい。このとき、出力部３ｏｕにおける合成画像の出力には、例えば、表示部３３における合成画像の可視的な出力、および通信部３５による合成画像のデータの送信などが含まれ得る。これにより、例えば、第２画像処理装置３０における合成画像の視認もしくは蓄積、あるいは他の装置における合成画像の視認もしくは蓄積、などが可能となる。ここで、例えば、表示部３３において合成画像が可視的に出力されれば、第２画像処理装置３０において、第２ユーザＵ２が合成画像を視認することができる。 As described above, the composite image generated by the image generation unit 317 may be output by the output unit 3ou or may be stored in the storage medium 330, for example. At this time, the output of the composite image in the output unit 3ou may include, for example, the visible output of the composite image in the display unit 33, the transmission of the composite image data by the communication unit 35, and the like. This makes it possible, for example, to visually recognize or store the composite image in the second image processing device 30, or to visually recognize or store the composite image in another device. Here, for example, if the composite image is visually output on the display unit 33, the second user U2 can visually recognize the composite image on the second image processing device 30.

ここで、例えば、第１画像領域と第２画像領域とが撮像対象物Ｏｂ０において角部を介して隣接する部分を捉えた領域であれば、画像生成部３１７では、撮像対象物Ｏｂ０の異なる方向から見ることができる隣接している画像領域を合成した合成画像が生成され得る。これにより、例えば、第２ユーザＵ２にとって撮像対象物Ｏｂ０を周囲の様々な方向から見た一覧性の良い画像が生成され得る。第１画像領域と第２画像領域とが隣接する領域であることは、例えば、推定部３１３によって推定された撮像対象物Ｏｂ０の表面形状から認識され得る。 Here, for example, if the first image region and the second image region are regions in which the adjacent portion of the image-imaging object Ob0 is captured via the corner portion, the image generation unit 317 has different directions of the image-imaging object Ob0. A composite image can be generated by synthesizing adjacent image regions that can be seen from. As a result, for example, for the second user U2, it is possible to generate an image having a good listability when the imaged object Ob0 is viewed from various directions around it. The fact that the first image region and the second image region are adjacent regions can be recognized from, for example, the surface shape of the image pickup target Ob0 estimated by the estimation unit 313.

ところで、例えば、表示画面Ｓｃ０上に合成画像（第１合成画像）が表示されている際に、表示画面Ｓｃ０上で画像の範囲をスクロールさせる場合を想定する。この場合には、画像生成部３１７は、例えば、既表示領域Ａｒ２の一部を除く残部Ａｒ２１を捉えた画像部分（第４画像部分ともいう）Ｉｐ２１と、検出部３１６で検出された第３画像部分Ｉｐ２２と、を合成することで、第２合成画像を生成することができる。このとき、例えば、表示部３３において第２合成画像が可視的に出力されれば、第２画像処理装置３０において、第２ユーザＵ２は合成画像をスクロールさせることができる。 By the way, for example, when a composite image (first composite image) is displayed on the display screen Sc0, it is assumed that the range of the image is scrolled on the display screen Sc0. In this case, the image generation unit 317 has, for example, an image portion (also referred to as a fourth image portion) Ip21 that captures the remaining portion Ar21 excluding a part of the already displayed area Ar2, and a third image detected by the detection unit 316. A second composite image can be generated by synthesizing the partial Ip22. At this time, for example, if the second composite image is visually output on the display unit 33, the second user U2 can scroll the composite image on the second image processing device 30.

ここで、例えば、図１４で示されるように、第１ユーザＵ１が、壁６００ｗｌと窓６００ｗｄとを含む背景６００の前に位置する撮像対象物Ｏｂ０の周囲を移動しながら、第１装置２を用いて順に撮像をおこなった場合を想定する。ここでは、例えば、矢印Ａｗ１，Ａｗ２，Ａｗ３，Ａｗ４で示される視点位置および視線方向で第１装置２を用いて順に撮像がおこなわれ得る。このとき、撮像間において、矢印Ａｗ１，Ａｗ２，Ａｗ３，Ａｗ４で示される視点位置および視線方向の組が相互に異なる。図１４の例では、撮像対象物Ｏｂ０は、角部Ｃｎ１を挟むように位置している第１面Ｓｆ１と第２面Ｓｆ２とを有している。 Here, for example, as shown in FIG. 14, the first user U1 moves around the image pickup object Ob0 located in front of the background 600 including the wall 600 wl and the window 600 wd, and moves the first device 2. It is assumed that images are taken in order using the images. Here, for example, imaging can be performed in order using the first device 2 at the viewpoint position and the line-of-sight direction indicated by the arrows Aw1, Aw2, Aw3, and Aw4. At this time, the sets of the viewpoint position and the line-of-sight direction indicated by the arrows Aw1, Aw2, Aw3, and Aw4 are different from each other between the imaging. In the example of FIG. 14, the image pickup object Ob0 has a first surface Sf1 and a second surface Sf2 located so as to sandwich the corner portion Cn1.

図１４で示された条件での撮像がおこなわれた場合に、例えば、図１５（ａ）は、矢印Ａｗ１で示される視点位置および視線方向の組合せでの撮像で取得された撮像画像Ｉｍ１１を示している。例えば、図１５（ｂ）は、矢印Ａｗ２で示される視点位置および視線方向の組合せでの撮像で取得された撮像画像Ｉｍ１２を示している。例えば、図１５（ｃ）は、矢印Ａｗ３で示される視点位置および視線方向の組合せでの撮像で取得された撮像画像Ｉｍ１３を示している。例えば、図１５（ｄ）は、矢印Ａｗ４で示される視点位置および視線方向の組合せでの撮像で取得された撮像画像Ｉｍ１４を示している。 When imaging is performed under the conditions shown in FIG. 14, for example, FIG. 15A shows the captured image Im11 acquired by imaging with the combination of the viewpoint position and the line-of-sight direction indicated by the arrow Aw1. ing. For example, FIG. 15B shows the captured image Im12 acquired by imaging with the combination of the viewpoint position and the line-of-sight direction indicated by the arrow Aw2. For example, FIG. 15 (c) shows the captured image Im13 acquired by imaging with the combination of the viewpoint position and the line-of-sight direction indicated by the arrow Aw3. For example, FIG. 15 (d) shows the captured image Im14 acquired by imaging with the combination of the viewpoint position and the line-of-sight direction indicated by the arrow Aw4.

図１５（ａ）の例では、撮像画像Ｉｍ１１は、第１面Ｓｆ１を捉えた画像部分Ｉｐａによって構成されている。図１５（ｂ）の例では、撮像画像Ｉｍ１２は、第１面Ｓｆ１を捉えた画像部分Ｉｐａ、壁６００ｗｌを捉えた画像部分Ｉｐｗｌおよび窓６００ｗｄを捉えた画像部分Ｉｐｗｄで構成されている。具体的には、撮像画像Ｉｍ１２では、例えば、左部で第１面Ｓｆ１が捉えられ、中央部から右端にかけた部分で背景６００に含まれる壁６００ｗｌおよび窓６００ｗｄが捉えられている。図１５（ｃ）の例では、撮像画像Ｉｍ１３は、第１面Ｓｆ１を捉えた画像部分Ｉｐａ、第２面Ｓｆ２を捉えた画像部分Ｉｐｂ、壁６００ｗｌを捉えた画像部分Ｉｐｗｌおよび窓６００ｗｄを捉えた画像部分Ｉｐｗｄで構成されている。具体的には、撮像画像Ｉｍ１３では、例えば、左端部近傍の部分で第１面Ｓｆ１と第２面Ｓｆ２とが捉えられ、その残部で、背景６００に含まれる壁６００ｗｌおよび窓６００ｗｄが捉えられている。図１５（ｄ）の例では、撮像画像Ｉｍ１４は、第１面Ｓｆ１を捉えた画像部分Ｉｐａ、第２面Ｓｆ２を捉えた画像部分Ｉｐｂおよび壁６００ｗｌを捉えた画像部分Ｉｐｗｌで構成されている。具体的には、撮像画像Ｉｍ１４では、例えば、左端部近傍の部分で第１面Ｓｆ１が捉えられ、中央部を含む広い部分で第２面Ｓｆ２が捉えられ、残りの右側の部分で背景６００に含まれる壁６００ｗｌが捉えられている。 In the example of FIG. 15A, the captured image Im11 is composed of the image portion Ipa that captures the first surface Sf1. In the example of FIG. 15B, the captured image Im12 is composed of an image portion Ipa that captures the first surface Sf1, an image portion Ipwl that captures the wall 600 wl, and an image portion Ipwd that captures the window 600 wd. Specifically, in the captured image Im12, for example, the first surface Sf1 is captured in the left portion, and the wall 600 wl and the window 600 wd included in the background 600 are captured in the portion extending from the central portion to the right end. In the example of FIG. 15C, the captured image Im13 captures the image portion Ipa that captures the first surface Sf1, the image portion Ipb that captures the second surface Sf2, the image portion Ipwl that captures the wall 600wl, and the window 600wd. It is composed of an image part Ipwd. Specifically, in the captured image Im13, for example, the first surface Sf1 and the second surface Sf2 are captured in the portion near the left end portion, and the wall 600 wl and the window 600 wd included in the background 600 are captured in the remaining portion. There is. In the example of FIG. 15D, the captured image Im14 is composed of an image portion Ipa that captures the first surface Sf1, an image portion Ipb that captures the second surface Sf2, and an image portion Ipwl that captures the wall 600wl. Specifically, in the captured image Im14, for example, the first surface Sf1 is captured in the portion near the left end portion, the second surface Sf2 is captured in the wide portion including the central portion, and the background 600 is captured in the remaining right portion. The included wall 600 wl is captured.

この場合に、例えば、図１６（ａ）から図１６（ｃ）で示されるように、第２ユーザＵ２は、表示部３３に表示される画像をスクロールさせることができる。具体的には、まず、図１６（ａ）で示されるように、表示部３３の表示画面Ｓｃ０全体に、撮像対象物Ｏｂ０の第１面Ｓｆ１を捉えた画像部分Ｉｐａが表示される。次に、図１６（ａ）から図１６（ｂ）で示されるように、表示画面Ｓｃ０の右側の部分から中央の部分に向けて指Ｆｇ０などを滑らせるスワイプ操作に応じて、表示画面Ｓｃ０上の画像が右から左へスクロールされる。このとき、表示画面Ｓｃ０では、撮像対象物Ｏｂ０の第１面Ｓｆ１を捉えた画像部分Ｉｐａが左方にずれ、その画像部分Ｉｐａの右側に続くように、撮像対象物Ｏｂ０の第２面Ｓｆ２を捉えた画像部分Ｉｐｂが出現する。さらに、図１６（ｂ）から図１６（ｃ）で示されるように、表示画面Ｓｃ０の中央の部分から左側の部分に向けて指Ｆｇ０などを滑らせるスワイプ操作に応じて、表示画面Ｓｃ０上の画像が右から左へスクロールされる。このとき、表示画面Ｓｃ０では、撮像対象物Ｏｂ０の第１面Ｓｆ１を捉えた画像部分Ｉｐａがさらに左方にずれ、画像部分Ｉｐａの右側に続くように、撮像対象物Ｏｂ０の第２面Ｓｆ２を捉えた画像部分Ｉｐｂがさらに左側にずれて大きく表示される。 In this case, for example, as shown in FIGS. 16A to 16C, the second user U2 can scroll the image displayed on the display unit 33. Specifically, first, as shown in FIG. 16A, the image portion Ipa that captures the first surface Sf1 of the imaging target Ob0 is displayed on the entire display screen Sc0 of the display unit 33. Next, as shown in FIGS. 16A to 16B, on the display screen Sc0 in response to a swipe operation of sliding the finger Fg0 or the like from the right side portion to the center portion of the display screen Sc0. The image of is scrolled from right to left. At this time, on the display screen Sc0, the second surface Sf2 of the imaging target Ob0 is moved so that the image portion Ipa that captures the first surface Sf1 of the imaging target Ob0 shifts to the left and continues to the right side of the image portion Ipa. The captured image portion Ipb appears. Further, as shown in FIGS. 16 (b) to 16 (c), on the display screen Sc0 in response to a swipe operation in which the finger Fg0 or the like is slid from the central portion of the display screen Sc0 toward the left portion. The image scrolls from right to left. At this time, on the display screen Sc0, the second surface Sf2 of the imaging target Ob0 is moved so that the image portion Ipa that captures the first surface Sf1 of the imaging target Ob0 is further shifted to the left and continues to the right side of the image portion Ipa. The captured image portion Ipb is further shifted to the left and displayed in a large size.

このように、例えば、第１ユーザＵ１が、第１画像処理装置２０を用いて撮像対象物Ｏｂ０について複数回の一連の撮像をおこなって、複数の撮像画像を蓄積しておけば、第２ユーザＵ２は、表示部３３に表示される画像を任意にスクロールさせることができる。このため、例えば、第１ユーザＵ１に多大な作業を強いることなく、第２ユーザＵ２は自分のペースで撮像対象物Ｏｂ０を周囲の様々な角度から確認することができる。このため、例えば、第１ユーザＵ１および第２ユーザＵ２にとって、作業効率が向上し得る。さらに、ここでは、擬似的な３次元画像である合成画像の生成によって、比較的少ない演算量で、撮像対象物Ｏｂ０を周囲の様々な角度から見た画像を容易に得ることができる。 In this way, for example, if the first user U1 performs a series of imaging of the imaged object Ob0 a plurality of times using the first image processing device 20 and accumulates the plurality of captured images, the second user The U2 can arbitrarily scroll the image displayed on the display unit 33. Therefore, for example, the second user U2 can confirm the image pickup target Ob0 from various angles around it at his / her own pace without forcing the first user U1 to perform a great deal of work. Therefore, for example, the work efficiency can be improved for the first user U1 and the second user U2. Further, here, by generating a composite image which is a pseudo three-dimensional image, it is possible to easily obtain an image of the imaged object Ob0 viewed from various angles around it with a relatively small amount of calculation.

＜１−４．画像処理システムの動作フロー＞
＜１−４−１．複数回の撮像動作＞
図１７は、画像処理システム１において撮像対象物Ｏｂ０についての複数回の撮像の動作（撮像動作ともいう）をおこなう際における動作フローの一例を示す流れ図である。この動作フローは、例えば、第１ユーザＵ１による第１画像処理装置２０の入力部２ｉｎを介した信号の入力に応じて開始される。図１７の例では、複数回の撮像のうち、便宜的に２回の撮像動作をおこなう部分に着目した動作フローが示されている。図１８は、第１画像処理装置２０における１回の撮像動作における動作フローの一例を示す流れ図である。 <1-4. Image processing system operation flow>
<1-4-1. Multiple imaging operations>
FIG. 17 is a flow chart showing an example of an operation flow when performing a plurality of imaging operations (also referred to as imaging operations) for an image-imaging object Ob0 in the image processing system 1. This operation flow is started, for example, in response to the input of a signal by the first user U1 via the input unit 2in of the first image processing device 20. In the example of FIG. 17, an operation flow focusing on a portion of a plurality of times of imaging in which two imaging operations are performed for convenience is shown. FIG. 18 is a flow chart showing an example of an operation flow in one imaging operation in the first image processing apparatus 20.

まず、図１７のステップＳ１では、例えば、第１画像処理装置２０において、第１ユーザＵ１による入力部２ｉｎを介した信号の入力に応答して、第１画像処理装置２０において撮像動作がおこなわれる。撮像動作では、図１８のステップＳ１０１からステップＳ１０３の処理が順におこなわれる。ステップＳ１０１では、撮像部２１による撮像画像の取得がおこなわれる。ステップＳ１０２では、方向計測部２２１によって、撮像時の視線方向が計測されて、視線方向情報が取得される。ステップＳ１０１の処理およびステップＳ１０２の処理は、任意の順で実行されてもよいし、並行して実行されてもよい。ステップＳ１０３では、通信部２５によって、ステップＳ１０１で取得された撮像画像と、ステップＳ１０２で取得された視点位置情報などの付属の情報（撮像付属情報ともいう）とが、第２装置３に送信される。 First, in step S1 of FIG. 17, for example, in the first image processing device 20, an imaging operation is performed in the first image processing device 20 in response to a signal input by the first user U1 via the input unit 2in. .. In the imaging operation, the processes of steps S101 to S103 of FIG. 18 are performed in order. In step S101, the image pickup unit 21 acquires the captured image. In step S102, the direction measuring unit 221 measures the line-of-sight direction at the time of imaging, and the line-of-sight direction information is acquired. The process of step S101 and the process of step S102 may be executed in any order, or may be executed in parallel. In step S103, the communication unit 25 transmits the captured image acquired in step S101 and attached information (also referred to as imaging attached information) such as the viewpoint position information acquired in step S102 to the second device 3. To.

次に、図１７のステップＳ２では、第１画像処理装置２０から通信回線４などを介して第２画像処理装置３０に、撮像画像および撮像付属情報が送信される。 Next, in step S2 of FIG. 17, the captured image and the imaging accessory information are transmitted from the first image processing device 20 to the second image processing device 30 via the communication line 4 and the like.

ステップＳ３では、第２画像処理装置３０において、取得部３ａｃの通信部３５によって、第１画像処理装置２０からの撮像画像および撮像付属情報が受信され、撮像画像と撮像付属情報とが関連付けられた状態で記憶媒体３３０に記憶される。 In step S3, in the second image processing device 30, the communication unit 35 of the acquisition unit 3ac receives the captured image and the imaging accessory information from the first image processing device 20, and the captured image and the imaging attachment information are associated with each other. It is stored in the storage medium 330 in the state.

ステップＳ４では、第２画像処理装置３０において、ステップＳ３で受信および記憶された撮像画像が、表示部３３で可視的に出力される。 In step S4, in the second image processing device 30, the captured image received and stored in step S3 is visually output on the display unit 33.

続いて、ステップＳ５からステップＳ８では、上記ステップＳ１からステップＳ４と同様な処理がおこなわれる。 Subsequently, in steps S5 to S8, the same processing as in steps S1 to S4 is performed.

これにより、例えば、第２画像処理装置３０では、取得部３ａｃにより、視点位置および視線方向の組合せが相互に異なる条件で撮像対象物Ｏｂ０を捉えた複数の撮像画像と、各撮像画像の撮像時における視線方向を示す視線方向情報と、が取得される。 As a result, for example, in the second image processing device 30, when the acquisition unit 3ac captures a plurality of captured images in which the imaged object Ob0 is captured under conditions where the combination of the viewpoint position and the line-of-sight direction is different from each other, and when each captured image is captured. The line-of-sight direction information indicating the line-of-sight direction in the above is acquired.

＜１−４−２．撮像対象物の形状の推定＞
図１９は、第２画像処理装置３０の制御部３００において、Ｍ枚（Ｍは２以上の自然数）の撮像画像で捉えられた撮像対象物Ｏｂ０の表面形状を推定する際における動作フローの一例を示す流れ図である。この動作フローは、例えば、図１７および図１８で示された複数回の撮像動作に係る動作フローが終了した後に開始されてもよいし、複数回の撮像動作に係る動作フローと並行して実行されてもよい。ここでは、例えば、ステップＳ１１からステップＳ２２の処理がおこなわれることで、複数の撮像画像と、該複数の撮像画像のそれぞれに係る視線方向情報と、に基づいて、撮像対象物Ｏｂ０の表面形状が推定される。 <1-4-2. Estimating the shape of the object to be imaged>
FIG. 19 shows an example of an operation flow in estimating the surface shape of the image pickup target Ob0 captured by M images (M is a natural number of 2 or more) in the control unit 300 of the second image processing device 30. It is a flow chart which shows. This operation flow may be started after the operation flow related to the plurality of imaging operations shown in FIGS. 17 and 18 is completed, or may be executed in parallel with the operation flow related to the plurality of imaging operations. May be done. Here, for example, by performing the processes from step S11 to step S22, the surface shape of the imaged object Ob0 is obtained based on the plurality of captured images and the line-of-sight direction information related to each of the plurality of captured images. Presumed.

ステップＳ１１では、撮像画像の順番を規定する数値ｉが１に設定される。この数値ｉは、ｉ番目の撮像画像が処理の対象である第１撮像画像となっていることを意味する。ここでは、例えば、取得部３ａｃで取得されて記憶媒体３３０に記憶されている複数の撮像画像のうち、ｉ番目の１つの撮像画像が、撮像対象物Ｏｂ０を第１視線方向で捉えた第１撮像画像とされる。 In step S11, the numerical value i that defines the order of the captured images is set to 1. The numerical value i means that the i-th captured image is the first captured image to be processed. Here, for example, among the plurality of captured images acquired by the acquisition unit 3ac and stored in the storage medium 330, the i-th one captured image captures the imaged object Ob0 in the first line-of-sight direction. It is taken as an captured image.

ステップＳ１２では、ｉ番目の撮像画像について、記憶媒体３３０から視線方向ｖｉが読み出される。例えば、ｉ＝１である場合には、１番目の撮像画像について、記憶媒体３３０から視線方向ｖ１が読み出される。 In step S12, the line-of-sight direction vi is read from the storage medium 330 for the i-th captured image. For example, when i = 1, the line-of-sight direction v1 is read from the storage medium 330 for the first captured image.

ステップＳ１３では、第１認識部３１１によって、記憶媒体３３０に格納されている複数の撮像画像のうちの第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分が認識される。 In step S13, the first recognition unit 311 captures three or more feature units of the first captured image among the plurality of captured images stored in the storage medium 330, respectively, and three or more first image portions. Is recognized.

ステップＳ１４では、第２認識部３１２によって、第１撮像画像と３つ以上の同一の特徴部を捉えた第２撮像画像が検索される。このとき、第２認識部３１２では、記憶媒体３３０に格納されている複数の撮像画像のうちの撮像対象物Ｏｂ０を第２視線方向で捉えた第２撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分が認識され得る。 In step S14, the second recognition unit 312 searches for the first captured image and the second captured image that captures three or more identical feature units. At this time, the second recognition unit 312 displays three or more feature units of the second captured image in which the imaged object Ob0 of the plurality of captured images stored in the storage medium 330 is captured in the second line-of-sight direction. Three or more second image portions captured respectively can be recognized.

ステップＳ１５では、ステップＳ１４の検索結果に応答して、第１撮像画像と３つ以上の同一の特徴部を捉えた第２撮像画像があるか否かが判定される。ここで、例えば、第１撮像画像と３つ以上の同一の特徴部を捉えた第２撮像画像があれば、ステップＳ１６に進み、第２撮像画像がなければ、ステップＳ２２に進む。 In step S15, in response to the search result of step S14, it is determined whether or not there is a second captured image that captures three or more identical feature portions as the first captured image. Here, for example, if there is a second captured image that captures three or more identical feature portions with the first captured image, the process proceeds to step S16, and if there is no second captured image, the process proceeds to step S22.

ステップＳ１６では、第１撮像画像の撮像時における第１視線方向に沿った第１視線と、第２撮像画像の撮像時における第２視線方向に沿った第２視線との成す角度が算出される。 In step S16, the angle formed by the first line of sight along the first line-of-sight direction when the first captured image is captured and the second line of sight along the second line-of-sight direction when the second captured image is captured is calculated. ..

ステップＳ１７では、ステップＳ１６で算出された角度が、予め設定された閾値以上であるか否かが判定される。ここで、例えば、角度が閾値以上であれば、ステップＳ１８に進み、角度が閾値以上でなければ、ステップＳ２２に進む。 In step S17, it is determined whether or not the angle calculated in step S16 is equal to or greater than a preset threshold value. Here, for example, if the angle is equal to or greater than the threshold value, the process proceeds to step S18, and if the angle is not equal to or greater than the threshold value, the process proceeds to step S22.

ステップＳ１８では、推定部３１３によって、撮像対象物Ｏｂ０のうちの３つ以上の特徴部に係る表面形状が推定される。ここでは、ステップＳ１３で認識された３つ以上の第１画像部分の第１位置関係と、ステップＳ１４で認識された３つ以上の第２画像部分の第２位置関係と、が用いられて、撮像対象物Ｏｂ０の表面に係る表面形状が推定され得る。このとき、例えば、撮像対象物Ｏｂ０のうちの平面領域または２つの平面としての第１面Ｓｆ１と第２面Ｓｆ２とが角部を介して接続している接続領域が推定される。 In step S18, the estimation unit 313 estimates the surface shape of three or more feature parts of the image-imaging object Ob0. Here, the first positional relationship of the three or more first image portions recognized in step S13 and the second positional relationship of the three or more second image portions recognized in step S14 are used. The surface shape of the surface of the object to be imaged Ob0 can be estimated. At this time, for example, a plane region of the image pickup object Ob0 or a connection region in which the first surface Sf1 and the second surface Sf2 as two planes are connected via a corner portion is estimated.

ステップＳ１９では、ステップＳ１８で推定された表面形状が記憶媒体３３０に保存される。 In step S19, the surface shape estimated in step S18 is stored in the storage medium 330.

ステップＳ２０では、情報設定部３１４によって、第１撮像画像のうち、ステップＳ１３で認識された３つ以上の第１画像部分を含む領域に対して、利用を許可する許可情報が設定される。 In step S20, the information setting unit 314 sets permission information for permitting the use of the area including the three or more first image portions recognized in step S13 in the first captured image.

ステップＳ２１では、数値ｉが数値Ｍに到達したか否か判定される。換言すれば、処理の対象となっているｉ番目の撮像画像が、Ｍ番目の撮像画像まで達したか否かが判定される。ここで、数値ｉが数値Ｍに到達していなければ、ステップＳ２２に進む。また、数値ｉが数値Ｍに到達していれば、本動作フローが終了する。ステップＳ２２では、数値ｉが１つ増加されて、ステップＳ１２に戻る。 In step S21, it is determined whether or not the numerical value i has reached the numerical value M. In other words, it is determined whether or not the i-th captured image to be processed reaches the M-th captured image. Here, if the numerical value i has not reached the numerical value M, the process proceeds to step S22. If the numerical value i reaches the numerical value M, this operation flow ends. In step S22, the numerical value i is incremented by one and the process returns to step S12.

＜１−４−３．処理対象領域の変更に応じた画像の生成および出力＞
図２０は、第２画像処理装置３０において、記憶媒体３３０に記憶されている複数の撮像画像に基づいて表示部３３に表示されている画像の拡大および縮小あるいはスクロールをおこなう際における動作フローの一例を示す流れ図である。この動作フローは、例えば、マウスホイールの回転または表示画面Ｓｃ０に対するピンチインもしくはピンチアウトの操作、あるいは表示画面Ｓｃ０上でのスワイプ操作などの第２ユーザＵ２の動作に応答して開始される。ここでは、例えば、ステップＳ３１からステップＳ３６の処理がおこなわれることで、第２ユーザＵ２による動作に応じた表示画面Ｓｃ０上での画像の出力が実行され得る。 <1-4-3. Image generation and output according to changes in the processing target area>
FIG. 20 shows an example of an operation flow in the second image processing apparatus 30 when enlarging / reducing or scrolling an image displayed on the display unit 33 based on a plurality of captured images stored in the storage medium 330. It is a flow chart which shows. This operation flow is started in response to an operation of the second user U2, such as a rotation of the mouse wheel, a pinch-in or pinch-out operation on the display screen Sc0, or a swipe operation on the display screen Sc0. Here, for example, by performing the processes from step S31 to step S36, the output of the image on the display screen Sc0 according to the operation by the second user U2 can be executed.

ステップＳ３１では、領域設定部３１５によって、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、撮像対象物Ｏｂ０の表面に対して処理対象領域が設定される。このとき、例えば、表示画面Ｓｃ０上に撮像対象物Ｏｂ０の一部分が表示されていた場合には、処理対象領域が変更される。 In step S31, the surface shape of the imaging target Ob0 estimated by the estimation unit 313 by the region setting unit 315 and the signal input in response to the user's operation are applied to the surface of the imaging target Ob0. On the other hand, the processing target area is set. At this time, for example, when a part of the imaging object Ob0 is displayed on the display screen Sc0, the processing target area is changed.

ステップＳ３２では、制御部３００において、接続領域に処理対象領域が設定されたか否か判定される。ここで、例えば、接続領域に処理対象領域が設定されていなければ、ステップＳ３３に進み、接続領域に処理対象領域が設定されていれば、ステップＳ３４に進む。換言すれば、例えば、撮像対象物Ｏｂ０の表面のうちの第１面Ｓｆ１と第２面Ｓｆ２とが角部Ｃｎ１を介して接続している接続領域に対して処理対象領域が設定されたことに応答して、ステップＳ３４に進む。 In step S32, the control unit 300 determines whether or not the processing target area is set in the connection area. Here, for example, if the processing target area is not set in the connection area, the process proceeds to step S33, and if the processing target area is set in the connection area, the process proceeds to step S34. In other words, for example, the processing target area is set for the connection area in which the first surface Sf1 and the second surface Sf2 of the surface of the image pickup target Ob0 are connected via the corner portion Cn1. In response, the process proceeds to step S34.

ステップＳ３３では、検出部３１６によって、記憶媒体３３０に記憶されている複数の撮像画像において、平坦面に設定された処理対象領域に対応する画像部分が検出される。 In step S33, the detection unit 316 detects an image portion corresponding to the processing target area set on the flat surface in the plurality of captured images stored in the storage medium 330.

ステップＳ３４では、検出部３１６によって、記憶媒体３３０に記憶されている複数の撮像画像に含まれる、第１面Ｓｆ１を捉えた第１画像領域と、第２面Ｓｆ２を第１画像領域とは異なる視線方向で捉えた第２画像領域と、が検出される。換言すれば、検出部３１６では、例えば、領域設定部３１５によって接続領域に処理対象領域が設定されたことに応答して、複数の撮像画像から接続領域を構成する２つの平坦面をそれぞれ捉えた画像領域が検出され得る。 In step S34, the first image region in which the first surface Sf1 is captured and the second surface Sf2 included in the plurality of captured images stored in the storage medium 330 are different from the first image area by the detection unit 316. The second image area captured in the line-of-sight direction is detected. In other words, the detection unit 316 captures, for example, two flat surfaces constituting the connection area from a plurality of captured images in response to the processing target area being set in the connection area by the area setting unit 315. The image area can be detected.

ステップＳ３５では、画像生成部３１７によって、ステップＳ３４で検出された、第１画像領域と第２画像領域とが合成されることで、接続領域についての合成画像が生成される。 In step S35, the image generation unit 317 combines the first image area and the second image area detected in step S34 to generate a composite image of the connection area.

ステップＳ３６では、例えば、ステップＳ３３から進んで来た場合には、表示部３３によって、ステップＳ３３で検出された画像部分が可視的に出力される。例えば、ステップＳ３５から進んで来た場合には、表示部３３によって、ステップＳ３５で生成された合成画像が可視的に出力される。 In step S36, for example, when proceeding from step S33, the display unit 33 visually outputs the image portion detected in step S33. For example, when proceeding from step S35, the display unit 33 visually outputs the composite image generated in step S35.

＜１−５．第１実施形態のまとめ＞
以上のように、第１実施形態に係る画像処理システム１および第２画像処理装置３０では、例えば、視点位置および視線方向の組合せが相互に異なる条件で撮像対象物Ｏｂ０を捉えた複数の撮像画像と、各撮像画像についての撮像時の視線方向情報と、が取得される。撮像対象物Ｏｂ０を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部を第１視線方向で捉えた３つ以上の第１画像部分が認識される。撮像対象物Ｏｂ０を第２視線方向で捉えた第２撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分が認識される。３つ以上の第１画像部分の第１位置関係と、３つ以上の第２画像部分の第２位置関係と、を用いて、撮像対象物Ｏｂ０の表面形状が推定される。この推定された表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、撮像対象物Ｏｂ０に対して処理対象領域が設定される。ここで、撮像対象物Ｏｂ０の表面のうちの第１面Ｓｆ１と第２面Ｓｆ２とが角部Ｃｎ１を介して接続している接続領域に処理対象領域が設定されれば、複数の撮像画像から、第１面Ｓｆ１を第１視線方向で捉えた第１画像領域と、第２面Ｓｆ２を第２視線方向で捉えた第２画像領域と、が検出される。そして、第１画像領域と第２画像領域とが合成されることで、接続領域についての合成画像が生成され得る。 <1-5. Summary of the first embodiment>
As described above, in the image processing system 1 and the second image processing apparatus 30 according to the first embodiment, for example, a plurality of captured images in which the imaged object Ob0 is captured under conditions where the combination of the viewpoint position and the line-of-sight direction are different from each other. And the line-of-sight direction information at the time of imaging for each captured image are acquired. With respect to the first captured image in which the imaged object Ob0 is captured in the first line-of-sight direction, three or more first image portions in which three or more feature portions are captured in the first line-of-sight direction are recognized. With respect to the second captured image in which the imaged object Ob0 is captured in the second line-of-sight direction, three or more second image portions in which three or more feature portions are captured are recognized. The surface shape of the imaged object Ob0 is estimated using the first positional relationship of the three or more first image portions and the second positional relationship of the three or more second image portions. The processing target area is set for the image pickup target Ob0 based on the estimated surface shape and the signal input in response to the user's operation. Here, if the processing target area is set in the connection area in which the first surface Sf1 and the second surface Sf2 of the surface of the imaged object Ob0 are connected via the corner portion Cn1, the plurality of captured images can be displayed. , The first image region in which the first surface Sf1 is captured in the first line-of-sight direction and the second image region in which the second surface Sf2 is captured in the second line-of-sight direction are detected. Then, by synthesizing the first image region and the second image region, a composite image of the connection region can be generated.

このような構成が採用されれば、例えば、撮像時における第１装置２の視線方向の情報を用いて撮像対象物Ｏｂ０の表面形状を推定して、擬似的な３次元画像である合成画像を生成することができる。ここでは、例えば、撮像対象物を相互に異なる方向から撮像して得られた第１画像部分と第２画像部分とが並べられるように合成される。これにより、例えば、撮像対象物を周囲の複数の角度から捉えた擬似的な３次元画像である合成画像が比較的少ない演算量で容易に取得され得る。その結果、例えば、撮像対象物を周囲の様々な角度から見た画像を得る画像処理における演算量が低減され得る。 If such a configuration is adopted, for example, the surface shape of the imaged object Ob0 is estimated using the information in the line-of-sight direction of the first device 2 at the time of imaging, and a composite image which is a pseudo three-dimensional image is produced. Can be generated. Here, for example, the first image portion and the second image portion obtained by imaging the objects to be imaged from different directions are synthesized so as to be arranged side by side. As a result, for example, a composite image, which is a pseudo three-dimensional image obtained by capturing an imaged object from a plurality of surrounding angles, can be easily acquired with a relatively small amount of calculation. As a result, for example, the amount of calculation in image processing for obtaining an image of an imaged object viewed from various angles around it can be reduced.

そして、例えば、第１ユーザＵ１が、第１画像処理装置２０を用いて撮像対象物Ｏｂ０について複数回の一連の撮像をおこなって、複数の撮像画像を蓄積しておけば、第２ユーザＵ２は、表示部３３に表示される画像を任意にスクロールさせることができる。このため、例えば、第１ユーザＵ１に多大な作業を強いることなく、第２ユーザＵ２は自分のペースで撮像対象物Ｏｂ０を周囲の様々な角度から確認することができる。このため、例えば、第１ユーザＵ１および第２ユーザＵ２にとって、作業効率が向上し得る。 Then, for example, if the first user U1 uses the first image processing device 20 to perform a series of imaging of the imaged object Ob0 a plurality of times and accumulates the plurality of captured images, the second user U2 can be used. , The image displayed on the display unit 33 can be arbitrarily scrolled. Therefore, for example, the second user U2 can confirm the image pickup target Ob0 from various angles around it at his / her own pace without forcing the first user U1 to perform a great deal of work. Therefore, for example, the work efficiency can be improved for the first user U1 and the second user U2.

また、例えば、撮像時における第１装置２の位置情報を用いることなく、撮像時における第１装置２の視線方向の情報を用いて撮像対象物Ｏｂ０の表面形状を推定して、擬似的な３次元画像である合成画像を生成することができる。 Further, for example, the surface shape of the image pickup target Ob0 is estimated by using the information in the line-of-sight direction of the first device 2 at the time of imaging without using the position information of the first device 2 at the time of imaging, and a pseudo 3 A composite image that is a three-dimensional image can be generated.

撮像時における第１装置２の位置情報は、例えば、人工衛星との通信を用いた全球測位衛星システム（Global Navigation Satellite System：ＧＮＳＳ）における各種の測位システムなどを用いて取得され得る。ＧＮＳＳには、例えば、ＧＰＳ（Global Positioning System）、ＧＬＯＮＡＳＳ（Global Navigation Satellite System）、ガリレオ（Galileo）または準天頂衛星（Quasi-Zenith Satellite System：ＱＺＳＳ）などの測位システムが含まれる。ただし、例えば、屋内に撮像対象物Ｏｂ０が存在していれば、屋根および壁などによって人工衛星との通信が妨げられる。このため、撮像時における第１装置２の位置情報を精度良く取得することは容易でない。また、例えば、屋内に事前に電波を中継するアンテナなどを設けても、製造コストの上昇を招き、撮像時における第１装置２の正確な位置情報を容易に取得することができない。 The position information of the first device 2 at the time of imaging can be acquired by using, for example, various positioning systems in the Global Navigation Satellite System (GNSS) using communication with an artificial satellite. GNSS includes, for example, positioning systems such as GPS (Global Positioning System), GLONASS (Global Navigation Satellite System), Galileo or Quasi-Zenith Satellite System (QZSS). However, for example, if the imaging object Ob0 exists indoors, communication with the artificial satellite is hindered by the roof, walls, and the like. Therefore, it is not easy to accurately acquire the position information of the first device 2 at the time of imaging. Further, for example, even if an antenna for relaying radio waves is provided indoors in advance, the manufacturing cost will increase, and accurate position information of the first device 2 at the time of imaging cannot be easily acquired.

また、撮像時における第１装置２の位置情報は、例えば、加速度センサを用いることで取得され得る。ただし、加速度センサによる計測に誤差が発生しやすく、撮像時における第１装置２の位置情報を精度良く取得することは容易でない。 Further, the position information of the first device 2 at the time of imaging can be acquired by using, for example, an acceleration sensor. However, an error is likely to occur in the measurement by the acceleration sensor, and it is not easy to accurately acquire the position information of the first device 2 at the time of imaging.

＜２．他の実施形態＞
本開示は上述の第１実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更、改良等が可能である。 <2. Other embodiments>
The present disclosure is not limited to the above-described first embodiment, and various changes, improvements, and the like can be made without departing from the gist of the present disclosure.

＜２−１．第２実施形態＞
上記第１実施形態では、第１画像処理装置２０で撮像対象物Ｏｂ０の撮像がおこなわれ、第２画像処理装置３０で複数の撮像画像を用いた合成画像の生成および画像の表示がおこなわれた。これに対し、例えば、第１画像処理装置２０において、撮像対象物Ｏｂ０の撮像がおこなわれ、さらに、撮像対象物Ｏｂ０の表面形状の推定ならびに複数の撮像画像を用いた合成画像などの生成および表示がおこなわれてもよい。これにより、例えば、１台の装置において、複数の撮像画像を取得するための撮像から撮像対象物Ｏｂ０を周囲の様々な角度から見た画像を得る画像処理まで容易に実行することができる。また、上記第１実施形態と同様に、例えば、撮像対象物Ｏｂ０を周囲の様々な角度から見た画像を得る画像処理における演算量が低減され得る。 <2-1. Second Embodiment>
In the first embodiment, the first image processing device 20 images the imaged object Ob0, and the second image processing device 30 generates a composite image using a plurality of captured images and displays the image. .. On the other hand, for example, in the first image processing apparatus 20, the imaging target Ob0 is imaged, the surface shape of the imaging target Ob0 is estimated, and a composite image using a plurality of captured images is generated and displayed. May be done. Thereby, for example, in one device, it is possible to easily execute from imaging for acquiring a plurality of captured images to image processing for obtaining an image of the imaged object Ob0 viewed from various angles around it. Further, as in the first embodiment, for example, the amount of calculation in image processing for obtaining an image of the imaged object Ob0 viewed from various angles around it can be reduced.

具体的には、例えば、図２１で示されるように、第２実施形態に係る第１画像処理装置２０Ａは、例えば、上記第１実施形態に係る第１画像処理装置２０の機能に加えて、上記第１実施形態に係る第２画像処理装置３０と同様な機能を有していてもよい。ここでは、上記第１実施形態に係る第２画像処理装置３０と同様な機能には、例えば、第１認識部３１１、第２認識部３１２、推定部３１３、情報設定部３１４、領域設定部３１５、検出部３１６および画像生成部３１７が含まれる。第１画像処理装置２０Ａでは、例えば、記憶媒体２３０が記憶媒体３３０と同様な役割を果たし、出力部２ｏｕが出力部３ｏｕと同様な役割を果たし、入力部２ｉｎが入力部３ｉｎと同様な役割を果たし、取得部２ａｃが取得部３ａｃと同様な役割を果たす。 Specifically, for example, as shown in FIG. 21, the first image processing device 20A according to the second embodiment has, for example, in addition to the functions of the first image processing device 20 according to the first embodiment. It may have the same function as the second image processing apparatus 30 according to the first embodiment. Here, the functions similar to those of the second image processing apparatus 30 according to the first embodiment include, for example, the first recognition unit 311, the second recognition unit 312, the estimation unit 313, the information setting unit 314, and the area setting unit 315. , Detection unit 316 and image generation unit 317 are included. In the first image processing apparatus 20A, for example, the storage medium 230 plays the same role as the storage medium 330, the output unit 2ou plays the same role as the output unit 3ou, and the input unit 2in plays the same role as the input unit 3in. The acquisition unit 2ac plays the same role as the acquisition unit 3ac.

このような構成が採用されれば、例えば、第１画像処理装置２０Ａにおいて、表示部２３で合成画像が可視的に出力され、第１ユーザＵ１が合成画像を視認することができる。また、例えば、出力部２ｏｕでは、複数の撮像画像のうちの許可情報が設定された対象物領域に係るデータが出力されてもよいし、複数の撮像画像のうちの禁止情報が設定された非対象物領域を除く領域に係るデータが出力されてもよい。これにより、例えば、ユーザに対して必要な部分についての画像が表示され得る。 If such a configuration is adopted, for example, in the first image processing device 20A, the composite image is visually output by the display unit 23, and the first user U1 can visually recognize the composite image. Further, for example, the output unit 2ou may output data related to an object area in which permission information of a plurality of captured images is set, or may output prohibited information among a plurality of captured images. Data related to the area other than the object area may be output. Thereby, for example, an image about a necessary part can be displayed to the user.

＜２−２．第３実施形態＞
上記各実施形態に係る第１画像処理装置２０，２０Ａにおいて、例えば、撮像対象物Ｏｂ０の撮像、撮像対象物Ｏｂ０の表面形状の推定ならびに複数の撮像画像における画像領域ごとの許否情報の設定がおこなわれてもよい。そして、上記各実施形態に係る第２画像処理装置３０において、例えば、画像領域ごとに設定された許否情報に基づいて、複数の撮像画像を用いた合成画像の生成および画像の表示がおこなわれてもよい。これにより、例えば、第１装置２とは異なる他の第２装置３では、必要な部分の画像が出力されることで、情報セキュリティーの向上が図られ得る。 <2-2. Third Embodiment>
In the first image processing devices 20 and 20A according to each of the above embodiments, for example, imaging of the imaged object Ob0, estimation of the surface shape of the imaged object Ob0, and setting of permission / rejection information for each image region in a plurality of captured images are performed. It may be. Then, in the second image processing apparatus 30 according to each of the above embodiments, for example, a composite image using a plurality of captured images is generated and an image is displayed based on the permission / rejection information set for each image area. May be good. As a result, for example, in another second device 3 different from the first device 2, the information security can be improved by outputting an image of a necessary portion.

具体的には、例えば、図２２で示されるように、第３実施形態に係る第１画像処理装置２０Ｂは、例えば、上記第１実施形態に係る第１画像処理装置２０の機能に加えて、上記第１実施形態に係る第２画像処理装置３０の一部の機能を有していてもよい。ここでは、上記第１実施形態に係る第２画像処理装置３０の一部の機能には、例えば、第１認識部３１１、第２認識部３１２、推定部３１３および情報設定部３１４が含まれる。第１画像処理装置２０Ｂでは、例えば、入力部２ｉｎが入力部３ｉｎと同様な役割を果たし、取得部２ａｃが取得部３ａｃと同様な役割を果たし得る。ここでは、例えば、通信部２５によって、取得部２ａｃで取得された複数の撮像画像と、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状を示す表面形状情報と、情報設定部３１４で設定された許否情報と、が通信回線４を介して第２装置３に送信され得る。 Specifically, for example, as shown in FIG. 22, the first image processing device 20B according to the third embodiment has, for example, in addition to the functions of the first image processing device 20 according to the first embodiment. It may have a part of the functions of the second image processing apparatus 30 according to the first embodiment. Here, some functions of the second image processing apparatus 30 according to the first embodiment include, for example, a first recognition unit 311, a second recognition unit 312, an estimation unit 313, and an information setting unit 314. In the first image processing apparatus 20B, for example, the input unit 2in may play the same role as the input unit 3in, and the acquisition unit 2ac may play the same role as the acquisition unit 3ac. Here, for example, a plurality of captured images acquired by the acquisition unit 2ac by the communication unit 25, surface shape information indicating the surface shape of the imaged object Ob0 estimated by the estimation unit 313, and information setting unit 314 are set. The obtained permission / denial information can be transmitted to the second device 3 via the communication line 4.

一方、例えば、図２３で示されるように、第３実施形態に係る第２画像処理装置３０Ｂは、例えば、上記第１実施形態に係る第２画像処理装置３０から、第１画像処理装置２０Ｂに加えられた一部の機能が除かれてもよい。上記第１実施形態に係る第２画像処理装置３０から除かれる一部の機能には、例えば、第１認識部３１１、第２認識部３１２、推定部３１３および情報設定部３１４が含まれる。第２画像処理装置３０Ｂでは、例えば、出力部３ｏｕで、取得部３ａｃで取得された複数の撮像画像の許可情報が設定された対象物領域に係るデータが利用されてもよいし、複数の撮像画像の禁止情報が設定された非対象物領域を除く領域に係るデータが利用されてもよい。 On the other hand, for example, as shown in FIG. 23, the second image processing device 30B according to the third embodiment is changed from the second image processing device 30 according to the first embodiment to the first image processing device 20B, for example. Some added functions may be excluded. Some functions excluded from the second image processing apparatus 30 according to the first embodiment include, for example, a first recognition unit 311, a second recognition unit 312, an estimation unit 313, and an information setting unit 314. In the second image processing apparatus 30B, for example, the output unit 3ou may use data related to an object region in which permission information for a plurality of captured images acquired by the acquisition unit 3ac is set, or a plurality of imaging images may be used. Data related to the area other than the non-object area in which the prohibited information of the image is set may be used.

さらに、例えば、出力部２ｏｕによって、複数の撮像画像のうちの許可情報が設定された対象物領域に係るデータが出力されてもよいし、複数の撮像画像のうちの禁止情報が設定された非対象領域を除く画像領域に係るデータが出力されてもよい。このとき、例えば、データの出力先が第２装置３であれば、第１装置２とは異なる他の第２装置３において、対象物領域以外の必要以上の部分が第２ユーザＵ２によって視認されないようにすることができる。その結果、例えば、情報セキュリティーの向上が図られ得る。 Further, for example, the output unit 2ou may output the data related to the object area in which the permission information of the plurality of captured images is set, or the prohibited information of the plurality of captured images is set. Data related to the image area excluding the target area may be output. At this time, for example, if the data output destination is the second device 3, the second user U2 does not visually recognize the unnecessary portion other than the object area in the second device 3 different from the first device 2. Can be done. As a result, for example, information security can be improved.

＜３．その他＞
上記各実施形態において、例えば、合成画像の生成に用いられる第１画像部分および第２画像部分は、撮像対象物Ｏｂ０の相互に隣接する領域が捉えられたものでなくてもよい。例えば、撮像対象物Ｏｂ０のうち、第１面Ｓｆ１と第２面Ｓｆ２との境界にある角部を挟んで位置している２つの領域が、合成画像の生成に用いられる第１画像部分および第２画像部分によって捉えられていてもよい。ここで、角部としては、例えば、曲率を有するＲ面または面取りがなされたＣ面の部分が採用され得る。このような構成が採用されれば、図１６（ａ）から図１６（ｃ）で示された表示画像をスクロールさせる様子は、図２４（ａ）から図２４（ｃ）で示された表示画像をスクロールさせる様子となり得る。図２４（ｂ）および図２４（ｃ）の合成画像では、第１面Ｓｆ１に係る第１画像部分Ｉｐａと、第２面Ｓｆ２に係る第１画像部分Ｉｐｂと、の間に、角部に相当する空白の部分が存在している。さらに、例えば、この空白の部分を設けることなく、第１面Ｓｆ１に係る第１画像部分Ｉｐａと、第２面Ｓｆ２に係る第１画像部分Ｉｐｂと、を隙間無く並べるように、合成画像が生成されてもよい。 <3. Others>
In each of the above embodiments, for example, the first image portion and the second image portion used for generating the composite image do not have to capture the regions adjacent to each other of the image pickup target Ob0. For example, in the image pickup object Ob0, two regions located across a corner portion at the boundary between the first surface Sf1 and the second surface Sf2 are the first image portion and the first image portion used for generating the composite image. 2 It may be captured by an image portion. Here, as the corner portion, for example, a curved R surface or a chamfered C surface portion can be adopted. If such a configuration is adopted, the state of scrolling the display images shown in FIGS. 16A to 16C can be seen in the display images shown in FIGS. 24A to 24C. Can be seen as scrolling. In the composite image of FIGS. 24 (b) and 24 (c), the corner portion corresponds to the space between the first image portion Ipa related to the first surface Sf1 and the first image portion Ipb related to the second surface Sf2. There is a blank part to do. Further, for example, a composite image is generated so that the first image portion Ipa related to the first surface Sf1 and the first image portion Ipb related to the second surface Sf2 are arranged without a gap without providing the blank portion. May be done.

上記各実施形態では、例えば、合成画像は、表示に必要であるタイミングで一時的に生成されてもよいし、一旦生成された合成画像は、記憶媒体２３０，３３０などに蓄積されてもよい。 In each of the above embodiments, for example, the composite image may be temporarily generated at a timing necessary for display, and the composite image once generated may be stored in the storage media 230, 330, or the like.

上記各実施形態では、例えば、撮像対象物Ｏｂ０の各面を正面から捉えた第１画像部分と第２画像部分とを合成することで、合成画像を生成してもよいし、撮像対象物Ｏｂ０の各面を異なる方向から捉えた第１画像部分と第２画像部分とが合成されてもよい。 In each of the above embodiments, for example, a composite image may be generated by synthesizing the first image portion and the second image portion obtained by capturing each surface of the imaging target Ob0 from the front, or the imaging target Ob0 may be generated. The first image portion and the second image portion obtained by capturing each surface of the above from different directions may be combined.

上記各実施形態では、例えば、撮像対象物Ｏｂ０の異なる面の２以上の画像部分が合成されることなく、表示画面Ｓｃ０の中心部分の画像部分で捉えられた面の画像が選択的に表示画面Ｓｃ０に表示されてもよい。このとき、例えば、表示画面Ｓｃ０における画像のスクロールにより、表示画面Ｓｃ０の中心部分を、第１面Ｓｆ１を捉えた画像部分の端部が通過したタイミングで、表示画面Ｓｃ０に第２面Ｓｆ２を捉えた画像部分が表示され始めるような態様が考えられる。 In each of the above embodiments, for example, the image of the surface captured by the image portion of the central portion of the display screen Sc0 is selectively displayed on the display screen without synthesizing two or more image portions of different surfaces of the image pickup object Ob0. It may be displayed on Sc0. At this time, for example, by scrolling the image on the display screen Sc0, the second surface Sf2 is captured on the display screen Sc0 at the timing when the end portion of the image portion capturing the first surface Sf1 passes through the center portion of the display screen Sc0. It is conceivable that the image portion is started to be displayed.

上記各実施形態では、例えば、第１ユーザＵ１は、現場作業者だけに限られず、例えば、立体的な撮像対象物を撮像する者（撮像者ともいう）一般であってもよい。 In each of the above embodiments, for example, the first user U1 is not limited to the field worker, and may be, for example, a general person (also referred to as an imager) who images a three-dimensional image-imaging object.

上記各実施形態では、例えば、第２ユーザＵ２は、機器担当者だけに限られず、例えば、立体的な撮像対象物を周囲の様々な角度から見た画像を観察する者（観察者ともいう）一般であってもよい。 In each of the above embodiments, for example, the second user U2 is not limited to the person in charge of the device, for example, a person (also referred to as an observer) who observes an image of a three-dimensional imaged object viewed from various angles around it. It may be general.

上記各実施形態では、例えば、撮像対象物Ｏｂ０は、例えば、容易に近づくことができない古墳の石棺などであってもよいし、服飾、バッグ、頭髪などのその他の周囲からの観察が可能な立体的な形状を有するもの一般であってもよい。 In each of the above embodiments, for example, the object to be imaged Ob0 may be, for example, a sarcophagus of an old burial mound that cannot be easily approached, or a three-dimensional object that can be observed from other surroundings such as clothing, a bag, and hair. It may be a general one having a typical shape.

上記各実施形態では、例えば、第２画像処理装置３０，３０Ｂは、本体部と表示部３３とが分割された形態とされてもよい。この場合には、例えば、本体部と表示部３３とが通信可能に接続される態様が採用され得る。また、例えば、第１画像処理装置２０Ａは、本体部と表示部２３とが分割された形態とされてもよい。この場合には、例えば、本体部と表示部２３とが通信可能に接続される態様が採用され得る。 In each of the above embodiments, for example, the second image processing devices 30 and 30B may be in a form in which the main body unit and the display unit 33 are divided. In this case, for example, a mode in which the main body unit and the display unit 33 are communicably connected can be adopted. Further, for example, the first image processing device 20A may have a form in which the main body unit and the display unit 23 are divided. In this case, for example, a mode in which the main body unit and the display unit 23 are communicably connected can be adopted.

上記各実施形態では、例えば、画像ＤＢ２Ｉｄ，３Ｉｄは、第１装置２の記憶媒体２３０および第２装置３の記憶媒体３３０において構築される必要はなく、各種サーバ、あるいはクラウドコンピューティングの概念における各種記憶媒体で構築されてもよい。 In each of the above embodiments, for example, the image DBs 2Id and 3Id do not need to be constructed in the storage medium 230 of the first device 2 and the storage medium 330 of the second device 3, and are various servers or various types in the concept of cloud computing. It may be constructed on a storage medium.

上記各実施形態では、例えば、複数の撮像画像と、各撮像画像に係る視線方向情報と、に基づいて、第１装置２の移動経路が推定されてもよい。ここで、例えば、第１ユーザＵ１が第１装置２としてのスマートグラスを装着した状態で、連続した多数回の撮像をおこないながら、撮像対象物Ｏｂ０の周囲を移動する場合を想定する。この場合には、第１ユーザＵ１は、例えば、移動する際には、足下および進行方向などを確認する。このため、例えば、複数の撮像画像には、床面などの足下を捉えた撮像画像（足下撮像画像ともいう）が含まれる。この足下撮像画像は、撮像時の視線方向および足型の検出などによって認識され得る。そして、複数の足下撮像画像が認識されれば、パターンマッチングなどの手法によって、床面などにおける同一の部分を捉えた領域が重なるように、複数の足下撮像画像が連結され得る。これにより、第１装置２の移動経路を規定する床面などが推定され得る。そして、例えば、図４で示されるように、第１装置２の移動経路で囲まれている内側の領域を捉えた画像領域が合成画像の生成および画像の表示などに利用可能となるように、許否情報が設定されてもよい。 In each of the above embodiments, the movement path of the first device 2 may be estimated based on, for example, a plurality of captured images and line-of-sight direction information related to each captured image. Here, for example, it is assumed that the first user U1 moves around the image pickup target Ob0 while performing a large number of continuous images in a state where the smart glasses as the first device 2 are attached. In this case, the first user U1 confirms, for example, his / her feet and the direction of travel when moving. Therefore, for example, the plurality of captured images include a captured image (also referred to as a foot captured image) that captures the foot of the floor or the like. This foot-captured image can be recognized by detecting the line-of-sight direction and the foot shape at the time of imaging. Then, if a plurality of foot-captured images are recognized, the plurality of foot-captured images can be connected by a technique such as pattern matching so that the regions capturing the same portion on the floor surface or the like overlap. As a result, the floor surface or the like that defines the movement path of the first device 2 can be estimated. Then, for example, as shown in FIG. 4, the image region capturing the inner region surrounded by the movement path of the first device 2 can be used for generating a composite image, displaying an image, and the like. Permit / denial information may be set.

上記各実施形態では、例えば、複数の撮像画像のうち、許可情報が設定されていない画像領域あるいは禁止情報が設定されている画像領域については、フィルタ処理あるいは特定色への置換処理などが施されてもよい。フィルタ処理には、例えば、ぼかし処理あるいはモザイク処理などが含まれる。特定色への置換処理には、例えば、黒塗りあるいは白抜きなどをおこなう処理が含まれる。これにより、撮像対象物Ｏｂ０とは異なる必要以上の部分が第１ユーザＵ１あるいは第２ユーザＵ２によって視認されないようにすることができる。その結果、例えば、情報セキュリティーの向上が図られ得る。 In each of the above embodiments, for example, among a plurality of captured images, an image area in which permission information is not set or an image area in which prohibited information is set is subjected to filter processing, replacement processing with a specific color, or the like. You may. The filtering process includes, for example, a blurring process or a mosaic process. The replacement process with a specific color includes, for example, a process of painting black or whitening. As a result, it is possible to prevent the first user U1 or the second user U2 from visually recognizing an unnecessary portion different from the image pickup target Ob0. As a result, for example, information security can be improved.

上記各実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。 Needless to say, all or a part of each of the above-described embodiments and various modifications can be combined as appropriate and within a consistent range.

１画像処理システム
２第１装置
２Ｐｒ，３Ｐｒ制御プログラム
２ａｃ，３ａｃ取得部
２ｉｎ，３ｉｎ入力部
２ｏｕ，３ｏｕ出力部
３第２装置
３ｒｅ受信部
４通信回線
２０，２０Ａ，２０Ｂ第１画像処理装置
２１撮像部
２２方向センサ
２３，３３表示部
２５，３５通信部
３０，３０Ｂ第２画像処理装置
２００，３００制御部
２２１方向計測部
２３０，３３０記憶媒体
３１１第１認識部
３１２第２認識部
３１３推定部
３１４情報設定部
３１５領域設定部
３１６検出部
３１７画像生成部
Ａｒ２既表示領域
Ａｒ２１残部
Ａｒ２２未表示領域
Ｃｎ１角部
Ｄａ０，Ｄａ１，Ｄａ２，Ｄａ３，Ｄａ４，Ｄａ５，Ｄａ６，Ｄｂ０，Ｄｂ１，Ｄｂ２，Ｄｂ３，Ｄｂ４，Ｄｂ５，Ｄｂ６距離
Ｇａ１，Ｇａ２，Ｇａ３第１撮像画像
Ｇｂ１，Ｇｂ２，Ｇｂ３第２撮像画像
Ｉｍ１１，Ｉｍ１２，Ｉｍ１３，Ｉｍ１４撮像画像
Ｉｐ０，Ｉｐ１，Ｉｐ２，Ｉｐ２１，Ｉｐ２２画像部分
Ｏｂ０撮像対象物
Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１，Ｐｘ１，Ｐｘ２，Ｐｘ３，Ｐｘ４特徴部
Ｐｔ１，Ｐｔ２，Ｐｔ３，Ｐｔ４，Ｐｔ５，Ｐｔ６，Ｐｔ７，Ｐｔ８，Ｐｔ９，Ｐｔ１０，Ｐｔ１１，Ｐｔ１２，Ｔｐ１位置
Ｓｃ０表示画面
Ｓｆ１第１面
Ｓｆ２第２面
Ｕ１第１ユーザ
Ｕ２第２ユーザ
ｐ１ａ，ｐ１ｂ，ｐ２ａ，ｐ２ｂ，ｐ３ａ，ｐ３ｂ，ｐ４ａ，ｐ４ｂ，ｐ５ａ，ｐ５ｂ，ｐ６ａ，ｐ６ｂ，ｐ７ａ，ｐ７ｂ，ｐ８ａ，ｐ８ｂ，ｐ９ａ，ｐ９ｂ，ｐ１０ａ，ｐ１０ｂ，ｐ１１ａ，ｐ１１ｂ画像部分
ｖ１，ｖ２，ｖ３，ｖ４，ｖ５，ｖ６，ｖ７，ｖ８，ｖ９，ｖ１０，ｖ１１，ｖ１２，ｖ３１，ｖ３２，ｖ３３視線方向 1 Image processing system 2 1st device 2Pr, 3Pr Control program 2ac, 3ac Acquisition unit 2in, 3in Input unit 2ou, 3ou Output unit 3 2nd device 3re Receiver 4 Communication line 20, 20A, 20B 1st image processing device 21 Imaging Unit 22 Direction sensor 23,33 Display unit 25,35 Communication unit 30,30B Second image processing device 200,300 Control unit 221 Direction measurement unit 230,330 Storage medium 311 First recognition unit 312 Second recognition unit 313 Estimating unit 314 Information setting unit 315 Area setting unit 316 Detection unit 317 Image generation unit Ar2 Displayed area Ar21 Remaining part Ar22 Undisplayed area Cn1 Corner part Da0, Da1, Da2, Da3, Da4, Da5, Da6, Db0, Db1, Db2, Db3, Db4 , Db5, Db6 Distance Ga1, Ga2, Ga3 1st image Gb1, Gb2, Gb3 2nd image Im11, Im12, Im13, Im14 Image Ip0, Ip1, Ip2, Ip21, Ip22 Image part Ob0 Image part P1, P2 , P3, P4, P5, P6, P7, P8, P9, P10, P11, Px1, Px2, Px3, Px4 Features Pt1, Pt2, Pt3, Pt4, Pt5, Pt6, Pt7, Pt8, Pt9, Pt10, Pt11, Pt12, Tp1 Position Sc0 Display screen Sf1 1st surface Sf2 2nd surface U1 1st user U2 2nd user p1a, p1b, p2a, p2b, p3a, p3b, p4a, p4b, p5a, p5b, p6a, p6b, p7a , P8a, p8b, p9a, p9b, p10a, p10b, p11a, p11b Image parts v1, v2, v3, v4, v5, v6, v7, v8, v9, v10, v11, v12, v31, v32, v33 Line-of-sight direction

Claims

視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視線方向を示す視線方向情報と、を得る取得部と、
前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する第１認識部と、
前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する第２認識部と、
前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する推定部と、
該推定部で推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する領域設定部と、
該領域設定部によって、前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する検出部と、
前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する画像生成部と、を備える、画像処理装置。 An acquisition unit that obtains a plurality of captured images that capture an object under conditions in which combinations of viewpoint positions and line-of-sight directions are different from each other, and line-of-sight direction information indicating the line-of-sight direction at the time of imaging for each of the plurality of captured images. ,
A first recognition unit that recognizes three or more first image portions that capture three or more feature portions in a first captured image in which the object is captured in the first line-of-sight direction among the plurality of captured images. When,
Second recognition for recognizing three or more second image portions in which the three or more feature portions are captured in the second captured image in which the object is captured in the second line-of-sight direction among the plurality of captured images. Department and
Using the first positional relationship of the three or more first image portions and the second positional relationship of the three or more second image portions, the flat region or the first surface and the second surface are corner portions. An estimation unit that estimates the surface shape of the surface of the object by estimating the connection area connected via
An area setting unit that sets a processing target area for the surface based on the surface shape estimated by the estimation unit and a signal input in response to a user's operation.
In response to the processing target region being set in the connection region of the surface by the region setting unit, the first image region in which the first surface is captured in the plurality of captured images and the said A detection unit that detects a second image region in which the second surface is captured in a line-of-sight direction different from that of the first image region.
An image processing apparatus including an image generation unit that generates a composite image of the connection region by synthesizing the first image region and the second image region.

請求項１に記載の画像処理装置であって、
前記第１位置関係は、前記第１撮像画像における第１方向での前記３つ以上の第１画像部分の間の距離の関係を含み、
前記第２位置関係は、前記第２撮像画像における前記第１方向に対応する第２方向での前記３つ以上の第２画像部分の間の距離の関係を含む、画像処理装置。 The image processing apparatus according to claim 1.
The first positional relationship includes a relationship of distances between the three or more first image portions in the first direction in the first captured image.
The second positional relationship is an image processing apparatus including a relationship of distances between the three or more second image portions in a second direction corresponding to the first direction in the second captured image.

請求項２に記載の画像処理装置であって、
前記推定部は、前記第１面上の前記３つ以上の特徴部について、前記第１撮像画像において前記第１方向での前記３つ以上の第１画像部分の間の距離が予め設定された画素数の距離以下となる撮像時の前記第１視線方向と、前記第２撮像画像において前記第２方向での前記３つ以上の第２画像部分の間の距離が予め設定された画素数の距離以下となる撮像時の前記第２視線方向と、に基づき、前記第１面の第１法線方向を推定する、画像処理装置。 The image processing apparatus according to claim 2.
In the estimation unit, the distances between the three or more first image portions in the first direction in the first captured image are preset for the three or more feature portions on the first surface. The distance between the first line-of-sight direction at the time of imaging, which is equal to or less than the distance of the number of pixels, and the three or more second image portions in the second direction in the second captured image is the number of pixels set in advance. An image processing device that estimates the first normal line direction of the first surface based on the second line-of-sight direction at the time of imaging that is equal to or less than a distance.

請求項３に記載の画像処理装置であって、
前記推定部は、前記第２面上の前記３つ以上の特徴部について、前記第１撮像画像において前記第１方向での前記３つ以上の第１画像部分の間の距離が予め設定された画素数の距離以下となる撮像時の前記第１視線方向と、前記第２撮像画像において前記第２方向での前記３つ以上の第２画像部分の間の距離が予め設定された画素数の距離以下となる撮像時の前記第２視線方向と、に基づいて、前記第２面の第２法線方向を推定する、画像処理装置。 The image processing apparatus according to claim 3.
In the estimation unit, the distances between the three or more first image portions in the first direction in the first captured image are preset for the three or more feature portions on the second surface. The distance between the first line-of-sight direction at the time of imaging, which is equal to or less than the distance of the number of pixels, and the three or more second image portions in the second direction in the second image, is the number of pixels set in advance. An image processing device that estimates the second normal direction of the second surface based on the second line-of-sight direction at the time of imaging that is equal to or less than a distance.

請求項４に記載の画像処理装置であって、
前記検出部は、前記第１法線方向に基づいて前記第１面の法線に沿った視線方向で該第１面を捉えた前記第１画像領域を前記複数の撮像画像から検出するとともに、前記第２法線方向に基づいて前記第２面の法線に沿った視線方向で該第２面を捉えた前記第２画像領域を前記複数の撮像画像から検出する、画像処理装置。 The image processing apparatus according to claim 4.
The detection unit detects the first image region in which the first surface is captured in the line-of-sight direction along the normal of the first surface based on the first normal direction from the plurality of captured images, and also detects the first image region. An image processing device that detects from the plurality of captured images the second image region in which the second surface is captured in the line-of-sight direction along the normal of the second surface based on the second normal direction.

請求項１から請求項５の何れか１つの請求項に記載の画像処理装置であって、
前記取得部は、視点位置および視線方向の組合せが相互に異なる条件で前記対象物を撮像することで前記複数の撮像画像を得る撮像部と、
前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで前記視線方向情報を得る方向計測部と、を含む、画像処理装置。 The image processing apparatus according to any one of claims 1 to 5.
The acquisition unit includes an imaging unit that obtains a plurality of captured images by imaging the object under conditions in which the combination of the viewpoint position and the line-of-sight direction is different from each other.
An image processing device including a direction measuring unit that obtains line-of-sight direction information by measuring the orientation of the imaging unit at the time of shooting for each of the plurality of captured images.

請求項１から請求項６の何れか１つの請求項に記載の画像処理装置であって、
前記合成画像を出力する出力部、および前記合成画像を記憶する記憶媒体の少なくとも一方をさらに備える、画像処理装置。 The image processing apparatus according to any one of claims 1 to 6.
An image processing apparatus further comprising an output unit for outputting the composite image and at least one of a storage medium for storing the composite image.

請求項７に記載の画像処理装置であって、
前記出力部は、前記合成画像を可視的に出力する表示部、を含む、画像処理装置。 The image processing apparatus according to claim 7.
The output unit is an image processing device including a display unit that visually outputs the composite image.

請求項８に記載の画像処理装置であって、
前記領域設定部は、前記推定部で推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表示部で可視的に出力されている第１合成画像で捉えられている前記対象物の既表示領域の一部を除く残部と、前記表示部で可視的に出力されている前記第１合成画像では捉えられていない前記対象物の未表示領域と、を含む変更後の処理対象領域を設定し、
前記検出部は、前記領域設定部によって前記変更後の処理対象領域が設定されたことに応答して、前記複数の撮像画像から、前記未表示領域を捉えた第３画像部分、を検出し、
前記画像生成部は、前記第１合成画像における前記既表示領域を捉えた第４画像部分と、前記第３画像部分とを合成することで、第２合成画像を生成し、
前記表示部は、前記第２合成画像を可視的に出力する、画像処理装置。 The image processing apparatus according to claim 8.
The area setting unit is a first composite image that is visually output by the display unit based on the surface shape estimated by the estimation unit and a signal input in response to a user's operation. The rest of the object, excluding a part of the already displayed area, and the undisplayed area of the object, which is not captured in the first composite image that is visually output by the display. Set the changed processing target area including
In response to the change processing target area being set by the area setting unit, the detection unit detects a third image portion that captures the undisplayed area from the plurality of captured images.
The image generation unit generates a second composite image by synthesizing the fourth image portion that captures the displayed region in the first composite image and the third image portion.
The display unit is an image processing device that visually outputs the second composite image.

請求項８に記載の画像処理装置であって、
前記複数の撮像画像について、表示への利用の許否および前記合成画像の生成への利用の許否に係る情報を画像領域ごとに設定する情報設定部、をさらに備え、
前記推定部は、前記複数の撮像画像を対象として、前記第１位置関係と前記第２位置関係とに基づいて、前記対象物を捉えた対象物領域と、前記対象物以外の部分を捉えた非対象物領域と、を推定し、
前記情報設定部は、前記複数の撮像画像について、前記対象物領域に対する前記利用の許可に係る許可情報の設定、および前記非対象物領域に対する前記利用の禁止に係る禁止情報の設定、の少なくとも一方の設定をおこなう、画像処理装置。 The image processing apparatus according to claim 8.
An information setting unit for setting information relating to permission or disapproval of use for display and permission or disapproval of use for generation of the composite image for each image area for the plurality of captured images is further provided.
The estimation unit captures an object region in which the object is captured and a portion other than the object based on the first positional relationship and the second positional relationship in the plurality of captured images. Estimate the non-object area,
The information setting unit sets at least one of the permission information related to the permission to use the object region and the prohibition information related to the prohibition of the use to the non-object region for the plurality of captured images. An image processing device that sets up.

請求項１０に記載の画像処理装置であって、
前記出力部は、前記複数の撮像画像のうちの前記許可情報が設定された前記対象物領域に係るデータの出力、および前記複数の撮像画像のうちの前記禁止情報が設定された前記非対象物領域を除く領域に係るデータの出力、の少なくとも一方の出力をおこなう、画像処理装置。 The image processing apparatus according to claim 10.
The output unit outputs data related to the object region in which the permission information is set in the plurality of captured images, and the non-object in which the prohibited information in the plurality of captured images is set. An image processing device that outputs at least one of data related to an area excluding an area.

第１装置と、
通信回線を介して前記第１装置と通信可能に接続されている第２装置と、を備え、
前記第１装置は、
視点位置および視線方向の組合せが相互に異なる条件で対象物を撮像することで、複数の撮像画像を得る、撮像部と、
前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで、撮像時における視線方向を示す視線方向情報を得る、方向計測部と、
前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視線方向情報とを、前記通信回線を介して前記第２装置に送信する通信部と、を含み、
前記第２装置は、
前記通信部から送信された、前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視線方向情報と、を受信する受信部と、
前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する第１認識部と、
前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する第２認識部と、
前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する推定部と、
該推定部で推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する領域設定部と、
該領域設定部によって、前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する検出部と、
前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する画像生成部と、を含む、画像処理システム。 The first device and
A second device that is communicably connected to the first device via a communication line is provided.
The first device is
An imaging unit that obtains a plurality of captured images by imaging an object under conditions in which the combination of the viewpoint position and the line-of-sight direction is different from each other.
For each of the plurality of captured images, a direction measuring unit and a direction measuring unit that obtains line-of-sight direction information indicating the line-of-sight direction at the time of imaging by measuring the orientation of the imaging unit at the time of shooting.
A communication unit that transmits the plurality of captured images and the line-of-sight direction information for each of the plurality of captured images to the second device via the communication line is included.
The second device is
A receiving unit that receives the plurality of captured images transmitted from the communication unit and the line-of-sight direction information for each of the plurality of captured images.
A first recognition unit that recognizes three or more first image portions that capture three or more feature portions in a first captured image in which the object is captured in the first line-of-sight direction among the plurality of captured images. When,
Second recognition for recognizing three or more second image portions in which the three or more feature portions are captured in the second captured image in which the object is captured in the second line-of-sight direction among the plurality of captured images. Department and
Using the first positional relationship of the three or more first image portions and the second positional relationship of the three or more second image portions, the flat region or the first surface and the second surface are corner portions. An estimation unit that estimates the surface shape of the surface of the object by estimating the connection area connected via
An area setting unit that sets a processing target area for the surface based on the surface shape estimated by the estimation unit and a signal input in response to a user's operation.
In response to the processing target region being set in the connection region of the surface by the region setting unit, the first image region in which the first surface is captured in the plurality of captured images and the said A detection unit that detects a second image region in which the second surface is captured in a line-of-sight direction different from that of the first image region.
An image processing system including an image generation unit that generates a composite image of the connection region by synthesizing the first image region and the second image region.

第１装置と、
通信回線を介して前記第１装置と通信可能に接続されている第２装置と、を備え、
前記第１装置は、
視点位置および視線方向の組合せが相互に異なる条件で対象物を撮像することで、複数の撮像画像を得る、撮像部と、
前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで、撮像時における視線方向を示す視線方向情報を得る、方向計測部と、
前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する第１認識部と、
前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する第２認識部と、
前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、前記複数の撮像画像について、前記対象物を捉えた対象物領域と、前記対象物以外の部分を捉えた非対象物領域と、を推定するとともに、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する推定部と、
前記複数の撮像画像について、前記対象物領域に対する表示および合成画像の生成への利用の許可に係る許可情報の設定、および前記非対象物領域に対する前記利用の禁止に係る禁止情報の設定、の少なくとも一方の設定をおこなう情報設定部と、
前記複数の撮像画像と、前記推定部で推定した前記表面形状を示す表面形状情報と、前記情報設定部で設定された前記許可情報および前記禁止情報の少なくとも一方を含む許否情報とを、前記通信回線を介して前記第２装置に送信する通信部と、を含み、
前記第２装置は、
前記表面形状情報と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する領域設定部と、
該領域設定部によって、前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する検出部と、
前記許否情報に基づいて、前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する画像生成部と、を含む、画像処理システム。 The first device and
A second device that is communicably connected to the first device via a communication line is provided.
The first device is
An imaging unit that obtains a plurality of captured images by imaging an object under conditions in which the combination of the viewpoint position and the line-of-sight direction is different from each other.
For each of the plurality of captured images, a direction measuring unit and a direction measuring unit that obtains line-of-sight direction information indicating the line-of-sight direction at the time of imaging by measuring the orientation of the imaging unit at the time of shooting.
A first recognition unit that recognizes three or more first image portions that capture three or more feature portions in a first captured image in which the object is captured in the first line-of-sight direction among the plurality of captured images. When,
Second recognition for recognizing three or more second image portions in which the three or more feature portions are captured in the second captured image in which the object is captured in the second line-of-sight direction among the plurality of captured images. Department and
An object that captures the object with respect to the plurality of captured images by using the first positional relationship of the three or more first image portions and the second positional relationship of the three or more second image portions. An object region and a non-object region that captures a portion other than the object are estimated, and a flat region or a connection region in which the first surface and the second surface are connected via a corner portion is estimated. Therefore, the estimation unit that estimates the surface shape of the surface of the object and
At least of the setting of the permission information related to the permission to display the plurality of captured images and the permission to use the composite image for the generation of the composite image, and the setting of the prohibited information related to the prohibition of the use of the non-object area. The information setting unit that makes one setting and
The communication of the plurality of captured images, surface shape information indicating the surface shape estimated by the estimation unit, and permission / rejection information including at least one of the permission information and the prohibition information set by the information setting unit. Including a communication unit that transmits to the second device via a line,
The second device is
An area setting unit that sets a processing target area for the surface based on the surface shape information and a signal input in response to a user's operation.
In response to the processing target region being set in the connection region of the surface by the region setting unit, the first image region in which the first surface is captured in the plurality of captured images and the said A detection unit that detects a second image region in which the second surface is captured in a line-of-sight direction different from that of the first image region.
An image processing system including an image generation unit that generates a composite image of the connection region by synthesizing the first image region and the second image region based on the permission / rejection information.

画像処理装置を制御するための制御プログラムであって、
視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視線方向を示す視線方向情報と、を得る工程と、
前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する工程と、
前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する工程と、
前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する工程と、
推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する工程と、
前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する工程と、
前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する工程と、を前記画像処理装置に実行させるための制御プログラム。 A control program for controlling an image processing device.
A process of obtaining a plurality of captured images in which an object is captured under conditions in which a combination of a viewpoint position and a line-of-sight direction are different from each other, and line-of-sight direction information indicating the line-of-sight direction at the time of imaging for each of the plurality of captured images.
Regarding the first captured image in which the object is captured in the first line-of-sight direction among the plurality of captured images, a step of recognizing three or more first image portions in which three or more feature portions are captured respectively.
With respect to the second captured image in which the object is captured in the second line-of-sight direction among the plurality of captured images, a step of recognizing three or more second image portions in which the three or more feature portions are captured respectively.
Using the first positional relationship of the three or more first image portions and the second positional relationship of the three or more second image portions, the flat region or the first surface and the second surface are corner portions. A step of estimating the surface shape of the surface of the object by estimating the connection area connected via the above, and a step of estimating the surface shape.
A step of setting a processing target area for the surface based on the estimated surface shape and a signal input in response to the user's operation.
In response to the setting of the processing target region in the connection region of the surface, in the plurality of captured images, the first image region in which the first surface is captured and the second surface are referred to as the second surface. A process of detecting a second image area captured in a line-of-sight direction different from that of one image area, and
A control program for causing the image processing apparatus to perform a step of generating a composite image of the connection region by synthesizing the first image region and the second image region.