JP2023086483A - Image processing device, image processing method, and program - Google Patents

Abstract

To make it possible to create a panoramic image in which device information is superimposed with high visibility.SOLUTION: After a panoramic image is created using a plurality of images, an object such as an icon indicating a device included in the panoramic image or a character string indicating a model type is superimposed on the created panoramic image. In addition, during the creation of a panoramic image, objects indicating a device included in the images used to create the panoramic image are enlarged to half the size of the image and superimposed on the image.SELECTED DRAWING: Figure 1

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program.

近年、ネットワークや専用線を介して遠隔操作よりカメラを制御し、映像を見ることができるネットワークカメラが知られている。ネットワークカメラには、パン方向（水平方向）やチルト方向（垂直方向）に回転可能な機構を持ち、カメラヘッド部が回転するＰＴ(パンチルト)モデルや、ズームが可能なモデルがある。これらのモデルではユーザーが遠隔操作により撮影方向や撮影画角を自在に変更することができる。
さらに、カメラの撮影方向を変更しながら静止画を撮影し、静止画を合成することによって、監視領域の俯瞰画像を作成するパノラマ作成機能がある。特許文献１には、複数の撮像画像からパノラマ画像を生成する方法が開示されている。 2. Description of the Related Art In recent years, there has been known a network camera in which a camera can be controlled by remote control via a network or a dedicated line and an image can be viewed. Network cameras include a PT (pan-tilt) model in which the camera head rotates, and a model in which zooming is possible. With these models, the user can freely change the shooting direction and shooting angle of view by remote control.
Furthermore, there is a panorama creation function that creates a bird's-eye view image of a surveillance area by taking still images while changing the shooting direction of the camera and synthesizing the still images. Patent Literature 1 discloses a method of generating a panorama image from a plurality of captured images.

特開２０１２－６０２１６号公報JP 2012-60216 A

近年、撮影画面内に存在するネットワークカメラのスレーブデバイスの情報を映像に重畳して表示するオーバーレイ機能が知られている。特許文献１に記載の技術にオーバーレイ機能を採用した場合、撮影画像にスレーブデバイスの情報が重畳された状態でパノラマ画像を作成することになる。そのため、作成されるパノラマ画像に対して重畳した情報が小さくなり、重畳したスレーブデバイス情報が認識しにくくなってしまう。また、重畳する情報の多い場合は重畳した情報がノイズのように映り、パノラマ画像の品質の低下を招くことになる。
一方、スレーブデバイスの情報を何も重畳表示しない場合は、パノラマ画像上でのスレーブデバイスの存在場所さえも分からなくなってしまう。 2. Description of the Related Art In recent years, there has been known an overlay function that superimposes and displays information of a slave device of a network camera existing in a shooting screen on an image. When the overlay function is employed in the technique described in Patent Document 1, a panorama image is created in a state in which the information of the slave device is superimposed on the captured image. Therefore, the information superimposed on the panorama image to be created becomes small, and the superimposed slave device information becomes difficult to recognize. Moreover, when there is a lot of information to be superimposed, the superimposed information looks like noise, resulting in deterioration of the quality of the panorama image.
On the other hand, if no slave device information is superimposed and displayed, even the location of the slave device on the panorama image is lost.

本発明は前述の問題点に鑑み、デバイスの情報を視認性高く重畳したパノラマ画像を作成することができるようにすることを目的としている。 SUMMARY OF THE INVENTION An object of the present invention is to enable creation of a panorama image in which device information is superimposed with high visibility.

本発明に係る画像処理装置は、撮影範囲を移動して撮影された複数の画像、および前記複数の画像のうち少なくとも１つの画像に含まれるデバイスに関する情報を取得する取得手段と、前記複数の画像からパノラマ画像を作成する作成手段と、前記作成手段により作成されたパノラマ画像に、前記取得手段により取得されたデバイスに関する情報に対応するオブジェクトを重畳する重畳手段と、を有することを特徴とする。 An image processing apparatus according to the present invention comprises: a plurality of images photographed while moving in a photographing range; and an obtaining means for obtaining information about a device included in at least one of the plurality of images; and superimposing means for superimposing an object corresponding to the device-related information acquired by the acquiring means on the panoramic image created by the creating means.

本発明によれば、デバイスの情報を視認性高く重畳したパノラマ画像を作成することができる。 According to the present invention, it is possible to create a panoramic image in which device information is superimposed with high visibility.

実施形態に係るネットワークカメラの内部構成例を示すブロック図である。2 is a block diagram showing an example internal configuration of a network camera according to the embodiment; FIG. 実施形態に係るネットワークカメラの外観構成例を示す図である。1 is a diagram showing an example of an external configuration of a network camera according to an embodiment; FIG. 実施形態に係るネットワークカメラが保持する情報テーブルのデータ構成例を示す図である。4 is a diagram showing a data configuration example of an information table held by the network camera according to the embodiment; FIG. 実施形態に係るネットワークカメラと無線通信子機との位置関係の例を示す図である。4 is a diagram showing an example of a positional relationship between a network camera and a wireless communication slave device according to the embodiment; FIG. 第１の実施形態に係るネットワークカメラのパン、チルト、ズームを動作させた場合の処理例を示すフローチャートである。4 is a flow chart showing an example of processing when panning, tilting, and zooming of the network camera according to the first embodiment are performed; 実施形態に係るＺ－Ｗａｖｅオーバーレイ処理の一例を示すフローチャートである。6 is a flowchart showing an example of Z-Wave overlay processing according to the embodiment; 実施形態に係る子機情報を撮影画像内に重畳する例を示す図である。It is a figure which shows the example which superimposes the child device information on a picked-up image which concerns on embodiment. 実施形態に係るパノラマ画像の作成処理の一例を示すフローチャートである。6 is a flowchart showing an example of panorama image creation processing according to the embodiment. 実施形態に係る重畳するオブジェクトの一例を示す図である。It is a figure which shows an example of the object to superimpose based on embodiment. 実施形態に係る作成されたパノラマ画像の一例を示す図である。It is a figure which shows an example of the created panorama image which concerns on embodiment. 実施形態に係る作成されたパノラマ画像の一例を示す図である。It is a figure which shows an example of the created panorama image which concerns on embodiment. 第２の実施形態に係るネットワークカメラのパン、チルト、ズームを動作させた場合の処理例を示すフローチャートである。9 is a flow chart showing an example of processing when panning, tilting, and zooming of the network camera according to the second embodiment are performed; 第２の実施形態に係るパノラマ画像の作成中におけるＺ－Ｗａｖｅオーバーレイ処理の一例を示すフローチャートである。9 is a flow chart showing an example of Z-Wave overlay processing during creation of a panorama image according to the second embodiment; 第２の実施形態に係るパノラマ画像の作成中における子機情報を撮影画像内に重畳する例を示す図である。FIG. 11 is a diagram showing an example of superimposing slave device information on a captured image during creation of a panorama image according to the second embodiment;

（第１の実施形態）
以下、本発明の実施形態について、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例であり、本発明は以下の実施形態で説明する構成に限定されるものではない。また、各実施形態において、撮像手段を有するネットワークカメラを例に説明するが、本発明はネットワークカメラ以外の撮像装置にも応用可能である。例えば、放送目的の映像や映画、個人的な目的の映像を撮像する撮像手段を有する撮像装置にも応用可能である。 (First embodiment)
BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail based on the attached drawings. The configurations shown in the following embodiments are examples, and the present invention is not limited to the configurations described in the following embodiments. Also, in each embodiment, a network camera having an imaging means is described as an example, but the present invention can also be applied to imaging devices other than network cameras. For example, the present invention can be applied to an imaging apparatus having an imaging means for capturing images for broadcast purposes, movies, and images for personal purposes.

まず、図１を参照して、ネットワークカメラ１００の各部の構成について説明する。図１は、実施形態に係るネットワークカメラ、クライアント装置及びスレーブデバイスの内部構成例を示すブロック図である。
ネットワークカメラ１００は、画像処理部１０２、システム制御部１０３、レンズ駆動部１０４、レンズ制御部１０５、パン駆動部１０６、チルト駆動部１０７、パンチルト制御部１０８、通信部１０９、及び無線通信制御部１１０を有している。 First, the configuration of each part of the network camera 100 will be described with reference to FIG. FIG. 1 is a block diagram showing internal configuration examples of a network camera, a client device, and a slave device according to an embodiment.
The network camera 100 includes an image processing unit 102, a system control unit 103, a lens drive unit 104, a lens control unit 105, a pan drive unit 106, a tilt drive unit 107, a pan/tilt control unit 108, a communication unit 109, and a wireless communication control unit 110. have.

なお、システム制御部１０３は、ネットワークカメラ１００の内部に設けてもよいし、ネットワークカメラ１００とは独立して構成することもできる。システム制御部１０３をネットワークカメラ１００の外部の装置とする場合、システム制御部１０３とネットワークカメラ１００とを通信可能に構成すればよい。 Note that the system control unit 103 may be provided inside the network camera 100 or may be configured independently of the network camera 100 . When the system control unit 103 is a device external to the network camera 100, the system control unit 103 and the network camera 100 can be configured to communicate with each other.

撮像部１０１は、レンズを通して結像した光を撮像素子において受光して、その受光した光を電荷に変換して撮像信号を生成する。撮像素子には、例えば、ＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ ＳｅｍｉｃＯＮｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）を用いることができる。また、撮像素子にはＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）を用いてもよい。 The imaging unit 101 receives light formed through a lens in an imaging device, converts the received light into electric charge, and generates an imaging signal. For example, a CMOS image sensor (Complementary Metal Oxide Semi-ONductor Image Sensor) can be used as the imaging element. Alternatively, a CCD image sensor (Charge Coupled Device Image Sensor) may be used as the imaging element.

画像処理部１０２は、撮像部１０１で生成された撮像信号をデジタル化して画像データを生成する。その際、画像処理部１０２は画質を補正するための種々の画像処理も行う。画像処理部１０２は、更に、画像データを圧縮符号化し、圧縮符号化された画像データを生成するようにしてもよい。なお、画像処理部１０２は、一部または全部を専用の回路を設けることによってこれらの処理を行うようにしてもよい。
通信部１０９は、画像処理部１０２によって生成された画像データに基づく映像ストリームをクライアント装置２００に送信する。なお、ここでの画像データは一例として動画の画像データである。また、通信部１０９は、クライアント装置２００から送信されるコマンドを受信し、システム制御部１０３へ伝送する。またコマンドに対するレスポンスをシステム制御部１０３の制御に従ってクライアント装置２００へ送信する。このようにシステム制御部１０３は、通信制御手段としても機能する。 The image processing unit 102 digitizes the imaging signal generated by the imaging unit 101 to generate image data. At that time, the image processing unit 102 also performs various image processing for correcting the image quality. The image processing unit 102 may further compress-encode the image data to generate compression-encoded image data. Note that the image processing unit 102 may perform these processes by providing a part or all of a dedicated circuit.
The communication unit 109 transmits a video stream based on the image data generated by the image processing unit 102 to the client device 200 . Note that the image data here is image data of a moving image as an example. The communication unit 109 also receives commands transmitted from the client device 200 and transmits the commands to the system control unit 103 . Also, it transmits a response to the command to the client device 200 under the control of the system control unit 103 . Thus, the system control unit 103 also functions as communication control means.

また、ネットワークカメラ１００のシステム制御部１０３は、通信部１０９が受信したコマンドを解析し、コマンドに応じた処理を行う。例えば、システム制御部１０３は、コマンドに応じて、画像処理部１０２に対して画質の調整を実行させる。画像処理部１０２に対して画質調整の指示や、レンズ制御部１０５に対してズームやフォーカス制御の指示を出す。
レンズ制御部１０５は、システム制御部１０３から伝達された指示に基づいて、レンズ駆動部１０４を制御する。
レンズ駆動部１０４は、例えばフォーカスレンズ及びズームレンズの駆動系、その駆動源のモータなどで構成され、その動作はレンズ制御部１０５により制御される。
パン駆動部１０６は、例えばパン動作を行うメカ駆動系、その駆動源のモータ、駆動部の角度を検出する角度センサなどで構成される。 Also, the system control unit 103 of the network camera 100 analyzes the command received by the communication unit 109 and performs processing according to the command. For example, the system control unit 103 causes the image processing unit 102 to adjust the image quality according to the command. An instruction for image quality adjustment is issued to the image processing unit 102 and an instruction for zoom and focus control is issued to the lens control unit 105 .
The lens control section 105 controls the lens driving section 104 based on the instructions transmitted from the system control section 103 .
The lens driving unit 104 includes, for example, a drive system for the focus lens and the zoom lens, a motor as a drive source, and the like, and its operation is controlled by the lens control unit 105 .
The pan drive unit 106 includes, for example, a mechanical drive system that performs a pan operation, a motor as a drive source, an angle sensor that detects the angle of the drive unit, and the like.

チルト駆動部１０７は、例えばチルト動作を行うメカ駆動系、その駆動源のモータ、駆動部の角度を検出する角度センサなどで構成される。パン駆動部１０６及びチルト駆動部１０７の動作はパンチルト制御部１０８により制御される。
パンチルト制御部１０８は、システム制御部１０３の指示に基づいて、パン駆動部１０６及びチルト駆動部１０７を制御する。
無線通信制御部１１０は、無線通信規格に合わせてデータ、制御用コマンド等を送受信するもので、アンテナ１１１を使用してデータ、制御用コマンド等を変復調した電波を送受信する。システム制御部１０３は、無線通信制御部１１０を通して無線通信子機４００とデータ、制御用コマンド等のやり取りを行い、無線通信子機４００に対して情報の取得、設定等の処理を行う。 The tilt drive unit 107 includes, for example, a mechanical drive system that performs a tilt operation, a motor as a drive source, an angle sensor that detects the angle of the drive unit, and the like. Operations of the pan drive section 106 and the tilt drive section 107 are controlled by the pan/tilt control section 108 .
The pan/tilt control unit 108 controls the pan drive unit 106 and the tilt drive unit 107 based on instructions from the system control unit 103 .
The wireless communication control unit 110 transmits/receives data, control commands, etc. according to the wireless communication standard. The system control unit 103 exchanges data, control commands, and the like with the wireless communication slave device 400 through the wireless communication control unit 110 , and performs processing such as information acquisition and setting for the wireless communication slave device 400 .

次に、図１を参照して、クライアント装置２００の各部の構成について説明する。
クライアント装置２００は、例えばパーソナルコンピュータなどのコンピュータで構成される。クライアント装置２００は、表示部２０１、入力部２０２、システム制御部２０３、及び通信部２０４を有している。
表示部２０１は、ネットワークカメラ１００から受信した画像データに基づく映像を表示したり、カメラを制御するためのグラフィックユーザーインターフェース（以下、ＧＵＩと称する）を表示したりする。表示部２０１は、液晶パネルや有機ＥＬパネル等を用いた表示デバイスで構成される。表示部２０１による表示は、システム制御部２０３による制御に従って行われる。
入力部２０２は、例えばキーボード、マウスなどのデバイスで構成される。クライアント装置２００のユーザーは、入力部２０２を介してＧＵＩに対して操作する。なお、入力部２０２はタッチパネルで構成されていてもよい。 Next, the configuration of each part of the client device 200 will be described with reference to FIG.
The client device 200 is configured by a computer such as a personal computer, for example. The client device 200 has a display section 201 , an input section 202 , a system control section 203 and a communication section 204 .
The display unit 201 displays video based on image data received from the network camera 100, and displays a graphic user interface (hereinafter referred to as GUI) for controlling the camera. A display unit 201 is configured by a display device using a liquid crystal panel, an organic EL panel, or the like. Display by the display unit 201 is performed according to control by the system control unit 203 .
The input unit 202 is composed of devices such as a keyboard and a mouse. A user of the client device 200 operates the GUI via the input unit 202 . Note that the input unit 202 may be configured by a touch panel.

システム制御部２０３は、ユーザーの操作に応じてコマンドを生成し、通信部２０４からネットワークカメラ１００へと送信させる。また、システム制御部２０３は、通信部２０４を介して受信したネットワークカメラ１００からの画像データも表示部２０１に表示させる。このようにシステム制御部２０３は、通信制御手段や表示制御手段としても機能する。
このようにクライアント装置２００は、ネットワーク３００を介して、ネットワークカメラ１００から画像データを取得することができる。また、クライアント装置２００は、ネットワーク３００を介して、コマンドを送信することによってネットワークカメラ１００を制御することができる。
通信部２０４は、ネットワークカメラ１００から画像データを受信する。また、通信部２０４は、クライアント装置２００に対してコマンドを送信する。 The system control unit 203 generates a command according to the user's operation and causes the communication unit 204 to transmit it to the network camera 100 . The system control unit 203 also causes the display unit 201 to display image data received from the network camera 100 via the communication unit 204 . Thus, the system control unit 203 also functions as communication control means and display control means.
Thus, the client device 200 can acquire image data from the network camera 100 via the network 300. FIG. Also, the client device 200 can control the network camera 100 by transmitting commands via the network 300 .
A communication unit 204 receives image data from the network camera 100 . Also, the communication unit 204 transmits commands to the client device 200 .

次に、図１を参照して、無線通信子機４００について説明する。無線通信子機４００はスレーブデバイスの一例である。
無線通信子機４００は、例えばセンサ機能を有し、センサにより取得したデータを親機として動作するネットワークカメラ１００に送信する。
無線通信子機４００は、バッテリで駆動し、バッテリを装着して起動した時に親機への登録処理を行い、あらかじめ定義された通信タイムアウト時間の間、親機からの通信が行われない場合に機能制限したスリープ状態になる。無線通信子機４００のネットワークカメラ１００への登録は、バッテリ装着による起動時以外にも、無線通信子機４００にボタンを付加して、ユーザーによってボタンが押下された時に登録処理を開始するように構成することができる。図１ではスレーブデバイスとして無線通信子機４００を用いて説明したがこの限りではない。有線で接続された子機であっても構わない。
ここで、図３及び図４を用いて、ネットワークカメラ１００が保持する情報テーブルのデータ構成例と、ネットワークカメラ１００と無線通信子機４００との位置関係とについて説明する。 Next, the wireless communication slave device 400 will be described with reference to FIG. Wireless communication slave device 400 is an example of a slave device.
The wireless communication slave device 400 has, for example, a sensor function, and transmits data acquired by the sensor to the network camera 100 operating as a master device.
The wireless communication slave device 400 is driven by a battery, and performs registration processing with the master device when the battery is installed and started. Enters sleep mode with limited functionality. The registration of the wireless communication slave device 400 in the network camera 100 can be performed by adding a button to the wireless communication slave device 400 and starting the registration process when the button is pressed by the user, other than when the wireless communication slave device 400 is activated by installing a battery. Can be configured. Although FIG. 1 has been described using the wireless communication slave device 400 as the slave device, the present invention is not limited to this. It may be a cordless handset connected by wire.
Here, a data configuration example of the information table held by the network camera 100 and the positional relationship between the network camera 100 and the wireless communication slave device 400 will be described with reference to FIGS. 3 and 4. FIG.

図３は、ネットワークカメラ１００が保持する情報テーブルのデータ構成例を示す図である。情報テーブル５００は、システム制御部１０３が保持しており、ＩＤ５０１、デバイス名５０２、機器の種類を示す種類５０３、及びネットワークカメラ１００内でのパン、チルト座標の値を示すパン、チルト５０４が対応付けられている。
なお、パン、チルト５０４は、ネットワークカメラ１００の撮影画角の中心に無線通信子機４００を表示した状態におけるネットワークカメラ１００のパン、チルト座標の値である。 FIG. 3 is a diagram showing a data configuration example of an information table held by the network camera 100. As shown in FIG. The information table 500 is held by the system control unit 103, and corresponds to an ID 501, a device name 502, a type 503 indicating the type of device, and a pan and tilt coordinate 504 indicating the values of pan and tilt coordinates within the network camera 100. attached.
The pan/tilt 504 is the pan/tilt coordinate value of the network camera 100 when the wireless communication slave device 400 is displayed at the center of the imaging angle of view of the network camera 100 .

図４は、ネットワークカメラ１００でもつパン、チルト座標内においての無線通信子機６００との位置関係の例を示す図である。この例では、無線通信子機６００は、ネットワークカメラ１００のパン、チルト座標（４５，４５）の位置に存在する。なお、図３上の列５０５、ＩＤが「９」であるデバイスに対応している。 FIG. 4 is a diagram showing an example of the positional relationship with the wireless communication slave device 600 within the pan/tilt coordinates of the network camera 100 . In this example, the wireless communication slave device 600 exists at the pan/tilt coordinates (45, 45) of the network camera 100 . Note that the column 505 in FIG. 3 corresponds to the device whose ID is "9".

続いて、本実施形態におけるネットワークカメラ１００の機構的な構成例に関して、図２を用いて説明する。図２（ａ）は卓上にとりつけられているネットワークカメラ１００を上面側から見た図であり、図２（ｂ）は側面から見た図である。図２（ａ）及び図２（ｂ）において、ネットワークカメラ１００は、ボトムケース１２１、ターンテーブル１２２、カメラヘッド支柱１２３、及びカメラヘッド１２４を有している。 Next, a mechanical configuration example of the network camera 100 according to this embodiment will be described with reference to FIG. FIG. 2(a) is a top view of the network camera 100 mounted on a desk, and FIG. 2(b) is a side view. 2A and 2B, the network camera 100 has a bottom case 121, a turntable 122, a camera head support 123, and a camera head .

次に、図２を参照して、パンチルトの動作について説明する。なお、上下方向の軸を垂直軸とし、これに直交する軸を水平軸と定義する。また、図２（ａ）にて、紙面に直交する垂直軸を中心として時計回り方向をパン角度の正方向とし、図２（ｂ）にて、紙面に直交する軸を中心として時計回り方向をチルト角度の正方向とする。
図２において、パン駆動部１０６はボトムケース１２１とターンテーブル１２２とで構成され、ターンテーブル１２２は垂直軸を中心として水平方向に回転する。ボトムケース１２１の固定部とターンテーブル１２２の回転部とで構成されている電気回路は、スリップリングなどにより接続されているので、パン駆動部１０６は水平軸を含む面内にて３６０°の角度範囲でエンドレスに回転することができる。 Next, referring to FIG. 2, the pan-tilt operation will be described. The vertical axis is defined as the vertical axis, and the horizontal axis is defined as the axis perpendicular to the vertical axis. In FIG. 2(a), the clockwise direction about the vertical axis perpendicular to the paper surface is defined as the positive direction of the panning angle, and in FIG. This is the positive direction of the tilt angle.
In FIG. 2, the pan driving section 106 is composed of a bottom case 121 and a turntable 122, and the turntable 122 rotates horizontally around a vertical axis. An electric circuit composed of the fixed portion of the bottom case 121 and the rotating portion of the turntable 122 is connected by a slip ring or the like, so that the pan driving portion 106 can rotate 360° in a plane including the horizontal axis. It can rotate endlessly in a range.

このように本実施形態のネットワークカメラ１００は、カメラヘッド１２４が水平方向及び垂直方向に回転することによって、撮影方向を変えて広範囲に撮影することができる。なお、本実施形態におけるネットワークカメラ１００は、図２（ａ）及び図２（ｂ）で示した構成に限られるものではない。例えば、パン方向に３６０°駆動可能ではなく、駆動可能範囲が例えば＋１７０°～－１７０°などに制限されていてもよい。また、チルト方向も１８０°駆動可能ではなく、駆動範囲が例えば０°～９０°などに制限されていてもよい。 As described above, the network camera 100 of the present embodiment can change the shooting direction and shoot a wide range by rotating the camera head 124 in the horizontal and vertical directions. Note that the network camera 100 according to the present embodiment is not limited to the configuration shown in FIGS. 2(a) and 2(b). For example, instead of being drivable by 360° in the pan direction, the drivable range may be limited to, for example, +170° to -170°. Also, the tilt direction may not be 180° drivable, and the driving range may be limited to, for example, 0° to 90°.

次に、図５のフローチャートを参照して、本実施形態によるネットワークカメラ１００のパン、チルト、ズームを動作させた場合の処理例について説明する。本フローの処理はパン、チルト、ズームが停止する度に行ってもよいし、停止して一定時間経過したあとに行っても構わない。
まず、Ｓ７０１において、システム制御部１０３は、現在のモードがパノラマ画像を作成するモードであるか否かを判断する。システム制御部１０３は、現在のモードがパノラマ画像を作成するモードであると判断した場合は、処理をＳ７０２へ進める。一方、システム制御部１０３は、現在のモードがパノラマ画像を作成するモードでないと判断した場合は、処理をＳ７０３へ進める。 Next, an example of processing when panning, tilting, and zooming of the network camera 100 according to the present embodiment will be described with reference to the flowchart of FIG. The processing of this flow may be performed each time panning, tilting, or zooming stops, or may be performed after a certain period of time has elapsed since the panning, tilting, or zooming stopped.
First, in S701, the system control unit 103 determines whether the current mode is a mode for creating a panorama image. If the system control unit 103 determines that the current mode is the mode for creating a panorama image, the process advances to step S702. On the other hand, if the system control unit 103 determines that the current mode is not the mode for creating a panoramic image, the process advances to step S703.

Ｓ７０３において、システム制御部１０３は、Ｚ－Ｗａｖｅオーバーレイ処理を行う。Ｚ－Ｗａｖｅオーバーレイ処理の詳細については、図６のフローチャートを用いて後述する。
Ｓ７０２において、システム制御部１０３は、パノラマ画像の作成処理を行う。パノラマ画像の作成処理の詳細については、図８のフローチャートを用いて後述する。
Ｓ７０４で、システム制御部１０３は、パノラマ画像の４頂点のパン、チルト座標の範囲内で、ネットワークカメラ１００に登録されている子機のパン、チルト位置、子機の種別を確認する。 In S703, the system control unit 103 performs Z-Wave overlay processing. Details of the Z-Wave overlay processing will be described later with reference to the flowchart of FIG.
In S702, the system control unit 103 performs panorama image creation processing. Details of the panorama image creation processing will be described later using the flowchart of FIG. 8 .
In step S<b>704 , the system control unit 103 confirms the pan/tilt position and type of child device registered in the network camera 100 within the range of the pan and tilt coordinates of the four vertices of the panorama image.

Ｓ７０５において、システム制御部１０３は、Ｓ７０２で作成したパノラマ画像において、Ｓ７０４で確認したパン、チルト位置に子機のデバイス情報を示すオブジェクトを重畳し、処理を終了する。その後、クライアント装置２００のシステム制御部１０３は、ネットワークカメラ１００から撮像画像（パノラマ画像）を受信し、表示部２０１に表示するよう制御する。
図９は、Ｓ７０５で重畳するオブジェクトの一例を示す図である。アイコン１１０１は温度センサ、アイコン１１０２はドアセンサ、アイコン１１０３は湿度センサを示したアイコン例である。 In S705, the system control unit 103 superimposes an object indicating the device information of the child device on the pan/tilt position confirmed in S704 in the panorama image created in S702, and ends the process. After that, the system control unit 103 of the client device 200 receives the captured image (panoramic image) from the network camera 100 and controls the display unit 201 to display it.
FIG. 9 is a diagram showing an example of objects superimposed in S705. An icon 1101 is a temperature sensor, an icon 1102 is a door sensor, and an icon 1103 is a humidity sensor.

図１０は、Ｓ７０５で作成されたパノラマ画像例を示す図である。パノラマ画像１２００上に、アイコン１１０１～１１０３が重畳されている。なお、図１０において、子機のデバイス情報を示すオブジェクトとしてアイコンを重畳する例を説明したが、これに限定しない。例えば図１１に示すように、子機の機種種別を示す文字列をパノラマ画像上に重畳してもよい。図１１では、パノラマ画像１２００上に、温度センサを示す文字列１３０１、ドアセンサを示す文字列１３０２、湿度センサを示す文字列１３０３が重畳されている。 FIG. 10 is a diagram showing an example of the panorama image created in S705. Icons 1101 to 1103 are superimposed on a panorama image 1200 . In FIG. 10, an example in which an icon is superimposed as an object indicating the device information of the child device has been described, but the present invention is not limited to this. For example, as shown in FIG. 11, a character string indicating the model type of the child device may be superimposed on the panorama image. In FIG. 11, a character string 1301 indicating a temperature sensor, a character string 1302 indicating a door sensor, and a character string 1303 indicating a humidity sensor are superimposed on a panorama image 1200 .

次に、図６のフローチャートを参照して、Ｓ７０３におけるＺ－Ｗａｖｅオーバーレイ表示処理の詳細について説明する。
Ｓ８０１において、システム制御部１０３は、パンチルト制御部１０８から現在のパンチルト座標を取得し、さらにレンズ制御部１０５から現在のズームを取得する。そして、システム制御部１０３は、これらの情報に基づいて撮影画角の４頂点のパン、チルト座標を算出する。
Ｓ８０２において、システム制御部１０３は、Ｓ８０１で算出したパン、チルト座標および図３の情報テーブル５００に基づいて、撮影画角内に子機が存在するか否かを判断する。システム制御部１０３は、撮影画角内に子機が存在すると判断した場合は処理をＳ８０３へ進める。一方、システム制御部１０３は、撮影画角内に子機が存在しないと判断した場合は本フローの処理を終了する。
Ｓ８０３において、システム制御部１０３は、撮影画角内に存在する子機の情報を取得する。ここでは子機に状態問い合わせを行って子機の情報を取得してもよいし、あらかじめ保存している子機の情報を取得してもよい。子機の情報は、子機の機種情報や子機の有する機能に関連する情報などを含む。 Next, details of the Z-Wave overlay display processing in S703 will be described with reference to the flowchart of FIG.
In S<b>801 , the system control unit 103 acquires the current pan/tilt coordinates from the pan/tilt control unit 108 and also acquires the current zoom from the lens control unit 105 . Based on this information, the system control unit 103 calculates the pan and tilt coordinates of the four vertices of the shooting angle of view.
In S802, based on the pan and tilt coordinates calculated in S801 and the information table 500 in FIG. If the system control unit 103 determines that the child device exists within the shooting angle of view, the process advances to step S803. On the other hand, when the system control unit 103 determines that the child device does not exist within the shooting angle of view, the processing of this flow ends.
In S803, the system control unit 103 acquires information on slave devices present within the shooting angle of view. Here, information on the child device may be acquired by inquiring the status of the child device, or information on the child device that is stored in advance may be acquired. The child device information includes model information of the child device, information related to the functions of the child device, and the like.

Ｓ８０４において、システム制御部１０３は、撮影画像内にＳ８０３で取得した子機の情報を重畳し、処理を終了する。
ここで、図７は本処理において子機の情報が重畳された撮影画像の一例を示す図である。撮影画像９００上の情報表示部９０２に、子機９０１から取得した情報が表示されている。図７において、子機９０１は温度計であり、情報表示部９０２には子機９０１の温度情報が表示されている。
以上のＺ－Ｗａｖｅオーバーレイ処理が終了すると、システム制御部１０３は図５のフローに戻り、処理を終了する。 In S804, the system control unit 103 superimposes the information on the slave device acquired in S803 on the captured image, and ends the process.
Here, FIG. 7 is a diagram showing an example of a photographed image on which the information of the child device is superimposed in this processing. Information acquired from the child device 901 is displayed in an information display portion 902 on the captured image 900 . In FIG. 7, the child device 901 is a thermometer, and temperature information of the child device 901 is displayed on the information display section 902 .
When the above Z-Wave overlay processing ends, the system control unit 103 returns to the flow of FIG. 5 and ends the processing.

次に、図８のフローチャートを参照して、Ｓ７０２におけるパノラマ画像の作成処理の詳細について説明する。
Ｓ１００１において、システム制御部１０３は、パンチルト制御部１０８から現在のパンチルト座標を取得し、さらにレンズ制御部１０５から現在のズームを取得し、これらの値を保持する。
Ｓ１００２において、システム制御部１０３は、撮影位置に合わせてパン、チルト、ズーム値を変更する。
Ｓ１００３において、システム制御部１０３は、静止画を撮影する。
Ｓ１００４において、システム制御部１０３は、パノラマ画像の作成領域のすべての静止画撮影が完了したか否かを判断する。システム制御部１０３は、パノラマ画像の作成領域のすべての静止画撮影が完了したと判断した場合は、処理をＳ１００５へ進める。一方、システム制御部１０３は、パノラマ画像の作成領域のすべての静止画撮影が完了していないと判断した場合は、処理をＳ１００２に戻す。 Next, details of the panorama image creation processing in S702 will be described with reference to the flowchart of FIG.
In S1001, the system control unit 103 acquires the current pan-tilt coordinates from the pan-tilt control unit 108, further acquires the current zoom from the lens control unit 105, and holds these values.
In S1002, the system control unit 103 changes the pan, tilt, and zoom values according to the shooting position.
In S1003, the system control unit 103 captures a still image.
In S<b>1004 , the system control unit 103 determines whether or not all still image shooting in the panorama image creation area has been completed. If the system control unit 103 determines that all still image shooting in the panorama image creation area has been completed, the process advances to step S1005. On the other hand, if the system control unit 103 determines that all still image shooting in the panorama image creation area has not been completed, the process returns to S1002.

Ｓ１００５において、システム制御部１０３は、Ｓ１００２、Ｓ１１０３で撮影範囲を移動して撮影した複数の静止画、すなわち撮影範囲を移動して撮影された複数の静止画を合成し、パノラマ画像を作成する。このとき、パノラマ画像の４頂点のパン、チルト座標を算出する。
Ｓ１００６において、システム制御部１０３は、Ｓ１００１で保持したパン、チルト、ズーム値で復帰するようパンチルト制御部１０８およびレンズ制御部１０５に指示する。そして、パンチルト制御部１０８は、元のパン、チルト値でパン駆動部１０６およびチルト駆動部１０７を駆動させ、レンズ制御部１０５は、元のズーム値でレンズ駆動部１０４を駆動させる。
以上のパノラマ画像の作成処理が終了すると、システム制御部１０３は、処理を図５のＳ７０４へ進める。 In S1005, the system control unit 103 synthesizes a plurality of still images shot while moving the shooting range in S1002 and S1103, ie, a plurality of still images shot while moving the shooting range, to create a panoramic image. At this time, the pan and tilt coordinates of the four vertices of the panorama image are calculated.
In S1006, the system control unit 103 instructs the pan/tilt control unit 108 and the lens control unit 105 to return to the pan, tilt, and zoom values held in S1001. Then, the pan/tilt control unit 108 drives the pan drive unit 106 and the tilt drive unit 107 with the original pan and tilt values, and the lens control unit 105 drives the lens drive unit 104 with the original zoom values.
When the above panorama image creation processing ends, the system control unit 103 advances the processing to S704 in FIG.

以上説明したように、第１の実施形態では、パノラマ画像の作成モード中は一旦オーバーレイ機能を停止し、パノラマ画像の作成後に子機のデバイス情報を重畳するようにした。これにより、デバイスの情報を視認性高く重畳したパノラマ画像を作成することができる。
なお、本実施形態においてはパノラマ画像の作成後にＳ７０４、Ｓ７０５の重畳処理を行うこととしたが、すでにＳ７０２のパノラマ画像の作成が行われている状態であれば、子機のデバイス情報が更新された際にＳ７０４、Ｓ７０５の処理を実行してもよい。また、クライアント装置２００に対して画像データを送信する際に、Ｓ７０４、Ｓ７０５の処理を行うこととしてもよい。 As described above, in the first embodiment, the overlay function is temporarily stopped during the panorama image creation mode, and the device information of the child device is superimposed after the panorama image is created. This makes it possible to create a panorama image in which device information is superimposed with high visibility.
Note that in the present embodiment, the superimposition processing in S704 and S705 is performed after the panorama image is created. You may perform the process of S704 and S705 at the time. Also, the processing of S704 and S705 may be performed when image data is transmitted to the client apparatus 200 .

（第２の実施形態）
第１の実施形態では、パノラマ画像を作成している間は一旦オーバーレイ機能を停止する場合についての説明をしたが、パノラマ画像の作成中に、重畳するオーバーレイの表示態様を変更することも可能である。
そこで、第２の実施形態では、図１２のフローチャートを用いて、パノラマ画像の作成中に、重畳するオーバーレイの表示態様を変更する場合の処理例について説明する。なお、第１の実施形態と同様な部分については説明を省略する。本フローの処理はパン、チルト、ズームが停止する度に行ってもよいし、停止して一定時間経過したあとに行っても構わない。 (Second embodiment)
In the first embodiment, the case where the overlay function is temporarily stopped while the panorama image is being created has been described. be.
Therefore, in the second embodiment, an example of processing for changing the display mode of an overlay to be superimposed during creation of a panorama image will be described with reference to the flowchart of FIG. 12 . Note that the description of the same parts as in the first embodiment is omitted. The processing of this flow may be performed each time panning, tilting, or zooming stops, or may be performed after a certain period of time has elapsed since the panning, tilting, or zooming stopped.

まず、Ｓ１４０１において、システム制御部１０３は、現在のモードがパノラマ画像を作成するモードであるかを判断する。システム制御部１０３は、現在のモードがパノラマ画像を作成するモードであると判断した場合は、処理をＳ１４０２へ進める。一方、システム制御部１０３は、現在のモードがパノラマ画像を作成するモードではないと判断した場合は、処理をＳ７０３へ進める。
Ｓ１４０２において、システム制御部１０３は、パノラマ画像の作成モード中におけるＺ－Ｗａｖｅオーバーレイ処理を行う。本処理は、Ｓ７０３のＺ－Ｗａｖｅオーバーレイ処理と比較して、表示内容及び表示方法に違いがある。
以下、このパノラマ画像の作成モード中におけるＺ－Ｗａｖｅオーバーレイ処理の詳細について、図１３のフローチャートを用いて説明する。
Ｓ１５０１～Ｓ１５０３において、システム制御部１０３は、第１の実施形態における図６のＳ８０１～８０３と同様の処理を行う。 First, in S1401, the system control unit 103 determines whether the current mode is a mode for creating a panorama image. If the system control unit 103 determines that the current mode is the mode for creating a panorama image, the process advances to step S1402. On the other hand, if the system control unit 103 determines that the current mode is not the mode for creating a panoramic image, the process advances to step S703.
In S1402, the system control unit 103 performs Z-Wave overlay processing in the panorama image creation mode. This processing differs from the Z-Wave overlay processing in S703 in terms of display content and display method.
Details of the Z-Wave overlay processing in the panorama image creation mode will be described below with reference to the flowchart of FIG.
In S1501 to S1503, the system control unit 103 performs the same processing as S801 to S803 in FIG. 6 in the first embodiment.

Ｓ１５０４において、システム制御部１０３は、Ｓ１５０３で取得した子機の情報をもとに、子機デバイスのアイコンを決定する。例えば、子機の機種種別とそれに対応するアイコンとを予め対応付けて保持しておき、システム制御部１０３は、Ｓ１５０３で取得した子機の機種種別の情報と対応するアイコンを、子機デバイスのアイコンとして決定する。
Ｓ１５０５において、システム制御部１０３は、子機が撮影画角内において中央から右側に位置するか否かを判断する。システム制御部１０３は、子機が撮影画角内において中央から右側に位置すると判断した場合は、処理をＳ１５０６へ進める。一方、システム制御部１０３は、子機が撮影画角内において中央から左側に位置すると判断した場合は、処理をＳ１５０７へ進める。 In S1504, the system control unit 103 determines the icon of the child device based on the child device information acquired in S1503. For example, the model type of the child device and the corresponding icon are stored in advance, and the system control unit 103 stores the information on the model type of the child device acquired in S1503 and the corresponding icon of the child device. Decide as an icon.
In S1505, the system control unit 103 determines whether or not the child device is located on the right side of the center within the imaging angle of view. If the system control unit 103 determines that the child device is located on the right side of the center within the shooting angle of view, the process advances to S1506. On the other hand, when the system control unit 103 determines that the child device is located on the left side of the center within the imaging angle of view, the process advances to S1507.

Ｓ１５０６において、システム制御部１０３は、撮影画面の右半分に、Ｓ１５０４で決定した子機デバイスのアイコンを撮影画面の半分の大きさで重畳する。このように、アイコンを拡大して撮像画面に重畳することによって、ユーザーはパノラマ画像中において子機デバイスの情報を認識しやすくなる。
Ｓ１５０７において、システム制御部１０３は、撮影画面の左半分に、Ｓ１５０４で決定した子機デバイスのアイコンを撮影画面の半分の大きさで重畳する。
図１４は、Ｓ１５０６の処理結果の一例を示す図である。撮影画面１１００の右半分にアイコン１１０１が重畳されている。なお、図１４において、子機のデバイス情報を示すオブジェクトとしてアイコンを重畳する例を説明したが、これに限定しない。例えば子機の機種種別を示す文字列を重畳してもよい。
また、Ｓ１５０６およびＳ１５０７において、子機デバイスのアイコンを撮影画面の半分の大きさで重畳するとしたが、ユーザーがパノラマ画像中でアイコンを認識できる大きさに拡大してもよい。
以上のパノラマ画像の作成中におけるＺ－Ｗａｖｅオーバーレイ処理が終了すると、システム制御部１０３は、処理を図１２のＳ７０２へ進める。 In S1506, the system control unit 103 superimposes the icon of the slave device determined in S1504 on the right half of the imaging screen in half the size of the imaging screen. By enlarging the icon and superimposing it on the imaging screen in this way, the user can easily recognize the information of the slave device in the panorama image.
In S1507, the system control unit 103 superimposes the icon of the slave device determined in S1504 on the left half of the imaging screen in half the size of the imaging screen.
FIG. 14 is a diagram showing an example of the processing result of S1506. An icon 1101 is superimposed on the right half of the shooting screen 1100 . Although FIG. 14 illustrates an example in which an icon is superimposed as an object indicating the device information of the child device, the present invention is not limited to this. For example, a character string indicating the model type of the child device may be superimposed.
Also, in S1506 and S1507, the icon of the slave device is superimposed in half the size of the shooting screen, but the icon may be enlarged to a size that allows the user to recognize the icon in the panorama image.
When the above Z-Wave overlay processing during creation of the panorama image ends, the system control unit 103 advances the processing to S702 in FIG.

以上のように第２の実施形態では、パノラマ画像の作成モード中に、重畳するオーバーレイの表示態様を変更する。これにより、デバイスの情報を視認性高く重畳したパノラマ画像を作成することができる。 As described above, in the second embodiment, the display mode of the superimposed overlay is changed during the panorama image creation mode. This makes it possible to create a panorama image in which device information is superimposed with high visibility.

（その他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

１０３ システム制御部 103 system control unit

Claims (10)

撮影範囲を移動して撮影された複数の画像、および前記複数の画像のうち少なくとも１つの画像に含まれるデバイスに関する情報を取得する取得手段と、
前記複数の画像からパノラマ画像を作成する作成手段と、
前記作成手段により作成されたパノラマ画像に、前記取得手段により取得されたデバイスに関する情報に対応するオブジェクトを重畳する重畳手段と、
を有することを特徴とする画像処理装置。 acquisition means for acquiring information about a plurality of images shot while moving in a shooting range and a device included in at least one image among the plurality of images;
creating means for creating a panorama image from the plurality of images;
superimposing means for superimposing an object corresponding to the device-related information acquired by the acquiring means on the panorama image created by the creating means;
An image processing device comprising: 撮影範囲を移動して撮影された複数の画像、および前記複数の画像のうち少なくとも１つの画像に含まれるデバイスに関する情報を取得する取得手段と、
前記複数の画像のうち、前記デバイスが含まれる画像に対して、前記取得手段により取得された前記デバイスに関する情報に対応するオブジェクトを重畳する重畳手段と、
前記重畳手段によってオブジェクトが重畳された画像を含む前記複数の画像からパノラマ画像を作成する作成手段と、
を有し、
前記作成手段によりパノラマ画像を作成する場合に、前記重畳手段は、パノラマ画像を生成しない場合よりも前記オブジェクトを拡大して重畳することを特徴とする画像処理装置。 acquisition means for acquiring information about a plurality of images shot while moving in a shooting range and a device included in at least one image among the plurality of images;
superimposing means for superimposing an object corresponding to the information about the device acquired by the acquiring means on an image including the device among the plurality of images;
creating means for creating a panorama image from the plurality of images including the image on which the object is superimposed by the superimposing means;
has
An image processing apparatus, wherein when the panorama image is created by the creating means, the superimposing means magnifies and superimposes the object more than when the panorama image is not created. 前記重畳手段は、前記重畳するオブジェクトを前記デバイスが含まれる画像の半分の大きさに拡大することを特徴とする請求項２に記載の画像処理装置。 3. The image processing apparatus according to claim 2, wherein said superimposing means enlarges the object to be superimposed to a half size of an image including said device. 前記オブジェクトはアイコン、または機種種別を示す文字列であることを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。 4. The image processing apparatus according to any one of claims 1 to 3, wherein the object is an icon or a character string indicating a model type. 前記取得手段により取得された前記デバイスに関する情報が更新された場合に、前記重畳手段は、前記作成手段により作成されたパノラマ画像に、前記更新された情報を重畳することを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。 2. When the information about the device acquired by the acquiring means is updated, the superimposing means superimposes the updated information on the panorama image created by the creating means. 5. The image processing device according to any one of 1 to 4. 前記画像処理装置は、前記複数の画像を撮影する撮像手段を有する撮像装置であることを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。 6. The image processing apparatus according to any one of claims 1 to 5, wherein said image processing apparatus is an imaging apparatus having imaging means for capturing said plurality of images. 撮影範囲を移動して撮影された複数の画像のうち少なくとも１つの画像に含まれるデバイスに関する情報を前記デバイスから取得する取得工程と、
前記複数の画像からパノラマ画像を作成する作成工程と、
前記作成工程により作成されたパノラマ画像に、前記取得工程により取得されたデバイスに関する情報に対応するオブジェクトを重畳する重畳工程と、
を有することを特徴とする画像処理方法。 an acquiring step of acquiring information about a device included in at least one of a plurality of images captured while moving in an imaging range from the device;
a creation step of creating a panoramic image from the plurality of images;
a superimposing step of superimposing an object corresponding to the device-related information acquired in the acquiring step on the panoramic image created in the creating step;
An image processing method characterized by comprising: 撮影範囲を移動して撮影された複数の画像、および前記複数の画像のうち少なくとも１つの画像に含まれるデバイスに関する情報を取得する取得工程と、
前記複数の画像のうち、前記デバイスが含まれる画像に対して、前記取得工程において取得された前記デバイスに関する情報に対応するオブジェクトを重畳する重畳工程と、
前記重畳工程においてオブジェクトが重畳された画像を含む前記複数の画像からパノラマ画像を作成する作成工程と、
を有し、
前記作成工程においてパノラマ画像を作成する場合に、前記重畳工程においては、パノラマ画像を生成しない場合よりも前記オブジェクトを拡大して重畳することを特徴とする画像処理方法。 an acquisition step of acquiring information about a plurality of images shot while moving in a shooting range and a device included in at least one image among the plurality of images;
a superimposing step of superimposing an object corresponding to the information about the device acquired in the acquiring step on an image including the device among the plurality of images;
a creating step of creating a panorama image from the plurality of images including the image on which the object is superimposed in the superimposing step;
has
2. An image processing method, wherein when a panorama image is created in the creating step, the object is enlarged and superimposed in the superimposing step compared to when the panorama image is not created. 撮影範囲を移動して撮影された複数の画像、および前記複数の画像のうち少なくとも１つの画像に含まれるデバイスに関する情報を取得する取得工程と、
前記複数の画像からパノラマ画像を作成する作成工程と、
前記作成工程により作成されたパノラマ画像に、前記取得工程により取得されたデバイスに関する情報に対応するオブジェクトを重畳する重畳工程と、
をコンピュータに実行させるためのプログラム。 an acquisition step of acquiring information about a plurality of images shot while moving in a shooting range and a device included in at least one image among the plurality of images;
a creation step of creating a panoramic image from the plurality of images;
a superimposing step of superimposing an object corresponding to the device-related information acquired in the acquiring step on the panoramic image created in the creating step;
A program that causes a computer to run 撮影範囲を移動して撮影された複数の画像、および前記複数の画像のうち少なくとも１つの画像に含まれるデバイスに関する情報を取得する取得工程と、
前記複数の画像のうち、前記デバイスが含まれる画像に対して、前記取得工程において取得された前記デバイスに関する情報に対応するオブジェクトを重畳する重畳工程と、
前記重畳工程においてオブジェクトが重畳された画像を含む前記複数の画像からパノラマ画像を作成する作成工程と、
をコンピュータに実行させ、
前記作成工程においてパノラマ画像を作成する場合に、前記重畳工程においては、パノラマ画像を生成しない場合よりも前記オブジェクトを拡大して重畳することを特徴とするプログラム。 an acquisition step of acquiring information about a plurality of images shot while moving in a shooting range and a device included in at least one image among the plurality of images;
a superimposing step of superimposing an object corresponding to the information about the device acquired in the acquiring step on an image including the device among the plurality of images;
a creating step of creating a panorama image from the plurality of images including the image on which the object is superimposed in the superimposing step;
on the computer, and
A program according to claim 1, wherein when a panorama image is created in the creating step, the object is enlarged and superimposed in the superimposing step compared to when the panorama image is not created.

Images