JP6301202B2

JP6301202B2 - Shooting condition setting device and shooting condition setting method

Info

Publication number: JP6301202B2
Application number: JP2014113737A
Authority: JP
Inventors: 誠也伊藤; 公雄大浦
Original assignee: Hitachi Industry and Control Solutions Co Ltd
Current assignee: Hitachi Industry and Control Solutions Co Ltd
Priority date: 2014-06-02
Filing date: 2014-06-02
Publication date: 2018-03-28
Anticipated expiration: 2034-06-02
Also published as: JP2015228597A

Description

本発明は、撮影装置に設定する、撮影環境に適したパラメータを決定する技術に関する。 The present invention relates to a technique for determining parameters suitable for a shooting environment set in a shooting apparatus.

近年、防犯意識の高まりとともに、量販店、金融機関、オフィスビル等において、映像監視システムの導入が進んでいる。映像監視システムでは、映像を蓄積する記憶容量が大容量化し、ネットワークカメラ等が普及したことにより、様々な場所に監視カメラが設置されるようになってきている。また、監視カメラが一ヶ所に固定されずに、ドライブレコーダのような機器やカメラを移動体に搭載して施設内を循環しながら監視するシステムも普及してきている。そして、前記システムに蓄積された撮影画像は、犯罪抑止効果や事件・事故が発生した場合の証拠として活用されている。 In recent years, with the increasing awareness of crime prevention, video surveillance systems have been introduced in mass retailers, financial institutions, office buildings, and the like. In video surveillance systems, the storage capacity for storing video has increased, and network cameras and the like have become widespread. As a result, surveillance cameras have been installed at various locations. In addition, a monitoring system is being widely used in which equipment such as a drive recorder or a camera is mounted on a moving body and monitoring is performed while circulating in the facility without being fixed at one place. The captured images stored in the system are used as evidence when a crime deterrent effect or an incident / accident occurs.

カメラのカメラパラメータ設定は多岐にわたっており、ユーザそれぞれによってカメラパラメータが個別に設定されている。また、撮影シーンおよびカメラの設定の組み合わせを示す撮影環境は多種多様であるので、撮影環境ごとに適したカメラパラメータの設定に多くの時間が費やされる傾向にある。 There are a wide variety of camera parameter settings, and camera parameters are individually set by each user. Also, since there are a wide variety of shooting environments showing combinations of shooting scenes and camera settings, a lot of time tends to be spent on setting camera parameters suitable for each shooting environment.

特許文献１には、新たな撮影シーンを撮影するときに、ユーザによってカメラパラメータが変更された場合または自動的にカメラパラメータが変更された場合、部分的に変更されたカメラパラメータに応じて推定される１または複数の撮影シーンのカテゴリの見本画像を表示する技術が開示されている。 In Patent Literature 1, when a camera parameter is changed by a user or when a camera parameter is automatically changed when shooting a new shooting scene, it is estimated according to the partially changed camera parameter. A technique for displaying a sample image of one or a plurality of shooting scene categories is disclosed.

特開２００６−１８６６９５号公報JP 2006-186695 A

しかしながら、特許文献１に記載の方法は、変更後のカメラパラメータに類似のカメラパラメータがカメラに記憶されている場合、そのカメラパラメータによって撮影された撮影シーンを表示する。また、カメラに表示される撮影シーンは、そのカメラによって過去に撮影されたシーンに限られているため、サンプル数が少ない。そのため、新たに撮影しようとしているシーンと、カメラに表示されるシーンとが全く異なっているケースが多くなるという虞がある。つまり、表示されたシーンの撮影に用いられたカメラパラメータが、これから撮影しようとしている撮影シーンに適しているかどうかの最終判断は、ユーザに任されていることになる。したがって、カメラ（撮影装置）について専門的な知識が無いユーザは、撮影環境（撮影シーンおよびカメラの設定の組み合わせ）に適した設定パラメータ（カメラに設定するパラメータ）を容易に決定することができないという問題がある。 However, in the method described in Patent Document 1, when a camera parameter similar to the changed camera parameter is stored in the camera, a shooting scene shot with the camera parameter is displayed. In addition, since the shooting scene displayed on the camera is limited to scenes shot in the past by the camera, the number of samples is small. For this reason, there is a possibility that there are many cases where a scene to be newly captured and a scene displayed on the camera are completely different. That is, it is left to the user to make a final determination as to whether the camera parameters used for shooting the displayed scene are appropriate for the shooting scene to be shot. Therefore, a user who does not have specialized knowledge about the camera (shooting apparatus) cannot easily determine setting parameters (parameters set for the camera) suitable for the shooting environment (combination of shooting scenes and camera settings). There's a problem.

そこで、本発明では、撮影装置について専門的な知識が無くとも、撮影環境に適した設定パラメータを容易に決定できる技術を提供することを課題とする。 Therefore, an object of the present invention is to provide a technique capable of easily determining setting parameters suitable for a shooting environment without specialized knowledge about the shooting apparatus.

前記課題を解決するために、本発明の撮影条件設定装置は、撮影装置によって撮影された撮影シーンにラベリング処理を実行することによって求めたラベリング処理結果を少なくとも含む撮影条件と前記撮影シーンの撮影のために前記撮影装置に設定された設定パラメータとを関連付けて記憶する記憶部と、前記撮影装置によって撮影された撮影シーンのカメラデータを取得し、前記カメラデータに対してラベリング処理を実行し、前記カメラデータからカメラパラメータを推定し、前記ラベリング処理の結果と前記カメラパラメータとに基づいて検索クエリを生成するデータ解析部と、前記検索クエリを用いて前記記憶部を参照し、当該検索クエリに類似の前記撮影条件に関連付けられた前記設定パラメータを取得する撮影条件検索部と、を備え、前記データ解析部は、天候情報を取得し、前記天候情報に応じて前記カメラデータを補正することを特徴とする。 In order to solve the above-described problems, an imaging condition setting device according to the present invention includes an imaging condition including at least a labeling process result obtained by executing a labeling process on an imaging scene captured by an imaging apparatus, and imaging of the imaging scene. A storage unit that associates and stores setting parameters set in the imaging apparatus, acquires camera data of a shooting scene shot by the shooting apparatus, executes a labeling process on the camera data, and A data analysis unit that estimates camera parameters from camera data, generates a search query based on the result of the labeling process and the camera parameters, and refers to the storage unit using the search query, and is similar to the search query A shooting condition search unit for acquiring the setting parameter associated with the shooting condition; Wherein the data analyzing unit acquires weather information, and corrects the camera data in response to the weather information.

本発明によれば、撮影装置について専門的な知識が無くとも、撮影環境に適した設定パラメータを容易に決定することができる。 According to the present invention, it is possible to easily determine a setting parameter suitable for a shooting environment without specialized knowledge about the shooting apparatus.

撮影条件設定システムの構成例ならびに撮影条件設定装置および撮影装置の機能例を示す図である。It is a figure which shows the structural example of an imaging condition setting system, and the example of a function of an imaging condition setting apparatus and an imaging device. 撮影条件設定システムにおける処理フロー例を示す図である。It is a figure which shows the example of a processing flow in an imaging condition setting system. 図２に示すステップＳ２０３の処理の詳細フロー例を示す図である。It is a figure which shows the example of a detailed flow of a process of step S203 shown in FIG. ラベリング処理の入出力画像の一例を示す図であり、（ａ）は入力画像のカメラデータの画像を表し、（ｂ）は出力画像のラベリング画像を表す。It is a figure which shows an example of the input-output image of a labeling process, (a) represents the image of the camera data of an input image, (b) represents the labeling image of an output image. 方位センサ情報を加味する処理を説明する図であり、（ａ）は撮影環境の平面図を表し、（ｂ）は方位センサ情報を加味した画像を表す。It is a figure explaining the process which considers direction sensor information, (a) represents the top view of imaging | photography environment, (b) represents the image which considered direction sensor information. 検索クエリの一例を示す図である。It is a figure which shows an example of a search query. 設定パラメータを示す画像の一例を説明する図であり、（ａ）はパラメータ設定前の方位センサ情報を加味した画像を表し、（ｂ）は設定パラメータを示す画像を表す。It is a figure explaining an example of the image which shows a setting parameter, (a) represents the image which considered the direction sensor information before parameter setting, (b) represents the image which shows a setting parameter.

ここで、本発明を実施するための形態（以降、「本実施形態」と称す。）について、適宜図面を参照しながら詳細に説明する。 Here, a mode for carrying out the present invention (hereinafter referred to as “the present embodiment”) will be described in detail with reference to the drawings as appropriate.

（撮影条件設定システム）
はじめに、撮影条件設定システムの構成例について、図１を用いて説明する。図１は、撮影条件設定システム９の構成例を表している。
撮影条件設定システム９は、撮影条件設定装置１と撮影装置（カメラ）２とを備えている。撮影条件設定装置１と撮影装置２とはネットワーク３を介して通信可能になっている。撮影装置２は、図１では３台記載しているが、３台に限られることはなく、１台以上である。 (Shooting condition setting system)
First, a configuration example of the imaging condition setting system will be described with reference to FIG. FIG. 1 shows a configuration example of the photographing condition setting system 9.
The photographing condition setting system 9 includes a photographing condition setting device 1 and a photographing device (camera) 2. The photographing condition setting device 1 and the photographing device 2 can communicate with each other via the network 3. Although three imaging devices 2 are illustrated in FIG. 1, the number is not limited to three and is one or more.

撮影装置２は、例えば、ズーム機能を有するカメラレンズ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を含むカメラである。撮影装置２は、雲台に載置され、俯仰および旋回が可能である。また、撮影装置２は、撮影した映像（静止画を含む）を監視員の目視確認に利用するために、不図示の記録装置や表示装置に転送しても構わない。 The imaging device 2 is a camera including, for example, a camera lens having a zoom function and an imaging element such as a complementary metal oxide semiconductor (CMOS) or a charge coupled device (CCD). The imaging device 2 is placed on a pan head and can be raised and lowered. In addition, the photographing device 2 may transfer the photographed video (including a still image) to a recording device or a display device (not shown) in order to use it for visual confirmation by a monitor.

撮影装置２は、撮影した映像（撮影シーン）をカメラデータとして、通信部２５およびネットワーク３を介して撮影条件設定装置１に送信する機能を有する。また、撮影装置２は、撮影時に撮影装置２に備えられるセンサによって検出されるセンサ情報を収集し、そのセンサ情報をカメラデータとともに送信する機能も有する。ここで、センサ情報は、撮影装置２の向きを取得する方位センサ、撮影場所の明るさを取得する照度センサ、撮影装置２の設置された場所を取得するＧＰＳ（Global Positioning System）、カメラの傾きや揺れ等を取得する加速度センサ、等から得られる情報を表している。なお、撮影装置２の機能の詳細については後記する。 The photographing device 2 has a function of transmitting a photographed video (photographing scene) as camera data to the photographing condition setting device 1 via the communication unit 25 and the network 3. The photographing device 2 also has a function of collecting sensor information detected by a sensor provided in the photographing device 2 during photographing and transmitting the sensor information together with camera data. Here, the sensor information includes an orientation sensor that acquires the orientation of the imaging device 2, an illuminance sensor that acquires the brightness of the imaging location, a GPS (Global Positioning System) that acquires the location where the imaging device 2 is installed, and the tilt of the camera. The information obtained from the acceleration sensor etc. which acquire a vibration, a shake, etc. is represented. Details of the functions of the photographing apparatus 2 will be described later.

撮影条件設定装置１は、撮影装置２から通信部１４を介してカメラデータまたはカメラデータおよびセンサ情報を受信し、カメラデータを画像認識処理によって解析して、撮影シーンの特徴量を抽出する機能を有する。ここで、撮影シーンの特徴量とは、色情報、画像の微分成分を表すエッジ情報やテクスチャ情報である。また、撮影条件設定装置１は、撮影シーンを、抽出した特徴量が同様の画素が隣り合う小領域に分割し、分割した小領域にラベル情報を付与するラベリング処理を実行する機能を有する。また、撮影条件設定装置１は、カメラデータからカメラパラメータを推定する機能を有する。そして、撮影条件設定装置１は、ラベリング処理結果とカメラパラメータとを組み合わせて、シーンパターンを生成する。 The photographing condition setting device 1 has a function of receiving camera data or camera data and sensor information from the photographing device 2 via the communication unit 14, analyzing the camera data by image recognition processing, and extracting a feature amount of the photographing scene. Have. Here, the feature amount of the shooting scene is color information, edge information representing the differential component of the image, and texture information. The shooting condition setting apparatus 1 has a function of performing a labeling process in which a shooting scene is divided into small areas adjacent to pixels having the same extracted feature amount and label information is given to the divided small areas. The photographing condition setting device 1 has a function of estimating camera parameters from camera data. Then, the imaging condition setting device 1 generates a scene pattern by combining the labeling processing result and the camera parameter.

ここで、カメラパラメータとは、撮影装置２の内部パラメータ（例えば、焦点距離や歪み係数等）と外部パラメータ（例えば、被写体に対する並進や回転等のカメラの設置状態）とを示している。つまり、カメラパラメータは、撮影シーンがどのようなカメラ設定の下で撮影されたかを示す情報の一つである。 Here, the camera parameters indicate internal parameters (for example, focal length and distortion coefficient) of the photographing apparatus 2 and external parameters (for example, camera installation state such as translation and rotation with respect to the subject). That is, the camera parameter is one piece of information indicating under what camera settings the shooting scene was shot.

また、撮影条件設定装置１は、後記する記憶部１３の設定パターンＤＢ（Data Base）１３１を参照し、シーンパターン（またはシーンパターンおよびセンサ情報の組合わせ）に最も類似する撮影条件を抽出し、抽出した撮影条件に関連付けられた設定パラメータを取得する機能を有する。なお、設定パターンＤＢ１３１には、撮影条件と設定パラメータとが関連付けられて記憶されている（詳細は後記）。ここで、設定パラメータとは、撮影シーンの小領域について、逆光補正を実行する、コントラストを強調する、等の処理を実行するために、撮影装置２に設定するパラメータを表す。 Further, the shooting condition setting device 1 refers to a setting pattern DB (Data Base) 131 of the storage unit 13 to be described later, and extracts shooting conditions most similar to a scene pattern (or a combination of scene pattern and sensor information), It has a function of acquiring setting parameters associated with the extracted imaging conditions. The setting pattern DB 131 stores shooting conditions and setting parameters in association with each other (details will be described later). Here, the setting parameter represents a parameter set in the photographing apparatus 2 in order to execute processing such as performing backlight correction and enhancing contrast on a small area of the photographing scene.

そして、撮影条件設定装置１は、取得した設定パラメータを、通信部１４およびネットワーク３を介して撮影装置２に送信する機能を有する。また、撮影装置２は、通信部２５を介して受信した設定パラメータに基づいて、自身にパラメータの設定を実行する機能を有している（詳細は後記）。 The imaging condition setting device 1 has a function of transmitting the acquired setting parameters to the imaging device 2 via the communication unit 14 and the network 3. Further, the photographing apparatus 2 has a function of executing parameter setting for itself based on the setting parameters received via the communication unit 25 (details will be described later).

つまり、撮影条件設定システム９では、撮影条件設定装置１は、シーンパターン（または、シーンパターンおよびセンサ情報）に基づいて、撮影装置２に設定する設定パラメータを取得する。そして、撮影装置２は、撮影条件設定装置１から受信した設定パラメータに基づいて、自身にパラメータを設定することができる。したがって、撮影条件設定装置１は、撮影装置２について専門的な知識が無くとも、撮影環境に適した設定パラメータを容易に決定することができるようになる。
なお、撮影条件設定装置１の機能の詳細については後記する。 That is, in the shooting condition setting system 9, the shooting condition setting device 1 acquires setting parameters to be set in the shooting device 2 based on the scene pattern (or scene pattern and sensor information). The photographing apparatus 2 can set parameters for itself based on the setting parameters received from the photographing condition setting apparatus 1. Therefore, the shooting condition setting device 1 can easily determine setting parameters suitable for the shooting environment without specialized knowledge of the shooting device 2.
Details of the function of the imaging condition setting device 1 will be described later.

ネットワーク３は、有線、無線のいずれかまたは双方の組み合わせで構成されるものとする。 The network 3 is assumed to be configured by either wired or wireless or a combination of both.

（撮影条件設定装置）
ここで、撮影条件設定装置１の機能例について、図１を用いて説明する。
撮影条件設定装置１は、処理部１１、記憶部１３、通信部１４を備える。処理部１１は、図示しないコンピュータ等のＣＰＵ（Central Processing Unit）およびメインメモリによって構成され、記憶部１３に記憶されている制御プログラムをメインメモリに展開して、設定パターン検索部１１１および設定パターン登録部１２１の機能を具現化している。 (Shooting condition setting device)
Here, a function example of the imaging condition setting apparatus 1 will be described with reference to FIG.
The imaging condition setting device 1 includes a processing unit 11, a storage unit 13, and a communication unit 14. The processing unit 11 includes a CPU (Central Processing Unit) such as a computer (not shown) and a main memory. The control program stored in the storage unit 13 is expanded in the main memory, and the setting pattern search unit 111 and the setting pattern registration are performed. The function of the unit 121 is embodied.

設定パターン検索部１１１は、生成したシーンパターン（または、シーンパターンおよび取得したセンサ情報）に最も類似する撮影条件を抽出し、抽出した撮影条件に関連付けられた設定パラメータを取得し決定する機能を有する。具体的には、設定パターン検索部１１１は、機能として、データ解析部１１２、撮影条件検索部１１３、パラメータ決定部１１４を備えている。 The setting pattern search unit 111 has a function of extracting a shooting condition most similar to the generated scene pattern (or the scene pattern and the acquired sensor information), and acquiring and determining setting parameters associated with the extracted shooting condition. . Specifically, the setting pattern search unit 111 includes a data analysis unit 112, an imaging condition search unit 113, and a parameter determination unit 114 as functions.

データ解析部１１２は、通信部１４を介して受信したカメラデータを画像認識処理によって解析して、撮影シーンの特徴量を抽出する機能を有する。特徴量とは、例えば、色情報、画像の微分成分を表すエッジ情報やテクスチャ情報である。また、データ解析部１１２は、同様の特徴量を有する隣接した画素の集合を一つの小領域として、撮影シーンを分割し、小領域に対してラベル情報を付与するラベリング処理を実行する機能を有する。また、データ解析部１１２は、カメラパラメータを推定し、ラベリング処理結果とカメラパラメータとを組み合わせて、シーンパターンを生成し、生成したシーンパターン（または、シーンパターンおよびセンサ情報）に基づいて検索クエリを生成する機能を有する。なお、検索クエリは、設定パターンＤＢ１３１の撮影条件情報１３２において類似する撮影条件を抽出するための情報である。 The data analysis unit 112 has a function of analyzing camera data received via the communication unit 14 by image recognition processing and extracting a feature amount of a shooting scene. The feature amount is, for example, color information, edge information representing image differential components, or texture information. In addition, the data analysis unit 112 has a function of executing a labeling process that divides a shooting scene using a set of adjacent pixels having the same feature amount as one small region and assigns label information to the small region. . Further, the data analysis unit 112 estimates camera parameters, generates a scene pattern by combining the labeling processing result and the camera parameters, and generates a search query based on the generated scene pattern (or scene pattern and sensor information). It has a function to generate. The search query is information for extracting similar shooting conditions in the shooting condition information 132 of the setting pattern DB 131.

撮影条件検索部１１３は、データ解析部１１２によって生成された検索クエリを用いて、記憶部１３の設定パターンＤＢ１３１の撮影条件情報１３２を検索する機能を有する。そして、撮影条件検索部１１３は、検索クエリに最も類似する撮影条件を、設定パターンＤＢ１３１の撮影条件情報１３２から抽出し、その抽出した撮影条件に関連付けられている設定パラメータを設定パラメータ情報１３３から取得する機能を有する。 The shooting condition search unit 113 has a function of searching the shooting condition information 132 of the setting pattern DB 131 of the storage unit 13 using the search query generated by the data analysis unit 112. Then, the shooting condition search unit 113 extracts the shooting condition most similar to the search query from the shooting condition information 132 of the setting pattern DB 131 and acquires the setting parameter associated with the extracted shooting condition from the setting parameter information 133. It has the function to do.

パラメータ決定部１１４は、撮影条件検索部１１３によって取得された設定パラメータが１つの場合、当該設定パラメータを最終的な設定パラメータとして決定する機能を有する。パラメータ決定部１１４は、撮影条件検索部１１３によって取得された設定パラメータが複数の場合、当該複数の設定パラメータの中からラベル情報が最も一致する設定パラメータを１つ決定する機能を有する。また、パラメータ決定部１１４は、撮影条件検索部１１３によって取得された設定パラメータが複数の場合、ユーザによる選択入力を受け付けて、当該複数の設定パラメータの中から１つの設定パラメータを決定するようにしてもよい。 The parameter determination unit 114 has a function of determining the setting parameter as a final setting parameter when there is one setting parameter acquired by the imaging condition search unit 113. When there are a plurality of setting parameters acquired by the imaging condition search unit 113, the parameter determination unit 114 has a function of determining one setting parameter with the best matching label information from the plurality of setting parameters. In addition, when there are a plurality of setting parameters acquired by the imaging condition search unit 113, the parameter determination unit 114 receives a selection input by the user and determines one setting parameter from the plurality of setting parameters. Also good.

設定パターン登録部１２１は、設定パターンＤＢ１３１の撮影条件情報１３２と設定パラメータ情報１３３とを記憶させる機能を有する。設定パターン登録部１２１は、撮影装置２が新たに設置された場合であって、設定パターンＤＢ１３１に同様の撮影条件情報１３２が存在しないときに、実行される。つまり、設定パターン登録部１２１は、設定パターンＤＢ１３１に記憶される情報を拡充する場合に実行される。具体的には、設定パターン登録部１２１は、機能として、設定パターン生成部１２２および登録処理部１２３を備えている。 The setting pattern registration unit 121 has a function of storing shooting condition information 132 and setting parameter information 133 in the setting pattern DB 131. The setting pattern registration unit 121 is executed when the imaging apparatus 2 is newly installed and when the same imaging condition information 132 does not exist in the setting pattern DB 131. That is, the setting pattern registration unit 121 is executed when information stored in the setting pattern DB 131 is expanded. Specifically, the setting pattern registration unit 121 includes a setting pattern generation unit 122 and a registration processing unit 123 as functions.

設定パターン生成部１２２は、データ解析部１１２と同様に、検索クエリを生成する機能を有する。 Similar to the data analysis unit 112, the setting pattern generation unit 122 has a function of generating a search query.

登録処理部１２３は、新しい撮影条件を撮影条件情報１３２に記憶し、その撮影条件に関連付けられた設定パラメータを設定パラメータ情報１３３に記憶する機能を有する。登録処理部１２３は、撮影条件と設定パラメータとを新たに記憶する前に、設定パターン生成部１２２によって生成した検索クエリを用いて、同じ撮影条件および同じ設定パラメータが設定パターンＤＢ１３１に既に記憶済か否かを検索する。この理由は、撮影条件設定装置１が複数の撮影装置２と接続されているので、撮影条件を新たに記憶しようとするときに、他の撮影装置２によって記憶された類似の撮影条件と重複することを防ぐためである。登録処理部１２３は、類似の撮影条件がないと判定した場合、新しい管理番号を発行して、撮影条件と設定パラメータとを設定パターンＤＢ１３１に記憶する。 The registration processing unit 123 has a function of storing new shooting conditions in the shooting condition information 132 and storing setting parameters associated with the shooting conditions in the setting parameter information 133. The registration processing unit 123 uses the search query generated by the setting pattern generation unit 122 before newly storing the imaging conditions and the setting parameters to check whether the same imaging conditions and the same setting parameters are already stored in the setting pattern DB 131. Search for no. This is because the shooting condition setting device 1 is connected to a plurality of shooting devices 2, so that when shooting conditions are newly stored, they overlap with similar shooting conditions stored by other shooting devices 2. This is to prevent this. When the registration processing unit 123 determines that there is no similar shooting condition, the registration processing unit 123 issues a new management number and stores the shooting condition and the setting parameter in the setting pattern DB 131.

記憶部１３は、ハードディスク等の記憶装置であり、設定パターンＤＢ１３１を記憶している。設定パターンＤＢ１３１は、撮影条件情報１３２と設定パラメータ情報１３３とを関連付けて記憶している。
撮影条件情報１３２は、検索クエリによって参照される撮影条件を記憶しており、管理番号ごとに、シーンパターン（またはシーンパターンおよびセンサ情報）が記憶されている。
設定パラメータ情報１３３は、撮影装置２に設定する設定パラメータを記憶しており、管理番号ごとに設定パラメータが記憶されている。
なお、撮影条件情報１３２と設定パラメータ情報１３３とは、管理番号によって関連付けられている。 The storage unit 13 is a storage device such as a hard disk, and stores a setting pattern DB 131. The setting pattern DB 131 stores shooting condition information 132 and setting parameter information 133 in association with each other.
The shooting condition information 132 stores shooting conditions referred to by a search query, and a scene pattern (or scene pattern and sensor information) is stored for each management number.
The setting parameter information 133 stores setting parameters to be set in the photographing apparatus 2 and stores setting parameters for each management number.
The shooting condition information 132 and the setting parameter information 133 are associated with each other by a management number.

通信部１４は、通信インタフェースであり、撮影条件設定装置１から情報をネットワーク３に送信したり、ネットワーク３を経由して伝達される情報を受信したりする。 The communication unit 14 is a communication interface, and transmits information from the imaging condition setting device 1 to the network 3 and receives information transmitted via the network 3.

（撮影装置）
次に、撮影装置２の機能例について、図１を用いて説明する。
撮影装置２は、撮影部２１、センサ情報取得部２２、パラメータ設定部２３および通信部２５を備える。なお、ラベリング処理部２４は、後記するように、必ずしも備えていなくともよい。 (Shooting device)
Next, an example of functions of the photographing apparatus 2 will be described with reference to FIG.
The imaging device 2 includes an imaging unit 21, a sensor information acquisition unit 22, a parameter setting unit 23, and a communication unit 25. The labeling processing unit 24 does not necessarily have to be provided as will be described later.

撮影部２１は、シーンを撮影するカメラの機能を有する。
センサ情報取得部２２は、撮影装置２に備えられているセンサからセンサ情報を取得する機能を有する。センサは、例えば、加速度センサ、方位センサ、ＧＰＳ、照度センサ等である。
パラメータ設定部２３は、撮影条件設定装置１から送信されてきた設定パラメータを撮影装置２に設定する機能を有する。 The photographing unit 21 has a camera function for photographing a scene.
The sensor information acquisition unit 22 has a function of acquiring sensor information from a sensor provided in the imaging device 2. Examples of the sensor include an acceleration sensor, a direction sensor, a GPS, and an illuminance sensor.
The parameter setting unit 23 has a function of setting the setting parameters transmitted from the imaging condition setting device 1 in the imaging device 2.

ラベリング処理部２４は、データ解析部１１２と同様に、カメラデータを画像認識処理によって解析し、撮影シーンの特徴量を抽出し、特徴量に基づいて撮影シーンを小領域に分割し、小領域に対してラベンリング処理を実行する機能を有する。そして、ラベリング処理部２４は、ラベリング処理結果を撮影条件設定装置１に送信する機能を有する。したがって、撮影装置２がラベリング処理部２４を備えている場合には、撮影条件設定装置１のデータ解析部１１２は、ラベリング処理を実行しなくともよくなる。その逆に、データ解析部１１２がラベリング処理を実行する場合には、ラベリング処理部２４は不要となる。
なお、撮影装置２においてラベリング処理結果を算出する効果は、撮影条件設定装置１の処理負荷を低減させること、ラベリング処理結果がカメラデータそのものより小さな情報量となるので、通信負荷を低減させることである。 Similar to the data analysis unit 112, the labeling processing unit 24 analyzes the camera data by image recognition processing, extracts the feature amount of the shooting scene, divides the shooting scene into small regions based on the feature amount, It has a function to execute a ravenling process. The labeling processing unit 24 has a function of transmitting the labeling processing result to the imaging condition setting device 1. Therefore, when the imaging device 2 includes the labeling processing unit 24, the data analysis unit 112 of the imaging condition setting device 1 does not have to execute the labeling process. Conversely, when the data analysis unit 112 executes the labeling process, the labeling process unit 24 is not necessary.
Note that the effects of calculating the labeling processing result in the photographing device 2 are that the processing load of the photographing condition setting device 1 is reduced, and the labeling processing result has a smaller amount of information than the camera data itself, so the communication load is reduced. is there.

通信部２５は、通信インタフェースであり、撮影装置２から情報をネットワーク３を介して撮影条件設定装置１に送信したり、撮影条件設定装置１からネットワーク３を経由して伝達される情報を受信したりする。 The communication unit 25 is a communication interface, and transmits information from the imaging device 2 to the imaging condition setting device 1 via the network 3 and receives information transmitted from the imaging condition setting device 1 via the network 3. Or

（撮影条件設定システムの処理フロー）
次に、撮影条件設定システム９における処理フロー例について、図２を用いて説明する（適宜、図１参照）。
ステップＳ２０１では、撮影装置２の撮影部２１は、シーンを撮影する。
ステップＳ２０２では、撮影装置２は、撮影部２１によって撮影された撮影シーンのカメラデータと、センサ情報取得部２２によって取得されたセンサ情報とを、通信部２５とネットワーク３とを介して撮影条件設定装置１に送信する。 (Processing flow of the shooting condition setting system)
Next, an example of a processing flow in the photographing condition setting system 9 will be described with reference to FIG. 2 (see FIG. 1 as appropriate).
In step S201, the photographing unit 21 of the photographing apparatus 2 photographs a scene.
In step S <b> 202, the photographing apparatus 2 sets camera condition of the camera data of the photographing scene photographed by the photographing unit 21 and the sensor information obtained by the sensor information obtaining unit 22 via the communication unit 25 and the network 3. Transmit to device 1.

ステップＳ２０３では、撮影条件設定装置１のデータ解析部１１２は、カメラデータを解析し、解析後のデータをラベリング処理し、ラベリング処理結果とカメラパラメータとセンサ情報とに基づいて検索クエリを生成する。検索クエリは、設定パターンＤＢ１３１の撮影条件情報１３２において類似する撮影条件を抽出するための情報である。なお、このステップＳ２０３における処理の詳細については後記する。 In step S203, the data analysis unit 112 of the imaging condition setting device 1 analyzes the camera data, performs a labeling process on the analyzed data, and generates a search query based on the labeling process result, the camera parameter, and the sensor information. The search query is information for extracting similar shooting conditions in the shooting condition information 132 of the setting pattern DB 131. Details of the processing in step S203 will be described later.

ステップＳ２０４では、撮影条件検索部１１３は、検索クエリを用いて撮影条件情報１３２の撮影条件を検索処理する。具体的には、撮影条件検索部１１３は、撮影条件情報１３２から、検索クエリに類似する撮影条件を抽出する。 In step S204, the shooting condition search unit 113 searches for shooting conditions in the shooting condition information 132 using a search query. Specifically, the shooting condition search unit 113 extracts shooting conditions similar to the search query from the shooting condition information 132.

ステップＳ２０５では、撮影条件検索部１１３は、設定パラメータを取得する。具体的には、撮影条件検索部１１３は、設定パターンＤＢ１３１の設定パラメータ情報１３３を参照して、抽出した撮影条件に関連付けられた設定パラメータを取得する。 In step S205, the imaging condition search unit 113 acquires a setting parameter. Specifically, the shooting condition search unit 113 refers to the setting parameter information 133 in the setting pattern DB 131 and acquires setting parameters associated with the extracted shooting conditions.

ステップＳ２０６では、パラメータ決定部１１４は、設定パラメータを撮影装置２に送信する。なお、パラメータ決定部１１４は、撮影条件検索部１１３によって取得された設定パターンが１つの場合、当該設定パターンを最終的な設定パターンとして決定し、送信する。また、パラメータ決定部１１４は、撮影条件検索部１１３によって取得された設定パターンが複数の場合、当該複数の設定パラメータの中からラベル情報が最も一致する設定パラメータを１つ決定し、送信する。また、パラメータ決定部１１４は、撮影条件検索部１１３によって取得された設定パターンが複数の場合、ユーザによる選択入力を受け付けて、当該複数の設定パラメータの中から１つの設定パラメータを決定し、送信するようにしてもよい。 In step S <b> 206, the parameter determination unit 114 transmits the setting parameter to the imaging device 2. When there is one setting pattern acquired by the shooting condition search unit 113, the parameter determination unit 114 determines and transmits the setting pattern as a final setting pattern. In addition, when there are a plurality of setting patterns acquired by the imaging condition search unit 113, the parameter determination unit 114 determines and transmits one setting parameter with the best label information among the plurality of setting parameters. In addition, when there are a plurality of setting patterns acquired by the imaging condition search unit 113, the parameter determination unit 114 receives a selection input by the user, determines one setting parameter from the plurality of setting parameters, and transmits it. You may do it.

ステップＳ２０７では、撮影装置２のパラメータ設定部２３は、ネットワーク３および通信部２５を介して設定パラメータを受信し、受信した設定パラメータに基づいて、撮影装置２のパラメータを設定する。 In step S207, the parameter setting unit 23 of the imaging device 2 receives the setting parameter via the network 3 and the communication unit 25, and sets the parameter of the imaging device 2 based on the received setting parameter.

次に、ステップＳ２０３の処理の具体例について、図３を用いて説明する。また、ステップＳ２０３におけるラベリング処理の入出力画像として、入力画像のカメラデータの画像（図４（ａ）参照）と、出力画像のラベリング処理後のラベリング画像（図４（ｂ）参照）の一例についても説明する。 Next, a specific example of the process in step S203 will be described with reference to FIG. In addition, as an input / output image of the labeling process in step S203, an example of the camera data image of the input image (see FIG. 4A) and a labeling image after the output image labeling process (see FIG. 4B) are shown. Also explained.

図３に示すように、ステップＳ３０１では、データ解析部１１２は、カメラデータから撮影シーンの特徴量を抽出する。撮影シーンの特徴量とは、色情報、画像の微分成分を表すエッジ情報やテクスチャ情報である。
ここで、図４（ａ）を用いて、入力画像として、カメラデータの画像の一例について説明する。
図４（ａ）は、部屋の内部を天井方向から撮影した撮影シーンの一例を表している。符号４００は床を表し、符号４０１，４０２は壁を表し、符号４０３は窓を表し、符号４０４ａ，４０４ｂは棚を表している。 As shown in FIG. 3, in step S <b> 301, the data analysis unit 112 extracts the feature amount of the shooting scene from the camera data. The feature amount of the shooting scene is color information, edge information representing image differential components, and texture information.
Here, an example of an image of camera data as an input image will be described with reference to FIG.
FIG. 4A shows an example of a shooting scene in which the interior of the room is shot from the ceiling. Reference numeral 400 represents a floor, reference numerals 401 and 402 represent walls, reference numeral 403 represents a window, and reference numerals 404a and 404b represent shelves.

ステップＳ３０２では、データ解析部１１２は、撮影シーンを小領域に分割する。具体的には、データ解析部１１２は、撮影シーンを、抽出した特徴量が同様の画素が隣り合う小領域に分割する。例えば、同様の色情報や微分情報をもつ隣接する画素の集合を一つの小領域として分割する。色情報に基づいて画像を複数の領域に分割する方法については、例えば、「Pedro F. Felzenszwalb，et al.，"Efficient Graph-Based Image Segmentation"，IJCV，Vol.59，No.2，September 2004」等に記載されている。これによって、図４（ａ）の符号４００に示す領域のように同じ色情報の領域を、一つの領域として分割することとなる。ただし、ステップＳ３０２では、例えば、符号４００の領域に対して「床面」という意味付けはなされない。 In step S302, the data analysis unit 112 divides the shooting scene into small areas. Specifically, the data analysis unit 112 divides the photographic scene into small regions adjacent to pixels having similar extracted feature amounts. For example, a set of adjacent pixels having similar color information and differential information is divided into one small region. For a method of dividing an image into a plurality of regions based on color information, see, for example, “Pedro F. Felzenszwalb, et al.,“ Efficient Graph-Based Image Segmentation ”, IJCV, Vol. 59, No. 2, September 2004. And the like. As a result, an area having the same color information as an area indicated by reference numeral 400 in FIG. 4A is divided as one area. However, in step S302, for example, the meaning of “floor surface” is not given to the region denoted by reference numeral 400.

ステップＳ３０３では、データ解析部１１２は、カメラパラメータを推定する。カメラパラメータを推定する方法については、例えば、「R. Y. Tsai，“A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV camera and lenses”，IEEE Journal of Robotics and Automation，Vol.RA-3，No.4，pp.323-344，1987」や、簡易な方法としては「M. Hodlmoser，et al.：Camera Auto-Calibration Using Pedestrians and Zebra-Crossings，ICCV-WS(Visual Surveillance) 2011，pp.1697-1704，2011-11」等に記載されている。 In step S303, the data analysis unit 112 estimates camera parameters. For a method for estimating camera parameters, see, for example, “RY Tsai,“ A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV camera and lenses ”, IEEE Journal of Robotics and Automation, Vol. RA-3, No.4, pp.323-344, 1987 ”and“ M. Hodlmoser, et al .: Camera Auto-Calibration Using Pedestrians and Zebra-Crossings, ICCV-WS (Visual Surveillance) ” 2011, pp.1697-1704, 2011-11 ".

ステップＳ３０４では、データ解析部１１２は、小領域にラベル情報を付与するラベリング処理を実行する。ラベリング処理は、小領域をさらに意味的にも同じ領域として解釈可能な領域として結合する処理と、その領域に対してコンテキスト（意味）を付与する処理との総称である。結合された領域およびその領域に付与された意味は、ラベルと呼ばれる。図４（ｂ）は、ラベリング処理後のラベリング画像を表している。例えば、前記した同じ特徴量をもつ領域を識別することによって「床面」というラベルが付与される。同様に、図４（ｂ）には、壁、窓、棚といったラベルが付与される。ラベリング処理については、例えば、「D. Hoiem, et al.，“Recovering Surface Layout from an Image”，IJCV，Vol.75，pp.151-172，2007」に記載されている。 In step S304, the data analysis unit 112 executes a labeling process for assigning label information to the small area. The labeling process is a collective term for a process of combining small areas as areas that can be interpreted more semantically as the same area, and a process of giving a context (meaning) to the area. The combined area and the meaning given to the area are called labels. FIG. 4B shows a labeling image after the labeling process. For example, the label “floor surface” is given by identifying the region having the same feature amount. Similarly, in FIG. 4B, labels such as walls, windows, and shelves are given. The labeling process is described in, for example, “D. Hoiem, et al.,“ Recovering Surface Layout from an Image ”, IJCV, Vol. 75, pp. 151-172, 2007”.

ステップＳ３０５では、データ解析部１１２は、センサ情報を加味した処理を実行する。センサ情報は、撮影装置２の向きを取得する方位センサ、撮影環境の明るさを取得する照度センサ、撮影装置２の設置された場所を取得するＧＰＳ、カメラの傾きや揺れ等を取得する加速度センサ、等から得られる情報である。 In step S <b> 305, the data analysis unit 112 executes a process that considers sensor information. The sensor information includes an orientation sensor that acquires the orientation of the imaging device 2, an illuminance sensor that acquires the brightness of the imaging environment, a GPS that acquires the location where the imaging device 2 is installed, and an acceleration sensor that acquires the tilt and shake of the camera. , Etc.

ここで、センサ情報の中で方位センサを加味して処理した画像の一例について、図５（ａ）、図５（ｂ）を用いて説明する。図５（ａ）は、図４（ａ）に示したシーンを平面図で表している。また、図５（ｂ）は、図４（ａ）のカメラデータの画像に対して方位センサ情報を加味した画像を表している。
図５（ａ）に示すように、カメラ５０（撮影装置２）は、破線矢印で示すカメラ５０の光軸５３の方向に向けられている。図５（ａ）では、実線矢印によって示される紙面鉛直下方向が北を表している。これら破線矢印と実線矢印とのなす角θは方位センサによって取得することができる。年月日時刻を仮定したとき、太陽の方向と一点鎖線矢印で示す日光の照射方向５４が決定できるので、窓５１からの日射が推定できる。そのため、棚５２ａ、５２ｂにより発生する影の影響を決定することができる。その結果、図５（ｂ）に示すように、窓５１からの日射５５や影５６ａ、５６ｂが推定できる。つまり、データ解析部１１２は、方位センサで検出される撮影装置２の向きに応じて、カメラデータを補正することができる。 Here, an example of an image processed by taking the direction sensor into consideration in the sensor information will be described with reference to FIGS. 5 (a) and 5 (b). FIG. 5A shows the scene shown in FIG. 4A in a plan view. FIG. 5B shows an image in which the direction sensor information is added to the camera data image of FIG.
As shown in FIG. 5A, the camera 50 (imaging device 2) is oriented in the direction of the optical axis 53 of the camera 50 indicated by a dashed arrow. In FIG. 5A, the vertical downward direction on the paper surface indicated by the solid arrow represents the north. An angle θ formed by the broken line arrow and the solid line arrow can be acquired by an azimuth sensor. Assuming the year, month, day and time, since the sunlight direction 54 indicated by the sun direction and the one-dot chain line arrow can be determined, the solar radiation from the window 51 can be estimated. Therefore, it is possible to determine the influence of shadows generated by the shelves 52a and 52b. As a result, as shown in FIG. 5B, the solar radiation 55 and the shadows 56a and 56b from the window 51 can be estimated. That is, the data analysis unit 112 can correct the camera data according to the orientation of the imaging device 2 detected by the direction sensor.

ステップＳ３０６では、データ解析部１１２は、検索クエリを生成する。
検索クエリの一例について図６を用いて説明する。図６に示す検索クエリ６３の「ｓ０１」は、シーンパターン６１が「Ａ」、センサ情報６２の加速度センサの値「ａ０１」、方位センサの値「ｄ０１」、ＧＰＳの値「ｇ０１」、照度センサの値「ｉ０１」を組として作成される。シーンパターン６１は、ラベリング処理結果（図４（ｂ）参照）とカメラパラメータとを組み合わせた情報であり、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、・・のように分類される。ラベリング処理結果を示すラベルの情報は、図４（ｂ）に示したラベリング画像のような情報に基づいて、ラベルの配置が最も類似したものを探索するために利用される。また、カメラパラメータは、一般的に数値もしくは行列で与えられるため、類似したデータを探索するために利用される。 In step S306, the data analysis unit 112 generates a search query.
An example of the search query will be described with reference to FIG. “S01” in the search query 63 shown in FIG. 6 is that the scene pattern 61 is “A”, the acceleration sensor value “a01”, the direction sensor value “d01”, the GPS value “g01”, and the illuminance sensor in the sensor information 62. Value “i01” as a set. The scene pattern 61 is information obtained by combining the labeling processing result (see FIG. 4B) and camera parameters, and is classified as “A”, “B”, “C”, “D”,. The The label information indicating the labeling processing result is used for searching for the most similar label arrangement based on information such as the labeling image shown in FIG. Further, since the camera parameter is generally given as a numerical value or a matrix, it is used to search for similar data.

ここで、検索クエリにラベルの情報を含める効果について、さらに説明する。
一般的には比較対象となる画像と記憶済の画像との類似度を算出する場合、画像そのものを直接的に比較する方法がある。具体的には、正規化相関等の相関演算が用いられる。しかし、類似度を算出する場合には、ラベルの情報を中間データとして用い、ラベル同士を比較する方が効果的である。その理由は、カメラパラメータが同じで、物の配置（例えば、什器の配置等）が同じであっても、カメラデータ同士の比較では、色やパターンの違いによって、別なシーンパターンと判定されてしまうという問題を解決することができるためである。 Here, the effect of including label information in the search query will be further described.
Generally, when calculating the similarity between an image to be compared and a stored image, there is a method of directly comparing the images themselves. Specifically, correlation calculation such as normalized correlation is used. However, when calculating the similarity, it is more effective to use label information as intermediate data and compare the labels. The reason for this is that even if the camera parameters are the same and the arrangement of objects (for example, the arrangement of fixtures) is the same, the comparison between the camera data determines that the scene pattern is different due to the difference in color and pattern. This is because it is possible to solve this problem.

また、ラベルに含まれる領域の意味は、それぞれのラベルに関連する設定パラメータを選択するために役立てることができる。例えば、明るい領域は白とびの原因になるため、一律にゲイン補正をかければよいことが知られている。明るい領域が窓の場合であれば、屋外を示す情報として重要であるので、ダイナミックレンジを高く設定する必要がある。また、明るい領域が白い壁の場合であれば、監視対象としては重要度が低いため単純な方法で調整する。このように、領域の意味によって設定パラメータを変えることができる。 Further, the meaning of the area included in the label can be used to select a setting parameter related to each label. For example, it is known that a bright region may cause overexposure, so that it is only necessary to perform gain correction uniformly. If the bright area is a window, it is important as information indicating the outdoors, so it is necessary to set a high dynamic range. If the bright area is a white wall, the importance is low as a monitoring target, and adjustment is performed by a simple method. Thus, the setting parameter can be changed depending on the meaning of the region.

次に、図２のステップＳ２０５における、「設定パラメータの取得」に関する詳細について、図７（ａ）、図７（ｂ）を用いて説明する。図７（ａ）は、図５（ｂ）に示した方位センサ情報を加味した画像と同じ画像を表しているので説明を省略する。図７（ｂ）は、図７（ａ）の画像についてパラメータを設定した後の設定パラメータを示す画像を表している。 Next, details of “setting parameter acquisition” in step S205 of FIG. 2 will be described with reference to FIGS. 7A and 7B. FIG. 7A shows the same image as the image with the orientation sensor information shown in FIG. FIG. 7B shows an image showing the setting parameters after setting the parameters for the image of FIG.

図７（ｂ）では、窓からの日射５５（図７（ａ）参照）の領域では、その日射の影響を低減するための逆行補正を施す設定が示されている。また、影５６ａ，５６ｂ（図７（ａ）参照）の領域では、コントラストが低下するため、コントラスト強調を施す設定が示されている。また、壁面（奥）４０１（図７（ａ）参照）の領域では、人が壁面を移動しないという前提において、その壁面の上部では認識機能をＯＦＦとする設定が示されている。これらの設定パラメータは、他の撮影装置２から設定パターンＤＢ１３１に登録された情報も参照して、取得される。一般的にこのような設定をユーザの試行錯誤の上で個々に設定するところを、設定パターンＤＢ１３１を参照することで容易に設定することが可能となり、設定作業の負荷を低減する効果がある。 FIG. 7B shows a setting for performing retrograde correction to reduce the influence of solar radiation in the region of solar radiation 55 from the window (see FIG. 7A). Further, in the areas of the shadows 56a and 56b (see FIG. 7A), since the contrast is lowered, a setting for performing contrast enhancement is shown. In the region of the wall surface (back) 401 (see FIG. 7A), the setting that turns off the recognition function is shown above the wall surface on the assumption that a person does not move the wall surface. These setting parameters are acquired with reference to information registered in the setting pattern DB 131 from other imaging apparatuses 2. In general, it is possible to easily set such settings by referring to the setting pattern DB 131 in accordance with the trial and error of the user, and there is an effect of reducing the setting work load.

（登録処理）
次に、設定パターンＤＢ１３１の撮影条件情報１３２および設定パラメータ情報１３３に、新しい撮影条件および設定パラメータを登録するときの、設定パターン登録部１２１の処理の詳細について説明する。
まず、設定パターン登録部１２１の設定パターン生成部１２２は、カメラデータを取得し、図３に示すステップＳ３０１〜Ｓ３０５の処理を実行する。その結果、設定パターン生成部１２２は、シーンパターンおよびセンサ情報で形成される撮影条件を生成する。また、設定パターン生成部１２２は、図３に示すステップＳ３０３の「カメラパラメータの推定」において取得したカメラパラメータに基づいて、生成した撮影条件に関連付けられる設定パラメータを取得している。 (registration process)
Next, details of processing of the setting pattern registration unit 121 when new shooting conditions and setting parameters are registered in the shooting condition information 132 and the setting parameter information 133 of the setting pattern DB 131 will be described.
First, the setting pattern generation unit 122 of the setting pattern registration unit 121 acquires camera data and executes the processes of steps S301 to S305 illustrated in FIG. As a result, the setting pattern generation unit 122 generates a shooting condition formed by the scene pattern and sensor information. Further, the setting pattern generation unit 122 acquires setting parameters associated with the generated shooting conditions based on the camera parameters acquired in “camera parameter estimation” in step S303 shown in FIG.

ここで、登録処理部１２３は、撮影条件および設定パラメータ（以降では、撮影条件および設定パラメータの組を設定パターンと称す。）を新たに記憶部１３に記憶するため、まず記憶しようとしている設定パターンに同じ記憶済の設定パターンが設定パターンＤＢ１３１に記憶されていないことを検索する。この理由は、撮影条件設定装置１が、ネットワーク３を介して複数の撮影装置２と接続しているので、設定パターンを新たに記憶するときに、他の撮影装置２によって新たな設定パターンが記憶されてしまっていないことを確認するためである。設定パターンが記憶されていない場合、登録処理部１２３は、新しい設定パターンを設定パターンＤＢ１３１に記憶する。つまり、登録処理部１２３は、新しい撮影条件を自身の発行した管理番号とともに撮影条件情報１３２に記憶し、新しい設定パラメータを管理番号とともに設定パラメータ情報１３３に記憶する。
なお、登録する設定パターンは、撮影者によって十分吟味され、多くのユーザが納得できるように設定されたものであることが好ましい。 Here, the registration processing unit 123 newly stores shooting conditions and setting parameters (hereinafter, a set of shooting conditions and setting parameters is referred to as a setting pattern) in the storage unit 13. It is searched that the same stored setting pattern is not stored in the setting pattern DB 131. This is because, since the shooting condition setting device 1 is connected to a plurality of shooting devices 2 via the network 3, when a new setting pattern is stored, a new setting pattern is stored by another shooting device 2. This is to confirm that it has not been done. When the setting pattern is not stored, the registration processing unit 123 stores the new setting pattern in the setting pattern DB 131. That is, the registration processing unit 123 stores the new shooting condition together with the management number issued by itself in the shooting condition information 132, and stores the new setting parameter together with the management number in the setting parameter information 133.
It should be noted that the setting pattern to be registered is preferably set so that it can be fully understood by the photographer and understood by many users.

設定パターンは、季節、時刻のいずれかまたは双方に応じて異なる場合がある。例えば、日照角度や時間帯等に応じて設定パターンＤＢ１３１に記憶されている撮影条件および設定パラメータを変更することで、カメラデータの品質を常に維持することができる。なお、設定パターンは、撮影条件設定装置１の設定パターンＤＢ１３１に記憶される情報を設定パターン生成部１２２が書き換える（変更する）ことによって、ネットワーク３に接続している撮影装置２に、その変更を反映することができる。 The setting pattern may differ depending on either or both of the season and time. For example, the quality of camera data can always be maintained by changing the shooting conditions and setting parameters stored in the setting pattern DB 131 according to the sunshine angle, time zone, and the like. Note that the setting pattern is changed in the photographing apparatus 2 connected to the network 3 by the setting pattern generation unit 122 rewriting (changing) information stored in the setting pattern DB 131 of the photographing condition setting apparatus 1. Can be reflected.

また、登録処理部１２３は、非常に類似した設定パターンが設定パターンＤＢ１３１に既に記憶されている場合、類似している複数の撮影条件および設定パラメータを統合（平均化）したり、集約したりする（集合としてまとめる）ような機能を備えていてもよい。 Further, when a very similar setting pattern is already stored in the setting pattern DB 131, the registration processing unit 123 integrates (averages) or aggregates a plurality of similar shooting conditions and setting parameters. It may have a function (collected as a set).

本実施形態では、設定パターンＤＢ１３１に設定パターンを登録する場合、撮影条件設定装置１は、撮影装置２からカメラデータを取得し、登録処理部１２３が動作して、自動的に登録されるように説明した。それに対して、ユーザが、撮影条件設定装置１に接続されている不図示の入力装置（マウスやキーボード）を用いて、直接設定パターンＤＢ１３１にアクセスして設定パターンを登録しても構わない。 In this embodiment, when registering a setting pattern in the setting pattern DB 131, the imaging condition setting device 1 acquires camera data from the imaging device 2, and the registration processing unit 123 operates to automatically register the setting data. explained. On the other hand, the user may directly access the setting pattern DB 131 and register the setting pattern using an unillustrated input device (mouse or keyboard) connected to the photographing condition setting device 1.

以上、本実施形態の撮影条件設定装置１は、撮影装置２からカメラデータおよびセンサ情報を取得し、カメラデータについて特徴量を抽出して、小領域に分割し、小領域に対してラベリング処理を実行する。そして、撮影条件設定装置１は、カメラデータからカメラパラメータを推定し、ラベリング処理結果とカメラパタメータとセンサ情報とに基づいて検索クエリを生成する。また、撮影条件設定装置１は、撮影条件を記憶している撮影条件情報１３２と、撮影条件に関連付けられた設定パラメータを記憶している設定パラメータ情報１３３とを記憶している設定パターンＤＢ１３１を記憶部１３に記憶している。そして、撮影条件設定装置１は、検索クエリを用いて設定パターンＤＢ１３１を参照し、当該検索クエリに類似の撮影条件に関連付けられた設定パラメータを取得する。次に、撮影条件設定装置１は、取得した設定パラメータを撮影装置２に送信する。そして、撮影装置２は、受信した設定パラメータを自身に設定する。
そのため、撮影条件設定装置１は、撮影装置２について専門的な知識が無くとも、撮影環境に適した設定パラメータを容易に決定することができる。 As described above, the imaging condition setting device 1 according to the present embodiment acquires camera data and sensor information from the imaging device 2, extracts feature amounts from the camera data, divides the data into small regions, and performs labeling processing on the small regions. Run. Then, the imaging condition setting device 1 estimates camera parameters from the camera data, and generates a search query based on the labeling processing result, camera parameters, and sensor information. Further, the shooting condition setting device 1 stores a setting pattern DB 131 that stores shooting condition information 132 that stores shooting conditions and setting parameter information 133 that stores setting parameters associated with the shooting conditions. Stored in the unit 13. Then, the shooting condition setting device 1 refers to the setting pattern DB 131 using the search query, and acquires setting parameters associated with shooting conditions similar to the search query. Next, the imaging condition setting device 1 transmits the acquired setting parameters to the imaging device 2. Then, the imaging device 2 sets the received setting parameter to itself.
Therefore, the shooting condition setting device 1 can easily determine setting parameters suitable for the shooting environment without specialized knowledge of the shooting device 2.

また、撮影条件設定装置１のデータ解析部１１２は、気象サーバ等の外部サーバの情報を取得する機能を備え、リアルタイムに様々な撮影環境に即した撮影条件を設定してもよい。例えば、一時的にある地域が雨天となった場合、撮影映像の輝度が低下したり、雨等のノイズが混入したりすることがある。撮影条件設定装置１のデータ解析部１１２は、外部サーバから天候情報を取得し、天候情報に応じてカメラデータを補正することによって、素早く天候の変化に追従して設定パラメータを設定することができる。 In addition, the data analysis unit 112 of the imaging condition setting device 1 may have a function of acquiring information from an external server such as a weather server, and may set imaging conditions in accordance with various imaging environments in real time. For example, when a certain area is rained temporarily, the brightness of the captured image may be reduced or noise such as rain may be mixed. The data analysis unit 112 of the imaging condition setting device 1 can quickly set a setting parameter following a change in weather by acquiring weather information from an external server and correcting camera data according to the weather information. .

また、図２のステップＳ２０４において、検索クエリ６３を生成するとき、本実施形態では、シーンパターン６１およびセンサ情報６２を用いる場合について説明したが、シーンパターン６１のみ、またはセンサ情報６２のみを用いるようにしても構わない。シーンパターン６１のみを用いる場合には、センサ情報６２は不要となるので、図２のステップＳ２０２では、カメラデータのみを送信し、ステップＳ２０３では、ラベリング処理結果とカメラパタメータとに基づいて検索クエリを生成するればよい。 Further, in the present embodiment, when the search query 63 is generated in step S204 of FIG. 2, the case where the scene pattern 61 and the sensor information 62 are used has been described. However, only the scene pattern 61 or only the sensor information 62 is used. It doesn't matter. When only the scene pattern 61 is used, the sensor information 62 is not necessary. Therefore, in step S202 in FIG. 2, only the camera data is transmitted, and in step S203, a search query is performed based on the labeling process result and the camera parameter. Should be generated.

また、図３において、ステップＳ３０３とステップＳ３０４とは順番を入れ替えても構わない。 In FIG. 3, the order of step S303 and step S304 may be interchanged.

また、撮影条件設定装置１は、ネットワーク３に接続された複数の撮影装置２における撮影条件および設定パラメータの情報を記憶しているので、様々な撮影環境に適した設定パラメータを取得可能となり、撮影装置２の性能を十分に引き出すことが可能となる。
また、撮影装置２が車両や航空機等の移動体に搭載されている場合であっても、撮影条件設定装置１を適用することができる。 In addition, since the shooting condition setting device 1 stores information on shooting conditions and setting parameters in a plurality of shooting devices 2 connected to the network 3, it is possible to acquire setting parameters suitable for various shooting environments. The performance of the device 2 can be sufficiently extracted.
Moreover, even if the imaging device 2 is mounted on a moving body such as a vehicle or an aircraft, the imaging condition setting device 1 can be applied.

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも、説明したすべての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の変形例の構成に置き換えることが可能であり、ある実施形態の構成に他の変形例の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、処理部１１の各機能等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、処理部１１の各機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてもよい。 In addition, this invention is not limited to above-described embodiment, Various modifications are included. For example, the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described. Further, a part of the configuration of an embodiment can be replaced with the configuration of another modification, and the configuration of another modification can be added to the configuration of an embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of the embodiment.
Moreover, you may implement | achieve each function etc. of the process part 11 by hardware, for example by designing part or all with an integrated circuit. Each function of the processing unit 11 may be realized by software by interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files for realizing each function is stored in a recording device such as a memory, a hard disk, or a solid state drive (SSD), or a recording medium such as an IC card, an SD card, or a DVD (Digital Versatile Disc). can do.
In addition, the control lines and information lines are those that are considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. In practice, it may be considered that almost all configurations are connected to each other.

１撮影条件設定装置
２撮影装置
３ネットワーク
９撮影条件設定システム
１１処理部
１３記憶部
１４，２５通信部
２１撮影部
２２センサ情報取得部
２３パラメータ設定部
２４ラベリング処理部
５０カメラ
５３光軸
５５日射
６１シーンパターン
６２センサ情報
６３検索クエリ
１１１設定パターン検索部
１１２データ解析部
１１３撮影条件検索部
１１４パラメータ決定部
１２１設定パターン登録部
１２２設定パターン生成部
１２３登録処理部
１３１設定パターンＤＢ
１３２撮影条件情報
１３３パラメータ情報
４０１，４０２壁
４０３，５１窓
４０４ａ，４０４ｂ，５２ａ，５２ｂ棚 DESCRIPTION OF SYMBOLS 1 Imaging condition setting apparatus 2 Imaging apparatus 3 Network 9 Imaging condition setting system 11 Processing part 13 Storage part 14, 25 Communication part 21 Imaging part 22 Sensor information acquisition part 23 Parameter setting part 24 Labeling process part 50 Camera 53 Optical axis 55 Solar radiation 61 Scene pattern 62 Sensor information 63 Search query 111 Setting pattern search unit 112 Data analysis unit 113 Imaging condition search unit 114 Parameter determination unit 121 Setting pattern registration unit 122 Setting pattern generation unit 123 Registration processing unit 131 Setting pattern DB
132 Shooting condition information 133 Parameter information 401, 402 Wall 403, 51 Window 404a, 404b, 52a, 52b Shelf

Claims

撮影装置によって撮影された撮影シーンにラベリング処理を実行することによって求めたラベリング処理結果を少なくとも含む撮影条件と前記撮影シーンの撮影のために前記撮影装置に設定された設定パラメータとを関連付けて記憶する記憶部と、
前記撮影装置によって撮影された撮影シーンのカメラデータを取得し、前記カメラデータに対してラベリング処理を実行し、前記カメラデータからカメラパラメータを推定し、前記ラベリング処理の結果と前記カメラパラメータとに基づいて検索クエリを生成するデータ解析部と、
前記検索クエリを用いて前記記憶部を参照し、当該検索クエリに類似の前記撮影条件に関連付けられた前記設定パラメータを取得する撮影条件検索部と、
を備え、
前記データ解析部は、天候情報を取得し、前記天候情報に応じて前記カメラデータを補正することを特徴とする撮影条件設定装置。 A shooting condition including at least a labeling process result obtained by executing a labeling process on a shooting scene shot by the shooting apparatus is stored in association with a setting parameter set in the shooting apparatus for shooting the shooting scene. A storage unit;
Based on the result of the labeling process and the camera parameter, the camera data of the shooting scene photographed by the photographing device is acquired, the labeling process is executed on the camera data, the camera parameter is estimated from the camera data. A data analysis unit that generates a search query,
An imaging condition search unit that refers to the storage unit using the search query and acquires the setting parameter associated with the imaging condition similar to the search query;
Equipped with a,
The data analysis unit acquires weather information and corrects the camera data according to the weather information .

撮影装置によって撮影された撮影シーンにラベリング処理を実行することによって求めたラベリング処理結果を少なくとも含む撮影条件と前記撮影シーンの撮影のために前記撮影装置に設定された設定パラメータとを関連付けて記憶する記憶部と、
撮影装置によって撮影された撮影シーンのカメラデータおよび前記撮影装置に備えられるセンサによって検出されるセンサ情報を取得し、前記カメラデータに対してラベリング処理を実行し、前記カメラデータからカメラパラメータを推定し、前記ラベリング処理の結果と前記カメラパラメータと前記センサ情報とに基づいて検索クエリを生成するデータ解析部と、
前記検索クエリを用いて前記記憶部を参照し、当該検索クエリに類似の前記撮影条件に関連付けられた前記設定パラメータを取得する撮影条件検索部と、
を備え、
前記データ解析部は、天候情報を取得し、前記天候情報に応じて前記カメラデータを補正することを特徴とする撮影条件設定装置。 A shooting condition including at least a labeling process result obtained by executing a labeling process on a shooting scene shot by the shooting apparatus is stored in association with a setting parameter set in the shooting apparatus for shooting the shooting scene. A storage unit;
Camera data of a shooting scene shot by a shooting device and sensor information detected by a sensor provided in the shooting device are acquired, a labeling process is performed on the camera data, and camera parameters are estimated from the camera data. A data analysis unit that generates a search query based on the result of the labeling process, the camera parameter, and the sensor information;
An imaging condition search unit that refers to the storage unit using the search query and acquires the setting parameter associated with the imaging condition similar to the search query;
Equipped with a,
The data analysis unit acquires weather information and corrects the camera data according to the weather information .

前記撮影条件設定装置は、前記取得した前記設定パラメータを前記撮影装置に送信することを特徴とする請求項１に記載の撮影条件設定装置。 The imaging condition setting device according to claim 1, wherein the imaging condition setting device transmits the acquired setting parameter to the imaging device.

前記撮影条件設定装置は、前記取得した前記設定パラメータを前記撮影装置に送信することを特徴とする請求項２に記載の撮影条件設定装置。 The imaging condition setting device according to claim 2, wherein the imaging condition setting device transmits the acquired setting parameter to the imaging device.

前記カメラデータを取得し、前記カメラデータに対してラベリング処理を実行し、前記カメラデータからカメラパラメータを推定し、前記ラベリング処理の結果と前記カメラパラメータに基づいて前記撮影条件を生成する設定パターン生成部
を備えることを特徴とする請求項１に記載の撮影条件設定装置。 Setting pattern generation that acquires the camera data, executes a labeling process on the camera data, estimates camera parameters from the camera data, and generates the shooting conditions based on the result of the labeling process and the camera parameters The imaging condition setting device according to claim 1, further comprising a unit.

前記カメラデータおよびセンサ情報を取得し、前記カメラデータに対してラベリング処理を実行し、前記カメラデータからカメラパラメータを推定し、前記ラベリング処理の結果と前記カメラパラメータと前記センサ情報とに基づいて前記撮影条件を生成する設定パターン生成部を備えること
を特徴とする請求項２に記載の撮影条件設定装置。 Obtaining the camera data and sensor information, performing a labeling process on the camera data, estimating camera parameters from the camera data, and based on the result of the labeling process, the camera parameters, and the sensor information The imaging condition setting device according to claim 2, further comprising a setting pattern generation unit that generates imaging conditions.

前記設定パターン生成部は、季節、時刻のいずれかまたは双方に応じて、前記記憶部の前記撮影条件および前記設定パラメータを変更する
ことを特徴とする請求項５または請求項６に記載の撮影条件設定装置。 The setting pattern generator, season, depending on either or both of the time, or claim 5, characterized in that for changing the photographing condition and the setting parameters of the storage unit photographing according to claim 6 Condition setting device.

撮影装置によって撮影された撮影シーンにラベリング処理を実行することによって求めたラベリング処理結果を少なくとも含む撮影条件と前記撮影シーンの撮影のために前記撮影装置に設定された設定パラメータとを関連付けて記憶する記憶部と、
撮影装置によって撮影された撮影シーンのカメラデータおよび前記撮影装置に備えられるセンサによって検出されるセンサ情報を取得し、前記カメラデータに対してラベリング処理を実行し、前記カメラデータからカメラパラメータを推定し、前記ラベリング処理の結果と前記カメラパラメータと前記センサ情報とに基づいて検索クエリを生成するデータ解析部と、
前記検索クエリを用いて前記記憶部を参照し、当該検索クエリに類似の前記撮影条件に関連付けられた前記設定パラメータを取得する撮影条件検索部と、
を備え、
前記データ解析部は、前記センサ情報の一つである方位センサで検出される前記撮影装置の向きに応じて前記カメラデータを補正することを特徴とする撮影条件設定装置。 A shooting condition including at least a labeling process result obtained by executing a labeling process on a shooting scene shot by the shooting apparatus is stored in association with a setting parameter set in the shooting apparatus for shooting the shooting scene. A storage unit;
Camera data of a shooting scene shot by a shooting device and sensor information detected by a sensor provided in the shooting device are acquired, a labeling process is performed on the camera data, and camera parameters are estimated from the camera data. A data analysis unit that generates a search query based on the result of the labeling process, the camera parameter, and the sensor information;
An imaging condition search unit that refers to the storage unit using the search query and acquires the setting parameter associated with the imaging condition similar to the search query;
Equipped with a,
The imaging condition setting device , wherein the data analysis unit corrects the camera data according to a direction of the imaging device detected by an orientation sensor that is one of the sensor information .

前記撮影条件設定装置は、前記取得した前記設定パラメータを前記撮影装置に送信することを特徴とする請求項８に記載の撮影条件設定装置。 The imaging condition setting device according to claim 8 , wherein the imaging condition setting device transmits the acquired setting parameter to the imaging device.

前記カメラデータおよびセンサ情報を取得し、前記カメラデータに対してラベリング処理を実行し、前記カメラデータからカメラパラメータを推定し、前記ラベリング処理の結果と前記カメラパラメータと前記センサ情報とに基づいて前記撮影条件を生成する設定パターン生成部を備えること
を特徴とする請求項８に記載の撮影条件設定装置。 Obtaining the camera data and sensor information, performing a labeling process on the camera data, estimating camera parameters from the camera data, and based on the result of the labeling process, the camera parameters, and the sensor information The imaging condition setting apparatus according to claim 8 , further comprising a setting pattern generation unit that generates imaging conditions.

前記設定パターン生成部は、季節、時刻のいずれかまたは双方に応じて、前記記憶部の前記撮影条件および前記設定パラメータを変更する
ことを特徴とする請求項１０に記載の撮影条件設定装置。 The imaging condition setting device according to claim 10 , wherein the setting pattern generation unit changes the imaging condition and the setting parameter of the storage unit according to one or both of a season and a time.

撮影装置と接続される撮影条件設定装置の撮影条件設定方法であって、
前記撮影条件設定装置は、
撮影装置によって撮影された撮影シーンにラベリング処理を実行することによって求めたラベリング処理結果を少なくとも含む撮影条件と前記撮影シーンの撮影のために前記撮影装置に設定された設定パラメータとを関連付けて記憶する記憶部を備えており、
前記撮影装置によって撮影された撮影シーンのカメラデータを取得し、前記カメラデータに対してラベリング処理を実行し、前記カメラデータからカメラパラメータを推定し、前記ラベリング処理の結果と前記カメラパラメータとに基づいて検索クエリを生成するデータ解析ステップと、
前記検索クエリを用いて前記記憶部を参照し、当該検索クエリに類似の前記撮影条件に関連付けられた前記設定パラメータを取得する撮影条件検索ステップと、
を実行し、
前記データ解析ステップでは、天候情報を取得し、前記天候情報に応じて前記カメラデータを補正することを特徴とする撮影条件設定方法。 A shooting condition setting method of a shooting condition setting device connected to a shooting device,
The photographing condition setting device includes:
A shooting condition including at least a labeling process result obtained by executing a labeling process on a shooting scene shot by the shooting apparatus is stored in association with a setting parameter set in the shooting apparatus for shooting the shooting scene. It has a storage unit,
Based on the result of the labeling process and the camera parameter, the camera data of the shooting scene photographed by the photographing device is acquired, the labeling process is executed on the camera data, the camera parameter is estimated from the camera data. A data analysis step to generate a search query
An imaging condition search step of referring to the storage unit using the search query and acquiring the setting parameter associated with the imaging condition similar to the search query;
The execution,
In the data analysis step, weather information is acquired, and the camera data is corrected according to the weather information .

前記撮影条件設定装置は、前記取得した前記設定パラメータを前記撮影装置に送信することを特徴とする請求項１２に記載の撮影条件設定方法。 The imaging condition setting method according to claim 12 , wherein the imaging condition setting device transmits the acquired setting parameter to the imaging device.

前記撮影条件設定装置は、
前記カメラデータを取得し、前記カメラデータに対してラベリング処理を実行し、前記カメラデータからカメラパラメータを推定し、前記ラベリング処理の結果と前記カメラパラメータに基づいて前記撮影条件を生成する設定パターン生成ステップ
を実行することを特徴とする請求項１２または請求項１３に記載の撮影条件設定方法。 The photographing condition setting device includes:
Setting pattern generation that acquires the camera data, executes a labeling process on the camera data, estimates camera parameters from the camera data, and generates the shooting conditions based on the result of the labeling process and the camera parameters The imaging condition setting method according to claim 12 or 13, wherein the step is executed.