JP7508271B2 - IMAGE IDENTIFICATION SYSTEM AND IMAGE IDENTIFICATION METHOD - Google Patents
IMAGE IDENTIFICATION SYSTEM AND IMAGE IDENTIFICATION METHOD Download PDFInfo
- Publication number
- JP7508271B2 JP7508271B2 JP2020091058A JP2020091058A JP7508271B2 JP 7508271 B2 JP7508271 B2 JP 7508271B2 JP 2020091058 A JP2020091058 A JP 2020091058A JP 2020091058 A JP2020091058 A JP 2020091058A JP 7508271 B2 JP7508271 B2 JP 7508271B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- camera
- captured
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 124
- 239000003550 marker Substances 0.000 claims description 60
- 238000013461 design Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 96
- 238000004891 communication Methods 0.000 description 25
- 238000010801 machine learning Methods 0.000 description 24
- 230000001133 acceleration Effects 0.000 description 19
- 238000005259 measurement Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 102220601575 Putative uncharacterized protein FLJ42102_S21A_mutation Human genes 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 102220601578 Putative uncharacterized protein FLJ42102_S69A_mutation Human genes 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000946 synaptic effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
本発明の実施形態は、画像特定システムおよび画像特定方法に関する。 Embodiments of the present invention relate to an image identification system and an image identification method.
従来、画像により所定の情報の漏洩を防止する技術がある。例えば、美術館などの展示物の盗撮妨害を目的とした技術が知られている。また、飛行ロボットに取り付けたカメラで監視場所を撮影するときに許可された場所以外での撮影を禁止する技術が知られている。また、撮影許可または撮影禁止の対象物を自動で判定し、この対象物が写る画像の保存可否を制御する技術が知られている。また、撮影が禁止されている部分が写っている場合にマスク処理を施す技術が知られている。 Conventionally, there are techniques for preventing the leakage of specific information using images. For example, there is known a technique aimed at preventing the surreptitious photography of exhibits in museums, etc. There is also known a technique for prohibiting photography in places other than permitted when photographing a surveillance location with a camera attached to an aerial robot. There is also known a technique for automatically determining which objects are permitted or prohibited from being photographed, and controlling whether or not images in which these objects appear can be saved. There is also known a technique for applying a masking process when an area that is prohibited from being photographed is included in the image.
撮影許可または撮影禁止の対象物を自動で判定し、この対象物が写る画像の保存可否を制御する技術では、撮影者に秘匿情報を含む対象物の場所を知らしめてしまうおそれがある。例えば、撮影者が対象物を肉眼で確認しただけでは、それが秘匿情報を含むものであることが分からなくても、その画像の保存が拒否されることにより、それが秘匿情報を含むものであることが分かってしまう。また、撮影禁止の対象物が写っている部分が判別できなくなるように画像にモザイク処理またはマスク処理を行っても、その処理を行った部分に対象物があることが分かってしまう。また、撮影禁止の対象物が写った画像が外部に持ち出されないように、人手により画像を選別して除外することもできるが、見落としなどのミスが発生するおそれがある。なお、撮影方位および撮影位置などの撮影情報に基づいて、撮影された画像に写っている被写体の名称を抽出する技術もあるが、被写体の秘匿性を保つための技術ではない。 In a technology that automatically determines whether an object is permitted or prohibited from being photographed, and controls whether an image showing this object can be saved, there is a risk that the location of the object containing confidential information may be revealed to the photographer. For example, even if the photographer does not know that the object contains confidential information just by checking it with the naked eye, the fact that the image contains confidential information will be revealed if the image is refused to be saved. In addition, even if the image is pixelated or masked so that the part showing the prohibited object cannot be identified, it will be obvious that the object is in the processed part. In addition, images can be manually selected and removed to prevent images showing prohibited objects from being taken outside, but there is a risk of overlooking or other mistakes. There is also a technology that extracts the name of the object shown in a photographed image based on shooting information such as the shooting direction and shooting position, but this is not a technology for maintaining the confidentiality of the subject.
本発明の実施形態は、このような事情を考慮してなされたもので、撮影制限の対象となっている対象部分が写った画像を正確に選別し、その画像が外部に漏洩されてしまうことを抑制することができる画像特定技術を提供することを目的とする。 The embodiment of the present invention has been made in consideration of these circumstances, and aims to provide an image identification technology that can accurately select images that include target areas that are subject to photography restrictions, and prevent those images from being leaked to the outside.
本発明の実施形態に係る画像特定システムは、移動可能な端末に搭載され、画像を撮影するカメラと、前記カメラによる前記画像の撮影時の位置を特定可能な位置情報を取得する位置情報取得部と、前記カメラによる前記画像の撮影時の方向を特定可能な方向情報を取得する方向情報取得部と、前記カメラによる前記画像の撮影時の画角を特定可能な画角情報を取得する画角情報取得部と、前記位置情報と前記方向情報と前記画角情報とを含む撮影情報を前記画像に対応付けて記録する撮影情報記録部と、を備え、前記撮影情報に基づいて、撮影制限の対象となっている対象部分が写った前記画像を公開の対象から除外する。 An image identification system according to an embodiment of the present invention is mounted on a mobile terminal and comprises a camera that captures images, a position information acquisition unit that acquires position information capable of identifying the position at which the image was captured by the camera, a direction information acquisition unit that acquires directional information capable of identifying the direction at which the image was captured by the camera, an angle of view information acquisition unit that acquires angle of view information capable of identifying the angle of view at which the image was captured by the camera, and a shooting information recording unit that records shooting information including the position information, the directional information, and the angle of view information in association with the image, and excludes images that include target areas that are subject to shooting restrictions from being made public based on the shooting information .
本発明の実施形態により、撮影制限の対象となっている対象部分が写った画像を正確に選別し、その画像が外部に漏洩されてしまうことを抑制することができる画像特定技術が提供される。 Embodiments of the present invention provide an image identification technology that can accurately select images that include areas subject to photography restrictions and prevent those images from being leaked to the outside.
（第１実施形態）
以下、図面を参照しながら、画像特定システムおよび画像特定方法の実施形態について詳細に説明する。まず、第１実施形態の画像特定システムおよび画像特定方法について図１から図１５を用いて説明する。
First Embodiment
Hereinafter, embodiments of an image identification system and an image identification method will be described in detail with reference to the drawings. First, an image identification system and an image identification method according to a first embodiment will be described with reference to FIGS.
図１の符号１は、第１実施形態の画像特定システムである。この画像特定システム１は、作業現場に居る作業者Ｗが所持する現場端末２と、作業者Ｗの監視または支援を行う管理者Ｍが扱う管理コンピュータ３とを備える。
本実施形態の作業現場としては、発電プラント、化学プラント、工場などがある。これらの作業現場には、機密に関する情報または忌避すべき情報などを含む秘匿情報が管理されている場合がある。秘匿情報には、この管理エリア内に設けられる施設または機器に関する情報が含まれる。例えば、対象部分としての監視カメラなどの対象機器４（図４参照）の設置場所などの情報が含まれる。 Worksites in this embodiment include power plants, chemical plants, factories, and the like. These worksites may manage confidential information, including confidential information or information to be avoided. The confidential information includes information about facilities or equipment installed within this management area. For example, it includes information such as the installation location of target equipment 4 (see FIG. 4), such as a surveillance camera as the target part.
保安上のリスク低減または技術情報の漏洩防止を目的として、秘匿情報に関するものを管理エリア内の所定の撮影場所にて撮影したときに、その画像を管理エリア外へ持ち出すことを禁止している場合がある。特に、撮影機材を持ち出す際には、内部メモリをチェックして情報管理をしている。 In order to reduce security risks or prevent leaks of technical information, when images related to confidential information are taken at designated locations within a controlled area, it may be prohibited to take those images outside the controlled area. In particular, when taking out filming equipment, the internal memory is checked to manage the information.
しかしながら、作業者Ｗが作業現場にて点検作業などを行っているときに、現場端末２で撮影した画像に秘匿情報に関するものが写り込んでしまう場合がある。そこで、画像特定システム１では、管理コンピュータ３を用いて、秘匿情報に関するものが写っている画像ファイルと、秘匿情報に関するものが写っていない画像ファイルとを選別（スクリーニング）する。そして、秘匿情報に関するものが写っている画像ファイルを公開の対象から除外し、秘匿情報に関するものが写っていない画像のみを他者に公開できるようにする。
However, when worker W is performing an inspection task at a work site, there are cases where confidential information is captured in the image captured by the on-
管理コンピュータ３は、画像をチェックするチェックエリアに設けられる。そして、管理者Ｍが管理コンピュータ３を操作して、画像ファイルの選別を行う。なお、管理者Ｍを置かずに管理コンピュータ３が自動的に画像ファイルの選別をしても良い。
The
なお、本実施形態では、撮影制限の対象（非公開の対象）となっている対象部分としての対象機器４を監視カメラとして例示しているが、その他の態様であっても良い。例えば、対象部分としての対象機器４は、計器でも良いし、操作スイッチでも良いし、バルブでも良いし、配管でも良いし、装置でも良いし、センサでも良い。
In this embodiment, the
また、本実施形態では、対象部分として対象機器４を例示しているが、対象部分は建物の所定の部分、例えば、窓、扉、壁、天井、床、通路、壁の開口部、室内空間の一部の範囲であっても良い。また、巨大な１つの装置の一部が対象部分であっても良い。さらに、１つの装置の複数箇所が対象部分であっても良い。
In addition, in this embodiment, the
画像特定システム１では、対象機器４の位置が予め特定されている。そして、現場端末２の位置と撮影方向と画角とに基づいて、撮影された画像に対象機器４が写っているか否かを管理コンピュータ３により判定するようにしている。このようにすれば、管理者Ｍが目視で画像を選別する必要がなく、見落としなどのミスを防ぐことができる。また、画像に対象機器４が明りょうに写っていなくても、対象機器４が写っている可能性がある場合には、その画像を選別することができる。
In the
なお、作業者Ｗは、現場端末２を用いて作業現場で撮影を行い、その画像が管理コンピュータ３に送信される。本実施形態の画像は、いわゆる映像であって、ビデオ映像（動画像）または静止画像のいずれでも良い。また、「画像ファイル」には、静止画像を含むファイルのみならず、動画像を含むファイルが含まれるものとして説明する。
The worker W takes pictures at the work site using the on-
作業者Ｗが扱う移動可能な現場端末２は、例えば、ディスプレイ６（図２参照）を備えるスマートフォン７で構成されている。このスマートフォン７には、現場の状況を撮影するためのカメラ８（図２参照）が搭載されている。なお、スマートフォン７のディスプレイ６は、画像を表示する装置であるとともに、入力装置としてのタッチパネルを兼ねる。本実施形態の入力操作には、タッチパネルを用いたタッチ操作が含まれる。
The mobile on-
また、他の作業者Ｗが扱う異なるタイプの現場端末２は、この作業者Ｗが装着する透過型ヘッドマウントディスプレイ９を備えるウェアラブルコンピュータ１０（スマートグラス）で構成されている。このウェアラブルコンピュータ１０は、透過型ヘッドマウントディスプレイ９と分離した構造でも良い。このウェアラブルコンピュータ１０にも現場の状況を撮影するカメラが搭載されている。
A different type of on-
なお、現場端末２は、タブレット型ＰＣまたはノートＰＣで構成されても良い。その他、撮影機能、通話機能、通信機能を持つ機器で構成されるものであり、それぞれの機能を持つ複数の機器で構成されるものでも良い。
The on-
スマートフォン７およびウェアラブルコンピュータ１０のシステム構成は、ほぼ同一であるため、以下の説明では、スマートフォンで構成される現場端末２を例示する。なお、本実施形態は、ウェアラブルコンピュータ１０にも適用可能である。
The system configurations of the
管理者Ｍが扱う管理コンピュータ３は、例えば、デスクトップＰＣ、ノートＰＣ、またはタブレット型ＰＣなどの所定のコンピュータで構成される。本実施形態では、デスクトップＰＣを例示する。管理コンピュータ３は、コンピュータ本体１１と、管理者Ｍが視認を行うディスプレイ１２と、現場端末２と無線通信を行う無線通信装置１３を備える。ここでは、無線通信を行う例を記載しているが、有線での通信とすることも可能である。なお、ディスプレイ１２はコンピュータ本体１１と別体であっても良いし、一体であっても良い。
The
本実施形態において、現場端末２は、自位置および自姿勢を特定することができる。例えば、ＧＰＳ（Global Positioning System）などの位置測定システムを有していても良い。
In this embodiment, the on-
また、現場端末２の自位置および自姿勢の変位の算出に用いる位置推定技術には、ＳＬＡＭ（Simultaneous Localization and Mapping）、ＳｆＭ（Structure from Motion）などの公知の技術を用いることができる。
In addition, the position estimation technology used to calculate the displacement of the on-
本実施形態の現場端末２は、ＶＳＬＡＭ（Visual Simultaneous Localization and Mapping）を用いて、現場端末２で撮影された画像に基づいて、その位置および姿勢の変位を算出する。つまり、現場端末２は、例えば、屋内などのＧＰＳが使用できない場所でも自己位置を推定することができる。
The on-
ＶＳＬＡＭ技術では、現場端末２のカメラ８およびセンサなどの所定のデバイスで取得した情報を用いて、周囲の物体の特徴点を抽出する。そして、カメラ８で撮影した動画像を解析し、物体の特徴点（例えば、角などの物体の部分）をリアルタイムに追跡する。そして、現場端末２の位置または姿勢の３次元情報を推定する。
In VSLAM technology, information acquired by specific devices such as the
図３に示すように、作業者Ｗが作業を行う作業現場として所定の建物１４を例示する。例えば、発電プラントにおける所定の区画に設けられた建物１４が作業現場となっている。この作業現場は、壁で囲まれた複数の部屋１５がある。これら複数の部屋１５のうち、１つの部屋１５が作業現場として予め設定される。つまり、この部屋１５が、現場端末２が画像の取得が許可されている許可エリア１６として予め設定される。なお、許可エリア１６以外では、画像の取得が許可されていないもの（非許可エリア）として説明する。
As shown in FIG. 3, a
建物１４の出入口１７は、現場端末２の位置を推定する基準となる基準点として設定される。この建物１４の出入口１７には、本実施形態の特定被写体としてのマーカ５が配置される。また、それぞれの部屋１５の出入口１８も、現場端末２の位置を推定する基準となる基準点として設定される。これらの部屋１５の出入口１８にも、マーカ５が配置される。なお、マーカ５は、出入口１７，１８の近傍の壁面に設けられても良いし、出入口１７，１８の扉面に設けられても良い。
The entrance/
作業者Ｗは、作業を開始するときに、まず、建物１４の出入口１７でマーカ５を撮影する。ここで、現場端末２は、マーカ５が写った撮影画像に基づいて、自位置および自姿勢を推定する。なお、建物１４の出入口１７でマーカ５の撮影を開始し、移動中も撮影を継続することで、基準点から現場端末２が移動した移動経路１９を推定できる。
When worker W starts work, he first photographs
なお、マーカ５は、画像認識が可能な図形である。例えば、マトリックス型２次元コード、所謂ＱＲコード（登録商標）をマーカ５として用いる。また、建物１４または建物１４に設置されている対象機器４などの場所を特定できる情報を特定被写体（マーカ）として用いても良い。例えば、出入口１７の銘板、部屋１５の銘板、対象機器４の機器番号または名称を記載した銘板などを特定被写体として用いても良い。銘板とは、小型の平板に銘柄を表示したものである。マーカ５および銘板は、所定の位置に固定された状態で設けられている。
The
また、マーカ５には、対応するマーカ５を個々に識別可能なマーカＩＤを示す情報が含まれる。このようにすれば、複数のマーカ５をそれぞれ識別することができる。なお、銘板には、番号（例えば、シリアル番号）または名称などの銘板を個々に識別可能な情報が記載されている。銘板の形状または記載されている文字などを画像認識させることで、個々の銘板を識別することができる。さらに、それぞれの銘板に対応して銘板ＩＤが予め付与されている。
The
管理コンピュータ３には、例えば、それぞれの部屋１５の出入口１８に設けられたマーカ５のマーカＩＤに対応して対象機器４に関する情報が登録される。なお、部屋１５の出入口１８のマーカ５を撮影して基準点を取得しなければ、部屋１５の内部で画像の撮影を行えないように制御しても良い。
In the
作業者Ｗは、部屋１５の出入口１８に到着したら、まず、現場端末２でマーカ５を読み取る。そして、マーカ５に基づいて取得される基準点の座標と、部屋１５に対応して予め設定されている基準点の座標とを一致させる。そして、現場端末２で画像の保存をした場合に、その撮影時の位置情報と方向情報とを、基準点の座標に基づいて取得する。
When worker W arrives at the
例えば、読み込んだマーカ５の座標と現場端末２の座標との相対位置を特定し、現場端末２の撮影時の位置情報と方向情報とを取得する。つまり、現場端末２の座標は、マーカ５の座標を原点としたもので示される。本実施形態では、それぞれの部屋１５の出入口１８に設けられたマーカ５を原点として現場端末２の座標（相対座標）を取得する。つまり、現場端末２の座標は、部屋１５ごとに取得されるものとなっている。なお、建物１４の出入口１７に設けられた１つのマーカ５を原点として、それぞれの部屋１５の内部における現場端末２の座標（絶対座標）を取得しても良い。
For example, the relative position between the coordinates of the read
本実施形態では、マーカ５または銘板の少なくともいずれか一方を用いて現場端末２の座標を取得する。なお、マーカ５による現場端末２の座標の取得と、銘板による現場端末２の座標の取得との両態様を混在させても良い。
In this embodiment, the coordinates of the on-
マーカ５を設ける態様としては、例えば、マーカ５が印刷されたパネルを作成し、このパネルを、作業開始前に作業現場の壁面などに配置しておく。なお、壁面などにマーカ５を直接印刷しても良い。また、銘板は、装置などに取り付けられている既存のものを利用することができる。このようにすれば、既に部屋１５または装置などに設けられている銘板により基準点を取得することができるため、マーカ５を設置する手間を省略することができる。なお、予め銘板を撮影し、画像認識ができるように銘板の画像の特徴量を取得しておく。マーカ５または銘板に関する情報は、管理コンピュータ３に記憶される。
One way of providing the
また、現場端末２を制御する端末制御部２８（図２参照）は、現場端末２で画像の保存をした場合に、撮影時のカメラ８の設定情報を取得する。この設定情報は、絞り値情報とシャッタースピード情報とＩＳＯ感度情報と画角情報と倍率情報との少なくともいずれかを含む。ここで、絞り値情報は、カメラ８による画像の撮影時の絞り値を特定可能な情報である。シャッタースピード情報は、カメラ８による画像の撮影時のシャッタースピードを特定可能な情報である。ＩＳＯ感度情報は、カメラ８による画像の撮影時のＩＳＯ感度（明度）を特定可能な情報である。画角情報は、カメラ８による画像の撮影時の画角を特定可能な情報である。倍率情報は、カメラ８による画像の撮影時の倍率（拡大率）を特定可能な情報である。
Furthermore, when an image is saved in the on-
図４に示すように、許可エリア１６において、作業者Ｗが現場端末２を用いて様々な撮影を行う。このときに撮影された画像は、画像ファイルとして現場端末２に記憶される。なお、現場端末２にて記憶される画像ファイルには、撮影時の現場端末２の位置（座標）と撮影方向と撮影時のカメラ８の設定情報とを含む撮影情報（図８参照）が対応付けられる。
As shown in FIG. 4, in the permitted
ここで、撮影時の現場端末２の位置は、建物１４またはマーカ５を基準とする３次元座標に基づいて特定される。撮影方向は、撮影時の位置での水平面内の方位（ヨー角）と現場端末２のピッチ角、ロール角に基づいて求められる。また、画角は、現場端末２のカメラ８の撮影角（実際に写る範囲を角度で表したもの）であり、拡大率を含んでいる。なお、撮影情報には、その他の情報が含まれていても良い。例えば、端末ＩＤ、撮影者の情報、撮影日時などの情報が含まれていても良い。
The position of the on-
また、現場端末２で撮影された画像を含む画像ファイルは、管理コンピュータ３に送信される。なお、管理コンピュータ３に対する画像の送信タイミングは、作業中であっても良いし、作業終了後であっても良い。また、管理コンピュータ３に送信を完了したときに、現場端末２に記憶されている画像を消去しても良い。
In addition, an image file including the image taken by the on-
本実施形態では、撮影情報が画像を含む画像ファイルの属性として記録される。このようにすれば、画像ファイルと撮影情報とを直接的に対応付けることができる。例えば、画像をＥｘｉｆ（Exchangeable image file format）の形式で保存した場合には、そのプロパティ（属性）として撮影情報を記録することができる。画像ファイルを移動しても一緒に撮影情報も移動されるため、画像ファイルの管理が容易になる。 In this embodiment, the shooting information is recorded as an attribute of the image file that contains the image. In this way, the image file and the shooting information can be directly associated with each other. For example, if an image is saved in the Exif (Exchangeable image file format) format, the shooting information can be recorded as its properties (attributes). When an image file is moved, the shooting information is also moved along with it, making it easier to manage image files.
例えば、図８に示すように、画像ファイルのプロパティには、ファイル名（画像ＩＤ）と端末ＩＤとユーザＩＤと撮影日時（撮影時刻）と撮影ＩＤ（撮影情報）と対象機器ＩＤ（対象情報）と基準点ＩＤとマーカＩＤと位置情報（座標数値）と方向情報（角度数値）と絞り値情報とシャッタースピード情報とＩＳＯ感度情報と画角情報（角度数値）と倍率情報とが記録される。 For example, as shown in FIG. 8, the properties of an image file include the file name (image ID), device ID, user ID, shooting date and time (shooting time), shooting ID (shooting information), target device ID (target information), reference point ID, marker ID, position information (coordinate values), direction information (angle values), aperture value information, shutter speed information, ISO sensitivity information, angle of view information (angle values), and magnification information.
なお、管理コンピュータ３において、画像に撮影制限の対象となっている対象機器４が写っているか否かの判定が行われた場合には、その判定結果を示す判定情報も記録される。この判定情報は、外部への公開が制限される制限ファイルであるか、外部への公開が制限されない非制限ファイルであるかを示すものである。このように、画像ファイルのプロパティには、各種情報が追記可能となっている。さらに、その他の情報を画像ファイルのプロパティに追記しても良い。
When the
図８では、静止画像の画像ファイルのプロパティを例示している。ここで、ファイル名は、画像ファイルの名称である。端末ＩＤは、複数の現場端末２を個々に識別可能な識別情報である。画像ファイルのプロパティには、作業現場で撮影に用いた現場端末２の端末ＩＤが記録される。
Figure 8 shows an example of the properties of an image file for a still image. Here, the file name is the name of the image file. The terminal ID is identification information that can individually identify multiple on-
ユーザＩＤは、複数の作業者Ｗを個々に識別可能な識別情報である。なお、ユーザＩＤは、現場端末２にログインするときに使用するものであっても良いし、それぞれの作業者Ｗが所持するＩＤカードに登録されるものであっても良い。画像ファイルのプロパティには、作業現場で撮影を行った作業者ＷのユーザＩＤが記録される。
The user ID is identification information that can individually identify multiple workers W. The user ID may be used when logging in to the on-
撮影日時（時間情報）は、現場端末２で撮影を行った日付と時刻である。なお、動画像の画像ファイルの撮影日時は、録画の開始時でも良いし、録画の終了時でも良い。
The shooting date and time (time information) is the date and time when the image was captured by the on-
撮影ＩＤは、現場端末２を用いた撮影態様を個々に識別可能な撮影態様識別情報である。１つの撮影ＩＤは、１つの位置情報と１つの方向情報とに対応付けられる。カメラ８で取得した画像が静止画像である場合には、１つの撮影ＩＤが対応付けられる。また、カメラ８で取得した画像が動画像である場合には、１フレームごとに１つの撮影ＩＤが対応付けられる。なお、動画像のトラックに撮影ＩＤを対応付けても良い。
The shooting ID is shooting mode identification information that can individually identify the shooting mode using the on-
例えば、動画像の撮影時にカメラ８が移動または動作している場合には、現場端末２の位置およびカメラ８の向きが変化するため、１つの画像ファイルに複数の撮影ＩＤが対応付けられる。一方、動画像の撮影時にカメラ８が固定されている場合には、現場端末２の位置およびカメラ８の向きが変化することがないため、１つの画像ファイルに対応付けられる撮影ＩＤが１つでも良い。なお、カメラ８で取得した画像が動画像である場合には、１フレームごとに絞り値情報とシャッタースピード情報とＩＳＯ感度情報と画角情報と倍率情報とが対応付けられる。
For example, if the
また、撮影情報は、予め規定された識別子として生成しても良い。識別子とは、例えば、所定の計算関数に撮影情報のそれぞれの値を入力すると、所定の数式として出力されるものである。そして、識別子に基づいて撮影情報を再現できるようにする。このようにすれば、撮影情報を識別子という規定化された態様で記録することができる。例えば、画像ファイルの属性に識別子を記録しても良い。 The photographic information may also be generated as a predefined identifier. The identifier is, for example, a predetermined mathematical formula that is output when each value of the photographic information is input into a predetermined calculation function. Then, the photographic information can be reproduced based on the identifier. In this way, the photographic information can be recorded in a defined form as an identifier. For example, the identifier may be recorded in the attributes of the image file.
また、識別子を画像に含ませる態様で記録しても良い。このようにすれば、画像そのものに撮影情報を含ませることができる。そのため、画像の管理が容易になる。なお、識別子を画像に含ませる態様とは、例えば、識別子をマトリックス型２次元コードとして生成し、この２次元コードを画像に合成する態様でも良い。また。識別子を電子透かしとして画像に含める態様でも良い。 The image may also be recorded in such a manner that the identifier is included in the image. In this way, the image itself can contain the shooting information. This makes it easier to manage the images. Including the identifier in the image may involve, for example, generating the identifier as a matrix type two-dimensional code and synthesizing this two-dimensional code with the image. Also, the identifier may be included in the image as a digital watermark.
また、撮影情報が、画像を含む画像ファイルとは異なる記録ファイルに記録されても良い。例えば、画像ファイル２０と同一のファイル名を有する記録ファイル２１を生成し（図９参照）、この記録ファイル２１に撮影情報を記録しても良い。このようにすれば、撮影情報のデータ量が多くなる場合であっても、その記録を行うことができる。例えば、動画の場合には、撮影情報のデータ量が多くなるが、この場合でも撮影情報を記録することができる。
The shooting information may also be recorded in a recording file that is different from the image file that contains the image. For example, a
なお、本実施形態では、ファイル名により画像ファイル２０と記録ファイル２１とを対応付けているが、その他の態様であっても良い。例えば、画像ファイル２０を特定可能な特定ＩＤを生成し、この特定ＩＤを記録ファイル２１に記録することで、画像ファイル２０と対応付けても良い。また、コンピュータのファイルシステムを用いて画像ファイル２０と記録ファイル２１とを対応付けても良い。
In this embodiment, the
次に、画像特定システム１のシステム構成を図２に示すブロック図を参照して説明する。
Next, the system configuration of the
本実施形態の現場端末２および管理コンピュータ３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の画像特定方法は、各種プログラムをコンピュータに実行させることで実現される。
The on-
現場端末２は、カメラ８と加速度センサ２２と角速度センサ２３と３次元測定センサ２４とディスプレイ６と操作入力部２５と通信部２６と画像記憶部２７と端末制御部２８とを備える。
The on-
カメラ８は、現場端末２に搭載され、現場端末２の周辺の物体を可視光により撮影する。例えば、カメラ８は、レンズ付きの撮像素子を備えている。なお、カメラ８で撮影された画像は、端末制御部２８に入力される。
The
加速度センサ２２は、現場端末２に搭載され、この現場端末２が移動したときに生じる加速度を検出する。また、この加速度センサ２２により重力加速度の検出も行える。例えば、３軸の加速度センサ２２とすることで、現場端末２の姿勢に応じた各軸の加速度を検出することが可能となる。なお、この加速度センサ２２で検出された加速度の値を示す加速度情報は、端末制御部２８に入力される。
The
角速度センサ２３（ジャイロセンサ）は、現場端末２に搭載され、この現場端末２の筐体の姿勢が変化したときに生じる角速度を検出する。この角速度センサ２３の値と加速度センサ２２の値とを合わせて、この現場端末２の筐体の姿勢を特定することで、カメラ８の撮影方向を把握することができる。なお、この角速度センサ２３で検出された角速度の値を示す角速度情報は、端末制御部２８に入力される。
The angular velocity sensor 23 (gyro sensor) is mounted on the on-
撮影方向は、例えば、現場端末２の水平方向および垂直方向の傾きの測定に基づいて取得される。また、現場端末２の筐体に向きが異なる２つ以上のカメラ８が搭載されている場合には、撮影に使用するカメラ８の筐体における位置および向きを設定し、このカメラ８の撮影方向を取得する。
The shooting direction is obtained, for example, based on measuring the horizontal and vertical tilt of the on-
なお、慣性センサ（３軸加速度センサと３軸角速度センサ）と３軸地磁気センサを組み合わせた９軸センサであるモーションセンサを現場端末２に搭載しても良い。
The on-
３次元測定センサ２４は、現場端末２の周辺の物体の３次元形状を測定する。３次元測定センサ２４としては、例えば、深度センサが用いられる。なお、３次元測定センサ２４として赤外線センサまたはＬｉＤＡＲなどのレーザセンサを用いても良い。
The three-
３次元測定センサ２４は、現場端末２の筐体において、カメラ８が設けられている背面側に設けられる。この３次元測定センサ２４は、例えば、物体にレーザを投光してその反射光を受光素子により受光することで、現場端末２から物体までの距離を測定することができる。本実施形態では、３次元測定センサ２４は、投光パルスに対する受光パルスの遅れ時間を距離に換算するＴｏＦ（Time of Flight）方式を用いて、現場端末２から周辺の物体までの距離を測定して３次元点群化する。なお、カメラ８による撮像方向と３次元測定センサ２４による測定方向は一致している。
The three-
現場端末２のディスプレイ６は、カメラ８で撮影された撮影画像を表示する。なお、その他の所定の情報をディスプレイ６に表示させても良い。
The
操作入力部２５は、作業者Ｗにより操作され、所定の情報の入力操作が行えるようにしたデバイスである。本実施形態では、操作入力部２５がディスプレイ６と一体的に設けられるタッチパネルで構成される。なお、現場端末２としてウェアラブルコンピュータ１０を用いる場合は、操作入力部２５が作業者Ｗの手元に配置され、入力操作が適宜可能となっている。
The
通信部２６は、通信回線を介して管理コンピュータ３と通信を行う。本実施形態の通信部２６には、ネットワーク機器、例えば、無線ＬＡＮのアンテナが含まれる。その他にも、ＬＡＮケーブルまたはＵＳＢケーブルを用いて通信を行う場合もある。この通信部２６を介して現場端末２は、管理コンピュータ３にアクセスする。
The
画像記憶部２７は、カメラ８で撮影した画像を含む画像ファイルを記憶する。なお、画像記憶部２７に記憶される画像は、動画像であっても良いし、静止画像であっても良い。また、画像ファイルとともに、画像ファイルに対応付けられた記録ファイルを記憶しても良い。さらに、画像ファイルに関連する所定のデータを記憶しても良い。
The
端末制御部２８は、現場端末２を統括的に制御する。この端末制御部２８は、位置姿勢推定部２９と基準取得部３０とエリア識別部３１と画像取得制御部３２と位置情報取得部３３と方向情報取得部３４と画角情報取得部３５と撮影情報記録部３６と識別子生成部３７とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。
The
位置姿勢推定部２９は、撮影画像と加速度情報と角速度情報とに基づいて現場端末２の位置および姿勢を推定する制御を行う。つまり、現場端末２に搭載されたデバイスにより得られた情報に基づいて現場端末２の位置および姿勢を推定する。この位置姿勢推定部２９は、現場端末２の位置および姿勢の推定と同時に現場端末２の周辺環境の情報を含む環境地図の作成を行う。つまり、位置姿勢推定部２９では、ＶＳＬＡＭ技術を用いている。このようにすれば、画像の撮影時の位置および方向の取得精度を向上させることができる。
The position and
ＶＳＬＡＭ技術では、現場端末２のカメラ８および３次元測定センサ２４で取得した情報を用いて、現場端末２の周辺の物体の特徴点を抽出することができる。なお、現場端末２のカメラ８で取得した情報のみを用いて、現場端末２の周辺の物体の特徴点を抽出する場合もある。このような特徴点の集合させたものを３次元特徴点群データと称する。そして、カメラ８で撮影した撮影画像（動画像）を解析し、物体の特徴点（例えば、箱状の物体の辺または角の部分）をリアルタイムに追跡する。この３次元特徴点群データに基づいて、現場端末２の位置および姿勢の３次元情報を推定することができる。
With VSLAM technology, feature points of objects in the vicinity of the on-
また、現場端末２の周辺の物体の３次元特徴点群データを所定の時間毎に検出し、時系列において前後する３次元特徴点群データ間の変位に基づいて、現場端末２の位置および姿勢の変位を算出することができる。また、時系列に得られる一連の自位置および自姿勢から、現在位置および現在姿勢に先立つ現場端末２の移動経路１９が得られる。
In addition, it is possible to detect three-dimensional feature point group data of objects around the on-
つまり、位置姿勢推定部２９は、基準点から現場端末２が移動するときに連続的に撮影された撮影画像に基づいて、現場端末２の位置および姿勢を推定する制御を行う。このようにすれば、基準点から現場端末２が移動した経路１９（図３参照）を画像により推定できるので、現場端末２の位置および姿勢の推定精度を向上させることができる。
In other words, the position and
なお、本実施形態では、カメラ８および３次元測定センサ２４で取得した情報に基づいて、現場端末２の位置および姿勢を推定するＶＳＬＡＭ技術を例示しているが、その他の態様であっても良い。例えば、ステレオカメラ、魚眼カメラ、ジャイロセンサ、赤外線センサで取得した情報に基づいて、現場端末２の位置および姿勢を推定するＶＳＬＡＭ技術を用いても良い。このＶＳＬＡＭ技術は、屋内での位置計測が可能であり、ビーコンまたは歩行者自律航法（ＰＤＲ:Pedestrian Dead Reckoning）などの屋内で使用可能な位置情報計測技術の中で、最も精度よく３次元座標を算出することができる。
In this embodiment, the VSLAM technique is exemplified, which estimates the position and attitude of the on-
なお、現場端末２の位置および姿勢は、それぞれ算出または更新された時点の時刻と対応付けて記録される。
The position and attitude of the on-
基準取得部３０は、撮影場所（対象機器４）に対応して予め設けられたマーカ５をカメラ８で撮影したときに３次元空間の基準点を取得する。なお、マーカ５の位置を基準点としても良いし、マーカ５から離れた所定の位置を基準点としても良い。このようにすれば、作業現場にマーカ５を設ける簡便な作業、およびマーカ５を撮影する簡素な処理で取得精度を向上させることができる。
The
エリア識別部３１は、現場端末２の現在位置に基づいて、現場端末２が画像の取得が許可されている許可エリア１６にあるか否かを識別する。なお、現場端末２に対応付けられた許可エリア１６は、作業開始前に予め管理コンピュータ３にアクセスすることで設定される。
The
画像取得制御部３２は、現場端末２が撮影許可エリア１６にある場合に画像の取得を許可し、現場端末２が撮影許可エリア１６にない場合に画像の取得を許可しない制御を行う。つまり、作業現場において、撮影機能を限定する制御を行う。なお、撮影機能とは、現場端末２のカメラ８を用いて撮影した画像を画像記憶部２７に記憶させる機能をいう。
The image
例えば、現場端末２が撮影許可エリア１６にあるときに、現場端末２のカメラ８で撮影をした場合には、その画像はディスプレイ６に表示され、画像記憶部２７に記憶されることがない。なお、画像は、動画像を例示する。ここで、作業者Ｗがディスプレイ６に表示された撮影ボタン（録画ボタン）をタッチ操作すると、そのときにカメラ８で撮影されていた画像が画像記憶部２７に記憶される。例えば、静止画像の撮影の場合には、撮影ボタンをタッチ操作した時点の画像が画像記憶部２７に記憶される。また、動画像の撮影の場合には、撮影ボタン（録画ボタン）をタッチ操作した時点から録画が開始され、その動画像が画像記憶部２７に記憶される。
For example, when the on-
一方、現場端末２が撮影許可エリア１６にないときに、作業者Ｗが撮影操作を行った場合には、「このエリアで撮影は禁止されています。」などの撮影禁止メッセージがディスプレイ６に表示され、画像が画像記憶部２７に記憶されることがない。
On the other hand, if the worker W performs a photographing operation when the on-
このようにすれば、撮影制限の対象となっている対象機器４が写った画像の取得を制限することができる。そのため、不必要な画像の取得を防止し、管理コンピュータ３で判定しなければならない画像の枚数を低減させることができる。
In this way, it is possible to restrict the acquisition of images that include the
本実施形態において、「画像の取得」という用語には、「画像の保存」または「画像の転送」という意味とが含まれる。また、「画像の取得を許可しない」という用語には、「画像の保存（記憶）を禁止すること」または「画像の撮影を禁止すること」の意味が含まれる。さらに、画像の取得は、現場端末２が行うものでも良いし、管理コンピュータ３が行うものでも良い。
In this embodiment, the term "image acquisition" includes the meanings of "save image" and "transfer image." Furthermore, the term "not permit image acquisition" includes the meanings of "prohibit image saving (storage)" and "prohibit image capture." Furthermore, image acquisition may be performed by the on-
なお、撮影ボタンの表示の有無により、撮影機能の可否の切り換えを行っても良い。例えば、現場端末２が撮影許可エリア１６にあるときには、ディスプレイ６に撮影ボタンを表示し、現場端末２が撮影許可エリア１６にないときには、ディスプレイ６に撮影ボタンを表示しないようにしても良い。
The availability of the photography function may be switched depending on whether or not the photography button is displayed. For example, when the on-
位置情報取得部３３は、カメラ８による画像の撮影時の位置を特定可能な位置情報を取得する。例えば、位置姿勢推定部２９がＶＳＬＡＭ技術を用いて作成した環境地図に基づいて、位置情報取得部３３が画像の撮影時の位置の取得を行うことができる。また、基準取得部３０が取得した基準点に基づいて、位置情報取得部３３が画像の撮影時の位置の取得を行うことができる。
The position
方向情報取得部３４は、カメラ８による画像の撮影時の方向を特定可能な方向情報を取得する。例えば、位置姿勢推定部２９がＶＳＬＡＭ技術を用いて作成した環境地図に基づいて、方向情報取得部３４が画像の撮影時の方向の取得を行うことができる。また、基準取得部３０が取得した基準点に基づいて、方向情報取得部３４が画像の撮影時の方向の取得を行うことができる。
The direction
なお、環境地図に基づく位置情報または方向情報と、基準点に基づく位置情報または方向情報とに誤差がある場合には、基準点に基づく位置情報または方向情報を優先的に適用しても良い。このようにすれば、作業者Ｗが作業現場にてマーカ５を撮影することで、情報の補正を行うことができる。ＶＳＬＡＭ技術は、相対的な移動量を算出する手法であるため、長時間の使用により誤差が蓄積されてしまう場合がある。そこで、基準点となるマーカ５を現場端末２で読み込むことで、エリア１６における位置情報を正確に把握することができる。
If there is an error between the position information or direction information based on the environmental map and the position information or direction information based on the reference point, the position information or direction information based on the reference point may be applied preferentially. In this way, the worker W can correct the information by photographing the
画角情報取得部３５は、カメラ８による画像の撮影時の画角を特定可能な画角情報を取得する。画角情報は、カメラ８の設定に基づいて取得される。また、画角情報には、拡大率（スケール）などの情報も含まれる。
The angle of view
撮影情報記録部３６は、位置情報と方向情報と画角情報とを含む撮影情報を画像に対応付けて記録する。撮影情報は、画像ファイルの属性として記録しても良いし、画像ファイルとは異なる記録ファイルに記録しても良い。なお、作業者Ｗは、いずれの方式で記録するかを事前に設定することができる。
The shooting
管理コンピュータ３は、画像に対応付けて記録された撮影情報に基づいて、撮影制限の対象となっている対象機器４が写った画像を正確に選別することができる。そのため、その画像が外部に漏洩されてしまうことを抑制することができる。
The
識別子生成部３７は、撮影情報に基づいて、識別子を生成する。なお、作業者Ｗは、撮影情報を識別子として記録するか否かを事前に設定することができる。識別子が生成される設定の場合には、撮影情報記録部３６が識別子を画像に対応付けて記録する。なお、撮影情報記録部３６が識別子を画像に含ませる態様で記録しても良い。
The
図２に示すように、管理コンピュータ３は、対象情報データベース３８とディスプレイ１２と操作入力部３９と通信部４０と画像記憶部４１と管理制御部４２とを備える。
As shown in FIG. 2, the
本実施形態の管理コンピュータ３のシステム構成は、必ずしも１つのコンピュータに設ける必要はない。例えば、ネットワークで互いに接続された複数のコンピュータを用いて１つのシステムを実現しても良い。例えば、対象情報データベース３８を管理コンピュータ３とは異なる他のコンピュータに設けても良い。
The system configuration of the
対象情報データベース３８は、メモリまたはＨＤＤに記憶され、検索または蓄積ができるよう整理された情報の集まりである。対象情報データベース３８には、撮影制限の対象となっている対象機器４の３次元位置を特定可能な対象情報が予め記憶されている。また、作業現場となるプラントの設計情報が記憶されている。例えば、設計情報に関する３Ｄ－ＣＡＤデータが予め記憶されている。この３Ｄ－ＣＡＤデータには、対象機器４が配置されている位置（座標）に関する情報が含まれている。さらに、対象機器４の形状または寸法に関する情報も含まれている。また、建物１４の部屋１５の配置に関する情報も含まれている。
The
なお、撮影制限の対象となる対象機器４は、３Ｄ－ＣＡＤデータを用いて設定しても良いし、管理コンピュータ３のディスプレイ１２にデータを表示して個々に選択または指定しても良い。さらに、３Ｄ－ＣＡＤデータが有している対象機器４の名称または型式などの情報に基づいて、自動的に選択または指定しても良い。
The
ディスプレイ１２は、画像判定結果（図９参照）などの出力を行う装置である。つまり、管理コンピュータ３は、ディスプレイ１２に表示される画像の制御を行う。なお、ネットワークを介して接続される他のコンピュータが備えるディスプレイに表示される画像の制御を管理コンピュータ３が行っても良い。
The
なお、本実施形態では、画像を表示する装置としてディスプレイ１２を例示するが、その他の態様であっても良い。例えば、プロジェクタを用いて情報の表示を行っても良い。さらに、紙媒体に情報を印字するプリンタをディスプレイ１２の替りとして用いても良い。つまり、管理コンピュータ３が制御する対象としてプロジェクタまたはプリンタが含まれても良い。
In this embodiment, the
操作入力部３９は、管理者Ｍの操作に応じて所定の情報を入力するために用いられるマウスまたはキーボードなどの入力装置などで構成される。本実施形態の入力操作には、マウスを用いたクリック操作、またはタッチパネルを用いたタッチ操作が含まれる。つまり、これら入力装置の操作に応じて所定の情報が管理コンピュータ３に入力される。
The
通信部４０は、通信回線を介して現場端末２と通信を行う。この通信部４０は、無線通信装置１３に搭載されている。また、通信部４０は、所定のネットワーク機器、例えば、無線ＬＡＮアクセスポイントまたはアンテナに搭載されても良い。なお、通信部４０は、ＷＡＮ（Wide Area Network）、インターネット回線、または携帯通信網を介して現場端末２と通信を行っても良い。その他にも、ＬＡＮケーブルまたはＵＳＢケーブルにより現場端末２と接続して通信を行っても良い。
The
画像記憶部４１は、現場端末２から受信した画像ファイルを記憶する。なお、画像記憶部４１に記憶される画像は、動画像であっても良いし、静止画像であっても良い。また、画像ファイルとともに、画像ファイルに対応付けられた記録ファイルを記憶しても良い。さらに、画像ファイルに関連する所定のデータを記憶しても良い。
The
管理制御部４２は、管理コンピュータ３を統括的に制御する。この管理制御部４２は、画像判定部４３と判定情報記録部４４と判定結果表示部４５と対象情報設定部４６とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。
The
画像判定部４３は、画像ファイルに対応付けられた撮影情報と、対象情報データベース３８に記憶された対象情報とに基づいて、画像に対象機器４（対象部分）が写っているか否かを判定する。このようにすれば、カメラ８による画像の撮影時の位置、方向、画角により撮影された範囲を特定し、対象機器４の３次元位置との関係により、画像に対象部分が写っているか否を判定することができる。また、カメラ８と対象部分との３次元的な位置関係により判定を行えるため、画像の選別を正確に行うことができる。画像に写っている対象機器を人手または人工知能などを用いて識別させる場合と比較して、より高い精度で判定を行うことができる。
The
現場端末２では、画像の撮影時に基準点の座標に基づいて位置情報と方向情報とを取得する。ここで、位置情報、方向情報、画角に基づいて撮影範囲を算出する。例えば、対象情報データベース３８の３Ｄ－ＣＡＤデータを参照し、部屋１５の中における現場端末２の位置（座標）と対象機器４の位置（座標）を算出する。現場端末２の位置を算出したら、その地点で現場端末２の撮影方向を計算し、その方位におけるカメラ８の画角を考慮して撮影範囲を計算する。この撮影範囲内に対象機器４が含まれるか否かを判定する。なお、この判定結果に基づいて、画像ファイルごとに制限の可否を表示しても良いし、画像ファイルの保存場所を分けても良い。
When an image is captured, the on-
なお、カメラ８の撮影範囲に対象機器４が含まれているが、対象機器４の手前に所定の構造物（遮蔽物）がある場合は、対象機器４が構造物に隠れてしまって、カメラ８で撮影された画像に写り込まないことが想定される。このような撮影範囲と対象機器４と構造物の位置関係に対応するために、対象情報データベース３８の３Ｄ－ＣＡＤデータに構造物の設計情報（位置、形状および寸法を示す情報を含む）を登録しておいても良い。そして、この３Ｄ－ＣＡＤデータを参照し、対象機器４の手前の構造物の位置関係に基づいて、画像に対象機器４が映り込んでいるか否かを判定するようにしても良い。
Note that if the
判定情報記録部４４は、画像判定部４３による判定結果を特定可能な判定情報を画像ファイルに対応付けて記録する。本実施形態では、判定情報として、外部への公開が制限される制限ファイルであるか、外部への公開が制限されない非制限ファイルであるかを示す情報が記録される（図８参照）。
The judgment
このようにすれば、画像ファイルに撮影制限の対象となっている対象機器４（対象部分）が写っているか否かを判定情報により特定することができる。例えば、管理コンピュータ３以外のコンピュータで画像ファイルを参照する場合であっても、その画像ファイルに対象機器４（対象部分）が写っているか否かを、判定情報に基づいて把握することができる。
In this way, it is possible to determine whether or not the target device 4 (target portion) that is subject to the shooting restriction is included in the image file using the determination information. For example, even when the image file is referenced on a computer other than the
判定結果表示部４５は、画像判定部４３による判定結果を識別可能にディスプレイ１２に表示させる。例えば、図９に示すように、管理コンピュータ３のディスプレイ１２には、画像判定結果画面４７が表示される。この画像判定結果画面４７には、制限ファイル表示領域４８と非制限ファイル表示領域４９とが並べて設けられている。
The judgment
制限ファイル表示領域４８には、対象機器４が写っている画像を含む画像ファイル２０であって、外部への公開が制限される制限ファイルのファイル名が表示される。非制限ファイル表示領域４９には、対象機器４が写っていない画像を含む画像ファイル２０であって外部への公開が制限されない非制限ファイルのファイル名が表示される。
The restricted
このようにすれば、制限ファイル表示領域４８と非制限ファイル表示領域４９とが分けられ、かつ同時に並べて表示されることで、画像ファイル２０の管理者Ｍが、対象機器４が写っている画像ファイル２０と対象機器４が写っていない画像ファイル２０とを容易に識別することができる。
In this way, the restricted
なお、画像ファイル２０をアイコンで表示する場合に、画像ファイル２０の表示色を制限ファイルと非制限ファイルとで異なるものとしても良い。また、画像ファイル２０の拡張子を制限ファイルと非制限ファイルとで異なるものとしても良い。
When the
なお、管理者Ｍがファイル名をマウスカーソル５０によりクリックすることで、画像ファイルに含まれる画像を表示させることができる。そして、管理者Ｍが目視で対象機器４が写っているか否かを確認することができる。
The administrator M can display the image contained in the image file by clicking the file name with the
管理者Ｍは、制限ファイルを制限ファイル表示領域４８から非制限ファイル表示領域４９にドラッグすることができる。非制限ファイル表示領域４９にドラッグされた制限ファイルは、非制限ファイルとして判定情報が書き換えられる。また、管理者Ｍは、非制限ファイルを非制限ファイル表示領域４９から制限ファイル表示領域４８にドラッグすることができる。制限ファイル表示領域４８にドラッグされた非制限ファイルは、制限ファイルとして判定情報が書き換えられる。なお、画像ファイル２０に対応する記録ファイル２１がある場合には、画像ファイル２０の移動とともに記録ファイル２１も移動される。
The administrator M can drag a restricted file from the restricted
図２に示すように、対象情報設定部４６は、対象情報データベース３８に対象情報を記憶させる設定を行う。例えば、基準点を管理する基準点管理テーブルと、対象機器４を管理する対象機器管理テーブルと、現場端末２を管理する端末管理テーブルとに、各種情報を記憶させる設定を行う。
As shown in FIG. 2, the target
図５に示すように、基準点管理テーブルには、基準点ＩＤに対応付けて、３Ｄ位置情報とマーカＩＤと対象機器ＩＤとが登録されている。 As shown in FIG. 5, the reference point management table stores 3D position information, a marker ID, and a target device ID in association with a reference point ID.
基準点ＩＤは、複数の基準点を個々に識別可能な識別情報である。なお、１つの基準点に対して１つの基準点ＩＤが付与される。 The reference point ID is identification information that can individually identify multiple reference points. Each reference point is assigned a single reference point ID.
基準点管理テーブルに登録される３Ｄ位置情報は、基準点が設けられた位置を指定する３次元座標の情報である。なお、座標の情報には、水平方向（Ｘ軸，Ｙ軸）と垂直方向（Ｚ軸）の位置を指定する情報を含む。また、この３Ｄ位置情報には、基準点の姿勢または向きに関する情報が含まれる。 The 3D position information registered in the reference point management table is three-dimensional coordinate information specifying the position where the reference point is located. The coordinate information includes information specifying the position in the horizontal direction (X-axis, Y-axis) and the vertical direction (Z-axis). This 3D position information also includes information regarding the attitude or orientation of the reference point.
本実施形態では、例えば、建物１４の出入口１７に設けられた１つのマーカ５を基準点（原点、起点）として座標を設定する。また、部屋１５の出入口１８に設けられた１つのマーカ５を基準点として座標を設定しても良いし、出入口１７の銘板、部屋１５の銘板、対象機器４の銘板を基準点として座標を設定しても良い。なお、座標は、マーカ５または銘板を基準点としなくても良く、建物１４の所定の位置を座標の基準点としても良い。また、３Ｄ位置情報は、建物１４の設計段階で作成された３次元ＣＡＤに基づいて構成されても良い。
In this embodiment, for example, coordinates are set with one
基準点管理テーブルに登録されるマーカＩＤ（銘板ＩＤ）は、複数のマーカ５（銘板）を個々に識別可能な識別情報である。なお、１つのマーカ５に対して１つのマーカＩＤが付与される。さらに、基準点管理テーブルでは、１つの基準点に対して１つのマーカＩＤが付与される。
The marker IDs (nameplate IDs) registered in the reference point management table are identification information that can individually identify multiple markers 5 (nameplates). One marker ID is assigned to one
対象機器ＩＤは、複数の対象機器４を個々に識別可能な識別情報である。なお、１つの対象機器４に対して１つの対象機器ＩＤが付与される。
The target device ID is identification information that can individually identify
基準点管理テーブルでは、１つの基準点ＩＤに対応して複数の対象機器ＩＤが登録されても良い。例えば、建物１４の出入口１７のマーカ５のマーカＩＤに対応付けて、その建物１４の内部に配置された全ての対象機器４の対象機器ＩＤが登録されても良い。また、部屋１５の出入口１８のマーカ５のマーカＩＤに対応付けて、その部屋１５の内部に配置された全ての対象機器４の対象機器ＩＤが登録されても良い。
In the reference point management table, multiple target device IDs may be registered in correspondence with one reference point ID. For example, the target device IDs of all
図６に示すように、対象機器管理テーブルには、対象機器ＩＤに対応付けて、３Ｄ位置情報が登録されている。なお、対象機器管理テーブルには、対象機器４の形状または寸法に関する情報が登録されても良い。
As shown in FIG. 6, the target device management table stores 3D position information in association with the target device ID. Information regarding the shape or dimensions of the
対象機器管理テーブルに登録される３Ｄ位置情報は、対象機器４の位置を指定する座標を示す位置情報である。なお、水平方向（Ｘ軸，Ｙ軸）と垂直方向（Ｚ軸）の位置を指定する情報を含む。また、この３Ｄ位置情報には、対象機器４の姿勢または向きに関する情報が含まれる。
The 3D position information registered in the target device management table is position information indicating the coordinates specifying the position of the
このように、対象情報データベース３８には、対象機器４に対応付けて作業現場（撮影場所）の建物１４に予め設けられたマーカ５に関する位置情報が登録される。さらに、対象機器４の位置情報も登録される。このようにすれば、対象情報データベース３８を用いて対象機器４に関する対象情報を一元的に管理できる。
In this way, the
図７に示すように、端末管理テーブルには、端末ＩＤに対応付けて、ユーザＩＤと許可エリアとが登録されている。 As shown in FIG. 7, the terminal management table stores user IDs and permitted areas in association with terminal IDs.
端末ＩＤは、複数の現場端末２を個々に識別可能な識別情報である。対象機器管理テーブルには、対象機器ＩＤに対応付けて、対応する対象機器４のサポート情報の提供が許可されている現場端末２の端末ＩＤが登録される。
The terminal ID is identification information that can individually identify multiple on-
ユーザＩＤは、複数の作業者Ｗを個々に識別可能な識別情報である。対象機器管理テーブルには、端末ＩＤに対応付けて、対応する現場端末２の使用が許可されている作業者ＷのユーザＩＤが登録される。なお、ユーザＩＤは、現場端末２にログインするときに使用するものであっても良いし、それぞれの作業者Ｗが所持するＩＤカードに登録されるものであっても良い。
The user ID is identification information that can individually identify multiple workers W. In the target device management table, the user IDs of the workers W who are permitted to use the corresponding on-
許可エリアの項目には、端末ＩＤに対応する現場端末２により画像の取得が許可されているエリア名が登録される。管理者Ｍは、作業計画などの情報に基づいて、許可エリアの項目を設定することで、それぞれの現場端末２を一元的に管理できる。現場端末２は、作業開始前に予め管理コンピュータ３にアクセスすることで許可エリアが設定される。なお、許可エリアに対応する作業時刻を設定しても良い。このようにすれば、作業者Ｗが作業とは関係のない不必要な場所で画像を取得することを抑制できる。そのため、画像の持ち出し管理を効率的に行うことができる。
The permitted area field contains the name of the area where image acquisition is permitted by the on-
管理コンピュータ３では、基準点ＩＤ、対象機器ＩＤ、端末ＩＤ、マーカＩＤに基づいて、対象情報データベース３８に登録された各種データを検索することができる。
The
図２に示すように、画像判定部４３は、機械学習部５１を備える。機械学習部５１は、対象機器４が写った画像と対象機器４が写っていない画像とを機械学習により識別することができる。つまり、本実施形態では、撮影情報に基づく画像の判定のみならず、この判定に重畳して、機械学習部５１を用いて画像を解析することができる。このようにすれば、カメラ８による画像の撮影時の撮影情報のみならず、画像に対象機器４が写っているか否かを機械学習により補助的に識別するため、より高い精度で判定を行うことができる。なお、作業者Ｗは、機械学習部５１で画像を解析するか否かを事前に設定することができる。
As shown in FIG. 2, the
機械学習部５１は、人工知能（ＡＩ：Artificial Intelligence）を備えている。本実施形態のコンピュータを用いた解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。また、機械学習の形態には、クラスタリング、深層学習などの形態が含まれる。
The
本実施形態の画像特定システム１は、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える１台のコンピュータで画像特定システム１を構成しても良いし、ニューラルネットワークを備える複数台のコンピュータで画像特定システム１を構成しても良い。
The
ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習（Deep Learning）により問題解決能力を取得する。 Here, a neural network is a mathematical model that represents the characteristics of brain functions through computer simulation. For example, this model shows that artificial neurons (nodes) that form a network through synaptic connections change the strength of synaptic connections through learning, and acquire problem-solving abilities. Furthermore, neural networks acquire problem-solving abilities through deep learning.
例えば、ニューラルネットワークには、６層のレイヤーを有する中間層が設けられる。この中間層の各レイヤーは、３００個のユニットで構成されている。また、多層のニューラルネットワークに学習用データを用いて予め学ばせておくことで、回路またはシステムの状態の変化のパターンの中にある特徴量を自動で抽出することができる。なお、多層のニューラルネットワークは、ユーザインターフェース上で、任意の中間層数、任意のユニット数、任意の学習率、任意の学習回数、任意の活性化関数を設定することができる。 For example, a neural network is provided with an intermediate layer having six layers. Each intermediate layer is made up of 300 units. Furthermore, by having the multi-layered neural network learn in advance using training data, it is possible to automatically extract features from patterns of changes in the state of a circuit or system. Note that for the multi-layered neural network, the number of intermediate layers, number of units, learning rate, number of times of training, and activation function can be set on the user interface.
なお、学習対象となる各種情報項目に報酬関数が設定されるとともに、報酬関数に基づいて価値が最も高い情報項目が抽出される深層強化学習をニューラルネットワークに用いても良い。 In addition, deep reinforcement learning may be used in the neural network, in which a reward function is set for each information item to be learned, and the information item with the highest value is extracted based on the reward function.
例えば、画像認識で実績のあるＣＮＮ（Convolution Neural Network）を用いる。このＣＮＮでは、中間層が畳み込み層とプーリング層で構成される。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施すことで特徴マップを取得する。プーリング層は、畳込み層から出力された特徴マップを、さらに縮小して新たな特徴マップとする。この際に特徴マップにおいて着目する領域に含まれる画素の最大値を得ることで、特徴量の位置の多少のずれも吸収することができる。 For example, we use a CNN (Convolution Neural Network), which has a proven track record in image recognition. In this CNN, the intermediate layer is composed of a convolution layer and a pooling layer. The convolution layer obtains a feature map by applying filtering to nearby nodes in the previous layer. The pooling layer further reduces the feature map output from the convolution layer to create a new feature map. At this time, by obtaining the maximum value of the pixels contained in the area of interest in the feature map, it is possible to absorb slight deviations in the position of the feature amount.
畳み込み層は、画像の局所的な特徴を抽出し、プーリング層は、局所的な特徴をまとめる処理を行う。これらの処理では、入力画像の特徴を維持しながら画像を縮小処理する。つまり、ＣＮＮでは、画像の持つ情報量を大幅に圧縮（抽象化）することができる。そして、ニューラルネットワークに記憶された抽象化された画像イメージを用いて、入力される画像を認識し、画像の分類を行うことができる。 The convolutional layer extracts local features from an image, and the pooling layer consolidates local features. These processes reduce the size of the input image while maintaining its features. In other words, CNN can significantly compress (abstract) the amount of information contained in an image. Then, the input image can be recognized and classified using the abstracted image image stored in the neural network.
なお、深層学習には、オートエンコーダ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＧＡＮ（Generative Adversarial Network）などの各種手法がある。これらの手法を本実施形態の深層学習に適用しても良い。 Note that there are various methods for deep learning, such as autoencoder, recurrent neural network (RNN), long short-term memory (LSTM), and generative adversarial network (GAN). These methods may be applied to the deep learning of this embodiment.
本実施形態では、予め機械学習部５１に様々なパターンの対象機器４が写った画像と対象機器４が写っていない画像とを大量に学習させる。これらの学習用の画像は、実際にカメラ８で撮影した画像でも良いし、コンピュータグラフィックス（ＣＧ）で合成した画像でも良い。このように対象機器４の形状などを識別可能な状態になるまで、大量の画像を機械学習部５１に予め学習させておく。
In this embodiment, the
本実施形態の機械学習の方法は、大きく２つの処理に分けられる。まず、学習用画像を生成する第１処理を行う。この第１処理では、学習用画像を取得し、その学習用画像に含まれる対象機器４の像を特徴ごとに分類する。そして、１つの学習用画像を、種類の異なる像が１つ以上含まれるように調整する。次に、学習モデルを作成する第２処理を行う。この第２処理では、学習用画像をニューラルネットワークに学習させて、画像学習モデルを作成する。この学習用モデルを画像の判定用にセットする。
The machine learning method of this embodiment is roughly divided into two processes. First, a first process is performed to generate learning images. In this first process, learning images are acquired, and the images of the
次に、画像特定システム１が実行する処理について図１０から図１５のフローチャートを用いて説明する。なお、図２に示すブロック図を適宜参照する。
Next, the processing executed by the
管理コンピュータ３は、図１０に示す管理制御処理を実行する。現場端末２は、図１２に示す端末制御処理を実行する。これら処理は、一定時間毎に繰り返される処理である。これらの処理が繰り返されることで、画像特定システム１で画像特定方法が実行される。
The
管理コンピュータ３が実行する管理制御処理について図１０のフローチャートを用いて説明する。
The management control process executed by the
まず、ステップＳ１１において、管理制御部４２は、メイン制御処理を実行する。このメイン制御処理では、管理コンピュータ３のディスプレイ１２などの各種デバイスを制御する処理が行われる。また、現場端末２からアクセスがあった場合に所定の情報の送受信を行う。例えば、現場端末２から画像ファイルの送信があった場合には、その画像ファイルを画像記憶部４１に記憶する処理を行う。
First, in step S11, the
次のステップＳ１２において、管理制御部４２は、操作受付処理を実行する。この操作受付処理では、操作入力部３９により所定の入力操作を受け付ける処理が行われる。
In the next step S12, the
次のステップＳ１３において、対象情報設定部４６は、事前登録処理を実行する。この事前登録処理では、対象情報データベース３８に対象情報を記憶させる処理が行われる。例えば、基準点管理テーブル（図５参照）に基準点に関する情報の登録が行われる。また、対象機器管理テーブル（図６参照）に対象機器４に関する情報の登録が行われる。さらに、端末管理テーブル（図７参照）に現場端末２に関する情報の登録が行われる。
In the next step S13, the target
次のステップＳ１４において、画像判定部４３は、後述する画像判定処理（図１１参照）を実行する。この画像判定処理では、現場端末２から受信した画像に対象機器４（対象部分）が写っているか否かを判定する。
In the next step S14, the
次のステップＳ１５において、判定結果表示部４５は、画像判定結果表示処理を実行する。この画像判定結果表示処理では、画像判定部４３による判定結果を識別可能にディスプレイ１２に表示させる処理（図９参照）が行われる。そして、管理制御処理を終了する。
In the next step S15, the judgment
次に、現場端末２が実行する端末制御処理について図１２のフローチャートを用いて説明する。
Next, the terminal control process executed by the on-
まず、ステップＳ３１において、端末制御部２８は、メイン制御処理を実行する。このメイン制御処理では、現場端末２に搭載されるディスプレイ６などの各種デバイスを制御する処理が行われる。
First, in step S31, the
次のステップＳ３２において、端末制御部２８は、操作受付処理を実行する。この操作受付処理では、操作入力部２５により所定の入力操作を受け付ける処理が行われる。
In the next step S32, the
次のステップＳ３３において、端末制御部２８は、データベースアクセス処理を実行する。このデータベースアクセス処理では、管理コンピュータ３の対象情報データベース３８にアクセスし、各種データのダウンロード処理が行われる。例えば、基準点管理テーブルのデータがダウンロードされる。
In the next step S33, the
次のステップＳ３４において、端末制御部２８は、後述するマーカ認識処理（図１３参照）を実行する。このマーカ認識処理では、カメラ８で撮影された撮影画像に基づいて、マーカ５を認識する処理が行われる。
In the next step S34, the
次のステップＳ３５において、端末制御部２８は、後述する自己位置推定処理（図１４参照）を実行する。この自己位置推定処理では、撮影画像と加速度情報と角速度情報とに基づいて現場端末２の位置および姿勢を推定する処理が行われる。この自己位置推定処理が実行されるときには、カメラ８が起動して撮影が開始される。
In the next step S35, the
次のステップＳ３６において、端末制御部２８は、後述する撮影制御処理（図１５参照）を実行する。この撮影制御処理では、カメラ８による撮影の制御を行う。
In the next step S36, the
次のステップＳ３７において、端末制御部２８は、画像送信処理を実行する。この画像送信処理では、画像記憶部２７に記憶されている画像ファイルを管理コンピュータ３に送信する処理が行われる。なお、画像ファイルを送信する処理は、作業者Ｗの操作に基づいて行っても良いし、一定時間ごとに自動的に行っても良い。そして、端末制御処理を終了する。
In the next step S37, the
次に、現場端末２が実行するマーカ認識処理について図１３のフローチャートを用いて説明する。
Next, the marker recognition process executed by the on-
まず、ステップＳ４１において、端末制御部２８は、カメラ８により撮影された撮影画像を取得する。
First, in step S41, the
次のステップＳ４２において、端末制御部２８は、取得した撮影画像にマーカ５が写っているか否かを判定する。ここで、撮影画像にマーカ５が写っていない場合（ステップＳ４２にてＮＯの場合）は、マーカ認識処理を終了する。一方、撮影画像にマーカ５が写っている場合（ステップＳ４２にてＹＥＳの場合）は、ステップＳ４３に進む。
In the next step S42, the
次のステップＳ４３において、端末制御部２８は、マーカ５の図形に含まれるマーカＩＤを読み取る。
In the next step S43, the
次のステップＳ４４において、基準取得部３０は、予め管理コンピュータ３の対象情報データベース３８からダウンロードされた基準点管理テーブルのデータに基づいて、読み取ったマーカＩＤに対応する基準点ＩＤの３Ｄ位置情報を特定する。この基準点の３Ｄ位置情報に基づいて、現場端末２の位置情報の取得または補正を行う。そして、マーカ認識処理を終了する。
In the next step S44, the
次に、現場端末２が実行する自己位置推定処理について図１４のフローチャートを用いて説明する。
Next, the self-location estimation process executed by the on-
まず、ステップＳ５１において、位置姿勢推定部２９は、座標の原点となる基準点の設定に基づく座標の確認処理を行う。例えば、建物１４の出入口１７に設けられた１つのマーカ５を原点として基準点を設定する。また、部屋１５の出入口１８に設けられた１つのマーカ５を原点として基準点を設定しても良い。なお、マーカ５の撮影画像が取得されるまでの間、ディスプレイ６にマーカ５の撮影を促す旨の表示を行っても良い。
First, in step S51, the position and
次のステップＳ５２において、端末制御部２８は、カメラ８により撮影された撮影画像を取得する。
In the next step S52, the
次のステップＳ５３において、位置姿勢推定部２９は、加速度センサ２２で検出された加速度の値を示す加速度情報を取得する。
In the next step S53, the position and
次のステップＳ５４において、位置姿勢推定部２９は、角速度センサ２３で検出された角速度の値を示す角速度情報を取得する。
In the next step S54, the position and
次のステップＳ５５において、位置姿勢推定部２９は、カメラ８の撮影画像に基づいて現場端末２の周辺の物体の３次元形状を測定する。また、３次元測定センサ２４の測定に基づいて現場端末２の周辺の物体の３次元形状を取得しても良い。
In the next step S55, the position and
次のステップＳ５６において、位置姿勢推定部２９は、現場端末２の周辺環境の情報を含む環境地図を作成する。
In the next step S56, the position and
次のステップＳ５７において、位置姿勢推定部２９は、基準点から現場端末２が移動するときに連続的に撮影された撮影画像に基づいて、現場端末２の位置および姿勢を推定する。この移動中の現場端末２の位置および姿勢を時刻情報とともに記録することで、現場端末２の移動経路１９（図３参照）が記録される。また、部屋１５の内部における移動経路が記録されても良い。
In the next step S57, the position and
次のステップＳ５８において、位置姿勢推定部２９は、現場端末２の現在の位置および姿勢を推定する。そして、自己位置推定処理を終了する。
In the next step S58, the position and
次に、現場端末２が実行する撮影制御処理について図１５のフローチャートを用いて説明する。
Next, the shooting control process executed by the on-
まず、ステップＳ６１において、端末制御部２８は、カメラ８が既に起動しているか否かを判定する。ここで、カメラ８が起動中でない場合（ステップＳ６１にてＮＯの場合）は、撮影制御処理を終了する。一方、カメラ８が起動中である場合（ステップＳ６１にてＹＥＳの場合）は、ステップＳ６２に進む。
First, in step S61, the
次のステップＳ６２において、端末制御部２８は、カメラ８により撮影された画像をディスプレイ６に表示する。
In the next step S62, the
次のステップＳ６３において、画像取得制御部３２は、カメラ８により撮影された画像を画像記憶部２７に保存する操作である、撮影操作を受け付けたか否かを判定する。なお、撮影操作とは、例えば、撮影ボタンをタッチ操作することである。ここで、撮影操作を受け付けていない場合（ステップＳ６３にてＮＯの場合）は、撮影制御処理を終了する。一方、撮影操作を受け付けた場合（ステップＳ６３にてＹＥＳの場合）は、ステップＳ６４に進む。
In the next step S63, the image
次のステップＳ６４において、エリア識別部３１は、位置姿勢推定部２９が推定した現場端末２の現在位置に基づいて、現場端末２が画像の取得が許可されている許可エリア内にあるか否かを判定する。ここで、許可エリア内にない場合（ステップＳ６４にてＮＯの場合）は、ステップＳ６５に進む。一方、許可エリア内である場合（ステップＳ６４にてＹＥＳの場合）は、ステップＳ６６に進む。
In the next step S64, the
ステップＳ６５において、画像取得制御部３２は、ディスプレイ６に撮影禁止メッセージを表示する。そして、撮影制御処理を終了する。
In step S65, the image
ステップＳ６６において、位置情報取得部３３は、カメラ８による画像の撮影時の位置を特定可能な位置情報を取得する。
In step S66, the location
次のステップＳ６７において、方向情報取得部３４は、カメラ８による画像の撮影時の方向を特定可能な方向情報を取得する。
In the next step S67, the direction
次のステップＳ６８において、画角情報取得部３５は、カメラ８による画像の撮影時の画角を特定可能な画角情報を取得する。
In the next step S68, the field of view
次のステップＳ６９において、撮影情報記録部３６は、位置情報と方向情報と画角情報とを含む撮影情報を画像に対応付けて記録する。なお、識別子生成部３７が撮影情報に基づいて識別子を生成し、この識別子を画像に対応付けて記録しても良い。ここで、画像ファイルは、画像記憶部２７に記憶される。そして、撮影制御処理を終了する。
In the next step S69, the shooting
次に、管理コンピュータ３が実行する画像判定処理について図１１のフローチャートを用いて説明する。
Next, the image determination process executed by the
まず、ステップＳ２１において、管理制御部４２は、画像記憶部４１に未判定の画像ファイルがあるか否かを判定する。ここで、未判定の画像ファイルがない場合（ステップＳ２１にてＮＯの場合）は、画像判定処理を終了する。一方、未判定の画像ファイルがある場合（ステップＳ２１にてＹＥＳの場合）は、ステップＳ２２に進む。
First, in step S21, the
次のステップＳ２２において、画像判定部４３は、未判定の画像ファイルに対応付けられた撮影情報に含まれる位置情報に基づいて、カメラ８による画像の撮影位置を特定する。
In the next step S22, the
次のステップＳ２３において、画像判定部４３は、未判定の画像ファイルに対応付けられた撮影情報に含まれる方向情報に基づいて、カメラ８による画像の撮影方向を特定する。
In the next step S23, the
次のステップＳ２４において、画像判定部４３は、未判定の画像ファイルに対応付けられた撮影情報に含まれる画角情報に基づいて、カメラ８による画像の撮影時の画角を特定する。
In the next step S24, the
次のステップＳ２５において、画像判定部４３は、画像ファイルに対応付けられた撮影情報と、対象情報データベース３８に記憶された対象情報とに基づいて、画像に対象機器４（対象部分）が写っているか否かを判定する。ここで、画像に対象機器４が写っている場合（ステップＳ２５にてＹＥＳの場合）は、ステップＳ２６に進む。一方、画像に対象機器４が写っていない場合（ステップＳ２５にてＮＯの場合）は、ステップＳ２７に進む。
In the next step S25, the
ステップＳ２６において、画像判定部４３は、画像ファイルを制限ファイルに設定する。そして、ステップＳ２８に進む。
In step S26, the
ステップＳ２７において、画像判定部４３は、画像ファイルを非制限ファイルに設定する。
In step S27, the
次のステップＳ２８において、判定情報記録部４４は、判定結果を示す判定情報を画像ファイルに対応付けて記録する。
In the next step S28, the judgment
次のステップＳ２９において、画像判定部４３は、機械学習部５１により画像の判定を行う設定がなされているか否かを判定する。ここで、機械学習部５１による判定の設定中でない場合（ステップＳ２９にてＮＯの場合）は、画像判定処理を終了する。一方、機械学習部５１による判定の設定中である場合（ステップＳ２９にてＹＥＳの場合）は、ステップＳ３０に進む。
In the next step S29, the
次のステップＳ３０において、画像判定部４３は、機械学習部５１により画像の判定を行う機械学習判定処理を行う。この機械学習判定処理では、画像に対象機器４が写っているか否かを機械学習部５１により解析する。なお、機械学習部５１による判定結果と前述のステップＳ２５における判定結果とが一致する場合には、画像判定処理を終了する。一方、一致しない場合には、機械学習部５１による判定結果を優先して、判定情報を更新しても良いし、管理者Ｍに目視で確認するようにメッセージを表示しても良い。そして、画像判定処理を終了する。
In the next step S30, the
（第２実施形態）
次に、第２実施形態の画像特定システム１Ａおよび画像特定方法について図１６から図１８を用いて説明する。なお、前述した実施形態に示される構成部分と同一構成部分については同一符号を付して重複する説明を省略する。
Second Embodiment
Next, an
図１６に示すように、第２実施形態の画像特定システム１Ａでは、第１実施形態の場合（図２参照）と異なり、現場端末２Ａに画像記憶部２７と撮影情報記録部３６と識別子生成部３７とが設けられていない。その替りに、管理コンピュータ３Ａに撮影情報記録部５２と識別子生成部５３とが設けられている。
As shown in FIG. 16, in the
第２実施形態では、現場端末２Ａが管理コンピュータ３Ａと常時接続が可能な通信環境に設けられている。そして、作業者Ｗが、現場端末２Ａを用いて撮影操作を行った場合に、取得された画像がリアルタイムで管理コンピュータ３Ａに転送される。なお、撮影時の位置情報と方向情報と画角情報とを含む撮影情報も同時に転送される。そして、管理コンピュータ３Ａの画像記憶部４１に記憶される。このように第２実施形態では、現場端末２Ａには、画像が保存されないため、現場端末２Ａが外部に持ち出された場合であっても、画像が持ち出されないで済む。
In the second embodiment, the on-site terminal 2A is provided in a communication environment that allows constant connection to the management computer 3A. When the worker W performs a photographing operation using the on-site terminal 2A, the acquired image is transferred in real time to the management computer 3A. Note that photographing information including position information, direction information, and angle of view information at the time of photographing is also transferred at the same time. The image is then stored in the
管理コンピュータ３Ａの撮影情報記録部５２は、現場端末２Ａから画像を受信したときに、位置情報と方向情報と画角情報とを含む撮影情報を画像に対応付けて記録する。撮影情報は、画像ファイルの属性として記録しても良いし、画像ファイルとは異なる記録ファイルに記録しても良い。なお、管理者Ｍは、いずれの方式で記録するかを事前に設定することができる。
When the image is received from the on-site terminal 2A, the image capture
管理コンピュータ３Ａの識別子生成部５３は、受信した撮影情報に基づいて、識別子を生成する。なお、管理者Ｍは、撮影情報を識別子として記録するか否かを事前に設定することができる。識別子が生成される設定の場合には、撮影情報記録部５２が識別子を画像に対応付けて記録する。なお、撮影情報記録部５２が識別子を画像に含ませる態様で記録しても良い。
The
次に、現場端末２Ａが実行する撮影制御処理について図１８のフローチャートを用いて説明する。なお、第２実施形態の撮影制御処理は、ステップＳ６９Ａのみが、第１実施形態の撮影制御処理（図１５参照）と異なり、ステップＳ６１からステップＳ６８までは、第１実施形態の撮影制御処理と同様である。 Next, the shooting control process executed by the on-site terminal 2A will be described with reference to the flowchart in FIG. 18. Note that the shooting control process of the second embodiment differs from the shooting control process of the first embodiment (see FIG. 15) only in step S69A, and steps S61 to S68 are the same as the shooting control process of the first embodiment.
図１８に示すように、ステップＳ６８の次に進むステップＳ６９Ａにおいて、端末制御部２８は、カメラ８で撮影した画像、および位置情報と方向情報と画角情報とを含む撮影情報を、管理コンピュータ３Ａに送信する。そして、撮影制御処理を終了する。
As shown in FIG. 18, in step S69A following step S68, the
次に、管理コンピュータ３Ａが実行する画像判定処理について図１７のフローチャートを用いて説明する。なお、第２実施形態の画像判定処理は、ステップＳ２１ＡとステップＳ２１Ｂのみが、第１実施形態の画像判定処理（図１１参照）と異なり、ステップＳ２２からステップＳ３０までは、第１実施形態の画像判定処理と同様である。 Next, the image determination process executed by the management computer 3A will be described with reference to the flowchart in FIG. 17. Note that the image determination process of the second embodiment differs from the image determination process of the first embodiment (see FIG. 11) only in steps S21A and S21B, and steps S22 to S30 are the same as the image determination process of the first embodiment.
図１７に示すように、まず、ステップＳ２１Ａにおいて、管理制御部４２は、現場端末２Ａから画像を受信したか否かを判定する。ここで、画像を受信していない場合（ステップＳ２１ＡにてＮＯの場合）は、画像判定処理を終了する。一方、画像を受信した場合（ステップＳ２１ＡにてＹＥＳの場合）は、ステップＳ２１Ｂに進む。
As shown in FIG. 17, first, in step S21A, the
次のステップＳ２１Ｂにおいて、撮影情報記録部５２は、現場端末２Ａから画像とともに受信した撮影情報を、画像に対応付けて記録する。なお、識別子生成部５３が撮影情報に基づいて識別子を生成し、この識別子を画像に対応付けて記録しても良い。ここで、画像ファイルは、画像記憶部４１に記憶される。そして、ステップＳ２２に進む。
In the next step S21B, the image capture
（第３実施形態）
次に、第３実施形態の画像特定システム１および画像特定方法について図１９を用いて説明する。なお、前述した実施形態に示される構成部分と同一構成部分については同一符号を付して重複する説明を省略する。さらに、図２のブロック図を参照する。
Third Embodiment
Next, the
図１９に示すように、第３実施形態の画像特定システム１では、第１実施形態の場合と異なり、レイアウト図面５４のような２Ｄ－ＣＡＤデータに基づいて、画像に対象機器４（対象部分）が写っているか否かを判定する。レイアウト図面５４は、例えば、それぞれの部屋１５の平面図でも良いし、建物１４のそれぞれのフロアの平面図でも良い。
As shown in FIG. 19, unlike the first embodiment, the
第３実施形態の対象情報には、撮影場所のレイアウト図面５４（平面図）が含まれている。そして、レイアウト図面５４におけるカメラ８（現場端末２）と対象機器４（対象部分）の２次元の座標情報に基づいて、対象機器４が写った画像を特定する。なお、現場端末２の機能は、前述の第１実施形態と同じであり、現場端末２により記録された画像には、撮影位置、方位、画角に関する情報が記録されている。
The target information in the third embodiment includes a layout drawing 54 (plan view) of the shooting location. Then, based on the two-dimensional coordinate information of the camera 8 (on-site terminal 2) and the target device 4 (target portion) in the layout drawing 54, an image in which the
対象情報データベース３８に登録されている設計情報には、レイアウト図面５４が含まれている。レイアウト図面５４には、対象機器４の位置、形状または寸法に関する情報が含まれている。さらに、対象機器４の周囲に配置される所定の構造物５５の位置、形状または寸法に関する情報も含まれている。なお、構造物５５は、部屋１５に設置されている装置でも良いし、壁または柱などの建物１４の一部でも良い。また、基準点管理テーブルに登録される位置情報は、基準点が設けられた位置を指定する２次元座標の情報である。この座標の情報には、水平方向（Ｘ軸，Ｙ軸）の位置を指定する情報を含む。
The design information registered in the
画像判定部４３（図２参照）は、画像ファイルに対応付けられた撮影情報と、対象情報データベース３８に記憶された対象情報および設計情報とに基づいて、画像に対象機器４（対象部分）が写っているか否かを判定する。第３実施形態では、カメラ８の水平方向の撮影方向のみに基づいて、対象機器４が写っているか否かの判定を行う。つまり、カメラ８の上下方向の傾きを考慮する必要がなく、大凡の撮影範囲５６が把握できれば良い。
The image determination unit 43 (see FIG. 2) determines whether or not the target device 4 (target portion) is captured in the image based on the shooting information associated with the image file and the target information and design information stored in the
なお、カメラ８の撮影範囲５６に対象機器４が含まれているが、対象機器４の手前に所定の構造物５５（遮蔽物）がある場合は、対象機器４が構造物５５に隠れてしまって、カメラ８で撮影された画像に写り込まないことが想定される。そこで、レイアウト図面５４（２Ｄ－ＣＡＤデータ）を参照し、対象機器４の手前の構造物５５の位置関係に基づいて、画像に対象機器４が映り込んでいるか否かを判定する。
Note that if the
第３実施形態では、２次元の座標情報を用いて処理を行うため、３次元の座標情報の処理を行う場合と比較して、画像に撮影制限の対象となっている対象機器４が写っているか否かを判定する処理を簡素化することができる。つまり、情報量の少ない２Ｄ－ＣＡＤデータを用いて判定が行えるため、情報量の多い３Ｄ－ＣＡＤデータを準備せずに済むようになる。
In the third embodiment, since processing is performed using two-dimensional coordinate information, the process of determining whether or not a
また、対象情報データベース３８には、対象機器４以外の構造物５５の位置を特定可能な情報を含む設計情報が記憶されており、撮影情報と対象情報と設計情報に基づいて、対象機器４が写った画像を特定する。このようにすれば、カメラ８の撮影範囲５６に対象機器４が含まれていても、対象機器４が構造物５５に隠れてしまって画像に写り込まない場合に、その判定を行うことができる。
The
（第４実施形態）
次に、第４実施形態の画像特定システム１および画像特定方法について図２０から図２１を用いて説明する。なお、前述した実施形態に示される構成部分と同一構成部分については同一符号を付して重複する説明を省略する。
Fourth Embodiment
Next, the
第４実施形態では、動画像を対象とした処理を説明する。動画像の撮影の場合は、撮影中にカメラ８の位置が移動する場合がある。撮影開始時に、対象部分としての対象機器４が写り込んでいない場合であっても、撮影中にカメラ８が移動することにより対象機器４が動画像に写り込んでしまう場合がある。このような場合でも、動画像中に対象機器４が写り込んでいるか否かを判定する。
In the fourth embodiment, processing targeting moving images will be described. When capturing moving images, the position of the
まず、動画像の撮影時の時刻、位置、方位、画角など撮影情報を、静止画像におけるＥｘｉｆと同様に、動画ファイルの属性情報として記録する。動画像の場合には、決められた時間間隔で連続的に映像を記録するため、撮影情報も動画像のそれぞれのフレームに対応付けて記録する必要がある。例えば、それぞれのフレームに対応する撮影情報を動画ファイルとは別のファイルに記録しても良い。また、動画像の音声またはテキストデータを記録するトラックに撮影情報を記録しても良い。 First, shooting information such as the time, position, orientation, and angle of view when the video was shot is recorded as attribute information of the video file, similar to Exif for still images. In the case of video, because video is recorded continuously at a set time interval, shooting information must also be recorded in association with each frame of the video. For example, shooting information corresponding to each frame may be recorded in a file separate from the video file. Also, shooting information may be recorded on a track that records audio or text data for the video.
第４実施形態の画像判定部４３（図２参照）の判定においては、記録された動画像の属性に記録された画角情報とそれぞれのフレームにおける撮影位置と撮影方向に基づいて、カメラ８の撮影範囲を算出する。次に、対象情報データベース３８に登録された対象情報に基づいて、カメラ８と対象機器４の位置関係から対象機器４が動画像に写り込んでいるか否かを判定する。この判定結果を示す判定情報は、動画像のフレームまたはトラックに記録する。
In the judgment of the image judgment unit 43 (see FIG. 2) of the fourth embodiment, the shooting range of the
管理者Ｍが動画を編集する際には、例えば、図２０に示すように、管理コンピュータ３のディスプレイ１２に動画編集画面５７が表示される。この動画編集画面５７には、動画ファイルを表示させるファイル表示領域５８と、編集中の動画像が表示されるプレビュー領域５９と、動画像のトラックの内容を表示させる複数のトラック表示領域６０とが設けられている。
When the administrator M edits a video, for example, as shown in FIG. 20, a
所定のトラックには、動画像のそれぞれの場面が記録される。そして、この動画像のトラックに対応して、音声を記録するトラック、テキストデータを記録するトラックが設けられる。さらに、画像判定部４３の判定結果を示す判定情報を記録するトラックが設けられる。
Each scene of the video is recorded on a specific track. Corresponding to the video tracks, a track for recording audio and a track for recording text data are provided. In addition, a track is provided for recording judgment information indicating the judgment result of the
判定情報のトラックには、動画像のいずれの時刻の場面（所定の再生期間）またはフレームに対象機器４が写り込んでいるか否かを示す情報が記録される。例えば、対象機器４が写り込んでいる場面またはフレームに対応して、外部への公開が制限されている旨を示す制限情報６１が記録される。この制限情報６１は、動画編集画面５７のトラック表示領域６０に表示される。なお、管理者Ｍは、動画編集画面５７を用いて任意に制限情報６１を設定しても良い。なお、公開が制限されていない場面またはフレームに対応して、非制限情報を記録しても良い。
In the track of the determination information, information is recorded indicating whether or not the
動画像を再生するときには、制限情報６１に対応する場面、つまり、対象機器４が写り込んでいる場面がカット（削除）された状態で再生される。なお、対象機器４が写り込んでいるフレームをモザイク処理またはマスク処理して再生しても良い。
When playing back a video, the scene corresponding to the
第４実施形態の撮影情報記録部３６（図２参照）は、動画像のトラックとフレームの少なくともいずれか一方に撮影情報を対応付けて記録する。このようにすれば、動画像に撮影制限の対象となっている対象機器４が写っているか否かを選別することができる。
The shooting
また、動画像を再生するときに、撮影制限の対象となっている対象機器４が写っている場面を再生の対象から除外するようにしている。対象機器４をマスクで隠すなどの処理をした場合には、マスクの部分に対象機器４が存在することが分かってしまうが、対象機器４が写っている場面を再生しないようにすることで、対象機器４の存在を秘匿にすることができる。
In addition, when playing back a video, scenes that include the
なお、制限情報を記録する態様は、その他の態様でも良い。例えば、図２１の変形例に示すように、動画像のそれぞれのトラックには、フレーム（画像）と音声とテキストデータと判定情報とが記録される。ここで、判定情報のトラックには、それぞれのフレームごとに制限情報６２が記録される。
Note that the restriction information may be recorded in other ways. For example, as shown in the modified example of FIG. 21, frames (images), audio, text data, and judgment information are recorded in each track of a moving image. Here,
制限情報６２は、対象機器４が写り込んでいるフレームに対応付けて記録される。なお、対象機器４が写り込んでいないフレーム、つまり、公開が制限されていないフレーム（または場面）に対応付けて、疑似的な制限情報６３を記録しても良い。この疑似的な制限情報６３が対応付けられるフレームは、判定情報記録部４４（図２参照）がランダムに設定しても良いし、管理者Ｍが任意に設定しても良い。そして、動画像を再生するときには、制限情報６２および疑似的な制限情報６３が対応付けられたフレーム（場面）を再生の対象から除外するようにする。
The
動画像の再生中に所定の場面がカットされて再生されると、そのカットされた部分に対象機器４が存在することが推測されてしまう。そこで、疑似的な制限情報６３を記録して、公開が制限されていない場面についても部分的（ランダム）にカットして再生することで、対象機器４の存在が推測されないようにできる。
When a specific scene is cut during playback of a video, it is possible to infer that the
本実施形態に係る画像特定システムおよび画像特定方法を第１実施形態から第４実施形態に基づいて説明したが、いずれか１の実施形態において適用された構成を他の実施形態に適用しても良いし、各実施形態において適用された構成を組み合わせても良い。 The image identification system and image identification method according to this embodiment have been described based on the first to fourth embodiments, but the configuration applied in any one of the embodiments may be applied to the other embodiments, and the configurations applied in each embodiment may be combined.
なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。 In the flowchart of this embodiment, an example is shown in which each step is executed in series, but the order of steps is not necessarily fixed, and the order of some steps may be reversed. Also, some steps may be executed in parallel with other steps.
本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。 The system of this embodiment includes a control device with a highly integrated processor such as a dedicated chip, FPGA (Field Programmable Gate Array), GPU (Graphics Processing Unit), or CPU (Central Processing Unit), a storage device such as ROM (Read Only Memory) or RAM (Random Access Memory), an external storage device such as HDD (Hard Disk Drive) or SSD (Solid State Drive), a display device such as a display, an input device such as a mouse or keyboard, and a communication interface. This system can be realized with a hardware configuration that uses a normal computer.
なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。 The program executed by the system of this embodiment is provided in advance in a ROM or the like. Alternatively, this program may be provided stored in an installable or executable file format on a non-transitory computer-readable storage medium such as a CD-ROM, CD-R, memory card, DVD, or flexible disk (FD).
また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。 The programs executed by this system may also be stored on a computer connected to a network such as the Internet and provided by downloading them via the network. This system may also be configured by combining separate modules that independently perform the functions of the components and connect them together via a network or dedicated lines.
なお、本実施形態では、ＶＳＬＡＭ技術を用いて現場端末２の位置情報を取得しているが、その他の態様であっても良い。例えば、ＧＰＳを利用して位置情報を取得しても良い。Ｗｉ－Ｆｉ（登録商標）などの無線通信を利用して位置情報を取得しても良い。加速度センサなどを利用するＰＤＲにより位置情報を取得しても良い。
In this embodiment, the location information of the on-
なお、現場端末２が魚眼レンズ付カメラを備えても良い。例えば、２つの魚眼レンズ付カメラを用いて作業者Ｗの上下左右全方位の３６０度パノラマ画像である全天球画像の同時撮影を行っても良い。そして、全天球画像に対象機器４が写っているか否かを判定しても良い。その場合には、撮影方向および設定情報を参照せずに、位置情報のみに基づいて判定を行っても良い。
The on-
なお、本実施形態の現場端末２は、作業者が持運びできる大きさおよび重さであれば良い。例えば、作業現場において、三脚などの固定器具を用いて現場端末２を固定的に設置して使用しても良い。
The on-
なお、本実施形態のカメラ８は、ステレオカメラであっても良い。例えば、カメラ８がレンズ付きの２つの撮像素子を備えていても良い。このステレオカメラは、物体を複数の異なる２つの方向から同時に撮影することにより、その物体までの奥行き方向の情報が取得可能となっている。また、ステレオカメラのそれぞれの撮像素子により取得される画像は２次元画像であるが、これら２つの２次元画像に写る像の差異に基づいて、立体的な空間把握が可能な立体写真の生成が可能になっている。なお、ディスプレイ６には、レンズ付きの２つの画像素子のうち、いずれか一方の画像素子で撮影した撮影画像を表示すれば良い。
The
以上説明した少なくとも１つの実施形態によれば、位置情報と方向情報と画角情報とを含む撮影情報を画像に対応付けて記録する撮影情報記録部を備えることにより、撮影制限の対象となっている対象部分が写った画像を正確に選別し、その画像が外部に漏洩されてしまうことを抑制することができる。 According to at least one of the embodiments described above, by providing a shooting information recording unit that records shooting information including position information, direction information, and angle of view information in association with an image, it is possible to accurately select images that include target areas that are subject to shooting restrictions, and to prevent those images from being leaked to the outside.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, modifications, and combinations can be made without departing from the spirit of the invention. These embodiments and their modifications are within the scope of the invention and its equivalents as set forth in the claims, as well as the scope and spirit of the invention.
１（１Ａ）…画像特定システム、２（２Ａ）…現場端末、３（３Ａ）…管理コンピュータ、４…対象機器、５…マーカ、６…ディスプレイ、７…スマートフォン、８…カメラ、９…透過型ヘッドマウントディスプレイ、１０…ウェアラブルコンピュータ、１１…コンピュータ本体、１２…ディスプレイ、１３…無線通信装置、１４…建物、１５…部屋、１６…許可エリア、１７，１８…出入口、１９…移動経路、２０…画像ファイル、２１…記録ファイル、２２…加速度センサ、２３…角速度センサ、２４…３次元測定センサ、２５…操作入力部、２６…通信部、２７…画像記憶部、２８…端末制御部、２９…位置姿勢推定部、３０…基準取得部、３１…エリア識別部、３２…画像取得制御部、３３…位置情報取得部、３４…方向情報取得部、３５…画角情報取得部、３６…撮影情報記録部、３７…識別子生成部、３８…対象情報データベース、３９…操作入力部、４０…通信部、４１…画像記憶部、４２…管理制御部、４３…画像判定部、４４…判定情報記録部、４５…判定結果表示部、４６…対象情報設定部、４７…画像判定結果画面、４８…制限ファイル表示領域、４９…非制限ファイル表示領域、５０…マウスカーソル、５１…機械学習部、５２…撮影情報記録部、５３…識別子生成部、５４…レイアウト図面、５５…構造物、５６…撮影範囲、５７…動画編集画面、５８…ファイル表示領域、５９…プレビュー領域、６０…トラック表示領域、６１，６２，６３…制限情報、Ｍ…管理者、Ｗ…作業者。 1 (1A)...Image identification system, 2 (2A)...On-site terminal, 3 (3A)...Management computer, 4...Target device, 5...Marker, 6...Display, 7...Smartphone, 8...Camera, 9...Transparent head-mounted display, 10...Wearable computer, 11...Computer main body, 12...Display, 13...Wireless communication device, 14...Building, 15...Room, 16...Allowed area, 17, 18...Entrance/exit, 19...Movement path, 20...Image file, 21...Recording file, 22...Acceleration sensor, 23...Angular velocity sensor, 24...3D measurement sensor, 25...Operation input unit, 26...Communication unit, 27...Image memory unit, 28...Terminal control unit, 29...Position and orientation estimation unit, 30...Reference acquisition unit, 31...Area identification unit, 32...Image acquisition control unit, 33...Position Information acquisition unit, 34...direction information acquisition unit, 35...angle of view information acquisition unit, 36...shooting information recording unit, 37...identifier generation unit, 38...target information database, 39...operation input unit, 40...communication unit, 41...image storage unit, 42...management control unit, 43...image judgment unit, 44...judgment information recording unit, 45...judgment result display unit, 46...target information setting unit, 47...image judgment result screen, 48...restricted file display area, 49...unrestricted file display area, 50...mouse cursor, 51...machine learning unit, 52...shooting information recording unit, 53...identifier generation unit, 54...layout drawing, 55...structure, 56...shooting range, 57...video editing screen, 58...file display area, 59...preview area, 60...track display area, 61, 62, 63...restriction information, M...administrator, W...worker.
Claims (15)
前記カメラによる前記画像の撮影時の位置を特定可能な位置情報を取得する位置情報取得部と、
前記カメラによる前記画像の撮影時の方向を特定可能な方向情報を取得する方向情報取得部と、
前記カメラによる前記画像の撮影時の画角を特定可能な画角情報を取得する画角情報取得部と、
前記位置情報と前記方向情報と前記画角情報とを含む撮影情報を前記画像に対応付けて記録する撮影情報記録部と、
を備え、
前記撮影情報に基づいて、撮影制限の対象となっている対象部分が写った前記画像を公開の対象から除外する、
画像特定システム。 A camera mounted on a mobile terminal for taking images;
a position information acquisition unit that acquires position information capable of identifying a position at which the image was captured by the camera;
a direction information acquisition unit that acquires direction information capable of identifying a direction at which the image was captured by the camera;
a view angle information acquisition unit that acquires view angle information capable of identifying a view angle at the time when the image was captured by the camera;
an imaging information recording unit that records imaging information including the position information, the direction information, and the angle of view information in association with the image;
Equipped with
excluding the image showing the portion subject to the photography restriction from the images to be made public based on the photography information;
Image Identification System.
前記カメラによる前記画像の撮影時の位置を特定可能な位置情報を取得する位置情報取得部と、
前記カメラによる前記画像の撮影時の方向を特定可能な方向情報を取得する方向情報取得部と、
前記カメラによる前記画像の撮影時の画角を特定可能な画角情報を取得する画角情報取得部と、
前記位置情報と前記方向情報と前記画角情報とを含む撮影情報を前記画像に対応付けて記録する撮影情報記録部と、
を備え、
前記画像が動画像であり、前記動画像のトラックとフレームの少なくともいずれか一方に対応付けて、撮影制限の対象となっている対象部分が写っているか否かを示す情報を記録する、
画像特定システム。 A camera mounted on a mobile terminal for taking images;
a position information acquisition unit that acquires position information capable of identifying a position at which the image was captured by the camera;
a direction information acquisition unit that acquires direction information capable of identifying a direction at which the image was captured by the camera;
a view angle information acquisition unit that acquires view angle information capable of identifying a view angle at the time when the image was captured by the camera;
an imaging information recording unit that records imaging information including the position information, the direction information, and the angle of view information in association with the image;
Equipped with
the image is a moving image, and information indicating whether or not a target part that is subject to photography restriction is included is recorded in association with at least one of a track and a frame of the moving image;
Image Identification System.
請求項１または請求項２に記載の画像特定システム。 selecting the image in which the target portion is captured based on the shooting information;
3. The image identification system according to claim 1 or 2 .
請求項１から請求項３のいずれか１項に記載の画像特定システム。 an image determination unit that determines whether or not the target portion is included in the image based on the shooting information;
The image identification system according to any one of claims 1 to 3.
請求項４に記載の画像特定システム。 A determination result display unit is provided that displays information on a display that allows the determination result by the image determination unit to be identified.
The image identification system of claim 4.
請求項５に記載の画像特定システム。 the determination result display unit displays a restricted file display area in which an image file including the image in which the target portion is displayed and a non-restricted file display area in which an image file including the image in which the target portion is not displayed is displayed.
The image identification system of claim 5 .
請求項６に記載の画像特定システム。 the determination result display unit displays the restricted file display area and the non-restricted file display area side by side;
The image identification system of claim 6.
請求項１から請求項７のいずれか１項に記載の画像特定システム。 the image is a moving image, and a scene in which the target portion is shown is excluded from the playback target;
The image identification system according to any one of claims 1 to 7 .
前記撮影情報と前記対象情報とに基づいて、前記対象部分が写った前記画像を特定する、
請求項１から請求項８のいずれか１項に記載の画像特定システム。 an object information database in which object information capable of identifying a position of the object portion is stored ;
Identifying the image in which the target portion is captured based on the shooting information and the target information.
The image identification system according to any one of claims 1 to 8 .
前記撮影情報と前記対象情報と前記設計情報に基づいて、前記対象部分が写った前記画像を特定する、
請求項９に記載の画像特定システム。 The target information database stores design information including information capable of identifying a position of a structure other than the target portion,
Identifying the image in which the target portion is captured based on the shooting information, the target information, and the design information.
The image identification system of claim 9 .
前記基準点に基づいて、前記位置情報取得部が前記画像の撮影時の位置の取得を行い、かつ前記方向情報取得部が前記画像の撮影時の方向の取得を行う、
請求項１から請求項１０のいずれか１項に記載の画像特定システム。 a reference acquisition unit that acquires a reference point of a photographing location by photographing a specific subject provided at the photographing location with the camera;
The position information acquisition unit acquires a position at the time of photographing the image based on the reference point, and the direction information acquisition unit acquires a direction at the time of photographing the image.
The image identification system according to any one of claims 1 to 10.
請求項１１に記載の画像特定システム。 The specific subject includes a marker drawn as a figure capable of image recognition.
The image identification system of claim 11 .
請求項１１または請求項１２に記載の画像特定システム。 The specific subject includes a nameplate showing a brand name.
The image identification system according to claim 11 or 12 .
前記カメラによる前記画像の撮影時の位置を特定可能な位置情報を取得するステップと、
前記カメラによる前記画像の撮影時の方向を特定可能な方向情報を取得するステップと、
前記カメラによる前記画像の撮影時の画角を特定可能な画角情報を取得するステップと、
前記位置情報と前記方向情報と前記画角情報とを含む撮影情報を前記画像に対応付けて記録するステップと、
を含み、
前記撮影情報に基づいて、撮影制限の対象となっている対象部分が写った前記画像を公開の対象から除外する、
画像特定方法。 Taking an image with a camera mounted on a mobile terminal;
acquiring position information capable of identifying a position at the time when the image was captured by the camera;
acquiring direction information capable of identifying a direction at which the camera captured the image;
acquiring angle-of-view information capable of identifying an angle of view at the time when the image was captured by the camera;
recording shooting information including the position information, the direction information, and the angle of view information in association with the image;
Including ,
excluding the image showing the portion subject to the photography restriction from the images to be made public based on the photography information;
Image identification method.
前記カメラによる前記画像の撮影時の位置を特定可能な位置情報を取得するステップと、
前記カメラによる前記画像の撮影時の方向を特定可能な方向情報を取得するステップと、
前記カメラによる前記画像の撮影時の画角を特定可能な画角情報を取得するステップと、
前記位置情報と前記方向情報と前記画角情報とを含む撮影情報を前記画像に対応付けて記録するステップと、
を含み、
前記画像が動画像であり、前記動画像のトラックとフレームの少なくともいずれか一方に対応付けて、撮影制限の対象となっている対象部分が写っているか否かを示す情報を記録する、
画像特定方法。 Taking an image with a camera mounted on a mobile terminal;
acquiring position information capable of identifying a position at the time when the image was captured by the camera;
acquiring direction information capable of identifying a direction at which the camera captured the image;
acquiring angle-of-view information capable of identifying an angle of view at the time when the image was captured by the camera;
recording shooting information including the position information, the direction information, and the angle of view information in association with the image;
Including ,
the image is a moving image, and information indicating whether or not a target part that is subject to photography restriction is included is recorded in association with at least one of a track and a frame of the moving image;
Image identification method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020091058A JP7508271B2 (en) | 2020-05-26 | 2020-05-26 | IMAGE IDENTIFICATION SYSTEM AND IMAGE IDENTIFICATION METHOD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020091058A JP7508271B2 (en) | 2020-05-26 | 2020-05-26 | IMAGE IDENTIFICATION SYSTEM AND IMAGE IDENTIFICATION METHOD |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021190729A JP2021190729A (en) | 2021-12-13 |
| JP7508271B2 true JP7508271B2 (en) | 2024-07-01 |
Family
ID=78847775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020091058A Active JP7508271B2 (en) | 2020-05-26 | 2020-05-26 | IMAGE IDENTIFICATION SYSTEM AND IMAGE IDENTIFICATION METHOD |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7508271B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7417656B2 (en) * | 2022-05-06 | 2024-01-18 | 株式会社サイバーリンクス | River water level observation system |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006339818A (en) | 2005-05-31 | 2006-12-14 | Sony Corp | Imaging apparatus, method for processing pick-up image data |
| JP2009135597A (en) | 2007-11-28 | 2009-06-18 | Nikon Corp | Electronic camera, information processing apparatus, and information processing method and program |
| JP2014121065A (en) | 2012-12-19 | 2014-06-30 | Konica Minolta Inc | Data management device, data management program, data management system, and data management method |
| JP2014200006A (en) | 2013-03-29 | 2014-10-23 | キヤノン株式会社 | Imaging apparatus and control method |
| WO2017221659A1 (en) | 2016-06-20 | 2017-12-28 | マクセル株式会社 | Image capturing device, display device, and image capturing and displaying system |
| JP2019124849A (en) | 2018-01-18 | 2019-07-25 | セイコーエプソン株式会社 | Head-mount display device, display system, and method for controlling head-mount display device |
| JP2020077898A (en) | 2018-11-05 | 2020-05-21 | 株式会社東芝 | Image processing device and image processing method |
| JP6725736B1 (en) | 2019-08-29 | 2020-07-22 | 株式会社東芝 | Image specifying system and image specifying method |
-
2020
- 2020-05-26 JP JP2020091058A patent/JP7508271B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006339818A (en) | 2005-05-31 | 2006-12-14 | Sony Corp | Imaging apparatus, method for processing pick-up image data |
| JP2009135597A (en) | 2007-11-28 | 2009-06-18 | Nikon Corp | Electronic camera, information processing apparatus, and information processing method and program |
| JP2014121065A (en) | 2012-12-19 | 2014-06-30 | Konica Minolta Inc | Data management device, data management program, data management system, and data management method |
| JP2014200006A (en) | 2013-03-29 | 2014-10-23 | キヤノン株式会社 | Imaging apparatus and control method |
| WO2017221659A1 (en) | 2016-06-20 | 2017-12-28 | マクセル株式会社 | Image capturing device, display device, and image capturing and displaying system |
| JP2019124849A (en) | 2018-01-18 | 2019-07-25 | セイコーエプソン株式会社 | Head-mount display device, display system, and method for controlling head-mount display device |
| JP2020077898A (en) | 2018-11-05 | 2020-05-21 | 株式会社東芝 | Image processing device and image processing method |
| JP6725736B1 (en) | 2019-08-29 | 2020-07-22 | 株式会社東芝 | Image specifying system and image specifying method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021190729A (en) | 2021-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11165959B2 (en) | Connecting and using building data acquired from mobile devices | |
| Zollmann et al. | Augmented reality for construction site monitoring and documentation | |
| CN107836012B (en) | Projection image generation method and device, and mapping method between image pixel and depth value | |
| JP7337654B2 (en) | Maintenance activity support system and maintenance activity support method | |
| JP7041551B2 (en) | Construction process management system and construction process management method | |
| CN109658435A (en) | The unmanned plane cloud for capturing and creating for video | |
| CN113196208A (en) | Automated control of image acquisition by using an acquisition device sensor | |
| US11657085B1 (en) | Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures | |
| JP6725736B1 (en) | Image specifying system and image specifying method | |
| US10838515B1 (en) | Tracking using controller cameras | |
| CA3069813C (en) | Capturing, connecting and using building interior data from mobile devices | |
| CN110168615A (en) | Information processing equipment, information processing method and program | |
| US11395102B2 (en) | Field cooperation system and management device | |
| JP2021136017A (en) | Augmented reality system using visual object recognition and stored geometry to create and render virtual objects | |
| JP7508271B2 (en) | IMAGE IDENTIFICATION SYSTEM AND IMAGE IDENTIFICATION METHOD | |
| US20220051048A1 (en) | Determining visual overlap of images by using box embeddings | |
| TWI764366B (en) | Interactive method and system based on optical communication device | |
| TWI750821B (en) | Navigation method, system, equipment and medium based on optical communication device | |
| US20180350216A1 (en) | Generating Representations of Interior Space | |
| JP7467206B2 (en) | Video management support system and video management support method | |
| TWI759764B (en) | Superimpose virtual object method based on optical communitation device, electric apparatus, and computer readable storage medium | |
| JP2005258792A (en) | Apparatus, method and program for generating image | |
| JP7293057B2 (en) | Radiation dose distribution display system and radiation dose distribution display method | |
| KR102551212B1 (en) | Method and apparatus for providing augmented reality | |
| JP7452768B2 (en) | Imaging system and imaging method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240229 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240619 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7508271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |