JP2017187850A - Image processing system, information processing device, and program - Google Patents
Image processing system, information processing device, and program Download PDFInfo
- Publication number
- JP2017187850A JP2017187850A JP2016074388A JP2016074388A JP2017187850A JP 2017187850 A JP2017187850 A JP 2017187850A JP 2016074388 A JP2016074388 A JP 2016074388A JP 2016074388 A JP2016074388 A JP 2016074388A JP 2017187850 A JP2017187850 A JP 2017187850A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- classification
- protected
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、画像処理システム、情報処理装置及びプログラムに関する。 The present invention relates to an image processing system, an information processing apparatus, and a program.
画像データに各種の解析を施して有用な解析情報を抽出する技術が知られている。例えば、周囲を定期的に撮像する撮像装置が配置されている場合、撮像装置が撮像した画像データを情報処理装置などが解析して人を検知する技術が知られている。人を検知できれば、情報処理装置が人の撮像範囲を切り取ったり、人数をカウントするなどの処理が容易になる。このように、画像データを解析することでより高度に加工された解析情報が得られる。 A technique for extracting useful analysis information by performing various analyzes on image data is known. For example, when an imaging device that periodically captures the surroundings is arranged, a technique is known in which an information processing device or the like analyzes image data captured by the imaging device to detect a person. If a person can be detected, the information processing apparatus can easily perform processing such as cutting out a person's imaging range or counting the number of people. As described above, by analyzing the image data, more highly processed analysis information can be obtained.
ところで、画像データに人が撮像されている場合、人の顔も撮像されている場合ある。そこで、人の顔に着目して画像を解析する技術がある（例えば、特許文献１参照。）。特許文献１には、顔画像の特徴を損なわない程度まで画像特徴量の次元圧縮を行ってから顔を認識する装置が開示されている。
By the way, when a person is captured in the image data, a person's face may also be captured. Therefore, there is a technique for analyzing an image by paying attention to a human face (for example, see Patent Document 1).
しかしながら、従来の技術のように画像データに認識可能な程度に顔が撮像されていることが必ずしも好ましくない場合があるという問題がある。例えば、人の検知精度を向上させるために機械学習が利用される場合がある。機械学習は、主に、教師あり学習、教師なし学習、及び、強化学習の３つに分類されるが、教師あり学習では学習用の画像データを人間（以下、担当者という）がラベリングする必要がある。 However, there is a problem that it is not always preferable that the face is imaged to such an extent that the image data can be recognized as in the prior art. For example, machine learning may be used to improve human detection accuracy. Machine learning is mainly classified into three classes: supervised learning, unsupervised learning, and reinforcement learning. In supervised learning, it is necessary for humans (hereinafter referred to as responsible personnel) to label learning image data. There is.
例えば、店舗に設置された撮像装置が周囲を撮像して画像データを生成し、情報処理装置が画像データを教師データに使用して、人を認識する識別器を機械学習により作成する場合を例にして説明する。教師データをつくる担当者は、店舗に設置された撮像装置が撮像した画像を１枚１枚目視して、人が写っている部分及び写っていない部分をトリミングし、「人である」又は「人ではない」というラベリングを行う。このラベリングの作業の際、画像に個人の顔が写っていると、担当者がその個人を特定できてしまう可能性がある。 For example, an example in which an imaging device installed in a store captures the surroundings to generate image data, and the information processing device uses the image data as teacher data to create a classifier that recognizes a person by machine learning. I will explain. The person in charge of creating the teacher data looks at each of the images captured by the imaging device installed in the store, trims the portion where the person is shown and the portion where the person is not shown, and “is a person” or “ The label is “not a person”. During the labeling work, if an individual's face is shown in the image, the person in charge may be able to identify the individual.
担当者に守秘義務を課すことも可能だが、守秘義務が守られる保証がなく、守秘義務を有していても学習用の画像データが漏洩するおそれが生じうる。このようなリスクがあると、画像処理システムの顧客が撮像装置１の設置を躊躇せざるを得なくなってしまう。
Although it is possible to impose confidentiality on the person in charge, there is no guarantee that the confidentiality will be protected, and there is a possibility that image data for learning may be leaked even if confidentiality is held. When there is such a risk, the customer of the image processing system is forced to hesitate to install the
一方で、個人を特定できないように、学習用の画像データに対し情報処理装置がぼかす又はモザイクをかけるなどの処理を行うと、画像の鮮明さが失われ、作成された識別器の精度が低下してしまう。 On the other hand, if the information processing device performs processing such as blurring or mosaicing the image data for learning so that individuals cannot be identified, the clarity of the image is lost and the accuracy of the created discriminator decreases. Resulting in.
このように従来の機械学習では、識別器の認識精度を落とさないで、画像データに写っている個人のプライバシーなどの秘匿情報を保護することが困難であるという問題があった。 As described above, in the conventional machine learning, there is a problem that it is difficult to protect confidential information such as an individual's privacy shown in the image data without reducing the recognition accuracy of the classifier.
本発明は、上記課題に鑑み、認識精度の低下を抑制して、画像データに写った秘匿情報を保護できる画像処理システムを提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an image processing system capable of protecting confidential information captured in image data while suppressing a decrease in recognition accuracy.
本発明は、撮像装置が撮像した画像データを取得する第一の情報処理装置を有する画像処理システムであって、前記画像データに秘匿情報の保護処理を施して保護画像を生成し、前記保護画像と前記画像データを関連付ける保護手段と、前記保護画像を第二の情報処理装置に送信して、前記第二の情報処理装置から前記保護画像の分類に関する分類情報を取得する分類情報取得手段と、前記保護画像と関連付けられた前記画像データ及び前記分類情報を用いて機械学習を行う学習手段と、を有する。 The present invention is an image processing system having a first information processing device that acquires image data captured by an imaging device, wherein the image data is subjected to a confidential information protection process to generate a protected image, and the protected image And a protection means for associating the image data, a classification information acquisition means for transmitting the protection image to a second information processing apparatus and acquiring classification information relating to the classification of the protection image from the second information processing apparatus; Learning means for performing machine learning using the image data associated with the protected image and the classification information.
認識精度の低下を抑制して、画像データに写った秘匿情報を保護できる画像処理システムを提供することができる。 It is possible to provide an image processing system capable of protecting confidential information captured in image data while suppressing a decrease in recognition accuracy.
以下、本発明を実施するための形態について図面を参照しながら説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
始めに、図１を用いて、機械学習について簡単に説明する。図１は、機械学習のプロセスを説明する図の一例である。本実施形態では画像認識のための機械学習について説明するが、画像認識以外でも機械学習のプロセスは同じである。機械学習のプロセスは、学習フェーズと認識フェーズの２つを有している。学習フェーズでは、情報処理装置に認識させたい画像を学習させる処理、すなわち識別器を作成する処理を行い、認識フェーズでは情報処理装置が識別器を用いて識別対象の画像から人などの認識対象を認識する処理が行われる。
（１）学習フェーズ
学習フェーズでは、まず、情報処理装置が画像になんらかの処理を施して特徴量の抽出を行う。すなわち、ピクセル（画素）のデータ列からより学習に適したデータ列（特徴量データ）へと変換を行う。例えば、二値化した場合の黒画素の数、連続した黒画素の数と方向などが特徴量データとなりうる。
First, machine learning will be briefly described with reference to FIG. FIG. 1 is an example of a diagram illustrating a machine learning process. In the present embodiment, machine learning for image recognition will be described, but the machine learning process is the same except for image recognition. The machine learning process has two phases, a learning phase and a recognition phase. In the learning phase, a process for learning an image to be recognized by the information processing apparatus, that is, a process for creating a classifier is performed. In the recognition phase, the information processing apparatus uses the classifier to identify a recognition target such as a person from the image to be identified. Recognition processing is performed.
(1) Learning Phase In the learning phase, first, the information processing apparatus performs some processing on the image to extract feature amounts. That is, conversion is performed from a pixel data string to a data string (feature data) that is more suitable for learning. For example, the number of black pixels when binarized, the number and direction of continuous black pixels, and the like can be feature amount data.
次に、情報処理装置は機械学習と呼ばれる学習方法で特徴量データを学習する。入力された特徴量データの中から共通のパターンや判別ルールなどを抽出し、これにより未知の画像データに対しても、共通のパターンや判別ルールに基づいたなんらかの判断ができるようになる。学習によって得られた共通のパターンや判別ルールなどを学習データという。 Next, the information processing apparatus learns feature amount data by a learning method called machine learning. A common pattern, discrimination rule, or the like is extracted from the input feature quantity data, so that it is possible to make some judgment based on the common pattern or discrimination rule even for unknown image data. A common pattern or discrimination rule obtained by learning is called learning data.
なお、機械学習は、教師あり学習、教師なし学習及び強化学習の３つに大別される。教師あり学習は、問題（入力）と答え（出力）がセットで入力データとして与えられる学習方法である。例えば、ラベリングの担当者が入力画像それぞれに画像の答えとしてラベル（例えば、食事、花、人、風景など）を与える。情報処理装置はラベルに基づいて認識結果が正しいか否かを判断し、正しくない場合は学習データにフィードバックすることで学習精度を高めていく。
（２）認識フェーズ
認識フェーズでも同様に特徴量の抽出が行われる。情報処理装置は学習フェーズで用いたものと同様の手法で入力画像から特徴量データへ抽出する。そして、変換された特徴量データを機械学習で抽出された学習データを用いて、入力データが何を表しているかを判別する。
Machine learning is roughly classified into three types: supervised learning, unsupervised learning, and reinforcement learning. Supervised learning is a learning method in which a problem (input) and an answer (output) are given as input data. For example, a person in charge of labeling gives a label (for example, meal, flower, person, landscape, etc.) to each input image as an answer to the image. The information processing apparatus determines whether or not the recognition result is correct based on the label. If the recognition result is not correct, the information processing apparatus feeds back to the learning data to improve learning accuracy.
(2) Recognition phase In the recognition phase, feature quantities are extracted in the same manner. The information processing apparatus extracts feature data from the input image using the same method as that used in the learning phase. Then, using the learning data extracted from the converted feature data by machine learning, it is determined what the input data represents.
本実施形態では、主に教師あり学習について説明する。このため、情報処理装置が例えば人や人の動作を画像認識により検出する場合、学習フェーズにおいて、画像データに対し、人である、人でない、座っている、又は、手を伸ばしているなどのラベリングを担当者が行う。 In this embodiment, the supervised learning will be mainly described. For this reason, when the information processing apparatus detects a person or a person's movement by image recognition, for example, in the learning phase, the image data is a person, not a person, sitting, or reaching out. The person in charge performs the labeling.
教師あり学習のアルゴリズムとしてニューラルネットワーク、ＳＶＭ（サポートベクターマシン）、ディープラーニングなどが知られている。近年では、ＧＰＵ（Graphic Processor Unit）のように高速演算処理を可能とする汎用的なハードウェアが登場したこと、大量のデジタルデータを大量に扱えるようになったこと等を理由に、ディープラーニングが注目されている。ディープラーニングとは、ニューラルネットワークの構成（入力層、中間層、出力層）のうち中間層が所定数以上のものをいう。中間層が多いため、各層で学習するべきパラメータ数が大幅に増え、学習には時間がかかる。しかし、ディープラーニングは、従来の機械学習の手法よりも高い精度を誇り、応用範囲も広いことが実証されている。 Neural networks, SVM (support vector machine), deep learning, and the like are known as supervised learning algorithms. In recent years, because of the emergence of general-purpose hardware that enables high-speed arithmetic processing, such as GPU (Graphic Processor Unit), and because it has become possible to handle a large amount of digital data, deep learning has been implemented. Attention has been paid. Deep learning refers to a neural network configuration (input layer, intermediate layer, output layer) having a predetermined number of intermediate layers or more. Since there are many intermediate layers, the number of parameters to be learned in each layer greatly increases, and learning takes time. However, deep learning has proven to be more accurate and has a wider range of applications than traditional machine learning techniques.
＜本実施形態の概略＞
図２は、本実施形態の画像処理システムの全体的な動作を説明する図の一例である。
（１）まず、撮像装置１は店舗内などに設置されており、定期的に周囲を撮像して画像データを画像処理サーバ４に送信する。この画像データは所定以上の解像度を有する鮮明な画像（以下、オリジナル画像という）であり、機械学習に適している。
（２）画像処理サーバ４は機械学習したり画像認識を行う装置である。画像処理サーバ４はオリジナル画像に対し秘匿情報の保護処理を施す。秘匿情報の保護処理は、個人の顔、住所、電話番号などの個人の特定に結びつく秘匿情報を人が視認困難な程度に変更する処理である。具体的には、ぼかし、モザイク処理又は平滑化などを行う。
（３）画像管理装置５は、担当者６ａと閲覧者Ｙからの要求を処理する装置である。まず、担当者６ａが担当者ＰＣ６を操作して保護画像を画像管理装置５に要求する。画像管理装置５は画像処理サーバ４に保護画像を要求するので、画像処理サーバ４はオリジナル画像と保護画像を対応付け、保護画像のみを画像管理装置５に送信する。担当者６ａは、保護画像を視認して人の有無や、人の動作に関し保護画像にラベリングを行う。保護画像では秘匿情報が保護されているので担当者６ａが個人を特定することを防止できる。
（４）担当者ＰＣ６は保護画像を分類することで保護画像のラベルを画像管理装置５に送信する。これにより、画像管理装置５では保護画像（具体的には保護画像の人認識領域）ごとにラベルが付与される。
（５）画像管理装置５は保護画像のラベルを画像処理サーバ４に送信する。これにより、画像処理サーバ４ではオリジナル画像にラベルが対応付けられた状態となる。
（６）画像処理サーバ４は学習部４５を有しており、この学習部４５はオリジナル画像とラベルを使用して例えばディープラーニングによる機械学習を行う。オリジナル画像が使用されるので、認識の精度を低下させずに学習することができる。学習により学習データが作成される。ここまでが学習フェーズである。
（７）次に、認識部４６は、例えば閲覧者Ｙからの要求によって、学習によって得られた学習データを用いて撮像装置１から送信されるオリジナル画像を認識する。例えば、人の有無や人の動作を認識する。そして、認識結果（人が認識されたか、人である場合にどのような動作をおこなっているか）と共に保護画像を画像管理装置５に送信する。
（８）閲覧者Ｙは撮像装置１が配置された店舗等の例えば運営者である。閲覧者Ｙは情報端末７を操作して保護画像を表示させる。保護画像では、認識部４６による画像認識により人が矩形枠で強調されていたりその動作内容がタグなどで表示されている。あるいは、ある時間内で特定の動作を行った人の数などを情報端末７が解析して表示したりすることもできる。
<Outline of this embodiment>
FIG. 2 is an example of a diagram illustrating the overall operation of the image processing system according to the present embodiment.
(1) First, the
(2) The
(3) The
(4) The person-in-
(5) The
(6) The
(7) Next, the
(8) The viewer Y is, for example, an operator such as a store where the
このように本実施形態の画像処理システムは、担当者６ａがラベリングに使用する画像データが保護されているため秘匿情報の漏えいを抑制できる。また、認識フェーズではオリジナル画像が使用されるので認識の精度が低下しにくい。
As described above, the image processing system according to this embodiment can suppress leakage of confidential information because the image data used by the person in
＜用語について＞
秘匿情報とは秘匿されることが好ましい情報をいう。あるいは、個人や個人に関する組織などを特定できる情報である。具体的には、個人の顔、住所、電話番号、電子メールアドレス、特定のサイトのアカウント（ログインＩＤ）、パスワード、又はポスターや写真などの肖像、などであるがこれらには限られない。
<Terminology>
The secret information means information that is preferably concealed. Or it is information which can specify an individual or an organization related to the individual. Specific examples include, but are not limited to, an individual's face, address, telephone number, e-mail address, account (login ID) of a specific site, password, or portrait such as a poster or photo.
分類情報とは、画像に写っている情報に基づいて画像が分類された場合の類別である。類別の内容や数は分類の目的に応じて決定される。本実施形態では、画像における人の有無、及び、人が写っている場合は画像に写っている人の動作に応じて分類され、動作内容を分類情報として説明する。 The classification information is a classification when an image is classified based on information included in the image. The contents and number of categories are determined according to the purpose of classification. In the present embodiment, classification is performed according to the presence / absence of a person in the image and the action of the person in the image when the person is shown, and the operation content will be described as classification information.
機械学習とは、データから反復的に学習し、そこに潜むパターンを見つけ出すことである。学習結果を新たなデータにあてはめることで情報処理装置がパターンにしたがって人間と同様に判断することが可能になる。具体例については後述される。 Machine learning is to iteratively learn from data and to find out the patterns hidden in it. By applying the learning result to new data, the information processing apparatus can make a determination in the same manner as a human being according to the pattern. Specific examples will be described later.
また、本実施形態において画像と画像データという用語は厳密には区別されずに使用される。 In the present embodiment, the terms image and image data are used without being strictly distinguished.
＜画像処理システムのシステム構成＞
図３は、画像処理システム２００の概略構成図の一例である。画像処理システム２００は、通信ネットワーク９を介して接続された画像管理装置５、画像処理サーバ４、撮像装置１、通信端末３、担当者ＰＣ６、管理者ＰＣ８、及び、情報端末７を有している。撮像装置１は設置者Ｘにより店舗内に設置されている。情報端末７は閲覧者Ｙにより操作され、担当者ＰＣ６は担当者６ａにより操作され、管理者ＰＣ８はシステム管理者８ａにより操作される。
<System configuration of image processing system>
FIG. 3 is an example of a schematic configuration diagram of the
通信ネットワーク９は、店舗内や閲覧者Ｙの所属先の企業のＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等の少なくとも１つを含んで構築されている。通信端末３や情報端末７がＬＡＮを介さずに直接、回線電話網や携帯電話網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。また、通信ネットワークにはＷＡＮやインターネットが含まれる。通信ネットワークは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。
The
撮像装置１は、１度の撮像で周囲３６０度を撮像し全天球画像を作成するカメラである。デジタルスチルカメラ又はデジタルビデオカメラと呼ばれる場合がある。また、通信端末３にカメラが付いている場合は、通信端末３がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために撮像装置１は全天球画像を得るためのデジタルカメラとして説明を行う。撮像装置１は定期的に周囲３６０を撮像する。必ずしも定期的である必要はなく、不定期に撮像してもよいし、設置者Ｘの操作により撮像してもよいし、閲覧者Ｙが画像管理装置５に要求することで画像管理装置５からの命令で撮像してもよい。
The
なお、撮像装置１は、視線が異なる何枚かの風景を自動的に撮像し、複数の画像データを合成することで全天球画像を作成してもよい。
Note that the
通信端末３は、撮像装置１の代わりに通信ネットワーク９に接続する通信機能を有している。通信端末３は、撮像装置１への電力供給や店舗への固定を行うためのクレードル(Cradle)である。クレードルとは、撮像装置１の機能を拡張する拡張機器をいう。通信端末３は撮像装置１と接続するためのインタフェースを有し、これにより撮像装置１は通信端末３の機能を利用できる。通信端末３は、このインタフェースを介して撮像装置１とデータ通信を行なう。そして、無線ルータ９ａ及び通信ネットワーク９を介して画像管理装置５とデータ通信を行なう。
The
なお、撮像装置１が無線ルータ９ａや通信ネットワーク９と直接、データ通信する機能を有する場合、通信端末３はなくてもよい。あるいは、撮像装置１と通信端末３が一体に構成されていてもよい。
Note that when the
画像処理サーバ４は、例えば、サーバとして機能する情報処理装置であり、通信ネットワーク９を介して、通信端末３及び画像管理装置５とデータ通信を行うことができる。画像処理サーバ４は、撮像装置１から送信された画像データ（オリジナル画像）と、秘匿情報の保護処理が行われた画像データ（保護画像）を対応付けて管理する。その他、画像処理サーバ４は機械学習に関する処理を行う。画像処理サーバ４はオリジナル画像を保持するが、担当者ＰＣ６、管理者ＰＣ８及び情報端末７とは通信しないので、オリジナル画像が漏洩することを抑制しやすい。
The
画像管理装置５は、例えば、サーバとして機能する情報処理装置であり、通信ネットワーク９を介して、通信端末３及び情報端末７とデータ通信を行なうことができる。画像管理装置５には、OpenGL ES（3Dグラフィックス用のＡＰＩ：Application Interface）がインストールされている。OpenGL ESを呼び出すことでメルカトル画像から全天球画像を作成したり、全天球画像の一部の画像（所定領域画像）のサムネイル画像を作成したりすることができる。
The
なお、画像管理装置５及び画像処理サーバ４にはクラウドコンピューティングが適用されていることが好ましい。クラウドコンピューティングの物理的な構成に厳密な定義はないが、情報処理装置を構成するＣＰＵ、ＲＡＭ、ストレージなどのリソースが負荷に応じて動的に接続・切断されることで情報処理装置の構成や設置場所が柔軟に変更される構成が知られている。また、クラウドコンピューティングでは、画像管理装置５が仮想化されることが一般的である。１台の情報処理装置が仮想化によって複数の画像管理装置５としての機能を提供することや、複数の情報処理装置が仮想化によって一台の画像管理装置５としての機能を提供することができる。なお、画像管理装置５がクラウドコンピューティングとしてではなく単独の情報処理装置により提供されることも可能である。
Note that cloud computing is preferably applied to the
情報端末７は、例えば、ノートＰＣ(Personal Computer)であり、通信ネットワーク９を介して、画像管理装置５とデータ通信を行う。情報端末７は、ノートＰＣの他、タブレット端末、ＰＣ、ＰＤＡ（Personal Digital Assistant）、電子黒板、テレビ会議端末、ウェアラブルＰＣ、ゲーム機、携帯電話、カーナビゲーションシステム、スマートフォンなどでもよい。また、これらに限られるものではない。
The
担当者ＰＣ６は担当者６ａが保護画像をラベリングする際に使用される情報処理装置である。担当者ＰＣ６の具体的な例は情報端末７と同様でよい。より好ましくは、担当者６ａが移動中などの空き時間にラベリングできるように、スマートフォンなど可搬性の情報処理装置である。担当者６ａは保護画像にラベリングを行う者である。担当者６ａは例えばアルバイト（学生など）、派遣社員、契約社員、パート、又は、正社員などであるがこれらには限られない。
The person-in-charge PC6 is an information processing apparatus used when the person-in-
管理者ＰＣ８は、画像処理システム２００を管理・運営するシステム管理者８ａが操作するための情報処理装置である。また、管理・運営の一環としてシステム管理者８ａは機械学習に関する作業を行う。システム管理者８ａと設置者Ｘとが同じ者でもよい。システム管理者８ａは、機械学習の精度を向上させるために、保護画像を参照して画像処理サーバ４が機械学習に使用するか否かを保護画像ごとに決定する。
The
撮像装置１、通信端末３、及び無線ルータ９ａは、店舗等の各販売拠点で設置者Ｘによって所定の位置に設置される。情報端末７は、各販売拠点を統括する本社等に設置され、画像管理装置５を介して送られて来る各拠点の状況を表した画像を表示することで、閲覧者Ｙが各拠点の状況を表した画像を閲覧することができる。ただし、情報端末７は本社以外の場所からも画像管理装置５と通信可能である。画像管理装置５は、各拠点の通信端末３から送られて来た画像データやその解析結果を情報端末７に送信する。
The
画像処理サーバ４は通信ネットワーク９上にあればよいが、管理者ＰＣ８、担当者ＰＣ６及び情報端末７からは通信が困難状態に隔離されることが好ましい。画像処理サーバ４はオリジナル画像を有しているためである。また、管理者ＰＣ８及び担当者ＰＣ６は通信ネットワーク９に接続可能な任意の場所に配置されるが、固定されている必要はなく移動可能であることが想定される。また、システム管理者８ａが使用する情報処理装置が便宜上、管理者ＰＣ８と呼ばれ、担当者６ａが使用する情報処理装置が便宜上、担当者ＰＣ６と呼ばれるに過ぎない。
The
＜実施形態のハードウェア構成＞
次に、図４〜図６を用いて、本実施形態の撮像装置１、通信端末３，情報端末７、画像処理サーバ４、担当者ＰＣ６，管理者ＰＣ８及び画像管理装置５のハードウェア構成を説明する。
<Hardware Configuration of Embodiment>
Next, the hardware configuration of the
<<撮像装置１>>
図４は、撮像装置１のハードウェア構成図の一例である。以下では、撮像装置１は、２つの撮像素子を使用した全方位の撮像装置１とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置１と同じ機能を有するようにしてもよい。
<<
FIG. 4 is an example of a hardware configuration diagram of the
図４に示されているように、撮像装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。
As shown in FIG. 4, the
このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
Among these, the
撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。
The
画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、メルカトル画像のデータを作成する。
The
撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
In general, the
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮像装置１によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
The
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置１には表示部が設けられていないが、表示部を設けてもよい。
Further, as will be described later, the
マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
The
ＣＰＵ１１１は、撮像装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。
The
操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。
The
ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して通信端末３等の外部装置に送信されたりする。
The network I /
通信部１１７は、撮像装置１に設けられたアンテナ１１７ａを介して、Ｗｉ−Ｆｉ(wireless fidelity)、ＮＦＣ（Near Filed Communication）、又はＬＴＥ（Long Term Evolution）等の離無線技術によって、通信端末３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータを通信端末３の外部装置に送信することができる。
The
電子コンパス１１８は、地球の磁気から撮像装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。
The
<<通信端末>>
次に、図５を用いて、通信端末３のハードウェア構成を説明する。なお、図５は、無線通信機能を有したクレードルの場合の通信端末３のハードウェア構成図である。
<< Communication terminal >>
Next, the hardware configuration of the
図５に示されているように、通信端末３は、通信端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)３０４、Ｗｉ−Ｆｉ、ＮＦＣ、ＬＴＥ等でデータ通信する通信部３０５、撮像装置１と有線で通信するためのＵＳＢ I/F３０３、カレンダーや時間情報を保持するＲＴＣ（Real Time Clock）３０６を有している。
As shown in FIG. 5, the
また、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。
In addition, a
なお、ＲＯＭ３０２には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。
The
通信部３０５は、アンテナ３０５ａを利用して無線通信信号により、無線ルータ９ａ等と通信を行う。
The
図示する他、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって通信端末３の位置情報（緯度、経度、及び高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部を備えていてもよい。
In addition to the figure, a GPS receiving unit is provided that receives GPS signals including position information (latitude, longitude, and altitude) of the
<<画像管理装置５、画像処理サーバ４、情報端末７、管理者ＰＣ８、担当者ＰＣ６>>
図６（ａ）を用いて、画像管理装置５、情報端末７、管理者ＰＣ８、担当者ＰＣ６のハードウェア構成を説明する。なお、図６（ａ）は、画像管理装置５、情報端末７、管理者ＰＣ８、担当者ＰＣ６のハードウェア構成図である。画像管理装置５、情報端末７、管理者ＰＣ８、担当者ＰＣ６はいずれも情報処理装置（コンピュータ）であるため、以下では、画像管理装置５の構成について説明する。情報端末７、管理者ＰＣ８、担当者ＰＣ６の構成は画像管理装置５と同様であるとし、相違があるとしても本実施形態の説明に関し支障がないものとする。
<<
The hardware configuration of the
画像管理装置５は、画像管理装置５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３を有する。また、画像管理装置５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５を有する。また、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８を有する。ディスプレイ５０８にはタッチパネルが装着されていることが好ましい。また、通信ネットワーク９を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２を有する。また、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４を有する。また、上記各構成要素を図５に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。
The
図６（ｂ）は、画像処理サーバ４のハードウェア構成図の一例である。画像処理サーバ４は情報処理装置であるため、基本的な構成は画像管理装置５と同様である。ただし、ディープラーニングに関する処理を行う画像処理サーバ４はＧＰＵ５１５を有することが好ましい。ＧＰＵ５１５は画像処理で多く見られる、単純だが数の多い処理を並列に行うプロセッサである。複数のタスクを同時に並列に実行できるよう数百から数千以上のコアを有している。この他の構成は画像管理装置５と同様であるものとして説明する。
FIG. 6B is an example of a hardware configuration diagram of the
＜画像処理システムの機能について＞
図７は、本実施形態の画像処理システム２００が有する、撮像装置１、通信端末３、画像管理装置５、及び情報端末７の各機能ブロック図の一例である。図８は、本実施形態の画像処理システム２００が有する画像処理サーバ４、管理者ＰＣ８及び担当者ＰＣ６の各機能ブロック図の一例である。
<Functions of image processing system>
FIG. 7 is an example of functional block diagrams of the
<<撮像装置１の機能構成>>
撮像装置１は、受付部１２、撮像部１３、集音部１４、接続部１５、及び記憶・読出部１９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮像装置１用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。
<< Functional configuration of
The
また、撮像装置１は、図４に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４の１つ以上によって構築される記憶部１０００を有している。記憶部１０００には撮像装置１用のプログラム及び端末ＩＤが記憶されている。
In addition, the
撮像装置１の受付部１２は、主に、図４に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、ユーザ（図２では、設置者Ｘ）からの操作入力を受け付ける。なお、撮像装置１は設置者Ｘによる撮像のための操作がなくても自動的かつ定期的に周囲を撮像する。定期の間隔は、設置者Ｘが撮像装置１に設定してもよいし、閲覧者Ｙが画像管理装置５を介して設定してもよい。
The
撮像部１３は、主に、図４に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、及びＣＰＵ１１１の処理によって実現され、風景等を撮像し、画像データを作成する。
The
集音部１４は、主に、図４に示されているマイク１０８及び音処理ユニット１０９、及び、ＣＰＵ１１１の処理によって実現され、撮像装置１の周囲の音を収音する。
The
接続部１５は、主に、ネットワークＩ／Ｆ１１６及びＣＰＵ１１１の処理によって実現され、通信端末３からの電力供給を受けると共に、通信端末３とデータ通信を行う。
The
記憶・読出部１９は、主に、図４に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データを記憶したり、記憶部１０００から各種データを読み出したりする。なお、以下では、撮像装置１が記憶部１０００から読み書きする場合でも「記憶・読出部１９を介して」という記載を省略する場合がある。
The storage /
<<通信端末３の機能構成>>
通信端末３は、送受信部３１、受付部３２、接続部３３、及び記憶・読出部３９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ３０２からＲＡＭ３０４上に展開された通信端末用のプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。
<< Functional configuration of
The
また、通信端末３は、図５に示されているＲＯＭ３０２及びＲＡＭ３０４によって構築される記憶部３０００を有している。記憶部３０００には通信端末用のプログラムが記憶されている。
Further, the
（通信端末３の各機能構成）
通信端末３の送受信部３１は、主に、図５に示されている通信部３０５及びＣＰＵ３０１の処理によって実現され、無線ルータ９ａ及び通信ネットワーク９を介して、画像管理装置５と各種データの送受信を行う。なお、以下では、通信端末３が画像管理装置５と通信する場合でも、「送受信部３１を介して」という記載を省略する場合がある。
(Each functional configuration of the communication terminal 3)
The transmission / reception unit 31 of the
接続部３３は、主に、図５に示されているＵＳＢ I/F３０３、及びＣＰＵ３０１の処理によって実現され、撮像装置１に電力供給すると共に、データ通信を行う。
The
記憶・読出部３９は、主に、図５に示されているＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データを記憶したり、記憶部３０００から各種データを読み出したりする。なお、以下では、通信端末３が記憶部３０００から読み書きする場合でも「記憶・読出部３９を介して」という記載を省略する場合がある。
The storage /
<<画像管理装置５の機能構成>>
画像管理装置５は、送受信部５１、サムネイル作成部５２、画面作成部５３、分析部５４、要求処理部５５、及び記憶・読出部５９を有している。これら各部は、図６（ａ）に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像管理装置５用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
<< Functional configuration of
The
また、画像管理装置５は、図６（ａ）に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、拠点管理ＤＢ５００１、撮像管理ＤＢ５００２、画像管理ＤＢ５００３、サムネイル管理ＤＢ５００４、及び、解析情報管理ＤＢ５００５、が構築されている。以下、各データベースについて説明する。
Further, the
地域名は、例えば、関東、東京、渋谷区、ニューヨーク州、ニューヨーク市等、土地の区域又は範囲を示す。地域名称と言ってもよい。なお、識別情報とは、複数の対象からある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち２つ以上の組み合わせをいう。以下のＩＤ又は識別情報についても同じである。 The area name indicates an area or range of land such as Kanto, Tokyo, Shibuya Ward, New York State, New York City. It may be said that it is an area name. Note that the identification information refers to a name, a code, a character string, a numerical value, or a combination of two or more of these used to uniquely distinguish a specific target from a plurality of targets. The same applies to the following IDs or identification information.
拠点ＩＤは、拠点を識別するための識別情報の一例である。拠点ＩＤは拠点名に対し重複しないように付与される。拠点固有情報と称してもよい。拠点ＩＤの一例としては重複しない番号とアルファベットの組み合わせが挙げられる。拠点とは撮像装置１が設置され周囲を撮像するよりどころとなる所を言う。拠点の一例が店舗である。
The base ID is an example of identification information for identifying the base. The site ID is assigned to the site name so as not to overlap. It may be referred to as site-specific information. An example of the base ID is a combination of numbers and alphabets that do not overlap. The base is a place where the
拠点名は、渋谷店等の店舗名や、渋谷会場等の会場名等であり、拠点の名称である。拠点レイアウトマップには、各拠点のレイアウトや地図を示す画像データなどのファイル名が登録される。拠点レイアウトマップにより拠点における撮像装置１や取扱商品などの位置が２次元座標で特定される。
The base name is a store name such as Shibuya store, a venue name such as Shibuya venue, and the name of the base. In the site layout map, file names such as image data indicating the layout and map of each site are registered. The position of the
端末ＩＤは、撮像装置１を識別するための識別情報である。端末固有情報と称してもよい。端末ＩＤは、例えば、撮像装置１の例えばシリアル番号、製造番号、型番と重複しない数値、ＩＰアドレス、又は、ＭＡＣアドレスなどであるがこれらには限定されない。表１に示すように、１つの拠点には１つ以上の撮像装置１（端末ＩＤ）が設置されており、それらの位置が拠点レイアウトマップに登録されている。
The terminal ID is identification information for identifying the
拠点管理テーブルは、設置者Ｘ又は閲覧者Ｙが登録してもよいし、画像処理システム２００のサプライヤーが登録してもよい。
The site management table may be registered by the installer X or the viewer Y, or may be registered by the supplier of the
例えば、情報端末７で画像管理装置５にアクセスし、表２の撮像管理テーブルから拠点名と撮像タイトルを選ぶ。画像管理装置５は拠点ＩＤに対応付けられている端末ＩＤを表１の拠点管理テーブルから読み出すことができる。端末ＩＤが明らかになるので、画像管理テーブルの端末ＩＤに対応付けられた画像データのうち撮像日時が撮像開始日時から撮像終了日時に含まれる画像データを画像管理装置５が特定できる。
For example, the
当然ながら、閲覧者Ｙは端末ＩＤや拠点ＩＤを直接指定することもできる。本実施形態では、簡単のため閲覧者Ｙが端末ＩＤを指定して閲覧する態様を主に説明する。なお、画像管理テーブルは、主に画像管理装置５が登録する。
Of course, the viewer Y can also directly specify the terminal ID and the base ID. In the present embodiment, for the sake of simplicity, a mode in which the viewer Y browses by specifying a terminal ID will be mainly described. The image management table is mainly registered by the
サムネイル管理テーブルでは、保護画像ＩＤごとに、サムネイルＩＤ、サムネイル画像のファイル名、及び所定領域情報が関連付けて記憶されている。サムネイルＩＤは、保護画像ＩＤで示される画像データに基づいて作成されたサムネイル画像を一意に識別するための識別情報の一例である。サムネイル固有情報と称してもよい。サムネイル画像のファイル名は、サムネイルＩＤで示されるサムネイル画像のファイル名である。サムネイル画像のファイル名は画像管理装置５が付与する。所定領域情報は、保護画像ＩＤで示される画像データにおいて、サムネイル画像が作成された所定領域を示す。サムネイル管理テーブルは、主に画像管理装置５が登録する。
In the thumbnail management table, a thumbnail ID, a thumbnail image file name, and predetermined area information are stored in association with each protected image ID. The thumbnail ID is an example of identification information for uniquely identifying a thumbnail image created based on the image data indicated by the protected image ID. It may be referred to as thumbnail specific information. The file name of the thumbnail image is the file name of the thumbnail image indicated by the thumbnail ID. The image name is assigned by the
人認識領域は人が撮像されている位置を特定するための情報であり、来客者が検出される領域は矩形であるものとして、例えば、左上頂点の座標（x,y）と幅（width）と高さ（height）が領域範囲となる。対角の２点の座標で領域が特定されてもよい。なお、領域範囲は、全天球に画像が貼り付けられる前の平面の状態の平面画像の座標系に基づいて決定されている。補足すると、撮像装置１は当初、平面画像を出力するが、閲覧時には全天球に平面画像が貼り付けられ全天球画像が作成されている。分類は、画像認識により人認識領域の人がどのような動作をしていると分類されたかを示す。このように、解析情報管理ＤＢ５００５には画像認識されたオリジナル画像に関連付けられた保護画像と認識結果が記憶されている。
The person recognition area is information for specifying the position where the person is imaged, and the area where the visitor is detected is assumed to be rectangular, for example, the coordinates (x, y) and width (width) of the upper left vertex The height is the area range. An area may be specified by coordinates of two diagonal points. Note that the area range is determined based on the coordinate system of the planar image in a planar state before the image is pasted on the omnidirectional sphere. Supplementally, the
（画像管理装置５の各機能構成）
画像管理装置５の送受信部５１は、主に、図６（ａ）に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して通信端末３、又は情報端末７と各種データの送受信を行う。なお、以下では、画像管理装置５が情報端末７と通信する場合でも、「送受信部５１を介して」という記載を省略する場合がある。
(Each functional configuration of the image management device 5)
The transmission /
サムネイル作成部５２は、主に、図６（ａ）に示されているＣＰＵ５０１の処理によって実現され、全天球画像の所定領域の画像のサムネイル画像を作成する。
The
画面作成部５３は、画像データを情報端末７に送信する際に、ＨＴＭＬデータ、JavaScript（登録商標）及びＣＳＳなどで情報端末７が画像データを表示するための画面情報を作成する。
The
分析部５４は、図６（ａ）に示されているＣＰＵ５０１の処理によって実現され、情報端末７から画像データの分析を受け付け、画像処理サーバ４に対し閲覧者Ｙから指定された画像データの認識を依頼する。また、認識結果を情報端末７に送信する。
The
要求処理部５５は、図６（ａ）に示されているＣＰＵ５０１の処理によって実現され、担当者ＰＣ６又は管理者ＰＣ８から保護画像の要求を取得すると、画像処理サーバ４に保護画像を要求し、担当者ＰＣ６又は管理者ＰＣ８へ送信する。すなわち、担当者ＰＣ６及び管理者ＰＣ８がオリジナル画像を有する画像処理サーバ４と直接、通信しなくても、担当者ＰＣ６及び管理者ＰＣ８が保護画像を得られるように通信を中継する。
The
記憶・読出部５９は、主に、図６（ａ）に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データを記憶したり、記憶部５０００から各種データを読み出したりする。なお、以下では、画像管理装置５が記憶部５０００から読み書きする場合でも「記憶・読出部５９を介して」という記載を省略する場合がある。
The storage /
＜情報端末７の機能構成＞
情報端末７は、送受信部７１、受付部７２、表示制御部７３、及び、記憶・読出部７９を有している。これら各部は、図６（ａ）に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された情報端末７用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
<Functional configuration of
The
また、情報端末７は、図６（ａ）に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。記憶部７０００には情報端末７用のプログラムが記憶されている。情報端末７用のプログラムは、例えばブラウザソフトウェアであるが、ブラウザソフトウェアのような通信機能を備えたアプリケーションソフトウェアでもよい。また、画像管理装置５から情報端末７に送信されるＨＴＭＬやスクリプト言語で記述された情報も情報端末７用のプログラムとなる。
Further, the
（情報端末７の各機能構成）
情報端末７の送受信部７１は、主に、図６（ａ）に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して画像管理装置５と各種データの送受信を行う。なお、以下では、情報端末７が画像管理装置５と通信する場合でも、「送受信部７１を介して」という記載を省略する場合がある。
(Each functional configuration of the information terminal 7)
The transmission /
受付部７２は、主に、図６（ａ）に示されているキーボード５１１及びマウス５１２、並びにＣＰＵ５０１の処理によって実現され、ユーザ（図２では、閲覧者Ｙ）からの操作入力を受け付ける。
The accepting
表示制御部７３は、主に、図６（ａ）に示されているＣＰＵ５０１の処理によって実現され、画像管理装置５から送信された画面情報を解釈して情報端末７のディスプレイ５０８に各種画面を表示させるための制御を行なう。
The
記憶・読出部７９は、主に、図６（ａ）に示されているＨＤ５０４、及びＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データを記憶したり、記憶部７０００から各種データを読み出したりする。なお、以下では、情報端末７が記憶部７０００から読み書きする場合でも「記憶・読出部７９を介して」という記載を省略する場合がある。
The storage /
<<画像処理サーバ４の機能構成>>
画像処理サーバ４は、送受信部４１、保護処理部４２、画像分類部４３、編集受付部４４、学習部４５、認識部４６、及び記憶・読出部４９を有している。これら各部は、図６（ｂ）に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像処理サーバ４用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
<< Functional configuration of
The
また、画像処理サーバ４は、図６（ｂ）に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部４０００を有している。この記憶部４０００には、オリジナル画像ＤＢ４００１、保護画像ＤＢ４００２、関連付け管理ＤＢ４００３、分類管理ＤＢ４００４、分類結果ＤＢ４００５、及び、学習結果ＤＢ４００６、が構築されている。以下、各データベースについて説明する。
Further, the
表９の動作内容は、保護画像に写った店舗内の人を閲覧者Ｙが分析するためのものなので、撮像装置１の設置目的によって分類管理テーブルには種々の分類名が設定され得る。例えば、店舗では表９の他、手に取る動作、身体に衣服を当てる動作などが動作内容となりうる。また、例えば、防犯用途では家に侵入する動作、商品を鞄にいる動作などが動作内容となりうる。表９のように分類管理テーブルが用意されることで、例えばシステム管理者８ａが分類管理テーブルを編集すれば、分類名を容易に増減できる。したがって、担当者のラベリングの対象を容易に増減できる。
Since the operation content of Table 9 is for the viewer Y to analyze the person in the store reflected in the protection image, various classification names can be set in the classification management table depending on the installation purpose of the
（画像処理サーバ４の各機能構成）
画像処理サーバ４の送受信部４１は、主に、図６（ｂ）に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して画像管理装置５と各種データの送受信を行う。なお、以下では、画像処理サーバ４が画像管理装置５と通信する場合でも、「送受信部４１を介して」という記載を省略する場合がある。
(Each functional configuration of the image processing server 4)
The transmission /
保護処理部４２は、主に図６（ｂ）に示されているＣＰＵ５０１の処理によって実現され、オリジナル画像に保護処理を行って保護画像を生成する。保護画像は保護画像ＤＢ４００２に登録される。また、保護処理部４２は関連付け管理ＤＢ４００３にオリジナル画像ＩＤ、保護画像ＩＤ及び撮像日時を登録する。
The
画像分類部４３は、主に図６（ｂ）に示されているＣＰＵ５０１の処理によって実現され、担当者ＰＣ６に担当者がラベリングするための分類画面を作成して担当者ＰＣに送信し、また、担当者６ａからのラベリングを受け付ける。
The
編集受付部４４は、主に図６（ｂ）に示されているＣＰＵ５０１の処理によって実現され、システム管理者８ａがオリジナル画像の使用有無を編集するための編集画面を作成して管理者ＰＣ８に送信し、また、システム管理者８ａから編集を受け付ける。なお、この編集処理はなくてもよく、その場合、全てのオリジナル画像が学習に使用される。また、編集画面では学習に「使用する」又は「使用しない」のいずれかに初期設定されている。
The
学習部４５は、主に図６（ｂ）に示されているＣＰＵ５０１やＧＰＵ５１５の処理によって実現され、オリジナル画像を用いて機械学習を行い、学習データを生成する。学習データを生成すると学習結果ＤＢ４００６に学習結果テーブルを登録する。
The
認識部４６は、主に図６（ｂ）に示されているＣＰＵ５０１ややＧＰＵ５１５の処理によって実現され、学習データを用いて画像認識を行い認識結果を出力する。
The
記憶・読出部４９は、主に、図６（ｂ）に示されているＨＤ５０４、及びＣＰＵ５０１の処理によって実現され、記憶部４０００に各種データを記憶したり、記憶部４０００から各種データを読み出したりする。なお、以下では、情報端末７が記憶部４０００から読み書きする場合でも「記憶・読出部４９を介して」という記載を省略する場合がある。
The storage /
＜管理者ＰＣ，担当者ＰＣの機能構成＞
管理者ＰＣ８は、送受信部８１、受付部８２、表示制御部８３、及び、記憶・読出部８９を有している。担当者ＰＣ６は、送受信部６１、受付部６２、表示制御部６３、及び、記憶・読出部６９を有している。これらの機能は情報端末７と同様であるため、説明は省略する。
<Functional configuration of administrator PC and person-in-charge PC>
The
＜ディープラーニングについて＞
ディープラーニングはニューラルネットワーク向けの機械学習の手法である。まず、ニューラルネットワークについて説明する。なお、ニューラルネットワークやディープラーニングについては各種の文献に説明が記載されている。以下の説明は公知の文献を参照して記載した（例えば、非特許文献１参照）。
<About deep learning>
Deep learning is a machine learning method for neural networks. First, the neural network will be described. The neural network and deep learning are described in various documents. The following description was described with reference to known documents (for example, see Non-Patent Document 1).
図９は、ニューラルネットワークの一例を模式的に示す図である。図９のニューラルネットワークは多層型と呼ばれる。多層型の他、ニューラルネットワークには相互結合型がある。 FIG. 9 is a diagram schematically illustrating an example of a neural network. The neural network in FIG. 9 is called a multilayer type. In addition to the multilayer type, the neural network includes an interconnection type.
学習用に入力されたデータ６２４は、入力層６０１、中間層６０２、出力層６０３の順に流れていく。ディープラーニングに厳密な定義はないが中間層６０２が２層以上となった多層型のネットワークを呼ぶことが多い。このようなニューラルネットワークが（ＤＮＮ：Deep Neural Network）と呼ばれる 。図９では層の数がＮ個、各層のノードの数がＬ個である。
入力層６０１に入力されたデータは初期設定が与えられている重み値と乗算され、次の層の各ノードＮｏｄｅに入力される。例えば、中間層６０２のノードＮｏｄｅ２−Ｌ２へ入力される値（合計値）は以下のようになる。式（１）のＬ１は入力層のノードの数、ｊは入力層の各ノードである。
The data input to the
出力層６０３までデータが伝わると出力層６０３の各ノードが同様に活性化関数による値を出力する（認識フェーズの場合）。出力層６０３は、分類（ラベル）の種類と同じ数のノードを有する。分類（ラベル）は例えば、人である、手を伸ばしている、かがんでいる、又は見つめている、などであり、出力層６０３の各ノードがいずれかに対応する。
When data is transmitted to the
学習フェーズでは、入力されたデータが手を伸ばしている人の画像であれば、「人である」に対応するノードと「手を伸ばしている」に対応するノードが１を出力する可能性が高くなるように学習される。このような正しい分類を認識部４６が行えるように、学習用のオリジナル画像は教師データとして分類（ラベル）を有する。学習部４５は、人である、手を伸ばしている、かがんでいる、又は見つめているという分類がある学習用のオリジナル画像に教師データとして"１"を与え、そうでない画像に教師データとして（"０"（又は−１））を与える。出力層６０３のノードの出力と教師データの１又は０との差が誤差であるため、学習部４５は式（２）（３）に示す誤差逆伝播法で入力層６０１から出力層６０３に至までの重み値を修正する。誤差逆伝播法では修正後の重み値は以下のように算出される。
In the learning phase, if the input data is an image of a person reaching out, there is a possibility that a node corresponding to “I am a person” and a node corresponding to “stretching a hand” output “1”. Learn to be higher. The original image for learning has a classification (label) as teacher data so that the
式（４）と式（５）は重み値の具体的な算出方法を示す。まず、出力層では、式（４）を用いて、出力層の各ノードの出力値 ｙj N と教師データtjとの誤差からΔj N を計算する。また、中間層では、式（５）を使って誤差信号Δj ｎ （ｎ ＜Ｎ ) を計算する。式（５）のΔj n+1の初期値がΔj Nである。なお、Ｌn+1は後段の層のノードの数であり、Δj n+1は後段の層の誤差信号であり、値ｗk,j n+1,nは第ｎ層のｊ番目のノードと第ｎ＋１層のｋ番目のノードの間の重み値である。第ｎ層のｊ番目のノードと第ｎ−１層のｉ番目のノードの間の重み値の修正量は式（６）で表される。 Equations (4) and (5) show a specific method for calculating the weight value. First, in the output layer, Δ j N is calculated from the error between the output value y j N of each node in the output layer and the teacher data tj using Equation (4). In the intermediate layer, the error signal Δ j n (n <N) is calculated using Equation (5). The initial value of Δ j n + 1 in Equation (5) is Δ j N. Ln + 1 is the number of nodes in the subsequent layer, Δ j n + 1 is an error signal in the subsequent layer, and the value w k, j n + 1, n is the jth node in the nth layer. And the k-th node in the (n + 1) th layer. The correction amount of the weight value between the j-th node in the n-th layer and the i-th node in the (n−1) -th layer is expressed by Expression (6).
本実施形態ではディープラーニングの一形態であるＣＮＮ（Convolutional Neural Network）を説明する。ＣＮＮは画像認識において精度が高いことが知られている。また、ＣＮＮにおいても上記のニューラルネットワークの学習が適用されている。 In this embodiment, a CNN (Convolutional Neural Network), which is a form of deep learning, will be described. CNN is known to have high accuracy in image recognition. The learning of the neural network is also applied to the CNN.
図１０は、ＣＮＮの構造を模式的に示す図の一例である。図１０（ａ）は畳み込み層６１１とプーリング層６１２の処理を示し、図１０（ｂ）はＣＮＮの全体的な構造を示す。ＣＮＮは、入力層６０１と教師データ６１４の間に畳み込み層６１１とプーリング層６１２の２種類の層が交互に積み重ねられた構造を有する。入力層６０１にはオリジナル画像の各画素の値が入力される。カラーの場合、ＲＧＢごとに画像データが入力される。
FIG. 10 is an example of a diagram schematically illustrating the structure of CNN. FIG. 10A shows the processing of the
畳み込み層６１１はいわばフィルター６２１であり、オリジナル画像のエッジなどの特徴を抽出するために使用される。フィルター６２１は例えば３×３や４×４の要素を有し、オリジナル画像の３×３や４×４の画素にフィルター演算を行う。フィルター６２１は１画素ずつずらしてオリジナル画像の全体に行われる。これにより、オリジナル画像の画素数よりも小さい畳み込み結果６２２が得られる。
The
プーリングは畳み込み結果６２２の位置への依存を減らすために行われる処理である。例えば、畳み込み結果６２２から最大値を取り出したり、平均値を取り出して画素を間引くことでより小さな画素数のプーリング結果６２３を出力する。この畳み込みとプーリングを繰り返すことで、徐々にオリジナル画像の特徴が抽出される。
Pooling is a process performed to reduce the dependence of the
ＣＮＮでは、畳み込み層６１１とプーリング層６１２の後段にフル結合層６１３が配置される。フル結合層６１３は図９のような多層パーセプトロンであり、特徴が抽出された微小サイズ（例えば、３×３や４×４）の複数の画像が画素毎に入力される。最も手前のフル結合層６１３ａのノード数は微小サイズの画像の数×画素数である。画素の画素値は図９と同様に重み値と乗算され、後段のフル結合層６１３ｂに順次入力される。後段のフル結合層６１３ｂになるほど微小サイズの画像が結合されていき、最後のフル結合層６１３ｃは分類（ラベル）と同じ数のノードを有する。
In the CNN, a
学習部４５が分類（ラベル）を教師データとする場合、ニューラルネットワークで説明したように誤差逆伝播法で重み値及びフィルターの値が更新（学習）される。フィルター６２１の値は一律に更新されても一部が更新されてもよい。フィルター６２１の値が学習結果によって自動的に更新されることで、人間がフィルター６２１の値を決定しなくても特徴を抽出するために適切なフィルター６２１が徐々に得られる。これがＣＮＮの特徴の１つとなっている。
When the
学習部４５は、このようにして学習した各畳み込み層のフィルター６２１の値及びフル結合層６１３の重み値を学習データとして記憶する。
The
なお、ディープラーニングにはＤＮＮ，ＣＮＮの他、ＲＮＮ（Recurrent Neural Network）等も知られており、本実施形態は教師あり学習を使用する機械学習に好適に適用可能である。 In addition to DNN and CNN, RNN (Recurrent Neural Network) and the like are known for deep learning, and this embodiment can be suitably applied to machine learning using supervised learning.
＜動作手順＞
以下、図１１〜図２１を用いて画像処理システム２００の全体的な動作手順を説明する。図１１は、画像処理システム２００の全体的な動作の流れを示すフローチャート図の一例である。
<Operation procedure>
The overall operation procedure of the
Ｓ１：保護処理は画像処理サーバ４の保護処理部４２がオリジナル画像に秘匿情報の保護処理を施す処理である。この処理は、真夜中などの予め定められた時刻になると実行される。あるいは、システム管理者８ａからの指示により実行されてもよい。
S1: Protection processing is processing in which the
Ｓ２：分類処理は、画像管理装置５から担当者ＰＣ６に送信された保護画像に対し担当者６ａがラベリングを行い（分類する）、画像管理装置５が保護画像の分類を取得してオリジナル画像に対応付ける処理である（分類結果ＤＢ４００５に登録する）。
S2: In the classification process, the person in
Ｓ３：編集処理は、画像管理装置５から管理者ＰＣ８に送信された保護画像に対しシステム管理者８ａが保護画像を使用するか否かを入力し、画像管理装置５が保護画像の使用の有無を取得してオリジナル画像に対応付ける処理である（分類結果ＤＢ４００５に登録する）。
S3: In the editing process, the
Ｓ４：学習処理は、画像処理サーバ４の学習部４５がオリジナル画像を使って学習データを作成する処理である。この処理は、真夜中などの予め定められた時刻になると実行される。あるいは、閲覧者Ｙからの要求により実行される。
S4: The learning process is a process in which the
Ｓ５：分析処理は、情報端末７を介して画像管理装置５に閲覧者Ｙが要求した分析要求に対し、画像管理装置５が画像処理サーバ４と通信して、画像処理サーバ４の認識部４６がオリジナル画像を認識し、画像管理装置５が認識結果を分析する処理である。
S5: In the analysis process, the
以下、図１１の各処理について説明する。 Hereinafter, each process of FIG. 11 is demonstrated.
<<保護処理>>
図１２は、保護処理部４２が保護処理を行うシーケンス図の一例である。
S1-1：例えば、予め定められた時刻になると、保護処理部４２は関連付け管理ＤＢ４００３からすでに保護処理を行ったオリジナル画像のリストを取得する。関連付け管理テーブルには保護処理が終わったオリジナル画像のオリジナル画像ＩＤが登録されているので、関連付け管理テーブルのオリジナル画像ＩＤを取得する。
S1-2：次に、保護処理部４２はオリジナル画像ＤＢ４００１から全てのオリジナル画像のリストを取得する。すなわち、オリジナル画像管理テーブルのオリジナル画像ＩＤを取得する。
S1-3：保護処理部４２は、未処理のオリジナル画像を特定する。ステップS1-2のオリジナル画像からステップS1-1のオリジナル画像を除いたオリジナル画像が未処理のオリジナル画像である。
<< Protection processing >>
FIG. 12 is an example of a sequence diagram in which the
S1-1: For example, at a predetermined time, the
S1-2: Next, the
S1-3: The
以下の処理は、未処理のオリジナル画像に対しそれぞれ行われる。
S1-4：保護処理部４２は、未処理のオリジナル画像をオリジナル画像ＤＢ４００１から取得する。
S1-5：保護処理部４２はオリジナル画像に対し秘匿情報の保護処理を施す。すなわち、ぼかし、モザイク又は平滑化（例えば、周囲の画素の平均を求める平均フィルターなど）などを行う。過度に保護処理を行うと担当者６ａも分類が困難になるので、保護処理の強度は予め定められている。なお、画像認識により簡易的な人物検出を行い、人物検出された場所にだけ平滑化を施すなど局所的に平滑化してもよい。
S1-6：保護処理部４２は、保護処理を施した保護画像を保護画像ＤＢ４００２に記憶する。この時、重複しない保護画像ＩＤを採番する。
S1-7：保護処理部４２は、オリジナル画像ＩＤと保護画像ＩＤを関連付けて関連付け管理ＤＢ４００３に登録する。
The following processing is performed for each unprocessed original image.
S1-4: The
S1-5: The
S1-6: The
S1-7: The
以上のようにして、保護画像が得られ、保護処理部４２はオリジナル画像と保護画像を関連付けられることができる。
As described above, a protected image is obtained, and the
<<分類処理>>
図１３は、画像分類部４３が分類処理を行うシーケンス図の一例である。
S2-1：担当者６ａは担当者ＰＣ６を操作して画像管理装置５との通信を開始する。担当者ＰＣ６は分類画面の表示要求を画像管理装置５に送信する。画像管理装置５の送受信部５１は分類画面の表示要求を受信する。
S2-2：画像管理装置５の要求処理部５５は分類画面の表示要求を画像処理サーバ４に送信する。これにより、画像処理サーバ４の画像分類部４３が分類処理を開始する。
<< Classification process >>
FIG. 13 is an example of a sequence diagram in which the
S2-1: The person in
S2-2: The
ステップS2-3〜S2-6は、分類されていない保護画像を特定するための処理である。
S2-3：画像分類部４３は全ての保護画像のリストを保護画像ＤＢ４００２から取得する。
S2-4：画像分類部４３は分類済みの保護画像のリストを分類結果ＤＢ４００５から取得する。分類結果テーブルに登録されているオリジナル画像ＩＤに関連付けられた保護画像は分類が済んでいる。
S2-5：画像分類部４３は、分類されていない未処理の保護画像のリストを作成する。すなわち、ステップS2-3の全ての保護画像のリストのうちステップS2-4の保護画像のリストに登録されていない保護画像が分類されていない保護画像である。
S2-6：次に、画像分類部４３は、分類されていない保護画像を保護画像ＤＢ４００２から取得する。ここでは、１つずつ保護画像を取得するものとする。
S2-7：画像分類部４３は分類管理ＤＢ４００４から分類管理テーブルを取得する。担当者６ａが分類を選択できる分類画面を担当者ＰＣ６に表示させるためである。
Steps S2-3 to S2-6 are processes for specifying unclassified protected images.
S2-3: The
S2-4: The
S2-5: The
S2-6: Next, the
S2-7: The
ステップS2-8〜S2-11は、分類の初期設定（デフォルト値）を決定するための処理である。
S2-8：画像分類部４３は、保護画像を送出して画像認識を認識部４６に要求する。
S2-9：認識部４６は、まず学習結果ＤＢ４００６から学習データを取得する。複数ある場合は、最新の学習データが取得される。
S2-10：認識部４６は学習データを用いてオリジナル画像に対し画像認識を行う。すなわち、人であるかどうか、及び、人である場合は動作内容を分類する。認識部４６は認識結果を画像分類部４３に送出する。なお、簡易的な画像認識なので認識部４６はオリジナル画像でなく保護画像で画像認識を行ってもよい。初期設定が設定されることで担当者６ａの作業効率を上げることができる。
S2-11：画像分類部４３は、分類画面における分類の初期設定を認識部４６の認識結果に基づいて決定する。すなわち、オリジナル画像における人の座標が分かるので、この座標（例えば外接矩形の座標）と認識部４６による分類を初期設定とする。
S2-12：画像分類部４３は分類画面の画面情報をＨＴＭＬやスクリプト言語で作成する。なお、画面には保護画像が含まれる。すなわち、画像分類部４３は保護画像に人認識領域の矩形枠を作成し、分類の初期設定が選択された状態のラジオボタンを作成する。また、人認識領域を含む所定領域がディスプレイ５０８が表示されるように全天球画像の向きを設定する。全天球画像は３６０度の全方位が撮像されているので、どこに人が写っているかを担当者がすぐに見つけられない場合があるためである。したがって、担当者ＰＣ６が分類画面を表示した時点で人認識領域も表示される。
S2-13：画像分類部４３は送受信部４１を介して画像管理装置５に分類画面を送信する。
S2-14：画像管理装置５の送受信部５１は分類画面を受信すると、担当者ＰＣ６に送信する。これにより、担当者ＰＣ６は分類画面をディスプレイ５０８に表示できる。分類画面の一例を図１７に示す。
S2-15：担当者６ａは人を探して人認識領域を変更したり新たに設定したりする。また、人認識領域ごとに分類を変更したり新たに分類を設定したりする。担当者ＰＣ６の受付部６２はこれらの操作を受け付ける。
S2-16：担当者ＰＣ６の送受信部６１は担当者６ａの操作により、分類結果（人認識領域、分類）を画像管理装置５に送信する。
S2-17：画像管理装置５の送受信部５１は分類結果を受信して、分類結果を画像処理サーバ４に送信する。
S2-18：画像分類部４３は、担当者ＰＣ６から送信された分類結果の分類を取得する。
S2-19：また、画像分類部４３は、担当者ＰＣ６から送信された分類結果の人認識領域を取得する。
S2-20：画像分類部４３は、分類と人認識領域を分類結果ＤＢ４００５に登録する。すなわち、ステップS2-6で取得した保護画像の保護画像ＩＤに関連付いたオリジナル画像ＩＤに対応付けて、分類、人認識領域を登録する。なお、使用有無は編集処理で設定される。
Steps S2-8 to S2-11 are processes for determining the initial setting (default value) of the classification.
S2-8: The
S2-9: First, the
S2-10: The
S2-11: The
S2-12: The
S2-13: The
S2-14: Upon receiving the classification screen, the transmission /
S2-15: The person in
S2-16: The transmission /
S2-17: The transmission /
S2-18: The
S2-19: Further, the
S2-20: The
図１７を用いて分類画面について説明する。図１７は分類画面７０１の一例を示す図である。分類画面７０１は、保護画像７０２、人入力欄７０３、分類欄７０４、登録ボタン７０５、及び、次の画像ボタン７０６を有する。保護画像７０２は、ステップS2-6で取得されたものである。人入力欄７０３は、人認識領域に人が写っているかどうかを担当者６ａが選択するための欄である。分類欄７０４は、人認識領域の人の動作内容を担当者６ａが選択するための欄である。登録ボタン７０５は、担当者６ａによる分類を画像処理サーバ４に登録するためのボタンであり、次の画像ボタン７０６は画像処理サーバ４に分類を登録することなく次の保護画像を取得するためのボタンである。
The classification screen will be described with reference to FIG. FIG. 17 is a diagram illustrating an example of the
分類画面７０１がディスプレイ５０８に表示された時点で、画像分類部４３が初期設定した人認識領域がディスプレイ５０８に表示されるので、担当者６ａは人を探す手間を省ける場合があり、作業効率が向上する。また、担当者６ａは全天球画像を回転させて、他の人認識領域を含むように全天球画像の表示範囲を決定する。受付部６２は担当者６ａの操作を受け付け、表示制御部６３が人認識領域を含む全天球画像の表示範囲をディスプレイ５０８に表示させる。これにより、認識されていない人を表示させたりすることができる。
When the
保護画像７０２には、初期設定された人認識領域が矩形枠７０７などで表示される。担当者６ａはマウスや指などのポインティングデバイスで矩形枠７０７を選択する。担当者ＰＣ６の受付部６２は操作を受け付け、表示制御部６３は矩形枠７０７の色を変えるなどして強調する。この状態で、担当者６ａは人入力欄７０３と分類欄７０４に入力する。受付部６２は人入力欄７０３と分類欄７０４への入力を受け付け、人認識領域と対応付けて保持する。担当者６ａは全ての矩形枠７０７で同じ処理を行う。ポインティングデバイスでこの矩形枠７０７を変更することもできる。また、人がいるが矩形枠７０７がない場合、新たに矩形枠７０７を作成し、人入力欄７０３と分類欄７０４に入力する。
In the protected
このように、担当者６ａが見る画像は保護画像７０２なので、担当者６ａが個人を特定してしまうおそれが少ない。
Thus, since the image seen by the person in
<<編集処理>>
図１４は、画像分類部４３が分類処理を行うシーケンス図の一例である。
S3-1：システム管理者８ａは管理者ＰＣ８を操作して画像管理装置５との通信を開始する。管理者ＰＣ８は編集画面の表示要求を画像管理装置５に送信する。画像管理装置５の送受信部５１は編集画面の表示要求を受信する。
S3-2：画像管理装置５の要求処理部５５は編集画面の表示要求を画像処理サーバ４に送信する。これにより、画像処理サーバ４の編集受付部４４が編集処理を開始する。
S3-3：編集受付部４４は分類結果テーブルを分類結果ＤＢ４００５から取得する。
S3-4：次に、編集受付部４４は分類結果テーブルにおいてオリジナル画像ＩＤに関連付けられている保護画像ＩＤを関連付け管理ＤＢ４００３から取得する。
S3-5：編集受付部４４は、関連付け管理ＤＢ４００３から取得した保護画像ＩＤの保護画像を保護画像ＤＢ４００２から取得する。
S3-6：次に、編集受付部４４はいくつかのサムネイル画像を作成する。全天球画像のサムネイル画像は、全天球画像のサイズが縮小された画像、又は、人認識領域を含む平面領域の画像である。１つの編集画面がいくつのサムネイル画像を含むかは予め定められているが、システム管理者８ａが指定することができるとなお好ましい。
S3-7：編集受付部４４はサムネイル画像を用いて編集画面の画面情報をＨＴＭＬやスクリプト言語で作成する。すなわち、サムネイル画像ごとに使用有無を受け付ける編集画面を作成する。
S3-8：編集受付部４４は送受信部４１を介して画像管理装置５に編集画面を送信する。
S3-9：画像管理装置５の送受信部５１は編集画面を受信すると、管理者ＰＣ８に送信する。これにより、管理者ＰＣ８は編集画面をディスプレイ５０８に表示できる。編集画面の一例を図１８に示す。
S3-10：システム管理者８ａはサムネイル画像を見て、学習用の画像として使用するか否か（使用有無）どうかを設定する。管理者ＰＣ８の受付部８２はシステム管理者８ａの設定を受け付ける。
S3-11：管理者ＰＣ８の送受信部８１はシステム管理者８ａの操作により保護画像ＩＤと共に編集結果（使用有無）を画像管理装置５に送信する。
S3-12：画像管理装置５の送受信部５１は編集結果を受信して、編集結果を画像処理サーバ４に送信する。
S3-13：編集受付部４４は、管理者ＰＣ８から送信された編集結果を分類結果ＤＢ４００５に登録する。すなわち、保護画像ＩＤと関連付けられたオリジナル画像ＩＤの使用有無を分類結果ＤＢ４００５に登録する。
<< Edit processing >>
FIG. 14 is an example of a sequence diagram in which the
S3-1: The
S3-2: The
S3-3: The
S3-4: Next, the
S3-5: The
S3-6: Next, the
S3-7: The
S3-8: The
S3-9: When the transmission /
S3-10: The
S3-11: The transmission /
S3-12: The transmission /
S3-13: The
図１８を用いて編集画面について説明する。図１８は編集画面の一例を示す図である。編集画面７１１は、使用有無欄７１２、サムネイル画像欄７１３、ファイル名欄７１４、及び登録ボタン７１５を有する。使用有無欄７１２はシステム管理者８ａがサムネイル画像で表示される保護画像を学習に使用するか否かを入力するための欄である。サムネイル画像欄７１３には保護画像のサムネイル画像が表示される。ファイル名欄７１４にはオリジナル画像のファイル名が表示されるが、ファイル名はなくてもよい。登録ボタン７１５は、システム管理者８ａによる編集結果を画像処理サーバ４に登録するためのボタンである。
The editing screen will be described with reference to FIG. FIG. 18 is a diagram showing an example of the editing screen. The
システム管理者８ａはサムネイル画像を見て学習に適切か否かを判断し使用有無欄７１２に入力する。例えば、周囲の照度が十分でない場合、画像が極度にぼやけている場合、人が多すぎる場合、学習に適切でないと判断する。初期状態で全てのチェックボックス７１６のマークが表示されている場合、システム管理者８ａはポインティングデバイスでチェックボックス７１６のマークを外す。初期状態で全てのチェックボックス７１６のマークが表示されていない場合、システム管理者８ａはポインティングデバイスでチェックボックス７１６のマークを表示させる。管理者ＰＣ８の受付部８２は操作を受け付け、表示制御部８３がチェックボックス７１６にマークを表示する。
The
なお、１つの編集画面７１１のサムネイル画像が４つであるのは一例であり、システム管理者８ａがスクロールして閲覧できるようにより多くのサムネイル画像を送信してもよい。
Note that there are four thumbnail images on one
このように、サムネイル画像は保護画像から作成され、しかも縮小されているのでシステム管理者８ａが個人を特定してしまうおそれが少ない。
As described above, since the thumbnail image is created from the protected image and is reduced, the
<<学習処理>>
図１５は、学習部４５が学習処理を行うシーケンス図の一例である。
S4-1：例えば、予め定められた時刻になると、学習部４５は分類結果ＤＢ４００５から分類結果テーブルを取得する。
S4-2：次に、学習部４５は分類管理ＤＢ４００４から分類を取得する。
<< Learning process >>
FIG. 15 is an example of a sequence diagram in which the
S4-1: For example, at a predetermined time, the
S4-2: Next, the
ステップS4-3〜S4-8は分類ごとに繰り返し実行される。
S4-3：学習部４５は、ある分類を有するオリジナル画像ＩＤを全て分類結果ＤＢ４００５から取得する。
S4-4：次に、学習部４５はオリジナル画像ＩＤに対応付けられた使用有無が「Ｙｅｓ」となっているオリジナル画像ＩＤを特定する。
Steps S4-3 to S4-8 are repeatedly executed for each classification.
S4-3: The learning
S4-4: Next, the
ステップS4-5〜S4-8は、オリジナル画像ごとに繰り返し実行される。
S4-5：学習部４５は、オリジナル画像ＤＢ４００１からオリジナル画像を取得する。
S4-6：学習部４５は上記したようにオリジナル画像に基づく学習を行う。オリジナル画像に畳み込みとプーリングが繰り返し実行され、フル結合層で各ノードから最終的な合計値が出力される。学習部４５は分類結果テーブルの分類を教師データとして合計値との誤差を用いてフィルターと重み値を学習する。
S4-7：学習部４５は学習データ（フィルターと重み値）を学習結果ＤＢ４００６に保存する。学習部４５はステップS4-4で取得した全てのオリジナル画像に対しステップS4-5〜S4-7を実行する。
Steps S4-5 to S4-8 are repeatedly executed for each original image.
S4-5: The learning
S4-6: The learning
S4-7: The learning
なお、学習部４５はオリジナル画像の全てを学習に用いなくてもよい。分類結果ＤＢ４００５には人認識領域が登録されているため、学習部４５は人認識領域のみを学習に用いることができる。
Note that the
図１９は、オリジナル画像からの人認識領域７２１の切り出しを説明する図の一例である。図１９では３つの人認識領域７２１がオリジナル画像から切り出されている（トリミングされている）。学習部４５はこの人認識領域７２１のみを学習に使用する。こうすることで、１つオリジナル画像から、複数の学習用の素材を得ることができる。また、学習精度が向上し、学習の時間が短縮される。
FIG. 19 is an example of a diagram illustrating the extraction of the
<<分析処理>>
図１６は、分析部５４が分類処理を行うシーケンス図の一例である。
S5-1：閲覧者Ｙは情報端末７を操作して画像管理装置５との通信を開始する。ここでは閲覧者Ｙは時間範囲と分類を指定したものとする。情報端末７は分析要求を画像管理装置５に送信する。画像管理装置５の送受信部５１は分析要求を受信する。
S5-2：画像管理装置５の分析部５４は画像認識要求を画像処理サーバ４に送信する。画像処理サーバ４の送受信部４１は画像認識要求を受信する。
S5-3：認識部４６はまず、オリジナル画像ＤＢ４００１から閲覧者Ｙにより指定された時間範囲に撮像されたオリジナル画像を取得する。
S5-4：次に、認識部４６は学習結果ＤＢ４００６から学習データを取得する。
S5-5：認識部４６は、取得したオリジナル画像に対し画像認識を行う。したがって、人認識領域及び分類が得られる。各オリジナル画像の人認識領域及び分類は画像管理装置５の分析部５４に送信される。なお、画像認識は、画像認識が行われていないオリジナル画像にだけ行われればよい。画像管理装置５の解析情報管理ＤＢ５００５には画像認識されたオリジナル画像に関連付いた保護画像の分類が登録されているので、認識部４６はこの情報を利用して画像認識が行われていないオリジナル画像だけを画像認識できる。
S5-6：分析部５４は、オリジナル画像の撮像時刻、及び分類を用いて分析結果画面を作成する。
S5-7：画像管理装置５の送受信部５１は情報端末７に分析結果画面を送信する。情報端末７の表示制御部７３はディスプレイ５０８に分析結果画面を表示する。分析結果画面の一例を図２０に示す。
<< Analysis process >>
FIG. 16 is an example of a sequence diagram in which the
S5-1: The viewer Y operates the
S5-2: The
S5-3: First, the
S5-4: Next, the
S5-5: The
S5-6: The
S5-7: The transmission /
図２０を用いて分析結果画面について説明する。図２０は分析結果画面７３１の一例を示す図である。分析結果画面７３１は、分類選択欄７３２、時間範囲指定欄７３３、人数グラフ欄７３４、及び、ＯＫボタン７３５を有する。分類選択欄７３２は分類をプルダウン表示する。時間範囲指定欄７３３は閲覧者Ｙが指定した時間範囲を表示するための欄である。この時間範囲に撮像されたオリジナル画像が分析の対象となる。人数グラフ欄７３４は、時間に対する人数の推移を視覚的に示す欄である。すなわち、分類が「手を伸ばしている」である場合、手を伸ばしていると認識された人の数が時間ごとに棒グラフなどで表示される。このように、画像認識が行われたことで、どのような動作を行った人が時間ごとにどのくらいいたかを閲覧者Ｙが把握できる。手を伸ばしている人が多ければ売上も多くなると想定されるが、売上と人数に相関がない場合、商品に手を伸ばしたが購入しない客が多いなどの分析が可能になる。
The analysis result screen will be described with reference to FIG. FIG. 20 is a diagram showing an example of the
なお、図２０では１時間当たりの人数が集計されているが、一例に過ぎず、例えば１０分〜数時間などの時間スケールで集計されてよい。また図２０では棒グラフで表示されているが、折れ線グラフなどでもよい。また、グラフでなく数値で表示してもよい。その他、人数の集計結果はどのように視覚化されてもよい。 In FIG. 20, the number of people per hour is tabulated, but this is only an example, and may be tabulated on a time scale such as 10 minutes to several hours. In FIG. 20, it is displayed as a bar graph, but it may be a line graph or the like. Moreover, you may display by a numerical value instead of a graph. In addition, the total number of people may be visualized in any way.
また、図２０ではステップS5-1で閲覧者Ｙが分類を指定しているが、指定しなくてもよい。この場合、ステップS5-6で分析部５４は分類ごとに人数をカウントしておく。図２０で閲覧者Ｙが分類選択欄７３２から任意の分類を選択すると受付部７２が受け付け、表示制御部７３が人数グラフ欄７３４を書き換える。したがって、情報端末７と画像管理装置５が通信することなく、閲覧者Ｙが種々の分類について人数の推移を分析できる。また、表示制御部７３は、全ての分類について時間ごとの人数を同時に人数グラフ欄７３４に表示してもよい。例えば、分類ごとに色が異なる棒グラフで表示したり、折れ線グラフで表示する。
In FIG. 20, the viewer Y designates the classification in step S5-1, but it may not be designated. In this case, in step S5-6, the
また、閲覧者Ｙは任意の棒グラフをポインティングデバイス７３６で選択できる。この処理についてステップS5-8以降で説明する。図１６に戻って説明する。
S5-8：閲覧者Ｙは任意の棒グラフをポインティングデバイス７３６で選択する。この操作は、この時間に撮像されたオリジナル画像をより詳細に分析するための操作である。受付部７２は閲覧者Ｙがポインティングデバイス７３６で指定した時間を受け付ける。また、分類選択欄７３２で選択されている現在の分類を取得する。
S5-9：情報端末７の送受信部７１は詳細分析要求を画像管理装置５に送信する。詳細分析要求には、閲覧者Ｙが選択した特定の時間と分類が含まれる。
S5-10：画像管理装置５の分析部５４は指定された時間に撮像されているオリジナル画像ＩＤを関連付け管理ＤＢ４００３から取得する。詳細には、画像処理サーバ４にオリジナル画像ＩＤを要求するが図１６ではステップが省略されている。
S5-11：分析部５４は、取得したオリジナル画像ＩＤと共に画像認識を認識部４６に要求する。詳細には、画像処理サーバ４の送受信部４１と画像管理装置５の送受信部５１が通信するが図１６ではステップが省略されている。
S5-12：認識部４６はまず、オリジナル画像ＤＢ４００１から、オリジナル画像ＩＤで指定されたオリジナル画像を取得する。
S5-13：次に、認識部４６は学習結果ＤＢ４００６から学習データを取得する。
S5-14：認識部４６は、取得したオリジナル画像に対し画像認識を行う。したがって、人認識領域及び分類が得られる。各オリジナル画像の人認識領域及び分類は画像管理装置５の分析部５４に送信される。
S5-15：次に、分析部５４はオリジナル画像ＩＤに関連付けられた保護画像を保護画像ＤＢ４００２から取得する。
S5-16：分析部５４は、保護画像、人認識領域、及び分類を用いて分析結果詳細画面を作成する。例えば、保護画像の人認識領域に矩形枠を配置し、人認識領域に関連付けて分類を吹き出しなどで表示させる分析結果詳細画面の画面情報を作成する。
S5-17：画像管理装置５の送受信部５１は情報端末７に分析結果詳細画面を送信する。情報端末７の表示制御部７３はディスプレイ５０８に分析結果詳細画面を表示する。分析結果詳細画面の一例を図２１に示す。
Also, the viewer Y can select an arbitrary bar graph with the
S5-8: The viewer Y selects an arbitrary bar graph with the
S5-9: The transmission /
S5-10: The
S5-11: The
S5-12: First, the recognizing
S5-13: Next, the
S5-14: The
S5-15: Next, the
S5-16: The
S5-17: The transmission /
図２１を用いて分析結果詳細画面について説明する。図２１は分析結果詳細画面７４１の一例を示す図である。分析結果詳細画面７４１は、保護画像欄７４２、及び、戻るボタン７４３を有する。保護画像欄７４２には保護画像が表示され、保護画像の人認識領域ごとに矩形枠７０７及び吹き出し７４４が表示される。図２１では吹き出し７４４に分類が表示されている。したがって、閲覧者Ｙは一目で動作内容を把握できる。吹き出し７４４は閲覧者Ｙの操作で表示のオンとオフが切り替わってもよいし、任意の吹き出し７４４のみを表示させることができてよい。また、吹き出し７４４には画像管理装置５又は画像処理サーバ４が保持している又は取得できる情報を情報端末７が表示できる。例えば、分類の確度（判別された分類がどの程度の確率で確かか）を表示してもよい。
The analysis result detail screen will be described with reference to FIG. FIG. 21 is a diagram showing an example of the analysis
戻るボタン７４３は、図２０の分析結果画面７３１に戻るためのボタンである。複数の保護画像が送信された場合、閲覧者Ｙが所定の操作することで情報端末７の受付部７２が操作を受け付け、別の保護画像を表示制御部７３が切り替えて表示する。
The
したがって、閲覧者Ｙは画像ごとに各人の動作内容を確認して詳細に分析できるが、保護画像が表示されるので閲覧者Ｙが個人を識別してしまうおそれが少ない。 Therefore, although the viewer Y can confirm each person's operation | movement content for every image and analyze in detail, since a protection image is displayed, there is little possibility that the viewer Y will identify an individual.
＜まとめ＞
以上説明したように本実施形態の画像処理システム２００は、担当者６ａがラベリングに使用する画像データに秘匿情報の保護処理が施されているため個人の特定や秘匿情報の漏えいを抑制できる。また、初期設定として検出された人認識領域がディスプレイ５０８に表示されるので、ディスプレイ５０８が全天球画像の全体が表示できなくても担当者６ａが分類しやすくなる。また、認識フェーズではオリジナル画像が使用されるので認識の精度が低下しにくい。
<Summary>
As described above, the
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<Other application examples>
The best mode for carrying out the present invention has been described above with reference to the embodiments. However, the present invention is not limited to these embodiments, and various modifications can be made without departing from the scope of the present invention. And substitutions can be added.
例えば、上記の実施形態では、画像処理サーバ４と画像管理装置５が別々の情報処理装置であるとして説明されたが、画像処理サーバ４と画像管理装置５は一台の情報処理装置でもよい。また、画像管理装置５が有する機能の全て又は１以上を画像処理サーバ４が有していてよく、画像処理サーバ４が有する機能の全て又は１以上を画像管理装置５が有していてもよい。また、複数の画像処理サーバ４が存在してもよく、複数の画像管理装置５が存在してもよい。
For example, in the above embodiment, the
本実施形態では、機械学習により人や人の動作を分類したが、機械学習の対象は人や人の動作に限られない。例えば、全天球画像に写っていたりいなかったりする移動可能な事物の有無が機械学習の対象となりうる。例えば、自動車や自転車の有無などである。また、ドアのように形状が変化したり、ランプのように点灯又は消灯して変化する対象の状態も機械学習の対象となりうる。これらの場合も秘匿情報が保護されるのは同様である。 In this embodiment, humans and human actions are classified by machine learning. However, machine learning targets are not limited to humans and human actions. For example, the presence or absence of a movable thing that may or may not be reflected in the omnidirectional image can be an object of machine learning. For example, the presence or absence of a car or bicycle. In addition, a state of an object that changes its shape like a door, or changes as it is turned on or off like a lamp, can also be an object of machine learning. In these cases, the secret information is similarly protected.
また、担当者６ａが分類した保護画像と関連付いたオリジナル画像を、認識部４６が画像認識してもよい。これにより認識部４６の正答率を算出できる。あるいは、担当者６ａ別に認識部４６が画像認識してもよい。ある担当者６ａが分類した保護画像と関連付いたオリジナル画像の正答率が、全ての担当者６ａが分類した保護画像と関連付いたオリジナル画像の正答率よりも有意に低い場合、ある担当者６ａの分類の信頼性が低い可能性をシステム管理者などが把握できる。
Further, the
また、本実施形態では教師あり学習としてディープラーニングを例に説明したが、教師あり学習であれば他のアルゴリズムに対しても本実施形態を適用できる。 Further, in the present embodiment, the deep learning is described as an example of supervised learning, but the present embodiment can be applied to other algorithms as long as supervised learning is performed.
また、以上の実施例で示した図７，８などの構成例は、撮像装置１、通信端末３、画像管理装置５、画像処理サーバ４、担当者ＰＣ６、管理者ＰＣ８及び情報端末７の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。撮像装置１、通信端末３、画像管理装置５、画像処理サーバ４、担当者ＰＣ６、管理者ＰＣ８及び情報端末７の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
7 and 8 shown in the above embodiments are the processing of the
また、画像管理装置５の記憶部５０００のデータベースは、画像管理装置５が直接有する他、画像管理装置５が読み書き可能な通信ネットワーク９上にあればよい。画像処理サーバ４の記憶部４０００のデータベースは、画像処理サーバ４が直接有する他、画像処理サーバ４が読み書き可能な通信ネットワーク９上にあればよい。
Further, the database of the storage unit 5000 of the
なお、保護処理部４２は保護手段の一例であり、画像分類部４３は分類情報取得手段の一例であり、学習部４５は学習手段の一例である。画像処理サーバ４は第一の情報処理装置の一例であり、担当者ＰＣ６は第二の情報処理装置の一例であり、管理者ＰＣ８は第三の情報処理装置の一例であり、情報端末７は第四の情報処理装置の一例である。受付部８２は使用受付手段の一例であり、受付部６２は受付手段の一例であり、表示制御部６３は表示制御手段の一例であり、認識部４６は認識手段の一例であり、ディスプレイ５０８は表示装置の一例である。分析部５４は集計手段の一例である。送受信部４１は第一の送信手段の一例であり、送受信部５１は第二の送信手段の一例であり、分類管理ＤＢ４００４は分類情報記憶手段の一例であり、オリジナル画像ＤＢ４００１は記憶装置の一例であり、記憶・読出部４９は記憶手段の一例である。
The
１ 撮像装置
３ 通信端末
４ 画像処理サーバ
５ 画像管理装置
６ 担当者ＰＣ
７ 情報端末
８ 管理者ＰＣ
４２ 保護処理部
４３ 画像分類部
４４ 編集受付部
４５ 学習部
４６ 認識部
５４ 分析部
５５ 要求処理部
２００ ：画像処理システム
DESCRIPTION OF
7
DESCRIPTION OF
Claims (13)
前記画像データに秘匿情報の保護処理を施して保護画像を生成し、前記保護画像と前記画像データを関連付ける保護手段と、
前記保護画像を第二の情報処理装置に送信して、前記第二の情報処理装置から前記保護画像の分類に関する分類情報を取得する分類情報取得手段と、
前記保護画像と関連付けられた前記画像データ及び前記分類情報を用いて機械学習を行う学習手段と、
を有する画像処理システム。 An image processing system having a first information processing apparatus that acquires image data captured by an imaging apparatus,
A protection unit that performs processing for protecting confidential information on the image data, generates a protected image, and associates the protected image with the image data;
Classification information acquisition means for transmitting the protected image to a second information processing apparatus and acquiring classification information relating to the classification of the protected image from the second information processing apparatus;
Learning means for performing machine learning using the image data and the classification information associated with the protected image;
An image processing system.
前記学習手段は、前記使用受付手段が機械学習に使用することを受け付けた、前記保護画像と関連付けられた前記画像データ及び前記分類情報を用いて機械学習を行う請求項１に記載の画像処理システム。 Use acceptance means for transmitting the protected image to a third information processing apparatus and obtaining information on whether to use the protected image for machine learning from the third information processing apparatus;
The image processing system according to claim 1, wherein the learning unit performs machine learning using the image data and the classification information associated with the protected image that the use receiving unit has received for use in machine learning. .
前記学習手段は、前記画像データから前記範囲を切り出して機械学習を行う請求項１〜３のいずれか１項に記載の画像処理システム。 The second information processing apparatus includes a receiving unit that receives designation of a range in which the recognition target is shown in the protected image,
The image processing system according to claim 1, wherein the learning unit performs machine learning by cutting out the range from the image data.
前記受付手段は、全天球画像の表示範囲の指定を受け付け、
前記第二の情報処理装置は、前記受付手段が受け付けた前記表示範囲を表示装置に表示する表示制御手段、を有し、
前記受付手段は、前記表示装置が表示した全天球画像の前記表示範囲から前記範囲の指定を受け付ける請求項４に記載の画像処理システム。 The image data is a celestial sphere image captured around 360 degrees,
The accepting means accepts designation of the display range of the omnidirectional image,
The second information processing apparatus includes display control means for displaying the display range received by the receiving means on a display device,
The image processing system according to claim 4, wherein the accepting unit accepts designation of the range from the display range of the omnidirectional image displayed by the display device.
前記分類情報取得手段は、前記第二の情報処理装置に送信する前記保護画像に関連付けられた前記画像データの認識を前記認識手段に対して要求し、
前記認識手段が生成した前記画像データの前記分類情報を初期設定として前記保護画像と共に前記第二の情報処理装置に送信する請求項１〜５のいずれか１項に記載の画像処理システム。 Recognizing means for recognizing the image data using learning data created by machine learning by the learning means and generating the classification information of the image data;
The classification information acquisition means requests the recognition means to recognize the image data associated with the protected image to be transmitted to the second information processing apparatus,
The image processing system according to claim 1, wherein the classification information of the image data generated by the recognition unit is transmitted to the second information processing apparatus together with the protected image as an initial setting.
前記分類情報取得手段は、前記認識手段が認識した前記認識対象の前記保護画像における位置情報を前記保護画像と共に前記第二の情報処理装置に送信し、
前記第二の情報処理装置は、前記保護画像を表示装置に表示する際、前記位置情報に基づいて前記認識対象が含まれるように前記保護画像を表示装置に表示する請求項６に記載の画像処理システム。 The recognition means further recognizes a recognition target from the image data using the learning data,
The classification information acquisition unit transmits position information in the protected image of the recognition target recognized by the recognition unit to the second information processing apparatus together with the protected image,
The image according to claim 6, wherein the second information processing device displays the protected image on the display device so that the recognition target is included based on the position information when the protected image is displayed on the display device. Processing system.
前記集計手段は集計の結果を前記第四の情報処理装置に送信し、
前記第四の情報処理装置は、前記時間範囲における同じ分類情報の前記画像データの数を表示する請求項７に記載の画像処理システム。 When the designation of the time range is received from the fourth information processing apparatus, the totalization that counts the number of the image data of the same classification information in the time range based on the classification information of the image data generated by the recognition unit Having means,
The counting means transmits the result of counting to the fourth information processing apparatus,
The image processing system according to claim 7, wherein the fourth information processing apparatus displays the number of the image data of the same classification information in the time range.
前記集計手段は、前記時間範囲において同じ動作に分類された前記認識対象の数を集計する請求項８に記載の画像処理システム。 The recognition means classifies the operation of the recognition object for each recognition object,
The image processing system according to claim 8, wherein the counting unit totals the number of recognition targets classified into the same operation in the time range.
前記第四の情報処理装置は、前記保護画像の前記認識対象の周囲に前記分類情報を表示する請求項８又は９に記載の画像処理システム。 The aggregation unit transmits screen information in which the classification information of the image data generated by the recognition unit is arranged around the recognition target in the protected image to the fourth information processing device,
The image processing system according to claim 8 or 9, wherein the fourth information processing apparatus displays the classification information around the recognition target of the protected image.
前記第一の情報処理装置は、
前記撮像装置から取得した前記画像データを記憶装置に記憶しておく記憶手段と、
前記画像データに秘匿情報の保護処理を施して保護画像を生成し、前記保護画像と前記画像データを関連付ける保護手段と、
前記保護画像を前記第二の情報処理装置に送信する第一の送信手段と、を有し、
前記第二の情報処理装置は、
前記第一の情報処理装置から受信した前記保護画像を第三の情報処理装置に送信して、前記第三の情報処理装置から前記保護画像の分類に関する分類情報を取得する分類情報取得手段と、
前記保護画像の分類情報を前記第一の情報処理装置に送信する第二の送信手段と、を有し、
前記第一の情報処理装置は、前記保護画像と関連付けられた前記画像データ及び前記分類情報を用いて機械学習を行う学習手段を有する、画像処理システム。 An image processing system comprising: a first information processing apparatus that acquires image data captured by an imaging apparatus; and a second information processing apparatus that can communicate with the first information processing apparatus,
The first information processing apparatus includes:
Storage means for storing the image data acquired from the imaging device in a storage device;
A protection unit that performs processing for protecting confidential information on the image data, generates a protected image, and associates the protected image with the image data;
First transmitting means for transmitting the protected image to the second information processing apparatus,
The second information processing apparatus
Classification information acquisition means for transmitting the protected image received from the first information processing apparatus to a third information processing apparatus and acquiring classification information relating to the classification of the protected image from the third information processing apparatus;
Second transmission means for transmitting classification information of the protected image to the first information processing apparatus,
The first information processing apparatus is an image processing system having learning means for performing machine learning using the image data and the classification information associated with the protected image.
前記画像データに秘匿情報の保護処理を施して保護画像を生成し、前記保護画像と前記画像データを関連付ける保護手段と、
前記保護画像を第二の情報処理装置に送信して、前記第二の情報処理装置から前記保護画像の分類に関する分類情報を取得する分類情報取得手段と、
前記保護画像と関連付けられた前記画像データ及び前記分類情報を用いて機械学習を行う学習手段と、を有する情報処理装置。 An information processing apparatus that acquires image data captured by an imaging apparatus,
A protection unit that performs processing for protecting confidential information on the image data, generates a protected image, and associates the protected image with the image data;
Classification information acquisition means for transmitting the protected image to a second information processing apparatus and acquiring classification information relating to the classification of the protected image from the second information processing apparatus;
An information processing apparatus comprising: learning means for performing machine learning using the image data associated with the protected image and the classification information.
前記画像データに秘匿情報の保護処理を施して保護画像を生成し、前記保護画像と前記画像データを関連付ける保護手段と、
前記保護画像を第二の情報処理装置に送信して、前記第二の情報処理装置から前記保護画像の分類に関する分類情報を取得する分類情報取得手段と、
前記保護画像と関連付けられた前記画像データ及び前記分類情報を用いて機械学習を行う学習手段、として機能させるためのプログラム。 An information processing device that acquires image data captured by the imaging device,
A protection unit that performs processing for protecting confidential information on the image data, generates a protected image, and associates the protected image with the image data;
Classification information acquisition means for transmitting the protected image to a second information processing apparatus and acquiring classification information relating to the classification of the protected image from the second information processing apparatus;
A program for functioning as learning means for performing machine learning using the image data and the classification information associated with the protected image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016074388A JP2017187850A (en) | 2016-04-01 | 2016-04-01 | Image processing system, information processing device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016074388A JP2017187850A (en) | 2016-04-01 | 2016-04-01 | Image processing system, information processing device, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017187850A true JP2017187850A (en) | 2017-10-12 |
Family
ID=60044903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016074388A Pending JP2017187850A (en) | 2016-04-01 | 2016-04-01 | Image processing system, information processing device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017187850A (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019079357A (en) * | 2017-10-26 | 2019-05-23 | Kddi株式会社 | Learning video selecting device, program and method for selecting, as learning video, shot video with predetermined image region masked |
| JP2019087072A (en) * | 2017-11-08 | 2019-06-06 | 株式会社アクセル | Processor, inference device, learning device, processing system, processing method, and processing program |
| CN110012582A (en) * | 2017-12-25 | 2019-07-12 | 精工爱普生株式会社 | Discharge lamp driven apparatus, light supply apparatus, projector and electric discharge lamp driving method |
| JP2020084614A (en) * | 2018-11-28 | 2020-06-04 | フジイコーポレーション株式会社 | Snow remover |
| CN111742327A (en) * | 2018-02-19 | 2020-10-02 | 博朗有限公司 | Apparatus and method for implementing positioning of a movable processing device |
| JP2021504832A (en) * | 2017-11-29 | 2021-02-15 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Model training system and method and storage medium |
| CN112703726A (en) * | 2018-09-21 | 2021-04-23 | 索尼半导体解决方案公司 | Solid-state imaging system, solid-state imaging device, information processing device, image processing method, information processing method, and program |
| KR102299564B1 (en) * | 2020-08-21 | 2021-09-08 | (주)와토시스 | Method and system for ai learning using de-identified image data |
| KR20210119923A (en) * | 2021-03-25 | 2021-10-06 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Method and apparatus for annotating data |
| JP2022529299A (en) * | 2020-03-11 | 2022-06-20 | シェンチェン センスタイム テクノロジー カンパニー リミテッド | Operation identification methods and devices, electronic devices, computer readable storage media |
| JP2022128366A (en) * | 2021-02-22 | 2022-09-01 | Ｒｓｕｐｐｏｒｔ株式会社 | Teleconferencing Method for Motion Recognition Using Artificial Neural Network |
| WO2023175848A1 (en) * | 2022-03-17 | 2023-09-21 | 日本電気株式会社 | Display assistance device, display assistance method, and recording medium |
| WO2024005073A1 (en) * | 2022-06-30 | 2024-01-04 | 本田技研工業株式会社 | Image processing device, image processing method, image processing system, and program |
| WO2024005160A1 (en) * | 2022-06-30 | 2024-01-04 | 本田技研工業株式会社 | Image processing device, image processing method, image processing system, and program |
| WO2024005074A1 (en) * | 2022-06-30 | 2024-01-04 | 本田技研工業株式会社 | Image processing device, image processing method, image processing system, and program |
| WO2024005051A1 (en) * | 2022-06-30 | 2024-01-04 | 本田技研工業株式会社 | Image processing device, image processing method, image processing system, and program |
| JP7438797B2 (en) | 2020-03-12 | 2024-02-27 | 株式会社トヨタマップマスター | Information processing device, industry estimation method, industry estimation program, and its storage medium |
| CN111771208B (en) * | 2018-02-19 | 2024-05-28 | 博朗有限公司 | Apparatus and method for implementing positioning of a movable processing device |
-
2016
- 2016-04-01 JP JP2016074388A patent/JP2017187850A/en active Pending
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019079357A (en) * | 2017-10-26 | 2019-05-23 | Kddi株式会社 | Learning video selecting device, program and method for selecting, as learning video, shot video with predetermined image region masked |
| JP2019087072A (en) * | 2017-11-08 | 2019-06-06 | 株式会社アクセル | Processor, inference device, learning device, processing system, processing method, and processing program |
| US11423297B2 (en) | 2017-11-08 | 2022-08-23 | Axell Corporation | Processing apparatus, processing method, and nonvolatile recording medium |
| JP2021504832A (en) * | 2017-11-29 | 2021-02-15 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Model training system and method and storage medium |
| JP7144117B2 (en) | 2017-11-29 | 2022-09-29 | ホアウェイ クラウド コンピューティング テクノロジーズ カンパニー リミテッド | Model training system and method and storage medium |
| CN110012582A (en) * | 2017-12-25 | 2019-07-12 | 精工爱普生株式会社 | Discharge lamp driven apparatus, light supply apparatus, projector and electric discharge lamp driving method |
| CN111771208B (en) * | 2018-02-19 | 2024-05-28 | 博朗有限公司 | Apparatus and method for implementing positioning of a movable processing device |
| CN111742327B (en) * | 2018-02-19 | 2024-05-28 | 博朗有限公司 | Apparatus and method for implementing positioning of a movable processing device |
| CN111771208A (en) * | 2018-02-19 | 2020-10-13 | 博朗有限公司 | Apparatus and method for implementing positioning of a movable processing device |
| CN111742327A (en) * | 2018-02-19 | 2020-10-02 | 博朗有限公司 | Apparatus and method for implementing positioning of a movable processing device |
| CN112703726A (en) * | 2018-09-21 | 2021-04-23 | 索尼半导体解决方案公司 | Solid-state imaging system, solid-state imaging device, information processing device, image processing method, information processing method, and program |
| JP7235938B2 (en) | 2018-11-28 | 2023-03-09 | フジイコーポレーション株式会社 | snowblower |
| JP2020084614A (en) * | 2018-11-28 | 2020-06-04 | フジイコーポレーション株式会社 | Snow remover |
| JP2022529299A (en) * | 2020-03-11 | 2022-06-20 | シェンチェン センスタイム テクノロジー カンパニー リミテッド | Operation identification methods and devices, electronic devices, computer readable storage media |
| JP7438797B2 (en) | 2020-03-12 | 2024-02-27 | 株式会社トヨタマップマスター | Information processing device, industry estimation method, industry estimation program, and its storage medium |
| WO2022039318A1 (en) * | 2020-08-21 | 2022-02-24 | (주)와토시스 | Artificial intelligence training method and system using de-identified image data |
| KR102299564B1 (en) * | 2020-08-21 | 2021-09-08 | (주)와토시스 | Method and system for ai learning using de-identified image data |
| JP2022128366A (en) * | 2021-02-22 | 2022-09-01 | Ｒｓｕｐｐｏｒｔ株式会社 | Teleconferencing Method for Motion Recognition Using Artificial Neural Network |
| JP2021184316A (en) * | 2021-03-25 | 2021-12-02 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Method and apparatus for labeling data, electronic device, computer-readable storage medium, and computer program |
| JP7284786B2 (en) | 2021-03-25 | 2023-05-31 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Methods, apparatus, electronics, computer readable storage media and computer programs for labeling data |
| KR102583345B1 (en) * | 2021-03-25 | 2023-09-27 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Method and apparatus for annotating data |
| KR20210119923A (en) * | 2021-03-25 | 2021-10-06 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Method and apparatus for annotating data |
| WO2023175848A1 (en) * | 2022-03-17 | 2023-09-21 | 日本電気株式会社 | Display assistance device, display assistance method, and recording medium |
| WO2024005073A1 (en) * | 2022-06-30 | 2024-01-04 | 本田技研工業株式会社 | Image processing device, image processing method, image processing system, and program |
| WO2024005051A1 (en) * | 2022-06-30 | 2024-01-04 | 本田技研工業株式会社 | Image processing device, image processing method, image processing system, and program |
| WO2024005074A1 (en) * | 2022-06-30 | 2024-01-04 | 本田技研工業株式会社 | Image processing device, image processing method, image processing system, and program |
| WO2024005160A1 (en) * | 2022-06-30 | 2024-01-04 | 本田技研工業株式会社 | Image processing device, image processing method, image processing system, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2017187850A (en) | Image processing system, information processing device, and program | |
| US10839605B2 (en) | Sharing links in an augmented reality environment | |
| US10262356B2 (en) | Methods and arrangements including data migration among computing platforms, e.g. through use of steganographic screen encoding | |
| US20190333478A1 (en) | Adaptive fiducials for image match recognition and tracking | |
| CN104685494B (en) | The function of text identification driving | |
| US11158057B2 (en) | Device, method, and graphical user interface for processing document | |
| CN101354791B (en) | User interface for editing photo tags | |
| US10748000B2 (en) | Method, electronic device, and recording medium for notifying of surrounding situation information | |
| CN110457571B (en) | Method, device and equipment for acquiring interest point information and storage medium | |
| JP6686547B2 (en) | Image processing system, program, image processing method | |
| US8941767B2 (en) | Mobile device and method for controlling the same | |
| US20180039715A1 (en) | System and method for facilitating an inspection process | |
| US8866953B2 (en) | Mobile device and method for controlling the same | |
| JP2017182681A (en) | Image processing system, information processing device, and program | |
| CN114296627B (en) | Content display method, device, equipment and storage medium | |
| JP2017108356A (en) | Image management system, image management method and program | |
| Kember | The Becoming-Photographer in Technoculture | |
| JP2017199343A (en) | Calculation execution method for visualizing related document and person during document browsing in desktop camera-projector system, program, and calculation processing system | |
| KR20100124952A (en) | Ar contents providing system and method providing a portable terminal real-time by using letter recognition | |
| CN109672798A (en) | Information processing unit and storage media | |
| Beera et al. | The Yolo V5 Based Smart Cell phone Detector | |
| JP7215621B1 (en) | Information processing device, information processing system, device management method and program | |
| US20210158595A1 (en) | Information processing apparatus, information processing method, and information processing system | |
| US20240146781A1 (en) | Systems and methods for managing digital notes for collaboration | |
| JP2023523764A (en) | Systems and methods for managing digital records |