JP7252593B2 - Information processing system, information processing method and program - Google Patents
Information processing system, information processing method and program Download PDFInfo
- Publication number
- JP7252593B2 JP7252593B2 JP2018219509A JP2018219509A JP7252593B2 JP 7252593 B2 JP7252593 B2 JP 7252593B2 JP 2018219509 A JP2018219509 A JP 2018219509A JP 2018219509 A JP2018219509 A JP 2018219509A JP 7252593 B2 JP7252593 B2 JP 7252593B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- information
- attribute
- feature data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、工場の生産ラインなどの現場における品質向上や安全性を確保するための情報処理システムに関する。 The present invention relates to an information processing system for ensuring quality improvement and safety on site such as a production line in a factory.
製造業における工場の生産ラインや維持管理の現場において、品質、生産性の向上が常に求められる。そのための方策として、生産活動、維持管理活動のロボットによる自動化が模索されているが、現状のロボットの性能では完全な自動化の実現が難しくまたコストも高いため、人による作業に依存している現場が未だ多数を占めている。
そのような生産現場では、ヒューマンエラーが品質向上や生産性の主な阻害要因であり、事故の発生など安全面での課題もなお多い。
その対策として、生産活動、維持管理の現場においては、事故やエラーが発生すると、その結果を記録し、発生要因をさかのぼって思い出し、原因を究明・解明して対策手段を講じ、再発防止のために安全衛生基準を強化することが行われている。
例えば特許文献１には、ヒューマンエラー分析作業を支援するヒューマンエラー分析支援装置が開示されている。この分析装置では、基本情報入力部により、事故の基本情報の入力を実行し、事象整理部により、その事故に関わる事象の整理を実行し、分析部によって、事故の背後要因の分析を実行し、対策立案部により、事故の根本要因に対する対策案を立案して、情報セキュリティの非専門家である分析者によるヒューマンエラー分析作業を支援する。
Improvements in quality and productivity are always required in the production lines of factories in the manufacturing industry and in the field of maintenance and management. As a way to achieve this, automation of production and maintenance activities using robots is being explored. still occupy the majority.
At such production sites, human error is a major impediment to quality improvement and productivity, and there are still many safety issues such as the occurrence of accidents.
As a countermeasure, when an accident or error occurs at the site of production activities or maintenance, we record the result, recall the cause of the occurrence, investigate and clarify the cause, take countermeasures, and prevent recurrence. Strengthening health and safety standards is being implemented.
For example, Patent Literature 1 discloses a human error analysis support device that supports human error analysis work. In this analysis device, the basic information input unit inputs basic information about the accident, the event organizing unit organizes events related to the accident, and the analysis unit analyzes the background factors of the accident. , the countermeasure planning department proposes a countermeasure against the root cause of the accident, and supports the human error analysis work by analysts who are not experts in information security.
しかしながら、特許文献１のヒューマンエラー分析支援装置を活用しても、実際にヒューマンエラーによる問題が起きなければ対策が打てない、という問題がある。
また通常は問題が発生しないような現場でも「うっかりミス」が発生する可能性は十分にある。
たまたま問題は発生しなかったものの、限りなく問題が発生し得た所謂「ヒヤリハット」事象が記録されずに暗黙課題となってしまっている場合もある。
本発明は、このような問題を鑑みてなされたものであり、維持管理業務、生産業務において、ヒューマンエラーに繋がる生産性、品質阻害要因を判別して予見可能な情報処理システムを提供することを目的とする。
However, even if the human error analysis support device of Patent Document 1 is utilized, there is a problem that countermeasures cannot be taken unless a problem due to human error actually occurs.
In addition, there is a good chance that "careless mistakes" will occur even at sites where problems do not normally occur.
There are cases in which so-called "hiyari-hatto" (near-miss incidents), which could have caused an infinite number of problems, have not been recorded and become an implicit problem, even though no problems occurred by chance.
The present invention has been made in view of such problems, and aims to provide an information processing system capable of identifying and foreseeing productivity and quality impeding factors that lead to human error in maintenance and production work. aim.
上記の課題を解決するために、本発明は、画像データを時系列に沿って撮影するカメラから画像データを取得する画像取得手段と、追加もしくは組み替え可能な１つ以上のセンサーから時系列に沿ったセンサーデータを取得する情報取得手段と、前記画像取得手段が取得した画像データ及び前記情報取得手段が取得したセンサーデータを配信する配信手段と、前記配信手段が配信した画像データ又はセンサーデータから特徴データを抽出する抽出手段と、前記抽出手段によって抽出された前記特徴データに対して、所定の現象に基づく属性を利用者に付与させる属性付与手段と、前記特徴データと、前記属性付与手段によって付与された属性と、に基づいて判定モデル情報を生成するモデル生成手段と、前記配信手段が配信している画像データ又はセンサーデータから抽出された特徴データについて前記判定モデル情報との相関を判定する判定手段と、前記判定手段によって前記判定モデル情報と相関すると判定された特徴データについて、前記判定モデル情報に係る属性に基づく出力を行う出力手段と、を備え、前記属性付与手段はさらに、前記判定手段によって前記判定モデル情報と相関しないと判定された特徴データに対して、類似する判定モデル情報に係る属性を付与し、前記出力手段は、前記類似する判定モデル情報に係る属性に基づく出力を実行可能であり、前記モデル生成手段はさらに、前記類似する判定モデル情報に係る属性を用いて判定モデル情報を生成する、情報処理システムを特徴とする。
また本発明は、画像データを時系列に沿って撮影するカメラから画像データを取得する画像取得手段と、追加もしくは組み替え可能な１つ以上のセンサーから時系列に沿ったセンサーデータを取得する情報取得手段と、前記画像取得手段が取得した画像データ及び前記情報取得手段が取得したセンサーデータを配信する配信手段と、前記配信手段が配信した画像データ又はセンサーデータから特徴データを抽出する抽出手段と、前記特徴データに対して、所定の現象に基づく属性を利用者に付与させる属性付与手段と、前記特徴データと、前記属性付与手段によって付与された属性と、に基づいて判定モデル情報を生成するモデル生成手段と、前記配信手段が配信している画像データ又はセンサーデータから抽出された特徴データについて前記判定モデル情報との相関を判定する判定手段と、前記判定モデル情報と相関すると判定された特徴データについて、前記判定モデル情報に係る属性に基づく出力を行う出力手段と、を備え、前記特徴データは、前記画像データ内の特定のオブジェクトの動きに係る情報であり、前記抽出手段は、前記オブジェクトの動きの大きさの特徴量と、当該動きが発生した領域と、を前記特徴データとして出力し、前記属性付与手段は、当該特徴データに対して属性を付与させる、情報処理システムを特徴とする。
In order to solve the above problems, the present invention provides image acquisition means for acquiring image data from a camera that captures image data in chronological order, and one or more sensors that can be added or rearranged in chronological order. information acquisition means for acquiring sensor data obtained by the information acquisition means; distribution means for delivering image data acquired by the image acquisition means and sensor data acquired by the information acquisition means; and image data or sensor data delivered by the delivery means. extracting means for extracting data; attribute assigning means for assigning an attribute based on a predetermined phenomenon to the feature data extracted by the extracting means ; assigning the feature data to the attribute assigning means and a model generating means for generating judgment model information based on the attributes obtained, and judgment for judging correlation between feature data extracted from image data or sensor data distributed by said distribution means and said judgment model information. and output means for outputting the feature data determined by the determining means to be correlated with the determination model information based on attributes related to the determination model information, wherein the attribute addition means further includes the determination means. attribute related to the similar determination model information to the feature data determined to be uncorrelated with the determination model information, and the output means can execute output based on the attribute related to the similar determination model information. The information processing system is characterized in that the model generation means further generates judgment model information using attributes related to the similar judgment model information .
The present invention also provides image acquisition means for acquiring image data from a camera that captures image data in chronological order, and information acquisition for acquiring sensor data in chronological order from one or more sensors that can be added or rearranged. means, distribution means for distributing image data acquired by the image acquisition means and sensor data acquired by the information acquisition means, extraction means for extracting feature data from the image data or sensor data delivered by the delivery means, a model for generating judgment model information based on attribute assigning means for assigning an attribute based on a predetermined phenomenon to the feature data to the user; and the feature data and the attribute assigned by the attribute assigning means. generation means; determination means for determining correlation between feature data extracted from image data or sensor data distributed by said distribution means and said determination model information; and feature data determined to correlate with said determination model information. and output means for outputting based on an attribute related to the judgment model information, wherein the feature data is information related to the movement of a specific object in the image data, and the extraction means is the object's The information processing system is characterized by outputting, as the feature data, a feature amount of the magnitude of motion and the area where the motion occurs, and wherein the attribute assigning means assigns an attribute to the feature data.
上記のように構成したので、本発明によれば、維持管理業務、生産業務において、維持管理業務、生産業務において、ヒューマンエラーに繋がる生産性、品質阻害要因を判別して予見可能な情報処理システムを実現することが出来る。 Since it is configured as described above, according to the present invention, in maintenance management work and production work, an information processing system that can discriminate and predict productivity and quality hindrance factors that lead to human error in maintenance work and production work can be realized.
以下に、図面を参照して、本発明の実施の形態を詳細に説明する。
本実施形態に係る情報処理システムは、工場などの生産現場、工事現場などを念頭に、品質向上や生産性、安全性の阻害要因としてのヒューマンエラーに着目する。そして、阻害要因の抑止や潜在的なエラー発生要因の自動抽出を実現するものである。
本実施形態に係る情報処理システムは、現場の状況をカメラやセンサーによって記録し、記録したデータを解析し、その解析結果に基づいて現場の状況を判断する。
記録手段として基本となるカメラに組み合わせるセンサーは、現場のスケーラビリティに応じて変更、追加が可能である。
カメラによって撮像された画像データやセンサーによって取得されたセンサーデータから抽出される特徴データ（カメラ画角内での作業者の動き、物の配置など、センサーでの特徴的な波形など）に対して、ヒューマンエラーに繋がった、あるいは繋がらなかった等の仮説に基づいて属性を設定し、属性と特徴データとを用いて物や人の形をモデルデータ（学習モデル）化する。
モデルデータ化以降は、リアルタイムに撮像、取得される画像データ、センサーデータ（ＲＡＷデータ）から抽出される特徴データのモデルデータとの類似性判定を行うことで、阻害要因の抑止やエラー発生要因の自動抽出の実現に役立てることが出来る。
BEST MODE FOR CARRYING OUT THE INVENTION Below, embodiments of the present invention will be described in detail with reference to the drawings.
The information processing system according to the present embodiment focuses on human error as a hindrance to quality improvement, productivity, and safety, with production sites such as factories and construction sites in mind. Then, it realizes suppression of hindrance factors and automatic extraction of latent error occurrence factors.
The information processing system according to this embodiment records the situation of the site using a camera or a sensor, analyzes the recorded data, and judges the situation of the site based on the analysis result.
Sensors combined with the camera, which is the basic recording means, can be changed or added according to the scalability of the site.
For feature data extracted from image data captured by a camera and sensor data acquired by a sensor (such as the movement of workers within the angle of view of the camera, the arrangement of objects, and the characteristic waveforms of the sensor) , attributes are set based on hypotheses that lead to human error or not, and the attributes and feature data are used to create model data (learning models) for the shapes of objects and people.
After converting to model data, by performing similarity judgment of feature data extracted from image data captured and acquired in real time and sensor data (RAW data) with model data, inhibiting factors and error-causing factors are suppressed. It can be used for realization of automatic extraction.
本実施形態の情報処理システムによれば、各種デバイスや情報機器を組み合わせて記録した過去事象に対して評価（属性の付与）を行い、評価した事象と、現在起きている事象との類似性判断を行うことで、評価した事象と同様の事象の発見を行う。
その結果、問題行動に発展したと評価された事象が再び起きた場合には、適宜の処理を行うことで、問題行動に発展する可能性を排除することが出来る。
According to the information processing system of this embodiment, past events recorded by combining various devices and information equipment are evaluated (assigned attributes), and similarity between the evaluated events and current events is determined. By doing this, we discover events similar to the evaluated events.
As a result, when an event evaluated to have developed into problematic behavior occurs again, the possibility of developing into problematic behavior can be eliminated by performing appropriate processing.
本実施形態の情報処理システムでは、起点と状況（ヒューマンエラーの原因、起点となった動作からヒューマンエラーが実際に起きるまでの状況）を統合的に俯瞰することができる。
「状況」とは、現場における見たままの姿であり、現場に設置された現場の状況を俯瞰可能な監視カメラの画像によって状況判断が行われる。
例えば、監視カメラが捉えている状況（画像）と、作業者がヒヤっとした状況（ヒヤリ状況）と、をタイムシーケンスに配置する。「ヒヤリ状況」は、例えば、作業者に装着した心拍数計によって採取されたセンサーデータから判断出来る。
利用者は、監視カメラで撮影された画像データや心拍数のデータを自身の目で確認することにより、ヒヤリハット状況の原因となった、あるいは実際にエラーや事故に繋がった作業の動作や状況を課題として発見し、過去事象に対する評価（属性付与）に役立てることが出来る。
In the information processing system of this embodiment, the starting point and the situation (the cause of the human error, the situation from the action that became the starting point to the actual occurrence of the human error) can be comprehensively viewed.
The “situation” is the situation as it is seen at the site, and the situation is judged by the image of the surveillance camera installed at the site that can overlook the situation of the site.
For example, a situation (image) captured by a surveillance camera and a situation in which a worker is nervous (hiyari situation) are arranged in a time sequence. A "near-miss situation" can be determined, for example, from sensor data collected by a heart rate monitor worn by the worker.
By checking the image data and heart rate data captured by the surveillance camera with their own eyes, the user can identify the actions and conditions of the work that caused the near-miss situation or actually led to the error or accident. It can be discovered as a problem and used for evaluation (attribution) of past events.
図１は、本実施形態に係る情報処理装置の構成を示す図である。
図１に示すように、情報処理システム１は、情報処理装置１０と、情報処理装置１０に接続されて画像データを時系列に沿って撮影するカメラ（画像取得手段）１１と、情報処理装置１０に接続されて時系列に沿ったセンサーデータを取得するセンサー１２と、ＡＩ（Artificial Intelligence）学習器１３と、データベースＤＢと、備えている。
カメラ１１は、本実施形態の情報処理システム１が適用される生産現場等を俯瞰可能な位置に設置された例えば監視カメラである。現場内の物や人を俯瞰可能な位置に配置された定点カメラを用いて、作業者の動作、道具や原材料の配置などについて画像データの採取が行われる。
センサー１２は、作業者の身体や現場内に設置され、現場内の環境や作業者の状態などに係るセンサーデータを出力する。
FIG. 1 is a diagram showing the configuration of an information processing apparatus according to this embodiment.
As shown in FIG. 1, an information processing system 1 includes an
The
The
情報処理装置１０は、カメラ１１の撮像画像に含まれる特徴データ、センサー１２のセンサーデータに含まれる特徴的な波形など（特徴データ）を、予め生成した学習モデルに基づいて分類する。
分類の基準となる学習モデルも、カメラ１１の撮像画像、センサー１２のセンサーデータに基づいて生成される。
ヒューマンエラーに繋がるような作業者の動作である利用者が分類（定義）した学習モデルに適合する動作が撮像画像データに発見された時点でその旨を通知することで、ヒューマンエラーを未然に防ぐことが出来る。
本質的に、本実施形態の情報処理システムは、画像データ内のオブジェクトの特徴的な動きや、センサーデータ内の特徴的な波形等に対して利用者が定義づけ（評価）を行って特徴データをモデル化し、カメラやセンサーでリアルタイムに取得される画像データやセンサーデータ（ＲＡＷデータ）内の特徴データを、モデルに従って分類するためのシステムである。
データ内の特定動作等が、ヒューマンエラーに繋がるリスクを伴うものであったか、安全であったか、という分類は利用者の定義付け次第であり、本実施形態の情報処理システムの一つの活用例である。
The
A learning model that serves as a reference for classification is also generated based on the image captured by the
Prevents human error by notifying the user when an action that matches a learning model classified (defined) by the user, which is a worker action that can lead to human error, is found in the captured image data. can do
Essentially, in the information processing system of the present embodiment, the user defines (evaluates) characteristic movements of objects in image data, characteristic waveforms in sensor data, and the like, and generates characteristic data. is modeled, and image data and sensor data (RAW data) acquired in real time by a camera or sensor are classified according to the model.
It is up to the user to define whether a specific operation or the like in the data was associated with a risk of human error or whether it was safe, and is one example of utilization of the information processing system of this embodiment.
データベースＤＢは、情報処理装置１０による判断結果を整理するデータベースであり、後述する受信データ・データベースＤＢ１、事実データ・データベースＤＢ２を含む。
受信データ・データベースＤＢ１には、カメラ１１によって撮像された画像データと、センサー１２によって取得されたセンサーデータと、が格納される。
利用者は、カメラ１１で撮像された画像データ、センサー１２で取得されたセンサーデータを画像表示装置２８上でリアルタイムに確認することが出来るが、受信データ・データベースＤＢ１に格納されたデータを非リアルタイムで振り返って確認することも出来る。
受信データ・データベースＤＢ１に格納されるデータは、画像データそのものではなく、インデックスデータのみとし、実体データは、その他の場所に設置された大容量のデータベースに格納されてもよい。
事実データ・データベースＤＢ２には、受信データ（画像データ、センサーデータ）に基づいて生成された学習モデルや、判定結果等が格納される。判定結果を格納しておくことで、同じモデルが適用される特徴データに対して再度判定を行う必要がなくなる。
The database DB is a database that organizes the determination results of the
Image data captured by the
The user can check the image data captured by the
The data stored in the received data database DB1 may be index data only, not the image data itself, and the actual data may be stored in a large-capacity database installed at another location.
The fact data database DB2 stores learning models generated based on received data (image data, sensor data), determination results, and the like. Storing the determination result eliminates the need to perform the determination again for the feature data to which the same model is applied.
情報処理装置１０は、様々なインターフェイスを有し、これらのインターフェイスに対して要件に応じた様々なセンサー１２を接続してセンサー情報を入力可能である。センサー１２は、追加もしくは組み替えが可能な１つ以上のセンサーである。
情報処理装置１０に接続可能なセンサー１２は、例えば、心拍センサー、加速度センサー、角速度センサー、温湿度センサー、地磁気センサー、気圧センサー等である。
上記したように、作業者の身体や現場内に設置され、現場内の環境や作業者の状態などに係るセンサーデータを出力可能なセンサーである。
情報処理装置１０に接続するセンサーの種類に制限はなく、インターフェイスを介してデータを取得できるセンサーであれば、モデル生成や分類処理に活用することが出来る。
The
The
As described above, it is a sensor that is installed on the worker's body or in the work site, and that can output sensor data relating to the environment in the work site, the state of the worker, and the like.
The type of sensor connected to the
情報処理装置１０は、カメラ１１から取得した画像データと、センサー１２から取得したセンサーデータと、を振り返りのために受信データ・データベースＤＢ１に格納させる。
さらに、情報処理装置１０は、カメラ１１で撮像した画像データ及びセンサー１２から入力されたセンサーデータから抽出された特徴データに対して利用者自身による属性付与（評価、あるいは分類）を行い、互いに類似する特徴データ群に対して、付与された属性によるアノテーション（ディープラーニング）を行うことにより学習モデル（分類モデル）を生成する。
学習モデルの生成は、情報処理装置１０に接続したＡＩ学習器１３によって行わせることが出来る。生成された学習モデルは、事実データ・データベースＤＢ２に格納される。
情報処理装置１０は、カメラ１１、センサー１２によってリアルタイムで取得される画像データ及びセンサーデータ（ＲＡＷデータ）が、事実データ・データベースＤＢ２に格納される学習モデルと相関するか否か（相関する学習モデルがあるか否か）を判定して、相関する場合には、当該学習モデルの属性を判定結果として出力することが出来る。
The
Furthermore, the
A learning model can be generated by an
The
また情報処理装置１０は、リアルタイムの画像やセンサーデータに含まれる学習モデルに近似（類似）した特徴データも適切に分類することも出来る。
初出の特徴データに対して分類（属性付け）がされておらずとも、近似した学習モデルに基づいて、演繹的に特徴データを分類して、判定結果を出力することが出来る。
The
Even if the first-appearing feature data is not classified (attributed), it is possible to classify the feature data a priori based on an approximated learning model and output the determination result.
ＡＩ学習器１３の構成について詳細な説明は省略するが、例えばＵＳＢ（Universal Serial Bus）による入出力ポートと、ＧＰＵ（Graphics Processing Unit）、ＲＡＭ（Random Access Memory）を備え、利用者が分類した、画像データやセンサーデータ内の特徴データを大量に与えられてディプーラーニングによる解析を行うことで、学習モデルを生成する。作業者の姿勢や、作業台に持ち込まれたモノなどを、ＡＩ学習器１３に対するインプットとし、ＡＩ学習器１３によってモデル化する。
ＡＩ学習器１３には、カメラ１１から取得した画像データと、センサー１２から取得したセンサーデータと、入力された属性と、が、入出力ポートを介して情報処理装置１０から供給される。
情報を入力されたＡＩ学習器１３のＧＰＵは、供給された情報に対して、ＧＰＵが有する多数のコアによる並列演算を行うことにより、高速に学習モデルを生成する。
学習モデルの生成に際しては、特徴データにおける多数のパラメータを処理する演算を行う必要があるが、多数のコアを有して同時並列演算を実施可能なＧＰＵは有利である。
Although a detailed description of the configuration of the
Image data acquired from the
The GPU of the
When generating a learning model, it is necessary to perform calculations for processing a large number of parameters in feature data, and a GPU that has a large number of cores and is capable of performing simultaneous parallel calculations is advantageous.
図２は、本実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成を説明するブロック図である。
情報処理装置１０は、例えば、ＣＰＵ（Central Processing Unit）２１と、ＲＯＭ（Read Only Memory）２２と、ＲＡＭ（Random Access Memory）２３と、ＵＳＢ Ｉ／Ｆ２４と、ネットワークＩ／Ｆ２５と、近接無線通信Ｉ／Ｆ２６と、ＧＰＩＯ（General Purpose Input/Output）２７と、液晶ディスプレイなどの画像表示装置２８と、を備える。
また、図示しないが、情報処理装置１０は、キーボードやマウスなどの入力操作手段を備えて、画像表示装置２８における画像データやセンサーデータの表示、属性付けなどの操作を行うことが出来る。
ＣＰＵ２１は、オペレーティングシステム及び情報処理装置１０の機能を実現するためのプログラムを実行する。ＲＯＭ２２は、ＣＰＵ２１によって実行されるプログラムと固定データが格納される。ＲＡＭ２３は、ＣＰＵ２１によって実行されるプログラムが展開され、一時データや各種の変数が格納される。
FIG. 2 is a block diagram for explaining the hardware configuration of the information processing device that constitutes the information processing system according to this embodiment.
The
Although not shown, the
The
ＵＳＢ Ｉ／Ｆ２４は、情報処理装置１０に対して外部装置を接続するためのインターフェイスである。ＵＳＢ Ｉ／Ｆ２４には、例えば、ＡＩ処理部（ＡＩ学習器）１３が接続される。
ネットワークＩ／Ｆ２５は、情報処理装置１０をネットワークに接続するためのインターフェイスである。
情報処理装置１０は、有線ＬＡＮ（Ｅｔｅｒｅｎｅｔ）、無線ＬＡＮのいずれによってネットワークに接続されてもよい。ネットワークＩ／Ｆ２５はすなわち、Ｅｔｅｒｎｅｔアダプタ、あるいは無線ＬＡＮアダプタである。
近接無線通信Ｉ／Ｆ２６は、情報処理装置１０と、近距離にある外部機器との間で、無線通信を介して情報や信号を送受信するためのインターフェイスであり、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信が可能なＢｌｕｅｔｏｏｔｈ（登録商標）アダプタである。
情報処理装置１０は、同様にＢｌｕｅｔｏｏｔｈ（登録商標）アダプタを有するセンサー装置から、当該センサー装置が測定（取得）したセンサー情報をＢｌｕｅｔｏｏｔｈ（登録商標）通信によって取得することが出来る。
The USB I/
Network I/
The
The close proximity wireless communication I/
Similarly, the
ＧＰＩＯ２７は、電子基板が標準的に備える入出力端子の一種であり、設定を変更することにより様々な用途に使用可能である。
情報処理装置１０のマザーボード（主基板）やマザーボードに接続される拡張基板にこのようなＧＰＩＯ２７を備える。情報処理装置１０は、ＧＰＩＯ２７に接続されたケーブル等を介して外部装置と通信を行って、情報の入出力をすることが出来る。すなわち、情報処理装置１０は、センサー装置からセンサー情報を入力されたり、判断結果を外部装置に出力したりすることが出来る。
The
Such a
また、情報処理装置１０は、上記のネットワークＩ／Ｆを介して判断結果をＨＴＴＰ（Hyper Text Transfer Protocol）通信やメール送信によって外部装置に通知することが出来る。
ＨＴＴＰ通信による通知は、例えば本実施形態の情報処理システムが適用される工場等においてＷｅｂベースで構築された管理システムに含まれるコンソール端末への状態表示である。
また、メール送信による通知は、例えば本実施形態の情報処理システムが適用される工場等において管理者等が携帯する携帯端末への状態通知メールの送信である。
さらに、情報処理装置１０は、判断結果に応じて、ＧＰＩＯ２７を介して機械制御をしたり、判断結果の可視化を行ったりしてもよい。
機械制御の一例として、情報処理装置１０は、本実施形態の情報処理システムが適用される工場等に設置されたラインを制御するリレースイッチを、判定結果に応じてＧＰＩＯ２７を介して制御し、ラインをストップさせる制御が可能である。
判断結果可視化の一例として、情報処理装置１０は、判断結果に応じて、ＧＰＩＯ２７を介して工場内等に設置されたシグナル発生器を制御して判断結果の表示（シグナル発報）を行う。
In addition, the
The notification by HTTP communication is, for example, a status display on a console terminal included in a Web-based management system in a factory or the like to which the information processing system of this embodiment is applied.
The notification by e-mail transmission is, for example, transmission of a status notification e-mail to a portable terminal carried by a manager or the like in a factory or the like to which the information processing system of this embodiment is applied.
Furthermore, the
As an example of machine control, the
As an example of visualizing the determination result, the
図３は、本実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。
本実施形態において、図３に示す各機能はソフトウェアによって実現されるものであり、ＣＰＵ２１によってプログラムが実行されることによって機能する。なお、これらの各機能はソフトウェアではなくハードウェア回路によって実現されてもよい。
情報処理装置１０のＣＰＵ２１は、処理部として、画像取得処理部５１と、センサー値取得処理部５２と、ストリーミング配信処理部５３と、データ受信処理部５４と、受信データ格納処理部５５と、特徴データ抽出処理部５６と、属性付与処理部５７と、モデル生成処理部５８と、判定処理部５９、出力処理部６０、判定データ記録処理部６１と、を実行する。
FIG. 3 is a functional block diagram showing the functional configuration of the information processing apparatus according to this embodiment.
In this embodiment, each function shown in FIG. 3 is realized by software, and functions when the
The
画像取得処理部５１は、カメラ１１を制御して時系列に沿って撮影させ、画像データを取得する。
センサー値取得処理部５２（情報取得手段）は、情報処理装置１０に接続されたセンサー１２から時系列に沿ったセンサーデータを取得する処理を行う。
ストリーミング配信処理部５３（配信手段）は、画像取得処理部５１と、センサー値取得処理部５２によって取得された画像データ及びセンサーデータをストリーミング配信する処理を行う。すなわち、情報処理装置１０は、画像データのストリーミング機能を有する。
画像データ、センサーデータをストリーミング配信することにより、同じ画像データ、センサーデータに対して分散同時処理が可能となる。特に画像データについては、画像データを並列的にストリーミング配信することで、一つの画像データに対して、後述の特徴データ抽出処理部５６による特徴データの抽出処理（色分析や動作分析など）を並列的に同時に行うことが出来る。
The image
The sensor value acquisition processing unit 52 (information acquisition means) performs processing for acquiring sensor data in time series from the
The streaming distribution processing unit 53 (distribution means) performs processing for streaming distribution of image data and sensor data acquired by the image
Streaming distribution of image data and sensor data enables distributed simultaneous processing of the same image data and sensor data . Particularly for image data, parallel streaming distribution of image data enables parallel processing of feature data extraction (color analysis, motion analysis, etc.) by the feature data
データ受信処理部５４は、ストリーミング配信処理部５３が配信する画像データ、センサーデータを受信する処理部である。
データ受信処理部５４によって受信された画像データは、表示制御部による制御によって画像表示装置２８にリアルタイムに表示可能である。
受信データ格納処理部５５は、ストリーミング配信処理部５３によって配信されてデータ受信処理部５４が受信した画像データ（別の格納場所の格納した場合、その格納場所における画像データのファイルパス）とセンサーデータを受信データ・データベースＤＢ１に格納する処理を行う処理部である。
情報処理装置１０は、画像データに係る情報と、センサーデータのデータベースへの格納機能を有する。受信データ格納処理部５５と、上記のストリーミング配信処理部５３の機能により、情報処理装置１０自体によって画像データ、センサーデータのストリーミング配信とデータベースへの格納が可能である。
The data
The image data received by the data
The received data
The
特徴データ抽出処理部５６（抽出手段）は、ストリーミング配信処理部５３が配信し、受信データ格納処理部５５が受信した画像データ又はセンサーデータから特徴データを抽出する処理を行う処理部である。
特徴データは、例えば、画像データ内の特定のオブジェクト（作業者）の動きやその動き、物の配置、作業者と物との相対的な位置関係（距離関係）に係る情報である。
特徴データ抽出処理部５６は、画像データ内における特徴データと、画像データ内における特徴データの発生領域（画角内の座標情報）と、を特徴データとして出力する。
センサーデータの場合は、（前後の）正常値に対して異常に値が上下する部分が特徴データである。例え心拍センサーなどでは、作業者がヒヤリとして心拍数が急激に上がったときにヒューマンエラーのきっかけとなる事象が発生した可能性があると考え、特徴データとして抽出する。
特徴データ抽出処理部５６は、このように抽出した特徴データを、データベース（事実データ・データベースＤＢ２）に格納することが出来る。
The feature data extraction processing unit 56 (extraction means) is a processing unit that extracts feature data from image data or sensor data distributed by the streaming
The feature data is, for example, information relating to the movement of a specific object (worker) in the image data, the movement thereof, the arrangement of objects, and the relative positional relationship (distance relationship) between the worker and the object.
The feature data
In the case of sensor data, the feature data is the part where the value rises and falls abnormally with respect to the normal values (before and after). For example, with a heart rate sensor, it is possible that an event that triggered a human error occurred when the heart rate suddenly increased due to a near-miss, and extracted as feature data.
The feature data
属性付与処理部５７（属性付与手段）は、特徴データ抽出処理部５６によって抽出された特徴データに対して、属性を利用者に付与させる処理を行う処理部である。
属性の付与は、ストリーミング配信処理部５３による配信とともに画像表示装置２８にリアルタイムに表示される画像データ内の特徴データに対して行われてもよいし、一度受信データ・データベースＤＢ２に格納された画像データ、センサーデータあるいはそこから抽出された特徴データに対して後から行っても良い。
いずれの場合も、画像表示装置２８上に表示するイメージシーケンサ上で、特徴データ抽出処理部５６によって抽出された特徴データに対してブロッキングを行い、ブロッキングされた特徴データに対して、所定の属性を付与する操作を行わせる。
ブロッキング自体は、画像データを画像表示装置２８にリアルタイムに表示する際に、特徴データに対して表示しても良いが、属性の付与を求められる特徴データに対して特に表示することで、より分かりやすい表示となる。
The attribute assignment processing unit 57 (attribute assignment unit) is a processing unit that performs processing for assigning attributes to the feature data extracted by the feature data
Attributes may be assigned to the feature data in the image data displayed in real time on the
In either case, the feature data extracted by the feature data
The blocking itself may be displayed for the feature data when the image data is displayed on the
モデル生成処理部５８（モデル生成手段）は、特徴データと、属性付与処理部５７によって付与された属性と、に基づいて学習モデルを生成する処理を行う処理部である。
モデル生成は、実際には、情報処理装置１０に接続されたＡＩ学習器１３によって実行可能であり、その場合、モデル生成処理部５８はＡＩ学習器に対するデータの入出力等を制御する。
モデル生成処理部５８は、生成された学習モデルを事実データ・データベースＤＢ２に格納する。
モデル生成処理部５８は、ＡＩ学習器１３を制御し、特徴データに対して、設定された属性をアノテーション（タグ付け）することによって学習モデルを生成する。
具体的には、モデル生成処理部５８は、ＡＩ学習器１３に対して特徴データ、属性を入力し、学習モデルを生成させ、出力された学習モデルを得る。
ＡＩ学習器１３に組み込まれている対象データに対してアノテーションを行うモデルを生成する手法は、パブリックドメインに属している公知のアルゴリズムによって実現することが出来る。
The model generation processing unit 58 (model generation means) is a processing unit that performs processing for generating a learning model based on the feature data and the attributes given by the attribute
Model generation can actually be executed by the
The model
The model
Specifically, the model
A method of generating a model for annotating target data incorporated in the
判定処理部５９（判定手段）は、ストリーミング配信処理部５３から配信されるリアルタイムな画像データ又はセンサーデータから特徴データ抽出処理部５６によって抽出された特徴データについて、事実データ・データベースＤＢ２に格納される学習モデルとの相関を判定する処理を行う処理部である。
出力処理部６０（出力手段）は、学習モデルと相関すると判定された特徴データについて、学習モデルに係る属性に基づく出力を行う処理を行う処理部である。
出力処理部６０は、属性の出力に基づいて前述のようなメール送信やＨＴＴＰ通信を行う通信処理部、同出力に基づいてＧＰＩＯを介してライン制御を行う外部装置制御処理部等を含む。
判定データ記録処理部６１は、判定処理部５９によって判定を行ったログ（判定データ）を、事実データＤＢに記録する処理を行う処理部である。
The determination processing unit 59 (determination means) stores the feature data extracted by the feature data
The output processing unit 60 (output means) is a processing unit that performs a process of outputting feature data determined to be correlated with the learning model based on attributes related to the learning model.
The
The determination data
詳しくは、特徴データ抽出処理部５６は、画像処理装置１０が備えるカメラ１１と各種センサー１２とによってリアルタイムで取得されてストリーミング配信される画像データやセンサーに対して既知の異物判定ロジックによる解析を常に行い、画像内で特徴的な動作を行う動体（例えば、工場内の作業者等の人物）や、センサーにおける特徴的なデータ変位（心拍数計であれば、前後の平常な値に対する、急激な値の上下動など）を特徴データとして抽出する。
画像データにおける異物判定は、時空間差分とクラスタリングによる画像の統計的分析や、色判定（類似性、クラスタリング）によって行われ、これにより画像データからの特徴データの抽出が行われる。
More specifically, the feature data
Determination of foreign matter in image data is performed by statistical analysis of images based on spatio-temporal differences and clustering, and color determination (similarity, clustering), thereby extracting feature data from image data.
特徴データ抽出処理部５６によって抽出された特徴データは、モデル生成処理部５８によって生成されて事実データ・データベースＤＢ２に格納されている学習モデルと、判定処理部５９によって比較される（相関が判断される）。
特徴データが、事実データ・データベースＤＢ２に格納される学習モデルと相関すると判定処理部５９が判定した場合、出力処理部６０は、判定結果としてその学習モデルに係る属性を出力する。
属性は、特徴データが意味する内容であり、その特徴データが、予め定められたどの分類に属するのかの情報である。分類とは、例えば工場内の作業者による動作においては、後述する「Ｃｏｒｒｅｃｔ」、「Ｒｉｓｋ」、「Ｅｒｒｏｒ」のなどの分類である。ただし、特徴データの分類はこれらの種類に限定されるものではない。分類は、上記の属性付与処理部５７によって属性として付与され、学習モデルに含まれている。
The feature data extracted by the feature data
When the
The attribute is the meaning of the feature data, and is information as to which predetermined classification the feature data belongs to. The classification is, for example, classification such as "Correct", "Risk", and "Error", which will be described later, in the operation by the worker in the factory. However, the classification of feature data is not limited to these types. The classification is assigned as an attribute by the attribute
本実施形態の情報処理システムの導入初期など、十分な学習モデルが生成されていない場合、画像データ内の動体（作業者）の動きや、センサーデータの特徴データが意味する内容を判定することが出来ない（リアルタイムのデータと、学習モデルと、の相関を判断することが出来ない）。
十分な学習モデルが存在しないことで特徴データが学習モデルと相関しないと判定処理部５９が判定した場合には、出力処理部６０は、特徴データを何れにも分類できない（特徴データが意味する内容が不明である）ことを示す属性「Ｕｎｋｎｏｗｎ」を出力することができ、その特徴データに対する判断を保留する。
When a sufficient learning model is not generated, such as at the beginning of the introduction of the information processing system of the present embodiment, it is possible to determine the movement of a moving object (worker) in image data and the meaning of feature data in sensor data. Impossible (cannot determine correlation between real-time data and learning model).
If the
「Ｕｎｋｎｏｗｎ」とされた特徴データについては、その場でリアルタイムに、あるいは、受信データ・データベースＤＢ１に格納された後で、属性を付与することが出来る。
すなわち、本実施形態の情報処理装置においては、判定処理部５９によって、学習モデルと相関しないと判定された特徴データについて、「Ｕｎｋｎｏｗｎ」属性を付与して分類を保留するのではなく、属性付与処理部５７が、利用者に対して任意の属性を付与させてもよい。
上記に説明したように、画像処理装置１０が備えるカメラ１１と各種センサー１２とによって取得された画像データやセンサーデータは、受信データ・データベースＤＢ１に格納される。
属性付与処理部５７は、リアルタイムで画像処理装置１０に表示されている画像データ、または受信データ・データベースＤＢ１から呼び出されて表示される画像データに対して、画像表示装置２８の画面上で、画像データにおける学習モデルと相関しない特徴データに係わる領域を矩形で囲んで表示するブロッキング処理を行う。
なお、本実施形態の情報処理システムが備えるカメラ１１は固定的に配置されて作業現場を俯瞰する定点カメラである。そして、作業現場においては、作業者が活動するエリアは限られており、物を置くスペースも同様である。
従って、カメラ１１の画角内で、特徴的なデータ（作業者の動き、物の配置）が発生する座標領域（存在確率）は限定されており、方向性、角度のデータオーグメンテーションがほぼ不要であり、特徴データの抽出や、学習モデルの生成に必要な処理を簡素化することが出来る。
"Unknown" feature data can be given attributes on the spot in real time or after being stored in the received data database DB1.
That is, in the information processing apparatus of the present embodiment, the feature data determined by the
As described above, image data and sensor data acquired by the
The attribute
The
Therefore, within the angle of view of the
利用者は、ブロッキングされた特徴データに対して、情報処理装置１０に接続されている不図示の入力装置（マウスやキーボード）を用いて、画像内における現象を画像表示装置２８上で自分自身で確認したうえで、所定の分類からふさわしいと考える分類を設定する。
例えば、ブロッキングされている特徴データにおける作業者の動作が、「安全であった」と利用者が判断した場合、入力装置を用いて「Ｓａｆｅ」に分類する操作を行い、「リスク」が判断した場合には「Ｒｉｓｋ」に分類する操作を行い、「エラーにつながった」と判断した場合には、「Ｅｒｒｏｒ」に分類する操作を行う。
実際に事故やエラーが発生したか否かではなく、画像データにおける特徴的な動作が、エラーや事故に繋がったと利用者が判断したか否かを基準として分類付けを行う。
利用者が、入力装置を用いた属性の付与を行うと、モデル生成処理部５８は、属性付与処理部５７によって付与された属性と、その特徴データとを用いて、新たに学習モデルを生成する。
すなわち、記録された情報（画像データ、センサーデータ）をもとに、新たな仮説モデルを組み上げることにより、属性値の確からしさをはかる。
The user uses an input device (not shown) (mouse or keyboard) connected to the
For example, when the user determines that the behavior of the worker in the blocked feature data is "safe", the user performs an operation to classify it as "safe" using the input device, and the "risk" is determined. If it is determined that the problem is "leading to an error", an operation is performed to classify it as "Error".
The classification is based on whether or not the user determines that a characteristic operation in the image data led to the error or accident, not whether or not an accident or error actually occurred.
When the user assigns an attribute using the input device, the model
That is, based on recorded information (image data, sensor data), a new hypothetical model is constructed to measure the likelihood of attribute values.
本実施形態の情報処理システムは、実際にエラーや事故が発生したことを検出して報知するのではなく、過去を振り返って結果的にエラーや事故に繋がったのではないかと考えられる作業者の予兆的な動作やセンサーの値を、分類し、モデル化する。
これにより、ヒューマンエラーの予兆が現れた時点で、エラーや事故が発生する前に「Ｅｒｒｏｒ」属性を出力して適切な処理を行うことで、潜在的なヒューマンエラーを防止することが出来る。
The information processing system of this embodiment does not detect and report that an error or accident has actually occurred, but rather looks back on the past and makes it possible for the operator to think that the error or accident may have resulted in the occurrence of the error or accident. Classify and model predictive behaviors and sensor values.
As a result, when a sign of human error appears, the "Error" attribute is output and appropriate processing is performed before an error or accident occurs, thereby preventing latent human error.
特徴データ抽出処理部５６は、ストリーミング配信処理部５３よってストリーミング配信された一の画像データ又はセンサーデータから、異なる特徴データを同時に抽出可能である。
ストリーミングされるセンサーデータには、複数のセンサー１２によって取得されたセンサーデータが含まれ、各センサーによるセンサーデータ毎に複数の特徴的なデータを含んでいる。
属性付与処理部５７は、特徴データ抽出処理部５６によって抽出された異なる特徴データの夫々に対して属性を付与する（利用者に付与される）ことが出来る。
さらにモデル生成処理部５８は、異なる特徴データと、属性付与処理部５７によって付与された異なる属性と、に基づいて複数の判定モデル情報を生成することが出来る。
このような場合には、判定処理部５９は、ストリーミング配信処理部５３によって配信される一の画像データ又はセンサーデータから同時に抽出した複数の特徴データについて、複数の判定モデル情報に対する相関の判定を行う。
The feature data
The streamed sensor data includes sensor data acquired by
The attribute
Furthermore, the model
In such a case, the
また、属性付与処理部５７によって付与される属性は、画像取得手段によって撮影される画像データと、センサー値取得処理部５２によって１つ以上のセンサーから取得されるセンサーデータと、の組み合わせに基づいて定義することが出来る。
画像データ、センサーデータそれぞれについて、属性の付与及び学習モデルの生成を行うのみならず、画像データとセンサーデータの組み合わせに対して属性を付与し、学習モデルを生成してもよい。
利用者は、受信データ・データベースＤＢ１に格納されている画像データを、画像表示装置で確認をしながら、画像データ内のブロッキングされた特徴データに対して属性の定義を行うが、これは、単に画像データにおける特徴データに対して属性を付与することに限定されない。
画像表示装置で確認をしながら、エラーや事故の予兆であったと考えられるセンサーデータに属性を付与することが出来る。
学習モデルとリアルタイムの画像データ、センサーデータを比較する際には、画像データ、センサーデータの両方が学習モデルと相関するときに、学習モデルと相関したとみなされてもよい。
Further, the attributes imparted by the attribute imparting
Attributes may be assigned to a combination of image data and sensor data, and a learning model may be created by assigning an attribute to each of the image data and the sensor data and generating a learning model.
While checking the image data stored in the received data database DB1 on the image display device, the user defines attributes for the blocked feature data in the image data. It is not limited to giving attributes to feature data in image data.
Attributes can be assigned to sensor data that may have been a sign of an error or accident while checking on the image display device.
When comparing the learning model with real-time image data and sensor data, both the image data and the sensor data may be considered correlated with the learning model when they are correlated with the learning model.
換言すると、画像データ内の特徴データに対する属性の定義と、同じタイミングにおけるセンサーデータに対する属性の定義を、ともに行うことが出来る。属性は、画像データと、センサーデータと、の組み合わせに基づいて定義される。
画像データ内のブロッキングされた特徴データに対して属性を定義したときに、同じタイミングのセンサーデータに対して同じ属性が自動的に付与されてもよい。
情報処理装置１０に対してセンサーが追加または組み替えられることにより、属性の定義は拡張又は変更されることになる。
すなわち、本実施形態の情報処理システムは、センシング情報と属性とを追記可能な形で判断を可能とするシステムであるとともに、センサー、画像の組み合わせにより、属性定義を拡充可能なシステムである。
In other words, it is possible to define attributes for feature data in image data and define attributes for sensor data at the same timing. Attributes are defined based on a combination of image data and sensor data.
When attributes are defined for blocked feature data in image data, the same attributes may be automatically assigned to sensor data at the same timing.
By adding or rearranging sensors to the
In other words, the information processing system of the present embodiment is a system that enables determination in a form in which sensing information and attributes can be additionally written, and is a system that can expand attribute definitions by combining sensors and images.
上記のように、情報処理装置１０は、ストリーミング配信処理部５３によって配信された画像データに係る情報及びセンサーデータと、特徴データと、判定モデル情報と、をデータベースに記録している。
情報処理装置１０は、特徴データから、この特徴データに関連する画像データに係る情報又はセンサーデータをデータベースから抽出する処理を行うデータ抽出処理部（データ抽出手段）を備えている。利用者は、特徴データが発生したタイミング前後の画像データ、センサーデータを振り返って確認し、特徴データの評価に役立てることが出来る。
As described above, the
The
さらに、本実施形態の情報処理装置においては、判定処理部５９によって、学習モデルと相関しないと判定された特徴データについて、「Ｕｎｋｎｏｗｎ」として分類を保留するのではなく、属性付与処理部５７が、特徴データと類似する学習モデルに属する属性を、特徴データに付与するようにしてもよい。
このとき、出力処理部６０は、特徴データと類似した上記学習モデルの属性（属性付与処理部５７が付与した属性）を出力することが出来る。
さらに、モデル生成処理部５８は、属性を用いて学習モデルを生成することが出来る。
Furthermore, in the information processing apparatus of the present embodiment, the feature data determined by the
At this time, the
Furthermore, the model
すなわち、本実施形態の情報処理装置の特徴的な処理として、初出の特徴データについて、既存の学習モデルを用いて分類を行うことが可能である。
利用者が属性付けを行うことにより生成された学習モデルを拡張して、未学習の特徴データについても属性による分類を行うことが出来る。
That is, as a characteristic process of the information processing apparatus of the present embodiment, it is possible to classify feature data that appears for the first time using an existing learning model.
By extending the learning model generated by assigning attributes by the user, unlearned feature data can also be classified by attributes.
また、本実施形態の情報処理装置に接続するカメラには三次元（３Ｄ）カメラを用いることが出来る。
このとき、三次元カメラによって撮影される画像データは、当然三次元画像データである。
特徴データ抽出処理部５６は、ストリーミング配信処理部５３が配信した三次元画像データから奥行き方向の特徴データ（作業者の動きの特徴）を抽出することができ、属性付与処理部５７は、このような奥行き方向の特徴データに対しても属性を付与することが出来る。
作業現場における作業者の動きは、例えば、道具箱の中に手を入れて道具を取り出したり、身をかがめて作業をしたりするような三次元的な動きが多い。俯瞰的な二次元の画像データでは、このような三次元的な作業に伴う特徴データを抽出することが難しい。
それに対し、深さ（距離）情報を含む三次元の画像データを用いることで、立体的な動きを示す特徴データを抽出して学習モデルを生成することが出来る。
A three-dimensional (3D) camera can be used as the camera connected to the information processing apparatus of this embodiment.
At this time, the image data captured by the three-dimensional camera is, of course, three-dimensional image data.
The feature data
Many of the movements of workers at work sites are three-dimensional movements such as, for example, putting their hand into a toolbox to take out a tool, or bending down to work. It is difficult to extract feature data associated with such three-dimensional work from bird's-eye view two-dimensional image data.
On the other hand, by using three-dimensional image data including depth (distance) information, it is possible to extract feature data indicating three-dimensional movement and generate a learning model.
図４は、本実施形態の情報処理システムにおいて、受信データ・データベースに格納されるデータを示す図であり、情報処理装置に備えられたカメラやセンサーによって取得されるデータを示している。図４のデータベースに格納されるデータは、情報処理装置１０に入力されるＲＡＷデータである。
図４に示すように、データベースは、情報処理装置１０が備えるセンサー（カメラ含む）のリスト（センサーリスト）を含んでいる。
センサーリストには、例えば、画像センサー（カメラ）、温度センサー、湿度センサー、加速度センサーが設定されている。センサーリストは、情報処理装置１０にセンサーを追加したり、組み替えたりすることに応じて適宜追加、あるいは削除が可能である。
リスト属性には、各センサーで取得されるデータの属性が設定される。
画像センサーによって取得されるデータの属性は、２Ｄの色データ、３Ｄの深度データ、２Ｄの温度データ等を含む。
図示はしないが、データの属性は、温度センサー、湿度センサー、加速度センサー等によって取得されるデータのも、様々な属性が設定される。
FIG. 4 is a diagram showing data stored in the received data database in the information processing system of the present embodiment, and shows data obtained by cameras and sensors provided in the information processing apparatus. Data stored in the database of FIG. 4 is RAW data input to the
As shown in FIG. 4, the database includes a list (sensor list) of sensors (including cameras) included in the
For example, an image sensor (camera), temperature sensor, humidity sensor, and acceleration sensor are set in the sensor list. The sensor list can be appropriately added or deleted according to the addition or rearrangement of sensors in the
The attribute of data acquired by each sensor is set in the list attribute.
Attributes of the data captured by the image sensor include 2D color data, 3D depth data, 2D temperature data, and the like.
Although not shown, various attributes are set for data acquired by a temperature sensor, a humidity sensor, an acceleration sensor, and the like.
さらに、データ種類、属性毎にデータが取得された時間（タイムスタンプ）と、ＲＡＷデータのリストが格納される。ＲＡＷデータのリストは、データのインデックス情報でもよいし、ＲＡＷデータ自体でもよい。
上記のように、このデータベースは、情報処理装置１０に接続されるセンサーが追加された場合、センサーリストにそのセンサーを追加するとともに、リスト属性、取得時間、ＲＡＷデータリストを追加することが出来る。すなわち、データベースはセンサーの追加によるシステムのスケールに対応可能なデータベースである。
入力データはＲＡＷデータであり、二次元画像については、時間（受信データ・データベースＤＢ１への格納開始時刻）、記録場所、解像度、マスク情報などを含む。
マスク情報は、画像データに対して、特徴データの抽出や学習モデルとの比較を行う領域を限定するための情報である。マスクが施されていない領域について、抽出や比較の処理が行われる。
Further, the time (time stamp) at which data was acquired for each data type and attribute, and a list of RAW data are stored. The RAW data list may be data index information or the RAW data itself.
As described above, when a sensor connected to the
The input data is RAW data, and for a two-dimensional image, includes time (starting time of storage in received data database DB1), recording location, resolution, mask information, and the like.
The mask information is information for limiting an area from which feature data is extracted or compared with a learning model from image data. Extraction and comparison processing are performed on the areas not masked.
図５は、図４の受信データ・データベースに格納されるデータと設定された属性情報とに基づいて生成され、事実データ・データベースに格納された判定モデル（学習モデル）を示す図である。
図５のデータベースは、特徴データと、特徴データに対して利用者によって設定された属性と、に基づいてＡＩ学習器で生成されて図５のデータベースに格納された学習モデルを、センサーやリスト毎に管理する。
また、学習モデルが対応する（特徴データに設定されていた）属性情報（Ｃｏｒｒｅｃｔ、ｒｉｓｋ、ｅｒｒｏｒ）も登録されている。設定される属性情報も、適宜追記が可能である。
FIG. 5 is a diagram showing a judgment model (learning model) generated based on the data stored in the received data database of FIG. 4 and the set attribute information and stored in the fact data database.
The database in FIG. 5 stores the learning model generated by the AI learner based on the feature data and the attributes set by the user for the feature data and stored in the database in FIG. 5 for each sensor or list. to manage.
Attribute information (Correct, risk, error) corresponding to the learning model (set in the feature data) is also registered. Attribute information to be set can also be added as appropriate.
図５のデータベースは、さらには、学習モデルが基づいている特徴データの推定場所（差分推定場所）のＲｅｃｔａｎｇｌｅ情報（座標に基づく矩形情報）、特徴データの発生時刻と終了時刻を含む。
これらのＲｅｃｔａｎｇｌｅ情報や時刻の情報は、上記したように特徴データの抽出時に用いられる情報であるが、学習モデルを特定し、リアルタイムなＲＡＷデータと比較するためにも用いられる。
センサーリストやリスト属性、クラスター等を参考にして、図４のデータベースに格納されるＲＡＷデータと、図５のデータベースに格納される学習モデルとを比較する判断処理が行われる。
ＲＡＷデータと相関する学習モデルが見いだされた場合、その学習モデルの属性情報が出力される。
The database of FIG. 5 further includes Rectangle information (rectangular information based on coordinates) of the estimated locations (difference estimated locations) of the feature data on which the learning model is based, and the generation time and end time of the feature data.
These Rectangle information and time information are information used when extracting feature data as described above, but are also used to identify a learning model and compare it with real-time RAW data.
Determination processing is performed to compare the RAW data stored in the database of FIG. 4 and the learning model stored in the database of FIG. 5 with reference to the sensor list, list attributes, clusters, and the like.
If a learning model that correlates with the RAW data is found, attribute information of that learning model is output.
図６は、本実施形態に係る情報処理システムが実行する処理を説明する概念図である。
図６を用いて、上記に説明した情報処理システムの特徴的な処理を整理して説明する。
図６に示すように、情報処理装置１０は、画像表示装置２８に表示されるイメージシーケンサ上において画像データを再生表示している。
カメラ１１でリアルタイムに撮像され、画像表示装置２８に表示されている画像データ（図４）中に、特徴量が出現（特徴的な動きが出現）したことが検出されたとき、その特徴量（特徴データ）を抽出する。
図４に示されるＲＡＷデータは、受信データ・データベースＤＢ１に格納されるものであると共に、そこから抽出される特徴データは学習モデルとの比較に用いられるデータである。
特徴データは、画像表示装置２８のイメージシーケンサにおいて、矩形で囲まれて表示される（ブロッキング）。
図６に示すように、情報処理装置１０は、抽出した特徴量を、予め生成されている学習モデル（図５のデータベースに格納）と比較する。特徴データが、図５のいずれの学習モデルとも一致しない場合、情報処理装置１０は「Ｕｎｋｎｏｗｎ」の属性を出力するか、あるいは、類似した学習データの属性を出力する。
特徴データが何れかの学習モデルと一致した場合、一致した学習モデルに基づく属性を出力する。例えば、「Ｒｉｓｋ」、「Ｓａｆｅ」、「Ｅｒｒｏｒ」である。
さらに、「Ｕｎｋｎｏｗｎ」と評価された特徴量に関しては、利用者は、「Ｒｉｓｋ」、「Ｓａｆｅ」、「Ｅｒｒｏｒ」などの属性を新たに付与する評価を行って新たな学習モデルを生成することが出来る。
属性が入力されると、情報処理装置１０は、特徴量の画像座標と、特徴量の画像、付与された属性を用いて、ＡＩ学習によって学習モデルを生成し、これを次回以降の評価に用いる。
上記したように、情報処理システムは、出力された属性に応じて定められた処理を実行する。
例えば、出力された属性が「Ｒｉｓｋ」であれば、管理者に対する電子メールの送信やＨＴＴＰ通信での管理コンソールへの表示によって、不具合が発生するリスクがあったことを通知して注意喚起を行う。
出力された属性が「Ｅｒｒｏｒ」であれば、深刻な事態に繋がる兆候があったとして、現場のラインを止めるなどの制御を行う。
FIG. 6 is a conceptual diagram illustrating processing executed by the information processing system according to this embodiment.
Characteristic processing of the information processing system described above will be summarized and described with reference to FIG.
As shown in FIG. 6, the
When it is detected that a feature amount appears (characteristic movement appears) in the image data (FIG. 4) captured in real time by the
The RAW data shown in FIG. 4 is stored in the received data database DB1, and the feature data extracted therefrom is used for comparison with the learning model.
The feature data is displayed surrounded by a rectangle (blocking) in the image sequencer of the
As shown in FIG. 6, the
If the feature data matches any learning model, the attributes based on the matching learning model are output. For example, "Risk", "Safe", and "Error".
Furthermore, for the feature quantity evaluated as "Unknown", the user can generate a new learning model by performing evaluation by adding new attributes such as "Risk", "Safe", and "Error". I can.
When the attribute is input, the
As described above, the information processing system executes processing determined according to the output attributes.
For example, if the output attribute is "Risk", an e-mail is sent to the administrator or displayed on the management console via HTTP communication to alert the administrator that there is a risk of a problem occurring. .
If the output attribute is "Error", it is determined that there is a sign leading to a serious situation, and control such as stopping the line at the site is performed.
図７は、本実施形態の情報処理システムが実行する情報判定処理を説明するフローチャートである。
情報処理装置１０のＣＰＵ２１は、ステップＳ１０１において、画像データ、センサーデータの解析を開始する。
ＣＰＵ２１は、ステップＳ１０２において、画像データ、センサーデータに特徴データが含まれているか否かを判定する。
特徴データが含まれていないと判定した場合（ステップＳ１０２でＮｏ）は、ＣＰＵ２１は、そのまま処理を終了して画像データ、センサーデータの解析を継続する。
ステップＳ１０２において特徴データが含まれていると判定した場合（ステップＳ１０２でＹｅｓ）、ＣＰＵ２１は、ステップＳ１０３において、見つかった特徴データを抽出する。
FIG. 7 is a flowchart for explaining information determination processing executed by the information processing system of this embodiment.
The
In step S102, the
When it is determined that the feature data is not included (No in step S102), the
If it is determined in step S102 that feature data is included (Yes in step S102), the
次に、ＣＰＵ２１は、ステップＳ１０４において、見つかった特徴データに対応する（相関する）学習モデルが、オブジェクトマスタ（事実データ・データベースＤＢ２）に登録されているか否かを判定する。
対応する学習モデルがあると判定された場合（ステップＳ１０４でＹｅｓ）、ＣＰＵ２１は、ステップＳ１０５において、対応する学習モデルから属性を取得する。
その後、ＣＰＵ２１は、ステップＳ１０６において、取得した属性に基づいた処理を実行して、情報判定処理を終了する。
例えば、属性の内容がＥｒｒｏｒであれば、ＨＴＴＰ通信を用いて管理システムのコンソール端末にエラー状態の表示を行わせる。また、管理者等が携帯する携帯端末に、エラー状態を示すメールを送信する。
Next, in step S104, the
When it is determined that there is a corresponding learning model (Yes in step S104), the
After that, in step S106, the
For example, if the content of the attribute is Error, the error state is displayed on the console terminal of the management system using HTTP communication. In addition, an e-mail indicating the error state is sent to the mobile terminal carried by the administrator or the like.
ステップＳ１０４において、見つかった特徴データに対応する学習モデルがないと判定された場合（ステップＳ１０４でＮｏ）、ＣＰＵ２１は、ステップＳ１０７において、現存する学習モデルのなかに見つかった特徴データと類似する学習モデルがあるか否かを判定する。
類似する学習モデルがあると判定した場合（ステップＳ１０７でＹｅｓ）、ＣＰＵ２１は、ステップＳ１０８において、類似する学習モデルから属性を取得する。
そして、ＣＰＵ２１は、ステップＳ１０９において、ステップＳ１０６と同様に属性に基づく処理を実行して情報判定処理を終了する。
ステップＳ１０７において、類似する学習モデルがないと判定した場合（ステップＳ１０７でＮｏ）、ＣＰＵ２１は、ステップＳ１１０において、モデル生成処理のために特徴データを記録して情報判定処理を終了する。
If it is determined in step S104 that there is no learning model corresponding to the found feature data (No in step S104), the
When determining that there is a similar learning model (Yes in step S107), the
Then, in step S109, the
When it is determined in step S107 that there is no similar learning model (No in step S107), the
図８は、本実施形態の情報処理システムが実行するモデル処理を説明するフローチャートである。
ステップＳ２０１において、ＣＰＵ２１は、未処理（未分類）の特徴データが存在するか否かを判定する。
未処理データがあると判定した場合（ステップＳ２０１でＹｅｓ）、ＣＰＵ２１は、ステップＳ２０２において、特徴データに対する属性情報の入力（指定）を受け付ける。
ＣＰＵ２１は、ステップＳ２０３において、入力された属性情報と、それに対応する特徴データと、を用いて学習モデルを生成する。
次に、ＣＰＵ２１は、ステップＳ２０４において、生成した学習モデルを、事実データ・データベースＤＢ２に登録して、モデル生成処理を終了する。
上記のように構成したので、本実施形態の情報処理システムによれば、品質向上や生産性、安全性の阻害要因としてのヒューマンエラーに繋がる可能性がある振る舞いを定義し、学習モデル化し、ヒューマンエラーが発生する前にそれに繋がる振る舞いが検出された時点での適切な対処を可能とし、品質向上や生産性、安全性に寄与することが出来る。
FIG. 8 is a flowchart illustrating model processing executed by the information processing system of this embodiment.
In step S201, the
If it is determined that there is unprocessed data (Yes in step S201), the
In step S203, the
Next, in step S204, the
Since it is configured as described above, according to the information processing system of the present embodiment, behavior that may lead to human error as an impediment to quality improvement, productivity, and safety is defined, made into a learning model, and human It is possible to take appropriate measures at the time when the behavior leading to an error is detected before an error occurs, contributing to quality improvement, productivity, and safety.
１…情報処理システム、１０…情報処理装置、１１…カメラ、１２…センサー、１３…ＡＩ学習器、ＤＢ１…受信データ・データベース、ＤＢ２…事実データ・データベース、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２７…ＧＰＩＯ、２８…画像表示装置、５１…画像取得処理部、５２…センサー値取得処理部、５３…ストリーミング配信処理部、５４…データ受信処理部、５５…受信データ格納処理部、５６…特徴データ抽出処理部、５７…属性付与処理部、５８…モデル生成処理部、５９…判定処理部、６０…出力処理部、６１…判定データ記録処理部
DESCRIPTION OF SYMBOLS 1...
Claims (10)
追加もしくは組み替え可能な１つ以上のセンサーから時系列に沿ったセンサーデータを取得する情報取得手段と、
前記画像取得手段が取得した画像データ及び前記情報取得手段が取得したセンサーデータを配信する配信手段と、
前記配信手段が配信した画像データ又はセンサーデータから特徴データを抽出する抽出手段と、
前記抽出手段によって抽出された前記特徴データに対して、所定の現象に基づく属性を利用者に付与させる属性付与手段と、
前記特徴データと、前記属性付与手段によって付与された属性と、に基づいて判定モデル情報を生成するモデル生成手段と、
前記配信手段が配信している画像データ又はセンサーデータから抽出された特徴データについて前記判定モデル情報との相関を判定する判定手段と、
前記判定手段によって前記判定モデル情報と相関すると判定された特徴データについて、前記判定モデル情報に係る属性に基づく出力を行う出力手段と、
を備え、
前記属性付与手段はさらに、前記判定手段によって前記判定モデル情報と相関しないと判定された特徴データに対して、類似する判定モデル情報に係る属性を付与し、
前記出力手段は、前記類似する判定モデル情報に係る属性に基づく出力を実行可能であり、
前記モデル生成手段はさらに、前記類似する判定モデル情報に係る属性を用いて判定モデル情報を生成する、
ことを特徴とする情報処理システム。 an image acquisition means for acquiring image data from a camera that captures image data in chronological order;
information acquisition means for acquiring sensor data in chronological order from one or more sensors that can be added or rearranged;
distribution means for distributing the image data acquired by the image acquisition means and the sensor data acquired by the information acquisition means;
an extraction means for extracting feature data from the image data or sensor data distributed by the distribution means;
attribute assigning means for assigning an attribute based on a predetermined phenomenon to the feature data extracted by the extracting means ;
model generating means for generating judgment model information based on the feature data and the attributes given by the attribute giving means;
determination means for determining a correlation between feature data extracted from image data or sensor data distributed by the distribution means and the determination model information;
output means for outputting the feature data determined by the determination means to be correlated with the determination model information based on attributes related to the determination model information;
with
The attribute assigning means further assigns an attribute related to similar determination model information to the feature data determined by the determination means to be uncorrelated with the determination model information,
The output means is capable of executing output based on attributes related to the similar judgment model information,
The model generation means further generates judgment model information using attributes related to the similar judgment model information.
An information processing system characterized by:
追加もしくは組み替え可能な１つ以上のセンサーから時系列に沿ったセンサーデータを取得する情報取得手段と、
前記画像取得手段が取得した画像データ及び前記情報取得手段が取得したセンサーデータを配信する配信手段と、
前記配信手段が配信した画像データ又はセンサーデータから特徴データを抽出する抽出手段と、
前記特徴データに対して、所定の現象に基づく属性を利用者に付与させる属性付与手段と、
前記特徴データと、前記属性付与手段によって付与された属性と、に基づいて判定モデル情報を生成するモデル生成手段と、
前記配信手段が配信している画像データ又はセンサーデータから抽出された特徴データについて前記判定モデル情報との相関を判定する判定手段と、
前記判定モデル情報と相関すると判定された特徴データについて、前記判定モデル情報に係る属性に基づく出力を行う出力手段と、
を備え、
前記特徴データは、前記画像データ内の特定のオブジェクトの動きに係る情報であり、
前記抽出手段は、前記オブジェクトの動きの大きさの特徴量と、当該動きが発生した領域と、を前記特徴データとして出力し、
前記属性付与手段は、当該特徴データに対して属性を付与させる、
ことを特徴とする情報処理システム。 an image acquisition means for acquiring image data from a camera that captures image data in chronological order;
information acquisition means for acquiring sensor data in chronological order from one or more sensors that can be added or rearranged;
distribution means for distributing the image data acquired by the image acquisition means and the sensor data acquired by the information acquisition means;
an extraction means for extracting feature data from the image data or sensor data distributed by the distribution means;
an attribute assigning means for assigning an attribute based on a predetermined phenomenon to the feature data;
model generating means for generating judgment model information based on the feature data and the attributes given by the attribute giving means;
determination means for determining a correlation between feature data extracted from image data or sensor data distributed by the distribution means and the determination model information;
output means for outputting feature data determined to be correlated with the determination model information based on attributes related to the determination model information;
with
the feature data is information related to the movement of a specific object in the image data;
the extracting means outputs a feature amount of a motion magnitude of the object and an area in which the motion occurs as the feature data;
the attribute assigning means assigns an attribute to the feature data;
An information processing system characterized by:
前記抽出手段は、前記画像取得手段又は前記情報取得手段によって取得されて前記配信手段によって配信された一の画像データ又はセンサーデータから、異なる特徴データを同時に抽出可能であり、
前記属性付与手段は、前記抽出手段によって抽出された異なる特徴データの夫々に対して属性を付与可能であり、
前記モデル生成手段は、前記抽出手段によって抽出された異なる特徴データと、前記属性付与手段によって付与された異なる属性と、に基づいて複数の判定モデル情報を生成し、
前記判定手段は、前記配信手段によって配信される一の画像データ又は前記センサーデータから同時に抽出した複数の特徴データと、前記モデル生成手段が生成した複数の判定モデル情報と、に基づいて相関の判定を行う、
ことを特徴とする情報処理システム。 In the information processing system according to claim 1 or 2,
The extraction means can simultaneously extract different feature data from one image data or sensor data acquired by the image acquisition means or the information acquisition means and distributed by the distribution means,
The attribute assigning means can assign an attribute to each of the different feature data extracted by the extracting means,
The model generating means generates a plurality of judgment model information based on the different feature data extracted by the extracting means and the different attributes given by the attribute giving means,
The determination means determines correlation based on a plurality of feature data simultaneously extracted from one image data or the sensor data distributed by the distribution means and a plurality of determination model information generated by the model generation means. I do,
An information processing system characterized by:
前記属性付与手段によって付与される属性は、前記画像取得手段によって撮影される画像データと、前記情報取得手段によって１つ以上のセンサーから取得されるセンサーデータと、の組み合わせに基づいて定義され、
センサーが追加または組み替えられることにより、前記属性の定義が拡張又は変更される、
ことを特徴とする情報処理システム。 In the information processing system according to any one of claims 1 to 3,
The attributes imparted by the attribute imparting means are defined based on a combination of image data captured by the image acquisition means and sensor data acquired from one or more sensors by the information acquisition means,
The definition of the attribute is expanded or changed by adding or rearranging sensors;
An information processing system characterized by:
前記配信手段によって配信された画像データに係る情報及び前記情報取得手段が取得したセンサーデータと、前記特徴データと、前記判定モデル情報と、をデータベースに記録する情報記録手段と、
前記特徴データに基づいて、前記データベースに記録されている、当該特徴データに関連する前記画像データに係る情報又はセンサーデータを抽出するデータ抽出手段と、
を備える、
ことを特徴とする情報処理システム。 In the information processing system according to any one of claims 1 to 4,
information recording means for recording, in a database, information related to the image data distributed by the distribution means, sensor data obtained by the information obtaining means, the feature data, and the judgment model information;
data extracting means for extracting information or sensor data related to the image data related to the feature data recorded in the database based on the feature data;
comprising
An information processing system characterized by:
前記属性付与手段は、前記判定手段によって前記判定モデル情報と相関しないと判定された特徴データに対して所定の属性を利用者に付与させ、
前記モデル生成手段は、当該付与させた属性と、前記相関しないと判定された特徴データと、を用いて新たに前記判定モデル情報を生成する、
ことを特徴とする情報処理システム。 In the information processing system according to claim 2,
The attribute assigning means causes the user to assign a predetermined attribute to the feature data determined by the determining means to be uncorrelated with the determination model information,
The model generating means newly generates the judgment model information using the assigned attribute and the feature data judged to be uncorrelated.
An information processing system characterized by:
前記画像取得手段は三次元カメラであり、
前記画像取得手段によって撮影される画像データは、三次元画像データであり、
前記抽出手段は、前記配信手段が配信した前記三次元画像データから奥行き方向の特徴データを抽出可能であり、
前記属性付与手段は、前記奥行き方向の特徴データに対して属性を付与可能である、
ことを特徴とする情報処理システム。 In the information processing system according to claim 2,
The image acquisition means is a three-dimensional camera,
The image data captured by the image acquisition means is three-dimensional image data,
The extraction means can extract feature data in the depth direction from the three-dimensional image data distributed by the distribution means,
The attribute assigning means can assign an attribute to the feature data in the depth direction.
An information processing system characterized by:
前記画像取得手段が、画像データを時系列に沿って撮影するカメラから画像データを取得するステップと、 a step in which the image acquisition means acquires image data from a camera that captures image data in chronological order;
前記情報取得手段が、追加もしくは組み替え可能な１つ以上のセンサーから時系列に沿ったセンサーデータを取得するステップと、 a step in which the information acquisition means acquires sensor data in chronological order from one or more sensors that can be added or rearranged;
前記配信手段が、前記画像取得手段が取得した画像データ及び前記情報取得手段が取得したセンサーデータを配信するステップと、 a step in which the distribution means distributes the image data acquired by the image acquisition means and the sensor data acquired by the information acquisition means;
前記抽出手段が、前記配信手段が配信した画像データ又はセンサーデータから特徴データを抽出するステップと、 a step in which the extraction means extracts feature data from the image data or sensor data distributed by the distribution means;
前記属性付与手段が、前記抽出手段によって抽出された前記特徴データに対して、所定の現象に基づく属性を利用者に付与させるステップと、 a step in which the attribute assigning means causes the user to assign an attribute based on a predetermined phenomenon to the feature data extracted by the extracting means;
前記モデル生成手段が、前記特徴データと、前記属性付与手段によって付与された属性と、に基づいて判定モデル情報を生成するステップと、 a step in which the model generating means generates judgment model information based on the feature data and the attributes given by the attribute giving means;
前記判定手段が、前記配信手段が配信している画像データ又はセンサーデータから抽出された特徴データについて前記判定モデル情報との相関を判定するステップと、 a step in which the determination means determines the correlation between the feature data extracted from the image data or sensor data distributed by the distribution means and the determination model information;
前記出力手段が、前記判定手段によって前記判定モデル情報と相関すると判定された特徴データについて、前記判定モデル情報に係る属性に基づく出力を行うステップと、 a step in which the output means outputs the feature data determined by the determination means to be correlated with the determination model information based on the attributes related to the determination model information;
を含み、including
前記属性付与手段はさらに、前記判定手段によって前記判定モデル情報と相関しないと判定された特徴データに対して、類似する判定モデル情報に係る属性を付与し、 The attribute assigning means further assigns an attribute related to similar determination model information to the feature data determined by the determination means to be uncorrelated with the determination model information,
前記出力手段は、前記類似する判定モデル情報に係る属性に基づく出力を実行可能であり、 The output means is capable of executing output based on attributes related to the similar judgment model information,
前記モデル生成手段はさらに、前記類似する判定モデル情報に係る属性を用いて判定モデル情報を生成する、 The model generation means further generates judgment model information using attributes related to the similar judgment model information.
ことを特徴とする情報処理方法。An information processing method characterized by:
前記画像取得手段が、画像データを時系列に沿って撮影するカメラから画像データを取得するステップと、 a step in which the image acquisition means acquires image data from a camera that captures image data in chronological order;
前記情報取得手段が、追加もしくは組み替え可能な１つ以上のセンサーから時系列に沿ったセンサーデータを取得するステップと、 a step in which the information acquisition means acquires sensor data in chronological order from one or more sensors that can be added or rearranged;
前記配信手段が、前記画像取得手段が取得した画像データ及び前記情報取得手段が取得したセンサーデータを配信するステップと、 a step in which the distribution means distributes the image data acquired by the image acquisition means and the sensor data acquired by the information acquisition means;
前記抽出手段が、前記配信手段が配信した画像データ又はセンサーデータから特徴データを抽出するステップと、 a step in which the extraction means extracts feature data from the image data or sensor data distributed by the distribution means;
前記属性付与手段が、前記特徴データに対して、所定の現象に基づく属性を利用者に付与させるステップと、 a step in which the attribute imparting means causes the user to impart an attribute based on a predetermined phenomenon to the feature data;
前記モデル生成手段が、前記特徴データと、前記属性付与手段によって付与された属性と、に基づいて判定モデル情報を生成するステップと、 a step in which the model generating means generates judgment model information based on the feature data and the attributes given by the attribute giving means;
前記判定手段が、前記配信手段が配信している画像データ又はセンサーデータから抽出された特徴データについて前記判定モデル情報との相関を判定するステップと、 a step in which the determination means determines the correlation between the feature data extracted from the image data or sensor data distributed by the distribution means and the determination model information;
前記出力手段が、前記判定モデル情報と相関すると判定された特徴データについて、前記判定モデル情報に係る属性に基づく出力を行うステップと、 a step in which the output means outputs the feature data determined to be correlated with the determination model information based on the attributes related to the determination model information;
を含み、including
前記特徴データは、前記画像データ内の特定のオブジェクトの動きに係る情報であり、 the feature data is information related to the movement of a specific object in the image data;
前記抽出手段は、前記オブジェクトの動きの大きさの特徴量と、当該動きが発生した領域と、を前記特徴データとして出力し、 The extraction means outputs, as the feature data, a feature amount of a motion magnitude of the object and an area in which the motion occurs,
前記属性付与手段は、当該特徴データに対して属性を付与させる、 wherein the attribute assigning means assigns an attribute to the feature data;
ことを特徴とする情報処理方法。An information processing method characterized by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018219509A JP7252593B2 (en) | 2018-11-22 | 2018-11-22 | Information processing system, information processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018219509A JP7252593B2 (en) | 2018-11-22 | 2018-11-22 | Information processing system, information processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020086854A JP2020086854A (en) | 2020-06-04 |
| JP7252593B2 true JP7252593B2 (en) | 2023-04-05 |
Family
ID=70908220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018219509A Active JP7252593B2 (en) | 2018-11-22 | 2018-11-22 | Information processing system, information processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7252593B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012058890A (en) | 2010-09-07 | 2012-03-22 | Hitachi Ltd | Abnormality detection method and system therefor |
| JP2013080304A (en) | 2011-10-03 | 2013-05-02 | Hitachi-Ge Nuclear Energy Ltd | Danger prediction supporting system and danger prediction supporting method |
| JP2015184942A (en) | 2014-03-25 | 2015-10-22 | 株式会社日立ハイテクノロジーズ | Failure cause classification device |
| WO2017090098A1 (en) | 2015-11-25 | 2017-06-01 | 株式会社日立製作所 | Facility management device and method |
| WO2017222070A1 (en) | 2016-06-23 | 2017-12-28 | Ｎｅｃソリューションイノベータ株式会社 | Work analysis device, work analysis method, and computer-readable recording medium |
| JP2018147419A (en) | 2017-03-09 | 2018-09-20 | オムロン株式会社 | Management device and management program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06282654A (en) * | 1991-09-25 | 1994-10-07 | Carnegie Mellon Univ | Apparatus and method for learnable protection |
-
2018
- 2018-11-22 JP JP2018219509A patent/JP7252593B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012058890A (en) | 2010-09-07 | 2012-03-22 | Hitachi Ltd | Abnormality detection method and system therefor |
| JP2013080304A (en) | 2011-10-03 | 2013-05-02 | Hitachi-Ge Nuclear Energy Ltd | Danger prediction supporting system and danger prediction supporting method |
| JP2015184942A (en) | 2014-03-25 | 2015-10-22 | 株式会社日立ハイテクノロジーズ | Failure cause classification device |
| WO2017090098A1 (en) | 2015-11-25 | 2017-06-01 | 株式会社日立製作所 | Facility management device and method |
| WO2017222070A1 (en) | 2016-06-23 | 2017-12-28 | Ｎｅｃソリューションイノベータ株式会社 | Work analysis device, work analysis method, and computer-readable recording medium |
| JP2018147419A (en) | 2017-03-09 | 2018-09-20 | オムロン株式会社 | Management device and management program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020086854A (en) | 2020-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190012621A1 (en) | Work data management system and work data management method | |
| JP6827266B2 (en) | Detection program, detection method and detection device | |
| US10237297B2 (en) | System and method for threat incident corroboration in discrete temporal reference using 3D dynamic rendering | |
| JP5455787B2 (en) | Motion analysis apparatus and motion analysis method | |
| CN107004185A (en) | The pipeline generation of the control actuated for data flow | |
| CN111325128A (en) | Illegal operation detection method and device, computer equipment and storage medium | |
| CN112363443A (en) | Automatic monitoring method and system for data center | |
| CN113343779B (en) | Environment abnormality detection method, device, computer equipment and storage medium | |
| JP7131958B2 (en) | Notification device, information processing device, information processing system, information processing method, and information processing program | |
| CN108696486A (en) | A kind of abnormal operation behavioral value processing method and processing device | |
| WO2016199658A1 (en) | Information gathering system | |
| JP7252593B2 (en) | Information processing system, information processing method and program | |
| CN114138741A (en) | Historical data analysis platform | |
| JP6201079B2 (en) | Monitoring system and monitoring method | |
| CN111465045B (en) | AP monitoring method, monitoring server and monitoring system | |
| TW202107418A (en) | Factory management system and control system | |
| TW201544830A (en) | Method of determining earthquake with artificial intelligence and earthquake detecting system | |
| JP2019053608A (en) | Characteristic behavior detecting apparatus | |
| KR20230078063A (en) | Server for determining the posture type and operation method thereof | |
| KR20230053328A (en) | Method and system for monitoring facilities using 3D virtual model | |
| JP6253838B1 (en) | Action log generation method, action log generation device, and action log generation program | |
| CN113867532A (en) | Evaluation system and evaluation method based on virtual reality skill training | |
| JP2021056671A (en) | Work state determination device, work state determination method and program | |
| CN110135744A (en) | Construction worker's safety behavior is accustomed to evaluation method | |
| Su et al. | Characterisation and evaluation of identicality for digital twins for the manufacturing domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211028 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20221114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20221114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230316 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7252593 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |