JP2020129268A - Learning request device, learning device, inference model using device, inference model using method, inference model using program and imaging device - Google Patents
Learning request device, learning device, inference model using device, inference model using method, inference model using program and imaging device Download PDFInfo
- Publication number
- JP2020129268A JP2020129268A JP2019021597A JP2019021597A JP2020129268A JP 2020129268 A JP2020129268 A JP 2020129268A JP 2019021597 A JP2019021597 A JP 2019021597A JP 2019021597 A JP2019021597 A JP 2019021597A JP 2020129268 A JP2020129268 A JP 2020129268A
- Authority
- JP
- Japan
- Prior art keywords
- inference
- information
- engine
- model
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 75
- 238000003384 imaging method Methods 0.000 title claims description 48
- 230000006870 function Effects 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims description 30
- 238000010801 machine learning Methods 0.000 abstract description 21
- 238000001514 detection method Methods 0.000 description 67
- 241000282326 Felis catus Species 0.000 description 52
- 238000012545 processing Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 238000012360 testing method Methods 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、利用条件との整合性に留意した学習依頼装置、学習装置、推論モデル利用装置、推論モデル利用方法、推論モデル利用プログラム及び撮像装置に関する。 The present invention relates to a learning requesting device, a learning device, an inference model using device, an inference model using method, an inference model using program, and an imaging device in which consistency with usage conditions is taken into consideration.
従来、ロジック回路を用いて、人が記述したルールに従って処理を行うルールベース制御の装置が採用されることがある。ルールベース制御による推論を行うことで、各種問題を解決することが可能である。また、近年、深層学習等の機械学習により生成した推論モデルを利用して各種問題を解決するコンピュータシステムも採用されるようになってきている。特に、深層学習を利用した装置は、例えば、画像解析、音声解析、自然言語処理等について極めて有効な推論を行うことができる。 Conventionally, a rule-based control device that performs processing according to a rule described by a person using a logic circuit may be adopted. It is possible to solve various problems by performing inference by rule-based control. In recent years, computer systems that solve various problems using inference models generated by machine learning such as deep learning have also been adopted. In particular, a device using deep learning can make extremely effective inferences regarding image analysis, voice analysis, natural language processing, and the like.
例えば、特許文献１には、異常検知に際して、異常の有無を判断するための異常度の閾値を定める技術が開示されている。特許文献１の装置においては、異常の検知対象から収集されたデータを学習した学習結果を利用することで異常度を算出するようになっている。 For example, Patent Document 1 discloses a technique of setting a threshold value of an abnormality degree for determining the presence or absence of abnormality when detecting an abnormality. In the apparatus of Patent Document 1, the degree of abnormality is calculated by using the learning result obtained by learning the data collected from the abnormality detection target.
機械学習により有効な推論モデルを得るためには、学習の仕方や学習に用いる教師データとして適切なものを採用する必要がある。機械学習による推論の有効性は学習の影響を受け、また、十分な学習を行ったとしても正しい推論が得られるとは限らない。場合によっては、ルールベースを用いた推論の方が、機械学習による推論よりもより正しい推論結果が得られることもある。 In order to obtain an effective inference model by machine learning, it is necessary to adopt appropriate data as a learning method and teacher data used for learning. The effectiveness of inference by machine learning is affected by learning, and even if sufficient learning is performed, correct inference cannot always be obtained. In some cases, inference using a rule base may provide more correct inference results than inference using machine learning.
そこで、ルールベースを用いた推論の利点と機械学習による推論の利点とを考慮した仕組みが重要であるが、学習の仕方や推論モデルの利用方法等について十分に考慮されたシステムは開発されていない。 Therefore, it is important to have a mechanism that takes into consideration the advantages of inference using rule bases and inference by machine learning, but a system that fully considers the learning method and the usage of inference models has not been developed. ..
本発明は、これまでのようにルールベースのロジック回路の利点を考慮し、機械学習による推論を利用する装置を有効に機能させることを可能にすることができる学習依頼装置、学習装置、推論モデル利用装置、推論モデル利用方法、推論モデル利用プログラム及び撮像装置を提供することを目的とする。 The present invention considers the advantages of the rule-based logic circuit as in the past, and can effectively enable a device that uses inference by machine learning to function, a learning request device, a learning device, and an inference model. An object is to provide a utilization device, an inference model utilization method, an inference model utilization program, and an imaging device.
本発明の一態様による学習依頼装置は、推論モデルの仕様を要求するための複数の仕様項目の設定を記述した仕様情報を生成する仕様設定部と、上記仕様情報を教師データと共に上記推論モデルを生成する学習装置に送信するための制御を行う制御部とを具備し、上記仕様設定部は、上記仕様情報中に、上記推論モデルを利用する推論エンジンが、他の併用推論機器と連携して推論を行うか否かを設定する仕様項目を含める。 A learning requesting apparatus according to an aspect of the present invention includes a specification setting unit that generates specification information describing settings of a plurality of specification items for requesting specifications of an inference model; The specification setting unit includes a control unit that performs control for transmission to a learning device to generate, and an inference engine that uses the inference model in the specification information, in cooperation with another combination inference device. Include a specification item that sets whether to make inference.
本発明の一態様による学習装置は、推論モデルの仕様を決定するための複数の仕様項目の設定を記述した仕様情報であって、上記推論モデルを利用する推論エンジンが他の併用推論機器と連携して推論を行うための仕様情報に基づいて上記推論モデルを構築する推論モデル化部と、上記仕様情報に基づいて上記併用推論機器との連携の仕方に関する推論設定情報を上記推論モデルを構築するための推論モデル情報に付加して送信するための制御を行う制御部とを具備する。 A learning device according to one aspect of the present invention is specification information describing settings of a plurality of specification items for determining specifications of an inference model, and an inference engine using the inference model cooperates with other combined inference devices. Then, the inference model is constructed based on the specification information for performing the inference, and the inference model is constructed based on the specification information and the inference setting information on how to cooperate with the combined reasoning device. And a control unit that performs control for adding and transmitting to the inference model information.
本発明の一態様による推論モデル利用装置は、推論エンジンと併用推論機器とが連携して推論を行うことを前提にした推論モデルを構築するための推論モデル情報であって、上記推論エンジンと上記併用推論機器との連携の仕方に関する推論設定情報が付加された上記推論モデル情報を受信する通信部と、上記推論モデル情報に基づいて構成される推論モデルを用いて推論を行う上記推論エンジンと、上記併用推論機器と、上記推論設定情報に基づいて、上記推論エンジンと上記併用推論機器とを連携させて推論を実行させる制御部とを具備する。 The inference model utilization apparatus according to one aspect of the present invention is inference model information for constructing an inference model on the assumption that an inference engine and a combined inference device cooperate with each other to perform inference. A communication unit that receives the inference model information to which the inference setting information regarding the way of cooperating with the combined inference device is added, the inference engine that performs inference using the inference model configured based on the inference model information, The combination reasoning device includes a control unit that causes the inference engine and the combination reasoning device to cooperate with each other to perform inference based on the inference setting information.
本発明の一態様による推論モデル利用方法は、推論エンジンと併用推論機器とが連携して推論を行うことを前提にした推論モデルを構築するための推論モデル情報であって、上記推論エンジンと上記併用推論機器との連携の仕方に関する推論設定情報が付加された上記推論モデル情報を受信し、上記推論モデル情報に基づいて構成される推論モデルを用いて上記推論エンジンを構築し、上記推論設定情報に基づいて、上記推論エンジンと上記併用推論機器とを連携させて推論を実行させる。 The inference model utilization method according to one aspect of the present invention is inference model information for constructing an inference model on the assumption that an inference engine and a combined inference device cooperate with each other to perform inference. The inference model information to which the inference setting information regarding the way of cooperating with the combined inference device is added is received, the inference engine is constructed by using the inference model configured based on the inference model information, and the inference setting information is set. Based on the above, the inference engine and the combined inference device are linked to execute inference.
本発明の一態様による推論モデル利用プログラムは、コンピュータに、推論エンジンと併用推論機器とが連携して推論を行うことを前提にした推論モデルを構築するための推論モデル情報であって、上記推論エンジンと上記併用推論機器との連携の仕方に関する推論設定情報が付加された上記推論モデル情報を受信し、上記推論モデル情報に基づいて構成される推論モデルを用いて上記推論エンジンを構築し、上記推論設定情報に基づいて、上記推論エンジンと上記併用推論機器とを連携させて推論を実行させる手順を実行させる。 The inference model utilization program according to an aspect of the present invention is inference model information for constructing an inference model on the assumption that an inference engine and a combined inference device cooperate with each other to perform inference in a computer. The inference model information to which the inference setting information regarding the way of cooperation between the engine and the combined inference device is added is received, and the inference engine is constructed using the inference model configured based on the inference model information. Based on the inference setting information, the procedure for causing the inference engine and the combined inference device to cooperate with each other to execute inference is executed.
本発明の一態様による撮像装置は、被写体の撮像画像を取得する撮像部と、推論エンジンと併用推論機器とが連携して推論を行うことを前提にした推論モデルを構築するための推論モデル情報であって、上記推論エンジンと上記併用推論機器との連携の仕方に関する推論設定情報が付加された上記推論モデル情報を受信する通信部と、上記推論モデル情報に基づいて構成される推論モデルを用いて推論を行う上記推論エンジンと、上記併用推論機器と、上記推論設定情報に基づいて、上記推論エンジンと上記併用推論機器とを連携させて推論を実行させることにより、上記撮像画像から所定の対象物を検出する制御部とを具備する。 The image capturing apparatus according to one aspect of the present invention includes inference model information for constructing an inference model based on the assumption that an image capturing unit that acquires a captured image of a subject and an inference engine and a combination inference device cooperate with each other to perform inference. And using a communication unit that receives the inference model information to which the inference setting information regarding the way of cooperation between the inference engine and the combined inference device is added, and an inference model configured based on the inference model information. A predetermined object from the captured image by causing the inference engine and the combined inference device to cooperate with each other to perform inference based on the inference engine for performing inference by using the inference engine, the combined inference device, and the inference setting information. And a control unit for detecting an object.
本発明の他の態様による推論モデル利用装置は、外部に推論モデルの作成を依頼するための通信部と、搭載すべき前記推論モデルの要求仕様を表示部に一覧表示可能な制御部とを具備する。 An inference model utilization apparatus according to another aspect of the present invention includes a communication unit for externally requesting creation of an inference model, and a control unit capable of displaying a list of required specifications of the inference model to be mounted on a display unit. To do.
本発明によれば、機械学習による推論を利用する装置を有効に機能させることを可能にすることができるという効果を有する。 According to the present invention, there is an effect that it is possible to effectively operate a device that uses inference by machine learning.
以下、図面を参照して本発明の実施の形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（第１の実施の形態）
本発明は、機械学習による推論モデルを有効に活用するためのもので、推論モデルを利用するハードウェア、装置との整合性を考慮したものである。
推論モデルを機械学習によって得る場合、学習時に与える教師データや学習用のコンピュータの性能と、実使用時の入力データと実使用時の電子回路の性能との差異を十分に考慮しなければ、思惑通りの推論結果を得ることが出来ない。したがって、推論モデル利用時の制約条件等を十分に考慮した、学習のステップが重要となる。このいわば、「推論モデルの要求仕様」を標準化できるような工夫によって、きわめて自由度の高い学習環境や、豊富な教師データ類を活用可能にして、利用環境下において、さらに高精度な出力が可能な推論モデルの取得を可能としている。
(First embodiment)
The present invention is for effectively utilizing an inference model based on machine learning, and takes into consideration compatibility with hardware and devices that use the inference model.
When obtaining an inference model by machine learning, it is necessary to fully consider the difference between the performance of the teaching data or the computer for learning given during learning and the performance of the input data during actual use and the performance of the electronic circuit during actual use. You can't get the exact inference results. Therefore, the learning step that fully considers the constraint conditions when using the inference model is important. In other words, it is possible to utilize a learning environment with a high degree of freedom and abundant teacher data by devising a method that can standardize the "requirement specification of the inference model", and it is possible to output even more accurate under the usage environment. It is possible to acquire various inference models.
図１は本発明の第１の実施の形態に係る学習依頼装置、学習装置及び撮像装置を示すブロック図である。本実施の形態は機械学習による推論モデルを有効に活用する一例として、推論モデルを利用する推論エンジンの他に併用推論機器を有する装置における推論モデルの活用例について説明する。即ち、本実施の形態は、ルールベースを用いた推論を実行する併用推論機器であるルールベースエンジン及び機械学習による推論を実行する推論エンジンを有する装置において、より有効な推論を実現するために、学習のための仕様情報を作成し、学習結果の推論モデルの利用の仕方等を示す推論設定情報を含む推論モデル情報を生成し、推論モデル情報を用いてルールベースエンジンと推論エンジンとを効果的に動作させることを可能にするものである。なお、図１では、ルールベースエンジン及び推論エンジンを有する装置として撮像装置を例に説明するが、撮像装置に限定されるものではない。また、併用推論機器として、ルールベースエンジンを採用する例を説明するが、機械学習による推論を実行する推論エンジン、例えば推論モデルが更新不能な推論エンジンを採用してもよい。
なお、推論モデルの活用例として、推論モデルを利用する推論エンジンが併用推論機器と連携して推論を行う例を説明するが、併用推論機器が存在しない場合においても、「推論モデルの要求仕様」を記述した仕様情報の作成、仕様情報に基づいて作成された推論モデルの利用の仕方等を示す推論設定情報を含む推論モデル情報の生成によって、推論モデルを有効に活用できることは以下の説明から明らかである。
FIG. 1 is a block diagram showing a learning request device, a learning device, and an imaging device according to the first embodiment of the present invention. In the present embodiment, as an example of effectively utilizing an inference model by machine learning, an example of utilizing an inference model in an apparatus having a combined inference device in addition to an inference engine using the inference model will be described. That is, in the present embodiment, in order to realize more effective inference in a device having a rule-based engine that is a combined inference device that executes inference using a rule base and an inference engine that executes inference by machine learning, Create specification information for learning, generate inference model information including inference setting information indicating how to use the inference model as a learning result, and use the inference model information to effectively operate a rule-based engine and an inference engine. It is possible to operate. Note that, in FIG. 1, an imaging device is described as an example of a device having a rule-based engine and an inference engine, but the device is not limited to the imaging device. Further, although an example in which a rule-based engine is adopted as the combined reasoning device is described, an inference engine that executes inference by machine learning, for example, an inference model in which an inference model cannot be updated may be adopted.
As an example of utilizing the inference model, an example in which an inference engine that uses the inference model performs inference in cooperation with the combined inference device will be described. It is clear from the following explanation that the inference model can be effectively used by creating the inference model information including the inference setting information indicating how to use the inference model created based on the specification information and the inference model created based on the specification information. Is.
先ず、図２Ａから図２Ｃを参照して、ルールベースエンジンと推論エンジンとを連携して用いる例について説明する。図２Ａはルールベースエンジンを用いた処理を示す説明図であり、図２Ｂは推論エンジンを用いた処理を示す説明図であり、図２Ｃはルールベースエンジンと推論エンジンとを連携して用いた処理を示す説明図である。図２Ａから図２Ｃは撮像装置のホワイトバランスゲイン（ＷＢゲイン）を求めるフローを示している。なお、図２Ａから図２Ｃにおいて、推論エンジンによる処理はハッチングにて示してある。 First, an example of using a rule-based engine and an inference engine in cooperation will be described with reference to FIGS. 2A to 2C. 2A is an explanatory diagram showing a process using a rule-based engine, FIG. 2B is an explanatory diagram showing a process using an inference engine, and FIG. 2C is a process using a rule-based engine and an inference engine in cooperation with each other. FIG. 2A to 2C show a flow for obtaining a white balance gain (WB gain) of the image pickup apparatus. 2A to 2C, the processing by the inference engine is shown by hatching.
図２Ａの例では、画像入力に対して、光源色判定及び被写体色判定が行われる。ルールベースエンジンは、これらの判定結果を用いて、予め設定されているルールに従って総合判定を行い、ホワイトバランスゲインを求める。図２Ｂの例では、画像入力に対して、推論エンジンは、ホワイトバランスゲインを推定する（ＷＢ推定）。 In the example of FIG. 2A, the light source color determination and the subject color determination are performed on the image input. The rule-based engine uses these determination results to make a comprehensive determination according to a preset rule to obtain a white balance gain. In the example of FIG. 2B, the inference engine estimates the white balance gain with respect to the image input (WB estimation).
図２Ｃの例において、推論エンジンは、画像入力に対してホワイトバランスゲインの推論結果を直接出力するのではなく、先ず入力画像から光源マップを求める。一方、ルールベースエンジンは、光源色を判定する。推論エンジンは、ルールベースエンジンが求めた光源色を光源マップを用いて補正する。そして、推論エンジンによる光源色の補正結果と被写体色の判定結果とに基づく総合判定により、ホワイトバランスゲインが求められる。 In the example of FIG. 2C, the inference engine does not directly output the inference result of the white balance gain with respect to the image input, but first obtains the light source map from the input image. On the other hand, the rule-based engine determines the light source color. The inference engine corrects the light source color obtained by the rule-based engine using the light source map. Then, the white balance gain is obtained by comprehensive judgment based on the correction result of the light source color by the inference engine and the judgment result of the subject color.
図１の撮像装置１０は、このように連携して推論を行う推論エンジン１７とルールベースエンジン１８とを備える。撮像装置１０は、被写体を撮像して得た画像を記録する。撮像装置１０としては、デジタルカメラやビデオカメラだけでなく、スマートフォンやタブレット端末に内蔵されるカメラを採用してもよい。なお、推論エンジンがルールベースエンジンの機能をカバーする場合は、ルールベースエンジンはなくてもよい。
The
撮像装置１０は、撮像装置１０の各部を制御する制御部１１を備えている。制御部１１は、ＣＰＵ（Central Processing Unit）等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
The
撮像装置１０の撮像部１２は、撮像素子１２ａ及び光学系１２ｂを有している。光学系１２ｂは、ズームやフォーカシングのための図示しないレンズや絞り等を備えている。光学系１２ｂは、これらのレンズを駆動する図示しないズーム（変倍）機構、ピント及び絞り機構を備えている。
The
撮像素子１２ａは、ＣＣＤやＣＭＯＳセンサ等によって構成されており、光学系１２ｂによって被写体光学像が撮像素子１２ａの撮像面に導かれるようになっている。撮像素子１２ａは、被写体光学像を光電変換して被写体の撮像画像（撮像信号）を取得する。
The
制御部１１の撮像制御部１１ａは、光学系１２ｂのズーム機構、ピント機構及び絞り機構を駆動制御して、ズーム、絞り及びピントを調節することができるようになっている。撮像部１２は、撮像制御部１１ａに制御されて撮像を行い、撮像画像（動画像及び静止画像）の撮像信号を制御部１１に出力する。
The imaging control unit 11a of the control unit 11 can drive and control the zoom mechanism, the focus mechanism, and the aperture mechanism of the optical system 12b to adjust the zoom, aperture, and focus. The
撮像装置１０には操作部１３が設けられている。操作部１３は、図示しないレリーズボタン、ファンクションボタン、撮影モード設定、パラメータ操作等の各種スイッチ、ダイヤル、リング部材等を含み、ユーザ操作に基づく操作信号を制御部１１に出力する。制御部１１は、操作部１３からの操作信号に基づいて、各部を制御するようになっている。
The
制御部１１は、撮像部１２からの撮像画像（動画像及び静止画像）を取込む。制御部１１の画像処理部１１ｂは、取込んだ撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。
The control unit 11 captures the captured image (moving image and still image) from the
撮像装置１０には表示部１４が設けられており、制御部１１には、表示制御部１１ｆが設けられている。表示部１４は、例えば、ＬＣＤ（液晶表示装置）等の表示画面を有する表示器であり、表示画面は撮像装置１０の例えば筐体背面等に設けられる。表示制御部１１ｆは、画像処理部１１ｂによって信号処理された撮像画像を表示部１４に表示させるようになっている。また、表示制御部１１ｆは、撮像装置１０の各種メニュー表示や警告表示等を表示部１４に表示させることもできるようになっている。
The
撮像装置１０には通信部１５が設けられており、制御部１１には、通信制御部１１ｅが設けられている。通信部１５は、通信制御部１１ｅに制御されて、学習装置２０及び学習依頼装置３０との間で情報を送受することができるようになっている。通信部１５は、例えば、ブルートゥース（登録商標）等の近距離無線による通信及び例えば、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮによる通信が可能である。なお、通信部１５は、ブルートゥースやＷｉ−Ｆｉに限らず、各種通信方式での通信を採用することが可能である。通信制御部１１ｅは、通信部１５を介して、学習装置２０から推論モデル情報を受信することができる。この推論モデル情報は、推論エンジン１７のネットワーク１７ａにより所望の推論モデルを構築するためのものである。
The
制御部１１には記録制御部１１ｃが設けられている。記録制御部１１ｃは、信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部１６に与えて記録させることができる。記録部１６は、所定の記録媒体によって構成されて、制御部１１から与えられた情報を記録すると共に、記録されている情報を制御部１１に出力することができる。また、記録部１６としては、例えばカードインターフェースを採用してもよく、この場合には記録部１６はメモリカード等の記録媒体に画像データを記録可能である。
The controller 11 is provided with a
記録部１６は、画像データ記録領域１６ａを有しており、記録制御部１１ｃは、画像データを画像データ記録領域１６ａに記録するようになっている。また、記録制御部１１ｃは、記録部１６に記録されている情報を読み出して再生することも可能である。
The
また、記録部１６は、推論設定記録領域１６ｂを有している。記録制御部１１ｃは、受信された推論モデル情報を記録部１６の推論設定記録領域１６ｂに記録することができるようになっている。こうして、推論設定記録領域１６ｂには、推論エンジン１７を構成するネットワーク１７ａの設定に関する推論モデル情報が記録されるようになっている。なお、推論モデル情報には、上述したように、推論設定情報も含まれる。また、記録部１６のテストデータ記録領域１６ｃには、推論エンジン１７の動作を検証するためのテストデータが記録される。
The
推論設定情報は、後述する仕様情報に基づいて生成されるものであり、所望の推論結果を得るための推論エンジン１７と併用推論機器であるルールベースエンジン１８との連携の仕方を規定するものである。推論設定情報としては、仕様情報をそのまま用いてもよく、また、仕様情報に基づいて生成されていてもよい。例えば、推論設定情報により、推論エンジン１７とルールベースエンジン１８との入出力の関係等が示される。
The inference setting information is generated based on the specification information described later, and defines how to cooperate with the
ルールベースエンジン１８は、ロジック回路１８ａを備えている。ロジック回路１８ａは、予め設定されたルールに従って推論を行うものであり、入力に対する推論によって出力を得る。図１の例では、ロジック回路１８ａは、撮像部１２からの撮像画像が入力されて、推論結果を出力する。本実施の形態においては、ルールベースエンジン１８からの推論結果は、制御部１１に供給されると共に推論エンジン１７にも供給される場合がある。
The rule-based
推論エンジン１７は、ネットワーク１７ａを有している。ネットワーク１７ａは、推論設定記録領域１６ｂに記録されている推論モデル情報に含まれる設定値を用いて構築されており、機械学習における学習が完了することによって得られるネットワーク、即ち、推論モデルを構成する。図１の例では、ネットワーク１７ａは、撮像部１２からの撮像画像が入力されて、推論結果を出力する。本実施の形態においては、推論エンジン１７からの推論結果は、制御部１１に供給されると共にルールベースエンジン１８にも供給される場合がある。
The
即ち、本実施の形態においては、推論エンジン１７は、撮像部１２からの撮像画像だけでなく、ルールベースエンジン１８の推論結果が与えられて推論を行い、推論結果を得る場合がある。同様に、ルールベースエンジン１８は、撮像部１２からの撮像画像だけでなく、推論エンジン１７の推論結果が与えられて推論を行い、推論結果を得る場合がある。
That is, in the present embodiment, the
このような推論エンジン１７とルールベースエンジン１８との連携の関係については、推論モデル情報中の推論設定情報に記述されている。制御部１１には、推論設定部１１ｄが設けられており、推論設定部１１ｄは、推論設定記録領域１６ｂから推論設定情報を読み出して、推論エンジン１７及びルールベースエンジン１８を制御する。推論設定部１１ｄは、推論エンジン１７及びルールベースエンジン１８の少なくとも一方の推論結果を用いて総合判定を行う。
The relationship of cooperation between the
本実施の形態においては、推論設定情報の元となる仕様情報は、学習依頼装置３０の後述する仕様設定部３１ａにより生成されるようになっている。また、本実施の形態においては、この仕様設定部３１ａと同一機能を有する仕様設定部１１ｇが制御部１１に設けられている。仕様設定部３１ａ，１１ｇは、推論エンジン１７に採用する推論モデルの生成に必要な推論モデル情報の仕様を記述した仕様情報を生成することができるようになっている。なお、仕様設定部１１ｇは、生成した仕様情報を通信部１５を介して学習依頼装置３０に送信する。
In the present embodiment, the specification information, which is the basis of the inference setting information, is generated by the
仕様設定部３１ａ，１１ｇは、仕様情報中の一部の情報を自動生成すると共に、一部の情報をユーザの入力操作に基づいて生成する。仕様設定部１１ｇは、表示制御部１１ｆを制御して、仕様情報の確認及び変更のための仕様設定メニュー表示を表示させることができるようになっている。なお、仕様設定部３１ａについても、学習依頼装置３０に設けられた図示しない表示部に、仕様情報の確認及び変更のための仕様設定メニュー表示を表示させることができるようになっている。
The
推論モデルを機械学習によって得る場合、学習時に与える教師データや学習用のコンピュータの性能と、実使用時の入力データと実使用時の電子回路の性能との差異を十分に考慮しなければ、思惑通りの推論結果を得ることが出来ない。したがって、推論モデル利用時の制約条件等を十分に考慮した、学習のステップが重要となる。このいわば、「推論モデルの要求仕様」を標準化できるようにしたのが、この図に示したような情報類である。様々な組織や個人が、いろいろな手段で学習の効率化、高性能化を行っているが、こうしたベースがないと、正しく機能する推論モデルを、実際の装置に搭載して性能を発揮させることは困難である。つまり、きわめて自由度の高い学習環境や、豊富な教師データ類を活用可能にして、利用環境下において、さらに高精度な出力が可能な推論モデルの取得を可能とするために、こうした要求仕様の明確な設定が重要となる。これらは手動入力したり、機器に搭載された記録部に記録された、あるいは外部から通信によって得られた情報によって、データ設定すればよい。このように、機械学習による推論モデルを有効に活用するためには細心の整合が重要で、図３は推論モデルを利用するハードウェア、装置との整合性を考慮して一覧にしたものの例である。したがって、ここに示した要求仕様は、いくつかの項目は必要でない場合もあり、さらに温湿度、気圧など環境の制約や回路の電源電圧やクロックの仕様等、項目を追加すべき状況もあることは言うまでもない。必要に応じて、この推論モデルを利用しない条件などを記載してもよい。
このように、本実施の形態では、外部に推論モデルの作成を依頼するための通信部を有し、表示部に搭載すべき推論モデルの要求仕様を一覧表示可能な推論モデル利用装置を提供可能であり、この推論モデル利用装置は、装置との整合性にすぐれた推論モデルを外部機器に依頼可能な高精度推論装置となる。
When obtaining an inference model by machine learning, it is necessary to fully consider the difference between the performance of the teacher data or the computer for learning given during learning and the performance of the input data during actual use and the performance of the electronic circuit during actual use. You can't get the exact inference results. Therefore, the learning step that fully considers the constraint conditions when using the inference model is important. In this sense, it is the information classes shown in this figure that have made it possible to standardize the "inference model requirement specifications". Various organizations and individuals are improving learning efficiency and performance by various means, but without such a base, inference models that function correctly should be installed in actual devices to demonstrate their performance. It is difficult. In other words, in order to enable the use of a highly flexible learning environment and abundant teaching data, and to obtain an inference model that enables even more accurate output under the usage environment, these required specifications Clear settings are important. These may be manually input, data may be recorded in a recording unit mounted on the device, or data may be set based on information obtained by external communication. As described above, in order to effectively use the inference model by machine learning, meticulous matching is important, and FIG. 3 shows an example of the list in consideration of the consistency with the hardware and the device using the inference model. is there. Therefore, the required specifications shown here may not require some items, and there may be situations where additional items such as environmental restrictions such as temperature and humidity, atmospheric pressure, and circuit power supply voltage and clock specifications should be added. Needless to say. If necessary, conditions or the like not using this inference model may be described.
As described above, in the present embodiment, it is possible to provide the inference model utilization apparatus which has the communication unit for requesting the creation of the inference model outside and can display the list of the required specifications of the inference model to be mounted on the display unit. This inference model utilization device is a high-precision inference device that can request an inference model having excellent consistency with the device to an external device.
図３は表示部１４の表示画面１４ａ上に表示された仕様設定メニュー表示ＤＭの一例を示す説明図である。図３の例では、仕様情報中には、１５個の仕様項目が含まれるが、仕様項目は適宜設定可能である。図３の例は画像中の所定の検出対象を検出するための推論モデルを作成するための仕様情報の仕様項目を示している。
FIG. 3 is an explanatory diagram showing an example of the specification setting menu display DM displayed on the
検出対象項目は、教師データに検出対象を示す検出対象情報がアノテーションとして付されていることを示す情報である。ハードウェア情報項目は、推論モデルを使用する機器に関する情報を示し、機器名、ネットワークの層数、クロック周波数及びメモリ容量を指定するものである。応答時間項目は、画像入力から推論出力までの時間を指定するものである。図３の例では、正解率、信頼性項目は、９０％以上の推論の信頼性を確保することを指定するものであり、入力画像サイズ、その他項目は、入力画像サイズがＦＨＤ（full high definition）で、画像処理として処理Ａを採用することを指定するものである。 The detection target item is information indicating that the detection target information indicating the detection target is attached to the teacher data as an annotation. The hardware information item indicates information about a device that uses the inference model, and specifies the device name, the number of network layers, the clock frequency, and the memory capacity. The response time item specifies the time from image input to inference output. In the example of FIG. 3, the correct answer rate and the reliability item specify that the inference reliability of 90% or more is ensured, and the input image size and other items have the input image size of FHD (full high definition). ) Specifies that the processing A is adopted as the image processing.
また、入力画像系統数項目は、入力画像が２系統切替えられることを指定するものであり、この指定によって、推論エンジン１７は、撮像部１２からの画像とルールベースエンジン１８からの画像とを入力可能である。つまり、この指定は、推論エンジン１７とルールベースエンジン１８の連携のために、ルールベースエンジン１８の出力を推論エンジン１７に与えることを可能にするものである。
The input image system number item specifies that the input image can be switched to two systems. By this specification, the
また、本実施の形態においては、併用検出器、補助情報項目が設定される。この項目は、併用して使用する併用推論機器を指定するものである。図１の例では、推論エンジン１７と連携して推論を行うルールベースエンジン１８が併用推論機器として指定される。図３の例ではルールベースエンジン１８は、仕様＊＊に従って、顔検出を行う機能を有する装置であることが分かる。また、補助情報項目は、ルールベースエンジン１８の出力を推論エンジン１７に用いる場合において、ルールベースエンジン１８のどのような出力を用いるかを補助情報として指定するものである。例えば、顔検出を行う場合において、ルールベースエンジン１８において検出された顔の座標や顔部の画像等を補助情報として指定して、推論エンジン１７の入力とすることを指定することができる。即ち、この指定は、ルールベースエンジン１８から推論エンジン１７への入力を規定するものである。
Further, in the present embodiment, the combined detector and the auxiliary information item are set. This item specifies the combination reasoning device used together. In the example of FIG. 1, the rule-based
納入時期項目は、推論モデル情報の納入時期を指定するものである。教師データ、対象項目は、教師データの格納フォルダ及び検出対象（ファイル）を指定するものであり、図３の例ではＸフォルダ、検出対象Ｙであることを示している。その他データ利用項目は、入力が画像である場合画像以外のデータの利用を指定するものである。例えば、画像中の建物の検出に際して、画像の傾斜角度をその他のデータとして利用すること等を可能にするものである。テストサンプル項目は、推論モデルのテスト用のサンプルデータを指定するものであり、図３の例では提供しないことが分かる。発動条件、制限項目は、推論を発動する条件や、制限について指定するものであり、例えば、画像取得時であって、画像の輝度が所定値以下の場合には推論を実行しない等の指定が可能である。 The delivery time item specifies the delivery time of the inference model information. The teacher data and the target item specify a storage folder of the teacher data and a detection target (file), and in the example of FIG. 3, it is shown as an X folder and a detection target Y. The other data use item specifies use of data other than an image when the input is an image. For example, when detecting a building in an image, the inclination angle of the image can be used as other data. It is understood that the test sample item specifies sample data for testing the inference model and is not provided in the example of FIG. The activation condition and the restriction item are used to specify the condition and the restriction that activate the inference.For example, at the time of image acquisition, if the brightness of the image is less than a predetermined value, the inference is not executed. It is possible.
補足情報項目は、補足的な情報を指定するものであり、例えば、検出した画像部分に枠を表示させたりテキストを表示させたりする指定が可能である。また、履歴情報項目は、以前の推論モデルの履歴を例えばバージョン情報によって指定するのである。 The supplementary information item designates supplementary information, and for example, it is possible to designate display of a frame or text in the detected image portion. The history information item specifies the history of the previous inference model by, for example, version information.
本実施の形態には、項目優先度項目が設定される。項目優先度項目は、仕様設定情報中のいずれの仕様項目を優先して推論モデルを生成すべきかを指定するものであり、図３の例では、検出対象項目、ハードウェア情報項目、正解率、信頼性項目、応答時間項目、入力画像サイズ、その他項目、入力画像系統数項目の順で、優先度が設定されていることを示している。 In this embodiment, item priority items are set. The item priority item specifies which specification item in the specification setting information should be given priority to generate the inference model. In the example of FIG. 3, the detection target item, the hardware information item, the correct answer rate, It shows that the priority is set in the order of reliability item, response time item, input image size, other item, and input image system number item.
仕様設定部３１ａ，１１ｇは、これらの仕様項目のうちの所定の仕様項目を自動生成し、他の仕様項目をユーザ入力によって生成する。例えば、仕様設定部３１ａ，１１ｇは、撮像装置１０の仕様に基づいて所定の仕様項目を自動生成してもよい。例えば、仕様設定部１１ｇ，３１ａは、図示しないメモリに記憶された、仕様情報生成用のプログラムを実行することで、所定の仕様項目についての情報を自動生成するようになっていてもよい。また、仕様設定部１１ｇ，３１ａは、仕様情報生成用の図示しない推論エンジンを用いて、所定の仕様項目を自動生成するようになっていてもよい。
The
仕様設定部１１ｇは、生成した仕様情報を学習依頼装置３０に送信する。学習依頼装置３０は、仕様情報に基づいて、学習装置２０に学習を依頼するものである。学習依頼装置３０は、仕様設定部３１ａによって生成した仕様情報又は仕様設定部１１ｇによって生成された仕様情報に基づいて学習装置２０に学習を依頼する。
The
学習依頼装置３０は、通信部３２を有しており、学習装置２０は通信部２２を有している。これらの通信部２２，３２は、通信部１５と同様の構成を有しており、通信部２２，３２，１５相互間において通信が可能である。
The
学習依頼装置３０は、学習依頼装置３０の各部を制御する制御部３１を有しており、学習装置２０は学習装置２０の各部を制御する制御部２１を有している。制御部２１，３１は、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
The
なお、学習部２０全体が、ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して学習を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
The
学習依頼装置３０は、大量の学習用データを記録した画像分類記録部３３を有している。画像分類記録部３３は、ハードディスクやメモリ媒体等の図示しない記録媒体により構成されており、複数の画像を画像中に含まれる対象物の種類毎に分類して記録する。図９の例では、画像分類記録部３３は、対象物画像群３４を記憶しており、対象物画像群３４は、対象物の種類毎に教師データ３４ａ及びテストデータ３４ｂを含む。また、制御部３１は、仕様設定部１１ｇと同様の機能を有する仕様設定部３１ａを有する。学習依頼装置３０の制御部３１は、通信部３２を制御して、仕様情報及び教師データ３４ａを学習装置２０に送信する。
The
なお、テストデータ３４ｂは教師データ３４ａに類似するデータであるが、学習装置２０には提供しないデータであり、学習依頼装置３０や撮像装置１０において、学習装置２０の学習の結果得られた推論モデルのテストに用いるものである。学習依頼装置３０はテストデータ３４ｂを撮像装置１０に送信することができる。撮像装置１０は学習依頼装置３０からのテストデータをテストデータ記録領域１６ｃに記録する。
The
学習部２０の母集合作成部２４は、学習依頼装置３０から送信された教師データを教師データ記録部２３に記録する。母集合作成部２４は、入力データ設定部２４ａ及び出力項目設定部２４ｂを有している。入力データ設定部２４ａは学習に用いる入力データを設定し、出力項目設定部２４ｂは推論の結果得られるべき出力を設定する。入力データ設定部２４ａ及び出力項目設定部２４ｂの設定は、学習依頼装置３０から受信した仕様情報に基づいて行われる。
The
入出力モデル化部２５は、大量の教師データにより期待される出力が得られるように、ネットワークデザインを決定し、その設定情報である推論モデル情報を生成する。入出力モデル化部２５には仕様照合部２５ａが設けられている。仕様照合部２５ａは、仕様情報を記憶する図示しないメモリを有しており、入出力モデル化部２５により求められた推論モデル情報が仕様情報に対応するものとなっているか否かを判定する。入出力モデル化部２５は、推論モデル情報が仕様情報に対応するものとなるまで、ネットワークデザインの構築を行う。
The input/
本実施の形態においては、入出力モデル化部２５は、構築した推論モデルが、併用推論機器と連携して推論を行うものであるか否かの情報及び、併用推論機器と連携して推論を行うものである場合にはその連携の仕方についての情報を含む推論設定情報を生成し、生成した推論設定情報を推論モデル情報に付加するようになっている。例えば、入出力モデル化部２５は、推論モデル情報のヘッダ情報に推論設定情報を付加してもよい。例えば、入出力モデル化部２５は、推論モデル情報のヘッダ情報として、ネットワークの構造を示す情報、ウェイト及びバイアスの情報、連携する併用推論機器の情報、併用推論機器との連携の仕方の情報等を含む情報を生成する。
In the present embodiment, the input/
なお、入出力モデル化部２５は、ヘッダ情報ではなく、推論モデル情報にメタ情報として推論設定情報を付加してもよく、また、推論モデル情報とは別データの推論設定情報を推論モデル情報に関連付けるようにしてもよい。また、入出力モデル化部２５は、推論設定情報として、仕様情報をそのまま推論モデル情報に付加してもよい。
The input/
入出力モデル化部２５は、生成した推論設定情報を含む推論モデル情報を、通信部２２を介して撮像装置１０の制御部１１に送信する。制御部１１は、上述したように、推論モデル情報を推論設定記録領域１６ｂに記録させる。推論設定部１１ｄは、推論設定情報に基づいて、推論エンジン１７及びルールベースエンジン１８の動作を制御することにより、推論エンジン１７及びルールベースエンジン１８の推論を利用した推論結果を得ることを可能にする。
The input/
次に、このように構成された実施の形態の動作について図４から図１７を参照して説明する。図４から図６は推論エンジンと併用推論機器との連携の仕方の例を説明するための説明図である。 Next, the operation of the embodiment configured as described above will be described with reference to FIGS. 4 to 17. FIG. 4 to FIG. 6 are explanatory diagrams for explaining an example of how the inference engine and the combined inference device cooperate with each other.
推論エンジン１７とルールベースエンジン１８が連携して推論する手法として、図４から図６に示す３つの手法について説明する。図４から図６の例は、入力画像中から所定の検出対象を検出する推論を行うものである。
As a method for inferring the
図４の例は、推論エンジン１７による推論と併用推論機器であるルールベースエンジン１８による推論とを相互に独立して実行させる手法（以下、第１手法という）を示している。入力画像は推論エンジン１７及びルールベースエンジン１８の両方に与えられ、推論エンジン１７及びルールベースエンジン１８それぞれ独立して推論を行う。推論エンジン１７からは推論結果として検出対象の画像上の位置情報及びその信頼性が出力され、ルールベースエンジン１８からも推論結果として検出対象の画像上の位置情報及びその信頼性が出力される。制御部１１は、信頼性の情報に基づいて位置情報を選択して、検出対象を決定する。
The example of FIG. 4 shows a method (hereinafter, referred to as a first method) in which the inference by the
図５は推論エンジン１７による推論を優先しつつ、推論エンジン１７による推論結果を併用推論機器であるルールベースエンジン１８に与えて推論精度を向上させる手法（以下、第２手法という）を示している。入力画像は先ず推論エンジン１７に与えられる。推論エンジン１７は推論結果を制御部１１に出力すると共に、例えば十分な信頼度の推論結果が得られない場合において推論結果あるいは推論不能の判定結果をルールベースエンジン１８に出力する。この結果を受けて、ルールベースエンジン１８は、推論を行い推論結果を制御部１１に出力する。制御部１１は、信頼性の情報に基づいて位置情報を選択して、検出対象を決定する。
FIG. 5 shows a method (hereinafter, referred to as a second method) for giving priority to the inference by the
図６は推論エンジン１７による推論を優先しつつ、併用推論機器であるルールベースエンジン１８の推論結果を推論エンジン１７に与えて、推論エンジン１７よる推論度を向上させる手法（以下、第３手法という）を示している。入力画像は推論エンジン１７及び併用推論機器であるルールベースエンジン１８の両方に与えられる。ルールベースエンジン１８は推論結果を制御部１１に出力すると共に、例えば推論エンジン１７の推論精度を向上させるための補助情報を推論エンジン１７に出力する。例えば、ルールベースエンジン１８は、検出対象の顔を検出しその顔の座標や顔画像等を推論エンジン１７に補助情報として出力する。この結果を受けて、推論エンジン１７は、推論を行い推論結果を制御部１１に出力する。制御部１１は、信頼性の情報に基づいて位置情報を選択して、検出対象を決定する。なお、連携の仕方は上記第１〜第３手法に限定されるものではない。例えば、併用推論機器の推論結果を優先して用いるようにしてもよい。
FIG. 6 shows a method of giving the inference result of the rule-based
次に、第１〜第３手法の具体例について説明する。 Next, specific examples of the first to third methods will be described.
図７は撮像装置１０による撮影の様子を示す説明図である。本実施の形態における撮像装置１０は、図７に示す筐体１０ａ中に図１中の各回路が収納されており、筐体１０ａの背面に表示部１４の表示画面１４ａが設けられている。ユーザ４１は、例えば、右手４２で筐体１０ａを把持して、表示部１４の表示画面１４ａを見ながら被写体を視野範囲に捉えた状態で撮影を行う。筐体１０ａの上面には、操作部１３を構成するレリーズスイッチ４３が設けられている。図７の例では、被写体はブロック塀４５の上にいる猫４６である。ユーザ４１は、右手４２の人差し指４２ａでレリーズスイッチ４３を押下することで撮影を行う。
FIG. 7 is an explanatory diagram showing a state of shooting by the
図７の例において、撮像装置１０の推論エンジン１７及びルールベースエンジン１８は、推論により撮像画像中から猫１０を検出するように構成されるものとする。ルールベースエンジン１８は、例えば、公知の手法により、猫の顔検出が可能となるように構成される。
In the example of FIG. 7, it is assumed that the
（第１手法）
図８は学習依頼装置３０の動作を説明するためのフローチャートであり、図９は学習装置２０の動作を説明するためのフローチャートである。
(First method)
8 is a flowchart for explaining the operation of the
学習依頼装置３０の制御部３１は、図８のステップＳ１において、推論エンジン１７に設定する推論モデルの要求仕様の設定を行うか否かを判定する。要求仕様の設定を行わない場合には、制御部３１は、ステップＳ２において、教師データフォルダの作成が指示されているか否かを判定し、指示されている場合には、ステップＳ３において教師データフォルダを作成する。即ち、制御部３１は、猫検出の推論のための教師データとなる画像の収集及びアノテーション付与を行う。収集された教師データは、画像分類記録部３３の対象物画像群３４に教師データ３４ａとして記録される。また、対象物画像群３４にはテストデータ３４ｂも記録される。
In step S1 of FIG. 8, the
制御部３１は、要求仕様の設定を行う場合には、ステップＳ１からステップＳ４に移行して、仕様設定部３１ａにより図３に示した仕様項目の設定を行う。上述したように、仕様設定部３１ａは、仕様項目の一部については自動生成し、他の一部についてはユーザの入力操作に基づいて作成する。制御部３１は、ステップＳ５において、全ての仕様項目の入力が終了したか否かを判定し、終了していない場合には処理をステップＳ１に戻し、終了している場合には、設定した仕様項目による仕様情報及び教師データを学習装置２０に送信して学習を依頼する。
When setting the required specifications, the
図１０は、第１手法における学習装置２０による学習及び学習の結果得られる推論モデルを説明するための説明図である。学習装置２０の制御部２１は、図９のステップＳ１１において、学習依頼の待機状態である。制御部２１は、学習依頼が発生すると、処理をステップＳ１２に移行して学習依頼装置３０から仕様情報を受信して要求された仕様を取得する。また、制御部２１は、学習依頼装置３０から教師データを取得して教師データ記録部２３に記録する（ステップＳ１３）。制御部２１は、仕様及び必要性に応じて、教師データを追加記録する（ステップＳ１４）。母集合作成部２４は、仕様情報に基づく要求仕様に従って、入力データ設定部２４ａ及び出力項目設定部２４ｂによって、入力及び出力を設定する。入出力モデル化部２５は、設定された入力及び出力に応じて教師データに基づく学習を行う。
FIG. 10 is an explanatory diagram for explaining learning by the
図１０に示すように、入出力モデル化部２５により、所定のネットワークＮ１には入力及び出力に対応する大量の画像が教師データとして与えられる。図１０の例では、教師データとして、猫の画像であって、顔を横から見た猫の画像が入力される。この場合の猫の画像には、顔部分を破線枠で囲むようにアノテーションが設定されている。なお、顔の向きは、撮像装置１０を基準にして説明しており、以下の説明では、横から見た顔を横向きの顔ということもある。即ち、横向きの顔は、猫が顔を撮像装置１０の光軸方向に向けていないことをいう。また、後述する正面向きの顔とは、顔が撮像装置１０の光軸方向に向いていることをいう。
As shown in FIG. 10, the input/
大量の教師データによる学習を行うことで、ネットワークＮ１は、入力に対応する出力が得られるように、ネットワークデザインが決定される。即ち、図１０の例では、猫の画像が入力されると、猫の顔が横を向いている場合にはその顔の画像部分を囲む位置に破線枠を表示するための情報が信頼度の情報と共に得られる。即ち、図１０の例では、横向きの顔の猫の画像を検出する推論モデルが構築される。 By performing learning with a large amount of teacher data, the network design of the network N1 is determined so that an output corresponding to an input can be obtained. That is, in the example of FIG. 10, when a cat image is input, when the cat's face is facing sideways, the information for displaying the broken line frame at the position surrounding the image portion of the face is the reliability. Obtained with information. That is, in the example of FIG. 10, an inference model for detecting an image of a cat with a horizontal face is constructed.
なお、深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。これは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。簡単な判別なら３層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。 “Deep learning” is a multi-layered structure of the “machine learning” process using a neural network. A "forward-propagation neural network" that sends information from the front to the back to make a determination is typical. In the simplest case, this consists of an input layer consisting of N1 neurons, an intermediate layer consisting of N2 neurons given by parameters, and N3 neurons corresponding to the number of classes to be discriminated. It is sufficient if there are three output layers. Then, the neurons of the input layer and the intermediate layer, and the neurons of the intermediate layer and the output layer are connected by connection weights, respectively, and a bias value is applied to the intermediate layer and the output layer, which facilitates formation of the logic gate. For simple determination, three layers may be used, but if the number of intermediate layers is increased, it becomes possible to learn how to combine a plurality of feature amounts in the machine learning process. In recent years, 9 to 152 layers have become practical in view of the time required for learning, determination accuracy, and energy consumption.
機械学習に採用するネットワークＮ１としては、公知の種々のネットワークを採用してもよい。例えば、ＣＮＮ（Convolution Neural Network）を利用したＲ−ＣＮＮ（Regions with CNN features）やＦＣＮ（Fully Convolutional Networks）等を用いてもよい。これは、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。 Various known networks may be adopted as the network N1 adopted for machine learning. For example, R-CNN (Regions with CNN features) using FCN (Convolution Neural Network) or FCN (Fully Convolutional Networks) may be used. This involves a process called "convolution" that compresses the feature amount of an image, moves with a minimum amount of processing, and is strong in pattern recognition. In addition, a “recursive neural network” (fully connected recurrent neural network) may be used that can handle more complicated information and corresponds to information analysis whose meaning changes depending on the order or the order.
これらの技術の実現のためには、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）といったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。 In order to realize these technologies, a general-purpose arithmetic processing circuit such as a CPU or an FPGA (Field Programmable Gate Array) may be used, but most neural network processing is matrix multiplication. Therefore, what is called GPU (Graphic Processing Unit) or Tensor Processing Unit (TPU) specialized for matrix calculation may be used. In recent years, such artificial intelligence (AI) dedicated hardware "neural network processing unit (NPU)" is designed so that it can be integrated and integrated with other circuits such as a CPU, and it may be a part of a processing circuit. is there.
また、深層学習に限らず、公知の各種機械学習の手法を採用して推論モデルを取得してもよい。例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するもので、他には、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、今回の実施例では、画像の判定を、機械学習により導出する手法を採用したが、そのほか、特定の判断を人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を応用して用いてもよい。 Further, the inference model may be acquired by adopting various known machine learning methods as well as deep learning. For example, there are methods such as support vector machine and support vector regression. The learning here is to calculate the weight of the discriminator, the filter coefficient, and the offset, and there is another method using logistic regression processing. In order to make a machine judge something, it is necessary for a human to teach the machine how to make a judgment.In this example, a method of deriving an image judgment by machine learning was adopted. You may apply and use the rule-based method which applies the rule which the human acquired by the rule of thumb and heuristics.
入出力モデル化部２５は、ステップＳ１６において、生成した推論モデルが必要仕様を満たしているか否かを判定する。満たしていない場合には、入出力モデル化部２５は、次のステップＳ１７において、仕様が仕様情報中の優先度で指定された条件を満足しているか否かを判定する。例えは、項目優先度が図３に示すものである場合には、入出力モデル化部２５は、生成した推論モデルが、検出対象項目、ハードウェア情報項目、正解率、信頼性項目、応答時間項目、入力画像サイズ、その他項目及び入力画像系統数項目の各項目の仕様を満足しているか否かを判定する。満足していている場合には、入出力モデル化部２５は、教師データの再設定等を行って（ステップＳ１８）、所定回数以上に到達したことを判定（ステップＳ１９）した後、所定回数未満である場合には、処理をステップＳ１５に戻して、推論モデル化を繰り返す。
The input/
入出力モデル化部２５は、ステップＳ１７において、生成した推論モデルが優先度で指定された条件を満足していないと判定した場合、又は、ステップＳ１９において、推論モデル化を所定回数以上繰り返したと判定した場合には、処理をステップＳ２０に移行して、有効な推論モデルを構築することが苦手な画像であることを示す苦手画像情報を学習依頼装置３０に対して送信する。
The input/
入出力モデル化部２５は、ステップＳ１６において、生成した推論モデルが必要仕様を満たしたと判定した場合には、処理をステップＳ２１に移行して、学習依頼装置３０及び必要に応じて指定された機器（例えば撮像装置１０）に対して推論モデル情報を送信する。
When the input/
本実施の形態においては、この送信に際して、入出力モデル化部２５は、推論モデル情報に、仕様情報に基づいて生成した推論設定情報を付加するようになっている。推論設定情報には、図１０の例では、推論エンジンによる推論と併用推論機器による推論とを相互に独立して実行させ、各推論の信頼度等に基づいて推論結果を得る、即ち、第１手法による検出を行うことを示す情報が含まれる。
In the present embodiment, at the time of this transmission, the input/
学習依頼装置３０の制御部３１は、推論モデル情報を受信すると、図８のステップＳ７において、テストデータ３４ｂを用いて、学習結果の良否判定を行う。制御部３１は、テストが良好である（ＯＫ）の判定を行った場合には、学習装置２０に対して、テスト対象の推論モデル情報を撮像装置１０に送信するように依頼し、テストが不良（ＮＧ）の判定を行った場合には、再学習を学習装置２０に依頼する。なお、この場合には、要求仕様の追加や修正を行ってもよい。なお、学習依頼装置３０は、ＯＫ判定した推論モデル情報を撮像装置１０に直接送信してもよい。
Upon receiving the inference model information, the
図１１は撮像装置１０の動作を説明するためのフローチャートである。
FIG. 11 is a flow chart for explaining the operation of the
撮像装置１０の制御部１１は、図１１のステップＳ３１において、撮影モードが指定されているか否かを判定する。撮影モードが指定されていない場合には、制御部１１は、ステップＳ３２において推論モデルの取得が指示されているか否かを判定する。推論モデル取得が指示されていない場合には処理をステップＳ３１に戻し、指示されている場合には、次のステップＳ３３において、推論モデルの仕様を確認する。即ち、制御部１１は、学習装置２０又は学習依頼装置３０から推論モデル情報を受信し、受信した推論モデル情報に基づいて、推論エンジン１７のネットワーク１７ａを構築する。こうして、ネットワーク１７ａには、図１０のＮ１と同様の推論モデルが構築される。推論設定部１１ｄは、推論モデル情報に付加されている推論設定情報を読み出して、内蔵されているルールベースエンジン１８の機能を考慮して、必要な仕様を満足しているか否かの確認を行う。
The control unit 11 of the
制御部１１は、ステップＳ３４において、仕様確認の結果が良好（ＯＫ）であるか否かを判定する。良好でない場合には、制御部１１は、ステップＳ３８において、要求仕様の再設定を要求するための情報を学習装置２０又は学習依頼装置３０に送信する。仕様確認の結果が良好な場合には、制御部１１は、テストデータ記録領域１６ｃからテストデータを読み出して、推論のテストを実行する。制御部１１は、テストの結果、十分な信頼性が得られたか否かを判定し、十分な信頼性が得られた場合には取得した推論モデル情報を確定し（ステップＳ３７）、得られない場合には、ステップＳ３８において、要求仕様の再設定を要求する。
In step S34, the control unit 11 determines whether the result of the specification confirmation is good (OK). If it is not good, the control unit 11 transmits information for requesting the resetting of the required specifications to the
制御部１１は、撮影モードが指定されている場合には、ステップＳ３１からステップＳ４１に処理を移行して撮像画像を取り込む。撮像部１２からの撮像画像は制御部１１に与えられると共に、推論エンジン１７及びルールベースエンジン１８にも与えられる。制御部１１の推論設定部１１ｄは、推論設定情報に基づいて、第１手法により、推論エンジン１７及びルールベースエンジン１８の双方に独立して推論を行うように指示する。
When the shooting mode is designated, the control unit 11 shifts the processing from step S31 to step S41 and captures a captured image. The captured image from the
図７に示すようにユーザ４１は撮影を行う。制御部１１の表示制御部１１ｆは、撮像部１２からの撮像画像を表示部１４に与えてライブビュー画像を表示させる。また、推論エンジン１７及びルールベースエンジン１８は、順次入力される撮像画像に対して推論を実施する（ステップＳ４２）。
As shown in FIG. 7, the
図１２はルールベースエンジン１８による推論を説明するための説明図であり、図１３は推論エンジン１７による推論を説明するための説明図である。
FIG. 12 is an explanatory diagram for explaining the inference by the rule-based
いま、ある瞬間に図１２に示す撮像画像ＰＩ１がルールベースエンジン１８に入力されるものとする。ルールベースエンジン１８は、公知の顔検出処理によって、猫の正面向きの顔の部分を検出する。ルールベースエンジン１８は、検出結果として、猫の顔の部分を囲う実線枠ＰＯ１ａの情報を出力する。この情報は、ルールベースエンジン１８から制御部１１に供給される。表示制御部１１ｆは、ルールベースエンジン１８の検出結果に基づいて、ライブビュー画像上に実線枠ＰＯ１ａを重畳した表示画像ＰＯ１を表示する。
Now, it is assumed that the captured image PI1 shown in FIG. 12 is input to the rule-based
また、ある瞬間に図１３に示す撮像画像ＰＩ２が推論エンジン１７に入力されるものとする。推論エンジン１７は、学習装置２０又は学習依頼装置３０から提供を受けた推論モデル情報に基づくネットワーク１７ａにより、猫の横向きの顔の部分を検出する。推論エンジン１７は、検出結果として、猫の横向きの顔の部分を囲う破線枠ＰＯ２ａの情報を出力する。この情報は、推論エンジン１７から制御部１１に供給される。表示制御部１１ｆは、推論エンジン１７の検出結果に基づいて、ライブビュー画像上に破線枠ＰＯ２ａを重畳した表示画像ＰＯ２を表示する。
It is also assumed that the captured image PI2 shown in FIG. 13 is input to the
図１４は一連の推論の検出結果に基づく画像表示の例を示す説明図である。図１４は表示部１４の表示画面１４ａ上に表示されるライブビュー画像を示しており、図７の撮影の様子に示すようにユーザ４１がブロック塀４５上の猫４６の撮影を試みる状態において、時間の経過と共に順次撮像されてライブビュー表示される画像のうちの画像Ｐ１〜Ｐ６を示している。画像Ｐ１は、比較的広い範囲を撮像して得られたものであり、ブロック塀４５上の猫４６の画像を含む。制御部１１の表示制御部１１ｆは、ステップＳ４３において、推論エンジン１７及びルールベースエンジン１８を動作させて猫の画像の検出を行っていることを示す「発動」の表示Ｐ１ａを表示画面１４ａ上に表示させる。
FIG. 14 is an explanatory diagram showing an example of image display based on a detection result of a series of inferences. FIG. 14 shows a live view image displayed on the
ここで、視野範囲内に主に猫のみが撮影されるように、ユーザ４１がズーム操作を行うものとする。画像Ｐ２以降の画像はこの状態でのライブビュー画像を示している。画像Ｐ２は猫の顔が正面向きで撮像されたものである。この場合には、ルールベースエンジン１８により猫の顔が検出されて、顔の周囲を囲む実線枠の情報が制御部１１に供給される。制御部１１は、検出が行われたことを判定すると、推論エンジン１７による検出が利用されたかルールベースエンジン１８による検出が利用されたかを判定する（ステップＳ４５）。例えば、制御部１１は、推論エンジン１７及びルールベースエンジン１８から出力される信頼度によって、この判定を行ってもよい。画像Ｐ２ではルールベースエンジン１８の検出結果が採用されるので、処理をステップＳ４６に移行して、表示制御部１１ｆは、ライブビュー画像上に実線枠表示Ｐ２ｂを表示する。また、表示制御部１１ｆは、ルールベースエンジン１８が発動されて猫の顔の検出が行われたことを示す「Ｒ発動」の表示Ｐ２ａ及び「顔検出」の文字を表示する。
Here, it is assumed that the
次の画像Ｐ３は猫の顔が横向きで撮像されたものである。この場合には、推論エンジン１７により猫の横向きの顔が検出されて、顔の周囲を囲む破線枠の情報が制御部１１に供給される。この場合には、表示制御部１１ｆは、ステップＳ４５の次のステップＳ４７において、ライブビュー画像上に破線枠表示Ｐ３ｂを表示する。また、表示制御部１１ｆは、推論エンジン１７が発動されて猫の顔の検出が行われたことを示す「Ａ発動」の表示Ｐ３ａ及び「ＡＩ推論」の文字を表示する。
The next image P3 is an image of the face of a cat taken in landscape orientation. In this case, the
次の画像Ｐ４も猫の顔が横向きで撮像されたものである。この場合には、推論エンジン１７からの情報に基づく破線枠表示Ｐ４ｂ、推論エンジン１７が発動されて猫の顔の検出が行われたことを示す「Ａ発動」の表示Ｐ４ａ及び「ＡＩ推論」の文字がライブビュー画像上に表示される。
The next image P4 is also the image of the face of the cat taken in the horizontal direction. In this case, the broken line frame display P4b based on the information from the
また、次の画像Ｐ５は再び猫の顔が正面向きで撮像されたものである。この場合には、ルールベースエンジン１８により猫の顔が検出されて、ルールベースエンジン１８からの情報に基づく実線枠表示Ｐ５ｂ、ルールベースエンジン１８が発動されて猫の顔の検出が行われたことを示す「Ｒ発動」の表示Ｐ５ａ及び「顔検出」の文字がライブビュー画像上に表示される。
Further, the next image P5 is an image in which the face of the cat is imaged in the front direction again. In this case, the face of the cat is detected by the rule-based
最後の画像Ｐ６は、「発動」の表示Ｐ６ａにより、推論エンジン１７及びルールベースエンジン１８の推論による猫の検出は発動されていることが示されている。しかし、猫の顔は検出されていない状態を示している。
In the final image P6, the display "P6a" indicating "Activated" indicates that the detection of the cat by the inference of the
制御部１１は、ステップＳ４８において、動画撮影操作又は静止画撮影操作が行われたか否かを判定する。これらの操作が行われた場合には、撮影や記録を行う（ステップＳ４９）。なお、動画撮影時には、動画撮影の終了操作によって、撮像画像がファイル化される。撮影操作が行われていない場合には、制御部１１は処理をステップＳ３１に戻す。 In step S48, the control unit 11 determines whether the moving image shooting operation or the still image shooting operation is performed. When these operations are performed, shooting and recording are performed (step S49). It should be noted that at the time of shooting a moving image, a captured image is converted into a file by an operation of ending the moving image shooting. When the shooting operation is not performed, the control unit 11 returns the process to step S31.
このように、第１手法では、推論エンジン１７及び併用推論機器であるルールベースエンジン１８は、相互に独立して動作しており、例えば推論を分担して行う場合等に採用される。
As described above, in the first method, the
（第２手法）
学習装置２０及び学習依頼装置３０における動作は、第１手法〜第３手法において同一であるが、各第１手法〜第３手法においては、仕様情報及び教師データが異なる。
(Second method)
The operations of the
図１５は、第２手法における学習装置２０による学習及び学習の結果得られる推論モデルを説明するための説明図である。
FIG. 15 is an explanatory diagram for explaining learning by the
図１５において、所定のネットワークＮ２には入力及び出力に対応する大量の画像が教師データとして与えられる。図１５の例は、猫の画像であって、顔が正面向きの猫の画像と顔が横向きの猫の画像とが入力される。そして、顔が正面向きの猫の画像では、顔部分の位置情報（実線枠）がアノテーションとして設定されており、顔が横向きの猫の画像では、顔部分を破線枠で囲むようにアノテーションが設定されている。更に、第２手法では、顔が正面向きの猫の画像については、併用推論機器の利用を促すためのアノテーションが設定されている。 In FIG. 15, a large amount of images corresponding to inputs and outputs are given as teacher data to a predetermined network N2. In the example of FIG. 15, an image of a cat, in which an image of a cat with its face facing forward and an image of a cat with its face facing sideways are input. The position information (solid line frame) of the face part is set as an annotation in the image of the cat with the face facing forward, and the annotation is set so that the face part is surrounded by the broken line frame in the image of the cat with the face facing sideways. Has been done. Furthermore, in the second method, an annotation for prompting the use of the combined reasoning device is set for an image of a cat whose face is facing forward.
これにより、ネットワークＮ２は、入力に対応する出力が得られるように、ネットワークデザインが決定される。即ち、図１５の例では、猫の画像が入力されると、猫の顔が正面を向いている場合には、併用推論機器の利用を促すと共に、その顔の画像部分の位置情報（実線枠）が信頼度の情報と共に得られ、猫の顔が横を向いている場合にはその顔の画像部分を囲む位置に破線枠を表示するための情報が信頼度の情報と共に得られる。 Accordingly, the network design of the network N2 is determined so that the output corresponding to the input can be obtained. That is, in the example of FIG. 15, when a cat image is input, if the cat's face is facing the front, the use of the combined reasoning device is prompted and the position information of the image portion of the face (solid line frame ) Is obtained together with the reliability information, and when the cat's face is facing sideways, information for displaying a broken line frame at the position surrounding the image portion of the face is obtained together with the reliability information.
図１６は撮像装置１０の動作を説明するためのフローチャートである。図１６において図１１と同一の手順には同一符号を付して説明を省略する。なお、第２手法においても、ルールベースエンジン１８は、図１２に示すように、正面を向いた猫の顔を検出するものとする。
FIG. 16 is a flowchart for explaining the operation of the
制御部１１は、撮影モードが指定されている場合には、ステップＳ３１からステップＳ４１に処理を移行して撮像画像を取り込む。撮像部１２からの撮像画像は制御部１１に与えられると共に、推論エンジン１７及びルールベースエンジン１８にも与えられる。制御部１１の推論設定部１１ｄは、推論モデル情報に付加された推論設定情報に基づいて、推論エンジン１７及びルールベースエンジン１８に対して、第２手法により推論を行うように制御する。
When the shooting mode is designated, the control unit 11 shifts the processing from step S31 to step S41 and captures a captured image. The captured image from the
制御部１１は、次のステップＳ５２において、推論エンジン１７による推論結果が併用推論機器の利用を促すものであるか否かを判定する。
In the next step S52, the control unit 11 determines whether or not the inference result by the
いま、ある瞬間に図１３に示す撮像画像ＰＩ２が推論エンジン１７に入力されるものとする。推論エンジン１７は、学習装置２０又は学習依頼装置３０から提供を受けた推論モデル情報に基づくネットワーク１７ａにより、猫の横向きの顔の部分を検出する。推論エンジン１７は、検出結果として、猫の横向きの顔の部分を囲う破線枠ＰＯ２ａ（図１３参照）の情報を出力する。この情報は、推論エンジン１７から制御部１１に供給される。この場合には、制御部１１は、ステップＳ５２からステップＳ５３に移行して、推論の信頼性が高いか否かを判定する。制御部１１は、推論の信頼性が高い場合には、検出結果を表示する。即ち、表示制御部１１ｆは、推論エンジン１７の検出結果に基づいて、ライブビュー画像上に破線枠ＰＯ２ａを重畳した表示画像ＰＯ２を表示する。
Now, it is assumed that the captured image PI2 shown in FIG. 13 is input to the
また、ある瞬間に図１２に示す撮像画像ＰＩ１が推論エンジン１７及びルールベースエンジン１８に入力されるものとする。推論エンジン１７は、推論モデル情報に基づくネットワーク１７ａにより、猫の正面向きの顔の部分を検出する。推論エンジン１７は、検出結果として、猫の正面向きの顔の画像位置の情報及びルールベースエンジン１８に検出を促す情報を制御部１１に出力する。この場合には、制御部１１は、ステップＳ５２からステップＳ５５に処理を移行して、推論エンジン１７の推論結果、即ち、猫の顔の画像位置の情報をルールベースエンジン１８に与えて、ルールベースエンジン１８に猫の顔を検出させる。ルールベースエンジン１８は、公知の顔検出処理によって、猫の正面向きの顔の部分を検出する。この場合には、ルールベースエンジン１８には、猫の顔の画像位置の情報が与えられており、ルールベースエンジン１８は、より高精度に猫の顔の検出が可能である。
It is also assumed that the captured image PI1 shown in FIG. 12 is input to the
ルールベースエンジン１８は、検出結果として、猫の顔の部分を囲う実線枠ＰＯ１ａ（図１２参照）の情報を出力する。この情報は、ルールベースエンジン１８から制御部１１に供給される。表示制御部１１ｆは、ルールベースエンジン１８の検出結果に基づいて、ライブビュー画像上に実線枠ＰＯ１ａを重畳した表示画像ＰＯ１を表示する（ステップＳ５６）。
As a detection result, the rule-based
このように第２手法では、推論エンジン１７は、推論結果をルールベースエンジン１８に与えて、ルールベースエンジン１８において推論を行わせている。これにより、ルールベースエンジン１８において高い推論精度が得られる画像等について、より精度を向上させるための情報をルールベースエンジン１８に提供することができ、結果的に高い推論精度の検出が可能である。
As described above, in the second method, the
（第３手法）
第３手法においても、学習装置２０及び学習依頼装置３０における動作は他の手法と同一であり、仕様情報及び教師データが他の手法と異なる。
(Third method)
Also in the third method, the operations of the
第３手法においては、学習装置２０において作成される推論モデルは、入力として、撮像画像だけでなく、併用推論機器の検出結果が用いられるように設定される。例えば、併用推論機器から猫の顔部の画像や猫の顔部の画像位置等の情報が入力され、撮像部１２から猫の画像が入力された場合には、猫の顔を検出する推論モデルが構築されるように、学習が行われる。
In the third method, the inference model created in the
図１７は撮像装置１０の動作を説明するためのフローチャートである。図１７において図１１と同一の手順には同一符号を付して説明を省略する。なお、第３手法においても、ルールベースエンジン１８は、図１２に示すように、正面を向いた猫の顔を検出するものとする。
FIG. 17 is a flow chart for explaining the operation of the
制御部１１は、撮影モードが指定されている場合には、ステップＳ３１からステップＳ４１に処理を移行して撮像画像を取り込む。撮像部１２からの撮像画像は制御部１１に与えられると共に、推論エンジン１７及びルールベースエンジン１８にも与えられる。制御部１１の推論設定部１１ｄは、推論モデル情報に付加された推論設定情報に基づいて、推論エンジン１７及びルールベースエンジン１８に対して、第３手法により推論を行うように制御する。
When the shooting mode is designated, the control unit 11 shifts the processing from step S31 to step S41 and captures a captured image. The captured image from the
制御部１１は、ステップＳ４１の次のステップＳ６１において、ルールベースエンジン１８に推論を実行させて猫の顔を検出させる。ルールベースエンジン１８からの検出結果は制御部１１に与えられる。制御部１１は、ルールベースエンジン１８の検出結果の判定を行う（ステップＳ６２）。
In step S61 subsequent to step S41, the control unit 11 causes the rule-based
次に、制御部１１は、ステップＳ６３において、推論エンジン１７に推論を実行させる。この場合には、制御部１１は、ルールベースエンジン１８の検出結果を推論エンジン１７に与える。これにより、推論エンジン１７は、撮像部１２からの入力画像とルールベースエンジン１８の推論結果とが与えられ、これらの入力を用いた推論によって、推論結果を得る。推論エンジン１７の推論結果は制御部１１に出力される。
Next, the control unit 11 causes the
制御部１１は、ステップＳ６４において、推論エンジン１７の推論結果について判定を行う。更に、制御部１１は、ステップＳ６５において、推論エンジン１７及びルールベースエンジン１８の推論結果に対する総合判定によって、検出結果を得る。
The control unit 11 determines the inference result of the
このように第３手法では、ルールベースエンジン１８は、推論結果を推論エンジン１７に与えており、推論エンジン１７の推論の精度をより向上させることができる。
As described above, in the third method, the rule-based
このように本実施の形態においては、併用推論機器の利用を想定して推論モデルを構築するための学習を行うことで、より有効な推論の実現が可能である。学習依頼装置はこのような併用推論機器の利用を想定した学習のための仕様情報を作成することで、学習装置において有効な推論モデルの構築を可能にする。また、学習装置は、推論モデルを利用する装置において、推論モデルの利用の仕方等を示す推論設定情報を推論モデル情報に付加して伝送する。これにより、推論モデルを利用する装置において、受信した推論モデル情報に付加された推論設定情報に基づいて、併用推論機器と推論モデルを用いる推論エンジンとを連携して使用することが可能となる。こうして、併用推論機器である例えばルールベースエンジンと推論エンジンとを効果的に動作させてより有効な推論結果を得ることが可能となる。 As described above, in the present embodiment, more effective inference can be realized by performing learning for constructing an inference model on the assumption of using a combination inference device. The learning requesting device makes it possible to construct an effective inference model in the learning device by creating specification information for learning assuming the use of such a combination reasoning device. Further, the learning device adds inference setting information indicating how to use the inference model to the inference model information in the device using the inference model and transmits the information. As a result, in the device using the inference model, the combined inference device and the inference engine using the inference model can be used in cooperation with each other based on the inference setting information added to the received inference model information. In this way, it is possible to effectively operate the combined reasoning device, for example, the rule-based engine and the reasoning engine to obtain a more effective reasoning result.
（第２の実施の形態）
図１８及び図１９は第２の実施の形態を示すブロック図である。本実施の形態は学習装置の構成が図１と異なり、図１８及び図１９は、図１の学習装置２０に追加する構成を示している。
(Second embodiment)
18 and 19 are block diagrams showing the second embodiment. The configuration of the learning device in this embodiment is different from that in FIG. 1, and FIGS. 18 and 19 show a configuration added to the
図１８及び図１９の画像データベース（ＤＢ）５１ａ及び正解データベース（ＤＢ）５１ｂは、図１の学習装置２０内の教師データ記録部２３に相当するものであり、教師データ中の画像データの集まりを画像ＤＢ５１ａとし、教師データ中のアノテーションデータの集まりを正解ＤＢ５１ｂとして表している。
The image database (DB) 51a and the correct answer database (DB) 51b in FIGS. 18 and 19 correspond to the teacher
本実施の形態における学習装置は、学習装置２０の構成の他に、併用推論機器５３、検出精度測定器５４、正解情報出力部５５、検出精度データベース（ＤＢ）５６及び検出精度情報出力部５７を備えている。制御部２１（図１参照）は、図１８に示すように、併用推論機器５３を用い、画像ＤＢ５１ａ中の各画像データ５２を併用推論機器５３に与えて推論処理を実行させるようになっている。併用推論機器５３の検出結果は検出精度測定器５４に与えられる。
The learning device according to the present embodiment includes a
また、正解情報出力部５５は、正解ＤＢ５１ｂから併用推論機器５３に入力された画像データに対応する正解情報を取得して検出精度測定器５４に出力する。検出精度測定器５４は、併用推論機器５３の検出結果と正解情報との比較によって、併用推論機器５３の検出精度を測定して測定結果を検出精度ＤＢ５６に出力する。検出精度ＤＢ５６は、各画像毎に併用推論機器５３の推論の検出精度を格納する。
In addition, the correct answer
入出力モデル化部２５は、推論モデルＮの学習時において、図１９に示すように、各画像データ５２を推論モデルＮに与え、正解情報出力部５５からの正解情報を推論モデルＮに与える。また、検出精度情報出力部５７は、推論モデルＮに入力される画像データ５２に対応する検出精度の情報を検出精度ＤＢ５６から読み出す。入出力モデル化部２５は、制御部２１に制御されて、検出精度情報出力部５７からの検出精度の情報を推論モデルＮの構築時に利用する。
At the time of learning the inference model N, the input/
例えば、制御部２１は、推論モデルＮの構築に際して、教師データとして推論モデルＮに入力する画像に対応する検出精度情報を利用することで、検出精度が高い画像については併用推論機器による推論を促すように学習を行ってもよい。また、画像の検出精度が所定の閾値より高い場合にはこの画像についてのこれ以上の学習は不要と判定し、検出精度が所定の閾値よりも低い画像についてのみ学習を行うようになっていてもよい。この場合には、信頼度が比較的低くなる画像についての十分な学習が可能となり、全体として検出精度を向上させることができる可能性がある。
For example, when the inference model N is constructed, the
このように本実施の形態においては、学習に際して併用推論機器による検出精度の情報を利用することができ、より有効な推論を可能にする推論モデルの構築が可能となる。 As described above, in the present embodiment, the information about the detection accuracy of the combined reasoning device can be used for learning, and the inference model that enables more effective inference can be constructed.
上記実施の形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。 In the above embodiment, a digital camera is used as an imaging device, but the camera may be a digital single lens reflex camera, a compact digital camera, a video camera, a movie camera, or a mobile phone. Of course, a camera built in a personal digital assistant (PDA) such as a smartphone or a smart phone may be used.
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements within a range not departing from the gist of the invention in an implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in each of the above embodiments. For example, some of all the constituent elements shown in the embodiment may be deleted. Furthermore, the constituent elements of different embodiments may be combined appropriately.
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。 It should be noted that even if the operation flow in the claims, the specification, and the drawings is described by using “first,” “next,” and the like for convenience, it is essential that the operations are performed in this order. It does not mean. Further, it goes without saying that the steps constituting these operation flows can be appropriately omitted for the portions that do not affect the essence of the invention.
なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。 Of the techniques described here, the control mainly described in the flowchart is often settable by a program and may be stored in a recording medium or a recording unit. The recording medium and the recording unit may be recorded at the time of product shipment, may be used as a distributed recording medium, or may be downloaded via the Internet.
なお、実施例中で、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥースやＷｉＦｉ、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。 It should be noted that, in the embodiments, a portion described as a “section” (section or unit) may be configured by a dedicated circuit or a combination of a plurality of general-purpose circuits, and if necessary, preprogrammed software may be used. It may be configured by combining a microcomputer that operates according to the above, a processor such as a CPU, or a sequencer such as an FPGA. It is also possible to design such that a part or all of the control is taken over by an external device, and in this case, a wired or wireless communication circuit intervenes. The communication may be performed using Bluetooth, WiFi, a telephone line, or the like, and may be performed using USB or the like. A dedicated circuit, a general-purpose circuit, and a control unit may be integrally configured as an ASIC.
１…撮像装置、１０…制御部、１１…画像処理部、１１ａ…画質改善部、１２…表示制御部、１３…記録制御部、１４…行為検出部、２０…撮像部、２１…光学系、２２…撮像素子、２３…変位付与部、３０…特定範囲推定部、３１…シーン判定部、３２…良好構図記憶部、３３…改善予測部、４１…表示部、４２…操作部、４３…センサ部、４４…記録部。 DESCRIPTION OF SYMBOLS 1... Imaging device, 10... Control part, 11... Image processing part, 11a... Image quality improvement part, 12... Display control part, 13... Recording control part, 14... Action detection part, 20... Imaging part, 21... Optical system, 22... Image sensor, 23... Displacement giving section, 30... Specific range estimation section, 31... Scene determination section, 32... Good composition storage section, 33... Improvement prediction section, 41... Display section, 42... Operation section, 43... Sensor Part, 44... Recording part.
Claims (14)
上記仕様情報を教師データと共に上記推論モデルを生成する学習装置に送信するための制御を行う制御部とを具備し、
上記仕様設定部は、上記仕様情報中に、上記推論モデルを利用する推論エンジンが、他の併用推論機器と連携して推論を行うか否かを設定する仕様項目を含める
ことを特徴とする学習依頼装置。 A specification setting unit that generates specification information that describes the setting of multiple specification items for requesting the specification of the inference model,
A control unit for performing control for transmitting the specification information together with teacher data to a learning device that generates the inference model,
The learning is characterized in that the specification setting unit includes, in the specification information, a specification item for setting whether or not an inference engine that uses the inference model performs inference in cooperation with another combined inference device. Requesting device.
ことを特徴とする請求項１に記載の学習依頼装置。 The specification setting unit includes, in the specification information, a specification item for setting information about the function of the other combined reasoning device and information about input/output between the inference engine and the other combined reasoning device. The learning requesting device according to claim 1.
ことを特徴とする請求項１に記載の学習依頼装置。 The learning requesting device according to claim 1, wherein the specification setting unit includes, in the specification information, a specification item for setting priorities of the plurality of specification items.
上記仕様情報に基づいて上記併用推論機器との連携の仕方に関する推論設定情報を上記推論モデルを構築するための推論モデル情報に付加して送信するための制御を行う制御部と
を具備することを特徴とする学習装置。 Specification information that describes the settings of multiple specification items for determining the specifications of the inference model, and that is used by the inference engine that uses the above inference model to perform inference in cooperation with other combined inference devices. An inference modeling unit that builds the above inference model based on
And a control unit for performing control for adding and transmitting inference setting information regarding how to cooperate with the combined inference device based on the specification information to the inference model information for constructing the inference model. Characteristic learning device.
ことを特徴とする請求項４に記載の学習装置。 The learning device according to claim 4, wherein the control unit adds the specification information as the inference setting information to the inference model information.
ことを特徴とする請求項４に記載の学習装置。 The learning apparatus according to claim 4, wherein the control unit adds the inference setting information to the inference model information as header information of the inference model information.
上記推論モデル情報に基づいて構成される推論モデルを用いて推論を行う上記推論エンジンと、
上記併用推論機器と、
上記推論設定情報に基づいて、上記推論エンジンと上記併用推論機器とを連携させて推論を実行させる制御部と
を具備することを特徴とする推論モデル利用装置。 Inference model information for constructing an inference model on the assumption that the inference engine and the combined use inference device perform inference in cooperation with each other, and inference setting information related to how the inference engine and the combined use inference device cooperate with each other. A communication unit that receives the inference model information added with
An inference engine that performs inference using an inference model configured based on the inference model information,
With the above combination reasoning device,
An inference model utilization apparatus, comprising: a control unit that causes the inference engine and the combined inference device to cooperate with each other to execute inference based on the inference setting information.
ことを特徴とする請求項７に記載の推論モデル利用装置。 The control unit operates the inference engine and the combined inference device independently of each other based on the inference setting information to determine the reliability of the first inference result of the inference engine and the combination inference device 8. The inference model utilizing apparatus according to claim 7, wherein the first or second inference result is obtained based on the reliability of the second inference result.
ことを特徴とする請求項７に記載の推論モデル利用装置。 The control unit gives a first inference result of the inference engine to the combined inference device based on the inference setting information to obtain a second inference result of the combined inference device. The inference model utilization device according to 7.
ことを特徴とする請求項７に記載の推論モデル利用装置。 8. The control unit gives the second inference result of the combined inference device to the inference engine based on the inference setting information to obtain the first inference result of the inference engine. The inference model utilization device described in.
上記推論モデル情報に基づいて構成される推論モデルを用いて上記推論エンジンを構築し、
上記推論設定情報に基づいて、上記推論エンジンと上記併用推論機器とを連携させて推論を実行させる
ことを特徴とする推論モデル利用方法。 Inference model information for constructing an inference model on the assumption that the inference engine and the combined use inference device perform inference in cooperation with each other, and inference setting information related to how the inference engine and the combined use inference device cooperate with each other. Receives the above inference model information with
Build the above inference engine using an inference model configured based on the above inference model information,
A method for using an inference model, characterized by causing the inference engine and the combined inference device to cooperate with each other to execute inference based on the inference setting information.
推論エンジンと併用推論機器とが連携して推論を行うことを前提にした推論モデルを構築するための推論モデル情報であって、上記推論エンジンと上記併用推論機器との連携の仕方に関する推論設定情報が付加された上記推論モデル情報を受信し、
上記推論モデル情報に基づいて構成される推論モデルを用いて上記推論エンジンを構築し、
上記推論設定情報に基づいて、上記推論エンジンと上記併用推論機器とを連携させて推論を実行させる
手順を実行させるための推論モデル利用プログラム。 On the computer,
Inference model information for constructing an inference model on the assumption that the inference engine and the combined use inference device perform inference in cooperation with each other, and inference setting information related to how the inference engine and the combined use inference device cooperate with each other. Receives the above inference model information with
Build the above inference engine using the inference model configured based on the above inference model information,
A reasoning model utilization program for executing a procedure for causing the reasoning engine and the combined reasoning device to cooperate with each other based on the reasoning setting information.
推論エンジンと併用推論機器とが連携して推論を行うことを前提にした推論モデルを構築するための推論モデル情報であって、上記推論エンジンと上記併用推論機器との連携の仕方に関する推論設定情報が付加された上記推論モデル情報を受信する通信部と、
上記推論モデル情報に基づいて構成される推論モデルを用いて推論を行う上記推論エンジンと、
上記併用推論機器と、
上記推論設定情報に基づいて、上記推論エンジンと上記併用推論機器とを連携させて推論を実行させることにより、上記撮像画像から所定の対象物を検出する制御部と
を具備することを特徴とする撮像装置。 An imaging unit that acquires a captured image of the subject,
Inference model information for constructing an inference model on the assumption that the inference engine and the combined use inference device perform inference in cooperation with each other, and inference setting information related to how the inference engine and the combined use inference device cooperate with each other. A communication unit that receives the inference model information added with
An inference engine that performs inference using an inference model configured based on the inference model information,
With the above combination reasoning device,
And a controller that detects a predetermined object from the captured image by causing the inference engine and the combined inference device to cooperate with each other to execute inference based on the inference setting information. Imaging device.
搭載すべき前記推論モデルの要求仕様を表示部に一覧表示可能な制御部と
を具備することを特徴とする推論モデル利用装置。 A communication unit for requesting the creation of an inference model externally,
An inference model utilizing apparatus comprising: a control unit capable of displaying a list of required specifications of the inference model to be mounted on a display unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019021597A JP7166951B2 (en) | 2019-02-08 | 2019-02-08 | Learning request device, learning device, inference model utilization device, inference model utilization method, inference model utilization program, and imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019021597A JP7166951B2 (en) | 2019-02-08 | 2019-02-08 | Learning request device, learning device, inference model utilization device, inference model utilization method, inference model utilization program, and imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020129268A true JP2020129268A (en) | 2020-08-27 |
| JP7166951B2 JP7166951B2 (en) | 2022-11-08 |
Family
ID=72174666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019021597A Active JP7166951B2 (en) | 2019-02-08 | 2019-02-08 | Learning request device, learning device, inference model utilization device, inference model utilization method, inference model utilization program, and imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7166951B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022239979A1 (en) * | 2021-05-10 | 2022-11-17 | 현대자동차주식회사 | Method and apparatus for enabling artificial intelligence service in m2m system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0395603A (en) * | 1989-09-08 | 1991-04-22 | Hitachi Ltd | Operation support method for process applying multiple decision |
| JPH06124196A (en) * | 1992-10-12 | 1994-05-06 | Hitachi Ltd | Model preparation supporting system |
| JP2004294360A (en) * | 2003-03-28 | 2004-10-21 | Hitachi High-Technologies Corp | Method and apparatus for classifying defects |
| JP2017059031A (en) * | 2015-09-17 | 2017-03-23 | 日本電気株式会社 | Information processing apparatus, information processing method, and program |
| JP2018152063A (en) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | Device, method, and program for evaluating learning results |
| JP6431231B1 (en) * | 2017-12-24 | 2018-11-28 | オリンパス株式会社 | Imaging system, learning apparatus, and imaging apparatus |
-
2019
- 2019-02-08 JP JP2019021597A patent/JP7166951B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0395603A (en) * | 1989-09-08 | 1991-04-22 | Hitachi Ltd | Operation support method for process applying multiple decision |
| JPH06124196A (en) * | 1992-10-12 | 1994-05-06 | Hitachi Ltd | Model preparation supporting system |
| JP2004294360A (en) * | 2003-03-28 | 2004-10-21 | Hitachi High-Technologies Corp | Method and apparatus for classifying defects |
| JP2017059031A (en) * | 2015-09-17 | 2017-03-23 | 日本電気株式会社 | Information processing apparatus, information processing method, and program |
| JP2018152063A (en) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | Device, method, and program for evaluating learning results |
| JP6431231B1 (en) * | 2017-12-24 | 2018-11-28 | オリンパス株式会社 | Imaging system, learning apparatus, and imaging apparatus |
Non-Patent Citations (1)
| Title |
|---|
| VILLENA-ROMAN, JULIO: "Hybrid Approach Combining Machine Learning and a Rule-Based Expert System for Text Categorization", PROCEEDINGS OF THE TWENTY-FOURTH INTERNATIONAL FLORIDA ARTIFICIAL INTELLIGENCE RESEARCH SOCIETY CONF, JPN6022029341, 20 May 2011 (2011-05-20), pages 323 - 328, XP055616968, ISSN: 0004827353 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022239979A1 (en) * | 2021-05-10 | 2022-11-17 | 현대자동차주식회사 | Method and apparatus for enabling artificial intelligence service in m2m system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7166951B2 (en) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9338311B2 (en) | Image-related handling support system, information processing apparatus, and image-related handling support method | |
| US11281940B2 (en) | Image file generating device and image file generating method | |
| JP7064346B2 (en) | Image pickup device, information terminal, control method of image pickup device, and control method of information terminal | |
| US8520096B2 (en) | Apparatus and method for learning photographing profiles of digital imaging device for recording personal life history | |
| KR20210028218A (en) | Image processing methods and devices, electronic devices and storage media | |
| CN110910340A (en) | Annotation device and annotation method | |
| US20200412982A1 (en) | Laminated image pickup device, image pickup apparatus, image pickup method, and recording medium recorded with image pickup program | |
| KR20150026123A (en) | Method for proccessing digital image and apparatus of the same | |
| JP2020035094A (en) | Machine learning device, teacher data generation device, inference model, and teacher data generation method | |
| CN104349047A (en) | Image photographing apparatus and photographing method thereof | |
| JP7403995B2 (en) | Information processing device, control method and program | |
| JP2020119322A (en) | Learning requesting device and method for requesting learning | |
| JP7166951B2 (en) | Learning request device, learning device, inference model utilization device, inference model utilization method, inference model utilization program, and imaging device | |
| JP2020123174A (en) | Image file generating apparatus, image file generating method, image management apparatus, and image management method | |
| KR102187238B1 (en) | Device and method for user-participated human 3D modeling | |
| JP2019008636A (en) | Imaging System | |
| JP2019191933A (en) | Learning device, imaging device, image processing device, and learning method | |
| JP4772756B2 (en) | Imaging apparatus and imaging program | |
| JP4818997B2 (en) | Face detection device and face detection program | |
| JP2020061601A (en) | Photographic inspection support device and program of the same | |
| JP7152244B2 (en) | LEARNING DEVICE, LEARNING METHOD AND PROGRAM | |
| JP7200030B2 (en) | Learning device, imaging device, learning system, AI information providing device, learning method and learning program | |
| JP2011041042A (en) | Digital camera | |
| JP7236869B2 (en) | IMAGING DEVICE, IMAGING METHOD AND IMAGING PROGRAM | |
| WO2023286652A1 (en) | Learning apparatus, prediction appraratus, and imaging appraratus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210714 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220707 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220909 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221026 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7166951 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |