JP7117566B2 - Information processing system and information processing method - Google Patents
Information processing system and information processing method Download PDFInfo
- Publication number
- JP7117566B2 JP7117566B2 JP2018218862A JP2018218862A JP7117566B2 JP 7117566 B2 JP7117566 B2 JP 7117566B2 JP 2018218862 A JP2018218862 A JP 2018218862A JP 2018218862 A JP2018218862 A JP 2018218862A JP 7117566 B2 JP7117566 B2 JP 7117566B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition result
- recognition
- sensor
- similarity
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本開示は、情報処理システムおよび情報処理方法に関する。 The present disclosure relates to an information processing system and an information processing method.
特許文献1には、第一のセンサの出力データと、第二のセンサの出力データとを用いてセンサフュージョンにより物体の認識を実行する構成のシステムが開示されている。 Patent Document 1 discloses a system configured to recognize an object by sensor fusion using output data of a first sensor and output data of a second sensor.
しかし、従来技術では、センサフュージョンを用いた物体の認識結果が個別のセンサを用いた物体の認識結果よりも悪化する場合があった。本開示は、認識結果のフュージョンによる物体の認識結果の悪化を抑制できる情報処理システムおよび情報処理方法を提供する。 However, in the prior art, there are cases where the object recognition result using sensor fusion is worse than the object recognition result using individual sensors. The present disclosure provides an information processing system and an information processing method capable of suppressing deterioration of object recognition results due to fusion of recognition results.
本開示の一態様に係る情報処理システムは、第1センサからのセンシングデータに基づく物体の認識結果である第1認識結果を取得する第1取得部と、前記第1センサと異なる第2センサからのセンシングデータに基づく物体の認識結果である第2認識結果を取得する第2取得部と、前記第1認識結果および前記第2認識結果の類似度を判定する第1判定を行う第1判定部と、前記第1判定の結果に応じて、前記第1認識結果および前記第2認識結果のフュージョン処理を制御するフュージョン制御部と、前記第1判定の結果に応じて、前記第1認識結果と、前記第2認識結果と、前記第1認識結果および前記第2認識結果がフュージョンされた第3認識結果との少なくとも1つを出力する出力部と、を備える。 An information processing system according to an aspect of the present disclosure includes a first acquisition unit that acquires a first recognition result that is a recognition result of an object based on sensing data from a first sensor; A second acquisition unit that acquires a second recognition result that is a recognition result of an object based on the sensing data of the above, and a first determination unit that performs a first determination that determines the degree of similarity between the first recognition result and the second recognition result a fusion control unit that controls fusion processing of the first recognition result and the second recognition result according to the result of the first determination; and the first recognition result according to the result of the first determination. and an output unit that outputs at least one of the second recognition result and a third recognition result obtained by fusion of the first recognition result and the second recognition result.
また、本開示の一態様に係る情報処理システムは、第1センサからのセンシングデータに基づく物体の認識結果である第1認識結果を取得する第1取得部と、前記第1センサと異なる第2センサからのセンシングデータに基づく物体の認識結果である第2認識結果を取得する第2取得部と、前記第1認識結果および前記第2認識結果をフュージョン処理するフュージョン処理部と、前記第1認識結果および前記第2認識結果がフュージョン処理された第3認識結果と、前記第1認識結果および前記第2認識結果のそれぞれとの類似度である第1類似度および第2類似度を判定する第2判定を行う第2判定部と、前記第2判定の結果に応じて、前記第1認識結果、前記第2認識結果、および前記第3認識結果の少なくとも1つを出力する出力部と、を備える。 Further, an information processing system according to an aspect of the present disclosure includes a first acquisition unit that acquires a first recognition result that is a recognition result of an object based on sensing data from a first sensor; a second acquisition unit that acquires a second recognition result that is a recognition result of an object based on sensing data from a sensor; a fusion processing unit that performs fusion processing on the first recognition result and the second recognition result; and the first recognition determining a first similarity degree and a second similarity degree, which are degrees of similarity between a third recognition result obtained by fusion processing the result and the second recognition result, and the first recognition result and the second recognition result, respectively; and an output unit that outputs at least one of the first recognition result, the second recognition result, and the third recognition result according to the result of the second determination. Prepare.
なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these general or specific aspects may be realized by methods, integrated circuits, computer programs, or recording media such as computer-readable CD-ROMs. Any combination may be used.
本開示に係る情報処理システムおよび情報処理方法は、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。 The information processing system and information processing method according to the present disclosure can suppress deterioration of object recognition results due to fusion of recognition results.
(本発明の基礎となった知見)
本発明者は、上述した従来技術に関し、以下の問題が生じることを見出した。
(Knowledge on which the present invention is based)
The inventor of the present invention has found that the following problems arise with the above-described prior art.
特許文献1に記載の技術のように、第一のセンサの出力データと、第二のセンサの出力データとを用いて物体の認識を実行しても認識の精度が向上しない場合がある。この場合、精度が低い認識結果を出力するおそれがある。 As in the technique described in Patent Literature 1, there are cases where recognition accuracy is not improved even when object recognition is executed using the output data of the first sensor and the output data of the second sensor. In this case, there is a risk of outputting a recognition result with low accuracy.
複数種類のセンサのそれぞれから得られたセンサデータに基づく認識結果をフュージョンして利用する場合、複数種類のセンサのうちの第1センサに対応する認識結果が正解からほど遠い場合、つまり、第1センサに対応する認識結果の精度が低い場合、全体の認識結果に悪影響を及ぼすおそれがある。例えば、第1センサのセンシングデータにノイズが多く含まれる場合、大きなノイズが含まれる場合、第1センサが故障している場合などに、第1センサに対応する認識結果に大きな誤差が含まれることとなる。 When fusion is used for recognition results based on sensor data obtained from each of a plurality of types of sensors, if the recognition result corresponding to the first sensor of the plurality of types of sensors is far from correct, that is, the first sensor If the accuracy of the recognition result corresponding to is low, it may adversely affect the overall recognition result. For example, when the sensing data of the first sensor contains a lot of noise, when the first sensor is out of order, or when the first sensor is out of order, the recognition result corresponding to the first sensor may contain a large error. becomes.
また、第1センサのセンシングデータが精度のよいセンシングデータであるか否かを判断することは難しい。例えば、センシングデータが画像である場合、夜間において撮像された画像であれば、ザラザラしたノイズが含まれる画像であるのか、ザラザラした材質の物体が撮像された画像であるのかを、当該画像の画素値から区別することは難しい。 Moreover, it is difficult to determine whether the sensing data of the first sensor is accurate sensing data. For example, if the sensing data is an image, if it is an image captured at night, it is possible to determine whether the image includes rough noise or an image of an object made of a rough material. difficult to distinguish from the value.
このような問題を解決するために、本開示の一態様に係る情報処理システムは、第1センサからのセンシングデータに基づく物体の認識結果である第1認識結果を取得する第1取得部と、前記第1センサと異なる第2センサからのセンシングデータに基づく物体の認識結果である第2認識結果を取得する第2取得部と、前記第1認識結果および前記第2認識結果の類似度を判定する第1判定を行う第1判定部と、前記第1判定の結果に応じて、前記第1認識結果および前記第2認識結果のフュージョン処理を制御するフュージョン制御部と、前記第1判定の結果に応じて、前記第1認識結果と、前記第2認識結果と、前記第1認識結果および前記第2認識結果がフュージョンされた第3認識結果との少なくとも1つを出力する出力部と、を備える。 In order to solve such problems, an information processing system according to an aspect of the present disclosure includes a first acquisition unit that acquires a first recognition result that is a recognition result of an object based on sensing data from a first sensor; a second acquisition unit that acquires a second recognition result that is a recognition result of an object based on sensing data from a second sensor that is different from the first sensor; and a degree of similarity between the first recognition result and the second recognition result is determined. a first determination unit that performs a first determination; a fusion control unit that controls fusion processing of the first recognition result and the second recognition result according to the result of the first determination; and a result of the first determination an output unit that outputs at least one of the first recognition result, the second recognition result, and a third recognition result obtained by fusion of the first recognition result and the second recognition result, in response to Prepare.
これによれば、第1認識結果および第2認識結果の類似度の判定結果に応じて、第1認識結果および第2認識結果のフュージョン処理を制御し、かつ、第1認識結果、第2認識結果、および、フュージョン処理により得られた第3認識結果の少なくとも1つを出力する。このため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。 According to this, the fusion processing of the first recognition result and the second recognition result is controlled according to the similarity determination result of the first recognition result and the second recognition result, and the first recognition result and the second recognition result are controlled. At least one of the result and the third recognition result obtained by the fusion processing is output. Therefore, it is possible to suppress the deterioration of the recognition result of the object due to the fusion of the recognition result.
また、前記第1認識結果および前記第2認識結果は、物体の位置の認識結果であり、前記類似度は、前記物体の位置に関する類似度であってもよい。 Further, the first recognition result and the second recognition result may be recognition results of positions of objects, and the degree of similarity may be a degree of similarity regarding the positions of the objects.
これによれば、認識した物体の位置の類似度の判定結果に応じて、第1認識結果、第2認識結果および第3認識結果の少なくとも1つを出力するため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。 According to this, at least one of the first recognition result, the second recognition result, and the third recognition result is output according to the determination result of the degree of similarity of the position of the recognized object. Deterioration of recognition results can be suppressed.
また、前記第1認識結果および前記第2認識結果は、物体の属性の認識結果であり、前記類似度は、前記物体の属性の類似度であってもよい。 Further, the first recognition result and the second recognition result may be recognition results of attributes of objects, and the degree of similarity may be the degree of similarity of attributes of the objects.
これによれば、認識した物体の属性の類似度の判定結果に応じて、第1認識結果、第2認識結果および第3認識結果の少なくとも1つを出力するため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。 According to this, at least one of the first recognition result, the second recognition result, and the third recognition result is output according to the determination result of the similarity of the attribute of the recognized object. Deterioration of recognition results can be suppressed.
また、前記第1認識結果および前記第2認識結果は、物体の存在の認識結果であり、前記類似度は、前記物体の数の類似度であってもよい。 Further, the first recognition result and the second recognition result may be recognition results of existence of objects, and the similarity may be similarity of the number of the objects.
これによれば、認識した物体の数の類似度の判定結果に応じて、第1認識結果、第2認識結果および第3認識結果の少なくとも1つを出力するため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。 According to this, at least one of the first recognition result, the second recognition result, and the third recognition result is output according to the similarity determination result of the number of recognized objects. Deterioration of recognition results can be suppressed.
また、さらに、前記第1認識結果の第1評価値と相関がある第1相関情報と、前記第2認識結果の第2評価値と相関がある第2相関情報とを取得する第3取得部を備え、前記フュージョン制御部は、前記第1判定の結果と、取得された前記第1相関情報および前記第2相関情報と、に応じて、フュージョン処理を制御してもよい。 Further, a third obtaining unit for obtaining first correlation information correlated with the first evaluation value of the first recognition result and second correlation information correlated with the second evaluation value of the second recognition result and the fusion control unit may control fusion processing according to a result of the first determination and the acquired first correlation information and second correlation information.
これによれば、第1相関情報および第2相関情報を取得することで、第1認識結果の第1評価値と第2認識結果の第2評価値とを考慮したフュージョン処理を行うことができる。つまり、第1認識結果および第2認識結果の類似度の判定結果と、第1相関情報および第2相関情報とに応じて、フュージョン処理を制御することで、良好な物体の認識結果を得ることができる。 According to this, by obtaining the first correlation information and the second correlation information, it is possible to perform the fusion processing considering the first evaluation value of the first recognition result and the second evaluation value of the second recognition result. . That is, by controlling the fusion processing according to the similarity determination result of the first recognition result and the second recognition result and the first correlation information and the second correlation information, a good object recognition result can be obtained. can be done.
また、前記第1相関情報および前記第2相関情報のそれぞれは、センシング時の前記第1センサおよび前記第2センサが配置されている空間の環境、センシング時の前記第1センサおよび前記第2センサの状態、並びに前記第1センサおよび前記第2センサの仕様の少なくとも1つであってもよい。 Further, the first correlation information and the second correlation information are respectively the environment of the space in which the first sensor and the second sensor are arranged at the time of sensing, the first sensor and the second sensor at the time of sensing, respectively. and specifications of the first sensor and the second sensor.
これによれば、センシング時の第1センサおよび第2センサが配置されている空間の環境、センシング時の第1センサおよび第2センサの状態、および第1センサおよび第2センサの仕様の少なくとも1つを取得することで、第1評価値および第2評価値を考慮したフュージョン処理を容易に行うことができる。 According to this, at least one of the environment of the space where the first sensor and the second sensor are arranged at the time of sensing, the state of the first sensor and the second sensor at the time of sensing, and the specifications of the first sensor and the second sensor By obtaining one, it is possible to easily perform the fusion processing in consideration of the first evaluation value and the second evaluation value.
また、さらに、前記第3認識結果と、前記第1認識結果および前記第2認識結果のそれぞれとの類似度である第1類似度および第2類似度を判定する第2判定を行う第2判定部を備え、前記出力部は、前記第2判定の結果に応じて、前記第1認識結果、前記第2認識結果、および前記第3認識結果の少なくとも1つを出力してもよい。 Further, a second determination is performed to determine a first similarity and a second similarity, which are degrees of similarity between the third recognition result and the first recognition result and the second recognition result, respectively. The output unit may output at least one of the first recognition result, the second recognition result, and the third recognition result according to the result of the second determination.
これによれば、第1類似度および第2類似度に応じて、第1認識結果、第2認識結果および第3認識結果の少なくとも1つを出力するため、良好な物体の認識結果を得ることができる。 According to this, since at least one of the first recognition result, the second recognition result and the third recognition result is output according to the first similarity and the second similarity, a good object recognition result can be obtained. can be done.
また、前記フュージョン制御部は、前記第1認識結果および前記第2認識結果をフュージョン処理するか否かにより、前記フュージョン処理を制御してもよい。 Further, the fusion control section may control the fusion processing depending on whether or not to perform the fusion processing on the first recognition result and the second recognition result.
これによれば、第1判定の結果に応じてフュージョン処理するか否かが制御されるこのため、例えば、第1判定の結果に応じて、フュージョン処理を実行しても認識結果が向上しないと予測される場合に、フュージョン処理をしないことで、認識結果のフュージョンによる物体の認識結果の悪化を確実に防止することができる。 According to this, whether or not to perform the fusion process is controlled according to the result of the first determination. Therefore, for example, if the fusion process is performed according to the result of the first determination, the recognition result does not improve. By not performing the fusion process when it is predicted, it is possible to reliably prevent deterioration of the recognition result of the object due to the fusion of the recognition result.
また、前記フュージョン制御部は、フュージョン処理するフュージョン処理部へ前記第1認識結果又は前記第2認識結果を入力するか否かにより、前記第1認識結果及び前記第2認識結果をフュージョン処理するか否かを制御してもよい。 The fusion control unit determines whether to perform fusion processing on the first recognition result and the second recognition result depending on whether the first recognition result or the second recognition result is input to a fusion processing unit that performs fusion processing. You may control whether or not
これによれば、第1判定の結果に応じてフュージョン処理部への第1認識結果及び第2認識結果の入力が制御される。このため、フュージョン処理部の動作を直接制御できない場合であってもフュージョン処理するか否かを制御することができる。 According to this, the input of the first recognition result and the second recognition result to the fusion processing section is controlled according to the result of the first determination. Therefore, even if the operation of the fusion processing section cannot be directly controlled, it is possible to control whether or not to perform the fusion processing.
また、前記フュージョン制御部は、前記第1認識結果および前記第2認識結果のフュージョン処理のパラメータを調整することにより、前記フュージョン処理を制御してもよい。 Further, the fusion control section may control the fusion processing by adjusting a parameter for the fusion processing of the first recognition result and the second recognition result.
これによれば、第1判定の結果に応じてフュージョン処理のパラメータが調整される。このため、例えば、第1判定の結果に応じて、フュージョン処理を実行しても認識結果が向上しないと予測される場合に、フュージョン処理における重みを小さくすることで、フュージョン処理しつつも認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。 According to this, the parameters of the fusion processing are adjusted according to the result of the first determination. For this reason, for example, when it is predicted that the recognition result will not improve even if the fusion process is executed according to the result of the first determination, the weight in the fusion process is reduced, so that the fusion process is performed while the recognition result is improved. It is possible to suppress the deterioration of the recognition result of the object due to the fusion.
また、本開示の一態様に係る情報処理システムは、第1センサからのセンシングデータに基づく物体の認識結果である第1認識結果を取得する第1取得部と、前記第1センサと異なる第2センサからのセンシングデータに基づく物体の認識結果である第2認識結果を取得する第2取得部と、前記第1認識結果および前記第2認識結果をフュージョン処理するフュージョン処理部と、前記第1認識結果および前記第2認識結果がフュージョン処理された第3認識結果と、前記第1認識結果および前記第2認識結果のそれぞれとの類似度である第1類似度および第2類似度を判定する第2判定を行う第2判定部と、前記第2判定の結果に応じて、前記第1認識結果、前記第2認識結果、および前記第3認識結果の少なくとも1つを出力する出力部と、を備える。 Further, an information processing system according to an aspect of the present disclosure includes a first acquisition unit that acquires a first recognition result that is a recognition result of an object based on sensing data from a first sensor; a second acquisition unit that acquires a second recognition result that is a recognition result of an object based on sensing data from a sensor; a fusion processing unit that performs fusion processing on the first recognition result and the second recognition result; and the first recognition determining a first similarity degree and a second similarity degree, which are degrees of similarity between a third recognition result obtained by fusion processing the result and the second recognition result, and the first recognition result and the second recognition result, respectively; and an output unit that outputs at least one of the first recognition result, the second recognition result, and the third recognition result according to the result of the second determination. Prepare.
これによれば、第1類似度および第2類似度に応じて、第1認識結果、第2認識結果および第3認識結果の少なくとも1つを出力するため、より良好な物体の認識結果を得ることができる。 According to this, since at least one of the first recognition result, the second recognition result and the third recognition result is output according to the first similarity and the second similarity, a better object recognition result can be obtained. be able to.
また、さらに、前記第1センサからのセンシングデータおよび前記第2センサからのセンシングデータのそれぞれに基づいて物体の認識処理を実行し、前記第1認識結果および前記第2認識結果を出力する認識部を備えてもよい。 Further, a recognition unit that executes object recognition processing based on sensing data from the first sensor and sensing data from the second sensor, and outputs the first recognition result and the second recognition result. may be provided.
これによれば、第1センサからのセンシングデータおよび第2センサからのセンシングデータを取得すれば、第1認識結果および第2認識結果を得ることができる。 According to this, the first recognition result and the second recognition result can be obtained by acquiring the sensing data from the first sensor and the sensing data from the second sensor.
なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。 In addition, these general or specific aspects may be realized by a method, an integrated circuit, a computer program, or a recording medium such as a computer-readable CD-ROM. Any combination may be used.
以下、本発明の一態様に係る情報処理システムおよび情報処理方法について、図面を参照しながら具体的に説明する。 Hereinafter, an information processing system and an information processing method according to one aspect of the present invention will be specifically described with reference to the drawings.
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 It should be noted that each of the embodiments described below is a specific example of the present invention. Numerical values, shapes, materials, components, arrangement positions and connection forms of components, steps, order of steps, and the like shown in the following embodiments are examples and are not intended to limit the present invention. In addition, among the constituent elements in the following embodiments, constituent elements that are not described in independent claims representing the highest concept will be described as arbitrary constituent elements.
(実施の形態1)
以下、図1~図5を用いて、実施の形態1を説明する。
(Embodiment 1)
Embodiment 1 will be described below with reference to FIGS. 1 to 5. FIG.
[1-1.構成]
図1は、実施の形態1に係る情報処理システムの外観図を示す図である。
[1-1. Constitution]
FIG. 1 is an external view of an information processing system according to Embodiment 1. FIG.
実施の形態1に係る情報処理システム10は、車両200に配置されているシステムである。情報処理システム10は、図1に示すように、情報処理装置100と、第1センサ201と、第2センサ202とを備える。つまり、車両200には、情報処理装置100と、第1センサ201および第2センサ202とが配置されている。
第1センサ201は、例えば、車両200の前方を撮像する撮像装置である。第1センサ201は、車両200の前方に限らずに、車両200の周囲を撮像すればよく、車両200の左方向、右方向、後方向などを撮像してもよい。第1センサ201により得られたセンシングデータとしての画像は、例えば、車両200の周囲の物体を認識するために利用される。認識された結果は、例えば、車両200の自動運転または運転支援に利用される。
The
第2センサ202は、車両200の周囲の物体までの距離を検出する距離センサである。第2センサ202により検出された距離を示す距離情報は、例えば、自動運転または自動運転支援における当該車両200の位置の推定に用いられる。
The
情報処理装置100は、例えば、第1センサ201により得られたセンシングデータと、第2センサ202により得られたセンシングデータとを用いて、それぞれのセンシングデータに対して認識処理を実行する。そして、情報処理装置100は、第1センサ201により得られたセンシングデータに基づく認識結果である第1認識結果と、第2センサ202により得られたセンシングデータに基づく認識結果である第2認識結果とを用いて、より精度が高い認識結果を出力する。
The
次に、情報処理装置100を備える情報処理システム10のハードウェア構成の具体例について図2を用いて説明する。
Next, a specific example of the hardware configuration of the
図2は、実施の形態1に係る情報処理装置を備える情報処理システムのハードウェア構成の一例を示すブロック図である。 FIG. 2 is a block diagram showing an example of a hardware configuration of an information processing system including the information processing device according to Embodiment 1. As shown in FIG.
図2に示すように、情報処理システム10は、ハードウェア構成として、情報処理装置100と、第1センサ201と、第2センサ202とを備える。情報処理システム10は、さらに、第3センサ203と、運転制御装置300とを備えていてもよい。
As shown in FIG. 2, the
情報処理装置100は、ハードウェア構成として、プロセッサ101と、メインメモリ102と、ストレージ103と、通信IF(Interface)104とを備える。また、情報処理装置100は、例えば、ECU(Electronic Control Unit)であってもよい。
The
プロセッサ101は、ストレージ103等に記憶された制御プログラムを実行するプロセッサである。
The
メインメモリ102は、プロセッサ101が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
The
ストレージ103は、制御プログラム、コンテンツなどを保持する不揮発性の記憶領域である。 The storage 103 is a nonvolatile storage area that holds control programs, contents, and the like.
通信IF104は、CAN(Controller Area Network)などの通信ネットワークを介して第1~第3センサ201~203および運転制御装置300と通信する通信インタフェースである。なお、通信IF104は、有線通信の通信インタフェースに限らずに無線通信の通信インタフェースであってもよい。また、通信IF104は、第1~第3センサ201~203、運転制御装置300などとの通信接続を確立できる通信インタフェースであれば、どのような通信インタフェースであってもよい。また、通信IF104は、インターネットなどの汎用ネットワークまたは専用ネットワークに通信接続可能な通信インタフェースであってもよい。
Communication IF 104 is a communication interface that communicates with first to
第1センサ201は、レンズなどの光学系およびイメージセンサを有する撮像装置、つまり、カメラである。第1センサ201は、情報処理装置100と相互に通信可能に接続されている。第1センサ201は、異なる複数のタイミング、例えば、60fpsで、画像を撮像し、撮像した画像をセンシングデータとして出力する。
The
第2センサ202は、車両200の周囲の物体との距離を検出する距離センサである。第2センサ202は、具体的には、車両200の水平方向において360度全方位、および、垂直方向において所定の角度(例えば30度)の角度範囲の検出範囲にある物体との間の距離を検出する。第2センサ202により検出された距離は、例えば、車両200の周囲の物体を含む地形の3次元形状を生成することに用いられる。第2センサ202は、例えば、LIDAR(Light Detection and Ranging)などのレーザセンサである。第2センサ202は、異なる複数のタイミングでセンシングすることで得られたセンシングデータを出力する。
The
第3センサ203は、例えば、第1センサ201および第2センサ202が配置されている空間に配置され、当該空間の照度を検出する照度センサである。第3センサ203は、例えば、車両200の車内に配置されてもよいし、車両200の車外に配置されていてもよい。第3センサ203は、異なる複数のタイミングでセンシングすることで得られたセンシングデータを出力する。
The
運転制御装置300は、車両200の運転を制御する情報処理装置である。運転制御装置300は、例えば、プロセッサ、メインメモリ、ストレージ、通信IFなどを有する。運転制御装置300は、情報処理装置100と共通の構成で実現されてもよい。つまり、運転制御装置300は、プロセッサ101、メインメモリ102、ストレージ103、および通信IF104で実現されていてもよい。また、運転制御装置300は、例えば、ECUで実現されていてもよく、情報処理装置100がECUで実現されている場合、情報処理装置100を実現するECUで実現されていてもよいし、情報処理装置100を実現するECUとは異なるECUで実現されていてもよい。
The driving
情報処理システム10は、第1~第3センサ201~203の他にも、車両200の3軸方向のそれぞれにおける加速度を検出する加速度センサ、車両200の回転角速度を検出するジャイロセンサなどの各種センサを有していてもよい。また、情報処理システム10は、車両200の現在位置を検出するGNSS(Global Navigation
Satellite System)の受信機を有していてもよい。
In addition to the first to
Satellite System) receiver.
運転制御装置300は、車両200の運転を制御する情報処理装置である。具体的には、運転制御装置300は、車輪の操舵を行うステアリング、車輪を回転駆動させるエンジン、モータなどの動力源、車輪の制動するブレーキなどを制御することで、車両200の自動運転または運転支援を行う。運転制御装置300は、例えば、プロセッサ、メインメモリ、ストレージ、通信IFなどを有する。運転制御装置300は、情報処理装置100と共通の構成で実現されてもよい。つまり、運転制御装置300は、プロセッサ101、メインメモリ102、ストレージ103、および通信IF104で実現されていてもよい。また、運転制御装置300は、例えば、ECUで実現されていてもよく、情報処理装置100がECUで実現されている場合、情報処理装置100を実現するECUで実現されていてもよいし、情報処理装置100を実現するECUとは異なるECUで実現されていてもよい。
The driving
次に、情報処理システム10の機能構成について図3を用いて説明する。
Next, the functional configuration of the
図3は、実施の形態1に係る情報処理システムの機能構成の一例を示すブロック図である。 3 is a block diagram illustrating an example of the functional configuration of the information processing system according to Embodiment 1. FIG.
情報処理システム10は、第1取得部120と、第2取得部130と、第1判定部140と、フュージョン制御部160と、第2判定部170と、出力部180とを備える。情報処理システム10は、さらに第1センサ201を備えていてもよいし、さらに第2センサ202を備えていてもよいし、さらに第3センサ203を備えていてもよいし、さらに認識部110を備えていてもよいし、第3取得部150を備えていてもよい。なお、ここでは、第1~第3センサ201~203の構成の説明は、上述と同様であるので省略する。
The
認識部110は、第1認識部111および第2認識部112を有する。第1認識部111は、第1センサ201からのセンシングデータに基づいて、物体の認識処理(以下、単に認識処理とも称する。)を実行し、当該認識処理の結果として第1認識結果を出力する。ここで、物体の認識は、物体の存在の認識、物体までの距離の認識、物体の属性の認識、物体の大きさの認識、など物体に関する様々な認識を含む。第1認識部111は、第1センサ201が異なる複数のタイミングでセンシングすることにより得られた複数のセンシングデータを取得し、取得した複数のセンシングデータに基づいて認識処理を行う。第1認識部111は、複数のセンシングデータのそれぞれについて認識処理を行ってもよいし、複数のセンシングデータのうちの2以上のセンシングデータからなる複数の組み合わせのそれぞれについて認識処理を行ってもよい。
The
第2認識部112は、第2センサ202からのセンシングデータに基づいて、認識処理を実行し、当該認識処理の結果として第2認識結果を出力する。第2認識部112は、第2センサ202が異なる複数のタイミングでセンシングすることにより得られた複数のセンシングデータを取得し、取得した複数のセンシングデータのそれぞれについて認識処理を行ってもよいし、複数のセンシングデータのうちの2以上のセンシングデータからなる複数の組み合わせのそれぞれについて認識処理を行ってもよい。
The
認識部110により実行される認識処理は、例えば、機械学習モデルを用いた認識処理である。第1認識結果および第2認識結果は、具体的には、物体の認識結果である。また、第1認識結果および第2認識結果は、例えば、物体の位置を認識した結果であってもよいし、物体の属性を認識した結果であってもよいし、物体の数を認識した結果であってもよい。認識部110は、情報処理装置100により実現されていてもよいし、情報処理装置100と通信可能に接続されている情報処理装置100とは異なる情報処理装置により実現されていてもよい。
The recognition processing executed by the
第1取得部120は、第1認識部111から第1認識結果を取得する。第1取得部120は、例えば、プロセッサ101、メインメモリ102、ストレージ103および通信IF104などにより実現される。
The
第2取得部130は、第2認識部112から第2認識結果を取得する。第2取得部130は、例えば、プロセッサ101、メインメモリ102、ストレージ103および通信IF104などにより実現される。
A
第1判定部140は、第1認識結果および第2認識結果の類似度を判定する第1判定を行う。第1判定部140により第1判定の対象となる第1認識結果および第2認識結果は、例えば、第1センサ201および第2センサ202のそれぞれが同一の空間、または、共通する空間を含む空間をセンシングすることにより得られたセンシングデータに基づく認識結果である。つまり、第1判定の対象となる第1認識結果の基になるセンシングデータと、第2認識結果の基になるセンシングデータとは、例えば、互いに同じタイミングで第1センサ201および第2センサ202によりセンシングされたデータである。なお、同じタイミングとは、同じタイミングと見なせるほどの時間差が小さい異なるタイミングであってもよい。第1判定部140は、例えば、プロセッサ101、メインメモリ102およびストレージ103などにより実現される。
The
なお、車両200が移動していない場合には、第1センサ201および第2センサ202がセンシングする空間は変化しないため、第1判定には、互いに同じタイミングで第1センサ201および第2センサ202により得られた2つのセンシングデータに基づく第1認識結果および第2認識結果が用いられなくてもよい。つまり、この場合の第1判定には、互いに異なるタイミングで第1センサ201および第2センサ202により得られた2つのセンシングデータに基づく第1認識結果および第2認識結果が第1判定に用いられてもよい。
Note that when the
類似度の第1の例は、認識した物体の位置に関する類似度であり、より具体的には、認識した物体の位置の類似度、第1センサ201または第2センサ202から認識した物体までの距離の類似度、認識した物体の位置の単位時間当たりの変化量である。なお、認識した物体の位置の単位時間当たりの変化量は、認識した物体の位置の移動速度である。第1判定部140は、例えば、第1認識結果において認識した物体の位置、および、第2認識結果において認識した物体の位置の平均値または中央値と、認識したそれぞれの位置との差が所定の閾値未満であれば、類似度大と判定し、所定の閾値以上であれば類似度小と判定してもよい。同様に、第1判定部140は、物体までの距離の平均値もしくは中央値と、認識したそれぞれの距離との差、または、単位時間当たりの変化量の平均値もしくは中央値と、認識したそれぞれの変化量との差について、所定の閾値未満であるか否かに応じて、類似度の大小を判定してもよい。
A first example of the degree of similarity is the degree of similarity regarding the position of the recognized object. Distance similarity is the amount of change in the position of the recognized object per unit time. The amount of change in the position of the recognized object per unit time is the moving speed of the position of the recognized object. For example, the
類似度の第2の例は、認識した物体の属性の類似度であり、より具体的には、認識した物体の種類、色、大きさ、形状などである。第1判定部140は、例えば、第1認識結果において認識した物体の種類と、第2認識結果において認識した物体の種類とが、予め定められた分類において、同じ分類に属していれば類似度大と判定し、それぞれが異なる分類に属していれば類似度小と判定してもよい。同様に、第1判定部140は、物体の色、または、物体の形状について、予め定められた分類において、同じ分類に属しているか否かに応じて、類似度の大小を判定してもよい。また、第1判定部140は、物体の色を数値化した指標における数値の平均値もしくは中央値と、認識したそれぞれの色の指標における数値との差、または、大きさの平均値もしくは中央値と、認識したそれぞれの大きさとの差について、所定の閾値未満であるか否かに応じて、類似度の大小を判定してもよい。
A second example of the degree of similarity is the degree of similarity of the attribute of the recognized object, more specifically, the type, color, size, shape, etc. of the recognized object. For example, if the type of the object recognized in the first recognition result and the type of the object recognized in the second recognition result belong to the same classification in a predetermined classification, the
類似度の第3の例は、認識した物体の数の類似度である。つまり、認識した物体の数の類似度とは、第1センサ201がセンシングの対象とした空間において認識した物体の数と、第2センサ202がセンシングの対象とした空間において認識した物体の数との類似度である。第1判定部140は、例えば、第1認識結果において認識した物体の数、および、第2認識結果において認識した物体の数の平均値または中央値と、認識したそれぞれの物体の数との差が所定の閾値未満であれば、類似度大と判定し、所定の閾値以上であれば類似度小と判定してもよい。
A third example of similarity is the number of recognized objects. That is, the similarity of the number of recognized objects is the number of objects recognized in the space targeted for sensing by the
なお、所定の閾値は、それぞれの類似度に応じて異なる値が設定されていてもよい。 Note that the predetermined threshold value may be set to a different value according to each degree of similarity.
第3取得部150は、第1認識結果の第1評価値と相関がある第1相関情報と、第2認識結果の第2評価値と相関がある第2相関情報とを取得する。第3取得部150は、第3センサ203から第1相関情報および第2相関情報を取得してもよいし、図示しない外部機器から第1相関情報および第2相関情報を取得してもよい。
The
ここで、第1評価値および第2評価値とは、例えば、正解率、適合率、再現率、F値、誤差、不正解率などである。以下では、第1評価値および第2評価値を含む評価値を認識の精度ともいう。第1相関情報および第2相関情報のそれぞれは、センシング時の第1センサ201および第2センサ202が配置されている空間の環境、センシング時の第1センサ201および第2センサ202の状態、並びに第1センサ201および第2センサ202の仕様の少なくとも1つである。
Here, the first evaluation value and the second evaluation value are, for example, accuracy rate, precision rate, recall rate, F value, error, incorrect answer rate, and the like. Hereinafter, evaluation values including the first evaluation value and the second evaluation value are also referred to as recognition accuracy. Each of the first correlation information and the second correlation information includes the environment of the space where the
空間の環境とは、例えば、当該空間の照度に関する。空間の照度は、第3センサ203により検出される照度であってもよいし、外部機器から得られる天候情報に基づいて予測される照度であってもよいし、現在時刻に基づいて予測される照度であってもよい。空間の照度が第1の照度よりも低い場合、第1センサ201の一例であるカメラにより撮像された画像は、カメラのイメージセンサのノイズレベル以下の画素値の画素が多くなるため、当該画像から物体を精度よく認識することが難しくなる。一方で、空間の照度が第1の照度よりも高い第2の照度より高い場合、カメラにより撮像された画像は、カメラのイメージセンサにより撮像可能な最大値を超えた画素値が多くなるため、当該画像から物体を精度よく認識することが難しくなる。このように、空間の照度は、カメラにより得られるセンシングデータである画像を用いた認識処理の評価値と相関関係にある。このため、空間の照度を、第1認識結果の精度が高いか低いかを判定するために用いてもよい。
The environment of the space relates to the illuminance of the space, for example. The illuminance of the space may be the illuminance detected by the
また、空間の照度は、第2センサ202の一例である距離センサにも影響を与える場合がある。例えば、距離センサに太陽光または太陽光の反射光が入射する場合、つまり、第3の照度よりも高い照度が距離センサの周辺において検出される場合、距離センサにより得られるセンシングデータから物体を精度よく認識することが難しくなる。このため、空間の照度を、第2認識結果の精度が高いか低いかを判定するために用いてもよい。
The illuminance of the space may also affect the distance sensor, which is an example of the
第1センサ201および第2センサ202の状態とは、それぞれのセンサにおける送信部または受信部の汚れ具合、それぞれのセンサが故障しているか否かの状態などである。ここで、送信部とは、距離センサの場合にはレーザなどの光、電波、音波などを照射または発信する部分である。受信部とは、カメラの場合にはカメラの受光部であり、距離センサの場合には照射または発信した光、電波、音波などの反射波を受信する部分である。第1センサ201および第2センサ202の状態が、送信部または受信部が汚れていることを示す場合、汚れている送信部または受信部に対応するセンサによるセンシングデータから得られた認識結果の精度が低いと推測することができる。
The states of the
また、図示していないが、第3取得部150は、第1センサ201から第1センサ201によるセンシングデータに基づく値を第1相関情報として取得してもよい。
Also, although not shown, the
この場合、例えば、第1相関情報は、カメラにおいて撮像された画像の全画素値の分散である。画像の画素値の分散が第1の分散より大きい場合、ノイズが多い画像であると推測できるため、当該画像から物体を精度よく認識することが難しくなる。一方で、画像の画素値の分散が第1の分散より小さい第2の分散より小さい場合、エッジを検出できない、暗すぎて画素値が小さい、霧、雨を撮像していて画素値が一様になると推測できるため、当該画像から物体を精度よく認識することが難しくなる。このように、画像の画素値の分散は、カメラにより得られるセンシングデータである画像を用いた認識処理の評価値と相関関係にある。このため、画像の画素値の分散を、第1認識結果の精度が高いか低いかを判定するために用いてもよい。 In this case, for example, the first correlation information is the variance of all pixel values of the image captured by the camera. If the variance of the pixel values of the image is larger than the first variance, it can be assumed that the image contains a lot of noise, making it difficult to accurately recognize an object from the image. On the other hand, when the variance of the pixel values of the image is smaller than the second variance, which is smaller than the first variance, the edge cannot be detected, the pixel value is too dark and the pixel value is small, or the pixel value is uniform because the image is fog or rain. Therefore, it becomes difficult to accurately recognize an object from the image. In this way, the variance of pixel values of an image is correlated with the evaluation value of recognition processing using an image that is sensing data obtained by a camera. Therefore, the variance of the pixel values of the image may be used to determine whether the accuracy of the first recognition result is high or low.
第1センサ201および第2センサ202の仕様とは、第1センサ201および第2センサ202のそれぞれの性能を示す仕様である。
The specifications of the
第3取得部150は、例えば、プロセッサ101、メインメモリ102、ストレージ103および通信IF104などにより実現される。
The
フュージョン制御部160は、第1判定の結果と、取得された第1相関情報および第2相関情報とに応じて、フュージョン処理を制御する。フュージョン制御部160は、具体的には、(1)第1認識結果および第2認識結果をフュージョン処理する、(2)第1認識結果および第2認識結果をフュージョン処理しない、並びに、(3)第1認識結果および第2認識結果のフュージョン処理のパラメータを調整する、のいずれか1つを行うことで、フュージョン処理を制御する。なお、フュージョン処理のパラメータとは、第1認識結果および第2認識結果のフュージョン処理における重みである。
フュージョン制御部160は、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の少なくとも1つの精度が高いと推定される場合、第1認識結果および第2認識結果をフュージョン処理する。例えば、フュージョン制御部160は、第1認識結果及び第2認識結果をフュージョン処理モジュールに入力し、出力として第3認識結果を得る。また、フュージョン制御部160は、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の精度が低いと推定される場合、第1認識結果および第2認識結果をフュージョン処理しない。例えば、フュージョン制御部160は、第1認識結果及び第2認識結果をフュージョン処理モジュールに入力しない。なお、フュージョン制御部160は、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果のうちの1つの精度が低いと推定される場合、精度が低いと推定される認識結果の重みを、精度が高いと推定される認識結果の重みより小さくするフュージョン処理を行ってもよい。
If the accuracy of at least one of the first recognition result and the second recognition result is estimated to be high according to the first correlation information and the second correlation information,
フュージョン制御部160は、第1認識結果および第2認識結果のフュージョン処理を行うことで得られる第3認識結果を出力する。フュージョン制御部160は、例えば、プロセッサ101、メインメモリ102およびストレージ103などにより実現される。なお、フュージョン制御部160は、自身がフュージョン処理を実行してもよく、フュージョン処理を実行するフュージョン処理モジュールにフュージョン処理を実行させてもよい。フュージョン処理モジュールは、フュージョン制御部160が備えてもよく、フュージョン制御部160の外部に備えられてもよい。
A
ここで、フュージョン制御部160により得られる第3認識結果が第1認識結果または第2認識結果よりも認識精度を向上させる場合がどのような場合であるのかを図4を用いて考える。
Now, let us consider with reference to FIG. 4 how the third recognition result obtained by the
図4は、類似度および認識精度に応じた複数の場合において第3認識結果が精度向上するか否かを示す表である。図4は、第1認識結果および第2認識結果の類似度が大きいか小さいか、第1認識結果および第2認識結果のそれぞれと第3認識結果との2つの類似度の両方が大きいか否か、第1認識結果の認識精度が高いか低いか、並びに、第2認識結果の認識精度が高いか低いかに応じて場合分けしている。 FIG. 4 is a table showing whether or not the accuracy of the third recognition result is improved in a plurality of cases according to similarity and recognition accuracy. FIG. 4 shows whether the degree of similarity between the first recognition result and the second recognition result is large or small, and whether both the degrees of similarity between the first recognition result and the second recognition result and the third recognition result are large. or whether the recognition accuracy of the first recognition result is high or low, and whether the recognition accuracy of the second recognition result is high or low.
図4における認識精度の組み合わせは、第1認識結果の精度、および、第2認識結果の精度の組み合わせを示している。「高・高」は、第1認識結果の精度、および、第2認識結果の精度が共に高い場合を示し、「高・低」は、第1認識結果の精度、および、第2認識結果の精度の一方が高く他方が低い場合を示し、「低・低」は、第1認識結果の精度、および、第2認識結果の精度が判断できない場合を示す。また、図4のおける「類似度大」および「類似度小」は、それぞれ、第1認識結果および第2認識結果の類似度が大である場合、および、当該類似度が小である場合を示す。「類似度大」における「第3認識結果との類似度大」および「第3認識結果との類似度小」は、それぞれ、「類似度大」において、第1認識結果および第2認識結果のそれぞれと第3認識結果との2つの類似度が両方とも大である場合、および、当該2つの類似度の少なくとも1つが小である場合を示す。同様に、「類似度小」における「第3認識結果との類似度大」および「第3認識結果との類似度小」は、それぞれ、「類似度小」において、第1認識結果および第2認識結果のそれぞれと第3認識結果との2つの類似度が両方とも大である場合、および、当該2つの類似度が小である場合を示す。なお、ここでいう2つの類似度は、後述する第1類似度および第2類似度に相当する。 The combination of recognition accuracy in FIG. 4 indicates the combination of the accuracy of the first recognition result and the accuracy of the second recognition result. "High/High" indicates that the accuracy of the first recognition result and the accuracy of the second recognition result are both high, and "High/Low" indicates that the accuracy of the first recognition result and the accuracy of the second recognition result are both high. A case where one of the accuracies is high and the other is low is indicated, and "low/low" indicates a case where the accuracy of the first recognition result and the accuracy of the second recognition result cannot be determined. Also, "high similarity" and "low similarity" in FIG. show. "Large similarity with third recognition result" and "Large similarity with third recognition result" in "Large similarity" A case where two degrees of similarity between each and the third recognition result are both large, and a case where at least one of the two degrees of similarity is small are shown. Similarly, "high similarity with third recognition result" and "low similarity with third recognition result" in "low similarity" correspond to the first recognition result and the second recognition result in "low similarity", respectively. A case where two degrees of similarity between each of the recognition results and the third recognition result are both large and a case where the two degrees of similarity are small are shown. The two degrees of similarity referred to here correspond to a first degree of similarity and a second degree of similarity, which will be described later.
図4に示すように、認識精度の組み合わせが「高・高」である場合には、類似度の大小に関わらず第3認識結果の精度が向上する。例えば、認識精度の組み合わせが「高・高」である場合において、「類似度大」の場合には、第1認識結果および第2認識結果の精度が共に高く、かつ、認識結果の類似度が大きいため、類似する認識結果の精度が互いに高いこととなる。このため、この場合は、互いの認識結果の精度向上に寄与する。また、認識精度の組み合わせが「高・高」である場合において、「類似度小」の場合には、第1認識結果および第2認識結果の精度が共に高く、かつ、認識結果の類似度が小さいため、類似しない、つまり、異なる認識対象の認識結果の精度が互いに高いこととなる。このため、この場合は、互いの認識結果を補完し合う精度向上に寄与する。 As shown in FIG. 4, when the combination of recognition accuracies is "high" and "high", the accuracy of the third recognition result improves regardless of the degree of similarity. For example, when the combination of recognition accuracies is "high" and "high", in the case of "similarity is large", both the accuracy of the first recognition result and the second recognition result are high, and the similarity of the recognition result is Since it is large, the accuracy of similar recognition results is high. Therefore, in this case, it contributes to improving the accuracy of mutual recognition results. Further, when the combination of recognition accuracies is "high/high", in the case of "low similarity", the accuracy of both the first recognition result and the second recognition result is high, and the similarity of the recognition result is Since they are small, they are not similar, that is, the accuracy of the recognition results of different recognition targets is high. Therefore, in this case, it contributes to an improvement in accuracy in which the mutual recognition results are complemented each other.
反対に、認識精度の組合せが「低・低」である場合には、類似度の大小に関わらず第3認識結果の精度が向上したり低下したりする。これは、認識精度の組み合わせが「低・低」である場合においては、第1認識結果の精度も第2認識結果の精度も低いため、組み合わせても必ずしも精度向上または性能補完には寄与しないからである。 Conversely, when the combination of recognition accuracies is "low/low", the accuracy of the third recognition result increases or decreases regardless of the degree of similarity. This is because when the combination of recognition accuracies is "low/low", both the accuracy of the first recognition result and the accuracy of the second recognition result are low, so the combination does not necessarily contribute to accuracy improvement or performance supplementation. is.
そして、認識精度の組合せが「高・低」である場合には、「類似度大」であれば第3認識結果の精度が向上するが、「類似度小」であれば第3認識結果との類似度の大小に応じて第3認識結果の精度が向上または低下する。具体的には、認識精度の組合せが「高・低」である場合、第1認識結果および第2認識結果の類似度が小であっても、フュージョン処理した結果である第3認識結果との間の類似度が大きければ、フュージョン処理した結果との間にずれが小さいためフュージョン処理が効果的に実行されたと考えられる。このため、この場合は、互いの認識結果を補完し合う性能向上に寄与する。一方で、フュージョン処理した結果である第3認識結果との間の類似度が小さければ、フュージョン処理した結果との間にずれが大きいためフュージョン処理が効果的には実行されていないと考えられる。このため、この場合は、フュージョン処理することで精度低下を引き起こす。 When the combination of recognition accuracies is "high/low", the accuracy of the third recognition result is improved if the "similarity is high", but if the "similarity is low", the third recognition result is the same. The accuracy of the third recognition result is improved or lowered according to the degree of similarity between the two. Specifically, when the combination of recognition accuracies is "high" and "low", even if the degree of similarity between the first recognition result and the second recognition result is small, the third recognition result, which is the result of fusion processing, is If the degree of similarity between the images is large, it is considered that the fusion processing was performed effectively because the deviation from the result of the fusion processing is small. Therefore, in this case, the recognition results complement each other, contributing to improvement in performance. On the other hand, if the degree of similarity with the third recognition result, which is the result of the fusion processing, is small, it is considered that the fusion processing has not been executed effectively because the deviation from the result of the fusion processing is large. Therefore, in this case, fusion processing causes a decrease in accuracy.
このように、第1認識結果および第2認識結果の認識精度の高低の組み合わせ、第1認識結果および第2認識結果の類似度の大小、並びに、第1認識結果および第2認識結果のそれぞれと第3認識結果との類似度の大小に応じて、フュージョン処理の結果である第3認識結果の精度または精度を向上させる効果がある場合と、精度または性能を低下させる場合とに分類できる。よって、図4に示した場合を考慮することにより、より効果的にフュージョン処理することができ、精度または性能が低い認識結果を出力することを低減することができる。 In this way, the combination of high and low recognition accuracies of the first recognition result and the second recognition result, the magnitude of the similarity between the first recognition result and the second recognition result, and the first recognition result and the second recognition result, respectively. Depending on the degree of similarity with the third recognition result, it can be classified into cases where the accuracy or accuracy of the third recognition result, which is the result of fusion processing, is improved, and cases where accuracy or performance is reduced. Therefore, by considering the case shown in FIG. 4, fusion processing can be performed more effectively, and the output of recognition results with low accuracy or low performance can be reduced.
第2判定部170は、第3認識結果と、第1認識結果および第2認識結果のそれぞれとの類似度である第1類似度および第2類似度を判定する第2判定を行う。つまり、第2判定部170は、第2判定において、第3認識結果と第1認識結果との類似度である第1類似度を判定し、かつ、第3認識結果と第2認識結果との類似度である第2類似度を判定する。第2判定部170は、例えば、プロセッサ101、メインメモリ102およびストレージ103などにより実現される。
The
出力部180は、第2判定の結果に応じて、第1認識結果、第2認識結果、および第3認識結果の少なくとも1つを出力する。また、出力部180は、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の精度が高いと推定される場合、第1認識結果、第2認識結果、および第3認識結果のうち少なくとも第3認識結果を出力してもよい。
The
また、出力部180は、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が高いと推定される場合において、第1認識結果および第2認識結果の類似度が大きい場合、第1認識結果、第2認識結果、および第3認識結果のうち少なくとも第3認識結果を出力してもよい。また、出力部180は、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が高いと推定される場合において、第1認識結果および第2認識結果の類似度が小さく、かつ、第3認識結果と第1認識結果および第2認識結果のそれぞれとの2つの類似度が両方とも大きい場合、第1認識結果、第2認識結果、および第3認識結果のうち少なくとも第3認識結果を出力してもよい。また、出力部180は、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が高いと推定される場合において、第1認識結果および第2認識結果の類似度が小さく、かつ、第3認識結果と第1認識結果および第2認識結果のそれぞれとの2つの類似度の少なくとも一方が小さい場合、第3認識結果を出力しなくてもよい。なお、出力部180は、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が高いと推定される場合において、第1認識結果、第2認識結果、および第3認識結果のうち少なくとも第3認識結果を出力する場合、第3認識結果と共に、第1認識結果および第2認識結果のうちの精度が高いと推定される認識結果を出力してもよい。
Further,
また、出力部180は、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が低いと推定される場合において、第1認識結果および第2認識結果の少なくとも一方を出力してもよい。
Further,
出力部180は、例えば、プロセッサ101、メインメモリ102、ストレージ103および通信IF104などにより実現される。
The
[1-2.動作]
次に、実施の形態1に係る情報処理システム10の動作について説明する。
[1-2. motion]
Next, operation of the
図5は、実施の形態1に係る情報処理システムにおける情報処理方法の一例を示すフローチャートである。 5 is a flowchart showing an example of an information processing method in the information processing system according to Embodiment 1. FIG.
まず、情報処理システム10では、認識部110の第1認識部111は、第1センサ201からのセンシングデータに基づいて、認識処理を実行し、当該認識処理の結果として第1認識結果を出力する(S11)。
First, in the
そして、第1取得部120は、第1認識部111から第1認識結果を取得する(S12)。
Then, the
一方で、認識部110の第2認識部112は、第2センサ202からのセンシングデータに基づいて、認識処理を実行し、当該認識処理の結果として第2認識結果を出力する(S13)。
On the other hand, the
そして、第2取得部130は、第2認識部112から第2認識結果を取得する(S14)。
Then, the
ステップS11およびS12と、ステップS13およびS14との一方の処理は、他方の処理を実行しているか否かに関わらずに処理を実行する。 One process of steps S11 and S12 and steps S13 and S14 is executed regardless of whether the other process is being executed.
次に、第1判定部140は、第1認識結果および第2認識結果の類似度を判定する第1判定を行う(S15)。
Next, the
第3取得部150は、第1相関情報および第2相関情報を取得する(S16)。なお、ステップS16は、ステップS17より前に行われればよく、ステップS15の後に行われることに限定されるものではない。
The
フュージョン制御部160は、第1判定の結果と、第1相関情報および第2相関情報とに応じて、フュージョン処理を制御する(S17)。
The
第2判定部170は、第3認識結果と、第1認識結果および第2認識結果それぞれとの類似度である第1類似度および第2類似度を判定する第2判定を行う(S18)。
The
出力部180は、第2判定の結果に応じて、第1認識結果、第2認識結果、および第3認識結果の少なくとも1つを出力する(S19)。
The
[1-3.効果など]
本実施の形態に係る情報処理システム10によれば、第1認識結果および第2認識結果の類似度の判定結果に応じて、第1認識結果および第2認識結果のフュージョン処理を制御し、かつ、第1認識結果、第2認識結果、および、フュージョン処理により得られた第3認識結果の少なくとも1つを出力する。このため、精度が低い認識結果を出力することを低減することができる。
[1-3. effects, etc.]
According to the
また、情報処理システム10において、第1認識結果および第2認識結果は、物体の認識結果であり、類似度は、物体の位置に関する類似度である。つまり、情報処理システム10は、認識した物体の位置の類似度の判定結果に応じて、第1認識結果、第2認識結果および第3認識結果の少なくとも1つを出力する。このため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。
Further, in the
また、情報処理システム10において、第1認識結果および第2認識結果は、物体の認識結果であり、類似度は、物体の属性の類似度である。つまり、情報処理システム10は、認識した物体の属性の類似度の判定結果に応じて、第1認識結果、第2認識結果および第3認識結果の少なくとも1つを出力する。このため、認識結果による物体の認識結果の悪化を抑制することができる。
Further, in the
また、情報処理システム10において、第1認識結果および第2認識結果は、物体の認識結果であり、類似度は、物体の数の類似度である。つまり、情報処理システム10は、認識した物体の数の類似度の判定結果に応じて、第1認識結果、第2認識結果および第3認識結果の少なくとも1つを出力する。このため、物体の認識結果の悪化を抑制することができる。
Further, in the
また、情報処理システム10は、第1相関情報および第2相関情報を取得することで、第1認識結果の第1評価値と第2認識結果の第2評価値とを考慮したフュージョン処理を行う。つまり、情報処理システム10は、第1認識結果および第2認識結果の類似度の判定結果と、第1相関情報および第2相関情報とに応じて、フュージョン処理を制御することで、良好な物体の認識結果を得ることができる。
Further, the
また、情報処理システム10は、センシング時の第1センサ201および第2センサ202が配置されている空間の環境、センシング時の第1センサ201および第2センサ202の状態、および第1センサ201および第2センサ202の仕様の少なくとも1つを取得するため、第1評価値および第2評価値を考慮したフュージョン処理を容易に行うことができる。
また、情報処理システム10は、第3認識結果と、第1認識結果および第2認識結果のそれぞれとの類似度である第1類似度および第2類似度を判定する第2判定を行い、第2判定の結果に応じて、第1認識結果、第2認識結果、および第3認識結果の少なくとも1つを出力する。このため、良好な物体の認識結果を得ることができる。
Further, the
また、情報処理システム10は、フュージョン処理の制御として、フュージョン処理をする、フュージョン処理をしない、およびフュージョン処理のパラメータを調整する、のいずれか1つを実行する。このため、例えば、第1判定の結果に応じて、フュージョン処理を実行しても認識結果が向上しないと予測される場合に、フュージョン処理をしないまたはフュージョン処理のパラメータを調整することで、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。
In addition, the
また、情報処理システム10は、第1センサ201からのセンシングデータおよび第2センサ202からのセンシングデータのそれぞれに基づいて認識処理を実行し、第1認識結果および第2認識結果を出力する。このため、情報処理システム10は、第1センサ201からのセンシングデータおよび第2センサ202からのセンシングデータを取得すれば、第1認識結果および第2認識結果を得ることができる。
The
[1-4.変形例]
[1-4-1.変形例1]
上記実施の形態1において、第1相関情報および第2相関情報を取得することで、第1センサ201によるセンシングデータに基づく第1認識結果の精度と、第2センサ202よるセンシングデータに基づく第2認識結果の精度とを推定するとしたが、これに限らない。例えば、認識部110は、第1センサ201および第2センサ202からのそれぞれから複数の異なるタイミングでセンシングされた複数のセンシングデータを取得し、取得した複数のセンシングデータのそれぞれについて、認識処理を行うため、第1認識結果は複数得られ、第2認識結果は複数得られることになる。このため、認識部110は、現在の第1認識結果と前のタイミングでのセンシングデータに基づく第1認識結果とを比較して得られた差が、所定の閾値よりも大きければ、現在の第1認識結果の認識精度が低いと推定してもよい。同様に、認識部110は、現在の第2認識結果と前のタイミングでのセンシングデータに基づく第2認識結果とを比較して得られた差が、所定の閾値よりも大きければ、現在の第2認識結果の認識精度が低いと推定してもよい。この場合、フュージョン制御部160は、第1認識結果の精度、および、第2認識結果の精度を、認識部110から取得して、取得した第1認識結果の精度、および、第2認識結果の精度に応じてフュージョン処理を制御してもよい。
[1-4. Modification]
[1-4-1. Modification 1]
In the first embodiment described above, by acquiring the first correlation information and the second correlation information, the accuracy of the first recognition result based on the sensing data by the
また、例えば、認識部110は、第2センサ202から得られたセンシングデータに基づいて生成したSLAM(Simultaneous Localization and Mapping)と、予め記憶している、または、予め外部機器から取得したADAS(Advanced driver-assistance systems)マップと比較することで、生成したSLAMがADASマップと形状が大きく異なる場合に、第2認識結果の精度が低いと推定してもよい。
Further, for example, the
[1-4-2.変形例2]
上記実施の形態1に係る情報処理システム10では、第2判定部170は、フュージョン処理の後に実行されることとしたが、これに限らない。例えば、第2判定部170は、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が高いと推定される場合であって、第1認識結果および第2認識結果の類似度が小さい場合のみに第2判定を行ってもよい。
[1-4-2. Modification 2]
In the
(実施の形態2)
次に、実施の形態2を説明する。
(Embodiment 2)
Next, Embodiment 2 will be described.
図6は、実施の形態2に係る情報処理システムの機能構成の一例を示すブロック図である。 FIG. 6 is a block diagram showing an example of a functional configuration of an information processing system according to Embodiment 2. As shown in FIG.
情報処理システム10Aは、実施の形態1に係る情報処理システム10と比較して、第2判定部170を備えていない点、および出力部180aの機能が異なる。情報処理システム10Aのその他の構成は、実施の形態1に係る情報処理システム10と同様であるため説明を省略する。
出力部180aは、第1相関情報および第2相関情報に応じて、第1認識結果、第2認識結果、および第3認識結果の少なくとも1つを出力する。出力部180aは、例えば、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の精度が高いと推定される場合、第1認識結果、第2認識結果、および第3認識結果のうち少なくとも第3認識結果を出力してもよい。 Output section 180a outputs at least one of a first recognition result, a second recognition result, and a third recognition result according to the first correlation information and the second correlation information. For example, when the accuracy of the first recognition result and the second recognition result is estimated to be high according to the first correlation information and the second correlation information, output section 180a outputs the first recognition result, the second recognition result, and the At least the third recognition result among the third recognition results may be output.
また、出力部180aは、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が高いと推定される場合において、第1認識結果および第2認識結果の類似度が大きい場合、第1認識結果、第2認識結果、および第3認識結果のうち少なくとも第3認識結果を出力してもよい。また、出力部180aは、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が高いと推定される場合において、第1認識結果および第2認識結果の類似度が小さい場合、第3認識結果を出力しなくてもよい。なお、出力部180aは、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が高いと推定される場合において、第1認識結果、第2認識結果、および第3認識結果のうち少なくとも第3認識結果を出力する場合、第3認識結果と共に、第1認識結果および第2認識結果のうちの精度が高いと推定される認識結果を出力してもよい。 Further, output section 180a outputs the first recognition result and the second recognition result when one of the first recognition result and the second recognition result is estimated to be highly accurate according to the first correlation information and the second correlation information. If the similarity of the results is high, at least the third recognition result among the first recognition result, the second recognition result, and the third recognition result may be output. Further, output section 180a outputs the first recognition result and the second recognition result when one of the first recognition result and the second recognition result is estimated to be highly accurate according to the first correlation information and the second correlation information. If the similarity of the result is small, it is not necessary to output the third recognition result. Output section 180a outputs the first recognition result and the second recognition result when it is estimated that the accuracy of one of the first recognition result and the second recognition result is high according to the first correlation information and the second correlation information. When outputting at least the third recognition result out of the result and the third recognition result, outputting the recognition result estimated to be the most accurate of the first recognition result and the second recognition result together with the third recognition result. good too.
また、出力部180aは、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が低いと推定される場合において、第1認識結果および第2認識結果の少なくとも一方を出力してもよい。 Further, output section 180a outputs the first recognition result and the second recognition result when it is estimated that the accuracy of one of the first recognition result and the second recognition result is low according to the first correlation information and the second correlation information. At least one of the results may be output.
図7は、類似度および認識精度に応じた複数の場合において第3認識結果が性能向上するか否かを示す表である。図7は、第1認識結果および第2認識結果の類似度が大きいか小さいか、第1認識結果の認識精度が高いか低いか、並びに、第2認識結果の認識精度が高いか低いか、に応じて場合分けしている。実施の形態2では、第2判定を行わないため、図7は、図4における第1認識結果および第3認識結果の類似度が大きいか小さいか、第2認識結果および第3認識結果の類似度が大きいか小さいか、が考慮されていない表となる。 FIG. 7 is a table showing whether or not the performance of the third recognition result is improved in a plurality of cases according to similarity and recognition accuracy. FIG. 7 shows whether the similarity between the first recognition result and the second recognition result is large or small, whether the recognition accuracy of the first recognition result is high or low, whether the recognition accuracy of the second recognition result is high or low, It is classified according to the situation. In the second embodiment, since the second determination is not performed, FIG. 7 shows whether the degree of similarity between the first recognition result and the third recognition result in FIG. It becomes a table that does not consider whether the degree is large or small.
よって、図7に示す表の場合、認識精度の組合せが「高・低」である場合には、「類似度大」であれば第3認識結果の性能が向上するが、「類似度小」であれば第3認識結果の性能が低下する。認識精度の組合せが「高・高」である場合、および、「低・低」である場合は、図4の場合と同様であるので説明を省略する。 Therefore, in the case of the table shown in FIG. 7, when the combination of recognition accuracies is "high/low", performance of the third recognition result is improved if "similarity is high", but if "similarity is low", If so, the performance of the third recognition result is degraded. The case where the combination of recognition accuracies is "high/high" and the case where the combination is "low/low" are the same as in the case of FIG. 4, so description thereof will be omitted.
図8は、実施の形態2に係る情報処理システムにおける情報処理方法の一例を示すフローチャートである。 FIG. 8 is a flow chart showing an example of an information processing method in the information processing system according to the second embodiment.
実施の形態2に係る情報処理方法は、実施の形態1に係る情報処理方法と比較して、ステップS18が行われない点、および、出力するステップS19aが異なるため、ステップS19aについて説明する。 The information processing method according to the second embodiment differs from the information processing method according to the first embodiment in that step S18 is not performed and step S19a for outputting is different, so step S19a will be described.
ステップS17が終了すると、出力部180aは、第1相関情報および第2相関情報に応じて、第1認識結果、第2認識結果、および第3認識結果の少なくとも1つを出力する(S19a)。 After step S17 ends, the output unit 180a outputs at least one of the first recognition result, the second recognition result, and the third recognition result according to the first correlation information and the second correlation information (S19a).
実施の形態2のように第2判定を行わない場合であっても、情報処理システム10Aは、第1判定の結果、および、第1相関情報および第2相関情報に応じて、出力する認識結果を選択する。具体的には、情報処理システム10Aは、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が高いと推定される場合において、第1認識結果および第2認識結果の類似度が小さい場合、第3認識結果を出力しない。このため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。
Even if the second determination is not performed as in the second embodiment, the
(実施の形態3)
次に、実施の形態3を説明する。
(Embodiment 3)
Next, Embodiment 3 will be described.
図9は、実施の形態3に係る情報処理システムの機能構成の一例を示すブロック図である。 FIG. 9 is a block diagram showing an example of a functional configuration of an information processing system according to Embodiment 3. As shown in FIG.
情報処理システム10Bは、実施の形態1の情報処理システム10と比較して、第1判定部140を備えていない点と、フュージョン制御部160bおよび出力部180bの機能とが異なる。情報処理システム10Bのその他の構成は、実施の形態1に係る情報処理システム10と同様であるため説明を省略する。
The
フュージョン制御部160bは、認識部110から第1認識結果および第2認識結果を取得し、取得した第1認識結果および第2認識結果をフュージョン処理する。つまり、実施の形態2に係るフュージョン制御部160bは、実施の形態1に係るフュージョン制御部160と比較して、第1判定の結果を考慮せずに、第1認識結果および第2認識結果をフュージョン処理する。
The
出力部180bは、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の精度が高いと推定される場合、第1認識結果、第2認識結果、および第3認識結果のうち少なくとも第3認識結果を出力してもよい。
If the accuracy of the first recognition result and the second recognition result is estimated to be high according to the first correlation information and the second correlation information,
また、出力部180bは、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が高いと推定される場合において、第3認識結果と第1認識結果および第2認識結果のそれぞれとの類似度が大きい場合、第1認識結果、第2認識結果、および第3認識結果のうち少なくとも第3認識結果を出力してもよい。一方で、出力部180bは、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が高いと推定される場合において、第3認識結果と第1認識結果および第2認識結果のそれぞれとの類似度が小さい場合、第3認識結果を出力しなくてもよい。なお、出力部180bは、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が高いと推定される場合において、第1認識結果、第2認識結果、および第3認識結果のうち少なくとも第3認識結果を出力する場合、第3認識結果と共に、第1認識結果および第2認識結果のうちの精度が高いと推定される認識結果を出力してもよい。
Further,
また、出力部180bは、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が低いと推定される場合において、第1認識結果および第2認識結果の少なくとも一方を出力してもよい。
Further,
図10は、類似度および認識精度に応じた複数の場合において第3認識結果が性能向上するか否かを示す表である。図10は、第1認識結果および第2認識結果のそれぞれと第3認識結果との2つの類似度が両方とも大きいか否か、第1認識結果の認識精度が高いか低いか、並びに、第2認識結果の認識精度が高いか低いか、に応じて場合分けしている。実施の形態3では、第1判定を行わないため、図10は、図4における第1認識結果および第2認識結果の類似度が大きいか小さいかが考慮されていない表となる。 FIG. 10 is a table showing whether or not the performance of the third recognition result is improved in a plurality of cases according to similarity and recognition accuracy. FIG. 10 shows whether both the degrees of similarity between the first recognition result and the second recognition result and the third recognition result are large, whether the recognition accuracy of the first recognition result is high or low, 2. Cases are classified according to whether the recognition accuracy of the recognition result is high or low. Since the first determination is not performed in the third embodiment, FIG. 10 is a table that does not consider whether the similarity between the first recognition result and the second recognition result in FIG. 4 is large or small.
よって、図10に示す表の場合、認識精度の組合せが「高・低」である場合には、「第3認識結果との類似度大」であれば第3認識結果の性能が向上するが、「第3認識結果との類似度小」であれば第3認識結果の性能が低下する。認識精度の組合せが「高・高」である場合、および、「低・低」である場合は、図4の場合と同様であるので説明を省略する。 Therefore, in the case of the table shown in FIG. 10, when the combination of recognition accuracy is "high/low", the performance of the third recognition result is improved if "similarity to third recognition result is large". , "similarity to third recognition result is small", the performance of the third recognition result is degraded. The case where the combination of recognition accuracies is "high/high" and the case where the combination is "low/low" are the same as in the case of FIG. 4, so description thereof will be omitted.
図11は、実施の形態3に係る情報処理システムにおける情報処理方法の一例を示すフローチャートである。 11 is a flowchart illustrating an example of an information processing method in an information processing system according to Embodiment 3. FIG.
実施の形態3に係る情報処理方法は、実施の形態1に係る情報処理方法と比較して、ステップS15が行われない点、および、ステップS17bのフュージョン処理が異なるため、ステップS17bについて説明する。 The information processing method according to the third embodiment differs from the information processing method according to the first embodiment in that step S15 is not performed and the fusion processing in step S17b is different, so step S17b will be described.
ステップS16が終了すると、フュージョン制御部160bは、第1認識結果および第2認識結果をフュージョン処理する(S17b)。
When step S16 ends, the
そして、ステップS18が行われ、その後、出力部180bは、第2判定の結果に応じて、第1認識結果、第2認識結果、および第3認識結果の少なくとも1つを出力する(S19b)。
Then, step S18 is performed, after which the
実施の形態3のように第1判定を行わない場合であっても、情報処理システム10Bは、第2判定の結果、および、第1相関情報および第2相関情報に応じて、出力する認識結果を選択する。具体的には、情報処理システム10Bは、第1相関情報および第2相関情報に応じて、第1認識結果および第2認識結果の一方の精度が高いと推定される場合において、第3認識結果と第1認識結果および第2認識結果のそれぞれとの第1類似度および第2類似度が小さい場合、第3認識結果を出力しない。このため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。
Even if the first determination is not performed as in the third embodiment, the
(その他の実施の形態)
上記実施の形態1~3で説明した情報処理システム10、10A、10Bは、車両200に搭載される情報処理システムとしたが、車両200に搭載されることに限らずに、2以上のセンサからのセンシングデータに基づく2種類以上の認識結果をフュージョン処理する構成のあらゆる情報処理システムに適用することができる。
(Other embodiments)
The
また、上記実施の形態1~3で説明した情報処理システム10、10A、10Bは、センシングデータからの認識処理の認識結果を出力すると説明したが、これに限らない。例えば、第3認識結果を出力する、つまり、性能が向上すると判断された第3認識結果を得ることができる場合と、そのときのセンサデータとを対応付けたもの、および、性能が低下すると判断された第3認識結果を得ることができる場合と、そのときのセンサデータとを対応付けたものを学習データとして利用してもよい。
Further, although the
また、例えば、第3認識結果を出力する、つまり、性能が向上すると判断された第3認識結果を得ることができる場合、当該第3認識結果を、アノテーションを付与することに利用してもよい。アノテーションの付与とは、例えば、画像中の認識結果であれば、物体の種類毎に、あるいは特定の種類の物体に、当該画像における当該物体のサイズまたは位置を示す枠などのグラフィックを対応付けることである。 Further, for example, when the third recognition result is output, that is, when the third recognition result determined to improve the performance can be obtained, the third recognition result may be used to add an annotation. . Annotation means, for example, if it is a recognition result in an image, it is to associate a graphic such as a frame indicating the size or position of the object in the image with each type of object or with a specific type of object. be.
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報処理方法などを実現するソフトウェアは、次のようなプログラムである。 In each of the above-described embodiments, each component may be configured by dedicated hardware, or realized by executing a software program suitable for each component. Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor. Here, the software that implements the information processing method and the like of each of the above embodiments is the following program.
すなわち、このプログラムは、コンピュータに、第1センサからのセンシングデータに基づく物体の認識結果である第1認識結果を取得し、前記第1センサと異なる第2センサからのセンシングデータに基づく物体の認識結果である第2認識結果を取得し、前記第1認識結果および前記第2認識結果の類似度を判定する第1判定を行い、前記第1判定の結果に応じて、前記第1認識結果および前記第2認識結果のフュージョン処理を制御し、前記第1判定の結果に応じて、前記第1認識結果と、前記第2認識結果と、前記第1認識結果および前記第2認識結果がフュージョンされた第3認識結果との少なくとも1つを出力する情報処理方法を実行させる。 That is, the program causes the computer to acquire a first recognition result, which is an object recognition result based on sensing data from a first sensor, and recognizes an object based on sensing data from a second sensor different from the first sensor. Acquiring a second recognition result that is a result, performing a first determination to determine the degree of similarity between the first recognition result and the second recognition result, and performing the first recognition result and the second recognition result according to the result of the first determination controlling fusion processing of the second recognition result, and fusion of the first recognition result, the second recognition result, and the first recognition result and the second recognition result according to the result of the first determination; an information processing method for outputting at least one of the third recognition result and the third recognition result.
また、このプログラムは、コンピュータに、第1センサからのセンシングデータに基づく物体の認識結果である第1認識結果を取得し、前記第1センサと異なる第2センサからのセンシングデータに基づく物体の認識結果である第2認識結果を取得し、前記第1認識結果および前記第2認識結果をフュージョンし、前記第1認識結果および前記第2認識結果がフュージョンされた第3認識結果と、前記第1認識結果および前記第2認識結果のそれぞれとの類似度である第1類似度および第2類似度を判定する第2判定を行い、前記第2判定の結果に応じて、前記第1認識結果、前記第2認識結果、および前記第3認識結果の少なくとも1つを出力する情報処理方法を実行させてもよい。 Further, the program causes the computer to obtain a first recognition result, which is an object recognition result based on sensing data from a first sensor, and recognizes an object based on sensing data from a second sensor different from the first sensor. obtaining a second recognition result that is a result, fusing the first recognition result and the second recognition result; performing a second determination for determining a first degree of similarity and a second degree of similarity, which are degrees of similarity between the recognition result and the second recognition result, respectively; An information processing method for outputting at least one of the second recognition result and the third recognition result may be executed.
以上、本発明の一つまたは複数の態様に係る情報処理システムおよび情報処理方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。 The information processing system and information processing method according to one or more aspects of the present invention have been described above based on the embodiments, but the present invention is not limited to these embodiments. As long as it does not depart from the gist of the present invention, one or more modifications of the present embodiment that can be considered by those skilled in the art, or a form constructed by combining the components of different embodiments may be included within the scope of the embodiments.
本開示は、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる情報処理システム、情報処理方法などとして有用である。 INDUSTRIAL APPLICABILITY The present disclosure is useful as an information processing system, an information processing method, and the like capable of suppressing deterioration of object recognition results due to fusion of recognition results.
10、10A、10B 情報処理システム
100 情報処理装置
101 プロセッサ
102 メインメモリ
103 ストレージ
104 通信IF
110 認識部
111 第1認識部
112 第2認識部
120 第1取得部
130 第2取得部
140 第1判定部
150 第3取得部
160、160b フュージョン制御部
170 第2判定部
180、180a、180b 出力部
200 車両
201 第1センサ
202 第2センサ
203 第3センサ
300 運転制御装置
10, 10A, 10B
110
Claims (13)
前記第1センサと異なる第2センサからのセンシングデータに基づく物体の認識結果である第2認識結果を取得する第2取得部と、
前記第1認識結果および前記第2認識結果の類似度を判定する第1判定を行う第1判定部と、
前記第1判定の結果に応じて、前記第1認識結果および前記第2認識結果のフュージョン処理を制御するフュージョン制御部と、
前記第1認識結果および前記第2認識結果がフュージョン処理された第3認識結果と、前記第1認識結果および前記第2認識結果のそれぞれとの類似度である第1類似度および第2類似度を判定する第2判定を行う第2判定部と、
前記第2判定の結果に応じて、前記第1認識結果と、前記第2認識結果と、前記第3認識結果との少なくとも1つを出力する出力部と、
を備える情報処理システム。 a first acquisition unit that acquires a first recognition result that is an object recognition result based on sensing data from a first sensor;
a second acquisition unit that acquires a second recognition result that is an object recognition result based on sensing data from a second sensor different from the first sensor;
a first determination unit that performs a first determination that determines the degree of similarity between the first recognition result and the second recognition result;
a fusion control unit that controls fusion processing of the first recognition result and the second recognition result according to the result of the first determination;
A first degree of similarity and a second degree of similarity, which are degrees of similarity between a third recognition result obtained by fusion processing the first recognition result and the second recognition result, and the first recognition result and the second recognition result, respectively. A second determination unit that performs a second determination that determines
Said No.2According to the determination result, the first recognition result, the second recognition result, the previousdiaryan output unit that outputs at least one of 3 recognition results;
An information processing system comprising
前記類似度は、前記物体の位置に関する類似度である
請求項1に記載の情報処理システム。 the first recognition result and the second recognition result are recognition results of the position of an object;
The information processing system according to claim 1, wherein the degree of similarity is a degree of similarity regarding the position of the object.
前記類似度は、前記物体の属性の類似度である
請求項1または2に記載の情報処理システム。 The first recognition result and the second recognition result are object attribute recognition results,
The information processing system according to claim 1 or 2, wherein the degree of similarity is the degree of similarity of attributes of the objects.
前記類似度は、前記物体の数の類似度である
請求項1から3のいずれか1項に記載の情報処理システム。 the first recognition result and the second recognition result are recognition results of existence of an object;
The information processing system according to any one of claims 1 to 3, wherein the degree of similarity is a degree of similarity in number of the objects.
前記第1認識結果の第1評価値と相関がある第1相関情報と、前記第2認識結果の第2評価値と相関がある第2相関情報とを取得する第3取得部を備え、
前記フュージョン制御部は、前記第1判定の結果と、取得された前記第1相関情報および前記第2相関情報と、に応じて、フュージョン処理を制御する
請求項1から4のいずれか1項に記載の情報処理システム。 moreover,
a third obtaining unit that obtains first correlation information correlated with the first evaluation value of the first recognition result and second correlation information correlated with the second evaluation value of the second recognition result;
5. The fusion control unit according to any one of claims 1 to 4, wherein the fusion control unit controls fusion processing according to the result of the first determination and the acquired first correlation information and second correlation information. Information processing system as described.
請求項5に記載の情報処理システム。 Each of the first correlation information and the second correlation information is the environment of the space in which the first sensor and the second sensor are arranged at the time of sensing, and the state of the first sensor and the second sensor at the time of sensing. , and specifications of the first sensor and the second sensor.
請求項1から6のいずれか1項に記載の情報処理システム。 The information processing system according to any one of claims 1 to 6 , wherein the fusion control unit controls the fusion processing depending on whether or not to perform the fusion processing on the first recognition result and the second recognition result.
請求項7に記載の情報処理システム。 The fusion control unit determines whether to perform fusion processing on the first recognition result and the second recognition result depending on whether the first recognition result or the second recognition result is input to a fusion processing unit that performs fusion processing. The information processing system according to claim 7 , which controls the .
請求項1から6のいずれか1項に記載の情報処理システム。 The information processing system according to any one of claims 1 to 6 , wherein the fusion control unit controls the fusion processing by adjusting a parameter for fusion processing of the first recognition result and the second recognition result. .
前記第1センサと異なる第2センサからのセンシングデータに基づく物体の認識結果である第2認識結果を取得する第2取得部と、
前記第1認識結果および前記第2認識結果をフュージョン処理するフュージョン処理部と、
前記第1認識結果および前記第2認識結果がフュージョン処理された第3認識結果と、前記第1認識結果および前記第2認識結果のそれぞれとの類似度である第1類似度および第2類似度を判定する第2判定を行う第2判定部と、
前記第2判定の結果に応じて、前記第1認識結果、前記第2認識結果、および前記第3認識結果の少なくとも1つを出力する出力部と、
を備える情報処理システム。 a first acquisition unit that acquires a first recognition result that is an object recognition result based on sensing data from a first sensor;
a second acquisition unit that acquires a second recognition result that is an object recognition result based on sensing data from a second sensor different from the first sensor;
a fusion processing unit that performs fusion processing on the first recognition result and the second recognition result;
A first degree of similarity and a second degree of similarity, which are degrees of similarity between a third recognition result obtained by fusion processing the first recognition result and the second recognition result, and the first recognition result and the second recognition result, respectively. A second determination unit that performs a second determination that determines
an output unit that outputs at least one of the first recognition result, the second recognition result, and the third recognition result according to the result of the second determination;
An information processing system comprising
前記第1センサからのセンシングデータおよび前記第2センサからのセンシングデータのそれぞれに基づいて物体の認識処理を実行し、前記第1認識結果および前記第2認識結果を出力する認識部を備える
請求項1から7のいずれか1項に記載の情報処理システム。 moreover,
A recognition unit that executes object recognition processing based on sensing data from the first sensor and sensing data from the second sensor, and outputs the first recognition result and the second recognition result. 8. The information processing system according to any one of 1 to 7 .
前記第1センサと異なる第2センサからのセンシングデータに基づく物体の認識結果である第2認識結果を取得し、
前記第1認識結果および前記第2認識結果の類似度を判定する第1判定を行い、
前記第1判定の結果に応じて、前記第1認識結果および前記第2認識結果のフュージョン処理を制御し、
前記第1認識結果および前記第2認識結果がフュージョン処理された第3認識結果と、前記第1認識結果および前記第2認識結果のそれぞれとの類似度である第1類似度および第2類似度を判定する第2判定を行い、
前記第2判定の結果に応じて、前記第1認識結果と、前記第2認識結果と、前記第3認識結果との少なくとも1つを出力する
情報処理方法。 Acquiring a first recognition result, which is an object recognition result based on sensing data from the first sensor,
Acquiring a second recognition result, which is an object recognition result based on sensing data from a second sensor different from the first sensor,
perform a first determination to determine the degree of similarity between the first recognition result and the second recognition result;
controlling fusion processing of the first recognition result and the second recognition result according to the result of the first determination;
A first degree of similarity and a second degree of similarity, which are degrees of similarity between a third recognition result obtained by fusion processing the first recognition result and the second recognition result, and the first recognition result and the second recognition result, respectively. A second judgment is made to judge the
Said No.2According to the determination result, the first recognition result, the second recognition result, the previousdiaryOutput at least one of 3 recognition results
Information processing methods.
前記第1センサと異なる第2センサからのセンシングデータに基づく物体の認識結果である第2認識結果を取得し、
前記第1認識結果および前記第2認識結果をフュージョンし、
前記第1認識結果および前記第2認識結果がフュージョンされた第3認識結果と、前記第1認識結果および前記第2認識結果のそれぞれとの類似度である第1類似度および第2類似度を判定する第2判定を行い、
前記第2判定の結果に応じて、前記第1認識結果、前記第2認識結果、および前記第3認識結果の少なくとも1つを出力する
情報処理方法。 Acquiring a first recognition result, which is an object recognition result based on sensing data from the first sensor,
Acquiring a second recognition result, which is an object recognition result based on sensing data from a second sensor different from the first sensor,
fusing the first recognition result and the second recognition result;
A first similarity and a second similarity, which are degrees of similarity between a third recognition result obtained by fusion of the first recognition result and the second recognition result, and the first recognition result and the second recognition result, respectively, are calculated. Make a second judgment to judge,
An information processing method, wherein at least one of the first recognition result, the second recognition result, and the third recognition result is output according to the result of the second determination.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19162724.9A EP3547213A1 (en) | 2018-03-27 | 2019-03-14 | Information processing system and information processing method |
US16/360,428 US11017274B2 (en) | 2018-03-27 | 2019-03-21 | Information processing system and information processing method |
CN201910226467.0A CN110309845B (en) | 2018-03-27 | 2019-03-25 | Information processing system and information processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018060087 | 2018-03-27 | ||
JP2018060087 | 2018-03-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019175423A JP2019175423A (en) | 2019-10-10 |
JP7117566B2 true JP7117566B2 (en) | 2022-08-15 |
Family
ID=68167034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018218862A Active JP7117566B2 (en) | 2018-03-27 | 2018-11-22 | Information processing system and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7117566B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220142029A (en) * | 2021-04-14 | 2022-10-21 | 한국해양대학교 산학협력단 | Condition Monitoring Method and Apparatus for Heating Cables |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021174135A (en) * | 2020-04-22 | 2021-11-01 | ソニーセミコンダクタソリューションズ株式会社 | Image recognition device and image recognition method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009019914A (en) | 2007-07-10 | 2009-01-29 | Toyota Motor Corp | Object detecting device |
JP2014006123A (en) | 2012-06-22 | 2014-01-16 | Toyota Motor Corp | Object detection device, information processing device, and object detection method |
JP2015224928A (en) | 2014-05-27 | 2015-12-14 | 株式会社デンソー | Target detector |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2900737B2 (en) * | 1993-02-01 | 1999-06-02 | トヨタ自動車株式会社 | Inter-vehicle distance detection device |
-
2018
- 2018-11-22 JP JP2018218862A patent/JP7117566B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009019914A (en) | 2007-07-10 | 2009-01-29 | Toyota Motor Corp | Object detecting device |
JP2014006123A (en) | 2012-06-22 | 2014-01-16 | Toyota Motor Corp | Object detection device, information processing device, and object detection method |
JP2015224928A (en) | 2014-05-27 | 2015-12-14 | 株式会社デンソー | Target detector |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220142029A (en) * | 2021-04-14 | 2022-10-21 | 한국해양대학교 산학협력단 | Condition Monitoring Method and Apparatus for Heating Cables |
Also Published As
Publication number | Publication date |
---|---|
JP2019175423A (en) | 2019-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7082545B2 (en) | Information processing methods, information processing equipment and programs | |
JP6477882B2 (en) | Self-position estimation apparatus and self-position estimation method | |
US9569673B2 (en) | Method and device for detecting a position of a vehicle on a lane | |
US11157753B2 (en) | Road line detection device and road line detection method | |
US20160098605A1 (en) | Lane boundary line information acquiring device | |
JP6981224B2 (en) | Vehicle controls, methods and programs | |
JP7117566B2 (en) | Information processing system and information processing method | |
CN111856540A (en) | Positioning method and related processing circuit | |
CN111127551A (en) | Target detection method and device | |
CN110309845B (en) | Information processing system and information processing method | |
JP2016042226A (en) | Traffic light detection device and traffic light detection method | |
US11713044B2 (en) | Vehicle for estimation a state of the other vehicle using reference point of the other vehicle, and method of controlling the vehicle | |
US10789727B2 (en) | Information processing apparatus and non-transitory recording medium storing thereon a computer program | |
JP2018073275A (en) | Image recognition device | |
AU2020257038A1 (en) | Camera orientation estimation | |
CN111989541B (en) | Stereo camera device | |
CN109309785B (en) | Imaging control device and imaging control method | |
KR102003387B1 (en) | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program | |
JP7169075B2 (en) | Imaging control device and imaging control method | |
KR102621257B1 (en) | Vehicle and control method thereof | |
US11308637B2 (en) | Distance detection method, distance detection system and computer program product | |
US11538252B2 (en) | Object recognition device | |
JP6048384B2 (en) | Image determination device | |
JP2018194538A (en) | Information processing system and program | |
WO2023017624A1 (en) | Drive device, vehicle, and method for automated driving and/or assisted driving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220616 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7117566 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |