JP2020517015A - ピクチャベースの車両損害査定の方法および装置、ならびに電子デバイス - Google Patents

Abstract

本出願の実施形態は、ピクチャベースの車両損害査定の方法および装置、ならびに電子デバイスを開示する。この方法は、車両損害査定のための処理されることになるピクチャを収集するステップと、処理されることになるピクチャ内の車両構成部分を識別し、処理されることになるピクチャ内の車両構成部分の構成部分領域を判定するステップと、処理されることになるピクチャ内の破損部分および破損タイプを識別するステップと、破損部分および構成部分領域に従って、処理されることになるピクチャ内の破損構成部分を判定し、対応する破損部分および破損タイプを判定するステップと、破損構成部分、破損部分、および破損タイプを含む情報に基づいて、整備計画を生成するステップとを含む。本出願の実施形態によれば、複数の破損部分、および車両構成部分の程度などの特定の情報が高速、正確、かつ確実に検出され得る。損害査定の結果は、より正確かつ信頼になり得る。整備計画に関する情報は、ユーザ体験を大きく改善するように、高速かつ効率的な車両損害査定処理のためにユーザに提供され得る。

Description

本出願は、コンピュータ画像データ処理技術の分野に関し、より詳細には、ピクチャベースの車両損害査定の方法および装置、ならびに電子デバイスに関する。

交通事故が発生するとき、保険会社の請求査定員(claims adjuster)が事故現場に行き、撮影などによって請求根拠を処理して収集するのを待つことが必要なことが多い。近年の自動車所有者の増加に伴い、年間交通事故件数は高水準にある。しかしながら、車両損害査定請求サービス処理は、高いコスト、長い待機期間、および低い処理効率を特徴とする、専門保険職員の人的な現場処理に依存することが多い。

現在、所定の自動車破損部分の所定の分類を取得するために交通事故現場ピクチャが自動的に分析されるいくつかの処理方法が存在する。たとえば、「ANALYSIS METHOD AND SYSTEM FOR VEHICLE INSURANCE CLAIMS SETTLEMENT PHOTOS」と題する公開「第CN105678622A号」を有する発明は、従来の畳込みニューラルネットワーク(CNN:convolutional neural network)を使用して、破損部分の分類を識別し、分析結果に基づいて通知情報を生成するためにモバイル端末によってアップロードされた損害査定処理用の写真を分析するアルゴリズムを開示する。しかしながら、前述の方法は、車の前部、側面、または後部など、車両破損部分の分類を単に判定する。具体的な破損タイプは識別されない。識別された破損部分の通知情報は、主に、保険会社の職員が手作業での損害査定と手作業で比較するために使用され、保険会社の職員が損害査定計算を行うのを支援するための基準情報として使用される。加えて、このアルゴリズムは、CNNの一般的な対象識別アルゴリズムのみを使用する。最終的な車両損害査定の結果は、依然として、手作業による検証に依存する。人材および時間のコストは比較的大きく、様々な保険会社が車両損害査定に対して様々な基準を有する。さらに、人間の主観的要因に影響され、車両損害査定の結果は、非常に異なり、信頼性は比較的低い。

公開第CN105678622A号

本出願は、車両構成部分の破損部分および破損度に関する特定の情報を迅速、正確かつ確実に識別するための、ピクチャベースの車両損害査定の方法および装置、ならびに電子デバイスを提供することを目的とする。損害査定の結果は、より正確かつ確実になり得る。整備計画に関する情報は、ユーザ体験を大きく改善するように、高速かつ効率的な車両損害査定処理のためにユーザに提供され得る。

本出願で提供されるピクチャベースの車両損害査定の方法および装置、ならびに電子デバイスは、以下のように実装される。

ピクチャベースの車両損害査定方法が提供され、この方法は、車両損害査定のための処理されることになるピクチャ(to-be-processed picture)を収集するステップと、構築された構成部分識別モデルを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の車両構成部分を識別し、処理されることになるピクチャ内の車両構成部分の構成部分範囲を判定するステップと、構築された破損識別モデルを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の破損部分および破損タイプを識別するステップと、破損部分および構成部分範囲に従って、処理されることになるピクチャ内の破損構成部分を判定し、破損構成部分の破損部分および破損タイプを判定するステップと、破損構成部分、破損部分、および破損タイプを含む情報に基づいて、整備計画を生成するステップとを含む。

ピクチャベースの車両損害査定装置が提供され、この装置は、車両損害査定のための処理されることになるピクチャを収集するように構成されたピクチャ収集モジュールと、構築された構成部分識別モデルを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の車両構成部分を識別し、処理されることになるピクチャ内の車両構成部分の構成部分範囲を判定するように構成された第1の識別モジュールと、構築された破損識別モデルを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の破損部分および破損タイプを識別するように構成された第2の識別モジュールと、第1の識別モジュールの処理結果および第2の識別モジュールの処理結果に基づいて、処理されることになるピクチャ内の破損構成部分を判定し、破損構成部分の破損部分および破損タイプを判定するように構成された破損計算モジュールと、破損構成部分、破損部分、および破損タイプを含む情報に基づいて、整備計画を生成するように構成された損害査定処理モジュールとを含む。

プロセッサとプロセッサ実行可能命令を記憶するように構成されたメモリとを含む、ピクチャベースの車両損害査定装置が提供され、ここで、命令を実行するとき、プロセッサは、車両損害査定のための処理されることになるピクチャを収集するステップと、構築された構成部分識別アルゴリズムを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の車両構成部分を識別し、処理されることになるピクチャ内の車両構成部分の構成部分領域を判定するステップと、構築された破損識別アルゴリズムを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の破損部分および破損タイプを識別するステップと、破損部分および構成部分領域に従って、処理されることになるピクチャ内の破損構成部分を判定し、破損構成部分の破損部分および破損タイプを判定するステップと、破損構成部分、破損部分、および破損タイプを含む情報に基づいて、整備計画を生成するステップとを実装する。

コンピュータ可読記憶媒体が提供され、ここで、コンピュータ可読記憶媒体は、コンピュータ命令を記憶し、命令が実行されると、以下のステップ、すなわち、車両損害査定のための処理されることになるピクチャを収集するステップと、構築された構成部分識別アルゴリズムを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の車両構成部分を識別し、処理されることになるピクチャ内の車両構成部分の構成部分領域を判定するステップと、構築された破損識別アルゴリズムを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の破損部分および破損タイプを識別するステップと、破損部分および構成部分領域に従って、処理されることになるピクチャ内の破損構成部分を判定し、破損構成部分の破損部分および破損タイプを判定するステップと、破損構成部分、破損部分、および破損タイプを含む情報に基づいて、整備計画を生成するステップとが実装される。

プロセッサと、プロセッサ実行可能命令を記憶するように構成されたメモリとを含む、電子デバイスが提供され、ここで、命令を実行するとき、プロセッサは、車両損害査定のための処理されることになるピクチャを収集するステップと、構築された構成部分識別アルゴリズムを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の車両構成部分を識別し、処理されることになるピクチャ内の車両構成部分の構成部分領域を判定するステップと、構築された破損識別アルゴリズムを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の破損部分および破損タイプを識別するステップと、破損部分および構成部分領域に従って、処理されることになるピクチャ内の破損構成部分を判定し、破損構成部分の破損部分および破損タイプを判定するステップと、破損構成部分、破損部分、および破損タイプを含む情報に基づいて、整備計画を生成するステップとを実装する。

本出願で提供されるピクチャベースの車両損害査定の方法および装置、ならびに電子デバイスによれば、処理されることになるピクチャ内に含まれる破損構成部分が識別され得、次いで、構築された破損識別モデルに基づいて、破損構成部分の破損部分および各破損部分に対応する破損タイプが識別され得る。したがって、車両構成部分の車両損害査定情報が、正確、総合的、かつ確実に取得され得る。さらに、実際的な基準値を備えた、より正確かつ確実な損害査定情報を保険請求オペレータおよび車両所有者ユーザに提供するために、破損構成部分、破損構成部分の破損部分、破損タイプ、および本出願の実施形態における整備方式を含む情報に基づいて、車両に対する整備計画が生成される。本出願の実施形態では、より包括的かつ確実な損害査定情報を迅速に取得するために、1つまたは複数のピクチャ内の1つまたは複数の破損構成部分、破損構成部分内の1つまたは複数の破損部分、および1つまたは複数の破損度が識別され得る。次いで、高速、包括的、正確、かつ確実な車両損害査定処理に対する保険会社または車両所有者ユーザの要件を満たすために、整備計画が自動的に生成され得、車両損害査定処理の結果の精度および信頼性を改善し、ユーザ体験を改善する。

本出願の実施形態における技術的解決策をより明瞭に説明するために、以下は、実施形態を説明するために必要とされる添付の図面について短く紹介する。以下の説明において、添付の図面は、本出願のいくつかの実施形態を単に示し、当業者は、創造的な取組みなしに、これらの添付の図面から他の図面を導出することが可能である。

本出願の一実施形態による、ピクチャベースの車両損害査定方法を示す概略的方法フローチャートである。 本出願の一実施形態による、破損識別モデルのネットワークアーキテクチャを示す概略構造図である。 本出願の一実施形態による、構成部分識別モデルのネットワークアーキテクチャを示す概略図である。 本出願の別の実施形態による、ピクチャベースの車両損害査定方法を示す概略的方法フローチャートである。 本出願の一実施形態による、破損構成部分、破損構成部分の破損部分、および破損タイプを判定する実装プロセスを示す概略図である。 本出願の一実施形態による、ピクチャベースの車両損害査定装置のモデル構造を示す概略図である。 本出願の一実施形態による、電子デバイスを示す概略構造図である。 本出願の一実施形態による、車両損害査定の処理シナリオを示す概略図である。 本開示の一実装形態による、車両損害査定のためのコンピュータ実装方法の一例を示すフローチャートである。

当業者が本出願における技術的解決策をよりよく理解するように、本出願の実施形態における技術的解決策について、本出願の実施形態において添付の図面を参照して以下で明瞭かつ完全に説明する。説明する実施形態は、本出願の実施形態のすべてではなく、そのうちのいくつかに過ぎない。創造的な取組みなしに、本出願の実施形態に基づいて当業者が取得するすべての他の実施形態は、本出願の保護範囲内である。

図1は、本出願の一実施形態によるピクチャベースの車両損害査定方法を示す概略的方法フローチャートである。本出願は、以下の実施形態または添付の図面において示す方法の動作ステップまたは装置の構造を提供する。しかしながら、慣例としてまたは創造的な取組みなしに、この方法は、より多くの動作ステップを含んでよく、もしくは部分的な組合せの後で、より少なく動作ステップを含んでもよく、または装置は、より多くのモジュールユニットを含んでよく、もしくは部分的な組合せの後で、より少ないモジュールユニットを含んでもよい。論理的に必ずしも因果関係を有さないステップまたは構造の場合、これらのステップの実行順序、またはデバイスのモジュール構造は、本出願の実施形態または添付図面において示す実行順序またはモジュール構造に限定されない。方法またはモジュール構造が実際の装置、サーバ、または端末製品に適用されるとき、この方法またはこのモジュール構造は、実施形態または添付の図面において示す方法またはモジュール構造に従って連続的に実行されてよく、または並行して実行されてもよい(たとえば、分散処理またはサーバクラスタリングの実装環境をさらに含む、並列プロセッサまたはマルチスレッド処理の環境)。

現在、実際の交通事故、たとえば、スクラッチ事故が処理されるとき、現場から撤退する前に、保険会社の請求査定員が現場に行き、現場の写真を撮影するのを待つことが通常必要であり、したがって、交通渋滞を引き起こし、長時間浪費し、破損査定結果情報を取得する待機期間が長引くことが多い。しかしながら、本出願の実施形態によれば、交通事故が発生したとき、関与する車両所有者が自らの車両または関与する他の車両所有者の車両の損害または破損の査定状況を知ることを望む場合、その所有者は、事故現場の写真を撮影することができる。事故現場に関する証拠として機能することに加えて、写真は、端末APP(アプリケーション)を通じた自動の車両損害査定および請求状況アクセスのためにさらに使用され得る。したがって、関与する車両所有者ユーザは、車両損害査定処理を迅速、包括的、正確、かつ確実に得ることができる。

明快のために、以下の実施形態は、車両所有者ユーザがモバイル端末APPを使用して車両損害査定サービスを要求する特定の適用例シナリオについて説明する。これらの実施形態の適用例シナリオでは、車両所有者ユーザは、交通事故現場においてモバイル端末(たとえば、モバイルフォン)を使用することによって、破損車両部分および車両全体の写真を撮影することができる。状況によっては、車両所有者ユーザは、車両免許証、ユーザ識別情報などの写真をさらに撮影することができる。その後、車両所有者ユーザは、端末アプリケーションを通じて、撮影した写真(ピクチャ)をアップロードする。車両損害査定のための処理されることになるピクチャを収集した後で、クラウドサーバは、破損構成部分、破損構成部分の1つまたは複数の破損部分、および対応する破損タイプをまず識別することができる。次いで、車両モデル、ロケーション、修理店など、整備方式情報に基づいて、異なる価格データベースを起動し、少なくとも1つの整備計画を最終的に生成するように、ルールエンジンを設計することができる。車両所有者ユーザが車両損害査定の結果を迅速に収集することができるように、整備計画は車両所有者ユーザに戻されてよい。当然、ユーザが保険会社職員である場合、ユーザは、整備計画を保険会社に戻すか、または整備計画の結果を直接的に表示してもよい。しかしながら、本解決策の本質は、車両損害査定の他の実装シナリオ、たとえば、保険会社もしくは修理店の自動の車両損害査定、または公認の販売代理店もしくは他のサーバによって提供される自助の車両損害査定サービスに適用され得ることを当業者は理解されよう。

特定の実施形態が図1に示されている。本出願は、ピクチャベースの車両損害査定の方法の一実施形態を提供する。この方法は、以下のステップを含み得る。

S1。車両損害査定のための処理されることになるピクチャを収集する。

サーバは、クライアントまたはサードパーティサーバ(たとえば、保険会社のサーバ)から車両の処理されることになるピクチャを収集することができる。処理されることになるピクチャは、通常、車両の位置を含む、ユーザによって捕捉されたピクチャ情報を含み、当然、ユーザがアップロードした車両免許証、ユーザ識別情報、および周囲環境(信号灯、標識など)のピクチャ情報を含んでもよい。本実施形態では、処理されることになるピクチャは、概して、紙上の写真、フィルムまたは写真上のピクチャ、TV上のピクチャ、投影機によって投影されたピクチャ、コンピュータスクリーン上のピクチャなどを含み得る、視覚効果を有する画像である、様々なグラフィックスおよび写真を含んでよい。

1つの任意の実施形態では、処理されることになるピクチャのピクチャ品質が所定の処理要件を満たすかどうかがさらに判定され得る。ピクチャ品質が比較的悪い場合、たとえば、ピクチャがあまりにも不鮮明で識別できない場合、構成部分ピクチャは廃棄されてよく、焦点および照明など、鮮明差に影響を及ぼす要因に注意を払うようユーザに催促するためのフィードバックがモバイル端末APPに送られる。ピクチャ品質は、不鮮明度しきい値、情報エントロピー値などに基づいて判定され得る。

S2。構築された構成部分識別モデルを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の車両構成部分を識別し、処理されることになるピクチャ内の車両構成部分の構成部分領域を判定する。

本実施形態のシナリオでは、処理されることになるピクチャを収集した後で、クラウドサーバは、事前に構築された構成部分識別モデルを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内に含まれる車両構成部分を識別することができる。1つの処理されることになるピクチャが1つまたは複数の車両構成部分を含むことが識別された場合、処理されることになるピクチャ内の車両構成部分の位置領域(本明細書で構成部分領域と呼ばれることがある)に関する情報が計算によってさらに判定される。本実施形態で説明する車両構成部分は、概して、フロントバンパー、フロントレフトドア、およびテールランプなど、車両の構成部分を意味する。

本実施形態では、設計された機械学習アルゴリズムを使用することによって、ピクチャ内の車両構成部分を識別するために使用される構成部分識別モデルが事前に構築され得る。サンプルピクチャに対して構成部分識別モデルがトレーニングされた後で、どの車両構成部分が構成部分ピクチャ内に包含されているかが識別され得る。本実施形態では、サンプルピクチャを使用することによって、ディープニューラルネットワークのネットワークモデルまたはバリアント(variant)ネットワークモデルをトレーニングして、構成部分識別モデルを構築することができる。本出願で提供する方法の別の実施形態では、構成部分識別モデルは、完全に接続された層および入力モデルによってトレーニングされた破損サンプルピクチャを参照して、畳込みニューラルネットワーク(CNN)および領域提案ネットワーク(RPN:region proposal network)に基づいて構築され得る。したがって、本出願の方法の別の実施形態では、構成部分識別モデルは以下を含む。

S201。畳込み層および領域提案層のネットワークモデルに基づいており、サンプルデータに基づくトレーニングの後に構築される、ディープニューラルネットワーク。

畳込みニューラルネットワークは、概して、畳込み層(CNN)、および活性化層などの他の構造から主に構成されるニューラルネットワークを指し、ピクチャ識別のために主に使用される。本実施形態で説明するディープニューラルネットワークは、畳込み層と、他の重要な層(入力モデルによってトレーニングされる破損サンプルピクチャ、いくつかの正規化層、および活性化層など)を含んでよく、領域提案ネットワークとともにネットワークを確立する。畳込みニューラルネットワークは、通常、画像処理における2次元離散畳込み動作を人工ニューラルネットワークと組み合わせる。畳込み動作は、自動特徴抽出のために使用され得る。ピクチャ(任意のサイズの)から抽出される特徴(畳込みニューラルネットワークを使用することによって抽出される2次元特徴であり得る)は、領域提案ネットワーク(RPN)に入力されてよく、領域提案ネットワークは、矩形ターゲット提案ボックスのセットを出力する。各ボックスは、1つの対象のスコアを含む。混乱を避けるため、本実施形態では、畳込みニューラルネットワーク(CNN)は、畳込み層(CNN)と呼ばれることがあり、領域提案ネットワーク(RPN)は、領域提案層(RPN)と呼ばれることがある。本出願の他の実施形態では、構成部分識別モデルは、畳込みニューラルネットワークまたは領域提案ネットワークに基づいて改善された修正ネットワークモデルと、サンプルデータトレーニングを通じて構築され生成されるディープ畳込みニューラルネットワークとをさらに含み得る。

前述の実施形態で使用するモデルおよびアルゴリズムは、同じタイプのモデルまたはアルゴリズムであってよい。具体的には、たとえば、Faster R-CNN、YOLO、およびMask-FCNなど、畳込みニューラルネットワークおよび領域提案ネットワークに基づく様々なモデルおよび変形態が構成部分識別モデルに適用され得る。畳込みニューラルネットワーク(CNN)は、ResNet、Inception、VGG、およびそれらの変形態など、任意のCNNモデルを使用し得る。概して、ニューラルネットワーク内の畳込みネットワーク(CNN)部分は、InceptionネットワークおよびResNetネットワークなど、対象識別においてよく機能する成熟したネットワーク構造を使用し得る。たとえば、ResNetネットワークでは、入力がピクチャであるとき、出力は、複数の構成部分領域、ならびにそれらの対応する構成部分分類レベルおよび信頼レベルであり得る(信頼レベルは、本明細書で、識別された車両構成部分の真正性の程度を示すパラメータである)。Faster R-CNN、YOLO、Mask-FCNなどはすべて、畳込み層を含み、本実施形態に適用され得るディープニューラルネットワークである。本実施形態で使用するディープニューラルネットワークは、領域提案層およびCNN層を参照して、処理されることになるピクチャ内の車両構成部分を識別し、処理されることになるピクチャ内の車両構成部分の構成部分領域を判定することができる。

本出願の一実装形態では、構成部分識別モデルを実装して、処理されることになるピクチャを審査し、処理されることになるピクチャ内の車両構成部分を識別するために、別個のアルゴリズムサーバが使用され得ることに留意されたい。たとえば、ユーザがアップロードした、処理されることになるピクチャを収集し、整備計画を出力するためにビジネスサーバがセットアップされる。構築された構成部分識別モデルを記憶し、ビジネスサーバの処理されることになるピクチャを審査して識別し、処理されることになるピクチャ内の車両構成部分を判定するためのアルゴリズムサーバがさらに配設され得る。当然、前述の処理は、同じサーバによって実行されてもよい。

S3。構築された破損識別モデルを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の破損部分および破損タイプを識別する。

処理されることになるピクチャを収集した後で、クラウドサーバは、事前に構築された破損識別モデルを使用することによって、構成部分ピクチャを審査して、処理されることになるピクチャ内の破損部分および破損タイプを識別することができる。本実施形態における破損部分は、概して、車両上の破損した部分を指す。破損車両構成部分は、複数の破損部分を包含し得、各破損部分は、破損タイプ(たとえば、ひどいスクラッチ、軽い変形など)に対応する。本実施形態では、処理されることになるピクチャ内の破損部分の位置領域を識別することができ(位置領域は、破損部分に対応する特定の破損領域のピクチャ領域データと理解され得る破損領域を指すことがあり、または破損領域は、破損部分のエンティティデータ情報として表現される)、破損領域を審査して、破損タイプを識別することができる。本実施形態で説明する破損タイプは、軽いスクラッチ、ひどいスクラッチ、軽い変形、中程度の変形、ひどい変形、破損、および審査のための解体要求を含み得る。

本実施形態では、ピクチャ内に含まれた破損部分および破損タイプを識別するために使用される破損識別モデルは、設計された機械学習アルゴリズムを使用することによって事前に構築され得る。サンプルトレーニングの後で、破損識別モデルは、処理されることになるピクチャ内の1つまたは複数の破損部分および対応する破損タイプを識別することができる。本実施形態では、ディープニューラルネットワークのネットワークモデルまたはバリアントネットワークモデルは、破損識別モデルを構築するために、サンプルに基づいてトレーニングされ得る。本出願で提供する方法の別の実施形態では、破損識別モデルは、完全に接続された層および入力モデルによってトレーニングされた破損サンプルピクチャを参照して、畳込みニューラルネットワーク(CNN)および領域提案ネットワーク(RPN)に基づいて構築され得る。したがって、本出願の方法の別の実施形態では、破損識別モデルは、以下を含む。

S301。畳込み層および領域提案層のネットワークモデルに基づいており、サンプルデータに基づくトレーニングの後に構築される、ディープニューラルネットワーク。

畳込みニューラルネットワークは、概して、畳込み層(CNN)、および活性化層などの他の構造から主に構成されるニューラルネットワークを指し、ピクチャ識別のために主に使用される。本実施形態で説明するディープニューラルネットワークは、畳込み層、および他の重要な層(入力モデルによってトレーニングされる破損サンプルピクチャ、いくつかの正規化層、および活性化層など)を含んでよく、領域提案ネットワーク(RPN)とともにネットワークを確立する。畳込みニューラルネットワークは、通常、画像処理における2次元離散畳込み動作を人工ニューラルネットワークと組み合わせる。畳込み動作は、自動特徴抽出のために使用され得る。ピクチャ(任意のサイズの)から抽出される特徴(畳込みニューラルネットワークを使用することによって抽出される2次元特徴であり得る)は、領域提案ネットワーク(RPN)に入力されてよく、領域提案ネットワークは、矩形ターゲット提案ボックスのセットを出力する。各ボックスは、1つの対象のスコアを含む。同様に、混乱を避けるために、本実施形態では、畳込みニューラルネットワーク(CNN)は、畳込み層(CNN)と呼ばれることがあり、領域提案ネットワーク(RPN)は、領域提案層(RPN)と呼ばれることがある。本出願の他の実施形態では、破損識別モデルは、畳込みニューラルネットワークまたは領域提案ネットワークに基づいて改善された修正ネットワークモデルと、サンプルデータトレーニングを通じて構築され生成されたディープ畳込みニューラルネットワークとをさらに含み得る。

前述の実施形態では、単一の破損サンプルピクチャ内の複数の破損部分は、モデルトレーニングの間に識別され得る。具体的には、サンプルトレーニングの間、入力はピクチャであり、出力は、複数のピクチャ領域および対応する破損タイプである。ニューラルネットワークの選択されたパラメータは、マーキングデータを使用することによって、ミニバッチ勾配降下トレーニングを通じて取得され得る。たとえば、ミニバッチ=32である場合、32個のトレーニングピクチャがトレーニングのために入力される。マーキングデータは、領域および対応するタイプでマーキングされたピクチャである。マーキングデータは、実際の破損車両ピクチャを手作業でマーキングすることによって取得され得る。ニューラルネットワークの出力はピクチャであり、出力領域は、ピクチャ内の破損部分の量に関する。具体的には、たとえば、1つの破損部分が存在する場合、1つのピクチャ領域が出力され、k個の破損部分が存在する場合、K枚のピクチャ領域が出力され、何の破損部分も存在しない場合、何のピクチャ領域も出力されない。

前述の実施形態で使用するモデルおよびアルゴリズムは、同じタイプのモデルまたはアルゴリズムであってよい。具体的には、たとえば、Faster R-CNN、YOLO、およびMask-FCNなど、畳込みニューラルネットワークおよび領域提案ネットワークに基づく様々なモデルおよび変形態が構成部分識別モデルに適用され得る。畳込みニューラルネットワーク(CNN)は、ResNet、Inception、VGG、およびそれらの変形態など、任意のCNNモデルを使用し得る。概して、ニューラルネットワーク内の畳込みネットワーク(CNN)部分は、InceptionネットワークおよびResNetネットワークなど、対象識別においてよく機能する成熟したネットワーク構造を使用し得る。たとえば、ResNetネットワークでは、入力がピクチャであるとき、出力は、破損部分およびその対応する破損分類(破損分類は、破損タイプを判定するために使用される)を含む複数のピクチャ領域、ならびに信頼レベル(信頼レベルは、本明細書において、破損タイプの真正性の程度を示すパラメータである)であり得る。Faster R-CNN、YOLO、Mask-FCNなどはすべて、畳込み層を含み、本実施形態に適用され得るディープニューラルネットワークである。本実施形態で使用するディープニューラルネットワークは、領域提案層およびCNN層に基づいて、破損部分、破損タイプ、および構成部分ピクチャ内の破損部分の位置領域を識別することができる。

本出願の一実装形態では、処理されることになるピクチャを審査し、処理されることになるピクチャ内の破損部分および破損タイプを識別するために、別個のアルゴリズムサーバが使用され得ることに留意されたい。たとえば、ユーザがアップロードした、処理されることになるピクチャを収集し、整備計画を出力するために、ビジネスサーバがセットアップされる。構築された破損識別モデルを記憶し、ビジネスサーバの処理されることになるピクチャを審査して識別し、処理されることになるピクチャ内に含まれる破損部分、破損タイプ、および破損領域などの情報を判定するために、アルゴリズムサーバがさらに配設され得る。当然、処理されることになるピクチャを収集し、破損部分、破損タイプ、および破損領域を識別するステップは、同じサーバによって実行されてもよい。

前述の構成部分識別モデルおよび破損識別モデルでは、複数のタイプのトレーニングデータが使用され得る。一実装形態では、構成部分識別モデルは、マーキングデータを含む構成部分サンプルピクチャを使用することによってトレーニングされるように設定される。構成部分サンプルピクチャは、少なくとも1つの車両構成部分を含む。

破損識別モデルは、破損サンプルピクチャがモデルトレーニングのために入力されるとき、少なくとも1つの破損部分および破損部分に対応する破損タイプを出力するように設定され、処理されることになるピクチャを審査するために破損識別モデルが使用されるとき、破損タイプの真正性の程度に対する信頼レベルを示すデータ情報を出力するように設定される。データトレーニングの間、破損識別モデルの出力はまた、信頼レベルを含まなくてよく、モデルが使用されるとき、モデル出力結果の信頼レベルが存在することになる。

S2における、構成部分識別モデルを使用することによって、車両構成部分を審査するプロセス、ならびにS3における、破損識別モデルを使用することによって、破損部分、破損タイプ、および破損領域を識別するプロセスは、並行して実行され得ることに留意されたい。すなわち、S2およびS3において、処理されることになるピクチャを処理し、ピクチャの処理および計算を実行するために、同じアルゴリズムサーバまたは対応するアルゴリズムサーバが使用され得る。当然、本出願では、S2における車両構成部分を識別するプロセスをまず実行すること、または破損部分を識別するプロセスをまず実行することも実現可能である。図2および図3に示すように、図2は、本出願の一実施形態による、破損識別モデルのネットワークアーキテクチャを示す概略構造図であり、図3は、本出願の一実施形態による、構成部分識別モデルのネットワークアーキテクチャを示す概略図である。実際の端末APPの実装プロセスにおいて、構成部分識別モデルのネットワークモデルアーキテクチャは、破損識別モデルのネットワークモデルアーキテクチャと基本的に同じである。構成部分識別モデルにおいて、破損識別モデル内の破損領域は構成部分領域になり、破損識別モデル内の破損タイプは構成部分タイプになる。本出願の図2および図3に示すネットワークモデル構造に基づいて、ネットワークモデルの他の改善、変形態、または変換がさらに含まれてよい。しかしながら、本出願の実施形態において、構成部分識別モデルまたは破損識別モデルのうちの少なくとも1つは、畳込み層および領域提案層に基づくネットワークモデルである。サンプルデータに基づくトレーニングの後でディープニューラルネットワークを構築する一実装形態は、本出願の実装範囲内であるべきである。

S4。破損部分および構成部分領域に従って、処理されることになるピクチャ内の破損構成部分を判定し、破損構成部分の破損部分および破損タイプを判定する。

処理されることになるピクチャ内に含まれた車両構成部分情報、および処理されることになるピクチャ内の破損部分、破損タイプ、および破損領域に関する情報を取得した後で、車両構成部分内の破損構成部分がさらに識別され得る。本実施形態の一実装形態では、前述の識別プロセスを通じて計算によって取得された構成部分領域および破損領域は、破損構成部分を位置決めするためにさらに分析され得る。具体的には、破損構成部分は、処理されることになるピクチャ内の破損領域および構成部分領域の位置領域に基づいて識別され得る。たとえば、ピクチャP1において、P1において識別された破損領域が、P1において識別された構成部分領域内に含まれる場合(概して、識別された構成部分領域のエリアは破損領域のエリアよりも大きい)、P1において、構成部分領域に対応する車両構成部分は、破損構成部分と見なされ得る。代替として、ピクチャP2において、P2内で識別された破損領域のエリアおよびP2において識別された構成部分領域のエリアが重複を有する場合、P2において、構成部分領域に対応する車両構成部分は、やはり破損構成部分と見なされ得る。したがって、本出願の別の実施形態で提供される特定の実装形態では、破損部分および構成要素領域に従って、処理されることになるピクチャ内の破損構成部分を判定するステップは、以下を含み得る。

S401。構成部分領域範囲内に、破損部分の破損領域が存在するかどうかを問い合わせ、yesである場合、構成部分領域に対応する車両構成部分が破損構成部分であると判定する。

1つの特定の例では、たとえば、ピクチャP内で、車両構成部分は、S2においてフロントレフトドアおよびフロントレフトフェンダーとして識別され、2つの車両構成部分の構成部分領域は、それぞれ、ピクチャP内で、信頼レベル(p1、p2)に対応する(r1、r2)に位置する。S3において、軽いスクラッチ(破損タイプのうちの1つ)がピクチャP内に存在し、ピクチャP内の軽いスクラッチの破損領域はr3であり、軽いスクラッチの信頼レベルはp3であると識別される。ピクチャロケーション領域の対応問題を処理した後で、フロントレフトドアの構成部分領域r1内に軽いスクラッチ領域r3が識別される。したがって、破損構成部分はフロントレフトドアであり、破損構成部分の破損領域はr3であると識別される。単一のピクチャP内の破損構成部分の破損タイプは軽いスクラッチであり、信頼レベルはp1^*p3である。

当然、前述の例に基づいて、フロントレフトフェンダーが破損しているとやはり識別された場合、ピクチャP内の破損構成部分はフロントレフトフェンダーをさらに含むと判定され得、フロントレフトフェンダーの破損部分および破損タイプがやはり計算され得る。

損害査定処理の間、処理されることになるピクチャは、配設された畳込みニューラルネットワークに入力される。複数の破損部分が存在する場合、破損部分を含む複数のピクチャ領域が識別され、ピクチャ領域が審査され、ピクチャ領域の破損タイプが判定され、各ピクチャ領域に対応する破損部分および破損タイプが別々に出力される。さらに、本実施形態では、破損タイプにおいて最高破損度を有する破損タイプに対応する破損部分が破損構成部分の破損部分として選択され得る。したがって、最高破損度を有する破損タイプが破損構成部分の破損タイプと判定される。

S5。破損構成部分、破損部分、および破損タイプを含む情報に基づいて、整備計画を生成する。

本実施形態において、処理されることになるピクチャ内の車両構成部分を識別することによって車両損害査定に関する情報を取得し、破損構成部分を判定し、破損部分および破損タイプなどを識別した後で、その情報に基づいて整備計画が生成され得る。整備計画は、1つの破損構成部分が1つの整備計画に対応する損害査定の結果であってよいか、または車両全体の複数の破損構成部分に関する損害査定の結果であってよい。

本実施形態では、各破損タイプは、1つの整備計画に対応するように設定され得る。たとえば、ひどい変形は構成部分の交換に対応し、軽い変形は金属メッキを必要とし、軽いスクラッチは塗装を必要とする。ユーザにとって、破損構成部分に関する最終的な出力は整備計画であり得る。1つの破損構成部分内に複数の破損部分が存在するとき、最もひどく破損した部分に対する整備解決策を構成部分全体に対する最終的な処理解決策として使用することができる。概して、車両の1つの構成部分が全体として検討される。複数の部分が破損した場合、最もひどく破損した部分に対する処理解決策を適用することは比較的合理的である。本実施形態では、整備計画は、破損構成部分のすべての破損を解決するために選択され得る。たとえば、破損構成部分内で、破損部分の破損タイプはひどい損害であり、破損部分は構成部分の交換を必要とし、別の破損部分の破損タイプは中程度の変形であり、破損部分は金属メッキを必要とする。この場合、金属メッキ処理の代わりに、構成部分の交換処理が選択され得る。

概して、損害査定は、2つの情報、すなわち、破損査定およびコスト査定を含み得ることを理解されたい。本出願の本実施形態では、出力された整備計画が整備コストに関する情報を含まない場合、整備計画は、破損査定部分に分類され得る。整備計画が整備コストに関する情報を含む場合、計算処理が破損査定と価格査定の両方に対して実行されると見なされ得る。したがって、本実施形態で説明する整備計画は、車両損害査定の整備計画の処理結果である。

1つの特定の例では、アルゴリズムサーバが処理されることになるピクチャ内の破損構成部分、破損構成部分の破損部分、および破損タイプを識別した後で、アルゴリズムサーバは、所定の処理ルールに従って、前述の情報に基づいて、車両構成部分の整備計画を生成することができる。たとえば、A1製造業者によって2016年に製造されたB1モデル車両のフロントレフトフェンダーは、軽い変形状態にあり、したがって、金属メッキ処理を必要とする。A2製造業者によって2010年に製造されたB2モデル車両のフロントレフトドアは、ひどいスクラッチを受け、ひどい変形状態にあり、したがって、構成部分の交換処理を必要とする。A3製造業者によって2013年に製造されたB3モデル車両のフロントバンパーは、軽いスクラッチを受け、したがって、塗装を必要とする。フロントレフトランプは審査のために解体が必要である、などである。

本出願の方法の別の実施形態では、車両損害査定におけるコスト情報に対するユーザの要件を満たすために、整備計画は、ユーザが修正コスト情報に関して知り、より適した整備処理様式を選択することができるように、車両構成部分整備に対する推定修正コストに関する情報をさらに含み得る。したがって、ユーザ要件が満たされ、ユーザ体験が改善される。したがって、本出願の方法の別の実施形態では、この方法は、以下を含み得る。

S500。車両構成部分の整備方式に関する情報を収集する。

対応して、整備計画は、整備方式に対応する、推定整備コストをさらに含み得る。推定整備コストは、車両構成部分の破損部分、破損タイプ、および整備方式を含む情報、ならびに整備方式における車両構成部分に対応する製品価格および/または整備方式における車両構成部分に対応する整備サービスに対する価格を含むデータに基づいて計算される、車両構成部分の推定整備コストである。

図4は、本出願の別の実施形態による方法を示す概略的方法フローチャートである。1つの特定の実装形態では、計算ルールは、車両構成部分の車両モデル、車両構成部分に対して選択される整備場所、および車両構成部分に対して選択される修理店(公認販売特約店であるかまたは普通の一般的な修理店であるかにかかわらず)など、整備方式に関する情報に基づいて、異なる価格データベースを起動するように設計され得る。したがって、事前整備処理解決策および対応する推定整備コストを含む、車両構成部分に対する整備計画が生成される。整備方式に関する情報は、ユーザの選択に基づいて判定され得る。たとえば、ユーザは、整備場所(たとえば、都市レベルまたは地域レベルにおける)を選択し、公認販売特約店または一般の修理店を選択し、車両のブランドおよびモデルを入力することができる。次いで、アルゴリズムサーバは、車両構成部分の整備方式、識別された破損部分、および破損タイプに関する情報に従って、以下の整備計画を取得することができる。

A3製造業者によって2013年に製造されたB3モデル車両のフロントバンパーは、軽いスクラッチを受け、したがって、塗装を必要とする。地域の公認販売特約店において推定整備コストは、600RMB(人民元)である。

当然、他の実装形態では、公認販売特約店における作業時間および修理コスト、ならびに破損構成部分、破損タイプ、および破損度など、損害査定処理の経験に従って、従来の自動車保険会社によって準備された情報に基づいて、エンジンモジュールが確立され得る。実際の処理アプリケーションが車両構成部分の破損部分および破損タイプを識別するとき、車両構成部分の損害査定結果を出力するために、エンジンモジュールが起動され得る。

上記で説明した整備方式に関する情報は、修正および置換され得る。たとえば、ユーザは、整備用の公認販売特約店を選択することができる。この場合、選択は、整備方式および整備計画に対応する。ユーザが整備用の一般の修理店に変更する場合、選択は、別の整備方式および別の整備計画に対応する。

本出願は、サンプルに基づいて、破損識別モデルをトレーニングする1つの特定の実装形態をさらに提供する。この特定の方法の別の実施形態では、図5に示すように、破損構成部分、破損構成部分の破損部分、および破損タイプは、以下の様式で判定され得る。

S10。破損部分を含む、処理されることになるピクチャのセットを収集する。

S20。畳込みニューラルネットワークを使用することによって、セット内の処理されることになるピクチャの特徴ベクトルを抽出し、特徴ベクトルに基づいて、同じ車両構成部分に対してピクチャクラスタリング処理を実行し、破損構成部分を判定する。

S30。同じ破損構成部分に属する破損部分を組み合わせ、破損部分の破損クラスタリング特徴データを収集する。

S40。破損クラスタリング特徴データに従って、破損構成部分内に含まれた破損部分および、破損部分に対応する破損タイプを判定する。

1つの特定の例では、任意の識別された破損構成部分pは、1つまたは複数のピクチャ内で識別された、1つまたは複数の破損部分(破損タイプ、位置、および信頼レベルを含む)に対応する。これらのピクチャはクラスタ化される。畳込みネットワークによってピクチャから抽出された特徴ベクトルを使用して、たとえば、Nsにおける畳込みネットワークにおけるモデルトレーニングのために入力された最後の破損サンプルピクチャの出力ベクトルを使用して、ピクチャ距離を計算する。同じクラスタtに属するピクチャ内の破損部分が特徴Ftとして組み合わされる(信頼レベルに基づいて、上位K枚のピクチャが選択され、kは15であってよい)。さらに、クラスタ内の上位C枚の特徴(Ft1、Ft2、…)(Cは5であり得、ピクチャはクラスタ内の重み付けされた破損部分の量に基づいて配置され、重み付けされた値は、破損部分の信頼レベルである)が、マルチクラス勾配ブースティング決定木(GBDT:gradient boosting decision tree)に入力される特徴として選択される。マルチクラス勾配ブースティング決定木(GBDT)モデルは、破損タイプおよび破損度を最終的に出力するために使用される。このGBDTモデルは、マーキングデータを使用することによって、勾配降下トレーニングを通じて取得され得る。

破損ピクチャは、モデルがトレーニングされているときに使用されるサンプルピクチャであり得ることを理解されよう。ユーザの実際の実施において、破損ピクチャは、処理されることになるピクチャであり得る。前述のピクチャクラスタリングは、主に、同じ構成部分を含むピクチャをクラスタリングすることである。クラスタリングの目的は、ほぼ同じ破損構成部分の部分に対して撮影されたピクチャを識別することである。処理されることになるピクチャ内の破損構成部分、対応する破損部分、および対応する破損タイプは、S2およびS3で取得された破損構成部分、破損部分、および破損タイプに基づいて、前述の実装形態において判定される。

さらに、別の実施形態では、同じ破損構成部分に属する破損部分を組み合わせるステップは、以下を含み得る。

ピクチャクラスタ内の同じ破損構成部分に属する処理されることになるピクチャ内で、信頼レベルの降順で、K枚の処理されることになるピクチャ内の破損部分を選択して組み合わせるステップであり、ここで、K≧2である。

組み合わせた後で、上位K個の信頼レベルが処理のために選択される。特に、識別処理の速度は、大量のサンプルピクチャに基づいてトレーニングの間に改善され得る。本実施形態におけるモデルトレーニングの1つの実装シナリオでは、Kは、10から15であってよい。

別の実施形態では、破損部分の破損クラスタリング特徴データを収集するステップは、破損部分の重み付け値の降順で、C枚の処理されることになるピクチャの破損クラスタリング特徴データを、組み合わされたピクチャクラスタから選択するステップを含むことができ、ここで、C≧2であり、重み付け値の重み係数は、破損部分の信頼レベルである。本実施形態におけるモデルトレーニングの1つの実装シナリオでは、Cは、3から5であってよい。

いくつかの他の実施形態では、破損クラスタリング特徴データに従って、破損構成部分内に含まれる破損部分および破損部分に対応する破損タイプを判定するステップは、指定されたマルチクラス勾配ブースティング決定木モデルに対する入力データとして破損クラスタリング特徴データを使用するステップと、破損部分および破損タイプを識別するステップとを含む。

前述の処理されることになるピクチャは、モデルがトレーニングされるときに使用されるサンプルピクチャであり得ることを理解されよう。たとえば、S10において、破損部分を含むトレーニングサンプルピクチャの取得されたセット内で、またはピクチャクラスタ内の同じ破損構成部分に属するトレーニングサンプルピクチャ内で、K枚のトレーニングサンプルピクチャ内の破損部分が信頼レベルの降順で選択され、次いで組み合わされる。モデルトレーニングの実装プロセスについては、処理されることになるピクチャの説明を参照されたい。詳細については、本明細書で再度説明しない。

前述の実装解決策では、損害査定処理の結果の信頼性および精度が改善され得、処理速度がさらに改善され得る。

任意で、ピクチャは、現実感をもって、複数の角度から、かつ複数の照明モデルの形で車両の3次元モデルを描画することによって生成される。一方、ピクチャ内の各車両構成部分の位置が取得される。描画によって生成されるピクチャがトレーニングデータに追加される。トレーニングは、ピクチャおよびマーキングデータに基づいて実行される。したがって、別の実施形態では、構成部分識別モデルまたは破損識別モデルのうちの少なくとも1つによって使用されるトレーニングサンプルピクチャは、コンピュータシミュレーションによって生成される破損車両構成部分の描画によって取得されるピクチャ情報を含み得る。

本出願で提供するピクチャベースの車両損害査定方法によれば、処理されることになるピクチャ内に包含される破損構成部分が識別され得、次いで、構築された破損識別モデルに基づいて、破損構成部分の複数の破損部分および各破損部分に対応する破損タイプが識別され得る。したがって、車両構成部分の車両損害査定情報は、正確、包括的、かつ確実に取得され得る。さらに、実際的な基準値を有する、より正確かつ確実な損害査定情報を保険請求オペレータおよび車両所有者ユーザに提供するために、破損構成部分、破損構成部分の破損部分、破損タイプ、および本出願の実施形態における整備方式を含む情報に基づいて、車両に対する整備計画が生成される。本出願の実施形態では、より包括的かつ正確な損害査定情報を迅速に取得するために、1つまたは複数のピクチャ内の1つまたは複数の破損構成部分、破損構成部分内の1つまたは複数の破損部分、および1つまたは複数の破損度が識別され得る。次いで、高速、包括的、正確、かつ確実な車両損害査定処理に対する保険会社または車両所有者ユーザの要件を満たすために、整備計画が自動的に生成され得、車両損害査定処理の精度および信頼性を改善し、ユーザ体験を改善する。

前述のピクチャベースの車両損害査定方法に基づいて、本出願は、ピクチャベースの車両損害査定装置をさらに提供する。この装置は、本出願の方法を使用する、システム(分散型システムを含む)、ソフトウェア(アプリケーション)、モジュール、構成要素、サーバ、クライアントなどを使用する、必要な実装ハードウェアを含む装置であり得る。同じ発明概念に基づいて、本出願で提供する実施形態の装置について、以下の実施形態で説明する。問題を解決するための装置の1つの実装解決策は、方法の実装解決策と同様である。したがって、本出願の装置の1つの特定の実装形態については、前述の方法の実装形態を参照されたい。詳細については、本明細書で再度説明しない。以下では、「ユニット」または「モジュール」という用語は、所定の機能のソフトウェアおよび/またはハードウェアの組合せを実装し得る。以下の実施形態で説明する装置は、好ましくは、ソフトウェアによって実装されるが、ハードウェアまたはソフトウェアとハードウェアの組合せによって装置を実装することも可能である。具体的には、図6は、本出願の一実施形態による、ピクチャベースの車両損害査定装置のモデル構造を示す概略図である。図6に示すように、この装置は、車両損害査定のための処理されることになるピクチャを収集するように構成され得るピクチャ収集モジュール101と、構築された構成部分識別モデルを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の車両構成部分を識別し、処理されることになるピクチャ内の車両構成部分の構成部分領域を判定するように構成され得る第1の識別モジュール102と、構築された破損識別モデルを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の破損部分および破損タイプを識別するように構成され得る第2の識別モジュール103と、第1の識別モジュール102の処理結果および第2の識別モジュール103の処理結果に基づいて、処理されることになるピクチャ内の破損構成部分を判定し、破損構成部分の破損部分および破損タイプを判定するように構成され得る破損計算モジュール104と、破損構成部分、破損部分、および破損タイプを含む情報に基づいて、整備計画を生成するように構成され得る損害査定処理モジュール105とを含み得る。

前述の方法を参照すると、この装置は、他の実装形態をさらに含み得る。たとえば、破損識別モデルは、畳込み層および領域提案層のネットワークモデルに基づいており、サンプルデータに基づくトレーニングの後で構築される、ディープニューラルネットワークであり得る。代替として、この装置は、整備方式収集モジュールをさらに含んでよく、または損害査定処理モジュール105は、車両構成部分に対する整備方式に関する情報を収集し、推定整備コストを含む整備計画を生成するために直接的に使用され得る。詳細に関しては、前述の方法実施形態における関連説明を参照されたい。詳細については、本明細書で説明しない。

本出願で説明する方法または装置は、コンピュータプログラムおよび必要なハードウェアを通じて実装可能であり、ピクチャベースの車両損害査定の結果を高速かつ確実に出力するためのデバイスのアプリケーションの形で配設され得る。したがって、本出願は、ピクチャベースの車両損害査定装置をさらに提供する。この装置は、サーバ側で使用可能であり、プロセッサと、プロセッサ実行可能命令を記憶するように構成されたメモリとを含み得る。命令を実行するとき、プロセッサは、車両損害査定のための処理されることになるピクチャを収集するステップと、構築された構成部分識別アルゴリズムを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の車両構成部分を識別し、処理されることになるピクチャ内の車両構成部分の構成部分領域を判定するステップと、構築された破損識別アルゴリズムを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の破損部分および破損タイプを識別するステップと、破損部分および構成部分領域に従って、処理されることになるピクチャ内の破損構成部分を判定し、破損構成部分の破損部分および破損タイプを判定するステップと、破損構成部分、破損部分、および破損タイプを含む情報に基づいて、整備計画を生成するステップとを実装する。

実際には、前述の装置は、GPU(グラフィックス処理ユニット)など、他の処理ハードウェアをさらに含み得る。前述の方法の場合、この装置の別の実施形態では、命令を実行するとき、プロセッサは、破損構成部分の整備方式に関する情報を収集するステップをさらに実装し得る。

対応して、整備計画は、整備方式に対応する推定整備コストをさらに含み、ここで、推定整備コストは、破損構成部分、破損部分、破損タイプ、および整備方式を含む情報、ならびに、整備方式における破損構成部分に対応する製品価格および/または整備方式における破損構成部分に対応する整備サービスに対する価格を含むデータに基づいて計算される、破損構成部分の推定整備コストである。

この装置の別の実施形態では、構築された破損識別アルゴリズムに対する命令は、畳込み層および領域提案層のネットワークモデルに基づいており、サンプルデータに基づくトレーニングの後に構築される、ディープニューラルネットワークのアルゴリズム処理命令を含み得る。

この装置の別の実施形態では、命令を実行するとき、プロセッサは、破損構成部分、破損構成部分の破損部分、および破損タイプを以下の様式で判定する:破損部分を含む、処理されることになるピクチャのセットを収集する;畳込みニューラルネットワークを使用することによって、セット内の処理されることになるピクチャの特徴ベクトルを抽出し、特徴ベクトルに基づいて同じ車両構成部分に対してピクチャクラスタリング処理を実行し、破損構成部分を判定する;同じ破損構成部分に属する破損部分を組み合わせ、破損部分の破損クラスタリング特徴データを収集する;破損クラスタリング特徴データに従って、破損構成部分内に含まれる破損部分、および破損部分に対応する破損タイプを判定する。

本出願の本実施形態で提供するピクチャベースの車両損害査定装置は、処理されることになるピクチャ内に含まれる破損構成部分を識別し、次いで、構築された破損識別モデルに基づいて、破損構成部分の複数の破損部分および各破損部分に対応する破損タイプを識別するために使用され得る。したがって、車両構成部分の車両損害査定情報が、正確、包括的、かつ確実に取得され得る。さらに、実際的な基準値を有する、より正確かつ確実な損害査定情報を保険請求オペレータおよび車両所有者ユーザに提供するために、破損構成部分、破損構成部分の破損部分、破損タイプ、および本出願の実施形態における整備方式を含む情報に基づいて、車両に対する整備計画が生成される。本出願の実施形態では、より包括的かつ正確な損害査定情報を迅速に取得するために1つまたは複数のピクチャ内の1つまたは複数の破損構成部分、破損構成部分内の1つまたは複数の破損部分、および1つまたは複数の破損度が識別され得る。次いで、高速、包括的、正確、かつ確実な車両損害査定処理に対する保険会社または車両所有者の要件を満たすために、整備計画が自動的に生成され得、車両損害査定処理の精度および信頼性を改善し、ユーザ体験を改善する。

本出願の前述の実施形態における方法または装置は、サービス論理を実装し、コンピュータプログラムを使用することによって記憶媒体上にサービス論理を記憶することができる。記憶媒体は、本出願の本実施形態で説明する解決策の効果を達成するために、コンピュータによって読み取られて実行され得る。したがって、本出願は、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は、コンピュータ命令を記憶する。命令が実行されるとき、以下のステップが実装される:車両損害査定のための処理されることになるピクチャを収集するステップ;構築された構成部分識別アルゴリズムを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の車両構成部分を識別し、処理されることになるピクチャ内の車両構成部分の構成部分領域を判定するステップ;構築された破損識別アルゴリズムを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の破損部分および破損タイプを識別するステップ;破損部分および構成部分領域に従って、処理されることになるピクチャ内の破損構成部分を判定し、破損構成部分の破損部分および破損タイプを判定するステップ;ならびに、破損構成部分、破損部分、および破損タイプを含む情報に基づいて、整備計画を生成するステップ。

コンピュータ可読記憶媒体は、情報を記憶するための物理装置を含み得る。概して、情報は、デジタル化され、次いで、電気様式、磁気測定様式、光学様式などで媒体内に記憶される。本実施形態で説明するコンピュータ可読記憶媒体は、電気様式で情報を記憶する装置、たとえば、RAMまたはROMなどのメモリ;ハードディスク、フロッピーディスク、磁気テープ、磁気コアメモリ、磁気バブルメモリ、またはUSBフラッシュドライブなどの磁気測定様式で情報を記憶する装置;CDまたはDVDなど、光学様式で情報を記憶する装置を含み得る。当然、さらに、他の形態の可読記憶媒体、たとえば、量子メモリおよびグラフェンメモリが存在する。

前述の装置または方法は、ピクチャベースの車両損害査定の高速処理を実装するために、ピクチャ処理のための電子デバイスに適用され得る。電子デバイスは、スタンドアロンサーバであってよく、もしくは複数のアプリケーションサーバを含むシステムクラスタであってよく、または分散型システム内のサーバであってもよい。図7は、本出願の一実施形態による電子デバイスを示す概略構造図である。一実装形態では、電子デバイスは、プロセッサと、プロセッサ実行可能命令を記憶するように構成されたメモリとを含み得る。命令を実行するとき、プロセッサは、車両損害査定のための処理されることになるピクチャを収集するステップと、構築された構成部分識別アルゴリズムを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の車両構成部分を識別し、処理されることになるピクチャ内の車両構成部分の構成部分領域を判定するステップと、構築された破損識別アルゴリズムを使用することによって、処理されることになるピクチャを審査し、処理されることになるピクチャ内の破損部分および破損タイプを識別するステップと、破損部分および構成部分領域に従って、処理されることになるピクチャ内の破損構成部分を判定し、破損構成部分の破損部分および破損タイプを判定するステップと、破損構成部分、破損部分、および破損タイプを含む情報に基づいて、整備計画を生成するステップとを実装する。

図8は、本出願の一実施形態による、車両損害査定の処理シナリオを示す概略図である。図8のクライアントは、ユーザのモバイル端末である。別の実装シナリオにおけるクライアントは、PCまたは別の端末デバイスであり得る。本出願で提供する、ピクチャベースの車両損害査定の方法および装置、ならびに電子デバイスによれば、破損部分および破損タイプは、ディープラーニング技術を使用することによって識別され、破損部分は、ピクチャ整合方法を使用することによって正確に位置決めされる。したがって、損害査定の精度は、マルチピクチャ識別の結果に基づいて改善され得る。整備計画および推定コストは、ピクチャ識別技術、車両構成部分価格データベース、および整備ルールに基づいて自動的に生成される。本出願のいくつかの実施形態では、整備計画および推定整備コストは、より具体的な車両破損情報、車両構成部分価格データベース、整備処理様式などに基づいて、自動的に生成され得る。したがって、高速、包括的、正確、かつ確実な車両損害査定処理に対する保険会社または車両所有者ユーザの要件を満たすことができ、それにより、車両損害査定処理の結果の精度および信頼性を改善し、ユーザ体験を改善する。

前述の実施形態は、装置、電子デバイス、およびコンピュータ可読記憶媒体の実施形態において説明を提供するが、装置、電子デバイス、およびコンピュータ可読記憶媒体は、関係する方法または装置の実装形態の説明に基づく別の実装形態をさらに含み得ることに留意されたい。詳細に関しては、関係する方法または装置の実施形態の説明を参照されたい。詳細については、本明細書で再度説明しない。

本出願の内容は、データモデル構築、ピクチャ品質処理におけるデータ収集、対話、計算、判定など、畳込みニューラルネットワーク、領域提案ネットワーク、およびそれらの組合せに基づいて生成されるディープニューラルネットワーク、推定整備コストの計算様式、GBDTモデルを通じて破損部分および破損タイプを収集する処理様式などの説明について記述する。しかしながら、本出願は、産業通信規格、標準データモデル、コンピュータ処理および記憶ルール、または本出願の実施形態で説明する状況に準拠しなければならない事例に限定されない。いくつかの産業規格、自己規定様式、または実施形態で説明する実装形態に基づく修正の後で取得される実装解決策は、前述の実施形態と同じ、均等の、同様の、または予想可能な、変形態の実装効果を実装することも可能である。修正形態または改変形態におけるデータ収集様式、記憶様式、判定様式、処理様式などの実施形態は、依然として、本出願の任意の実装解決策の範囲内であり得る。

1990年代、技術の改善は、ハードウェア改善(たとえば、ダイオード、トランジスタ、およびスイッチなどの回路構造の改善)とソフトウェア改善(方法手順の改善)の間で明らかに区別可能であった。しかしながら、技術の発展に伴い、多くの方法手順の改善は、ハードウェア回路構造の直接的な改善と見なされ得る。設計者はほぼすべて、対応するハードウェア回路構造を取得するために、ハードウェア回路に対して改善された方法手順をプログラムする。したがって、方法手順の改善は、ハードウェアエンティティモジュールを使用することによって実装され得ないと言うことはできない。たとえば、プログラマブル論理デバイス(PLD)(たとえば、フィールドプログラマブルゲートアレイ(FPGA))は、集積回路の1つのタイプである。プログラマブル論理デバイスの論理機能は、ユーザが実行する構成部分プログラミングによって判定される。設計者は、チップ製造業者が専用集積回路チップを設計し生産することを必要とせずに、デジタルシステムを単一のPLD内に「統合する」ためにプログラミングを実行する。加えて、集積回路チップを手作業で生産する代わりに、プログラミングは、たいてい、プログラム開発の間に使用されるソフトウェアコンパイラと同様である「論理コンパイラ」ソフトウェアによって実装される。コンパイルの前の元のコードも、ハードウェア記述言語(HDL)と呼ばれる指定されたプログラミング言語で書き込まれる。ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、およびRHDL(Ruby Hardware Description Language)など、1つを超えるタイプのHDLが存在する。現在、VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)およびVerilogが最も一般的に使用されている。方
法手順は、論理的にプログラムされることのみを必要とし、論理方法手順を実装するハードウェア回路が容易に取得され得るように、前述のハードウェア記述言語を使用することによって集積回路にプログラムされることを当業者はやはり理解されたい。

コントローラは、任意の適した様式で実装され得る。たとえば、コントローラは、マイクロプロセッサ、プロセッサ、(マイクロ)プロセッサによって実行され得るコンピュータ可読プログラムコード(たとえば、ソフトウェアまたはファームウェア)を記憶したコンピュータ可読媒体、論理ゲート、スイッチ、特定用途向け集積回路(ASIC)、プログラマブル論理コントローラ、または埋込みマイクロコントローラであり得る。コントローラの例は、限定はしないが、以下のマイクロコントローラを含む:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20、およびSilicone Labs C8051F320。メモリコントローラは、メモリの制御論理の一部として実装されてもよい。コントローラは、純粋なコンピュータ可読プログラムコードの様式で実装されてよく、方法のステップは、コントローラが論理ゲート、スイッチ、特定用途向け集積回路、プログラマブル論理コントローラ、埋込みマイクロコントローラなどの形態で同じ機能をさらに実装することを可能にするように論理的にプログラムされ得ることを当業者はやはり理解している。したがって、コントローラは、ハードウェア構成部分と見なされてよく、コントローラ内に含まれ、様々な機能を実装するように構成された装置は、ハードウェア構成部分の中の構造とも見なされてよい。代替として、様々な機能を実装するように構成された装置は、方法を実装するためのソフトウェアモジュールとハードウェア構成部分内の構造の両方と見なされてよい。

前述の実施形態で説明したシステム、装置、モジュール、またはユニットは、具体的には、コンピュータチップもしくはエンティティによって実装されてよく、または指定された機能を備えた製品によって実装されてもよい。一般的な実装デバイスは、コンピュータである。具体的には、コンピュータは、たとえば、パーソナルコンピュータ、ラップトップコンピュータ、車載ヒューマンマシン対話デバイス、セルラーフォン、カメラフォン、スマートフォン、携帯情報端末、メディアプレーヤー、ナビゲーションデバイス、電子メールデバイス、ゲームコンソール、タブレットコンピュータ、ウェアラブルデバイス、またはこれらのデバイスのいずれかの組合せであり得る。

本出願は方法の動作ステップを実施形態またはフローチャートの形で提供するが、従来型のまたは非創造的な手段に基づいて、より多数またはより少数の動作ステップを含み得る。実施形態で列挙するステップのシーケンスは、複数のステップ実行シーケンスのうちの1つに過ぎず、一意の実行シーケンスを表さない。実際には、装置または端末製品がステップを実行するとき、実行は、一実装形態で示すシーケンスもしくは添付の図面で示す方法で行われてよく、または並行して(たとえば、処理環境で平行して、マルチスレッド処理環境で、および分散型データ処理環境ですら)実行されてよい。「備える」、「含む」という用語、またはそれらの何らかの他の変形態は、非排他的包含を対象とすることを意図し、したがって、要素のリストを含む、プロセス、方法、物品、またはデバイスは、それらの要素のみではなく、明示的に記載されていない他の要素をやはり含むか、またはそのようなプロセス、方法、物品、もしくはデバイスに固有の要素をさらに含む。それ以上の制限が存在しないとき、要素を含む、プロセス、方法、製品、またはデバイス内に別の同じまたは均等の要素が存在することも可能である。

説明を簡単にするために、前述の装置について、機能を様々なモジュールに分割することによって説明する。当然、本出願を実装するとき、各モジュールの機能は、1つもしくは複数のソフトウェアおよび/もしくはハードウェア内で実装されてよく、または同じ機能を実装するモジュールは、複数のサブモジュールもしくはサブユニットの組合せとして実装されてよい。説明する装置実施形態は、単なる例である。たとえば、ユニット分割は、単なる論理的機能分割であり、実際の実装では他の分割であってよい。たとえば、複数のユニットもしくは構成部分を組み合わせもしくは統合して別のシステムにしてもよく、またはいくつかの特徴は無視されてよいか、もしくは実行されなくてもよい。加えて、表示したまたは論じた相互結合または直接的な接合もしくは通信接続は、いくつかのインターフェースを使用して実装されてよい。装置同士の間またはユニット同士の間の間接的な接合または通信接続は、電子形態、機械形態、または他の形態で実装されてよい。

コントローラは、純粋なコンピュータ可読プログラムコードの様式で実装されてよく、方法のステップは、コントローラが、論理ゲート、スイッチ、特定用途向け集積回路、プログラマブル論理コントローラ、埋込みマイクロコントローラなどの形態で同じ機能をさらに実装することを可能にするように論理的にプログラムされてよいことを当業者はやはり認識している。したがって、コントローラは、ハードウェア構成部分と見なされてよく、コントローラ内に含まれ、様々な機能を実装するように構成された装置は、ハードウェア構成部分の中の構造と見なされてもよい。代替として、様々な機能を実装するように構成された装置は、方法を実装するためのソフトウェアモジュールとハードウェア構成部分内の構造の両方と見なされてよい。

本発明について、本発明の実施形態による、方法、デバイス(システム)、およびコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照して説明する。コンピュータプログラム命令は、フローチャートおよび/またはブロック図において各プロセスおよび/または各ブロックを、かつフローチャートおよび/またはブロック図においてプロセスおよび/またはブロックの組合せを実装するために使用され得ることを理解されたい。これらのコンピュータプログラム命令は、任意の他のプログラマブルデータ処理デバイスのコンピュータまたはプロセッサによって実行される命令が、フローチャートにおける1つまたは複数の手順および/またはブロック図における1つまたは複数のブロックにおいて特定の機能を実装するための装置を生成するように、汎用コンピュータ、専用コンピュータ、埋込みプロセッサ、または任意の他のプログラマブルデータ処理デバイスのプロセッサが機械を生成するために提供され得る。

これらのコンピュータプログラム命令は、コンピュータ可読メモリ内に記憶された命令が、命令装置を含むアーティファクトを生成することができるように、特定の様式で動作するようにコンピュータまたは任意の他のプログラマブルデータ処理デバイスに命令し得るコンピュータ可読メモリ内に記憶され得る。命令装置は、フローチャート内の1つもしくは複数の手順および/またはブロック図内の1つもしくは複数のブロックにおいて特定の機能を実装する。

これらのコンピュータプログラム命令は、一連の動作およびステップがコンピュータまたは別のプログラマブルデバイス上で実行され、それにより、コンピュータ実装処理を生成するように、コンピュータまたは別のプログラマブルデータ処理デバイス上にロードされ得る。したがって、コンピュータまたは別のプログラマブルデバイス上で実行される命令は、フローチャート内の1つもしくは複数の手順および/またはブロック図内の1つもしくは複数のブロックにおいて特定の機能を実装するためのステップを提供する。

一般的な構成では、コンピューティングデバイスは、1つまたは複数のプロセッサ(CPU)と、入出力インターフェースと、ネットワークインターフェースと、メモリとを含む。

メモリは、非永続メモリ、ランダムアクセスメモリ(RAM)、不揮発性メモリ、および/またはコンピュータ可読媒体内の別の形態、たとえば、読取り専用メモリ(ROM)もしくはフラッシュメモリ(flash memory)を含み得る。メモリは、コンピュータ可読媒体の一例である。

コンピュータ可読媒体は、任意の方法または技術を使用することによって情報記憶を実装し得る、永続媒体、非永続媒体、可動媒体、および非可動媒体を含む。情報は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータであってよい。コンピュータ記憶媒体の例は、限定はしないが、相変化メモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、別のタイプのランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM)、フラッシュメモリもしくは別のメモリ技術、コンパクトディスク読取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)もしくは他の光記憶装置、カセット磁気テープ、テープおよびディスク記憶装置もしくは別の磁気記憶デバイス、またはコンピューティングデバイスがアクセスし得る情報を記憶するように構成され得る任意の他の非送信媒体を含む。本明細書で定義するように、コンピュータ可読媒体は、被変調データ信号およびキャリアなど、一時的コンピュータ可読媒体(一時的媒体)を含まない。

本出願の実施形態は、方法、システム、またはコンピュータプログラム製品として提供され得ることを当業者は理解されたい。したがって、本出願は、ハードウェア専用実施形態、ソフトウェア専用実施形態、またはソフトウェアとハードウェアの組合せによる実施形態の形態を使用し得る。加えて、本出願は、コンピュータ使用可能プログラムコードを含む(限定はしないが、ディスクメモリ、CD-ROM、光メモリなどを含む)1つまたは複数のコンピュータ使用可能記憶媒体上で実装されるコンピュータプログラム製品の形態を使用し得る。

本出願について、コンピュータによって実行されるコンピュータ実行可能命令、たとえば、プログラムモジュールの一般的な文脈で説明することがある。概して、プログラムモジュールは、特定のタスクを実行するためのまたは特定の抽象データタイプを実装するための、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。本出願は、通信ネットワークを使用することによって接続されるリモート処理デバイスによってタスクが実行される、分散型コンピューティング環境で実施されることも可能である。分散型コンピューティング環境では、プログラムモジュールは、記憶デバイスを含む、ローカルコンピュータ記憶媒体およびリモートコンピュータ記憶媒体内に位置し得る。

本明細書における実施形態はすべて、順次様式で説明され、実施形態における同じまたは同様の部分は、互いを参照することがあり、各実施形態は、他の実施形態との差異に焦点を当てる。特に、システム実施形態は方法実施形態と同様であるため、したがって、短く説明され、関連する部分に関しては、方法実施形態の部分的な説明を参照することがある。本明細書の説明において、「一実施形態」、「いくつかの実施形態」、「例」、「特定の例」、および「いくつかの例」などの参照用語は、実施形態または例を参照して説明する特定の特徴、構造、材料、または特徴が、本出願中の少なくとも1つの実施形態または例の中に含まれることを意味する。本明細書において、前述の用語は、必ずしも同じ実施形態または例に関して説明されるとは限らない。加えて、説明する特定の特徴、構造、材料、または特性は、任意の1つまたは複数の実施形態または例の中に適した様式で組み合わされてよい。さらに、当業者は、相互に矛盾せずに、本明細書で説明する異なる実施形態または例、および異なる実施形態または例の特徴を組み合わせることができる。

前述の説明は、本出願の実施形態に過ぎず、本出願を限定することを意味しない。当業者にとって、本出願は、様々な変更および変形態を有し得る。本出願の趣旨および原理内で実装される、いずれの修正、同等の置換、および改良も、本出願の特許請求の範囲内に入るものとする。

図9は、本開示の一実装形態による、車両損害査定を生成するためのコンピュータ実装方法900の一例を示すフローチャートである。提示を明快にするために、以下の説明は、概して、本説明における他の図面の文脈で方法900について説明する。しかしながら、方法900は、適宜に、たとえば、任意のシステム、環境、ソフトウェア、およびハードウェア、またはシステム、環境、ソフトウェア、およびハードウェアの組合せによって実行され得ることを理解されよう。いくつかの実装形態では、方法900の様々なステップは、平行して、組み合わせて、ループで、または任意の順序で実行されてよい。

902において、車両破損データを受信する。車両は、自動車、トラック、ボート、電車、ヘリコプター、および/または飛行機など、任意のタイプの自家用車または公用車を含み得る。いくつかの実装形態では、車両破損データは、車両運転手または車両所有者など、ユーザから受信される。車両運転手は、損害または破損の査定状態に関する情報を受信するために破損車両に関連する事故現場においてモバイルデバイス(モバイルフォンなど)を使用することによって、車両の破損ロケーションの1つまたは複数の画像(または、画像)を撮影することができる。車両運転手は、画像を直接アップロードするか、または画像をアップロードするために画像を車両所有者に送信することができる。たとえば、ユーザは、収集された画像をアップロードするために車両整備をサポートするように構成されたアプリケーションにアクセスすることができる。アプリケーションは、送信データ量を最小限に抑えて、帯域幅要件を最小限に抑えるために画像を自動的に処理するように構成され得る。画像処理は、画像をフィルタリングして、破損識別に無関係である特徴(たとえば、背景特徴)を削除することを含み得る。画像処理は、送信帯域幅要件を最小限に抑えるために、グレースケール画像に変換することを含み得る。画像処理は、送信帯域幅要件を最小限に抑えるために所定のファイルサイズに圧縮することを含み得る。画像に加えて、ユーザは、ユーザ識別子(たとえば、名前およびパスワード)ならびにアップロードされる画像に関連するデータを提供することができる。データは、破損自動車部品(たとえば、車両のフロントバンパー、レフトフロントドア、またはテールライト)、車両所有者、保険情報、破損車両に関連する他の関係者の保険情報、事故状態、事故のロケーションおよび時間の指示を含み得る。902から、方法900は904に進む。

904において、車両破損データを処理して、データ品質は容認でき、十分なものであるかどうかを判定する。画像品質は、不鮮明度しきい値または情報エントロピー値など、品質判定アルゴリズムに基づいて判定され得る。悪い画像品質は、車両損害査定に対する関連情報の抽出を妨げる可能性がある。車両破損データが品質しきい値に満たない場合、または車両破損データの部分が欠落している場合、904から、方法900は906に進む。

906において、ユーザは追加の車両破損データを要求される。たとえば、画像処理を可能にする特定の規格に準拠する追加の画像を提供するようにユーザに命令することができる。いくつかの実装形態では、アップロードされた画像に関連する追加のデータを提供するようにユーザに命令することができる。906から、方法900は902に戻る。車両破損データが品質しきい値を超える場合、904から、方法900は908に進む。

908において、受信された車両破損データはユーザ識別子に基づいてユーザ情報を取り出すのに使用され、車両画像とともに処理されて、構成部分領域を判定する。車両画像は、1つまたは複数の画像パース技法およびパターンマッチング技法を使用して処理され、破損していない車両の他の領域から構成部分領域を分離することができる。構成部分領域は、その車両上の破損した車両部分に対応する車両画像の一部分を含む。破損車両部分は、複数の破損領域を含んでよく、各破損エリアは構成部分領域に対応する。908から、方法900は910に進む。

910において、構成部分領域を処理して、構築された破損識別アルゴリズムを使用することによって、特定のモデルに基づいて、1つまたは複数の破損エリアロケーションおよび自動車部品の1つまたは複数の破損タイプを識別することができる。画像内の車両構成部分を識別するために使用される構成部分識別モデルは、機械学習アルゴリズムを含み得る。サンプル画像に対して構成部分識別モデルをトレーニングして、構成部分画像内に包含された車両構成部分を識別することができる。複数の構成部分識別モデルを使用して、車両構成部分を判定することができる。各構成部分識別モデルの出力は、車両構成部分特徴および信頼レベルを含み得る。構成部分識別モデルは、図1〜図8を参照して説明したように、ディープニューラルネットワークのネットワークモデル、バリアントネットワークモデル、畳込みニューラルネットワーク(CNN)モデル、領域提案ネットワーク(RPN)モデル、または複数のモデルの組合せを含み得る。CNNは、畳込み層、および活性化層などの他の構造を含んでよく、1つまたは複数の画像内の破損識別のために主に使用される。CNNモデルは、人工ニューラルネットワークを用いた画像処理において2次元離散畳込み動作を組み合わせることができる。畳込み動作は、破損特徴の自動抽出のために使用され得る。追加の処理のために、画像(任意のサイズの)から抽出された破損特徴(畳込みニューラルネットワークを使用することによって抽出された2次元特徴であり得る)がRPNモデルに入力され得る。RPNモデルは、破損特徴を処理して、3次元破損データセット(矩形ターゲット提案ボックス)の1セットとして構成部分特性を生成することができる。たとえば、単一の破損画像は、複数の破損部分を含み得る。各3次元破損データセットは、複数の破損部分の特定の破損部分に対応し得る。1つの破損部分が存在する場合、1つの画像領域が出力され、k個の破損部分が存在する場合、k個の画像領域が出力され、または何の破損部分も存在しない場合、何の画像領域も出力されない。各3次元破損データセットは、軽い破損と中程度の破損とひどい破損とを区別して、破損分類(破損分類は、破損タイプを判定するために使用される)および信頼レベル(信頼レベルは、本明細書では、破損タイプの真正性の程度を示すパラメータである)を規定するためのスコア(たとえば、1、2、3)を含む。破損タイプは、軽いスクラッチ、ひどいスクラッチ、軽い変形、中程度の変形、ひどい変形、破損、および解体が必要な検査を含み得る。

いくつかの実装形態では、構成部分領域を処理して、1つまたは複数の特徴ベクトルを抽出することができる。特徴ベクトルに基づいて、同じ車両構成部分に対して画像クラスタリングを実行して、破損構成部分を特徴付けることができる。同じ破損構成部分に対応する破損部分は、組み合わされてよく、破損クラスタリング特徴データが破損部分に対して収集され得る。破損クラスタリング特徴データを使用して、破損構成部分内に含まれる破損部分および破損部分に対応する破損タイプを判定することができる。たとえば、1つまたは複数の破損部分(破損タイプ、位置、および信頼レベルを含む)に対応する任意の識別される破損構成部分pが、クラスタリングされ得る1つまたは複数の画像内で識別され得る。構成部分識別モデル(CNNモデル)によって処理される破損画像に対応する特徴ベクトルを使用して、画像距離を計算することができる。同じクラスタtに対応する破損部分は、特徴Ftとして組み合わされてよい。クラスタ内の上位C枚の画像(クラスタ内の重み付けされた破損部分の量に基づいて選択される画像、重み付けされた値は、破損部分の信頼レベルである)の複数の特徴(Ft1、Ft2、…)がマルチクラス勾配ブースティング決定木(GBDT)に入力される特徴として選択され得る。GBDTモデルを使用して、破損タイプおよび破損度を出力する。GBDTモデルは、マーキングデータを使用することによって、勾配降下トレーニングを通じて取得され得る。クラスタリングの目的は、ほぼ同じ破損構成部分の部分に対して撮影された画像を識別することである。処理されることになる画像内の破損構成部分、対応する破損部分、および対応する破損タイプは、破損構成部分、破損部分、および破損タイプに基づいて判定される。同じ破損構成部分に属する破損部分を組み合わせるステップは、信頼レベル(破損部分の重み付けされた値)の降順で、画像クラスタ内の同じ破損構成部分に対応する複数の画像内の破損部分を選択して組み合わせるステップを含み得る。信頼レベルに基づいて処理画像の数を削減することによって、処理速度を改善することができる。たとえば、事前選択された信頼レベル以上の信頼レベルを有する画像の最大数を使用して、処理負荷、したがって、処理速度を制御することができる。910から、方法900は912に進む。

912において、識別された破損エリアロケーションおよび破損タイプに基づいて、整備計画を生成する。整備計画は、車両損害査定内に含まれる。整備計画は、ルールエンジンを使用して生成され得る。ルールエンジンは、車両モデルに関連する整備方式、ロケーション、および利用可能な修理店に基づいて異なる価格付け方式データベースを起動して、ルールのセットに基づいて、識別された破損を修復することができる整備サービスを含む破損車両部分に対する少なくとも1つの整備計画を生成することができる。ルールは、フロントエンドルールおよびバックエンドルールを含み得る。フロントエンドルールは、整備計画を判定するために必要な情報タイプの最小タイプなど、契約要件を示し得る。これらの契約ベースの特徴は、賃金率、特定のタスクごとの請求可能時間、または整備計画の対象となる作業の任意の他の側面を含み得る。バックエンドルールは、整備計画が識別された損害と整合しているかどうかを示し得る(たとえば、フロントエンド衝突の場合、システムは、整備が必要であるとして示される後部テールライトアセンブリにフラグ付けすることになる)。場合によっては、整備計画は、整備コスト推定を含む。出力された整備計画が整備コストを含まない場合、整備計画は、破損査定部分として分類され得る。整備計画が整備コストを含む場合、破損査定と価格査定の両方に対して計算処理が実行されたと見なされ得る。整備計画は、可能な整備サービスおよびロケーションに対応する時間推定を含み得る。いくつかの実装形態では、整備計画を生成することは、割当て推定を生成するための第1の損失通知(FNOL)プロセスの一部分として、割当てデータ(assignment data)を1つまたは複数の車両修理店に送信するステップを含む。割当てデータは、限定はしないが、破損情報、顧客名、契約情報、保険請求番号、割当て期日、損害日、損害タイプ、損害タイプの詳細、損害記述、現在の車両ロケーション、車両が送られ得るロケーション、控除対象金額、車両タイプ、年度/型/モデル、車両識別番号(VIN)、ナンバープレート番号、レッカー業者情報、破損情報、前の破損情報、および車両安全状況(運転可能/運転不可能)を含み得る。912から、方法900は914に進む。

914において、整備計画を車両に関連するユーザおよび/または保険業者に送信する。整備計画送信は、車両整備をサポートするように構成されたアプリケーションによって解釈可能な整備計画コードの生成を含み得る。計画コードは、送信データ量を最小限に抑えて、帯域幅要件を最小限に抑え、可視化プロセスの速度を高めるようにフォーマットされ得る。アプリケーションは、整備計画の検討準備が整っていることを示すための警告をユーザに対して生成するように構成され得る。アプリケーションは、モバイルデバイスのユーザに対する整備計画をアプリケーションのグラフィカルユーザインターフェース上に表示するように構成され得る。914から、方法900は916に進む。

916において、ユーザおよび/または保険業者から整備計画の承認を受信することができる。整備計画の承認は、金銭的責任または車両損害補償がユーザ、保険業者、および/またはサードパーティによって受け入れられるかどうかを示し得る。整備計画の承認は、整備店の選択および提案される整備計画に記載された可能な整備サービスの少なくとも一部分を含み得る。整備計画の承認は、整備計画を開始するための好ましいタイミングを含み得る。916から、方法900は918に進む。

918において、整備計画の承認の受信に応じて、整備計画を開始する。整備計画を開始するステップは、整備動作を行うために作業割当てデータを選択された車両整備店に送信するステップを含み得る。車両整備店と通信することの利点は、請求および/または整備の過程において情報のいずれかが変更されたときにリアルタイムの更新を提供する能力であり、顧客に整備を促すことができる。918の後、方法900は停止する。

本開示の実装形態は、送信データ量を最小限に抑えて、帯域幅要件を最小限に抑え、車両損害査定生成プロセスの速度を高めることによって、コンピューティングリソースを削減しながら、対応するデータ共有効率を改善し得る。

本明細書で説明した実施形態および動作は、デジタル電子回路内で、本明細書で開示する構造を含めて、コンピュータソフトウェア、コンピュータファームウェア、またはコンピュータハードウェア内で、またはそれらのうちの1つもしくは複数の組合せの中で実装され得る。動作は、1つまたは複数のコンピュータ可読記憶デバイス上に記憶された、または他のソースから受信されたデータに対してデータ処理装置によって実行される動作として実装され得る。データ処理装置、コンピュータ、またはコンピューティングデバイスは、例として、前述の、1つのプログラマブルプロセッサ、コンピュータ、システムオンチップ、もしくは複数のプログラマブルプロセッサ、コンピュータ、システムオンチップ、または組合せを含めて、データを処理するための装置、デバイス、および機械を包含し得る。装置は、専用論理回路、たとえば、中央処理装置(CPU)、フィールドプログラマブルゲートアレイ(FPGA)、または特定用途向け集積回路(ASIC)を含み得る。装置は、当該コンピュータプログラムに対する実行環境を生み出すコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム(たとえば、オペレーティングシステムまたはオペレーティングシステムの組合せ)、クロスプラットフォーム実行環境、仮想マシン、またはそれらのうちの1つもしくは複数の組合せを構成するコードをやはり含み得る。装置および実行環境は、ウェブサービス、分散型コンピューティングインフラストラクチャおよびグリッドコンピューティングインフラストラクチャなど、様々な異なるコンピューティングモデルインフラストラクチャを実現し得る。

コンピュータプログラム(たとえば、プログラム、ソフトウェア、ソフトウェアアプリケーション、ソフトウェアモジュール、ソフトウェアユニット、スクリプト、またはコードとしても知られる)は、コンパイル型言語またはインタープリタ型言語、宣言型言語または手続き型言語を含めて、任意の形態のプログラミング言語で書き込まれてよく、コンピュータプログラムは、スタンドアロンプログラムとして、またはモジュール、構成要素、サブルーチン、オブジェクト、もしくはコンピューティング環境で使用するのに適した他のユニットを含めて、任意の形態で展開され得る。プログラムは、他のプログラムもしくはデータを保持するファイル(たとえば、マークアップ言語文書で記憶される1つもしくは複数のスクリプト)の一部分の中に、当該プログラム専用の単一のファイルの中に、または複数の協調ファイル(たとえば、1つもしくは複数のモジュール、サブプログラム、もしくはコードの部分を記憶するファイル)の中に記憶され得る。コンピュータプログラムは、1つのコンピュータ上で、または、ある場所に位置する、もしくは複数の場所に分散され、通信ネットワークによって相互接続される、複数のコンピュータ上で実行され得る。

コンピュータプログラムの実行のためのプロセッサは、例として、汎用マイクロプロセッサおよび専用マイクロプロセッサと、任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサの両方を含む。概して、プロセッサは、読取り専用メモリもしくはランダムアクセスメモリまたは両方から命令およびデータを受信することになる。コンピュータの必須要素は、命令に従って活動を実行するためのプロセッサ、ならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。概して、コンピュータはまた、データを記憶するための1つまたは複数の大容量記憶デバイスを含むことになるか、またはそこからデータを受信するために、もしくはそこにデータを転送するために、もしくは両方のために動作可能に結合されることになる。コンピュータは、別のデバイス、たとえば、モバイルデバイス、携帯情報端末(PDA)、ゲームコンソール、全地球測位システム(GPS)受信機、またはポータブル記憶デバイスの中に埋め込まれ得る。コンピュータプログラム命令およびデータを記憶するのに適したデバイスは、例として、半導体メモリデバイス、磁気ディスク、および光磁気ディスクを含めて、不揮発性メモリ、メディアデバイスおよびメモリデバイスを含む。プロセッサおよびメモリは、専用論理回路によって補足されてよく、またはその中に組み込まれてもよい。

モバイルデバイスは、ハンドセット、ユーザ機器(UE)、モバイル電話(たとえば、スマートフォン)、タブレット、ウェアラブルデバイス(たとえば、スマートウオッチおよびスマート眼鏡)、人体内に埋め込まれたデバイス(たとえば、バイオセンサー、人工内耳)、または他のタイプのモバイルデバイスを含み得る。モバイルデバイスは、様々な通信ネットワーク(以下で説明する)に(たとえば、無線周波数(RF)信号を使用して)ワイヤレスに通信することができる。モバイルデバイスは、モバイルデバイスの現在の環境の特性を判定するためのセンサーを含み得る。センサーは、カメラ、マイクロフォン、近接センサー、GPSセンサー、動きセンサー、加速度計、周辺光センサー、湿度センサー、ジャイロスコープ、コンパス、気圧計、指紋センサー、顔認識システム、RFセンサー(たとえば、Wi-Fiおよびセルラー無線)、温度センサー、または他のタイプのセンサーを含み得る。たとえば、カメラは、可動レンズまたは固定レンズ、フラッシュ、画像センサー、および画像プロセッサを備えた、前向きカメラまたは後ろ向きカメラを含み得る。カメラは、顔および/または虹彩認識のための詳細を捕捉することができるメガピクセルカメラであり得る。カメラは、データプロセッサ、およびメモリ内に記憶されるか、またはリモートアクセスされる認証情報とともに、顔認識システムを形成し得る。顔認識システムまたは1つもしくは複数のセンサー、たとえば、マイクロフォン、動きセンサー、加速度計、GPSセンサー、もしくはRFセンサーは、ユーザ認証のために使用され得る。

ユーザとの対話を提供するために、実施形態は、情報をユーザに表示するためのディスプレイデバイスおよび入力デバイス、たとえば、液晶ディスプレイ(LCD)または有機発光ダイオード(OLED)/仮想現実(VR)/拡張現実(AR)ディスプレイと、それを用いてユーザが入力をコンピュータに提供し得るタッチスクリーンと、キーボードと、ポインティングデバイスとを有するコンピュータ上で実装され得る。他の種類のデバイスも同様に、ユーザとの対話を提供するために使用され得、たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであってよく、ユーザからの入力は、音響入力、音声入力、または触覚入力を含めて、任意の形態で受信され得る。加えて、コンピュータは、ユーザが使用するデバイスに文書を送り、そこから文書を受信することによって、たとえば、ウェブブラウザから受信された要求に応じて、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送ることによって、ユーザと対話し得る。

実施形態は、ワイヤラインまたはワイヤレスのデジタルデータ通信(または、それらの組合せ)の任意の形態または媒体、たとえば、通信ネットワークによって相互接続されたコンピューティングデバイスを使用して実装され得る。相互接続されたデバイスの例は、一般に通信ネットワークを通じて対話する、概して互いと離れた、クライアントおよびサーバである。クライアント、たとえば、モバイルデバイスは、自ら、サーバと、またはサーバを通じて取引、たとえば、買取、販売、支払い、提供、送信、もしくは賃借取引の実行、またはそれらの許可を実行し得る。そのような取引は、活動および応答が時間的に近接するように、リアルタイムであり得、たとえば、個人は、実質的に同時に生じる活動および応答を認識し、個人の活動に続く応答に対する時差は、1ミリ秒(ms)未満であるかもしくは1秒(s)未満であり、または応答は、システムの処理限界を考慮に入れた意図的遅延を伴わない。

通信ネットワークの例は、ローカルエリアネットワーク(LAN)、無線アクセスネットワーク(RAN)、メトロポリタンエリアネットワーク(MAN)、および広域ネットワーク(WAN)を含む。通信ネットワークは、インターネット、別の通信ネットワーク、または通信ネットワークの組合せ、のすべてまたは一部分を含み得る。情報は、ロングタームエボリューション(LTE)、5G、IEEE 802、インターネットプロトコル(IP)、もしくは他のプロトコル、またはプロトコルの組合せを含めて、様々なプロトコルおよび規格に従って通信ネットワーク上で送信され得る。通信ネットワークは、接続されたコンピューティングデバイス同士の間で、音声データ、ビデオデータ、生体データ、もしくは認証データ、または他の情報を送信することができる。

別個の実装形態として説明した特徴は、組み合わせて、単一の実装形態で実装され得るが、単一の実装形態として説明した特徴は、複数の実装形態で、別個に、または任意の適したサブコンビネーションで実装され得る。特定の順序で説明および特許請求する動作は、その特定の順序を必要とする、または示したすべての動作が実行されなければならないと理解されるべきではない(いくつかの動作は任意であってよい)。適宜に、マルチタスキングまたは並列処理(または、マルチタスキングと並列処理の組合せ)が実行され得る。

101 ピクチャ収集モジュール
102 第1の識別モジュール
103 第2の識別モジュール
104 破損計算モジュール
105 損害査定処理モジュール
900 方法

Claims (16)

1. 車両破損を査定するためのピクチャベースの方法であって、
   車両破損査定のための処理されることになるピクチャを収集するステップと、
   構築された構成部分識別モデルを使用して、前記処理されることになるピクチャを審査するステップであって、
   前記処理されることになるピクチャ内の車両構成部分を識別するステップと、
   前記処理されることになるピクチャ内の前記識別された車両構成部分の位置を判定するステップと
   を含む、審査するステップと、
   構築された破損識別モデルを使用して、前記処理されることになるピクチャを審査するステップであって、
   前記処理されることになるピクチャ内の破損部分および破損タイプを識別するステップと、
   前記破損部分および前記判定された位置に従って、前記処理されることになるピクチャ内の破損構成部分を判定し、前記破損構成部分の破損部分および破損タイプを判定するステップと、
   前記破損構成部分、前記破損部分、および前記破損タイプを含む情報に基づいて、整備計画を生成するステップと
   を含む、審査するステップと
   を含む、方法。
2. 前記破損構成部分の整備方式に関する情報を収集するステップ
   をさらに含み、対応して、前記整備計画が、前記整備方式に対応する推定整備コストをさらに含み、前記推定整備コストが、前記破損構成部分、前記破損部分、前記破損タイプ、および前記整備方式を含む情報、ならびに前記整備方式における前記破損構成部分に対応する製品価格および/または前記整備方式における前記破損構成部分に対応する整備サービスに対する価格を含むデータに基づいて計算される、前記破損構成部分の推定整備コストである、請求項1に記載の方法。
3. 前記構成部分識別モデルまたは前記破損識別モデルのうちの少なくとも1つが、
   畳込み層および領域提案層を含むネットワークモデルに基づいており、サンプルデータに基づくトレーニングの後で構築される、ディープニューラルネットワーク
   を含む、請求項1に記載の方法。
4. 構築された構成部分識別モデルを使用することによって、前記処理されることになるピクチャを前記審査するステップ、および構築された破損識別モデルを使用することによって、前記処理されることになるピクチャを前記審査するステップが並行して実行される、請求項1に記載の方法。
5. 前記構成部分識別モデルが、マーキングされたデータを含む構成部分サンプルピクチャを使用してトレーニングされ、前記構成部分サンプルピクチャが、少なくとも1つの車両構成部分を含み、
   前記破損識別モデルが、
   破損サンプルピクチャがモデルトレーニングのために入力されるとき、少なくとも1つの破損部分および前記破損部分に対応する破損タイプを出力し、
   前記破損識別モデルが前記処理されることになるピクチャを審査するために使用されるとき、前記破損タイプの真正性の程度に対する信頼レベルを示すデータ情報を出力する
   ように設定される、
   請求項3に記載の方法。
6. 前記破損部分および前記判定された位置に従って、前記処理されることになるピクチャ内の破損構成部分を前記判定するステップが、
   前記判定された位置範囲内で、前記破損部分の破損領域が存在するかどうかを問い合わせ、前記破損部分の前記破損領域が存在する場合、前記判定された位置に対応する前記車両構成部分が前記破損構成部分であると判定するステップ
   を含む、請求項5に記載の方法。
7. 前記破損構成部分、前記破損構成部分の前記破損部分、および前記破損タイプが、
   前記破損部分を含む処理されることになるピクチャのセットを収集し、
   畳込みニューラルネットワークを使用して、前記セット内の前記処理されることになるピクチャの特徴ベクトルを抽出し、前記特徴ベクトルに基づいて、同じ車両構成部分に対してピクチャクラスタリング処理を実行し、前記破損構成部分を判定し、
   同じ破損構成部分に属する前記破損部分を組み合わせ、前記破損部分の破損クラスタリング特徴データを収集し、
   前記破損クラスタリング特徴データに従って、前記破損構成部分内に含まれた前記破損部分および前記破損部分に対応する前記破損タイプを判定する
   ように判定される、請求項5に記載の方法。
8. 同じ破損構成部分に属する前記破損部分を前記組み合わせるステップが、
   前記ピクチャクラスタ内の同じ破損サンプル構成部分に属する処理されることになるピクチャからの信頼レベルの降順で、K枚の処理されることになるピクチャ内の破損部分を選択して組み合わせるステップであって、K≧2である、ステップを含む、請求項7に記載の方法。
9. 前記破損部分の破損クラスタリング特徴データを前記収集するステップが、
   組み合わされたピクチャクラスタから、破損部分の重み付けされた値の降順で、C枚の処理されることになるピクチャの破損クラスタリング特徴データを選択するステップであって、C≧2であり、前記重み付けされた値の重み係数が、前記破損部分の信頼レベルである、ステップを含む、請求項7に記載の方法。
10. 前記破損サンプルピクチャ内の前記破損部分および前記破損タイプが、前記破損クラスタリング特徴データに従って識別され、
    指定されたマルチクラス勾配ブースティング決定木モデルに対する入力データとして前記破損クラスタリング特徴データを使用し、前記破損部分および前記破損タイプを識別するステップ
    を含む、請求項8または9に記載の方法。
11. 前記構成部分識別モデルまたは前記破損識別モデルのうちの前記少なくとも1つによって使用されるトレーニングサンプルピクチャが、
    コンピュータを使用して前記破損車両構成部分をシミュレートするときに描写されたピクチャ情報
    を含む、請求項7に記載の方法。
12. 前記破損構成部分の破損部分および破損タイプを前記判定するステップが、前記破損構成部分の前記破損部分として最高破損度を有する破損タイプに対応する破損部分を選択するステップを含み、前記最高破損度を有する前記破損タイプが、前記破損構成部分の前記破損タイプとして判定される、請求項1に記載の方法。
13. 破損タイプが、軽いスクラッチ、ひどいスクラッチ、軽い変形、中程度の変形、ひどい変形、破損、審査のための解体要求を含む、請求項1に記載の方法。
14. 前記破損構成部分の複数の破損部分を判定するステップと、
    前記生成される整備計画として、最もひどく破損した前記破損部分に対する整備計画を選択するステップと
    をさらに含む、請求項1に記載の方法。
15. 車両破損を査定するための装置であって、プロセッサと、プロセッサ実行可能命令を記憶するように構成されたメモリとを含み、前記命令を実行するとき、前記プロセッサが、請求項1から14のいずれか一項に記載の動作を実行する、装置。
16. コンピュータ命令を記憶し、前記命令が実行されるとき、請求項1から14のいずれか一項に記載のステップが実装される、コンピュータ可読記憶媒体。

Images