JP2022528031A - 車両の損傷を自動的に検出するためのシステム及び方法 - Google Patents

Abstract

車両への損傷を検出するための自動システムであって、ａ．カメラに関する車両の移動又は向きにかかわらず、「引き渡し」画像及び「返却」画像をキャプチャするための少なくとも１つのカメラと、ｂ．基本部分の画像を記憶するためのメモリと、ｃ．基本部分の画像に基づいて、「引き渡し」画像及び「返却」画像内の１つ又は複数の基本部分のロケーションを決定するための第１の決定ユニットと、ｄ．画像内の基本部分の決定されたロケーションに基づいて、「引き渡し」画像及び「返却」画像内の「他の部分」のロケーションを決定し、それにより、「引き渡し」部分画像及び「返却」部分画像をそれぞれ形成するように構成された第２の決定ユニットと、ｅ．同じ平面に、「引き渡し」部分画像及び「返却」部分画像の各ペアをそれぞれ別々に変換するように構成された変換ユニットと、ｆ．「引き渡し」部分画像及び「返却」部分画像の各変換されたペアを、ピクセルごとに別々に比較して、予め定義された閾値を上回る差を検出するように構成された比較ユニットとを備える、自動システム。

Description

本発明は、一般に、車両の損傷の検出、査定及び推定の分野に関する。

自動車産業及び車両使用は、車両の頻繁な且つ大量の引き渡し（ｈａｎｄｏｖｅｒ）を伴う。車両は、追加された損傷なしに、一定のコンディションにおいて届けられ、返却されることが期待される。実例は、製造業者から顧客への車両の配達、修理店、ディーラー及び顧客への中古車両の引き渡し（ｈａｎｄｉｎｇ ｏｖｅｒ）、車両をリースすること／レンタルすること、個人車両をシェアすること、及び保険金請求を査定することを含む。以下では、特に指定がない限り、考察は、レンタ・カーの場合を仮定することにするが、本発明は、上記で指し示された場合のすべてに対しても同様に使用され得る。この状況は、引き渡し及び返却（ｒｅｔｕｒｎ）時の車両の慎重な検証を必要とし、これは、一般に、関係するすべての当事者によって同時に車両の視覚点検によって行われる。時折、視覚検証が実施される場合でも、引き渡し時の車両のコンディションと返却時の車両のコンディションとの間の差に関して、及び（観察されるときには）損傷に責任があるエンティティに関して、争議が起こる。この状況は、車両が、引き渡しのロケーションとは異なる地理的ロケーションにおいて返却されるとき、なお一層の厄介な問題をはらむ。

いくつかの従来技術のシステムは、引き渡し及び返却時のカメラによる画像のキャプチャリングを示唆し、これらの画像は、引き渡し及び返却時の車両のコンディションに関する証明として使用されることが想定されていた。これらの画像は、争議の場合に検証のために使用され得るが、それらは、双方によって同時に行われる車両の慎重な視覚検証、及び損傷の識別の必要性を解消しない。代替的に、争議の時に、これらのキャプチャされた画像は、視覚的に分析されなければならない。

米国特許第８，８９２，２９３号、米国特許出願公開第２０１６／０１４０７７８号において公開されているものなど、他の従来技術の検証システムは、引き渡し及び返却の時にそれぞれの画像の間の差を検出するために、自動画像比較技法を適用することを試みたが、信頼性が極めて不十分である。その上、すべてのそのような自動検証システムは、適用されるために、以下の条件のうちの少なくともいくつかが満たされることを必要とする。
（ａ）自動車のすべての側から画像をキャプチャするための、高価な高解像度カメラ（たとえば、１５～２０メガピクセル・カメラ）の使用。
（ｂ）車両に関する極めて特定のロケーション及び向きにおけるカメラの位置決め、並びに損傷観察及び推定のために後で使用され得る信頼できる画像をキャプチャするために、相応にそれらを調節すること。
（ｃ）自動検証が確実に実施されることを可能にするために、カメラに関する所定のマークされた位置における車両の静止した位置決め。
（ｄ）高価な照明及びセンサーの使用。
（ｅ）画像キャプチャリング目的のためにのみ特定のエリアを専用化すること。
（ｆ）車両位置の、及びシステム性能の制御は、単独で視覚調査を実際に実施することができる人間オペレータを必要とする。
（ｇ）そのようなシステムを通る運転は、ささいでない運転努力を必要とし、単独で事故を生じ得る。
（ｈ）そのようなシステムの運用コストは、それらがキャプチャすることを試みる損傷よりもしばしば高い。

上記の条件は、実際、上記の条件（ｃ）及び（ｆ）において述べられたように、システムの運用のために、及び／又は厳密な静止した位置への運転者の案内のために、システムの各々において専門の従業員を必要とする、極めて複雑で、やっかいで、高価なシステムを生じた。それゆえ、コストを低減し、損傷検出及び推定の手順を簡略化する代わりに、そのような従来技術のシステムは、多くの場合、実際、コストを増加させ、なお一層の厄介な問題を持ち込んだ。

米国特許第８，８９２，２９３号 米国特許出願公開第２０１６／０１４０７７８号

「Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」（Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ），Ｃｈａｐｔｅｒ ７，Ｒｉｃｈａｒｄ Ｈａｒｔｌｅｙ ＆ Ａｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎ，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ

それゆえ、単純で、低コストの自動車両損傷検出システムを提供することが、本発明の目的である。

相対的に低解像度のカメラを使用することができる自動車両損傷検出システムを提供することが、本発明の別の目的である。

画像キャプチャリングを行うために特定のエリアを割り当てる必要性を解消する自動車両損傷検出システムを提供することが、本発明のさらに別の目的である。より具体的には、レンタ・カー会社のエリア中に、又はその中から導くレーンにおいてさえ、このレーンにおける他のアクティビティの中断なしに設置され得るシステムを提供することが、本発明の目的である。

自動車に対してカメラを正確に位置決めし、調節する必要性を解消する自動自動車損傷検出システム、及び実際に、携帯電話カメラによる運用に対してさえ、カメラのロケーションに関する多くの自由を残すシステムを提供することが、本発明のさらに別の目的である。

カメラに関して正確に静止的に車両を位置決めすることの必要性を解消するシステムを提供することが、本発明のさらに別の目的である。より詳細には、車両が、動いており、カメラに関してランダムな向きにある間にキャプチャされた画像に基づいて、自動車損傷検出を実施することができるシステムを提供することが、本発明の目的である。

システムを運用するための訓練された従業員を割り当てることの必要性を解消する、自動車損傷検出システムを提供することが、本発明のさらに別の目的である。

そこにおける同じ特定の車両からの前にキャプチャされた参照画像がない自動車ロケーションにおいてさえ、自動車への損傷を検出することできる、自動車損傷検出システムを提供することが、本発明のさらに別の目的である。

時には、隠れた部分への損傷を伴う場合においてさえ、同じく、損傷のコスト推定を自動的に示唆し得る、自動車損傷検出システムを提供することが、本発明のさらに別の目的である。

本発明の他の目的及び利点が、説明が進むにつれて明らかになろう。

本発明は、車両への損傷を検出するための自動システムであって、（ａ）車両の画像の「引き渡し」及び「返却」セットをキャプチャするための少なくとも１つのカメラであって、セット内の画像の各々は、車両の移動にかかわらず、又はキャプチャするカメラに対する車両の向きにかかわらず、キャプチャされる、少なくとも１つのカメラと、（ｂ）少なくとも１つの車両の基本部分（ｂａｓｉｃ－ｐａｒｔ）の画像を記憶するためのメモリと、（ｃ）基本部分の画像に基づいて、画像の「引き渡し」及び「返却」セットの画像内の１つ又は複数の基本部分のロケーションを決定するように構成された、第１の決定ユニットと、（ｄ）画像内の車両の基本部分（ｂａｓｉｃ ｐａｒｔ）の決定されたロケーションに基づいて、画像の「引き渡し」及び「返却」セット内の車両の「他の部分」のロケーションを決定し、それにより、「引き渡し」部分画像及び「返却」部分画像をそれぞれ形成するように構成された、第２の決定ユニットと、（ｅ）同じ平面に、「引き渡し」部分画像及び「返却」部分画像の各ペアをそれぞれ別々に変換するように構成された変換ユニットであって、変換は、ペア中の第２の画像に関する第１の画像の変位、回転及びズームのうちの１つ又は複数の実施をさらに含む、変換ユニットと、（ｆ）「引き渡し」部分画像及び「返却」部分画像の変換されたペアの各々を、ピクセルごとに別々に比較して、それにより、予め定義された閾値を上回る差を検出して、閾値を上回る差が検出されたとき、警報を出すように構成された比較ユニットとを備える、自動システムに関する。

本発明の実施例では、画像の「引き渡し」及び「返却」セットは、異なる時間に、場合によっては、１つ又は複数のカメラの異なるセットによって、キャプチャされる。

本発明の実施例では、カメラの各々は、少なくとも２メガピクセルの解像度を有する。

本発明の実施例では、警報は、ペア中の少なくとも１つの部分画像内のロケーション指示をさらに備える。

本発明の実施例では、第１の決定ユニットは、画像認識技法を適用する。

本発明の実施例では、少なくとも１つのカメラは、携帯電話カメラである。

本発明の実施例では、少なくとも１つのカメラは、別の車両の車載カメラである。

本発明の実施例では、「引き渡し」画像のセットは、低減されたセットであり、車両の片側のみの画像を備え、システムは、車両の第１の側の画像を、車両の第２の側の画像に変換するように構成されたミラーリング・モジュールをさらに備える。

本発明の実施例では、「引き渡し」及び「返却」セットの各々は、車両の外観全体をカバーする画像を備える。

本発明の実施例では、システムは、損傷コスト・データベースと、警報によって指示され、損傷コスト・データベース上にあった部分に基づいて、損傷のコストを推定するためのモジュールとをさらに備える。

本発明の実施例では、システムは、車両のレンタ・カー若しくはリース会社、車両フリート（ｆｌｅｅｔ）運用会社、保険会社、車両整備店、自律走行（ａｕｔｏｎｏｍｏｕｓ）車両運用会社、自動車販売会社、車両シェアリング会社、又はカー・ディーラー店のうちの１つ又は複数によって使用されるように設計される。

本発明はまた、車両への損傷を自動的に検出するための方法であって、（ａ）少なくとも１つの車両の基本部分の画像を、メモリに記憶することと、（ｂ）車両の「引き渡し」画像のセットを、少なくとも１つのカメラによってキャプチャすることであって、画像の各々は、車両の移動にかかわらず、又はキャプチャするカメラに対する車両の向きにかかわらず、キャプチャされる、キャプチャすることと、（ｃ）車両の「返却」画像のセットを、後の段階においてキャプチャすることであって、画像の各々も、車両の移動にかかわらず、又はキャプチャするカメラに対する車両の向きにかかわらずキャプチャされ、場合によっては、「引き渡し」画像をキャプチャしたカメラとは異なるカメラによってもキャプチャされる、キャプチャすることと、（ｄ）基本部分の画像に基づいて、「引き渡し」の画像内の、及び画像の「返却」セットの画像内の１つ又は複数の基本部分のロケーションを決定するように、第１の決定ユニットをアクティブにすることと、（ｅ）画像内の車両の基本部分のロケーションに基づいて、画像の「引き渡し」及び「返却」セット内の車両の「他の部分」のロケーションを決定し、それにより、「引き渡し」部分画像及び「返却」部分画像をそれぞれ形成するように、第２の決定ユニットをアクティブにすることと、（ｆ）同じ平面に、それぞれ、「引き渡し」及び「返却」部分画像の各ペアを別々に変換するように、変換ユニットをアクティブにすることであって、変換は、ペア中の第２の画像に関する第１の画像の変位、回転及びズームのうちの１つ又は複数の実施をさらに含む、変換ユニットをアクティブにすることと、（ｇ）「引き渡し」及び「返却」部分画像の変換されたペアの各々をピクセルごとに別々に比較して、それにより、予め定義された閾値を上回る差を検出して、閾値を上回る差が検出されたとき、警報を出すこととを含む、方法に関する。

本発明の実施例では、カメラの各々は、少なくとも２メガピクセルの解像度を有する。

本発明の実施例では、警報は、ペア中の少なくとも１つの部分画像内のロケーション指示をさらに備える。

本発明の実施例では、第１の決定ユニットは、画像認識技法を適用する。

本発明の実施例では、少なくとも１つのカメラは、携帯電話カメラである。

本発明の実施例では、少なくとも１つのカメラは、別の車両の車載カメラである。

本発明の実施例では、「引き渡し」画像のセットは、低減されたセットであり、車両の片側のみの画像を備え、方法は、車両の第１の側の画像を、車両の第２の側の画像に変換するためのミラーリング・ステップをさらに備える。

本発明の実施例では、「引き渡し」及び「返却」セットの各々は、車両の外観全体をカバーする画像を備える。

本発明の実施例では、方法は、損傷コスト・データベースの形成を備え、警報によって指示され、損傷コスト・データベース上にあった部分に基づいて、損傷のコストを推定するためのモジュールをアクティブにするステップをさらに備える。

本発明の実施例では、方法は、車両のレンタ・カー若しくはリース会社、車両フリート運用会社、保険会社、車両整備店、自律走行車両運用会社、自動車販売会社、車両シェアリング会社、又はカー・ディーラー店のうちの１つ又は複数による使用のために設計される。

本発明の実施例による、車両損傷を自動的に検出するためのシステムの一般的な構造を、ブロック図形式で概略的に示す図である。 本発明の実施例による、車両イメージング・ユニットの構造を概括的に図示する図である。 本発明の画像分析ユニットによって実施される手順を、フロー図形式で概括的に図示する図である。 車両への損傷を自動的に検出するための分析手順が、どのように実施されるかを、フロー図形式で説明する図である。 画像の片側の「引き渡し」セットのみが利用可能であるとき、車両への損傷を自動的に検出するための分析手順が、どのように実施されるかを、フロー図形式で説明する図である。 ４メガピクセルの解像度を有するビデオ・カメラによってキャプチャされた、自動車の後部左側の「引き渡し」画像を示す図である。 「返却」画像上で本発明の分析方法によって決定された「基本部分」並びに「他の部分」、並びに検出された損傷を示す図である。

図１は、本発明の実施例による、車両損傷を自動的に検出するためのシステム１０の一般的な構造を、ブロック図形式で概略的に示す。システムは、概括的に、（ａ）車両イメージング・ユニット１００と、（ｂ）画像分析ユニット２００とを含む。車両イメージング・ユニット１００は、２つの時間的に分離されたセッションにおいて車両画像をキャプチャする。画像分析ユニット２００は、次に、２つのセッションからのそれぞれの画像の間で比較し、損傷が、これらの２つの画像キャプチャリング・セッションの間の期間中に車両に起こったかどうかに関する指示２２０を提供する。本発明のシステムは、たとえば、車両レンタル会社によって適用され得る。以下の考察は、レンタ・カー会社による本発明のシステムの使用を仮定することにする。しかしながら、システムは、代替的に、車両損傷の自動検出を必要とする任意の他のエンティティによって、同様の様式で使用され得る。

本発明の実施例では、車両の画像の２つのセットがキャプチャされ、第１のセット（以下、「引き渡し」又は「基準」セット）は、車両引き渡しの時にキャプチャされ、第２のセット（以下、「返却」セット）は、車両が車両レンタル会社に返却される時にキャプチャされる。

図２は、本発明の実施例による、車両イメージング・ユニット１００の構造を概括的に図示する。たとえば、車両１０１の引き渡しに続いて、駐車場エリアからの途中で、車両１０１の運転者は、１つ又は複数のカメラ１０３ａ～１０３ｎが、自動車のボディの外観全体をカバーする車両のスチール又はビデオ画像をキャプチャするようにアクティブにされた、画像キャプチャリング・レーン１０２を通過する。車両１０１は、出口１０４において画像キャプチャリング・レーンを離れるまで、停止する必要性なしに、たとえば、１５～２５ｋｍ／ｈの速度で、レーン１０２内を自由な移動の仕方で移動する。１つ又は複数のカメラ１０３ａ～１０３ｎは、カメラの各々が、レーン１０２中の車両１０１の通過中に車両の少なくとも１つの表面をカバーし、キャプチャされた画像のセットからの画像の選択が、概括的に底面を除外する、車両ボディの外観のフル・カバレッジを形成することができる限り、任意の好都合な高さ又はレーン位置に位置決めされ得るか、又は（１つ又は複数の壁、ポールなど）任意の好都合な構造物によってサポートされ得る。画像キャプチャリング・セッションの終わりに、画像の第１の（「参照」又は「引き渡し」）セットが、形成され、画像分析ユニット２００に伝達され、後の使用のためにそこに記憶される。後で、車両１０１の運転者が、車両を返却するために、車両返却施設に到着したとき、同じ手順が、車両イメージング・ユニット１００によって繰り返され、画像の第２の（「返却」）セットが、キャプチャされ、次いで、伝達され、画像分析ユニット２００内に記憶される。本発明によれば、レーン１０２中の車両の通過の方向に制限はなく、したがって、車両返却の時に、車両は、図２中に示されているものとは反対の方向に、言い換えれば、このとき、「出口」１０４から「入口」１０５の方向にレーン１０２を動的に通過し得ることに留意されたい。その上、「返却」画像キャプチャリング・セッションは、「引き渡し」画像キャプチャリング・セッションを実施したユニット１００に関して別の地理的ロケーションに位置し得る、別の物理的車両イメージング・ユニット１００によって実施され得る。

それゆえ、「引き渡し」及び「返却」の２つの画像キャプチャリング・セッションの終わりに、画像の２つのそれぞれのセットが、システムの画像分析ユニット２００内に記憶される。画像の２つのセットは、車両の前部、後部、右、左、及び屋根表面の各々をカバーする、少なくとも２つの画像、言い換えれば、それぞれ、少なくとも１つの「引き渡し」画像及び少なくとも１つの「返却」画像があることを保証する。しかしながら、画像が、（時間及び相対的な向きに関して）実質的にランダムにキャプチャされる、この「自由な車両の移動」の仕方に鑑みて、これらの２つのセッションに続いて、キャプチャするカメラに関する厳密な距離、ズーム、及び向きから、対応する（「引き渡し」及び「返却」）画像のペア中で車両の任意の適切な表面を示す、画像のペアが見つけられるという保証は全くない。この状況は、損傷が、２つの「引き渡し」及び「返却」セッションの合間の期間中に起こったかどうかを決定するために、適切な画像の自動比較を実施することを試みるとき、著しい技術的困難を引き起こす。

車両は、引き渡しの時に損傷がなかったことが、レンタ・カー会社及び顧客によって同意されると仮定すると、完全に損傷がないことがわかっている別の車両からの画像のセット、以下、「損傷がない（ｃｌｅａｒ ｏｆ ｄａｍａｇｅ）」セットが、画像の「引き渡し」セットの代替として使用され得ることに留意されたい。その上、「損傷がない」セットは、低減されたセットでさえあり得、そのような場合、システムは、車両の様々な部分を比較するために、対称性の知識及びミラーリングを適用し得る。たとえば、画像の「損傷がない」セット中の左フロント・ドアの画像が、対称性及び／又はミラーリングを利用しながら、画像の「返却」セット中の右フロント・ドア画像と比較され得る。

図３は、本発明の画像分析ユニット２００によって実施される手順を、フロー図形式で概括的に図示する。ステップ３０１ａ及び３０１ｂにおいて、画像の「引き渡し」及び「返却」セットが、車両イメージング・ユニット１００から受信される。随意のステップ３０３ａ及び３０３ｂにおいて、車両のＩＤが、それぞれ、好適な画像内の車両のプレートに対してＯＣＲを実施することに基づいて、自動的に決定され、セットの各々は、それらが後で容易に見つけられ得るように、フォルダにそれぞれ記憶される３０５ａ、３０５ｂ。ステップ３０３ａ及び３０３ｂは、２つのセットが、たとえば、キャプチャリングのそれらのそれぞれの時間などに基づいて、類似的に記憶され得るので、随意である。ステップ４００において、分析が開始される。以下で詳述されるように、分析ステップ４００は、「顕著な」差が存在するかどうかを自動的に決定するための、それぞれの「引き渡し」及び「返却」画像の間の比較を伴う。特に、分析ステップ４００は、車両基本構成要素３０７の画像のデータベースに基づく。基本構成要素は、一般に、限定はしないが、車両製造業者、製造年、モデルなどにかかわらず、非常に多くの車両においてほとんど同じ形状を有する車両部品である。そのような基本構成要素は、たとえば、車両ドア・ハンドル、ワイパー、右及び左ミラー、４本のホイール、ナンバー・プレート、ライト、製造業者シンボルなどを含み得る。

図４ａは、車両への損傷を自動的に検出するための分析手順４００ａが、どのように実施されるかを、フロー図形式で説明する。予備ステップ４０２において、（図３中にも現れる）基本構成要素データベース３０７が準備される。述べられたように、（ドア・ハンドル、ワイパー、右及び左ミラー、４本のホイール、ナンバー・プレート、ライトなど）基本構成要素は、一般に、車両造業者又は車両モデルにかかわらず、実質的に同じ可視形状を有する車両部品である。データベース３０７は、様々なドア・ハンドル、様々なワイパー、様々なミラーなどを示す複数の画像を含んでいる。データベース３０７に基づいて、並びに「引き渡し」及び「返却」セットからの画像に対して画像認識技法を適用することによって、手順は、ステップ４０２において、画像の２つのセット内で（又は自動車全体をカバーする２つのセットからの選択された画像内で）これらの基本構成要素を識別する。

「引き渡し」及び「返却」セットのそれぞれの画像内で識別された基本構成要素に基づいて、自動車のドア、フロント及びリア・バンパー、屋根、フード、又は任意の他の小面（ｆａｃｅｔ）など、自動車の他の概括的により大きい部分（「他の部分」）が、ステップ４０３において、画像の２つのセット内で識別される。このステップは、実際、「引き渡し」及び「返却」画像のそれぞれのペア内の車両の他の部分を決定するためのガイドとして、車両の他の部分に関するそれのロケーションが実質的に一定である、基本構成要素の識別を使用する。しかしながら、特定の観点から「引き渡し」画像中で見られる、識別された「他の」部分の各々は、ほとんどおそらく、別の少なくともわずかに異なる観点からペア中の「返却」画像において見られる。この状況は、（車両が、画像キャプチャリング・セッション中にカメラに関して特定のロケーション及び向きで静止していなければならないいくつかの従来技術の公開とは対照的に）車両が、画像キャプチャリング・セッション中に「自由な」（無誘導で、無制限の）移動にある間に、画像がキャプチャされるという事実から、及び本発明によれば、「引き渡し」及び「返却」画像が、地理的に遠くにある２つの別個のシステムによってキャプチャされ得るという事実から、又は車両が、それぞれ、画像の２つのセットをキャプチャする間、反対方向で移動したという事実から生じる。この状況は、実際、正確な損傷決定に必要とされる、ペア中の２つのそれぞれの画像の間の正確な画像比較を実施する能力を極めて著しく複雑にする。より詳細には、この状況は、ペア中の２つのそれぞれの画像の間で正確に比較するために、及び損傷を決定するために、極めて困難なコンピュータ・ビジョン問題を解決することを必要とする。次に、ステップ４０５において、「他の」部分の各々の画像が、自動車全体を示す画像のペアからそれぞれクロップされ、それぞれ、「引き渡し」及び「返却」部分画像を含んでいているペアを各部分について形成する。しかしながら、述べられたように、ステップ４０５の部分画像のペアは、観点の（わずかであっても）差に鑑みて、比較についてまだ適格ではない。この問題を解決するために、手順は、ステップ４０７において、共通平面に各ペア中の各部分画像の平面を変換する。この変換は、最良の一致のために、回転、ズーム、及び変位をも伴う。たとえば、実質的に垂直なドア（又は自動車のサイド・ビューにおいて最もよく見られる他の部分）についての共通平面は、たとえば、レーン１０２の長手方向軸ｄ（図２参照）に平行である垂直面であり得る。実質的に（又は相対的に）水平の屋根及びフード（又は他の類似の部分）についての共通平面は、たとえば、レーン１０２の表面に実質的に平行である水平面であり得る。実質的に（又は相対的に）水平の屋根、フードなどについての共通平面は、たとえば、レーン１０２の表面に実質的に平行である水平面であり得る。車両のフロント又はリア・ビューにおいて最もよく見られる部分についての共通平面は、たとえば、レーン１０２の横軸ｃに実質的に平行である垂直面であり得る。いずれの場合も、（「引き渡し」及び「返却」セット中に現れるものと同じ部分をそれぞれ示す）部分画像の各特定のペアについて、部分は、共通平面に変換され、それぞれ、これらの部分画像の間の比較のための基礎をもたらす。この変換を実施するための技法は、たとえば、「Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」 （Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ）， Ｃｈａｐｔｅｒ ７， Ｒｉｃｈａｒｄ Ｈａｒｔｌｅｙ ＆ Ａｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎ， Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓにおいて見つけられ得る。詳細には、一般性の喪失なしに、「引き渡し」部分画像Ｉ＿ｈ（＼ｖｅｃ｛ｐ＿ｉ｝）を、比較平面中にすでにあるものとする。「返却」部分画像Ｉ＿ｒ（＼ｖｅｃ｛ｐＡｔ＿ｉ｝）を、＼ｖｅｃ｛ｐＡｔ＿ｉ｝＝Ｔ＼ｖｅｃ｛ｐ＿ｉ｝として変換Ｔを用いて同じ平面に回転されるようにし、ここで、画像平面のｘ及びｙ座標並びにＴを有するｐ＝［ｘ、ｙ、１］ベクトルは、３×３行列である。それゆえ、Ｔを見つけることは、２つの部分画像のピクセル上で、又はより一般的に、類似の空間方向導関数を有するサンプリングされた「キー」ポイント上で直接実行（ｒｕｎ）され得る、８次元最適化問題（Ｔ［３，３］は、常に、１である）である。最適化は線形であるので、多くの知られているオフ・ザ・シェルフ凸最適化ツールボックスが、この問題を解くために使用され得る。

次に、ステップ４０９において、変換された「引き渡し」及び「返却」部分画像の間の比較が、各部分についてそれぞれ実施される。比較ステップ４０９は、比較のための最良の基礎を得るために、スケーリング、回転、及び変位の予備ステップを伴う。ステップ４０９は、ピクセルごとの比較を実施し、予め定義された閾値を上回る色、色相、輝度などの差が、ピクセル、又はピクセルのグループについて識別された場合、これは、部分における損傷のサインであり得るので、警報が、ステップ４１１において出される。比較は、自動車の実質的にすべての部分について類似的に実施される。比較はまた、カラー画像ではなく、グレースケール・タイプの画像中で実施され得る。

各々２メガピクセルから始まる実験が、本発明のシステムが、相対的に低解像度のカメラを使用し得ることを示した。

手順は、上記のステップ４１１において終わり得るか、又はそれは、損傷推定ステップ４１３に続き得る。様々な部分における損傷が、自動的に推定され得る。たとえば、車両のドアにおける予め定義された寸法を上回るひっかき傷は、ドア全体の交換を必要とし得る。ドア交換のコスト（関係する部品及び作業のコスト）が、各部分についてデータベース４１５に記憶される場合、損傷推定ステップ４１３は、損傷推定全体を自動的に提供し得る。

画像の「引き渡し」及び「返却」セットは、必ずしも、まったく同じ自動車からキャプチャされるとは限らないことがある。本発明の実施例では、「引き渡し」セット（「基準」セット）は、損傷がないことがわかっている、「返却」セットのものと実質的に同じモデルの車両からキャプチャされる。

その上、本発明のシステムは、「引き渡し」画像の低減されたセットで十分であり得る。たとえば、「引き渡し」（「参照」）セットは、車両のただ１つの側、たとえば、右側の画像を含み得る。この手順は、図４ｂにおいて説明される。そのような場合、右側部分は、図４ａに関して説明された様式で、ステップ４０７及び４０９において処理される。左側部分の処理は、比較の準備ができているように、部分のビューがミラーリングされる、（図４ｂ中に示されている）「ミラーリング」の予備ステップ４０６を含む。「ミラーリング」ステップ４０６は、実際、損傷がない右側部分をミラーリングし、それにより、比較の準備ができているように、損傷がない「左側」部分を形成する。実験は、この手法の完全な適用可能性を示した。

本発明の実施例では、携帯電話カメラが、画像の「引き渡し」及び「返却」セットのうちの１つ又は複数をキャプチャするために使用され得る。前述のように、画像は、カメラに対する自動車のズーム又は向きにかかわらず、及び車両とモバイル・カメラとの間の相対的動きがあるかどうかにかかわらず、キャプチャされ得る。

本発明と連携した、スチール・カメラではなく、ビデオ・カメラの使用は、それが、特殊で、コストがかかる照明の欠如の影響を低減するので、好ましい。この点において、車両とカメラとの間の相対的動きがあるという、及びビデオ・カメラが使用されるという事実は、これが、１つの特定の画像中で現れ得る明るいエリアが、（少なくとも、部分の同じロケーションにおいて）他の連続した画像中で現れ得る見込みを著しく低減するので、有利である。画像中の明るいピクセルの比較は、実質的に効果がないことに留意されたい。
実例

図５ａは、自動車の画像６００ａを示す。自動車の後部左側を示す画像は、４メガピクセルの解像度を有するビデオ・カメラによってキャプチャされた、数１０の画像のうちの１つである。これらの画像は、将来の比較のための「引き渡し」セットとして記憶された。自動車の画像は、図４ａの全自動プロセスに従って分析されたものであり、画像内に示されている矩形フレームは、プロセス中に決定された「基本部分」及び「他の部分」に関する。後で、数１０の画像の「返却」セットが、ビデオ・カメラによってキャプチャされ、今度は、自動車の後部右側を示した。画像は、本発明のシステムによって再び分析され、図５ｂ中の画像６００ｂ内で様々な矩形フレームによって示されている、「基本部分」並びに「他の部分」を決定した。本発明のシステムは、「ミラーリング」ステップ４０６、変換ステップ４０７、並びに「引き渡し」及び「返却」セットの画像のペアの間の比較ステップ４０９を繰り返し実施した。比較は、部分の各々に対して各ペア中で別々に実施された。手順の完了時、システムは、自動車の右側において（図５ｂ中に示されている）小さいひっかき傷６１０を検出した。この検出は、参照画像が左側画像であり、ひっかき傷が自動車の右側に存在したにもかかわらず、得られた。手順の目的で、以下のようないくつかの対応する「基本部分」、すなわち、右後輪、すなわち、画像６００ｂ中のフレーム５に対応する画像６００ａ中のフレーム７によって指し示されている左後輪と、リア・プレート、すなわち、画像６００ｂ中のフレーム７に対応する画像６００ａ中のフレーム１１によって指し示されているリア・プレートと、リア・シンボル、すなわち、画像６００ｂ中のフレーム１３に対応する画像６００ａ中のフレーム１によって指し示されているリア・シンボルと、主要な右後部ライト、すなわち、画像６００ｂ中のフレーム８に対応する画像６００ａ中のフレーム９によって指し示されている主要な左後部ライトと、右ミラー、すなわち、画像６００ｂ中のフレーム１２に対応する画像６００ａ中のフレーム１２によって指し示されている左ミラーと、右フロント及び右リア・ハンドル、すなわち、画像６００ｂ中のフレーム１１及び１０に対応する画像６００ａ中のそれぞれフレーム１５及び１６によって指し示されている左フロント及び左リア・ハンドルとが、それぞれ、（図５ａ及び図５ｂの）「引き渡し」６００ａ及び「返却」６００ｂ画像のペア中で識別された。

本発明のシステムは、シェアード車両（ｓｈａｒｅｄ ｖｅｈｉｃｌｅ）（たとえば、自律走行自動車）のフリートの損傷を検出するためにも使用され得る。そのような場合、システムは、ガソリン・スタンドなど、様々なロケーションに設置され得、そのような様式で、起こり得る損傷についての繰り返される検証の頻度が、著しく増加させられ得る。

システムはまた、自律走行自動車のフリートを運用する団体によって使用され得る。そのような団体は、一般に、それらの事故後コンディション（ｃｏｎｄｉｔｉｏｎ ｐｏｓｔ ｉｎｃｉｄｅｎｔ）の、遠隔でのイン・デポー査定（ｉｎ－ｄｅｐｏｔ ａｓｓｅｓｓｍｅｎｔ）に依存する。この目的で、カメラは、サイト上に並びに車両上に位置決めされ得るか、又は携帯電話カメラが、代替的に、車両のユーザビリティ査定及び対応の起こり得る必要性を可能にするために、事故損傷をキャプチャするために使用され得る。

本発明のシステムは、様々な団体によって、たとえば、レンタ・カー会社、カー・リース会社、車両シェアリング団体、自動車販売（新車又は中古車）団体、或いは車両を扱う任意の類似の団体によって使用され得る。いくつかの場合には、システムは、サードパーティによって運用され得る。

本発明はまた、顧客、推定人（ｅｓｔｉｍａｔｏｒ）、又はメカニックなど、主観的当事者によって報告された特定の損傷の分析ではなく、保険金請求を検出及び査定するために、たとえば、車両コンディションを査定するために保険団体によって使用され得る。

本発明のシステムは、車両の検査のコストを低減し、関係するすべての当事者に、客観的で、正確で、平明な様式で指示を提供する。

本発明のいくつかの実施例が、例として説明されたが、本発明は、本発明の趣旨から逸脱することなく、又は特許請求の範囲を超えることなく、多くの変更形態、変形形態及び適応形態を用いて、並びに当業者の範囲内にある多数の等価物又は代替解決策を使用して実施され得ることが明らかであろう。

Claims (21)

1. 車両への損傷を検出するための自動システムであって、
   ａ．車両の画像の「引き渡し」及び「返却」セットをキャプチャするための少なくとも１つのカメラであって、前記セット内の前記画像の各々が、前記車両の移動にかかわらず、又は前記キャプチャするカメラに対する前記車両の向きにかかわらず、キャプチャされる、少なくとも１つのカメラと、
   ｂ．少なくとも１つの車両の基本部分の画像を記憶するためのメモリと、
   ｃ．前記基本部分の画像に基づいて、前記画像の「引き渡し」及び「返却」セットの画像内の１つ又は複数の基本部分のロケーションを決定するように構成された、第１の決定ユニットと、
   ｄ．前記画像内の前記車両の基本部分の前記決定されたロケーションに基づいて、前記画像の「引き渡し」及び「返却」セット内の前記車両の「他の部分」のロケーションを決定し、それにより、「引き渡し」部分画像及び「返却」部分画像をそれぞれ形成するように構成された、第２の決定ユニットと、
   ｅ．同じ平面に、「引き渡し」部分画像及び「返却」部分画像の各ペアを別々に変換するように構成された変換ユニットであって、前記変換が、前記ペア中の第２の画像に関する第１の画像の変位、回転及びズームのうちの１つ又は複数の実施をさらに含む、変換ユニットと、
   ｆ．「引き渡し」部分画像及び「返却」部分画像の前記変換されたペアの各々を、ピクセルごとに別々に比較して、それにより、予め定義された閾値を上回る差を検出して、前記閾値を上回る前記差が検出されたとき、警報を出すように構成された比較ユニットと
   を備える、自動システム。
2. 前記画像の「引き渡し」及び「返却」セットが、異なる時間に、場合によっては、１つ又は複数のカメラの異なるセットによって、キャプチャされる、請求項１に記載のシステム。
3. 前記カメラの各々が、少なくとも２メガピクセルの解像度を有する、請求項１に記載のシステム。
4. 前記警報が、前記ペア中の少なくとも１つの部分画像内のロケーション指示をさらに備える、請求項１に記載のシステム。
5. 前記第１の決定ユニットが、画像認識技法を適用する、請求項１に記載のシステム。
6. 前記少なくとも１つのカメラが、携帯電話カメラである、請求項１に記載のシステム。
7. 前記少なくとも１つのカメラが、別の車両の車載カメラである、請求項１に記載のシステム。
8. 「引き渡し」画像の前記セットが、低減されたセットであり、前記車両の片側のみの画像を備え、前記システムが、前記車両の第１の側の画像を、前記車両の第２の側の画像に変換するように構成されたミラーリング・モジュールをさらに備える、請求項１に記載のシステム。
9. 前記「引き渡し」及び「返却」セットの各々が、前記車両の外観全体をカバーする画像を備える、請求項１に記載のシステム。
10. 損傷コスト・データベースと、前記警報によって指示され、前記損傷コスト・データベース上にあった部分に基づいて、前記損傷のコストを推定するためのモジュールとをさらに備える、請求項１に記載のシステム。
11. 車両のレンタ・カー若しくはリース会社、車両フリート運用会社、保険会社、車両整備店、自律走行車両運用会社、自動車販売会社、車両シェアリング会社、又はカー・ディーラー店のうちの１つ又は複数による使用のための、請求項１に記載のシステム。
12. 車両への損傷を自動的に検出するための方法であって、
    ａ．少なくとも１つの車両の基本部分の画像を、メモリに記憶することと、
    ｂ．車両の「引き渡し」画像のセットを、少なくとも１つのカメラによってキャプチャすることであって、前記画像の各々が、前記車両の移動にかかわらず、又は前記キャプチャするカメラに対する前記車両の向きにかかわらず、キャプチャされる、キャプチャすることと、
    ｃ．前記車両の「返却」画像のセットを、後の段階においてキャプチャすることであって、前記画像の各々も、前記車両の移動にかかわらず、又は前記キャプチャするカメラに対する前記車両の向きにかかわらず、キャプチャされ、場合によっては、前記「引き渡し」画像をキャプチャしたカメラとは異なるカメラによってもキャプチャされる、キャプチャすることと、
    ｄ．前記基本部分の画像に基づいて、前記「引き渡し」セットの画像の画像内の、及び前記「返却」セットの画像の画像内の１つ又は複数の基本部分のロケーションを決定するように、第１の決定ユニットをアクティブにすることと、
    ｅ．前記画像内の前記車両の基本部分の前記ロケーションに基づいて、前記「引き渡し」セットの画像及び前記「返却」セットの画像内の前記車両の「他の部分」のロケーションを決定し、それにより、「引き渡し」部分画像及び「返却」部分画像をそれぞれ形成するように、第２の決定ユニットをアクティブにすることと、
    ｆ．同じ平面に、「引き渡し」部分画像及び「返却」部分画像の各ペアをそれぞれ別々に変換するように、変換ユニットをアクティブにすることであって、前記変換が、前記ペア中の第２の画像に関する第１の画像の変位、回転及びズームのうちの１つ又は複数の実施をさらに含む、変換ユニットをアクティブにすることと、
    ｇ．「引き渡し」部分画像及び「返却」部分画像の前記変換されたペアの各々をピクセルごとに別々に比較して、それにより、予め定義された閾値を上回る差を検出して、前記閾値を上回る前記差が検出されたとき、警報を出すことと
    を含む、方法。
13. 前記カメラの各々が、少なくとも２メガピクセルの解像度を有する、請求項１２に記載の方法。
14. 前記警報が、前記ペア中の少なくとも１つの部分画像内のロケーション指示をさらに備える、請求項１２に記載の方法。
15. 前記第１の決定ユニットが、画像認識技法を適用する、請求項１２に記載の方法。
16. 前記少なくとも１つのカメラが、携帯電話カメラである、請求項１２に記載の方法。
17. 前記少なくとも１つのカメラが、別の車両の車載カメラである、請求項１２に記載の方法。
18. 「引き渡し」画像の前記セットが、低減されたセットであり、前記車両の片側のみの画像を備え、前記方法が、前記車両の第１の側の画像を、前記車両の第２の側の画像に変換するためのミラーリング・ステップをさらに含む、請求項１２に記載の方法。
19. 前記「引き渡し」及び「返却」セットの各々が、前記車両の外観全体をカバーする画像を備える、請求項１２に記載の方法。
20. 損傷コスト・データベースをさらに備え、前記方法が、前記警報によって指示され、前記損傷コスト・データベース上にあった部分に基づいて、前記損傷のコストを推定するためのモジュールをアクティブにするステップをさらに含む、請求項１２に記載の方法。
21. 車両のレンタ・カー若しくはリース会社、車両フリート運用会社、保険会社、車両整備店、自律走行車両運用会社、自動車販売会社、車両シェアリング会社、又はカー・ディーラー店のうちの１つ又は複数による使用のための、請求項１２に記載の方法。

Images