JP7319527B2

JP7319527B2 - 画像処理システム

Info

Publication number: JP7319527B2
Application number: JP2019096093A
Authority: JP
Inventors: 宏美大久保; 忠史西村; 以大間下; 友樹浦西; ポチャララサミー; 和樹小川
Original assignee: Daikin Industries Ltd
Current assignee: Daikin Industries Ltd
Priority date: 2019-05-22
Filing date: 2019-05-22
Publication date: 2023-08-02
Anticipated expiration: 2039-05-22
Also published as: JP2020190943A

Description

異なる複数の視点から撮影した対象の画像を処理する画像処理システム

新築時から数年、数十年経過した建物に対して、改築や増築を行ったり設備を更新したりすることがある。この際設計図の入手が必要となるが、現状設計図がなく、設計図を作るために図面から作ることが多い。建物の計測を行う場合、専門の技術者によって人手と時間をかけて計測が行われるため、コストが高くなる。

建物の計測において、人手と時間を省くには、例えば非特許文献１（Luwei Yangら，“Polarimetric Dense Monocular SLAM”，IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.）に記載されているようなＳＬＡＭ（Simultaneously Localization and Mapping）の手法を用いることが考えられる。

しかしながら、建物には金属製の部材等の光を鏡面反射する物体があるため、ステレオ視に基づいて距離情報を取得する方法を用いると、これら物体の鏡面反射によりステレオ視の処理において誤差が生じることになる。

ステレオ視に基づいて距離情報を取得する方法を用いるシステムなどのように、異なる複数の視点から撮影した対象の画像を処理する画像処理システムには、対象の画像の処理における鏡面反射による誤差を低減するという課題がある。

第１観点の画像処理システムは、画像取得部と、認識部と、検出部とを備えている。画像取得部は、異なる複数の視点から撮影した対象の画像を取得する。認識部は、取得した画像である第１画像及び第２画像において、鏡面反射成分を認識する。検出部は、認識部の認識結果を用いて、視点の違いに基づく第１画像と第２画像との違いを検出する。

第１観点の画像処理システムは、認識部により認識された鏡面反射成分を用いながら検出部において視点の違いに基づく第１画像と第２画像との違いの検出を行うことができる。その結果、画像処理システムは、対象の画像の処理における鏡面反射による誤差の低減が可能になる。

第２観点の画像処理システムは、第１観点のシステムであって、検出部は、認識部が認識した鏡面反射成分に基づいて、画像の補正、画像のマスキング、あるいは画像の一部除去、を行って、視点の違いに基づく第１画像と第２画像との違いを検出する。

第２観点の画像処理システムは、鏡面反射成分に基づいて画像の補正、画像のマスキング、あるいは画像の一部除去を検出部が行うことにより、視点の違いに基づく第１画像と第２画像との違いの検出時の鏡面反射成分による誤差について、鏡面反射成分の影響を低減することができる。

第３観点の画像処理システムは、第１観点または第２観点のシステムであって、画像取得部は、各視点において、偏光板を有する偏光カメラによって撮影された画像を取得し、認識部は、偏光角及び光の強さに基づいて、鏡面反射成分を認識する。

第３観点の画像処理システムは、各視点において偏光板を通して画像を撮影することにより、各視点における偏光角及び光の強さから鏡面反射成分を認識し、鏡面反射成分を簡単に低減することができる。

第４観点の画像処理システムは、第１観点から第３観点のいずれかのシステムであって、画像取得部は、各視点において、ライトフィールドカメラによって撮影された画像、対象を照らす光源の照度を変えて撮影された複数の画像、シャッタースピードを変えて撮影された複数の画像、あるいは、対象を照らす光源の色を変えて撮影された複数の画像、を取得する。

第４観点の画像処理システムは、ライトフィールドカメラの使用、光源の照度の変更、シャッタースピードの変更、あるいは光源の色の変更により、鏡面反射成分を認識し易くすることができる。

第５観点の画像処理システムは、第１観点から第４観点のいずれかのシステムであって、画像取得部は、同一の撮影装置が異なる場所で撮影した対象の画像、あるいは、異なる場所に設置された複数の撮影装置が撮影した対象の画像、を取得する。

第５観点の画像処理システムは、同一撮影装置で撮影する場合には撮影装置の台数が少なくて済み、異なる場所に設置された複数の撮影装置で撮影する場合には撮影装置の位置の特定が容易になる。

第６観点の画像処理システムは、第１観点から第５観点のいずれかのシステムであって、検出部の検出結果に基づいて、対象の幾何学的な情報、対象の光学的な情報、あるいは、対象を照らす光源の情報を生成する、情報生成部、をさらに備える。

第６観点の画像処理システムは、対象の幾何学的な情報、対象の光学的な情報、あるいは、対象を照らす光源の情報について、視点の違う第１画像と第２画像により、情報を豊富化することができる。

実施形態に係る画像処理システムの構成の一例を示す模式図。第１の位置から撮影したカップの撮影画像を説明するための絵画図。第２の位置から撮影したカップの撮影画像を説明するための絵画図。図２Ａの撮影画像から鏡面反射成分を除去した第１修正画像を説明するための絵画図。図２Ｂの撮影画像から鏡面反射成分を除去した第２修正画像を説明するための絵画図。天井裏の撮影画像の一例を示す図。天井裏の撮影画像の他の例を示す図。偏光角と偏光度の関係を示すグラフ。偏光カメラの仕組みを説明するための模式図。偏光カメラの仕組みを説明するための模式図。偏光角φと光の強さI_φの関係を示すグラフ。鏡面反射除去を行う前の画像の一例を示す図。鏡面反射除去を行った後の画像の一例を示す図。検出された鏡面反射成分を説明するための画像の一例を示す図。鏡面反射除去を行う前の画像の他の例を示す図。鏡面反射除去を行った後の画像の他の例を示す図。検出された鏡面反射成分を説明するための画像の他の例を示す図。鏡面反射除去前の特徴点対応を説明するための図。鏡面反射除去後の特徴点対応を説明するための図。実施形態に係る画像処理システムの構成の一例を示す模式図。

（１）全体構成
画像処理システム１は、画像取得部１０と、認識部２０と、検出部３０と、情報生成部４０とを備える。画像処理システム１は、移動型カメラ５０に接続されている。画像取得部１０は、異なる複数の視点から撮影した対象画像を取得する。画像処理システム１は、例えば、図２Ａ及び図２Ｂに示されているコップ１００を撮影した第１画像２０１と第２画像２０２を移動型カメラ５０から取得する。この場合、撮影の対象がコップ１００である。ここでは、撮影の対象が、コップ１００という物である場合について説明するが、撮影の対象は、物に限られるものではない。撮影の対象は、例えば、シーン（光景）であってもよい。

移動型カメラ５０は、遠隔操作によって操作されて走行する移動体に、カメラを搭載したものである。図１には、キャタピラで移動型カメラ５０が走行する場合が示されているが、走行手段はキャタピラ以外の例えば車輪または足であってもよい。移動型カメラ５０は、コップ１００との相対的な位置関係を変えて画像を撮影する。移動型カメラ５０は、例えば、コップ１００の周囲を自走することにより、コップ１００との相対的な位置関係を変えることができる。なお、ここでは、撮影装置が移動型カメラ５０である場合について説明しているが、１台のカメラを移動させる方法は自走するものに限られるものではない。例えば、人が手に持って移動する携帯型のカメラであってもよく、ロボットに装着してロボットとともに移動するカメラであってもよい。また、撮影装置である移動型カメラ５０と画像処理システム１との間のデータの送受信については、図１には無線で送受信する場合が示されているが、移動型カメラ５０と画像処理システム１は有線でデータを送受信してもよく、公衆回線を介してデータを送受信してもよい。さらに、図１には、画像処理システム１が移動型カメラ５０の外部にある場合が示されているが、画像処理システム１は移動型カメラ５０の中に組み込まれてもよい。

移動型カメラ５０が第１の位置で撮影した画像が第１画像２０１であり、第２の位置で撮影した画像が第２画像２０２である。移動型カメラ５０は、第１の位置の座標（ｘ１，ｙ１）及び第２の位置の座標（ｘ２，ｙ２）を画像処理システム１に送信する機能を有する構成を採ることができる。それに対し、画像処理システム１は、第１の位置の座標（ｘ１，ｙ１）及び第２の位置の座標（ｘ２，ｙ２）を受け取って、画像処理にこのような位置データを用いる構成を採ることができる。画像処理システム１は、第１画像２０１及び第２画像２０２などの異なる複数の視点から撮影した画像データと、第１の位置の座標（ｘ１，ｙ１）及び第２の位置の座標（ｘ２，ｙ２）などの視点の位置データとを使って、コップ１００などの対象の図面を作成する構成を採ることができる。なお、移動型カメラ５０が自身の位置を計測する方法として、ここではＧＰＳ（グローバルポジショニングシステム）が用いられるが、撮影位置を計測する方法はＧＰＳには限られず、例えば予め走行位置と撮影位置をプログラミングする方法または自己位置推定(カメラ位置)と対象の位置を同時に行うＳＬＡＭの手法を用いてもよい。

認識部２０は、取得した第１画像２０１及び第２画像２０２において、鏡面反射成分を認識する。例えば、図２Ａ及び図２Ｂの第１画像２０１及び第２画像２０２において鏡面反射している箇所が第１箇所２１１、第２箇所２１２、第３箇所２１３及び第４箇所２１４である。認識部２０は、これら第１箇所２１１～第４箇所２１４を認識する。

検出部３０は、認識部２０の認識結果を用いて、視点の違いに基づく第１画像２０１と第２画像２０２の違いを検出する。視点の違いに基づく第１画像２０１と第２画像２０２の違いは、例えば、第１画像２０１では文字「Ａ」の一部が欠けて撮影されているのに対して第２画像２０２では文字「Ａ」が全て撮影されていることである。他の違いとしては、例えば、コップ１００の把手１１０の向きが第１画像２０１と第２画像２０２で異なる点が挙げられる。画像処理システム１は、これらの違いに基づく画像処理により、例えば、コップ１００の図面に文字「Ａ」及び把手１１０を書き込むことができる。

検出部３０は、例えば、鏡面反射成分を除去または減少させるために、認識部２０の認識結果を用いる。あるいは、検出部３０は、例えば、鏡面反射成分以外の成分を強調または鏡面反射成分以外の成分のみを抽出するために、認識部２０の認識結果を用いる。鏡面反射成分を除去することで、画像処理システム１は、例えば、図３Ａ及び図３Ｂに示されている第１修正画像２０３と第２修正画像２０４を示すデータを得ることができる。

鏡面反射している箇所である第１箇所２１１と第３箇所２１３を比較すると、第１箇所２１１が文字「Ｃ」上に位置するのに対し、第３箇所２１３が文字「Ｂ」上に位置する。このように、鏡面反射する場所が、視点と光源と対象との位置関係の変化に伴って変化する。同様に、把手１１０での反射に係る第２箇所２１２と第４箇所２１４も視点の移動に伴って移動する。このように鏡面反射する場所が視点の位置によって違ってくると、例えばコップ１００の図面を作成した場合には、図面上の誤差を生じさせる。それに対し、図３Ａ及び図３Ｂに示されている第１修正画像２０３と第２修正画像２０４を示すデータを用いて、例えばコップ１００の図面を作成した場合には、前述の図面上の誤差を除去することができる。このように、検出部３０が認識部２０の認識結果を用いて視点の違いに基づく第１画像２０１と第２画像２０２の違いを検出することで、画像処理システム１は、対象の画像の処理における鏡面反射による誤差を低減することができる。

情報生成部４０は、検出部３０の検出結果に基づいて、対象の幾何学的な情報、対象の光学的な情報、あるいは、対象を照らす光源の情報を生成する。対象の幾何学的な情報とは、例えば、物の形状、あるいはシーンの３Ｄマッピングに関する情報である。対象の光学的な情報とは、例えば、対象物の反射特性に関する情報である。対象を照らす光源の情報とは、例えば、光源の向いている方向及び位置のうちの少なくとも一方に関する情報である。

画像処理システム１は、例えばコンピュータにより実現されるものである。画像処理システム１は、例えば制御演算装置（図示せず）と記憶装置（図示せず）で構成される。制御演算装置には、ＣＰＵ又はＧＰＵといったプロセッサを使用できる。制御演算装置は、記憶装置に記憶されているプログラムを読み出し、このプログラムに従って所定の画像処理や演算処理を行う。さらに、制御演算装置は、プログラムに従って、演算結果を記憶装置に書き込んだり、記憶装置に記憶されている情報を読み出したりすることができる。図１は、制御演算装置により実現される各種の機能ブロックを示している。記憶装置は、データベースとして用いることができる。

（２）詳細構成
（２－１）天井裏での計測について
改築や増築を行ったり設備を更新したりする際に、運び込める部品のサイズ、工事の際に他の設備が邪魔にならないかといったことを事前に知る目的で、設計図を作るために図面から作ることがある。このような図面を作るために行われる建物の計測について説明する。

特に、建物の天井裏については、例えばエアコンの冷媒配管を交換するケースなどが考えられる。このような天井裏の工事の際に建物の計測が必要となる場合が多い。しかし、天井裏の計測は専門の技術者によって人手と時間をかけて行われているため高コストであるという問題がある。

このような問題を解決するための方法としてロボット等によってセンサを用いた計測を行うという方法が考えられるが、天井裏はセンサを用いた計測が難しい。例えば光学的な計測の場合には、図４及び図５のように配管３１０，３２０等の金属が光を反射し，金属面で鏡面反射が起こり、見た目が大きく変化するためにステレオ視に基づく形状計測が困難である。また、電波を用いた計測の場合には，鉄筋やコンクリートが電波を阻害する問題が発生する。

本開示では，金属の反射等の問題を解決し、天井裏のような環境でも機能する光学的計測技術を示している。具体的には，偏光カメラを用いて鏡面反射の成分を計算し、鏡面反射を除去した画像を生成してそれを用いて特徴点対応を実行することで複数視点での物体の対応付けを目指す。

（２－２）偏光カメラを用いた計測手法
天井裏の鏡面反射を除去するために，偏光カメラを使う方法について説明する。鏡面反射は物体表面で即反射するのに対し、拡散反射は物体の屈折率が不均一であるため乱反射する。この違いにより，鏡面反射光は図６のように偏光角により強さが異なるが、拡散反射光は偏光角によらず強さが均一な非偏光となる。そのため、鏡面反射の偏光角、強さといった偏光情報を算出できれば、鏡面反射と拡散反射の成分を分離することができ、鏡面反射を除去できる。偏光カメラは画素の前にいくつかの角度の偏光板６０が入っているため、これを用いれば鏡面反射の偏光情報を算出できる。

（２－２－１）偏光カメラ
偏光カメラは図７Ａのように０度、４５度、９０度、１３５度の方向に偏光板６１，６２，６３，６４が張られた画素の組を持ち、特定方向に振動する光のみを得ることができる。これを用いることで偏光情報を算出して鏡面反射を除去できる。図７Ｂには、偏光板６１，６２，６３，６４が張られた４つの画素の組とＲＧＢとの関係が示されている。

（２－２－２）偏光情報の計算
（２－２－２－１）偏光角と光の強さに関する仮定
まず、角度によらない非偏光の拡散反射成分と、角度によって周期的に変化している鏡面反射成分の２つのみを持っているものと仮定すると、０度と１８０度が同一の状態であることから以下の式（１）で各画素のＲＧＢ値を表すことができ、図８のように偏光角と光の強さの関係を表すことができる。

また、この仮定から、０度、４５度、９０度、１３５度の４種類の画素のＲＧＢ値Ｉ₀，Ｉ₄₅，Ｉ₉₀，Ｉ₁₃₅について、それぞれ式（２）、式（３）、式（４）及び式（５）の関係を定めることができる。

グラフ中の最低値Ｉ_minは、Ｉ_b－Ｉ_a，最大値Ｉ_maxはＩ_b＋Ｉ_aに相当する。また、偏光角によって変動している成分であるＩ_max－Ｉ_minが鏡面反射成分、逆に偏光角によらない成分であるＩ_minが拡散反射成分に相当する。

（２－２－２－２）画素のＲＧＢ値を用いたＩ_a，Ｉ_bの導出過程
鏡面反射を除いた成分を算出するにはＩ_b，Ｉ_aを算出する必要がある。まず、cos（２θ＋１８０）＝－cos（２θ）から、式（６）が導かれる。

cos（２θ＋９０）＝－sin（２θ），cos（２θ＋２７０）＝sin（２θ）から、式（７）が導かれる。

従って以下の式（８）でＩ_aを求めることができる。

また、cos（２θ），cos（２θ＋９０），cos（２θ＋１８０），cos（２θ＋２７０）は全て足すとθがどんな値でも０になるため，以下の式（９）でＩ_bを求めることができる。

（２－２－２－３）偏光情報を用いた鏡面反射の除去方法
上述の（２－２－２－２）で示した方法でＩ_a，Ｉ_bを求めたら、それを用いて鏡面反射を除いた成分Ｉ_minを計算することで鏡面反射を除去した成分を求める。Ｉ_minはＩ_b－Ｉ_aに等しいため、Ｉ_b－Ｉ_aを画素のＲＧＢ値として画像を生成すれば、図９Ａ、図９Ｂ及び図９Ｃを比較して分かるように、あるいは図１０Ａ、図１０Ｂ及び図１０Ｃを比較して分かるように鏡面反射を除去した画像を得られる。そして図１１Ａ及び図１１Ｂを比較して分かるように鏡面反射によって特徴点対応の精度を上げることができる。

（２－２－３）ＲＧＢ値の飽和への対策
カメラが対応できる輝度範囲は限られており、実世界の全ての明るさを表現することはできない。このため、対応できる範囲外の輝度が画像内に存在した場合、画素の値は常に最小または最大になる。従って画素の値が最大の場合、実世界における輝度と画素の値を対応付けることができず、鏡面反射の除去に失敗するという問題がある。この問題を解決するために高ダイナミック・レンジ（ＨＤＲ）画像を用いるという方法がある。

ＨＤＲ画像を取得する方法としては、例えば、対象を照らす光源の照度を変えて複数回ずつ複数の画像を各視点で取得する方法がある。他のＨＤＲ画像を取得する方法としては、例えば、移動型カメラ５０のシャッタースピードを各視点で複数回変えて、各視点で複数の画像を取得する方法がある。

（２－３）空間モデルの構築
空間モデルの構築により、例えば図面を作成することができる。天井裏の空間モデルを構築すれば、天井裏の図面を作成することができる。異なる複数の視点から撮影した対象の複数の画像をもとにステレオ視の考え方を用いて空間モデルを構築することができるように、画像処理システム１を構成することができる。例えば、画像処理システム１は、ＳＬＡＭ技術を使用し、異なる複数の視点から撮影した対象の複数の画像をもとに、移動型カメラ５０自体の移動位置を推測するとともに、空間モデルを構築する構成を採ることができる。例えば、移動型カメラ５０が天井裏を自走して天井裏の複数の画像を画像処理システム１に送信し、画像処理システム１が移動型カメラ５０から受信した天井裏の複数視点から撮影した画像を受信する。天井裏の複数視点から撮影した複数の画像から、画像処理システム１は、ＳＬＡＭ技術を使って天井裏の空間モデルを構築する。

（３）変形例
（３－１）変形例１Ａ
上記実施形態では、異なる複数の視点から撮影する撮影装置に、同一の撮影装置である移動型カメラ５０を用いる場合について説明した。しかし、異なる複数の視点から撮影する撮影装置は、移動型カメラ５０に限られるものではない。異なる複数の視点から撮影する撮影装置は、例えば、異なる場所に設置された複数の撮影装置であってもよい。このような複数の撮影装置として、例えば、図１２に示されているような第１カメラ５１と第２カメラ５２からなるステレオカメラを用いることができる。

（３－２）変形例１Ｂ
上記実施形態では、検出部３０が偏光カメラで撮影された画像を用いることで鏡面反射成分を低減させる方法について説明した。偏光カメラを用いて鏡面反射成分を低減させる方法は、画像の補正によって鏡面反射成分を低減させる方法の一例である。画像の補正には、例えば、鏡面反射成分を差し引く方法がある。しかし、対象の画像の処理における鏡面反射による誤差を低減する方法は、画像の補正による方法には限られない。

画像の補正以外の方法としては、例えば、画像の中の鏡面反射が生じている箇所をマスキングする方法がある。画像のマスキングは、例えば、マスク信号などによって、特徴部分の抽出において鏡面反射の生じている箇所を無視するまたは鏡面反射の生じている箇所の重み（影響）を小さくする方法である。また、他の方法としては、例えば、鏡面反射が生じている箇所を除去して（画像の一部除去を行って）、鏡面反射が生じていない箇所のみを画像処理に用いる方法がある。

（３－３）変形例１Ｃ
上記実施形態では、画像取得部１０が、偏光カメラで異なる複数の視点から撮影した対象の画像を取得する場合について説明した。しかし、画像を取得する方法は、偏光カメラを用いる場合には限られない。例えば、ライトフィールドカメラで撮影された画像を、画像取得部１０が、異なる複数の視点から撮影した対象の画像として取得するように構成してもよい。

また、画像を取得する際に対象に当たる光の条件及び移動型カメラ５０の受光条件のうちの少なくとも一方を変えて撮影してもよい。画像取得部１０は、各視点において、対象を照らす光源の照度を変えて撮影された複数の画像、シャッタースピードを変えて撮影された複数の画像、あるいは、対象を照らす光源の色を変えて撮影された複数の画像、を取得する構成を採ることもできる。対象を照らす光源の照度及びシャッタースピードを変える場合には、既に説明したようにＨＤＲ画像を撮影することができる。また、光源の色を変える場合は、鏡面反射と拡散反射とで色に対する性質が異なることから鏡面反射を分離し易くなる。

（４）特徴
（４－１）
上記実施形態の画像処理システム１は、認識部２０により認識された鏡面反射成分を用いながら検出部３０において視点の違いに基づく第１画像２０１と第２画像２０２との違いの検出を行うことができる。その結果、画像処理システム１は、対象の画像の処理における鏡面反射による誤差の低減が可能になる。

（４－２）
上記実施形態または変形例で説明したように、画像処理システム１は、鏡面反射成分に基づいて画像の補正、画像のマスキング、あるいは画像の一部除去を検出部が行うことができる。画像処理システム１は、このような処置により、視点の違いに基づく第１画像と第２画像との違いの検出時の鏡面反射成分による誤差について、鏡面反射成分の影響を低減することができる。その結果、画像処理システム１は、対象の画像の処理における鏡面反射による誤差を低減することができる。

（４－３）
上記実施形態で説明したように、画像処理システム１は、各視点において偏光板を通して画像を撮影することにより、各視点における偏光角及び光の強さから鏡面反射成分を認識し、鏡面反射成分を簡単に低減することができる。偏光カメラを用いることによって特定の方向（上記実施形態では４方向）に振動する光のみを取得することができるため、その情報から鏡面反射の成分を計算することができる。鏡面反射成分を除去した画像を取得することで鏡面反射に強い特徴点対応を実現することができる。これによって鏡面反射が見られる物体の特徴点対応の精度が向上する。

（４－４）
画像処理システム１は、ライトフィールドカメラの使用、光源の照度の変更、シャッタースピードの変更、あるいは光源の色の変更により、鏡面反射成分を容易に認識することができる。

（４－５）
画像処理システム１は、同一撮影装置で撮影する場合には撮影装置の台数が少なくて済む。例えば、上述の実施形態では、撮影装置が１台の移動型カメラ５０または１台の携帯型カメラのみで済む。異なる場所に設置された複数の撮影装置で撮影する場合には、撮影装置の位置の特定が容易になる。

（４－６）
画像処理システム１の情報生成部４０は、対象の幾何学的な情報、対象の光学的な情報、あるいは、対象を照らす光源の情報について、視点の違う第１画像と第２画像により、情報を豊富化することができる。情報生成部４０は、例えば、物の形状、あるいはシーンの３Ｄマッピングに関する情報を生成することができる。情報生成部４０は、例えば、対象物の反射特性に関する情報を生成することができる。また、情報生成部４０は、例えば、光源の向いている方向及び位置のうちの少なくとも一方に関する情報を生成することができる。

以上、本開示の実施形態を説明したが、特許請求の範囲に記載された本開示の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

１画像処理システム
１０画像取得部
２０認識部
３０検出部
４０情報生成部
５０移動型カメラ（撮影装置の例）
５１第１カメラ（撮影装置の例）
５２第２カメラ（撮影装置の例）

Luwei Yang, Feitong Tan, Ao Li, Zhaopeng Cui, Yasutaka Furukawa, and Ping，"Polarimetric Dense Monocular SLAM"，IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.

Claims

異なる複数の視点から撮影した対象の画像を取得する、画像取得部（１０）と、
取得した画像である第１画像及び第２画像において、鏡面反射成分を認識する、認識部（２０）と、
前記認識部の認識結果を用いて、視点の違いに基づく前記第１画像と前記第２画像との違いを検出する、検出部（３０）と、
を備え、
前記検出部によって画像の違いを検出して、異なる複数の視点から撮影した対象の複数の画像をもとにステレオ法により空間モデルを構築するように構成されている、画像処理システム（１）。
前記検出部は、前記認識部が認識した鏡面反射成分に基づいて、画像の補正、画像のマスキング、あるいは画像の一部除去、を行って、視点の違いに基づく前記第１画像と前記第２画像との違いを検出する、
請求項１記載の画像処理システム（１）。
前記画像取得部は、各視点において、偏光板（６０～６４）を有する偏光カメラによって撮影された画像を取得し、
前記認識部は、偏光角及び光の強さに基づいて、鏡面反射成分を認識する、
請求項１または請求項２に記載の画像処理システム（１）。
前記画像取得部は、各視点において、ライトフィールドカメラによって撮影された画像、対象を照らす光源の照度を変えて撮影された複数の画像、シャッタースピードを変えて撮影された複数の画像、あるいは、対象を照らす光源の色を変えて撮影された複数の画像、を取得する、
請求項１から３のいずれか一項に記載の画像処理システム（１）。
前記画像取得部は、同一の撮影装置が異なる場所で撮影した対象の画像、あるいは、異なる場所に設置された複数の撮影装置が撮影した対象の画像、を取得する、
請求項１から４のいずれか一項に記載の画像処理システム（１）。
前記検出部の検出結果に基づいて、対象の幾何学的な情報、対象の光学的な情報、あるいは、対象を照らす光源の情報を生成する、情報生成部（４０）、
をさらに備える、
請求項１から５のいずれか一項に記載の画像処理システム（１）。