JP7163049B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7163049B2 JP7163049B2 JP2018071723A JP2018071723A JP7163049B2 JP 7163049 B2 JP7163049 B2 JP 7163049B2 JP 2018071723 A JP2018071723 A JP 2018071723A JP 2018071723 A JP2018071723 A JP 2018071723A JP 7163049 B2 JP7163049 B2 JP 7163049B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging device
- imaging
- information processing
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Description
本発明は、撮影領域に照射される光が変化した場合でも、より高精度にオブジェクトの形状を決定できるようにすることを目的とする。
図1は、情報処理装置100のハードウェア構成等の一例を示す図である。情報処理装置100は、それぞれ視点の異なる複数の撮像装置108と接続され、撮像装置108から取得した画像からオブジェクトの領域を分離し、分離したオブジェクトの領域に基づいて、オブジェクトの形状を決定する情報処理装置である。情報処理装置100は、例えば、パーソナルコンピュータ、サーバ装置、タブレット装置、スマートホン、デバイスに組み込まれたコンピュータ等の情報処理装置である。また、情報処理装置100は、ネットワークカメラ等の撮像装置であってもよい。
情報処理装置100は、CPU101、RAM102、ROM103、二次記憶装置104、入力インターフェース105、出力インターフェース106を含む。そして、各要素は、システムバス107を介して、相互に通信可能に接続されている。
CPU101は、情報処理装置100を制御する中央演算装置である。Random Access Memory(RAM)102は、CPU101のワークエリアやデータの一時的な記憶場所として機能する記憶装置である。Read Only Memory(ROM)は、情報処理装置100の各要素を制御するためのプログラム等を記憶する記憶装置である。CPU101は、RAM102をワークエリアとして、ROM103に格納されたプログラムを実行し、システムバス107を介して情報処理装置100の各構成部を統括的に制御することとなる。
入力インターフェース105は、例えば、USBやIEEE1394等のシリアルバスインターフェースであり、外部の装置から情報処理装置100へのデータや命令等の入力に用いられる。情報処理装置100は、入力インターフェース105を介して、複数の撮像装置108のそれぞれ、外部記憶装置109等と接続されている。CPU101は、入力インターフェース105を介して、撮像装置108から各種データ(例えば、撮像装置108が撮像した画像(静止画及び動画)、撮像装置108の撮像条件に関するパラメータ等のデータ)を取得する。また、CPU101は、入力インターフェース105を介して、外部記憶装置109(例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ等の記憶媒体)からデータを取得する。
CPU101が、ROM103、二次記憶装置104等に記憶されたプログラムに従って処理を実行することで、図4、11で後述する情報処理装置100の機能、図5、7、8、12で後述するフローチャートの処理等が実現される。
図2(a)は、撮影対象の領域を斜め上から見た状況の一例を示す図である。図2(a)は、予め定められた領域を真上から見た状況の一例を示す図である。図2の状況は、ステージを囲むように配置された複数の撮像装置108により、ステージ上にいるオブジェクト201が撮影されている状況である。オブジェクト201はステージ上で演技、歌唱、運動等を行っており、その様子が撮像装置108により撮影されている。
図2における座標系202は、この領域内に定められている座標系であり、撮像装置108の位置等を表す際に用いられる座標系である。例えば、撮像装置108の位置は、座標系202における座標値として表される。カメラ203は、フラッシュ機能を備え、情報処理装置100とは独立した系で稼動しているオブジェクト201の動きを単視点で撮影するカメラである。
図3(a)の画像は、撮像装置108の1つで撮影された撮影対象領域の背景画像である。ここで、背景画像とは、撮像装置の撮影対象の領域の画像であってオブジェクトが存在していない画像である。
図3(b)、(c)の画像は、同じ撮像装置108で撮影されたオブジェクト201が含まれる画像である。ここで図3(b)の画像が撮影された時点では、カメラ203による撮影は行われておらず、カメラ203のフラッシュは点灯していない。図3(c)の画像が撮影された時点では、カメラ203によりフラッシュ点灯を伴う撮影が行われており、オブジェクト201とステージの一部とがカメラ203のフラッシュを受けて明るくなっている。
図3(d)の画像と同等にフラッシュの影響を受けずにオブジェクト201を分離した複数視点の背景差分の結果を入力データとした視体積交差法(Visual Hull)等の手法でオブジェクト201の形状を決定すれば、高精度にオブジェクト201の形状を決定できる。しかし、図3(e)の画像のようにフラッシュの影響でオブジェクト201以外の部分を分離した背景差分の結果を入力データとした場合、オブジェクト201の形状を精度よく決定することは困難である。例えば、オブジェクト201の膝下の部分が、正確な形状でなく、1つの塊のような形状として分離されているため、正確に足の形状を取得することは困難である。
図4は、情報処理装置100の機能構成等の一例を示す図である。情報処理装置100は、撮像データ群取得部401、照明情報取得部402、分離手法決定部403、分離部404、パラメータ取得部405、形状決定部406を含む。
撮像データ群取得部401は、撮像装置108それぞれから撮像装置108それぞれにより撮影された画像のデータを取得する。
照明情報取得部402は、撮像データ群取得部401により取得された画像に基づいて、撮像装置108の撮影対象の領域にどのような光が照射されているかを示す情報である照明情報を取得する。
分離手法決定部403は、照明情報取得部402により取得された照明情報に基づいて、撮像装置108により撮影された画像からオブジェクトを分離する際に用いる手法を決定する。
パラメータ取得部405は、入力インターフェース105を介して、撮像装置108それぞれから撮像装置108それぞれの内部パラメータ・外部パラメータ・歪曲パラメータ等のカメラパラメータを取得する。内部パラメータとは、画像中心の座標値やカメラのレンズの焦点距離等のパラメータである。外部パラメータとは、カメラの位置と向きを表すパラメータである。歪曲パラメータとは、カメラのレンズの歪曲を表すパラメータである。カメラパラメータは、複数視点の画像データを元にstructure from motionによって推定されることとしてもよいし、予めチャート等を用いたキャリブレーションを行うことで算出されることとしてもよい。また、パラメータ取得部405は、二次記憶装置104から、撮像装置108それぞれの内部パラメータ・外部パラメータ・歪曲パラメータ等のカメラパラメータを取得することとしてもよい。
形状決定部406は、パラメータ取得部405により取得された撮像装置108それぞれのカメラパラメータと、分離部404により分離されたオブジェクトの領域と、に基づいて、オブジェクトの形状を決定する。
S501において、撮像データ群取得部401は、入力インターフェース105を介して、複数の撮像装置108それぞれにより撮影された時間的に連続した多視点の画像データ群を取得する。本実施形態では、16台の撮像装置108が存在するとする。撮像装置108それぞれは、同期したタイミングで、60fpsで10秒間の動画(600枚のフレーム(静止画))を撮影する。即ち、撮像データ群取得部401は、600枚×16台の画像のデータを取得する。撮像データ群取得部401は、取得した画像データを、照明情報取得部402と分離部404とに出力する。
S502において、照明情報取得部402は、撮像データ群取得部401から取得した画像データに基づいて、各撮像装置108について、各フレームが撮影された際に各撮像装置108の撮影対象の領域に照射された光の情報である照明情報を取得する。本実施形態では、照明情報は、複数の撮像装置108について、各フレームが撮影された際に各撮像装置108の撮影対象の領域に照射された光が、カメラのフラッシュ等の瞬間的に照射される光を含んでいるか否かを示す情報であるとする。カメラのフラッシュは、短期光の一例である。短期光とは、予め定められた閾値以下の期間の間だけ照射される光であり、カメラのフラッシュ、火花の光、雷の光等の光である。本実施形態では、撮像装置108それぞれの撮影対象の領域には、カメラのフラッシュが照射されることがあるとする。
照明情報取得部402は、各撮像装置108について、各撮像装置108により撮影されたフレームの中から、撮影の際に撮影対象の領域にカメラのフラッシュが照射されていたフレームを特定する。そして、照明情報取得部402は、特定したフレームの情報(そのフレームを撮影した撮像装置108を示す情報(例えば、撮像装置108のID等の識別情報)、及びフレームの識別情報(例えばフレーム番号))を、照明情報として取得する。本実施形態では、照明情報取得部402は、以下の式(1)~(3)を満たすフレームをフラッシュの影響をうけたフレームとして特定する。
フラッシュの影響を受けたか否かの検査対象となるフレームをfとする。式(1)は、同じ撮像装置108により撮影されたフレームf-1(フレームfの1つ前に撮影されたフレーム)とフレームfとの座標(u、v)の輝度値に閾値α以上の差があるか否かを検出する際に用いられる式である。照明情報取得部402は、式(1)を用いて、フレームfが撮影された時点において、フレームf-1が撮影された時点と比べて、輝度の急峻な上昇があったか否かを判定できる。
照明情報取得部402は、例えば、フレームfが式(1)を満たすと判定した場合、フレームf'を、フレームf+1として初期化する。そして、照明情報取得部402は、フレームf'について、式(2)を満たすか否かを判定し、式(2)を満たさないと判定した場合、フレームf'のフレーム番号を1つインクリメントすることで、フレームf'を更新する。即ち、フレームf'がフレームf+1である場合、フレームf+2に更新される。そして、照明情報取得部402は、再度、フレームf'について、式(2)を満たすか否かを判定する。照明情報取得部402は、以上の処理を式(2)を満たすフレームf'が現れるまで繰り返すことで、式(2)を満たすフレームf'を検出する。
式(1)~(3)を満たすということは、予め定められた閾値以下の期間(例えばχ個のフレーム間隔に想到する期間以下の期間)照射される予め定められた強度以上の光が撮影対象の領域に照射されたこととなる。照明情報取得部402は、式(1)~(3)を満たすフレームfとフレームf'とを検出することで、このような光の影響を受けたフレームを特定することができる。
本実施形態では、照明情報取得部402は、以上のような処理でフラッシュの影響を受けたフレームを特定して、照明情報を取得し、出力することとした。しかし、照明情報取得部402は、例えば、背景差分法により前景背景分離をフレーム番号が隣接する全フレーム間で行い、前景領域サイズが急激に増加したフレームをフラッシュの影響により輝度変化が発生したフレームであると特定することとしてもよい。
そして、選択フレームについてS504~S506の処理が完了した場合、分離手法決定部403は、S501で取得された全てのフレームの中から選択フレームとして選択されたことのないフレームを新たな選択フレームとして選択する。分離手法決定部403は、以上の処理を、S501で取得された全てのフレームについて、S504~S506の処理が完了するまで繰り返す。
分離手法決定部403は、選択フレームに対応する撮像装置の番号と選択フレームに対応するフレーム番号との対応情報が照明情報に含まれると判定した場合、選択フレームに対するオブジェクトの分離の手法をS506の手法に決定し、S506の処理に進む。分離手法決定部403は、選択フレームに対応する撮像装置の番号と選択フレームに対応するフレーム番号との対応情報が照明情報に含まれないと判定した場合、選択フレームに対するオブジェクトの分離の手法をS505の手法に決定し、S505の処理に進む。
そして、分離部404は、生成した背景画像の画素の画素値と選択フレームの同じ画素の画素値とを比較し、閾値以上であればその画素の領域を、オブジェクトの領域であるとして分離する。本実施形態では、分離部404は、各撮像装置108により撮影された画像に基づいて各撮像装置108により撮影された画像に用いられる背景画像を生成した。しかし、分離部404は、例えば、事前にオブジェクトがいない状態で、各撮像装置108を介して、撮影対象の領域を撮影することで、背景画像を生成してもよい。
分離部404は、形状決定部406へと分離したオブジェクトの領域の情報を出力する。オブジェクトの領域の情報は、例えば、画像中でオブジェクトが存在する領域を白、オブジェクトの存在しない背景領域を黒とした2値画像(シルエットデータ)である。
解像度:4096×2160、フレームレート:60fpsのカメラでオブジェクトとなる人物を画像中で縦1/8の大きさになるように撮影した場合、人間の移動速度は約4km/h程であるため、フレーム間でオブジェクトは、約2.8画素移動することとなる。実際のオブジェクト位置から2.8画素ずれた位置でオブジェクトが分離されることとなるが、2.8画素のずれは、解像度:4096×2160の画像においては微小なずれとみなせる。そのため、本実施形態のように時間的に連続したフレーム(60fps)についてオブジェクトの分離を行い、オブジェクトの形状を決定する場合においては、隣接するフレーム間のオブジェクトの位置の微小なずれは無視できる。分離部404は、形状決定部406へとオブジェクトの領域の分離の結果を出力する。
また、分離部404は、フラッシュの影響を受けたフレームについてのオブジェクトの領域の分離結果を、このフレームと異なる時点に撮影された複数のフレームそれぞれについてのオブジェクトの領域の分離結果に基づいて生成してもよい。例えば、分離部404は、フラッシュの影響を1つのフレームが受けた場合、対象のフレームの1つ前のフレームについてのオブジェクトの領域の分離結果と、対象のフレームの1つ後のフレームについてのオブジェクトの領域の分離結果と、の平均を求める。そして、分離部404は、求めた平均の分離結果を、フラッシュの影響を受けた対象のフレームについてのオブジェクトの領域の分離結果として決定してもよい。
S508において、形状決定部406は、S505又はS506で分離部404から入力されたオブジェクトの領域の情報と、S507でパラメータ取得部405から入力されたカメラパラメータと、に基づいて、オブジェクトの形状を決定する。本実施形態では、形状決定部406は、視体積交差法を用いて、オブジェクトの形状を決定する。視体積交差法による形状決定では、オブジェクトが存在する可能性のる空間中のサンプリング点をオブジェクトの領域の分離結果(シルエットデータ)に射影し、複数視点で共通してシルエットに含まれるかを検証することにより、オブジェクトの形状を復元する。視体積交差法において、空間中のサンプリング幅を小さくすることにより高精度な形状復元が可能である。形状決定部406は、決定したオブジェクトの形状の情報を、例えば、表示装置110に表示することで出力する。また、形状決定部406は、決定したオブジェクトの形状の情報を、二次記憶装置104に記憶することで出力することとしてもよい。また、形状決定部406は、決定したオブジェクトの形状の情報を、外部の情報処理装置等の予め定められた送信先に送信することで出力することとしてもよい。
本実施形態では、情報処理装置100は、撮像装置108の撮影対象の領域にカメラのフラッシュが照射された場合について、より精度よくオブジェクトの形状を決定する処理について説明した。しかし、情報処理装置100は、撮像装置108の撮影対象の領域にカメラのフラッシュと異なる短期光(例えば、雷や火花の光等)が照射された場合にも、同様の処理で、オブジェクトの形状をより精度よく決定できる。
図3で説明したように、フラッシュの影響をうけたフレームで背景差分法によるオブジェクト分離を行うと、図3(e)のようにオブジェクト以外の領域もオブジェクトとして誤って分離される。この分離結果に基づいて決定されたオブジェクトの形状を、ある仮想視点から見た状況の一例を、図6(a)に示す。図6(a)のオブジェクト601のように、実際には何もないところにオブジェクトの一部の形状があるとされ、オブジェクトが立っているステージの形状が変形しているように見える。これは、フラッシュの影響をうけた複数のカメラで誤ったオブジェクト分離結果が取得され、それらを用いて形状が求められたためである。フラッシュを点灯して撮影するカメラの性能、位置等により、オブジェクト601の形状・大きさは変化する。例えば、時間的に連続して撮影した全てのフレームに対し形状取得を行い、時間的に連続した形状として視聴した場合であっても、フラッシュが点灯された間だけ取得する形状が乱れるため、視聴者にとっては大きな違和感となる。
本実施形態では、情報処理装置100は、図3(e)の代わりに図3(d)のようにフラッシュの影響がない画像から分離されたオブジェクトの領域を用いて、オブジェクトの形状を決定した。決定されたオブジェクトの形状を図6(a)と同じ視点から見た状況の一例を図6(b)に示す。図6(a)で現れていた実際にはないオブジェクト601が消えていることがわかる。
実施形態1では、フラッシュの影響をうけたフレームのオブジェクト分離結果を、同じカメラの他のフレームのオブジェクト分離結果に基づいて求めることにより、フラッシュが点灯されたタイミングであってもより高精度にオブジェクトの形状を決定する処理について説明した。
しかし、図5のS506で説明したように、オブジェクトが移動している場合、オブジェクトの分離の結果に微小な誤差が生じる。そこで、本実施形態では、オブジェクトの移動により生じる誤差を軽減する処理について説明する。
本実施形態の情報処理装置100のハードウェア構成は、実施形態1と同様である。
本実施形態の情報処理装置100の機能構成は、実施形態1と同様に、撮像データ群取得部401、照明情報取得部402、分離手法決定部403、分離部404、パラメータ取得部405、形状決定部406を含む構成となっている。しかし、照明情報取得部402は、実施形態1と異なる照明情報を取得する。また、分離部404の処理内容は、実施形態1と異なる。
以下では、本実施形態と実施形態1との差異を中心に、本実施形態の処理を説明する。
S801において、撮像データ群取得部401は、入力インターフェース105を介して、複数の撮像装置108それぞれにより撮影された時間的に連続した多視点の画像データ群を取得する。撮像データ群取得部401は、取得した画像データを、照明情報取得部402と分離部404とに出力する。
S802において、照明情報取得部402は、照明情報を取得する。本実施形態では、照明情報取得部402は、互いに対応付けられた、撮像装置108を示す情報と、フラッシュの影響を受けたフレームの情報(例えば、フレーム番号)と、フラッシュの影響を受けた画素の座標値の情報と、を含む照明情報を取得する。フラッシュの影響を受けた画素の座標値は、例えば、式(1)~(3)を満たすu、vの情報である。
S804において、分離手法決定部403は、複数の撮像装置108それぞれにより撮影された全てのフレーム(S801で取得された全てのフレーム)それぞれに対してS805~S507の処理が実行されるよう制御する。より具体的には、分離手法決定部403は、S801で取得された全てのフレームのうち、S805~S807の処理の対象となるフレームを1つ選択する。以下では、選択されたフレームを選択フレームとする。そして、選択フレームについてS805~S807の処理が完了した場合、分離手法決定部403は、S801で取得された全てのフレームの中から選択フレームとして選択されたことのないフレームを新たな選択フレームとして選択する。分離手法決定部403は、以上の処理を、S801で取得された全てのフレームについて、S805~S807の処理が完了するまで繰り返す。
分離手法決定部403は、選択フレームに対応する撮像装置の番号と選択フレームに対応するフレーム番号との対応情報が照明情報に含まれると判定した場合、選択フレームに対するオブジェクトの分離の手法をS807の手法に決定し、S807の処理に進む。分離手法決定部403は、選択フレームに対応する撮像装置の番号と選択フレームに対応するフレーム番号との対応情報が照明情報に含まれないと判定した場合、選択フレームに対するオブジェクトの分離の手法をS806の手法に決定し、S806の処理に進む。
S806において、分離部404は、S505と同様に、背景差分を用いて、フラッシュの影響を受けていない選択フレームに対してオブジェクトの領域を分離する処理を行う。
S901において、分離部404は、S803で取得されたカメラパラメータを取得する。
S902において、分離部404は、S901で取得したカメラパラメータを用いて、選択フレームにおけるフラッシュの影響をうけた各画素(選択フレーム中で式(1)~(3)を満たすとされた座標値(u、v)における画素)の奥行きを算出する。ここで、画素の奥行きとは、選択フレームを撮影した撮像装置108と、その画素に写っているオブジェクトと、の間の距離のことである。選択フレームを撮影した撮像装置108と、その画素に写っているオブジェクトと、の間の距離は、例えば、その撮像装置108の撮像素子におけるその画素に対応する位置とそのオブジェクトとの間の距離である。
分離部404は、S901で取得されたカメラパラメータに基づいて、例えば、仮想レイヤを設定しステレオマッチングの要領でオブジェクトの奥行きを推定するPlane Sweep法等を用いて、選択フレームのフラッシュの影響をうけた各画素の奥行を求める。
撮像装置108が撮影の際に、距離センサ等を用いて各画素に対応するオブジェクトと撮像装置108との距離を取得する場合、分離部404は、撮像装置108により取得されたこれらの距離を、S902、S903で各画素の奥行きとして取得してもよい。
即ち、分離部404は、フラッシュの影響を受けたある画素と同じ座標の画素とその近傍の画素について、S903で選択フレームの1つ前のフレームから求めた距離それぞれと、選択フレームにおけるその画素についてS902で求めた距離と、を比較する。そして、分離部404は、その画素とその近傍の画素についてS903で選択フレームの1つ前のフレームから求めた距離のうち、選択フレームにおけるその画素についてS902で求めた距離に最も近い距離を特定する。分離部404は、選択フレームの1つ前のフレームにおける特定した距離に対応する画素を、選択フレームにおけるフラッシュの影響を受けたその画素と同じオブジェクトが撮影された画素であると決定する。
このような処理により、分離部404は、選択フレームにおけるフラッシュの影響を受けた各画素に対応するオブジェクトが、1つ前のフレームにおいてオブジェクトとして分離されたか否かをより精度よく決定できる。これにより、分離部404は、選択フレームにおけるフラッシュの影響を受けた各画素がオブジェクトの領域であるか否かをより精度よく決定できる。
また、分離部404は、選択フレーム中のフラッシュの影響を受けていない各画素については、S806の処理と同様に背景差分法を用いてオブジェクトの領域を分離する。
形状決定部406は、決定したオブジェクトの形状の情報を、例えば、表示装置110に表示することで出力する。また、形状決定部406は、決定したオブジェクトの形状の情報を、二次記憶装置104に記憶することで出力することとしてもよい。また、形状決定部406は、決定したオブジェクトの形状の情報を、外部の情報処理装置等の予め定められた送信先に送信することで出力することとしてもよい。
本実施形態では、例えば、コンサートやライブ等における照明のように複雑に変化する照明の状況に対応するための処理について説明する。
本実施形態の情報処理装置100のハードウェア構成は、実施形態1と同様である。本実施形態の情報処理装置100の機能構成の詳細は、図11で後述する。
以下では、本実施形態と実施形態1との差異を中心に、本実施形態の処理を説明する。
図10は、オブジェクトの領域の分離が適切に行われない状況の一例を説明する図である。図10(a)の画像は、本実施形態の複数の撮像装置108の撮影対象の領域を正面から撮影した背景画像である。背景画像はオブジェクトや照明がない状態で撮像した画像であってもよいし、時間的に連続して撮像した複数フレームの各画素において、平均画素値、又は中間値を取得することによって生成した画像でもよい。
図10(b)、(c)の画像は、それぞれオブジェクトがステージ上に立った状態を撮影した画像と、その画像に対して図10(a)の背景画像を用いて背景差分法を適用することで求まったオブジェクトの領域の分離の結果を示す画像である。図10(c)の画像を見ると、オブジェクトのみが分離されていることがわかる。
図10(e)、(g)の画像を見ると、オブジェクトと同時に照明機器1002又は1003によって照明光が照射されたステージの領域もオブジェクトとして分離されていることが分かる。特に図10(g)の例では、オブジェクトと照明機器1002又は1003によって照明光が照射されたステージの領域とが重複しており、オブジェクトとステージの境界が不明瞭になっている。このようなオブジェクト分離結果を用いて、オブジェクトの形状の決定処理を行うと、図6(a)のようにオブジェクト以外に実際には存在しないオブジェクトの形状が生じる。本実施形態の処理は、このような状況に対応するための処理である。
図11は、本実施形態の情報処理装置100の機能構成の一例を示す図である。本実施形態の情報処理装置100は、図4と同様に、撮像データ群取得部401、照明情報取得部402、分離手法決定部403、分離部404、パラメータ取得部405、形状決定部406を含む。また、情報処理装置100は、図4と異なり、シーン情報取得部1201を含む。
シーン情報取得部1201は、入力インターフェース105を介して撮像装置108から、又は、二次記憶装置104から、ステージの形状を示すステージ形状情報を取得する。本実施形態では、撮像装置108は、距離センサを介してステージを計測することで、ステージの形状を特定することができる。
また、本実施形態の照明情報取得部402は、照明情報を、撮像データ群取得部401から入力された画像データに基づいて取得するのではなく、入力インターフェース105を介して照明機器1002、1003から、又は、二次記憶装置104から取得する。
また、本実施形態の分離手法決定部403は、パラメータ取得部405からカメラパラメータの入力を受付ける。
S1302において、照明情報取得部402は、入力インターフェース105を介して照明機器1002、1003から、又は、二次記憶装置104から、照明情報を取得する。本実施形態では、照明情報は、互いに対応付けられた、撮像装置108と同期したタイムコードにおける予め定められた時点における照明機器1002、1003の位置姿勢、照明光の照射角、照明光の色の情報を含む。照明情報取得部402は、取得した照明情報を分離手法決定部403へと出力する。
S1303において、パラメータ取得部405は、各撮像装置108のカメラパラメータを取得し、取得したカメラパラメータを分離手法決定部403と形状決定部406とに出力する。
S1304において、シーン情報取得部1201は、入力インターフェース105を介して撮像装置108から、又は二次記憶装置104から、撮影対象の領域のステージの形状を示す形状情報を取得する。シーン情報取得部1201は、取得した形状情報を分離手法決定部403へと出力する。
分離手法決定部403は、照明情報に基づいて、予め定められた時点それぞれにおいて、照明機器1002、1003の状況(位置姿勢、照射角、色情報)を把握することが可能である。分離手法決定部403は、この照明機器1002、1003の状況と形状情報とに基づき、例えば、以下の式(4)~(6)を用いて、ステージ上に照明機器1002、1003からの照明光が照射されている領域を求めることができる。
分離手法決定部403は、式(4)~(6)を用いて、照明機器1002、1003から照射される照明光の中心がステージ上のどの位置と交差するかを求めることができる。また、分離手法決定部403は、ベクトルpに照明機器1002、1003の照射角分の回転を与えたベクトルp'をpの代わりに式(6)に代入することで、照明機器1002、1003から照射される照明光の端部とステージとの交差する位置を特定できる。また、分離手法決定部403は、ベクトルpに照明機器1002、1003の照明光の照射角よりも小さい角度分の任意の回転を与えたベクトルをpの代わりに式(6)に代入することで、以下のことができる。即ち、分離手法決定部403は、照明機器1002、1003の照明光に含まれる任意の光とステージとの交差する位置を特定できる。
二次記憶装置104等に記憶されたこのテーブルを参照することで、予め定められた時点でステージ上にオブジェクトがいない状態において、各撮像装置108により撮影された画像の各画素には、どのような照明光の影響が出ているかを把握することが可能となる。図13の例では、例えば、カメラ番号1の撮像装置108によりフレーム番号1に対応する時点で撮影された画像の座標値(1、1)の画素には、照明機器1003(青色の照明光)の影響が出ていることが分かる。また、カメラ番号2の撮像装置108によりフレーム番号1に対応する時点で撮影された画像の座標値(1、1)の画素には、照明機器1002(黄色の照明光)と照明機器1003(赤色の照明光)との影響が出ていることが分かる。分離手法決定部403は、生成した図13のようなテーブルを分離部404へと出力する。
そして、選択フレームについてS1307~S1308の処理が完了した場合、分離手法決定部403は、S1301で取得された全てのフレームの中から選択フレームとして選択されたことのないフレームを新たな選択フレームとして選択する。分離手法決定部403は、以上の処理を、S1301で取得された全てのフレームについて、S1307~S1308の処理が完了するまで繰り返す。
分離部404は、同じ照明状況であるフレーム全てを探索し、例えば、探索した複数のフレームの座標(u、v)の平均画素値、又は中間値を求め、背景画像の座標(u、v)における画素値を決定する。分離部404は、以上の処理を、画像の全画素について行うことで背景画像を生成する。
S1309において、形状決定部406は、S1308で分離部404により分離されたオブジェクトの領域の情報と、S1303でパラメータ取得部405により取得されたカメラパラメータと、に基づいて、オブジェクトの形状を決定する。本実施形態では、形状決定部406は、視体積交差法を用いて、オブジェクトの形状を決定する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。
101 CPU
108 撮像装置
Claims (14)
- 複数の視点からオブジェクトを撮影する複数の撮像装置から取得された画像から、オブジェクトが撮影されていない背景画像を用いて、前記オブジェクトの領域を分離する分離手段と、
前記複数の撮像装置から取得された複数の画像それぞれから前記分離手段により分離された前記オブジェクトの領域に基づいて、前記オブジェクトの形状を決定する決定手段と、
を有し、
前記分離手段は、前記複数の撮像装置に含まれる第1の撮像装置から取得された第1の画像が撮影された際の前記第1の撮像装置の撮影対象の領域に照射された光が予め定められた閾値以下の期間だけ照射される光である短期光を含む場合、前記第1の画像から、前記第1の画像が撮影された第1の時点と異なり、前記第1の撮像装置の撮影対象の領域に前記短期光が照射されていない第2の時点に前記第1の撮像装置により撮影された画像から分離された前記オブジェクトの領域に基づいて、前記オブジェクトの領域を分離する
ことを特徴とする情報処理装置。 - 前記分離手段は、前記複数の撮像装置に含まれる前記第1の撮像装置から取得された前記第1の画像から、前記第1の画像が撮影された際の前記第1の撮像装置の撮影対象の領域に照射された光に応じた背景差分法の手法で、前記オブジェクトの領域を分離する請求項1記載の情報処理装置。
- 前記複数の撮像装置から画像を取得する取得手段をさらに有することを特徴とする、請求項1又は2記載の情報処理装置。
- 前記分離手段は、前記複数の撮像装置に含まれる第1の撮像装置から取得された第1の画像が撮影された際に前記第1の撮像装置の撮影対象の領域に照射された光が前記短期光を含む場合、前記第1の画像から、前記第1の画像における前記オブジェクトの領域として、前記第1の画像における前記第2の時点に前記第1の撮像装置により撮影された画像から分離された前記オブジェクトの領域を分離する請求項1乃至3何れか1項記載の情報処理装置。
- 前記分離手段は、前記複数の撮像装置に含まれる第1の撮像装置から取得された第1の画像が撮影された際に前記第1の撮像装置の撮影対象の領域に照射された光が前記短期光を含む場合、前記第1の画像から、前記第1の画像における複数の前記第2の時点それぞれに前記第1の撮像装置により撮影された複数の画像それぞれから分離された前記オブジェクトの複数の領域に基づいて、前記オブジェクトの領域を分離する請求項1乃至3何れか1項記載の情報処理装置。
- 前記分離手段は、前記複数の撮像装置に含まれる第1の撮像装置から取得された第1の画像が撮影された際の前記第1の撮像装置の撮影対象の領域に照射された光が前記短期光を含む場合、前記第1の画像から、前記第2の時点に前記第1の撮像装置により撮影された画像から分離された前記オブジェクトの領域と、前記第1の時点における前記短期光が照射された領域と前記第1の撮像装置との距離と、に基づいて、前記オブジェクトの領域を分離する請求項1乃至5何れか1項記載の情報処理装置。
- 前記分離手段は、前記複数の撮像装置に含まれる第1の撮像装置から取得された第1の画像から、前記第1の画像が撮影された際の前記第1の撮像装置の撮影対象の領域に照射された光に応じた背景画像を用いた背景差分法の手法で、前記オブジェクトの領域を分離する請求項1乃至6何れか1項記載の情報処理装置。
- 前記分離手段は、前記複数の撮像装置に含まれる第1の撮像装置から取得された第1の画像から、前記第1の画像が撮影された際の前記第1の撮像装置の撮影対象の領域に照射された光の前記第1の画像の各画素に対する影響を示すテーブルに基づいて、前記第1の画像が撮影された際の前記第1の撮像装置の撮影対象の領域に照射された光に応じた手法で、前記オブジェクトの領域を分離する請求項1乃至7何れか1項記載の情報処理装置。
- 前記分離手段は、前記複数の撮像装置に含まれる第1の撮像装置から取得された第1の画像から、前記第1の撮像装置の撮影領域に照射される光に関する情報である照明情報に基づいて決定された手法で、前記オブジェクトの領域を分離する請求項1乃至8何れか1項記載の情報処理装置。
- 前記照明情報は、光が照射される時点を示す情報と、前記光が照射された領域を撮影する撮像装置を示す情報と、を含む請求項9記載の情報処理装置。
- 前記照明情報は、前記複数の撮像装置に含まれる第1の撮像装置から取得された第1の画像中で前記第1の撮像装置の撮影領域に照射される光の影響がある領域を示す情報を含む請求項9又は10記載の情報処理装置。
- 前記照明情報は、光を照射する照明機器についての照射のタイミングを示す情報と、前記照明機器が配置された位置を示す情報と、前記照明機器の照射する光が照射される方向を示す情報と、前記照明機器が照射する光の色を示す情報と、を含む請求項9乃至11何れか1項記載の情報処理装置。
- 情報処理装置が実行する情報処理方法であって、
複数の視点からオブジェクトを撮影する複数の撮像装置から取得された画像から、オブジェクトが撮影されていない背景画像を用いて、前記オブジェクトの領域を分離する分離ステップと、
前記分離ステップで複数の撮像装置から取得された複数の画像それぞれから分離された前記オブジェクトの領域に基づいて、前記オブジェクトの形状を決定する決定ステップと、
を含み、
前記分離ステップは、前記複数の撮像装置に含まれる第1の撮像装置から取得された第1の画像が撮影された際の前記第1の撮像装置の撮影対象の領域に照射された光が予め定められた閾値以下の期間だけ照射される光である短期光を含む場合、前記第1の画像から、前記第1の画像が撮影された第1の時点と異なり、前記第1の撮像装置の撮影対象の領域に前記短期光が照射されていない第2の時点に前記第1の撮像装置により撮影された画像から分離された前記オブジェクトの領域に基づいて、前記オブジェクトの領域を分離する
ことを特徴とする情報処理方法。 - コンピュータを、請求項1乃至12何れか1項記載の情報処理装置の各手段として、機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018071723A JP7163049B2 (ja) | 2018-04-03 | 2018-04-03 | 情報処理装置、情報処理方法及びプログラム |
US16/359,736 US11250581B2 (en) | 2018-04-03 | 2019-03-20 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018071723A JP7163049B2 (ja) | 2018-04-03 | 2018-04-03 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019185178A JP2019185178A (ja) | 2019-10-24 |
JP7163049B2 true JP7163049B2 (ja) | 2022-10-31 |
Family
ID=68054539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018071723A Active JP7163049B2 (ja) | 2018-04-03 | 2018-04-03 | 情報処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11250581B2 (ja) |
JP (1) | JP7163049B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10812770B2 (en) * | 2017-09-13 | 2020-10-20 | Canon Kabushiki Kaisha | Image processing system, image processing apparatus, image processing method, and program |
CN110044334B (zh) * | 2018-01-16 | 2020-04-21 | 京东方科技集团股份有限公司 | 基于维诺图的室内空间定位 |
JP2022089017A (ja) * | 2020-12-03 | 2022-06-15 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060232583A1 (en) | 2000-03-28 | 2006-10-19 | Michael Petrov | System and method of three-dimensional image capture and modeling |
JP2010121945A (ja) | 2008-11-17 | 2010-06-03 | Nippon Hoso Kyokai <Nhk> | 3次元形状生成装置 |
JP2016194778A (ja) | 2015-03-31 | 2016-11-17 | セコム株式会社 | 物体検出装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021408A (ja) | 1996-07-04 | 1998-01-23 | Canon Inc | 画像抽出装置および方法 |
-
2018
- 2018-04-03 JP JP2018071723A patent/JP7163049B2/ja active Active
-
2019
- 2019-03-20 US US16/359,736 patent/US11250581B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060232583A1 (en) | 2000-03-28 | 2006-10-19 | Michael Petrov | System and method of three-dimensional image capture and modeling |
JP2010121945A (ja) | 2008-11-17 | 2010-06-03 | Nippon Hoso Kyokai <Nhk> | 3次元形状生成装置 |
JP2016194778A (ja) | 2015-03-31 | 2016-11-17 | セコム株式会社 | 物体検出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2019185178A (ja) | 2019-10-24 |
US11250581B2 (en) | 2022-02-15 |
US20190304114A1 (en) | 2019-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10701332B2 (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
RU2426172C1 (ru) | Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине | |
JP6204659B2 (ja) | 映像処理装置及び映像処理方法 | |
KR101984496B1 (ko) | 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법 | |
JP7163049B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
TWI687689B (zh) | 球狀體之旋轉之測定裝置、測定方法以及非暫時性資訊記錄媒體 | |
JP7023696B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN107820019B (zh) | 虚化图像获取方法、装置及设备 | |
US20200099854A1 (en) | Image capturing apparatus and image recording method | |
CN112613568B (zh) | 基于可见光及红外多光谱图像序列的目标识别方法和装置 | |
TWI647424B (zh) | 用於計算運動的客體的位置資訊的感測裝置以及利用該裝置的感測方法 | |
CA2964966C (en) | Video stabilization system and method | |
EP3035242A1 (en) | Method and electronic device for object tracking in a light-field capture | |
JP2018055367A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2009211122A (ja) | 画像処理装置およびオブジェクト推定プログラム。 | |
US20160044295A1 (en) | Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program | |
JP6585668B2 (ja) | 物体検出装置 | |
JP2009301242A (ja) | 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体 | |
JP7308913B2 (ja) | 敵対的生成ネットワークアルゴリズムを活用した超分光高速カメラ映像生成方法 | |
JP2009116686A (ja) | 撮像対象検出装置および方法 | |
KR101718309B1 (ko) | 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법 | |
JP7520539B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Imanullah et al. | A novel approach in low-cost motion capture system using color descriptor and stereo webcam | |
JP6774915B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
KR20060021566A (ko) | 전경체 사영영상과 가상외피에 기반한 가상시점 3차원 장면 재구성 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221019 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7163049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |