JP6606480B2

JP6606480B2 - パノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラム

Info

Publication number: JP6606480B2
Application number: JP2016158541A
Authority: JP
Inventors: 由実菊地; 和宮川; 朗小野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2016-08-12
Filing date: 2016-08-12
Publication date: 2019-11-13
Anticipated expiration: 2036-08-12
Also published as: JP2018026744A

Description

本発明は、互いに重なるように撮影した複数の映像情報を繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラムに関する。

従来、複数台のカメラ装置により一部領域が重なるように撮影した映像情報を繋ぎ合わせて、広角のパノラマ映像情報を生成する技術がある。この技術では、繋ぎ合わせの処理対象となる２つの映像情報内のそれぞれのフレーム画像情報から特徴点を抽出することで、同一の被写体を映している部分を判別し、これに基づいて画像情報の繋ぎ目（以下、シームと称する）を決定して繋ぎ合わせ処理を行う。

この技術を用いることにより、精度の高い広角の映像情報をリアルタイムに生成することができる。

画像領域に適応したパノラマ映像生成技術の提案 IPSJ SIG Technical report Vol. 2009-AVM-66 No.9 2009/9/24

一方で、近年は映像技術の分野において解像度の高度化が進んでおり、４Ｋ（横4000×縦2000ピクセル前後）に対応した高解像度のカメラ装置やテレビ装置が普及してきている。このような装置で撮影された複数の高解像度の映像情報を、上述したような技術を用いて繋ぎ合わせようとすると、その計算量が膨大になり、リアルタイムでパノラマ映像情報を生成することが困難になるという問題があった。

本発明は上記事情を鑑みてなされたものであり、撮影領域の一部が重複する高解像度の複数映像情報を、高速且つ高精度に繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラムを提供することを目的とする。

上記の課題を解決するための、本発明のパノラマ映像情報生成装置は、撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置において、前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得部と、前記撮像情報取得部で取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成部と、前記縮小画像情報生成部で生成された第１縮小画像情報と、対応する第２縮小画像情報とのいずれか一方から、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得部と、前記シーム情報取得部で取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理部とを備えることを特徴とする。

また、本発明のパノラマ映像情報生成方法は、撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置が、前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得ステップと、前記撮像情報取得ステップで取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成ステップと、前記縮小画像情報生成ステップで生成された第１縮小画像情報と、対応する第２縮小画像情報とのいずれか一方から、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得ステップと、前記シーム情報取得ステップで取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理ステップとを有することを特徴とする。

また本発明のパノラマ映像情報生成用プログラムは、撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置に、前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得機能と、前記撮像情報取得機能により取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成機能と、前記縮小画像情報生成機能により生成された第１縮小画像情報と、対応する第２縮小画像情報とのいずれか一方から、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得機能と、前記シーム情報取得機能により取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理機能とを実行させることを特徴とする。

本発明のパノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラムによれば、撮影領域の一部が重複する高解像度の複数映像情報を、高速且つ高精度に繋ぎ合わせてパノラマ映像情報を生成することが可能になる。

本発明の一実施形態によるパノラマ画像生成装置の構成を示すブロック図である。本発明の一実施形態によるパノラマ画像生成装置の動作を示すフローチャートである。

本発明の一実施形態として、４Ｋカメラで構成された第１カメラ装置で撮影された第１映像情報と、４Ｋカメラで構成された第２カメラ装置で、撮影領域の一部が第１映像情報と重複するように撮影された第２映像情報とを繋ぎ合わせて、広角のパノラマ映像情報を生成する場合について説明する。

〈一実施形態によるパノラマ映像情報生成装置の構成〉
本発明の一実施形態によるパノラマ映像情報生成装置の構成について、図１を参照して説明する。

本実施形態によるパノラマ映像情報生成装置１は、第１カメラ装置２、第２カメラ装置３、およびディスプレイ４に接続され、撮像情報取得部１１と、縮小画像情報生成部１２と、シーム情報取得部１３と、シーム情報記憶部１４と、重み付け設定部１５と、シーム情報調整部１６と、画像拡大処理部１７と、スティッチング処理部１８とを有する。

撮像情報取得部１１は、第１カメラ装置２で撮影された第１映像情報を構成するフレーム画像情報を、第１撮像情報として順次取得するとともに、第２カメラ装置３で撮影された第２映像情報を構成するフレーム画像情報を、第２撮像情報として順次取得する。

縮小画像情報生成部１２は、撮像情報取得部１１で取得された撮像情報に基づいて、第１撮像情報を縮小した第１縮小画像情報を順次生成するとともに、第２撮像情報を縮小した第２縮小画像情報を順次生成する。

シーム情報取得部１３は、縮小画像情報生成部１２で生成された第１縮小画像情報と、対応する第２縮小画像情報との少なくともいずれかから、当該第１縮小画像情報と当該第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得する。

シーム情報記憶部１４は、当該第１映像情報と当該第２映像情報とを繋ぎ合わせる処理において、過去に取得されたシーム情報を記憶する。

重み付け設定部１５は、シーム情報記憶部１４に記憶された過去のシーム情報に基づいて、シーム情報の取得元の縮小画像情報内の位置情報ごとに、シーム情報が取得された回数が多い程高い値になるように重み付けを設定する。また、各シーム情報の周辺の位置情報に関し、対応するシーム情報に近い程高い値になるように重み付けを設定する。また、これらの重み付けの値を、該当するシーム情報の取得タイミングが現在時刻よりも古い程、低くなるように更新する。

シーム情報調整部１６は、シーム情報取得部１３で取得された最新のシーム情報を、重み付け設定部１５で設定された重み付けの値が高い位置情報に近づけるように調整する。

画像拡大処理部１７は、シーム情報が取得された縮小画像情報を、元の画像情報の大きさに拡大した拡大画像情報を生成する。

スティッチング処理部１８は、画像拡大処理部１７で生成された拡大画像情報のシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成する。

〈一実施形態によるパノラマ映像情報生成装置の動作〉
次に、本実施形態によるパノラマ映像情報生成装置の動作について、図２のフローチャートを参照して説明する。

まず、第１カメラ装置２で撮影された第１映像情報のフレーム画像情報、および第２カメラ装置３で撮影された第２映像情報のフレーム画像情報が、順次撮像情報取得部１１で取得される（Ｓ１）。

次に、縮小画像情報生成部１２において、撮像情報取得部１１で取得された第１映像情報内のフレーム画像情報である第１撮像情報から、当該第１撮像情報を縮小した第１縮小画像情報が順次生成される。また、撮像情報取得部１１で取得された第２映像情報内のフレーム画像情報である第２撮像情報から、当該第２撮像情報を縮小した第２縮小画像情報が順次生成される（Ｓ２）。

このとき、縦方向の縮小率と横方向の縮小率とを異なる値で処理することにより、第１縮小画像情報および第２縮小画像情報が生成される。

ここで、縦方向の縮小率よりも横方向の縮小率を高くする（例えば、縦方向に１／２倍に縮小するのに対し、横方向に１／３倍に縮小する）ことで、横方向に大きくフィルタをかけた縮小画像情報が生成され、シーム情報が横方向に大きく振れることが防止され、生成されるパノラマ映像情報を再生した際にチラつきが目立つ状態になることを防ぐことができる。

また、横方向の縮小率よりも縦方向の縮小率を高くする（例えば、横方向に１／２倍に縮小するのに対し、縦方向に１／３倍に縮小する）ことで、縦方向に大きくフィルタをかけた縮小画像情報が生成され、以降実行されるシーム情報の取得処理において縦方向の接合線の探索処理を粗くして計算量を大きく低減させることができ、処理時間の短縮を図ることができる。

このため、例えば動きの速いスポーツコンテンツに対してパノラマ映像情報生成処理を行う場合は横方向の縮小率を高くすることで、チラつきを抑えた滑らかな動きのパノラマ映像情報を再生させることができ、全体的に画面が暗く画像処理の難易度が高いライブ映像コンテンツに対してパノラマ映像情報生成処理を行う場合は縦方向の縮小率を高くすることで、処理時間を短縮させてリアルタイムでのパノラマ映像情報の再生を可能にすることができる。

次に、シーム情報取得部１３において、縮小画像情報生成部１２で生成された第１縮小画像情報と、対応する第２縮小画像情報との少なくともいずれかから、当該第１縮小画像情報と対応する第２縮小画像情報とを繋ぎ合わせるための接合線が探索され、探索された接合線の位置情報がシーム情報として取得される（Ｓ３）。

次に、シーム情報調整部１６において、シーム情報取得部１３で取得されたシーム情報の調整が行われる（Ｓ４）。シーム情報の調整に用いる縮小画像情報内の位置情報ごとの重み付け設定について説明する。

シーム情報記憶部１４には、当該第１映像情報と第２映像情報とに対するパノラマ映像生成処理において、過去に取得されたシーム情報が記憶されている。

また、重み付け設定部１５には、シーム情報記憶部１４に記憶されたシーム情報に基づいて、シーム情報の取得元の縮小画像情報内の位置情報ごとに、シーム情報が取得された回数が多い程高い値になるように重み付けが設定されている。また、各シーム情報の周辺の位置情報に関し、対応するシーム情報に近い程高い値になるように重み付けが設定されている。また、これらの重み付けの値は、該当するシーム情報の取得タイミングが現在時刻よりも古い程、低くなるように更新される。この重み付けの更新処理は、新たなシーム情報が取得される都度実行してもよいし、予め設定された所定時間間隔で実行してもよい。

そして、シーム情報調整部１６において、シーム情報取得部１３で取得されたシーム情報が、重み付け設定部１５に設定された重み付けの値が高い位置情報に近づくように調整される。このように調整されることにより、接合線の位置が急激に移動することを防ぐことができ、生成されるパノラマ映像情報を再生した際の画面のチラつきや揺れの発生、画質の劣化が防止される。

シーム情報調整部１６において調整された最新のシーム情報は、新たにシーム情報記憶部１４に記憶され（Ｓ５）、以降の重み付けの更新や、シーム情報の調整に用いられる。

次に、画像拡大処理部１７により、取得されたシーム情報が付加された状態で縮小画像情報が元の画像情報の大きさに拡大され、拡大画像情報が生成される（Ｓ６）。そして、拡大画像情報に付加されているシーム情報に基づいて、スティッチング処理部１８により、処理対象の第１画像情報と第２画像情報とが繋ぎ合わせられてパノラマ画像情報が生成される（Ｓ７）。上述したステップＳ２〜Ｓ７の処理は第１映像情報または第２映像情報が終了するまで繰り返される（Ｓ８の「NO」）。

このようにして対応する第１画像情報と第２画像情報とがそれぞれ繋ぎ合わせられ、生成されたパノラマ画像情報が順次ディスプレイ４に出力され、パノラマ映像情報が再生される。

以上の実施形態によれば、撮影領域の一部が重複する高解像度の複数映像情報を、高速且つ高精度に繋ぎ合わせてパノラマ映像情報を生成することができる。

１パノラマ映像情報生成装置
２第１カメラ装置
３第２カメラ装置
１１撮像情報取得部
１２縮小画像情報生成部
１３シーム情報取得部
１４シーム情報記憶部
１５重み付け設定部
１６シーム情報調整部
１７画像拡大処理部
１８スティッチング処理部

Claims

撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置において、
前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得部と、
前記撮像情報取得部で取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成部と、
前記縮小画像情報生成部で生成された第１縮小画像情報と、対応する第２縮小画像情報とのいずれか一方から、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得部と、
前記シーム情報取得部で取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理部と
を備えることを特徴とするパノラマ映像情報生成装置。
前記縮小画像情報生成部は、前記第１縮小画像情報および前記第２縮小画像情報を生成する際に、撮影対象のコンテンツの種類に基づいて、縦方向と横方向とで異なる値で設定した縮小率で処理を行う
ことを特徴とする請求項１に記載のパノラマ映像情報生成装置。
前記第１映像情報と前記第２映像情報とを繋ぎ合わせる処理において、過去に取得されたシーム情報を記憶するシーム情報記憶部と、
前記シーム情報記憶部に記憶された過去のシーム情報に基づいて、シーム情報の取得元の縮小画像情報内の位置情報ごとに、シーム情報が取得された回数が多い程高い値になるように重み付けを設定する重み付け設定部と、
前記シーム情報取得部で取得された最新のシーム情報を、前記重み付け設定部で設定された重み付けの値が高い位置情報に近づけるように調整するシーム情報調整部とをさらに備え、
前記スティッチング処理部は、前記シーム情報調整部で調整されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成する
ことを特徴とする請求項１または２に記載のパノラマ映像情報生成装置。
前記重み付け設定部は、各シーム情報の周辺の位置情報に関し、対応するシーム情報に近い程高い値になるように重み付けを設定する
ことを特徴とする請求項３に記載のパノラマ映像情報生成装置。
前記重み付け設定部は、該当するシーム情報の取得タイミングが現在時刻よりも古い程、重み付けの値が低くなるように設定する
ことを特徴とする請求項３または４に記載のパノラマ映像情報生成装置。
前記シーム情報が取得された縮小画像情報を、当該シーム情報が付加された状態で、元の画像情報の大きさになるように拡大する画像拡大処理部をさらに有し、
前記スティッチング処理部は、前記画像拡大処理部で拡大された画像情報のシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成する
ことを特徴とする請求項３〜５いずれか１項に記載のパノラマ映像情報生成装置。
撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置が、
前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得ステップと、
前記撮像情報取得ステップで取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成ステップと、
前記縮小画像情報生成ステップで生成された第１縮小画像情報と、対応する第２縮小画像情報とのいずれか一方から、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得ステップと、
前記シーム情報取得ステップで取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理ステップと
を有することを特徴とするパノラマ映像情報生成方法。
撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置に、
前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得機能と、
前記撮像情報取得機能により取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成機能と、
前記縮小画像情報生成機能により生成された第１縮小画像情報と、対応する第２縮小画像情報とのいずれか一方から、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得機能と、
前記シーム情報取得機能により取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理機能と
を実行させるためのパノラマ映像情報生成用プログラム。