JP2014035763A - Information display device - Google Patents
Information display device Download PDFInfo
- Publication number
- JP2014035763A JP2014035763A JP2012178685A JP2012178685A JP2014035763A JP 2014035763 A JP2014035763 A JP 2014035763A JP 2012178685 A JP2012178685 A JP 2012178685A JP 2012178685 A JP2012178685 A JP 2012178685A JP 2014035763 A JP2014035763 A JP 2014035763A
- Authority
- JP
- Japan
- Prior art keywords
- image
- presented
- presentation
- input
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、情報表示装置に係り、特に、現実環境には存在しない映像を、実写映像に重畳してディスプレイに表示する情報表示装置に関する。 The present invention relates to an information display device, and more particularly to an information display device that displays an image that does not exist in a real environment on a display by superimposing it on a live-action image.
従来、放送映像中に映るビルボード広告に、別の広告画像を合成して表示する手法が知られている。このような広告画像を合成して表示する手法には、あらかじめ登録しておいたビルボード広告画像に一致する領域を映像中から探索し、その部分を別の広告画像に置き換える方法（非特許文献１）がある。また、サッカー中継映像中の特定のビルボード広告を別の画像に置き換え、さらにビルボード広告の前に立つ人物が隠れないためのマスク処理をビルボード広告画像に行う方法も（非特許文献２）ある。 2. Description of the Related Art Conventionally, there has been known a method of combining and displaying another advertisement image on a billboard advertisement displayed in a broadcast video. As a technique for combining and displaying such an advertisement image, a method of searching an area that matches a billboard advertisement image registered in advance from the video and replacing that portion with another advertisement image (Non-Patent Document) 1). Further, there is a method in which a specific billboard advertisement in a soccer broadcast video is replaced with another image, and mask processing is performed on the billboard advertisement image so that a person standing in front of the billboard advertisement is not hidden (Non-patent Document 2). is there.
しかし、上記２つの方法では、画像を提示する場所をあらかじめ人手で決めておく必要があり、また、その場所を探索するための知識も人手で与える必要がある。 However, in the above two methods, it is necessary to manually determine the location where the image is to be presented in advance, and it is also necessary to manually provide knowledge for searching for the location.
本発明は上記問題点を解決するためになされたものであり、画像が提示可能な位置を自動的に探索すると共に、提示する画像を遮蔽する遮蔽物を考慮して画像を提示することができる情報表示装置を提供することを目的とする。 The present invention has been made to solve the above-described problems, and can automatically search for a position where an image can be presented and present an image in consideration of a shielding object that shields the image to be presented. An object is to provide an information display device.
上記目的を達成するために、本発明の情報表示装置は、入力された画像中の３次元形状を推定する推定手段と、前記入力された画像と、前記推定手段により推定された３次元形状とに基づいて、提示する画像を重畳する、前記入力された画像上の位置を選択する位置選択手段と、前記入力された画像と前記推定手段により推定された３次元形状とに基づいて、予め記憶されている提示するための複数の画像から前記提示する画像を選択する画像選択手段と、前記入力された画像と前記推定手段により推定された３次元形状とに基づいて、前記位置選択手段により選択された位置に前記画像選択手段により選択された前記提示する画像を重畳した場合の、前記提示する画像を遮蔽する遮蔽物の領域を検出する検出手段と、前記入力された画像と、前記推定手段により推定された３次元形状と、前記検出手段により検出された遮蔽物の領域とに基づいて、前記選択された前記提示する画像を前記選択された位置に重畳し、かつ、前記提示する画像が前記遮蔽物の領域において遮蔽されるように、前記提示する画像を、前記入力された画像に合成する合成手段と、前記合成手段によって合成された画像を出力する出力手段と、を含んで構成されている。 In order to achieve the above object, an information display device of the present invention includes an estimation unit that estimates a three-dimensional shape in an input image, the input image, and a three-dimensional shape estimated by the estimation unit. Based on the position selection means for selecting the position on the input image to superimpose the image to be presented, based on the input image and the three-dimensional shape estimated by the estimation means. Selection by the position selection means based on the image selection means for selecting the image to be presented from a plurality of images to be presented, and the input image and the three-dimensional shape estimated by the estimation means Detecting means for detecting an area of a shielding object that shields the image to be presented when the image to be presented selected by the image selection means is superimposed on the position selected; and the input image; Based on the three-dimensional shape estimated by the estimation means and the area of the shielding object detected by the detection means, the selected image to be presented is superimposed on the selected position, and the presentation Synthesis means for synthesizing the image to be presented with the input image, and output means for outputting the image synthesized by the synthesis means so that the image to be shielded in the area of the shielding object. It consists of
本発明によれば、推定手段により、入力された画像中の３次元形状を推定し、位置選択手段により、前記入力された画像と、前記推定手段により推定された３次元形状とに基づいて、提示する画像を重畳する、前記入力された画像上の位置を選択し、画像選択手段により、前記入力された画像と前記推定手段により推定された３次元形状とに基づいて、予め記憶されている提示するための複数の画像から前記提示する画像を選択し、検出手段により、前記入力された画像と前記推定手段により推定された３次元形状とに基づいて、前記位置選択手段により選択された位置に前記画像選択手段により選択された前記提示する画像を重畳した場合の、前記提示する画像を遮蔽する遮蔽物の領域を検出する。 According to the present invention, the estimation unit estimates the three-dimensional shape in the input image, the position selection unit, based on the input image and the three-dimensional shape estimated by the estimation unit, A position on the input image on which the image to be presented is superimposed is selected, and stored in advance by the image selection unit based on the input image and the three-dimensional shape estimated by the estimation unit. The position selected by the position selection unit based on the input image and the three-dimensional shape estimated by the estimation unit by selecting the image to be presented from a plurality of images to be presented When the image to be presented selected by the image selection means is superimposed on the area of the shielding object that shields the image to be presented.
そして、合成手段により、前記入力された画像と、前記推定手段により推定された３次元形状と、前記検出手段により検出された遮蔽物の領域とに基づいて、前記選択された前記提示する画像を前記選択された位置に重畳し、かつ、前記提示する画像が前記遮蔽物の領域において遮蔽されるように、前記提示する画像を、前記入力された画像に合成し、出力手段により、前記合成手段によって合成された画像を出力する。 Then, the selected image to be presented is selected based on the input image, the three-dimensional shape estimated by the estimation unit, and the area of the shielding object detected by the detection unit. The image to be presented is synthesized with the inputted image so as to be superimposed on the selected position and the image to be presented is shielded in the area of the shielding object, and the composition means is provided by an output means. The image synthesized by is output.
このように、入力された画像と、推定された３次元形状に基づいて提示する画像の提示に適する位置を選択することにより、画像が提示可能な位置を自動的に探索すると共に、提示する画像を遮蔽する遮蔽物を考慮して画像を提示することができる。 As described above, by selecting a position suitable for presentation of an image to be presented based on the input image and the estimated three-dimensional shape, the position where the image can be presented is automatically searched, and the presented image An image can be presented in consideration of a shielding object that shields the image.
以上説明したように、本発明の情報表示装置によれば、入力された画像と、推定された３次元形状に基づいて提示する画像の提示に適する位置を選択することにより、画像が提示可能な位置を自動的に探索すると共に、提示する画像を遮蔽する遮蔽物を考慮して画像を提示することができる。 As described above, according to the information display device of the present invention, an image can be presented by selecting an input image and a position suitable for presentation of the image to be presented based on the estimated three-dimensional shape. It is possible to search for a position automatically and present an image in consideration of a shield that blocks the image to be presented.
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、入力された画像と、推定された画像内の形状と、環境情報とに基づいて、提示画像の提示に適する位置を選択することにより、映像・画像が提示可能な場所を自動的に探索する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a place where a video / image can be presented is selected by selecting a position suitable for presentation of the presentation image based on the input image, the estimated shape in the image, and the environment information. Search automatically.
＜システム構成＞
図１に示すように、本発明の実施の形態に係る情報表示装置１０は、撮像装置１４と、環境情報取得装置１６と、後述する画像合成処理ルーチンを実行するコンピュータ１２と、コンピュータ１２での処理の結果を表示する表示装置３６と、を備えている。
<System configuration>
As shown in FIG. 1, an information display device 10 according to an embodiment of the present invention includes an imaging device 14, an environment information acquisition device 16, a computer 12 that executes an image composition processing routine described later, and a computer 12. And a display device 36 for displaying the processing results.
撮像装置１４は、ステレオカメラであって、外界を撮像し、画像信号を生成する２つの撮像部（図示省略）と、２つの撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。例えば車両に搭載された車載カメラのような移動カメラから構成される。 The imaging device 14 is a stereo camera that captures the outside world and generates image signals, and converts the image signals, which are analog signals generated by the two imaging units, into digital signals. An A / D converter (not shown), and an image memory (not shown) for temporarily storing the A / D converted image signal. For example, it is composed of a moving camera such as an in-vehicle camera mounted on a vehicle.
環境情報取得装置１６は、移動カメラの例えば位置情報、移動方向、移動速度等の情報を取得しコンピュータ１２に入力する。例えばＧＰＳ、ジャイロセンサ、加速度センサ、速度計、トリップメータ、ハンドル角計算装置等によって各種情報を取得する。 The environment information acquisition device 16 acquires information such as position information, movement direction, and movement speed of the moving camera and inputs the information to the computer 12. For example, various types of information are acquired by a GPS, a gyro sensor, an acceleration sensor, a speedometer, a trip meter, a handle angle calculation device, or the like.
コンピュータ１２は、情報表示装置１０全体の制御を司るＣＰＵ、後述する画像合成処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。 The computer 12 includes a CPU that controls the entire information display device 10, a ROM as a storage medium that stores a program for an image composition processing routine that will be described later, a RAM that temporarily stores data as a work area, and a bus that connects these. It is configured to include. In the case of such a configuration, a program for realizing the function of each component is stored in a storage medium such as a ROM or HDD, and each function is realized by executing the program by the CPU. To.
このコンピュータ１２をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置により撮像された画像をコンピュータに入力する画像入力部１８と、入力された画像から特定の形状を推定する形状推定部２０と、画像提示に適する位置を選択する提示場所選択部２２と、ユーザ情報を記憶しているユーザ情報記憶部３２と、提示画像を記憶している提示画像記憶部３４と、状況に応じた提示画像を提示画像記憶部３４から選択する提示画像選択部３０と、提示画像の表示領域内の遮蔽物の領域を求める遮蔽領域検出部２４と、遮蔽物の領域を考慮して背景画像の提示位置に提示画像を合成し、合成した画像を表示装置３６に出力する画像合成部２６と、を含んだ構成で表すことができる。 If the computer 12 is described by functional blocks divided for each function realizing means determined based on hardware and software, as shown in FIG. 1, an image input unit 18 for inputting an image captured by the imaging device to the computer. A shape estimation unit 20 that estimates a specific shape from the input image, a presentation location selection unit 22 that selects a position suitable for image presentation, a user information storage unit 32 that stores user information, and a presentation image A presentation image storage unit 34 that stores information, a presentation image selection unit 30 that selects a presentation image corresponding to the situation from the presentation image storage unit 34, and a shielding area detection that obtains an area of a shielding object in the display area of the presentation image A unit 24, and an image composition unit 26 that synthesizes the presentation image at the presentation position of the background image in consideration of the area of the shielding object and outputs the synthesized image to the display device 36. It can be represented by.
画像入力部１８は、撮像装置１４で撮像された画像をコンピュータ１２に入力し、形状推定部２０、提示場所選択部２２、画像合成部２６、及び提示画像選択部３０に出力する。 The image input unit 18 inputs an image captured by the imaging device 14 to the computer 12 and outputs the image to the shape estimation unit 20, the presentation location selection unit 22, the image composition unit 26, and the presentation image selection unit 30.
形状推定部２０は、画像入力部１８から入力された図２に示すような画像から、例えば環境中の平面や曲面、円筒面、球面等の形状を推定する。形状推定部２０は、例えば２枚以上の画像から３次元構造を復元するステレオ画像処理装置で構成される。街路樹や電柱といった小さな構造物の形状推定をより精密に行うために、復元手法として、図３（ａ）に示すように、例えば、文献：Y. Furukawa, J. Ponce, “Accurate, Dense, and Robust Multiview Stereopsis,” IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 32, No. 8, pp. 1362−1376, Aug. 2010.で提案される多視点画像を用いた３次元画像復元手法であるPatch-based Multi-view Stereo（ＰＭＶＳ）を使用することもできる。ＰＭＶＳは、３次元面上の密な点群が取得可能である。そして、これらの点群に対し、図３（ｂ）に示すように、文献：F. Bernardini, J. Mittleman, H. Rushmeier, C. Silva, G. Taubin, “The Ball-pivoting Algorithm for Surface Reconstruction,”IEEE Trans. on Visualization and Computer Graphics, Vol. 5, No. 4, pp. 349−359, Oct. 1999.で提案されているBall-pivoting Algorithmを適用して３角形メッシュを生成して推定した形状とする。そして、算出された３次元空間中の形状は、提示場所選択部２２、画像合成部２６、提示画像選択部３０、及び遮蔽領域検出部２４に出力される。 The shape estimation unit 20 estimates a shape such as a plane, a curved surface, a cylindrical surface, and a spherical surface in the environment from the image as illustrated in FIG. 2 input from the image input unit 18. The shape estimation unit 20 is configured by a stereo image processing device that restores a three-dimensional structure from two or more images, for example. In order to more accurately estimate the shape of small structures such as roadside trees and utility poles, as a restoration method, as shown in FIG. 3A, for example, reference: Y. Furukawa, J. Ponce, “Accurate, Dense, and Robust Multiview Stereopsis, ”IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 32, No. 8, pp. 1362–1376, Aug. 2010. Some Patch-based Multi-view Stereo (PMVS) can also be used. PMVS can acquire a dense point cloud on a three-dimensional surface. For these point groups, as shown in FIG. 3 (b), documents: F. Bernardini, J. Mittleman, H. Rushmeier, C. Silva, G. Taubin, “The Ball-pivoting Algorithm for Surface Reconstruction” , ”IEEE Trans. On Visualization and Computer Graphics, Vol. 5, No. 4, pp. 349-359, Oct. 1999. Applying Ball-pivoting Algorithm proposed in Oct. 1999. The shape is Then, the calculated shape in the three-dimensional space is output to the presentation location selection unit 22, the image synthesis unit 26, the presentation image selection unit 30, and the shielding area detection unit 24.
ユーザ情報記憶部３２は、本装置を利用しているユーザの年齢、性別、住所、利用履歴等に関する情報を記憶している。 The user information storage unit 32 stores information related to the age, sex, address, usage history, etc. of the user who is using this apparatus.
提示画像記憶部３４は、複数の状況に応じた複数の画像を提示画像として記憶している。 The presentation image storage unit 34 stores a plurality of images corresponding to a plurality of situations as a presentation image.
提示画像選択部３０は、ユーザ情報記憶部３２に記憶されているユーザ情報と、環境情報取得装置１６により取得された情報と、画像入力部１８に入力された情報と、形状推定部２０から入力された情報とを分析し、状況に応じた提示画像を提示画像記憶部３４から選択する。例えば、ユーザの年齢や性別を対象とした宣伝広告画像を、提示画像記憶部３４内の広告画像データベースから選択する。あるいは、車載カメラの移動方向等に応じて、選択される宣伝広告画像を変化させる。例えば、車両の進行方向の先にある店の宣伝広告を選択する例が挙げられる。また、例えば、画像入力部１８と形状推定部２０から入力された対象の３次元位置、色、光源、動き等の情報に応じて、ユーザが視認しやすい提示画像を選択する。提示画像選択部３０で選択した提示画像は、遮蔽領域検出部２４、及び画像合成部２６に出力される。 The presentation image selection unit 30 is input from the user information stored in the user information storage unit 32, the information acquired by the environment information acquisition device 16, the information input to the image input unit 18, and the shape estimation unit 20. The presented image is analyzed and a presentation image corresponding to the situation is selected from the presentation image storage unit 34. For example, an advertisement image targeted for the age and sex of the user is selected from the advertisement image database in the presented image storage unit 34. Alternatively, the selected advertisement image is changed according to the moving direction of the in-vehicle camera. For example, the example which selects the advertisement of the store ahead of the advancing direction of a vehicle is given. Also, for example, a presentation image that is easy for the user to view is selected according to information about the target three-dimensional position, color, light source, movement, and the like input from the image input unit 18 and the shape estimation unit 20. The presentation image selected by the presentation image selection unit 30 is output to the shielding region detection unit 24 and the image composition unit 26.
提示場所選択部２２は、形状推定部２０から入力された３次元空間中の形状と、画像入力部１８から入力された画像の中から、画像提示に適する位置を選択する。提示位置の例として、建物の壁面、既存の看板、路面、電柱、樹木、車両の側面、既存の標識等が挙げられる。提示位置選択の際、環境情報取得装置１６から入力された移動カメラの位置、移動方向等の実環境情報に応じて、選択される画像提示の位置を変化させる。例えば、車載カメラの位置や移動方向の情報を利用することで、いつも車載カメラの左側のユーザが見やすい提示位置を選択する。提示場所選択部２２で選択された画像提示に適する位置は、遮蔽領域検出部２４、及び画像合成部２６に出力する。 The presentation location selection unit 22 selects a position suitable for image presentation from the shape in the three-dimensional space input from the shape estimation unit 20 and the image input from the image input unit 18. Examples of the presenting position include a wall surface of a building, an existing signboard, a road surface, a utility pole, a tree, a side surface of a vehicle, an existing sign, and the like. When the presentation position is selected, the position of the selected image presentation is changed according to the real environment information such as the position and movement direction of the moving camera input from the environment information acquisition device 16. For example, by using information on the position and moving direction of the in-vehicle camera, a presentation position that is always easy for the user on the left side of the in-vehicle camera to select is selected. The position suitable for the image presentation selected by the presentation location selection unit 22 is output to the shielding region detection unit 24 and the image composition unit 26.
遮蔽領域検出部２４は、提示場所選択部２２から入力された提示位置に、提示画像選択部３０で選択された提示画像を重畳する。このとき、形状推定部２０から入力された３次元形状に沿うように提示画像を変形させる。また、このようにして得られた提示画像の表示領域内の遮蔽物の領域を求める。具体的には提示画像の表示領域より手前に３次元形状が存在するとき、当該３次元形状の領域を遮蔽物の領域と判断する。例えば、街路樹や電柱等の構造物が提示画像の表示領域の前に存在する場合には構造物の領域を遮蔽物の領域として検出する。遮蔽物の領域の検出結果を画像合成部２６に出力する。 The shielding area detection unit 24 superimposes the presentation image selected by the presentation image selection unit 30 on the presentation position input from the presentation location selection unit 22. At this time, the presentation image is deformed so as to follow the three-dimensional shape input from the shape estimation unit 20. Moreover, the area | region of the obstruction | occlusion object in the display area of the presentation image obtained in this way is calculated | required. Specifically, when a three-dimensional shape is present in front of the display area of the presentation image, the three-dimensional shape area is determined to be a shielding object area. For example, when a structure such as a roadside tree or a telephone pole exists in front of the display area of the presentation image, the area of the structure is detected as the area of the shielding object. The detection result of the shielding object region is output to the image composition unit 26.
画像合成部２６は、画像入力部１８から入力された背景画像に対して、提示画像選択部３０で選択された提示画像を、提示場所選択部２２から入力された提示位置に合成する。この際、提示画像は、形状推定部２０から入力された３次元形状に沿うように変形させ、遮蔽領域検出部２４で検出された遮蔽物の領域において遮蔽されるように、提示画像を背景画像に合成する。また、環境情報取得装置１６から入力された車両の位置、移動方向、移動速度等の情報をもとに、提示画像に例えばモーションブラーや、車両と提示位置の距離に応じたぼかし処理等の画像効果を施す。また、画像入力部１８と形状推定部２０から入力された対象の３次元位置、色、光源、動き等の情報に応じて、例えば色調の調整、アニメーションの処理等を施し、自然な画像に加工する。図４（ａ）には遮蔽の表現を適切に行なわなかった例を示し、図４（ｂ）には遮蔽の表現を適切に行った例を示す。適切な重畳・遮蔽の表現が見た目の自然さに重要であることが示されている。また、図５に、道路上を移動中の視点から取得した画像系列に提示画像を重畳した例を示す。また、図６に、壁面に平行に提示画像を設置した例や壁面に垂直に提示画像を設置した例を示す。画像合成部２６で合成された画像は、表示装置３６に出力する。 The image synthesizing unit 26 synthesizes the presentation image selected by the presentation image selection unit 30 with the presentation position input from the presentation location selection unit 22 with respect to the background image input from the image input unit 18. At this time, the presentation image is deformed so as to conform to the three-dimensional shape input from the shape estimation unit 20, and the presentation image is converted into the background image so as to be shielded in the shielding object region detected by the shielding region detection unit 24. To synthesize. In addition, based on information such as the position, moving direction, and moving speed of the vehicle input from the environment information acquisition device 16, an image such as a motion blur or a blurring process according to the distance between the vehicle and the presenting position is displayed on the presented image. Apply effect. In addition, according to information on the target three-dimensional position, color, light source, movement, and the like input from the image input unit 18 and the shape estimation unit 20, for example, color adjustment, animation processing, and the like are performed to process a natural image. To do. FIG. 4A shows an example in which the shielding expression is not properly performed, and FIG. 4B shows an example in which the shielding expression is appropriately performed. Appropriate overlay and occlusion expressions have been shown to be important to the natural appearance. FIG. 5 shows an example in which a presentation image is superimposed on an image series acquired from a viewpoint moving on a road. FIG. 6 shows an example in which a presentation image is installed parallel to the wall surface and an example in which a presentation image is installed perpendicular to the wall surface. The image synthesized by the image synthesis unit 26 is output to the display device 36.
＜情報表示装置の作用＞
撮像装置１４から出力される映像が、コンピュータ１２に入力されると、映像の各フレームごとに、情報表示装置１０のコンピュータ１２によって、図７に示す画像合成処理ルーチンが実行される。
<Operation of information display device>
When the video output from the imaging device 14 is input to the computer 12, the computer 12 of the information display device 10 executes an image composition processing routine shown in FIG. 7 for each frame of the video.
ステップＳ１００で、画像入力部１８が撮像装置１４で撮像された画像の入力を受け付け、入力された画像を形状推定部２０、提示場所選択部２２、画像合成部２６、及び提示画像選択部３０に出力する。 In step S <b> 100, the image input unit 18 receives an input of an image captured by the imaging device 14, and the input image is input to the shape estimation unit 20, the presentation location selection unit 22, the image composition unit 26, and the presentation image selection unit 30. Output.
次にステップＳ１０２で、環境情報取得装置１６で取得した環境情報を提示場所選択部２２、画像合成部２６、及び提示画像選択部３０に入力する。 Next, in step S <b> 102, the environment information acquired by the environment information acquisition device 16 is input to the presentation location selection unit 22, the image composition unit 26, and the presentation image selection unit 30.
次にステップＳ１０４で、形状推定部２０が、画像入力部１８から入力された画像から、例えば画像中の平面や曲面、円筒面、球面等の形状を推定し、３次元形状の推定を行う。そして、その結果を提示場所選択部２２、遮蔽領域検出部２４、画像合成部２６、及び提示画像選択部３０に出力する。 Next, in step S104, the shape estimation unit 20 estimates a shape such as a plane, a curved surface, a cylindrical surface, and a spherical surface in the image from the image input from the image input unit 18, and estimates a three-dimensional shape. Then, the result is output to the presentation location selection unit 22, the occlusion area detection unit 24, the image composition unit 26, and the presentation image selection unit 30.
次にステップＳ１０６で、提示画像選択部３０が、ユーザ情報記憶部３２に記憶されているユーザ情報と、環境情報取得装置１６から入力された環境情報と、画像入力部１８から入力された画像と、形状推定部２０から入力された３次元形状と、に基づいて、提示画像を提示画像記憶部３４から選択する。選択した提示画像は、遮蔽領域検出部２４、及び画像合成部２６に出力する。 In step S <b> 106, the presentation image selection unit 30 includes the user information stored in the user information storage unit 32, the environment information input from the environment information acquisition device 16, and the image input from the image input unit 18. A presentation image is selected from the presentation image storage unit 34 based on the three-dimensional shape input from the shape estimation unit 20. The selected presentation image is output to the shielding area detection unit 24 and the image composition unit 26.
次にステップＳ１０８で、提示場所選択部２２が、形状推定部２０から入力された３次元形状と、画像入力部１８から入力された画像に基づいて、提示画像を重畳する位置を画像入力部１８から入力された画像上から選択する。選択された位置情報は、遮蔽領域検出部２４、及び画像合成部２６に出力する。 In step S <b> 108, the presentation location selection unit 22 determines the position to superimpose the presentation image based on the three-dimensional shape input from the shape estimation unit 20 and the image input from the image input unit 18. Select from images input from. The selected position information is output to the shielding area detection unit 24 and the image composition unit 26.
次に、ステップＳ１１０で、遮蔽領域検出部２４が、提示場所選択部２２から入力された提示位置に、提示画像選択部３０で選択された画像を重畳し、形状推定部２０から入力された３次元形状に基づいて、提示画像の表示領域内の遮蔽物の領域を検出する。検出した結果を画像合成部２６に出力する。 Next, in step S110, the occlusion area detection unit 24 superimposes the image selected by the presentation image selection unit 30 on the presentation position input from the presentation location selection unit 22, and 3 input from the shape estimation unit 20 Based on the dimensional shape, the area of the shield in the display area of the presentation image is detected. The detected result is output to the image composition unit 26.
次に、ステップＳ１１２で、画像合成部２６が、画像入力部１８から入力された画像と、形状推定部２０から入力された３次元形状と、遮蔽領域検出部２４により検出された遮蔽物の領域と、に基づいて、提示画像選択部３０で選択された提示画像を、提示場所選択部２２により選択された位置に重畳し、かつ、遮蔽領域検出部２４により検出された遮蔽物の領域において遮蔽されるように、提示画像を、画像入力部１８から入力された画像に合成する。ステップＳ１１４で、画像合成部２６が合成した画像を、表示装置３６に出力し、処理を終了する。 Next, in step S <b> 112, the image composition unit 26 receives the image input from the image input unit 18, the three-dimensional shape input from the shape estimation unit 20, and the shielding object region detected by the shielding region detection unit 24. Based on the above, the presentation image selected by the presentation image selection unit 30 is superimposed on the position selected by the presentation location selection unit 22, and is shielded in the area of the shielding object detected by the shielding area detection unit 24. As shown, the presentation image is combined with the image input from the image input unit 18. In step S114, the image synthesized by the image synthesis unit 26 is output to the display device 36, and the process ends.
以上説明したように、本発明の実施の形態の情報表示装置１０によれば、入力された画像と、推定された３次元形状に基づいて提示する画像の提示に適する位置を選択することにより、画像が提示可能な位置を自動的に探索すると共に、提示する画像を遮蔽する遮蔽物を考慮して画像を提示することができる。そのため、マーカーや３次元モデルを用いた手法と比べ、事前に別途３次元形状のモデルを用意する必要がなく、実写映像を解析して情報提示領域を選択するため、適用対象が拡大できる。そのため、結果として、過去の映像アーカイブや、クラウド上に集積した個人が投稿した実写映像の中に、違和感のない広告が提示できるなど新たなビジネスモデルが期待できる。また、ユーザ情報等を利用することにより、提示する映像は個人ごとにカスタマイズできるため、言語や嗜好など、個人属性に応じた映像を選択できる。また、位置・撮影時間・進行方向・速度などによりTPOにあった映像を選択することもできるため、標識等の各文化への翻訳などにも応用が可能である。 As described above, according to the information display device 10 of the embodiment of the present invention, by selecting a position suitable for presentation of an input image and an image to be presented based on the estimated three-dimensional shape, It is possible to automatically search for a position where the image can be presented and present the image in consideration of a shielding object that shields the image to be presented. Therefore, it is not necessary to prepare a model with a three-dimensional shape separately in advance, compared to a method using a marker or a three-dimensional model, and an application target can be expanded because an information presentation area is selected by analyzing a captured image. Therefore, as a result, a new business model can be expected such that advertisements without a sense of incongruity can be presented in past video archives or live-action videos posted by individuals accumulated in the cloud. In addition, by using user information or the like, the video to be presented can be customized for each individual, so that a video according to personal attributes such as language and preferences can be selected. It is also possible to select images suitable for TPO according to position, shooting time, direction of travel, speed, etc., so it can be applied to translation of signs and other cultures.
なお、本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above embodiment, and various modifications and applications can be made without departing from the gist of the present invention.
また、上述の情報表示装置１０は、内部にコンピュータシステムを有しているが、コンピュータシステムは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。 In addition, the information display device 10 described above includes a computer system, but the computer system includes a homepage providing environment (or display environment) if the WWW system is used.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。また、本実施の形態の情報表示装置１０の各部をハードウエアにより構成してもよい。また、ルールテンプレートや各種テーブルが記憶される記憶部としては、ハードディスク装置やファイルサーバ等に例示される記憶手段によって実現可能であり、情報表示装置１０内部に記憶部を設けてもよいし、外部装置に設けてもよい。 Further, in the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium or provided via a network. It is also possible to do. Moreover, you may comprise each part of the information display apparatus 10 of this Embodiment with a hardware. The storage unit storing the rule template and various tables can be realized by a storage unit exemplified by a hard disk device, a file server, etc., and a storage unit may be provided inside the information display device 10 or externally. You may provide in an apparatus.
１０ 情報表示装置
１２ コンピュータ
１４ 撮像装置
１６ 環境情報取得装置
１８ 画像入力部
２０ 形状推定部
２２ 提示場所選択部
２４ 遮蔽領域検出部
２６ 画像合成部
３０ 提示画像選択部
３２ ユーザ情報記憶部
３４ 提示画像記憶部
３６ 表示装置
DESCRIPTION OF SYMBOLS 10 Information display apparatus 12 Computer 14 Imaging apparatus 16 Environmental information acquisition apparatus 18 Image input part 20 Shape estimation part 22 Presentation place selection part 24 Occlusion area | region detection part 26 Image composition part 30 Presentation image selection part 32 User information storage part 34 Presentation image storage Part 36 display device
Claims (1)
前記入力された画像と、前記推定手段により推定された３次元形状とに基づいて、提示する画像を重畳する、前記入力された画像上の位置を選択する位置選択手段と、
前記入力された画像と前記推定手段により推定された３次元形状とに基づいて、予め記憶されている提示するための複数の画像から前記提示する画像を選択する画像選択手段と、
前記入力された画像と前記推定手段により推定された３次元形状とに基づいて、前記位置選択手段により選択された位置に前記画像選択手段により選択された前記提示する画像を重畳した場合の、前記提示する画像を遮蔽する遮蔽物の領域を検出する検出手段と、
前記入力された画像と、前記推定手段により推定された３次元形状と、前記検出手段により検出された遮蔽物の領域とに基づいて、前記選択された前記提示する画像を前記選択された位置に重畳し、かつ、前記提示する画像が前記遮蔽物の領域において遮蔽されるように、前記提示する画像を、前記入力された画像に合成する合成手段と、
前記合成手段によって合成された画像を出力する出力手段と、
を備えた情報表示装置。 Estimating means for estimating a three-dimensional shape in the input image;
A position selection unit that selects a position on the input image to superimpose an image to be presented based on the input image and the three-dimensional shape estimated by the estimation unit;
Image selecting means for selecting the image to be presented from a plurality of prestored images based on the input image and the three-dimensional shape estimated by the estimating means;
Based on the input image and the three-dimensional shape estimated by the estimation unit, the image to be presented selected by the image selection unit is superimposed on the position selected by the position selection unit, Detection means for detecting an area of an obstruction that obstructs an image to be presented;
Based on the input image, the three-dimensional shape estimated by the estimation means, and the area of the shielding object detected by the detection means, the selected image to be presented is set to the selected position. Superimposing and synthesizing means for synthesizing the image to be presented with the input image so that the image to be presented is shielded in the area of the shielding object;
Output means for outputting the image synthesized by the synthesis means;
An information display device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012178685A JP2014035763A (en) | 2012-08-10 | 2012-08-10 | Information display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012178685A JP2014035763A (en) | 2012-08-10 | 2012-08-10 | Information display device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014035763A true JP2014035763A (en) | 2014-02-24 |
Family
ID=50284698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012178685A Pending JP2014035763A (en) | 2012-08-10 | 2012-08-10 | Information display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014035763A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107833237A (en) * | 2016-09-15 | 2018-03-23 | 汤姆逊许可公司 | Method and apparatus for the virtual objects in fuzzy video |
| JP2020536603A (en) * | 2017-09-29 | 2020-12-17 | ソニー・インタラクティブエンタテインメント エルエルシー | Presentation of virtual reality in real world space |
-
2012
- 2012-08-10 JP JP2012178685A patent/JP2014035763A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107833237A (en) * | 2016-09-15 | 2018-03-23 | 汤姆逊许可公司 | Method and apparatus for the virtual objects in fuzzy video |
| JP2018049614A (en) * | 2016-09-15 | 2018-03-29 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | Method and device for blurring virtual object in video |
| CN107833237B (en) * | 2016-09-15 | 2023-08-15 | 交互数字Ce专利控股公司 | Method and apparatus for blurring virtual objects in video |
| JP2020536603A (en) * | 2017-09-29 | 2020-12-17 | ソニー・インタラクティブエンタテインメント エルエルシー | Presentation of virtual reality in real world space |
| JP7041253B2 (en) | 2017-09-29 | 2022-03-23 | ソニー・インタラクティブエンタテインメント エルエルシー | Presentation of virtual reality in real world space |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2261604B1 (en) | Computer arrangement for and method of calculating motion vectors using range sensor data | |
| CN106355153B (en) | A kind of virtual objects display methods, device and system based on augmented reality | |
| US8055061B2 (en) | Method and apparatus for generating three-dimensional model information | |
| Peng et al. | A mobile augmented reality system for exhibition hall based on Vuforia | |
| US20100257252A1 (en) | Augmented Reality Cloud Computing | |
| JP2018049591A (en) | Image processing apparatus, image generation method, and program | |
| KR20020025301A (en) | Apparatus and Method for Furnishing Augmented-Reality Graphic using Panoramic Image with Supporting Multiuser | |
| CN103777757B (en) | A kind of place virtual objects in augmented reality the system of combination significance detection | |
| CN105139349A (en) | Virtual reality display method and system | |
| JP5267330B2 (en) | Image processing apparatus and method | |
| US11436790B2 (en) | Passthrough visualization | |
| JP2019510991A (en) | Arrangement for rendering virtual reality with an adaptive focal plane | |
| JP2013218660A (en) | Method, program, and device for processing image | |
| CN111598996B (en) | Article 3D model display method and system based on AR technology | |
| JP2005339127A (en) | Apparatus and method for displaying image information | |
| KR102503976B1 (en) | Apparatus and method for correcting augmented reality image | |
| EP3007136B1 (en) | Apparatus and method for generating an augmented reality representation of an acquired image | |
| JP2014035763A (en) | Information display device | |
| JP2014085723A (en) | Information providing device and information providing method | |
| JP6719945B2 (en) | Information processing apparatus, information processing method, information processing system, and program | |
| KR20160039447A (en) | Spatial analysis system using stereo camera. | |
| JP2021018575A5 (en) | Image distribution system and image distribution method | |
| KR101265554B1 (en) | 3D advertising method and system | |
| Pourazar et al. | A comprehensive framework for evaluation of stereo correspondence solutions in immersive augmented and virtual realities | |
| CN114387290A (en) | Image processing method, image processing apparatus, computer device, and storage medium |