JP7467074B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7467074B2
JP7467074B2 JP2019200857A JP2019200857A JP7467074B2 JP 7467074 B2 JP7467074 B2 JP 7467074B2 JP 2019200857 A JP2019200857 A JP 2019200857A JP 2019200857 A JP2019200857 A JP 2019200857A JP 7467074 B2 JP7467074 B2 JP 7467074B2
Authority
JP
Japan
Prior art keywords
content
virtual
captured
image
virtual viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019200857A
Other languages
English (en)
Other versions
JP2021076923A (ja
JP2021076923A5 (ja
Inventor
尚志 中本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019200857A priority Critical patent/JP7467074B2/ja
Priority to US17/081,024 priority patent/US11563928B2/en
Publication of JP2021076923A publication Critical patent/JP2021076923A/ja
Publication of JP2021076923A5 publication Critical patent/JP2021076923A5/ja
Application granted granted Critical
Publication of JP7467074B2 publication Critical patent/JP7467074B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、複数の撮像画像に基づいて生成される仮想視点画像に関する。
複数視点の撮像画像に基づき仮想視点画像を生成する技術がある。仮想視点画像の生成は、複数の撮像装置が撮像することによって得られた撮像画像をサーバなどの画像処理部に集約し、画像処理部にて、三次元形状データの生成、レンダリングなどの処理を行うことで実現される。また、生成された仮想視点画像にコンピュータグラフィクス等で作成された広告等の仮想コンテンツを合成して表示する場合がある。
特許文献１には、仮想コンテンツである広告を自由視点画像内に表示させるための広告枠を、視点情報を用いて視聴者が認識しやすい位置に決定する方法が開示されている。
国際公開第２０１６／１９４４４１号
表示するコンテンツが経時的に変わるような表示機器が含まれる撮像領域が撮像された撮像画像に基づき仮想視点画像が生成されることがある。例えばサッカーやラグビーのフィールドを撮影対象として仮想視点画像を生成する場合に、フィールド周辺の電子看板が仮想視点画像内に含まれることがある。一方、時間経過に伴って内容が変わる仮想コンテンツを仮想視点画像に挿入して表示させることがある。このような表示機器と仮想コンテンツの両方が含まれる仮想視点画像において、表示機器の表示と仮想コンテンツが独立して変化すると、視聴者にとって仮想視点画像が見づらくなる虞がある。例えば、仮想コンテンツの内容が変わるタイミングが表示機器のコンテンツが変わるタイミングと異なると、それらの変化が視聴者の注意を引き付けてしまい、視聴者が撮影対象の競技に集中できなくなることがある。
本開示の画像処理装置は、複数の撮像装置による複数の異なる方向からの撮像によって得られた複数の撮像画像に基づいて生成された仮想視点画像を取得する第１の取得手段と、前記仮想視点画像に含まれる、前記撮像装置によって撮像されたコンテンツが変化するタイミングを示す情報を取得する第２の取得手段と、前記撮像画像に含まれていない仮想のコンテンツである仮想コンテンツが挿入された前記仮想視点画像を表示部に表示させるよう制御する制御手段と、を有し、前記制御手段は、前記第２の取得手段によって取得された情報に基づいて、前記仮想視点画像における前記仮想コンテンツの表示を制御し、前記撮像装置によって撮像されたコンテンツおよび前記仮想コンテンツとして表示されるコンテンツは、広告に関するコンテンツであることを特徴とする。
本開示の技術によれば、仮想視点画像に含まれる仮想コンテンツの変化が仮想視点画像を見づらくすることを抑制することができる。
画像処理システムの概略構成を示す図。 画像処理装置のハードウェア構成を示す図。 電子看板および仮想広告を説明するための図。 画像処理装置の機能構成を示すブロック図。 電子看板情報を説明するための図。 仮想広告を仮想視点画像に合成する処理を示すフローチャート。 仮想広告が電子看板と同期して制御される場合のシーケンス図。 電子看板および仮想広告を説明するための図。 電子看板および仮想広告を説明するための図。 画像処理装置の機能構成を示すブロック図。 仮想広告を仮想視点画像に合成する処理を示すフローチャート。 画像処理装置の機能構成を示すブロック図。 仮想広告を仮想視点画像に合成する処理を示すフローチャート。 電子看板および仮想広告を説明するための図。
以下、本実施形態を実施するための形態について図面などを参照して説明する。なお、以下の実施形態は、本開示の技術を限定するものではなく、また、以下の実施形態で説明されている全ての構成が課題を解決するための手段に必須であるとは限らない。
＜実施形態１＞
はじめに、仮想視点画像の概要を簡単に説明する。複数のカメラを異なる位置に設置して複数視点で同期撮像し、その撮像により得られた複数視点画像を用いて、カメラの視点によらない仮想視点から見た仮想視点画像を生成する技術がある。この技術によれば、例えば、サッカーの試合のハイライトシーンを様々な角度から視聴閲覧することが出来るため、通常の画像と比較してユーザに高臨場感を与えることができる。本実施形態における仮想視点画像は、自由視点画像とも呼ばれるものであるが、ユーザが指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。なお、仮想視点画像は、動画であっても、静止画であってもよい。以下の実施形態では、仮想視点画像は動画（仮想視点映像ともよぶ）であるものとして説明を行う。
［システム構成について］
図１は、本実施形態の仮想視点画像を生成するための画像処理システムの構成を示す図である。画像処理システム１００は、複数の撮像装置１０１、画像処理装置１０２、視点入力装置１０３、設備管理装置１０４、環境音量測定装置１０５、および表示装置１０６を有する。画像処理システム１００は、複数の撮像装置による撮像に基づく複数の撮像画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するためのシステムである。複数の撮像装置による撮像領域は、例えばラグビーやサッカーなどの競技が行われる競技場（スタジアム）、コンサートまたは演劇が行われる舞台などである。
複数の撮像装置１０１は、スタジアム等の撮像領域を取り囲むようにそれぞれ異なる位置に設置され、複数の撮像装置が時刻同期してその撮像領域を撮像する。複数の撮像装置１０１は撮像領域の全周にわたって設置されていなくてもよく、撮像装置の設置場所に制限がある場合、撮像装置は撮像領域の一部の方向にのみ設置されていてもよい。また、撮像装置の数は図１に示す例に限定されず、例えば、撮像領域をサッカーのスタジアムとする場合、スタジアムの周囲に３０台程度の撮像装置が設置されるのが好ましい。また、望遠カメラと広角カメラとの組み合わせのように機能が異なる撮像装置が設置されていてもよい。
撮像装置１０１は、例えば、シリアルデジタルインターフェイス（ＳＤＩ）に代表される映像信号インターフェイスを備えたデジタルビデオ撮像装置により実現される。撮像装置１０１は出力する映像信号にタイムコードに代表される時刻情報を付加して、画像処理装置１０２に送信する。
画像処理装置１０２は、撮像装置１０１が撮像して得られた撮像画像に基づき仮想視点画像を作成する。画像処理装置１０２はネットワークケーブル等を介し撮像装置１０１から撮像画像の画像データを取得する。画像処理装置１０２は、取得した画像データに基づき、オブジェクトの三次元形状データの生成、レンダリングなどの処理を行い、仮想視点画像を生成する。さらに、画像処理装置１０２は、生成された仮想視点画像に仮想コンテンツが表示されるための処理を行う。画像処理装置１０２の機能の詳細は後述する。
視点入力装置１０３は、ジョイスティック等のコントローラを有する入力装置であり、ユーザが仮想視点の視点情報を入力する装置である。視点入力装置１０３で入力された視点情報は画像処理装置１０２に送信される。
視点情報を示すデータには、例えば、三次元座標での仮想視点の位置を示すＸ，Ｙ，Ｚ軸のパラメータと、仮想視点の向きを表すパン、チルト、ロール方向のパラメータと、視野の大きさ（画角）と、解像度と、が含まれる。視点情報の内容は上記に限定されない。視点情報は公知のカメラキャリブレーションの手順で算出されて記憶される。例えば、複数の撮像装置１０１の撮像に基づく複数の撮像画像中の点を対応付けて幾何計算によって視点情報が算出される。視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報は、動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、複数の時点それぞれにおける仮想視点の位置及び方向を示す情報であってもよい。
表示装置１０６は、仮想コンテンツを含む仮想視点画像を表示する表示部であり、画像処理装置１０２から仮想視点画像の画像データを取得して、仮想視点画像を表示する。表示装置１０６は、例えば、液晶ディスプレイやＬＥＤ等で実現される。
設備管理装置１０４は、撮像装置１０１の撮像領域であるスタジアム等に設置されたディスプレイ（表示機器）である電子看板を制御する装置である。本実施形態では電子看板に表示されるコンテンツは広告の画像または動画であり、設備管理装置１０４は、所定の周期で表示される広告が変わるように電子看板を制御する。
環境音量測定装置１０５は撮像装置１０１の撮像領域の音量を測定する装置である。例えば、撮像領域がスタジアムである場合はスタジアムの観客席側に設置され、サッカー、ラグビーなどの試合中の音量を計測する。計測された音量を示す値を含む音量データは画像処理装置１０２に送信される。環境音量測定装置１０５はスタジアムの観客の音量の計測精度が上がるように複数個設置してもよいし、スタジアムの中央部に単一で設置してもよい。なお、環境音量測定装置１０５は、後述する実施形態２において使用される。このため、本実施形態の画像処理システム１００の構成としては無くてもよい。
［ハードウェア構成］
図２は画像処理装置１０２のハードウェア構成を示す図である。画像処理装置１０２は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。ＣＰＵ２１１は、ＲＯＭ２１２またはＲＡＭ２１３に格納されているコンピュータプログラムおよびデータを用いて画像処理装置１０２の全体を制御することで、画像処理装置１０２の各機能を実現する。なお、画像処理装置１０２は、ＣＰＵとは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有していてもよい。そして、ＣＰＵによる処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。
ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音量データなどの種々のデータを記憶する。
表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが画像処理装置１０２を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作する。通信Ｉ／Ｆ２１７は、画像処理装置１０２の外部の装置との通信に用いられる。
例えば、画像処理装置１０２が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。画像処理装置１０２が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、画像処理装置１０２の各部をつないで情報を伝達する。本実施形態では表示部２１５と操作部２１６が画像処理装置１０２の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が画像処理装置１０２の外部に別の装置として存在していてもよい。
［電子看板と仮想コンテンツについて］
図３は、表示装置１０６に表示される仮想視点画像を示す図である。図３の仮想視点画像は、サッカーの試合が行われているスタジアムに配置された複数の撮像装置が同期して撮像することによって得られた撮像画像に基づき生成された仮想視点画像である。図３の仮想視点画像には、電子看板３１１～３１４と仮想コンテンツである仮想広告３０１～３０４とが含まれる。
電子看板３１１～３１４は、撮像領域であるスタジアムに実際に設置されている所定のコンテンツを表示するディスプレイ等の表示機器である。本実施形態では、電子看板は広告を表示する表示機器であり、また、電子看板３１１～３１４に表示される広告は、時間に応じて広告が変わるように制御されているものとして説明する。
一方、仮想コンテンツは、撮像領域のスタジアムには実際に存在していない、つまり撮像画像には含まれない仮想のコンテンツである。仮想コンテンツは、仮想視点画像が処理されることによって仮想視点画像と共に表示され、仮想視点画像において視聴者が見ることが可能となる動画または画像などのコンテンツである。以下の実施形態では、広告のコンテンツが仮想コンテンツとして表示されるものとして説明する。広告の仮想コンテンツを仮想広告とよぶ。本実施形態の仮想広告は、広告効果を上げるために時間に応じて広告の内容が変わるように表示される。
図３の仮想視点画像では、フィールド３００の脇に広告表示用ディスプレイが電子看板３１１～３１４として設置されている。また、スタジアムの二階には仮想コンテンツを表示させる仮想コンテンツ領域があり、仮想広告３０１～３０４が表示されている。このように仮想視点画像内に電子看板と仮想広告との両方が含まれて表示されることがある。
前述したとおり、電子看板および仮想広告は、時間に応じて広告内容が変わるように表示される。このため、仮想視点画像において電子看板の表示する広告と仮想広告とがそれぞれ異なるタイミングで変わると、頻繁に発生する広告変化に視聴者の注意が引き付けられ、視聴者が仮想視点画像の広告以外の領域の視聴に集中しづらくなる虞がある。そこで本実施形態では、仮想広告の表示を電子看板の表示と同期するように制御することで、広告が目障りとなることを抑制する方法について説明する。
［機能構成について］
図４は、画像処理装置１０２の機能構成を示すブロック図である。画像処理装置１０２は、画像取得部４０１、前景背景分離部４０２、記憶部４０３、仮想視点画像生成部４０４、電子看板情報取得部４０５、視点情報取得部４０７、および制御部４０６を有する。
画像取得部４０１は、撮像装置１０１が撮像することによって得られた撮像画像の画像データを取得する。
前景背景分離部４０２は、撮像装置の夫々の撮像画像から、選手や審判などの特定のオブジェクトを抽出する。前景背景分離部４０２は、抽出した特定のオブジェクトの画像を特定オブジェクト画像として記憶させる。
撮像画像から特定オブジェクトを抽出する方法は限定しない。例えば、特定オブジェクトの抽出方法として背景差分法がある。背景差分法は、撮像画像と撮像画像に対応する背景画像との画素値を比較して特定オブジェクトを抽出する方法である。背景画像は、特定オブジェクトが存在しない状態の撮像領域の画像である。背景画像の取得方法は、例えば、撮像領域がスタジアムである場合、特定オブジェクトが存在しない競技の開始前などの状態のスタジアムを撮像することによって得られた画像が使用される。
前景背景分離部４０２は、背景画像と特定オブジェクト画像とを、撮像装置の撮像位置（三次元位置）を示す撮像位置情報と共に記憶させる。三次元位置は、撮像空間における高さ、幅、奥行きに対応する各方向における位置によって規定される。世界座標系に対する撮像位置情報は、例えば、事前に設置したマーカ等を撮像し、マーカの三次元画像計測等を行うことにより得られる。
視点情報取得部４０７は、視点入力装置１０３から、ユーザの入力に基づき出力された伝送信号を取得する。視点情報取得部４０７は、取得した伝送信号に基づいて視点情報を生成する。視点情報とは、仮想視点の位置を示す位置情報（ｘ、ｙ、ｚ）と、仮想視点の向きを示す方向情報（ｒｘ、ｒｙ、ｒｚ）とからなる情報である。視点情報は、例えばスタジアムの中央を原点とし、ユーザ操作情報に含まれる変化量を変化前の視点情報に加算又は減算した情報である。
仮想視点画像生成部４０４は、特定オブジェクト画像に基づいて、特定オブジェクトの三次元形状データを生成する。三次元形状データの生成方法については特に限定しない。例えば、視体積交差法により三次元形状データを生成する。また、撮像空間における特定オブジェクトの位置及び大きさを特定する。仮想視点画像生成部４０４は、特定オブジェクトの位置及び大きさを反映し、仮想視点からの仮想視点画像を生成する。仮想視点画像は、特定オブジェクトの３次元形状データを用いて、設定された仮想視点から見た画像をコンピュータグラフィクスの技術を用いることで生成することができる。この生成処理には公知の技術を適宜適用すればよい。
なお、本実施形態では仮想視点画像の生成は、画像処理装置１０２における、画像取得部４０１、前景背景分離部４０２、視点情報取得部４０７、仮想視点画像生成部４０４によって行われるものとして説明する。他にも、画像取得部４０１、前景背景分離部４０２、視点情報取得部４０７、仮想視点画像生成部４０４と同様の機能が含まれる他の１つまたは複数の画像処理装置によって仮想視点画像の生成が行われてもよい。その場合、画像処理装置１０２は、他の装置から生成された仮想視点画像のデータを取得する。
仮想視点画像は、ユーザ等により指定された仮想視点の位置及び向き等に応じた仮想視点画像を表示させるものとして説明するが、予め定められた仮想視点の移動経路に従って生成された仮想視点画像でもよい。
設備管理装置１０４は、撮像装置１０１の撮像領域内に設置されている電子看板に表示させる広告の内容、広告の表示順、周期時刻、実行日、開始時刻、終了時刻、スポンサー情報など、電子看板の制御内容を示す情報（電子看板情報）を記憶している。電子看板情報取得部４０５は設備管理装置１０４から電子看板情報を取得する。
図５は、電子看板情報５００を説明するための図である。本実施形態の電子看板情報５００は、夫々の電子看板で表示させる動画等の広告コンテンツおよびその広告コンテンツの表示順等を管理するテーブルである。本実施形態の電子看板情報５００は、列５０１～５０４ごとに夫々の電子看板３１１～３１４の情報が保持されている。電子看板情報５００に保持されている電子看板の情報は、表示内容５０５、表示順５０６、周期時刻５０７、実行日５０８、開始時刻５０９、終了時刻５１０、およびスポンサー情報５１１である。
表示内容５０５は、電子看板の表示に使用する動画等の広告コンテンツのファイル名を保持している。例えば、Ａ社．ｍｐ４は、スポンサーＡ社の広告動画のファイル名である。広告動画は、例えば、企業名ロゴ、商品ロゴ、商品イメージ等を含む動画である。他にも、広告コンテンツは静止画の画像データであってもよい。
表示順５０６は、表示内容５０５に保持されている広告を表示する順番を示している。例えば、電子看板３１１ではＡ社、Ｂ社、Ｃ社、Ｄ社の順番で、広告コンテンツを表示して、この４つの広告を１ループとして表示することを示す。
周期時刻５０７は、表示順５０６に保持されている１ループの広告を表示するための所要時間を示している。例えば、列５０１における電子看板３１１の場合、周期時刻５０７は６０秒として保持されている。表示順５０６で示すとおり１ループで４つの広告コンテンツを表示する。このため、電子看板３１１では、開始時刻においてＡ社の広告が１５秒表示された後に、Ｂ社の広告が１５秒表示され、さらにその後にＣ社の広告が１５秒され、次にＤ社の広告が１５秒表示される。Ｄ社の広告が表示された後は、ループの最初に戻り、Ａ社の広告が１５秒表示されるように表示制御されることを示す。
実行日５０８は、電子看板３１１を表示する日時を示す。開始時刻５０９、終了時刻５１０は電子看板３１１を表示する開始時刻と終了時刻とを示す。例えば、電子看板３１１～３１４がスタジアムに設置されている広告表示用のディスプレイだとすると、実行日は、スタジアムにおいてサッカー等の試合等が開催される日が保持される。また、試合開示時刻が開始時刻として、試合終了時刻が終了時刻として保持されることになる。スポンサー情報５１１は、電子看板の広告のスポンサー名を保持する。
なお、電子看板情報取得部４０５が取得する電子看板の情報は、電子看板情報５００の形式に限られない。電子看板に表示されるコンテンツが変わるタイミングが導出できる情報であればよい。図４に戻り、画像処理装置１０２の機能の説明を続ける。
制御部４０６は、仮想視点画像のデータを取得し、仮想視点画像の３次元空間内において仮想コンテンツを表示する領域である仮想コンテンツ領域の位置を決定する。また、制御部４０６は、電子看板情報５００に基づき仮想広告の表示のタイミング等を制御する。例えば、制御部４０６は、電子看板３１１～３１４と同期して広告コンテンツが表示されるように仮想広告の表示を制御する。詳細は後述する。
制御部４０６は、生成した仮想視点画像の画像データと時刻情報とを表示装置１０６に出力して、表示装置１０６に仮想視点画像を表示させる制御をする。出力されるデータは、三次元形状データ情報とレンダリングに必要なテクスチャ情報であってもよいし、仮想視点が決定された仮想視点画像のデータでもよい。
上記図４の各部の機能は、画像処理装置１０２のＣＰＵがＲＯＭまたは外部記憶装置に記憶されているプログラムコードをＲＡＭに展開し実行することにより実現される。または、上記の各部の一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。
記憶部４０３は、背景画像及び特定オブジェクト画像を記憶する記憶部である。記憶部４０３には、仮想広告として表示するための画像等のコンテンツデータも記憶される。例えば、企業名ロゴ、商品ロゴ、商品イメージ等を含む画像データまたは動画データであるが、これらに限定されるものではない。
［フローチャート］
図６は、画像処理装置１０２における仮想広告の表示制御処理の一例を示すフローチャートである。図６のフローチャートで示される一連の処理は、画像処理装置１０２のＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより行われる。また、図６におけるステップの一部または全部の機能をＡＳＩＣまたは電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。
なお、本フローチャートが始まる前に、または本フローチャートの処理と並行して、画像取得部４０１、前景背景分離部４０２、および仮想視点画像生成部４０４によって仮想視点画像が生成される。
Ｓ６０１において電子看板情報取得部４０５は、撮像装置１０１の撮像領域に設置されている電子看板に表示されるコンテンツが変わるタイミングを示す情報を取得する。本実施形態では、電子看板情報取得部４０５は、電子看板情報５００を取得する。
Ｓ６０２において制御部４０６は、仮想広告が表示する仮想視点画像と、仮想視点画像の時刻情報とのそれぞれのデータを取得する。仮想視点画像の時刻情報とは、例えば、仮想視点画像の生成に用いられた撮像画像に付加された撮像時刻を示す時刻情報である。
Ｓ６０３において制御部４０６は、記憶部４０３から、仮想視点画像に仮想広告として表示させるための広告コンテンツのデータを記憶部４０３から取得する。Ｓ６０４において制御部４０６は、仮想視点画像の３次元空間において仮想広告を配置する仮想コンテンツ領域の位置を決定する。
Ｓ６０５において制御部４０６は、電子看板情報取得部４０５が取得した電子看板情報５００に基づき、電子看板に表示される広告（広告コンテンツ）が変わる時刻を導出する。制御部４０６は、仮想広告が電子看板の広告と同期して仮想コンテンツ領域に表示されるように処理を行う。
ここで、同期とは、コンテンツが変わるタイミングを電子看板と合わせるように制御すること（タイミング同期とよぶ）、または、コンテンツが変わるタイミングおよび表示するコンテンツを電子看板と合わせるように制御すること（内容同期とよぶ）、をいう。
図７は、電子看板の広告と内容同期して表示される仮想広告を説明するシーケンス図である。電子看板３１１は、図５の列５０１に示す看板情報によって表示制御される電子看板であり、電子看板３１１は、開始時刻である１８：００から、１５秒ごとにＡ社、Ｂ社、Ｃ社、Ｄ社の順番で対応する広告（広告コンテンツ）を表示する様子を示している。
仮想コンテンツ領域７０１は、電子看板３１１に表示される広告および広告の切り替えのタイミングが同じになるように、電子看板３１１と内容同期して仮想広告が表示されるように制御部４０６によって制御される仮想コンテンツ領域である。図５の電子看板情報５００に基づき電子看板３１１における広告が変わる時刻が制御部４０６によって導出され、仮想コンテンツ領域７０１では、電子看板３１１と同じ表示内容５０５、表示順５０６、周期時刻５０７で仮想広告が表示される。このため、図７に示すように、仮想コンテンツ領域７０１では、電子看板３１１で表示される広告と同じ表示順で同じスポンサーの広告が仮想広告として表示される。ただし、内容同期する場合でも、表示内容５０５に示すコンテンツとは異なる仮想広告用のコンテンツを仮想広告として表示させてもよい。
仮想コンテンツ領域７０１では、電子看板３１１の電子看板情報に基づき電子看板に内容同期して仮想広告が表示されるので、開始時刻である１８：００から１５秒ごとにＡ社、Ｂ社、Ｃ社、Ｄ社の順番でそれぞれの広告が仮想広告として表示される。このようにコンテンツが変わるタイミングが同じになるので、仮想広告が目障りとなることを抑制させることができる。
図８は、電子看板と内容同期するように仮想広告が表示された仮想視点画像を示す図である。図８の例では、それぞれの仮想コンテンツ領域からの距離が一番近い電子看板と内容同期するように仮想コンテンツ領域において仮想広告が表示されている。例えば、仮想コンテンツ領域７０１では電子看板３１１の広告と内容同期して仮想広告８０１が表示されている。このように、異なる制御によって広告が表示される電子看板３１１～３１４が複数ある場合、仮想コンテンツ領域からの距離が一番近いまたは所定の範囲内にある電子看板の広告と同期するように仮想広告が表示されるのが好ましい。このように制御されることで、仮想広告が目障りとなることを抑制させる効果を高めることができる。
なお、図８の仮想広告８０５は、選手、審判のようなオブジェクトの位置に基づいて決定された仮想コンテンツ領域に表示されている広告である。このように仮想コンテンツ領域は、例えば、視聴者に視聴されやすくするために選手、審判のオブジェクトと重ならないように決められてもよい。また、仮想広告８０５は、所定の間隔で広告が切り替わらないように制御されている、このように仮想視点画像には、電子看板と同期しないで、１つの広告を表示する仮想広告が含まれてもよい。
仮想広告を電子看板の広告と同期して表示する方法は限定しない。例えば、制御部４０６は、スポンサーのごとの広告コンテンツのデータを取得し電子看板３１１～３１４の広告と同じタイミングで切り替わるような仮想広告用のコンテンツを生成する。そして制御部４０６は、その生成したコンテンツを仮想広告として仮想コンテンツ領域に配置してもよい。制御部４０６は、電子看板３１１～３１４の広告と同じタイミングで切り替わるように生成された広告コンテンツをそれぞれ記憶部から取得して、その取得したコンテンツを仮想広告として仮想コンテンツ領域に配置してもよい。
または、制御部４０６は、複数の広告コンテンツがループするように生成されたコンテンツを取得する。そして、電子看板の広告と同じ時間間隔で広告が変わるようにそのコンテンツの開始時刻および周期時刻を設定し、設定されたコンテンツを仮想コンテンツ領域に合成することによって、仮想広告と電子看板の広告とが同期するように制御してもよい。
または、制御部４０６は、電子看板と仮想コンテンツ領域とが仮想視点の画角内にある場合は、その電子看板で表示される広告と同じスポンサーの広告コンテンツを記憶部４０３から取得する。制御部４０６は、仮想広告として表示する広告コンテンツを表示装置１０６に出力し、仮想コンテンツ領域に仮想広告を重畳させて表示されるように制御する方法でもよい。電子看板情報取得部４０５が、電子看板情報５００の代わりに同期信号を設備管理装置１０４から取得し、制御部４０６はその同期信号に基づき仮想広告の表示が電子看板と同期するように制御する方法でもよい。
前述したように、制御部４０６は、仮想広告として表示される広告が変わるタイミングが電子看板の広告が変わるタイミングと同じになるように制御するタイミング同期によって仮想広告の表示を制御してもよい。
図９の仮想広告９０１～９０４は、電子看板３１１～３１４の広告とは異なるスポンサーの広告を表示している仮想視点画像を示す図である。Ｗ社、Ｘ社、Ｙ社、Ｚ社の仮想広告９０１～９０４が表示される仮想コンテンツ領域では、電子看板３１１～３１４に表示される広告とは異なるスポンサーの広告を表示するが、電子看板とタイミング同期して仮想広告が表示されている。仮想広告と電子看板３１１～３１４に表示される広告とが違う広告であっても、仮想広告の変わるタイミングを電子看板３１１～３１４とで同じにするようにタイミング同期して制御することで、仮想広告が視聴者の目障りとなることを抑制させることができる。
Ｓ６０６において制御部４０６は、仮想広告が挿入された仮想視点画像を表示装置１０６に出力する。
以上説明したように本実施形態によれば、電子看板に基づき仮想広告の表示を制御して、電子看板と同期させて仮想広告を表示させる。このため、仮想広告のような仮想コンテンツが視聴者の目障りとなることを抑制させることができる。
なお、仮想コンテンツは仮想広告に限られない。他にも例えば、他試合の結果、選手の情報などを仮想コンテンツとして表示させてもよい。このような場合でも、表示される仮想コンテンツの切り替えのタイミングを電子看板の表示の切り替えのタイミングと同じにすることによって、仮想コンテンツの切り替わりが視聴者にとって目障りとなることを抑制させることができる。
また本実施形態では、サッカー等の試合が行われるスタジアムの仮想視点画像を例にあげて説明したが、本実施形態は他の仮想視点画像についても適用可能である。例えば、電子看板が設置されている街の仮想視点画像に仮想コンテンツを表示させる場合も、本実施形態の方法を用いて電子看板に同期させて仮想コンテンツを表示させてもよい。
また、本実施形態では仮想コンテンツが同期するコンテンツは撮像領域の電子看板に表示されるコンテンツであるものとして説明したが、他にも、撮像領域における時間に応じて表示が変わる他の表示機器等の看板と同期させるようにしてもよい。例えば、所定の時間で表示が変わるように制御されている反転フラップ式の看板の表示の切り替わるタイミングで仮想コンテンツが変わるように制御されてもよい。
＜実施形態２＞
実施形態１では、仮想広告が視聴者の視聴を妨げになることを抑制させるため、仮想広告を電子看板と同期させる方法について説明した。しかしながら、サッカーの試合におけるゴールシーンなど、広告効果をより高めたいシーンがあり、このようなシーンの仮想視点画像では仮想広告を目立つように表示させる方が好ましい。
このため本実施形態については、スタジアム等の撮像領域における音声情報に基づき、仮想広告の表示方法を切り替える方法について説明する。本実施形態では、実施形態１からの差分を中心に説明する。特に明記しない部分については実施形態１と同じ構成および処理である。
図１０は、本実施形態における画像処理装置１０２の機能構成を示すブロック図である。実施形態１と同一の処理ブロックについては同じ番号を付して説明を省略する。本実施形態の画像処理装置１０２は、音声情報取得部１００１をさらに有する。
音声情報取得部１００１は、環境音量測定装置１０５から音声情報を取得する。環境音量測定装置１０５は画像処理システムの撮像装置１０１が設置されているスタジアムの音量を測定する。環境音量測定装置１０５は一般的に使用される騒音計でよい。本実施形態の環境音量測定装置１０５は、ｄＢ単位の音量を示す音量データを音声情報として出力する装置であるものとして説明する。音声情報取得部１００１はネットワークを介して環境音量測定装置１０５から出力された音声情報を取得する。
図１１は、本実施形態の画像処理装置１０２で行われる仮想広告の表示に関する処理を説明するためのフローチャートの一例を示す図である。なお、本フローチャートが始まる前に、画像取得部４０１、前景背景分離部４０２、および仮想視点画像生成部４０４によって仮想視点画像が生成されている。または本フローの処理と並行して仮想視点画像の生成処理がされていてもよい。
Ｓ１１０１において音声情報取得部１００１は、画像処理システム１００の撮像装置１０１の撮像領域において設置されている環境音量測定装置１０５から撮像領域の音声情報を取得する。
Ｓ１１０２～Ｓ１１０５については、Ｓ６０１～Ｓ６０４と同様であるため説明を省略する。
Ｓ１１０６において制御部４０６は、環境音量測定装置１０５の音声情報と、時刻情報と、に基づき、生成された仮想視点画像の時間における音声状態が、静音状態か騒音状態かを判定する。制御部４０６は、仮想視点画像を生成するために用いられた撮像画像の撮像時刻に基づき仮想視点画像の時間（時刻）を決定する。静音状態か騒音状態かの判定方法は例えば閾値に基づき判定する。閾値は、環境音量測定装置１０５の設置場所がサッカー等の試合が行われているスタジアムである場合、音量が２０～８０ｄＢであれば静音状態であり、音量が８０ｄＢ以上であれば騒音状態と考えられる。このため、例えば、閾値を８０ｄＢと決定し、取得された音量データが示す音量が閾値未満であれば静音状態と判定し、音量データが示す音量が閾値以上であれば騒音状態と判定する。
音声情報が静音状態を示す場合（Ｓ１１０６がＹＥＳ）、Ｓ１１０７において制御部４０６は、電子看板情報取得部４０５が取得した電子看板情報５００に基づき、電子看板に表示される広告が変わる時刻を導出する。そして、制御部４０６は、仮想広告が電子看板の広告と同期して表示するための制御をする。同期の方法については、Ｓ６０５において説明した方法と同様の方法を用いればよい。
音声情報が騒音状態を示す場合（Ｓ１１０６がＮＯ）、Ｓ１１０８において制御部４０６は、仮想広告の表示タイミングを電子看板の広告の表示と同期しないように（非同期になるように）に設定する。例えば、制御部４０６は、仮想コンテンツ領域に表示される仮想広告が、電子看板の広告が切り替わるタイミングと異なるタイミングで別の仮想広告に切り替わるように制御する。
このように、本実施形態では撮像領域の音声状態が静音状態である場合、仮想広告が視聴者の視聴の妨げにならないように、制御部４０６は電子看板の広告と同期して表示するように仮想広告の設定を行う。一方、撮像領域の音声状態が騒音状態の場合、ゴールシーンなどのハイライトシーンであると考えられるため、広告効果を高めることが好ましい。このため、騒音状態の場合、電子看板の広告と仮想広告とが同期して表示されないように制御することで、仮想広告および電子看板の双方が視聴者の目を引くようにすることができる。
Ｓ１１０９において、画像処理装置１０２は、仮想広告が挿入された仮想視点画像を表示装置１０６に出力する。
なお、生成された仮想視点画像において静音状態である時間帯と騒音状態の時間帯の両方が含まれている場合は、時間帯に応じて仮想広告の設定を変更してもよい。例えば、静音状態の時間帯では、仮想広告を電子看板の広告と同期して表示するように設定して、騒音状態の時間帯では仮想広告を電子看板の広告とは同期しないで表示するように設定してもよい。
以上説明したように本実施形態によれば、撮像領域の音声状態に応じて仮想広告の表示方法を切り替えることにより、仮想視点画像が示すシーンに応じた仮想コンテンツの表示を行うことができる。
＜実施形態３＞
仮想広告を電子看板と同期させるようして変化させると、仮想広告の変化が電子看板の広告の変化よりも目立つことがある。仮想広告と電子看板の広告とのどちらか一方が目立つと、公平に広告表示することが難しくなる虞がある。よって、本実施形態では、仮想広告の照度を制御することにより、仮想広告と電子看板の広告がどちらか一方が目立つことを抑制させる方法を説明する。本実施形態では、実施形態２からの差分を中心に説明する。特に明記しない部分については実施形態２と同じ構成および処理である。
図１２は、本実施形態における画像処理装置１０２の機能構成を示すブロック図である。実施形態２と同一の処理ブロックについては同じ番号を付して説明を省略する。本実施形態の画像処理装置１０２は、照度情報取得部１２０１をさらに有する。
照度情報取得部１２０１は、電子看板の照度と仮想広告の照度とを明るさを示す情報として取得する。照度情報取得部１２０１は、他の装置によって算出された電子看板の照度と仮想広告の照度とを取得してもよいし、照度情報取得部１２０１が電子看板の照度と仮想広告の照度をそれぞれ導出してもよい。電子看板の照度の導出については、例えば、前景背景分離部４０２によって背景として分離された画像上から、電子看板の輝度を計算することによって導出する。
図１３は、本実施形態の画像処理装置１０２で行われる仮想広告の表示に関する処理を説明するためのフローチャートの一例を示す図である。なお、本フローチャートが始まる前に、画像取得部、前景背景分離部、および仮想視点画像生成部によって仮想視点画像が生成されている。または本フローの処理と並行して仮想視点画像の生成処理がされていてもよい。Ｓ１３０１～Ｓ１３０５はＳ１１０１～Ｓ１１０５と同様の処理であるため説明を省略する。
Ｓ１３０６において照度情報取得部１２０１は、仮想視点画像内の電子看板の照度を取得する。また、仮想視点画像に合成される仮想広告の照度を取得する。
Ｓ１３０７において制御部４０６は、仮想広告の照度が電子看板の照度より高いか判定する。仮想広告の照度が電子看板の照度より高い場合（Ｓ１３０７がＹＥＳ）、Ｓ１３０８において制御部４０６は、仮想広告の照度を低くするように調整する。仮想広告の照度が電子看板の照度より低い場合（Ｓ１３０７がＮＯ）、Ｓ１３０９において制御部４０６は、仮想広告の照度を高くするように調整する。
制御部４０６は、仮想広告と電子看板との照度の差の適正範囲情報を持っており、Ｓ１３０８およびＳ１３０９において、仮想広告と電子看板との照度の差の適正範囲内になるように仮想広告の照度を調整する。調整の方法として、例えば、制御部４０６は仮想広告と電子看板の画面上の輝度差がなくなる、または仮想広告と電子看板の画面上の輝度差が所定の範囲内になるように仮想広告の輝度値を調整する。
図１４は、表示装置１０６に表示される仮想広告と電子看板が含まれる仮想視点画像を示す図である。仮想広告１４０１は電子看板１４１１と、仮想広告１４０２は電子看板１４１２と、仮想広告１４０３は電子看板１４１３と、仮想広告１４０４は電子看板１４１４と、それぞれ同期をして表示されている。図１４の例では、仮想広告１４０１～１４０４が電子看板１４１１～１４１４の広告より目立たないように、仮想広告１４０１～１４０４の照度（輝度）が制御部４０６で制御された仮想視点画像を示している。
Ｓ１３１０～Ｓ１３１３については、Ｓ１１０６～Ｓ１１０９と同様であるため説明を省略する。なお、音量が静音状態でなはなく騒音状態である場合は、仮想広告の輝度値を上げて照度が上がるように制御して、仮想広告を目立たせるように制御してもよい。
なお、本実施形態では、実施形態２と同様に、音声情報取得部１００１が取得した音声情報に基づき、仮想広告を電子看板の広告に合わせて同期または非同期にして表示制御するものとして説明したが、音声情報取得部１００１がない形態でもよい。例えば、図１３のフローチャートにおいてＳ１３１０～Ｓ１３１２のステップがない形態でもよい。
以上説明したように本実施形態によれば、仮想コンテンツと電子看板に表示されるコンテンツとのどちらか一方が目立つことを抑制することができる。このため、仮想コンテンツと電子看板のコンテンツとを公平に表示させる必要がある場合でも、公平にそれぞれのコンテンツを表示させることができる。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
４０４ 仮想視点画像生成部
４０５ 電子看板情報取得部
４０６ 制御部
１０２ 画像処理装置

Claims (22)

  1. 複数の撮像装置による複数の異なる方向からの撮像によって得られた複数の撮像画像に基づいて生成された仮想視点画像を取得する第１の取得手段と、
    前記仮想視点画像に含まれる、前記撮像装置によって撮像されたコンテンツが変化するタイミングを示す情報を取得する第２の取得手段と、
    前記撮像画像に含まれていない仮想のコンテンツである仮想コンテンツが挿入された前記仮想視点画像を表示部に表示させるよう制御する制御手段と、を有し、
    前記制御手段は、前記第２の取得手段によって取得された情報に基づいて、前記仮想視点画像における前記仮想コンテンツの表示を制御し、
    前記撮像装置によって撮像されたコンテンツおよび前記仮想コンテンツとして表示されるコンテンツは、広告に関するコンテンツである
    ことを特徴とする画像処理装置。
  2. 複数の撮像装置による複数の異なる方向からの撮像によって得られた複数の撮像画像に基づいて生成された仮想視点画像を取得する第１の取得手段と、
    前記仮想視点画像に含まれる、前記撮像装置によって撮像されたコンテンツが変化するタイミングを示す情報を取得する第２の取得手段と、
    前記撮像画像に含まれていない仮想のコンテンツである仮想コンテンツが挿入された前記仮想視点画像を表示部に表示させるよう制御する制御手段と、を有し、
    前記第２の取得手段によって取得された情報には、前記撮像装置によって撮像されたコンテンツと、該コンテンツの表示順と、周期時刻と、開始時刻と、が少なくとも含まれ、
    前記制御手段は、前記第２の取得手段によって取得された情報に基づいて前記仮想視点画像における前記仮想コンテンツの表示を制御し、前記第２の取得手段によって取得された情報に基づいて前記撮像装置によって撮像されたコンテンツが変化する時刻を導出する
    ことを特徴とする画像処理装置。
  3. 複数の撮像装置による複数の異なる方向からの撮像によって得られた複数の撮像画像に基づいて生成された仮想視点画像を取得する第１の取得手段と、
    前記仮想視点画像に含まれる、前記撮像装置によって撮像された表示機器に表示されるコンテンツが変化するタイミングを示す情報を取得する第２の取得手段と、
    前記撮像画像に含まれていない仮想のコンテンツである仮想コンテンツが挿入された前記仮想視点画像を表示部に表示させるよう制御する制御手段と、を有し、
    前記第２の取得手段によって取得された情報には、前記表示機器に表示されるコンテンツの情報が含まれ、
    前記制御手段は、前記第２の取得手段によって取得された情報に基づいて、前記表示機器に表示されるコンテンツと同じ内容の前記仮想コンテンツを、前記表示機器に前記コンテンツが表示されるタイミングと同じタイミングで表示させる
    ことを特徴とする画像処理装置。
  4. 複数の撮像装置による複数の異なる方向からの撮像によって得られた複数の撮像画像に基づいて生成された仮想視点画像を取得する第１の取得手段と、
    前記仮想視点画像に含まれる、前記撮像装置によって撮像されたコンテンツが変化するタイミングを示す情報を取得する第２の取得手段と、
    前記撮像画像に含まれていない仮想のコンテンツである仮想コンテンツが挿入された前記仮想視点画像を表示部に表示させるよう制御する制御手段と、を有し、
    前記撮像装置によって撮像されたコンテンツは所定の時間間隔で変わり、
    前記制御手段は、前記第２の取得手段によって取得された情報に基づいて、前記所定の時間間隔で内容が変化する前記仮想コンテンツが表示されるように制御する
    ことを特徴とする画像処理装置。
  5. 複数の撮像装置による複数の異なる方向からの撮像によって得られた複数の撮像画像に基づいて生成された仮想視点画像を取得する第１の取得手段と、
    前記仮想視点画像に含まれる、前記撮像装置によって撮像されたコンテンツが変化するタイミングを示す情報を取得する第２の取得手段と、
    前記撮像画像に含まれていない仮想のコンテンツである仮想コンテンツが挿入された前記仮想視点画像を表示部に表示させるよう制御する制御手段と、を有し、
    前記制御手段は、前記第２の取得手段によって取得された情報に基づいて、前記仮想コンテンツが挿入される領域からの距離が所定の範囲内にある表示機器に表示されるコンテンツと同期して、前記仮想コンテンツが表示されるように制御する
    ことを特徴とする画像処理装置。
  6. 複数の撮像装置による複数の異なる方向からの撮像によって得られた複数の撮像画像に基づいて生成された仮想視点画像を取得する第１の取得手段と、
    前記仮想視点画像に含まれる、前記撮像装置によって撮像されたコンテンツが変化するタイミングを示す情報を取得する第２の取得手段と、
    前記撮像画像に含まれていない仮想のコンテンツである仮想コンテンツが挿入された前記仮想視点画像を表示部に表示させるよう制御する制御手段と、
    前記複数の撮像装置による撮像領域における音量を含む音量データを取得する第３の取得手段と、を有し、
    前記制御手段は、前記第２の取得手段によって取得された情報に基づいて、前記仮想視点画像が生成されるために用いられる撮像画像が撮像された時間における前記音量が閾値より小さい場合は前記撮像装置によって撮像されたコンテンツと同期して前記仮想コンテンツが表示されるように制御する
    ことを特徴とする画像処理装置。
  7. 前記制御手段は、前記仮想視点画像が生成されるために用いられる撮像画像が撮像された時間における前記音量が前記閾値以上の場合、前記撮像装置によって撮像されたコンテンツと同期しないで前記仮想コンテンツが表示されるように制御する
    ことを特徴とする請求項６に記載の画像処理装置。
  8. 前記制御手段は、前記撮像装置によって撮像されたコンテンツと同期して前記仮想コンテンツが表示されるように制御する
    ことを特徴とする請求項１または２に記載の画像処理装置。
  9. 前記制御手段は、前記撮像装置によって撮像されたコンテンツが変化するタイミングと同じタイミングで内容が変化する前記仮想コンテンツを表示させる
    ことを特徴とする請求項８に記載の画像処理装置。
  10. 前記制御手段は、
    前記第２の取得手段によって取得された情報に基づき、前記撮像装置によって撮像されたコンテンツと同期する前記仮想コンテンツを生成し、前記仮想視点画像の所定の領域に生成された前記仮想コンテンツを配置する
    ことを特徴とする請求項３から９のいずれか１項に記載の画像処理装置。
  11. 前記仮想コンテンツは、前記撮像装置によって撮像されたコンテンツと異なる
    ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
  12. 前記仮想視点画像における前記撮像装置によって撮像されたコンテンツの照度を取得する第４の取得手段をさらに有し、
    前記制御手段は、前記コンテンツの照度に基づき、前記仮想コンテンツの明るさを制御する
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
  13. 前記制御手段は、前記仮想視点画像における前記撮像装置によって撮像されたコンテンツの輝度と、前記仮想コンテンツの輝度との差が所定の範囲内になるように、前記仮想コンテンツの輝度を調整する
    ことを特徴とする請求項１２に記載の画像処理装置。
  14. 前記仮想視点画像の仮想視点の視点情報を取得する第５の取得手段と、
    前記視点情報に応じて、前記仮想コンテンツが挿入される領域を決定する決定手段と、をさらに有する
    ことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
  15. 前記制御手段は、前記仮想視点画像の所定の領域に、前記制御手段によって制御される前記仮想コンテンツが表示される前記仮想視点画像のデータを、表示部に出力する
    ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
  16. 複数の撮像装置による複数の異なる方向からの撮像によって得られた複数の撮像画像に基づいて生成された仮想視点画像を取得する第１の取得ステップと、
    前記仮想視点画像に含まれる、前記撮像装置によって撮像されたコンテンツが変化するタイミングを示す情報を取得する第２の取得ステップと、
    前記撮像画像に含まれていない仮想のコンテンツである仮想コンテンツが挿入された前記仮想視点画像を表示部に表示させるよう制御する制御ステップと、を有し、
    前記制御ステップでは、前記第２の取得ステップによって取得された情報に基づいて、前記仮想視点画像における前記仮想コンテンツの表示を制御し、
    前記撮像装置によって撮像されたコンテンツおよび前記仮想コンテンツとして表示されるコンテンツは、広告に関するコンテンツである
    ことを特徴とする画像処理方法。
  17. 複数の撮像装置による複数の異なる方向からの撮像によって得られた複数の撮像画像に基づいて生成された仮想視点画像を取得する第１の取得ステップと、
    前記仮想視点画像に含まれる、前記撮像装置によって撮像されたコンテンツが変化するタイミングを示す情報を取得する第２の取得ステップと、
    前記撮像画像に含まれていない仮想のコンテンツである仮想コンテンツが挿入された前記仮想視点画像を表示部に表示させるよう制御する制御ステップと、を有し、
    前記第２の取得ステップによって取得された情報には、前記撮像装置によって撮像されたコンテンツと、該コンテンツの表示順と、周期時刻と、開始時刻と、が少なくとも含まれ、
    前記制御ステップでは、前記第２の取得ステップによって取得された情報に基づいて前記仮想視点画像における前記仮想コンテンツの表示を制御し、前記第２の取得ステップによって取得された情報に基づいて前記撮像装置によって撮像されたコンテンツが変化する時刻を導出する
    ことを特徴とする画像処理方法。
  18. 複数の撮像装置による複数の異なる方向からの撮像によって得られた複数の撮像画像に基づいて生成された仮想視点画像を取得する第１の取得ステップと、
    前記仮想視点画像に含まれる、前記撮像装置によって撮像された表示機器に表示されるコンテンツが変化するタイミングを示す情報を取得する第２の取得ステップと、
    前記撮像画像に含まれていない仮想のコンテンツである仮想コンテンツが挿入された前記仮想視点画像を表示部に表示させるよう制御する制御ステップと、を有し、
    前記第２の取得ステップによって取得された情報には、前記表示機器に表示されるコンテンツの情報が含まれ、
    前記制御ステップでは、前記第２の取得ステップによって取得された情報に基づいて、前記表示機器に表示されるコンテンツと同じ内容の前記仮想コンテンツを、前記表示機器に前記コンテンツが表示されるタイミングと同じタイミングで表示させる
    ことを特徴とする画像処理方法。
  19. 複数の撮像装置による複数の異なる方向からの撮像によって得られた複数の撮像画像に基づいて生成された仮想視点画像を取得する第１の取得ステップと、
    前記仮想視点画像に含まれる、前記撮像装置によって撮像されたコンテンツが変化するタイミングを示す情報を取得する第２の取得ステップと、
    前記撮像画像に含まれていない仮想のコンテンツである仮想コンテンツが挿入された前記仮想視点画像を表示部に表示させるよう制御する制御ステップと、を有し、
    前記撮像装置によって撮像されたコンテンツは所定の時間間隔で変わり、
    前記制御ステップでは、前記第２の取得ステップによって取得された情報に基づいて、前記所定の時間間隔で内容が変化する前記仮想コンテンツが表示されるように制御する
    ことを特徴とする画像処理方法。
  20. 複数の撮像装置による複数の異なる方向からの撮像によって得られた複数の撮像画像に基づいて生成された仮想視点画像を取得する第１の取得ステップと、
    前記仮想視点画像に含まれる、前記撮像装置によって撮像されたコンテンツが変化するタイミングを示す情報を取得する第２の取得ステップと、
    前記撮像画像に含まれていない仮想のコンテンツである仮想コンテンツが挿入された前記仮想視点画像を表示部に表示させるよう制御する制御ステップと、を有し、
    前記制御ステップでは、前記第２の取得ステップによって取得された情報に基づいて、前記仮想コンテンツが挿入される領域からの距離が所定の範囲内にある表示機器に表示されるコンテンツと同期して、前記仮想コンテンツが表示されるように制御する
    ことを特徴とする画像処理方法。
  21. 複数の撮像装置による複数の異なる方向からの撮像によって得られた複数の撮像画像に基づいて生成された仮想視点画像を取得する第１の取得ステップと、
    前記仮想視点画像に含まれる、前記撮像装置によって撮像されたコンテンツが変化するタイミングを示す情報を取得する第２の取得ステップと、
    前記撮像画像に含まれていない仮想のコンテンツである仮想コンテンツが挿入された前記仮想視点画像を表示部に表示させるよう制御する制御ステップと、
    前記複数の撮像装置による撮像領域における音量を含む音量データを取得する第３の取得ステップと、を有し、
    前記制御ステップでは、前記第２の取得ステップによって取得された情報に基づいて、前記仮想視点画像が生成されるために用いられる撮像画像が撮像された時間における前記音量が閾値より小さい場合は前記撮像装置によって撮像されたコンテンツと同期して前記仮想コンテンツが表示されるように制御する
    ことを特徴とする画像処理方法。
  22. コンピュータを、請求項１から１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2019200857A 2019-11-05 2019-11-05 画像処理装置、画像処理方法、及びプログラム Active JP7467074B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019200857A JP7467074B2 (ja) 2019-11-05 2019-11-05 画像処理装置、画像処理方法、及びプログラム
US17/081,024 US11563928B2 (en) 2019-11-05 2020-10-27 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019200857A JP7467074B2 (ja) 2019-11-05 2019-11-05 画像処理装置、画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2021076923A JP2021076923A (ja) 2021-05-20
JP2021076923A5 JP2021076923A5 (ja) 2022-11-10
JP7467074B2 true JP7467074B2 (ja) 2024-04-15

Family

ID=75688140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019200857A Active JP7467074B2 (ja) 2019-11-05 2019-11-05 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US11563928B2 (ja)
JP (1) JP7467074B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022090786A (ja) * 2020-12-08 2022-06-20 キヤノン株式会社 情報処理装置、画像生成装置、画像処理システム、情報処理方法、画像生成方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006211531A (ja) 2005-01-31 2006-08-10 Advanced Telecommunication Research Institute International 映像生成装置、及びプログラム
JP2018049591A (ja) 2016-09-14 2018-03-29 キヤノン株式会社 画像処理装置、画像生成方法及びプログラム
JP2018180655A (ja) 2017-04-04 2018-11-15 キヤノン株式会社 画像処理装置、画像生成方法及びプログラム
WO2019181153A1 (ja) 2018-03-20 2019-09-26 ソニー株式会社 情報処理装置、情報処理方法および記録媒体

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010017671A1 (en) * 1998-12-18 2001-08-30 Pierre Pleven "Midlink" virtual insertion system and methods
IL150828A0 (en) * 2000-01-21 2003-02-12 Sorceron Inc System and method for delivering rich media content over a network
EP1194198B1 (en) * 2000-03-21 2005-07-20 Sony Computer Entertainment Inc. Entertainment apparatus, storage medium, and method of deciding weather
JP3406965B2 (ja) * 2000-11-24 2003-05-19 キヤノン株式会社 複合現実感提示装置及びその制御方法
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
KR100922029B1 (ko) * 2001-12-28 2009-10-19 소니 가부시끼 가이샤 표시 장치 및 제어 방법
JP4316334B2 (ja) * 2003-09-25 2009-08-19 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及びゲーム装置
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
ITTO20031055A1 (it) * 2003-12-30 2005-06-30 Fiat Ricerche Sistema per l'assistenza remota di un operatore in una fase di lavoro.
JP3868450B2 (ja) * 2005-01-31 2007-01-17 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
ES2790885T3 (es) * 2005-03-29 2020-10-29 Sportvu Ltd Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos
JP5230114B2 (ja) * 2007-03-13 2013-07-10 キヤノン株式会社 情報処理装置、情報処理方法
US8136133B2 (en) * 2007-11-13 2012-03-13 Walker Digital, Llc Methods and systems for broadcasting modified live media
US9769544B1 (en) * 2007-12-10 2017-09-19 Google Inc. Presenting content with video content based on time
US8797348B2 (en) * 2008-11-25 2014-08-05 Sony Corporation Image display apparatus, image display method, and information storage medium
JP2013097678A (ja) 2011-11-02 2013-05-20 Canon Inc 配信システム及びその管理方法
JP5813030B2 (ja) * 2013-03-22 2015-11-17 キヤノン株式会社 複合現実提示システム、仮想現実提示システム
JP6173123B2 (ja) 2013-08-23 2017-08-02 キヤノン株式会社 ネットワークシステム、配信システム、制御方法、及びプログラム
US10231033B1 (en) * 2014-09-30 2019-03-12 Apple Inc. Synchronizing out-of-band content with a media stream
US9990028B2 (en) * 2014-10-03 2018-06-05 Verizon Patent And Licensing Inc. System and method for providing live augmented reality content
EP3208719A4 (en) * 2014-10-16 2018-03-28 Sony Corporation Information processing device, system, and information processing method
US10286308B2 (en) * 2014-11-10 2019-05-14 Valve Corporation Controller visualization in virtual and augmented reality environments
WO2016194441A1 (ja) 2015-06-02 2016-12-08 株式会社電通 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ
US9659570B2 (en) * 2015-10-08 2017-05-23 International Business Machines Corporation Audiovisual information processing in videoconferencing
EP3252690A1 (en) * 2016-06-02 2017-12-06 Nokia Technologies Oy Apparatus and associated methods
EP3553628A4 (en) * 2016-12-08 2019-11-27 Sony Corporation DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD, AND PROGRAM
JP6482580B2 (ja) * 2017-02-10 2019-03-13 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US10322339B2 (en) * 2017-05-04 2019-06-18 Inspired Gaming (Uk) Limited Generation of variations in computer graphics from intermediate formats of limited variability, including generation of different game appearances
US10096169B1 (en) * 2017-05-17 2018-10-09 Samuel Chenillo System for the augmented assessment of virtual insertion opportunities
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
WO2019082797A1 (ja) * 2017-10-23 2019-05-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再構成方法および再構成装置
WO2019121864A1 (en) * 2017-12-19 2019-06-27 Koninklijke Kpn N.V. Enhanced audiovisual multiuser communication
US10699488B1 (en) * 2018-09-07 2020-06-30 Facebook Technologies, Llc System and method for generating realistic augmented reality content
US11501658B2 (en) * 2018-11-28 2022-11-15 Purdue Research Foundation Augmented reality platform for collaborative classrooms
US11321768B2 (en) * 2018-12-21 2022-05-03 Shopify Inc. Methods and systems for an e-commerce platform with augmented reality application for display of virtual objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006211531A (ja) 2005-01-31 2006-08-10 Advanced Telecommunication Research Institute International 映像生成装置、及びプログラム
JP2018049591A (ja) 2016-09-14 2018-03-29 キヤノン株式会社 画像処理装置、画像生成方法及びプログラム
JP2018180655A (ja) 2017-04-04 2018-11-15 キヤノン株式会社 画像処理装置、画像生成方法及びプログラム
WO2019181153A1 (ja) 2018-03-20 2019-09-26 ソニー株式会社 情報処理装置、情報処理方法および記録媒体

Also Published As

Publication number Publication date
US20210136344A1 (en) 2021-05-06
JP2021076923A (ja) 2021-05-20
US11563928B2 (en) 2023-01-24

Similar Documents

Publication Publication Date Title
JP6950013B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP2806404B1 (en) Image conversion for signage
CN113891060B (zh) 自由视点视频重建方法及播放处理方法、设备及存储介质
WO2018051747A1 (ja) 画像処理装置、画像生成方法及びプログラム
JP7476375B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11941729B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
JP7467074B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR102195053B1 (ko) 증강 이미지를 생성하기 위한 텔레비전 방송 시스템
JP7296735B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7182915B2 (ja) 画像生成装置、画像生成方法、及びプログラム
JP7271095B2 (ja) 画像生成装置、画像生成方法、及びプログラム
JP2000270261A (ja) 撮像装置及び画像合成方法並びに記録媒体
CN108280882B (zh) 一种在虚拟显示空间植入ar前景物品位置的方法及***
US20240244174A1 (en) Image processing apparatus, image processing method, and storage medium
US11943560B2 (en) Information processing apparatus, image generation apparatus, information processing method, image generation method, and storage medium for generating virtual viewpoint images with additional information
EP4295930A1 (en) Image processing system, image processing method, and computer program
Sampaio et al. Detection of imperceptible on-screen markers with unsynchronized cameras
JP2024101180A (ja) 画像処理装置、画像処理方法、およびプログラム
Andiel et al. Position-and velocity-depending subpixel correction for spatially multiplexed autostereoscopic displays

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221101

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403

R150 Certificate of patent or registration of utility model

Ref document number: 7467074

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150