JP7447417B2 - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP7447417B2 JP7447417B2 JP2019177627A JP2019177627A JP7447417B2 JP 7447417 B2 JP7447417 B2 JP 7447417B2 JP 2019177627 A JP2019177627 A JP 2019177627A JP 2019177627 A JP2019177627 A JP 2019177627A JP 7447417 B2 JP7447417 B2 JP 7447417B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- extracted
- moving object
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 234
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000605 extraction Methods 0.000 claims description 283
- 239000002131 composite material Substances 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 60
- 230000015572 biosynthetic process Effects 0.000 claims description 31
- 238000003786 synthesis reaction Methods 0.000 claims description 31
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 description 30
- 238000005516 engineering process Methods 0.000 description 26
- 238000002834 transmittance Methods 0.000 description 19
- 238000012790 confirmation Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 241001310793 Podium Species 0.000 description 14
- 239000000284 extract Substances 0.000 description 13
- 238000002360 preparation method Methods 0.000 description 11
- 230000006854 communication Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000001788 irregular Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- RRLHMJHRFMHVNM-BQVXCWBNSA-N [(2s,3r,6r)-6-[5-[5-hydroxy-3-(4-hydroxyphenyl)-4-oxochromen-7-yl]oxypentoxy]-2-methyl-3,6-dihydro-2h-pyran-3-yl] acetate Chemical compound C1=C[C@@H](OC(C)=O)[C@H](C)O[C@H]1OCCCCCOC1=CC(O)=C2C(=O)C(C=3C=CC(O)=CC=3)=COC2=C1 RRLHMJHRFMHVNM-BQVXCWBNSA-N 0.000 description 2
- 210000004899 c-terminal region Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
例えば下記特許文献1には被写体抽出や背景画像との合成処理に関する技術が開示されている。
ところが、例えば演者の背後に存在する例えば窓ガラスに、反射により何らかの動体の像が映り込んだ場合や、カーテンが揺れてしまった場合などは、その撮像された画像からは、その像やカーテンが動体として抽出されてしまう。すると合成画像にそれらの不要な動体も合成されることになり、所望の画像を作成することができない。
そこで本開示では、より簡易な処理で、不要な動体が合成する画像として抽出されないようにする技術を提案する。
動体抽出対象画像とは、動体抽出の処理を行う対象の画像データのことである。例えばカメラにより撮像されて入力される画像を動体抽出対象画像とする。この画像について、動体検出を行い、人物などの動体と判定した被写体の画像を抽出する。その動体の抽出画像を、他の画像と合成する。この場合に動体抽出対象画像において、合成に用いる動体画像としての画像の抽出を行わないマスクエリアの設定を可能とする。
例えばカメラにより撮像されて入力される画像について、動体であるか否かに関わらず合成画像に加えたいものがある場合がある。例えばそのような物体が画像上で存在するエリアを絶対抽出エリアとして設定し、被写体の画像が動体に関わらず合成処理の対象として抽出されるようにする。
例えば動体抽出対象画像や他の画像を表示させた画面上で、ユーザが操作によりマスクエリアの位置を決めたり、マスクエリアの形状やサイズを決めたりすることができるようにする。
例えば合成画像をプレビュー表示させた画面上で、ユーザが操作によりマスクエリアの位置を決めたり、マスクエリアの形状やサイズを決めたりすることができるようにする。
例えば動体抽出対象画像や他の画像を表示させた画面上で、ユーザが操作により絶対抽出エリアの位置を決めたり、絶対抽出エリアの形状やサイズを決めたりすることができるようにする。
例えば合成画像をプレビュー表示させた画面上で、ユーザが操作により絶対抽出エリアの位置を決めたり、絶対抽出エリアの形状やサイズを決めたりすることができるようにする。
マスクエリアを設定するために表示する合成画像において、例えば他の画像に対し、動体抽出対象画像の合成比率をユーザの操作に応じて可変できるようにする。例えば動体抽出対象画像がはっきり現れたり、薄く現れたり、或いは見えなくなったりする表示状態が可変できるようにする。
もちろん絶対抽出エリアを設定するために表示する合成画像においても、同様に合成比率を可変できるようにしてもよい。
画面上で例えば枠表示や半透明の領域の表示などとして、マスクエリアや絶対抽出エリアの範囲を提示する。このときに各エリアを表す表示の表示態様が異なるようにする。例えば枠の範囲の色、枠線の種別(実線、破線、波線、二重線、太線、細線など)、領域の色、輝度、透明度などが異なるようにする。
例えば画面上でマスクエリアと絶対抽出エリアを、マスク枠や絶対抽出枠により表示させて任意に設定可能とするが、操作により重複が生じる場合は、その操作を制限する。
即ち動体抽出対象画像と合成する他の画像として、例えば背景画像などを選択する環境を提供する。
例えば合成画像としての画像データを出力しつつ、別系統の出力として左右反転させた画像を出力する。
例えば合成画像としての画像データを出力しつつ、別系統の出力として抽出画像を出力する。
ユーザが、画像処理装置に左右反転させた画像の出力を実行させるか否かを選択できるようにする。
ユーザが、画像処理装置に動体抽出部で生成された抽出画像のみの画像の出力を実行させるか否かを選択できるようにする。
即ちカメラによる撮像画像について、動体抽出を行い、動体を合成画像に反映させる。
即ち背景画像を用意し、動体抽出対象画像と合成するようにする。
他の入力系統として、例えば演者の説明に用いるような他の画像を合成可能とする。
即ちロゴ画像を用意し、動体抽出対象画像と合成するようにする。
これによりマスクエリアにおける動体が合成のための抽出対象から除外される。
本技術に係るプログラムは、このような画像処理方法を画像処理装置に実行させるプログラムである。例えば画像処理装置に内蔵される制御部としての演算処理装置に実行させる。これにより本技術の処理を各種の画像処理装置で実行可能とする。
<1.合成画像の説明>
<2.画像処理装置の構成>
<3.設定処理及びUI>
<4.合成処理及びUI>
<5.物体認識を行う場合の処理例>
<6.まとめ及び変形例>
図1は本開示の技術により制作される合成画像の例を示している。
この合成画像は、基本的には或る画像を背景として設定したうえで、例えばカメラにより撮像している演者62の画像を合成したものである。
これにより、あたかも演者62が、背景により設定した場所において、スクリーンエリア61に映し出される画像(スクリーン画像)を用いながら、プレゼンテーションを行うような合成画像が形成される。
また画像内には、ロゴ65の画像が合成されて表示される。
この例では、合成画像はトップレイヤーL1、セカンドレイヤーL2、サードレイヤーL3、ボトムレイヤーL4の4つのレイヤー構成となる。
なお、本技術による合成画像は必ずしも4つのレイヤー構成としなくてもよく、合成画像は最低2つのレイヤーで構成されれば良い。もちろん3つのレイヤー構成や、5以上のレイヤーを有するレイヤー構成とされてもよい。
カメラ画像に対する動体抽出処理により抽出された画像については「抽出画像vE」と表記して抽出処理前のカメラ画像と区別する。
スクリーンエリア61に表示される画像を「スクリーン画像」と呼ぶ。
スクリーン画像は動画でも良いし、静止画でもよいし、疑似動画やスライドショウのような画像でもよい。
スクリーン画像の内容は、例えば合成画像として作成する動画コンテンツの目的にあわせたものでよく、プレゼンテーション用の画像、講義用の画像、商品説明画像、各種説明用の画像などが想定されるが、特に内容が限定されるものではない。
背景画像は静止画が想定されるが、動画、疑似動画などでもよい。
以上のような合成画像を制作するための、本実施の形態の画像処理装置1の構成を図3に示す。図3では画像処理装置1とともに、接続される周辺機器の例も示している。
なお本開示では、「動体抽出対象画像」とは、画像処理装置1で動体の検出及びその画像の抽出が行われる画像データを示す用語としている。本例の場合、カメラ11から供給された撮像画像(セカンドレイヤーL2に用いられる画像)が動体抽出対象画像とされる例とするが、もちろんこれに限らない。
以下では説明上の一例として、スクリーンエリア61に表示されるスクリーン画像としての画像データがPC12から供給されるものとする。
入力端子6-1から入力端子6-nまでの各入力端子6にどのような機器を接続するかは任意であり、図3の接続例は一例に過ぎない。各入力端子6には、合成画像に用いる画像が入力されるように画像ソースとなる機器が接続されればよい。
この出力端子7-1は、例えば合成結果を画像コンテンツとして使うためのマスター出力(いわゆる本線画像)として、モニター/レコーダー14に供給するために用いる例としている。出力端子7-1から出力される合成画像の画像データは、モニターレコーダー14で画像コンテンツとして表示されたり、記録媒体に記録されたりする。
GPU3は、GPGPU(General-purpose computing on graphics processing units)として使用されることで高速な画像処理を実現する。
RAM5には、画像抽出や合成処理などの画像処理結果が一時的に保存される。
この場合、画像処理装置1の操作はネットワーク経由で行い、画像処理装置1がWebサーバーとなり、操作者は操作用PC17を用いて、操作用のWebページにアクセスし、当該操作用Webページ上で操作を行うことができるようにされる。このために画像処理装置1はネットワーク通信部8を介して操作用PC17とネットワーク接続を行い、tcp/ipで通信する。
画像処理装置1のコントロールとしてWebページをユーザインタフェースとして使用するため、httpsサーバーが動作している。操作用PC17のブラウザからはcgiにより機器と通信を行い、cgiコマンドを解釈して画像処理プログラムに対して指示を行う。
画像合成プログラムは、準備状態と、実行状態の二つの状態を持ち、準備状態で合成するための各種設定を行い、実行状態では入力映像との合成を行い出力端子7に合成結果の画像を出力する。
実現される処理機能としては、動体抽出部20、画像合成部21、設定部22、ユーザインタフェース制御部31がある。なお、以下「ユーザインタフェース」の用語は「UI」と表記する。
動体抽出部20は、動体抽出対象画像について、画像抽出を行わないエリアとして設定されたマスクエリア以外から動体の画像の抽出を行う。また動体抽出部20は、合成に用いる画像が抽出されるエリアとして設定された絶対抽出エリアの画像を、動体であるか否かにかかわらず抽出する。これらに基づいて動体抽出部20は抽出画像vEを生成し、合成処理に用いる画像として画像合成部21に供給する。
この動体抽出部20は、入力端子6-1に入力されるカメラ画像としての画像データを取り込み、これを動体抽出対象画像とする。そしてカメラ画像の中で動体及び絶対抽出エリアの画像を抽出し、抽出画像vEとして出力する。
例えば入力端子6-2により入力された画像や、フラッシュROM4から読み出した画像としての、スクリーン画像、背景画像、ロゴ画像を、セカンドレイヤー画像vL2とする抽出画像vEと合成する。
そして画像合成部21は、生成した合成画像などを、例えば出力画像vOUT1、vOUT2、vOUTmなどとして、各出力端子7-1,7-2,7-mから出力する。即ち複数系統の画像データを出力することができる。
出力画像vOUT1、vOUT2、vOUTmのそれぞれは、合成画像とされたり、プレビュー用の画像であったり、後述する左右反転画像であったりする。また抽出画像vE等、画像合成部21に入力される画像をそのまま出力画像とする場合もある。
設定情報とは、例えばマスクエリアや絶対抽出エリアの設定情報、背景画像の選択情報、スクリーンエリア61の設定、ロゴ画像の選択情報などである。
以上の構成の画像処理装置1によって実現される動作を説明する。以下説明する処理は、図3の画像処理装置1が図4の機能を備えることで実行される。
まず図5,図6,図7で設定処理に関して述べる。設定処理とは、上述の準備状態で行われる処理である。
主な処理内容は次のようになる。
a) 背景映像の選択
b) スクリーンエリア61の設定
c) マスクエリアの設定
d) 絶対抽出エリアの設定
e) ロゴ画像の選択と配置位置と大きさの設定
特に本実施の形態では、上記c)のマスクエリアの設定と、上記d)の絶対抽出エリアの設定とが可能とされるとともに、設定時にこれらの位置、形状、サイズを、カメラ画像と比較しながら調整できる。
設定画面50には、入力表示部51、背景選択部52、エリア設定説明部53、透過率調整バー54、プレビューエリア55、マスクエリアチェックボックス56、絶対表示エリアチェックボックス57、保存ボタン58、スクリーンエリアチェックボックス59、ロゴ選択部60が用意されている。
なお、このような設定画面はあくまでも一例であり、操作のための表示内容などはこの例に限定されるものではない。
ロゴ選択部60も同様に例えばプルダウンメニュー形式とされ、プルダウンメニューからロゴ画像名を選択することで、ロゴ画像を選択できるようにされる。
スクリーンエリア61に表示される画像が、入力表示部51において例えば入力2として提示される。例えばPC12から供給される画像データがHDMI画像データとされ、それがスクリーン画像となる。
マスクエリアは、合成に用いる動体画像が抽出されないエリアである。つまりマスクエリアの被写体画像は動体であっても抽出画像vEに含まれないものとなる。
例えばカメラ画像について動体抽出方式で合成対象を抽出する場合、窓の反射やカーテンの揺れなどにより意図しない物体が抽出されたりすることがある。これを防ぐため、あらかじめ動体抽出しないマスクエリアを指定することで、不要な物体が抽出されてしまうことを回避する。
このマスクエリアはユーザが任意に設定できる。本例の場合、プレビューエリア55の画面上でユーザがマスクエリアの位置、サイズ、形状を任意に設定できるようにしている。
この絶対抽出エリアもユーザが任意に設定できる。本例の場合、マスクエリアと同様に、プレビューエリア55の画面上でユーザが絶対抽出エリアの位置、サイズ、形状を任意に設定できるようにしている。
ユーザがチェックボックスにチェックを入れると、対応するマスクエリア又は絶対抽出エリアがプレビューエリア55に出現する。この例の場合、最大4つのマスクエリアと最大4つの絶対抽出エリアが設定可能とされる。
ユーザによる背景画像設定の操作を検知すると、画像処理装置1は処理を図5のステップS101からステップS110に進め、ボトムレイヤー画像vL4として用いる背景画像の設定を行う。そしてステップS170で背景設定に応じたプレビュー画像をプレビューエリア55に表示させる制御を実行する。
図8には、ユーザが「スタジオ」を選択した状態を示しており、また図9にはユーザが「教室」を選択した状態を示している。これらのように画像処理装置1はユーザの選択操作に応じてステップS110で背景画像設定を行い、ステップS170でプレビューエリア55に表示されるようにする。ユーザは背景画像を確認しながら所望の背景画像をボトムレイヤー画像vL4として選択できることになる。
スクリーンエリア61に関する操作に応じて、画像処理装置1は図5のステップS102からステップS120に進み、サードレイヤー合成を行うエリア、即ちスクリーンエリア61の位置・サイズの設定処理を行う。そして画像処理装置1は設定に基づいて、ステップS170でスクリーンエリア61を含むプレビュー画像を生成し、プレビューエリア55に表示させる。
例えばスクリーンエリアチェックボックス59のチェック操作を検知した場合、画像処理装置1はステップS120で、スクリーンエリア61を、例えば初期位置として予め決められた位置やサイズにより設定し、ステップS170で、プレビューエリア55に、そのスクリーンエリア61を表示させる処理を行う。
図10には、例えば先に選択した背景画像(教室)に重なるようにスクリーンエリア61が表示された状態を示している。
なお、スクリーンエリア61については、上述の背景設定の際に、予め設定された位置やサイズで設定し、表示させるようにしてもよい。
これによりユーザは任意の位置やサイズなどでスクリーンエリア61を設定できる。
カーテン64は動いていないため、動体抽出処理では、通常は抽出されない。しかし、風が吹くなどによりカーテン64が動いてしまい、その期間、カーテン64が動体として抽出され、抽出画像vEに含まれてしまうことがある。つまりあるフレーム期間のみ、合成画像にカーテン64が表れてしまうような場合が生ずる。
そのようなカーテン64の範囲にマスクエリアを設定する。するとカーテン64が動いたとしても、マスクエリア内であるので、動体抽出処理の対象外となり、カーテン64は抽出されず、合成画像に表れないようになる。
まずユーザは、マスクエリアの設定を行うためには、マスクエリアチェックボックス56のチェックにより、プレビューエリア55にマスクエリアを示すマスク枠70を出現させる操作を行う。
マスクエリアチェックボックス56のチェック操作が行われて図5のステップS130に進んだ場合、画像処理装置1は図6のステップS131からステップS134に進み、有効とされるマスクエリアを例えば初期の設定状態で追加する。そして図5のステップS170でそのマスクエリアをマスク枠70により表示させる。
図12は、方形の実線として、4つのマスク枠70を示している。各マスク枠70は、それぞれ初期の設定状態(位置、サイズ、形状)で有効化されたマスクエリアを示すものとされる。
ユーザは、マスクエリアチェックボックス56のチェックのオン/オフにより、0個から4個のうちで任意の数のマスク枠70を表示させることができる。
また、マスク枠70内のクリックやダブルクリック、或いはピンチイン/アウト等の操作でサイズが拡大/縮小されるようにしてもよい。またマスク枠70の内側を指定したドラッグにより、位置を移動させることができるようにしてもよい。
また、タッチパネル画面上をなぞるような操作により、形状を四角形から三角形、円、楕円形、多角形、不定形などに変化させるようにしてもよい。
なお、ステップS136で画像処理装置1は、マスクエリアの位置、サイズ、形状の設定変更は、操作に無制限に応じるものではなく、絶対抽出エリアとの重複がない範囲で変更が生じるように操作を制限する。これについては絶対抽出エリアの説明の後に述べる。
図15は、プレビューエリア55にカメラ画像を表示させた状態で、マスク枠70で示すように、カーテン64の周囲に1つのマスクエリアを設定した例を示している。
まずユーザは、絶対抽出エリアの設定を行うためには、絶対抽出エリアチェックボックス57のチェックにより、プレビューエリア55に絶対抽出エリアを示す絶対抽出枠71を出現させる操作を行う。
絶対抽出エリアチェックボックス57のチェック操作が行われて図5のステップS140に進んだ場合、画像処理装置1は図7のステップS141からステップS144に進み、有効とされる絶対抽出エリアを例えば初期の設定状態で追加する。そして図5のステップS170でその絶対抽出エリアを絶対抽出枠71により表示させる。
図12では、方形の破線として、4つの絶対抽出枠71を示している。各絶対抽出枠71は、それぞれ初期の設定状態(位置、サイズ、形状)で有効化された絶対抽出エリアを示すものとされる。
このように枠線の種類の違いでもよいし、枠の線の色の違いでもよい。また枠としての表示ではなく、例えば半透明の領域として、マスクエリアは青色の半透明領域、絶対抽出エリアは紫色の半透明領域などとして表示されるようにしてもよい。いずれにしても、表示上で、ユーザがマスクエリアと絶対抽出エリアを見分けられるようにする。
ユーザは、絶対抽出エリアチェックボックス57のチェックのオン/オフにより、0個から4個のうちで任意の数の絶対抽出枠71を表示させることができる。
また、絶対抽出枠71内のクリックやダブルクリック、或いはピンチイン/アウト等の操作でサイズが拡大/縮小されるようにしてもよい。また絶対抽出枠71の内側を指定したドラッグにより、位置を移動させることができるようにしてもよい。
また、タッチパネル画面上をなぞるような操作により、形状を四角形から三角形、円、楕円形、多角形、不定形などに変化させるようにしてもよい。
図15は、プレビューエリア55にカメラ画像を表示させた状態で、絶対抽出枠71で示すように、演台63の周囲に1つの絶対抽出エリアを設定した例を示している。
上述の図6のステップS136でも操作を制限すると述べたが、合わせて説明する。
同様に、例えばユーザが或る絶対抽出エリアを移動させる操作を行った場合に、その絶対抽出エリアの一部が或るマスクエリアに重なる場合は、その重なる直前までしか、絶対抽出エリアを移動できないようにする。例えばユーザから見れば、絶対抽出枠71を、マスク枠70にぶつかった以降は、重なる方向へは移動ができなくなるように表示する。
形状やサイズの変更の場合も同様である。マスクエリア(マスク枠70)の形状やサイズの変更は、絶対抽出エリア(絶対抽出枠71)に重ならない範囲で有効とする。また絶対抽出エリア(絶対抽出枠71)の形状やサイズの変更は、マスクエリア(マスク枠70)に重ならない範囲で有効とする。
なお、マスクエリアと絶対抽出エリアのいずれか一方が優先されるという設計思想により、重なりが生じても処理に問題が生じないようにする場合は、このような制限は必要ない。
この設定処理を行うのが準備段階であり、カメラ11によっては本番の撮像は行っていないことが想定されるため、カメラ11によっては、本番の撮像を行う環境でリハーサル撮像を行うようにし、カメラ画像が画像処理装置1に入力されるようにする。演者62もしくは演者の代わりのスタッフが撮像されるようにしてもよい。
図13は、透過率調整バー54の操作に応じて、カメラ画像の透過率を下げた(ブレンド比を上げた)場合を示している。背景画像等とともに、演者62、演台63、カーテン64等を含むカメラ画像が視認できる状態となる。
図14は、透過率調整バー54の操作によりカメラ画像の透過率を最小(ブレンド比を最大)とした場合を示している。背景画像等とともに、カメラ画像が明確に視認できる状態となる。
また透過率調整バー54の操作によるカメラ画像のブレンド調整は、上述の背景画像の選択の際や、サードレイヤー設定(スクリーンエリア61の設定)の際に行うことで、カメラ画像から抽出する演者62や演台63に応じた背景画像選択や、スクリーンエリア61の適切な配置等を行うこともできる。
これらにより、例えば各レイヤーの画像の位置関係とカメラ画像の画角を比較しながらそれぞれの設定を調整できるようになる。
またユーザがロゴ画像に対して、クリック、ドラッグ等の所定の操作を行うことで、画像処理装置1はステップS160で、ロゴ画像を、アスペクト比を保ったまま拡大縮小を行ってサイズ調整を行ったり、任意の位置に配置したりするような設定変更を行う。
ロゴ画像についてもステップS170でプレビュー画像に合成されてプレビューエリア55に表示される。
ユーザが保存ボタン58を操作したことを検知したら、画像処理装置1は図5のステップS107からステップS180に進み、設定値保存を行う。
例えば背景画像、スクリーンエリア61の範囲、マスクエリアの範囲、絶対抽出エリアの範囲、ロゴ画像などの設定情報をフラッシュROM4に記憶する。
以上で設定処理を完了する。
スクリーンエリア61を全画面として、スクリーン画像を背景として使用してもよい。
マスクエリアについては、デフォルトの設定として、画像認識からオブジェクト認識を行い、検出されたオブジェクトがマスクすべきものであったときは、初期状態として、そのオブジェクトの領域をマスクエリアとして設定しておくことも考えられる。例えば、カメラ画像内に窓やカーテンや時計などが存在する場合に、それらを認識して自動的に初期状態でマスクエリアとしておく。
また背景画像の意味するテーマに合わせて、対象のオブジェクトを指定することも考えられる。例えば背景画像がニューススタジオであった場合、カメラ画像内に演台63が見つかれば、その領域を自動的に絶対抽出エリアとする。また背景画像がラボラトリーであれば、ホワイトボードが見つかればホワイトボードの領域を自動的に絶対抽出エリアとするなどである。
以上の設定処理が準備状態として行われた後、実行状態として実際の画像合成処理による画像出力が行われる。この場合の合成処理及びUIについて説明する。
図16は画像処理装置1(CPU2又はGPU3)が実行状態として行う処理例を示している。この図16は、例えばカメラ11から供給されるカメラ画像についての1フレームタイミング毎に行われる処理例である。
ステップS210で画像処理装置1は、カメラ画像としての1フレームの画像データを取得する。例えば図17Aのように演者62、演台63、カーテン64等が被写体として含まれるカメラ画像の1フレームを処理対象として取り込む。
なお、準備段階の設定処理で、図17Bのマスク枠70、絶対抽出枠71で示すようにマスクエリアと絶対抽出エリアが設定されているとする。
この動体抽出結果を図17Cに示す。ここでは演者62が抽出されている。また実際の被写体のカーテン64が動いていたことで、制作者が意図していないカーテン64の画像までが抽出されている。なおこの段階ではマスクエリアの処理を反映していないため仮の動体抽出であるといえる。
図17Cのように仮に動体としての画像の抽出が行われても、そのままその動体画像が合成処理に用いられる画像として最終的に抽出される(抽出画像vEとされる)ものとはならない。例えばカーテン64の領域がマスクエリアとして設定されている場合、動体として仮に抽出されたカーテン64は、抽出されないように設定されているエリアの画像であることから、動体としては抽出されないものとされる。結果として動体抽出結果は図17Dのように演者62のみとなる。
いずれにしても、マスクエリアが、結果として画像抽出が行われないエリアとなるようにすればよい。換言すれば、抽出画像vEにマスクエリアの画像が含まれないようにすればよい。
抽出画像vEは、動体抽出対象画像としたカメラ画像について、画像抽出を行わないエリアとして設定されたマスクエリア以外から動体の画像の抽出を行った画像である。さらに抽出画像vEは、必ず画像抽出を行うエリアとして設定された絶対抽出エリアの画像を、動体であるか否かにかかわらず抽出した画像である。
これは図17Dの画像と図17Eの画像を合わせた画像であり、結果として抽出画像vEは図17Fのようになる。
この段階で、4つのレイヤーの画像を合成した合成画像が生成されることになる。
例えば図18のような画像モニター画面80を表示させる画像データを生成し、出力画像vOUT2として出力端子7-2から出力する。
例えば確認用モニター15、16は、単に画像処理装置1からの画像データを入力するのみではなく、確認用モニター15の画面上の操作をCPU2が検知できるようにインタフェースが確保されている。
例えば出力端子7-2,7-3が双方向通信端子とされていたり、或いは確認用モニター15、16がネットワーク通信部8を介して通信可能とされていたりすることが考えられる。
各フレームのタイミングで図16の処理が行われるため、確認用モニター15や確認用モニター16を視認しているスタッフは、演者62が演じている状態の合成画像として、図18のような画像を見ることができる。
演者62が確認用モニター16を、自身で動作確認を行うためのモニターとして使用する場合、左右反転しないと、映っている映像と自身の動きが左右逆になり直感的に動作することができない。そこで、映像を左右反転して鏡に映しているように見せることで、自身の動きと映像が一致して演者がスムーズに動くことができるようになる。
また、画像処理装置1はこの左右反転画像に、マスクエリアと絶対抽出エリアを示すようにマスク枠70と絶対抽出枠71を表示させるようにする。これにより演者62は、マスクエリアに入らないようにしたり、絶対抽出エリアのものを移動させないようにしたりするなどを確認しながら撮影に臨むことができる。
これによりスタッフは、抽出画像vEが適切な状態であるか否かを確認し易いものとなる。カメラ画像に基づく抽出画像vEのみを表示させることで、例えば合成が想定通りできていない時に、どのような画像になっているために正しく動作していないのか確認でき、問題となる部分に対してなんらかの対処ができるようになる。
例えば図20では、カーテン64の一部が比較的大きく動くなどして、抽出画像vEに表れてしまっている状態を示している。これは、マスクエリアの範囲が十分でなかったことによるものと理解できる。従ってスタッフは例えばこのような状態が生じないようにマスクエリアの再設定を行うなどの対処ができる。
ところで以上の処理例において、動体抽出に関しては、物体認識を組み合わせるような処理を行ってもよい。
図21では例えば図16のステップS230のマスク処理において物体認識を適用する処理例を示している。
ステップS232で画像処理装置1は、動体として抽出された被写体の一部又は全部がマスクエリア内となっているか否かを確認する。
特にマスクエリア内に、抽出された動体の画像が存在しなければ、そのままマスク処理を終了すればよい(図16のステップS240に進む)。
例えば抽出すべき対象としての動体が人(演者62)の場合、少なくとも人であるか人以外であるかが認識できればよい。
もし、抽出対象の動体でなければ、画像処理装置1はステップS234からステップS236に進み、通常にマスク処理を行う。即ちマスクエリア内の動体画像が抽出画像vEに加えられないようにマスクする処理を行う。
この場合、物体認識処理を行うことで、単純なマスク処理よりは処理負担が増加する。但し画像全体での物体認識を行うわけではなく、マスクエリア内で抽出された動体画像についてのみ行うものである。従って全画面を対象として被写体の物体認識を行う場合に比べて処理負担の増加は小さい。
例えばステップS233で物体認識を行った結果、カーテン64等の演者62以外の物体が認識されたとする。
その場合に、当該カーテン64等の画像がマスクエリアからはみ出している画素部分を特定し、その部分も一時的にマスクエリアに設定してマスク処理を行うというものである。このようにすることで、抽出したくない物体に想定以上の動きがあってマスクエリアをはみ出てしまっても、抽出画像vEに含まれないように適切にマスクを行うことができる。
これもマスクエリアという限定的な範囲での物体認識処理であるため、全画面を対象として被写体の物体認識を行う場合に比べて軽い処理負担ですむ。
ステップS241で画像処理装置1は、絶対抽出エリア内の被写体について物体認識処理を行う。そしてステップS242で画像処理装置1は、主たる物体の範囲(画素範囲)を特定する。例えば演台63の画素範囲を特定する。
ステップS244で画像処理装置1は特定した物体の範囲の画像を抽出する処理を行う。即ち、絶対抽出エリアに含まれる全画素を抽出するのではなく、絶対抽出エリア内の物体を切り出すように抽出する。例えば演台63のみを切り出し、その周囲の演台63以外の画像は抽出しないようにする。これにより、ある程度あいまいに絶対抽出エリアを設定しても、余分な物の画像などが抽出されないようにすることができる。
また、当該抽出したい物体の一部が絶対抽出エリアからはみ出してしまったような場合に、画像認識結果に基づいて当該物体を抽出することで、物体の一部が欠けたような画像が抽出される状態を防止できる。
・単純に、絶対抽出エリアの画素の全体を抽出する
・物体認識を行い、絶対抽出エリアの対象物体の画素部分を抽出する(認識した物体に沿って輪郭を抜き出す)
・物体認識を行い、該当物体の画像の一部が絶対抽出エリアからはみ出しても、対象の物体の画素については抽出する
という例が考えられる。
以上の実施の形態では次のような効果が得られる。
実施の形態の画像処理装置1は、動体抽出対象画像(例えばカメラ画像)について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外から動体の画像を抽出した抽出画像vEを生成する動体抽出部20と、動体抽出部20による抽出画像vEを、他の画像と合成する処理を行う画像合成部21を備える(図16参照)。
演者62等の動体画像を目的とした動体抽出は、例えばフレーム差分などの手法により簡易的に動体を検出してその動体の範囲(輪郭部分)の画像を抽出することで、処理負担が少なく、一般的な処理能力の機器であっても十分に行うことができるが、その一方で、上述の例のカーテン64のように不要な動きがあるものも動体として検出し、合成する画像として抽出してしまう。本実施の形態では、マスクエリアによって、動体として抽出されないようにしたいものが存在するエリアについては、合成する動体画像として抽出されないようにしているため、不要な動きがあった被写体画像が合成画像に現れないようにすることができる。
これによって例えば背景画像等に、演者62などの目的の動体のみを適切に合成した品質の良い合成画像を提供できる。
例えばカメラ画像の中に、合成に使いたい被写体があったとしても、静止物であるために抽出されず、このために所望の画像を制作できないことにもある。これに対して実施の形態の例では絶対抽出エリアを設定することで、例えば演台63の画像は動体ではないが合成画像に現れることになる。
つまり単純な動体抽出だと、この演台63のような静止物は抽出されないが、絶対抽出エリアを設定することで、動体でなくても抽出したい画像を抽出することができる。従って画像制作者にとって、より望ましい合成画像の制作が容易になる。
例えば動体抽出対象画像や他の画像を表示させた画面上で、ユーザが操作によりマスクエリアの位置を決めたり、マスクエリアの形状やサイズを決めたりすることができるように設定画面50を提供する。これによりマスクエリアを画像上の任意の位置に設定できる。またマスクエリアの形状としては、正方形、長方形、及びそれらのサイズなどを任意に設定できる。
なおマスクエリアの形状としては、正方形、長方形に限らず、三角形、五角形以上の多角形、円形、楕円形、不定形、物体の輪郭に沿った形など、各種の形状任意に設定できるようにすることが考えられる。
これにより、例えばカメラから供給される入力画像の被写体配置や演者の位置などの都合や、合成したくない物体の選択などの合成画像制作方針等に応じて、ユーザが望みの範囲にマスクエリアを設定できる。特にユーザは合成画像内の物体等を確認しながらマスクエリアを設定できるため、容易にマスクエリアとしての適切な位置、形状、サイズの設定が可能となる。
また画像内に被写体以外の動体が存在しても無視できるマスクエリアを簡単に設定できるようになることで、画像品質の向上が実現できるとともに、カメラ設置の自由度が高くなり、撮影の準備が簡単になる。
例えば動体抽出対象画像や他の画像を表示させた画面上で、ユーザが操作により絶対抽出エリアの位置を決めたり、絶対抽出エリアの形状やサイズを決めたりすることができるようにする。
これにより絶対抽出エリアを画像上の任意の位置に設定できる。また絶対抽出エリアの形状としては、正方形、長方形、及びそれらのサイズなどを任意に設定できる。
なお絶対抽出エリアの形状としては、正方形、長方形に限らず、三角形、五角形以上の多角形、円形、楕円形、不定形、物体の輪郭に沿った形など、各種の形状任意に設定できるようにすることが考えられる。
そして絶対抽出エリアとして、必ず入力された画像を使用する領域を簡単に設定できるようにすることで、表現の自由度が上がり、撮影者のアイデアを実現しやすくなる。
これにより、例えばカメラから供給される入力画像の被写体配置や演者の位置などの都合や、合成したい物体の選択などの合成画像制作方針等に応じて、ユーザが望みの範囲に絶対抽出エリアを設定できる。特にユーザは合成画像内の物体等を確認しながら絶対抽出エリアを設定できるため、容易に絶対抽出エリアとしての適切な位置、形状、サイズの設定が可能となる。
これにより所望の画像を撮影できるようにする準備が簡単にできるようになる。
マスクエリアを設定するために表示する合成画像において、例えば背景画像に対し、カメラ画像の合成比率をユーザの透過率調整バー54の操作に応じて可変できるようにする。例えばカメラ画像がはっきり現れたり、薄く現れたり、或いは見えなくなったりする表示状態が可変できる。
従ってユーザは、背景画像に対して、カメラ画像の透過率(合成比率)を変換させて被写***置を確認できる。これによりユーザが好みの合成比率の状態で背景画像上でマスクエリアや絶対抽出エリアを設定する操作を行うことができる。
背景画像上でカメラ画像の透過率を変化させることで、背景を考慮しながら都合のよい箇所にマスクエリアや絶対抽出エリアを設定しやすい。
一方でカメラ画像を常に表示させたうえで背景画像やスクリーン画像の合成比率を可変設定させるようなことも考えられる。これにより、演者を含むリハーサル状況などの場合にカメラ画像を確認しやすい状態でマスクエリアや絶対抽出エリアの設定ができる。
即ち画面上でマスク枠や絶対抽出枠を表示させて、マスクエリアや絶対抽出エリアの範囲を提示する際に、マスク枠70と絶対抽出枠71の表示態様が異なるようにする。例えば枠の範囲の色、枠線の種別(実線、破線、波線、二重線、太線、細線など)、輝度、枠内の透明度などが異なるようにする。
これによりユーザは、マスク枠と絶対抽出枠を明確に識別して、抽出したくない範囲と動体でなくとも抽出したい範囲を適切に設定できることになる。
マスクエリアと絶対抽出エリアが重複してしまうと、マスク処理と絶対抽出処理が適切に実行できなくなる場合が生ずる。そこでユーザの操作により重複が発生する場合は、重複が生じない範囲までに制限する。これによりユーザが特に意識しなくとも、重複が生じないようにすることができる。
上述の例ではセカンドレイヤー画像vL2として用いられる、カメラ画像からの抽出画像vEに対して、ボトムレイヤー画像vL4としての背景画像、サードレイヤー画像vL3としてのスクリーン画像、トップレイヤー画像vL1としてのロゴ画像などの他の画像を合成する。これらの他の画像については、設定画面50において選択できるようにしている。これにより画像制作者であるユーザは任意の絵作りを行うことができる。
左右反転させた画像は、演者62が認識する左右方向と、モニター画面に映し出される左右方向が一致する。従って演者62が演じながら確認するモニター画像として適切な画像を提供できることになる。
抽出画像vEを表示出力させることで、例えば確認用モニター15をチェックしているスタッフが適切な動体抽出ができているか否かを確認しやすくなり、また適切な対処を行うことができるようになる。
ユーザは状況に応じて、左右反転チェックボックス81により、例えば確認用モニター16などに、左右反転画像を表示させることができる。例えば演者62の要望などに応じて柔軟に対応できる。
ユーザは状況に応じて、抽出画像チェックボックス82により、例えば確認用モニター15などに、動体抽出部20で抽出された画像のみの表示を実行させることができる。例えば通常は確認用モニター15で合成画像をチェックしながら、必要時に動体抽出部20で抽出された画像のみを確認できる。
従って撮像画像において、演者62などの動体を抽出しつつ、マスクエリア内で動きがあった物体を抽出しないことや、絶対抽出エリア内では動きのない物体を抽出するといったことが適切に可能となり、撮像画像を背景画像等と合成する場合に適した動作が実現される。
従って演者62等の動体を所望の背景において演じさせるといった絵作りを行う場合に、不要な動体の除外や合成したい非動体の抽出などが可能となる。
例えば背景上にスクリーンエリア61を用意し、PC12から供給される画像をサードレイヤー画像vL3としてスクリーン画像を合成する例を挙げた。これにより、演者62が説明や、演技や、プレゼンテーションなどに用いる画像を用意し、合成対象とすることができる。
これにより画像権利者、制作者等を明確にした合成画像の制作が容易に可能となる。
即ち実施の形態のプログラムは、動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像vEを生成する処理と、抽出画像vEを、他の画像と合成する処理とを画像処理装置に実行させるプログラムである。
このようなプログラムにより、上述した画像処理装置を、例えば情報処理装置、携帯端末装置、画像編集機器、スイッチャー、撮像装置などの機器において実現できる。
あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
(1)
動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像を生成する動体抽出部と、
前記抽出画像を他の画像と合成する処理を行う画像合成部と、を備えた
画像処理装置。
(2)
前記動体抽出部は、合成に用いる画像が抽出されるエリアとして設定された絶対抽出エリアの画像を、動体であるか否かにかかわらず前記動体抽出対象画像から抽出して前記抽出画像を生成する
上記(1)に記載の画像処理装置。
(3)
画面上で前記マスクエリアの位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備えた
上記(1)又は(2)に記載の画像処理装置。
(4)
前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像を表示させた画面上で前記マスクエリアの位置、形状又はサイズの設定を制御する
上記(3)に記載の画像処理装置。
(5)
画面上で前記絶対抽出エリアの位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備えた
上記(2)に記載の画像処理装置。
(6)
前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像を表示させた画面上で前記絶対抽出エリアの位置、形状又はサイズの設定を制御する
上記(5)に記載の画像処理装置。
(7)
前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像において、画像の合成比率を操作に応じて可変する
上記(4)又は(6)に記載の画像処理装置。
(8)
画面上で前記マスクエリアと前記絶対抽出エリアの一方又は両方について、位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備え、
前記ユーザインタフェース制御部は、画面上で前記マスクエリアを示す表示と、画面上で前記絶対抽出エリアを示す表示を、異なる表示態様とする
上記(2)(5)(6)のいずれかに記載の画像処理装置。
(9)
画面上で前記マスクエリアと前記絶対抽出エリアの一方又は両方について、位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備え、
前記ユーザインタフェース制御部は、前記マスクエリアと前記絶対抽出エリアの重複が生じないように設定操作を制限する処理を行う
上記(2)(5)(6)のいずれかに記載の画像処理装置。
(10)
前記ユーザインタフェース制御部は、前記他の画像の設定を制御する
上記(3)から(9)のいずれかに記載の画像処理装置。
(11)
前記画像合成部は、前記抽出画像と前記他の画像との合成画像を出力するとともに、前記合成画像を左右反転した画像を出力することができる
上記(1)から(10)のいずれかに記載の画像処理装置。
(12)
前記画像合成部は、前記抽出画像と前記他の画像との合成画像を出力するとともに、前記抽出画像を出力することができる
上記(1)から(11)のいずれかに記載の画像処理装置。
(13)
前記合成画像を左右反転した画像の出力の制御を行うユーザインタフェース制御部を備える
上記(11)に記載の画像処理装置。
(14)
前記抽出画像の出力の制御を行うユーザインタフェース制御部を備える
上記(12)に記載の画像処理装置。
(15)
前記動体抽出対象画像は、カメラによる撮像画像である
上記(1)から(14)のいずれかに記載の画像処理装置。
(16)
前記他の画像の1つは背景画像である
上記(1)から(15)のいずれかに記載の画像処理装置。
(17)
複数系統の画像入力が可能とされ、
前記動体抽出対象画像は、一の系統で入力されるカメラによる撮像画像であり、
前記他の画像の1つは、他の系統で入力される入力画像である
上記(1)から(16)のいずれかに記載の画像処理装置。
(18)
前記他の画像の1つはロゴ画像である
上記(1)から(15)のいずれかに記載の画像処理装置。
(19)
動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像を生成し、
前記抽出画像を、他の画像と合成する処理を行う
画像処理方法。
(20)
動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像を生成する処理と、
前記抽出画像を、他の画像と合成する処理とを
画像処理装置に実行させるプログラム。
2 CPU
3 GPU
4 フラッシュROM
5 RAM
6,6-1,6-2,6-n 入力端子
7,7-1,7-2,7-m 出力端子
8 ネットワーク通信部
20 動体抽出部
21 画像合成部
22 設定部
23 UI制御部
50 設定画面
54 透過率調整バー
55 プレビューエリア
62 演者
63 演台
64 カーテン
65 ロゴ
70 マスク枠
71 絶対抽出枠
Claims (19)
- 動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出し、また合成に用いる画像が抽出されるエリアとして設定された絶対抽出エリアの画像を動体であるか否かにかかわらず前記動体抽出対象画像から抽出して、抽出画像を生成する動体抽出部と、
前記抽出画像を他の画像と合成する処理を行う画像合成部と、を備えた
画像処理装置。 - 画面上で前記マスクエリアの位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備えた
請求項1に記載の画像処理装置。 - 前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像を表示させた画面上で前記マスクエリアの位置、形状又はサイズの設定を制御する
請求項2に記載の画像処理装置。 - 画面上で前記絶対抽出エリアの位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備えた
請求項1から請求項3のいずれかに記載の画像処理装置。 - 前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像を表示させた画面上で前記絶対抽出エリアの位置、形状又はサイズの設定を制御する
請求項4に記載の画像処理装置。 - 前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像において、画像の合成比率を操作に応じて可変する
請求項3又は請求項5に記載の画像処理装置。 - 画面上で前記マスクエリアと前記絶対抽出エリアの一方又は両方について、位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備え、
前記ユーザインタフェース制御部は、画面上で前記マスクエリアを示す表示と、画面上で前記絶対抽出エリアを示す表示を、異なる表示態様とする
請求項1から請求項6のいずれかに記載の画像処理装置。 - 画面上で前記マスクエリアと前記絶対抽出エリアの一方又は両方について、位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備え、
前記ユーザインタフェース制御部は、前記マスクエリアと前記絶対抽出エリアの重複が生じないように設定操作を制限する処理を行う
請求項1から請求項7のいずれかに記載の画像処理装置。 - 前記ユーザインタフェース制御部は、前記他の画像の画像種別、位置、サイズの内の少なくとも1つの設定を制御する
請求項2から請求項8のいずれかに記載の画像処理装置。 - 前記画像合成部は、前記抽出画像と前記他の画像との合成画像を出力するとともに、前記合成画像を左右反転した画像を出力することができる
請求項1から請求項9のいずれかに記載の画像処理装置。 - 前記画像合成部は、前記抽出画像と前記他の画像との合成画像を出力するとともに、前記抽出画像を出力することができる
請求項1から請求項10のいずれかに記載の画像処理装置。 - 前記合成画像を左右反転した画像の出力の制御を行うユーザインタフェース制御部を備える
請求項10に記載の画像処理装置。 - 前記抽出画像の出力の制御を行うユーザインタフェース制御部を備える
請求項11に記載の画像処理装置。 - 前記動体抽出対象画像は、カメラによる撮像画像である
請求項1から請求項13のいずれかに記載の画像処理装置。 - 前記他の画像の1つは背景画像である
請求項1から請求項14のいずれかに記載の画像処理装置。 - 複数系統の画像入力が可能とされ、
前記動体抽出対象画像は、一の系統で入力されるカメラによる撮像画像であり、
前記他の画像の1つは、他の系統で入力される入力画像である
請求項1から請求項15のいずれかに記載の画像処理装置。 - 前記他の画像の1つはロゴ画像である
請求項1から請求項16のいずれかに記載の画像処理装置。 - 動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出し、また合成に用いる画像が抽出されるエリアとして設定された絶対抽出エリアの画像を動体であるか否かにかかわらず前記動体抽出対象画像から抽出して、抽出画像を生成し、
前記抽出画像を、他の画像と合成する処理を行う
画像処理方法。 - 動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出し、また合成に用いる画像が抽出されるエリアとして設定された絶対抽出エリアの画像を動体であるか否かにかかわらず前記動体抽出対象画像から抽出して、抽出画像を生成する処理と、
前記抽出画像を、他の画像と合成する処理とを
画像処理装置に実行させるプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019177627A JP7447417B2 (ja) | 2019-09-27 | 2019-09-27 | 画像処理装置、画像処理方法、プログラム |
PCT/JP2020/034177 WO2021059987A1 (en) | 2019-09-27 | 2020-09-09 | Image processing apparatus, image processing method, and program |
EP20780803.1A EP4035130A1 (en) | 2019-09-27 | 2020-09-09 | Image processing apparatus, image processing method, and program |
CN202080065638.7A CN114531949A (zh) | 2019-09-27 | 2020-09-09 | 图像处理装置、图像处理方法和程序 |
US17/753,910 US20220343573A1 (en) | 2019-09-27 | 2020-09-09 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019177627A JP7447417B2 (ja) | 2019-09-27 | 2019-09-27 | 画像処理装置、画像処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021057704A JP2021057704A (ja) | 2021-04-08 |
JP7447417B2 true JP7447417B2 (ja) | 2024-03-12 |
Family
ID=72659277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019177627A Active JP7447417B2 (ja) | 2019-09-27 | 2019-09-27 | 画像処理装置、画像処理方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220343573A1 (ja) |
EP (1) | EP4035130A1 (ja) |
JP (1) | JP7447417B2 (ja) |
CN (1) | CN114531949A (ja) |
WO (1) | WO2021059987A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230095955A1 (en) * | 2021-09-30 | 2023-03-30 | Lenovo (United States) Inc. | Object alteration in image |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004005484A (ja) | 2002-03-15 | 2004-01-08 | Hitachi Kokusai Electric Inc | 物体検出方法及び物体検出装置 |
JP2004023373A (ja) | 2002-06-14 | 2004-01-22 | Canon Inc | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
JP2005260803A (ja) | 2004-03-15 | 2005-09-22 | Matsushita Electric Works Ltd | 監視装置 |
JP2005287004A (ja) | 2004-03-03 | 2005-10-13 | Canon Inc | 画像表示方法、プログラム、画像表示装置及び画像表示システム |
JP2006285693A (ja) | 2005-03-31 | 2006-10-19 | Honda Motor Co Ltd | 車両間通信システム |
JP2005175970A5 (ja) | 2003-12-11 | 2007-02-01 | ||
JP2019068325A (ja) | 2017-10-03 | 2019-04-25 | 日本放送協会 | 動体追尾装置及びそのプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7113185B2 (en) * | 2002-11-14 | 2006-09-26 | Microsoft Corporation | System and method for automatically learning flexible sprites in video layers |
JP2005175970A (ja) * | 2003-12-11 | 2005-06-30 | Canon Inc | 撮像システム |
CN102685533B (zh) * | 2006-06-23 | 2015-03-18 | 图象公司 | 对2d电影进行转换用于立体3d显示的方法和*** |
US8169449B2 (en) * | 2007-10-19 | 2012-05-01 | Qnx Software Systems Limited | System compositing images from multiple applications |
JP5672168B2 (ja) | 2011-06-21 | 2015-02-18 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
US10600169B2 (en) * | 2015-03-26 | 2020-03-24 | Sony Corporation | Image processing system and image processing method |
-
2019
- 2019-09-27 JP JP2019177627A patent/JP7447417B2/ja active Active
-
2020
- 2020-09-09 CN CN202080065638.7A patent/CN114531949A/zh not_active Withdrawn
- 2020-09-09 EP EP20780803.1A patent/EP4035130A1/en active Pending
- 2020-09-09 US US17/753,910 patent/US20220343573A1/en active Pending
- 2020-09-09 WO PCT/JP2020/034177 patent/WO2021059987A1/en active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004005484A (ja) | 2002-03-15 | 2004-01-08 | Hitachi Kokusai Electric Inc | 物体検出方法及び物体検出装置 |
JP2004023373A (ja) | 2002-06-14 | 2004-01-22 | Canon Inc | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
JP2005175970A5 (ja) | 2003-12-11 | 2007-02-01 | ||
JP2005287004A (ja) | 2004-03-03 | 2005-10-13 | Canon Inc | 画像表示方法、プログラム、画像表示装置及び画像表示システム |
JP2005260803A (ja) | 2004-03-15 | 2005-09-22 | Matsushita Electric Works Ltd | 監視装置 |
JP2006285693A (ja) | 2005-03-31 | 2006-10-19 | Honda Motor Co Ltd | 車両間通信システム |
JP2019068325A (ja) | 2017-10-03 | 2019-04-25 | 日本放送協会 | 動体追尾装置及びそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN114531949A (zh) | 2022-05-24 |
WO2021059987A1 (en) | 2021-04-01 |
JP2021057704A (ja) | 2021-04-08 |
EP4035130A1 (en) | 2022-08-03 |
US20220343573A1 (en) | 2022-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11663785B2 (en) | Augmented and virtual reality | |
JP6627861B2 (ja) | 画像処理システムおよび画像処理方法、並びにプログラム | |
CN107851299B (zh) | 信息处理装置、信息处理方法以及程序 | |
US6628283B1 (en) | Dynamic montage viewer | |
CN100477745C (zh) | 图像合成装置和图象合成方法 | |
US10437545B2 (en) | Apparatus, system, and method for controlling display, and recording medium | |
US20180160194A1 (en) | Methods, systems, and media for enhancing two-dimensional video content items with spherical video content | |
US10958889B2 (en) | Methods, circuits, devices, systems, and associated computer executable code for rendering a hybrid image frame | |
KR101686693B1 (ko) | 스테레오 영화용 시청자 중심 사용자 인터페이스 | |
JP2014504384A (ja) | 2次元画像からの3次元バーチャルツアーの生成 | |
US20030095131A1 (en) | Method and apparatus for processing photographic images | |
US11423549B2 (en) | Interactive body-driven graphics for live video performance | |
WO2019097264A1 (en) | Virtual reality system for surgical training | |
JP7447417B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
WO2023130543A1 (zh) | 三维场景互动视频创建方法及创建装置 | |
KR20150039049A (ko) | 템플릿 편집 프레임 크기에 따른 사용자 인터페이스 제공 방법 및 그 장치 | |
JP2020102687A (ja) | 情報処理装置、画像処理装置、画像処理方法、及びプログラム | |
KR102281128B1 (ko) | 영상의 재생 방법 | |
JP2014010781A (ja) | 表示装置、表示方法、制御プログラム、および、記録媒体 | |
WO2018034046A1 (ja) | 表示制御装置、表示制御方法およびプログラム | |
US9185374B2 (en) | Method and system for producing full motion media to display on a spherical surface | |
JP7204482B2 (ja) | 電子機器及びその制御方法 | |
JPH05289637A (ja) | 画像情報提示装置 | |
CN116302194A (zh) | 一种交互文件生成方法、装置、计算设备及存储介质 | |
Sarmiento et al. | Panoramic immersive videos-3d production and visualization framework |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220808 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240212 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7447417 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |