JPH09212626A - 画像編集方法および編集装置 - Google Patents

Abstract

(57)【要約】 【課題】画像から任意オブジェクトを取り除いた画像を
簡単な操作により得ることができる画像編集装置を得
る。 【解決手段】視点の異なる複数の画像を準備し、画像１
から取り除きたいオブジェクトがある場合に、取り除き
たいオブジェクトの輪郭とその内部を閉領域とし、画像
１の閉領域外の点とそれ以外の画像２の対応する点を入
力し、この入力された対応する点が画像１の同じ位置に
なるよう画像２を変形させ、閉領域内に変形される画素
の色を、閉領域外で対応する画素の色を同じにする比と
画素間の距離により変更する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、対応する部分が写
っている複数枚の画像に関して、ある画像の閉領域を指
定しこの閉領域を他の画像の対応する領域を利用して埋
める画像編集方法および編集装置に関する。

【０００２】

【従来技術】近年、コンピュータを用いた画像編集が盛
んに行われるようになってきた。

【０００３】この編集において、風景写真などの実写の
中のあるオブジェクトの位置を変更または取り除いた画
像を生成する作業がある。すなわち、取り除いたオブジ
ェクトの部分を適当な色で塗り潰し違和感のない画像を
生成する作業である。以下、一般にカメラ等で撮影した
ものを写真、この写真をコンピュータを用いて取り扱う
ためにスキャナなどを用いてデジタル化したものを画像
と呼ぶ。

【０００４】例えば、風景写真に電柱が写っている場合
に、この写真をもとに電柱を取り除いた画像を作るよう
な場合である。

【０００５】このような画像を生成する場合、人手によ
り対話的にオブジェクトの部分を塗り潰す、オブジェク
ト周囲の色情報を利用して、自動でオブジェクトを取り
除いた部分の色を仮定し塗り潰す、などの方法がある。

【０００６】人手による方法は、ペイントツールを用
い、オブジェクトの領域を画像全体に違和感が生じない
ような色で塗り潰すものである。この方法により生成さ
れた画像は、作業者の感性、気分、習熟度などに依存
し、再現性に乏しい。

【０００７】自動でオブジェクトを取り除いた画像を生
成する方法には、次のようなものがある。

【０００８】（１）前田浩幸、高橋健一、太田正光らに
よる、欠損画像の修復処理の一方式 （２）東海林健二による、テクスチャ画像における欠損
部修復の一手法 参考文献（１）記載の方法では、まず欠損部周囲におけ
る物体の輪郭線を抽出しておく。次に、現在注目してい
る欠損画素の濃度値の推定に用いる参照画素を決定する
ため、その位置における輪郭の方向を最小２乗法により
近似する。更に、現欠損画素がその近くの画素とあまり
に異なる濃度値にならないよう、参照画素と現欠損画素
の近くについてクラス判定を行なう。欠損部がある程度
小さくなったとき、互いに欠損部の反対側にある輪郭線
が互いに自然につながるように、近似された輪郭線の方
向を修正する。

【０００９】参考文献（２）記載の方法では、既知のテ
クスチャ画像の欠損部を、テクスチャの周波数分布をも
とに修復する。

【００１０】上記の方法は、一枚の画像に関する欠損を
修復する方法であり、取り除いたオブジェクトに隠れて
いた部分を忠実に再現しなくても、画像全体として、見
た目に違和感がなければ特に問題にはならない。

【００１１】

【発明が解決しようとする課題】上記従来技術による方
法は、一枚の画像を違和感なく修復する方法であり、オ
ブジェクト後方に隠れている欠損部をその周囲情報から
予測して修復するものである。したがって、同じ場所を
異なる視点から撮影した複数枚の画像から、あるオブジ
ェクトを取り除いた複数枚の画像を生成する場合には問
題が生じる。

【００１２】例えば、宣伝などに用いる目的で、様々な
方向から見た実在する建物だけが写った写真がほしいと
する。しかし、建物の周囲には電柱などがあり建物のみ
の写真を撮影することは不可能であるとする。このよう
な場合、様々な方向から建物を撮影し、これらの写真か
ら、電柱を取り去った写真を生成する作業が必要とな
る。

【００１３】これを人手によって行う場合、写真一枚一
枚をそれぞれ独立に違和感なく修整すると、一枚の写真
において電柱の後方に隠れている部分は、撮影場所を移
動したことにより他の写真には映っている場合がある。
このため、一枚の写真において電柱に隠れている部分に
は、他の写真の対応する部分に写っているオブジェクト
の色を想定し塗り潰す必要があり、最終的には電柱を取
り除いた２枚の写真間で矛盾のないものを生成しなけれ
ばならない。ペイントツールなどにより、対応する部分
を相互に切り出して、貼り付けることもできるが、電柱
に隠れている部分に対応する他の部分を正確に切り出
し、電柱の部分へ変形させ、更に撮影条件が異なる写真
では一致する場所でも一般的に色が異なるために、切り
出した部分の輪郭線内部の色を、張り付ける電柱の部分
に対して違和感がないように変更し張り付ける必要があ
る。

【００１４】

【課題を解決するための手段】上記問題を解決するため
に、本発明は、異なる視点から撮影した複数枚の写真を
画像へ変換し、この画像に関して、まず対象とする全て
の画像に対して取り除きたいオブジェクトの輪郭および
その内部を指定し、指定した輪郭外の画像部において対
応する画素位置を指定し、指定した画素位置が他の画像
の対応する点と同じ画像位置になるように画像に変形処
理を施し、オブジェクトの輪郭内部に変形される画素の
色をオブジェクト内の画素の基本色とし、オブジェクト
の輪郭の外部の色が同じ値となるように基本色の値を変
更した色をオブジェクトの輪郭およびその内部の色と
し、複数の画像から同一オブジェクトを取り除いた画像
を生成する。

【００１５】画像から任意オブジェクトを取り除きたい
場合に、複数枚の画像を用いることにより、任意オブジ
ェクト写っている閉領域と、そのオブジェクト外の対応
する画素位置を指定する簡単な指定により、オブジェク
トに隠れている部分を矛盾無く復元した画像が得られ
る。

【００１６】

【発明の実施の形態】以下、本発明の実施例の詳細を図
面を参照して説明する。

【００１７】図２は、本発明の実施例である画像処理装
置２００を示している。画像処理装置２００は、ＣＰＵ
２０１、メモリ２０２、記憶装置２０３、表示装置２０
４、キーボード２０５、マウス２０６を備え、互いにバ
ス２０７を介して接続されている。記憶装置２０３は画
像などの各種データや、処理プログラムなどを格納する
ものである。キーボード２０５やマウス２０６は、デー
タや各種命令などを入力するものであり、入力されたデ
ータや命令はバス２０７を介してＣＰＵ２０１へ転送さ
れる。オペレータはこれらを用いて、ＣＰＵ２０１と対
話する。ＣＰＵ２０１はオペレータから入力され転送さ
れた命令に応じて、記憶装置２０３に格納されている処
理プログラムや各種データなどを読み込みメモリ２０２
へ格納したり、処理プログラムの処理を実行したり、処
理に応じてオペレータへ入力を要求したりする。また、
ＣＰＵ２０１は生成した画像をバス２０７を介して表示
装置２０４に表示する命令を出したりもする。

【００１８】次に、図１のフローチャートを用いて本実
施例の処理手順について説明する。まず、オペレータが
本実施例における画像処理プログラムの実行命令をキー
ボード２０５またはマウス２０６を用いて入力すると、
その命令がバス２０７を介してＣＰＵ２０１へ転送さ
れ、ＣＰＵ２０１は記憶装置２０３から処理プログラム
を読み込み、処理を開始する。

【００１９】処理が開始するとまずＣＰＵ２０１はステ
ップ１０１で、処理を行う複数の画像データを指定する
ようオペレータへ要求を出す。オペレータにより処理を
行う画像データが指定されたら、ＣＰＵ２０１はステッ
プ１０２で指定された画像データの全てを記憶装置３０
３から読み込み、読み込んだ全ての画像データに関して
それぞれ表示画像を生成し、これらの表示画像の全てを
別々に表示装置２０４に出力する。

【００２０】出力が完了すると、ＣＰＵ２０１は表示画
像において取り除く閉領域を指定するようオペレータに
要求する。オペレータはこの要求に従い、ステップ１０
３で、表示画像から取り除く任意オブジェクトの輪郭等
の任意の閉領域の画素位置をマウス２０６などを操作し
て入力する。

【００２１】閉領域の入力が終了したら、ＣＰＵ２０１
はステップ１０４で２枚またはそれ以上の表示画像内に
おける先に指定した閉領域以外画像位置において、同じ
オブジェクトの同じ部分が表示されている画素位置の入
力をオペレータに要求する。以下、異なる画像で同じオ
ブジェクトの同じ位置が写っている画素位置を対応点と
呼ぶ。オペレータはこの要求に応じて、複数の対応点を
入力する。ＣＰＵ２０１は対応する画素位置同志は対応
させて記憶する。

【００２２】対応点の入力が終了したら、ＣＰＵ２０１
はステップ１０５で、ある１枚の画像に対して、他の画
像を対応する画素位置が同じ画素位置になるように変形
し、ステップ１０３で指定したある１枚の閉領域へ、他
の画像の対応する画素の色に修整を施した色を埋め込
む。

【００２３】次に、図３から図４を用いてステップ１０
３からステップ１０６までの処理の詳細について説明す
る。

【００２４】図３は、本発明の処理を説明するために例
として参照した風景である。この風景は建物の手前に電
柱１があるもので、カメラ２およびカメラ３の位置から
撮影した２枚の画像を使用する。図４は、図３のカメラ
２から撮影した画像Ａおよび図３のカメラ３から撮影し
た画像Ｂを示している。画像Ａおよび画像Ｂにおいて建
物と電柱１との位置関係は、視点の違いによりずれが生
じており、両方の画像から電柱１を取り除く処理につい
て説明する。

【００２５】まず、ステップ１０３の閉領域入力処理
で、画像Ａおよび画像Ｂに写っている電柱１の輪郭を指
定する。次に、ステップ１０４の対応点入力処理によ
り、対応点を入力する。この対応点は、取り除く閉領域
である電柱１以外の画像位置において、同じオブジェク
トの同じ位置が写っている画素位置である建物の同じ位
置、すなわち画像Ａの対応点４、対応点５、対応点６、
対応点７と画像Ｂの対応点４’、対応点５’、対応点
６’、対応点７’とがそれぞれ対応しており、対応点４
と対応点４’などのように対応させて入力する。

【００２６】対応点の入力が終了したら、ステップ１０
５の歪場生成処理を行なう。ここでは、画像Ａの電柱１
を取り除く処理について説明する。ここで歪場とは、例
えば画像Ｂの対応点４’から対応点７’のそれぞれを、
画像Ａの対応点４から対応点７の対応する画像位置に移
動させた場合に、それ以外の画素はどのように移動する
かを示す情報の集合である。この歪場を求める方法とし
ては、文献（ThaddeusBeier , Shawn Neely による Fea
ture-Based Image Metamorphosis ）が利用できる。こ
の方法は、２枚の画像に対して、どちらか一方の画像に
線分を指定し、この線分に対応させる他方の画像に線分
を指定し、これらの線分が同じ軌道を通過するように双
方の画像を変形、ブレンドし、双画像の中間的な特徴を
有する画像を生成する方法である。すなわち、対応点を
終始点と考え、対応点４対応点５と対応点４’対応点
５’とを、対応点６対応点７と対応点６’対応点７’と
を対応する線分と考え、これら対応する線分が同じ画像
位置になるように画像を変形するための各画素の移動量
を計算し、これを歪場として記憶する。

【００２７】歪場が生成できたら次にステップ１０６の
埋め込み処理を行なう。視点、被写体の明るさなどの条
件が異なる写真では、その写真を写すための露出、シャ
ッタースピード等の最適な条件が異なり、また現像の結
果によっても出来上がった写真の色が異なる。このため
に、複数の写真の色は違ってくる。この処理では、違和
感のない色で閉領域を塗り潰すための色の修正処理であ
る。図６の左図は図４における画像Ａの一部である４０
１を拡大した画素の並びを示しており、縦線でハッチし
た部分は図４の画像Ａの電柱１の部分である。また図６
の右図は図５における画像Ｂの一部である５０１を拡大
した画像の並びを示しており、斜線でハッチした部分は
図５の対応領域の部分である。この図の縦線のハッチ部
分に斜線のハッチ部分の色を変化させて埋め込む。この
変化量は次のようにして求める。

【００２８】まず、画像Ａの拡大図における縦線ハッチ
部分の外側の画素位置をaiとし、画像Ｂの拡大図におけ
る斜線ハッチ部分の外側におけるaiに対応する画素位置
をｂｉとし、それらの画素の色をｃｏｌ（ａｉ）、col
(bi)とし、その比hiを数１で計算しておく。

【００２９】

【数１】

【００３０】とする。

【００３１】次に、画像Ａの拡大図における縦線ハッチ
内部の画素位置をC1jとし、画像Ｂの拡大図における斜
線ハッチ内部におけるC1iに対応する画素位置をC2jと
し、求める画素位置C1jの色をcol(C1j)、参照する画素
位置C2jの色をcol(C2j)とし、また、画素aiと画素C1jと
の距離をdist(ai,C1j)とすると、求める画素位置C1jの
色は例えば数２のように計算する。

【００３２】

【数２】

【００３３】このようにして計算した色を各画素ごとに
画像Ａの電柱１の部分に置くことにより、画像Ａから電
柱１を取り除いた画像が生成できる。同様にして、画像
Ｂの電柱１の部分に対して画像Ａからの切り出し、埋め
込み処理を施す。

【００３４】以上の処理により、画像Ａと画像Ｂから電
柱を取り除きかつ、双画像間においても矛盾のない画像
が生成できる。

【００３５】また、発明は複数の画像から動く物を取り
除きたい場合にも応用できる。例えば、交通量の多い時
間帯における車のいない道路の写真を得たい場合であ
る。このとき、カメラの位置と向きを固定し、同じ位置
の写真を複数枚撮影し、これらの写真を画像にしてお
く。次に、ステップ１０３でこれらの画像の車が写って
いる部分を取り除く閉領域として入力する。次に、ステ
ップ１０４で対応点を入力し、ステップ１０５で歪場を
計算するが、この場合にはカメラ位置と向きが固定なの
で、歪はないものと考えられる。そして、先に指定した
閉領域である車の部分に車以外の物が写っている画像部
を他の画像から切り出し、ステップ１０６の埋め込み処
理を施すことにより、交通量の多い時間帯の風景から車
のみを取り除いた画像を生成できる。

【００３６】そしてまた、上記発明を用いて、複数枚の
画像に関して共通して写っている部分を滑らかに継ぎ合
わせることにより、幅の広いパノラマ画像が生成でき
る。

【００３７】次に、本発明の実施例２について説明す
る。ここでは、図１のステップ１０６の色を変更する処
理を用いた、画像からの影の消去処理について説明す
る。

【００３８】図７は影のある画像を示しており、斜線部
でハッチした部分が電柱の影である。この左図は撮影し
た画像であり、右図は前記の処理により、電柱を取り除
いた画像である。このように、影のある物体を取り除い
た場合には、影だけが残り矛盾した画像になるため、影
の部分も取り除く処理が必要となる。なお、図７（ｂ）
の矩形７０１は後の詳細説明のための領域である。

【００３９】図８は、本発明の第２実施例のフローチャ
ートを示している。図中のステップ８０１からステップ
８０３は、図１のフローチャートのステップ１０１から
ステップ１０３までと同じ処理である。

【００４０】まず、オペレータが第２実施例の処理プロ
グラムの実行命令をキーボード２０５またはマウス２０
６を用いて入力すると、その命令がＣＰＵ２０１へ転送
され処理プログラムが起動される。処理が開始するとＣ
ＰＵ２０１はステップ８０１で処理を行う画像データを
指定するようオペレータに要求し、オペレータからの画
像データの指定を待つ。

【００４１】オペレータにより画像データが指定された
ら、ＣＰＵ２０１はステップ８０２により、指定された
画像データを記憶装置３０３から読み込み、読み込んだ
画像データから表示画像を生成し、これらの表示画像を
表示装置２０４に出力する。出力が終了したら、ＣＰＵ
２０１は表示画像で、色を変更する閉領域を指定するよ
うオペレータに要求する。ここで指定する閉領域は、例
えば図７（ｂ）の斜線でハッチしたような部分である。

【００４２】閉領域が指定されたら、ＣＰＵ２０１はス
テップ８０４で色の変更処理を行う。図９は図７中の矩
形７０１の拡大図を示しており、斜線でハッチした部分
はステップ８０２でオペレータによって指定された影の
閉領域である。この閉領域の外側の画素位置をai、そ画
素に近い閉領域内の画素位置をbiとし、数１によりhiを
計算しておく。そして、閉領域内の画素をCjとし、数３
のように色を変更する。

【００４３】

【数３】

【００４４】この処理により、影の部分が目立たないよ
うな画像が生成できる。

【００４５】

【発明の効果】本発明によればオペレータが指定したあ
る画像の任意の閉領域に関して、任意の閉領域内のオブ
ジェクトに隠れている部分に対応する部分が写っている
視点の異なる他の画像の色を参照して、任意閉領域を塗
り潰すことにより、複数画像から同一の任意オブジェク
トを取り除いた画像を得る事ができる。また、カメラを
固定して撮影した複数枚の画像において移動する物体を
消去した画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例のフローチャート。

【図２】本発明による装置構成を示すブロック図。

【図３】撮影風景を示す説明図。

【図４】撮影結果と示す説明図。

【図５】対応領域を示す説明図。

【図６】画像の拡大説明図。

【図７】影のある画像を示す説明図。

【図８】本発明の実施例２を示すフローチャート。

【図９】図７の矩形７０１の拡大説明図。

【符号の説明】

１０１…画像の指定、 １０２…画像データの読み込み、画像生成、画像表示、 １０３…閉領域入力、 １０４…対応点入力、 １０５…歪場生成、 １０６…埋め込み。

Claims (6)

【特許請求の範囲】
1. 【請求項１】対応する部分が映っている複数枚の画像を
   準備し、前記の画像を記憶する記憶手段、前記画像中の
   任意の閉領域を指定する閉領域指定手段、前記複数枚の
   画像の対応する位置を入力する対応画素位置入力手段と
   対応する位置のそれぞれを組として記憶する手段、前記
   画像を処理する画像処理手段を有し、前記画像中の任意
   の閉領域をそれ以外の画像の閉領域によって埋める処理
   であり、第一の画像の任意の閉領域を閉領域指定手段に
   より指定し、前記第一の画像における先に指定した閉領
   域外と第二の画像との対応する位置を対応画素位置入力
   手段により入力し、各対応する画素位置を組として記憶
   し、この組として記憶した画素位置が同じ画素位置にな
   るよう前記第二の画像を前記第一の画像に変形するため
   の前記第二の画像の各画素の移動量を示す場を求め、前
   記第一の画像の閉領域外の点とその点に対応する前記第
   二の画像の点を組とし、この組となる点の色を同じ値に
   する比を求め、前記第一の画像の閉領域内の画素位置に
   対応する前記第二の画像の画素の色を得、この得た色を
   前記第一の画像の画素位置と前記第一の画像の閉領域外
   で比を求めた点との距離と求めた比よって変化させる処
   理により前記第一の画像の閉領域内を埋めることを特徴
   とする画像編集装置。
2. 【請求項２】請求項１において、前記第一の画像と前記
   第二の画像が同じ視点かつ同じ視線から撮影された画像
   であり、前記第一の画像と前記第二の画像で異なる位置
   に同じ物体が写っている場合に、前記物体の輪郭内部を
   閉領域とすることにより、前記第一の画像または前記第
   二の画像からこの物体を取り除いた画像を得る画像編集
   方法。
3. 【請求項３】請求項１において、画像１と画像２が同じ
   視点で異なる方向を撮影した画像であり、画像１と画像
   ２において共通部分を滑らかに継ぎ合わせることによ
   り、画像１と画像２から幅の広いパノラマ画像を得る画
   像編集方法。
4. 【請求項４】画像を記憶する記憶手段、前記画像中の任
   意の閉領域を指定する閉領域指定手段、前記画像の対応
   させる位置を入力する対応画素位置入力手段と対応させ
   る位置のそれぞれを組として記憶する手段、前記画像を
   処理する画像処理手段を有し、前記画像中の任意の閉領
   域の色を変更する処理であり、前記画像の任意の閉領域
   を閉領域指定手段により指定し、前記画像の閉領域外の
   点と閉領域内の点とを対応させて組とし、この組となる
   点の色を同じ値にする比を求める処理、前記画像の閉領
   域内の色を得る処理、この得た色を画像の閉領域内の点
   と閉領域外で比を求めた点との距離と求めた比よって変
   化させる処理により画像の閉領域内を埋めることを特徴
   とする画像編集装置。
5. 【請求項５】複数の画像を用い、第一の画像からオブジ
   ェクトを取り除いた画像が必要となった場合に、前記オ
   ブジェクトの輪郭とその内部を閉領域とし、前記第一の
   画像の閉領域以外の画像位置とその他の前記第二の画像
   の対応する画像位置を指定する簡単な操作により、閉領
   域内を違和感なく埋めた画像を生成する処理方法。
6. 【請求項６】画像内の極端な色の変化を有する物体の影
   のような閉領域において、前記閉領域の輪郭を境界と
   し、前記境界内外の点を対応させこれらの点の色が同じ
   値になるような比を求め、前記比と境界外における比を
   求めた点との距離に応じて、境界内の色を変化させる処
   理方法。