JP4328397B2 - 画像データ処理方法及び装置並びに記憶媒体 - Google Patents
画像データ処理方法及び装置並びに記憶媒体 Download PDFInfo
- Publication number
- JP4328397B2 JP4328397B2 JP18943498A JP18943498A JP4328397B2 JP 4328397 B2 JP4328397 B2 JP 4328397B2 JP 18943498 A JP18943498 A JP 18943498A JP 18943498 A JP18943498 A JP 18943498A JP 4328397 B2 JP4328397 B2 JP 4328397B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- distribution information
- value
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データ処理方法及び装置並びに記憶媒体に係り、特に境界が曖昧な被写体を画像から抽出するのに適した画像データ処理方法及び装置と、コンピュータにそのような画像データ処理方法を用いた画像データ処理を行わせるプログラムを格納したコンピュータ読み取り可能な記憶媒体に関する。
【０００２】
【従来の技術】
マルチメディアシステム等においては、画像内の任意の被写体を抽出して処理を施すことが行われる。例えば、抽出された被写体は、他の画像と合成されて新たな画像を生成する。画像内の被写体を抽出する方法としては、被写体を含む円形や矩形等の所定形状の画像部分を抽出する方法や、被写体の境界線情報を生成して被写体をこの境界線情報に基づいて抽出する方法等がある。前者の方法の場合、被写体ではない部分も被写体と共に抽出されてしまうので、被写体を抽出して他の背景等と合成するような処理には合成画像が不自然なものとなるので適さない。これに対し、後者の方法の場合は、被写体のみが抽出されるので、被写体を抽出して他の背景等と合成するような処理にも適している。
【０００３】
しかし、静止画像中の被写体の場合、撮影時のシャッタスピード、フォーカス、カメラや被写体の移動の有無、背景の状況等に応じて、必ずしも被写体の境界が鮮明であるとは限らない。又、動画像中の被写体の場合は、各フレームにおいて被写体の領域が不定型であり、更に、撮影時のシャッタスピード、フォーカス、カメラや被写体の移動の有無、背景の状況等に応じて、必ずしも被写体の境界が鮮明であるとは限らない。
【０００４】
図１は、境界が不鮮明な被写体の一例を示す図であり、テニスプレイヤ４０１が持っているラケット４０２の境界が不鮮明である。同図の例では、ラケット４０２の動きが速いため、領域４０３においては、ラケット４０２であるか、テニスプレイヤ４０１であるか、或いは、背景であるかが曖昧である。
【０００５】
【発明が解決しようとする課題】
境界が不鮮明な被写体の場合、従来の方法では、例えば被写体であるラケット４０２の境界が不鮮明であるにも拘わらず、適当に境界を定義して被写体を画像から抽出することになるので、特に背景等と合成した場合には、境界が際だってしまい、合成画像が不自然なものになってしまうという問題があった。つまり、領域４０３を除くラケット４０２と思われる部分のみを抽出すると、ラケット４０２の動きが損なわれてしまい、又、領域４０３を含んでラケット４０２と思われる部分を抽出すると、他の背景等と合成した場合に領域４０３がこの他の背景等となじまず画像が不自然となってしまう。
【０００６】
他方、抽出した被写体の境界が際だってしまうのを防止するために、境界部分にグラデーション処理を施すことも考えられるが、この場合は、本来鮮明である境界部分までグラデーション処理を施されてしまうため、合成画像の画質が低下してしまうという問題があった。
そこで、本発明は、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能とし、画質を低下させることなく抽出画像を他の画像と合成することも可能とする画像データ処理方法及び装置並びに記憶媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の課題は、抽出対象である第１の被写体を含む第１の画像データと、該第１の被写体とは異なる第２の被写体又は背景を含む第２の画像データとを含む画像データを格納するステップと、予め作成された該第１の画像データの少なくとも一部に対して各画素データが該第１の被写体である確率を示す分布情報であり、画像がブレている部分の画素データに対応する値を第１値以上に設定され、且つ、画像がブレていない部分の画素データに対応する値を該第１値より大きい値の第２値以上に設定された該分布情報を格納するステップと、該第１の画像データを該画像データから抽出する際に該分布情報を付加するステップと、前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理するステップとを含み、該半透明処理は、該分布情報に基づいて該第１の画像データの各画素の透明度を決定する画像データ処理方法によって達成される。本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能となる。
【０００８】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含んでも良い。
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理するステップを含む場合、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【０００９】
前記画像データは動画を示しても良い。
上記の課題は、抽出対象である第１の被写体を含む第１の画像データと、該第１の被写体とは異なる第２の被写体又は背景を含む第２の画像データとを含む画像データを格納する第１の格納部と、予め作成された該第１の画像データの少なくとも一部に対して各画素データが該第１の被写体である確率を示す分布情報であり、画像がブレている部分の画素データに対応する値を第１値以上に設定され、且つ、画像がブレていない部分の画素データに対応する値を該第１値より大きい値の第２値以上に設定された該分布情報を格納する第２の格納部と、該第１の画像データを該画像データから抽出する際に該分布情報を付加する分布情報付加手段と、前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理する合成部とを備え、該半透明処理は、該分布情報に基づいて該第１の画像データの各画素の透明度を決定する画像データ処理装置によっても達成される。本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能となる。
【００１０】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含んでも良い。
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理する合成部を備えた場合、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【００１１】
前記画像データは動画を示しても良い。
上記の課題は、コンピュータに画像の一部を抽出させるプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、該コンピュータを、抽出対象である第１の被写体を含む第１の画像データと、該第１の被写体とは異なる第２の被写体又は背景を含む第２の画像データとを含む画像データを前記コンピュータに格納させる手段と、予め作成された該第１の画像データの少なくとも一部に対して各画素データが該第１の被写体である確率を示す分布情報であり、画像がブレている部分の画素データに対応する値を第１値以上に設定され、且つ、画像がブレていない部分の画素データに対応する値を該第１値より大きい値の第２値以上に設定された該分布情報を前記コンピュータに格納させる手段と、該第１の画像データを該画像データから抽出する際に前記コンピュータに該分布情報を付加させる手段と、前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成させることにより該第１の画像データの前記少なくとも一部を半透明処理させる手段として機能させるためのプログラムを格納しており、該半透明処理は、該分布情報に基づいて該第１の画像データの各画素の透明度を決定する記憶媒体によっても達成される。本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能となる。
【００１２】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含んでも良い。
前記プログラムは、前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成させることにより該第１の画像データの前記少なくとも一部を半透明処理させる手段として前記コンピュータを機能させる場合、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【００１３】
前記画像データは動画を示しても良い。
従って、本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能とし、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【００１４】
【発明の実施の形態】
以下、本発明の実施例を図２〜図１２と共に説明する。
【００１５】
【実施例】
図２は、本発明になる画像データ処理装置の一実施例を示す斜視図である。画像データ処理装置の本実施例は、本発明になる画像データ処理方法の一実施例を採用する。本実施例では、画像データ処理装置は、パーソナルコンピュータ等の汎用コンピュータシステムで構成されている。
【００１６】
図２に示すコンピュータシステム１００は、ＣＰＵやディスクドライブ等を内蔵した本体部１０１、本体部１０１からの指示により表示画面１０２ａ上に画像を表示するディスプレイ１０２、コンピュータシステム１００に種々の情報を入力するためのキーボード１０３、ディスプレイ１０２の表示画面１０２ａ上の任意の位置を指定するマウス１０４、外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているプログラム等をダウンロードするモデム１０５等を備えている。ディスク１１０等の可搬型記録媒体に格納されるか、モデム１０５等の通信装置を使って他のコンピュータシステムの記録媒体１０６からダウンロードされるプログラムは、コンピュータシステム１００に入力されてコンパイルされる。このプログラムは、コンピュータシステム１００のＣＰＵに本実施例の画像データ処理方法により画像データを処理させるプログラムを含む。
【００１７】
本発明になる記憶媒体の一実施例は、上記プログラムを格納したディスク１１０等の記録媒体である。尚、記録媒体は、ＩＣカードメモリ、フロッピィディスク、光磁気ディスク、ＣＤ−ＲＯＭ、各種半導体メモリデバイス等の取り外し可能な記録媒体に限定されず、モデムやＬＡＮ等の通信装置や通信手段を介して接続されるコンピュータシステムでアクセス可能な記録媒体を含む。
【００１８】
図３は、コンピュータシステム１００の本体部１０１内の要部の構成を示すブロック図である。同図中、本体部１０１は、大略バス２００により接続されたＣＰＵ２０１と、ＲＡＭやＲＯＭ等からなるメモリ部２０２と、ディスク１１０用のディスクドライブ２０３と、ハードディスクドライブ２０４とからなる。
尚、コンピュータシステム１００の構成は、図２及び図３に示す構成に限定されるものではなく、代わりに各種周知の構成を使用しても良い。
【００１９】
本実施例では、図４に示す動画像に対し、各フレームを任意の大きさの領域に分割し、各領域内の画素データ毎に、画素データが目的とする被写体に含まれている確率を示す分布情報を作成する。作成された分布情報は、例えば動画像に関する画像データの各フレームのヘッダ等に付加する。
図４に示す動画像の場合、テニスプレイヤ１が持っているラケット２の境界が不鮮明である。この場合、ラケット２の動きが速いため、領域３においては、ラケット２であるか、テニスプレイヤ１であるか、或いは、背景であるかが曖昧である。このような曖昧な領域３は、動画像に関する画像データの各フレームにおいて動画像中の被写体の領域が不定型であることと、動画像の撮影時のシャッタスピード、フォーカス、カメラや被写体の移動の有無、背景の状況等に応じて発生する。そこで、動画像を任意の大きさの領域１１に分割し、この領域１１内の画素データ毎に、画素データが目的とする被写体、即ち、この場合はラケット２に含まれている確率を示す図５に示す如き分布情報を作成する。図５では、説明の便宜上、領域１１が５×８画素からなるものとして、各画素データが目的とするラケット２に含まれている確率が分布情報として、各画素に対して作成される。図５では、ラケット２がブレている部分の画素データの値を１０％以上に設定し、ラケット２がブレていない部分の画素データの値を９０％以上に設定してある。分布情報は、例えばメモリ部２０２、ディスクドライブ２０３内のディスク１１０又はハードディスクドライブ２０４内のハードディスクに格納される。例えばモデム１０５を介して受信されるか、或いは、メモリ部２０２、ディスクドライブ２０３内のディスク１１０又はハードディスクドライブ２０４内のハードディスクから読み出された図４に示す動画像全体に関する入力動画像データからラケット２の画像データを抽出する際には、格納された分布情報を付加することで、ラケット２として抽出されるべき部分に関する画素データが抽出される。
【００２０】
尚、動画像全体を複数の任意の大きさの領域に分割して分布情報を各領域に対して作成しても、動画像の曖昧な部分を含む領域のみに対して分布情報を作成するようにしても良い。
このようにして、ディスプレイ１０２の表示画面１０２ａに図４に示す動画像のフレームを表示している時に、領域３内の画素をマウス１０４でクリックした場合、図５の如き分布情報中のクリックされた画素位置対応する分布情報が１０％以上であればこの画素が動いているラケット２の一部として認識され、９０％以上であれば単純にラケット２の一部として認識される。従って、分布情報に基づいて、動画像中の各被写体の有無を段階的に判別し、他の被写体への関連付けの強弱や合成の濃度等に利用することができる。又、複数の被写体が重複している部分において、どの被写体に重点を置くかを、分布情報の基準値を変更することにより、動的に設定することができる。
【００２１】
更に、抽出したラケット２等の被写体と、他の画像とを合成して新たな画像を生成する場合、抽出した被写体の境界部分の不明瞭な部分と明瞭な部分とに対して、上記分布情報に基づいて各画素の透明度を決定することで、抽出した被写体の境界部分が不自然に際だったりせずに自然な合成画像を生成することができる。
【００２２】
図６は、本実施例において、図４に示す動画像中のテニスプレイヤ１及びラケット２を抽出して、背景２０及び木２１からなる画像と合成した場合の合成画像を示す図である。この場合、領域３内の画素データに対しては、図５に示す分布情報に基づいて半透明処理が施されるので、領域３が図６の画像になじみ、あたかもラケット２が木２１の前で動いているかのように見える合成画像を得ることができる。
【００２３】
これに対し、従来の方法で図４に示す動画像中のテニスプレイヤ１及びラケット２を抽出して、背景２０及び木２１からなる画像と合成した場合の合成画像は、図７に示すようになる。図７中、図６と同一部分には同一符号を付し、その説明は省略する。この例では、領域３も全てラケット２として抽出されるので、ラケット２の部分、特に領域３が図７の画像になじまず、合成画像が非常に不自然となってしまうことがわかる。又、ラケット２のみを抽出して領域３は抽出しないと、合成画像ではラケット２の動きが表現できなくなり、不自然な合成画像しか得ることができない。
【００２４】
次に、本実施例におけるＣＰＵ２０１の動作を、図８〜図１１と共に説明する。
図８は、ＣＰＵ２０１のメインループの処理を説明するフローチャートである。同図中、ステップＳ１は、例えばモデム１０５を介して受信されるか、或いは、メモリ部２０２、ディスクドライブ２０３内のディスク１１０又はハードディスクドライブ２０４内のハードディスクから読み出された入力動画像データのフレームが進んだか否かを判定する。ステップＳ１の判定結果がＮＯであると、処理は後述するステップＳ４へ進む。他方。ステップＳ１の判定結果がＹＥＳであると、ステップＳ２は図９と共に後述するデコード処理を行う。又、ステップＳ３は、図１０と共に後述するレンダリング処理を行う。ステップＳ４は、マウス１０４で表示画面１０２ａ上の画素位置が指定されたか否かを判定し、判定結果がＮＯであれば、処理はステップＳ１へ戻る。他方、ステップＳ４の判定結果がＹＥＳであると、ステップＳ５は、図１１と共に後述するピッキング処理を行い、処理はステップＳ１へ戻る。
【００２５】
図９は、ステップＳ２のデコード処理を説明するフローチャートである。同図中、ステップＳ１１は、入力動画像データに分布情報が付加されているか否かを判定する。ステップＳ１１の判定結果がＮＯであると、処理は後述するステップＳ１３へ進む。他方、ステップＳ１１の判定結果がＹＥＳであると、ステップＳ１２は、分布情報の詳細を読み込む。ステップＳ１３は、読み込まれた分布情報に基づいて、動画像データをデコードして表示画面１０２ａに表示するべき画像データを生成し、処理は終了する。
【００２６】
図１０は、ステップＳ３のレンダリング処理を説明するフローチャートである。同図中、ステップＳ２１は、ＣＰＵ２０１内の画面サイズループカウンタをセットする。ステップＳ２２は、転送元カラーＳｒｃをセットし、ステップＳ２３は、転送先カラーＤｓｔをセットする。転送元カラーＳｒｃは、図４に示すテニスプレイヤ１及びラケット２を抽出する場合、これらのテニスプレイヤ１及びラケット２の色に関する情報である。又、転送先カラーＤｓｔは、抽出されたテニスプレイヤ１及びラケット２を図６に示す背景２０及び木２１からなる画像と合成する場合、背景２０及び木２１の色に関する情報である。
【００２７】
ステップＳ２４の判定結果がＮＯであると、ステップＳ２５は、合成画像において、抽出されたテニスプレイヤ１及びラケット２を元の転送先カラーＤｓｔで描画し、処理はステップＳ２７へ進む。他方、ステップＳ２４の判定結果がＹＥＳであると、ステップＳ２６は、分布情報に基づいて転送先カラーＤｓｔ及び転送先カラーＤｓｔの合成割合を決定し、合成画像において、抽出されたテニスプレイヤ１及びラケット２をこの決定された合成割合の色で描画し、処理はステップＳ２７へ進む。ステップＳ２７は、合成画像の全ての画素の描画が終了したか否かを判定し、判定結果がＮＯであれば処理はステップＳ２２へ戻り、判定結果がＹＥＳであれば処理は終了する。
【００２８】
図１１は、ステップＳ５のピッキング処理を説明するためのフローチャートである。同図中、ステップＳ３１は、入力動画像データに分布情報が付加されているか否かを判定する。ステップＳ３１の判定結果がＮＯであると、本実施例の分布情報を使用した画像データ処理は行われない。他方、ステップＳ３１の判定結果がＹＥＳであると、ステップＳ３２は、被写体識別閾値を取得する。図４及び図５で説明した場合、ラケット２に対する被写体識別閾値は、１０％である。ステップＳ３３は、マウス１０４で指定された目的画素の分布率を獲得する。ステップＳ３４は、ステップＳ３３で獲得された目的画素の分布率が被写体識別閾値を越えたか否かを判定する。ステップＳ３３の判定結果がＹＥＳであれば、目的画素は被写体、即ち、ラケット２の一部であると判定される。他方、ステップＳ３３の判定結果がＮＯであれば、目的画素は被写体、即ち、ラケット２の一部ではないと判定される。
【００２９】
ところで、上記分布情報を画像データに付加する方法は、特に限定されないが、画像データがＭＰＥＧ１ビデオストリームの場合、分布情報は図１２のように付加することができる。同図において、ＭＰＥＧ１ビデオストリームは、シーケンスヘッダ、分布情報ヘッダ、１フレーム目のピクチャヘッダ、１フレーム目の分布情報、１フレーム目のピクチャデータ、２フレーム目のピクチャデータ等から構成される。この場合、分布情報ヘッダは、分布情報ヘッダサイズ、分布情報圧縮形式及び分布情報ビット深さ（ｂｉｔ ｄｅｐｔｈ）からなる。又、１フレーム目の分布情報は、分布情報サイズ及び分布情報圧縮データからなる。このようにして、シーケンスヘッダのユーザデータ拡張部分等に分布情報の格納形式を示す拡張データを付加し、夫々のピクチャデータの拡張部分に各フレームの分布情報を付加する。分布情報は、その用途に応じてビット深さを変更可能とし、ランレングス等による圧縮処理を施されて格納される。
【００３０】
尚、上記実施例では、動画像に対する画像データ処理を説明したが、静止画像中の被写体の場合も、撮影時のシャッタスピード、フォーカス、カメラや被写体の移動の有無、背景の状況等に応じて、必ずしも被写体の境界が鮮明であるとは限らないので、本発明を静止画像に対する画像データ処理にも同様に適用可能である。
【００３１】
以上、本発明を実施例により説明したが、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【００３２】
【発明の効果】
本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能とし、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【図面の簡単な説明】
【図１】境界が不鮮明な被写体の一例を示す図である。
【図２】本発明になる画像データ処理装置の一実施例を示す斜視図である。
【図３】コンピュータシステムの本体部内の要部の構成を示すブロック図である。
【図４】曖昧な領域を含む画像を示す図である。
【図５】分布情報を示す図である。
【図６】実施例において、図４に示す動画像中の被写体を抽出して、背景及び木からなる画像と合成した場合の合成画像を示す図である。
【図７】従来の方法で、図４に示す動画像中の被写体を抽出して、背景及び木からなる画像と合成した場合の合成画像を示す図である。
【図８】ＣＰＵのメインループの処理を説明するフローチャートである。
【図９】デコード処理を説明するフローチャートである。
【図１０】レンダリング処理を説明するフローチャートである。
【図１１】ピッキング処理を説明するフローチャートである。
【図１２】画像データがＭＰＥＧ１ビデオストリームの場合の分布情報の付加を説明する図である。
【符号の説明】
１００ コンピュータシステム
１０１ 本体部
１０２ａ 表示画面
１０４ マウス
２０１ ＣＰＵ
２０２ メモリ部
２０３ ディスクドライブ
２０４ ハードディスクドライブ
【発明の属する技術分野】
本発明は、画像データ処理方法及び装置並びに記憶媒体に係り、特に境界が曖昧な被写体を画像から抽出するのに適した画像データ処理方法及び装置と、コンピュータにそのような画像データ処理方法を用いた画像データ処理を行わせるプログラムを格納したコンピュータ読み取り可能な記憶媒体に関する。
【０００２】
【従来の技術】
マルチメディアシステム等においては、画像内の任意の被写体を抽出して処理を施すことが行われる。例えば、抽出された被写体は、他の画像と合成されて新たな画像を生成する。画像内の被写体を抽出する方法としては、被写体を含む円形や矩形等の所定形状の画像部分を抽出する方法や、被写体の境界線情報を生成して被写体をこの境界線情報に基づいて抽出する方法等がある。前者の方法の場合、被写体ではない部分も被写体と共に抽出されてしまうので、被写体を抽出して他の背景等と合成するような処理には合成画像が不自然なものとなるので適さない。これに対し、後者の方法の場合は、被写体のみが抽出されるので、被写体を抽出して他の背景等と合成するような処理にも適している。
【０００３】
しかし、静止画像中の被写体の場合、撮影時のシャッタスピード、フォーカス、カメラや被写体の移動の有無、背景の状況等に応じて、必ずしも被写体の境界が鮮明であるとは限らない。又、動画像中の被写体の場合は、各フレームにおいて被写体の領域が不定型であり、更に、撮影時のシャッタスピード、フォーカス、カメラや被写体の移動の有無、背景の状況等に応じて、必ずしも被写体の境界が鮮明であるとは限らない。
【０００４】
図１は、境界が不鮮明な被写体の一例を示す図であり、テニスプレイヤ４０１が持っているラケット４０２の境界が不鮮明である。同図の例では、ラケット４０２の動きが速いため、領域４０３においては、ラケット４０２であるか、テニスプレイヤ４０１であるか、或いは、背景であるかが曖昧である。
【０００５】
【発明が解決しようとする課題】
境界が不鮮明な被写体の場合、従来の方法では、例えば被写体であるラケット４０２の境界が不鮮明であるにも拘わらず、適当に境界を定義して被写体を画像から抽出することになるので、特に背景等と合成した場合には、境界が際だってしまい、合成画像が不自然なものになってしまうという問題があった。つまり、領域４０３を除くラケット４０２と思われる部分のみを抽出すると、ラケット４０２の動きが損なわれてしまい、又、領域４０３を含んでラケット４０２と思われる部分を抽出すると、他の背景等と合成した場合に領域４０３がこの他の背景等となじまず画像が不自然となってしまう。
【０００６】
他方、抽出した被写体の境界が際だってしまうのを防止するために、境界部分にグラデーション処理を施すことも考えられるが、この場合は、本来鮮明である境界部分までグラデーション処理を施されてしまうため、合成画像の画質が低下してしまうという問題があった。
そこで、本発明は、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能とし、画質を低下させることなく抽出画像を他の画像と合成することも可能とする画像データ処理方法及び装置並びに記憶媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の課題は、抽出対象である第１の被写体を含む第１の画像データと、該第１の被写体とは異なる第２の被写体又は背景を含む第２の画像データとを含む画像データを格納するステップと、予め作成された該第１の画像データの少なくとも一部に対して各画素データが該第１の被写体である確率を示す分布情報であり、画像がブレている部分の画素データに対応する値を第１値以上に設定され、且つ、画像がブレていない部分の画素データに対応する値を該第１値より大きい値の第２値以上に設定された該分布情報を格納するステップと、該第１の画像データを該画像データから抽出する際に該分布情報を付加するステップと、前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理するステップとを含み、該半透明処理は、該分布情報に基づいて該第１の画像データの各画素の透明度を決定する画像データ処理方法によって達成される。本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能となる。
【０００８】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含んでも良い。
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理するステップを含む場合、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【０００９】
前記画像データは動画を示しても良い。
上記の課題は、抽出対象である第１の被写体を含む第１の画像データと、該第１の被写体とは異なる第２の被写体又は背景を含む第２の画像データとを含む画像データを格納する第１の格納部と、予め作成された該第１の画像データの少なくとも一部に対して各画素データが該第１の被写体である確率を示す分布情報であり、画像がブレている部分の画素データに対応する値を第１値以上に設定され、且つ、画像がブレていない部分の画素データに対応する値を該第１値より大きい値の第２値以上に設定された該分布情報を格納する第２の格納部と、該第１の画像データを該画像データから抽出する際に該分布情報を付加する分布情報付加手段と、前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理する合成部とを備え、該半透明処理は、該分布情報に基づいて該第１の画像データの各画素の透明度を決定する画像データ処理装置によっても達成される。本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能となる。
【００１０】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含んでも良い。
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理する合成部を備えた場合、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【００１１】
前記画像データは動画を示しても良い。
上記の課題は、コンピュータに画像の一部を抽出させるプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、該コンピュータを、抽出対象である第１の被写体を含む第１の画像データと、該第１の被写体とは異なる第２の被写体又は背景を含む第２の画像データとを含む画像データを前記コンピュータに格納させる手段と、予め作成された該第１の画像データの少なくとも一部に対して各画素データが該第１の被写体である確率を示す分布情報であり、画像がブレている部分の画素データに対応する値を第１値以上に設定され、且つ、画像がブレていない部分の画素データに対応する値を該第１値より大きい値の第２値以上に設定された該分布情報を前記コンピュータに格納させる手段と、該第１の画像データを該画像データから抽出する際に前記コンピュータに該分布情報を付加させる手段と、前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成させることにより該第１の画像データの前記少なくとも一部を半透明処理させる手段として機能させるためのプログラムを格納しており、該半透明処理は、該分布情報に基づいて該第１の画像データの各画素の透明度を決定する記憶媒体によっても達成される。本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能となる。
【００１２】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含んでも良い。
前記プログラムは、前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成させることにより該第１の画像データの前記少なくとも一部を半透明処理させる手段として前記コンピュータを機能させる場合、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【００１３】
前記画像データは動画を示しても良い。
従って、本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能とし、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【００１４】
【発明の実施の形態】
以下、本発明の実施例を図２〜図１２と共に説明する。
【００１５】
【実施例】
図２は、本発明になる画像データ処理装置の一実施例を示す斜視図である。画像データ処理装置の本実施例は、本発明になる画像データ処理方法の一実施例を採用する。本実施例では、画像データ処理装置は、パーソナルコンピュータ等の汎用コンピュータシステムで構成されている。
【００１６】
図２に示すコンピュータシステム１００は、ＣＰＵやディスクドライブ等を内蔵した本体部１０１、本体部１０１からの指示により表示画面１０２ａ上に画像を表示するディスプレイ１０２、コンピュータシステム１００に種々の情報を入力するためのキーボード１０３、ディスプレイ１０２の表示画面１０２ａ上の任意の位置を指定するマウス１０４、外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているプログラム等をダウンロードするモデム１０５等を備えている。ディスク１１０等の可搬型記録媒体に格納されるか、モデム１０５等の通信装置を使って他のコンピュータシステムの記録媒体１０６からダウンロードされるプログラムは、コンピュータシステム１００に入力されてコンパイルされる。このプログラムは、コンピュータシステム１００のＣＰＵに本実施例の画像データ処理方法により画像データを処理させるプログラムを含む。
【００１７】
本発明になる記憶媒体の一実施例は、上記プログラムを格納したディスク１１０等の記録媒体である。尚、記録媒体は、ＩＣカードメモリ、フロッピィディスク、光磁気ディスク、ＣＤ−ＲＯＭ、各種半導体メモリデバイス等の取り外し可能な記録媒体に限定されず、モデムやＬＡＮ等の通信装置や通信手段を介して接続されるコンピュータシステムでアクセス可能な記録媒体を含む。
【００１８】
図３は、コンピュータシステム１００の本体部１０１内の要部の構成を示すブロック図である。同図中、本体部１０１は、大略バス２００により接続されたＣＰＵ２０１と、ＲＡＭやＲＯＭ等からなるメモリ部２０２と、ディスク１１０用のディスクドライブ２０３と、ハードディスクドライブ２０４とからなる。
尚、コンピュータシステム１００の構成は、図２及び図３に示す構成に限定されるものではなく、代わりに各種周知の構成を使用しても良い。
【００１９】
本実施例では、図４に示す動画像に対し、各フレームを任意の大きさの領域に分割し、各領域内の画素データ毎に、画素データが目的とする被写体に含まれている確率を示す分布情報を作成する。作成された分布情報は、例えば動画像に関する画像データの各フレームのヘッダ等に付加する。
図４に示す動画像の場合、テニスプレイヤ１が持っているラケット２の境界が不鮮明である。この場合、ラケット２の動きが速いため、領域３においては、ラケット２であるか、テニスプレイヤ１であるか、或いは、背景であるかが曖昧である。このような曖昧な領域３は、動画像に関する画像データの各フレームにおいて動画像中の被写体の領域が不定型であることと、動画像の撮影時のシャッタスピード、フォーカス、カメラや被写体の移動の有無、背景の状況等に応じて発生する。そこで、動画像を任意の大きさの領域１１に分割し、この領域１１内の画素データ毎に、画素データが目的とする被写体、即ち、この場合はラケット２に含まれている確率を示す図５に示す如き分布情報を作成する。図５では、説明の便宜上、領域１１が５×８画素からなるものとして、各画素データが目的とするラケット２に含まれている確率が分布情報として、各画素に対して作成される。図５では、ラケット２がブレている部分の画素データの値を１０％以上に設定し、ラケット２がブレていない部分の画素データの値を９０％以上に設定してある。分布情報は、例えばメモリ部２０２、ディスクドライブ２０３内のディスク１１０又はハードディスクドライブ２０４内のハードディスクに格納される。例えばモデム１０５を介して受信されるか、或いは、メモリ部２０２、ディスクドライブ２０３内のディスク１１０又はハードディスクドライブ２０４内のハードディスクから読み出された図４に示す動画像全体に関する入力動画像データからラケット２の画像データを抽出する際には、格納された分布情報を付加することで、ラケット２として抽出されるべき部分に関する画素データが抽出される。
【００２０】
尚、動画像全体を複数の任意の大きさの領域に分割して分布情報を各領域に対して作成しても、動画像の曖昧な部分を含む領域のみに対して分布情報を作成するようにしても良い。
このようにして、ディスプレイ１０２の表示画面１０２ａに図４に示す動画像のフレームを表示している時に、領域３内の画素をマウス１０４でクリックした場合、図５の如き分布情報中のクリックされた画素位置対応する分布情報が１０％以上であればこの画素が動いているラケット２の一部として認識され、９０％以上であれば単純にラケット２の一部として認識される。従って、分布情報に基づいて、動画像中の各被写体の有無を段階的に判別し、他の被写体への関連付けの強弱や合成の濃度等に利用することができる。又、複数の被写体が重複している部分において、どの被写体に重点を置くかを、分布情報の基準値を変更することにより、動的に設定することができる。
【００２１】
更に、抽出したラケット２等の被写体と、他の画像とを合成して新たな画像を生成する場合、抽出した被写体の境界部分の不明瞭な部分と明瞭な部分とに対して、上記分布情報に基づいて各画素の透明度を決定することで、抽出した被写体の境界部分が不自然に際だったりせずに自然な合成画像を生成することができる。
【００２２】
図６は、本実施例において、図４に示す動画像中のテニスプレイヤ１及びラケット２を抽出して、背景２０及び木２１からなる画像と合成した場合の合成画像を示す図である。この場合、領域３内の画素データに対しては、図５に示す分布情報に基づいて半透明処理が施されるので、領域３が図６の画像になじみ、あたかもラケット２が木２１の前で動いているかのように見える合成画像を得ることができる。
【００２３】
これに対し、従来の方法で図４に示す動画像中のテニスプレイヤ１及びラケット２を抽出して、背景２０及び木２１からなる画像と合成した場合の合成画像は、図７に示すようになる。図７中、図６と同一部分には同一符号を付し、その説明は省略する。この例では、領域３も全てラケット２として抽出されるので、ラケット２の部分、特に領域３が図７の画像になじまず、合成画像が非常に不自然となってしまうことがわかる。又、ラケット２のみを抽出して領域３は抽出しないと、合成画像ではラケット２の動きが表現できなくなり、不自然な合成画像しか得ることができない。
【００２４】
次に、本実施例におけるＣＰＵ２０１の動作を、図８〜図１１と共に説明する。
図８は、ＣＰＵ２０１のメインループの処理を説明するフローチャートである。同図中、ステップＳ１は、例えばモデム１０５を介して受信されるか、或いは、メモリ部２０２、ディスクドライブ２０３内のディスク１１０又はハードディスクドライブ２０４内のハードディスクから読み出された入力動画像データのフレームが進んだか否かを判定する。ステップＳ１の判定結果がＮＯであると、処理は後述するステップＳ４へ進む。他方。ステップＳ１の判定結果がＹＥＳであると、ステップＳ２は図９と共に後述するデコード処理を行う。又、ステップＳ３は、図１０と共に後述するレンダリング処理を行う。ステップＳ４は、マウス１０４で表示画面１０２ａ上の画素位置が指定されたか否かを判定し、判定結果がＮＯであれば、処理はステップＳ１へ戻る。他方、ステップＳ４の判定結果がＹＥＳであると、ステップＳ５は、図１１と共に後述するピッキング処理を行い、処理はステップＳ１へ戻る。
【００２５】
図９は、ステップＳ２のデコード処理を説明するフローチャートである。同図中、ステップＳ１１は、入力動画像データに分布情報が付加されているか否かを判定する。ステップＳ１１の判定結果がＮＯであると、処理は後述するステップＳ１３へ進む。他方、ステップＳ１１の判定結果がＹＥＳであると、ステップＳ１２は、分布情報の詳細を読み込む。ステップＳ１３は、読み込まれた分布情報に基づいて、動画像データをデコードして表示画面１０２ａに表示するべき画像データを生成し、処理は終了する。
【００２６】
図１０は、ステップＳ３のレンダリング処理を説明するフローチャートである。同図中、ステップＳ２１は、ＣＰＵ２０１内の画面サイズループカウンタをセットする。ステップＳ２２は、転送元カラーＳｒｃをセットし、ステップＳ２３は、転送先カラーＤｓｔをセットする。転送元カラーＳｒｃは、図４に示すテニスプレイヤ１及びラケット２を抽出する場合、これらのテニスプレイヤ１及びラケット２の色に関する情報である。又、転送先カラーＤｓｔは、抽出されたテニスプレイヤ１及びラケット２を図６に示す背景２０及び木２１からなる画像と合成する場合、背景２０及び木２１の色に関する情報である。
【００２７】
ステップＳ２４の判定結果がＮＯであると、ステップＳ２５は、合成画像において、抽出されたテニスプレイヤ１及びラケット２を元の転送先カラーＤｓｔで描画し、処理はステップＳ２７へ進む。他方、ステップＳ２４の判定結果がＹＥＳであると、ステップＳ２６は、分布情報に基づいて転送先カラーＤｓｔ及び転送先カラーＤｓｔの合成割合を決定し、合成画像において、抽出されたテニスプレイヤ１及びラケット２をこの決定された合成割合の色で描画し、処理はステップＳ２７へ進む。ステップＳ２７は、合成画像の全ての画素の描画が終了したか否かを判定し、判定結果がＮＯであれば処理はステップＳ２２へ戻り、判定結果がＹＥＳであれば処理は終了する。
【００２８】
図１１は、ステップＳ５のピッキング処理を説明するためのフローチャートである。同図中、ステップＳ３１は、入力動画像データに分布情報が付加されているか否かを判定する。ステップＳ３１の判定結果がＮＯであると、本実施例の分布情報を使用した画像データ処理は行われない。他方、ステップＳ３１の判定結果がＹＥＳであると、ステップＳ３２は、被写体識別閾値を取得する。図４及び図５で説明した場合、ラケット２に対する被写体識別閾値は、１０％である。ステップＳ３３は、マウス１０４で指定された目的画素の分布率を獲得する。ステップＳ３４は、ステップＳ３３で獲得された目的画素の分布率が被写体識別閾値を越えたか否かを判定する。ステップＳ３３の判定結果がＹＥＳであれば、目的画素は被写体、即ち、ラケット２の一部であると判定される。他方、ステップＳ３３の判定結果がＮＯであれば、目的画素は被写体、即ち、ラケット２の一部ではないと判定される。
【００２９】
ところで、上記分布情報を画像データに付加する方法は、特に限定されないが、画像データがＭＰＥＧ１ビデオストリームの場合、分布情報は図１２のように付加することができる。同図において、ＭＰＥＧ１ビデオストリームは、シーケンスヘッダ、分布情報ヘッダ、１フレーム目のピクチャヘッダ、１フレーム目の分布情報、１フレーム目のピクチャデータ、２フレーム目のピクチャデータ等から構成される。この場合、分布情報ヘッダは、分布情報ヘッダサイズ、分布情報圧縮形式及び分布情報ビット深さ（ｂｉｔ ｄｅｐｔｈ）からなる。又、１フレーム目の分布情報は、分布情報サイズ及び分布情報圧縮データからなる。このようにして、シーケンスヘッダのユーザデータ拡張部分等に分布情報の格納形式を示す拡張データを付加し、夫々のピクチャデータの拡張部分に各フレームの分布情報を付加する。分布情報は、その用途に応じてビット深さを変更可能とし、ランレングス等による圧縮処理を施されて格納される。
【００３０】
尚、上記実施例では、動画像に対する画像データ処理を説明したが、静止画像中の被写体の場合も、撮影時のシャッタスピード、フォーカス、カメラや被写体の移動の有無、背景の状況等に応じて、必ずしも被写体の境界が鮮明であるとは限らないので、本発明を静止画像に対する画像データ処理にも同様に適用可能である。
【００３１】
以上、本発明を実施例により説明したが、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【００３２】
【発明の効果】
本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能とし、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【図面の簡単な説明】
【図１】境界が不鮮明な被写体の一例を示す図である。
【図２】本発明になる画像データ処理装置の一実施例を示す斜視図である。
【図３】コンピュータシステムの本体部内の要部の構成を示すブロック図である。
【図４】曖昧な領域を含む画像を示す図である。
【図５】分布情報を示す図である。
【図６】実施例において、図４に示す動画像中の被写体を抽出して、背景及び木からなる画像と合成した場合の合成画像を示す図である。
【図７】従来の方法で、図４に示す動画像中の被写体を抽出して、背景及び木からなる画像と合成した場合の合成画像を示す図である。
【図８】ＣＰＵのメインループの処理を説明するフローチャートである。
【図９】デコード処理を説明するフローチャートである。
【図１０】レンダリング処理を説明するフローチャートである。
【図１１】ピッキング処理を説明するフローチャートである。
【図１２】画像データがＭＰＥＧ１ビデオストリームの場合の分布情報の付加を説明する図である。
【符号の説明】
１００ コンピュータシステム
１０１ 本体部
１０２ａ 表示画面
１０４ マウス
２０１ ＣＰＵ
２０２ メモリ部
２０３ ディスクドライブ
２０４ ハードディスクドライブ
Claims (9)
- 抽出対象である第１の被写体を含む第１の画像データと、該第１の被写体とは異なる第２の被写体又は背景を含む第２の画像データとを含む画像データを格納するステップと、
予め作成された該第１の画像データの少なくとも一部に対して各画素データが該第１の被写体である確率を示す分布情報であり、画像がブレている部分の画素データに対応する値を第１値以上に設定され、且つ、画像がブレていない部分の画素データに対応する値を該第１値より大きい値の第２値以上に設定された該分布情報を格納するステップと、
該第１の画像データを該画像データから抽出する際に該分布情報を付加するステップと、
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理するステップとを含み、
該半透明処理は、該分布情報に基づいて該第１の画像データの各画素の透明度を決定する、画像データ処理方法。 - 前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含む、請求項１記載の画像データ処理方法。
- 前記画像データは動画を示す、請求項１又は２記載の画像データ処理方法。
- 抽出対象である第１の被写体を含む第１の画像データと、該第１の被写体とは異なる第２の被写体又は背景を含む第２の画像データとを含む画像データを格納する第１の格納部と、
予め作成された該第１の画像データの少なくとも一部に対して各画素データが該第１の被写体である確率を示す分布情報であり、画像がブレている部分の画素データに対応する値を第１値以上に設定され、且つ、画像がブレていない部分の画素データに対応する値を該第１値より大きい値の第２値以上に設定された該分布情報を格納する第２の格納部と、
該第１の画像データを該画像データから抽出する際に該分布情報を付加する分布情報付加手段と、
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理する合成部とを備え、
該半透明処理は、該分布情報に基づいて該第１の画像データの各画素の透明度を決定する、画像データ処理装置。 - 前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含む、請求項４記載の画像データ処理装置。
- 前記画像データは動画を示す、請求項４又は５項記載の画像データ処理装置。
- コンピュータに画像の一部を抽出させるプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、該コンピュータを、
抽出対象である第１の被写体を含む第１の画像データと、該第１の被写体とは異なる第２の被写体又は背景を含む第２の画像データとを含む画像データを前記コンピュータに格納させる手段と、
予め作成された該第１の画像データの少なくとも一部に対して各画素データが該第１の被写体である確率を示す分布情報であり、画像がブレている部分の画素データに対応する値を第１値以上に設定され、且つ、画像がブレていない部分の画素データに対応する値を該第１値より大きい値の第２値以上に設定された該分布情報を前記コンピュータに格納させる手段と、
該第１の画像データを該画像データから抽出する際に前記コンピュータに該分布情報を付加させる手段と、
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成させることにより該第１の画像データの前記少なくとも一部を半透明処理させる手段と、して機能させるためのプログラムを格納しており、
該半透明処理は、該分布情報に基づいて該第１の画像データの各画素の透明度を決定する、記憶媒体。 - 前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含む、請求項７記載の記憶媒体。
- 前記画像データは動画を示す、請求項７又は８記載の記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18943498A JP4328397B2 (ja) | 1998-07-03 | 1998-07-03 | 画像データ処理方法及び装置並びに記憶媒体 |
| US09/736,358 US6463183B2 (en) | 1998-07-03 | 2000-12-15 | Image data processing method and apparatus and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18943498A JP4328397B2 (ja) | 1998-07-03 | 1998-07-03 | 画像データ処理方法及び装置並びに記憶媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006244307A Division JP2007026460A (ja) | 2006-09-08 | 2006-09-08 | 画像データ処理方法及び装置並びに記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000023036A JP2000023036A (ja) | 2000-01-21 |
| JP2000023036A5 JP2000023036A5 (ja) | 2005-03-17 |
| JP4328397B2 true JP4328397B2 (ja) | 2009-09-09 |
Family
ID=16241192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18943498A Expired - Fee Related JP4328397B2 (ja) | 1998-07-03 | 1998-07-03 | 画像データ処理方法及び装置並びに記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6463183B2 (ja) |
| JP (1) | JP4328397B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60124946T2 (de) * | 2000-09-02 | 2007-05-31 | Emageon, Inc., Birmingham | Verfahren und kommunikationsmodul zur übertragung von dicom objekten durch datenelementquellen |
| JP2002229547A (ja) * | 2001-02-07 | 2002-08-16 | Hitachi Ltd | 画像表示システム及び画像情報伝送方法 |
| US6903782B2 (en) * | 2001-03-28 | 2005-06-07 | Koninklijke Philips Electronics N.V. | System and method for performing segmentation-based enhancements of a video image |
| US6856751B2 (en) * | 2002-03-22 | 2005-02-15 | Lynx Photonic Networks, Inc. | Method and system for obtaining variable optical attenuation with very low polarization dependent loss over an ultra wide dynamic range |
| JP4136420B2 (ja) * | 2002-03-29 | 2008-08-20 | キヤノン株式会社 | 情報処理方法および装置 |
| JP4321751B2 (ja) * | 2003-04-25 | 2009-08-26 | パイオニア株式会社 | 描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システム |
| US7715589B2 (en) * | 2005-03-07 | 2010-05-11 | Massachusetts Institute Of Technology | Occluding contour detection and storage for digital photography |
| US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
| AU346719S (en) | 2012-06-08 | 2013-02-04 | Apple Inc | Display screen for an electronic device |
| KR20140068410A (ko) * | 2012-11-28 | 2014-06-09 | 삼성전자주식회사 | 물리 엔진 기반의 사용자 인터페이스를 제공하는 방법 및 그 전자 장치 |
| USD735754S1 (en) | 2014-09-02 | 2015-08-04 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| USD870774S1 (en) | 2017-09-29 | 2019-12-24 | Apple Inc. | Wearable device with animated graphical user interface |
| USD863337S1 (en) | 2018-06-03 | 2019-10-15 | Apple Inc. | Electronic device with animated graphical user interface |
| USD954732S1 (en) | 2020-06-20 | 2022-06-14 | Apple Inc. | Display screen or portion thereof with graphical user interface |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03186978A (ja) | 1989-12-15 | 1991-08-14 | Fujitsu Ltd | 自然画像の合成処理方式 |
| JPH03271984A (ja) | 1990-03-20 | 1991-12-03 | Nec Corp | デジタル画像データ切り抜き合成装置 |
| EP0532052B1 (en) * | 1991-09-12 | 2008-02-13 | FUJIFILM Corporation | Method for extracting object images and method for detecting movements thereof |
| JPH0716250B2 (ja) | 1993-01-29 | 1995-02-22 | 株式会社エイ・ティ・アール通信システム研究所 | カラー画像信号のための領域分離装置 |
| JPH07288679A (ja) | 1994-04-15 | 1995-10-31 | Minolta Co Ltd | 画像処理装置 |
-
1998
- 1998-07-03 JP JP18943498A patent/JP4328397B2/ja not_active Expired - Fee Related
-
2000
- 2000-12-15 US US09/736,358 patent/US6463183B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6463183B2 (en) | 2002-10-08 |
| US20010001020A1 (en) | 2001-05-10 |
| JP2000023036A (ja) | 2000-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4328397B2 (ja) | 画像データ処理方法及び装置並びに記憶媒体 | |
| CN109325988B (zh) | 一种面部表情合成方法、装置及电子设备 | |
| CN111954053B (zh) | 获取蒙版帧数据的方法、计算机设备及可读存储介质 | |
| JP4990994B2 (ja) | ショートフィルム生成装置、ショートフィルム生成方法、プログラムおよび記録媒体 | |
| CN111954052B (zh) | 显示弹幕信息的方法、计算机设备及可读存储介质 | |
| CN111954060B (zh) | 弹幕蒙版的渲染方法、计算机设备及可读存储介质 | |
| JP4519531B2 (ja) | 画像表示装置、画像表示方法およびプログラム | |
| JP2004172671A (ja) | 動画像加工方法及び装置 | |
| CN103856726B (zh) | 图像处理装置以及图像处理方法 | |
| CN107920202A (zh) | 基于增强现实的视频处理方法、装置及电子设备 | |
| US6798424B2 (en) | Image processing method and apparatus and storage medium | |
| JP2011119974A (ja) | パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム | |
| JP5408037B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
| CN112614149A (zh) | 基于实例分割的语义合成方法 | |
| KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
| CN111954081B (zh) | 获取蒙版数据的方法、计算机设备及可读存储介质 | |
| JP2007026460A (ja) | 画像データ処理方法及び装置並びに記憶媒体 | |
| CN111954082B (zh) | 蒙版文件结构、蒙版文件的读取方法、计算机设备及可读存储介质 | |
| KR20070096621A (ko) | 음영판을 이용한 캐리커쳐 생성 시스템 및 방법 | |
| JP4226232B2 (ja) | 画像処理装置、記憶媒体及びコンピュータプログラム | |
| JP5192940B2 (ja) | 画像変換装置、画像変換プログラムおよび画像変換方法 | |
| CN114005076B (zh) | 一种图像防遮挡方法、***及电子设备 | |
| JP4482779B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JPH07134769A (ja) | 画像合成におけるアンチエリアシング処理方法 | |
| JP6603722B2 (ja) | 画像処理装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040423 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060213 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060711 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060908 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060928 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20061102 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090515 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090615 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140619 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |