JP2006025250A - 画像処理装置、撮影システム、画像処理方法、画像処理プログラム、および、記録媒体 - Google Patents

Abstract

【課題】 写してよいものだけを撮影できるようにした撮影方法を提供すること。
【解決手段】 画像処理装置４０は、撮影手段２２の位置、被写体１０の位置、および、カメラパラメータをもとに、撮影画像中に被写体１０が含まれているか否かを算出し、含まれている場合には撮影画像中の被写体１０の位置を発信点とする発信点算出手段４２と、発信点をもとに撮影された画像の中で置き換えるための置き換え領域を決定する置き換え領域決定手段４４と、置き換え領域決定手段４４によって決定された置き換え領域に、置き換えるための置き換え画像を生成する置き換え画像生成手段４６と、撮影画像中の置き換え領域に、置き換え画像を合成する画像加工手段４８と、画像加工手段４８によって合成された撮影画像を出力する手段と、を含んで構成されることを特徴とする。
【選択図】 図１

Description

本発明は、画像処理装置、撮影システム、画像処理方法、画像処理プログラム、および、記録媒体に関する。

近年、小型デジタルカメラやデジタルカメラつきの携帯電話が普及し、簡単にデジタル写真が撮影されるようになってきている。また、動画の撮影にも使えるデジタルカメラや、主に動画を撮影するデジタルビデオカメラも一般の消費者が入手して、簡単に映像撮影をできるようになってきた。

静止画のデジタル写真や動画のデジタルムービーは、パソコンに取り込まれ、パソコンにつながったインターネットを始めとするネットワークを経由して、別のパソコンヘ送られたり、携帯電話を使って通信相手に送られたりする。こうしてデジタル写真やデジタルムービーといった撮影画像は、公開されたり、通信によってさまざまな人へ行きわたったりして、個人的な利用を超え、公共的な利用が行われてきている(非特許文献１など)。
上田、中西、本江、松川著、"時空間ポエマー：ＧＰＳカメラケータイを用いたＷｅｂＧＩＳの運用実験とその評価"、情報処理学会、インタラクション２００４予稿集pp.145-152,2004

しかしながら、従来の技術では、カメラが向けられた撮影対象範囲の被写体を全て撮影するため、撮影された画像には、都合の悪い被写体が写ってしまうという問題があった。ここで、“都合の悪い被写体”というのは、被写体にとって都合の悪い場合（撮影されたくない被写体が撮影されてしまう場合）と、撮影者にとって都合の悪い場合（撮影者が所望しない被写体が撮影されてしまう場合）と、に分類できる。

まず、被写体にとって都合の悪い場合とは、肖像権の侵害、著作権の侵害、または、プライバシーの侵害である。例えば、被写体の了解を得ずに撮影をしてしまったり、盗撮を行ってしまう、あるいは意図せずに写してはいけないものを撮影してしまうといった、写してはいけない特定の被写体を写してしまうという問題が生じている。

また、著作権に関しては、例えば、コンサートの主催者等がコンサートの映像を販売することを目的として撮影を行うこととは別に、コンサートの主催者等でない者が、主催者等が撮影を禁止しているにも関らず、無断で歌手を撮影することが挙げられる。

この問題を解決するには、撮影者のモラルに働きかける程度のもので、本質的な解決法は、提案されていない。例えば、撮影者が写してはいけない被写体を撮影しないようにするように、周囲に注意書きの看板を設置したり、たとえ写してはいけない被写体を撮影してしまったとしても、プライバシーの問題がある写真や映像を配信しないように、撮影画像の配信時に警告メッセージを表示したりする程度のものであった。

また、コンサートなどのイベントにおいては、イベント会場への入場時にカメラの持込を人手でチェックする方式が主流である。これは、雑誌記者など許可を受けた撮影者と、一般の観客など許可を受けていない撮影者とを分別するというイベント主催側の手間がかかってしまう。また、主催者等が意図する撮影禁止行為（例えば、イベント中にだけ演奏者を撮影してはいけない、など）だけでなく、イベント上演時間以外の観客どうしの記念撮影などの主催者等に関係しない撮影行為までも禁止されてしまう。よって、カメラの持込を人手でチェックする方式は、イベント主催側にとっても、イベント観客側にとっても、著しく不便である。

一方、撮影者にとって都合の悪い場合は、例えば適当に撮影を行っているときに、たまたま写してはいけない被写体がフレームインしたとしても、そのことは撮影者には分からなかったり、分かったとしてもすでに記録されているため、写さないようにすることはできない場合である。これに対して、撮影のノイズとして写してしまった被写体を消す手段はなく、撮影のやり直しを余儀なくされていた。

また、特定の被写体だけを撮影し、それ以外の背景を撮影できないような撮影（例えば、テレビ電話で雑多な背景を写さないようにしたいという要求）については、被写体だけを写すことは困難である。

さらに、予期せず望まない被写体や背景を写さないようにするために、枠や覆いを使って、写してはいけないものを隠して撮影するという方法があるが、この方法では、出来上がった写真や映像には違和感があり、被写体や被写体が置かれている状況に合わせた撮影は困難であった。

これらの問題を解決するためには、特定の被写体について、条件付きで撮影を禁止または許可するようにする必要がある。しかし、どの被写体を写してはいけないのか、配信してはいけないのか、について、撮影者に分からせることは容易ではない。

そこで、本発明は、前記した問題を解決し、写してよいものだけを撮影できるようにした撮影方法を提供することを主な目的とする。

前記課題を解決するため、本発明は、被写体が撮影された撮影画像を処理する画像処理装置であって、
前記撮影画像は、撮影手段が、カメラの位置、向き、および、画角を含むカメラパラメータに従って前記被写体を撮影することにより作成され、
前記撮影手段の位置、前記被写体の位置、および、前記カメラパラメータをもとに、前記撮影画像中に前記被写体が含まれているか否かを算出し、含まれている場合には前記撮影画像中の被写体の位置を発信点とする発信点算出手段と、前記発信点をもとに撮影された画像の中で置き換えるための置き換え領域を決定する置き換え領域決定手段と、前記置き換え領域決定手段によって決定された置き換え領域に、置き換えるための置き換え画像を生成する置き換え画像生成手段と、前記撮影画像中の前記置き換え領域に、前記置き換え画像を合成する画像加工手段と、前記画像加工手段によって合成された撮影画像を出力する手段と、を含んで構成されることを特徴とする。これにより、都合の悪い画像を置き換え領域に設定することにより、写してよいものだけを撮影できる。

本発明は、発信装置を内蔵もしくは付与した被写体が撮影された撮影画像を処理する画像処理装置であって、
前記撮影画像は、撮影手段が、カメラの位置、向き、および、画角を含むカメラパラメータに従って前記被写体を撮影することにより作成され、
前記発信装置が発信手段にて発信する位置特定信号を受信する受信手段と、前記撮影手段の位置、前記位置特定信号をもとに算出される前記発信装置の位置、および、前記カメラパラメータをもとに、前記撮影画像中に前記発信装置が含まれているか否かを算出し、含まれている場合には前記撮影画像中の発信装置の位置を発信点とする発信点算出手段と、前記発信点をもとに撮影された画像の中で置き換えるための置き換え領域を決定する置き換え領域決定手段と、前記置き換え領域決定手段によって決定された置き換え領域に、置き換えるための置き換え画像を生成する置き換え画像生成手段と、前記撮影画像中の前記置き換え領域に、前記置き換え画像を合成する画像加工手段と、前記画像加工手段によって合成された撮影画像を出力する手段と、を含んで構成されることを特徴とする。これにより、都合の悪い画像を置き換え領域に設定することにより、写してよいものだけを撮影できる。

本発明は、前記置き換え領域決定手段は、所定の形状およびその大きさによって定義される形状の画像領域を、前記発信点を含むように前記撮影画像中に配置して、前記形状の画像領域を前記置き換え領域として決定することを特徴とする。これにより、被写体の撮影領域が他の画像と置き換わるので、撮影を希望しない被写体に対して、肖像権の侵害、著作権の侵害、または、プライバシーの侵害などを防止することが可能となる。

本発明は、前記置き換え領域決定手段は、所定の形状およびその大きさによって定義される形状の画像領域を、前記発信点を含むように前記撮影画像中に配置して、前記撮影画像から前記形状の画像領域を除く領域を前記置き換え領域として決定することを特徴とする。これにより、被写体の撮影領域以外の領域が他の画像と置き換わるので、撮影者が希望しない被写体を、撮影画像から除去することができる。

本発明は、前記置き換え領域決定手段は、前記発信装置から発信された領域を、置き換え領域として決定することを特徴とする。これにより、発信装置が置き換え領域を明示的に指定することができ、被写体の撮影意図を明確に撮影画像に反映させることができる。

本発明は、前記置き換え画像生成手段は、前記発信装置から発信された画像を、置き換え画像として決定することを特徴とする。これにより、発信装置が置き換え画像を明示的に指定することができ、被写体の撮影意図を明確に撮影画像に反映させることができる。

本発明は、前記画像処理装置は、前記発信装置から発信されたＩＤと、記憶手段に記憶されたプロファイル情報とを基に、プロファイル情報に対応づけられた置き換え領域または置き換え画像のうち、少なくとも１つを決定し、
前記プロファイル情報は、撮影者に関するＩＤ、属性、契約状況、課金状況、または、事前設定、あるいは、撮影に関する時間、または、場所のうち、少なくとも１つの情報から構成されることを特徴とする。これにより、同一の被写体に対して、撮影前に設定したプロファイル情報ごとに撮影画像への合成処理が異なるので、ユーザごとに差別化した撮影サービスを提供することができる。

本発明は、前記撮影画像を出力する手段は、前記撮影画像を記憶手段に記憶することを特徴とする。これにより、都合の悪い画像を置き換え領域に設定することにより、写してよいものだけを撮影および保存できる。

本発明は、前記撮影画像を出力する手段は、前記撮影画像をネットワークに配信することを特徴とする。これにより、都合の悪い画像を置き換え領域に設定することにより、写してよいものだけを撮影および配信できる。

本発明は、前記撮影手段を有する撮影装置と、前記受信手段を有する受信装置と、前記画像処理装置と、を互いにネットワークで接続した撮影システムである。これにより、個々の装置を個別に購入することができるので、既存の装置を流用することができる。

本発明は、発信装置を内蔵もしくは付与した被写体が撮影された撮影画像を処理する画像処理方法であって、
前記撮影画像は、撮影手段が、カメラの位置、向き、および、画角を含むカメラパラメータに従って前記被写体を撮影することにより作成され、コンピュータが、
前記発信装置から発信された位置特定信号を受信する手順と、前記撮影手段の位置、前記位置特定信号をもとに算出される前記発信装置の位置、および、前記カメラパラメータをもとに、前記撮影画像中に前記発信装置が含まれているか否かを算出し、含まれている場合には前記撮影画像中の発信装置の位置を発信点とする発信点算出手順と、前記発信点をもとに撮影された画像の中で置き換えるための置き換え領域を決定する置き換え領域決定手順と、前記置き換え領域に、置き換えるための置き換え画像を生成する置き換え画像生成手順と、前記撮影画像中の前記置き換え領域に、前記置き換え画像を合成する画像加工手順と、前記画像加工手段によって合成された撮影画像を出力する手順と、を実行することを特徴とする。これにより、都合の悪い画像を置き換え領域に設定することにより、写してよいものだけを撮影できる。

本発明は、前記画像処理方法をコンピュータに実行させるための画像処理プログラムである。これにより、都合の悪い画像を置き換え領域に設定することにより、写してよいものだけを撮影できる。

本発明は、前記プログラムを記録したコンピュータ読み取り可能な記録媒体である。これにより、都合の悪い画像を置き換え領域に設定することにより、写してよいものだけを撮影できる。

本発明は、都合の悪い画像を置き換え領域に設定することを特徴とする。これにより、写してよいものだけを撮影できる。

以下に、本発明が適用される撮影システムの一実施形態について、図面を参照して詳細に説明する。図１は、本発明の一実施形態に関する撮影システムの構成図である。被写体１０は、発信装置１２を内蔵もしくは付与されている。この被写体１０は、例えば人物のような動物体でもよいし、美術品のような静止物体でもよい。そして、その形状についても特定の制約はない。そして、被写体１０は、所定の撮影範囲において１体だけに限定されず、複数体存在していてもよい。複数体が同一の撮影範囲に存在する場合には、画像処理装置４０が後記する被写体１０の置き換え処理を、被写体１０ごとに繰り返し行えばよい。

そして、発信装置１２の発信手段１４は、被写体１０の位置を受信手段３２に知らせるために、発信装置１２の位置を特定する情報を送信する。発信手段１４は、例えば、赤外線や可視光を使ったビーコンやマーカーなどの発光体を用いることができる。その場合、受信手段３２は、赤外線を受光できる赤外線受光部や、撮影手段２２のカメラと同じカメラを用いることができる。一方、発信手段１４が可視光を用いる場合、受信手段３２となるカメラは撮影手段２２のカメラと同じものを用いてもよい。つまり、発信手段１４は、受信手段３２と対になっているものであり、同一形式の信号を通信する手段が実装されている。なお、発信装置１２と、発信手段１４とを別々のものとしたのは、発信装置１２が信号を発信する手段とは別の手段（例えば、カメラ）を有することもあるためである。

また、画像処理装置４０は、被写体１０を含む画像に対して、被写体１０の撮影意図を反映した画像処理を行う。そのため、画像処理装置４０は、演算処理を行う際に用いられる記憶手段としてのメモリと、前記演算処理を行う演算処理装置とを少なくとも備えるコンピュータとして構成される。なお、メモリは、ＲＡＭ（Random Access Memory）などにより構成される。演算処理は、ＣＰＵ（Central Processing Unit）によって構成される演算処理装置が、メモリ上のプログラムを実行することで、実現される。

さらに、画像処理装置４０は、被写体１０を含む画像を撮影するために、被写体１０を含む画像を撮影するカメラである撮影手段２２と、撮影手段２２の撮影時のパラメータを取得するカメラパラメータ取得手段２４と、を有する。なお、カメラパラメータは、撮影時のカメラの状況（撮影手段２２がどの位置からどの向きのどの大きさの画像を撮影したのか）に関するパラメータであり、例えば、カメラの位置および向き、画角、画素数に関する情報である。これらのカメラパラメータは、例えば、撮影手段２２の撮影時の設定情報から取得が可能である。

そして、画像処理装置４０は、発信装置１２の位置を検出するために、発信装置１２の位置を特定する情報を受信する受信手段３２と、発信装置１２からの信号をもとに発信装置１２の位置を検出する位置検出手段３４と、をさらに有する。位置検出手段３４は、受信手段３２から見て発信装置１２の置かれている場所を特定する。例えば、発信手段１４にビーコンが用いられた場合、受信手段３２が受光したビーコンの受信手段３２に対する相対位置を検出する。

さらに、画像処理装置４０は、撮影画像中の被写体１０に関する置き換え処理を行うために、撮影された画像における発信装置１２の位置を算出する発信点算出手段４２と、発信装置１２の位置をもとに撮影された画像の中で置き換える領域を決定する置き換え領域決定手段４４と、置き換え領域決定手段４４によって決定された置き換える領域に合成される置き換え画像を生成する置き換え画像生成手段４６と、撮影手段２２によって撮影された画像と、置き換え画像とを合成する画像加工手段４８と、をさらに有する。

ここで、置き換え画像生成手段４６は、生成する置き換え画像の基となる画像を取得するために、置き換え画像を提供する画像ＤＢ４６ａと、置き換え画像を検索する条件を決定するプロファイルＤＢ４６ｂと、にアクセスする。

そして、画像処理装置４０は、置き換え処理を終えた撮影画像を出力するために、画像加工手段４８によって合成された画像を記録する画像記録手段５０と、画像加工手段４８によって合成された画像をネットワークに送信する画像送信手段５２と、をさらに有する。

図２は、撮影システムによる撮影処理および画像加工処理を示すフローチャートである。以下、このフローチャートに沿って、説明する。

まず、発信装置１２は、発信手段１４によって、発信装置１２の位置を特定するための信号（位置特定信号）を発信し続ける（Ｓ１）。

次に、撮影手段２２は、ユーザからの撮影ボタンの押下などを契機として、被写体１０を撮影する（Ｓ２）。そして、撮影されて撮影装置２０に取り込まれる画像は図３のようになる。図３は、撮影領域ａ１が、発信装置１２を付した被写体１０を含めている例を示す。なお、被写体１０の形状について、図１では人間としたが、図３などにおいては計算処理の説明のために、円筒状の物体に略して説明する。なお、本実施形態では、この被写体１０の形状は、必ずしも図１に示す人間や、図３などに示す円筒状の物体に限定されることはなく、任意の形状の被写体１０を扱うことができる。そして、置き換え領域ｂ１は、この置き換え領域ｂ１に撮影されているものを、別の画像へと置き換える処理を行うために、後記によって計算される領域である。

そして、カメラパラメータ取得手段２４は、撮影手段２２が撮影した時のカメラパラメータを取得する（Ｓ３）。

さらに、受信手段３２は、Ｓ１で送信された位置特定信号を受信する（Ｓ４）。なお、図１には簡単のため、受信手段３２は１つしか示していないが、複数あってもよい。

ここで、位置検出手段３４は、Ｓ４の位置特定信号をもとに、Ｓ２で撮影された時の被写体１０の位置（厳密には発信装置１２の位置）を算出する（Ｓ５）。位置検出手段３４は、受信手段３２から見て発信装置１２の置かれている場所を特定する。つまり、位置検出手段３４が算出するのは、発信装置１２の特定の受信手段３２との相対位置である。算出された発信装置１２の位置情報は発信点算出手段４２へ送られる。この位置検出手段３４は、様々な形式で実現することが出来る。

例えば、発信装置１２が信号に発信装置１２の絶対位置を示す情報を含めて発信することもある。このとき、受信手段３２から位置検出手段３４へ入力される発信装置１２の絶対位置情報と受信手段３２の位置情報から、受信手段３２に対する発信装置１２の相対位置が算出される。なお、発信装置１２の絶対位置情報は、発信装置１２が静止しているなど位置情報があらかじめわかっている場合には、ユーザにより発信装置１２に設定された絶対位置情報を用いることができる。また、発信装置１２が、あらかじめ設定された絶対位置情報を、データベースやサーバから通信によって取得することとしてもよい。一方、発信装置１２が移動し、その移動する軌跡の予想が困難な場合には、発信装置１２がＧＰＳ（Global Positioning System）によって自装置の位置を検出して、絶対位置情報とする。

この他に、位置検出手段３４は、発信装置１２が可視光を用いて発信する場合、受信手段３２であるカメラから入力される撮影画像から発光体特有の色画素からなる色領域を抽出し、その領域の撮影画像中の位置を発信装置１２位置とみなすことが可能である。

前記の説明では、撮影手段２２と受信手段３２との距離が小さい場合において、撮影手段２２と受信手段３２とが同じ位置にあるとして説明した。一方、撮影手段２２と受信手段３２との距離が大きい場合には、以下の手法により、撮影手段２２と発信装置１２の位置関係を算出する。まず、撮影手段２２と発信装置１２の位置関係を求める。例えば、図４のような位置関係に、発信装置１２と撮影手段２２と受信手段３２があった場合、発信装置１２とユーザなどが設置した受信手段３２との相対位置が、位置特定信号により、ベクトルｐとして得られる。そして、ユーザなどが設置した撮影手段２２の位置と、ユーザなどが設置した受信手段３２の位置から、その相対位置がベクトルｑとして得ることができ、最終的に撮影手段２２と発信装置１２の相対位置がベクトルｐ＋ベクトルｑとして計算することができる。なお、ここでは説明を簡単にするため、撮影手段２２のカメラの焦点位置を撮影手段２２の位置とみなしたり、発信装置１２の発信点の位置を発信装置１２の位置とみなすこととするが、あくまで一例である。

また、画像処理装置４０で撮影手段２２と受信手段３２の位置関係が固定されている場合には、カメラパラメータのカメラ位置と受信手段３２の位置に関する情報は、あらかじめ決定されているこれらの相対位置に関する情報で置き換えることが可能である。その場合、撮影手段２２と受信手段３２の位置を検出する処理は必要ない。

位置検出手段３４は、算出した発信装置１２の位置に関する情報を発信点算出手段４２へ通知する。このとき撮影手段２２と受信手段３２の位置関係が固定されていない場合、受信手段３２の絶対位置に関する情報、もしくは、撮影手段２２に対する相対位置に関する情報が発信装置１２の位置に関する情報と一緒に送られることがある。

そして、発信点算出手段４２は、Ｓ５で検出された発信装置１２の位置およびＳ３で取得されたカメラパラメータをもとに、撮影された画像中の発信装置１２の位置（発信点）を算出する（Ｓ６）。そして、発信点算出手段４２は、カメラパラメータ取得手段２４が取得したカメラパラメータと位置検出手段３４から入力された発信装置１２の位置情報を使って、撮影された画像に発信装置１２が含まれているか（つまり、発信点が存在するか）どうかを判定する（Ｓ６１）。

以下、発信装置１２が含まれているかどうかの判定処理（Ｓ６１）を、図５を用いて説明する。図５は、３次元空間に画像処理装置４０および被写体１０を投影した図である。図５は、Ｓ３のカメラパラメータおよびＳ５の発信装置１２の位置を３次元空間へ投影することによって、作成される。そして、この３次元空間において、撮影手段２２で撮影した画像中において、発信装置１２が撮影領域ａ１に含まれているかどうかを判定する。この判定は、発信装置１２の撮影手段２２に対する相対位置（ベクトルｐ＋ベクトルｑ）の、撮影画像の撮影面への写像が、撮影領域ａ１に含まれているかどうかを判定することによって行うことができる。またこのとき同時に、発信装置１２の相対位置を撮影領域ａ１の座標への投影が行えるので、撮影領域ａ１上での発信装置１２の座標を得ることができる。

もし、発信装置１２が１つも含まれていない場合には（Ｓ６１、Ｎ）、画像の置き換え処理をしなくて済むので、画像処理装置４０は、撮影した画像をそのまま出力して（Ｓ１０）、処理を終える。一方、発信装置１２が含まれている場合には（Ｓ６１、Ｙ）、以下の処理Ｓ７に移行する。

置き換え領域決定手段４４は、Ｓ６で算出された撮影画像中の発信点に基づいて、撮影画像の領域の中で置き換える領域（以下、置き換え領域）を決定する（Ｓ７）。そのために、撮影領域ａ１上での発信装置１２の座標は、置き換え領域決定手段４４へ送られる。そして、置き換え領域決定手段４４では、置き換え領域ｂ１を決定する。以下、特定の被写体１０が写らないようにする方法について、説明する。

なお、置き換え領域ｂ１は発信装置１２の座標を中心として、あらかじめ定めた、形、大きさ、画素数によって定義される形状の画像領域を置き換え領域ｂ１として決定することができる。形は、矩形、円形、ひし形など、自由に決めて構わない。

このとき、置き換え領域ｂ１の大きさは、発信装置１２の撮影手段２２からの相対位置から求められる、発信装置１２の撮影手段２２からの距離に応じて変化させることもできる。この方法によって、発信装置１２が内蔵もしくは付与された被写体１０の全てを置き換え領域ｂ１に含めるのに必要十分な大きさの置き換え領域ｂ１を決定することが可能となる。また撮影画像全体を置き換え領域としても構わない。

その他の方法として、発信装置１２があらかじめ被写体１０にあわせた置き換え領域の大きさや形を示す形状を発信するようにしておき、その形状情報を受信手段３２から入力し、ここでの置き換え領域ｂ１とする方法もある。

また、発信装置１２がＩＤ情報を発信する場合には、受信手段３２から入力されるＩＤ情報を使って、置き換え領域ｂ１を決定する方法がある。この場合ネットワークを経由して、別途用意される検索サーバを使ってＩＤ情報をキーとして置き換え領域の形状を求めるといった方法を採ることができる。また、次のステップとして説明するＩＤを使って置き換え画像を選択するときに、その画像の形状として置き換え領域ｂ１を決定することもできる。

なお、前記では、特定の被写体１０が写らないようにする方法について説明したが、特定の被写体１０だけが写って、背景が写らないようにすることも、同様の手順で可能である。この場合、置き換え領域決定手段４４では、置き換え領域を、置き換え領域ｂ１として決定した領域に替えて、撮影画像のｂ１以外の領域とすればよい。

そして、置き換え画像生成手段４６は、Ｓ７の置き換え領域に合成される置き換え画像を決定する（Ｓ８）。例えば、事前に定義した置き換え画像を利用することができる。また、置き換え画像は置き換え領域ｂ１に撮影されていた画像を使って計算して生成されることもある。例えば、置き換え領域ｂ１の平均色としたり、ぼかしやモザイクのように計算によって求められる画像であるとしてよい。

また、発信装置１２が置き換え画像を発信するようにしておき、その置き換え画像を受信手段３２から入力し、ここでの置き換え画像とする方法もある。この場合、置き換え画像を決定するのと同時に置き換え領域ｂ１の形状を決定することも可能である。また、この置き換え画像は、発信装置１２が発信装置１２から見た画像処理装置４０とは逆向きの画像として動的に取得することもでき、この場合、置き換え領域ｂ１は、あたかも被写体１０が置かれていなかったときのような画像に置き換えることが可能である。

さらに、発信装置１２からＩＤ情報が発信される場合、受信手段３２から入力されるＩＤ情報を使って、置き換え画像を決定する方法がある。画像処理装置４０は、ＩＤ情報をキーとして、置き換え画像を検索する。このとき、置き換え画像は画像処理装置４０に内蔵される画像ＤＢ４６ａから選択されたり、ネットワークを経由して、別途用意される検索サーバを使ってＩＤ情報をキーとして置き換え画像を求めるといった方法を採ることができる。

この方法を採ることによって、被写体１０や周りの状況に合わせた置き換え画像の選択が行え、自然な違和感のない置き換え画像を選択することが可能となる。撮影者の属性や事前設定に応じて、撮影者の好みを反映した画像の置き換えや撮影者を区別した画像の置き換えを行ったりすることができるようになる。

これらの置き換え画像の検索を行う場合には、プロファイルＤＢ４６ｂに記録されているプロファイルと、置き換え画像との対応情報が使用される。プロファイルは、例えば、時間、場所、撮影者の属性、撮影者との契約状況、撮影者の課金状況、撮影者が事前に定めた置き換えに関する設定などである。これらのプロファイル情報を使って、置き換え画像を検索し、検索結果を得ることも可能である。また、撮影者の契約状況や課金状況によって、撮影者が撮影許諾を持っているかどうかを判定し、撮影者によって被写体１０の置き換え領域の大小を決定したり、撮影者によって置き換え領域をなくすことも可能となる。以上により生成された置き換え画像は、置き換え領域ｂ１は画像加工手段４８へ送られる。

画像加工手段４８は、Ｓ２での撮影画像に対して、Ｓ７の置き換え領域に範囲を、Ｓ８の置き換え画像に置き換えるように画像を加工する（Ｓ９）。つまり、置き換え画像生成手段４６によって決定された画像は、画像加工手段４８に送られ、画像加工手段４８は、撮影画像の置き換え領域ｂ１を置き換え画像に置き換える。

画像処理装置４０は、Ｓ９によって生成された画像を出力する（Ｓ１０）。出力形式は、例えば、画像記録手段５０に撮影画像として記録されたり、画像送信手段５２からネットワークを経由して別の装置やサーバなどに送られたり、インターネットを経由して公開される。

以上説明した本発明は、以下のようにその趣旨を逸脱しない範囲で広く変形実施することができる。

例えば、本実施形態の画像処理装置４０は、カメラで撮影される画像の撮影に使用されるものであれば、特にハードウェアの形式を限定しない。例えば、ネットワーク接続されたカメラ機器および記録装置や配信装置として実現してもよいし、電話やカメラを接続したパソコンなどで実現してもよい。さらに、撮影手段２２は、画像であれば静止画、動画を問わずに利用可能なものとして構成してもよい。

また、図１では、画像処理装置４０が撮影手段２２、受信手段３２、画像処理に関する手段を併せて有する構成としたが、これらの手段を別々の装置が有し、各装置をネットワークで接続するような構成としてもよい。図６は、図１の画像処理装置４０を、画像処理装置４０、撮影装置２０、および、受信装置３０の３つの装置に機能を分割した一例である。これら３つの装置は、互いにネットワークで接続され、情報を交換する。

このように、画像処理装置４０と受信装置３０とを別々の筐体とすることで、図７に示すような、複数の受信装置３０を活用するような構成も可能である。なお、ネットワーク９は、各受信装置３０と画像処理装置４０、および撮影装置２０と画像処理装置４０を結ぶものであり、有線、無線を問わない。例えばインターネットを利用することができる。また、発信装置１２から発せられた信号は受信装置３０で受信されるが、この信号の経路も有線、無線、問わないが、例えば電波や、光波などが利用可能である。ネットワーク９を経由して、これらの情報（画像、発信装置１２の位置情報）は画像処理装置４０へ送られる。

さらに、複数の受信装置３０を活用する一例として、受信装置３０を格子状に配置する一例を、図８に挙げる。ここで、発信装置１２は、ＲＦＩＤ（Radio Frequency Identification）タグと呼ばれる無線タグで実装することができる。ＲＦＩＤタグは微弱電波を発信する装置である。例えば、複数の受信装置３０があるとき、発信装置１２であるＲＦＩＤタグから発信された電波を受信できた受信装置３０の位置から発信装置１２の位置を割り出すことができる。つまり、ＲＦＩＤタグは、個々の通信範囲が狭いので、図８のように格子状に配置することで、被写体１０の稼働位置を網羅することができる。

図９は、発信装置１２の位置を割り出すために、複数の受信装置３０を格子状に配置した配置図である。図９で、発信装置１２から発信される電波の到達範囲ｃ２の中に入っている受信装置３０ａと受信装置３０ｂとだけが、発信装置１２からの信号を受け取ることができる。従って、図９に示すように、発信装置１２の位置は受信装置３０ａと受信装置３０ｂとの近傍にあることが分かるので、大まかに受信装置３０ａと受信装置３０ｂとの位置の重心を発信装置１２の位置と定めることができる。さらに詳しく発信装置１２の位置を決定するには、受信した電波強度を測定し、それに合わせて位置を決定したり、指向性の高いアンテナを用いて受信方向を特定し、三角測量によって正確な発信装置１２の位置を決定することができる。

また、Ｓ７の置き換え領域の決定処理について、置き換え領域が、被写体１０を含む領域か、含まない領域かを指定するフラグを、発信装置１２が指定するようにしてもよい。これは、置き換え領域そのものを発信装置１２が送信する方式に比べ、通信量が少なくて済む上、被写体１０の撮影が許可されているのか否かという、重要な情報を確実に送信することができる。一方、置き換え領域そのものを発信装置１２が送信する方式は、発信装置１２に対応する被写体１０の形状を把握する発信装置１２が、置き換え領域を指定するため、被写体１０の形状に即した置き換え領域の指定が可能となる。

さらに、被写体１０の撮影が許可されているのか否かによって、Ｓ１およびＳ４の位置特定信号の通信方式を特定してもよい。例えば、被写体１０の撮影が許可されている場合には、ＲＦＩＤタグなど通信信号が人間の目に見えないような通信方式を採用することにより、通信信号が撮影画像の中にノイズとして写りこむことを防ぐことができる。

また、赤外線通信などの遮蔽物により通信信号が遮断される通信方式を採用する場合には、歌手（被写体１０）がステージの裏に隠れたりすることにより、通信信号が途絶えるので、通信信号の受信不可を被写体１０の位置の移動とみなすことができる。その結果、通信信号を常に受信する方式に比べ、位置算出の計算量を削減することができる。

一方、被写体１０の撮影が許可されていない場合には、ライトなどの人間の目に見えるような発信手段１４が有効である。これは、被写体１０の領域を消去するために、ライトが撮影画像の中にノイズとして写りこんでいてもよく、かつ、特定の通信プロトコルを実装する方式に比べ、仕組みが簡単になるので、安価に実現が可能である。また、撮影対象の領域に太陽や発光するディスプレイ装置が存在する場合には、それらのものを被写体１０と同様に、置き換え領域とすることができる。

さらに、Ｓ１とＳ４での位置特定信号の通信処理について、画像処理装置４０が発信装置１２から位置の通知を直接的に受ける代わりに、画像処理装置４０が被写体１０の位置を把握する手段を設ける構成としてもよい。これにより、被写体１０は発信装置１２を持つ必要がなくなる。

本発明の一実施形態に関する撮影システムの構成図である。 本発明の一実施形態に関する撮影処理および画像加工処理を示すフローチャートである。 本発明の一実施形態に関する被写体の撮影画像を示す図である。 本発明の一実施形態に関する発信装置と撮影手段と受信手段の位置関係を示す図である。 本発明の一実施形態に関する３次元空間に画像処理装置および被写体を投影した図である。 本発明の一実施形態に関する画像処理装置、撮影装置、および、受信装置の３つの装置から構成される撮影システムの構成図である。 本発明の一実施形態に関する複数の受信装置を活用するような構成図である。 本発明の一実施形態に関する受信装置を格子状に配置する一例を示す図である。 本発明の一実施形態に関する受信装置を格子状に配置する一例を示す図である。

符号の説明

９ ネットワーク
１０ 被写体
１２ 発信装置
１４ 発信手段
２０ 撮影装置
２２ 撮影手段
２４ カメラパラメータ取得手段
３０ 受信装置
３２ 受信手段
３４ 位置検出手段
４０ 画像処理装置
４２ 発信点算出手段
４４ 置き換え領域決定手段
４６ 置き換え画像生成手段
４６ａ 画像ＤＢ
４６ｂ プロファイルＤＢ
４８ 画像加工手段
５０ 画像記録手段（記憶手段）
５２ 画像送信手段

Claims (13)

1. 被写体が撮影された撮影画像を処理する画像処理装置であって、
   前記撮影画像は、撮影手段が、カメラの位置、向き、および、画角を含むカメラパラメータに従って前記被写体を撮影することにより作成され、
   前記撮影手段の位置、前記被写体の位置、および、前記カメラパラメータをもとに、前記撮影画像中に前記被写体が含まれているか否かを算出し、含まれている場合には前記撮影画像中の被写体の位置を発信点とする発信点算出手段と、前記発信点をもとに撮影された画像の中で置き換えるための置き換え領域を決定する置き換え領域決定手段と、前記置き換え領域決定手段によって決定された置き換え領域に、置き換えるための置き換え画像を生成する置き換え画像生成手段と、前記撮影画像中の前記置き換え領域に、前記置き換え画像を合成する画像加工手段と、前記画像加工手段によって合成された撮影画像を出力する手段と、を含んで構成されることを特徴とする画像処理装置。
2. 発信装置を内蔵もしくは付与した被写体が撮影された撮影画像を処理する画像処理装置であって、
   前記撮影画像は、撮影手段が、カメラの位置、向き、および、画角を含むカメラパラメータに従って前記被写体を撮影することにより作成され、
   前記発信装置が発信手段にて発信する位置特定信号を受信する受信手段と、前記撮影手段の位置、前記位置特定信号をもとに算出される前記発信装置の位置、および、前記カメラパラメータをもとに、前記撮影画像中に前記発信装置が含まれているか否かを算出し、含まれている場合には前記撮影画像中の発信装置の位置を発信点とする発信点算出手段と、前記発信点をもとに撮影された画像の中で置き換えるための置き換え領域を決定する置き換え領域決定手段と、前記置き換え領域決定手段によって決定された置き換え領域に、置き換えるための置き換え画像を生成する置き換え画像生成手段と、前記撮影画像中の前記置き換え領域に、前記置き換え画像を合成する画像加工手段と、前記画像加工手段によって合成された撮影画像を出力する手段と、を含んで構成されることを特徴とする画像処理装置。
3. 前記置き換え領域決定手段は、所定の形状およびその大きさによって定義される形状の画像領域を、前記発信点を含むように前記撮影画像中に配置して、前記形状の画像領域を前記置き換え領域として決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記置き換え領域決定手段は、所定の形状およびその大きさによって定義される形状の画像領域を、前記発信点を含むように前記撮影画像中に配置して、前記撮影画像から前記形状の画像領域を除く領域を前記置き換え領域として決定することを特徴とする請求項２に記載の画像処理装置。
5. 前記置き換え領域決定手段は、前記発信装置から発信された領域を、置き換え領域として決定することを特徴とする請求項２ないし請求項４のいずれか１項に記載の画像処理装置。
6. 前記置き換え画像生成手段は、前記発信装置から発信された画像を、置き換え画像として決定することを特徴とする請求項２ないし請求項５のいずれか１項に記載の画像処理装置。
7. 前記画像処理装置は、前記発信装置から発信されたＩＤと、記憶手段に記憶されたプロファイル情報とを基に、プロファイル情報に対応づけられた置き換え領域または置き換え画像のうち、少なくとも１つを決定し、
   前記プロファイル情報は、撮影者に関するＩＤ、属性、契約状況、課金状況、または、事前設定、あるいは、撮影に関する時間、または、場所のうち、少なくとも１つの情報から構成されることを特徴とする請求項２ないし請求項６のいずれか１項に記載の画像処理装置。
8. 前記撮影画像を出力する手段は、前記撮影画像を記憶手段に記憶することを特徴とする請求項２ないし請求項７のいずれか１項に記載の画像処理装置。
9. 前記撮影画像を出力する手段は、前記撮影画像をネットワーク経由で配信することを特徴とする請求項２ないし請求項７のいずれか１項に記載の画像処理装置。
10. 前記撮影手段を有する撮影装置と、前記受信手段を有する受信装置と、請求項２ないし請求項９のいずれか１項に記載の画像処理装置と、を互いにネットワークで接続した撮影システム。
11. 発信装置を内蔵もしくは付与した被写体が撮影された撮影画像を処理する画像処理方法であって、
    前記撮影画像は、撮影手段が、カメラの位置、向き、および、画角を含むカメラパラメータに従って前記被写体を撮影することにより作成され、
    コンピュータが、前記発信装置から発信された位置特定信号を受信する手順と、前記撮影手段の位置、前記位置特定信号をもとに算出される前記発信装置の位置、および、前記カメラパラメータをもとに、前記撮影画像中に前記発信装置が含まれているか否かを算出し、含まれている場合には前記撮影画像中の発信装置の位置を発信点とする発信点算出手順と、前記発信点をもとに撮影された画像の中で置き換えるための置き換え領域を決定する置き換え領域決定手順と、前記置き換え領域に、置き換えるための置き換え画像を生成する置き換え画像生成手順と、前記撮影画像中の前記置き換え領域に、前記置き換え画像を合成する画像加工手順と、前記画像加工手段によって合成された撮影画像を記憶手段に出力する手順と、を実行することを特徴とする画像処理方法。
12. 請求項１１に記載された画像処理方法をコンピュータに実行させるための画像処理プログラム。
13. 請求項１２に記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
    
    

Images