JP2011055398A - 撮像装置および方法、画像処理装置および方法、並びにプログラム - Google Patents
撮像装置および方法、画像処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2011055398A JP2011055398A JP2009204424A JP2009204424A JP2011055398A JP 2011055398 A JP2011055398 A JP 2011055398A JP 2009204424 A JP2009204424 A JP 2009204424A JP 2009204424 A JP2009204424 A JP 2009204424A JP 2011055398 A JP2011055398 A JP 2011055398A
- Authority
- JP
- Japan
- Prior art keywords
- image
- class
- block
- request data
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 71
- 238000003384 imaging method Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title abstract description 98
- 239000000463 material Substances 0.000 claims description 67
- 238000003860 storage Methods 0.000 claims description 53
- 230000002950 deficient Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 74
- 238000004364 calculation method Methods 0.000 description 39
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000012447 hatching Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるようにする。
【解決手段】フォトモザイク画像生成部30は、制作目標画像の各ブロックの画素値などに基づいてクラス分類を行い、画像データベース51に蓄積されている画像を同様の方式によりクラス分類し、各ブロックに相応しい画像を選択する。画像要求処理部70は、制作目標画像の各ブロックのクラス分類結果、および画像データベース51に蓄積されている画像のクラス分類結果に基づいて、撮像装置100に対する画像の取得要求のためのリクエストデータを送信する。撮像装置100は、リクエストデータに基づいて、不足しているクラスの画像であると判定された画像を撮像してフォトモザイク画像生成装置10に送信する。
【選択図】図1
【解決手段】フォトモザイク画像生成部30は、制作目標画像の各ブロックの画素値などに基づいてクラス分類を行い、画像データベース51に蓄積されている画像を同様の方式によりクラス分類し、各ブロックに相応しい画像を選択する。画像要求処理部70は、制作目標画像の各ブロックのクラス分類結果、および画像データベース51に蓄積されている画像のクラス分類結果に基づいて、撮像装置100に対する画像の取得要求のためのリクエストデータを送信する。撮像装置100は、リクエストデータに基づいて、不足しているクラスの画像であると判定された画像を撮像してフォトモザイク画像生成装置10に送信する。
【選択図】図1
Description
本発明は、撮像装置および方法、画像処理装置および方法、並びにプログラムに関し、特に、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるようにする撮像装置および方法、画像処理装置および方法、並びにプログラムに関する。
近年、デジタルカメラの普及などに伴い、多くの画像を簡単に撮影することが可能になってきている。
フォトモザイクは、多数の写真をモザイクのように組み合わせて作成した画像であり、従来は、例えば、映画の宣伝用のポスター、企業のロゴなどを用いた商用のものとして作成されることが多かった。フォトモザイクの作成には、多数の画像を用意し、モザイクのタイルとして使用する画像を適切に選択するなど高度な技術が求められる。
しかし、上述のようにデジタルカメラが普及したことや、情報技術の発展に伴い、一般のユーザでも、フォトモザイク画像を作成することが可能となってきた。
上述したように、フォトモザイクは、例えば、多数の写真などの小さい画像をモザイクのタイルとして組み合わせて1枚の大きな画像を作成するものとされる。フォトモザイク画像は、例えば、離れて観察した場合、1枚の写真のように見える一方で、近くで観察した場合は、モザイクのタイルとなる個々の画像が1枚1枚見えるように生成される。
例えば、モザイクのタイルとして同一の画像が多く用いられたフォトモザイク画像は、離れて観察したときに不自然な模様のある画像のように感じられる。特に、人の顔の画像をフォトモザイクにより生成する場合などは、このような不自然な印象を与えるフォトモザイク画像は、品質が低いと言わざるを得ない。
このため、高品質なフォトモザイク画像を生成するためには、モザイクのタイルとして用いることができる写真などの画像が数多く必要であり、このような画像を数多く記憶する画像データベースなどを構築することが求められる。
たとえば、予め用意されたタイル画像から部分画像を切り出すことにより複数のタイル画像を派生させ、モザイクのタイルとして用いる画像の数を増加させることを可能とし、フォトモザイク画像の品質を向上させる技術も提案されている(例えば、特許文献1参照)。
しかしながら、特許文献1の技術では、既に存在している画像から派生した画像が増えるだけなので、本来制作目標画像に用いるのに相応しい画像を増やすことが保証されていない。すなわち、フォトモザイク画像において制作目標画像のテクスチャを表現できるようにするためには、制作目標画像の各ブロックに貼り付けるのに相応しい画像を用意しておく必要がある。
また、モザイクのタイルとして採用する画像としては、例えば、一面赤や青などの物体が撮影された写真などは相応しくない。フォトモザイク画像は、例えば、離れて観察した場合と、近くで観察した場合とで、観察者の印象が大きく異なるところに美的特徴があるといえるからである。
しかしながら、一般のユーザがそのようなモザイクのタイルとして相応しい画像を意図的に撮影することは困難であり、その結果、画像データベースなどを構築することが難しかった。
本発明はこのような状況に鑑みてなされたものであり、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるようにするものである。
本発明の第1の側面は、画像処理装置から出力されるリクエストデータを取得するリクエストデータ取得手段と、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定する判定手段と、前記判定結果をユーザに提示する提示手段と、前記ユーザにより指令されたタイミングで前記入力画像を保存する保存手段とを備える撮像装置である。
前記リクエストデータには、予め設定された複数のクラスおよび前記クラスのそれぞれのセンタ値の情報が含まれ、前記判定手段は、前記入力画像の代表値と前記センタ値との距離を算出することにより、前記入力画像を前記複数のクラスのいずれかに分類し、前記入力画像のクラスの画像が不足している旨の情報が前記リクエストデータに含まれている場合、前記入力画像を前記画像処理装置により要求された画像であると判定するようにすることができる。
前記リクエストデータには、前記入力画像を前記複数のクラスのいずれかに分類するための閾値がさらに含まれ、前記判定手段は、前記入力画像の代表値と前記センタ値との距離が前記閾値以下である場合、前記入力画像を前記センタ値に対応するクラスに分類するようにすることができる。
前記判定手段は、前記保存手段により既に保存された画像と、前記入力画像との類似度をさらに判定し、前記入力画像のクラスの画像が不足している旨の情報が前記リクエストデータに含まれている場合、前記類似度が閾値以下であるとき、前記入力画像を前記画像処理装置により要求された画像であると判定するようにすることができる。
前記判定手段により、前記画像処理装置により要求された画像であると判定された前記入力画像を、前記ユーザの指令に係らず保存する自動保存手段をさらに備えるようにすることができる。
前記保存した入力画像のそれぞれを、フォトモザイク画像の生成に用いられる素材画像として前記画像処理装置に送出する送出手段をさらに備えるようにすることができる。
本発明の第1の側面は、リクエストデータ取得手段が、画像処理装置から出力されるリクエストデータを取得し、判定手段が、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定し、提示手段が、前記判定結果をユーザに提示し、保存手段が、前記ユーザにより指令されたタイミングで前記入力画像を保存するステップを含む撮像方法である。
本発明の第1の側面は、コンピュータを、画像処理装置から出力されるリクエストデータを取得するリクエストデータ取得手段と、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定する判定手段と、前記判定結果をユーザに提示する提示手段と、前記ユーザにより指令されたタイミングで前記入力画像を保存する保存手段とを備える撮像装置として機能させるプログラムである。
本発明の第1の側面においては、画像処理装置から出力されるリクエストデータが取得され、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かが判定され、前記判定結果がユーザに提示され、前記ユーザにより指令されたタイミングで前記入力画像が保存される。
本発明の第2の側面は、入力画像を、複数のブロックに分割する分割手段と、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類するブロック画像クラス分類手段と、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類する素材画像クラス分類手段と、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較する比較手段と、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定する不足画像特定手段と、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成するリクエストデータ生成手段と、前記生成されたリクエストデータを、撮像装置に送出する送出手段とを備える画像処理装置である。
前記ブロックのクラスと同じクラスに分類された素材画像のそれぞれと、前記ブロックの画像とを予め決められた基準で照合することにより前記ブロックに貼り付ける素材画像を決定する素材画像決定手段と、前記ブロックのそれぞれに前記決定された素材画像を貼り付けることで、前記入力画像に対応するフォトモザイク画像を生成するフォトモザイク画像生成手段とをさらに備えるようにすることができる。
前記素材画像決定手段は、前記ブロックのクラスに分類された素材画像の画素値と、前記ブロックの画像における対応する画素の画素値の距離に基づいて、前記ブロックに貼り付ける素材画像の適正度を算出することで、前記照合を行うようにすることができる。
前記ブロック画像クラス分類手段は、前記ブロックの画像の代表値に基づいて、前記複数のクラスのセンタ値を算出するセンタ値算出手段を備え、前記センタ値と前記ブロックの画像の代表値との距離に基づいて、前記ブロックの画像を前記複数のクラスに分類し、前記素材画像クラス分類手段は、前記センタ値と前記素材画像の代表値との距離、および前記距離の閾値に基づいて、前記素材画像を前記複数のクラスに分類するようにすることができる。
本発明の第2の側面は、分割手段が、入力画像を、複数のブロックに分割し、ブロック画像クラス分類手段が、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類し、素材画像クラス分類手段が、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類し、比較手段が、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較し、不足画像特定手段が、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定し、リクエストデータ生成手段が、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成し、送出手段が、前記生成されたリクエストデータを、撮像装置に送出するステップを含む画像処理方法である。
本発明の第2の側面は、コンピュータを、入力画像を、複数のブロックに分割する分割手段と、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類するブロック画像クラス分類手段と、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類する素材画像クラス分類手段と、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較する比較手段と、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定する不足画像特定手段と、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成するリクエストデータ生成手段と、前記生成されたリクエストデータを、撮像装置に送出する送出手段とを備える画像処理装置として機能させるプログラムである。
本発明の第2の側面においては、入力画像が、複数のブロックに分割され、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれが、予め設定された複数のクラスに分類され、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像が前記複数のクラスに分類され、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とが比較され、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数が特定され、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータが生成され、前記生成されたリクエストデータが、撮像装置に送出される。
本発明によれば、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができる。
以下、図面を参照して、本発明の実施の形態について説明する。
図1は、本発明の一実施の形態に係るフォトモザイク画像生成システムの構成例を示すブロック図である。
フォトモザイクは、例えば、多数の写真などの小さい画像をモザイクのように組み合わせて1枚の大きな画像を作成するものとされる。フォトモザイク画像は、例えば、離れて観察した場合、1枚の写真のように見える一方で、近くで観察した場合は、モザイクのタイルとなる個々の画像が1枚1枚見えるように生成される。
同図に示されるように、フォトモザイク生成システムは、フォトモザイク画像生成装置10、および撮像装置100により構成されている。
フォトモザイク画像生成装置10のフォトモザイク画像生成部30は、入力された制作目標画像をブロックに分割する。ブロックは、例えば、同一のサイズの矩形の形状とされ、それぞれのブロックに、モザイクのタイルとなる画像が1枚貼り付けられるようになされている。
そして、フォトモザイク画像生成部30は、それらのブロックに相応しい画像を選択して張り付けるようになされている。
フォトモザイク画像生成部30は、例えば、画像データベース51に蓄積されている画像の中から制作目標画像の各ブロックに相応しい画像を選択する。あるいはまた、フォトモザイク画像生成部30は、例えば、ネットワークなどにより接続されたサーバに蓄積されている画像の中から制作目標画像の各ブロックに相応しい画像を選択するようにしてもよい。
すなわち、画像データベース51に蓄積されている画像などの画像は、モザイクのタイルとして利用するための画像であって、いわば、フォトモザイク画像の素材となる画像である。
フォトモザイク画像生成部30は、後述するように、制作目標画像の各ブロックの画素値などに基づいてクラス分類を行うようになされている。これにより、制作目標画像の各ブロックが、例えば、5つのクラスに分類される。また、フォトモザイク画像生成部30は、例えば、画像データベース51に蓄積されている画像を同様の方式により、例えば、5つのクラスに分類する。
そして、フォトモザイク画像生成部30は、制作目標画像の各ブロックの画像と、そのブロックのクラスに分類された画像データベース51の画像との照合を行なって、画像データベース51に蓄積された画像の中から1枚の画像を選択するようになされている。
フォトモザイク画像生成部30は、上述のように選択された画像をモザイクのタイルとして制作目標画像の各ブロックに貼り付ける。これにより、出力画像としてフォトモザイク画像が出力されるようになされている。
画像要求処理部70は、フォトモザイク画像生成部30による制作目標画像の各ブロックのクラス分類結果、および画像データベース51に蓄積されている画像のクラス分類結果に基づいて、撮像装置100に対する画像の取得要求のための情報を生成する。
画像要求処理部70は、例えば、それぞれのクラスに分類された制作目標画像のブロックの数と、それぞれのクラスに分類された画像データベース51の画像の数とを比較する。そして、画像要求処理部70は、画像データベース51の画像において不足しているクラスを特定する。さらに、画像要求処理部70は、不足しているクラスの画像を取得するために必要となる情報を、リクエストデータとして生成し、例えば、無線通信などを行うことで、撮像装置100に送信する。
なお、画像処理部70による撮像装置100との通信は、有線通信、メモリカードなどを介して行われるようにしてもよい。
撮像装置100は、例えば、デジタルカメラなどとして構成される。撮像装置100は、フォトモザイク画像生成装置10から送信されたリクエストデータに基づいて、画像を撮像して保存し、例えば、無線通信などにより、保存した画像をフォトモザイク画像生成装置10に送信するようになされている。
撮像装置100は、例えば、上述した不足しているクラスの画像を撮像できるようになされている。すなわち、撮像装置100は、レンズなどを介して集光された光により構成される画像を、予めクラス分類するなどし、その画像が不足しているクラスの画像であるか否かを判定することができるようになされている。そして撮像装置100は、不足しているクラスの画像であると判定された画像を撮像してフォトモザイク画像生成装置10に送信する。送信された画像は、フォトモザイク画像生成装置10の画像データベース51に記憶されるようになされている。
図2は、図1のフォトモザイク画像生成部30の詳細な構成例を示すブロック図である。
同図に示されるように、フォトモザイク画像生成部30は、ブロック分割部31、代表値決定部32、クラスセンタ値算出部33、および制作目標画像クラス分類部34を含む構成とされている。また、フォトモザイク画像生成部30はさらに、置換画像決定部35、画像置換部36、画像データベースクラス分類部37、および蓄積メモリ38を含む構成とされている。
ブロック分割部31は、制作目標画像をブロックに分割する。ここで、ブロックは、例えば、同一のサイズの矩形の形状とされ、それぞれのブロックに、モザイクのタイルとなる画像が1枚貼り付けられるようになされている。
ブロック分割部31は制作目標画像を、例えば、水平方向320画素、垂直方向240画素で構成される矩形のブロックに分割するようになされている。
代表値決定部32は、ブロック分割部31により分割された各ブロックの代表値をそれぞれ決定する。ここで代表値は、例えば、そのブロックの画素値の平均値とされるようにしてもよいし、ブロックの中央の座標位置の画素値とされるようにしてもよい。あるいはまた、ブロック内において予め決められた座標位置の画素値の平均値が代表値とされるようにしてもよい。
クラスセンタ値算出部33は、例えば、K-means法などのクラスタリング手法によりクラス分類するために必要となる各クラスのセンタ値を算出する。後述する制作目標画像クラス分類部34、および画像データベースクラス分類部37では、クラスセンタ値算出部33により算出されたセンタ値に基づくクラス分類が行われるようになされている。
制作目標画像クラス分類部34、および画像データベースクラス分類部37で5つのクラスに分類される場合、クラスセンタ値算出部33は、例えば、制作目標画像の端部の5つのブロックの代表値をそれぞれ5つのクラスのセンタ値として仮設定する。その後、クラスセンタ値算出部33は、各クラスのセンタ値と代表値とを比較することにより、各ブロックを5つのクラスに分類する。
クラスセンタ値算出部33は、例えば、上述したように仮設定されたセンタ値に対応する画素値と、各ブロックの代表値に対応する画素値のRGB成分のそれぞれの差分絶対値二乗和を計算して、各クラスのセンタ値とブロックの代表値との距離を求める。そして、クラスセンタ値算出部33は、最も距離の近いクラスにそのブロックを分類する。
このようにして、所定の個数のブロックが分類された後、クラスセンタ値算出部33は、例えば、各クラスの全ブロックの代表値の平均値を算出するなどして、各クラスのセンタ値をあらためて仮設定する。そして、クラスセンタ値算出部33は、上述した場合と同様に、各クラスのセンタ値とブロックの代表値との距離を求めて、ブロックの分類を再度行なう。
クラスセンタ値算出部33は、例えば、このようにブロックの分類の処理を予め決められた回数に達するまで実行する。その後、クラスセンタ値算出部33は、各クラスの全ブロックの代表値の平均値を算出するなどして得られた値を、それぞれのクラスの最終的なセンタ値として、制作目標画像クラス分類部34、および画像データベースクラス分類部37に供給するようになされている。
また、クラスセンタ値算出部33により算出された各クラスのセンタ値は、画像要求処理部70にも供給されるようになされている。
センタ値は、例えば、クラス毎にRGB成分のそれぞれの値として算出される。例えば、クラス1、クラス2、クラス3、・・・に分類される場合、クラス1のセンタ値は、(235.9444, 147.9211, 71.6848)とされ、クラス2のセンタ値は、(177.6508, 115.0474, 61.7452)とされ、クラス3のセンタ値は、(76.7123, 63.5517, 42.3792)とされ、・・・のように算出される。上述のセンタ値における3つの要素が、それぞれ、R成分、G成分、B成分の値を表している。
なお、上述したセンタ値の算出の方式は、一例であり、他の方式により各クラスのセンタ値が求められるようにしても構わない。
制作目標画像クラス分類部34は、クラスセンタ値算出部33から供給された各クラスのセンタ値に基づいて、ブロック分割部31により分割された各ブロックの画像をクラス分類する。制作目標画像クラス分類部34による分類は、例えば、上述した場合と同様に、各クラスのセンタ値と、各ブロックの代表値との距離を求めることにより行なわれる。
制作目標画像クラス分類部34による各ブロックの画像のクラス分類の結果は、置換画像決定部35、および画像要求処理部70に供給されるようになされている。
画像データベースクラス分類部37は、クラスセンタ値算出部33から供給された各クラスのセンタ値に基づいて、例えば、画像データベース51の画像をクラス分類するようになされている。
画像データベースクラス分類部37による分類は、例えば、上述した場合と同様に、各クラスのセンタ値と、データベースの各画像の代表値との距離を求めることにより行なわれる。ただし、画像データベースクラス分類部37による分類では、最も近いクラスのセンタ値と、データベースの各画像の代表値との距離が閾値を超えている場合、その画像はいずれのクラスにも分類されないようになされている。
画像データベースクラス分類部37による分類に用いられる閾値は、例えば、分類された画像の数に応じて変更されるようになされている。これにより、例えば、所定のクラスに分類された画像の数が極端に少ない場合などは、閾値を大きくすることで、そのクラスに分類される画像の数を増やすようにすることができる。
このように、画像データベースクラス分類部37は、例えば、一度分類された画像の数をクラス毎にチェックし、所定のクラスに分類された画像の数が基準値に満たないと判定された場合は、閾値を変更して再度クラス分類を行うようにしてもよい。
なお、このように閾値を変更した結果、同一の画像が複数のクラスに属するように分類されてしまっても構わない。
画像データベースクラス分類部37によりクラス分類された画像は、それぞれ分類されたクラスと対応付けられて蓄積メモリ38に記憶されるようになされている。
また、画像データベースクラス分類部37による画像データベース51の画像のクラス分類の結果は、画像要求処理部70にも供給されるようになされている。
なお、画像データベース51に記憶されている画像から、ブレやボケを除去するフィルタ処理がさらに施されて、それぞれ分類されたクラスと対応付けられて蓄積メモリ38に記憶されるようにしてもよい。
このようにすることで、出来上がったフォトモザイク画像をさらに美しいものとすることができる。
置換画像決定部35は、制作目標画像クラス分類部34によりクラス分類されたブロックの画像と、蓄積メモリ38に記憶されている画像であって、そのブロックのクラスの画像群とを、例えば、次に示されるような式を用いた計算により照合する処理を実行するようになされている。
画像を照合する処理では、例えば、まず式(1)の演算を行って、Δcの算出が行なわれる。
ここで、ΔR、ΔG、およびΔBは、それぞれブロックの画像の所定の1つの画素と、蓄積メモリ38に記憶されている画像において対応する画素の画素値のRGB成分の値の差分を表している。また、C1RとC2Rは、それぞれブロックの画像の所定の1つの画素のR成分の値と、蓄積メモリ38に記憶されている画像において対応する画素の画素値のR成分の値を表している。
なお、式(1)によりΔcの算出は、例えば、ブロックの画像を構成する画素の全てについて行なわれる。例えば、ブロック内の座標位置xyで表される画素のそれぞれについてΔcが算出される。
そして、画像を照合する処理では、式(2)の演算が行われてCの算出が行なわれる。すなわち、式(1)により算出されたΔcがブロック内の全画素分合計される。
式(2)により算出されたCの値が、蓄積メモリ38に記憶されている画像と対応付けられて記憶され、置換画像決定部35は、蓄積メモリ38に記憶されている画像のそれぞれについてCの値の大小を比較する。すなわち、Cの値は、その画像が当該ブロックに貼り付ける画像としてどれだけ相応しいか(適正度)を表す値となり、Cの値が小さいほど適正な画像であるといえる。
なお、式(1)と式(2)の演算は、制作目標画像のブロックの画素と画像データベースの画素を間引いてから行なわれるようにしてもよい。このようにすることで、例えば、演算量を低減させることができ、処理時間を短縮することができる。
また、上述した画像を照合する処理は一例であり、他の方式により画像の照合が行なわれるようにしてもよい。要は、代表値によりクラス分類された画像データベースの画像の中で、制作目標画像の各ブロックのテクスチャを表現するのに相応しい画像が当該ブロックに貼り付ける(置換する)画像として決定されるようにすればよい。
置換画像決定部35は、例えば、上述のCの値が最も小さい値となった画像を、当該ブロックに貼り付ける(置換する)画像として決定するようになされている。置換画像決定部35は、このように決定された画像を、画像置換部36に供給する。
画像置換部36は、置換画像決定部35から供給された画像を、当該ブロックの画像と置換する。このように、全てのブロックの画像が置換画像決定部35から供給された画像と置換されることによりモザイク画像が生成されるのである。
なお、置換画像決定部35は、例えば、蓄積メモリ38に記憶されている画像に所定のフラグを設定することにより、同じ画像が重複して使用されないように置換画像を決定するようになされている。例えば、蓄積メモリ38に記憶されている画像のうち、同一クラスに分類された全ての画像にフラグが設定されるまでは、まだフラグの設定されていない画像を置換画像として決定するようになされている。同一クラスに分類された全ての画像にフラグが設定された場合、そのクラスの画像のフラグが全てクリアされるようになされている。
あるいはまた、置換画像決定部35が、フラグが設定された画像を全く使用しないのではなく、N近傍でのみ使用しないという制約を設けるようにしてもよい。ここでN近傍とは、1つのブロックに隣接するN個のブロックを意味している。Nの値としては、例えば、8、24などが想定される。
例えば、Nの値が8である場合、N近傍の制約は、例えば、図3に示されるようになる。図3において、各矩形が制作目標画像の各ブロックを表している。例えば、図3に示されるように、図中中央の黒い矩形で示されるブロックに使用された画像は、図中ハッチングで示される8個のブロックには使用されないようになされている。すなわち、N近傍の制約がある場合、置換画像決定部35が、図中ハッチングで示される8個のブロックに貼り付ける画像を、黒い矩形で示されるブロックに使用された画像以外の画像の中から決定することになる。
このようにすることで、例えば、モザイクのタイルとして使用できる画像の数が限られていても美しいモザイク画像を生成することが可能となる。
従来は、例えば、ブロックに貼り付ける画像データベースの画像を決定するにあたり代表値のみを使用しているため、生成されたフォトモザイク画像において制作目標画像のテクスチャを表現できないことが多かった。また、制作目標画像のテクスチャを表現できるように、ブロックの画像と画像データベースの画像と照合する場合、制作目標画像の各ブロックについて、画像データベースの全画像との照合を行わなければならないので、演算量が多く処理に時間がかかっていた。
これに対して、本発明では、制作目標画像の各ブロックをクラス分類し、同じセンタ値を用いて画像データベースの画像をクラス分類し、同一のクラスの画像のみ照合するようにした。これにより、本発明では、生成されたフォトモザイク画像において制作目標画像のテクスチャを表現でき、かつ演算量を削減し処理時間を短縮できるようになった。
図4は、図1の画像要求処理部70の詳細な構成例を示すブロック図である。
同図に示されるように、画像要求処理部70は、画像データベースカウンタ71、制作目標画像カウンタ72、比較部73、および、要求生成部74により構成されている。
画像データベースカウンタ71は、画像データベースクラス分類部37による画像データベース51の画像のクラス分類の結果に基づいて、各クラスに分類された画像の数をカウントするようになされている。
制作目標画像カウンタ72は、制作目標画像クラス分類部34による各ブロックの画像のクラス分類の結果に基づいて、各クラスに分類されたブロックの数をカウントするようになされている。
比較部73は、制作目標画像カウンタ72によりカウントされたブロックの数と、画像データベースカウンタ71によりカウントされた画像の数とを比較する。すなわち、比較部73は、それぞれのクラスに分類された制作目標画像のブロックの数と、それぞれのクラスに分類された画像データベース51の画像の数とを比較する。そして、比較部73は、画像データベース51の画像において不足しているクラスを特定する。
比較部73は、例えば、上述の比較の結果、画像データベース51の画像が、どのクラスにおいて何枚不足しているかを表す情報を要求生成部74に供給する。
要求生成部74は、比較部73から供給された情報と、クラスセンタ値算出部33により算出された各クラスのセンタ値に基づいてリクエストデータを生成するようになされている。すなわち、要求生成部74は、画像データベース51の画像が、どのクラスにおいて何枚不足しているかを表す情報と、その不足しているクラスのセンタ値とを含むリクエストデータを生成する。なお、画像データベースクラス分類部37による分類に用いられる閾値も、リクエストデータに含まれるようにしてもよい。
要求生成部74により生成されたリクエストデータが、上述したように、不足しているクラスの画像を取得するために必要となる情報として、例えば、無線通信などにより撮像装置100に送信されることになる。
このように、画像要求処理部70は、フォトモザイク画像を生成するために必要となる画像データベース51の画像において、不足しているクラスの画像を取得するために必要となる情報を撮像装置100に送信することができる。これにより、撮像装置100は、フォトモザイク画像を生成するために必要となる画像データベース51の画像において、不足しているクラスの画像を撮像して取得することができる。
従来、例えば、画像データベースの画像が充分に用意されていない場合、多くの重複が発生し、生成されたフォトモザイク画像の品質が劣化するという問題があった。
例えば、モザイクのタイルとして同一の画像が多く用いられたフォトモザイク画像は、離れて観察したときに不自然な模様のある画像のように感じられる。特に、人の顔の画像をフォトモザイクにより生成する場合などは、このような不自然な印象を与えるフォトモザイク画像は、品質が低いと言わざるを得ない。
本発明では、例えば、所定のクラスに分類された画像の数が少ない場合などは、撮像装置100に対して、そのクラスの画像の取得を要求することができる。
次に、図5のフローチャートを参照して、図1のフォトモザイク画像生成部30による画像生成処理の詳細な例について説明する。
ステップS61において、フォトモザイク画像生成部30のブロック分割部31は、制作目標画像をブロックに分割する。このとき、ブロック分割部31は、制作目標画像を、例えば、水平方向320画素、垂直方向240画素で構成される矩形のブロックに分割する。
ステップS62において、代表値決定部62は、ステップS61の処理で分割された各ブロックの代表値をそれぞれ決定する。ここで代表値は、例えば、そのブロックの画素値の平均値とされるようにしてもよいし、ブロックの中央の座標位置の画素値とされるようにしてもよい。あるいはまた、ブロック内において予め決められた座標位置の画素値の平均値が代表値とされるようにしてもよい。
図6と図7は、ブロック分割および代表値の決定を説明する図である。
例えば、図6に示されるような画像が制作目標画像として入力された場合、ステップS61の処理では、同図に示される画像が水平方向320画素、垂直方向240画素で構成される矩形のブロックに分割される。いまの場合、人物の顔の画像である図6に示されるような画像が制作目標画像とされている。
そして、ステップS62の処理では、各ブロックの代表値が決定される。図7は、ブロックを分かり易くするために、制作目標画像の各ブロックを、それぞれのブロックの代表値を有する画素により塗りつぶした画像の例である。同図に示されるように、図7に示される人物の顔の画像が矩形のブロックに分割されている。
図5に戻って、ステップS63において、制作目標画像クラス分類部34および画像データベースクラス分類部37は、クラス分類処理を実行する。このとき、クラスセンタ値算出部33、制作目標画像クラス分類部34および画像データベースクラス分類部37は、ステップS62の処理で決定された各ブロックの代表値に基づいて各ブロックの画像と画像データベース51の画像をそれぞれクラス分類する。
ここで、図8のフローチャートを参照して、図5のステップS63のクラス分類処理の詳細な例について説明する。
ステップS81において、クラスセンタ値算出部33は、クラスを設定する。このとき、例えば、5つのクラスが設定される。
ステップS82において、クラスセンタ値算出部33は、例えば、K-means法などのクラスタリング手法によりクラス分類するために必要となる各クラスのセンタ値を算出する。
このとき、クラスセンタ値算出部33は、例えば、制作目標画像の端部の5つのブロックの代表値をそれぞれステップS81の処理で設定された5つのクラスのセンタ値として仮設定する。その後、クラスセンタ値算出部33は、各クラスのセンタ値と代表値とを比較することにより、各ブロックを5つのクラスに分類する。
クラスセンタ値算出部33は、例えば、上述したように仮設定されたセンタ値に対応する画素値と、各ブロックの代表値に対応する画素値のRGB成分のそれぞれの差分絶対値二乗和を計算して、各クラスのセンタ値とブロックの代表値との距離を求める。そして、クラスセンタ値算出部33は、最も距離の近いクラスにそのブロックを分類する。
このようにして、所定の個数のブロックが分類された後、クラスセンタ値算出部33は、例えば、各クラスの全ブロックの代表値の平均値を算出するなどして、各クラスのセンタ値をあらためて仮設定する。そして、クラスセンタ値算出部33は、上述した場合と同様に、各クラスのセンタ値とブロックの代表値との距離を求めて、ブロックの分類を再度行なう。
クラスセンタ値算出部33は、例えば、このようにブロックの分類の処理を予め決められた回数に達するまで実行する。その後、クラスセンタ値算出部33は、各クラスの全ブロックの代表値の平均値を算出するなどして得られた値を、それぞれのクラスの最終的なセンタ値として特定する。
ステップS82の処理では、例えば、このようにして各クラスのセンタ値が特定される。
ステップS83において、制作目標画像クラス分類部34は、ステップS82の処理で特定された各クラスのセンタ値に基づいて、ステップS61の処理で分割された各ブロックの画像をクラス分類する。制作目標画像クラス分類部34による分類は、例えば、上述した場合と同様に、各クラスのセンタ値と、各ブロックの代表値との距離を求めることにより行なわれる。
これにより、例えば、図7に示されるように、ブロックに分割された画像の各ブロックが、図9に示されるようにクラス分類される。図9は、図7に示されるブロックのそれぞれがステップS83の処理を経てクラス分類された例を示す画像である。
同図においては、各ブロックのクラスを、図中のハッチングのパターンにより表現している。同図の例では、制作目標画像の各ブロックがクラス1乃至クラス5の5つのクラスに分類されている。
ステップS84において、画像データベースクラス分類部37は、ステップS82の処理で特定された各クラスのセンタ値に基づいて、例えば、画像データベース51の画像をクラス分類する。
このとき、画像データベースクラス分類部37は、例えば、上述した場合と同様に、各クラスのセンタ値と、データベースの各画像の代表値との距離を求めることによりクラス分類する。ただし、ステップS84の処理では、最も近いクラスのセンタ値と、データベースの各画像の代表値との距離が閾値を超えている場合、その画像はいずれのクラスにも分類されないようになされている。
なお、上述したように、画像データベースクラス分類部37による分類に用いられる閾値は、例えば、分類された画像の数に応じて変更されるようになされている。これにより、例えば、所定のクラスに分類された画像の数が極端に少ない場合などは、閾値を大きくすることで、そのクラスに分類される画像の数を増やすようにすることができる。
ステップS84の処理でクラス分類された画像は、それぞれ分類されたクラスと対応付けられて蓄積メモリ38に記憶されるようになされている。
このようにしてクラス分類処理が実行される。
図5に戻って、ステップS63の処理の後、ステップS64において、置換画像決定部35は、置換画像決定処理を実行する。これにより、制作目標画像の各ブロックの画像が、画像データベース51の画像に置き換えられて、フォトモザイク画像が生成されることになる。
ここで、図10のフローチャートを参照して、図5のステップS64の置換画像決定処理の詳細な例について説明する。
ステップS101において、置換画像決定部35は、制作目標画像のブロックのうち、1つのブロックを抽出する。
ステップS102において、置換画像決定部35は、ステップS101で抽出したブロックについて、ステップS63の処理によりクラス分類されたクラスを特定する。
ステップS103において、置換画像決定部35は、当該ブロックの画像と、画像データベース51から読み出され、蓄積メモリ38に記憶されている画像であって、ステップS102の処理で特定されたクラスの画像群とを照合する。
このとき、例えば、次のような計算により照合する処理が実行される。
例えば、上述したように、式(1)の演算を行って、Δcの算出が行なわれ、式(2)の演算が行われてCの算出が行なわれる。すなわち、式(1)により算出されたΔcがブロック内の全画素分合計される。
なお、式(1)と式(2)の演算は、制作目標画像のブロックの画素と画像データベースの画素を間引いてから行なわれるようにしてもよい。このようにすることで、例えば、演算量を低減させることができ、処理時間を短縮することができる。
そして、このような照合がステップS102の処理で特定されたクラスの画像のそれぞれについて行われ、式(2)により算出されたCの値が、蓄積メモリ38に記憶されている画像と対応付けられて記憶される。
ステップS104において、置換画像決定部35は、ステップS103の処理結果に基づいて、当該ブロックに貼り付ける画像を選択する。
このとき、例えば、置換画像決定部35は、蓄積メモリ38に記憶されている画像のそれぞれについてCの値の大小を比較する。そして、置換画像決定部35は、例えば、上述のCの値が最も小さい値となった画像を、当該ブロックに貼り付ける(置換する)画像として決定する。
ステップS105において、置換画像決定部35は、ステップS104の処理で選択された画像にフラグを設定する。これにより、以後のステップS103の処理では、フラグが設定された画像は除外されて、照合が行なわれるようになる。
例えば、蓄積メモリ38に記憶されている画像のうち、同一クラスに分類された全ての画像にフラグが設定されるまでは、まだフラグの設定されていない画像を置換画像として決定するようになされている。同一クラスに分類された全ての画像にフラグが設定された場合、そのクラスの画像のフラグが全てクリアされるようになされている。
ステップS106において、置換画像決定部35は、次のブロックがあるか否かを判定する。すなわち、まだ置換画像の決定(選択)がなされていない制作目標画像のブロックがあるか否かを判定する。
ステップS106において、次のブロックがあると判定された場合、処理は、ステップS101に戻り、それ以後の処理が繰り返し実行される。
ステップS106において、次のブロックがないと判定された場合、置換画像決定処理は終了する。
なお、ここでは、フラグが設定されることにより、同じ画像が重複して使用されないように置換画像を決定する例について説明したが、図3を参照して上述したN近傍の制約により同じ画像が重複して使用されないようにしてもよい。
このようにして、置換画像決定処理が実行される。
図5に戻って、ステップS64の処理の後、ステップS65において、画像置換部36は、ステップS104の処理で選択された画像を、当該ブロックの画像と置換する。このように、全てのブロックの画像がステップS104の処理で選択された画像と置換されることによりフォトモザイク画像が生成されるのである。
これにより、例えば、図11に示されるようなフォトモザイク画像が生成される。図11は、図6の制作目標画像に対応するフォトモザイク画像の例を示す図である。
すなわち、図6に示される制作目標画像が、図7に示されるようにブロックに分割され、図9に示されるようにクラス分類される。そして、各ブロックの画像と、分類されたクラスの画像との照合が行われて、各ブロックの画像が、画像データベース51の画像に置き換えられる。このようにして、図6に示される制作目標画像から、図11に示されるようなフォトモザイク画像が生成されるのである。
このようにして、画像生成処理が実行される。
なお、上述した画像生成処理は、フォトモザイク画像を生成するために必要となる画像が、画像データベース51に既に蓄積されていることを前提に実行される。画像データベース51の画像において、フォトモザイク画像を生成するために必要となる画像が不足している場合、画像生成処理に先立って、後述する素材画像要求処理が実行されるようになされている。
次に、図12のフローチャートを参照して、フォトモザイク画像生成装置10による素材画像要求処理の例について説明する。
ステップS121において、フォトモザイク画像生成部30のブロック分割部31は、制作目標画像をブロックに分割する。このとき、ブロック分割部31は、制作目標画像を、例えば、水平方向320画素、垂直方向240画素で構成される矩形のブロックに分割する。
ステップS122において、代表値決定部62は、ステップS121の処理で分割された各ブロックの代表値をそれぞれ決定する。ここで代表値は、例えば、そのブロックの画素値の平均値とされるようにしてもよいし、ブロックの中央の座標位置の画素値とされるようにしてもよい。あるいはまた、ブロック内において予め決められた座標位置の画素値の平均値が代表値とされるようにしてもよい。
ステップS123において、制作目標画像クラス分類部34および画像データベースクラス分類部37は、クラス分類処理を実行する。このとき、クラスセンタ値算出部33、制作目標画像クラス分類部34および画像データベースクラス分類部37は、ステップS122の処理で決定された各ブロックの代表値に基づいて各ブロックの画像と画像データベース51の画像をそれぞれクラス分類する。
ステップS123のクラス分類処理は、図5を参照して上述したステップS63のクラス分類処理と同様の処理なので詳細な説明は省略する。
ステップS124において、画像要求処理部70は、図13を参照して後述する要求生成処理を実行する。これにより、上述したリクエストデータが生成されて、撮像装置100に送信される。
ここで、図13のフローチャートを参照して、図12のステップS124の要求生成処理の詳細な例について説明する。
ステップS141において、画像データベースカウンタ71は、画像データベースクラス分類部37による画像データベース51の画像のクラス分類(図8のステップS84の処理)の結果に基づいて、各クラスに分類された画像の数をカウントする。
ステップS142において、制作目標画像カウンタ72は、制作目標画像クラス分類部34による各ブロックの画像のクラス分類(図8のステップS83の処理)の結果に基づいて、各クラスに分類されたブロックの数をカウントする。
ステップS143において、比較部73は、ステップS142の処理でカウントされたブロックの数と、ステップS141の処理でカウントされた画像の数とを比較する。すなわち、ステップS143の処理では、それぞれのクラスに分類された制作目標画像のブロックの数と、それぞれのクラスに分類された画像データベース51の画像の数とが比較される。
ステップS144において、比較部73は、ステップS143の比較の結果に基づいて、取得すべき画像の数をクラス毎に特定する。すなわち、比較部73は、画像データベース51の画像において不足しているクラスを特定し、画像データベース51の画像が、どのクラスにおいて何枚不足しているかを表す情報を生成する。この情報は、要求生成部74に供給される。
ステップS145において、要求生成部74は、クラスセンタ値算出部33により算出された(図8のステップS82の処理)各クラスのセンタ値、および画像データベースクラス分類部37による分類(ステップS84の処理)に用いられた閾値を特定する。
ステップS146において、要求生成部74は、ステップS144の処理により得られた情報と、ステップS145の処理により得られたセンタ値および閾値に基づいてリクエストデータを生成する。すなわち、ステップS146の処理では、画像データベース51の画像が、どのクラスにおいて何枚不足しているかを表す情報と、その不足しているクラスのセンタ値(および閾値)とを含むリクエストデータが生成される。
なお、例えば、実際に不足している画像の枚数に対して所定の割合だけ増加させた枚数がリクエストデータにより送信されるようにしてもよい。このようにすることで、制作目標画像の各ブロックにより適した画像を収集することができると考えられるからである。
ステップS147において、ステップS146で生成されたリクエストデータが、不足しているクラスの画像を取得するために必要となる情報として、例えば、無線通信などにより撮像装置100に送信される。
このようにして、要求生成処理が実行される。
このようすることで、フォトモザイク画像を生成するために必要となる画像データベース51の画像において、不足しているクラスの画像を取得するために必要となる情報を撮像装置100に送信することができる。これにより、撮像装置100は、フォトモザイク画像を生成するために必要となる画像データベース51の画像において、不足しているクラスの画像を撮像して取得することができる。
次に、撮像装置100について説明する。図14は、図1の撮像装置100の詳細な構成例を示すブロック図である。
同図に示されるように、撮像装置100は、画像取得部121、判定部122、判定結果出力部123、保存部124、画像取得スイッチ125、画像保存用メモリ126、保存画像送出部127、要求取得部128、および要求メモリ129を含む構成とされる。
要求取得部128は、フォトモザイク画像生成装置10から送信されたリクエストデータを取得するようになされている。要求取得部128は、例えば、無線通信、有線通信などによりフォトモザイク画像生成装置10との間で情報の送受信を行う通信インタフェースとして構成される。あるいはまた、要求取得部128は、リクエストデータが記録されたメモリカードなどが装着されるドライブとして構成されるようにしてもよい。
要求メモリ129は、要求取得部128により取得されたリクエストデータを保持するようになされている。
画像取得部121は、例えば、CCDなどを用いた撮像素子などを含む構成とされ、図示せぬレンズを介して集光された光に対応する画像のデータを生成するようになされている。
判定部122は、要求メモリ129に保持されているリクエストデータの内容に基づいて、画像取得部121により取得された画像がフォトモザイク画像生成装置10により要求されているものであるか否かを判定する。
判定部122は、例えば、画像取得部121から動画像のデータとして供給されるデータから所定のフレームの画像を抽出し、その画像の代表値を特定する。そして、判定部122は、例えば、画像データベースクラス分類部37と同様に、リクエストデータに含まれる各クラスのセンタ値および閾値に基づいてクラス分類を行う。すなわち、判定部122は、各クラスのセンタ値と画像取得部121から得られた画像の代表値との距離を求めることにより、その画像についてのクラス分類を行うのである。さらに、判定部122は、上述したクラス分類の結果、その画像は、不足しているクラスの画像に対応する画像であるか否かを判定する。
ここでは、判定部122による判定が、その画像は、不足しているクラスの画像に対応する画像であるか否かのみを判定するものである場合の例について説明したが、それ以外の条件について判定されるようにしてもよい。
例えば、判定部122は、既に撮像して保存した画像(画像保存用メモリ126の画像)と類似する画像であるか否かをさらに判定するようにしてもよい。すなわち、判定部122は、その画像が不足しているクラスの画像に対応する画像であって、既に撮像して保存した画像と類似していない画像であるか否かを判定するようにしてもよい。
例えば、フォトモザイク画像において、似たような画像が隣り合うブロックに貼り付けられている場合、同じ画像が重複して使用された場合と同様な視覚的効果を奏する場合がある。似たような画像ばかりが保存されてしまうことを抑止するために、例えば、画像保存用メモリ126の画像と、画像取得部121から得られた画像との類似度を算出し、類似度が閾値以下の画像のみがフォトモザイク画像生成装置10により要求されているものであると判定されるようにしてもよい。なお、画像の類似度は、例えば、ブロックマッチング法などにより求められる値を用いることができる。
あるいはまた、既に撮像して保存した画像のブレ、ボケ、ノイズなどがさらに考慮されるようにしてもよい。例えば、既に撮像して保存した画像のブレ、ボケ、ノイズが多い場合は、類似度が閾値を超える画像であってもフォトモザイク画像生成装置10により要求されているものであると判定されるようにしてもよい。
判定結果出力部123は、判定部122により行なわれた判定結果に基づいて、当該画像がフォトモザイク画像生成装置10により要求されているものであるか否かをユーザに提示する。例えば、当該画像が不足しているクラスの画像に対応する画像であるか否かを表す情報がユーザに提示される。不足しているクラスの画像に対応する画像であるか否かを表す情報の提示は、例えば、撮像装置100の図示せぬ液晶モニタなどに表示されることによりなされるようにしてもよいし、予め設定された音声がスピーカから出力されることによりなされるようにしてもよい。
このとき、例えば、各クラスのセンタ値と画像取得部121から得られた画像の代表値との距離に応じて、液晶モニタに表示される画像の色や形が変化したり、スピーカから出力される音声の高低が変化したりするようにしてもよい。このようにすることで、ユーザは、現在撮像されている画像が、画像がフォトモザイク画像生成装置10により要求されているものにどれだけ近い画像であるかを認識することができる。
画像取得部121から得られた画像のデータは、判定部122、判定結果出力部123を経て保存部124に供給される。
保存部124は、画像取得スイッチ125により指定されたタイミングで画像のデータを保存するようになされている。画像取得スイッチ125は、例えば、撮像装置100のシャッタなどとして構成され、シャッタが押下されたとき、画像(静止画像)のデータが画像保存用メモリ126に保存されるのである。
ユーザは、例えば、上述した判定結果出力部123により提示された情報に基づいて画像取得スイッチ125を操作する。このようにして保存部124に保存された画像のデータは、例えば、その画像のクラス分類の結果を表す情報などと対応付けられて画像保存用メモリ126に記憶されるようになされている。
なお、不足しているクラスの画像が保存された場合、保存部124から出力される情報に基づいて、要求メモリ129に記憶されているリクエストデータの内容が更新されるようになされている。すなわち、不足しているクラスの画像が1枚保存された場合、当該クラスの画像として不足している画像の数が1だけデクリメントされるようになされている。
なお、上述した判定結果出力部123により提示される情報は、不足している画像の枚数に応じて変化するようにしてもよい。このようにすることで、ユーザは、あとどれくらい画像を撮像する必要があるのかを認識することができる。
保存画像送出部127は、画像保存用メモリに記憶されている画像のデータを、フォトモザイク画像生成装置10に送出するようになされている。画像の送出は、例えば、有線または無線の通信により行われるようにしてもよいし、メモリカードなどを介して行なわれるようにしてもよい。
このようにして送出された画像のデータは、例えば、画像データベース51に蓄積され、図5を参照して上述した画像生成処理に用いられることになる。
撮像装置100は、このように構成されるので、フォトモザイク画像において制作目標画像のテクスチャを表現でき、制作目標画像の各ブロックに貼り付けるのに相応しい画像を適切に撮像することができる。
フォトモザイク画像を生成する際に、モザイクのタイルとして採用する画像としては、例えば、一面赤や青などの物体が撮影された写真などは相応しくない。フォトモザイク画像は、例えば、離れて観察した場合と、近くで観察した場合とで、観察者の印象が大きく異なるところに美的特徴があるといえるからである。従来、一般のユーザがそのようなモザイクのタイルとして相応しい画像を意図的に撮影することは困難であり、その結果、画像データベースなどを構築することが難しかった。
これに対して、本発明では、撮像装置100において、現在撮像されている画像が、フォトモザイク画像生成装置10により要求されているものであるか否が判定され、判定結果が提示される。従って、本発明によれば、一般のユーザがモザイクのタイルとして相応しい画像を意図的に撮影することが可能となる。
その結果、本発明によれば、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるのである。
次に、図15のフローチャートを参照して、撮像装置100による画像取得処理について説明する。
ステップS201において、要求取得部128は、フォトモザイク画像生成装置10から送信されたリクエストデータを取得する。要求取得部128により取得されたリクエストデータは、要求メモリ129に保持される。
ステップS202において、画像取得部121は、画像を取得する。このとき、例えば、CCDなどを用いた撮像素子などによってレンズを介して集光された光に対応する画像のデータが生成される。
ステップS203において、判定部122は、ステップS201の処理で取得されたリクエストデータの内容に基づいて、ステップS202の処理で取得された画像がフォトモザイク画像生成装置10により要求されているものであるか否かを判定する。
このとき、判定部122は、例えば、ステップS201で取得されたデータから所定のフレームの画像を抽出し、その画像の代表値を特定する。そして、判定部122は、リクエストデータに含まれる各クラスのセンタ値および閾値に基づいてクラス分類を行う。すなわち、判定部122は、各クラスのセンタ値と画像取得部121から得られた画像の代表値との距離を求めることにより、その画像についてのクラス分類を行うのである。さらに、判定部122は、上述したクラス分類の結果、その画像は、不足しているクラスの画像に対応する画像であるか否かを判定する。
なお、例えば、判定部122は、既に撮像して保存した画像と類似する画像であるか否かをさらに判定するようにしてもよい。すなわち、判定部122は、その画像が不足しているクラスの画像に対応する画像であって、既に撮像して保存した画像と類似していない画像であるか否かを判定するようにしてもよい。
あるいはまた、既に撮像して保存した画像のブレ、ボケ、ノイズなどがさらに考慮されるようにしてもよい。例えば、既に撮像して保存した画像のブレ、ボケ、ノイズが多い場合は、類似度が閾値を超える画像であってもフォトモザイク画像生成装置10により要求されているものであると判定されるようにしてもよい。
ステップS204において、判定結果出力部123は、ステップS203の処理により行なわれた判定結果に基づいて、当該画像がフォトモザイク画像生成装置10により要求されているものであるか否かをユーザに提示する。例えば、当該画像が不足しているクラスの画像に対応する画像であるか否かを表す情報が提示される。不足しているクラスの画像に対応する画像であるか否かを表す情報の提示は、例えば、撮像装置100の図示せぬ液晶モニタなどに表示されることによりなされるようにしてもよいし、予め設定された音声がスピーカから出力されることによりなされるようにしてもよい。
このとき、例えば、各クラスのセンタ値と画像取得部121から得られた画像の代表値との距離に応じて、液晶モニタに表示される画像の色や形が変化したり、スピーカから出力される音声の高低が変化したりするようにしてもよい。このようにすることで、ユーザは、現在撮像されている画像が、画像がフォトモザイク画像生成装置10により要求されているものにどれだけ近い画像であるかを認識することができる。
ステップS205において、保存部124は、画像取得スイッチ125(シャッタ)が押されたか否かを判定し、押されていないと判定された場合、処理は、ステップS202に戻り、それ以降の処理が繰り返し実行される。ステップS205において、画像取得スイッチ125(シャッタ)が押されたと判定された場合、処理は、ステップS206に進む。
ステップS206において、保存部124は、画像のデータを保存する。ユーザは、例えば、ステップS204の処理で提示された情報に基づいて画像取得スイッチ125を操作する。シャッタが押下されたとき、画像(静止画像)のデータが保存部124に保存されるのである。保存部124に保存された画像のデータは、例えば、その画像のクラス分類の結果を表す情報などと対応付けられて画像保存用メモリ126に記憶されるようになされている。
なお、不足しているクラスの画像が保存された場合、保存部124から出力される情報に基づいて、要求メモリ129に記憶されているリクエストデータの内容が更新されるようになされている。すなわち、不足しているクラスの画像が1枚保存された場合、当該クラスの画像として不足している画像の数が1だけデクリメントされるようになされている。
ステップS207において、保存画像送出部127は、画像保存用メモリに記憶されている画像のデータを、フォトモザイク画像生成装置10に送出するようになされている。このとき、例えば、有線または無線の通信により画像が送出される。あるいはまた、メモリカードなどを介して画像が送出されるようにしてもよい。
ステップS207の処理は、例えば、ユーザが画像のデータの送出を指令したときにのみなされるようにしてもよい。
なお、ステップS207の処理により送出された画像のデータは、例えば、画像データベース51に蓄積され、図5を参照して上述した画像生成処理に用いられることになる。
このようにして、画像取得処理が実行される。このようにすることで、一般のユーザがモザイクのタイルとして相応しい画像を意図的に撮影することが可能となる。その結果、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるのである。
図14と図15を参照して上述した例においては、ユーザが、判定結果出力部123により提示された情報に基づいて画像取得スイッチ125を操作し、そのタイミングで画像が保存される例について説明した。
このようにすることで、例えば、スピーカから出力される音の高低などの変化に応じて、ユーザは適切なアングルを探して画像を撮像することができるので、例えば、適切なアングルを探す過程をゲーム感覚で楽しむことができる。
また、このようにすることで、例えば、ユーザは、撮像装置100(カメラ)で写真を撮る都度、フォトモザイク画像のタイルとして用いる画像として相応しい画像の特徴を覚えていくことができる。フォトモザイク画像を生成する際に、モザイクのタイルとして採用する画像としては、例えば、一面赤や青などの物体が撮影された写真などは相応しくない。フォトモザイク画像は、例えば、離れて観察した場合と、近くで観察した場合とで、観察者の印象が大きく異なるところに美的特徴があるといえるからである。従って、例えば、一見すると赤や青などの色の画像とは見えない画像であっても、離れて観察した場合、赤や青などの色の画像として見える画像がフォトモザイク画像のタイルとして用いる画像として相応しい画像と言える。
図14と図15を参照して上述した例においては、ユーザがこのような色感覚を身に付けることができるのである。
一方で、現在撮像されている画像がフォトモザイク画像生成装置10により要求されているものである場合、撮像装置100が自動的に保存してしまうようにすることも可能である。
図16は、図1の撮像装置100の別の詳細な構成例を示すブロック図である。
同図において、画像取得部131、判定部132は、それぞれ図14の画像取得部121、判定部122と同様のものなので詳細な説明は省略する。また、図16の画像保存用メモリ136乃至要求メモリ139は、それぞれ図14の画像保存用メモリ126乃至要求メモリ129と同様のものなので詳細な説明は省略する。
図16の例では、図14の場合と異なり、判定結果出力部123乃至画像取得スイッチ125が設けられていない。また、図16の例では、図14の場合と異なり、自動保存部133が設けられている。
自動保存部133は、判定部132により行なわれた判定結果に基づいて、当該画像がフォトモザイク画像生成装置10により要求されているものであると判定された場合、当該画像を自動的に保存するようになされている。
すなわち、図16の例では、現在撮像されている画像がフォトモザイク画像生成装置10により要求されているものである場合、撮像装置100が自動的に保存してしまうのである。このようにすることで、例えば、ユーザは、撮像装置100のレンズをいろいろな被写体に向けるだけで、自動的にフォトモザイク画像生成装置10により要求されている画像が取得されるようにすることができる。
次に、図17のフローチャートを参照して、図1の撮像装置100が図16のように構成される場合の画像取得処理について説明する。
ステップS221において、要求取得部138は、フォトモザイク画像生成装置10から送信されたリクエストデータを取得する。要求取得部138により取得されたリクエストデータは、要求メモリ139に保持される。
ステップS222において、画像取得部131は、画像を取得する。このとき、例えば、CCDなどを用いた撮像素子などによってレンズを介して集光された光に対応する画像のデータが生成される。
ステップS223において、判定部132は、ステップS221の処理で取得されたリクエストデータの内容に基づいて、ステップS222の処理で取得された画像を解析する。すなわち、当該画像がフォトモザイク画像生成装置10により要求されているものであるか否かを判定するための解析が行われる。
このとき、判定部132は、例えば、ステップS221で取得されたデータから所定のフレームの画像を抽出し、その画像の代表値を特定する。そして、判定部132は、リクエストデータに含まれる各クラスのセンタ値および閾値に基づいてクラス分類を行う。すなわち、判定部132は、各クラスのセンタ値と画像取得部131から得られた画像の代表値との距離を求めることにより、その画像についてのクラス分類を行うのである。さらに、判定部132は、上述したクラス分類の結果、その画像は、不足しているクラスの画像に対応する画像であるか否かを解析する。
なお、例えば、判定部132は、既に撮像して保存した画像と類似する画像であるか否かをさらに解析するようにしてもよい。すなわち、判定部132は、その画像が不足しているクラスの画像に対応する画像であって、既に撮像して保存した画像と類似していない画像であるか否かを解析するようにしてもよい。
あるいはまた、既に撮像して保存した画像のブレ、ボケ、ノイズなどがさらに考慮されるようにしてもよい。
ステップS224において、自動保存部133は、ステップS223の処理により行なわれた解析結果に基づいて、ステップS222で取得した画像がフォトモザイク画像生成装置10により要求されているものか否かを判定する。ステップS224において、フォトモザイク画像生成装置10により要求されているものではないと判定された場合、処理は、ステップS222に戻り、それ以降の処理が繰り返し実行される。
ステップS224において、フォトモザイク画像生成装置10により要求されているものであると判定された場合、処理は、ステップS225に進む。
ステップS225において、自動保存部133は、画像のデータを保存する。自動保存部133に保存された画像のデータは、例えば、その画像のクラス分類の結果を表す情報などと対応付けられて画像保存用メモリ136に記憶されるようになされている。
なお、不足しているクラスの画像が保存された場合、自動保存部133から出力される情報に基づいて、要求メモリ139に記憶されているリクエストデータの内容が更新されるようになされている。すなわち、不足しているクラスの画像が1枚保存された場合、当該クラスの画像として不足している画像の数が1だけデクリメントされるようになされている。
ステップS226において、保存画像送出部137は、画像保存用メモリ136に記憶されている画像のデータを、フォトモザイク画像生成装置10に送出するようになされている。このとき、例えば、有線または無線の通信により画像が送出される。あるいはまた、メモリカードなどを介して画像が送出されるようにしてもよい。
ステップS226の処理は、例えば、ユーザが画像のデータの送出を指令したときにのみなされるようにしてもよい。
なお、ステップS226の処理により送出された画像のデータは、例えば、画像データベース51に蓄積され、図5を参照して上述した画像生成処理に用いられることになる。
画像取得処理は、このように実行されるようにしてもよい。このようにすることで、例えば、図15の例の場合と比較して、美しいフォトモザイクを生成するために必要となる画像をさらに簡単に収集することができる。
以上においては、撮像装置100は、デジタルカメラなどにより構成されると説明したが、例えば、携帯電話など撮像部を含む電子機器により構成されるようにすることも勿論可能である。
また、制作目標画像、画像データベース51に記憶される画像は、写真だけではなく、絵などをスキャナで取り込んで得られた画像やCG(Computer Graphics)など、どのような画像であってもよい、
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図16に示されるような汎用のパーソナルコンピュータ700などに、ネットワークや記録媒体からインストールされる。
図18において、CPU(Central Processing Unit)701は、ROM(Read Only Memory)702に記憶されているプログラム、または記憶部708からRAM(Random Access Memory)703にロードされたプログラムに従って各種の処理を実行する。RAM703にはまた、CPU701が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU701、ROM702、およびRAM703は、バス704を介して相互に接続されている。このバス704にはまた、入出力インタフェース705も接続されている。
入出力インタフェース705には、キーボード、マウスなどよりなる入力部706、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部707が接続されている。また、入出力インタフェース705には、ハードディスクなどより構成される記憶部708、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部709が接続されている。通信部709は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース705にはまた、必要に応じてドライブ710が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア711が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部708にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア711などからなる記録媒体からインストールされる。
なお、この記録媒体は、図18に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フロッピディスク(登録商標)を含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア711により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM702や、記憶部708に含まれるハードディスクなどで構成されるものも含む。
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
10 フォトモザイク画像生成装置, 30 フォトモザイク画像生成部, 31 ブロック分割部, 32 代表値決定部, 33 クラスセンタ値算出部, 34 制作目標画像クラス分類部, 35 置換画像決定部, 36 画像置換部, 37 画像データベースクラス分類部, 38 蓄積メモリ, 51 画像データベース, 70 画像要求処理部, 71 画像データベースカウンタ, 72 制作目標画像カウンタ, 73 比較部, 74 要求生成部, 100 撮像装置, 121 画像取得部, 122 判定部, 123 判定結果出力部, 124 保存部, 125 画像取得スイッチ, 126 画像保存用メモリ, 127 保存画像送出部, 128 要求取得部, 129 要求メモリ, 133 自動保存部
Claims (14)
- 画像処理装置から出力されるリクエストデータを取得するリクエストデータ取得手段と、
前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定する判定手段と、
前記判定結果をユーザに提示する提示手段と、
前記ユーザにより指令されたタイミングで前記入力画像を保存する保存手段と
を備える撮像装置。 - 前記リクエストデータには、予め設定された複数のクラスおよび前記クラスのそれぞれのセンタ値の情報が含まれ、
前記判定手段は、
前記入力画像の代表値と前記センタ値との距離を算出することにより、前記入力画像を前記複数のクラスのいずれかに分類し、
前記入力画像のクラスの画像が不足している旨の情報が前記リクエストデータに含まれている場合、前記入力画像を前記画像処理装置により要求された画像であると判定する
請求項1に記載の撮像装置。 - 前記リクエストデータには、前記入力画像を前記複数のクラスのいずれかに分類するための閾値がさらに含まれ、
前記判定手段は、前記入力画像の代表値と前記センタ値との距離が前記閾値以下である場合、前記入力画像を前記センタ値に対応するクラスに分類する
請求項2に記載の撮像装置。 - 前記判定手段は、
前記保存手段により既に保存された画像と、前記入力画像との類似度をさらに判定し、
前記入力画像のクラスの画像が不足している旨の情報が前記リクエストデータに含まれている場合、前記類似度が閾値以下であるとき、前記入力画像を前記画像処理装置により要求された画像であると判定する
請求項2に記載の撮像装置。 - 前記判定手段により、前記画像処理装置により要求された画像であると判定された前記入力画像を、前記ユーザの指令に係らず保存する自動保存手段をさらに備える
請求項2に記載の撮像装置 - 前記保存した入力画像のそれぞれを、フォトモザイク画像の生成に用いられる素材画像として前記画像処理装置に送出する送出手段をさらに備える
請求項1に記載の撮像装置。 - リクエストデータ取得手段が、画像処理装置から出力されるリクエストデータを取得し、
判定手段が、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定し、
提示手段が、前記判定結果をユーザに提示し、
保存手段が、前記ユーザにより指令されたタイミングで前記入力画像を保存するステップ
を含む撮像方法。 - コンピュータを、
画像処理装置から出力されるリクエストデータを取得するリクエストデータ取得手段と、
前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定する判定手段と、
前記判定結果をユーザに提示する提示手段と、
前記ユーザにより指令されたタイミングで前記入力画像を保存する保存手段とを備える撮像装置として機能させる
プログラム。 - 入力画像を、複数のブロックに分割する分割手段と、
前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類するブロック画像クラス分類手段と、
前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類する素材画像クラス分類手段と、
前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較する比較手段と、
前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定する不足画像特定手段と、
前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成するリクエストデータ生成手段と、
前記生成されたリクエストデータを、撮像装置に送出する送出手段と
を備える画像処理装置。 - 前記ブロックのクラスと同じクラスに分類された素材画像のそれぞれと、前記ブロックの画像とを予め決められた基準で照合することにより前記ブロックに貼り付ける素材画像を決定する素材画像決定手段と、
前記ブロックのそれぞれに前記決定された素材画像を貼り付けることで、前記入力画像に対応するフォトモザイク画像を生成するフォトモザイク画像生成手段と
をさらに備える請求項9に記載の画像処理装置。 - 前記素材画像決定手段は、
前記ブロックのクラスに分類された素材画像の画素値と、前記ブロックの画像における対応する画素の画素値の距離に基づいて、前記ブロックに貼り付ける素材画像の適正度を算出することで、前記照合を行う
請求項10に記載の画像処理装置。 - 前記ブロック画像クラス分類手段は、
前記ブロックの画像の代表値に基づいて、前記複数のクラスのセンタ値を算出するセンタ値算出手段を備え、
前記センタ値と前記ブロックの画像の代表値との距離に基づいて、前記ブロックの画像を前記複数のクラスに分類し、
前記素材画像クラス分類手段は、
前記センタ値と前記素材画像の代表値との距離、および前記距離の閾値に基づいて、前記素材画像を前記複数のクラスに分類する
請求項9に記載の画像処理装置。 - 分割手段が、入力画像を、複数のブロックに分割し、
ブロック画像クラス分類手段が、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類し、
素材画像クラス分類手段が、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類し、
比較手段が、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較し、
不足画像特定手段が、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定し、
リクエストデータ生成手段が、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成し、
送出手段が、前記生成されたリクエストデータを、撮像装置に送出するステップ
を含む画像処理方法。 - コンピュータを、
入力画像を、複数のブロックに分割する分割手段と、
前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類するブロック画像クラス分類手段と、
前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類する素材画像クラス分類手段と、
前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較する比較手段と、
前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定する不足画像特定手段と、
前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成するリクエストデータ生成手段と、
前記生成されたリクエストデータを、撮像装置に送出する送出手段とを備える画像処理装置として機能させる
プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009204424A JP2011055398A (ja) | 2009-09-04 | 2009-09-04 | 撮像装置および方法、画像処理装置および方法、並びにプログラム |
US12/845,239 US20110058057A1 (en) | 2009-09-04 | 2010-07-28 | Image capture device and method, image processing device and method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009204424A JP2011055398A (ja) | 2009-09-04 | 2009-09-04 | 撮像装置および方法、画像処理装置および方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011055398A true JP2011055398A (ja) | 2011-03-17 |
Family
ID=43647464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009204424A Withdrawn JP2011055398A (ja) | 2009-09-04 | 2009-09-04 | 撮像装置および方法、画像処理装置および方法、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20110058057A1 (ja) |
JP (1) | JP2011055398A (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011054080A (ja) * | 2009-09-04 | 2011-03-17 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US9141255B2 (en) * | 2010-12-21 | 2015-09-22 | Disney Enterprises, Inc. | Mosaic generation from user-created content |
US8849047B2 (en) * | 2012-07-10 | 2014-09-30 | Facebook, Inc. | Methods and systems for determining image similarity |
CN102930521A (zh) * | 2012-10-15 | 2013-02-13 | 上海电机学院 | 一种镶嵌图片的生成方法 |
US9251169B2 (en) * | 2013-01-18 | 2016-02-02 | UDC Software LLC | Systems and methods for creating photo collages |
US10311329B2 (en) * | 2015-01-30 | 2019-06-04 | International Business Machines Corporation | Social connection via real-time image comparison |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6128416A (en) * | 1993-09-10 | 2000-10-03 | Olympus Optical Co., Ltd. | Image composing technique for optimally composing a single image from a plurality of digital images |
JPH0951464A (ja) * | 1995-08-08 | 1997-02-18 | Canon Inc | 映像入力装置 |
JP2980032B2 (ja) * | 1996-08-15 | 1999-11-22 | 日本電気株式会社 | コネクションレスデータ通信方式 |
US6137498A (en) * | 1997-01-02 | 2000-10-24 | Runaway Technology, Inc. | Digital composition of a mosaic image |
EP0961228A3 (en) * | 1998-05-29 | 2001-03-21 | Canon Kabushiki Kaisha | Image processing method and apparatus |
US6633685B1 (en) * | 1998-08-05 | 2003-10-14 | Canon Kabushiki Kaisha | Method, apparatus, and storage media for image processing |
US7012623B1 (en) * | 1999-03-31 | 2006-03-14 | Canon Kabushiki Kaisha | Image processing method and apparatus |
US6927874B1 (en) * | 1999-04-02 | 2005-08-09 | Canon Kabushiki Kaisha | Image processing method, apparatus and storage medium therefor |
US7542070B2 (en) * | 2000-01-17 | 2009-06-02 | Fujifilm Corporation | Image processing apparatus, and photographing system for receiving and creating processing information |
JP4066803B2 (ja) * | 2002-12-18 | 2008-03-26 | 株式会社ニコン | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ |
CA2442603C (en) * | 2003-10-01 | 2016-11-22 | Aryan Saed | Digital composition of a mosaic image |
ES2304225B1 (es) * | 2007-03-15 | 2009-10-01 | Vicente Atares Martinez | Procedimiento para la confeccion de mosaicos. |
JP4853425B2 (ja) * | 2007-08-14 | 2012-01-11 | ソニー株式会社 | 撮像装置、撮像方法およびプログラム |
WO2009090901A1 (ja) * | 2008-01-15 | 2009-07-23 | Comap Incorporated | モザイク画像生成装置、方法及びプログラム |
-
2009
- 2009-09-04 JP JP2009204424A patent/JP2011055398A/ja not_active Withdrawn
-
2010
- 2010-07-28 US US12/845,239 patent/US20110058057A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20110058057A1 (en) | 2011-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101605983B1 (ko) | 얼굴 검출을 이용한 이미지 재구성 | |
JP5818799B2 (ja) | デジタル画像の美的品質の推定方法 | |
TWI338265B (en) | System, apparatus, method and program for processing image | |
CN102741879B (zh) | 由单眼图像产生深度图的方法及其*** | |
RU2636668C2 (ru) | Способ и устройство для отображения изображений | |
US8290281B2 (en) | Selective presentation of images | |
US20170285916A1 (en) | Camera effects for photo story generation | |
JP5527592B2 (ja) | 画像処理装置および方法、並びにプログラム | |
US20110050723A1 (en) | Image processing apparatus and method, and program | |
JP2011054081A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2011055398A (ja) | 撮像装置および方法、画像処理装置および方法、並びにプログラム | |
CN105323456A (zh) | 用于拍摄装置的图像预览方法、图像拍摄装置 | |
CN103201769A (zh) | 图像处理装置、图像处理方法、程序、集成电路 | |
JP6016489B2 (ja) | 画像処理装置、画像処理装置の制御方法、プログラム | |
CN108401112A (zh) | 图像处理方法、装置、终端及存储介质 | |
KR20150112535A (ko) | 비디오 대표 이미지 관리 장치 및 방법 | |
JP2011054080A (ja) | 画像処理装置および方法、並びにプログラム | |
CN108353127A (zh) | 基于深度相机的图像稳定 | |
CN105580050A (zh) | 提供图像中的控制点 | |
CN112839167B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
JP7027101B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP6340675B1 (ja) | オブジェクト抽出装置、オブジェクト認識システム及びメタデータ作成システム | |
JP2014170979A (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
KR20170077000A (ko) | 콘텐츠 인식 기술 기반 콘텐츠 자동 생성 방법 및 시스템 | |
CN112399250A (zh) | 基于图像识别的影视节目海报生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20121106 |