JP2007179389A - 撮影装置 - Google Patents

Abstract

【課題】画像データに基づいて被写体の特徴を抽出する際に、正確な特徴が得られるようにする。
【解決手段】操作に応じて画像データの任意の領域を指定する領域指定手段と、指定された領域の画像データに基づいて被写体の特徴を抽出し、特徴を被写体情報検索における検索キーとして出力する。領域指定の方法として、例えば領域を決める枠の形状、大きさ、画像データ上の位置を変えられるようにする。これにより領域内の余計な（特徴抽出に悪影響を与える）被写体を排除できる。
【選択図】図１１

Description

本発明は、電子カメラやカメラ機能付き携帯電話機などの撮影装置、特に撮像した画像から被写体の特徴を抽出して被写体検索を行うものに関する。

例えば花を撮像した際に、得られた画像データから画像認識によって花の特徴を抽出し、その特徴データに基づいて花データベースから花の名前などを検索し、検索結果を表示できるようにした電子カメラが提案されている（例えば、特許文献１参照）。このような検索機能をカメラに持たせることで、名前の知らない花を見つけたときに、その花を撮影するだけで手軽に花の名前等を知ることができる。

特開２００２−２４７４３６号公報

画像データから被写体の特徴を抽出する際、正確な特徴データを抽出できるか否かは、その対象となる画像データの内容によって決まる。例えば花検索においては、目的の花の一部が欠けていたり、あるいは目的の花以外の花が画像中に含まれていると、目的の花の正確な特徴が抽出できず、正確な検索結果が得られない。しかし、実際の撮影では、目的の被写体以外を除外して撮影するのは難しいことが多い。

本発明に係る撮影装置は、被写体を撮像して画像データを生成する撮像手段と、操作に応じて画像データの任意の領域を指定する領域指定手段と、指定された領域の画像データに基づいて被写体の特徴を抽出し、特徴を被写体情報検索における検索キーとして出力する特徴抽出手段とを具備する。
領域指定手段が、上記領域の大きさを指定する手段、領域の形状を指定する手段、および領域の位置を指定する手段のいずれか、または全部を含んでいてもよい。
前記領域指定手段が、上記領域の形状を表す枠を選択する手段と、選択された枠の大きさおよび位置を画像データ上で指定する手段とを含み、枠で囲まれた領域の画像データに基づいて被写体の特徴を抽出するようにしてもよい。
領域指定手段が、被写体の形状に応じた複数の枠からいずれかを選択する手段を含み、画像データ上の選択された枠で囲まれた領域の画像データに基づいて被写体の特徴を抽出するようにしてもよい。
抽出された特徴に基づいてデータベースから被写体情報を検索する検索手段と、検索された被写体情報を報知する報知手段とを更に設けてもよい。

本発明によれば、構図に気を配ることなく対象画像データ中の有害な被写体を除去することができ、正確な特徴抽出によって正確な検索結果が得られる。

図１〜図１４により本発明の一実施の形態を説明する。
図１は本実施形態における電子カメラ１００を背面から見た概略図である。カメラ上面にはレリーズボタン１が設けられ、また背面には、画像表示が可能な液晶モニタ２と、撮影レンズ１０（図２）のズームアップ／ダウンを行うためのズームアップ／ダウンボタン３Ｕ，３Ｄと、上下左右の４操作が可能な４方向ボタン４と、画像を再生するための再生ボタン５と、後述する情報検索を行うための検索ボタン６とが設けられている。４方向ボタン４は多機能ボタンであり、メニュー設定時の項目選択や、再生画像選択、その他の選択や表示移動に用いられる。また、特に４方向ボタン４の上下操作は、確認メッセージに対する返答（ＹｅｓまたはＮｏ）の入力としても用いられる。

図２は電子カメラ１００の制御ブロック図である。電子カメラ１００の全動作を制御するＣＰＵ１１には、上述したレリーズボタン１の操作に連動するレリーズスイッチ１ｓ、ズームアップ／ダウンボタン３Ｕ，３Ｄの操作にそれぞれ連動するズームアップ／ダウンスイッチ３Ｕｓ，３Ｄｓ、４方向ボタン４の上下左右操作に連動する上下左右スイッチ４Ｕｓ，４Ｄｓ，４Ｌｓ，４Ｒｓ、再生ボタン５の操作に連動する再生スイッチ５ｓ、検索ボタン６の操作に連動する検索スイッチ６ｓが接続されている。ＣＰＵ１１は、これらのスイッチの状態を読み取って各ボタンの操作の有無を検知する。

撮影レンズ１０を透過した被写体光束は、ＣＣＤなどの撮像素子１２によって撮像され、電気的な画像信号に変換される。撮像回路１３は、この画像信号を処理して所定形式の画像データを生成し、ＣＰＵ１１は、画像データをコンピュータで扱うことが可能な画像ファイルとして大容量メモリ１４に記録する。大容量メモリ１４は、電子カメラ１００に内蔵されたものでもよいし、挿脱可能なメモリカードでもよい。

またＣＰＵ１１には、表示回路１５を介して上記液晶モニタ２が接続される。液晶モニタ２には、所定時間おきに撮像される画像がファインダメモリ１６を介して逐次更新表示され（スルー画表示）、撮影者はその画像を見ながら構図を決定することができる。また液晶モニタ２は、再生ボタン５の操作に応じて大容量メモリ１４に記録されている画像データを表示したり、メニュー表示なども行える。

さらにＣＰＵ１１には、花の情報が登録された図鑑データベース１７が接続されている。図鑑データベース１７には、花の種類や名前、生息域などの生態情報と花のサンプル画像とが、花びらの色、形状、枚数などの特徴データに対応づけられて格納されている。

以下、図鑑データベース１７を用いた花情報検索について詳述する。
花情報検索は、撮影した花の画像データから花の特徴を抽出し、抽出した特徴情報を検索キーとして、図鑑データベース１７から花の名前等を検索して表示するものである。

花情報検索にあたり、操作者は再生ボタン５を操作して、目的の花（名前等の情報を知りたい花）を含む画像データを液晶モニタ２に再生表示させる。再生ボタン５が操作されると、ＣＰＵ１１は、大容量メモリ１４に記録されている画像をファインダメモリ１６に読み出し、表示回路１５を介して液晶モニタ２に表示する。また液晶モニタ２には、例えば図１に破線で示すような検索枠Ｆが画像と重ね合わせて表示される。検索枠Ｆは、後に画像データを切り出す際の切り出し領域を決めるもので、目的の花はこの検索枠Ｆ内に納まっている必要がある。本実施形態では、この検索枠Ｆの形状、大きさ、位置が変更可能であるが、それについては後で詳述する。

画像データが再生された状態で検索ボタン６が操作されると、ＣＰＵ１１は、当該画像データから検索枠Ｆ内の領域を切り出し、その切り出した画像データを分析対象画像データとする。図３は図１の画像データから切り出した分析対象画像データを示している。この分析対象画像データに対し、ＣＰＵ１１は所定の画像認識プログラムを用いて分析を行い、花の特徴を抽出する。抽出すべき特徴は、花びらの色、形状、枚数などである。これらの特徴は、花情報検索における検索キーとして使用されるため、正確性を欠くと満足な検索結果が得られない。特徴を正確に抽出するには、分析対象画像データ中の花部分と非花部分とを明確に区別する必要がある。そのため画像認識プログラムは、分析対象画像データ中の例えば緑系統のもの、茶系統のもの、灰色系統のものは、それぞれ葉、土、石やブロック塀などの非花部分として認識する。

ところで、上記のような画像分析は、分析対象画像データの画素数が多いほど時間がかかる。近年の電子カメラは高画素化が進み、例えば撮像した画像データが６００万画素だとすると、分析対象画像データは１００万画素にもなることがある。しかし、一般的な画像認識プログラムでは、花の特徴を抽出するのに１００万画素も必要なく、このため切り出した分析対象画像データをそのまま用いると、分析時間が徒に長くなるだけである。

そこで本実施形態では、画素数変換回路１８（図２）を用い、画像分析に先立って分析対象画像データの画素数を減らすようにした。例えば３０万画素でも正確な分析結果が得られるのであれば、１００万画素から３０万画素に変換する。場合によっては１０万画素でも可、あるいは６０万画素はなければならないということもあり得る。何画素まで減らすか、あるいは画素数を何割減らすかは、撮像素子１２の有効画素数、検索枠Ｆの大きさ、画像認識プログラムの仕様、ＣＰＵ１１の処理速度などに影響され、予め実験等を行って決めておくことが望ましい。理想的には、正確な分析結果が得られる最低限の画素数まで低減することが望ましい。

また検索枠Ｆの大きさが可変の場合は、分析対象画像データの当初の画素数が一定とはならないから、その当初の画素数に応じて低減率を決めるようにしてもよい。例えば、分析対象画像データの当初の画素数がある程度以下の場合には、画素数を低減しないようにしてもよい。あるいは、検索枠Ｆの大きさに関わらず低減率を一定としてもよい。

画素数変換自体は、公知の技術を用いて短時間で行うことができる。例えば所定の割合で画素を間引く方法や、隣接する複数の画素の色を平均して１画素とみなすなどの方法が考えられる。

このように、画像分析に先立って分析対象画像データの画素数を減らすようにしたので、高画素の電子カメラであっても花の特徴を短時間で抽出でき、いち早く検索を終了することが可能となる。

花の特徴データ（花びらの色、形状、枚数など）が抽出されると、ＣＰＵ１１は、これらを検索キーとして図鑑データベース１７内を検索し、条件に適った生態情報とサンプル画像を抽出する。なお、図鑑データベース１７の形式によっては、上記特徴データに加えて他のデータを検索キーとして用いることができる。例えば、「花の咲く季節」を検索キーとして加える場合には、ＧＰＳ受信機をカメラに設けて位置情報を取得し、その位置情報と撮影時の日付データとから花の咲く季節（春夏秋冬）を求めればよい。

検索が終了すると、ＣＰＵ１１は検索結果を液晶モニタ２に表示する。図４はその表示例を示し、これは図３の分析対象画像データから抽出した特徴に基づいて、１つの花の種類が特定できる例である。液晶モニタ２には、花の名前を第１候補から第５候補まで表示可能となっている。なお、名前以外の生態情報を合わせて表示してもよい。

図３の例では、分析対象画像データ中に一つの花が含まれ、他は葉や土であるから、画像分析において花部分と非花部分とを正確に区別でき、正確な花の特徴を抽出できる。特徴データが正確であれば、図４のように検索によって候補を１つのみに絞り込むことができ、検索結果の信頼性は極めて高い。

一方、図５は図１と全く異なる形状の花の撮影例であり、図６は図５の画像データから切り出した分析対象画像データを示している。検索枠Ｆの形状、大きさ、位置は図１と同等である。画像認識プログラムは、分析対象画像データ中に花が１つのみ含まれていることを前提とし、また図５のような穂状の花の場合、１本の花茎に咲く複数の花の集まりをもって一つの花と認識する。しかし、この例では検索枠Ｆ内に２本の花茎、つまり同種の２つの花が含まれてしまっているため、２つの花を１つの花と認識してしまい、抽出される特徴データが実際の特徴とかけ離れたものとなるおそれがある。加えてこの例では、目的の花の一部が欠損しており、この点からも正確な特徴が抽出できないおそれがある。
なお、図６は同種の２つの花が含まれる例を示したが、異なる種類の２以上の花が含まれる場合、抽出される特徴データはより正確性を欠く。

このように不正確な特徴データを検索キーとした場合、当然ながら検索結果の信頼性は低く、例えば図７のように複数の候補が表示されたり、あるいは図８のように「該当なし」と表示されることもある。いずれの場合も花の名前が特定できないため、再検索しなければならない。

特徴データを正確なものとするには、検索枠Ｆ内に目的の花を完全に納めると同時に、不要なもの（特徴抽出に悪影響を与えるもの：異なる種類の花など）が検索枠Ｆ内に入らないようにする必要がある。これは、例えば撮影時に構図を工夫すればある程度なし得ることかも知れないが、それでは撮影者の意図する構図とならないことが多い。花情報検索を行うための撮影であれば構図の良否は問題とならないが、作品として残す画像データで花検索を行いたい場合には、花情報検索のために構図を変えることはできない。また花が密集して咲いているときは、構図をいかように変えても不要な花を除外できない。

そこで本実施形態では、花の形状に合わせて検索枠Ｆの形状、大きさ、位置を変更できるようにした。図９は検索枠Ｆの選択画面の一例を示し、検索に先立ってこの画面が液晶モニタ２に表示される（表示タイミングは後述のフローにて説明する）。この例では、形状の異なる６種類のサンプル枠Ｆ１〜Ｆ６が選択候補として表示される。選択は４方向ボタン４を用いて行い、選択されているサンプル枠はハイライト表示される。選択の決定は、例えば不図示の決定ボタンの操作によってなされる。

例えばサンプル枠Ｆ１を選択すると、図１，図５に示すように円形の検索枠Ｆが画像に重ね合わせて表示される。図１のように、花の全体的な形状が円形あるいは正多角形に近い場合は、この円形の検索枠Ｆが適している。一方、図５のような穂状の花では、円形枠Ｆでは不要なものが入り易く、縦長の枠Ｆ３またはＦ６が適当である。また大輪の菊を横から撮影するような場合は、横長の枠Ｆ２またはＦ５が適当である。なお、選択可能なサンプル枠の種類は図９に限定されない。

図１０は穂状の花に対してサンプル枠Ｆ６を選択した例を示している。ＣＰＵ１１は、検索に先立ち、図示のように検索枠Ｆを花に合わせるよう促すメッセージを表示する。検索枠Ｆを花に合わせるには、検索枠Ｆの位置と大きさを変更する。本実施形態では、４方向ボタン４の上下左右操作に応じて検索枠Ｆの位置を画面内で上下左右に変更できる。またズームアップ／ダウンボタン３Ｕ，３Ｄの操作で、検索枠Ｆを拡大／縮小できる。拡大／縮小は、枠Ｆの縦横比を維持したまま面積のみを変えてもよいし、縦横比を自由に変更できるようにしてもよい。このように、検索枠Ｆの位置、および大きさを既存の４方向ボタン４およびズームアップ／ダウンボタン３Ｕ，３Ｄで変更できるようにしたので、専用の操作部材を設ける必要がなく、部品点数の低減が図れる。

図１１は上記の操作によって一つの花に検索枠Ｆを合わせた状態を、図１２はその検索枠Ｆで切り出された分析対象画像データを示している。図１２から分かるように、分析対象画像データには１つの花のみが含まれ、不要なものは含まれていないので、正確な花の特徴データを抽出でき、正確な検索結果を得ることができる。なお、矩形枠Ｆ６の角部に不要なものが入ってしまう場合は、楕円枠Ｆ３を選択すればよい。

このように本実施形態では、花の形状に合わせて検索枠Ｆの形状、大きさ、位置を変更できるようにしたので、いかなる花であっても検索枠Ｆ内に納め、かつ不要なものを検索枠Ｆから除くことができ、正確な検索結果が得られる可能性を高めることができる。また、花情報検索の有無によって構図を変える必要もない。

図１３，図１４は、上述の花情報検索をソフト的に実現するための処理手順の一例を示している。なお、本発明と関係のない処理は図示を省略してある。
カメラの電源が投入されると、ＣＰＵ１１によってこのプログラムが起動され、ステップＳ１〜Ｓ３のループでレリーズボタン１、再生ボタン５、検索ボタン６のいずれかの操作を待つ。この間、図示しない処理により液晶モニタ２に上述したスルー画表示が行われ、同時に検索枠Ｆも表示される。表示される検索枠Ｆの形状、大きさ、位置は、前回の選択設定に従う。撮影者は、花情報検索を前提とした撮影を行う場合には、検索枠Ｆ内に目的の花が入るように構図を決める。なお、検索枠Ｆの形状、大きさおよび位置は後で変更できるので、必ずしも目的の花を検索枠Ｆに入れなくてもよい。あるいは、スルー画表示においては検索枠Ｆを表示しなくてもよい。

レリーズボタン１の操作が検出されると、ステップＳ４で撮像を行って画像データを生成し、ステップＳ５で画像データを大容量メモリ１４に記録する。再生ボタン５の操作が検出されると、ステップＳ６で大容量メモリ１４に記録されている最新の画像データをファインダメモリ１６に読み出し、液晶モニタ２に表示する。図示はしていないが、所定の操作により表示する画像データを変更することができる。

検索ボタン６の操作が検出されると、ステップＳ７で現在画像データが表示されているか否かを判定する。再生ボタン５を操作してから検索ボタン６を操作した場合はステップＳ７が肯定され、ステップＳ８で検索処理を行う。

ステップＳ８の検索処理の詳細を図１４に示す。
ステップＳ１０１では、図９に例示したような枠選択画面を液晶モニタ２に表示し、ステップＳ１０２，Ｓ１０３のループで枠選択操作または決定操作を待つ。枠選択操作は、上述したように４方向ボタン４で所望の枠を選択する操作を指す。４方向ボタン４の操作が検知されるとステップＳ１０２が肯定され、ステップＳ１０４でその操作に応じた方向に選択枠（ハイライト表示される枠）を変更する。決定操作が検知されると、ハイライト表示されている枠の選択を決定し、ステップＳ１０５に進む。

ステップＳ１０５では、検索ボタン６を押したときの画像データを再び表示するとともに、選択決定された検索枠Ｆを画像データに重ね合わせて表示し、さらに検索枠Ｆを花に合わせることを促すメッセージを表示する（例えば、図１０）。次いで、ステップＳ１０６，Ｓ１０７のループを回り、検索枠Ｆの大きさ（枠サイズ）および位置を変更するための操作か、決定操作がなされるのを待つ。上述したように、枠サイズの変更はズームアップ／ダウンボタン３Ｕ，３Ｄの操作で、位置の変更は４方向ボタン４の操作で行われる。これらの操作が検知されると、ステップＳ１０８でその操作に応じて枠サイズまたは位置を変更する。決定操作がなされると、枠サイズおよび位置を確定してステップＳ１０９に進む。

ステップＳ１０９では、表示されている画像データ中の検索枠Ｆで囲まれた領域を、分析対象画像データとして切り出す。ステップＳ１１０では、画素数変換回路１８に指示を出し、切り出した分析対象画像データの画素数を減らす処理を行う。その内容は上述したとおりである。ステップＳ１１１では、画素数低減後の分析対象画像データを分析して花の特徴を抽出する。ステップＳ１１２では、抽出した特徴データを検索キーとして図鑑データベース１７を検索する。ステップＳ１１３では、検索結果を表示するとともに、再検索を行うか否かの確認メッセージを表示する（例えば、図４，図７，図８参照）。

次いでステップＳ１１４，Ｓ１１５のループを回り、再検索メッセージに対する操作者の返答を待つ。Ｙｅｓ操作（４方向ボタン４の上操作）が検知されると、ステップＳ１０１に戻り、Ｎｏ操作（４方向ボタン４の下操作）が検知されると、図１３の処理にリターンする。

なお以上では、検索枠Ｆの形状、大きさ、位置を全て可変としたが、少なくともいずれか１つのみを可変としてもよい。例えば、形状および位置を固定として大きさのみを変えられるようにしたり、位置のみを変えられるようにしてもよい。

また以上では、撮影後に再生ボタン５および検索ボタン６を押すことで花情報検索が開始される例を示したが、例えば予め検索モードを設定した状態でレリーズボタン１を操作すると、撮影後にその撮影画像データを用いて自動的に花情報検索が開始されるようにしてもよい。あるいは、検索ボタン６を押しながらレリーズボタン１を操作することで、同様に撮影および検索が順に行われるようにしてもよい。

また、図鑑データベース１７および検索機能は必ずしもカメラに設けなくてもよい。例えば、図鑑データベース１７および検索エンジンをネットワーク上の検索サーバに置き、電子カメラが検索キーを検索サーバに送信すると、検索エンジンが検索を行って結果をカメラに送り返すようなシステムが考えられる。

情報検索の対象は花に限定されず、例えば昆虫や鳥類などの情報検索にも本発明を同様に適用できる。また本発明は、電子カメラ機能を持つあらゆる機器（例えば、カメラ機能付き携帯電話機など）に適用可能である。

本発明の一実施形態に係る電子カメラを背面から見た図。 電子カメラの制御系を示すブロック図。 撮像された画像データから切り出した分析画像データの一例を示す図。 花情報検索における検索結果を示す図で、１つのみの候補が表示された例を示す。 撮像された画像データを示す図。 図５の画像データから切り出した分析対象画像データを示す図。 花情報検索における検索結果を示す図で、複数の候補が表示された例を示す。 花情報検索における検索結果を示す図で、該当するデータが見つからない場合の表示例を示す。 検索枠選択画面の一例を示す図。 検索枠を花に合わせるよう促す画面の一例を示す図。 検索枠を花に合わせたときの画面の一例を示す図。 図１１の画像データから切り出した分析対象画像データ（枠で囲まれた領域）を示す図。 花情報検索を含む電子カメラの動作を説明するフローチャート。 図１３の情報検索処理の詳細を示すフローチャート。

符号の説明

６ 検索ボタン
１１ ＣＰＵ
１２ 撮像素子
１７ 図鑑データベース
１８ 画素数変換回路
Ｆ 検索枠
Ｆ１〜Ｆ６ サンプル枠

Claims (7)

1. 被写体を撮像して画像データを生成する撮像手段と、
   操作に応じて前記画像データの任意の領域を指定する領域指定手段と、
   前記指定された領域の画像データに基づいて被写体の特徴を抽出し、該特徴を被写体情報検索における検索キーとして出力する特徴抽出手段とを具備することを特徴とする撮影装置。
2. 前記領域指定手段は、前記領域の大きさを指定する手段を含むことを特徴とする請求項１に記載の撮影装置。
3. 前記領域指定手段は、前記領域の形状を指定する手段を含むことを特徴とする請求項１または２に記載の撮影装置。
4. 前記領域指定手段は、前記領域の位置を指定する手段を含むことを特徴とする請求項１〜３のいずれか１項に記載の撮影装置。
5. 前記領域指定手段は、前記領域の形状を表す枠を選択する手段と、前記選択された枠の大きさおよび位置を前記画像データ上で指定する手段とを含み、前記特徴抽出手段は、前記枠で囲まれた領域の画像データに基づいて被写体の特徴を抽出することを特徴とする請求項１に記載の撮影装置。
6. 前記領域指定手段は、被写体の形状に応じた複数の枠からいずれかを選択する手段を含み、前記特徴抽出手段は、前記画像データ上の前記選択された枠で囲まれた領域の画像データに基づいて被写体の特徴を抽出することを特徴とする請求項１に記載の撮影装置。
7. 前記抽出された特徴に基づいてデータベースから前記被写体情報を検索する検索手段と、前記検索された被写体情報を報知する報知手段とを更に備えることを特徴とする請求項１〜６のいずれか１項に記載の撮影装置。

Images