JP5413558B2 - 撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、撮像した画像に２次元コードから得られる情報を重畳合成する撮像装置、画像処理方法及び画像処理プログラムに関する。

従来より、旅先にてデジタルカメラで撮影する際に、撮影場所の名称や宿泊先のホテル名等を、撮像画像に合成して保存できると便利である。また、商品をデジタルカメラで撮影し、ウェブページに掲載してネット販売を行うような場合に、撮影した商品の画像に、その商品の名前や性質等を合成できると便利である。

このような問題を解決するため、文字情報を入力できるデジタルカメラが提案されている（特許文献１参照）。すなわち、デジタルカメラにキーボード等の文字入力装置を設け、キーボード等の文字入力装置から撮影記録等の文字を入力する。

また、デジタルカメラ自体にキーボード等の文字入力装置を設けない場合には、撮像画像をパーソナルコンピュータに取り込み、専用の画像編集ソフトウェアを使用して、画像編集や文字情報入力が行われている。
また、カメラに充電電圧を供給したりカメラの画像情報を他の電子機器に転送したりするための所謂クレードルに、文字入力や画像編集の機能を持たせることが提案されている（特許文献２参照）。
特開２００３−００９０６７号公報 特開２００３−１６９２４３号公報

しかしながら、特許文献１に示されたデジタルカメラでは、複数のキーを配列するスペースを確保する必要があり、文字情報を入力するためのキーボード等の文字入力装置を設けると、機器が大型化するという問題がある。

また、パーソナルコンピュータやと特許文献２のクレードルを用いて文字情報を合成すると、旅行先などで、撮影した撮影画像に対して直ちに文字情報を合成することは困難である。

上述の課題を鑑み、本発明は、撮影した画像に文字列などの情報を容易に合成でき、かつ、小型化できる撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

請求項１の発明に係る撮像装置は、撮像手段と、前記撮像手段によって、２次元コードを含む第１の画像を取得する第１の取得手段と、前記第１の取得手段が取得した前記２次元コードに対応する第２の画像を作成する作成手段と、前記撮像手段によって、前記２次元コードとは異なる被写体を含む第３の画像を取得する第２の取得手段と、前記第３の画像から前記被写体の特徴点を検出する検出手段と、前記第２の画像を、前記第３の画像中における前記特徴点に対応する被写体の位置に重ねて表示するとともに、前記被写体の位置または大きさの変化に追随させて前記第２の画像の位置または大きさを変更する表示制御手段とを具備したことを特徴とする。

請求項２の発明に係る画像処理方法は、撮像手段と、表示手段とを有する撮像装置が実行する画像処理方法において、前記撮像手段によって、２次元コードを含む第１の画像を取得する第１の取得ステップと、前記第１の取得ステップが取得した前記２次元コードに対応する第２の画像を作成する作成ステップと、前記撮像手段によって、前記２次元コードとは異なる被写体を含む第３の画像を取得する第２の取得ステップと、前記第３の画像から前記被写体の特徴点を検出する検出ステップと、前記第２の画像を、前記第３の画像中における前記特徴点に対応する被写体の位置に重ねて表示するとともに、前記被写体の位置または大きさの変化に追随させて前記第２の画像の位置または大きさを変更する表示制御ステップと、を含むことを特徴とする。

請求項３の発明に係る画像処理プログラムは、撮像手段と表示手段を有する撮像装置を制御するコンピュータを、前記撮像手段によって、２次元コードを含む第１の画像を取得する第１の取得手段と、前記第１の取得手段が取得した前記２次元コードに対応する第２の画像を作成する作成手段と、前記撮像手段によって、前記２次元コードとは異なる被写体を含む第３の画像を取得する第２の取得手段と、前記第３の画像から前記被写体の特徴点を検出する検出手段と、前記第２の画像を、前記第３の画像中における前記特徴点に対応する被写体の位置に重ねて表示するとともに、前記被写体の位置または大きさの変化に追随させて前記第２の画像の位置または大きさを変更する表示制御手段として機能させることを特徴とする。

本発明によれば、撮影した画像に文字列などの情報を容易に合成できる。また、キーボード等の文字入力装置を設ける必要がないので、小型化できる。

図１は、本発明の一実施形態の撮像装置としてのデジタルカメラ１の外観を示す斜視図である。
図１（Ａ）に示すように、デジタルカメラ１の前面パネルには、レンズ鏡筒１１が配設されている。
図１（Ｂ）に示すように、デジタルカメラ１の背面パネルには、ディスプレイ１２が配設されている。ディスプレイ１２としては、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）が用いられる。また、デジタルカメラ１の上面には、シャッターボタン１３が配設されている。デジタルカメラ１の背面パネルには、各種の設定ボタン１４が配設されている。

図２は、デジタルカメラ１のブロック図である。図１に示すように、デジタルカメラ１は、画像データ生成部１００と、データ処理部２００と、ユーザインターフェース部３００とから主に構成されている。

画像データ生成部１００は、光学レンズ装置１０１、イメージセンサ１０２等から構成される。光学レンズ装置１０１は、被写体像光をイメージセンサ１０２の受光面に結像させるもので、図１におけるレンズ鏡筒１１に対応する。画像データ生成部１００は、本実施形態の撮像手段である。

イメージセンサ１０２は、その受光面に結像された被写体像光を光電変換する。イメージセンサ１０２としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）撮像素子が用いられる。イメージセンサ１０２の出力はデジタル化され、データ処理部２００のメモリ２０１に送られる。

データ処理部２００は、メモリ２０１と、ビデオ出力装置２０２と、画像処理装置２０３と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０４と、プログラムコード記録装置２０５とから構成されている。

メモリ２０１は、イメージセンサ１０２から出力される画像データを一時記憶する他、各種の処理を行うときのデータや、外部記憶装置に記録する画像データを記憶するのに用いられる。

ビデオ出力装置２０２は、イメージセンサ１０２からの画像データをユーザインターフェース部３００を介して外部に出力すると共に、表示部３０１に送る。

画像処理装置２０３は、各種の画像処理を行う。画像処理装置２０３で行われる画像処理としては、画像データのエンコード／デコード処理や、２次元画像データから表示情報への変換処理、撮像画像と文字情報との合成処理が含まれる。静止画のエンコード方式としては、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）が用いられる。ＪＰＥＧは離散コサイン変換を用いて画像圧縮するための規格である。勿論、静止画のエンコード方式は、これに限定されるものではない。画像処理装置２０３は、本実施形態の情報取得手段、合成手段、位置取得手段、位置変更手段、大きさ取得手段、大きさ変更手段、および表示手段である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０４は、デジタルカメラ１全体の制御を行っている。プログラムコード記録装置２０５は、ＣＰＵ２０４を動作させるプログラムを記録している。本実施形態においては、プログラムコード記録装置２０５のプログラムとして、表示情報入力処理、表示情報合成処理、及び表示位置・大きさ変更処理を行うプログラムが含まれている。これらの処理については、後に詳述する。

ユーザインターフェース部３００は、表示部３０１と、操作部３０２と、ＰＣインターフェース装置３０３と、外部記憶装置３０４とから構成されている。

表示部３０１は、図１におけるディスプレイ１２に対応するもので、撮影時にはビューファインダ等として利用される。また、表示部３０１は、再生時には、撮影した画像をモニタするのに使用される。

操作部３０２は、ユーザからの入力を受け付けるもので、図１におけるシャッターボタン１３や各種の設定ボタン１４が含まれている。

ＰＣインターフェース装置３０３は、例えばパーソナルコンピュータと接続して、カメラで撮影した画像をパーソナルコンピュータに転送するのに使用される。ＰＣインターフェース装置３０３としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）が用いられる。

外部記憶装置３０４は、撮影した画像を保存するのに用いられる。外部記憶装置３０４としては、フラッシュメモリを使ったカード型の着脱自在のメモリが用いられる。

このようなデジタルカメラ１において、通常の撮影時には、被写体像光が光学レンズ装置１０１によりイメージセンサ１０２の光学面に結像され、イメージセンサ１０２で光電変換される。この画像信号は、デジタル化された後、メモリ２０１に一時記憶される。また、イメージセンサ１０２の出力がビデオ出力装置２０２から表示部３０１に送られ、表示部３０１には撮影中の画面が映し出され、表示部３０１がビューファインダとして機能する。

操作部３０２に含まれているシャッターボタン１３が押されると、そのときの画像データがメモリ２０１に取り込まれる。この画像データは、画像処理装置２０３により例えばＪＰＥＧ方式でエンコードされ、外部記憶装置３０４に保存される。

図３は、デジタルカメラ１の表示情報入力モードでの動作を示すフローチャートである。
設定ボタン１４が操作されて表示情報入力モードが設定されると、ＣＰＵ２０４は、図３に示すフローチャートの処理を実行するためのプログラムをプログラムコード記録装置２０５から読み出す。ＣＰＵ２０４は、このプログラムに従って、図３に示すフローチャートにおける表示情報入力処理を実行する。

まず、ＣＰＵ２０４は、シャッターボタン１３が半押しされたか否かを検出する（ステップＳ１０１）。この判定がＹＥＳの場合には、ステップＳ１０２に移り、ＮＯの場合には、ステップＳ１０１に戻る。
ステップＳ１０２では、画像処理装置２０３により、画像データ生成部１００から第１の画像としての複数の時系列的に連続する画像を取得し、これら複数の画像から２次元コードを検出する。このとき、取得した画像における２次元コードの位置および大きさも取得する。
次に、ＣＰＵ２０４により、２次元コードを検出したか否かを判定する（ステップＳ１０３）。この判定がＹＥＳの場合には、ステップＳ１０５に移り、ＮＯの場合には、ステップＳ１０１に戻る。
ステップＳ１０４では、画像処理装置２０３により、２次元コードに記録された情報を読み出して、表示情報を取得する。

次に、画像処理装置２０３により、画像データ生成部１００から取得した画像に基づいて、２次元コードの位置または大きさの変化に追随して、表示情報の位置や大きさを変更する位置・大きさ変更処理を実行する。この位置・大きさ変更処理については、後に詳述する（ステップＳ１０５）。
次に、ステップＳ１０６では、画像処理装置２０３により、この表示情報を取得した画像に重畳合成して表示部３０１に表示する。ここで、この表示情報の位置および大きさを、取得した画像における２次元コードの位置および大きさに基づいて決定する。具体的には、表示情報を２次元コードと同じ位置に重ねて表示する。
ステップＳ１０７では、ＣＰＵ２０４は、シャッターボタン１３の半押しが解放されたか否かを検出する。この判定がＹＥＳの場合には、ステップＳ１０９に移り、ＮＯの場合には、ステップＳ１０５に戻る。
ステップＳ１０８では、画像処理装置２０３により、表示情報をメモリ２０１に記憶する。

例えば、図４（Ａ）に示すように、ユーザは、デジタルカメラ１のレンズ鏡筒１１を２次元コード２１に対向させ。この２次元コード２１には、文字情報が記録されている。

この状態で、ユーザがシャッターボタン１３を半押しすると、デジタルカメラ１により２次元コード２１が撮影され、デジタルカメラ１のディスプレイ１２には、図４（Ｂ）に示すように、２次元コード２１の画像Ｇ１が表示される。そして、この２次元コード２１の画像Ｇ１に基づいて、文字情報Ｇ２が取得され、図４（Ｃ）に示すように、デジタルカメラ１のディスプレイ１２には、２次元コード２１の画像Ｇ１に重ねて、文字情報Ｇ２が表示される。
なお、ここでは、２次元コード２１の画像Ｇ１に重ねて文字情報Ｇ２が表示したが、これに限らず、２次元コード２１の画像Ｇ１を消去したうえで、文字情報Ｇ２を表示してもよい。

そして、ユーザがシャッターボタン１３を解放すると、文字情報Ｇ２が現在の位置及び大きさで記憶される。

以下、図５を参照して、ステップＳ１０５の位置・大きさ変更処理について説明する。
まず、取得した画像中の２次元コードの位置が変化したか否かを検出する（ステップＳ２０１）。具体的には、時系列的に連続する複数の画像のそれぞれについて、２次元コードの位置を検出し、各画像における２次元コードの位置を比較することで、２次元コードの位置の変化を検出する。
この判定がＹＥＳの場合には、ステップＳ２０２に移り、ＮＯの場合には、ステップＳ２０３に移る。
ステップＳ２０２では、画像処理装置２０３により、取得した画像中の２次元コードの位置の変化を検出し、この検出した変化量に追随して、表示情報の位置を変更する。

次に、取得した画像中の２次元コードの大きさが変化したか否かを検出する（ステップＳ２０３）。具体的には、時系列的に連続する複数の画像のそれぞれについて、２次元コードの大きさを検出し、各画像における２次元コードの大きさを比較することで、２次元コードの大きさの変化を検出する。
この判定がＹＥＳの場合には、ステップＳ２０４に移り、ＮＯの場合には、終了する。
ステップＳ２０４では、画像処理装置２０３により、取得した画像中の２次元コードの大きさの変化を検出し、この検出した変化量に追随して、表示情報の大きさを変更する。

例えば、文字情報Ｇ２の表示位置を変更させたい場合、図６（Ａ）に示すように、ユーザは、シャッターボタン１３を半押ししながら、デジタルカメラ１を矢印Ａ１及びＡ２で示す２次元コード２１の表面に沿った方向に移動させる。すると、デジタルカメラ１で撮像した画像中の２次元コード２１の位置も変化するから、この変化量に追随して、ディスプレイ１２上での２次元コード２１の画像Ｇ１は、図７（Ａ）に示す位置から、図７（Ｂ）に示す位置に移動する。

次に、文字情報Ｇ２の大きさを変更させたい場合、図６（Ｂ）に示すように、ユーザは、シャッターボタン１３を半押ししながら、デジタルカメラ１を矢印Ａ３で示す２次元コード２１の表面に垂直な方向に移動させる。つまり、デジタルカメラ１を２次元コード２１の表面に接近させたり、離間させたりする。すると、デジタルカメラ１で撮像した画像中の２次元コード２１の大きさも変化するから、この変化量に追随して、ディスプレイ１２上での２次元コード２１の画像Ｇ１は、図７（Ｂ）に示す大きさから、図７（Ｃ）に示す大きさに変化する。

図８は、デジタルカメラの表示情報合成モードでの動作を示すフローチャートである。
ユーザは、既に表示情報をデジタルカメラに記憶させている場合に、この表示情報合成モードに設定する。
設定ボタン１４が操作されて表示情報入力モードが設定されると、ＣＰＵ２０４は、図８に示すフローチャートの処理を実行するためのプログラムをプログラムコード記録装置２０５から読み出す。ＣＰＵ２０４は、このプログラムに従って、図８に示すフローチャートにおける表示情報合成処理を実行する。

まず、記憶した表示情報を、この表示情報の位置及び大きさについての情報とともに、読み出す（ステップＳ３０１）。
次に、画像処理装置２０３により、画像データ生成部１００から第２の画像としての複数の時系列的に連続する画像を取得する（ステップＳ３０２）。

次に、読み出した表示情報を取得した画像に重畳合成して表示部３０１に表示する。具体的には、表示情報を、メモリ２０１に記憶した位置に、メモリ２０１に記憶した大きさで表示する（ステップＳ３０３）。
次に、シャッターボタン１３が全押しされたか否かを検出する（ステップＳ３０４）。この判定がＹＥＳの場合には、ステップＳ３０５に移り、ＮＯの場合には、ステップＳ３０２に戻る。
ステップＳ３０５では、画像処理装置２０３により、合成した画像を外部記憶装置３０４に記憶する。

例えば、図９に示すように、ユーザは、デジタルカメラ１を用いて、被写体３１に合わせて、画像の撮影を行う。すると、図１０に示すように、文字情報Ｇ２が読み出されて、被写体３１を含む画像Ｇ３と文字情報Ｇ２とが重畳合成されて表示される。

図１１は、デジタルカメラの表示位置・大きさ変更モードでの動作を示すフローチャートである。
設定ボタン１４が操作されて表示情報入力モードが設定されると、ＣＰＵ２０４は、図１１に示すフローチャートの処理を実行するためのプログラムをプログラムコード記録装置２０５から読み出す。ＣＰＵ２０４は、このプログラムに従って、図１１に示すフローチャートにおける表示位置・大きさ変更処理を実行する。
上述の表示情報合成モードでは、表示情報を記憶する際に表示情報の位置や大きさを変更可能としたが、表示情報を記憶した後でも、この表示位置・大きさ変更モードに設定することにより、表示情報の位置や大きさを変更できる。

まず、ＣＰＵ２０４は、記憶した表示情報を選択して呼び出す（ステップＳ４０１）。
次に、ＣＰＵ２０４は、シャッターボタン１３が半押しされたか否かを検出する（ステップＳ４０２）。この判定がＹＥＳの場合には、ステップＳ４０３に移り、ＮＯの場合には、ステップＳ４０２に戻る。
ステップＳ４０３では、画像処理装置２０３により、画像データ生成部１００から第３の画像としての複数の時系列的に連続する画像を取得し、これら複数の画像から特徴点を検出する。

次に、ステップＳ４０４では、特徴点を検出できたか否かを判定する。この判定がＹＥＳの場合には、ステップＳ４０５に移り、ＮＯの場合には、ステップＳ４０２に戻る。
ステップＳ４０５では、画像処理装置２０３により、特徴点の位置及び大きさを検出する。

次に、画像処理装置２０３により、特徴点の位置または大きさの変化に追随して、表示情報の位置や大きさを変更する位置・大きさ変更処理を実行する（ステップＳ４０６）。この位置・大きさ変更処理は、上述のステップＳ１０７と同様の処理を、２次元コードではなく特徴点に対して実行するものである。

次に、画像処理装置２０３により、この表示情報を取得した画像に重畳合成して表示部３０１に表示する（ステップＳ４０７）。
ステップＳ４０８では、ＣＰＵ２０４は、シャッターボタン１３の半押しが解放されたか否かを検出する。この判定がＹＥＳの場合には、ステップＳ４０９に移り、ＮＯの場合には、ステップＳ４０６に移る。
ステップＳ４０９では、画像処理装置２０３により、表示情報をメモリ２０１に記憶する。

例えば、図１２に示すように、ユーザは、デジタルカメラ１を用いて、被写体３２に合わせて、画像の撮影を行う。すると、この被写体３２の特徴点を抽出し、この被写体３２の画像Ｇ４に重ねて文字情報Ｇ２が表示される。その後、図１２中破線で示すように、ユーザがデジタルカメラ１を移動させても、画像Ｇ４中の被写体３２と文字情報Ｇ２との相対位置関係は維持される。

本実施形態によれば、以下のような効果がある。
（１）２次元コード２１を撮像して、この２次元コード２１を含む複数の時系列的に連続する画像を取得する。また、被写体３１を撮像して、この被写体３１を含む複数の時系列的に連続する画像Ｇ３を取得する。そして、画像に含まれる２次元コードに基づいて文字情報Ｇ２を取得し、この文字情報Ｇ２を、被写体３１を含む撮影画像Ｇ３に重畳合成して表示する。したがって、撮影した画像に文字列などの情報を容易に合成できる。また、キーボード等の文字入力装置を設ける必要がないので、小型化できる。

（２）２次元コード２１を撮像した画像中の２次元コード２１の位置及び大きさの変化を検出し、この検出した変化量に追随して、画像Ｇ３内での文字情報Ｇ２の位置を変更した。
よって、２次元コード２１に対するデジタルカメラの相対位置を変更するだけで、表示情報の位置や大きさを変更できるので、外部の入力装置を用いる必要がなく、利便性を向上できる。

（３）デジタルカメラ１により、特徴点を含む任意の被写体３２を撮像して、この被写体３２を含む画像Ｇ４中の特徴点の変化を検出し、検出した変化量に追随して、画像Ｇ４内での文字情報Ｇ２の位置を変更した。
よって、被写体３２に対するデジタルカメラ１の相対位置を変更するだけで、表示情報の位置や大きさを変更できるので、外部の入力装置を用いる必要がなく、利便性を向上できる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

本発明の一実施形態の撮像装置としてのデジタルカメラの外観を示す斜視図である。 前記実施形態のデジタルカメラのブロック図である。 前記実施形態のデジタルカメラの表示情報入力モードでの動作を示すフローチャートである。 前記実施形態のデジタルカメラを用いて表示情報を入力する手順を説明するための図である。 前記実施形態のデジタルカメラの位置・大きさ変更処理を示すフローチャートである。 前記実施形態のデジタルカメラを用いて表示情報の位置及び大きさを変更する手順を説明するための図（その１）である。 前記実施形態のデジタルカメラを用いて表示情報の位置及び大きさを変更する手順を説明するための図（その２）である。 前記実施形態のデジタルカメラの表示情報合成モードでの動作を示すフローチャートである。 前記実施形態のデジタルカメラを用いて表示情報を合成する手順を説明するための図（その１）である。 前記実施形態のデジタルカメラを用いて表示情報を合成する手順を説明するための図（その２）である。 前記実施形態のデジタルカメラの表示位置・大きさ変更モードでの動作を示すフローチャートである。 前記実施形態のデジタルカメラを用いて表示情報の位置及び大きさを変更する手順を説明するための図である。

符号の説明

１ デジタルカメラ（撮像装置）
１００ 画像データ生成部（撮像手段）
２０３ 画像処理装置（情報取得手段、合成手段、位置取得手段、位置変更手段、大きさ取得手段、大きさ変更手段、表示手段）

Claims (3)

1. 撮像手段と、
   前記撮像手段によって、２次元コードを含む第１の画像を取得する第１の取得手段と、
   前記第１の取得手段が取得した前記２次元コードに対応する第２の画像を作成する作成手段と、
   前記撮像手段によって、前記２次元コードとは異なる被写体を含む第３の画像を取得する第２の取得手段と、
   前記第３の画像から前記被写体の特徴点を検出する検出手段と、
   前記第２の画像を、前記第３の画像中における前記特徴点に対応する被写体の位置に重ねて表示するとともに、前記被写体の位置または大きさの変化に追随させて前記第２の画像の位置または大きさを変更する表示制御手段と、
   を具備したことを特徴とする撮像装置。
2. 撮像手段と、表示手段とを有する撮像装置が実行する画像処理方法において、
   前記撮像手段によって、２次元コードを含む第１の画像を取得する第１の取得ステップと、
   前記第１の取得ステップが取得した前記２次元コードに対応する第２の画像を作成する作成ステップと、
   前記撮像手段によって、前記２次元コードとは異なる被写体を含む第３の画像を取得する第２の取得ステップと、
   前記第３の画像から前記被写体の特徴点を検出する検出ステップと、
   前記第２の画像を、前記第３の画像中における前記特徴点に対応する被写体の位置に重ねて表示するとともに、前記被写体の位置または大きさの変化に追随させて前記第２の画像の位置または大きさを変更する表示制御ステップと、を含むことを特徴とする画像処理方法。
3. 撮像手段と表示手段を有する撮像装置を制御するコンピュータを、
   前記撮像手段によって、２次元コードを含む第１の画像を取得する第１の取得手段と、
   前記第１の取得手段が取得した前記２次元コードに対応する第２の画像を作成する作成手段と、
   前記撮像手段によって、前記２次元コードとは異なる被写体を含む第３の画像を取得する第２の取得手段と、
   前記第３の画像から前記被写体の特徴点を検出する検出手段と、
   前記第２の画像を、前記第３の画像中における前記特徴点に対応する被写体の位置に重ねて表示するとともに、前記被写体の位置または大きさの変化に追随させて前記第２の画像の位置または大きさを変更する表示制御手段として機能させる
   ことを特徴とする画像処理プログラム。

Images