JP5906745B2 - 画像表示装置、画像表示方法及びプログラム - Google Patents
画像表示装置、画像表示方法及びプログラム Download PDFInfo
- Publication number
- JP5906745B2 JP5906745B2 JP2012003942A JP2012003942A JP5906745B2 JP 5906745 B2 JP5906745 B2 JP 5906745B2 JP 2012003942 A JP2012003942 A JP 2012003942A JP 2012003942 A JP2012003942 A JP 2012003942A JP 5906745 B2 JP5906745 B2 JP 5906745B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- processed
- predetermined
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Description
図1は、本発明を適用した実施形態1の携帯端末100の概略構成を示すブロック図である。
図1に示すように、携帯端末100は、中央制御部1、メモリ2、撮像部3、撮像制御部4、画像データ生成部5、記録部6、画像処理部7、表示制御部8、表示部9、送受話部10、通信制御部11、操作入力部12等を備えている。
なお、携帯端末100は、例えば、通信機能を具備する撮像装置や、携帯電話やPHS(Personal Handy-phone System)などの移動体通信網で用いられる移動局、PDA(Personal Data Assistants)等から構成されている。
ここで、特定の被写体Sとは、二次元画像であっても良いし、3次元形状の立体であっても良い。例えば、特定の被写体Sを二次元画像とした場合には、壁面に配置された写真等が挙げられる(図7参照)。
レンズ部3aは、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部3bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部3aの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部3は、レンズ部3aを通過する光の量を調整する絞りを備えていても良い。
また、撮像制御部4は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体の撮像条件の調整制御を行う。
また、画像データ生成部5は、生成したフレーム画像FのYUVデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度(例えば、VGAやQVGAサイズ等)の画像データを生成する。具体的には、画像データ生成部5は、表示部9によるライブビュー画像の所定の表示フレームレートに応じた所定のタイミングで、フレーム画像FのYUVデータからライブビュー表示用の低解像度の画像データを生成する。
第1処理済み画像テーブルT1は、画像登録処理により登録された情報を記録するテーブルである。具体的には、図2に示すように、第1処理済み画像テーブルT1は、登録処理の対象となる画像を識別するための「画像ID」(例えば、「A」〜「C」、…)と、当該画像の特徴情報に係る「特徴情報」(例えば、「特徴情報1」〜「特徴情報3」、…)と、当該画像に対して所定の画像変換処理が施された処理済み画像P2の画像データに係る「処理済み画像」(例えば、「第1処理済み画像」〜「第3処理済み画像」、…)とが対応付けられている。
なお、「画像ID」を「A」〜「C」として模式的に表すが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、特徴情報は、登録処理の対象となる所定の画像P1の画像データに対して正方形変換処理が施されることで生成された第1正方形画像P1a(図5(b)参照)から抽出された複数の特徴点に係る情報を含む。ここで、正方形変換処理とは、具体的には、所定の画像P1の短辺側を長辺側に合わせるように相対的に拡大する処理や、長辺側を短辺側に合わせるように相対的に縮小する処理等を含む。
なお、特徴情報としては、SURF(Speeded Up Robust Features)特徴量を用いて表しても良いし、特徴点の輝度レベルを8bit(256段階)で表現した輝度値(0〜255)を用いて良いし、RGBの各色成分を8bit(256段階)で表現したRGB値(0〜255)を用いても良い。
また、SIFT特徴量やSURF特徴量は、公知の技術であるので、ここでは詳細な説明を省略する。
なお、「特徴情報」を「特徴情報1」〜「特徴情報3」として模式的に表すが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
なお、処理済み画像P2は、一枚の静止画像であっても良いし、複数のフレーム画像からなる動画像であっても良い。また、動画像を構成するフレーム画像Fの各々は、画像変換処理が施されているか否かは任意に変更可能である。
なお、「処理済み画像」を「第1処理済み画像」〜「第3処理済み画像」として模式的に表すが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
なお、記録部6は、例えば、不揮発性メモリ(フラッシュメモリ)等の記録媒体を備えて構成されても良く、この場合、当該記録媒体の着脱機構を具備しても良い。
画像変換処理とは、画像の視覚的効果を変換させる処理であり、静止画像の表示態様を変化させる処理や、静止画像から複数のフレーム画像F、…からなる動画像を生成する処理等を含む。
ここで、アート変換処理とは、処理対象となる所定の画像P1の視覚的効果、即ち、表示部9に表示された状態における表示態様を変化させる画像処理のことである。アート変換処理としては、例えば、色鉛筆で書いたような視覚的効果を有する画像に加工する「色鉛筆風」(図5(c)参照)や、油彩絵の具で描いたような視覚的効果を有する画像に加工する「油彩画風」や、水彩絵の具で描いたような視覚的効果を有する画像に加工する「水彩画風」等が挙げられるが、一例であってこれらに限られるものではなく、適宜任意に変更可能である。
画像変換処理部7aは、ユーザによる操作入力部12の所定操作に基づいて指定された所定の処理内容のアート変換処理(例えば、「色鉛筆風」等)を所定の画像P1に対して施す。具体的には、画像変換処理部7aは、記録部6に記録されている画像のうち、ユーザによる操作入力部12の所定操作に基づいて指定された所定の画像P1の画像データ(YUVデータ)を複製して、登録処理の対象として取得する(図5(a)参照)。その後、画像変換処理部7aは、当該画像データに対して、ユーザによる操作入力部12の所定操作に基づいて指定された所定の処理内容のアート変換処理(例えば、「色鉛筆風」等)を施して、絵画調の画像に加工された処理済み画像P2(図5(c)参照)を生成する。
即ち、第1取得部7bは、特定の被写体Sが連続して撮像された複数の画像を逐次取得する。具体的には、撮像部3により特定の被写体S(例えば、額装された写真等)が連続して撮像されて画像データ生成部5により逐次生成された複数のフレーム画像F、…のライブビュー表示用の低解像度の画像データをメモリ2から逐次取得する。
即ち、画像領域特定部7cは、第1取得部7bにより取得された複数の画像のうち、一の画像内の特定の画像領域Aを特定する。具体的には、画像領域特定部7cは、第1取得部7bにより取得された複数のフレーム画像F、…のうち、一のフレーム画像Fのライブビュー表示用の低解像度の画像データに含まれる四辺形枠状の特定の画像領域Aを特定する(図8(a)参照)。また、画像領域特定部7cは、例えば、一のフレーム画像Fのライブビュー表示用の低解像度の画像データのコントラストを算出し、隣接する領域の色(例えば、白色等)に対してコントラストの変化の大きい色(例えば、黒色等)からなる領域を特定の画像領域Aとして特定する。
具体的には、例えば、額装された写真を撮像する場合には、画像領域特定部7cは、当該写真の撮像により生成された一のフレーム画像F内で所定の色からなる矩形状の額縁Gに対応する四辺形枠状の特定の画像領域Aを特定する。
なお、特定の画像領域Aとして、所定の色からなる四辺形枠状のものを例示したが、一例であってこれに限られるものではなく、当該特定の画像領域Aは一のフレーム画像F内で他の領域と識別可能な色や形状からなる領域であれば適宜任意に変更可能である。
即ち、正方形画像生成部7dは、画像領域特定部7cにより特定された四辺形枠状の特定の画像領域Aの内側の四辺形領域A1の画像に対して正方形変換処理を行って第2正方形画像P3を生成する。具体的には、正方形画像生成部7dは、例えば、四辺形枠状の特定の画像領域Aの4つの頂点の内側の角部の座標位置を特定し、当該4つの内側の角部により囲まれた領域内で、直線検出処理(例えば、ハフ変換処理など)を行って四辺形枠状の特定の画像領域Aの内側の四辺形領域A1を特定する(図8(b)参照)。その後、正方形画像生成部7dは、四辺形領域A1の画像の画像データを取得し、当該画像データに対して正方形変換処理を施し、短辺側を長辺側に合わせるように相対的に拡大したり、長辺側を短辺側に合わせるように相対的に縮小することで第2正方形画像P3(図8(c)参照)を生成する。
なお、正方形画像生成部7dは、四辺形枠状の特定の画像領域Aの4つの頂点の内側の角部により囲まれた領域を四辺形領域A1として特定しても良い。例えば、額装された写真の場合に、額縁Gの内側の縁部が写真と重なっている場合には、平面視にて額縁Gと写真との間に隙間が存在しないため、正方形画像生成部7dは、四辺形枠状の特定の画像領域Aの4つの頂点の内側の角部のうち、隣合う2つの角部どうしを結ぶ4つの辺により囲まれた領域を四辺形領域A1として特定する。
ここで、第1正方形画像P1a及び第2正方形画像P3の水平及び垂直の各方向の画素数は、互いに等しくなっているのが好ましい。この場合、第1正方形画像P1a及び第2正方形画像P3は、原点(0,0)の位置を一致させた状態で、水平方向に最も遠く、且つ、垂直方向に最も遠い画素(xn,ym)の位置が一致するようになっている。
即ち、特徴量演算部7eは、第1取得部7bにより取得された複数のフレーム画像F、…のうち、一のフレーム画像Fから有効な特徴点を複数抽出する。具体的には、特徴量演算部7eは、画像領域特定部7cにより特定された特定の画像領域A内からコントラストの境界で構成されるコーナーなどの画素の周囲の領域に多くの濃淡情報をもつ有効な特徴点を複数抽出する。
例えば、特徴量演算部7eは、ライブビュー表示用の一のフレーム画像Fのうち、正方形画像生成部7dにより生成された第2正方形画像P3の画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点におけるSIFT特徴量(各画素のXY平面空間での座標位置、m次元の特徴ベクトル等)を算出する。また、特徴量演算部7eは、抽出された特徴点に係る各種の情報を対応付けて、特徴点情報D(図3参照)としてメモリ2に一時的に記録させる。
図3に示すように、SIFT特徴量は、特徴点を所定の順序で番号付けた「特徴点No.」(例えば、「1」〜「3」、…)と、各特徴点のXY平面空間での座標位置を規定する「x座標」及び「y座標」(例えば、「36、120」〜「612、398」、…)と、各特徴点のm次元の特徴ベクトルに係る「特徴情報」(例えば、「127,25,68,495,54,2,866,…」〜「68,5,47,2,5,9,87,56,475,…」、…)とが対応付けられている。
なお、「特徴点No.」を「1」〜「3」として模式的に表し、また、「x座標」及び「y座標」を「36、120」〜「612、398」として模式的に表し、また、「特徴情報」を「127,25,68,495,54,2,866,…」〜「68,5,47,2,5,9,87,56,475,…」として模式的に表すが、一例であってこれらに限られるものではなく、適宜任意に変更可能である。
具体的には、第2取得部7fは、画像領域特定部7cにより特定された特定の画像領域A内から抽出された複数の特徴点と、記録部6の第1処理済み画像テーブルT1に記録されている複数の特徴点との相違度を算出する相違度算出部f1を具備し、この相違度算出部f1により算出された相違度に基づいて、第1処理済み画像テーブルT1から処理済み画像P2を特定する。
第2取得部7fは、相違度算出部f1により算出された相違度が所定の判定値以下となったか否かを判定する。この判定の結果、相違度が所定の判定値以下となったと判定されると、第2取得部7fは、当該相違度の算出に用いられた第1正方形画像P1aの複数の特徴点と対応付けられた処理済み画像P2の画像データを記録部6から取得する。
なお、第2取得部7fの構成は、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、相違度算出部f1を具備するか否かは適宜任意に変更可能である。また、第2取得部7fは、特徴量演算部7eにより一の画像から所定の画像に対応する画像領域が抽出された場合には、抽出された所定の画像に対応する処理済み画像P2を記録部6から取得するようにしても良い。
即ち、四辺形画像生成部7gは、画像領域特定部7cにより特定された四辺形枠状の特定の画像領域Aの傾きに対応させるように、第2取得部7fにより取得された処理済み画像P2の画像データに対して射影変換処理を行って四辺形画像P2aの画像データを生成する(図9参照)。具体的には、四辺形画像生成部7gは、例えば、四辺形枠状の特定の画像領域A或いは当該画像領域の内側の四辺形領域A1に対して直線検出処理(例えば、ハフ変換処理など)を行って、四辺形を構成する4つの線分の傾きを特定する。そして、四辺形画像生成部7gは、第2取得部7fにより取得された処理済み画像P2の4つの辺(上下左右の各辺)の傾きを4つの線分の傾きに対応させるように、当該処理済み画像P2の画像データに対して射影変換処理を施して、特定の画像領域Aの内側の四辺形領域A1と略等しい形状の四辺形画像P2aの画像データを生成する。
即ち、合成画像生成部7hは、一のフレーム画像Fの画像領域のうち、当該一のフレーム画像Fから抽出された複数の特徴点に対応する画像領域(例えば、四辺形領域A1)に対して、第2取得部7fにより取得された処理済み画像P2を合成した合成画像Faを生成する。具体的には、合成画像生成部7hは、一のフレーム画像Fの画像領域のうち、画像領域特定部7cにより特定された特定の画像領域A内に処理済み画像P2を合成した合成画像Faを生成する。
例えば、合成画像生成部7hは、ライブビュー表示用の一のフレーム画像Fの画像領域の中で、特定の画像領域Aの内側の四辺形領域A1の各隅部の座標位置を特定し、当該四辺形領域A1と重なるように、四辺形画像生成部7gにより生成された当該四辺形領域A1と略等しい形状の処理済み画像P2の四辺形画像P2aを合成した合成画像Faの画像データを生成する。
そして、合成画像生成部7hは、生成された各合成画像Faの画像データをメモリ2に順次出力し、当該メモリ2に格納させる。
具体的には、表示制御部8は、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部1の制御下にてメモリ2から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから所定の再生フレームレート(例えば、30fps)で読み出して、これらのデータを元にビデオ信号を発生して表示部9に出力する。
また、表示制御部8は、合成画像生成部7hにより生成された合成画像Faを表示部9に逐次表示させる。即ち、表示制御部8は、一のフレーム画像Fに対応する合成画像Faの画像データをメモリ2から逐次取得して、当該合成画像Faを表示部9に逐次ライブビュー表示させる(図10参照)。
具体的には、送受話部10は、マイク10a、スピーカ10b、データ変換部10c等を備えている。そして、送受話部10は、マイク10aから入力されるユーザの送話音声をデータ変換部10cによりA/D変換処理して送話音声データを中央制御部1に出力するとともに、中央制御部1の制御下にて、通信制御部11から出力されて入力される受話音声データ等の音声データをデータ変換部10cによりD/A変換処理してスピーカ10bから出力する。
即ち、通信アンテナ11aは、当該携帯端末100が無線基地局(図示略)との通信で採用している所定の通信方式(例えば、W−CDMA(Wideband Code Division Multiple Access)方式、CDMA2000方式、GSM(Global System for Mobile Communications;登録商標)方式等)に対応したデータの送受信が可能なアンテナである。そして、通信制御部11は、所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ11aを介してデータの送受信を行う。
即ち、通信制御部11は、中央制御部1から出力されて入力される指示信号に基づいて、通信相手の外部機器に対して、当該外部機器の外部ユーザとの通話中の音声の送受信や、電子メールのデータの送受信を行う。
なお、通信制御部11の構成は一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、図示は省略するが、無線LANモジュールを搭載し、アクセスポイント(Access Point)を介して通信ネットワークNにアクセス可能な構成としても良い。
具体的には、操作入力部12は、被写体の撮影指示に係るシャッタボタン、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン、電話の発着信や電子メールの送受信等の実行指示に係る通信関連ボタン、テキストの入力指示に係る数字ボタンや記号ボタン等の各種ボタン(何れも図示略)を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部12は、操作されたボタンに応じた操作指示を中央制御部1に出力する。中央制御部1は、操作入力部12から出力され入力された操作指示に従って所定の動作(例えば、被写体の撮像、電話の発着信、電子メールの送受信等)を各部に実行させる。
次に、携帯端末100による画像登録処理について図4及び図5を参照して説明する。
図4は、画像登録処理に係る動作の一例を示すフローチャートである。図5は、画像登録処理に係る画像の一例を模式的に示す図であり、図5(a)は、登録処理の対象となる所定の画像P1を模式的に表し、図5(b)は、第1正方形画像P1aを模式的に表し、図5(c)は、処理済み画像P2を模式的に表している。
上記の各処理は、ユーザにより登録対象として指定された全ての画像について行われ、全ての画像に関する情報の登録が完了すると、当該画像登録処理が終了する。
次に、携帯端末100による画像表示処理について図6〜図10を参照して説明する。
図6は、画像表示処理に係る動作の一例を示すフローチャートである。また、図7は、画像表示処理を説明するための図である。また、図8は、画像表示処理に係る画像の一例を模式的に示す図であり、図8(a)は、フレーム画像F内の特定の画像領域Aを模式的に表し、図8(b)は、特定の画像領域Aの内側の四辺形領域A1を模式的に表し、図8(c)は、第2正方形画像P3を模式的に表している。また、図9は、画像表示処理に係る四辺形画像P2aの一例を模式的に示す図である。また、図10は、画像表示処理を説明するための図である。
次に、特徴量演算部7eは、正方形画像生成部7dにより生成された第2正方形画像P3の画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点におけるSIFT特徴量を算出する(ステップS17)。そして、特徴量演算部7eは、抽出された特徴点に係る各種の情報を対応付けて、特徴点情報D(図3参照)としてメモリ2に一時的に記録させる。
そして、第2取得部7fは、相違度算出部f1により算出された相違度が所定の判定値以下となったか否かを判定する(ステップS20)。ここで、相違度が所定の判定値以下であると判定されると(ステップS20;YES)、第2取得部7fは、当該相違度の算出に用いられた第1正方形画像P1aの複数の特徴点と対応付けられた処理済み画像P2の画像データを記録部6から取得する(ステップS21)。
なお、ステップS20の判定にて、所定の判定値以下となった相違度が複数あった場合には、第2取得部7fは、相違度が最も小さいものを特定して、当該相違度の算出に用いられた複数の特徴点と対応付けられた処理済み画像P2の画像データを取得する。
続けて、合成画像生成部7hは、ライブビュー表示用の一のフレーム画像Fの画像領域の中で、特定の画像領域Aの内側の四辺形領域A1と重なるように当該四辺形領域A1と略等しい形状の処理済み画像P2の四辺形画像P2aを合成した合成画像Faの画像データを生成する(ステップS23)。そして、合成画像生成部7hは、各合成画像Faの画像データをメモリ2に順次出力し、当該メモリ2に格納させる。
ステップS25にて、画像表示処理の終了指示が入力されていないと判定されると(ステップS25;NO)、中央制御部1のCPUは、処理をステップS1に戻し、それ以降の処理の実行を制御する。
一方、画像表示処理の終了指示が入力されたと判定されると(ステップS25;YES)、中央制御部1のCPUは、画像表示処理を終了する。
このように、撮像される物体自体の品質を低下させることなく、当該物体の内容に対して親和性の高い画像を表示することができる。
さらに、一のフレーム画像Fの画像領域のうち、特定の画像領域A内に処理済み画像P2を合成した合成画像Faを生成するので、特定の画像領域Aを利用することで一のフレーム画像Fの画像領域内にて処理済み画像P2を適正な位置に合成することができる。
さらに、四辺形枠状の特定の画像領域Aの傾きに対応させるように、処理済み画像P2に対して射影変換処理を行って四辺形画像P2aを生成して、一のフレーム画像Fの画像領域のうち、特定の画像領域A内に処理済み画像P2の四辺形画像P2aを合成した合成画像Faを生成するので、特定の被写体Sを斜めから撮像することで特定の画像領域Aが直角四辺形状になっていない場合であっても、四辺形枠状の特定の画像領域Aの傾きに合わせた形状の処理済み画像P2の四辺形画像P2aを一のフレーム画像Fの画像領域に合成することができ、合成画像Faの視認者に対して違和感を生じさせ難くすることができる。
図11は、本発明を適用した実施形態2の携帯端末200の概略構成を示すブロック図である。
なお、実施形態2の携帯端末200は、以下に詳細に説明する以外の点で上記実施形態1の携帯端末100と略同様の構成をなし、詳細な説明は省略する。
第2処理済み画像テーブルT2は、第1処理済み画像テーブルT1と同様に、「画像ID」と、「特徴情報」と、「処理済み画像」とが対応付けられたものであるが、このうち、「特徴情報」は、登録処理の対象となる所定の画像P1の画像データ自体から抽出された複数の特徴点に係る情報を含む。
なお、画像変換処理部7a及び第1取得部7bの機能は、上記実施形態1と同様であり、その詳細な説明は省略する。
具体的には、特徴量演算部7eは、例えば、ライブビュー表示用の一のフレーム画像Fの画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点におけるSIFT特徴量(各画素のXY平面空間での座標位置、m次元の特徴ベクトル等)を算出する。また、特徴量演算部7eは、抽出された特徴点に係る各種の情報を対応付けて、特徴点情報D(図3参照)としてメモリ2に一時的に記録させる。
また、特徴量演算部7eは、例えば、登録処理の対象となる所定の画像P1の画像データに対して、上記と同様に所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点におけるSIFT特徴量(各画素のXY平面空間での座標位置、m次元の特徴ベクトル等)を算出する。
第2取得部7fは、相違度算出部f1により算出された相違度が所定の判定値以下となったか否かを判定する。この判定の結果、相違度が所定の判定値以下となったと判定されると、第2取得部7fは、当該相違度の算出に用いられた所定の画像P1の複数の特徴点と対応付けられた処理済み画像P2の画像データを記録部6から取得する。
即ち、合成画像生成部7hは、一のフレーム画像Fの画像領域のうち、当該一のフレーム画像Fから抽出された複数の特徴点に対応する画像領域に対して、第2取得部7fにより取得された処理済み画像P2を合成した合成画像Fbを生成する。具体的には、合成画像生成部7hは、例えば、ライブビュー表示用の一のフレーム画像Fの画像領域の中で、主要被写体が含まれる特定の被写体領域A2(例えば、写真に対応する領域等)を特定し、当該特定の被写体領域A2と重なるように処理済み画像P2を合成した合成画像Fbの画像データを生成する。
このとき、特定の被写体領域A2の形状が矩形状ではない場合には、合成画像生成部7hは、処理済み画像P2の画像データに対して射影変換処理を施して、当該処理済み画像P2の四辺形画像P2aの画像データを生成し、当該四辺形画像P2aを一のフレーム画像Fの画像領域に合成するようにしても良い。
次に、携帯端末200による画像登録処理について図12を参照して説明する。
図12は、画像登録処理に係る動作の一例を示すフローチャートである。
なお、実施形態2の携帯端末200による画像登録処理は、以下に詳細に説明する以外の点で上記実施形態1の携帯端末100による画像登録処理と略同様であり、詳細な説明は省略する。
次に、特徴量演算部7eは、取得された所定の画像P1の画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点におけるSIFT特徴量を算出する(ステップS53)。
上記の各処理は、ユーザにより登録対象として指定された全ての画像について行われ、全ての画像に関する情報の登録が完了すると、当該画像登録処理が終了する。
次に、携帯端末200による画像表示処理について図13〜図15を参照して説明する。
図13は、画像表示処理に係る動作の一例を示すフローチャートである。また、図14及び図15は、画像表示処理を説明するための図である。
なお、実施形態2の携帯端末200による画像表示処理は、以下に詳細に説明する以外の点で上記実施形態1の携帯端末100による画像表示処理と略同様であり、詳細な説明は省略する。
そして、第2取得部7fは、上記実施形態1の画像登録処理と略同様に、相違度算出部f1により算出された相違度が所定の判定値以下となったか否かを判定する(ステップS20)。ここで、相違度が所定の判定値以下であると判定されると(ステップS20;YES)、上記実施形態1の画像登録処理と略同様に、第2取得部7fは、当該相違度の算出に用いられた所定の画像P1の複数の特徴点と対応付けられた処理済み画像P2の画像データを記録部6から取得する(ステップS21)。
ここで、画像表示処理の終了指示が入力されていないと判定されると(ステップS25;NO)、中央制御部1のCPUは、処理をステップS1に戻し、それ以降の処理の実行を制御する。一方、画像表示処理の終了指示が入力されたと判定されると(ステップS25;YES)、中央制御部1のCPUは、画像表示処理を終了する。
このように、撮像される物体自体の品質を低下させることなく、当該物体の内容に対して親和性の高い合成画像Fbを表示することができる。
例えば、上記実施形態1、2では、第1及び第2処理済み画像テーブルT1、T2を携帯端末100、200の記録部6に記録するようにしたが、当該テーブルを携帯端末100、200と所定の通信ネットワークNを介して接続されたサーバ300に記録しておいても良い(図16参照)。
サーバ300は、例えば、Web(World Wide Web)サーバとしてインターネット上に所定のページを開設する機能を具備するものであり、携帯端末100からのアクセスに応じて当該携帯端末100に所定の情報を送信する。
具体的には、サーバ300は、第3処理済み画像テーブルT3を記録する記録手段(図示略)を備え、上記実施形態1、2における画像登録処理にて登録された情報が携帯端末100から所定の通信ネットワークNを介して送信されて当該第3処理済み画像テーブルT3に記録する。
また、サーバ300は、画像表示処理にて、携帯端末100から所定の通信ネットワークNを介して第3処理済み画像テーブルT3に記録されている複数の特徴点の各々の特徴情報の読み出しが指示されると、指示された特徴情報を読み出して所定の通信ネットワークNを介して携帯端末100に送信する。また、サーバ300は、画像表示処理にて、携帯端末100から所定の通信ネットワークNを介して第3処理済み画像テーブルT3に記録されている処理済み画像P2の読み出しが指示されると、指示された処理済み画像P2の画像データを読み出して所定の通信ネットワークNを介して携帯端末100に送信する。
即ち、プログラムを記憶するプログラムメモリに、第1取得処理ルーチン、特徴点抽出処理ルーチン、第2取得処理ルーチン、生成処理ルーチン、表示制御処理ルーチンを含むプログラムを記憶しておく。そして、第1取得処理ルーチンにより中央制御部1のCPUを、特定の被写体Sが連続して撮像された複数の画像を逐次取得するように機能させても良い。また、特徴点抽出処理ルーチンにより中央制御部1のCPUを、取得された複数の画像のうち、一の画像から所定の画像に対応する画像領域を抽出するように機能させても良い。また、第2取得処理ルーチンにより中央制御部1のCPUを、抽出された所定の画像に対応する処理済み画像P2を記録手段から取得するように機能させても良い。また、生成処理ルーチンにより中央制御部1のCPUを、一の画像における所定の画像に対応する画像領域が抽出された位置に、取得された処理済み画像P2を合成した合成画像Faを生成するように機能させても良い。また、表示制御処理ルーチンにより中央制御部1のCPUを、生成された合成画像Faを表示手段に逐次表示させるように機能させても良い。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
<請求項1>
予め特定の被写体を含む所定の画像と、当該所定の画像に所定の画像変換処理が施された処理済み画像とを対応付けて記録する記録手段と、
前記特定の被写体が連続して撮像された複数の画像を逐次取得する第1取得手段と、
この第1取得手段により取得された前記複数の画像のうち、一の画像から前記所定の画像に対応する画像領域を抽出する抽出手段と、
この抽出手段により抽出された前記所定の画像に対応する処理済み画像を前記記録手段から取得する第2取得手段と、
前記一の画像における前記所定の画像に対応する画像領域が抽出された位置に、前記第2取得手段により取得された前記処理済み画像を合成した合成画像を生成する生成手段と、
この生成手段により生成された前記合成画像を表示手段に逐次ライブビュー表示させる表示制御手段と、
を備えることを特徴とする画像表示装置。
<請求項2>
前記抽出手段は、前記第1取得手段により取得された前記複数の画像のうち、一の画像から特徴点を複数抽出する特徴点抽出手段を更に備え、
前記第2取得手段は、前記特徴点抽出手段により抽出された複数の特徴点と類似する各特徴点と対応付けられた前記処理済み画像を前記記録手段から取得し、
前記生成手段は、前記一の画像の画像領域のうち、当該一の画像から抽出された複数の特徴点に対応する画像領域に対して、前記第2取得手段により取得された前記処理済み画像を合成した合成画像を生成することを特徴とする請求項1に記載の画像表示装置。
<請求項3>
前記一の画像内の特定の画像領域を特定する特定手段を更に備え、
前記特徴点抽出手段は、前記特定手段により特定された前記特定の画像領域内から前記特徴点を複数抽出することを特徴とする請求項2に記載の画像表示装置。
<請求項4>
前記生成手段は、前記一の画像の画像領域のうち、前記特定手段により特定された前記特定の画像領域内に前記処理済み画像を合成した合成画像を生成することを特徴とする請求項3に記載の画像表示装置。
<請求項5>
前記特定手段により特定された四辺形枠状の前記特定の画像領域の傾きに対応させるように、前記第2取得手段により取得された前記処理済み画像に対して射影変換処理を行って四辺形画像を生成する射影変換処理手段を更に備え、
前記生成手段は、前記一の画像の画像領域のうち、前記特定の画像領域内に前記射影変換処理手段により生成された前記処理済み画像の四辺形画像を合成した合成画像を生成することを特徴とする請求項3又は4に記載の画像表示装置。
<請求項6>
前記特徴点抽出手段により抽出された複数の特徴点と前記記録手段に記録されている複数の特徴点との相違度を算出する算出手段を更に備え、
前記第2取得手段は、前記算出手段により算出された相違度が所定の判定値以下となった複数の特徴点と対応付けられた前記処理済み画像を前記記録手段から取得することを特徴とする請求項2〜5の何れか一項に記載の画像表示装置。
<請求項7>
前記記録手段は、前記所定の画像を正方形に変換した第1正方形画像から予め抽出された複数の特徴点と前記処理済み画像とを対応付けて記録し、
前記特定手段により特定された四辺形枠状の前記特定の画像領域の内側の四辺形領域の画像に対して正方形変換処理を行って第2正方形画像を生成する正方形画像生成手段を更に備え、
前記算出手段は、前記特徴点抽出手段により前記第2正方形画像から抽出された複数の特徴点と前記記録手段に記録されている前記第1正方形画像から予め抽出された複数の特徴点との相違度を算出することを特徴とする請求項6に記載の画像表示装置。
<請求項8>
予め特定の被写体を含む所定の画像と、当該所定の画像に対して所定の画像変換処理が施された処理済み画像とを対応付けて記録する記録手段を備える画像表示装置を用いた画像表示方法であって、
前記特定の被写体が連続して撮像された複数の画像を逐次取得する処理と、
取得された前記複数の画像のうち、一の画像から前記所定の画像に対応する画像領域を抽出する処理と、
抽出された前記所定の画像に対応する処理済み画像を前記記録手段から取得する処理と、
前記一の画像における前記所定の画像に対応する画像領域が抽出された位置に、取得された前記処理済み画像を合成した合成画像を生成する処理と、
生成された前記合成画像を表示手段に逐次表示させる処理と、
を含むことを特徴とする画像表示方法。
<請求項9>
予め特定の被写体を含む所定の画像と、当該所定の画像に対して所定の画像変換処理が施された処理済み画像とを対応付けて記録する記録手段を備える画像表示装置のコンピュータを、
前記特定の被写体が連続して撮像された複数の画像を逐次取得する第1取得手段、
この第1取得手段により取得された前記複数の画像のうち、一の画像から前記所定の画像に対応する画像領域を抽出する抽出手段、
この抽出手段により抽出された前記所定の画像に対応する処理済み画像を前記記録手段から取得する第2取得手段、
前記一の画像における前記所定の画像に対応する画像領域が抽出された位置に、前記第2取得手段により取得された前記処理済み画像を合成した合成画像を生成する生成手段、
この生成手段により生成された前記合成画像を表示手段に逐次表示させる表示制御手段、
として機能させることを特徴とするプログラム。
1 中央制御部
6 記録部
T1 第1処理済み画像テーブル
T2 第2処理済み画像テーブル
T3 第3処理済み画像テーブル
7、207 画像処理部
7a 画像変換処理部
7b 第1取得部
7c 画像領域特定部
7d 正方形画像生成部
7e 特徴量演算部
7f 第2取得部
f1 相違度算出部
7g 四辺形画像生成部
7h 合成画像生成部
8 表示制御部
9 表示部
N 通信ネットワーク
Claims (9)
- 特定の被写体を含む所定の画像の四辺形枠状の特定の画像領域を抽出する抽出手段と、
前記所定の画像に対して所定の画像変換処理が施された処理済み画像を作成する画像処理手段と、
前記四辺形枠状の前記特定の画像領域の傾きに対応させるように、前記処理済み画像に対して射影変換処理を行って四辺形画像を生成する射影変換処理手段と、
前記特定の画像領域内に、前記処理済み画像の射影変換画像を合成した合成画像を生成する生成手段と、
前記所定の画像と、前記処理済み画像とを対応付けて記録する記録手段と、
前記特定の被写体が連続して撮像された複数の画像を逐次取得する第1取得手段と、
前記第1取得手段により取得された前記複数の画像のうち、一の画像から特徴点を複数抽出する特徴点抽出手段と、
前記所定の画像に対応する処理済み画像を前記記録手段から取得するとともに前記特徴点抽出手段により抽出された複数の特徴点と類似する各特徴点と対応付けられた前記処理済み画像を前記記録手段から取得する第2取得手段と、を備え、
前記生成手段は、前記一の画像における前記特徴点抽出手段により抽出された複数の特徴点に対応する画像領域に対して、前記第2取得手段により取得された前記処理済み画像を合成した合成画像を生成する
ことを特徴とする画像表示装置。 - 前記抽出手段は、前記第1取得手段により取得された前記複数の画像のうち、一の画像から前記所定の画像に対応する画像領域を抽出し、
前記生成手段は、前記一の画像における前記所定の画像に対応する画像領域が抽出された位置に、前記第2取得手段により取得された前記処理済み画像を合成した合成画像を生成することを特徴とする請求項1記載の画像表示装置。 - 前記生成手段は、前記生成された前記合成画像を表示手段に逐次ライブビュー表示させることを特徴とする請求項2記載の画像表示装置。
- 前記一の画像内の特定の画像領域を特定する特定手段を更に備え、
前記特徴点抽出手段は、前記特定手段により特定された前記特定の画像領域内から前記特徴点を複数抽出することを特徴とする請求項2に記載の画像表示装置。 - 前記生成手段は、前記一の画像の画像領域のうち、前記特定手段により特定された前記特定の画像領域内に前記処理済み画像を合成した合成画像を生成することを特徴とする請求項4に記載の画像表示装置。
- 前記特徴点抽出手段により抽出された複数の特徴点と前記記録手段に記録されている複数の特徴点との相違度を算出する算出手段を更に備え、
前記第2取得手段は、前記算出手段により算出された相違度が所定の判定値以下となった複数の特徴点と対応付けられた前記処理済み画像を前記記録手段から取得することを特徴とする請求項1〜5の何れか一項に記載の画像表示装置。 - 前記記録手段は、前記所定の画像を正方形に変換した第1正方形画像から予め抽出された複数の特徴点と前記処理済み画像とを対応付けて記録し、
前記四辺形枠状の前記特定の画像領域の内側の四辺形領域の画像に対して正方形変換処理を行って第2正方形画像を生成する正方形画像生成手段を更に備え、
前記算出手段は、前記特徴点抽出手段により前記第2正方形画像から抽出された複数の特徴点と前記記録手段に記録されている前記第1正方形画像から予め抽出された複数の特徴点との相違度を算出することを特徴とする請求項6に記載の画像表示装置。 - 特定の被写体を含む所定の画像の四辺形枠状の特定の画像領域を抽出する抽出処理と、
前記所定の画像に対して所定の画像変換処理が施された処理済み画像を作成する画像処理と、
前記四辺形枠状の前記特定の画像領域の傾きに対応させるように、前記処理済み画像に対して射影変換処理を行って四辺形画像を生成する射影変換処理と、
前記特定の画像領域内に、前記処理済み画像の射影変換画像を合成した合成画像を生成する生成処理と、
前記所定の画像と、前記処理済み画像とを対応付けて記録手段に記録する記録処理と、
前記特定の被写体が連続して撮像された複数の画像を逐次取得する第1取得処理と、
前記第1取得処理により取得された前記複数の画像のうち、一の画像から特徴点を複数抽出する特徴点抽出処理と、
前記所定の画像に対応する処理済み画像を前記記録手段から取得するとともに前記特徴点抽出処理により抽出された複数の特徴点と類似する各特徴点と対応付けられた前記処理済み画像を前記記録手段から取得する第2取得処理と、を備え、
前記生成処理は、前記一の画像における前記特徴点抽出処理により抽出された複数の特徴点に対応する画像領域に対して、前記第2取得処理により取得された前記処理済み画像を合成した合成画像を生成する
ことを特徴とする画像表示方法。 - 画像表示装置のコンピュータを、
特定の被写体を含む所定の画像の四辺形枠状の特定の画像領域を抽出する抽出手段と、
前記所定の画像に対して所定の画像変換処理が施された処理済み画像を作成する画像処理手段と、
前記四辺形枠状の前記特定の画像領域の傾きに対応させるように、前記処理済み画像に対して射影変換処理を行って四辺形画像を生成する射影変換処理手段と、
前記特定の画像領域内に、前記処理済み画像の射影変換画像を合成した合成画像を生成する生成手段と、
前記所定の画像と、前記処理済み画像とを対応付けて記録する記録手段と、
前記特定の被写体が連続して撮像された複数の画像を逐次取得する第1取得手段と、
前記第1取得手段により取得された前記複数の画像のうち、一の画像から特徴点を複数抽出する特徴点抽出手段と、
前記所定の画像に対応する処理済み画像を前記記録手段から取得するとともに前記特徴点抽出手段により抽出された複数の特徴点と類似する各特徴点と対応付けられた前記処理済み画像を前記記録手段から取得する第2取得手段と、して機能させ、
前記生成手段は、前記一の画像における前記特徴点抽出手段により抽出された複数の特徴点に対応する画像領域に対して、前記第2取得手段により取得された前記処理済み画像を合成した合成画像を生成する
ことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012003942A JP5906745B2 (ja) | 2012-01-12 | 2012-01-12 | 画像表示装置、画像表示方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012003942A JP5906745B2 (ja) | 2012-01-12 | 2012-01-12 | 画像表示装置、画像表示方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013143725A JP2013143725A (ja) | 2013-07-22 |
JP5906745B2 true JP5906745B2 (ja) | 2016-04-20 |
Family
ID=49040051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012003942A Active JP5906745B2 (ja) | 2012-01-12 | 2012-01-12 | 画像表示装置、画像表示方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5906745B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106548446B (zh) | 2016-09-29 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种在球面全景图像上贴图的方法及装置 |
JP2020048025A (ja) | 2018-09-18 | 2020-03-26 | 富士フイルム株式会社 | 撮影装置、撮影装置の作動プログラム及び作動方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4423929B2 (ja) * | 2003-10-31 | 2010-03-03 | カシオ計算機株式会社 | 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム |
JP5040796B2 (ja) * | 2008-05-09 | 2012-10-03 | 大日本印刷株式会社 | 室内調度品購入支援システム、方法、プログラム、媒体 |
-
2012
- 2012-01-12 JP JP2012003942A patent/JP5906745B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013143725A (ja) | 2013-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5413002B2 (ja) | 撮像装置および方法、並びにプログラム | |
JP4396720B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5799928B2 (ja) | 閾値設定装置、被写体検出装置、閾値設定方法及びプログラム | |
JP4947136B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20100225785A1 (en) | Image processor and recording medium | |
JP2011119974A (ja) | パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム | |
WO2017013986A1 (ja) | 情報処理装置、端末、および、遠隔通信システム | |
JP5212046B2 (ja) | デジタルカメラおよび画像処理装置並びに画像処理プログラム | |
JP5862623B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5906745B2 (ja) | 画像表示装置、画像表示方法及びプログラム | |
CN108810326B (zh) | 一种拍照方法、装置及移动终端 | |
JP5733588B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP5798696B2 (ja) | 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置 | |
JP6217225B2 (ja) | 画像照合装置、画像照合方法及びプログラム | |
JP6696596B2 (ja) | 画像処理システム、撮像装置、画像処理方法およびプログラム | |
JP5131399B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5928228B2 (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
JP6079102B2 (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
JP2010278701A (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP2011077850A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5565227B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6668646B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020115683A (ja) | 画像処理システム、撮像装置、画像処理方法およびプログラム | |
JP5858012B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2011155680A (ja) | 画像処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160223 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5906745 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |