JP5967422B2 - 撮像装置及び撮像処理方法並びにプログラム - Google Patents

撮像装置及び撮像処理方法並びにプログラム Download PDF

Info

Publication number
JP5967422B2
JP5967422B2 JP2012117399A JP2012117399A JP5967422B2 JP 5967422 B2 JP5967422 B2 JP 5967422B2 JP 2012117399 A JP2012117399 A JP 2012117399A JP 2012117399 A JP2012117399 A JP 2012117399A JP 5967422 B2 JP5967422 B2 JP 5967422B2
Authority
JP
Japan
Prior art keywords
subject
live view
imaging apparatus
imaging
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012117399A
Other languages
English (en)
Other versions
JP2013246189A (ja
Inventor
英明 松田
英明 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012117399A priority Critical patent/JP5967422B2/ja
Publication of JP2013246189A publication Critical patent/JP2013246189A/ja
Application granted granted Critical
Publication of JP5967422B2 publication Critical patent/JP5967422B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本発明は、被写体を撮影する撮像手段を備えた撮像装置及び撮像処理方法並びにプログラムに関する。
一般に、デジタルスチルカメラやビデオカメラなどの撮像装置にはセルフタイマ撮影機能が備えられており、このセルフタイマ撮影機能による撮影時には撮影者が被写体となるために被写体が撮影範囲内から外れている状態、つまり、フレームアウトしている状態でフレーミングなどを行わなければならず、撮影失敗の大きな原因となることが多かった。そこで、従来では、セルフタイマ撮影時のシャッタ押下後に顔認識機能により撮影者(被写体)がフレームインしたことを認識すると、その被写体(人物)にフォーカスを合わせてから撮影を行うようにした技術が開示されている(特許文献1参照)。
特開2008−136035号公報
このようにセルフタイマ撮影時にフォーカスを再調整する特許文献1の技術にあっては、被写体となる人物に確実にフォーカスを合わせることができるようになる反面、背景などのその他の部分のフォーカスがどのような状態となるのかを確認することはできなかった。このことは、セルフタイマ撮影に限らず、人物などの被写体がフレームアウトしている状態であっても同様であり、被写体とその背景がどのようにフォーカスされるのかを事前に確認することはできなかった。一方、撮影テクニックとして、例えば、後から人物などの被写体を合成するために背景のみを先行して撮影する場合に、その背景に焦点が合っていないような画像(意識的に背景をぼかしたような画像)を撮影したいという要望もある。
本発明の課題は、被写体が撮影範囲内から外れている状態であっても撮影に先立って、撮影者にあってはその被写体にフォーカスが合った画像を事前に確認できるようにすることである。
上述した課題を解決するために本発明の撮像装置は、
被写体を撮影する撮像手段を備えた撮像装置であって、
前記撮像手段からの画像がライブビュー画像として表示されているライブビュー画面内に特定の実被写体に対応した仮想被写体を配置して合成表示する配置手段と、
前記特定の実被写体がライブビュー画面内に存在しない状態で、前記配置手段により当該ライブビュー画面内に合成表示されている仮想被写体の表示サイズに基づいて、当該特定の実被写体が当該ライブビュー画面内に存在する場合の被写体距離を算出する算出手段と、
前記算出手段により算出された被写体距離を報知する報知手段と、
を備えたことを特徴とする撮像装置である。
上述した課題を解決するために本発明の撮像処理方法は、
被写体を撮影する撮像手段からの画像がライブビュー画像として表示されているライブビュー画面内に特定の実被写体に対応した仮想被写体を配置して合成表示する処理と、
前記特定の実被写体がライブビュー画面内に存在しない状態で、前記ライブビュー画面内に合成表示されている仮想被写体の表示サイズに基づいて、当該特定の実被写体が当該ライブビュー画面内に存在する場合の被写体距離を算出する処理と、
前記算出された被写体距離を報知する処理と、
を含むことを特徴とする撮像処理方法である。
上述した課題を解決するために本発明のプログラムは、
コンピュータに対して、
被写体を撮影する撮像手段からの画像がライブビュー画像として表示されているライブビュー画面内に特定の実被写体に対応した仮想被写体を配置して合成表示する機能と、
前記特定の実被写体がライブビュー画面内に存在しない状態で、前記ライブビュー画面内に合成表示されている仮想被写体の表示サイズに基づいて、当該特定の実被写体が当該ライブビュー画面内に存在する場合の被写体距離を算出する機能と、
前記算出された被写体距離を報知する機能と、
を実現させるためのプログラムである。
本発明によれば、被写体が撮影範囲内から外れている状態であっても撮影に先立って、撮影者にあってはその被写体にフォーカスが合った画像を事前に確認することができ、所望する画像を的確に撮影することが可能となる。
撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。 (1)〜(4)は、セルフタイマ撮影モードでのシミュレーション表示を説明するための図。 (1)〜(4)は、実際の被写体が撮影範囲内から外れている状態であってもその被写体距離の算出式を説明するための図。 セルフタイマ撮影に関する準備処理を示したフローチャート。 セルフタイマ撮影モードに切り替えられた際に実行開始されるフローチャート。 図5の動作に続くフローチャート。
以下、図1〜図6を参照して本発明の本実施形態を説明する。
本実施形態は、撮像装置としてデジタルカメラに適用した場合を例示したもので、図1は、このデジタルカメラの基本的な構成要素を示したブロック図である。
撮像装置(デジタルカメラ)は、静止画像のほかに動画像の撮影も可能なコンパクトカメラや一眼レフカメラであり、撮像機能、計時機能などの基本的な機能のほか、シャッタ押下操作よりも遅れて撮影を開始するセルフタイマ機能、被写体(人物)の顔を認識してその被写体にフォーカスを合わせる顔認識オートフォーカス機能などを備えている。制御部1は、電源部(二次電池)2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこの撮像装置の全体動作を制御するもので、この制御部1には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。
記憶部3は、例えば、ROM、フラッシュメモリなどを有する構成で、後述する図4〜図6に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ3aと、この撮像装置が動作するために必要となる各種の情報(例えば、フラグ、セルフタイマの計測時間など)を一時的に記憶するワークメモリ3bなどを有している。なお、記憶部3は、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。
操作部4は、押しボタン式のキーとして、撮影可能な状態とする撮影モード(セルフタイマ撮影モード、連写撮影モードなど)、撮影済み画像を再生する再生モードなどを切り替えるモード変更キー4aを備えているほか、撮影開始を指示するシャッタキー4b、露出やシャッタスピードなどの撮影条件の設定操作などを行うための各種のキー(図示省略)を備え、制御部1は、この操作部4から操作キーに対応して出力される入力操作信号に応じて、例えば、モード変更処理、撮影処理、撮影条件の設定処理などを行う。
撮像部5は、図示省略したが、光学レンズからの被写体像が撮像素子(CCDやCMOSなど)に結像されることにより被写体を高精細に撮影可能なカメラ部を構成するもので、撮影レンズ(例えば、ズームレンズ)、撮像素子、ストロボ、各種のセンサ、アナログ処理部、デジタル処理部を有している。そして、撮像部5は、静止画像のほかに動画像の撮影も可能なもので、光電変換された画像信号(アナログ値の信号)は、色分離やRGBの色成分毎のゲイン調整などが行われた後、デジタル値のデータに変換される。デジタル変換された画像データは、色補間処理(デモザイク処理)が施されてタッチ表示部6にフルカラー表示される。また、本実施形態においては、オートフォーカス処理(AF処理)、露出調整処理(AE処理)、オートホワイトバランス調整処理(AWB)、画像圧縮処理、画像復元処理なども実行可能となっている。
タッチ表示部6は、表示パネル6aにタッチパネル6bを積層配設した構成で、表示パネル6aは、例えば、縦横比(横4:縦3)の異なる画面を有した高精細液晶ディスプレイあるいは有機EL(Electro Luminescence)ディスプレイで、撮影画像(ライブビュー画像)を表示するモニタ画面(ライブビュー画面)となったり、撮影済み画像を再生する再生画面となったりする。タッチパネル6bは、撮影者の指などでタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗皮膜方式を採用しているが、その他の方式であってもよい。スピーカ7は、シャッタ押下操作時にシャッタ音を発生したり、セルフタイマ撮影時に所定の条件で警報音を発生したりする。
図2(1)〜(4)は、セルフタイマ撮影モードでのシミュレーション表示を説明するための図である。
ここで、シミュレーション表示とは、セルフタイマ撮影モードに切り替えられている状態において、その撮影に先立ってタッチ表示部6上のライブビュー画面で行われるシミュレーション表示であり、制御部1は、実際の被写体(実被写体:撮影者)が撮影範囲内から外れている状態(フレームアウトしている状態)であってもフォーカスをその被写体に合わせた状態のライブビュー画像をシミュレーション表示するようにしている。このようなシミュレーション表示を行うために本実施形態においては、セルフタイマ撮影を行う前のライブビュー画面内に任意サイズの仮想被写体をタッチ表示部6に合成表示させるようにしている。仮想被写体は、例えば、実被写体(撮影者)の全身像であり、実被写体を撮影した撮影画像から人型に切り抜き生成された画像(全身像)あるいは実被写体を模した模型(人型)のイラスト画像(全身像)などのデータである。
また、撮影画角内に占める位置や領域サイズが分かる形状であれば、他の簡易な形状であってもよい。
図2(1)〜(4)は、セルフタイマ撮影モードにおいてシミュレーション表示が行われるまでの処理過程を示した図である。図2(1)は、仮想被写体を任意に選択するために記憶部3から読み出した各種の画像がタッチ表示部6にサムネイル画像として一覧表示されるサムネイル画面を示した図である。この一覧画面(サムネイル画面)の中から所望する画像が表示されている位置(領域)が指などでタッチされると、制御部1は、その画像を仮想被写体作成用の画像として選択指定し、この選択画像から人型(全身像)を切り抜きして拡大あるいは縮小処理したりして所望する仮想被写体を作成するようにしている。図2(2)は、セルフタイマ撮影モード時にタッチ表示部6に表示されるライブビュー画面を示した図で、撮影者(実被写体)が撮影範囲内から外れているフレームアウトの状態を示している。
図2(3)は、図2(2)に示したライブビュー画面内において、図2(1)で選択した仮想被写体を配置して合成表示させた場合の合成画像表示画面を示した図で、ライブビュー画面内に仮想被写体が合成表示されている状態において、制御部1は、特定の実被写体を撮影する際の被写体距離を算出し、その算出結果(被写体距離)にフォーカス位置を設定すると共に、その算出結果(被写体距離)をライブビュー画面内に数値表示するようにしている。そして、図2(3)は、被写体距離として「6.6m」がガイド表示された状態を示している。
図2(4)は、例えば、2本の指によるタッチ操作(例えば、ズームイン操作)により仮想被写体を拡大あるいは縮小させることにより被写体距離を変化させた場合の合成画像表示画面を示した図である。すなわち、合成画像表示画面が表示されている状態において、その画面内の仮想被写体へのタッチ操作によりその表示位置や表示サイズの変更が指示されると、制御部1は、仮想被写体の表示位置や表示サイズを調整する処理を行うようにしている。この場合、制御部1は、仮想被写体の表示サイズの変更に応じて被写体距離を変更し、更に、被写体距離の変化に応じてフォーカス位置を変更すると共に、ライブビュー画面内の数値表示を変更する。なお、図示の例は、仮想被写体の全体(全身)を拡大することにより被写体距離が「6.6m」から「4.0m」に変更された場合である。
図3(1)〜(4)は、被写体距離をどのように算出するかを説明するための図である。
図3(1)は、ライブビュー表示状態での画角、撮影レンズの焦点距離、撮像素子(例えば、CCD)のフレームサイズを図示したもので、図中、“θl”は画角、“xl”はレンズの焦点距離、“y”は撮像素子のフレームサイズ(高さ)を示している。図3(2)は、ライブビュー画面内に仮想被写体を合成表示(挿入表示)させた場合において、実被写体のサイズ、実被写体を撮影する際の被写体距離、この被写体距離の位置での撮影領域の高さを図示したもので、図中、“vy”は実被写体のサイズ(高さ:身長)、“vx”は実被写体を撮影する際の撮影レンズの主点からの被写体距離、“py”は被写体距離の位置上での撮影領域(撮影範囲)のサイズ(高さ)を示している。なお、実被写体の高さ(身長)vyは、予めユーザ操作によって入力された入力値である。
図3(3)は、ライブビュー画面内に仮想被写体を合成表示(挿入表示)させた場合において、そのライブビュー画面内での仮想被写体のサイズとライブビュー画面のサイズを図示したもので、図中、“gvy”はライブビュー画面内での仮想被写体の表示サイズ(高さ)、“gpy”はライブビュー画面のサイズ(高さ)を示している。なお、ライブビュー画面内での仮想被写体の高さgvyは、ライブビュー画像を解析することによって計測された計測値である。図3(4)は、撮影レンズの主点からの被写体距離vxを算出する式を示し、次式にしたがって被写体距離vxを求める。
py=vy×gpy/gvy
tan(θl/2)=y/2xl=py/2vx
したがって、vx=xl×py/y
ここで、撮像素子のフレームサイズ(高さ):y=1/2.3型=4.6mm
ライブビュー表示時でのズームレンズの焦点距離(f=5〜35mm):f=15mm
実被写体のサイズ(高さ):vy=170cm=1700mm
ライブビュー画面のサイズ(高さ):gpy=480ピクセル
ライブビュー画面内での仮想被写体の表示サイズ(高さ):gvy=400ピクセル
とすると、
py=1700×480/400=2040
vx=15×2040/4.6=6652.2mm
被写体距離 vx=665.2cm
次に、本実施形態における撮像装置の動作概念を図4〜図6に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。なお、図4〜図6は、撮像装置の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図4〜図6のフローから抜けた際には、全体動作のメインフロー(図示省略)に戻る。
図4は、セルフタイマ撮影に関する準備処理を示したフローチャートで、各種の設定モードの中からセルフタイマ撮影に関する設定モードがユーザ操作により選択された際に実行開始される。
この準備処理は、シミュレーション表示用の仮想被写体を特定するための処理で、先ず、タッチ表示部6に処理メニュー画面を表示させる(ステップA1)。このメニュー画面には、「1」:仮想被写体を任意に作成するのか、「2」:過去にユーザが作成した作成済みの仮想被写体を利用するのか、「3」:予め設定されている設定仮想被写体を利用するのか、を選択するためのメニュー項目を有し、その中から任意の項目が選択されると、その選択項目は、「1」:仮想被写体の作成を指示する項目であるか(ステップA2)、「2」:作成済み仮想被写体の利用を指示する項目であるかを調べる(ステップA3)。
いま、「1」:仮想被写体の作成を指示するメニュー項目が選択されたときには(ステップA2でYES)、図2(1)に示すように記憶部3から読み出した各種の画像を選択候補としてサムネイル画面に一覧表示させると共に(ステップA4)、そのサムネイル画面の中から撮影者の所望する画像が選択指定されると(ステップA5)、その選択画像から仮想被写体を作成する処理に移る(ステップA6)。この場合、選択画像から人物の全身像を切り抜きしたり、拡大縮小したりすることにより所望する仮想被写体を作成する。このようにして仮想被写体が作成されると、ユーザ操作により実被写体(撮影者)のサイズデータ(身長データ)を置数入力する処理に移る(ステップA7)。そして、作成した仮想被写体と入力された身長データとを対応付けて記憶部3内にセルフタイマ撮影用の情報として記憶保存させる(ステップA8)。
また、「2」:作成済み仮想被写体の利用を指示するメニュー項目が選択されたときには(ステップA3でYES)、記憶部3から作成済み仮想被写体を読み出すと共に(ステップA9)、それに対応付けられている仮想被写体のサイズデータ(身長データ)を読み出す(ステップA10)。また、それ以外のメニュー項目が選択されたときには(ステップA3でNO)、「3」:設定仮想被写体の利用を指示するメニュー項目が選択されたものとして、予め設定されている画像として、実被写体を模した模型画像あるいは一般人物の人型画像を仮想被写体として読み出すと共に(ステップA11)、実被写体の模型画像あるいは一般人物の人型画像に対応付けて設定されている仮想被写体のサイズデータ(身長データ)を読み出す(ステップA12)。この場合、実被写体の模型画像に対応する身長データは、その実被写体の実際の身長であるが、一般人物の人型画像に対応する身長データは、平均的な身長データである。なお、一般人物の人型画像や身長データは、男女別などに対応して複数用意されており、その中から実被写体(撮影者)に近い人型及び身長データを選択するようにしている。
図5及び図6は、セルフタイマ撮影モードに切り替えられた際に実行開始されるフローチャートである。
先ず、制御部1は、撮像部5による撮影画像をライブビュー画像としてタッチ表示部6に表示するライブビュー表示動作を開始する(図5のステップB1)。そして、上述の準備処理で特定した仮想被写体及びその仮想被写体のサイズデータ(身長データ)を取得し(ステップB2)、タッチ表示部6のライブビュー画面内に仮想被写体を配置して合成表示(シミュレーション表示)させる(ステップB3)。この場合、仮想被写体は、予め決められている初期位置に初期サイズで表示される。
このようにライブビュー画面(シミュレーション画面)内に仮想被写体を初期表示させた状態において、被写体距離を上述した計算式「py=vy×gpy/gvy、vx=xl×py/y」にしたがって算出する(ステップB4)。ここで、実被写体のサイズ(高さ):vy=1700mm、ライブビュー画面のサイズ(高さ):gpy=480ピクセル、ライブビュー画面内での仮想被写体の表示サイズ(初期サイズ):gvy=400ピクセルとすると、上述したように、py=1700×480/400=2040、vx=15×2040/4.6=6652.2mm、vx=665.2cmとなる。これによって算出した被写体距離vxをシミュレーション画面内に数値表示(案内表示)させると共に(ステップB5)、この被写体距離にフォーカスが合うようにその位置をシミュレーションフォーカス位置として撮像部5に設定する(ステップB6)。
次に、シミュレーション画面に対してタッチ操作が行われたかを調べたり(ステップB7)、シャッタ押下操作が行われたかを調べたり(ステップB10)、その他の操作が行われたかを調べたりする(ステップB11)。いま、いずれの操作も行われなければ(ステップB11でNO)、上述のステップB7に戻って操作待ち状態となるが、その他の操作が行われたときには(ステップB11でYES)、操作に応じた処理として、例えば、露出調整、ズーム調整などの処理(ステップB12)を行った後、上述のステップB7に戻る。なお、その他の操作としてセルフタイマ撮影モードを解除する操作が行われた場合には、図5及び図6のフローから抜ける(図示省略)。
いま、シミュレーション画面に対してタッチ操作が行われたときには(ステップB7でYES)、そのタッチの種類に応じて仮想被写体の表示位置や表示サイズを調整する処理を行う(ステップB8)。ここで、仮想被写体の表示位置を変更する場合には、仮想被写体の表示領域にタッチしながら所望の位置まで移動するスライド操作(なぞり操作)を行い、また、仮想被写体の表示サイズを変更する場合には、仮想被写体の表示領域に2本の指でタッチしながら各指を開く方向に移動するマルチタッチ操作(ズームイン操作)を行ったり、2本の指を閉じる方向に移動するマルチタッチ操作(ズームアウト操作)を行ったりする。
このようにして仮想被写体の表示位置や表示サイズが任意に変更されると、制御部1は、変更後の仮想被写体を解析することによりその表示サイズ(高さ)を検出する(ステップB9)。そして、上述のステップB4に戻り、変更後の仮想被写体の表示サイズに基づいて新たな被写体距離を算出し、この算出した被写体距離vxをシミュレーション画面内に案内表示させると共に(ステップB5)、この被写体距離にフォーカスが合うようにその位置をシミュレーションフォーカス位置として撮像部5に設定する(ステップB6)。この場合、仮想被写体の全体(全身)を拡大することにより被写体距離は、その表示サイズの変更量に応じて、例えば、図2(4)に示すように「6.6m」から「4.0m」に変更される。以下、仮想被写体の表示サイズが変更される毎に、上述の動作が繰り返される(ステップB4〜B9)。
一方、セルフタイマ撮影モードにおいてシャッタ押下操作が行われたときには(ステップB10でYES)、図6のフローに移り、ライブビュー画面内の仮想被写体を消去すると共に(ステップB13)、セルフタイマの計測動作を開始させる(ステップB14)。そして、顔認識オートフォーカス機能が動作可能なオン状態に設定されているかを調べ(ステップB15)、それがオフ状態に設定されていれば(ステップB15でNO)、ステップB21に移るが、オン状態に設定されていれば(ステップB15でYES)、顔認識オートフォーカス機能を動作させる(ステップB16)。この場合、予め登録されている認識情報(人物の顔画像やその特徴情報)に基づいてライブビュー画面内にフレームインされた実被写体を認識し、この顔認識により認識されたに実被写体に対してオートフォーカスを行う。
次に、このオートフォーカス位置と上述のシミュレーション表示時のフォーカス位置とを比較してその差(絶対値)を算出し(ステップB17)、その差が所定値(例えば、30cm)以上離れているかを調べる(ステップB18)。ここで、その差が所定値未満であれば(ステップB18でNO)、上述のシミュレーション表示時のフォーカス位置に設定したままとするが、その差が所定値以上であれば(ステップB18でYES)、上述のシミュレーション表示時のフォーカス位置に代わってオートフォーカス位置を撮像部5に設定する(ステップB19)。そして、フレームインした位置が正しい位置ではないことを報知するためにスピーカ7から警報音を発生させる(ステップB20)。
次に、セルフタイマがタイムアウトとなったかを調べ(ステップB21)、タイムアウトの前であれば(ステップB21でNO)、ライブビュー画面内の実被写体画像を解析し(ステップB22)、その実被写体がフォーカス位置に影響を与える所定値以上移動したかを調べる(ステップB23)。いま、実被写体が移動していないとき、移動したとしてもその移動量が所定値未満のときには(ステップB23でNO)、上述のステップB21に戻り、セルフタイマがタイムアウトになるまで待機状態となるが、実被写体が所定値以上移動したときには(ステップB23でYES)、上述のステップB15に戻る。この場合、オートフォーカスがオン状態であれば(ステップB15でYES)、再度、移動後の実被写体をオートフォーカスした後、以下、上述の動作を繰り返す。いま、タイムアウトを検出したときには(ステップB21でYES)、撮像部5は現在設定されているフォーカス位置で撮影処理を行う(ステップB24)。その後、図5及び図6のフローから抜ける。
以上のように、本実施形態において制御部1は、ライブビュー画面内に任意サイズの仮想被写体を配置して合成表示させると共に、その仮想被写体の表示サイズに基づいて実被写体を撮影する際の被写体距離を算出してその被写体距離に撮像部5のフォーカス位置を設定するようにしたので、実際の被写体が撮影範囲内から外れている状態であっても撮影に先立って、撮影者にあってはその被写体にフォーカスが合った画像を事前に確認することができ、所望する画像を的確に撮影することが可能となる。その結果、セルフタイマ撮影時などで有効なものとなり、更に、例えば、後から人物などの被写体を合成するために背景のみを先行して撮影する際に、その背景に焦点が合っていない画像(意識的に背景をぼかしたような画像)を撮影する場合にも有効なものとなる。
撮影対象となる実被写体の高さを特定した場合に、ライブビュー画面内の仮想被写体の高さと特定した実被写体の高さ及び撮影画角に基づいて実想被写体を撮影する際の被写体距離を算出するようにしたので、実想被写体の位置にフォーカスを合わせるための被写体距離を容易に得ることができる。
撮影対象となる実被写体の高さをユーザ操作により入力するようにしたので、実被写体の高さを正確に特定することができる。
予め高さの分かっている複数の実被写体のいずれかをユーザ操作により選択するようにしたので、実被写体の高さを容易に特定することができる。
セルフタイマ撮影時に実被写体が撮影範囲内から外れていても仮想被写体の表示位置(略同位置)にフレームインするようにすれば、実被写体に焦点が合ったセルフタイマ撮影が可能となり、撮影失敗を抑えることが可能となる。
セルフタイマ撮影のタイマ計測動作中でのオートフォーカス位置とシミュレーション表示時のフォーカス位置とを比較してその差が所定値以上であれば、シミュレーション表示時のフォーカス位置に代わってオートフォーカス位置を撮像部5に設定してセルフタイマ撮影を行うようにしたので、実被写体がフレームインした位置が正しい位置でなくてもその実被写体にフォーカスが合った撮影が可能となる。
セルフタイマ撮影のタイマ計測動作中でのオートフォーカス位置とシミュレーション表示時のフォーカス位置とを比較してその差が所定値以上であれば、警告を出力するようにしたので、実被写体がフレームインした場合に正しい位置でないことを知らせることができる。
オートフォーカス時には、予め登録されている認識情報に基づいてライブビュー画面内の実被写体を認識してオートフォーカスするようにしたので、撮影対象である実被写体へのフォーカスがより確実なものとなる。
撮影対象となる実被写体を撮影した画像から切り抜き生成された画像を仮想被写体としてライブビュー画面内に合成表示するようにしたので、例えば、直近に撮影された画像から仮想被写体を生成することができ、より現実味の高いシミュレーションが可能となる。
撮影対象となる実被写体を模した模型の画像データを仮想被写体としてライブビュー画面内に合成表示するようにしたので、仮想被写体を作成する作業が不要となる。
仮想被写体は、人物の全身像であるので、仮想被写体の表示サイズに基づいて焦点距離を算出する際に、その表示サイズを身長とすることができる。
算出した被写体距離を、ライブビュー画面内に仮想被写体と併せて表示するようにしたので、実被写体がフレームインする際に、表示されている被写体距離を目安として、どの辺りに入ればよいかを確認することができる。
なお、上述した実施形態においては、実被写体を撮影する際の距離を演算によって算出しているが、被写体までの距離と実被写体のサイズ(身長データ)を対応付けたテーブルを記憶し、そのテーブルを基に実被写体を算出する際の距離を算出してもよい。
また、上述した実施形態においては、実被写体のサイズ(身長データ)を入力するようにしたが、例えば、予め設定されている日本人の男女別の平均的なサイズ(身長)を利用するようにしてもよい。
また、実被写体のサイズ(身長データ)が入力された複数の仮想被写体を登録可能とし、選択できるようにしてもよい。
上述した実施形態においては、仮想被写体として人物の全身像としたが、胸から上の画像あるいは顔画像であってもよい。この場合、仮想被写体の表示サイズとして胸から上の画像あるいは顔画像の高さとすればよい。また、実被写体の高さとして胸から上あるいは顔の高さ(長さ)とすればよい。更に、仮想被写体としては、実際の被写体(実被写体)と同一の人物の撮影画像、一般的な人型の画像のほか、人物に限らず、ペットやキャラクタなどの画像であってもよく、ユーザが所望する任意の画像を仮想被写体としてもよい。
また、上述した実施形態においては、セルフタイマ撮影のタイマ計測動作中でのオートフォーカス位置とシミュレーション表示時のフォーカス位置とを比較してその差が所定値以上であれば、警告音を出力するようにしたが、ランプの点灯や点滅表示によって警告するようにしてもよい。また、上述した実施形態においては、その差が所定値以上である場合でも撮影を行うようにしたが、警告のみ出力するようにしてもよい。
また、上述した実施形態においては、セルフタイマ撮影に適用した場合を示したが、人物がフレームインするまでの間を利用してシミュレーション表示により撮影状況を確認する場合でも同様に適用可能である。
また、上述した実施形態においては、仮想被写体を先に配置してから実被写体を撮影する際の被写体距離を算出するようにしたが、実被写体を撮影する際の被写体距離を先に決めて対応するサイズで仮想被写体を表示させるようにしてもよい。この場合、撮像部5からの画像がライブビュー画像として表示されているライブビュー画面内に特定の実被写体に対応した仮想被写体を表示させる場合に、特定の実被写体を撮影する際の被写体距離に基づいてその実被写体に対応した仮想被写体の表示サイズを算出し、この算出した表示サイズの仮想被写体をライブビュー画面内に配置して合成表示するようにすればよい。このように、実被写体を撮影する際の被写体距離を先に決めからその仮想被写体のサイズを算出して仮想被写体を合成表示するようにしても上述した実施形態と同様の効果を有し、撮影者にあってはその被写体にフォーカスが合った画像を事前に確認することができ、所望する画像を的確に撮影することが可能となる。
また、上述した実施形態においては、デジタルコンパクトカメラに適用した場合を示したが、デジタル一眼レフカメラであってもよく、また、カメラ機能付きパーソナルコンピュータ・PDA(個人向け携帯型情報通信機器)・音楽プレイヤー・電子ゲームなどであってもよい。
また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
被写体を撮影する撮像手段を備えた撮像装置であって、
前記撮像手段からの画像がライブビュー画像として表示されているライブビュー画面内に特定の実被写体に対応した任意サイズの仮想被写体を配置して合成表示する配置手段と、
前記配置手段によりライブビュー画面内に合成表示されている仮想被写体の表示サイズに基づいて前記特定の実被写体を撮影する際の被写体距離を算出する算出手段と、
前記算出手段により算出された被写体距離に前記撮像手段のフォーカス位置を設定するフォーカス設定手段と、
を備えたことを特徴とする撮像装置である。
(請求項2)
請求項2に記載の発明は、請求項1に記載の撮像装置において、
撮影対象となる実被写体の高さを特定する特定手段を更に備え、
前記算出手段は、前記ライブビュー画面内の仮想被写体の高さと前記特定手段により特定された実被写体の高さ及び撮影画角に基づいて前記実想被写体を撮影する際の被写体距離を算出する、
ようにしたことを特徴とする撮像装置。
(請求項3)
請求項3に記載の発明は、請求項2に記載の撮像装置において、
前記特定手段は、撮影対象となる実被写体の高さをユーザ操作により入力する、
ようにしたことを特徴とする撮像装置である。
(請求項4)
請求項4に記載の発明は、請求項2に記載の撮像装置において、
前記特定手段は、予め高さの分かっている複数の実被写体のいずれかをユーザ操作により選択する、
ようにしたことを特徴とする撮像装置である。
(請求項5)
請求項5に記載の発明は、請求項1〜請求項4のいずれかに記載の撮像装置において、
前記フォーカス設定手段により設定されているフォーカス位置で前記撮像手段によるセルフタイマ撮影を実行するセルフタイマ撮影手段を更に備える、
ようにしたことを特徴とする撮像装置である。
(請求項6)
請求項6に記載の発明は、請求項5に記載の撮像装置において、
オートフォーカス手段と、
前記セルフタイマ撮影手段によるセルフタイマ撮影の実行時に前記オートフォーカス手段によりオートフォーカスされたフォーカス位置と前記フォーカス設定手段により設定されたフォーカス位置との差が所定値以上であるか否かを判別する判別手段と、
を更に備え、
前記セルフタイマ撮影手段は、前記判別手段により前記差が所定値以上であると判別された場合に、前記オートフォーカス手段によるフォーカス位置で前記セルフタイマ撮影を実行する、
ようにしたことを特徴とする撮像装置である。
(請求項7)
請求項7に記載の発明は、請求項5に記載の撮像装置において、
オートフォーカス手段と、
前記セルフタイマ撮影手段によるセルフタイマ撮影の実行時に前記オートフォーカス手段によりオートフォーカスされたフォーカス位置と前記フォーカス設定手段により設定されたフォーカス位置との差が所定値以上であるか否かを判別する判別手段と、
前記判別手段により前記差が所定値以上であると判別された場合に、警告を出力する警告手段と、
を更に備える、
ようにしたことを特徴とする撮像装置である。
(請求項8)
請求項8に記載の発明は、請求項6あるいは請求項7に記載の撮像装置において、
予め登録されている認識情報に基づいて前記ライブビュー画面内に撮影対象として表示されている実被写体を認識する認識手段を更に備え、
前記オートフォーカス手段は、前記認識手段により認識されたに実被写体に対してオートフォーカスを行う、
ようにしたことを特徴とする撮像装置である。
(請求項9)
請求項9に記載の発明は、請求項1〜請求項8のいずれかに記載の撮像装置において、
撮影対象となる実被写体を撮影した画像から切り抜き生成された生成画像データを前記仮想被写体として取得する取得手段を更に備え、
前記配置手段は、前記取得手段により取得された生成画像データを前記ライブビュー画面内に仮想被写体として合成表示させる、
ようにしたことを特徴とする撮像装置である。
(請求項10)
請求項10に記載の発明は、請求項1〜請求項8のいずれかに記載の撮像装置において、
撮影対象となる実被写体を模した模型画像データを前記仮想被写体として取得する取得手段を更に備え、
前記配置手段は、前記取得手段により取得された模型画像データを前記ライブビュー画面内に仮想被写体として合成表示させる、
ようにしたことを特徴とする撮像装置である。
(請求項11)
請求項11に記載の発明は、請求項9あるいは請求項10に記載の撮像装置において、
前記仮想被写体は、人物の全身像、胸から上の画像、顔画像のいずれかである、
ことを特徴とする撮像装置である。
(請求項12)
請求項12に記載の発明は、請求項1〜請求項11のいずれかに記載の撮像装置において、
前記算出手段により算出された被写体距離を、前記ライブビュー画面内に前記仮想被写体と併せて表示する表示制御手段を更に備える、
ようにしたことを特徴とする撮像装置。
(請求項13)
請求項13に記載の発明は、
被写体を撮影する撮像手段を備えた撮像装置であって、
前記撮像手段からの画像がライブビュー画像として表示されているライブビュー画面内に特定の実被写体に対応した仮想被写体を表示させる場合に、前記特定の実被写体を撮影する際の被写体距離に基づいてその実被写体に対応した仮想被写体の表示サイズを算出する算出手段と、
前記算出手段により算出された表示サイズの仮想被写体を前記ライブビュー画面内に配置して合成表示する配置手段と、
を備えたことを特徴とする撮像装置である。
(請求項14)
請求項14に記載の発明は、
被写体を撮影する撮像手段からの画像がライブビュー画像として表示されているライブビュー画面内に特定の実被写体に対応した任意のサイズで仮想被写体を配置して合成表示するステップと、
前記ライブビュー画面内に合成表示されている仮想被写体の表示サイズに基づいて前記特定の実被写体を撮影する際の被写体距離を算出するステップと、
前記算出された被写体距離に前記撮像手段のフォーカス位置を設定するステップと、
を含むことを特徴とする撮像処理方法である。
(請求項15)
請求項15に記載の発明は、
コンピュータに対して、
被写体を撮影する撮像手段からの画像がライブビュー画像として表示されているライブビュー画面内に特定の実被写体に対応した任意のサイズで仮想被写体を配置して合成表示する機能と、
前記ライブビュー画面内に合成表示されている仮想被写体の表示サイズに基づいて前記特定の実被写体を撮影する際の被写体距離を算出する機能と、
前記算出された被写体距離に前記撮像手段のフォーカス位置を設定する機能と、
を実現させるためのプログラムである。
1 制御部
3 記憶部
3a プログラムメモリ
4 操作部
5 撮像部
6 タッチ表示部
6a 表示パネル
6b タッチパネル

Claims (15)

  1. 被写体を撮影する撮像手段を備えた撮像装置であって、
    前記撮像手段からの画像がライブビュー画像として表示されているライブビュー画面内に特定の実被写体に対応した仮想被写体を配置して合成表示する配置手段と、
    前記特定の実被写体がライブビュー画面内に存在しない状態で、前記配置手段により当該ライブビュー画面内に合成表示されている仮想被写体の表示サイズに基づいて、当該特定の実被写体が当該ライブビュー画面内に存在する場合の被写体距離を算出する算出手段と、
    前記算出手段により算出された被写体距離を報知する報知手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記算出手段により算出された被写体距離に前記撮像手段のフォーカス位置を設定するフォーカス設定手段と、
    前記フォーカス設定手段により設定されているフォーカス位置で前記撮像手段によるセルフタイマ撮影を実行するセルフタイマ撮影手段を更に備える、
    ようにしたことを特徴とする請求項1に記載の撮像装置。
  3. 前記配置手段による合成表示と、前記算出手段による被写体距離の算出は、セルフタイマ撮影のタイマ計測動作の開始前に実行される、
    ようにしたことを特徴とする請求項2に記載の撮像装置。
  4. 前記タイマ計測動作の開始時に、前記仮被写体を前記ライブビュー画像内から消去する、
    ようにしたことを特徴とする請求項3に記載の撮像装置。
  5. 前記セルフタイマ撮影手段は、前記特定の実被写体が前記ライブビュー画像内に存在する状態で、撮影を実行する、
    ようにしたことを特徴とする請求項2〜請求項4のいずれかに記載の撮像装置。
  6. 前記セルフタイマ撮影手段によるセルフタイマ撮影のタイマ計測動作開始後に、前記特定の実被写体が前記ライブビュー画像内に存在する状態で、当該特定の実被写体に対してオートフォーカスにより取得される前記撮像手段のフォーカス位置を取得するオートフォーカス手段と、
    前記セルフタイマ撮影手段によるセルフタイマ撮影の実行時に前記オートフォーカス手段により取得されたフォーカス位置と、前記フォーカス設定手段により設定されたフォーカス位置との差が所定値以上であるか否かを判別する判別手段と、
    を更に備え、
    前記セルフタイマ撮影手段は、前記判別手段により前記差が所定値以上であると判別された場合に、前記オートフォーカス手段によるフォーカス位置で前記セルフタイマ撮影を実行する、
    ようにしたことを特徴とする請求項2〜請求項5のいずれかに記載の撮像装置。
  7. 前記セルフタイマ撮影手段によるセルフタイマ撮影のタイマ計測動作開始後に、前記特定の実被写体が前記ライブビュー画像内に存在する状態で、当該特定の実被写体に対してオートフォーカスにより取得される前記撮像手段のフォーカス位置を取得するオートフォーカス手段と、
    前記セルフタイマ撮影手段によるセルフタイマ撮影の実行時に前記オートフォーカス手段により取得されたフォーカス位置と、前記フォーカス設定手段により設定されたフォーカス位置との差が所定値以上であるか否かを判別する判別手段と、
    を更に備え、
    前記判別手段により前記差が所定値以上であると判別された場合に、警告を出力する警告手段と、
    ようにしたことを特徴とする請求項2〜請求項5のいずれかに記載の撮像装置。
  8. 予め登録されている認識情報に基づいて前記ライブビュー画面内に撮影対象として表示されている実被写体を認識する認識手段を更に備え、
    オートフォーカス手段は、前記認識手段により認識されたに実被写体に対してオートフォーカスを行う、
    ようにしたことを特徴とする請求項6あるいは請求項7に記載の撮像装置。
  9. 撮影対象となる実被写体の高さを特定する特定手段を更に備え、
    前記算出手段は、前記ライブビュー画面内の仮想被写体の高さと前記特定手段により特定された実被写体の高さ及び撮影画角に基づいて前記実被写体を撮影する際の被写体距離を算出する、
    ようにしたことを特徴とする請求項1〜請求項8のいずれかに記載の撮像装置。
  10. 前記配置手段は、ユーザ操作に応じて、ライブビュー画像内における前記仮想被写体の位置またはサイズを調整する、
    ようにしたことを特徴とする請求項1〜請求項9のいずれかに記載の撮像装置。
  11. 撮影対象となる実被写体を撮影した画像から切り抜き生成された生成画像データを前記仮想被写体として取得する取得手段を更に備え、
    前記配置手段は、前記取得手段により取得された生成画像データを前記ライブビュー画面内に仮想被写体として合成表示させる、
    ようにしたことを特徴とする請求項1〜請求項10のいずれかに記載の撮像装置。
  12. 撮影対象となる実被写体を模した模型画像データを前記仮想被写体として取得する取得手段を更に備え、
    前記配置手段は、前記取得手段により取得された模型画像データを前記ライブビュー画面内に仮想被写体として合成表示させる、
    ようにしたことを特徴とする請求項1〜請求項10のいずれかに記載の撮像装置。
  13. 前記報知手段は、前記算出手段により算出された被写体距離を、前記ライブビュー画面内に前記仮想被写体と併せて表示する、
    ようにしたことを特徴とする請求項1〜請求項12のいずれかに記載の撮像装置。
  14. 被写体を撮影する撮像手段からの画像がライブビュー画像として表示されているライブビュー画面内に、特定の実被写体に対応した仮想被写体を配置して合成表示する処理と、
    前記特定の実被写体がライブビュー画面内に存在しない状態で、前記ライブビュー画面内に合成表示されている仮想被写体の表示サイズに基づいて、当該特定の実被写体当該ライブビュー画面内に存在する場合の被写体距離を算出する処理と、
    前記算出された被写体距離を報知する処理と、
    を含むことを特徴とする撮像処理方法。
  15. コンピュータに対して、
    被写体を撮影する撮像手段からの画像がライブビュー画像として表示されているライブビュー画面内に、特定の実被写体に対応した仮想被写体を配置して合成表示する機能と、
    前記特定の実被写体がライブビュー画面内に存在しない状態で、前記ライブビュー画面内に合成表示されている仮想被写体の表示サイズに基づいて、当該特定の実被写体当該ライブビュー画面内に存在する場合の被写体距離を算出する機能と、
    前記算出された被写体距離を報知する機能と、
    を実現させるためのプログラム。
JP2012117399A 2012-05-23 2012-05-23 撮像装置及び撮像処理方法並びにプログラム Expired - Fee Related JP5967422B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012117399A JP5967422B2 (ja) 2012-05-23 2012-05-23 撮像装置及び撮像処理方法並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012117399A JP5967422B2 (ja) 2012-05-23 2012-05-23 撮像装置及び撮像処理方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2013246189A JP2013246189A (ja) 2013-12-09
JP5967422B2 true JP5967422B2 (ja) 2016-08-10

Family

ID=49846037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012117399A Expired - Fee Related JP5967422B2 (ja) 2012-05-23 2012-05-23 撮像装置及び撮像処理方法並びにプログラム

Country Status (1)

Country Link
JP (1) JP5967422B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278084A (zh) * 2022-07-29 2022-11-01 维沃移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN117354628A (zh) * 2023-10-25 2024-01-05 神力视界(深圳)文化科技有限公司 对焦距离确定方法、电子设备及计算机存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05203862A (ja) * 1992-01-28 1993-08-13 Nikon Corp カメラの自動撮影装置
JPH0651188A (ja) * 1992-07-27 1994-02-25 Asahi Optical Co Ltd 自動焦点カメラおよび撮影方法
JPH08184881A (ja) * 1995-01-05 1996-07-16 Nikon Corp カメラ
JP4269908B2 (ja) * 2003-11-25 2009-05-27 カシオ計算機株式会社 電子カメラ、電子カメラの制御プログラム
JP2005191978A (ja) * 2003-12-25 2005-07-14 Casio Comput Co Ltd 携帯電子機器、撮影方法及びプログラム
JP4771524B2 (ja) * 2004-12-10 2011-09-14 カシオ計算機株式会社 撮像装置及びそのプログラム
US20070206175A1 (en) * 2006-03-03 2007-09-06 Rai Barinder S Range finder integrated digital camera
JP5060233B2 (ja) * 2007-09-25 2012-10-31 富士フイルム株式会社 撮像装置およびその自動撮影方法
JP5402341B2 (ja) * 2009-01-26 2014-01-29 株式会社Jvcケンウッド 自動撮像装置及び自動撮像方法
JP5636660B2 (ja) * 2009-09-30 2014-12-10 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP5445420B2 (ja) * 2010-09-27 2014-03-19 フリュー株式会社 写真シール作成装置、写真シール作成方法、およびプログラム

Also Published As

Publication number Publication date
JP2013246189A (ja) 2013-12-09

Similar Documents

Publication Publication Date Title
JP5999336B2 (ja) 撮像装置及び撮像処理方法並びにプログラム
JP5713055B2 (ja) 撮像装置、撮像方法及びプログラム
JP2010010936A (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
KR20170027266A (ko) 영상 촬영 장치 및 그 동작 방법
JP3971240B2 (ja) アドバイス機能付きカメラ
JP6512961B2 (ja) 撮像制御装置およびその制御方法、プログラム、並びに記憶媒体
JP5880135B2 (ja) 検出装置、検出方法及びプログラム
JP2010268019A (ja) 撮影装置
JP2008136024A (ja) 撮影装置、撮影システムおよび撮影方法
JP2014017665A (ja) 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体
US9767587B2 (en) Image extracting apparatus, image extracting method and computer readable recording medium for recording program for extracting images based on reference image and time-related information
TWI693828B (zh) 顯示擷取裝置與其操作方法
JP2009171428A (ja) デジタルカメラ装置および電子ズームの制御方法およびプログラム
US10447935B2 (en) Image generating apparatus, image generating method and computer readable recording medium for recording program for generating new image from images related to reference image
US9374525B2 (en) Shooting apparatus and shooting method
JP2014068081A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP5206422B2 (ja) 構図選択装置及びプログラム
JP5967422B2 (ja) 撮像装置及び撮像処理方法並びにプログラム
JP6494455B2 (ja) 映像処理装置、映像処理方法、及びプログラム
JP2010028446A (ja) 撮像装置、撮像方法及びプログラム
JP6242428B2 (ja) 撮影装置および撮影方法
JP2009267468A (ja) 撮影装置
JP2012073512A (ja) 撮影装置及びプログラム
KR20190142290A (ko) 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치
JP5370577B2 (ja) 構図選択装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160622

R150 Certificate of patent or registration of utility model

Ref document number: 5967422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees