JP5914824B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5914824B2
JP5914824B2 JP2012148621A JP2012148621A JP5914824B2 JP 5914824 B2 JP5914824 B2 JP 5914824B2 JP 2012148621 A JP2012148621 A JP 2012148621A JP 2012148621 A JP2012148621 A JP 2012148621A JP 5914824 B2 JP5914824 B2 JP 5914824B2
Authority
JP
Japan
Prior art keywords
touch
digital camera
controller
touch panel
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012148621A
Other languages
English (en)
Other versions
JP2013034195A (ja
Inventor
貴之 栃尾
貴之 栃尾
栄二 阿武
栄二 阿武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2012148621A priority Critical patent/JP5914824B2/ja
Publication of JP2013034195A publication Critical patent/JP2013034195A/ja
Application granted granted Critical
Publication of JP5914824B2 publication Critical patent/JP5914824B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、撮像装置に関し、特に、タッチパネルを有する撮像装置に関する。
指等によるタッチを検出して、その位置座標を特定するタッチパネル等の位置入力装置は、優れたユーザインタフェース手段として注目されている。これらの位置入力装置として、抵抗膜方式や静電容量方式等の種々の方式によるタッチパネルが知られている。近年、タッチパネルを搭載し、タッチパネルを介して操作可能なデジタルカメラも普及している。ユーザは、タッチパネルに対してタッチ操作することによりデジタルカメラに所定の動作を実行させることができる。
例えば、特許文献1は、感圧センサからの位置座標情報に基づき、押圧された箇所の画像を中心として焦点調節を行い、撮像信号を記録媒体に記録するカメラ装置を開示している。これにより、画面上の任意の位置にある被写体を、焦点を合わせる対象として指定することができる。
特開平11−142719号公報
特許文献1に記載のカメラのように、タッチ操作により焦点調節や記録動作を行う機能は便利である。しかしその反面、カメラ使用時ではないのにも関わらずユーザがタッチパネルに意図せずに接触してしまった場合、誤操作が発生してしまうという課題がある。
本発明は、上記課題を鑑みてなされたものであり、ユーザの意図しないタッチパネル操作の発生を低減可能な撮像装置を提供することを目的とする。
第1の態様において、被写体像を撮像して画像データを出力する撮像センサと、出力された画像データに基づく画像を表示する表示部と、表示部に配置され、ユーザによるタッチ操作を受け付けるタッチパネルと、撮像センサの出力に基づいて、タッチパネルの操作の有効/無効を制御する制御部とを備えた撮像装置が提供される。
第2の態様において、被写体像を撮像して画像データを出力する撮像センサと、出力された画像データに基づく画像を表示する表示部と、表示部に配置され、ユーザによるタッチ操作を受け付けるタッチパネルと、自機のぶれを検出する検出部と、検出部の検出結果に基づいて、タッチパネルの操作の有効/無効を制御する制御部とを備えた撮像装置が提供される。
第3の態様において、被写体像を撮像して画像データを出力する撮像センサと、出力された画像データに基づく画像を表示する表示部と、表示部に配置され、ユーザによるタッチ操作を受け付けるタッチパネルと、自機のぶれを検出する検出部と、撮像センサの出力および検出部の検出結果に基づいて、タッチパネルに対する操作の有効/無効を制御する制御部と、を備えた撮像装置が提供される。
本発明によれば、ユーザの意図しないタッチパネル誤操作の発生を低減させた撮像装置を提供することができる。
実施の形態1におけるデジタルカメラの構成図 実施の形態1におけるデジタルカメラの背面構成図 実施の形態1におけるイメージセンサ出力に応じたタッチパネル制御のフローチャート 実施の形態1におけるイメージセンサ出力に応じたタッチパネル制御のイメージ図 実施の形態2におけるジャイロ出力に応じたタッチパネル制御のフローチャート 実施の形態2におけるジャイロ出力に応じたタッチパネル制御のイメージ図 実施の形態2におけるジャイロ出力に応じたAF制御およびタッチパネル制御の同期のイメージ図 実施の形態3におけるイメージセンサ出力およびジャイロ出力に応じたタッチパネル制御のフローチャート
以下、添付の図面を参照して実施の形態を説明する。
実施の形態1
以下では、本発明の思想をデジタルカメラに適用した実施形態を説明する。本実施形態のデジタルカメラは、被写体像を撮像して画像データを出力するCMOSイメージセンサと、出力された画像データに基づく画像を表示する液晶ディスプレイと、液晶ディスプレイに配置され、ユーザによるタッチ操作を受け付けるタッチパネルと、CMOSイメージセンサの出力に基づいて、タッチパネルの操作の有効/無効を制御するコントローラとを備える。デジタルカメラは、CMOSイメージセンサの出力に基づいて、タッチパネル操作を有効にするか無効にするかを制御する。これにより、ユーザの意図しないタッチパネル誤操作の発生を低減することができる。以下、デジタルカメラ100の構成および動作について説明する。
1−1.構成
本実施形態のデジタルカメラの構成について説明する。図1は、本実施形態のデジタルカメラの構成を示すブロック図である。デジタルカメラ100は、光学系110を介して形成された被写体像をCMOSイメージセンサ120で撮像する。CMOSイメージセンサ120は、撮像した被写体像に基づく画像データを生成する。撮像により生成された画像データはAFE(AFE:Analog Front End)121や画像処理部130において各種処理を施される。画像データはフラッシュメモリ160やメモリカード192に記憶される。フラッシュメモリ160やメモリカード192に記憶された画像データは、ユーザによる操作部180の操作を受け付けて液晶ディスプレイ170に表示される。また、CMOSイメージセンサ120で撮像され、画像処理部130により処理された画像データが、スルー画像として液晶ディスプレイ170に表示される。
光学系110は、フォーカスレンズ111、ズームレンズ112、絞り113およびシャッタ114を含む。光学系110は、光学式手ぶれ補正レンズOIS(Optical Image Stabilizer)(図示せず)を含んでもよい。なお、光学系110を構成する各種レンズは何枚から構成されるものでも、何群から構成されるものでもよい。
フォーカスレンズ111は、焦点距離の調節に用いられる。ズームレンズ112は拡大/縮小の倍率調節に用いられる。絞り113は、CMOSイメージセンサ120に入射する光量の調節に用いられる。シャッタ114は、CMOSイメージセンサ120に入射する光の露出時間を調節する。フォーカスレンズ111、ズームレンズ112、絞り113およびシャッタ114は、それぞれに対応した、DCモータやステッピングモータ等の駆動手段(図示せず)により、コントローラ150から通知された制御信号に従って駆動される。
CMOSイメージセンサ120は、光学系110を通して形成された被写体像を撮像して画像データを生成する。CMOSイメージセンサ120は、所定のフレームレート(例えば、30フレーム/秒)で新しいフレームの画像データを生成する。CMOSイメージセンサ120の画像データ生成タイミングおよび電子シャッタ動作は、コントローラ150によって制御される。コントローラ150は、CMOSイメージセンサ120で生成された画像データを、スルー画像として逐一液晶ディスプレイ170に表示させる。これにより、ユーザはリアルタイムに被写体の状況を液晶ディスプレイ170で確認できる。なお、CMOSイメージセンサに代えて、例えばCCDイメージセンサやNMOSイメージセンサなど、他の撮像素子を用いても良い。
AFE121は、CMOSイメージセンサ120で生成された画像データに対して、相関二重サンプリング、ゲイン調整等の処理を実行する。ゲイン調整においては、ISO感度に相当するゲインが設定される。また、アナログ形式の画像データからデジタル形式の画像データへの変換を施す。その後、AFE121は画像データを画像処理部130に出力する。
画像処理部130は、画像データに対して各種の処理を施す。各種処理としては、ガンマ補正、ホワイトバランス補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されるものではない。画像処理部130は、ハードワイヤードな電子回路で構成してもよいし、これらの処理を行うためのプログラムを実行するマイクロコンピュータ等で構成してもよい。またコントローラ150等と共に1つの集積回路として構成してもよい。
液晶ディスプレイ170は、デジタルカメラ100の背面に備わる。液晶ディスプレイ170は、画像処理部130にて処理された画像データに基づく画像を表示する。液晶ディスプレイ170が表示する画像には、スルー画像や記録画像がある。液晶ディスプレイ170は、CMOSイメージセンサ120により一定時間毎に生成される画像をスルー画像としてリアルタイムで表示する。ユーザは、液晶ディスプレイ170に表示されるスルー画像を参照することにより、被写体の構図を確認しながら撮影できる。記録画像は、メモリカード192やフラッシュメモリ160に記録された画像である。液晶ディスプレイ170は、ユーザの操作に応じて、すでに記録した画像データに基づく画像を表示する。液晶ディスプレイ170はこの他、デジタルカメラ100の各種設定条件等を表示可能である。
タッチパネル173は、液晶ディスプレイ170の表面に設けられており、ユーザがタッチしたタッチパネル上の電極位置に関する情報を出力する。
検出処理部177は、タッチパネル173が出力する電極位置に関する情報に基づいて、ユーザがタッチしたタッチパネル上の位置座標を算出してコントローラ150に出力する。これにより、コントローラ150は、ユーザがタッチ操作しているタッチパネル173上の位置を把握することができる。
コントローラ150は、デジタルカメラ100全体の動作を統括制御する。コントローラ150は、垂直同期信号(VD)に基づいて、CMOSイメージセンサ120や、画像処理部130などに制御信号を通知する。コントローラ150は、プログラム等の情報を格納するROM及びプログラム等の情報を処理するCPU等により構成される。ROMは、オートフォーカス制御やオート露出制御に関するプログラムの他、デジタルカメラ100全体の動作を統括制御するためのプログラムを格納している。
コントローラ150は、液晶ディスプレイ170にメニューを表示させ、ユーザがメニューを見ながら操作部180やタッチパネル173を操作することにより各種設定を行わせ、設定内容を取得する。特にコントローラ150は、検出処理部177が出力する位置座標値から、ユーザが液晶ディスプレイ170に表示されている撮影フレーム内の何処をタッチしたかを認識し、その操作に応じた処理を行う。
コントローラ150は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。また、画像処理部130などと共に1つの集積回路として構成してもよい。また、ROMはコントローラ150の内部構成である必要はなく、コントローラ150の外部に備わったものでもよい。
バッファメモリ140は、画像処理部130やコントローラ150のワークメモリとして機能する記憶手段である。バッファメモリ140はDRAM(Dynamic Random Access Memory)などで実現できる。
フラッシュメモリ160は、画像データ等を記憶するための内部メモリとして機能する。コントローラ150は、画像処理部130で処理される画像データをフラッシュメモリ160あるいはメモリカード192に記憶する。
ジャイロセンサ185は、デジタルカメラ100の単位時間あたりの角度変化すなわち角速度に基づいてヨーイング方向のぶれ、ピッチング方向のぶれを検出する。ジャイロセンサ185は、検出したぶれの量を示す信号(ジャイロ信号)をコントローラ150に出力する。
カードスロット191は、メモリカード192を装着可能な接続手段である。カードスロット191は、メモリカード192を電気的及び機械的に接続可能である。また、カードスロット191は、メモリカード192を制御する機能を備えてもよい。
メモリカード192は、内部にフラッシュメモリ等の記憶部を備えた外部メモリである。メモリカード192は、画像処理部130で処理される画像データなどのデータを記憶可能である。本実施の形態では、外部メモリの一例としてメモリカード192を示すが、光ディスク、HDD等の記憶媒体を外部メモリとしてもよい。
操作部180は、デジタルカメラ100の外装に備わっているボタンやレバー、ダイヤル等の総称であり、ユーザによる操作を受け付ける。例えば、操作部180は、図2に示すように、レリーズ釦200やズームレバー201、選択釦203、決定釦204、電源釦202等を含む。操作部180は、ユーザによる操作を受け付けると、コントローラ150に種々の動作指示信号を送信する。
レリーズ釦200は、二段押下式の押下釦である。レリーズ釦200がユーザにより半押し操作されると、コントローラ150はオートフォーカス制御やオート露出制御などを実行する。また、レリーズ釦200がユーザにより全押し操作されると、コントローラ150は、押下操作のタイミングに撮像された画像データを記録画像としてメモリカード192等に記録する。
ズームレバー201は、画角調節についての広角端と望遠端を有する中央位置自己復帰式のレバーである。ズームレバー201は、ユーザにより操作されるとコントローラ150にズームレンズ112を駆動するための動作指示信号を送信する。
電源釦202は、デジタルカメラ100を構成する各部への電力供給をON/OFFするための押下式釦である。電源OFF時に電源釦202がユーザにより押下されると、コントローラ150はデジタルカメラ100を構成する各部に電力を供給し、起動させる。また、電源ON時に電源釦202がユーザにより押下されると、コントローラ150は各部への電力供給を停止する。
選択釦203は、上下左右方向に設けられた押下式釦である。ユーザは、選択釦203のいずれかの方向を押下することにより、液晶ディスプレイ170に表示される各種条件項目を選択することができる。
決定釦204は、押下式釦である。デジタルカメラ100が撮影モードあるいは再生モードにあるときに、決定釦204がユーザにより押下されると、コントローラ150は液晶ディスプレイ170にメニュー画面を表示する。メニュー画面は、撮影/再生のための各種条件を設定するための画面である。決定釦204が各種条件の設定項目が選択されているときに押下されると、コントローラ150は、選択された項目の設定を確定する。
1−2.動作
実施の形態1のデジタルカメラ100の動作について図3を用いて説明する。実施の形態1のデジタルカメラ100は、CMOSイメージセンサ120の出力に応じて、タッチパネル173を介したユーザの操作(すなわち、タッチ操作)の有効/無効を制御する。すなわち、デジタルカメラ100は、CMOSイメージセンサ120の出力に応じて、タッチ操作を受け付ける機能(以下「タッチ機能」という)の有効/無効を制御する。
図3は、実施の形態1のデジタルカメラ100のコントローラ150による、イメージセンサ出力に応じたタッチパネル制御のフローチャートである。
デジタルカメラ100の電源がONされると、コントローラ150は、各部に電力を供給し、初期起動させる。これにより、光学系110、CMOSイメージセンサ120等は撮影可能に準備される。撮影可能状態になると、コントローラ150は、生成される画像を表示するよう液晶ディスプレイ170を制御する。これにより、ユーザは現在撮影中の画角を液晶ディスプレイ170にて確認することができる。
画像処理部130は、CMOSイメージセンサ120により撮像され生成された画像データに基づいて、光学系110を介してCMOSイメージセンサ120に入射する光のレベル(明るさ)を検出する。すなわち、画像処理部130は、CMOSイメージセンサ120の出力に基づいて、CMOSイメージセンサ120に入射する光のレベル(明るさ)を検出し、検出結果をコントローラ150に通知する。
画像処理部130は、CMOSイメージセンサ120から出力された画像全体の領域での輝度の平均値を用いて明るさを検出してもよい。この場合、画像全体での輝度の平均値を、所定の閾値(第一の閾値)と比較することで、CMOSイメージセンサ120に入射する光のレベル(明るさ)を検出してもよい。または、画像領域全体を複数の領域(例えば8×8画素)に分割して得られる分割領域毎の輝度の平均値を用いてもよい。分割領域毎の輝度の平均値を用いる場合、以下のように行う。すなわち、画像処理部130は、分割領域毎に輝度の平均値を求め、求めた輝度の平均値を所定値と比較する。そして、輝度の平均値が所定値を超えた分割領域の数を所定の閾値(第一の閾値)と比較することで、CMOSイメージセンサ120に入射する光のレベル(明るさ)を検出してもよい。分割領域を用いて明るさを検出することで、点光源を検出することができる。
コントローラ150は、CMOSイメージセンサ120の出力が第一の閾値より低いかどうかを判断する(S300)。CMOSイメージセンサ120の出力が第一の閾値より低い場合(ステップS300でYESの場合)、コントローラ150は、タッチ機能を無効にする(S301)。これにより、タッチパネル173に対するユーザによるタッチ操作は無効となる。すなわち、コントローラ150は、CMOSイメージセンサ120に入射する光が比較的少ない場合、タッチタッチ機能(タッチ操作)を無効にする。一方、CMOSイメージセンサ120の出力が第一の閾値より高い場合(ステップS300でNOの場合)、コントローラ150は、タッチ機能を有効にする(S302)。これにより、タッチパネル173に対するユーザによるタッチ操作は有効となる。すなわち、CMOSイメージセンサ120に入射する光が比較的多い場合、タッチタッチ機能は有効にされる。
コントローラ150は、撮影動作中において、ステップS300からステップS302の動作を繰り返す。これにより、デジタルカメラ100は、撮影動作中において、CMOSイメージセンサ120に入射する光の量に応じて、タッチ機能(タッチ操作)の有効/無効を制御することができる。
図4は、上述のデジタルカメラ100によるタッチ機能(タッチ操作)の有効/無効の切り替えを説明した図である。縦軸がCMOSイメージセンサ120の出力レベル(すなわち入射光量)を示している。図4に示すように、コントローラ150は、CMOSイメージセンサ120の出力が第一の閾値より低い場合、タッチ機能すなわちタッチ操作を無効にし、CMOSイメージセンサ120の出力が第一の閾値より高い場合、タッチ機能すなわちタッチ操作を有効にする。
以下、第一の閾値について説明する。極端に暗い環境(例えば、カメラが鞄やケースに収納されている場合等)は、通常ユーザが画像を撮影する環境ではないと考えらえる。そこで、第一の閾値は、そのような極端に暗い環境であると想定されるような値に設定される。一般に、ユーザが画像を撮影する環境において最も暗い環境としては、夜景撮影時の環境が考えられる。そこで、第一の閾値は、例えば、夜景を撮影する状況での光量の下限値よりも低い値になるように設定することができる。第一の閾値をこのように設定しておくことで、コントローラ150は、CMOSイメージセンサ120に入射する光量が少ない場合に、タッチ機能(タッチ操作)を自動的に無効にすることができる。これにより、意図しないタッチパネル173への接触に起因するデジタルカメラの誤操作を低減することができる。
CMOSイメージセンサ120の出力が第一の閾値より低くなると想定される場合について、以下にいくつかの具体例を示す
(例1)レンズキャップを装着した場合
特に一眼カメラの場合、デジタルカメラにレンズキャップを装着して、電源ONのまま鞄に収納して持ち運びするケースがある。このとき、本実施形態におけるタッチ機能(タッチ操作)の有効/無効の制御によれば、レンズキャップを装着することでCMOSイメージセンサ120の出力が第一の閾値以下となり、タッチ機能が自動的に無効になる。これにより、鞄の中で鞄の内壁や内容物がタッチパネルに接触することによる誤操作の発生を低減することができる。またこのとき、タッチ機能は無効にはなるが、電源はONの状態が維持される。これにより、鞄の中にデジタルカメラを収納して持ち運んでいる際に、撮影したい被写体を見つけた場合に、デジタルカメラの電源がON状態であるため、ユーザはすぐに撮影動作を開始することができる。また、ユーザは、デジタルカメラをネックストラップ等で首からぶら下げてデジタルカメラの電源ONのまま移動することもある。このような場合でも、本実施形態におけるタッチ機能の有効/無効の制御によれば、レンズキャップを装着し遮光しておけば、ユーザの身体との接触によるタッチ誤操作の発生を低減することができる。なお、鞄内は通常暗いことから、第一の閾値をその使用状況に合わせた設定値に設定すれば、デジタルカメラを電源ONのまま鞄の中に収納した場合、デジタルカメラにレンズキャップを装着していなくても、コントローラ150はタッチ機能を自動的に無効にすることができる。
(例2)暗闇での持ち運びの場合
夜景や星空撮影を行う場合、デジタルカメラの電源ONのまま撮影地点まで持ち運ぶことが多い。このとき、コンパクトタイプのデジタルカメラのようにレンズキャップのないデジタルカメラであっても、第一の閾値を夜景撮影における一般的な最低照度より低い値とすることで、撮影意図のない低照度環境でのタッチ機能を自動的に無効にすることができる。
なお、CMOSイメージセンサ出力を、タッチ機能の有効/無効判定に用いることによって、交換レンズにレンズキャップが装着されていることを検出する機能を新たに設ける必要がない。
また、タッチ機能を無効にしているときは、タッチ操作に基づいたAF動作等を行わない。よって、タッチ機能を無効にしているときは、タッチ機能を常に有効にしているときに比べ、電力消費を抑制することができる。
また、低照度での撮影を行うシーンモードにデジタルカメラが設定されている場合は、CMOSイメージセンサ120からの出力が第一の閾値より低くなったとしても、タッチ機能(タッチ操作)を無効に設定しないようにしてもよい。ここで、低照度での撮影を行うモードには、夜景撮影モード、星空撮影モード、高感度撮影モード等が含まれる。
以上のように、実施の形態1のデジタルカメラ100は、入射する光の量でタッチ機能の有効/無効を切り替える。これにより、意図しない接触によるタッチパネルにおける誤操作を低減できる。
実施の形態2
本実施形態のデジタルカメラ100は、被写体像を撮像して画像データを出力するCMOSイメージセンサと、出力された画像データに基づく画像を表示する液晶ディスプレイと、液晶ディスプレイに配置され、ユーザによるタッチ操作を受け付けるタッチパネルと、自機のぶれを検出するジャイロセンサと、ジャイロセンサの検出結果に基づいて、タッチパネルの操作の有効/無効を制御するコントローラと、を備える。この構成により、ジャイロセンサの検出結果に基づいて、タッチ機能(タッチ操作)を有効にするか無効にするかを制御する。これにより、ユーザの意図しないタッチパネル誤操作の発生を低減することができる。
以下、デジタルカメラ100の構成および動作について順に説明する。
2−1.構成
実施の形態2におけるデジタルカメラの構成は、実施の形態1のものと同様であるため、説明は省略する。
2−2.動作
実施の形態2のデジタルカメラ100は、ジャイロ出力に応じて、タッチ機能すなわちタッチパネル173に対するタッチ操作の有効/無効を制御する。以下、実施の形態2のデジタルカメラの動作について図5を用いて説明する。図5は、実施の形態2のデジタルカメラの動作を示すフローチャートである。
デジタルカメラ100の電源がONされると、コントローラ150は、各部に電力を供給し、初期起動させる。これにより、光学系110、CMOSイメージセンサ120等は撮影可能に準備される。撮影可能状態になると、コントローラ150は、生成される画像を表示するよう液晶ディスプレイ170を制御する。これにより、ユーザは現在撮影中の画角を液晶ディスプレイ170にて確認することができる。
コントローラ150は、デジタルカメラ100が撮影可能状態にあるとき、ジャイロセンサ185の出力を監視している。そして、コントローラ150は、ジャイロセンサ185の出力を時間平均した結果を常に算出している。
続いて、コントローラ150は、ジャイロセンサ185の出力が第二の閾値より低いかどうかを判断する(S500)。ジャイロセンサ185の出力が第二の閾値より低い場合(ステップS500でYES)は、タッチ機能(すなわちタッチ操作)を無効にする(S501)。ここで、第二の閾値は、例えば、デジタルカメラが机上に置かれているなど、デジタルカメラのぶれ量が極めて小さい状況に対応する値に設定しておく。このように第二の閾値を設定したとき、ジャイロセンサ185の出力が第二の閾値よりも低い状況とは、ユーザに撮影意図がない場合であると想定される。そのため、ユーザに撮影意図がない場合は、タッチ機能(タッチ操作)を有効にする必要がなく、タッチパネル173の誤操作の低減が優先されるため、コントローラ150は、タッチ機能を無効にする。またこれにより、消費電力を低減させることができる。また、コントローラ150は、タッチ機能の無効とともにAF機能を無効に設定する(S502)。
ジャイロセンサ185の出力が第二の閾値より高い場合(S500でNoの場合)、コントローラ150はジャイロセンサ185の出力が第三の閾値より低いかどうかを判断する(S503)。ここで、第三の閾値は、例えば、ユーザがデジタルカメラを持ち運んでいる場合に対応する値であって、撮影意図がないと想定されるが、デジタルカメラ100自体の筐体ぶれは発生している状況に対応するような値に設定しておく。このように閾値を設定することで、ジャイロセンサ185の出力が第二の閾値よりも高くかつ第三の閾値よりも低い場合は、ユーザがデジタルカメラを手に持って、撮影操作を行おうと構えている状態であると想定できる。
コントローラ150は、ジャイロセンサ185の出力が第三の閾値より低い場合(ステップS503でYESの場合)、コントローラ150は、タッチ機能(タッチ操作)を有効にする(S504)。さらに、コントローラ150は、AF機能を有効にする(S505)。このとき、AFモードがコンティニュアスAFモード(常時フォーカス状態が得られるよう連続的にフォーカスレンズを制御するモード)であれば、AF機能を有効にすることで、AF動作が開始される。ジャイロセンサ185の出力が第二の閾値よりも高く、第三の閾値よりも低い場合には、ユーザがデジタルカメラを手に持って、撮影操作を行おうと構えている状態であると想定できる。このため、コントローラ150は、ユーザから撮影開始指示を受けたときに可能な限り早くAF動作を完了させるために、ユーザから撮影開始指示を受ける前に予めAF動作を開始しておく。
ここで、AF動作の開始タイミングとタッチ機能(タッチ操作)の有効制御の同期について説明する。
図7は、実施の形態2における、ジャイロセンサ185の出力に応じたAF制御およびタッチパネル制御のタイミングを説明した図である。図7では、デジタルカメラ100が机上に安置されているときではなく、ユーザの手で保持されている状態を想定している。図7の横軸は時間である。図7(a)はデジタルカメラ100のブレ量(ジャイロセンサ185の出力)であり、図7(b)は、デジタルカメラ100のブレ量(ジャイロセンサ185の出力)の平均値である。図7(c)は、AF機能の制御信号(Highレベル:ON、Lowレベル:OFF)であり、図7(d)は、タッチ機能の制御信号(Highレベル:ON、Lowレベル:OFF)である。時刻tが0からt1の間、デジタルカメラのブレ量の時間平均(平均をとる時間間隔ta)が第三の閾値以上に大きいため、コントローラ150は、AF機能およびタッチ機能は無効とする。時刻tがt1からt2の間、デジタルカメラのブレ量の時間平均が第三の閾値以下であり第二の閾値以上である状態が一定時間以上(時間ta以上)保持された後、コントローラ150は、AF機能とタッチ機能を有効に設定する。時刻tがt2からt3の間、デジタルカメラ100のブレ量の時間平均が第三の閾値以下であり第二の閾値以上である状態である。このため、コントローラ150は、AF機能とタッチ機能をともに有効にする。以降、コントローラ150はこのような処理を繰り返す。
以上のように、コントローラ150は、AF動作を開始させるタイミングに同期して、タッチ機能(タッチ操作)を有効にする。ユーザにとってタッチ機能が有効であって欲しい状況とは、撮影意図がある状況であると想定される。また、撮影意図がある状況では、ユーザが望む撮影タイミングに対応して可能な限り速く撮影動作に入れることが望ましい。このように、この可能な限り速く撮影動作に入るために予めAF動作を開始させておく制御と、撮影意図がある状況においてタッチ機能を有効にする制御とを、同時に制御することは親和性が高い。これらの同時制御の親和性が高い二つの制御を同期させることにより、ユーザに撮影意図があるときに可能な限り速く撮影動作に入れるとともに、この場合に対応してタッチ機能を有効にすることができる。言い換えれば、ユーザに撮影意図がないときは、AF動作を開始しておかなくてもよく、タッチ機能も有効である必要がない。そのため、デジタルカメラ100は、ユーザに撮影意図のあるときに、タッチ機能を有効にすることができ、不必要な状況下における消費電力を低減することができる。また、同時制御により、同時制御しない場合に比べて、ハードウェア設計およびソフトウェア設計の観点からも、不必要な部品又はプログラムの記述を省略することができる。
ここで、図5のステップS502の説明に戻る。コントローラ150は、ジャイロセンサ185の出力が第三の閾値より高い場合(S502でNoの場合)、タッチ機能(タッチ操作)を無効にする(S505)。ジャイロセンサ185の出力が第三の閾値より高い場合、ユーザがデジタルカメラを持ち運んでいる場合など撮影意図がないと想定される。このとき、タッチ機能は不必要であり、タッチパネル173の誤操作の低減が優先されるため、コントローラ150は、タッチ機能を無効にする。
コントローラ150は、撮影可能状態時において、ステップS500からステップS505の動作を繰り返す。
図6を参照して、AF機能及びタッチ機能(タッチ操作)の有効/無効の切替え動作について説明する。図6は、実施の形態2のジャイロセンサ185の出力に応じたタッチパネル制御のイメージ図である。コントローラ150は、ジャイロセンサ185の出力が第二の閾値より低い場合、タッチ機能を無効にする。同じく、コントローラ150は、ジャイロセンサ185の出力が第三の閾値より高い場合、タッチ機能を無効にする。一方、ジャイロセンサ185の出力が第二の閾値と第三の閾値の間にある場合、ユーザが撮影意図を有すると想定されるため、コントローラ150は、AF機能を有効にしてAF動作を自動的に開始し、同時にタッチ機能を有効にする。
尚、上記において、コントローラ150は、撮影可能状態のときに、ジャイロセンサ185の出力に基づいてタッチ機能の有効/無効を切り替えるようにしたが、これに限定されない。すなわち、コントローラ150は、記録画像の再生状態のときに、ジャイロセンサ185の出力に基づいてタッチ機能の有効/無効を切り替えるようにしてもよい。
尚、上記において、タッチ機能を有効にする条件を、ジャイロセンサ185の出力が第二の閾値以上であり第三の閾値以下である場合としたが、これに限定されない。すなわち、コントローラ150は、ジャイロセンサ185の出力が第二の閾値以下であっても、タッチ機能を有効にするよう制御してもよい。例えば、デジタルカメラ100を三脚等に固定している場合は、第二の閾値以下であっても、ユーザに撮影意図があるため、タッチ機能を有効にするのが好ましい。
尚、上記において、メニュー画面において、タッチ機能の有効/無効を自動的に切り替える制御のON/OFFをユーザが予め設定可能なようにしてもよい。このとき、ジャイロセンサ185の出力値に関わらず、タッチ機能を常に有効にするようユーザ設定してもよいし、常に無効にするように設定してもよい。
尚、上記において、タッチ機能が有効であるときは、液晶ディスプレイ170上にタッチ機能が有効である旨のアイコン表示を行なってもよい。同様に、タッチ機能が無効であるときは、液晶ディスプレイ170上にタッチ機能が無効である旨のアイコン表示を行なってもよい。これにより、現在タッチ機能が有効であるか無効であるかを、ユーザは簡単に確認することができる。
以上のように、実施の形態2のデジタルカメラ100は、ジャイロセンサ185の出力に基づき、タッチ機能の有効/無効を切り替えることができる。
実施の形態3
本実施の形態のデジタルカメラ100は、被写体像を撮像して画像データを出力するCMOSイメージセンサ120と、出力された画像データに基づく画像を表示する液晶ディスプレイ170と、液晶ディスプレイ170に配置され、ユーザによるタッチ操作を受け付けるタッチパネル173と、自機のぶれを検出するジャイロセンサ185と、CMOSイメージセンサ120の出力およびジャイロセンサ185の検出結果に基づいて、タッチパネル173の操作の有効/無効を制御するコントローラ150と、を備える。デジタルカメラ100は、CMOSイメージセンサ120の出力および、ジャイロセンサ185の検出結果に基づいて、タッチパネル操作(タッチ機能)を有効にするか無効にするかを制御することができる。これにより、ユーザの意図しないタッチパネル誤操作の発生を低減することができる。
3−1.構成
実施の形態3にかかるデジタルカメラ100の構成は、前述の実施の形態のものと同様であるため説明は省略する。
3−2.動作
実施の形態3に係るデジタルカメラの動作について図8を用いて説明する。実施の形態3にかかるデジタルカメラ100は、CMOSイメージセンサ120の出力及びジャイロセンサ185の出力に応じて、タッチ機能すなわちタッチパネル173に対するタッチ操作の有効/無効を制御する。
図8は、実施の形態3に係るデジタルカメラの動作を示すフローチャートである。なお、本実施形態の第一ないし第三の閾値は、実施形態1及び2における第一ないし第三の閾値と同じである。
デジタルカメラ100の電源がONされると、コントローラ150は、各部に電力を供給し、初期起動させる。これにより、光学系110、CMOSイメージセンサ120等は撮影可能に準備される。撮影可能状態になると、コントローラ150は、生成される画像を表示するよう液晶ディスプレイ170を制御する。これにより、ユーザは現在撮影中の画角を液晶ディスプレイ170にて確認することができる。
このとき、画像処理部130は、CMOSイメージセンサ120により撮像され生成された画像データに基づいて、光学系110を介してCMOSイメージセンサ120に入射する光のレベル(明るさ)を検出する。すなわち、画像処理部130は、CMOSイメージセンサ120の出力に基づいて、CMOSイメージセンサ120に入射する光のレベル(明るさ)を検出する。画像処理部130は、検出結果をコントローラ150に通知する。
コントローラ150は、CMOSイメージセンサ120の出力が第一の閾値より低いかどうかを判断する(S900)。CMOSイメージセンサ120の出力が第一の閾値より低い場合(S900でYESの場合)、コントローラ150は、タッチ機能すなわちタッチパネル173に対するタッチ操作の入力を無効にする(S901)。つまり、コントローラ150は、CMOSイメージセンサ120に入射する光が比較的少ない場合、タッチ機能(タッチ操作)を無効にする。一方、CMOSイメージセンサ120の出力が第一の閾値より高い場合(S900でNOの場合)、コントローラ150は、ステップS902に移行する。
ステップS902からステップS907までの動作は、図5のステップS500からステップS505の動作と同様である。すなわち、ジャイロセンサ185の出力を第二の閾値または第三の閾値と比較し、比較結果に基づきタッチ機能及びAF機能の有効/無効を設定する。
実施の形態3にかかるデジタルカメラ100によれば、デジタルカメラ100がレンズキャップをせずに電源ONのまま鞄内に収納された場合、ジャイロセンサ185の出力値が高くなくても、CMOSイメージセンサ120に入射する光量が少ないため、コントローラ150は、タッチ機能を無効にすることができる。すなわち、デジタルカメラ100がぶれていなくても、入射光量が少ない場合は、ユーザの撮影意図がないと想定されるため、コントローラ150は、タッチ機能を無効にすることができる。
また、実施の形態3にかかるデジタルカメラ100によれば、デジタルカメラ100が鞄等の外に露出して保持されており、明るい環境下にあるときであっても、ジャイロセンサ185の出力値が第二の閾値以下又は第三の閾値以上であるときは、ユーザの撮影意図がないと想定されるため、コントローラ150はタッチ機能を無効にすることができる。
このように、実施の形態3にかかるデジタルカメラ100によれば、CMOSイメージセンサ120の出力のみに基づいてタッチ機能を制御する場合(実施の形態1の場合)、または、ジャイロセンサ185の出力のみに基づいてタッチ機能を制御する場合(実施の形態2の場合)に比して、よりユーザの撮影意図を反映させたタッチ機能の有効/無効の制御を行なうことが可能となる。
以上のように、上記実施形態によれば、ユーザの意図しないタッチパネル誤操作の発生を低減させたデジタルカメラを提供することができる。
本発明は、デジタルカメラのみならず、ムービーカメラ、カメラ付き情報端末、カメラ付きゲーム機などの撮像装置に適用可能である。
100…デジタルカメラ
111…フォーカスレンズ
112…ズームレンズ
113…絞り
114…シャッタ
120…CMOSイメージセンサ
121…AFE
130…画像処理部
140…バッファメモリ
150…コントローラ
160…フラッシュメモリ
170…液晶ディスプレイ
173…タッチパネル
180…操作部
185…ジャイロセンサ
191…カードスロット
192…メモリカード
200…レリーズ釦
201…ズームレバー
202…電源釦
203…選択釦
204…決定釦

Claims (2)

  1. 被写体像を撮像して画像データを出力する撮像センサと、
    前記出力された画像データに基づく画像を表示する表示部と、
    前記表示部に配置され、ユーザによるタッチ操作を受け付けるタッチパネルと、
    自機のぶれを検出するジャイロセンサと、
    前記ジャイロセンサの検出結果に基づいて、前記タッチパネルの操作の有効/無効を制御する制御部と、を備え、
    前記制御部は、
    前記ジャイロセンサの検出結果の示す値が第二の閾値より小さいとき、前記タッチパネルに対する操作を無効にするよう制御し、
    前記ジャイロセンサの検出結果の示す値が、前記第二の閾値より大きく、かつ、前記第二の閾値よりも大きい第三の閾値よりも小さいときは、前記タッチパネルに対する操作を有効にするよう制御し、
    前記ジャイロセンサの検出結果の示す値が、前記第三の閾値よりも大きいときは、前記タッチパネルに対する操作を無効にするよう制御する、
    撮像装置。
  2. 前記撮像センサが撮像する被写体像のフォーカス状態を調節するフォーカスレンズを更に備え、
    前記制御部は、前記ジャイロセンサの検出結果の示す値が、前記第二の閾値より大きくかつ前記第三の閾値よりも小さいとき、前記フォーカスレンズのオートフォーカス制御を行なうとともに、前記タッチパネルに対する操作を有効にするよう制御する、
    請求項1に記載の撮像装置。
JP2012148621A 2011-07-05 2012-07-02 撮像装置 Active JP5914824B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012148621A JP5914824B2 (ja) 2011-07-05 2012-07-02 撮像装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011148914 2011-07-05
JP2011148914 2011-07-05
JP2012148621A JP5914824B2 (ja) 2011-07-05 2012-07-02 撮像装置

Publications (2)

Publication Number Publication Date
JP2013034195A JP2013034195A (ja) 2013-02-14
JP5914824B2 true JP5914824B2 (ja) 2016-05-11

Family

ID=47438451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012148621A Active JP5914824B2 (ja) 2011-07-05 2012-07-02 撮像装置

Country Status (2)

Country Link
US (1) US20130010169A1 (ja)
JP (1) JP5914824B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6071543B2 (ja) * 2012-12-27 2017-02-01 キヤノン株式会社 電子機器及び電子機器の制御方法
WO2014101116A1 (en) * 2012-12-28 2014-07-03 Nokia Corporation Responding to user input gestures
US10139940B2 (en) 2014-09-11 2018-11-27 Panasonic Intellectual Property Management Co., Ltd. Electronic device
CN107924251B (zh) * 2015-08-24 2021-01-29 华为技术有限公司 降低触摸屏设备功耗的方法及设备
JP6570411B2 (ja) * 2015-10-09 2019-09-04 キヤノン株式会社 電子機器及びその制御方法、プログラム、並びに記憶媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252427A (ja) * 1998-03-02 1999-09-17 Fuji Photo Film Co Ltd タッチパネル操作式カメラ
JP2001069235A (ja) * 1999-08-26 2001-03-16 Seiko Epson Corp 携帯端末およびその制御方法
JP4301493B2 (ja) * 2003-04-09 2009-07-22 カシオ計算機株式会社 撮像装置
US7633076B2 (en) * 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7728316B2 (en) * 2005-09-30 2010-06-01 Apple Inc. Integrated proximity sensor and light sensor
US7620304B2 (en) * 2006-04-24 2009-11-17 Hewlett-Packard Development Company, L.P. Method and apparatus for reducing shutter lag in a digital imaging device
JP2008060815A (ja) * 2006-08-30 2008-03-13 Casio Hitachi Mobile Communications Co Ltd 携帯型電子機器、画像データ出力装置、および、プログラム
US7747293B2 (en) * 2006-10-17 2010-06-29 Marvell Worl Trade Ltd. Display control for cellular phone
CN101339450B (zh) * 2007-07-04 2011-08-17 群康科技(深圳)有限公司 触控显示装置及其驱动方法
KR101387404B1 (ko) * 2007-08-30 2014-04-21 삼성전자주식회사 디지털 영상 처리장치의 제어장치 및 그 방법
JP5294716B2 (ja) * 2008-06-10 2013-09-18 キヤノン株式会社 表示制御装置及び表示制御方法
JP2010008696A (ja) * 2008-06-26 2010-01-14 Canon Inc 光学機器
JP5495602B2 (ja) * 2009-04-02 2014-05-21 オリンパスイメージング株式会社 撮影装置および撮影方法
CN102215339A (zh) * 2010-04-01 2011-10-12 三洋电机株式会社 电子设备及摄像装置
US20110242043A1 (en) * 2010-04-06 2011-10-06 Mark Yarvis Device with capacitive touchscreen panel and method for power management

Also Published As

Publication number Publication date
JP2013034195A (ja) 2013-02-14
US20130010169A1 (en) 2013-01-10

Similar Documents

Publication Publication Date Title
US9992421B2 (en) Image pickup apparatus having FA zoom function, method for controlling the apparatus, and recording medium
US7573522B2 (en) Apparatus for and method of processing on-screen display when a shutter mechanism of a digital image processing device is half-pressed
JP4884417B2 (ja) 携帯型電子装置及びその制御方法
US8411049B2 (en) Information processing apparatus
US10419683B2 (en) Zoom control device, imaging apparatus, control method of zoom control device, and recording medium
CN108377329B (zh) 摄像装置及其控制方法
JP5558956B2 (ja) 撮像装置およびその制御方法
US10057480B2 (en) Electronic apparatus and control method thereof
JP5914824B2 (ja) 撮像装置
US20180234621A1 (en) Image capturing apparatus and control method thereof
US20100026873A1 (en) Digital image processing apparatuses, methods of controlling the same, and computer-readable medium encoded with computer executable instructions for executing the method(s)
KR20130030212A (ko) 촬상 장치, 촬상 방법, 및 기억 매체
JP2012222387A (ja) 撮像装置
JP6263740B2 (ja) 撮像装置
WO2014141612A1 (ja) 撮像装置
US10291856B2 (en) Image capturing apparatus having self-image display mode, and control therefor
US9621799B2 (en) Imaging apparatus
JP2021170066A (ja) 表示制御装置および方法、プログラム、記憶媒体
JP5145747B2 (ja) 撮像装置、手振れ補正方法及びプログラム
JP6410778B2 (ja) 撮像装置及びその制御方法
JP2015062052A (ja) 撮像装置及び撮像方法
JP2011193329A (ja) 撮像装置
JP2011188057A (ja) 撮像装置
KR20110060298A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP6736391B2 (ja) 撮像装置及び撮像装置の制御方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141003

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20141008

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160205