JP5821257B2 - 撮像装置、および撮像装置制御方法、並びにプログラム - Google Patents

撮像装置、および撮像装置制御方法、並びにプログラム Download PDF

Info

Publication number
JP5821257B2
JP5821257B2 JP2011092029A JP2011092029A JP5821257B2 JP 5821257 B2 JP5821257 B2 JP 5821257B2 JP 2011092029 A JP2011092029 A JP 2011092029A JP 2011092029 A JP2011092029 A JP 2011092029A JP 5821257 B2 JP5821257 B2 JP 5821257B2
Authority
JP
Japan
Prior art keywords
control
recording
timing
voice recording
shutter button
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011092029A
Other languages
English (en)
Other versions
JP2012227644A (ja
Inventor
祐司 和田
祐司 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011092029A priority Critical patent/JP5821257B2/ja
Priority to EP12157757A priority patent/EP2515519A1/en
Priority to US13/411,838 priority patent/US8736715B2/en
Priority to CN2012101049957A priority patent/CN102752507A/zh
Publication of JP2012227644A publication Critical patent/JP2012227644A/ja
Application granted granted Critical
Publication of JP5821257B2 publication Critical patent/JP5821257B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • H04N1/00397Switches, knobs or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • H04N1/00933Timing control or synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2125Display of information relating to the still picture recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3264Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of sound signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本開示は、撮像装置、および撮像装置制御方法、並びにプログラムに関する。特に、画像に併せて音声記録を行う示を行う撮像装置、および撮像装置制御方法、並びにプログラムに関する。
昨今、撮像装置(カメラ)の多機能化により画像に併せて音声情報の記録を行う撮像装置が多く利用されている。
例えば、特許文献1(特開2009−284234号公報)には、画像撮影用のシャッターボタンの半押しの検出に基づいて音声記録を開始し、シャッターボタンの全押しの検出に応じて画像の撮影を実行し、予め既定した所定時間経過後に音声記録を停止する撮像装置を開示している。
しかしながら、自動露光制御(AE)や自動フォーカス制御(AF)処理も、シャッターボタンの半押しの検出に基づいて開始されるのが一般的であり、上記の従来技術の構成では、AE/AFの制御開始タイミングと音声記録の開始タイミングが常に同じタイミングとなってしまう。
従って、例えばAE/AF動作より先行して、あるいはその後で音声記録を開始させたい場合など、ユーザの希望する様々なタイミングで音声記録を開始させることができないという問題がある。
また、音声記録の終了タイミングについても、上記の従来技術の構成では、画像撮影後の一定の期間経過後に一律に音声記録が終了してしまい、ユーザが自由に音声記録終了タイミングを設定することができないという問題がある。
特開2009−284234号公報
本開示の技術は、例えば上記問題点を解決するものであり、ユーザの希望する任意のタイミングで音声の記録開始や記録終了を制御可能とした撮像装置、および撮像装置制御方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
シャッターボタン操作情報に応じて音声記録の開始と終了を制御する制御部を有し、
前記制御部は、
音声記録の開始および終了要求に対応するそれぞれ独自のシャッターボタン操作情報を識別して、音声記録の開始および終了タイミングを決定する撮像装置にある。
さらに、本開示の撮像装置の一実施態様において、前記制御部は、自動露出制御(AE)または自動フォーカス制御(AF)の開始制御としてのシャッターボタン操作情報と異なるシャッターボタン操作情報を識別して音声記録の開始および終了タイミングを決定する。
さらに、本開示の撮像装置の一実施態様において、前記制御部は、音声記録の開始または終了要求に対応する独自のシャッターボタン操作情報として、シャッターボタンの半押し解除処理を識別して、音声記録の開始または終了タイミングを決定する。
さらに、本開示の撮像装置の一実施態様において、記制御部は、音声記録の終了要求に対応する独自のシャッターボタン操作情報として、シャッターボタンの全押し解除処理を識別して、音声記録の終了タイミングを決定する。
さらに、本開示の撮像装置の一実施態様において、前記制御部は、音声記録中に実行されるシャッターボタン半押し状態を識別して、該シャッターボタン半押し状態の継続期間は音声記録を継続する制御を行う。
さらに、本開示の撮像装置の一実施態様において、前記制御部は、音声記録中に実行されるシャッターボタン全押し状態を識別して、該シャッターボタン全押し状態の継続期間は音声記録を継続する制御を行う。
さらに、本開示の撮像装置の一実施態様において、前記制御部は、音声記録中に、音声記録の終了要求に対応する操作がない場合、予め設定した時間の経過に応じて音声記録を終了させる制御を行う。
さらに、本開示の撮像装置の一実施態様において、前記制御部は、音声記録許容時間を表示部に表示する制御を行う。
さらに、本開示の第2の側面は、
撮像装置において実行する撮像装置制御方法であり、
制御部が、シャッターボタン操作情報に応じて音声記録の開始と終了を制御する音声記録制御ステップを実行し、
前記音声記録制御ステップは、
前記制御部が、音声記録の開始または終了要求に対応するそれぞれ独自のシャッターボタン操作情報を識別して、音声記録の開始または終了タイミングを決定するステップを含む撮像装置制御方法にある。
さらに、本開示の第3の側面は、
撮像装置において音声記録制御処理を実行させるプログラムであり、
制御部に、シャッターボタン操作情報に応じて音声記録の開始と終了を制御する音声記録制御ステップを実行させ、
前記音声記録制御ステップにおいて、
前記制御部に、音声記録の開始または終了要求に対応するそれぞれ独自のシャッターボタン操作情報を識別して、音声記録の開始および終了タイミングを決定させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、音声記録の開始と終了をユーザの希望するタイミングで実行することを可能とした撮像装置および撮像装置制御方法が実現される。
具体的には、ユーザのシャッター操作情報を入力し、入力したシャッター操作情報に応じて音声記録の開始と終了を制御する。音声記録の開始および終了要求に対応する独自のシャッター操作情報を識別して、音声記録の開始および終了タイミングを決定する。例えば自動露出制御(AE)または自動フォーカス制御(AF)の開始制御に利用されるシャッター操作情報と異なるシャッターの半押し解除処理や、全押し解除処理を識別して音声記録の開始および終了タイミングの制御を実行する。
本開示の撮像装置の構成例について説明する図である。 本開示の撮像装置の実行する処理シーケンスの一例について説明するフローチャートを示す図である。 本開示の撮像装置の実行する処理シーケンスの一例について説明するタイミングチャートを示す図である。 本開示の撮像装置の実行する処理シーケンスの一例について説明するフローチャートを示す図である。 本開示の撮像装置の実行する処理シーケンスの一例について説明するタイミングチャートを示す図である。
以下、図面を参照しながら本開示の撮像装置、および撮像装置制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.本開示の撮像装置の構成例について
2.第1実施例:撮像装置の実行する音声記録処理例1
3.第2実施例:撮像装置の実行する音声記録処理例2
4.その他の実施例について
5.本開示の構成のまとめ
[1.本開示の撮像装置の構成例について]
まず、本開示の撮像装置(デジタルカメラ)の構成例について、図1を参照して説明する。図1に示すように、撮像装置は、レンズ101、レンズ101を介して入力する光信号を電気信号に変換するCMOSやCCD等によって構成される撮像素子102、アナログ電気信号をデジタル信号に変換するA/D変換部103、撮像画像データに基づいて画像に対する信号処理を実行するカメラ信号処理部104、音声情報を入力するマイク105、マイク105から出力される音声アナログ信号をデジタル信号に変換するA/D変換部106、取得音声データに基づいて音声に対する信号処理を実行する音声信号処理部107を有する。
制御部(マイクロプロセッサ)111は、画像の撮影記録処理制御、音声の記録処理制御、AE/AF制御等を実行する。具体的な処理シーケンスは後段で詳細に説明する。
カメラ信号処理部104、音声信号処理部107において生成された画像、音声デジタルデータはメモリ120に格納される。画像エンコード部121、音声エンコード部122は、入力された映像信号、音声信号をそれぞれ記録するためのデータに変換するため、符号化処理を行う。画像デコード部123、音声デコード部124は、例えば撮影データを記録した記録媒体112からのデータ読み出し、再生処理を実行する場合に、記録媒体112から読み出した画像、音声信号をそれぞれデコード(復号)処理を行う。メモリ120は、エンコード、あるいはデコードをするデータを一時的に保持する。
制御部(マイクロプロセッサ)111は、上述したように撮像装置において実行される処理を制御する。また、シャッターや、各種のスイッチ、ボタン類などの操作部108からユーザの入力情報を受け取る。さらに、記録媒体112を適用したデータ記録、再生制御処理や、クロック131から日時、時刻情報や、様々な処理からの経過時間情報などを入力する。
操作部108は、ユーザが機器を操作する際のボタンやスイッチの類である。具体的にはシャッター(シャッターボタン)、ズーム操作のためのスイッチや、動画撮影のためのキー、静止画撮影のためのシャッターキー、タッチパネルなどが含まれる。操作部108を介して入力された情報は制御部111に伝えられ、制御部111は、ユーザの操作情報に基づく制御を行う。
記録媒体112は、例えばフラッシュメモリ等の不揮発性メモリや、ハードディスクなどによって構成され、撮影画像データや音声データを記録する。
表示部125は、撮影画像データのモニタ表示、あるいは撮影済みデータであり記録媒体112に記録されたデータを画像デコード部123においてデコードしたデータの表示制御を行なう。表示部125の生成データは、D/A変換部126においてアナログ信号に変換され、LCDパネル等のディスプレイ127に出力される。
音声信号処理部128は、音声デコード部124によってデコードされた音声信号を入力し、D/A変換部129を介してアナログ信号に変換した後、スピーカ130に出力する。
[2.第1実施例:撮像装置の実行する音声記録処理例1]
次に、図2に示すフローチャート、および図3に示すタイミングチャートを参照して本開示の撮像装置の実行する1つの処理例について説明する。
なお、以下に説明する処理シーケンスは、図1に示す撮像装置の制御部111の制御の下に実行される。制御部111は、例えば記録媒体112あるいはメモリ120に予め格納されたプログラムに従って処理制御を実行する。
なお、撮像装置の操作部108に設けられたシャッター(シャッターボタン)は、以下の3つの状態を取り得るものとする。
(1)半押し状態(S1オン)、
(2)全押し状態(S2オン)、
(3)解放状態(S1オフ、または、S2オフ)
図2に示すフローに従って、各処理ステップの処理について説明する。
制御部111は、ステップS101において、操作部108のシャッター半押し(S1オン)を検出すると、ステップS102において、自動露出制御(AE)、自動フォーカス制御(AF)を開始する。
次に、ステップS103において、操作部108のシャッター半押しの解放(S1オフ)を検出すると、ステップS103の判定はYesとなり、ステップS104に進み、音声記録を開始する。
一方、ステップS103において、操作部108のシャッター半押しの解放(S1オフ)を検出することなく、ユーザがシャッターを全押し(S2オン)した場合は、ステップS103の判定はNoとなり、ステップS108に進む。
まず、ステップS103の判定がYesとなり、ステップS104に進んだ場合の処理について説明する。
ステップS103において、操作部108のシャッター半押しの解放(S1オフ)を検出すると、ステップS103の判定はYesとなり、ステップS104に進み、音声記録を開始する。
すなわち、ユーザによるシャッターの半押し解除処理の実行が音声記録を開始させる制御信号として利用される。具体的にはユーザによって、シャッター半押しのオンオフ動作が音声記録を開始させる制御信号として利用される。
次にステップS105では、ユーザによるシャッター半押しのオンオフ動作後の経過時間を計測し、経過時間が予め既定した閾値時間(ta)を超えたか否かを判定する。超えた場合(ステップS105の判定=Yes)には、ユーザの撮影意思がなくなったものと判定して処理を終了する。
一方、経過時間が予め既定した閾値時間(ta)を超えることなく(ステップS105の判定=No)、ステップS106のシャッター半押し(S1オン)を検出した場合は、ステップS107に進み、AE/AF処理を再度実行する。
なお、AE/AF処理は、ステップS102においても実行されているが、実際の撮影処理に適用するAE/AF処理は、このステップS107のAE/AF処理となる。
次に、ステップS108において、シャッターの全押し(S2オン)を検出すると、ステップS109において画像撮影を実行する。
なお、先に説明したステップS103におけるシャッターの半押し(S1オン)の解放処理(S1オフ)を検出することなく、シャッターの全押しが検出された場合には、ステップS103からステップS108に進み、シャッター全押しと解放(S2オン/オフ)処理に基づいて、ステップS109の画像撮影が実行される。
その後、ステップS110において、制御部は、シャッター全押し解放から時間計測を行い、予め既定した閾値時間(tb)が経過したかを判定する。
予め既定した閾値時間(tb)の経過前に、ユーザ操作(シャッターの半押し処理)を検出した場合(ステップS110の判定=No)、ステップS111に進み、シャッターの半押しと解放(S1オン/オフ)動作を音声記録の停止命令と判断する。
すなわち、ユーザによるシャッターの半押し解除処理の実行が音声記録を終了させる制御信号として利用される。具体的にはユーザによってシャッター半押しのオンオフ動作が行われた場合に、制御部は、音声記録終了の制御信号として認識する。
制御部が、ステップS111においてシャッターの半押しと解放(S1オン/オフ)動作を検出すると、ステップS112において、音声記録を停止し、さらに、撮影画像と取得音声を記録媒体に記録する処理を実行する。なお、記録処理に際してはエンコード処理、所定の記録フォーマットに従ったフォーマット処理等が実行され、記録媒体112に格納される。また、ステップS111におけるシャッターの半押し(S1オン)動作に伴って、AE/AF動作を実行してもよい。
一方、ステップS110において、ユーザ操作(シャッターの半押し処理)を検出することなく、予め定めた既定時間(tb)の経過が確認された場合(ステップS110の判定=Yes)は、ステップS111を省略して、ステップS112に進み、音声記録を停止し、撮影画像と取得音声を記録媒体に記録する処理を実行する。
この図2に示すフローチャートを参照して説明した処理シーケンスから理解されるように、この実施例1においては、音声記録開始と終了を、AE/AF処理や静止画撮影処理と独立したシャッター操作によって決定することができる。
すなわち、音声記録の開始と終了は、以下のユーザ操作によって自由に設定することができる。
音声記録の開始は、ステップS104で行われ、この音声記録開始の条件となる処理(トリガー)は、シャッターの半押し状態の解除処理である。具体的には、
(a)ステップS101のシャッターの半押し実行(S1オン)
(b)ステップS103のシャッターの半押し解除(S1オフ)
これらの一連の処理が実行されることである。
また、音声記録の終了は、ステップS112で行われ、この音声記録終了の条件となる処理(トリガー)も、シャッターの半押し状態の解除処理である。具体的には、
(c)ステップS111のシャッターの半押し実行(S1オン)と解除(S1オフ)
この処理が実行されることである。
すなわち、シャッターの半押しと解除を連続操作として実行することで、音声記録の開始と終了を自由に設定でき、その他の処理、すなわち画像撮影や、AE/AF処理の処理タイミングに依存することなく、音声記録の開始、終了を制御することが可能となる。
本実施例の処理について、さらに理解しやすくするため、本実施例1のタイミングチャートを図3に示す。
図3には、
(a)シャッターの状態遷移
(b)静止画撮影タイミング
(c)音声記録タイミング
(d)AE/AF実行タイミング
これらのタイミングを時間軸(t)に沿って示している。
なお、図3に示す(a)シャッターの状態遷移について、図3では時間t0〜t7まで全て同じ時間間隔でシャッター状態が変化するように示しているが、この時間間隔はユーザの処理によって変化するものである。
各時間t0〜t7のシャッター状態に応じて以下のような制御が実行される。
時間:t0
時間(t0)は初期状態である。
時間:t1
時間(t1)は、ユーザがシャッターを半押しした状態である。この半押し処理をトリガーとしてAE/AF処理が実行される。
この処理は、図2に示すフローチャートのステップS101〜S102の処理に対応する。
時間:t2
時間(t2)は、ユーザがシャッターを半押しから解放状態に戻した状態である。この半押しから解放状態への戻し処理をトリガーとして音声記録処理が開始される。
この処理は、図2に示すフローチャートのステップS103〜S104の処理に対応する。
時間:t3
時間(t3)は、ユーザが解放状態にあるシャッターを、再度、半押しした状態である。この2度目の半押し処理をトリガーとして、再度AE/AF処理が実行される。
この処理は、図2に示すフローチャートのステップS106〜S107の処理に対応する。
時間:t4〜t5
時間(t4〜t5)は、ユーザが半押し状態にあるシャッターを全押しして、さらに解放状態とする処理である。この半押し状態から全押し処理を行うことで画像撮影処理が実行される。
この処理は、図2に示すフローチャートのステップS108〜S109の処理に対応する。
時間:t6
時間(t6)は、ユーザが解放状態にあるシャッターを、さらに半押しして、その後、解放する処理である。この解放状態から、半押し〜解放処理の実行をトリガーとして音声記録が終了する。
この処理は、図2に示すフローチャートのステップS111〜S112の処理に対応する。
なお、この図3では、図2に示すステップS105とステップS110における閾値時間の経過判定処理を省略して示している。
ステップS105の処理は、図3における時間t2〜t3の間で実行され、この時間t2〜t3の期間が既定閾値時間taを超えた場合には、タイムアウトとなり、処理を終了する。この終了処理は、図2に示すフローのステップS105の判定処理でYesと判定される処理に対応する。
また、図2のフローにおけるステップS110の処理は、図3における時間t5〜t6の間で実行され、この時間t5〜t6の期間が既定閾値時間tbを超えた場合には、タイムアウトとなり、図3に示す時間t6の半押しと時間t7の解放状態への移行処理が実行されない場合でも音声記録処理を強制終了する。
この音声記録終了処理は、図2に示すフローのステップS110の判定処理でYesと判定され、ステップS112に移行する処理に対応する。
この図3を参照した説明からも理解されるように、
(b)静止画撮影タイミング
(c)音声記録タイミング
(d)AE/AF実行タイミング
これらの3つの処理について、制御部は、各処理の実行タイミングを他の処理の実行タイミングに依存することなく制御可能である。
音声記録処理の開始タイミングと、終了タイミングは、いずれもシャッターの半押しと解除を連続操作として実行することで制御可能である。
このように、音声記録処理の開始タイミングと、終了タイミングは、その他の処理、すなわち画像撮影や、AE/AF処理の処理タイミングに依存することなく、自由なタイミングに設定でき、ユーザの希望に応じて自由に音声記録を開始させて、終了させることが可能となる。
[3.第2実施例:撮像装置の実行する音声記録処理例2]
次に、図4に示すフローチャート、および図5に示すタイミングチャートを参照して本開示の撮像装置の実行するもう1つの処理例(第2実施例)について説明する。
なお、以下に説明する処理シーケンスは、先に説明した第1実施例と同様、図1に示す撮像装置の制御部111の制御の下に実行される。制御部111は、例えば記録媒体112あるいはメモリ120に予め格納されたプログラムに従って処理制御を実行する。
なお、撮像装置の操作部108に設けられたシャッターは、先に説明した第1実施例と同様、以下の3つの状態を取り得るものとする。
(1)半押し状態(S1オン)、
(2)全押し状態(S2オン)、
(3)解放状態(S1オフ、または、S2オフ)
図4に示すフローに従って、各処理ステップの処理について説明する。
制御部111は、ステップS201において、操作部108のシャッター半押し(S1オン)を検出すると、ステップS202において、自動露出制御(AE)、自動フォーカス制御(AF)を開始する。
次に、ステップS203において、操作部108のシャッター半押しの解放(S1オフ)を検出すると、ステップS203の判定はYesとなり、ステップS204に進み、音声記録を開始する。
一方、ステップS203において、操作部108のシャッター半押しの解放(S1オフ)を検出することなく、ユーザがシャッターを全押し(S2オン)した場合は、ステップS203の判定はNoとなり、ステップS208に進む。
まず、ステップS203の判定がYesとなり、ステップS204に進んだ場合の処理について説明する。
ステップS203において、操作部108のシャッター半押しの解放(S1オフ)を検出すると、ステップS203の判定はYesとなり、ステップS204に進み、音声記録を開始する。
すなわち、ユーザによるシャッター半押しのオンオフ動作が音声記録を開始させる制御信号として利用される。
次にステップS205では、ユーザによるシャッター半押しのオンオフ動作後の経過時間を計測し、経過時間が予め既定した閾値時間(ta)を超えたか否かを判定する。超えた場合(ステップS205の判定=Yes)には、ユーザの撮影意思がなくなったものと判定して処理を終了する。
一方、経過時間が予め既定した閾値時間(ta)を超えることなく(ステップS205の判定=No)、ステップS206のシャッター半押し(S1オン)を検出した場合は、ステップS207に進み、AE/AF処理を再度実行する。
なお、AE/AF処理は、ステップS202においても実行されているが、実際の撮影処理に適用するAE/AF処理は、このステップS207のAE/AF処理となる。
次に、ステップS208において、シャッターの全押し(S2オン)を検出すると、ステップS209において画像撮影を実行する。
なお、先に説明したステップS203におけるシャッターの半押し(S1オン)の解放処理(S1オフ)を検出することなく、シャッターの全押しが検出された場合には、ステップS203からステップS208に進み、シャッター全押し(S2オン)処理に基づいて、ステップS209の画像撮影が実行される。
その後、ステップS210において、制御部は、シャッター全押しの解放(S2オフ)を検出し、ステップS211に進み、音声記録を停止し、さらに、撮影画像と取得音声を記録媒体に記録する処理を実行する。なお、記録処理に際してはエンコード処理、所定の記録フォーマットに従ったフォーマット処理等が実行され、記録媒体112に格納される。
この図4に示すフローチャートを参照して説明した処理シーケンスから理解されるように、この実施例2においても、音声記録開始と終了を、AE/AF処理や静止画撮影処理と独立したシャッター操作によって決定することができる。
すなわち、音声記録の開始と終了は、以下のユーザ操作によって自由に設定することができる。
音声記録の開始は、ステップS204で行われ、この音声記録開始の条件となる処理(トリガー)は、
(a)ステップS201のシャッターの半押し実行(S1オン)
(b)ステップS203のシャッターの半押し解除(S1オフ)
これらの一連の処理が実行されることである。
また、音声記録の終了は、ステップS211で行われ、この音声記録終了の条件となる処理(トリガー)は、
(c)ステップS208のシャッター全押し実行(S2オン)
(d)ステップS210のシャッター全押し解除(S2オフ)
これらの一連の処理が実行されることである。
すなわち、シャッターの半押しと解除を連続操作として実行することで、音声記録の開始を自由に設定でき、また、シャッターの全押しと解除を連続操作として実効することで、音声記録の終了を自由に設定できる。その結果、その他の処理、すなわち画像撮影や、AE/AF処理の処理タイミングに依存することなく、音声記録の開始、終了を制御することが可能となる。
なお、音声記録の終了は、最終的には、ステップS210のシャッター全押し解除(S2オフ)によって規定されるので、例えば、シャッターの全押し状態を継続させれば、任意時間、音声記録を延長させることができる。
本実施例の処理について、さらに理解しやすくするため、本実施例2のタイミングチャートを図5に示す。
図5には、
(a)シャッターの状態遷移
(b)静止画撮影タイミング
(c)音声記録タイミング
(d)AE/AF実行タイミング
これらのタイミングを時間軸(t)に沿って示している。
なお、先に第1実施例において説明した図3と同様、図5に示す(a)シャッターの状態遷移については、時間t0〜t5まで同じ時間間隔でシャッター状態が変化するように示しているが、この時間間隔はユーザの処理によって変化するものである。
各時間t0〜t5のシャッター状態に応じて以下のような制御が実行される。
時間:t0
時間(t0)は初期状態である。
時間:t1
時間(t1)は、ユーザがシャッターを半押しした状態である。この半押し処理をトリガーとしてAE/AF処理が実行される。
この処理は、図4に示すフローチャートのステップS201〜S202の処理に対応する。
時間:t2
時間(t2)は、ユーザがシャッターを半押しから解放状態に戻した状態である。この半押しから全押しへの戻し処理をトリガーとして音声記録処理が開始される。
この処理は、図4に示すフローチャートのステップS203〜S204の処理に対応する。
時間:t3
時間(t3)は、ユーザが解放状態にあるシャッターを、再度、半押しした状態である。この2度目の半押し処理をトリガーとして、再度AE/AF処理が実行される。
この処理は、図4に示すフローチャートのステップS206〜S207の処理に対応する。
時間:t4
時間(t4)は、ユーザが半押し状態にあるシャッターを全押しする処理である。この全押し処理をトリガーとして画像撮影処理が実行される。
この処理は、図4に示すフローチャートのステップS208〜S209の処理に対応する。
時間:t5
時間(t5)は、ユーザが全押し状態にあるシャッターを解放状態にする処理である。この全押し状態から解放状態にする処理の実行をトリガーとして音声記録が終了する。
この処理は、図4に示すフローチャートのステップS210〜S211の処理に対応する。
なお、この図5では、図4に示すステップS205における閾値時間(ta)の経過判定処理を省略して示している。
ステップS205の処理は、図5における時間t2〜t3の間で実行され、この時間t2〜t3の期間が既定閾値時間taを超えた場合には、タイムアウトとなり、処理を終了する。この終了処理は、図4に示すフローのステップS205の判定処理でYesと判定される処理に対応する。
この図5を参照した説明からも理解されるように、
(b)静止画撮影タイミング
(c)音声記録タイミング
(d)AE/AF実行タイミング
これらの3つの処理は、その実行タイミングを他の処理の実行タイミングに依存することなく制御可能である。
音声記録処理の開始タイミングは、シャッターの半押しと解除を連続操作として実行することで制御可能である。
また、音声記録処理の終了タイミングは、シャッターの全押し状態からの解放処理を行うタイミングで制御可能である。
このように、音声記録処理の開始タイミングと、終了タイミングは、その他の処理、すなわち画像撮影や、AE/AF処理の処理タイミングに依存することなく、自由なタイミングに設定でき、ユーザの希望に応じて自由に音声記録を開始させて、終了させることが可能となる。
[4.その他の実施例について]
次に、上述した実施例1,2と異なる実施例について説明する。
上述した実施例1では、音声記録開始の条件となる処理(トリガー)は、
(a)図2のフローのステップS101のシャッターの半押し実行(S1オン)
(b)図2のフローのステップS103のシャッターの半押し解除(S1オフ)
これらの一連の処理が実行されることである。
また、音声記録の終了は、ステップS112で行われ、この音声記録終了の条件となる処理(トリガー)は、
(c)図2のフローのステップS111のシャッターの半押し実行(S1オン)と解除(S1オフ)
この処理が実行されることである。
この実施例において、音声記録処理を終了させる場合には、音声記録処理の実行中に、シャッターの半押しと解除を行うことになる。
上述した実施例1の説明では、ステップS110において、撮影処理終了後、一定時間(tb)の間に半押しと解除が実行されない場合に、強制的に音声記録処理を終了する例として説明した。しかし、例えば、撮影処理終了後、一定時間(tb)以内に半押しを実行して半押し状態を維持することで、音声記録を任意の時間、継続させる設定としてもよい。
この処理により、前述した閾値時間(tb)経過後に、音声記録を終了させることなく、さらに長時間の音声記録を行うことが可能とてなる。なお、この処理を実行する場合には、メディアの容量やフォーマット上の規定に基づく最大記録可能時間の表示を行う設定としてもよい。
なお、この音声記録許容時間の表示処理は上述の実施例2にも適用可能である。
実施例2において、音声記録の終了タイミングは、最終的には図4に示すフローのステップS210のシャッター全押し解除(S2オフ)によって規定される。従って、例えば、シャッターの全押し状態を継続させれば、任意時間、音声記録を延長させることができる。この場合に、メディアの容量やフォーマット上の規定に基づく最大記録可能時間の表示を行う設定としてもよい。
[5.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1)シャッターボタン操作情報に応じて音声記録の開始と終了を制御する制御部を有し、
前記制御部は、
音声記録の開始および終了要求に対応するそれぞれ独自のシャッターボタン操作情報を識別して、音声記録の開始および終了タイミングを決定する撮像装置。
(2)前記制御部は、自動露出制御(AE)または自動フォーカス制御(AF)の開始制御としてのシャッターボタン操作情報と異なるシャッターボタン操作情報を識別して音声記録の開始および終了タイミングを決定する前記(1)に記載の撮像装置。
(3)前記制御部は、音声記録の開始または終了要求に対応する独自のシャッターボタン操作情報として、シャッターボタンの半押し解除処理を識別して、音声記録の開始または終了タイミングを決定する前記(1)または(2)に記載の撮像装置。
(4)前記制御部は、音声記録の終了要求に対応する独自のシャッターボタン操作情報として、シャッターボタンの全押し解除処理を識別して、音声記録の終了タイミングを決定する前記(1)〜(3)いずれかに記載の撮像装置。
(5)前記制御部は、音声記録中に実行されるシャッターボタン半押し状態を識別して、該シャッターボタン半押し状態の継続期間は音声記録を継続する制御を行う前記(1)〜(4)いずれかに記載の撮像装置。
(6)前記制御部は、音声記録中に実行されるシャッターボタン全押し状態を識別して、該シャッターボタン全押し状態の継続期間は音声記録を継続する制御を行う前記(1)〜(5)いずれかに記載の撮像装置。
(7)前記制御部は、音声記録中に、音声記録の終了要求に対応する操作がない場合、予め設定した時間の経過に応じて音声記録を終了させる制御を行う前記(1)〜(6)いずれかに記載の撮像装置。
(8)前記制御部は、音声記録許容時間を表示部に表示する制御を行う前記(1)〜(7)いずれかに記載の撮像装置。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、音声記録の開始と終了をユーザの希望するタイミングで実行することを可能とした撮像装置および撮像装置制御方法が実現される。
具体的には、ユーザのシャッター操作情報を入力し、入力したシャッター操作情報に応じて音声記録の開始と終了を制御する。音声記録の開始および終了要求に対応する独自のシャッター操作情報を識別して、音声記録の開始および終了タイミングを決定する。例えば自動露出制御(AE)または自動フォーカス制御(AF)の開始制御に利用されるシャッター操作情報と異なるシャッターの半押し解除処理や、全押し解除処理を識別して音声記録の開始および終了タイミングの制御を実行する。
101 レンズ
102 撮像素子
103 A/D変換部
104 カメラ信号処理部
105 マイク
106 A/D変換部
107 音声信号処理部
108 操作部
111 制御部(マイクロプロセッサ)
112 記録媒体
120 メモリ
121 画像エンコード部
122 音声エンコード部
123 画像デコード部
124 音声デコード部
125 表示部
126 D/A変換部
127 ディスプレイ
128 音声信号処理部
129 D/A変換部
130 スピーカ
131 クロック

Claims (10)

  1. シャッターボタン操作情報に応じて音声記録の開始と終了を制御する制御部を有し、
    前記制御部は、
    音声記録の開始および終了要求に対応するそれぞれ独自のシャッターボタン操作情報を識別して、音声記録の開始および終了タイミングを決定し、
    前記制御部は、
    (a)画像撮影開始前の音声記録開始タイミング、
    (b)音声記録開始後、規定時間ta以内の自動露出制御(AE)または自動フォーカス制御(AF)の開始タイミング、
    (c)自動露出制御(AE)または自動フォーカス制御(AF)終了後の画像撮影の開始タイミング、
    (d)画像撮影終了後の音声記録終了タイミング、
    上記(a)〜(d)の各処理の実行タイミングを、ユーザ操作に応じて個別に決定する制御を行う撮像装置。
  2. 前記制御部は、
    自動露出制御(AE)または自動フォーカス制御(AF)の開始制御としてのシャッターボタン操作情報と異なるシャッターボタン操作情報を識別して音声記録の開始および終了タイミングを決定する請求項1に記載の撮像装置。
  3. 前記制御部は、
    音声記録の開始または終了要求に対応する独自のシャッターボタン操作情報として、シャッターボタンの半押し解除処理を識別して、音声記録の開始または終了タイミングを決定する請求項1に記載の撮像装置。
  4. 前記制御部は、
    音声記録の終了要求に対応する独自のシャッターボタン操作情報として、シャッターボタンの全押し解除処理を識別して、音声記録の終了タイミングを決定する請求項1に記載の撮像装置。
  5. 前記制御部は、
    音声記録中に実行されるシャッターボタン半押し状態を識別して、該シャッターボタン半押し状態の継続期間は音声記録を継続する制御を行う請求項1に記載の撮像装置。
  6. 前記制御部は、
    音声記録中に実行されるシャッターボタン全押し状態を識別して、該シャッターボタン全押し状態の継続期間は音声記録を継続する制御を行う請求項1に記載の撮像装置。
  7. 前記制御部は、
    音声記録中に、音声記録の終了要求に対応する操作がない場合、予め設定した時間の経過に応じて音声記録を終了させる制御を行う請求項1に記載の撮像装置。
  8. 前記制御部は、
    音声記録許容時間を表示部に表示する制御を行う請求項1に記載の撮像装置。
  9. 撮像装置において実行する撮像装置制御方法であり、
    制御部が、シャッターボタン操作情報に応じて音声記録の開始と終了を制御する音声記録制御ステップを実行し、
    前記音声記録制御ステップは、
    前記制御部が、音声記録の開始または終了要求に対応するそれぞれ独自のシャッターボタン操作情報を識別して、音声記録の開始または終了タイミングを決定するステップを含み、
    前記制御部は、
    (a)画像撮影開始前の音声記録開始タイミング、
    (b)音声記録開始後、規定時間ta以内の自動露出制御(AE)または自動フォーカス制御(AF)の開始タイミング、
    (c)自動露出制御(AE)または自動フォーカス制御(AF)終了後の画像撮影の開始タイミング、
    (d)画像撮影終了後の音声記録終了タイミング、
    上記(a)〜(d)の各処理の実行タイミングを、ユーザ操作に応じて個別に決定する制御を行う撮像装置制御方法。
  10. 撮像装置において音声記録制御処理を実行させるプログラムであり、
    制御部に、シャッターボタン操作情報に応じて音声記録の開始と終了を制御する音声記録制御ステップを実行させ、
    前記音声記録制御ステップにおいて、
    前記制御部に、音声記録の開始または終了要求に対応するそれぞれ独自のシャッターボタン操作情報を識別して、音声記録の開始および終了タイミングを決定させ、
    前記プログラムは、前記制御部に、
    (a)画像撮影開始前の音声記録開始タイミング、
    (b)音声記録開始後、規定時間ta以内の自動露出制御(AE)または自動フォーカス制御(AF)の開始タイミング、
    (c)自動露出制御(AE)または自動フォーカス制御(AF)終了後の画像撮影の開始タイミング、
    (d)画像撮影終了後の音声記録終了タイミング、
    上記(a)〜(d)の各処理の実行タイミングを、ユーザ操作に応じて個別に決定する制御を行わせるプログラム。
JP2011092029A 2011-04-18 2011-04-18 撮像装置、および撮像装置制御方法、並びにプログラム Active JP5821257B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011092029A JP5821257B2 (ja) 2011-04-18 2011-04-18 撮像装置、および撮像装置制御方法、並びにプログラム
EP12157757A EP2515519A1 (en) 2011-04-18 2012-03-01 Camera with audio recording controlled by the shutter release button, method and program of operation
US13/411,838 US8736715B2 (en) 2011-04-18 2012-03-05 Imaging device, imaging device control method, and program
CN2012101049957A CN102752507A (zh) 2011-04-18 2012-04-11 成像设备、成像设备控制方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011092029A JP5821257B2 (ja) 2011-04-18 2011-04-18 撮像装置、および撮像装置制御方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2012227644A JP2012227644A (ja) 2012-11-15
JP5821257B2 true JP5821257B2 (ja) 2015-11-24

Family

ID=45768144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011092029A Active JP5821257B2 (ja) 2011-04-18 2011-04-18 撮像装置、および撮像装置制御方法、並びにプログラム

Country Status (4)

Country Link
US (1) US8736715B2 (ja)
EP (1) EP2515519A1 (ja)
JP (1) JP5821257B2 (ja)
CN (1) CN102752507A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141853B (zh) * 2015-08-18 2019-02-05 联想(北京)有限公司 图像处理方法以及电子设备
CN107155062B (zh) * 2017-06-16 2019-11-05 上海青橙实业有限公司 记录声音信息的拍照方法及装置、移动终端

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2007362A1 (en) * 1989-01-20 1990-07-20 Katsumi Yamaoka Audio after recording apparatus
JP2009060610A (ja) * 1996-04-17 2009-03-19 Hitachi Ltd 記録装置および記録方法
US7319490B2 (en) * 2000-01-21 2008-01-15 Fujifilm Corporation Input switch with display and image capturing apparatus using the same
JP2001339681A (ja) * 2000-05-30 2001-12-07 Fuji Photo Film Co Ltd ディジタル・スチル・カメラおよびその動作制御方法
JP4045525B2 (ja) * 2000-05-31 2008-02-13 富士フイルム株式会社 画質選択方法及びデジタルカメラ
JP4323063B2 (ja) * 2000-06-23 2009-09-02 オリンパス株式会社 電子カメラ装置
JP4434502B2 (ja) 2001-01-19 2010-03-17 富士フイルム株式会社 デジタルカメラ
JP2002223401A (ja) * 2001-01-29 2002-08-09 Fuji Photo Film Co Ltd デジタルカメラのデータ処理方法
JP4298191B2 (ja) * 2001-08-30 2009-07-15 株式会社リコー カメラおよびコンピュータが実行するためのプログラム
JP2003116031A (ja) * 2001-10-05 2003-04-18 Fuji Photo Film Co Ltd 情報記録再生装置
JP4139942B2 (ja) * 2002-02-01 2008-08-27 富士フイルム株式会社 発光体付きカメラ
US20030174218A1 (en) * 2002-03-14 2003-09-18 Battles Amy E. System for capturing audio segments in a digital camera
JP2004096227A (ja) * 2002-08-29 2004-03-25 Canon Inc 音声処理装置、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
JP2004205867A (ja) * 2002-12-26 2004-07-22 Fuji Photo Film Co Ltd セルフタイマー付きカメラ
JP2005117077A (ja) * 2003-10-02 2005-04-28 Konica Minolta Photo Imaging Inc 携帯電子機器およびデータ再生方法
JP2005286551A (ja) * 2004-03-29 2005-10-13 Konica Minolta Photo Imaging Inc デジタルカメラ
JP5117280B2 (ja) * 2008-05-22 2013-01-16 富士フイルム株式会社 撮像装置、撮像方法、再生装置および再生方法
JP5188277B2 (ja) * 2008-06-09 2013-04-24 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
JP4873031B2 (ja) * 2009-03-18 2012-02-08 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP2011092029A (ja) 2009-10-27 2011-05-12 Iseki & Co Ltd コンバインの刈取搬送装置

Also Published As

Publication number Publication date
US20120262602A1 (en) 2012-10-18
US8736715B2 (en) 2014-05-27
EP2515519A1 (en) 2012-10-24
JP2012227644A (ja) 2012-11-15
CN102752507A (zh) 2012-10-24

Similar Documents

Publication Publication Date Title
US9781335B1 (en) Device and method for photo and video capture
US8040423B2 (en) Image pickup apparatus, method of controlling image pickup and computer-readable storage medium
US8339478B2 (en) Image capturing apparatus and control method thereof
RU2507610C2 (ru) Устройство записи информации и способ управления им
JP4733068B2 (ja) 撮影装置および方法並びにプログラム
JP5821257B2 (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
US8897617B2 (en) Digital image capturing apparatus and method of controlling the same
JP5058780B2 (ja) 画像処理装置
KR101447008B1 (ko) 정보처리장치, 그 제어 방법 및 카메라
US10097763B2 (en) Electronic device and method of controlling the same
US8086092B2 (en) Video image recording apparatus
TWI357593B (ja)
JP2012114677A5 (ja)
JP2011130378A (ja) 画像記録装置及び画像記録方法
US10999552B2 (en) Image capturing apparatus, control method therefor, and non-transitory computer-readable storage medium
JP7309346B2 (ja) 撮像装置、その制御方法、およびそのプログラム
JP2007124178A (ja) 映像信号記録再生装置
JP2006093985A (ja) 撮像装置
US10194082B2 (en) Image pickup apparatus that shoots moving image for predetermined time period at the time of shooting still image, control method for the image pickup apparatus, and storage medium
JP2006033752A (ja) デジタルカメラ
US9560289B2 (en) Imaging apparatus and control method for recording device
JP5127192B2 (ja) 撮像装置、その制御方法及びプログラム
JP5165070B2 (ja) 映像記録装置及びプログラム
JP2010002847A (ja) 撮像装置及び撮像方法
JP2013172419A (ja) 電子カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150921

R151 Written notification of patent or utility model registration

Ref document number: 5821257

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250