JP5517806B2 - 撮像装置及びコンピュータプログラム - Google Patents

撮像装置及びコンピュータプログラム Download PDF

Info

Publication number
JP5517806B2
JP5517806B2 JP2010162099A JP2010162099A JP5517806B2 JP 5517806 B2 JP5517806 B2 JP 5517806B2 JP 2010162099 A JP2010162099 A JP 2010162099A JP 2010162099 A JP2010162099 A JP 2010162099A JP 5517806 B2 JP5517806 B2 JP 5517806B2
Authority
JP
Japan
Prior art keywords
image data
moving image
still image
data
embedded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010162099A
Other languages
English (en)
Other versions
JP2012023681A (ja
Inventor
康之 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010162099A priority Critical patent/JP5517806B2/ja
Priority to US13/155,814 priority patent/US8692898B2/en
Publication of JP2012023681A publication Critical patent/JP2012023681A/ja
Application granted granted Critical
Publication of JP5517806B2 publication Critical patent/JP5517806B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、映像データに暗号化を行う撮像装置及び当該撮像装置で実行可能なコンピュータプログラムに関する。
近年、記録サイズの小さい動画と記録サイズが大きく高画質である静止画の撮影を行えるデジタルスチルカメラ(以下デジタルカメラ)が知られている。
このようなデジタルカメラは、動画の撮影中に静止画の撮影の指示が与えられた場合、動画の記録を停止して、撮像素子の駆動を動画を記録する駆動方法から静止画を撮影する駆動方法に変更し、静止画の撮影を行うことができる。
この場合、動画の撮影中に記録されている動画は静止画の撮影によって中断され、静止画が撮影された後、動画の記録が再開されたとしても、撮影された静止画と記録された動画とは、記録サイズが異なるため、別々のファイルとして記録されてしまう。そのため、記録された動画を再生する場合、静止画の撮影が行われている間だけ、動画フレームの一部欠落してしまうので、視聴の途中で動画が中断されてしまい、ユーザに違和感を与えるような事態があった。
このような事態を防ぐために、動画の撮影中に撮影された静止画の記録サイズを動画の記録サイズと同一の記録サイズに変換したデータを動画に埋め込んで、欠落した動画フレームの部分を補間するデジタルカメラが提案されている(特許文献1参照)。
合わせて、近年、デジタルカメラで撮影した高画質の静止画のセキュリティーを確保するために暗号化機能を有するデジタルカメラが普及している(特許文献2参照)。
特開2003−219341号公報 特開2008−109590号公報
しかしながら、暗号化機能を持つデジタルカメラでは、動画の撮影中に高画質な静止画の撮影を行われた場合であっても、デジタルカメラは動画の撮影中に撮影された静止画に対して暗号化を行っていなかった。
このため、動画の撮影中に撮影された静止画の安全性が確保できないという問題があった。
上記のような課題を解決するために、本発明に係る撮像装置は、動画を撮影し、前記動画に対応する動画データを生成し、静止画を撮影し、前記静止画に対応する静止画データを生成する撮影手段と、前記静止画の撮影を前記撮影手段に指示する指示手段と、前記動画の撮影中に前記指示手段による指示がされた場合、前記動画の撮影を中断し、前記静止画を撮影するように前記撮影手段を制御する制御手段と、前記撮影手段によって前記静止画データが生成された後、前記静止画データから前記動画データに埋め込むための埋め込みデータを生成し、前記動画の撮影を中断した区間の動画データとして前記埋め込みデータを埋め込む埋め込み手段と、前記動画の撮影中に前記指示手段による指示がされた場合、前記静止画データとともに前記埋め込みデータを暗号化する暗号化手段とを有することを特徴とする。
本発明に係るコンピュータプログラムは、動画を撮影し、前記動画に対応する動画データを生成し、静止画を撮影し、前記静止画に対応する静止画データを生成する撮影手段と、前記静止画の撮影を前記撮影手段に指示する指示手段とを有する撮像装置に実行させるコンピュータプログラムであって、前記動画の撮影中に前記指示手段による指示がされた場合、前記動画の撮影を中断し、前記静止画を撮影するように前記撮影手段を制御する制御ステップと、前記撮影手段によって前記静止画データが生成された後、前記静止画データから前記動画データに埋め込むための埋め込みデータを生成し、前記動画の撮影を中断した区間の動画データとして前記埋め込みデータを埋め込む埋め込みステップと、前記動画の撮影中に前記指示手段による指示がされた場合、前記静止画データとともに前記埋め込みデータを暗号化する暗号化ステップとを前記撮像装置に実行させることを特徴とする。
本発明によれば、動画の撮影中に静止画の撮影を行う際、撮影された静止画に対する安全性を高めることができる。
本発明の実施例1から3に係る撮像装置100の構成の一例を示すブロック図である。 本発明の実施例1に係る撮像装置100によって実行される動画記録中静止画撮影処理を示すフローチャートである。 本発明の実施例2に係る撮像装置100によって実行される動画記録中静止画撮影処理を示すフローチャートである。 本発明の実施例3に係る撮像装置100による暗号化有無の切替の条件の一例を示す図である。 本発明の実施例3に係る撮像装置100によって実行される動画記録中静止画撮影処理を示すフローチャートである。
以下、本発明の実施例について、図面を参照しながら説明する。なお、以下に示す実施例はあくまでも一例であって、必ずしも以下に示す実施例に限定されるものではない。
[実施例1]
図1は、実施例1に係る撮像装置100の概略構成の一例を示すブロック図である。実施例1では、撮像装置100の一例として、デジタル一眼レフカメラ(以下、カメラとする)を例に挙げて詳細に説明する。なお、撮像装置100としては、他にビデオカメラやデジタルスチルカメラ、カメラ付き携帯電話等の撮像装置にも、本発明を適用することは可能である。
<カメラ100>
カメラ100は、図1に示すように、CPU101、メモリ102、記録部103、通信部104、操作部105、表示部106、画像処理部107、撮像部108、暗号復号部109を有する。
カメラ100は、撮影モード、再生モード等の動作モードを有する。カメラ100の動作モードが撮影モードである場合、カメラ100は、被写体の撮影が可能になり、動画データや静止画データ等といった映像データを記録媒体103aに記録することができる。カメラ100の動作モードが再生モードである場合、ユーザによって選択された映像データを記録媒体103aから再生することができる。
CPU101は、メモリ102に記憶されているコンピュータプログラムに従って、カメラ100の全体の動作を制御する。なお、CPU101のワークエリアは、メモリ102に限られるものではなく、ハードディスク装置等の外部記憶装置であってもよい。
メモリ102は、CPU101のワークエリアとして機能するメモリであり、CPU101で使用される様々な定数や変数の値、データ及び情報を記憶するメモリでもある。メモリ102に記憶される情報には、カメラ100を制御するコンピュータプログラム、表示部106に表示される所定の映像データやアイコン等がある。また、メモリ102はカメラ100がライブビュー撮影をしているときや動画データを記録しているときには、所定フレームレートで連続的に書き込まれる映像データのフレームバッファとして使用される。
記録部103は、カメラ100の動作モードが撮影モードである場合は、CPU101の指示に応じて画像処理部107や撮像部108で生成された映像データを記録媒体103aに記録することができる。撮像部108で生成された映像データの記録媒体103aへの記録は、ユーザが操作部105を操作した場合に、操作部105から入力された信号に従ってCPU101が制御する。
記録部103は、カメラ100の動作モードが再生モードである場合は、ユーザによって選択された映像データを記録媒体103aから再生することができる。記録媒体103aから再生される映像データの選択は、ユーザが操作部105を操作した場合に、操作部105から入力された信号に従ってCPU101が制御する。
記録部103が記録媒体103aから再生した映像データは、記録部103から通信部104及び表示部106に供給される。記録部103から表示部106に供給された映像データは、表示部106に表示される。
なお、記録媒体103aは、メモリカード、ハードディスク装置等であって、カメラ100に内蔵された記録媒体であっても、カメラ100から取り外し可能な記録媒体であってもよい。また、記録媒体103aは、PCMCIAカードやコンパクトフラッシュ(登録商標)等のメモリカード、ハードディスク等を用いることができる。また、マイクロDAT、光磁気ディスク、CD−RやCD−RW等の光ディスク、DVD等の相変化型光ディスク等で構成されていても構わない。
通信部104は、USBケーブルやHDMIケーブル、IEEE1394等のインターフェースを接続するための接続端子を有し、これらのインターフェースを介して接続されている外部装置に映像データ、補助データ等を送信することができる。なお、補助データとは、文字、画像、音声などを用いてカメラ100の動作状態を示したメッセージや外部装置を制御するための制御コマンド、カメラ100の管理情報等である。
カメラ100の動作モードが撮影モードである場合、撮像部108は、被写体を撮影し、当該被写体の光学像から映像データを生成する。撮像部108によって生成された映像データは、通信部104、画像処理部107及び表示部106に供給される。通信部104は、画像処理部107で生成した映像データと、CPU101で生成された補助データとを、外部装置に送信する。
操作部105は、カメラ100を操作するためのユーザインターフェースであり、カメラ100を操作するための複数のボタンを有する。ユーザからの指示は、操作部105を介してCPU101に入力される。ユーザが操作部105を操作した場合に、操作部105からユーザの操作に応じた信号がCPU101に入力される。
操作部105内の各ボタンは、スイッチ、ダイヤル、タッチパネル、ポインティングデバイス等により構成され、操作部105はシャッターボタン105a、スタート/ストップボタン105b、モード変更ボタン105c等を含む各種設定を行うボタンを有する。
シャッターボタン105aは、シャッターボタン105aが半押しされた状態S1とシャッターボタン105aが全押しされた状態S2との2つの状態を持つ。カメラ100の動作モードが撮影モードの場合、シャッターボタン105aが押下され、S1の状態になったときは、操作部105からAF処理、AE処理等の処理を指示する信号がCPU101に入力される。CPU101は画像処理部107及び撮像部108にAF処理、AE処理等の処理の開始を指示する。
カメラ100の動作モードが撮影モードの場合、画像処理部107及び撮像部108がAF処理やAE処理を行った後、シャッターボタン105aが押下され、S2の状態になったとき、操作部105から撮影処理を指示する信号がCPU101に入力される。CPU101は画像処理部107及び撮像部108に露光処理、現像処理及び記録処理等の撮影処理の動作開始を指示する。
スタート/ストップボタン105bは、カメラ100に動画の記録の開始又は一時停止を指示するボタンである。スタート/ストップボタン105bが押下された場合、操作部105から画像処理部107及び撮像部108によって生成された動画データ等の記録媒体103aへの記録の開始又は一時停止を指示する信号がCPU101に入力される。CPU101は画像処理部107及び撮像部108に動画データの生成の開始又は停止及び記録媒体103aへの動画データの記録の開始又は一時停止をに指示する。スタート/ストップボタン105bによって動画データが記録されている場合に、ユーザがシャッターボタン105aを操作することによって動画データの撮影中に静止画データの撮影が可能となる。なお、動画データの記録の開始または一時停止を指示するボタンは、スタート/ストップボタン105bに限られないものとする。
モード変更ボタン105cは、カメラ100の動作モードを撮影モード、再生モード等のいずれかに変更することをCPU101に指示するボタンである。撮影モードとは、画像処理部107及び撮像部108によって動画データもしくは動画データの1フレームとして静止画データを生成するモードである。カメラ100の動作モードが撮影モードの場合に、シャッターボタン105aがS2の状態になったときは、画像処理部107及び撮像部108によって静止画データが生成される。カメラ100の動作モードが撮影モードの場合、スタート/ストップボタン105bが押下されたとき、画像処理部107及び撮像部108によって動画データが生成される。なお、撮影モードには、連写撮影モード、自動撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード等が含まれているものとする。
なお、静止画データの撮影の指示と動画データの記録の開始または一時停止の指示とをシャッターボタン105aが兼用して行っても良いものとする。
メニューボタンは、メモリ102に記憶されているカメラ100を制御するためのカメラ制御画面やカメラ100の設定を変更するためのカメラ設定画面等のメニュー画面の表示又は非表示をCPU101に指示するボタンである。これらのメニュー画面をユーザが操作することによって、カメラ100にライブビュー撮影の設定やカメラ100によって撮影された映像データの暗号化の有無等の設定を行うことができる。ユーザはメニューボタンを押下し、表示部106にメニュー画面を表示させ、十字ボタンによってライブビュー撮影の項目や映像データの暗号化の項目を選択し、ライブビュー撮影の設定や映像データの暗号化の設定をON/OFFに設定することができる。
なお、ユーザによってライブビュー撮影の設定が「ON」に設定された場合、CPU101はメモリ102に格納されているライブビュー撮影の有無を示すライブビュー設定フラグを「ON」にする。また、ライブビュー撮影の設定が「OFF」に設定された場合、CPU101はメモリ102内のライブビュー設定フラグを「OFF」にする。同様に、ユーザによって映像データの暗号化の設定が「ON」に設定された場合、CPU101はメモリ102に格納されている暗号化の有無を示す暗号化設定フラグを「ON」にする。また、映像データの暗号化の設定が「OFF」に設定された場合、CPU101はメモリ102内の暗号化設定フラグを「OFF」にする。
画像処理部107は、撮像部108から出力された映像データまたはメモリ102のフレームバッファや記録媒体103aから読み出された映像データに対して画素補間処理や色変換処理等の画像処理を行う。画像処理部107は、適応離散コサイン変換(ADCT)等により映像データを公知の圧縮方法を用いて圧縮したり、圧縮された映像データを伸長する圧縮伸長回路を備えている。なお、映像データを圧縮する圧縮方式として、JPEG方式、MPEG方式、RAW方式、motionJPEG方式、H264方式等が挙げられる。メモリ102のフレームバッファから読み出されてた映像データは、圧縮伸長回路において、圧縮処理または伸長処理が行われ、画像処理部107は、圧縮処理または伸長処理を終えた映像データを記録部103に出力する。
また、画像処理部107は、撮像部108から出力される映像データを用いて演算処理を行う。この演算結果に基づいてCPU101は、TTL(スルー・ザ・レンズ)方式のAF処理、AE処理、フラッシュプリ発光処理、TTL方式のオートホワイトバランス処理を制御する。
撮像部108は、不図示のレンズユニットと接続可能な接続端子を有する。レンズユニットは、バリエータレンズやフォーカシングレンズ等の撮影レンズ郡や絞り及びそれらの駆動回路等を含んでいる。また、撮像部108は、フォーカルプレーン式のシャッター、光学系、撮像素子、ミラー手段、A/D変換部、タイミング発生回路等を備える。
撮像素子は撮像部108の接続端子に接続された不図示のレンズユニットを介して入射した被写体の光学像を電気信号である画像信号に変換する。撮像素子の一例として、例えばCCDイメージセンサやCMOSセンサがある。ミラー手段はレンズユニットを介して入射した被写体の光学像を撮像素子または、不図示の光学ファインダーに導く位置に移動する。A/D変換部は撮像素子から出力される画像信号(アナログデータ)をデジタルデータ(映像データ)に変換し、通信部104または画像処理部107に出力する。タイミング発生回路は、撮像部108の各部にクロック信号や制御信号を供給する。
シャッターボタン105aがS1の状態になった場合、CPU101によって画像処理部107及び撮像部108はAF処理、AE処理等の処理を実行するように制御される。また、この場合、画像処理部107及び撮像部108は、フラッシュプリ発光(Electronic Flash)(以下EF)処理、オートホワイトバランス(Auto White Balance)(以下AWB)処理等を行っても良い。
シャッターボタン105aがS2の状態になった場合、CPU101によって画像処理部107及び撮像部108は露光処理や現像処理等の処理を含む撮影処理を実行するように制御される。撮像素子から出力されたアナログデータはA/D変換部を介してデジタルデータに変換され、映像データとしてメモリ102のフレームバッファに書き込まれた後、メモリ102に記録された撮影パラメータに応じて現像処理が施される。撮像部108や画像処理部107において現像処理や圧縮処理が行われた映像データは、記録媒体103aに静止画データとして書き込まれる。
暗号復号部109は、メニュー画面において、映像データの暗号化設定が「ON」と設定されている場合に既存の暗号化方式により映像データを暗号化する回路である。また、暗号復号部109は、カメラ100の動作モードが再生モードである場合に暗号化された映像データを再生する際に、暗号化された映像データを復号する。
<動画記録中静止画撮影処理>
図2は、実施例1における撮像装置100で実行される動画記録中静止画撮影処理を示すフローチャートである。動画記録中静止画撮影処理とは、カメラ100によって動画を記録している際に、ユーザが静止画の撮影をカメラ100に行わせるための操作を行ったときにカメラ100で実行される処理である。次に、図1及び図2を参照し、実施例1に係るカメラ100で行われる動画記録中静止画撮影処理について説明する。なお、動画記録中静止画撮影処理はカメラ100の電源がオンになっている場合において、カメラ100の動作モードが撮影モードであり、かつ、ライブビュー撮影及び映像データの暗号化の設定が「ON」に設定されているときに実行される。なお、CPU101やコンピュータ(CPUやMPU等)上で稼動しているOS(Operating System)がメモリ102に記憶されているコンピュータプログラムを実行することでカメラ100が図2のフローチャートの処理を行うように制御される。
ステップS201において、CPU101は、メモリ102に格納されているライブビュー設定フラグが「ON」に設定されているか「OFF」に設定されているかを判定する。メモリ102内のライブビュー設定フラグが「ON」に設定されている場合、CPU101は、ライブビュー機能が有効であると判定し、ライブビュー設定フラグが「OFF」が設定されている場合、CPU101は、ライブビュー機能が無効にであると判定する。CPU101によってライブビュー機能が有効であると判定された場合(ステップS201でYESの場合)、本フローチャートはステップS201からステップS202に進む。ライブビュー機能が有効になると、CPU101は被写体の光学像を撮像素子に導く位置にミラー手段を移動(ミラーアップ)させるように制御する。この場合、CPU101は画像処理部107及び撮像部108を制御して、AF処理、AE処理等を実行し、撮像素子に導かれた被写体光からデジタルデータを生成する。デジタルデータは画像処理部107によって所定の画素補間処理や色変換処理が行なわれた後、映像データとしてメモリ102内のフレームバッファへ格納される。CPU101によってライブビュー機能が無効であると判定された場合(ステップS201でNOの場合)、本フローチャートはステップS201からステップS201に戻る。
ステップS202において、CPU101は操作部105のスタート/ストップボタン105bにより動画データの記録を開始することを示す動画記録信号が入力されたか否かを判定する。CPU101によって、動画記録信号が入力されたと判定された場合(ステップS202でYESの場合)、CPU101は記録する動画データの記録サイズやフレームレート等の設定を行い、動画データの記録を行うために、撮像部108の駆動を制御する。この場合、本フローチャートはステップS202からステップS203に進む。CPU101によって、動画記録信号が入力されたと判定されなかった場合(ステップS202でNOの場合)、本フローチャートはステップS202からステップS202に戻る。
ステップS203において、CPU101は動画データの記録を開始する。CPU101はメモリ102のフレームバッファに格納された映像データを所定の符号化方式で符号化する。符号化された映像データは所定のファイルフォーマットとして動画データに成形され、動画データを含む動画ファイルとしてメモリ102のフレームバッファから記録媒体103aに記録される。動画ファイルには、動画データの他にも、動画データの撮影日時や動画データの記録サイズを示す記録情報、動画データを表示するための表示情報等が含まれている。なお、CPU101は、動画データの記録の開始を停止することを示す動画記録停止信号が入力されるまで、映像データを符号化し、符号化された映像データから動画データを生成し、記録媒体103aに記録する処理を続行する。
ステップS203において、CPU101が動画データの記録を開始した場合、動画データの撮影中にユーザによってシャッターボタン105aがS2の状態になるように押下された場合、操作部105から静止画データの撮影指示が入力される可能性がある。そのため、ステップS204において、CPU101は操作部105から撮影処理を行うための撮影指示信号が入力されたか否か判定する。CPU101によって撮影指示信号が入力されたと判定された場合(ステップS204でYESの場合)、本フローチャートはステップS204からステップS208に進む。CPU101によって撮影指示信号が入力されたと判定されなかったた場合(ステップS204でNOの場合)、本フローチャートはステップS204からステップS205に進む。
ステップS205において、CPU101は操作部105のスタート/ストップボタン105bにより動画記録停止信号が入力されたか否かを判定する。CPU101によって、動画記録停止信号が入力されたと判定された場合(ステップS205でYESの場合)、本フローチャートはステップS205からステップS206に進む。CPU101によって、動画記録停止信号が入力されたと判定されなかった場合(ステップS205でNOの場合)、本フローチャートはステップS205からステップS203に戻る。
ステップS206において、CPU101は動画データの記録を停止する。CPU101は動画データの記録を中断させるように画像処理部107、撮像部108及び記録部103を制御する。この場合、CPU101によって制御された画像処理部107は映像データの符号化を中断し、記録部103は、メモリ102のフレームバッファから記録媒体103aへの動画データの記録を中断する。なお、画像処理部107によって符号化された映像データが記録媒体103aに記録されていない場合、これらの符号化された映像データはメモリ102のフレームバッファに保持される。
ステップS207において、CPU101は、操作部105によりライブビュー撮影を中断することを示すライブビュー撮影停止信号が入力されたか否かを判定する。CPU101によってライブビュー撮影停止信号が入力されたと判定された場合(ステップS207でYESの場合)、CPU101はライブビュー撮影を中断させるように画像処理部107及び撮像部108を制御する。CPU101は画像処理部107及び撮像部108を制御した後、ミラー手段を光学系を介して入射した被写体の光学像を不図示の光学ファインダーに導く位置に移動(ミラーダウン)させるように制御する。この場合、本フローチャートは終了する。CPU101によってライブビュー撮影停止信号が入力されなかったと判定された場合(ステップS207でNOの場合)、本フローチャートはステップS207からステップS202に戻る。
撮影指示信号が入力された場合(ステップS204でYESの場合)、CPU101は静止画データの撮影を行うために、ステップS203において実行されている動画データの記録を一時的に停止する必要がある。
そこで、ステップS208において、CPU101はステップS206と同様に動画データの記録を停止する。動画データの記録を停止した後、CPU101はメモリ102に記録された撮影パラメータに応じて静止画データの撮影を行うために、撮像部108の駆動を制御する。
ステップS209において、CPU101は撮影処理を行うように撮像部108を制御する。撮像部108は映像データの1フレームに相当する静止画データを撮影し、撮影した静止画データをメモリ102のフレームバッファに保持する。そして、この撮影した静止画データに対して画像処理部107により前述の処理を施して、記録部103により静止画データを含む独立した静止画ファイルを作成して一旦フレームバッファに記録する。なお、静止画ファイルも動画ファイルと同様に静止画データの他にも、静止画データの撮影日時や静止画データの記録サイズを示す撮影情報、静止画データを表示するための表示情報等が含まれている。撮像部108によって撮影処理が行なわれた場合、本フローチャートはステップS209からステップS210に進む。
ステップS210において、CPU101はステップS209において生成され、フレームバッファに記録された静止画データを記録媒体103aに記録されているS203で記録された動画データの記録サイズと同じサイズに変換した埋め込みデータを生成する。この場合、本フローチャートはステップS210からステップS211に進む。
ステップS211において、CPU101はカメラ100の映像データの暗号化設定フラグが「ON」に設定されているか「OFF」に設定されているかをメモリ102に格納されている暗号化設定フラグによって判定する。メモリ102内の暗号化設定フラグが「ON」に設定されている場合(ステップS211がYESの場合)、CPU101は、暗号化機能が有効であると判定し、本フローチャートはステップS211からステップS212に進む。メモリ102内の暗号化設定フラグに「OFF」が設定されている場合(ステップS211がNOの場合)、CPU101は、暗号化機能が無効にであると判定し、本フローチャートはステップS211からステップS214に進む。
ステップS212において、CPU101はステップS209において、撮影され、フレームバッファに保持されている静止画ファイルに含まれる静止画データに対して暗号化を施すように暗号復号部109を制御する。暗号復号部109はDES(Data Encryption Standard)、AES(Advanced Encryption Standard)等といった既存の暗号化方式により静止画データに対して暗号化を行う。また、暗号化方式は、FEAL(The Fast Data Encipherment Algorithm)やRC2やRC4等であっても良い。
ステップS213において、CPU101はステップS210において、生成された埋め込みデータを、ステップS203において記録媒体103aに記録されている動画ファイルの動画データに埋め込む埋め込み処理を行う。埋め込み処理とは、ステップ209における静止画データの撮影によって動画データの記録が中断されたときに欠落した動画データのフレームの代わりにステップS210で生成された埋め込みデータを、埋め込む処理である。埋め込みデータが埋め込まれた動画データは、一旦、メモリ102内のフレームバッファに記録される。なお、埋め込みデータを埋め込むフレーム数は、1フレームだけでも良いし、実際に静止画データの撮影に要した時間に対応する動画データの区間に相当するフレーム数でも良いし、あらかじめ設定されたフレーム数であっても良い。
ステップS214において、CPU101はステップS213において行われる処理と同様の処理を行い、埋め込みデータが埋め込まれた動画データは、一旦、メモリ102内のフレームバッファに記録される。
ステップS215において、CPU101はステップS209において生成され、フレームバッファに記録された静止画データを記録媒体103aに記録する。暗号化機能が有効に設定されている場合(ステップS211がYESの場合)、CPU101はステップS212において暗号化が施された静止画データを含む静止画ファイルを記録媒体103aに記録するように制御する。暗号化機能が無効に設定されている場合(ステップS211がNOの場合)、CPU101はステップS209において生成された静止画データを含む静止画ファイルを記録媒体103aに記録するように制御する。なお、静止画ファイルと動画ファイルとは記録媒体103aに別々に記録される。
静止画データの記録媒体103aへの記録が完了した場合、本フローチャートはステップS215からステップS203に戻り、CPU101はステップS208において中断していた動画データの記録を再開する。このとき、ステップS213または、ステップS214において、メモリ102内のフレームバッファに一時的に記録されていた埋め込みデータが埋め込まれた動画データはフレームバッファから記録媒体103aへと記録される。
動画データの記録が再開された場合、再び、CPU101は記録する動画データの記録サイズやフレームレート等を設定し、動画データの記録を行うために、画像処理部107、撮像部108及び記録部103を制御する。
このように実施例1に係るカメラ100によれば、動画データの撮影中に静止画データの撮影を行った場合、撮影された高解像度の静止画データは暗号化されるため、どのような静止画データを撮影したのかを第三者に知られることが無くなる。また、静止画データの撮影のために動画データの撮影が停止された際に、中断された動画のフレーム分に撮影した静止画データから生成される埋め込みデータを埋め込むことにより、欠落した動画データを補間することが可能となる。
これによって、動画データ撮影中に撮影された高解像度の静止画データに対して安全性を高めることが可能になる。
また、図2のフローチャートでは、CPU101は、ステップS210において埋め込みデータを生成し、ステップS213において埋め込みデータを動画ファイルに含まれる動画データに埋め込んでいる。しかし、実施例1に係るカメラ100ではこれに限られず、ステップS210において、CPU101はステップS209で撮影された静止画データの代わりに黒画像や青画像等の映像データから埋め込みデータを生成し、動画データに埋め込む処理を行っても良い。
[実施例2]
次に、図3を参照し、実施例2に係るカメラ100で実行される動画記録中静止画撮影処理を示すフローチャートである。実施例2では、実施例1と共通する部分についてはその説明を省略し、実施例1と異なる部分について説明する。
次に、図3を参照し、カメラ100で行われる動画記録中静止画撮影処理について説明する。なお、動画記録中静止画撮影処理はカメラ100が電源オン状態の場合である場合において、カメラ100の動作モードが撮影モードであり、かつ、ライブビュー撮影及び映像データの暗号化の設定が「ON」に設定されているときに実行される。なお、CPU101やコンピュータ上で稼動しているOS等がメモリ102に記憶されているコンピュータプログラムを実行することによってカメラ100が図3に示すフローチャートの処理を行うように制御される。
ステップS213において、CPU101が埋め込みデータを動画ファイルに含まれる動画データに埋め込む埋め込み処理を行った場合、本フローチャートはステップS213からステップS301に進む。
ステップS301において、CPU101はステップS213においてメモリ102のフレームバッファに一時保存された動画ファイルに含まれる動画データに埋め込まれた埋め込みデータに対して暗号化を施すように暗号復号部109を制御する。動画データに埋め込まれた埋め込みデータが1フレームの場合、暗号復号部109はMotionJPEG等といった動画符号化によって埋め込みデータに対して暗号化を施す。動画データに埋め込まれた埋め込みデータが静止画データの撮影に要した時間に対応する動画データの区間に相当するフレーム数である場合、暗号復号部109はMPEG4等といった動画符号化によって埋め込みデータに対して暗号化を施す。なお、動画データに埋め込まれた埋め込みデータがあらかじめ設定されたフレーム数である場合も暗号復号部109はMPEG4等といった動画符号化によって埋め込みデータに対して暗号化を施す。
CPU101によって、ステップS213においてメモリ102のフレームバッファに一時保存された動画データに埋め込まれた埋め込みデータに対して暗号化を施された後、本フローチャートはステップS301からステップS215に進む。
なお、ステップS301で暗号化された埋め込みデータは動画データとともにメモリ102のフレームバッファから記録媒体103aに記録される。また、暗号化された埋め込みデータは動画データを含む動画ファイルのヘッダー情報として記録されたり、動画ファイルの別ファイルとして記録されても良い。この場合、動画データの再生の際に、暗号復号部109によって復号された埋め込みデータをCPU101は動画データとともに再生するように制御するものとする。
実施例2に係るカメラ100によれば、動画撮影中に静止画撮影を行った場合、記録される静止画データとともに、動画データに埋め込まれる、静止画データから生成された埋め込みデータも暗号化される。そのため、動画撮影中にどのような静止画データを撮影したのかを第三者に知られることが無くなる。
これによって、動画データ撮影中に撮影された静止画データや動画ファイルから静止画データ撮影部分のフレームを抜き出すことができなくなり、安全性を高めることが可能になる。
なお、実施例2では、埋め込みデータに対して暗号化を行う前に、動画データを動画データに埋め込み、埋め込みデータが埋め込まれた動画データに対して、暗号化を施していたが、これに限られないものとする。埋め込みデータを動画データに埋め込むタイミングは、動画データの符号化の方式に応じて、動画データに埋め込まれるフレーム分の埋め込みデータに対して暗号化を施した後、暗号化の行われた埋め込みデータを動画データに埋め込むようにしても良い。
[実施例3]
次に、図4及び図5を参照し、実施例3に係るカメラ100で実行される動画記録中静止画撮影処理について説明する。実施例3では、実施例1や実施例2と共通する部分についてはその説明を省略し、実施例1や実施例2と異なる部分を説明する。
図4は実施例3に係わるカメラ100において、動画データの撮影中に静止画データの撮影を行った場合に動画データに埋め込まれる埋め込みデータに対する暗号化の有無の条件を示した一例である。
実施例2では、動画データ撮影中に静止画データの撮影を行った場合、CPU101は暗号化設定フラグの「ON/OFF」に応じて、記録される静止画データとともに、動画ファイルに埋め込まれる埋め込みデータも暗号化を行うようにした。これに対し、実施例3では、暗号化設定フラグが「ON」に設定されていた場合に、動画データに埋め込まれる埋め込みデータのの暗号化の有無を自動的に切り替えるようにした。なお、動画データに埋め込まれる埋め込みデータに対する暗号化の有無を切り替える暗号化切替処理は後述のステップS501及びステップS502において行われる。
図5に示す動画記録中静止画撮影処理は、カメラ100の電源がオンの場合において、カメラ100の動作モードが撮影モードであり、かつ、ライブビュー撮影及び映像データの暗号化の設定が「ON」に設定されているときに実行される。なお、CPU101やコンピュータ上で稼動しているOS等がメモリ102に記憶されているコンピュータプログラムを実行することによってカメラ100は図5に示すフローチャートを行うように制御される。
実施例3では、ステップS213において、CPU101が埋め込みデータを動画ファイルに含まれる動画データに埋め込む埋め込み処理を行った場合、本フローチャートはステップS213からステップS501に進む。
ステップS501において、CPU101は記録媒体103aに記録されている動画ファイルから記録情報を読み出して、動画データの記録サイズが第1の画素数以上であるか否かを判定する。なお、実施例3では、第1の画素数を100万画素数とするものとする。動画データの記録サイズがフルHD(High Definition)やHDである場合、CPU101は動画データの記録サイズが100万画素数以上であると判定する。CPU101によって、動画データの記録サイズが第1の画素数以上であると判定された場合(ステップS501でYESの場合)、本フローチャートはステップS501からステップS301に進む。動画データの記録サイズが第1の画素数以上である場合(ステップS501でYESの場合)、第1の暗号化切替として、CPU101はステップS301の処理を実行し、動画データに埋め込まれた埋め込みデータに対して暗号化が施される。
動画データの記録サイズがVGA(Video Graphics Array)である場合、CPU101は動画データの記録サイズが100万画素数未満であると判定する。CPU101によって、記録媒体103aに記録されている動画データの記録サイズが第1の画素数未満であると判定された場合(ステップS501でNOの場合)、本フローチャートはステップS501からステップS502に進む。
記録媒体103aに記録されている動画データの記録サイズが第1の画素数未満である場合(ステップS501でNOの場合)、埋め込みデータを暗号化することなく、埋め込みデータの安全性を高めることができる場合がある。そのため、埋め込みデータの暗号化の簡略化のため、静止画データの記録サイズを判定する必要がある。
そこで、ステップS502において、CPU101は、記録媒体103aに記録されている静止画ファイルから撮影情報を読み出して、ステップS209において撮影された静止画データの記録サイズが第2の画素数以上であるか否かを判定する。なお、実施例3では、第2の画素数を250万画素数とするものとする。静止画データの記録サイズがL(1000万画素数)やM(250万画素数)である場合、CPU101は静止画データの記録サイズが250万画素数以上であると判定する。また、静止画データの記録サイズがS(120万画素数)である場合、CPU101は静止画データの記録サイズが250万画素数未満であると判定する。
CPU101によって、静止画データの記録サイズが第2の画素数以上であると判定された場合(ステップS502でYESの場合)、本フローチャートはステップS502からステップS215に進む。動画データの記録サイズが第1の画素数未満であり(ステップS501でNOの場合)、静止画データの記録サイズが第2の画素数以上である場合(ステップS502でYESの場合)、第2の暗号化切替として、CPU101はステップS301の処理を実行しない。このことによって、動画データに埋め込まれた埋め込みデータに対して暗号化は施されない。CPU101によって、静止画データの記録サイズが第2の画素数未満であると判定された場合(ステップS502でNOの場合)、本フローチャートはステップS502からステップS301に進む。動画データの記録サイズが第1の画素数未満であり(ステップS501でNOの場合)、静止画データの記録サイズが第2の画素数未満である場合(ステップS502でNOの場合)、第3の暗号化切替として、CPU101はステップS301の処理を実行する。このことによって動画データに埋め込まれた埋め込みデータに対して暗号化が施される。
動画データの記録サイズが第1の画素数以上である場合(ステップS501でYESの場合)、「静止画データの記録サイズ」がどのようなサイズであっても、動画データに埋め込まれるフレームを抜き出して静止画データとして利用される可能性がある。そのため、CPU101はステップS212における映像データの暗号化及びステップS301における埋め込みデータの暗号化を行うように制御する必要がある。
このため、実施例3において、動画データの記録サイズが第1の画素数以上の場合、静止画データの記録サイズがどのような画像サイズでも、CPU101は動画データに埋め込まれる、静止画データから生成された埋め込みデータの暗号化を行うように制御した。
これにより、動画データの撮影中に静止画データの撮影を行った場合に動画データに埋め込まれるフレームに対する安全性を高めることができる。
動画データの記録サイズが第1の画素数未満である場合であっても、「静止画データの記録サイズ」がSのときは(ステップS502でNOの場合)、静止画データの記録サイズの解像度が低いため、低解像度での利用を目的とした可能性がある。このため、動画データがVGAであっても、動画データに埋め込まれる静止画データから生成された埋め込みデータの安全性を高めるため、動画データに埋め込まれる埋め込みデータにも暗号化を行う必要がある。
このため、実施例3において、動画データの記録サイズが第1の画素数未満の場合であっても、静止画データの記録サイズが第2の画素数未満であるときは、CPU101は埋め込みデータの暗号化を行うように制御した。
これにより、動画データの撮影中に静止画データの撮影を行った場合に撮影された静止画データから生成された埋め込みデータに対する安全性を高めることができる。
動画データの記録サイズが第1の画素数未満の場合であり、「静止画記録サイズ」がMもしくはLのときは(ステップS502でYESの場合)、動画データの記録サイズの解像度が低いため、暗号化を行わなくても、埋め込みデータの安全性を保持できる。
このため、実施例3において、動画データの記録サイズが第1の画素数未満の場合、静止画データの記録サイズが第2の画素数以上であるとき、CPU101はステップS213で動画データに埋め込まれる埋め込みデータの暗号化を行わないように制御した。これにより、暗号化の行われない埋め込みデータを含む動画ファイルの取り扱いが容易になる。
以上のように実施例3に係るカメラ100によれば、静止画データの記録サイズと動画データの記録サイズとに応じて、動画ファイル中に埋め込まれる埋め込みデータに対しての暗号化機能が有効か無効かを自動的に切り替えるようにした。そのため、撮影時の動画データや静止画データの記録サイズや設定された解像度から予想されるユーザーの使用用途に合わせた動画データ中に埋め込まれる埋め込みデータに対して安全性の設定を容易に行うことが可能となる。
また、実施例3において、埋め込みデータに対する暗号化機能が有効か無効かを自動的に切り換える条件は図4に示された条件に限られないものとする。
なお、実施例3では、第1の画素数を100万画素数、第2の画素数を250万画素数と設定したが、埋め込みデータに対する暗号化機能が有効か無効かを切り替える動画データ及び静止画データの記録サイズはこれらの画素数に限られない。動画データ中に埋め込まれる埋め込みデータに対しての暗号化機能が有効か無効かを切り替える静止画データの記録サイズ及び動画データの記録サイズはユーザによって設定されるものであっても良い。
[他の実施例]
本発明に係る撮像装置は、実施例1から3で説明した撮像装置100に限定されるものではなく、例えば、複数の装置から構成されるシステムによって実現されるものであっても良い。
また、本発明では、上述された実施例1から実施例3の機能を実現するための処理をコンピュータプログラムによって実現することもできる。この場合、コンピュータプログラムは、コンピュータで読取可能な記録媒体からコンピュータによって読み出され、実行される。なお、上記のコンピュータプログラムは、通信インターフェースやネットワークを介して、装置やシステムに供給され、当該装置や当該システムのコンピュータによって実行されても良いものとする。
コンピュータで読み取り可能な記録媒体には、ハードディスク装置、光ディスク、CD−ROM、CD−R、メモリカード、ROM等を用いることができる。
100 通信装置
101 CPU
102 メモリ
103 記録部
104 通信部
105 操作部
106 表示部
107 画像処理部
108 撮像部
109 暗号復号部

Claims (12)

  1. 動画を撮影し、前記動画に対応する動画データを生成し、静止画を撮影し、前記静止画に対応する静止画データを生成する撮影手段と、
    前記静止画の撮影を前記撮影手段に指示する指示手段と、
    前記動画の撮影中に前記指示手段による指示がされた場合、前記動画の撮影を中断し、前記静止画を撮影するように前記撮影手段を制御する制御手段と、
    前記撮影手段によって前記静止画データが生成された後、前記静止画データから前記動画データに埋め込むための埋め込みデータを生成し、前記動画の撮影を中断した区間の動画データとして前記埋め込みデータを埋め込む埋め込み手段と、
    前記動画の撮影中に前記指示手段による指示がされた場合、前記静止画データとともに前記埋め込みデータを暗号化する暗号化手段と
    を有することを特徴とする撮像装置。
  2. 前記暗号化手段は、前記動画データの記録サイズ及び前記静止画データの記録サイズの少なくとも一つに応じて、前記静止画データとともに前記埋め込みデータを暗号化するか否かを制御することを特徴とする請求項1に記載の撮像装置。
  3. 前記暗号化手段は、前記動画データの記録サイズが第1の画素数以上である場合、前記静止画データとともに前記埋め込みデータを暗号化するように制御することを特徴とする請求項2に記載の撮像装置。
  4. 前記暗号化手段は、前記動画データの記録サイズが前記第1の画素数より低い場合に、前記静止画データの記録サイズが第2の画素数以上であるときは、前記静止画データとともに前記埋め込みデータを暗号化しないように制御することを特徴とする請求項3に記載の撮像装置。
  5. 前記暗号化手段は、前記動画データの記録サイズが前記第1の画素数より低い場合に、前記静止画データの記録サイズが前記第2の画素数より低いときは、前記静止画データとともに前記埋め込みデータを暗号化するように制御することを特徴とする請求項4に記載の撮像装置。
  6. 前記静止画データと前記動画データとを記録媒体に記録する記録手段をさらに有し、前記記録手段は、前記暗号化手段によって暗号化された静止画データを含む静止画ファイルと前記埋め込み手段によって前記埋め込みデータが埋め込まれた動画データを含む動画ファイルとを別々に記録することを特徴とする請求項1から5のいずれか1項に記載の撮像装置。
  7. 動画を撮影し、前記動画に対応する動画データを生成し、静止画を撮影し、前記静止画に対応する静止画データを生成する撮影手段と、前記静止画の撮影を前記撮影手段に指示する指示手段とを有する撮像装置に実行させるコンピュータプログラムであって、
    前記動画の撮影中に前記指示手段による指示がされた場合、前記動画の撮影を中断し、前記静止画を撮影するように前記撮影手段を制御する制御ステップと、
    前記撮影手段によって前記静止画データが生成された後、前記静止画データから前記動画データに埋め込むための埋め込みデータを生成し、前記動画の撮影を中断した区間の動画データとして前記埋め込みデータを埋め込む埋め込みステップと、
    前記動画の撮影中に前記指示手段による指示がされた場合、前記静止画データとともに前記埋め込みデータを暗号化する暗号化ステップとを前記撮像装置に実行させることを特徴とするコンピュータプログラム。
  8. 前記動画データの記録サイズ及び前記静止画データの記録サイズの少なくとも一つに応じて、前記静止画データとともに前記埋め込みデータを暗号化するか否かを制御する暗号化切替ステップをさらに有することを特徴とする請求項7に記載のコンピュータプログラム。
  9. 前記動画データの記録サイズが第1の画素数以上である場合、前記静止画データとともに前記埋め込みデータを暗号化するように制御する第1の暗号化切替ステップをさらに有することを特徴とする請求項8に記載の撮像装置。
  10. 前記動画データの記録サイズが前記第1の画素数より低い場合に、前記静止画データの記録サイズが第2の画素数以上であるときは、前記静止画データとともに前記埋め込みデータを暗号化しないように制御する第2の暗号化切替ステップをさらに有することを特徴とする請求項9に記載のコンピュータプログラム。
  11. 前記動画データの記録サイズが前記第1の画素数より低い場合に、前記静止画データの記録サイズが前記第2の画素数より低いときは、前記静止画データとともに前記埋め込みデータを暗号化するように制御する第3の暗号化切替ステップをさらに有するを特徴とする請求項10に記載のコンピュータプログラム。
  12. 暗号化された静止画データを含む静止画ファイルと前記埋め込みデータが埋め込まれた動画データを含む動画ファイルとを別々に記録する記録ステップをさらに有することを特徴とする請求項7から11のいずれか1項に記載のコンピュータプログラム。
JP2010162099A 2010-07-16 2010-07-16 撮像装置及びコンピュータプログラム Active JP5517806B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010162099A JP5517806B2 (ja) 2010-07-16 2010-07-16 撮像装置及びコンピュータプログラム
US13/155,814 US8692898B2 (en) 2010-07-16 2011-06-08 Image capture apparatus for encrypting image data using a first encryption method or a second encryption method based on an instruction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010162099A JP5517806B2 (ja) 2010-07-16 2010-07-16 撮像装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2012023681A JP2012023681A (ja) 2012-02-02
JP5517806B2 true JP5517806B2 (ja) 2014-06-11

Family

ID=45466666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010162099A Active JP5517806B2 (ja) 2010-07-16 2010-07-16 撮像装置及びコンピュータプログラム

Country Status (2)

Country Link
US (1) US8692898B2 (ja)
JP (1) JP5517806B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7148878B2 (ja) * 2017-12-18 2022-10-06 i-PRO株式会社 動画像符号化システム及び動画像符号化方法
WO2023084157A1 (en) 2021-11-12 2023-05-19 Aalto University Foundation Sr Water-based epoxidized lignin and process for its production and its use as phenol-formaldehyde replacement in adhesives and cross-linkers

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050041144A1 (en) * 2001-11-30 2005-02-24 Colin Mitchell Recyclable digital camera
JP2003219341A (ja) 2002-01-25 2003-07-31 Fuji Photo Film Co Ltd ムービ・スチル・カメラおよびその動作制御方法
JP4160883B2 (ja) * 2003-09-02 2008-10-08 富士フイルム株式会社 画像記録装置及び画像記録方法
JP4777180B2 (ja) * 2005-11-08 2011-09-21 キヤノン株式会社 撮像装置及びその制御方法
JP2008109590A (ja) 2006-10-27 2008-05-08 Olympus Corp 撮像システム及び撮像機器の認証方法

Also Published As

Publication number Publication date
JP2012023681A (ja) 2012-02-02
US8692898B2 (en) 2014-04-08
US20120013756A1 (en) 2012-01-19

Similar Documents

Publication Publication Date Title
US8526685B2 (en) Method and apparatus for selectively supporting raw format in digital image processor
EP3490250B1 (en) Image processing apparatus and image processing method
EP2974265B1 (en) Imaging apparatus and imaging apparatus control method
US9578233B2 (en) Imaging apparatus and method for controlling the same
US11601582B2 (en) Image transmission apparatus and image transmission method
KR101547828B1 (ko) 영상 처리 장치 및 방법
JP5517806B2 (ja) 撮像装置及びコンピュータプログラム
JP2014131328A (ja) 通信制御装置、その制御方法、プログラム
JP5213602B2 (ja) 撮像装置、その制御方法、プログラム
US11653089B2 (en) Imaging apparatus and controlling method
JP5407651B2 (ja) 画像処理装置、画像処理プログラム
JP2009159094A (ja) 撮像装置
JP2011029879A (ja) 撮像装置および撮像方法
JP2019075638A (ja) 画像処理装置
JP6559018B2 (ja) 撮像装置及びその制御方法、プログラム
JP4760578B2 (ja) 撮像装置、動画撮影方法、および動画撮影制御プログラム
KR101480407B1 (ko) 디지털 영상 처리 장치, 이의 제어 방법 및 상기 제어방법을 기록한 기록 매체
JP4948011B2 (ja) 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP2021034844A (ja) 撮像装置、および撮像装置の制御方法
JP6282136B2 (ja) 撮像装置及びその制御方法
JP5042094B2 (ja) 撮像装置
JP7214538B2 (ja) 撮像装置及び記録制御方法
JP2021034879A (ja) 撮像システム、撮像装置、およびプログラム
JP2012065282A (ja) 画像表示装置、画像編集装置、画像表示プログラムおよび画像編集プログラム
JP5274223B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140401

R151 Written notification of patent or utility model registration

Ref document number: 5517806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151