JP2010220074A - Camera and wearable image display apparatus - Google Patents
Camera and wearable image display apparatus Download PDFInfo
- Publication number
- JP2010220074A JP2010220074A JP2009066714A JP2009066714A JP2010220074A JP 2010220074 A JP2010220074 A JP 2010220074A JP 2009066714 A JP2009066714 A JP 2009066714A JP 2009066714 A JP2009066714 A JP 2009066714A JP 2010220074 A JP2010220074 A JP 2010220074A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- unit
- moving direction
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、ユーザの目に装着可能な装着型画像表示装置と連動して動作するカメラ及びこのようなカメラと連携して動作する装着型画像表示装置に関する。 The present invention relates to a camera that operates in conjunction with a wearable image display device that can be worn by a user's eyes, and a wearable image display device that operates in conjunction with such a camera.
近年、機器の小型化及び高機能化の流れが加速しており、こうした高機能な機器を屋外等にも持ち運べるような状況になってきている。こうしたトレンドの中で、屋外でも大画面の感覚での画像の鑑賞を可能とした装着型の画像表示装置がＦＭＤ（フェイスマウントディスプレイ）やＨＭＤ（ヘッドマウントディスプレイ）等といった名称で提案されている。また、このような装着型の画像表示装置をカメラのファインダ装置として利用しようとする提案が例えば特許文献１においてなされている。 In recent years, the trend toward miniaturization and high functionality of devices has been accelerated, and it has become a situation where such high performance devices can be carried outdoors. Under these trends, wearable image display devices that allow viewing of images with a large-screen sensation outdoors have been proposed under names such as FMD (face-mounted display) and HMD (head-mounted display). Further, for example, Patent Document 1 proposes to use such a wearable image display device as a camera finder device.
このような装着型の画像表示装置を用いての撮影には以下のメリットがある。
（１）大画面の感覚で画像を確認できる。
（２）外光の影響を受けずに鮮やかな色彩の画像を確認できる。
（３）撮影時におけるカメラの向きや動きの自由度が増す。
Shooting using such a wearable image display device has the following advantages.
(1) The image can be confirmed with the feeling of a large screen.
(2) A vivid color image can be confirmed without being affected by external light.
(3) The degree of freedom of camera orientation and movement during shooting increases.
ここで、ＦＭＤ等の装着型の画像表示装置をファインダ装置として利用する場合、画像表示装置に表示される画像はカメラで得られた画像である。上述したように、装着型の画像表示装置では、撮影時におけるカメラの向きや動きの自由度が高く、装着型画像表示装置で表示されている画像が必ずしもユーザが見ている方向に対応した画像となるとは限らない。このため、ユーザが混乱してしまうおそれがある。 Here, when a wearable image display device such as an FMD is used as a finder device, an image displayed on the image display device is an image obtained by a camera. As described above, the wearable image display device has a high degree of freedom in the direction and movement of the camera during shooting, and the image displayed on the wearable image display device does not necessarily correspond to the direction in which the user is looking. Not necessarily. For this reason, the user may be confused.
本発明は、上記の事情に鑑みてなされたもので、装着型画像表示装置のファインダ装置としてのメリットを引き出しながら、装着型画像表示装置をファインダ装置として利用した時のフレーミングのし易さも考慮した画像の表示を装着型画像表示装置に行わせることが可能なカメラ及びこのようなカメラと連携して動作する装着型画像表示装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, taking into account the ease of framing when the wearable image display device is used as a viewfinder device while drawing out the merits of the wearable image display device as a viewfinder device. It is an object of the present invention to provide a camera capable of causing a wearable image display apparatus to display an image and a wearable image display apparatus that operates in cooperation with such a camera.
上記の目的を達成するために、本発明の第１の態様によるカメラは、ユーザの目部に装着自在に構成された装着型画像表示装置と連携して動作するカメラにおいて、被写体を連続的に撮像して、該連続的な撮像によって複数の画像を取得する撮像部と、上記複数の画像の各々の撮像時における上記カメラの移動方向を検知する移動方向検知部と、上記撮像部で撮像された複数の画像と上記カメラの移動方向とを合成した合成画像を生成する画像合成部と、上記画像合成部によって得られた合成画像を上記装着型画像表示装置に送信する通信部とを具備することを特徴とする。 In order to achieve the above object, a camera according to a first aspect of the present invention is a camera that operates in cooperation with a wearable image display device configured to be freely wearable on a user's eyes. An imaging unit that captures images and acquires a plurality of images by the continuous imaging, a moving direction detection unit that detects a moving direction of the camera at the time of capturing each of the plurality of images, and the imaging unit An image composition unit that generates a composite image obtained by combining the plurality of images and the moving direction of the camera, and a communication unit that transmits the composite image obtained by the image composition unit to the wearable image display device. It is characterized by that.
また、上記の目的を達成するために、本発明の第２の態様による装着型画像表示装置は、ユーザの目部に装着自在に構成され、カメラと連携して動作する装着型画像表示装置において、上記カメラから複数の画像及び上記複数の画像の各々の撮像時における上記を受信する受信部と、上記カメラの移動方向を検知する移動方向検知部と、上記受信部において受信した複数の画像と上記カメラの移動方向とを合成した合成画像を生成する画像合成部と、上記画像合成部によって得られた合成画像を表示する表示部とを具備することを特徴とする。 In order to achieve the above object, a wearable image display device according to the second aspect of the present invention is configured to be freely wearable on a user's eye and operates in cooperation with a camera. A plurality of images received from the camera and a receiving unit that receives each of the plurality of images, a moving direction detecting unit that detects a moving direction of the camera, and a plurality of images received by the receiving unit; An image composition unit that generates a composite image obtained by combining the moving directions of the camera, and a display unit that displays the composite image obtained by the image composition unit.
本発明によれば、装着型画像表示装置のファインダ装置としてのメリットを引き出しながら、装着型画像表示装置をファインダ装置として利用した時のフレーミングのし易さも考慮した画像の表示を装着型画像表示装置に行わせることが可能なカメラ及びこのようなカメラと連携して動作する装着型画像表示装置を提供することができる。 According to the present invention, the wearable image display device displays an image in consideration of easiness of framing when the wearable image display device is used as a viewfinder device while extracting the merit of the wearable image display device as a viewfinder device. It is possible to provide a camera that can be made to operate and a wearable image display device that operates in cooperation with such a camera.
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係るカメラを有するカメラシステムの構成を示すブロック図である。図１に示すように、本実施形態におけるカメラシステムは、カメラ１００と、フェイスマウントディスプレイ（以下、ＦＭＤと記す）２００とを有している。カメラ１００とＦＭＤ２００とは互いに通信自在に接続されており、カメラ１００で取得された画像をＦＭＤ２００に送信することで、カメラ１００で取得された画像をＦＭＤ２００で鑑賞することが可能である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a camera system having a camera according to an embodiment of the present invention. As shown in FIG. 1, the camera system in the present embodiment includes a
カメラ１００は、制御部１０１と、操作部１０２と、撮影レンズ１０３と、撮像部１０４と、表示部１０５と、時計部１０６と、記録部１０７と、通信部１０８と、移動方向検知部１０９とを有している。
The
制御部１０１は、カメラ用に構成されたＬＳＩ等から構成されており、ユーザによる操作部１０２の操作を受けて図１のカメラ１００内部の各ブロックの制御を行う。また、制御部１０１は、撮像部１０４によって取得された画像に対してホワイトバランス補正等の画像処理や圧縮伸張処理等を施すことも行う。さらに、制御部１０１は画像合成部としての機能も有しており、ＦＭＤ２００における画像表示の際に必要に応じて撮像部１０４を介して得られた画像を合成して合成画像を生成する。
The
操作部１０２は、ユーザがカメラ１００の操作を行うための操作部である。操作部１０２には、例えば、カメラ１００の電源のオン/オフを切り替えるための電源ボタン、撮影の準備又は実行を指示するためのレリーズボタン、ユーザが画像の再生を指示するための再生ボタン、ユーザがカメラ１００に関する各種の選択操作を行うための選択ボタン等が含まれる。なお、レリーズボタンは半押しされるとＡＦ等の撮影準備の指示がなされ、全押しされると撮影の実行が指示される。
The
撮影レンズ１０３は、図示しない被写体からの光束を撮像部１０４に入射させるためのレンズである。撮像部１０４は、撮影レンズ１０３からの光束に基づく被写体の像を電気信号に変換することで画像を取得し、さらにこの画像をデジタルデータとして制御部１０１に出力する。
The photographing
表示部１０５は、例えばカメラ１００の背面に設けられ、撮像部１０４を介して取得された画像や記録部１０７に記録された画像等の各種の画像を表示する。この表示部１０５は、例えば液晶ディスプレイ等から構成されている。この表示部１０５により、ユーザは被写体の構図やシャッターチャンスを確認することができる。
The
時計部１０６は、画像の撮影がなされた日時等を計時する。記録部１０７は、撮像部１０４を介して取得され、制御部１０１において圧縮された画像が記録される。この記録部１０７には、時計部１０６によって計時された撮影日時等の撮影条件が付加された画像ファイルとして画像が記録される。
The
通信部１０８は、ＦＭＤ２００との通信を行うための通信回路であり、制御部１０１の制御に従ってＦＭＤ２００に画像を送信する。カメラ１００とＦＭＤ２００との通信方式については特に限定されるものではない。例えば、カメラ１００とＦＭＤ２００との間をＵＳＢケーブル等を介して接続して通信を行う有線通信を用いても良いし、無線ＬＡＮ等の無線通信を用いても良い。
The
移動方向検知部１０９は、ユーザによるカメラ１００の移動操作がなされたときに、その移動方向を検知する。この移動方向検知部１０９は、例えば撮像部１０４を介して得られる画像から演算される動きベクトルに基づいてカメラ１００の移動方向を検知する。なお、動きベクトルは、撮像部１０４を介して得られる連続動作させて得られる画像間の被写体像のずれ（ずれ方向及びずれ量）を例えばブロックマッチング法によって演算することで求めることが可能である。図２に示すように、動きベクトルが画像全体で略同じであれば、被写体が動いているのではなく、画像全体が動いている、即ちカメラ１００が動いていると判定できる。なお、カメラ１００の移動方向は専用のセンサを用いて検知するようにしても良い。
The movement
本実施形態におけるＦＭＤ２００は、装着型画像表示装置としての機能を有し、ユーザの目部に装着自在になされている。このＦＭＤ２００は、制御部２０１と、通信部２０２と、記録部２０３と、表示駆動部２０４と、シャッタ駆動部２０５と、光学系２０６と、補助撮像部２０７と、操作部２０８とを有している。
The
制御部２０１は、通信部２０２の動作制御、記録部２０３に記録された画像の伸張処理、表示駆動部２０４及びシャッタ駆動部２０５の動作制御等の、ＦＭＤ２００の各ブロックの制御を行う。
The
通信部２０２は、カメラ１００との通信を行うための通信回路であり、制御部１０１の制御に従ってカメラ１００から画像を受信する。記録部２０３は、通信部２０２で受信された画像が記録される。
The
表示駆動部２０４は、制御部２０１の制御に従って、光学系２０６に含まれる表示部を駆動させる。シャッタ駆動部２０５は、制御部２０１の制御に従って、光学系２０６に含まれるシャッタを駆動させる。光学系２０６は、通信部２０２で受信された画像又は記録部２０３に記録された画像を表示するための表示部を含む光学系である。この光学系２０６については後述する。
The
補助撮像部２０７は、ＦＭＤ２００の外部の被写体の像を撮像し、撮像により得られた画像をデジタルデータとして表示駆動部２０４に出力する。
The
操作部２０８は、ＦＭＤ２００の電源のオン/オフの切り替えや、ＦＭＤ２００の動作モードの切り替えを行うための各種の操作部である。
The
図３は、光学系２０６、補助撮像部２０７の構成の一例を示す図である。
図３に示すように、光学系２０６は、表示部３０１と、光学部３０２と、遮光マスク３０３とを有している。
FIG. 3 is a diagram illustrating an example of the configuration of the
As illustrated in FIG. 3, the
表示部３０１は、通信部２０２で受信された画像又は記録部２０３に記録された画像を表示するための表示部である。図３は、表示部３０１が液晶表示装置（ＬＣＤ）である場合の例を示している。この場合の表示部３０１は、ＬＣＤパネル３０１ａとバックライト３０１ｂとを有している。ＬＣＤパネル３０１ａは、液晶を含む画素が２次元に配列されて構成され、表示駆動部２０４の制御に従って各画素の光の透過率を変化させるようになされている。バックライト３０１ｂは、例えば白色発光ダイオード（ＬＥＤ）を光源とし、表示駆動部２０４の制御に従ってＬＣＤパネル３０１ａの背面から光照射を行う。なお、図３の例では表示部３０１にＬＣＤを用いているが、表示部３０１はＬＣＤに限定されるものではない。例えば、表示部３０１に有機ＥＬ表示装置（ＯＥＬＤ）を用いるようにしても良い。
The
光学部３０２は、表示部３０１からの光をユーザの目４００に反射させるように曲面が形成された自由曲面プリズム３０２ａを有している。この自由曲面プリズム３０２ａの自由曲面部には反射ミラー３０２ｂがコーティングされている。
The
遮光マスク３０３は、ＦＭＤ２００の外部から自由曲面プリズム３０２ａへの光の入射を妨げるように自由曲面プリズム３０２ａの前面に配置されている。
The
また、図３に示すように、補助撮像部２０７は、撮影レンズ２０７ａと、撮像部２０７ｂと、撮像処理部２０７ｃとを有している。
As shown in FIG. 3, the
撮影レンズ２０７ａは、撮影レンズ１０３と同様の機能を有し、ＦＭＤ２００の外部の被写体からの光束を撮像部２０７ｂに入射させるためのレンズである。撮像部２０７ｂは、撮像部１０４と同様の機能を有し、撮影レンズ２０７ａからの光束に基づく被写体の像を電気信号に変換することで画像を取得し、さらにこの画像をデジタルデータとして撮像処理部２０７ｃに出力する。撮像処理部２０７ｃは、撮像部２０７ｂを介して得られた画像に対する画像処理を施して表示駆動部２０４に出力する。
The photographing
このような構成において、表示部３０１に画像が表示されている場合（バックライト３０１ｂが点灯状態の場合）、表示部３０１に表示されている画像に基づく光は、図３の矢印で示したような光路でユーザの目４００に入射する。これにより、ユーザは表示部３０１に表示された画像を見ることができる。この際、表示部３０１に表示させる画像を補助撮像部２０７からの画像とした場合に、ユーザは、自身の視線が向いている方向に存在しているＦＭＤ２００の外部の像を確認することが可能となる。一方、表示部３０１に表示させる画像をカメラ１００から送信されてきた画像とした場合に、ユーザは、その時点でカメラ１００が向いている方向に存在している像を確認することが可能となる。
In such a configuration, when an image is displayed on the display unit 301 (when the
図４は、ＦＭＤ２００の外観図である。本実施形態におけるＦＭＤ２００の外観は、図４（ａ）に示すような、片目のみの略眼鏡状をしており、ユーザは、眼鏡と同様にＦＭＤ２００に形成された弦部２００ａを耳にかけ、鼻当て部２００ｂを鼻に当て付けることでＦＭＤ２００を装着する。
FIG. 4 is an external view of the
ここで、図４（ａ）は、ＦＭＤ２００の通信形態が無線通信の場合を示している。この場合、ＦＭＤ２００には、通信部２０２のアンテナ２０２ａが設けられている。一方、ＦＭＤ２００の通信形態が有線通信の場合には、図４（ｂ）に示すように、ＦＭＤ２００にケーブル２０２ｂが接続される。なお、図４（ａ）、図４（ｂ）では、片目のみ装着可能なＦＭＤ２００を示しているが、両目に装着可能に構成しても良い。この場合には、図３で示した光学系２０６は、一対設ける必要がある。
Here, Fig.4 (a) has shown the case where the communication form of FMD200 is a wireless communication. In this case, the
図５は、本実施形態におけるカメラシステムを使用する際の様子を示す図である。本実施形態におけるカメラシステムにおいてＦＭＤ２００をファインダとして利用する場合、図５に示すように、ユーザは目部にＦＭＤ２００を装着する。これにより、ユーザは、カメラ１００から送信された画像を大画面のような感覚で確認することができる。ＦＭＤ２００の表示部３０１の表示画面は小さくともユーザの目の近くで表示がなされるので、ユーザは、２ｍ先に数十インチの画像が見えるような体感を得ることができる。
FIG. 5 is a diagram illustrating a situation when the camera system according to the present embodiment is used. When the
ここで、図６（ａ）のように、ユーザがカメラ１００を構えている状態では、ユーザの見ようとしている方向とカメラ１００の撮影範囲とが一致している。したがって、この場合には、ＦＭＤ２００の表示部３０１にはユーザの見ている方向に存在している被写体の画像が表示される。これに対し、図６（ｂ）のように、ユーザがカメラ１００のみを移動させた場合には、ユーザの見ている方向とは異なる方向から見た画像が表示される。このような画像を表示させると、ユーザが混乱するおそれがある。特に、ＦＭＤ２００を両目に装着するタイプとした場合にはユーザは外界の状況を表示部３０１の画像からでしか認識できないため、混乱する可能性がより高くなる。
Here, as shown in FIG. 6A, in the state where the user holds the
このため、本実施形態では、ＦＭＤ２００をファインダとして用いている際に、カメラ１００の移動があった場合には、カメラの移動の様子を示す画像をＦＭＤ２００の表示部３０１に表示させるようにする。これにより、ユーザにカメラ１００が向いている方向を認知させる。
For this reason, in the present embodiment, when the
次に、このような本実施形態のカメラシステムの詳細な動作について説明する。
まず、カメラ１００の動作について説明する。図７は、カメラ１００のメインの動作を示すフローチャートである。ここで、本実施形態におけるカメラ１００は動作モードとして撮影モードと再生モードとを有している。撮影モードは、ユーザが記録用の画像を撮影するための動作モードであり、再生モードは記録された画像を再生するためのモードである。これらの動作モードの切り替えは、例えば操作部１０２の選択ボタンの操作によって行うことができる。
Next, the detailed operation of the camera system of this embodiment will be described.
First, the operation of the
図７において、カメラ１００の制御部１０１は、まず、カメラ１００の電源がオンされたか否かを判定する（ステップＳ１０１）。ステップＳ１０１の判定において、電源がオフされている場合に、制御部１０１は図７の処理を終了させる。なお、電源オフ時においても通信部１０８は動作しており、通信部１０８を介してＦＭＤ２００からの電源オン指示がなされた場合に制御部１０１はカメラ１００の電源をオンさせる。
In FIG. 7, the
一方、ステップＳ１０１の判定において、電源がオンされた場合に、制御部１０１はカメラ１００の動作モードが撮影モードであるか否かを判定する（ステップＳ１０２）。ステップＳ１０２の判定において、カメラ１００の動作モードが撮影モードである場合に、制御部１０１は露出補正を行う（ステップＳ１０３）。この露出補正において、制御部１０１は、撮像部１０４を介して得られる画像や専用の測光センサの出力に基づいて、被写体の明るさを測定する。そして、測定した被写体の明るさに基づき、制御部１０１は、撮像部１０４を介して得られる画像の明るさを適正な明るさとするように画像の明るさを補正する。
On the other hand, when the power is turned on in the determination in step S101, the
次に、制御部１０１は、通信部１０８の通信状態からＦＭＤ２００との通信が可能であるか否かを判定する（ステップＳ１０４）。ステップＳ１０４の判定において、ＦＭＤ２００との通信が可能である場合に、制御部１０１は、撮影者によって操作部１０２のレリーズボタンが半押しされたか否かを判定する（ステップＳ１０５）。ステップＳ１０５の判定において、レリーズボタンが半押しされていた場合に、制御部１０１は撮像部１０４を動作させ、撮像部１０４を介して得られる画像を記録部１０７に記録させる（ステップＳ１０６）。その後、制御部１０１は、移動方向検知部１０９の出力から、カメラ１００の移動があったか否かを判定する（ステップＳ１０７）。なお、動きベクトルから移動方向を検知する場合、少なくとも２枚の画像が必要であるため、初回はステップＳ１０７の判定においてカメラ１００の移動が無いと判定される。
Next, the
ステップＳ１０７の判定において、カメラ１００の移動が検知された場合に、制御部１０１は、移動方向検知部１０９の出力からカメラ１００の移動方向を検知する（ステップＳ１０８）。次に、制御部１０１は、ステップＳ１０５において記録部１０７に記録させた画像を合成して合成画像を生成し、この合成画像を、通信部１０８を介してＦＭＤ２００に送信する（ステップＳ１０９）。なお、この画像の合成については後述する。
When the movement of the
また、ステップＳ１０５の判定においてレリーズボタンが半押しされていた場合、若しくはステップＳ１０７の判定においてカメラ１００の移動がない場合に、制御部１０１は、ＦＭＤ２００の表示部３０１に通常のスルー画表示を行わせるべく、撮像部１０４で取得された画像を、通信部１０８を介してＦＭＤ２００に送信する（ステップＳ１１０）。
In addition, when the release button is half-pressed in the determination of step S105, or when the
また、ステップＳ１０４の判定においてＦＭＤ２００との通信が可能でない場合に、制御部１０１は表示部１０５にスルー画表示を行う（ステップＳ１１１）。このカメラ１００側のスルー画表示において、制御部１０１は、撮像部１０４を連続動作させ、この連続動作によって撮像部１０４を介して逐次得られる画像をリアルタイムに表示部１０５に表示させる。
If communication with the
スルー画表示又は合成画像の表示の後、制御部１０１は、撮影者によって操作部１０２のレリーズボタンが全押しされたか否かを判定する（ステップＳ１１２）。ステップＳ１１２の判定において、レリーズボタンが全押しされていない場合には、処理がステップＳ１０１に戻る。この場合に、制御部１０１は、カメラ１００の電源がオンであるか否かを再び判定する。一方、ステップＳ１１２の判定において、レリーズボタンが押された場合に、制御部１０１は、露出制御（記録用画像の取込み）を行う（ステップＳ１１３）。画像の取り込み後、制御部１０１は取り込んだ画像に対して圧縮処理等の画像処理を施した後、処理後の画像に時計部１０６で計時される撮影日時等の撮影条件を付加して画像ファイルを生成する。そして、制御部１０１は、生成した画像ファイルを記録部１０７に記録させる（ステップＳ１１４）。その後、処理がステップＳ１０１に戻る。
After the through image display or the composite image display, the
また、ステップＳ１０２の判定において、カメラ１００の動作モードが撮影モードでない場合に、制御部１０１は、カメラ１００の動作モードが再生モードであるか否かを判定する（ステップＳ１１５）。ステップＳ１１５の判定において、カメラ１００の動作モードが再生モードでない場合には、処理がステップＳ１０１に戻る。一方、ステップＳ１１５の判定において、カメラ１００の動作モードが再生モードである場合に、制御部１０１は再生モードの処理を行う（ステップＳ１１６）。再生モードの処理後、処理がステップＳ１０１に戻る。
In step S102, when the operation mode of the
図８は、再生モードの処理を示すフローチャートである。図８において、制御部１０１は、記録部１０７に記録された画像ファイルの中で最後に記録された画像ファイルを再生の候補画像に設定する（ステップＳ２０１）。次に、制御部１０１は、再生モードの処理を終了するか、即ちユーザにより再生モードの終了操作がなされたか否かを判定する（ステップＳ２０２）。再生モードの終了操作とは、例えばカメラ１００の動作モードの切り替え操作等である。ステップＳ２０２の判定において、再生モードの終了操作がなされた場合に、制御部１０１は図８の処理を終了させる。
FIG. 8 is a flowchart showing processing in the reproduction mode. In FIG. 8, the
一方、ステップＳ２０２の判定において、再生モードの終了操作がなされていない場合に、制御部１０１は、通信部１０８の通信状態からＦＭＤ２００との通信が可能であるか否かを判定する（ステップＳ２０３）。
On the other hand, if it is determined in step S202 that the end operation of the playback mode has not been performed, the
ステップＳ２０３の判定において、ＦＭＤ２００との通信が可能でない場合に、制御部１０１は、候補画像に対応した画像ファイルを記録部１０７から読み出し、画像ファイル内の画像に伸張処理を施した上で表示部１０５に表示させる（ステップＳ２０４）。一方、ステップＳ２０４の判定において、ＦＭＤ２００との通信が可能である場合には、ＦＭＤ２００における画像の再生を行うべく、制御部１０１は、候補画像に対応した画像ファイルを記録部１０７から読み出す。そして、制御部１０１は、読み出した画像ファイルを、通信部１０８を介してＦＭＤ２００に送信する（ステップＳ２０５）。この際、表示部１０５は非表示として良い。これは、ユーザがＦＭＤ２００を装着してカメラ１００を構えており、カメラ１００の表示部１０５には注視しないと考えられるためである。
If it is determined in step S203 that communication with the
画像の再生の後、制御部１０１は、再生画像の切り替えを行うか、即ちユーザの操作部１０２の操作によって、再生画像の切り替え操作がなされたか否かを判定する（ステップＳ２０６）。ステップＳ２０６の判定において、再生画像の切り替えを行わない場合には処理がステップＳ２０１に戻る。この場合に、制御部１０１は、再生モードの処理を終了するか否かを再び判定する。一方、ステップＳ２０６の判定において、再生画像の切り替えを行う場合に、制御部１０１は、記録部１０７に記録された画像ファイルの中で次に撮影日時の新しい画像ファイルを次の候補画像に設定する（ステップＳ２０７）。その後、処理がステップＳ２０１に戻る。
After the reproduction of the image, the
図９は、ＦＭＤ２００のメインの動作を示すフローチャートである。ここで、本実施形態におけるＦＭＤ２００は動作モードとして、ファインダモードと、再生モードと、外部表示モードとを有している。ファインダモードは、ＦＭＤ２００をカメラ１００のファインダに利用するための動作モードである。また、再生モードは、ＦＭＤ２００の記録部２０３に記録されている画像を再生するための動作モードである。さらに、外部表示モードは、補助撮像部２０７からの画像を表示部３０１に表示させることでＦＭＤ２００の外部の状況を確認できるようにするための動作モードである。なお、ファインダモードと再生モードとの間の切り替えは、ＦＭＤ２００の操作部２０８によって行うことができる。
FIG. 9 is a flowchart showing the main operation of the
図９において、制御部２０１は、まず、ＦＭＤ２００の電源がオンであるか否かを判定する（ステップＳ３０１）。ステップＳ３０１の判定において、電源がオフされている場合に、制御部２０１は図９の処理を終了させる。この場合には、ＦＭＤ２００による画像の表示は行われない。一方、ステップＳ３０１の判定において、電源がオンされた場合に、制御部２０１は、補助撮像部２０７を制御して、補助撮像部２０７において得られた画像を表示部３０１に表示させる（ステップＳ３０２）。これにより、ユーザはＦＭＤ２００の外部の状況を観察することができる。
In FIG. 9, the
次に、制御部２０１は、通信部２０２を介してカメラ１００から画像が受信されたか否かを判定する（ステップＳ３０３）。ステップＳ３０３の判定において、カメラ１００から画像が受信された場合に、制御部２０１は、補助撮像部２０７からの画像の表示を停止させる（ステップＳ３０４）。その後、制御部２０１は、表示駆動部２０４を制御して、通信部２０２を介して受信された画像を表示部３０１に表示させる（ステップＳ３０５）。
Next, the
次に、制御部２０１は、ＦＭＤ２００の動作モードがファインダモードであるか否かを判定する（ステップＳ３０６）。ステップＳ３０６の判定において、ＦＭＤ２００の動作モードがファインダモードである場合には、処理がステップＳ３０３に戻る。そして、制御部２０１は、カメラ１００からの次の画像の受信を待つ。ファインダモードではカメラ１００から逐次画像が送信されるので、この画像を表示部３０１に表示させていくことにより、ＦＭＤ２００においてもカメラ１００と同様のスルー画表示を行うことが可能である。
Next, the
また、ステップＳ３０６の判定において、ＦＭＤ２００の動作モードがファインダモードでない、即ち再生モードである場合に、制御部２０１は通信部２０２を介して受信された画像ファイルを記録部２０３に記録させる（ステップＳ３０７）。その後、処理がステップＳ３０１に戻る。
If the operation mode of the
また、ステップＳ３０３の判定において、カメラ１００から画像が受信されていない場合に、制御部２０１は、通信部２０２を介してカメラ１００に対して電源オンの指示を送る（ステップＳ３０８）。この指示を受けた場合にも、カメラ１００は電源がオンされる。次に、制御部２０１は、ＦＭＤ２００の動作モードが再生モードであるか否かを判定する（ステップＳ３０９）。ステップＳ３０９の判定において、ＦＭＤ２００の動作モードが再生モードでない場合には、処理がステップＳ３０１に戻る。一方、ステップＳ３０９の判定において、ＦＭＤ２００の動作モードが再生モードである場合に、制御部２０１は、補助撮像部２０７からの画像の表示を停止させる（ステップＳ３１０）。その後、制御部２０１は、記録部２０３に記録された画像ファイルの中で最後に記録された画像ファイル内の画像を伸張した上で、表示部３０１に表示させる（ステップＳ３１１）。画像の再生の後、制御部２０１は、再生画像の切り替えを行うか、即ちユーザの操作部２０８の操作によって、再生画像の切り替え操作がなされたか否かを判定する（ステップＳ３１２）。ステップＳ３１２の判定において、再生画像の切り替えを行わない場合には処理がステップＳ３１４に移行する。一方、ステップＳ３１２の判定において、再生画像の切り替えを行う場合に、制御部２０１は、記録部２０３に記録された画像ファイルの中で次に記録日時の新しい画像ファイルを次の候補画像に設定して表示部３０１に表示させる（ステップＳ３１３）。
If it is determined in step S303 that no image is received from the
ステップＳ３１２又はステップＳ３１３の後、制御部２０１は、再生モードの処理を終了するか、即ちユーザにより再生モードの終了操作がなされたか否かを判定する（ステップＳ３１４）。ステップＳ３１４の判定において、再生モードの終了操作がなされた場合には、処理がステップＳ３０１に戻る。一方、ステップＳ３１４の判定において、再生モードの終了操作がなされていない場合には、処理がステップＳ３１２に戻る。この場合、制御部２０１は、候補画像の再生を継続する。
After step S312 or step S313, the
次に、ステップＳ１０９における画像の合成について説明する。図７において説明したように、カメラ１００の移動がない場合にはカメラ１００の撮像部１０４を介して得られた画像がＦＭＤ２００に送信され、図１０（ａ）のようにしてＦＭＤ２００の表示部３０１にはカメラ１００から送信されてきた画像が表示される。
Next, image composition in step S109 will be described. As described with reference to FIG. 7, when the
さらに、本実施形態においては、レリーズボタンが半押しされている際にカメラの移動があった場合には、レリーズボタンが押されている期間中にステップＳ１０６において記録された全ての画像を合成してＦＭＤ２００の表示部３０１に表示させる。なお、合成する画像をレリーズボタンが半押しされている期間中に得られた画像としているのは、レリーズボタンが半押しされている間はユーザにフレーミングを行おうという意図があると考えられるためである。画像の合成は必ずしもレリーズボタンが半押しされている期間中に撮像された画像のみに対して行う必要はない。
Further, in the present embodiment, if the camera moves while the release button is half-pressed, all the images recorded in step S106 during the period when the release button is pressed are combined. Are displayed on the
ここで、合成は、例えば撮影順に複数の画像を配置することで行う。さらに、合成した画像の近傍にカメラ１００の移動方向を示す画像である指標を合成させる。図１０（ｂ）、図１０（ｃ）は合成表示の例を示している。
Here, the composition is performed by arranging a plurality of images in the order of photographing, for example. Further, an index that is an image indicating the moving direction of the
図１０（ｂ）は、初期の時点である図１０（ａ）の次の撮像時点においてカメラ１００が右方向に移動していた場合の合成表示の例を示している。この場合、図１０（ｂ）に示すように、初期の時点において得られた画像５０１の隣（図１０（ｂ）では左隣）に次の画像５０２が配置されるように合成する。この合成の際には、最新の画像である画像５０２のサイズを画像５０１のサイズよりも大きくして合成することがより望ましい。このようにすれば、ユーザは、最新の画像（即ち、現時点でカメラ１００が撮像した画像）を直ちに認知することができるようになる。さらに、合成表示の際には、画像５０１の撮像時から画像５０２の撮像時の間でのカメラ１００の移動方向が分かるように画像５０２の近傍（図１０（ｂ）の例では画像５０２の上部）に指標５０２ａを合成する。これにより、ユーザはカメラ１００の移動方向も認知することが可能となる。
FIG. 10B shows an example of a composite display when the
図１０（ｃ）は、図１０（ｂ）の次の撮像時点においてカメラ１００がさらに右方向に移動していた場合の合成表示の例を示している。この場合、図１０（ｃ）に示すように、画像５０２の左隣に次の画像５０３が配置されるように合成する。この際、最新の画像５０３のサイズを画像５０１、５０２のサイズよりも大きくして合成する。さらに、画像５０２の撮像時から画像５０３の撮像時の間でのカメラ１００の移動方向が分かるように画像５０３の近傍（図１０（ｃ）の例では画像５０３の上部）に指標５０３ａを合成する。
FIG. 10C shows an example of a composite display when the
４枚目以後の合成についても同様である。即ち、最新の画像はその１つ前に撮像された画像の左隣に他の画像よりも大きなサイズとなるように合成し、且つ該最新の画像の近傍に移動方向を示す指標を合成すれば良い。 The same applies to the composition after the fourth sheet. That is, if the latest image is synthesized so that it is larger in size than the other images on the left side of the previous image, and an index indicating the moving direction is synthesized in the vicinity of the latest image. good.
以上説明した図１０（ｂ）、図１０（ｃ）のような画像をＦＭＤ２００の表示部３０１に表示させることにより、ユーザは、カメラ１００の移動方向とこの移動に伴う画像の遷移とを認知することが可能である。これにより、フレーミングのし易さが向上する。
By displaying the images shown in FIGS. 10B and 10C described above on the
ここで、図１０の例では、最新の画像を順次左方向に合成する例を示したが、画像が時系列に配置されるのであれば合成方向については特に限定されるものではない。また、指標の合成位置も各画像との対応が分かる位置であれば特に限定されるものではない。 Here, in the example of FIG. 10, an example in which the latest image is sequentially synthesized in the left direction is shown, but the composition direction is not particularly limited as long as the images are arranged in time series. Further, the index combining position is not particularly limited as long as the position corresponding to each image is known.
また、図１０の例ではレリーズボタンが半押しされている期間中に得られた全ての画像を合成するようにしているが、例えばレリーズボタンが半押しされた後で最初に得られた画像と最新の画像のみを合成するようにしても良い。このような場合の合成画像の表示例を図１１に示す。 Further, in the example of FIG. 10, all images obtained during the period when the release button is pressed halfway are combined, but for example, the first image obtained after the release button is pressed halfway Only the latest image may be synthesized. A display example of the composite image in such a case is shown in FIG.
図１１（ａ）は、初期の時点である図１０（ａ）の次の撮像時点においてカメラ１００が左方向に移動していた場合の合成表示の例を示している。この場合、図１１（ａ）に示すように、初期の時点において得られた画像６０１の隣（図１１（ａ）では右隣）に次の画像６０２が配置されるように合成する。この合成の際においても、図１０の場合の例と同様に、最新の画像である画像５０２のサイズを画像６０１のサイズよりも大きくして合成することがより望ましい。さらに、合成表示の際には、画像６０１の撮像時から画像６０２の撮像時の間でのカメラ１００の移動方向が分かるように画像６０２の近傍（図１１（ａ）の例では画像６０２の上部）に指標６０２ａを合成する。
FIG. 11A shows an example of composite display when the
図１１（ｂ）は、図１１（ａ）の次の撮像時点においてカメラ１００がさらに右方向に移動していた場合の合成表示の例を示している。この場合、図１１（ｂ）に示すように、画像６０１の右隣に画像６０２の次の画像６０３が配置されるように合成する。この際も最新の画像６０３のサイズを画像６０１のサイズよりも大きくして合成する。また、画像６０２の撮像時から画像６０３の撮像時の間でのカメラ１００の移動方向が分かるように画像６０３の近傍に指標６０３ａを合成する。なお、この移動方向は最初の画像である６０１との間での移動方向を表示させるようにしても良い。
FIG. 11B shows an example of a composite display when the
さらに、図１１の例の場合、最新の画像の合成位置をカメラ１００の移動方向に応じて決定するようにしても良い。例えば、最初の画像の撮像時からカメラ１００が右方向に移動した場合には、図１１（ａ）や図１１（ｂ）のように、画像６０１の右隣に最新の画像を合成するようにする。また、例えば、最初の画像の撮像時からカメラ１００が上方向に移動した場合には、図１２のように、最初の画像７０１の上に最新の画像７０２を合成するようにする。このような合成表示を行うようにすれば、ユーザは、表示部３０１に表示された画像のみからカメラ１００の移動方向を認知することが可能である。なお、この場合は、指標７０２ａを画像７０２の上部に合成せず、例えば画像７０２の左部に合成する。
Further, in the case of the example of FIG. 11, the latest image combining position may be determined according to the moving direction of the
さらに、上述した実施形態においては、スルー画表示と合成画像表示とを別処理としていたが、スルー画表示を行いつつ、このスルー画表示にさらに合成画像を重畳表示させるようにしても良い。 Furthermore, in the above-described embodiment, the through image display and the combined image display are separate processes. However, the combined image may be further superimposed on the through image display while performing the through image display.
また、上述した実施形態においては、カメラ１００側で画像の合成を行うようにしているが、カメラ１００からはレリーズボタンが押されている間に記録された画像とカメラ１００の移動方向のみをＦＭＤ２００に送信し、画像の合成をＦＭＤ２００によって行うようにしても良い。さらに、ＦＭＤ２００によってカメラ１００の移動方向を検出できるようにしても良い。この場合のカメラ１００の移動方向の検出手法としては、例えば補助撮像部２０７を介して得られる画像中のカメラ１００の動きベクトルの変化を検出する手法が考えられる。
In the above-described embodiment, the image is synthesized on the
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。 Although the present invention has been described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention.
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.
１００…カメラ、１０１…制御部、１０２…操作部、１０３…撮影レンズ、１０４…撮像部、１０５…表示部、１０６…時計部、１０７…記録部、１０８…通信部、１０９…移動方向検知部、２００…フェイスマウントディスプレイ（ＦＭＤ）、２０１…制御部、２０２…通信部、２０３…記録部、２０４…表示駆動部、２０５…シャッタ駆動部、２０６…光学系、２０７…補助撮像部、２０８…操作部
DESCRIPTION OF
Claims (8)
被写体を連続的に撮像して、該連続的な撮像によって複数の画像を取得する撮像部と、
上記複数の画像の各々の撮像時における上記カメラの移動方向を検知する移動方向検知部と、
上記撮像部で撮像された複数の画像と上記カメラの移動方向とを合成した合成画像を生成する画像合成部と、
上記画像合成部によって得られた合成画像を上記装着型画像表示装置に送信する通信部と、
を具備することを特徴とするカメラ。 In a camera that operates in conjunction with a wearable image display device configured to be freely wearable on the user's eyes,
An imaging unit that continuously images a subject and obtains a plurality of images by the continuous imaging;
A moving direction detector that detects the moving direction of the camera at the time of capturing each of the plurality of images;
An image compositing unit that generates a composite image by combining a plurality of images captured by the image capturing unit and the moving direction of the camera;
A communication unit that transmits the combined image obtained by the image combining unit to the wearable image display device;
A camera comprising:
上記移動方向検知部は、上記レリーズボタンによって撮影の準備が指示されている間の上記カメラの移動方向を検知し、
上記画像合成部は、上記レリーズボタンによって撮影の準備が指示されている間に上記撮像部で撮像された複数の画像と上記カメラの移動方向を示す画像とを合成した合成画像を生成することを特徴とする請求項１に記載のカメラ。 A release button for instructing preparation for shooting is further provided.
The moving direction detection unit detects the moving direction of the camera while the preparation for shooting is instructed by the release button,
The image synthesizing unit generates a synthesized image obtained by synthesizing a plurality of images captured by the imaging unit and an image indicating a moving direction of the camera while the preparation for shooting is instructed by the release button. The camera of claim 1, characterized in that:
上記カメラから複数の画像及び上記複数の画像の各々の撮像時における上記を受信する受信部と、
上記カメラの移動方向を検知する移動方向検知部と、
上記受信部において受信した複数の画像と上記カメラの移動方向とを合成した合成画像を生成する画像合成部と、
上記画像合成部によって得られた合成画像を表示する表示部と、
を具備することを特徴とする装着型画像表示装置。 In a wearable image display device configured to be freely wearable on the user's eyes and operating in conjunction with a camera,
A receiving unit that receives the plurality of images from the camera and the time when each of the plurality of images is captured;
A moving direction detector for detecting the moving direction of the camera;
An image composition unit that generates a composite image by combining the plurality of images received by the reception unit and the moving direction of the camera;
A display unit for displaying a composite image obtained by the image composition unit;
A wearable image display device comprising:
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009066714A JP5199156B2 (en) | 2009-03-18 | 2009-03-18 | Camera and wearable image display device |
| CN201010117398.9A CN101813873B (en) | 2009-02-19 | 2010-02-12 | Camera and wearable image display apparatus |
| CN201410025553.2A CN103763472B (en) | 2009-02-19 | 2010-02-12 | Photographing unit, mounted type image display apparatus, camera chain and method for imaging |
| US12/707,069 US8325263B2 (en) | 2009-02-19 | 2010-02-17 | Camera and wearable image display apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009066714A JP5199156B2 (en) | 2009-03-18 | 2009-03-18 | Camera and wearable image display device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013021249A Division JP5444483B2 (en) | 2013-02-06 | 2013-02-06 | Camera and wearable image display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010220074A true JP2010220074A (en) | 2010-09-30 |
| JP5199156B2 JP5199156B2 (en) | 2013-05-15 |
Family
ID=42978395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009066714A Expired - Fee Related JP5199156B2 (en) | 2009-02-19 | 2009-03-18 | Camera and wearable image display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5199156B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101743323B1 (en) * | 2013-02-25 | 2017-06-02 | 도쿄엘렉트론가부시키가이샤 | Support information display method, maintenance support method of substrate processing apparatus, support information display control apparatus, substrate processing system and recording medium |
| CN110050221A (en) * | 2016-12-12 | 2019-07-23 | 微软技术许可有限责任公司 | Virtual rigid frame for sensor subsystem |
| WO2021112227A1 (en) * | 2019-12-05 | 2021-06-10 | 株式会社小糸製作所 | Image display device |
| WO2023276109A1 (en) * | 2021-07-01 | 2023-01-05 | マクセル株式会社 | Information processing apparatus, photographed image transfer and display system, and photographed image transfer and display method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102088020B1 (en) * | 2013-09-26 | 2020-03-11 | 엘지전자 주식회사 | A head mounted display ant the method of controlling thereof |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11225310A (en) * | 1998-02-06 | 1999-08-17 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for displaying video still image and video still image display program storing and recording medium |
| JP2006060583A (en) * | 2004-08-20 | 2006-03-02 | Fuji Photo Film Co Ltd | Digital camera |
-
2009
- 2009-03-18 JP JP2009066714A patent/JP5199156B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11225310A (en) * | 1998-02-06 | 1999-08-17 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for displaying video still image and video still image display program storing and recording medium |
| JP2006060583A (en) * | 2004-08-20 | 2006-03-02 | Fuji Photo Film Co Ltd | Digital camera |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101743323B1 (en) * | 2013-02-25 | 2017-06-02 | 도쿄엘렉트론가부시키가이샤 | Support information display method, maintenance support method of substrate processing apparatus, support information display control apparatus, substrate processing system and recording medium |
| US9810905B2 (en) | 2013-02-25 | 2017-11-07 | Tokyo Electron Limited | Support information display method, maintenance support method of substrate processing apparatus, support information display control apparatus, substrate processing system and recording medium |
| CN110050221A (en) * | 2016-12-12 | 2019-07-23 | 微软技术许可有限责任公司 | Virtual rigid frame for sensor subsystem |
| WO2021112227A1 (en) * | 2019-12-05 | 2021-06-10 | 株式会社小糸製作所 | Image display device |
| CN114830012A (en) * | 2019-12-05 | 2022-07-29 | 株式会社小糸制作所 | Image display device |
| WO2023276109A1 (en) * | 2021-07-01 | 2023-01-05 | マクセル株式会社 | Information processing apparatus, photographed image transfer and display system, and photographed image transfer and display method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5199156B2 (en) | 2013-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8325263B2 (en) | Camera and wearable image display apparatus | |
| US8976270B2 (en) | Imaging device and imaging device control method capable of taking pictures rapidly with an intuitive operation | |
| JP5173453B2 (en) | Imaging device and display control method of imaging device | |
| JP5199156B2 (en) | Camera and wearable image display device | |
| JP2011166756A (en) | Photographing apparatus and photographing system | |
| US20110199498A1 (en) | Image pickup apparatus | |
| JP5618587B2 (en) | Imaging device, image display device, and image display system | |
| JP2008113317A (en) | Remote operation support system | |
| JP2010193287A (en) | Camera | |
| JP5444483B2 (en) | Camera and wearable image display device | |
| JP2013012852A (en) | Imaging apparatus and control method thereof, program, and storage medium | |
| JP6798244B2 (en) | Shooting device | |
| JP5203155B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP2015167310A (en) | Imaging apparatus and imaging method | |
| JP2005286501A (en) | Camera system | |
| JP2006251225A (en) | Photographing device and lens unit | |
| JP2011109462A (en) | Image transmission device, imaging device, and remote work support system | |
| JP2011109453A (en) | Imaging apparatus system, external apparatus, and adapter | |
| JP2011114500A (en) | Camera system | |
| JP4315773B2 (en) | Cameras and accessories | |
| JP2010183274A (en) | Camera system, camera, and face mount image display | |
| JP2005110162A (en) | Camera | |
| JP5439834B2 (en) | Imaging device | |
| JP2005037517A (en) | Stereoscopic camera | |
| JP2011109276A (en) | Camera finder, photographing apparatus, and remote operation support system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130207 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5199156 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |