JP4478105B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4478105B2
JP4478105B2 JP2005376919A JP2005376919A JP4478105B2 JP 4478105 B2 JP4478105 B2 JP 4478105B2 JP 2005376919 A JP2005376919 A JP 2005376919A JP 2005376919 A JP2005376919 A JP 2005376919A JP 4478105 B2 JP4478105 B2 JP 4478105B2
Authority
JP
Japan
Prior art keywords
monitor
user
photographer
photographing apparatus
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005376919A
Other languages
Japanese (ja)
Other versions
JP2007180901A (en
JP2007180901A5 (en
Inventor
健司 川面
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2005376919A priority Critical patent/JP4478105B2/en
Publication of JP2007180901A publication Critical patent/JP2007180901A/en
Publication of JP2007180901A5 publication Critical patent/JP2007180901A5/ja
Application granted granted Critical
Publication of JP4478105B2 publication Critical patent/JP4478105B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は撮影装置に関し、特に、モニタ画面により被写体像が表示可能な撮影装置に関する。   The present invention relates to a photographing apparatus, and more particularly to a photographing apparatus capable of displaying a subject image on a monitor screen.

デジタルカメラを始めとする撮影装置、ディスプレイ装置等においては、被写体像を表示するためのモニタ画面が設けられている。そして例えば、視聴者の動きに応じて揺動自在なディスプレイ本体を設け、視聴者を常に画面の中心に映し出すディスプレイ装置が知られている(特許文献1参照)。また、撮影時に可動してビューファインダとして用いられ、撮影しないときには収納される表示部を備えたカメラも知られている(特許文献2参照)。
特開平6−245209号公報(段落[0015]〜[0022]、図1、2等参照) 特開2005−62563号公報(図1等参照)
In a photographing apparatus such as a digital camera, a display apparatus, and the like, a monitor screen for displaying a subject image is provided. For example, a display device is known in which a display main body that can be swung according to the movement of the viewer is provided and the viewer is always displayed at the center of the screen (see Patent Document 1). There is also known a camera that includes a display unit that is movable during photographing and used as a viewfinder, and is housed when not photographing (see Patent Document 2).
JP-A-6-245209 (see paragraphs [0015] to [0022], FIGS. 1 and 2) Japanese Patent Laying-Open No. 2005-62563 (see FIG. 1 etc.)

モニタ画面の表示画像が容易に視認されるためには、ユーザがモニタ画面の正面付近に位置することが必要であり、ユーザの位置によっては、視認性が低下してしまう。特に、モニタ画面として広く用いられる液晶モニタにおいては、所定の視野角の範囲内でのみ画像を視認できる。   In order for the display image on the monitor screen to be easily visually recognized, it is necessary for the user to be located near the front of the monitor screen, and visibility may be reduced depending on the position of the user. In particular, in a liquid crystal monitor widely used as a monitor screen, an image can be visually recognized only within a predetermined viewing angle range.

また、モニタ画面の向きをユーザが調整可能とした場合においても、例えばデジタルカメラにおいて、被写体撮影時のレリーズ動作とズーム動作とを両手で同時に行うときには、モニタ画面の向きを調整することは困難である。   Even when the orientation of the monitor screen can be adjusted by the user, for example, in a digital camera, it is difficult to adjust the orientation of the monitor screen when simultaneously performing a release operation and a zoom operation at the time of subject shooting with both hands. is there.

このような視認性および操作性の問題は、ユーザの動きに追従するように制御可能なモニタ画面を用いた場合、解消する。しかしながら、ユーザの動きに応じて随時モニタ画面を移動させることが必要となるため、消費電力の増加を招く。また、ユーザが電源をオフ状態にせずにモニタ画面から離された場合等においては、モニタ画面は自動的に移動し続け、予期せぬ移動による破損のおそれがある。   Such problems of visibility and operability are solved when a monitor screen that can be controlled to follow the user's movement is used. However, since it is necessary to move the monitor screen as needed according to the movement of the user, power consumption is increased. In addition, when the user leaves the monitor screen without turning off the power, the monitor screen continues to move automatically and may be damaged due to unexpected movement.

本発明は、モニタ画面の向きを調整して視認性および操作性を向上させるとともに、省電力化とモニタ画面の保護が可能な撮影装置を提供することを目的とする。   It is an object of the present invention to provide a photographing apparatus capable of improving visibility and operability by adjusting the orientation of a monitor screen and saving power and protecting the monitor screen.

本発明の撮影装置は、使用中のユーザの位置を所定の範囲内で検出する位置検出手段と、ユーザの位置が検出されなかった時間が第1の上限時間を超えているか否かを判断する判断手段と、被写体像を表示するモニタと、モニタの向きを調整する調整手段と、モニタ電源のオン・オフ状態を切換えるモニタ電源切換手段とを備え、位置検出手段により検出されたユーザの位置が変化すると、調整手段が、ユーザに向かうようにモニタの向きを調整し、ユーザの位置が検出されなかった時間が第1の上限時間を超えていると判断されると、モニタ電源切換手段が、モニタ電源をオン状態からオフ状態に切換えることを特徴とする。   The photographing apparatus of the present invention determines whether or not the position of the user in use within a predetermined range and a time when the position of the user is not detected exceeds a first upper limit time. A determination unit; a monitor that displays a subject image; an adjustment unit that adjusts the orientation of the monitor; and a monitor power source switching unit that switches an on / off state of the monitor power source. The position of the user detected by the position detection unit is When changed, the adjusting means adjusts the direction of the monitor so as to face the user, and when it is determined that the time when the position of the user is not detected exceeds the first upper limit time, the monitor power source switching means The monitor power supply is switched from an on state to an off state.

位置検出手段は、ユーザの撮影装置に対する相対的な位置を検出することが好ましい。また、位置検出手段は、ユーザの基準位置と基準位置からの移動量とに基づいて、ユーザの位置を検出することが好ましい。   The position detecting means preferably detects a relative position of the user with respect to the photographing apparatus. Moreover, it is preferable that a position detection means detects a user's position based on a user's reference position and the movement amount from a reference position.

位置検出手段は、ユーザの画像を所定時間ごとに生成する画像生成手段と、所定時間が経過する前後の画像に基づいて、ユーザの移動量を算出する移動量算出手段とを含むことが好ましい。この場合、調整手段がユーザの位置に基づいてモニタの向きを調整するモニタ調整モードを設定するモード設定手段をさらに有し、モニタ調整モードが設定されると、画像生成手段が、ユーザの基準位置を示す画像を生成することがより好ましい。   Preferably, the position detection means includes an image generation means for generating a user image every predetermined time, and a movement amount calculation means for calculating the movement amount of the user based on images before and after the predetermined time elapses. In this case, the adjustment unit further includes a mode setting unit that sets a monitor adjustment mode in which the orientation of the monitor is adjusted based on the position of the user. When the monitor adjustment mode is set, the image generation unit It is more preferable to generate an image indicating

撮影装置は、位置検出手段がユーザの位置を検出できなかったことを示す警告手段をさらに有することが望ましい。位置検出手段は、モニタにおける被写体像の表示領域と同一平面に設けられていることが望ましい。   It is desirable that the photographing apparatus further includes warning means for indicating that the position detection means cannot detect the user's position. The position detection means is preferably provided on the same plane as the display area of the subject image on the monitor.

撮影装置は、撮影装置の電源のオン・オフ状態を切換えるカメラ電源切換手段をさらに有し、ユーザの位置が検出されなかった時間が、第1の上限時間よりも長い第2の上限時間を超えていると判断手段によって判断されると、カメラ電源切換手段が、撮影装置の電源をオン状態からオフ状態に切換えることが好ましい。また、調整手段は、例えばモニタを軸心周りに回転させる。   The photographing apparatus further includes camera power supply switching means for switching the power on / off state of the photographing apparatus, and the time when the position of the user is not detected exceeds a second upper limit time longer than the first upper limit time. If it is determined by the determination means, it is preferable that the camera power supply switching means switches the power supply of the photographing apparatus from the on state to the off state. The adjusting means rotates the monitor around the axis, for example.

撮影装置には、モニタを収納するための凹部が設けられており、ユーザの位置が検出されなかった時間が、第1の上限時間よりも長い第2の上限時間を超えていると判断手段によって判断されると、モニタが凹部に収納されることが好ましい。この場合、モニタは、被写体像の表示領域が凹部によって覆われるように収納されることがより好ましい。   The imaging device is provided with a recess for housing the monitor, and it is determined by the judging means that the time when the position of the user is not detected exceeds a second upper limit time longer than the first upper limit time. When determined, the monitor is preferably housed in the recess. In this case, it is more preferable that the monitor is housed so that the display area of the subject image is covered by the recess.

撮影装置は、例えばデジタルカメラである。   The photographing apparatus is a digital camera, for example.

本発明によれば、モニタ画面の向きを調整して視認性および操作性を向上させるとともに、省電力化とモニタ画面の保護が可能な撮影装置が実現できる。   ADVANTAGE OF THE INVENTION According to this invention, while adjusting the direction of a monitor screen and improving visibility and operability, the imaging device which can be power-saving and monitor screen protection is realizable.

以下、本発明の実施形態を、図面を参照して説明する。図1は、本実施形態におけるデジタルカメラとその内部を部分的に示す斜視図である。   Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a perspective view partially showing the digital camera and its interior in the present embodiment.

デジタルカメラ10は、被写体像を生成するデジタルカメラ本体12と、生成された被写体像を表示するためのLCDモニタ22(モニタ)を含む。LCDモニタ22は、一対の第1ヒンジ28を介してデジタルカメラ本体12に取付けられている。第1ヒンジ28の近傍には、第1モータ13(調整手段)が設けられ、LCDモニタ22内にある第2ヒンジ29の近傍には、第2モータ15(調整手段)が設けられている。   The digital camera 10 includes a digital camera body 12 that generates a subject image and an LCD monitor 22 (monitor) for displaying the generated subject image. The LCD monitor 22 is attached to the digital camera body 12 via a pair of first hinges 28. A first motor 13 (adjustment means) is provided in the vicinity of the first hinge 28, and a second motor 15 (adjustment means) is provided in the vicinity of the second hinge 29 in the LCD monitor 22.

第1および第2モータ13、15は、第1ヒンジ28に平行な第1回転軸L1および第2ヒンジ29に平行な第2回転軸L2を中心に、LCDモニタ22をそれぞれ回転させる。このため、LCDモニタ22の向きは、矢印Aおよび矢印Bの示すように第1および第2モータ13、15によって調整される。なお、LCDモニタ22は、構造上の制約により、矢印Aおよび矢印Bの示すいずれの回転方向についても360°回転することはできない。また、LCDモニタ22は、第1および第2モータ13、15が作動していないときに、撮影者(ユーザ)の操作によっても回転可能である。 The first and second motors 13 and 15 rotate the LCD monitor 22 around a first rotation axis L 1 parallel to the first hinge 28 and a second rotation axis L 2 parallel to the second hinge 29, respectively. Therefore, the orientation of the LCD monitor 22 is adjusted by the first and second motors 13 and 15 as indicated by arrows A and B. Note that the LCD monitor 22 cannot rotate 360 ° in any of the rotation directions indicated by the arrows A and B due to structural limitations. The LCD monitor 22 can also be rotated by an operation of a photographer (user) when the first and second motors 13 and 15 are not operating.

LCDモニタ22の前面22Fには、被写体像を表示する表示部24と、撮影者の位置を検出するための撮影者検出用カメラ26(位置検出手段)が設けられている。LCDモニタ22は、デジタルカメラ10の使用時においては、図示するように表示部24がデジタルカメラ本体12の背面12R側にあって、撮影者が表示部24を視認できる位置(以下、使用位置という)にある。   On the front surface 22F of the LCD monitor 22, a display unit 24 for displaying a subject image and a photographer detection camera 26 (position detection means) for detecting the photographer's position are provided. When the digital camera 10 is used, the LCD monitor 22 has a display unit 24 on the back surface 12R side of the digital camera body 12 as shown in the figure, and a position where the photographer can visually recognize the display unit 24 (hereinafter referred to as a use position). )It is in.

一方、デジタルカメラ10の未使用時等においては、LCDモニタ22は、デジタルカメラ本体背面12Rに設けられた収納部16(凹部)に収納されている。このとき、表示部24、および撮影者検出用カメラ26は、収納部16の底面16Bによって覆われており、外部から加わる衝撃等から保護される。   On the other hand, when the digital camera 10 is not used, the LCD monitor 22 is housed in the housing portion 16 (concave portion) provided on the rear surface 12R of the digital camera body. At this time, the display unit 24 and the photographer detection camera 26 are covered by the bottom surface 16B of the storage unit 16, and are protected from external impacts and the like.

デジタルカメラ本体12の上面12Uには、レリーズボタン、モードダイヤルおよび電源スイッチ等(いずれも図示せず)が設けられ、デジタルカメラ本体背面12Rの収納部16の周囲には、所定の操作を実行するためのメニューボタン等(図示せず)がそれぞれ設けられている。   A release button, a mode dial, a power switch, and the like (all not shown) are provided on the upper surface 12U of the digital camera body 12, and a predetermined operation is executed around the storage portion 16 on the rear surface 12R of the digital camera body. A menu button or the like (not shown) is provided.

図2は、デジタルカメラ10のブロック図である。   FIG. 2 is a block diagram of the digital camera 10.

デジタルカメラ10には、全体を制御する制御回路であるマイコン19、画像データ等を記録するためのフラッシュメモリ42、マイコン19の信号処理のためのデータが記憶されているEEPROM44、時間制御のためのクロックIC48等が設けられている。また、マイコン19には、モードダイヤル14(モード設定手段)、電源スイッチ25等が接続されている。電源スイッチ25が撮影者の操作によりオン状態になると、デジタルカメラ10の電源はオン状態になり、マイコン19が作動を開始する。   The digital camera 10 includes a microcomputer 19 which is a control circuit for controlling the whole, a flash memory 42 for recording image data, an EEPROM 44 in which data for signal processing of the microcomputer 19 is stored, and a time control. A clock IC 48 and the like are provided. The microcomputer 19 is connected to a mode dial 14 (mode setting means), a power switch 25 and the like. When the power switch 25 is turned on by a photographer's operation, the power of the digital camera 10 is turned on, and the microcomputer 19 starts operating.

モードダイヤル14等が操作されると、操作に応じた所定の信号がマイコン19に送信される。これらのボタンの操作によって、撮影者は、撮影のために用いられる様々なモードを選択することができる。例えば、モニタ調整モードは、モードダイヤル14が所定の回転位置に定められたことにより生じる信号がマイコン19に送信されると設定される。モニタ調整モードにおいては、撮影者がデジタルカメラ10に対して相対的に移動したときにも表示部24が撮影者と向かい合うように、LCDモニタ22の向きが自動的に調整される。   When the mode dial 14 or the like is operated, a predetermined signal corresponding to the operation is transmitted to the microcomputer 19. By operating these buttons, the photographer can select various modes used for photographing. For example, the monitor adjustment mode is set when a signal generated when the mode dial 14 is set at a predetermined rotational position is transmitted to the microcomputer 19. In the monitor adjustment mode, the orientation of the LCD monitor 22 is automatically adjusted so that the display unit 24 faces the photographer even when the photographer moves relative to the digital camera 10.

レリーズボタンが半押しされると、測光スイッチSWSがオン状態になる。被写体の撮影を行う場合において測光スイッチSWSがオン状態となると、測光処理部(図示せず)による被写体の測光が行われる。そして、得られた輝度データは、マイコン19に送信される。   When the release button is pressed halfway, the photometric switch SWS is turned on. When the subject is photographed, when the metering switch SWS is turned on, the subject is metered by a metering processing unit (not shown). The obtained luminance data is transmitted to the microcomputer 19.

レリーズボタンが全押しされると、レリーズスイッチSWRがオン状態になる。レリーズスイッチSWRがオン状態になると、マイコン19は、絞り31の位置を調整するように絞り駆動回路34を制御し、絞り駆動回路34が、絞り31を所定量だけ開く。また、このときシャッタ(図示せず)が所定の開度まで所定時間だけ開放される。   When the release button is fully pressed, the release switch SWR is turned on. When the release switch SWR is turned on, the microcomputer 19 controls the diaphragm drive circuit 34 so as to adjust the position of the diaphragm 31, and the diaphragm drive circuit 34 opens the diaphragm 31 by a predetermined amount. At this time, a shutter (not shown) is opened for a predetermined time until a predetermined opening degree.

この結果、CCD駆動回路36によって制御されるCCD38が、撮影レンズ30を通過した光により露光され、CCD38には被写体像を示す画像信号が発生する。CCD38において発生した画像信号は、CDS回路39においてノイズが低減され、A/D変換器40によりアナログからデジタルに変換される。デジタル化された画像信号は、ホワイトバランス調整などの様々な信号処理が施された後にマイコン19へ送られる。画像信号は、さらにマイコン19からLCDモニタ22に送信され、被写体像がLCDモニタ22の表示部24に表示される。   As a result, the CCD 38 controlled by the CCD driving circuit 36 is exposed by the light passing through the photographing lens 30, and an image signal indicating a subject image is generated on the CCD 38. The image signal generated in the CCD 38 is reduced in noise in the CDS circuit 39 and converted from analog to digital by the A / D converter 40. The digitized image signal is sent to the microcomputer 19 after being subjected to various signal processing such as white balance adjustment. The image signal is further transmitted from the microcomputer 19 to the LCD monitor 22, and the subject image is displayed on the display unit 24 of the LCD monitor 22.

なお、CCD38によって生成された被写体の画像データは、フラッシュメモリ42、およびインターフェイス43を介してメモリカード46にも送信され、記録される。記録された画像データは、モードダイヤル14等の操作によって再生モードが選択されることにより、LCDモニタ22上で再生表示される。   Note that the subject image data generated by the CCD 38 is also transmitted to the memory card 46 via the flash memory 42 and the interface 43 and recorded. The recorded image data is reproduced and displayed on the LCD monitor 22 when the reproduction mode is selected by operating the mode dial 14 or the like.

モニタ調整モードが設定されると、撮影者検出用カメラ26は、このときの撮影者の位置を基準位置として検出するために、撮影者を撮影する。モニタ調整モードが設定されている間、撮影者検出用カメラ26は、基準位置からの撮影者の移動量を検出するために、基準位置の検出のための撮影後も所定時間ごとに撮影動作を行う。   When the monitor adjustment mode is set, the photographer detection camera 26 photographs the photographer in order to detect the position of the photographer at this time as a reference position. While the monitor adjustment mode is set, the photographer detection camera 26 performs a photographing operation every predetermined time after photographing for detecting the reference position in order to detect the amount of movement of the photographer from the reference position. Do.

撮影者検出用カメラ26は、撮影者検出用のCCD(図示せず)を内蔵しており、このCCDにより生成された画像データは、マイコン19を介してDRAM45に送信され、記憶される。マイコン19においては、DRAM45に記憶されている画像データと、新たに受信した画像データとを比較し、撮影者の移動量を算出する。この結果、移動後のデジタルカメラ10に対する相対的な位置が検出される。なお、DRAM45には、最後に撮影された画像が、順次上書きされて記憶される。   The photographer detection camera 26 has a built-in CCD (not shown) for photographer detection, and image data generated by the CCD is transmitted to the DRAM 45 via the microcomputer 19 and stored therein. The microcomputer 19 compares the image data stored in the DRAM 45 with the newly received image data, and calculates the movement amount of the photographer. As a result, the relative position with respect to the digital camera 10 after the movement is detected. Note that the last photographed image is sequentially overwritten and stored in the DRAM 45.

そして、撮影者がデジタルカメラ10に対して相対的に移動したこと、すなわち撮影者の位置が変化したことが検出されると、マイコン19は、第1および第2モータ13、15を制御して、移動した撮影者の方向を向くように、LCDモニタ22の向きを調整する。   When it is detected that the photographer has moved relative to the digital camera 10, that is, the photographer's position has changed, the microcomputer 19 controls the first and second motors 13 and 15. The direction of the LCD monitor 22 is adjusted so as to face the direction of the photographer who has moved.

ここで、LCDモニタ22は、第1回転軸L1および第2回転軸L2を中心としたいずれの軸回転においても360°回転することはできないため、撮影者がデジタルカメラ10から離れると、LCDモニタ22が撮影者の移動に追従しきれない場合がある。この場合、撮影者の位置が撮影者検出用カメラ26の撮影範囲から外れてしまう。 Here, since the LCD monitor 22 cannot rotate 360 ° in any rotation about the first rotation axis L 1 and the second rotation axis L 2 , when the photographer leaves the digital camera 10, The LCD monitor 22 may not be able to follow the movement of the photographer. In this case, the photographer's position deviates from the photographing range of the photographer detection camera 26.

このように、モニタ調整モードの設定時に、撮影者の位置が検出されない状態が所定の第1の上限時間を超えて継続すると、マイコン19は、LCDモニタ22用の電源(図示せず)をオフ状態にする。そして、撮影者の位置が検出されない状態が、第1の上限時間よりも長い第2の上限時間を超えて継続すると、マイコン19は、LCDモニタ22を収納部16に収納させる(図1参照)ように第1および第2モータ13、15を制御するとともに、電源スイッチ25がオン状態であるにも関わらず、デジタルカメラ10の電源をオフ状態にする。   As described above, when the state in which the photographer's position is not detected continues for a predetermined first upper limit time when the monitor adjustment mode is set, the microcomputer 19 turns off the power supply (not shown) for the LCD monitor 22. Put it in a state. When the state in which the photographer's position is not detected continues for a second upper limit time longer than the first upper limit time, the microcomputer 19 stores the LCD monitor 22 in the storage unit 16 (see FIG. 1). In this way, the first and second motors 13 and 15 are controlled, and the power of the digital camera 10 is turned off although the power switch 25 is turned on.

ここで、撮影者の位置が検出されない時間(以下、未検出時間という)は、デジタルカメラ本体12に設けられたクロックIC48がマイコン19に常時送信するクロックパルスに基づいて、マイコン19により計測され、各上限時間と比較される。また、ここでの未検出時間とは、連続して撮影者が検出されない時間であり、一度撮影者が検出された後に再び検出されない状態になった場合、未検出時間の計測は、ゼロから再開される。   Here, the time during which the photographer's position is not detected (hereinafter referred to as “non-detection time”) is measured by the microcomputer 19 based on the clock pulse that the clock IC 48 provided in the digital camera body 12 constantly transmits to the microcomputer 19. Compared to each upper time limit. In addition, the non-detection time here is a time when the photographer is not detected continuously, and once the photographer is detected, the detection of the non-detection time is restarted from zero when it is not detected again. Is done.

図3は、撮影者検出用カメラ26によって生成された撮影者の画像を例示する図である。   FIG. 3 is a diagram illustrating a photographer's image generated by the photographer detection camera 26.

撮影者検出用カメラ26によって生成された画像は、複数の分割領域に分割されて記憶される。そして、撮影者の移動量は、DRAM45に記憶されている最後に取得された画像と、その画像の取得時から所定時間経過後に新たに取得された画像との色情報の変化に基づいて検出される。   The image generated by the photographer detection camera 26 is divided into a plurality of divided areas and stored. The movement amount of the photographer is detected based on a change in color information between the last acquired image stored in the DRAM 45 and a newly acquired image after a predetermined time has elapsed since the acquisition of the image. The

すなわち、モニタ調整モードにおいて画像が生成されると、マイコン19により、得られた画像データのうち、撮影者検出用カメラ26の撮影領域の中心にある中心領域50と、中心領域50を全て含み、中心領域50の周囲に広がる周辺領域56とにおいて、所定の色成分について二値化処理が施される。そして、中心領域50における、二値化処理が施された所定の色成分の強度分布と、その直後に得られた画像データの周辺領域56における強度分布との比較により、撮影者の移動量が算出される。   That is, when an image is generated in the monitor adjustment mode, the microcomputer 19 includes all of the central region 50 and the central region 50 in the center of the photographing region of the photographer detection camera 26 in the obtained image data, A binarization process is performed on a predetermined color component in the peripheral area 56 extending around the central area 50. Then, by comparing the intensity distribution of the predetermined color component subjected to the binarization process in the central area 50 with the intensity distribution in the peripheral area 56 of the image data obtained immediately thereafter, the movement amount of the photographer is Calculated.

例えば、通常、撮影者の顔面が撮影領域の中心に位置することから、肌色の成分について二値化処理が施されると、中心領域50に含まれる分割領域のうち、斜線で示される領域54(高強度領域)での強度が高くなる。そして、図示された画像の画像データの次に得られた画像データの周辺領域56において、高強度領域54が紙面右側にずれている場合、矢印Cの示すように、撮影者が自分にとっての左方向に所定量だけ移動したものと判断される。   For example, since the photographer's face is usually located at the center of the photographing region, when the skin color component is subjected to binarization processing, a region 54 indicated by diagonal lines among the divided regions included in the central region 50. The strength in (high strength region) increases. When the high-intensity area 54 is shifted to the right side of the drawing in the peripheral area 56 of the image data obtained next to the image data of the illustrated image, the photographer is left to himself as indicated by the arrow C. It is determined that a predetermined amount has been moved in the direction.

ここで、所定の閾値範囲を越えて撮影者が移動したか否かがマイコン19により判断され、閾値範囲を越えて移動したと判断されると、第1、第2モータ13、15は、LCDモニタ22を移動後の撮影者に対向させるように回転させる。従って、モニタ調整モードの設定時に撮影領域の中心にある中心領域50は、移動する撮影者を追尾するように移動するものの、その直後のLCDモニタの移動により、再び撮影領域の中心に戻る。   Here, it is determined by the microcomputer 19 whether or not the photographer has moved beyond a predetermined threshold range. If it is determined that the photographer has moved beyond the threshold range, the first and second motors 13 and 15 are displayed on the LCD. The monitor 22 is rotated so as to face the photographer after moving. Therefore, the center area 50 at the center of the shooting area when the monitor adjustment mode is set moves so as to track the moving photographer, but returns to the center of the shooting area again by the movement of the LCD monitor immediately after that.

一方、撮影者の移動が所定の閾値範囲内のものであると判断されると、LCDモニタ22は移動されない。この場合、中心領域50は、わずかに移動した撮影者に追尾するように、移動後の撮影者を中心に含む位置に移動する。そして、撮影領域の中心からわずかに移動した中心領域50の周囲に周辺領域56が設定され、その後の撮影者の移動量が検出される。   On the other hand, if it is determined that the movement of the photographer is within a predetermined threshold range, the LCD monitor 22 is not moved. In this case, the central region 50 moves to a position including the photographer after the movement so as to track the photographer who has moved slightly. Then, a peripheral area 56 is set around the center area 50 slightly moved from the center of the imaging area, and the subsequent movement amount of the photographer is detected.

上述の二値化処理は、中心領域50と周辺領域56のいずれについても、必要とされる撮影者の移動量検出の精度に応じて、実際には図示された領域よりも細かく分割された分割領域ごとに実施される。   In the binarization process described above, both the central area 50 and the peripheral area 56 are actually divided more finely than the illustrated area in accordance with the required accuracy of detecting the amount of movement of the photographer. Implemented for each region.

なお、撮影者検出用カメラ26により生成された画像は、撮影者の移動量を算出するためにのみ必要であり、撮影者にとっては不要なものであるため、表示部24には表示されない。   Note that the image generated by the photographer detection camera 26 is not displayed on the display unit 24 because it is necessary only for calculating the movement amount of the photographer and is unnecessary for the photographer.

図4は、LCDモニタ22の表示方向を調整するモニタ調整ルーチンを示すフローチャートである。   FIG. 4 is a flowchart showing a monitor adjustment routine for adjusting the display direction of the LCD monitor 22.

モニタ調整ルーチンは、LCDモニタ22が使用位置に移動され、モニタ調整モードが設定されると開始する。ステップS11では、撮影者の基準位置を示す画像が撮影者検出用カメラ26により生成され、ステップS12に進む。ステップS12では、例えば1/30秒など所定時間の経過後に、撮影者の新たな画像が撮影者検出用カメラ26により生成され、ステップS13に進む。   The monitor adjustment routine starts when the LCD monitor 22 is moved to the use position and the monitor adjustment mode is set. In step S11, an image indicating the photographer's reference position is generated by the photographer detection camera 26, and the process proceeds to step S12. In step S12, after elapse of a predetermined time such as 1/30 seconds, for example, a new image of the photographer is generated by the photographer detection camera 26, and the process proceeds to step S13.

ステップS13においては、LCDモニタ22の表示方向を調整する必要があるか否かが判断される。LCDモニタ22の表示方向の調整が必要であると判断されるとステップS14に進む。表示方向の調整の必要性は、画像データの二値化処理により検出されたデジタルカメラ10に対する撮影者の相対的な移動量が、所定の閾値範囲内にあるかに基づいて判断される。そして、撮影者の移動量が、撮影者の手ぶれ等に起因すると考えられるほどわずかなものである場合、LCDモニタ22の向きの調整は不要であると判断される。   In step S13, it is determined whether or not the display direction of the LCD monitor 22 needs to be adjusted. If it is determined that the display direction of the LCD monitor 22 needs to be adjusted, the process proceeds to step S14. The necessity for adjusting the display direction is determined based on whether the relative movement amount of the photographer with respect to the digital camera 10 detected by the binarization processing of the image data is within a predetermined threshold range. If the amount of movement of the photographer is so small that it can be considered that it is caused by camera shake of the photographer, it is determined that adjustment of the orientation of the LCD monitor 22 is unnecessary.

ステップS14においては、LCDモニタ22を撮影者に対向させるために必要とされる、第1および第2モータ13、15によるLCDモニタ22の駆動量がそれぞれマイコン19によって算出され、ステップS15に進む。ステップS15では、算出された駆動量が、駆動可能なものであるか否か、すなわち、算出された駆動量による回転が、LCDモニタ22の回転可能な限界を超えてしまうか否かが判断される。その結果、算出された駆動量だけLCDモニタ22を回転させることができると判断されると、ステップS16に進み、回転させることができないと判断されると、ステップS17に進む。   In step S14, the driving amount of the LCD monitor 22 by the first and second motors 13 and 15 required for making the LCD monitor 22 face the photographer is calculated by the microcomputer 19, and the process proceeds to step S15. In step S15, it is determined whether or not the calculated drive amount is drivable, that is, whether or not the rotation by the calculated drive amount exceeds the rotation limit of the LCD monitor 22. The As a result, if it is determined that the LCD monitor 22 can be rotated by the calculated drive amount, the process proceeds to step S16. If it is determined that the LCD monitor 22 cannot be rotated, the process proceeds to step S17.

ステップS16では、LCDモニタ22が算出された駆動量だけ駆動され、ステップS12に戻る。一方、ステップ17では、ステップS14で算出された駆動量よりも小さい駆動量で、機械的に可能な範囲内でLCDモニタ22が回転され、ステップS18に進む。   In step S16, the LCD monitor 22 is driven by the calculated drive amount, and the process returns to step S12. On the other hand, in step 17, the LCD monitor 22 is rotated within a mechanically possible range with a drive amount smaller than the drive amount calculated in step S14, and the process proceeds to step S18.

ステップS18では、LCDモニタ22が本来の駆動量だけ駆動されていないことから、撮影者検出用カメラ26により所定時間ごとに生成される画像にて撮影者が検出されるか否かが判断される。この判断は、撮影者の移動量の検出(図3参照)と同様に色情報の変化に基づいて行なわれるものの、二値化処理は、周辺領域56のみならず撮影領域の全範囲について施される。これは、撮影者が撮影領域の全範囲内にて検出されるか否かを判断するためである。そして、撮影者が検出されたと判断されると、ステップS12に戻り、撮影者が検出されなかったと判断されると、ステップS19に進む。   In step S18, since the LCD monitor 22 is not driven by the original driving amount, it is determined whether or not a photographer is detected in an image generated every predetermined time by the photographer detection camera 26. . Although this determination is made based on the change in color information in the same manner as the detection of the movement amount of the photographer (see FIG. 3), the binarization process is performed not only on the peripheral area 56 but also on the entire area of the imaging area. The This is to determine whether or not the photographer is detected within the entire range of the photographing region. If it is determined that the photographer has been detected, the process returns to step S12. If it is determined that the photographer has not been detected, the process proceeds to step S19.

ステップS19では、マイコン19の制御によって、表示部24(警告手段)上に撮影者の位置を検出できなかったことを示す警告メッセージが表示され、ステップS20に進む。ステップS20では、再度、撮影者が検出されるか否かが判断され、撮影者が検出されたと判断されると、ステップS21に進み、撮影者が検出されなかったと判断されるとステップS22に進む。   In step S19, a warning message indicating that the position of the photographer could not be detected is displayed on the display unit 24 (warning means) under the control of the microcomputer 19, and the process proceeds to step S20. In step S20, it is determined again whether or not the photographer is detected. If it is determined that the photographer is detected, the process proceeds to step S21. If it is determined that the photographer is not detected, the process proceeds to step S22. .

ステップS21においては、表示部24上の警告メッセージ表示が解消され、ステップS12に戻る。一方、ステップS22では、未検出時間が第1の上限時間を超えているか否かが判断され、未検出時間が第1の上限時間を超えたと判断されるとステップS23に進み、未検出時間が第1の上限時間を超えていないと判断されるとステップS20に戻る。ステップS23では、デジタルカメラ10の電源はオン状態のままで、LCDモニタ22用の電源のみがオフ状態になり、バックライトによる光の出射が停止され、ステップS24に進む。   In step S21, the warning message display on the display unit 24 is canceled, and the process returns to step S12. On the other hand, in step S22, it is determined whether or not the undetected time exceeds the first upper limit time. If it is determined that the undetected time exceeds the first upper limit time, the process proceeds to step S23, and the undetected time is determined. If it is determined that the first upper limit time is not exceeded, the process returns to step S20. In step S23, the power source of the digital camera 10 remains on, and only the power source for the LCD monitor 22 is turned off, the emission of light by the backlight is stopped, and the process proceeds to step S24.

ステップS24では、再び、撮影者が検出されるか否かが判断され、撮影者が検出されたと判断されると、ステップS25に進み、撮影者が検出されなかったと判断されるとステップS26に進む。ステップS25では、モニタ電源がオン状態に切換えられ、バックライトからの出射光により表示部24に被写体像が表示可能となり、ステップS21に進む。   In step S24, it is determined again whether or not the photographer is detected. If it is determined that the photographer is detected, the process proceeds to step S25. If it is determined that the photographer is not detected, the process proceeds to step S26. . In step S25, the monitor power supply is turned on, and the subject image can be displayed on the display unit 24 by the light emitted from the backlight, and the process proceeds to step S21.

ステップS26では、未検出時間が第1の上限時間よりも長い第2の上限時間を超えているか否かが判断され、未検出時間が第2の上限時間を超えたと判断されるとステップS27に進み、未検出時間が第2の上限時間を超えていないと判断されるとステップS24に戻る。ステップS27では、LCDモニタ22が収納部16に収納され、ステップS28に進む。ステップS28においては、デジタルカメラ10の電源がオフ状態に自動的に切換えられ、モニタ調整ルーチンは終了する。   In step S26, it is determined whether or not the undetected time exceeds a second upper limit time longer than the first upper limit time. If it is determined that the undetected time exceeds the second upper limit time, the process proceeds to step S27. If it is determined that the undetected time does not exceed the second upper limit time, the process returns to step S24. In step S27, the LCD monitor 22 is stored in the storage unit 16, and the process proceeds to step S28. In step S28, the power source of the digital camera 10 is automatically switched to the off state, and the monitor adjustment routine ends.

以上のように本実施形態によれば、移動する撮影者の位置を所定の範囲内で検出し、表示部24が撮影者に対向するようにLCDモニタ22の向きを制御することにより、被写体像の視認性が向上される。そして、LCDモニタ22の向きが自動的に調整されることから、デジタルカメラ10の操作性も良好である。さらに、所定の時間を超えて表示部24を撮影者に対向させることができない場合、LCDモニタ22の電源、さらにはデジタルカメラ10全体の電源が自動的にオフ状態に切換えられることにより、省電力化が可能である。そしてこのとき、LCDモニタ22の表示部24等は収納部16に収納され、保護される。   As described above, according to the present embodiment, the position of the moving photographer is detected within a predetermined range, and the orientation of the LCD monitor 22 is controlled so that the display unit 24 faces the photographer. Visibility is improved. Since the orientation of the LCD monitor 22 is automatically adjusted, the operability of the digital camera 10 is good. Further, when the display unit 24 cannot be faced to the photographer after a predetermined time, the power source of the LCD monitor 22 and further the power source of the entire digital camera 10 are automatically switched off, thereby saving power. Is possible. At this time, the display unit 24 of the LCD monitor 22 is stored in the storage unit 16 and protected.

また、本実施形態においては、撮影者の画像データを所定時間ごとに生成し、画像データにおける色情報の変化に基づいて撮影者の移動量を検出することにより、予め記憶させていた撮影者の輪郭等の目安を示す所定の画像データと実際の撮影者の画像データとを比較して撮影者の位置を検出する場合に比べ、実際の撮影者の色、形状等に左右されず、より正確に撮影者の位置を検出することができる。   In the present embodiment, the photographer's image data is generated every predetermined time, and the amount of movement of the photographer is detected based on the change of the color information in the image data. Compared to the case where the photographer's position is detected by comparing the predetermined image data indicating the outline, etc. with the actual photographer's image data, it is more accurate and independent of the actual photographer's color, shape, etc. It is possible to detect the position of the photographer.

撮影装置は、本実施形態のデジタルカメラには限らず、例えば、ビデオカメラ、撮影機能付き携帯電話等であっても良い。また、撮影装置に使用されるモニタもLCDモニタ22に限定されず、例えばプラズマディスプレイパネル等であっても良い。   The photographing apparatus is not limited to the digital camera of the present embodiment, and may be, for example, a video camera, a mobile phone with a photographing function, or the like. Further, the monitor used in the photographing apparatus is not limited to the LCD monitor 22, and may be a plasma display panel, for example.

モニタ調整モードは、モードダイヤル14以外の、例えばメニューボタン等の操作によって設定されても良い。また、撮影者の基準位置を示す画像は、モニタ調整モードが設定された直後に自動的に生成されるのではなく、モニタ調整モードの設定後におけるレリーズボタンの半押し操作等、撮影者の指示によって生成されても良い。   The monitor adjustment mode may be set by an operation other than the mode dial 14, such as a menu button. In addition, the image showing the photographer's reference position is not automatically generated immediately after the monitor adjustment mode is set, but the photographer's instruction such as half-pressing the release button after the monitor adjustment mode is set. May be generated.

本実施形態におけるデジタルカメラとその内部を部分的に示す斜視図である。1 is a perspective view partially showing a digital camera and its inside in the present embodiment. デジタルカメラのブロック図である。It is a block diagram of a digital camera. 撮影者検出用カメラによって生成される撮影者の画像を例示する図である。It is a figure which illustrates the photographer's picture generated by the photographer detection camera. LCDモニタの表示方向を調整するモニタ調整ルーチンを示すフローチャートである。It is a flowchart which shows the monitor adjustment routine which adjusts the display direction of a LCD monitor.

符号の説明Explanation of symbols

10 デジタルカメラ(撮影装置)
13 第1モータ(調整手段)
14 モードダイヤル(モード設定手段)
15 第2モータ(調整手段)
16 収納部(凹部)
19 マイコン(判断手段・モニタ電源切換手段・カメラ電源切換手段・移動量算出手段)
22 LCDモニタ(モニタ・警告手段)
24 表示部(警告手段)
26 撮影者検出用カメラ(位置検出手段・画像生成手段)
48 クロックIC(判断手段)

10 Digital camera (photographing device)
13 First motor (adjustment means)
14 Mode dial (mode setting means)
15 Second motor (adjustment means)
16 Storage part (concave part)
19 Microcomputer (determination means / monitor power supply switching means / camera power supply switching means / movement amount calculation means)
22 LCD monitor (monitor / warning)
24 Display (Warning means)
26 Camera for detecting photographer (position detecting means / image generating means)
48 Clock IC (Judgment means)

Claims (12)

使用中のユーザの位置を所定の範囲内で検出する位置検出手段と、
前記ユーザの位置が検出されなかった時間が第1の上限時間を超えているか否かを判断する判断手段と、
被写体像を表示するモニタと、
前記モニタの向きを調整する調整手段と、
モニタ電源のオン・オフ状態を切換えるモニタ電源切換手段とを備え、
前記位置検出手段により検出された前記ユーザの位置が変化すると、前記調整手段が、前記ユーザに向かうように前記モニタの向きを調整し、前記ユーザの位置が検出されなかった時間が前記第1の上限時間を超えていると判断されると、前記モニタ電源切換手段が、モニタ電源をオン状態からオフ状態に切換えることを特徴とする撮影装置。
Position detecting means for detecting the position of the user in use within a predetermined range;
Determining means for determining whether or not a time when the position of the user is not detected exceeds a first upper limit time;
A monitor that displays the subject image;
Adjusting means for adjusting the orientation of the monitor;
Monitor power supply switching means for switching the on / off state of the monitor power supply,
When the position of the user detected by the position detecting means changes, the adjusting means adjusts the orientation of the monitor so as to face the user, and the time when the position of the user is not detected is the first time. When it is determined that the upper limit time is exceeded, the monitor power source switching unit switches the monitor power source from an on state to an off state.
前記位置検出手段が、前記ユーザの前記撮影装置に対する相対的な位置を検出することを特徴とする請求項1に記載の撮影装置。   The imaging apparatus according to claim 1, wherein the position detection unit detects a relative position of the user with respect to the imaging apparatus. 前記位置検出手段が、前記ユーザの基準位置と前記基準位置からの移動量とに基づいて、前記ユーザの位置を検出することを特徴とする請求項1に記載の撮影装置。   The photographing apparatus according to claim 1, wherein the position detection unit detects the position of the user based on a reference position of the user and a movement amount from the reference position. 前記位置検出手段が、前記ユーザの画像を所定時間ごとに生成する画像生成手段と、前記所定時間が経過する前後の前記画像に基づいて、前記ユーザの移動量を算出する移動量算出手段とを含むことを特徴とする請求項1に記載の撮影装置。   The position detection unit includes an image generation unit that generates the user's image every predetermined time, and a movement amount calculation unit that calculates the movement amount of the user based on the images before and after the predetermined time elapses. The imaging device according to claim 1, comprising: 前記調整手段が前記ユーザの位置に基づいて前記モニタの向きを調整するモニタ調整モードを設定するモード設定手段をさらに有し、前記モニタ調整モードが設定されると、前記画像生成手段が、前記ユーザの基準位置を示す画像を生成することを特徴とする請求項4に記載の撮影装置。   The adjustment means further includes a mode setting means for setting a monitor adjustment mode for adjusting the orientation of the monitor based on the position of the user, and when the monitor adjustment mode is set, the image generation means The image capturing apparatus according to claim 4, wherein an image indicating a reference position is generated. 前記位置検出手段が前記ユーザの位置を検出できなかったことを示す警告手段をさらに有することを特徴とする請求項1に記載の撮影装置。   The photographing apparatus according to claim 1, further comprising a warning unit that indicates that the position detection unit cannot detect the position of the user. 前記位置検出手段が、前記モニタにおける前記被写体像の表示領域と同一平面に設けられていることを特徴とする請求項1に記載の撮影装置。   The photographing apparatus according to claim 1, wherein the position detection unit is provided on the same plane as a display area of the subject image on the monitor. 前記撮影装置の電源のオン・オフ状態を切換えるカメラ電源切換手段をさらに有し、前記ユーザの位置が検出されなかった時間が、前記第1の上限時間よりも長い第2の上限時間を超えていると前記判断手段によって判断されると、前記カメラ電源切換手段が、前記撮影装置の電源をオン状態からオフ状態に切換えることを特徴とする請求項1に記載の撮影装置。   Camera power switching means for switching the power on / off state of the photographing apparatus is further included, and the time when the position of the user is not detected exceeds a second upper limit time longer than the first upper limit time. 2. The photographing apparatus according to claim 1, wherein the camera power source switching unit switches the power source of the photographing apparatus from an on state to an off state when it is determined by the determining unit. 前記調整手段が、前記モニタを軸心周りに回転させることを特徴とする請求項1に記載の撮影装置。   The photographing apparatus according to claim 1, wherein the adjusting unit rotates the monitor around an axis. 前記モニタを収納するための凹部が設けられており、前記ユーザの位置が検出されなかった時間が、前記第1の上限時間よりも長い第2の上限時間を超えていると前記判断手段によって判断されると、前記モニタが前記凹部に収納されることを特徴とする請求項1に記載の撮影装置。   It is determined by the determination means that a recess for storing the monitor is provided, and the time when the position of the user is not detected exceeds a second upper limit time longer than the first upper limit time. The photographing apparatus according to claim 1, wherein the monitor is housed in the recess. 前記モニタが、前記被写体像の表示領域が前記凹部によって覆われるように収納されることを特徴とする請求項10に記載の撮影装置。   The photographing apparatus according to claim 10, wherein the monitor is housed so that a display area of the subject image is covered by the concave portion. 前記撮影装置が、デジタルカメラであることを特徴とする請求項1に記載の撮影装置。

The photographing apparatus according to claim 1, wherein the photographing apparatus is a digital camera.

JP2005376919A 2005-12-28 2005-12-28 Imaging device Expired - Fee Related JP4478105B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005376919A JP4478105B2 (en) 2005-12-28 2005-12-28 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005376919A JP4478105B2 (en) 2005-12-28 2005-12-28 Imaging device

Publications (3)

Publication Number Publication Date
JP2007180901A JP2007180901A (en) 2007-07-12
JP2007180901A5 JP2007180901A5 (en) 2010-03-18
JP4478105B2 true JP4478105B2 (en) 2010-06-09

Family

ID=38305608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005376919A Expired - Fee Related JP4478105B2 (en) 2005-12-28 2005-12-28 Imaging device

Country Status (1)

Country Link
JP (1) JP4478105B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5504741B2 (en) * 2009-08-06 2014-05-28 株式会社ニコン Imaging device
JP2015056713A (en) * 2013-09-11 2015-03-23 株式会社Jvcケンウッド Imaging apparatus and control method
JP2018005211A (en) * 2015-12-01 2018-01-11 孝郎 林 Wrist-mounted device with imaging function and posture change device
JP2018004713A (en) * 2016-06-27 2018-01-11 孝郎 林 Wrist device with imaging function
CN110139022A (en) * 2018-09-29 2019-08-16 广东小天才科技有限公司 Photographing control method, wearable device and storage medium

Also Published As

Publication number Publication date
JP2007180901A (en) 2007-07-12

Similar Documents

Publication Publication Date Title
KR100758632B1 (en) Apparatus and method for taking panoramic photograph
US8159594B2 (en) Electronic device
US8786566B2 (en) Information processing apparatus
WO2006033255A1 (en) Projector device, mobile telephone, and camera
JP2008046342A (en) Photographing device and in-focus position search method
JP4957795B2 (en) Digital camera
JP4478105B2 (en) Imaging device
JP4683228B2 (en) Image display device, photographing device, image display method and program
US20050254811A1 (en) Digital camera and portable device
JP4269705B2 (en) Imaging device
US11647278B2 (en) Imaging apparatus
JP4973427B2 (en) Camera with projector
JP2006018057A (en) Camera
JP2004186721A (en) Camera
JP2010136163A (en) Imaging apparatus
JP2005286790A (en) Mobile terminal device
JPH11352389A (en) Electronic finder camera
JP4315773B2 (en) Cameras and accessories
JP5377168B2 (en) Imaging device
JP2005159559A (en) Mobile phone
JP2017130879A (en) Imaging apparatus and control method for imaging apparatus
JP2008252674A (en) Digital camera
JP2006023472A (en) Projector device
JP4161586B2 (en) camera
JP2008131304A (en) Photographing system

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080501

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100312

R150 Certificate of patent or registration of utility model

Ref document number: 4478105

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees