JP5072563B2 - Moving image imaging apparatus and moving image display method - Google Patents
Moving image imaging apparatus and moving image display method Download PDFInfo
- Publication number
- JP5072563B2 JP5072563B2 JP2007316419A JP2007316419A JP5072563B2 JP 5072563 B2 JP5072563 B2 JP 5072563B2 JP 2007316419 A JP2007316419 A JP 2007316419A JP 2007316419 A JP2007316419 A JP 2007316419A JP 5072563 B2 JP5072563 B2 JP 5072563B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- display
- area
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Devices (AREA)
Description
本発明は、高速度撮像用カメラのような高いフレームレートでの画像の撮像が可能な動画像撮像装置、動画像表示方法に関する。 The present invention is a moving image imaging apparatus imaging possible image at a high frame rate, such as a camera for high-speed imaging, on Video Display how.
被写体の変化を撮像するために、高いフレームレートで画像を連続して撮像可能な高速度撮像用カメラが利用されている。このような装置は、撮像手段で所定の撮像周期(撮像フレームレート)で撮像したフレーム画像データを、撮像時と異なるフレームレートで表示手段に表示させる。例えば、通常のビデオカメラでは画像一枚あたりの撮像フレームレートが1/30秒、すなわちフレームレートが30fps(frame per second)の規格速度であるのに対し、高速カメラでは60〜32000fpsといった高いフレームレートに設定できる。このような高速カメラを用いて動画像を録画し、高いフレームレートで撮像した一連のフレーム画像データを撮像時よりも低いフレームレートで表示画面に表示させれば、被写体の動きを微小時間ごとに撮像された一連の画像によりスローで観察することができる(例えば特許文献1,2参照)。ここで規格速度とは、上述したようにNTSC方式ならば30fps、PAL方式、SECAM方式であれば25fpsである。 In order to capture changes in a subject, high-speed imaging cameras that can continuously capture images at a high frame rate are used. Such an apparatus causes the display means to display frame image data imaged by the imaging means at a predetermined imaging cycle (imaging frame rate) at a frame rate different from that at the time of imaging. For example, an ordinary video camera has a frame rate of 1/30 seconds per image, that is, a frame rate of 30 fps (frame per second), whereas a high-speed camera has a high frame rate of 60 to 32000 fps. Can be set. By recording a moving image using such a high-speed camera and displaying a series of frame image data captured at a high frame rate on a display screen at a frame rate lower than that at the time of imaging, the movement of the subject is detected every minute. It is possible to observe with a slow speed by a series of captured images (for example, see Patent Documents 1 and 2). Here, as described above, the standard speed is 30 fps for the NTSC system, and 25 fps for the PAL system and the SECAM system.
高速撮像装置においては、撮像周期又はフレームレートを調整することで、様々な被写体の変化に適した撮像を行い、スロー画像を得る。ここで、フレームレートが速すぎると、撮像手段を構成するCCDやC−MOS等の撮像素子からの画像読出し時間が間に合わなくなる。そのため、従来の高速撮像装置では、フレームレートが高くなると、撮像素子からの画像読出し領域すなわち撮像領域を制限することで、画像読出し時間がフレームレート以下に抑えるよう設定されている。 In a high-speed imaging device, by adjusting an imaging cycle or a frame rate, imaging suitable for various changes in a subject is performed, and a slow image is obtained. Here, if the frame rate is too fast, the time for reading out an image from an image sensor such as a CCD or C-MOS constituting the image pickup means will not be in time. Therefore, in the conventional high-speed imaging device, when the frame rate is increased, the image reading time from the image sensor, that is, the imaging region is limited, so that the image reading time is set to be less than the frame rate.
フレームレートが高くなる程、画像読み出しに割ける時間も必然的に短くなるため、表示される画像読出し領域のサイズも小さくなる。例えば規格速度で撮像した画像データが図27に示す状態であった場合、フレームレートを高くするにつれて図28、図29のように画像読出し領域が狭くなっていくことになる。しかしながらこの状態では表示画面を効率的に利用できないため、画像読出し領域を表示画面の全域に拡大した全画面表示とすることが行われている。例えば図28に示す画像読出し領域を、全画面表示すると図30のように拡大して表示されるので、ユーザに見易い画像が提供される。
このような画像の拡大表示は、細部を見易い反面、拡大表示された画像読出し領域が、元の画像のどの部分に位置していたのかを把握しづらいという問題がある。特に、ユーザが拡大・縮小率を指定して表示させるのであれば、ある程度の把握も容易と考えられるが、高速撮像装置側で自動的に倍率を変更されると、ユーザは戸惑うことが予想される。 Such an enlarged display of the image makes it easy to see details, but there is a problem that it is difficult to grasp in which part of the original image the enlarged image readout area is located. In particular, if the user specifies and displays the enlargement / reduction ratio, it is considered easy to grasp to some extent, but if the magnification is automatically changed on the high-speed imaging device side, the user is expected to be confused. The
従来の高速撮像装置では、このような画像読出し領域の変更すなわち任意の領域の拡大・縮小が、フレームレートを変更したタイミングで自動的に行われていた。このため、ユーザは表示画面で表示中に突然視野が変更されてしまう状態となって、変更後の画像が変更前のどの位置に当たるかを判断できなかったり、変更後の視野では被写体が映らないといった問題があった。特に、撮像前の設定段階では、視野探しや位置合わせ、照明の設定などの面から、可能な限り広い視野で表示させた方が好都合である。ただし、視野を広く表示させる程、フレームレートを高速化させた際の視野欠けも大きくなるため、表示位置を見失いやすくなり、このような設定作業の妨げとなる。さらに視野が判明した後でも、被写体の表示状態を確認するために位置合わせや照明の設定などを再調整する必要が生じることがあり、この点でも手間がかかっていた。 In the conventional high-speed imaging device, such change of the image reading area, that is, enlargement / reduction of an arbitrary area is automatically performed at the timing when the frame rate is changed. For this reason, the user's field of view is suddenly changed during display on the display screen, and the user cannot determine the position of the image after the change before the change or the subject is not reflected in the field of view after the change. There was a problem. In particular, at the setting stage before imaging, it is more convenient to display with a field of view as wide as possible from the viewpoint of field of view search, positioning, and illumination setting. However, the wider the field of view is, the larger the field of view is lost when the frame rate is increased. This makes it easier to lose sight of the display position, which hinders such setting work. Further, even after the field of view is known, it may be necessary to readjust the alignment and illumination settings in order to confirm the display state of the subject, and this is also troublesome.
本発明は、従来のこのような問題点に鑑みてなされたものである。本発明の主な目的は、フレームレート変更後の視野を把握できるようにした動画像撮像装置、動画像表示方法を提供することにある。 The present invention has been made in view of such conventional problems. The main purpose of the present invention, the moving picture imaging apparatus which can grasp the field after the frame rate change is to provide a moving picture display how.
上記の目的を達成するために、本発明に係る第1の動画像撮像装置によれば、撮像対象の被写体の動画像を撮像する動画像撮像装置であって、2次元状に配置された撮像素子を備え、該撮像素子を配置した撮像領域における少なくとも一部の領域に対して、撮像した画像データを読み出し可能な撮像手段と、前記撮像手段にて被写体を撮像する際の撮像周期を、異なる撮像周期に変更して設定可能な撮像周期設定手段と、前記撮像周期設定手段により設定される撮像周期に基づいて、該撮像周期と同等の周期で前記撮像手段の撮像領域から画像データの読み出しが可能な範囲を読出領域として、該読出領域の大きさ及び/又は位置を決定するための読出領域決定手段と、前記撮像手段で撮像された一連の画像データを、該画像データを撮像した撮像周期よりも遅い表示周期で動画像として表示可能な表示手段と、前記撮像周期設定手段で撮像周期が変更されたことを検出して、前記読出領域決定手段で決定され、該変更後の撮像周期に対応した読出領域の大きさ及び/又は位置を示す領域表示を、前記表示手段において動画像として表示されている撮像周期変更前の画像データに重ねて表示可能な領域表示手段と、前記表示手段に動画像を表示させ、かつ前記領域表示手段で領域表示を重畳表示させた状態で、前記撮像手段による撮像条件を設定可能な撮像制御部と、前記撮像周期設定手段により変更された撮像周期への変更の実行を指示するための変更指示手段と、前記変更指示手段が操作されたことを検出して、前記読出領域決定手段で決定される該変更後の撮像周期に対応した読出領域の大きさ及び/又は位置に応じて、変更後の撮像周期で撮像された一連の画像データを該変更後の読出領域から読み出して、所定の表示周期で前記表示手段に表示させるよう、前記表示手段の画像表示を更新するための表示更新手段とを備えることができる。これにより、撮像周期の変更の際に、事前に変更先の読出し領域を画像上に表示させることで、変更後の読取領域の把握が容易になり、被写体が映らないといった状況の発生を事前に確認することができる。ここで撮像周期と同等の周期で画像データの読み出しが可能な範囲とは、撮像周期の一周期以下の時間で画像データが読み出し可能な範囲のことであり、この範囲の画像データを撮像周期とほぼ同じ周期で繰り返すことで、動画像の撮像が行える。また、表示される画像データの撮像周期を変更する際には突然読出領域を変更するのでなく、表示中の画像データ中で変更後の領域表示を一旦示した上で、画像表示を更新することができるので、読出領域の変更前に、変更後の状態をユーザに事前に告知することができる。さらに、撮像周期を変更を指示した後、先に変更後の領域表示を示した上で、ユーザが変更指示手段を操作することで撮像周期の変更が実行される。このため、ユーザは自身のペースで変更先の視野を確認し終えた後、タイミングを指示して撮像周期の変更動作を実行でき、変更位置の見落としや確認不足を解消できる利点が得られる。
また第2の動画像撮像装置によれば、前記領域表示手段が、前記撮像周期設定手段により撮像周期が変更される前の撮像周期で撮像された画像データを縮小表示するとともに、該縮小表示された画像データに前記領域表示を重ねて表示することができる。
In order to achieve the above object, according to the first moving image pickup device of the present invention, a moving image pickup device for picking up a moving image of a subject to be picked up, which is arranged in a two-dimensional manner. An imaging unit capable of reading captured image data and an imaging cycle when imaging the subject with the imaging unit are different from each other in at least a part of the imaging region in which the imaging device is provided. Based on the imaging cycle setting means that can be set by changing to the imaging cycle, and the imaging cycle set by the imaging cycle setting means, image data is read out from the imaging area of the imaging means at a cycle equivalent to the imaging cycle. Using the possible range as a reading area, a reading area determining means for determining the size and / or position of the reading area, and a series of image data imaged by the imaging means, the image data is imaged. A viewable display unit as a moving image at a slower display cycle than the imaging period, it is detected that the imaging cycle is changed in the imaging period setting means is determined by the reading area determining means, the imaging after the change Area display means capable of displaying an area display indicating the size and / or position of a readout area corresponding to the period on the image data before the imaging period change displayed as a moving image on the display means, and the display An imaging control unit capable of setting an imaging condition by the imaging unit in a state where a moving image is displayed on the unit and an area display is superimposed on the area display unit, and an imaging cycle changed by the imaging cycle setting unit a change instruction means for instructing the execution of changes to, by detecting that said change instruction means is operated, corresponding to the imaging cycle after the change is determined by the reading area determining unit According to the size and / or position of the reading area, a series of image data captured in the changed imaging cycle is read from the changed reading area and displayed on the display unit at a predetermined display period. Display update means for updating the image display of the display means. As a result, when the imaging cycle is changed, the readout area to be changed is displayed in advance on the image, so that it becomes easy to grasp the readout area after the change and the occurrence of a situation in which the subject is not shown in advance. Can be confirmed. Here, the range in which image data can be read out in a cycle equivalent to the imaging cycle is a range in which image data can be read out in a time equal to or shorter than one cycle of the imaging cycle, and image data in this range is referred to as an imaging cycle. By repeating at substantially the same cycle, a moving image can be taken. In addition, when changing the imaging cycle of the displayed image data, the readout area is not changed suddenly, but the display of the area after the change is once shown in the displayed image data, and then the image display is updated. Therefore, before the read area is changed, the changed state can be notified to the user in advance. Further, after instructing the change of the imaging cycle, the change of the imaging cycle is executed by the user operating the change instruction means after first displaying the area display after the change. For this reason, after the user finishes confirming the field of view of the change destination at his / her own pace, the user can instruct the timing to execute the change operation of the imaging cycle, and there is an advantage that oversight of the change position and lack of confirmation can be solved.
Further, according to the second moving image imaging device, the area display means reduces and displays the image data captured in the imaging period before the imaging period is changed by the imaging period setting unit. It is possible to display the region display superimposed on the image data.
さらに第3の動画像撮像装置によれば、前記領域表示手段が、複数の撮像周期に対応した複数の読出領域を、複数の領域表示として前記表示手段において重ねて表示可能とすることができる。これにより、様々な撮像周期に対応した読出領域を事前にユーザに告知でき、ユーザは撮像周期変更後の視野を個別に把握でき、さらに利便性が向上する。 Furthermore , according to the third moving image imaging apparatus, the area display means can display a plurality of readout areas corresponding to a plurality of imaging cycles on the display means as a plurality of area displays. As a result, the readout area corresponding to various imaging cycles can be notified to the user in advance, and the user can individually grasp the field of view after changing the imaging cycle, further improving convenience.
さらにまた第4の動画像撮像装置によれば、撮像対象の被写体を撮像する動画像撮像装置であって、2次元状に配置された撮像素子を備え、該撮像素子を配置した撮像領域における少なくとも一部の領域に対して、撮像した画像データを読み出し可能な撮像手段と、前記撮像手段にて被写体を撮像する際の撮像周期を、異なる撮像周期に変更して設定可能な撮像周期設定手段と、前記撮像周期設定手段により設定される撮像周期に基づいて、該撮像周期と同等の周期で前記撮像手段の撮像領域から画像データの読み出しが可能な範囲を読出領域として、該読出領域の大きさ及び/又は位置を決定するための読出領域決定手段と、前記撮像手段で撮像された画像データを、該画像データを撮像した撮像周期よりも遅い表示周期で表示可能な表示手段と、前記表示手段に表示された、第1の撮像周期で撮像された第1の画像データにおける、該第1の撮像周期に基づいて前記読出領域決定手段で決定された第1の読出領域の大きさ及び/又は位置を記憶するための第1読出領域記憶手段と、前記撮像周期設定手段により前記第1の撮像周期と異なる第2の撮像周期に設定された際に、該第2の撮像周期に基づいて前記読出領域決定手段で決定された第2の読出領域の大きさ及び/又は位置を認識するための第2読出領域認識手段と、前記第1読出領域記憶手段に記憶された前記第1の読出領域と、前記第2読出領域認識手段により認識された前記第2の読出領域との相対的な大きさ及び/又は位置を求めるための読出領域決定手段と、前記画像データを表示する前記表示手段に対して、前記読出領域決定手段により求められた相対的な大きさ及び/又は位置に基づいて、前記第2の読出領域を示す領域表示を、前記第1の画像データ上に重畳表示可能な領域表示手段と、前記表示手段に画像データを表示させ、かつ前記領域表示手段で領域表示を重畳表示させた状態で、前記撮像手段による撮像条件を設定可能な撮像制御部と、前記撮像周期設定手段により変更された撮像周期への変更の実行を指示するための変更指示手段と、前記変更指示手段が操作されたことを検出して、前記読出領域決定手段で決定される該変更後の撮像周期に対応した読出領域の大きさ及び/又は位置に応じて、変更後の撮像周期で撮像された一連の画像データを該変更後の読出領域から読み出して、所定の表示周期で前記表示手段に表示させるよう、前記表示手段の画像表示を更新するための表示更新手段とを備えることができる。これにより、撮像周期の変更の際に、事前に変更先の読出し領域を画像上に表示させることで、変更後の読取領域の把握が容易になり、被写体が映らないといった状況の発生を事前に確認することができる。 According addition to the fourth moving picture imaging apparatus, a moving picture imaging apparatus for imaging a subject to be imaged, an imaging elements arranged two-dimensionally, at least in the imaging region of arranging the imaging element An imaging unit capable of reading captured image data with respect to a part of the region; an imaging cycle setting unit configured to change an imaging cycle when the subject is imaged by the imaging unit to a different imaging cycle; Based on the imaging cycle set by the imaging cycle setting means, the size of the readout area is defined as a range in which image data can be read from the imaging area of the imaging means at a period equivalent to the imaging period. And / or display area determination means for determining the position and display capable of displaying the image data picked up by the image pickup means at a display cycle slower than the image pickup cycle of picking up the image data And a first readout area determined by the readout area determination means based on the first imaging period in the first image data captured in the first imaging period displayed on the display means First reading area storage means for storing the size and / or position of the second imaging area, and when the second imaging period different from the first imaging period is set by the imaging period setting means, Second reading area recognition means for recognizing the size and / or position of the second reading area determined by the reading area determination means based on the imaging period, and stored in the first reading area storage means A read area determining means for obtaining a relative size and / or position between the first read area and the second read area recognized by the second read area recognizing means; and the image data For the display means for displaying, An area display unit capable of displaying an area display indicating the second readout area on the first image data based on the relative size and / or position obtained by the readout area determination unit; In the state where image data is displayed on the display means and the area display is superimposed on the area display means, an imaging control unit capable of setting an imaging condition by the imaging means and the imaging cycle setting means A change instructing unit for instructing execution of a change to the imaging cycle, and detecting that the change instructing unit has been operated, and corresponding to the changed imaging cycle determined by the readout region determining unit According to the size and / or position of the reading area, a series of image data captured in the changed imaging cycle is read from the changed reading area and displayed on the display unit at a predetermined display period. Display update means for updating the image display of the display means . As a result, when the imaging cycle is changed, the readout area to be changed is displayed in advance on the image, so that it becomes easy to grasp the readout area after the change and the occurrence of a situation in which the subject is not shown in advance. Can be confirmed.
さらにまた第5の動画像撮像装置によれば、さらに前記領域表示手段で表示される読出領域の位置を指定するための領域位置指定手段を備えることができる。これにより、ユーザは広域画像上から、所望の位置に読出領域を指定することができ、撮像周期変更後の表示状態を所望の位置にて確認できる。 Furthermore, according to the fifth moving image capturing apparatus, it is possible to further include area position specifying means for specifying the position of the reading area displayed by the area display means. As a result, the user can designate a readout region at a desired position from the wide area image, and can confirm the display state after changing the imaging cycle at the desired position.
さらにまた第6の動画像撮像装置によれば、さらに、撮像周期に対応する読出領域に関する情報を、設定可能な撮像周期毎に記録した対応テーブルを記憶する対応関係記憶手段を備えており、前記読出領域決定手段が、前記対応関係記憶手段に記憶された対応テーブルに従い、読出領域を決定することができる。これにより、撮像周期と読出領域の対応関係を予め記録しておくことで、読出領域を対応テーブルから即座に取得でき、高速且つ軽負荷で処理できる。 Furthermore, according to the sixth moving image imaging apparatus, the image processing apparatus further includes correspondence relationship storage means for storing a correspondence table in which information relating to the readout region corresponding to the imaging cycle is recorded for each settable imaging cycle, The reading area determining means can determine the reading area according to the correspondence table stored in the correspondence relation storing means. Thus, by previously recording the correspondence relationship between the imaging cycle and the readout area, the readout area can be immediately acquired from the correspondence table and can be processed at high speed and with a light load.
さらにまた第7の動画像撮像装置によれば、前記読出領域決定手段が、前記撮像周期設定手段により設定される撮像周期に基づいて、読出領域を演算して求めることができる。これにより、読出領域と撮像周期との対応を毎回演算して求めることができ、テーブルを不要にできる利点が得られる。また演算式を変更することで、同じ撮像周期であっても縦長、横長、正方形状といった異なる形状の読出領域に変更することが可能となる。 Furthermore, according to the seventh moving image imaging device, the readout area determining means can calculate and obtain the readout area based on the imaging period set by the imaging period setting means. As a result, the correspondence between the readout area and the imaging period can be calculated every time, and an advantage that a table is unnecessary can be obtained. Further, by changing the arithmetic expression, it is possible to change the readout area to a different shape such as vertically long, horizontally long or square even in the same imaging cycle.
さらにまた第8の動画像撮像装置によれば、さらに、前記領域表示手段で画像データ上に重ねて表示される領域表示の大きさ及び/又は位置を、該画像データ上で調整するための領域表示調整手段を備えることができる。これにより、ユーザは表示領域すなわち読出領域を、画像データを見ながら変更することが可能となる。
Furthermore, according to the eighth moving image capturing apparatus, an area for adjusting the size and / or position of the area display displayed on the image data by the area display means on the image data. Display adjustment means can be provided. Thereby, the user can change the display area, that is, the reading area while viewing the image data.
さらにまた実施の形態に係る動画像撮像装置によれば、前記表示手段における画像表示の更新が、撮像周期を変更したタイミングから所定時間経過後に行われるよう構成できる。これにより、撮像周期を変更を指示した後、先に変更後の領域表示を示した上で、一定時間経過後に自動的に撮像周期の変更が実行されるため、ユーザは余分な操作が不要である上、変更先の視野を事前に告知された上で撮像周期が変更されるため、視野変更にも戸惑うことなく適切に対処できる。 According Furthermore in the moving picture imaging apparatus according to the embodiment, the image display update in the display unit can be configured to be performed from the timing of changing the imaging cycle after a predetermined time has elapsed. As a result, after instructing the change of the imaging cycle, the display of the area after the change is shown first, and the imaging cycle is automatically changed after a lapse of a certain time, so the user does not need an extra operation. In addition, since the imaging cycle is changed after the field of view of the change destination is notified in advance, it is possible to appropriately cope with the field of view change without being confused.
さらにまた第9の動画像撮像装置によれば、前記領域表示手段が、領域表示に加えて、該領域表示が示す撮像周期を表示可能に構成できる。これにより、領域表示が示す撮像周期をユーザに明示できる。特に、複数の領域表示を表示する場合は、各領域表示を識別できるので有効となる。 Furthermore, according to the ninth moving image imaging apparatus, the area display means can be configured to display an imaging cycle indicated by the area display in addition to the area display. Thereby, the imaging cycle indicated by the area display can be clearly shown to the user. In particular, displaying a plurality of area displays is effective because each area display can be identified.
さらにまた第10の動画像撮像装置によれば、前記領域表示手段が、領域表示を枠状に表示可能とできる。これにより、枠状に囲まれた領域が撮像周期変更後に表示される領域であることを、視覚的に把握でき、操作に詳しくないユーザであっても感覚的に理解できる。 Furthermore, according to the tenth moving image capturing apparatus, the region display means can display the region display in a frame shape. Thereby, it can visually grasp that the area surrounded by the frame shape is an area displayed after changing the imaging cycle, and even a user who is not familiar with the operation can understand it sensuously.
さらにまた第11の動画像表示方法によれば、撮像対象の被写体の画像データを一定の撮像周期で、撮像素子を2次元状に配置した撮像領域における少なくとも一部の領域に対して撮像した画像データを読み出し可能な撮像手段にて撮像した後、これを該撮像周期よりも遅い表示周期で表示手段に表示する動画像表示方法であって、前記撮像手段にて被写体を撮像する際の撮像周期を、異なる撮像周期に撮像周期設定手段で設定するステップと、撮像周期に基づいて、予め前記撮像手段の撮像領域から画像データの読み出しが可能な範囲を読出領域として、該読出領域の大きさ及び/又は位置を決定するステップと、前記撮像手段で撮像された画像データを表示可能な表示手段において、表示中の画像データを撮像した撮像周期と異なる撮像周期に対応する、前記決定された読出領域の大きさ及び/又は位置を示す領域表示を画像データに重ねて表示するステップと、前記表示手段に領域表示を重畳表示させて画像データを表示させた状態で、前記撮像手段による撮像条件を撮像制御部で調整するステップと、前記撮像周期設定手段により変更された撮像周期への変更の実行を、変更指示手段で指示するステップと、前記表示手段上において表示される画像データを撮像した撮像周期と異なる撮像周期に変更されたことを検出して、該変更後の撮像周期に対応した読出領域の大きさ及び/又は位置に応じて、変更後の撮像周期で撮像された一連の画像データを該変更後の読出領域から読み出して、所定の表示周期で前記表示手段に表示させるよう、前記表示手段の画像表示を更新するステップとを含むことができる。これにより、撮像周期の変更の際に、事前に変更先の読出し領域を画像上に表示させることで、変更後の読取領域の把握が容易になり、被写体が映らないといった状況の発生を事前に確認することができる。 Furthermore, according to the eleventh moving image display method, an image obtained by capturing image data of a subject to be imaged with respect to at least a part of an imaging region in which imaging elements are arranged two-dimensionally at a constant imaging cycle. A moving image display method for displaying data on a display unit with a display cycle slower than the imaging cycle after the data is captured by an imaging unit capable of reading data, the imaging cycle when the subject is imaged Are set in different imaging cycles by the imaging cycle setting means, and based on the imaging cycle, a range in which image data can be read from the imaging area of the imaging means in advance as a readout area, and the size of the readout area and And / or a step of determining a position and a display unit capable of displaying the image data captured by the imaging unit, and imaging different from an imaging cycle in which the image data being displayed is captured Corresponding to the period, and displaying overlapping area display indicating the size and / or position of the determined read area in the image data, and by superposing display area display to display the image data on the display means In the state, the step of adjusting the imaging condition by the imaging unit by the imaging control unit, the step of instructing execution of the change to the imaging cycle changed by the imaging cycle setting unit by the change instruction unit, and the display unit And detecting that the image data displayed is changed to an imaging cycle different from the imaging cycle in which the image data was captured, and depending on the size and / or position of the readout area corresponding to the changed imaging cycle A series of image data captured in the imaging cycle is read out from the read-out area after the change, and the image display of the display unit is updated so as to be displayed on the display unit in a predetermined display cycle. It may include a step. As a result, when the imaging cycle is changed, the readout area to be changed is displayed in advance on the image, so that it becomes easy to grasp the readout area after the change and the occurrence of a situation in which the subject is not shown in advance. Can be confirmed.
さらにまた実施の形態に係る動画像表示プログラムによれば、撮像対象の被写体の画像データを一定の撮像周期で、撮像素子を2次元状に配置した撮像領域における少なくとも一部の領域に対して撮像した画像データを読み出し可能な撮像手段にて撮像した後、これを該撮像周期よりも遅い表示周期で表示手段に表示する動画像表示プログラムであって、撮像周期に基づいて、予め前記撮像手段の撮像領域から画像データの読み出しが可能な範囲を読出領域として、該読出領域の大きさ及び/又は位置を決定する機能と、前記撮像手段で撮像された画像データを表示可能な表示手段において、表示中の画像データを撮像した撮像周期と異なる撮像周期に対応する、前記決定された読出領域の大きさ及び/又は位置を示す領域表示を画像データに重ねて表示する機能とをコンピュータに実現させることができる。これにより、撮像周期の変更の際に、事前に変更先の読出し領域を画像上に表示させることで、変更後の読取領域の把握が容易になり、被写体が映らないといった状況の発生を事前に確認することができる。 Furthermore, according to the moving image display program according to the embodiment, image data of a subject to be imaged is captured in at least a part of an imaging area in which imaging elements are two-dimensionally arranged at a constant imaging cycle. A moving image display program for displaying the image data on the display unit at a display cycle slower than the imaging cycle, after the image is captured by the readable image data. In a display unit capable of displaying a range in which image data can be read from the imaging region as a readout region, a function for determining the size and / or position of the readout region, and a display unit capable of displaying the image data captured by the imaging unit An area display indicating the size and / or position of the determined readout area corresponding to an imaging period different from the imaging period in which the image data in the image is captured is displayed as image data. It is possible to realize the function of Cascade to the computer. As a result, when the imaging cycle is changed, the readout area to be changed is displayed in advance on the image, so that it becomes easy to grasp the readout area after the change and the occurrence of a situation in which the subject is not shown in advance. Can be confirmed.
さらにまた実施の形態に係るコンピュータで読み取り可能な記録媒体は、上記プログラムを格納したものである。記録媒体には、CD−ROM、CD−R、CD−RWやフレキシブルディスク、磁気テープ、MO、DVD−ROM、DVD−RAM、DVD−R、DVD+R、DVD−RW、DVD+RW、Blu−ray、HD DVD(AOD)等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ(FPGA、ASIC)等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。 Furthermore, a computer-readable recording medium according to the embodiment stores the above program. Recording media include CD-ROM, CD-R, CD-RW, flexible disk, magnetic tape, MO, DVD-ROM, DVD-RAM, DVD-R, DVD + R, DVD-RW, DVD + RW, Blu-ray, HD A medium that can store a program such as a magnetic disk such as a DVD (AOD), an optical disk, a magneto-optical disk, a semiconductor memory, or the like is included. The program includes a program distributed in a download manner through a network line such as the Internet, in addition to a program stored and distributed in the recording medium. Furthermore, the recording medium includes a device capable of recording the program, for example, a general purpose or dedicated device in which the program is implemented in a state where it can be executed in the form of software, firmware, or the like. Furthermore, each process and function included in the program may be executed by computer-executable program software, or each part of the process or hardware may be executed by hardware such as a predetermined gate array (FPGA, ASIC), or program software. And a partial hardware module that realizes a part of hardware elements may be mixed.
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための動画像撮像装置、動画像表示方法を例示するものであって、本発明は動画像撮像装置、動画像表示方法を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部材の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。また、一部の実施例、実施形態において説明された内容は、他の実施例、実施形態等に利用可能なものもある。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the embodiments to be described below, the moving picture imaging apparatus for embodying the technical idea of the present invention, are illustrative of the moving image display how the present invention is a moving image imaging apparatus, the moving image display methods that do not specific to the following. Further, the present specification by no means specifies the members shown in the claims to the members of the embodiments. In particular, the dimensions, materials, shapes, relative arrangements, and the like of the constituent members described in the embodiments are not intended to limit the scope of the present invention only to the description unless otherwise specified. It's just an example. Note that the size, positional relationship, and the like of the members shown in each drawing may be exaggerated for clarity of explanation. Further, in the following description, the same name and reference numeral indicate the same or the same members, and detailed description will be omitted as appropriate. Furthermore, each element constituting the present invention may be configured such that a plurality of elements are constituted by the same member and the plurality of elements are shared by one member, and conversely, the function of one member is constituted by a plurality of members. It can also be realized by sharing. In addition, the contents described in some examples and embodiments may be used in other examples and embodiments.
本発明の実施例において使用される動画像撮像装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばIEEE1394、RS−232xやRS−422、USB等のシリアル接続、パラレル接続、あるいは10BASE−T、100BASE−TX、1000BASE−T等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、IEEE802.1x等の無線LANやBluetooth等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において動画像撮像装置とは、動画像撮像装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた動画像撮像システムも含む意味で使用する。 The connection between the moving image capturing apparatus used in the embodiment of the present invention and the computer, printer, external storage device and other peripheral devices for operation, control, display, and other processing connected thereto is, for example, IEEE 1394. , RS-232x, RS-422, serial connection such as USB, parallel connection, or communication via electrical, magnetic, or optical connection via a network such as 10BASE-T, 100BASE-TX, 1000BASE-T I do. The connection is not limited to a physical connection using a wire, but may be a wireless connection using a wireless LAN such as IEEE802.1x, radio waves such as Bluetooth, infrared rays, optical communication, or the like. Furthermore, a memory card, a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like can be used as a recording medium for exchanging data or storing settings. In this specification, the term “moving image capturing device” is used to include not only a moving image capturing device body but also a moving image capturing system in which peripheral devices such as a computer and an external storage device are combined.
また、本明細書において動画像撮像装置は、高速度観察の画像撮像を行うシステムそのもの、ならびに撮像に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで撮像そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の動画像撮像装置に該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末、携帯型電子機器、PDCやCDMA、W−CDMA、FOMA(登録商標)、GSM、IMT2000や第4世代等の携帯電話、PHS、PDA、ページャ、スマートフォンその他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、OS等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。 Further, in this specification, the moving image capturing apparatus is limited to the system itself that performs high-speed observation image capturing, and the apparatus and method that perform input / output, display, calculation, communication, and other processes related to imaging in hardware. Not what you want. An apparatus and method for realizing processing by software are also included in the scope of the present invention. For example, a general-purpose circuit or computer that incorporates software, programs, plug-ins, objects, libraries, applets, compilers, modules, macros that operate on specific programs, etc., and enables imaging itself or related processing The system also corresponds to the moving image capturing apparatus of the present invention. In this specification, the computer includes a general-purpose or dedicated computer, a workstation, a terminal, a portable electronic device, PDC, CDMA, W-CDMA, FOMA (registered trademark), GSM, IMT2000, fourth generation, and the like. Mobile phones, PHS, PDAs, pagers, smartphones and other electronic devices. Further, in the present specification, the program is not limited to a program that is used alone, an aspect that functions as a part of a specific computer program, software, service, etc., an aspect that is called and functions when necessary, an environment such as an OS, etc. It can also be used as a mode provided as a service, a mode that operates resident in the environment, a mode that operates in the background, and other support programs.
本明細書において高速度観察とは、ハイスピード撮像等とも呼ばれ、人の目で視覚することが困難な瞬間的な画像を連続的な複数のフレーム画像として撮像するものであり、例えばフレームレート(一秒間に連続して取得する画像の枚数を定義する単位)100fps〜100万fpsでの撮像を行う。この際、必要に応じて被写体を適宜拡大表示させることもできる。 In this specification, high-speed observation is also referred to as high-speed imaging or the like, and captures instantaneous images that are difficult to see with the human eye as a plurality of continuous frame images. (Unit for defining the number of images acquired continuously in one second) Imaging is performed at 100 fps to 1 million fps. At this time, the subject can be appropriately enlarged and displayed as necessary.
なお、高速度撮像は、基本的には静止画を連続撮像するものであるが、これらを連続して表示すれば動画のように扱えるため、ここでは便宜上、動画像の録画と呼ぶこともある。すなわち本明細書において動画像とは、所定のフレームレートで連続して撮像した一連の静止画像の集合を指す。また動画像を表示部に表示させた一画面のデータを、画像データとも呼ぶ。
(ブロック図)
Note that high-speed imaging basically captures still images continuously, but if they are displayed continuously, they can be handled like moving images, and may be referred to as video recording for convenience. . That is, in this specification, a moving image refers to a set of a series of still images captured continuously at a predetermined frame rate. Further, one screen data in which a moving image is displayed on the display unit is also referred to as image data.
(Block Diagram)
図1に、本発明の一実施の形態に係る動画像撮像装置100の外観斜視図を、図2にブロック図を、それぞれ示す。これらの図に示す動画像撮像装置100は、撮像部10を備えるヘッド部15と、ヘッド部15を駆動制御し画像処理等を行う本体部50と、これらを接続するケーブル部24とで構成される。ヘッド部15は、撮像部10を含む撮像モジュール16と、照明手段60を含む照明モジュール66、レンズモジュール20で構成される。一方本体部50は、照明手段60に照明光を供給するための照明用光源64と、撮像部10を制御する撮像用制御信号を生成し、撮像部10に対して送信するための撮像制御部13と、撮像部10で撮像された画像に対して画像処理を行うための画像処理部81とを備える。さらに本体部50は、撮像部10で撮像された画像を表示する表示部52と、ユーザが各種設定や操作を行うための操作部55を備える。この動画像撮像装置100は、観察用途に応じたレンズモジュール20及び照明モジュール66に交換可能とすれば、一台の動画像撮像装置を複数の異なる用途に用いることが可能となる。 FIG. 1 is an external perspective view of a moving image capturing apparatus 100 according to an embodiment of the present invention, and FIG. 2 is a block diagram. The moving image imaging apparatus 100 shown in these drawings includes a head unit 15 that includes the imaging unit 10, a main body unit 50 that drives and controls the head unit 15 to perform image processing, and a cable unit 24 that connects them. The The head unit 15 includes an imaging module 16 including the imaging unit 10, an illumination module 66 including the illumination unit 60, and the lens module 20. On the other hand, the main body 50 generates an illumination light source 64 for supplying illumination light to the illumination means 60 and an imaging control unit for generating an imaging control signal for controlling the imaging unit 10 and transmitting the imaging control signal to the imaging unit 10. 13 and an image processing unit 81 for performing image processing on an image captured by the imaging unit 10. Furthermore, the main body 50 includes a display unit 52 that displays an image captured by the imaging unit 10 and an operation unit 55 for a user to perform various settings and operations. If the moving image capturing apparatus 100 can be exchanged for the lens module 20 and the illumination module 66 according to the observation application, one moving image capturing apparatus can be used for a plurality of different applications.
さらに本体部50は必要に応じて、撮像部10の撮像周期を変更するための撮像周期設定手段31と、撮像周期に基づいて、撮像部10の撮像領域から画像データの読み出しが可能な読出領域の大きさ及び/又は位置を決定する読出領域決定手段32と、撮像周期が変更されたことを検出して、変更後の撮像周期に対応した読出領域の大きさ及び/又は位置に応じた画像データを読出領域から読み出して、所定の表示周期で表示手段に表示させる表示更新手段33と、読出領域の大きさ及び/又は位置を示す領域表示RHを、表示部52上に表示可能な領域表示手段34と、領域表示RHの基準位置を調整するための領域表示調整手段35と、基準位置や読出領域の大きさを指定するための領域位置指定手段36、ユーザが動画像の表示の更新の実行を指示するための変更指示手段37、シャッタースピードを設定するためのシャッタースピード設定手段38、トリガを設定するためのトリガ設定手段39を備える。 Furthermore, the main body 50 has an imaging cycle setting means 31 for changing the imaging cycle of the imaging unit 10 as necessary, and a reading area from which image data can be read from the imaging region of the imaging unit 10 based on the imaging cycle. And a reading area determining means 32 for determining the size and / or position of the image, and an image corresponding to the size and / or position of the reading area corresponding to the changed imaging period by detecting that the imaging period has been changed. Display update means 33 for reading data from the read area and displaying it on the display means at a predetermined display cycle, and area display RH indicating the size and / or position of the read area on the display unit 52 Means 34, area display adjusting means 35 for adjusting the reference position of the area display RH, area position specifying means 36 for specifying the reference position and the size of the readout area, and the user can further display the moving image. Change instructing means for instructing the execution 37, the shutter speed setting means 38 for setting a shutter speed, and a trigger setting means 39 for setting a trigger.
この動画像撮像装置100は、撮像部10で撮像された一連の画像データを、撮像時の撮像周期よりも遅い表示周期で動画像として表示部52に表示させることができる。すなわち、撮像した動画像をスロースピードで再生できる。
(ヘッド部15)
The moving image imaging apparatus 100 can display a series of image data captured by the imaging unit 10 on the display unit 52 as a moving image with a display cycle slower than the imaging cycle at the time of imaging. That is, the captured moving image can be reproduced at a slow speed.
(Head 15)
ヘッド部15は、撮像モジュール16に撮像部10を備える。撮像部10は、照明手段60により照明された観察対象の被写体S(試料、ワーク等)から、光学系を介して入射する反射光を電気的に読み取る撮像素子12を備える。撮像素子12は、この例ではCMOSを利用しているが、CCD等、他の素子も利用できる。ここではヘッド部15の外形を、図1に示すように円筒状の撮像モジュール16とし、内部に撮像素子12を内蔵する。また撮像モジュール16をモノクロ撮像用、カラー撮像用等、用途に応じた複数種類を用意し、これらを適宜選択することで、種々の用途に対応可能な動画像撮像装置とできる。
(撮像部10)
The head unit 15 includes the imaging unit 10 in the imaging module 16. The imaging unit 10 includes an imaging element 12 that electrically reads reflected light incident through an optical system from a subject S (sample, work, etc.) to be observed illuminated by the illumination unit 60. In this example, the imaging element 12 uses a CMOS, but other elements such as a CCD can also be used. Here, the outer shape of the head unit 15 is a cylindrical imaging module 16 as shown in FIG. 1, and the imaging element 12 is built inside. Also, a plurality of types of imaging modules 16 for monochrome imaging, color imaging, and the like are prepared, and by appropriately selecting these, a moving image imaging apparatus that can handle various applications can be obtained.
(Imaging unit 10)
撮像部10は、撮像素子12を2次元状に配置しており、このような撮像素子12を配置した撮像領域における少なくとも一部の領域に対して、撮像した画像データを読み出し可能としている。すなわち、常に撮像素子のすべてで取得した画像データを撮像領域全体から読み出すのでなく、撮像周期等に応じて、部分的な領域(後述する読出領域又は視野範囲)に制限して画像データを取得することで、高速な読み出しを可能としている。また撮像部10で被写体を撮像する際の撮像周期(いわゆる撮像フレームレート;本明細書においては特に断りのない場合、単に「フレームレート」と呼ぶことがある。)は、異なる周期に変更可能としている。フレームレートは、例えば30〜32000fpsの範囲で設定できる。
(レンズモジュール20)
The imaging unit 10 has the image sensor 12 arranged in a two-dimensional manner, and the captured image data can be read out from at least a part of the imaging region in which the image sensor 12 is arranged. That is, image data acquired by all of the imaging elements is not always read from the entire imaging area, but is limited to a partial area (a reading area or a visual field range described later) according to the imaging cycle and the like to acquire image data. Thus, high-speed reading is possible. In addition, an imaging cycle (so-called imaging frame rate; in the present specification, it may be simply referred to as “frame rate”) can be changed to a different cycle when the subject is imaged by the imaging unit 10. Yes. The frame rate can be set, for example, in the range of 30 to 32000 fps.
(Lens module 20)
レンズモジュール20は、撮像素子12と光学的に結合される光学レンズを内蔵する。レンズモジュール20は、要求される倍率や明るさに応じたサイズ、曲率の光学レンズを複数枚備えている。また、高速度観察用のレンズを内蔵するレンズモジュール以外に、例えば拡大観察用のレンズを内蔵するレンズモジュールを用意し、交換可能としてもよい。
(照明手段60)
The lens module 20 contains an optical lens that is optically coupled to the image sensor 12. The lens module 20 includes a plurality of optical lenses having a size and a curvature according to required magnification and brightness. In addition to a lens module that incorporates a lens for high-speed observation, for example, a lens module that incorporates a lens for magnified observation may be prepared and exchangeable.
(Lighting means 60)
照明手段60は、レンズモジュール20を介して撮像素子12に結像される被写体Sを照明する。照明手段60の光源は、本体部50に内蔵され、ケーブル部24を介して照明光がヘッド部15の照明手段60に伝達される。照明手段60は、ヘッド部15に組み込み式としたり、ヘッド部15と脱着可能な別体のいずれも採用できる。
(本体部50)
The illumination means 60 illuminates the subject S imaged on the image sensor 12 via the lens module 20. The light source of the illuminating unit 60 is built in the main body unit 50, and the illumination light is transmitted to the illuminating unit 60 of the head unit 15 via the cable unit 24. The illuminating means 60 can be incorporated in the head unit 15 or can be separated from the head unit 15.
(Main body 50)
本体部50は、照明用光源64と、撮像制御部13と、画像処理部81と、メモリ部53と、インターフェース部54を備える。図2の例では、各部材を本体部50に組み込んでいるが、本体部50はこの構成に限られず、照明用光源64、撮像制御部13、画像処理部81等を、各々ユニット状に分割可能とすることもできる。これにより、構成の自由度が増す。例えば、照明用光源を内蔵せず、外付けで接続する態様とできる。この場合、光源の切替を容易に行える反面、光源の設置や配線作業が必要となり、手間がかかる。
(照明用光源64)
The main body unit 50 includes an illumination light source 64, an imaging control unit 13, an image processing unit 81, a memory unit 53, and an interface unit 54. In the example of FIG. 2, each member is incorporated in the main body unit 50, but the main body unit 50 is not limited to this configuration, and the illumination light source 64, the imaging control unit 13, the image processing unit 81, and the like are each divided into units. It can also be possible. Thereby, the freedom degree of a structure increases. For example, it is possible to connect externally without incorporating a light source for illumination. In this case, the light source can be easily switched, but the installation of the light source and wiring work are required, which is troublesome.
(Light source for illumination 64)
照明用光源64は、撮像制御部13に点灯を制御される。具体的には、メタルハライドランプやハロゲンランプを使用する場合は、照明光供給ケーブル61を接続する接続端子との光路上に照明光をすべて、あるいは部分的にマスクして遮光するマスク板(図示せず)を配置する。マスク板は2枚の大小の略扇形を背中合わせに接続したような形状で、回動軸を中心に回動自在に装着される。大きな扇形部分には、開口窓が設けられ、略円形の全周照明用開口窓と、略扇形の側射照明用開口窓が、それぞれ開口されている。また小さい扇形には、その円周側面部分にギア溝が形成されている。このマスク板は回動軸を中心に回動自在に連結されており、モータによって回動される。モータは回転軸にウォームギアを固定しており、ウォームギアのギア部分が、マスク板の小さい扇形の円弧部分に設けれらたギア溝と噛み合うように配置される。モータを回転させてマスク板を回動させると、全周照明用開口窓および側射照明用開口窓のいずれかが、照明光供給ケーブル61と一致する。これによって、照明光供給ケーブル61を照明用光源64と接続し、照明手段60から照明光を照射可能とする。 Lighting of the illumination light source 64 is controlled by the imaging control unit 13. Specifically, when using a metal halide lamp or a halogen lamp, a mask plate (not shown) that shields all or part of the illumination light on the optical path with the connection terminal to which the illumination light supply cable 61 is connected. )). The mask plate is shaped so that two large and small substantially fan shapes are connected back to back, and is mounted so as to be rotatable about a rotation axis. An opening window is provided in the large fan-shaped portion, and a substantially circular all-round illumination opening window and a substantially fan-shaped side illumination opening window are respectively opened. In addition, a gear groove is formed on the circumferential side surface portion of the small sector shape. This mask plate is connected to be rotatable about a rotation shaft, and is rotated by a motor. The motor has a worm gear fixed to the rotating shaft, and the gear portion of the worm gear is arranged so as to mesh with a gear groove provided in a small fan-shaped arc portion of the mask plate. When the mask plate is rotated by rotating the motor, one of the all-round illumination opening window and the side illumination opening window coincides with the illumination light supply cable 61. As a result, the illumination light supply cable 61 is connected to the illumination light source 64 so that illumination light can be emitted from the illumination means 60.
またメタルハライドランプ以外にも、水銀ランプやキセノンランプ、ハロゲンランプやLEDを利用できる。LEDは、ハロゲンランプ、メタルハライドランプ等に比べて赤外線成分が少なく、同一光量を照射しても、被写体への発熱量が少ない利点が得られる。また比較的安価で長寿命である上、入力に対する応答性にも優れ、照明光を遮光するマスク板を使用することなく点灯制御できる上、100万fpsといった高速撮像にも十分追従してON/OFFできる。
(撮像制御部13)
In addition to metal halide lamps, mercury lamps, xenon lamps, halogen lamps and LEDs can be used. LEDs have fewer infrared components than halogen lamps, metal halide lamps, and the like, and even when irradiated with the same amount of light, the advantage of less heat generation to the subject can be obtained. In addition, it is relatively inexpensive and has a long service life, excellent responsiveness to input, and can be controlled to light without using a mask plate that blocks illumination light. Can be turned off.
(Imaging control unit 13)
撮像制御部13は、高速度観察時におけるフレームレート、シャッタースピード等の撮像条件を、操作部55を介して設定し、設定された撮像条件に従い、各部の制御を行う。具体的には、撮像部10の撮像素子12を駆動制御する撮像用制御信号を生成し、撮像部10に対して送信する。また、照明用光源64のON/OFFや遮光を制御する。例えばストロボ撮像を行う場合は、撮像に同期した同期信号を出力し、同期信号により照明用光源64の点灯ON/OFFを行うと共に撮像素子12で撮像を行う。このように、撮像制御部13から照明用光源64に対し、1回の撮像の開始及び終了時点に同期した撮像タイミング信号と、撮像中の各フレームの露光開始時点に同期した露光タイミング信号が送信される。
(画像処理部81)
The imaging control unit 13 sets imaging conditions such as a frame rate and a shutter speed during high-speed observation via the operation unit 55, and controls each unit according to the set imaging conditions. Specifically, an imaging control signal for driving and controlling the imaging element 12 of the imaging unit 10 is generated and transmitted to the imaging unit 10. Further, ON / OFF and light shielding of the illumination light source 64 are controlled. For example, when performing strobe imaging, a synchronization signal synchronized with the imaging is output, the lighting light source 64 is turned on / off by the synchronization signal, and the imaging element 12 performs imaging. As described above, the imaging control unit 13 transmits to the illumination light source 64 the imaging timing signal synchronized with the start and end times of one imaging and the exposure timing signal synchronized with the exposure start time of each frame being imaged. Is done.
(Image processing unit 81)
画像処理部81は、撮像部10で撮像された画像に対して画像処理を行う。例えば、表示部52に表示された被写体の画像に対して、領域を指定し、面積を演算したり、高低差や距離、角度を演算するといった計測処理を行う。
(表示部52)
The image processing unit 81 performs image processing on the image captured by the imaging unit 10. For example, a measurement process is performed on the subject image displayed on the display unit 52, such as designating a region and calculating an area or calculating a height difference, a distance, and an angle.
(Display unit 52)
表示部52は、撮像した画像や設定等を表示するディスプレイである。表示部52はCRTや液晶パネル等が利用される。図1の例では、表示部52は本体部50に組み込まれているが、映像出力端子を設けるなどして外付けのディスプレイを接続することも可能である。
(メモリ部53)
The display unit 52 is a display that displays captured images and settings. As the display unit 52, a CRT, a liquid crystal panel, or the like is used. In the example of FIG. 1, the display unit 52 is incorporated in the main body unit 50, but it is also possible to connect an external display by providing a video output terminal.
(Memory unit 53)
メモリ部53は、撮像された画像データや設定内容等を保持する。好適には、一時的な記憶領域としてRAM等の高速な半導体メモリを使用し、データ保存領域としてハードディスクを使用する。
(インターフェース部54)
The memory unit 53 holds captured image data, setting contents, and the like. Preferably, a high-speed semiconductor memory such as a RAM is used as a temporary storage area, and a hard disk is used as a data storage area.
(Interface part 54)
また、データを外部機器とI/O若しくは通信を介してやりとりするためのインターフェース部54を備える。制御信号や画像データ等を外部機器と受け渡しするためのポートとして、ケーブル部24や各種コネクタ類を接続する端子穴を本体部50に開口させる。また、USBポートを備えることで、USBメモリへのデータの書き出しや、他のコンピュータ等とシリアル接続してデータ通信を容易に行える。
(操作部55)
In addition, an interface unit 54 for exchanging data with an external device via I / O or communication is provided. A terminal hole for connecting the cable portion 24 and various connectors is opened in the main body portion 50 as a port for transferring control signals, image data, and the like to an external device. Also, by providing a USB port, data communication can be easily performed by writing data to a USB memory or by serial connection with another computer or the like.
(Operation unit 55)
操作部55は、表示部52上に表示される画面に基づいてユーザが入力その他の操作を行うための入出力デバイスである。操作部55は本体部50と有線もしくは無線で接続され、あるいは本体部50に固定されている。一般的な操作部55としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部55は、動画像撮像装置の操作の他、動画像撮像装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。なお表示部52や操作部55は、本体部50と一体的に組み込むことも、本体部と有線もしくは無線で接続された外付けの部材とすることもできる。さらに表示部をタッチパネルで構成すれば、表示部と操作部を一体に構成することもできる。また操作部55を無線接続のコンソールで構成することもできる。
(読出領域決定手段32)
The operation unit 55 is an input / output device for a user to perform input and other operations based on a screen displayed on the display unit 52. The operation unit 55 is connected to the main body unit 50 by wire or wirelessly, or is fixed to the main body unit 50. Examples of the general operation unit 55 include various pointing devices such as a mouse, keyboard, slide pad, track point, tablet, joystick, console, jog dial, digitizer, light pen, numeric keypad, touch pad, and accu point. In addition to the operation of the moving image capturing apparatus, these operation units 55 can be used for the operation of the moving image capturing apparatus itself and its peripheral devices. Furthermore, using a touch screen or touch panel on the display itself that displays the interface screen, the user can directly input or operate the screen by hand, or use voice input or other existing input means, Or these can also be used together. The display unit 52 and the operation unit 55 can be incorporated integrally with the main body unit 50 or can be external members connected to the main body unit by wire or wirelessly. Furthermore, if a display part is comprised with a touch panel, a display part and an operation part can also be comprised integrally. The operation unit 55 can also be configured with a wireless connection console.
(Reading area determining means 32)
撮像フレームレートは、撮像周期設定手段31で設定する。撮像フレームレートが速くなると、撮像素子からの読み出し速度が間に合わなくなる。そこで、撮像フレームレートに応じて、与えられた時間内に撮像領域から読み出し可能な領域を、読出領域として制限することにより、高速読み取りに対応させることができる。このための、撮像フレームレートに応じた読取領域の大きさの演算は、読出領域決定手段32で行う。読出領域決定手段32は、撮像フレームレートに基づいて、撮像部10の撮像領域から画像データの読み出しが可能な範囲を読出領域として、読出領域の大きさ及び/又は位置を決定する。なお、このときの演算の基準となる撮像フレームレートは、撮像周期設定手段31で設定された撮像フレームレートとする他、これよりも若干速い周期又は遅い周期とすることもできる。 The imaging frame rate is set by the imaging cycle setting means 31. When the imaging frame rate is increased, the reading speed from the imaging device is not in time. Therefore, by limiting the area that can be read from the imaging area within a given time as a reading area according to the imaging frame rate, it is possible to support high-speed reading. For this purpose, the reading area determining means 32 calculates the size of the reading area in accordance with the imaging frame rate. Based on the imaging frame rate, the reading area determination unit 32 determines the size and / or position of the reading area using a range in which image data can be read from the imaging area of the imaging unit 10 as a reading area. Note that the imaging frame rate serving as a reference for the calculation at this time can be set to the imaging frame rate set by the imaging cycle setting unit 31 or can be a slightly faster cycle or a slower cycle.
読出領域決定手段32は、フレームレート毎に読出領域の大きさ及び/又は位置を演算する。すなわち、撮像周期設定手段31により設定される撮像フレームレートに基づいて、読出領域を演算して求める。これにより、読出領域と撮像フレームレートとの対応を毎回演算して求めることができ、テーブルを不要にできる利点が得られる。また演算式を変更することで、同じ撮像フレームレートであっても縦長、横長、正方形状といった異なる形状の読出領域に変更することが可能となる。 The read area determining means 32 calculates the size and / or position of the read area for each frame rate. That is, the readout area is calculated and obtained based on the imaging frame rate set by the imaging cycle setting means 31. As a result, the correspondence between the readout area and the imaging frame rate can be calculated every time, and an advantage that a table is unnecessary can be obtained. Further, by changing the arithmetic expression, it is possible to change the readout area to a different shape such as vertically long, horizontally long, or square even at the same imaging frame rate.
また読出領域決定手段32は、フレームレート毎に読出領域の大きさ及び/又は位置を演算する他、予めフレームレートと読出領域との対応関係を記録したテーブルなどを利用して参照することもできる。このようなテーブルは、読出領域決定手段32に内蔵する他、別途メモリ等の記憶手段を利用してもよい。図2の例では、撮像フレームレートに対応する読出領域に関する情報を、設定可能な撮像フレームレート毎に記録した対応テーブルが、メモリ部53の対応関係記憶手段56に記録されている。これにより、読出領域決定手段32は、対応関係記憶手段56に記憶された対応テーブルに従い、読出領域を決定する。このような構成は、読出領域決定手段32の負荷を軽減して高速な処理が実現できる。
(表示更新手段33)
In addition to calculating the size and / or position of the reading area for each frame rate, the reading area determining means 32 can also refer to the table using a table in which the correspondence between the frame rate and the reading area is recorded in advance. . Such a table may be incorporated in the read area determination unit 32 or may be a separate storage unit such as a memory. In the example of FIG. 2, a correspondence table in which information related to the readout area corresponding to the imaging frame rate is recorded for each settable imaging frame rate is recorded in the correspondence storage unit 56 of the memory unit 53. Thereby, the read area determining unit 32 determines the read area according to the correspondence table stored in the correspondence storage unit 56. With such a configuration, it is possible to reduce the load on the reading area determination unit 32 and realize high-speed processing.
(Display update means 33)
撮像周期設定手段31によるフレームレートの変更及び変更後の表示部52の更新は、リアルタイムで行うことができる。これにより、ユーザは表示部52で表示される結果を確認しながらフレームレートを撮像周期設定手段31で調整できるので、所望の動画像を得ることができる。すなわち、必要な事象が把握できる撮像フレームレートや、ぶれの少ない撮像フレームレート等、観察用途や目的に応じた最適なフレームレートに調整できる。このような表示更新は、表示更新手段33で行われる。 The change of the frame rate by the imaging cycle setting means 31 and the update of the display unit 52 after the change can be performed in real time. As a result, the user can adjust the frame rate with the imaging cycle setting means 31 while confirming the result displayed on the display unit 52, so that a desired moving image can be obtained. That is, it is possible to adjust to an optimum frame rate according to the observation application and purpose, such as an imaging frame rate at which necessary events can be grasped and an imaging frame rate with less blur. Such display update is performed by the display update means 33.
表示更新手段33は、表示部52上において撮像部10で撮像された画像データを表示させた状態から、該画像データを撮像した撮像フレームレートから撮像周期設定手段31で撮像フレームレートが変更されたことを検出して、前記読出領域決定手段32で決定される該変更後の撮像フレームレートに対応した読出領域の大きさ及び/又は位置に応じて、変更後の撮像フレームレートで撮像された一連の画像データを該変更後の読出領域から読み出して、所定の表示周期(表示フレームレート)で前記表示部52に表示させるよう、前記表示部52の画像表示を更新する。
(領域表示手段34)
The display update unit 33 changes the imaging frame rate by the imaging cycle setting unit 31 from the imaging frame rate at which the image data is captured from the state in which the image data captured by the imaging unit 10 is displayed on the display unit 52. A series of images captured at the changed imaging frame rate according to the size and / or position of the readout area corresponding to the changed imaging frame rate determined by the readout area determining means 32. The image display of the display unit 52 is updated so that the image data is read from the read area after the change and displayed on the display unit 52 at a predetermined display cycle (display frame rate).
(Area display means 34)
一方で、撮像フレームレートを速くすると、撮像素子からの画像データの読み出しが間に合わなくなる。そこで、画像データの読出領域を撮像素子を設けた撮像領域全域とせず、一部の領域に読出領域を制限することで、高速なフレームレートでもコマ落ちを生じない動画像を取得できる。ただ、この場合は撮像できる画像サイズが小さくなるため、ユーザが望む視野が得られないといった事態が生じ得る。特に、フレームレートをリアルタイムで更新する際は、現在どの領域が表示されているのかを把握できなくなることが生じ得る。また、撮像フレームレートの変更により視野の再調整が必要になる場合もある。視野の再調整のために、カメラのピントや照明モジュール66の角度調整などを行うには、実際にヘッド部15に対してユーザ自身の手で調整作業を行う必要がある。特に、表示部52とヘッド部15とが離れた位置にある場合は、ユーザは表示部52の画面を見ながら操作している状態から一旦席を立って、ヘッド部15の場所まで移動して作業を行う必要が生じる。このように再調整作業の手間を考えると、最初の設定段階で撮像フレームレート変更後の視野の変化を見据えた調整を行っておくことが好ましい。 On the other hand, if the imaging frame rate is increased, reading of image data from the imaging device will not be in time. Therefore, by limiting the reading area to a part of the image data reading area rather than the entire imaging area provided with the image sensor, it is possible to obtain a moving image that does not cause frame dropping even at a high frame rate. However, in this case, since the image size that can be captured becomes small, a situation in which the visual field desired by the user cannot be obtained may occur. In particular, when the frame rate is updated in real time, it may be impossible to grasp which area is currently displayed. In some cases, it is necessary to readjust the field of view by changing the imaging frame rate. In order to adjust the field of view and adjust the camera focus and the angle of the illumination module 66, it is necessary to actually adjust the head unit 15 with the user's own hand. In particular, when the display unit 52 and the head unit 15 are separated from each other, the user stands up from the state of operating while viewing the screen of the display unit 52 and moves to the location of the head unit 15. Need to do work. Considering the labor of readjustment in this way, it is preferable to make adjustments with an eye on the change in field of view after changing the imaging frame rate at the initial setting stage.
そこで、ヘッド部15の調整作業を行う段階で、予めフレームレートに応じて表示部52の視野が制限されることをユーザに告知しておくことで、このような被写体を見失う事態やその後の再調整作業の必要性を解消できる。このため、領域表示手段34が、予め読出領域決定手段32で決定されたフレームレート毎の読出領域の大きさ及び/又は位置を示す領域表示RHを、表示部52において重ねて表示する。これにより、撮像フレームレートの変更の際に、事前に変更先の読出し領域を画像上に表示させることで、変更後の読取領域の把握が容易になり、被写体が映らない、あるいは適切な位置を捕捉できていないといった状況の発生を事前に確認することができる。 Therefore, by notifying the user in advance that the field of view of the display unit 52 is limited according to the frame rate at the stage of adjusting the head unit 15, such a situation of losing the subject or the subsequent re-use. The need for adjustment work can be eliminated. For this reason, the area display unit 34 displays the area display RH indicating the size and / or position of the reading area for each frame rate determined in advance by the reading area determining unit 32 in an overlapping manner on the display unit 52. As a result, when the imaging frame rate is changed, the change-out reading area is displayed in advance on the image, so that the reading area after the change can be easily grasped and the subject is not reflected or an appropriate position is set. It is possible to confirm in advance the occurrence of a situation such as failure to capture.
図3に、表示部52に領域表示RHを重ねて表示させた画面例を示す。このように、領域表示RHは被写体の画像データに重ねて、枠状で表示する。また、領域表示RHは一のフレームレートのみを表示する他、図3に示すように複数のフレームレートに対応した領域表示RHを一画面に重ねて表示させてもよい。これにより、様々な撮像フレームレートに対応した読出領域を事前にユーザに告知でき、ユーザは撮像フレームレート変更後の視野を個別に把握でき、さらに利便性が向上する。またこの際、各領域表示RHに対応するフレームレートの値を付記することで、ユーザはフレームレートを撮像周期設定手段31で調整する際の視野の変更を枠状で認識し易くなる。さらに撮像フレームレート変更後の画像にも、これよりも高い撮像フレームレートに対応する領域表示を表示することもできる。なお領域表示手段34は、このような領域表示機能をON/OFFさせることも可能であることはいうまでもない。 FIG. 3 shows a screen example in which the area display RH is displayed on the display unit 52 in an overlapping manner. As described above, the area display RH is displayed in a frame shape so as to overlap the image data of the subject. In addition to displaying only one frame rate, the region display RH may display a region display RH corresponding to a plurality of frame rates in an overlapping manner as shown in FIG. As a result, it is possible to notify the user in advance of the readout areas corresponding to various imaging frame rates, and the user can individually grasp the field of view after changing the imaging frame rate, further improving convenience. At this time, by adding the value of the frame rate corresponding to each region display RH, the user can easily recognize the change in the field of view when adjusting the frame rate by the imaging cycle setting means 31 in a frame shape. Furthermore, a region display corresponding to a higher imaging frame rate can also be displayed on the image after changing the imaging frame rate. It goes without saying that the area display means 34 can also turn on / off such an area display function.
読出領域の大きさは、相対的な大きさの変化として把握できる。このため、ある撮像フレームレートで得た動画像データを表示部52に表示させた状態で、このフレームレートの読出領域の大きさ及び/又は位置をメモリ部53の第1読出領域記憶手段で記憶しておく。この状態で、変更後の撮像フレームレートの候補については、特に記憶しておかずとも、各撮像フレームレートに関して読出領域決定手段32で決定された読出領域の大きさ及び/又は位置は、メモリ部53の第2読出領域認識手段で一時的に保持しておくことで、現在の読出領域と変更後の読出領域との相対的な大きさ及び/又は位置を読出領域決定手段32で求め、この相対的な大きさ及び/又は位置関係から、変更後の読出領域を示す領域表示を、現在の動画像データ上に重畳表示させることができる。
(領域表示調整手段35)
The size of the read area can be grasped as a change in relative size. For this reason, the moving image data obtained at a certain imaging frame rate is displayed on the display unit 52, and the size and / or position of the reading region of this frame rate is stored in the first reading region storage means of the memory unit 53. Keep it. In this state, the size and / or position of the readout area determined by the readout area determination unit 32 for each imaging frame rate is not particularly stored for the changed imaging frame rate candidates. Is temporarily held by the second reading area recognition means, the relative size and / or position of the current reading area and the changed reading area are obtained by the reading area determination means 32, and this relative From the typical size and / or positional relationship, the area display indicating the read area after the change can be superimposed on the current moving image data.
(Area display adjustment means 35)
図3の例では、読出領域は各々表示部52の画面の中央に位置するように設定している。ただ、基準位置は中央に限られず、画面の左上や右下など、任意の位置に設定できる。この調整は、領域表示調整手段35で行う。領域表示調整手段35は、領域表示RHの位置を、該画像データ上で調整する。例えば、基準位置を座標位置で指定したり、マウスなどのポインティングデバイスで、表示部52の画面上から基準位置を直接指定する。
(領域位置指定手段36)
In the example of FIG. 3, each reading area is set to be located at the center of the screen of the display unit 52. However, the reference position is not limited to the center, and can be set to any position such as the upper left or lower right of the screen. This adjustment is performed by the area display adjustment means 35. The area display adjustment means 35 adjusts the position of the area display RH on the image data. For example, the reference position is designated by the coordinate position, or the reference position is designated directly from the screen of the display unit 52 by a pointing device such as a mouse.
(Area position designation means 36)
あるいは、ユーザが基準位置や読出領域の大きさを指定するよう構成してもよい。この指定は、領域位置指定手段36で行う。領域位置指定手段36は、領域表示RHの位置を、該画像データ上で調整する。領域位置指定手段36で、基準位置を座標位置やマウスなどのポインティングデバイスを用いた画面上からの指定により変更できる。これにより、ユーザは広域画像上から、所望の位置に読出領域を指定することができ、撮像フレームレート変更後の表示状態を所望の位置にて確認できる。 Alternatively, the user may specify the reference position and the size of the reading area. This designation is performed by the area position designation means 36. The area position specifying means 36 adjusts the position of the area display RH on the image data. The region position designation means 36 can change the reference position by designation from the screen using a coordinate position or a pointing device such as a mouse. As a result, the user can designate a reading area at a desired position from the wide area image, and can confirm the display state after changing the imaging frame rate at the desired position.
さらに、領域表示RHの基準位置のみならず、領域表示RHの大きさを指定する手段を設けてもよい。例えばユーザは、マウスなどのポインティングデバイスで表示部52の画像表示欄304の画面上から基準位置をクリックで指定したり、隅部をドラッグして矩形状の領域を指定することにより、新たな読出領域を指定することができる。これにより、ユーザは読出領域を、画像データを見ながら変更することが可能となる。当然ながらその読出領域には、変更後の撮像フレームレートに基づき制限が課されることになる。 Furthermore, not only the reference position of the area display RH but also means for designating the size of the area display RH may be provided. For example, the user designates a reference position by clicking on the screen of the image display field 304 of the display unit 52 with a pointing device such as a mouse, or drags a corner to designate a rectangular area, thereby newly reading out An area can be specified. Thereby, the user can change the reading area while viewing the image data. As a matter of course, a restriction is imposed on the readout area based on the changed imaging frame rate.
領域表示RHは、現在表示中の領域よりも狭い読出領域について表示させることができる。このため、領域表示RHを行う画面は、広い視野で被写体を撮像した画像データを基準とすることが好ましい。すなわち、撮像素子のすべてで取得した撮像領域全域で撮像した画像データ上に、領域表示RHを行う。これにより、複数の異なるフレームレートに対応した領域表示RHを表示し易くできる。ただ、これに限られず、例えば表示更新手段で撮像領域よりも狭い読出領域に変更された後でも、さらに狭い読出領域すなわち速いフレームレートに対応した領域表示RHを表示させることもできる。 The area display RH can display a reading area narrower than the area currently being displayed. For this reason, it is preferable that the screen for performing the area display RH is based on image data obtained by imaging a subject with a wide field of view. That is, area display RH is performed on the image data captured in the entire imaging area acquired by all of the imaging elements. Thereby, it is possible to easily display the region display RH corresponding to a plurality of different frame rates. However, the present invention is not limited to this. For example, even after the display updating unit changes the readout area to be narrower than the imaging area, it is also possible to display a further narrow readout area, that is, an area display RH corresponding to a faster frame rate.
また領域表示手段34は、一画面で表示させる領域表示の数を制限することができる。特に、多数の領域表示を一画面で同時に表示させると、所望のフレームレートに対応する領域表示を判別し難いことがある。そこで、領域表示の数を制限することによって、このような問題を解消し見やすい表示とできる。このような領域表示の詳細設定も、領域表示調整手段35にて行うことができる。また、各領域表示を区別するために、枠状を構成する線の色を変更する他、線の太さ、線種(実線、破線、波線等)、点滅・強調・グレーアウトなどのハイライト表示、枠状で囲まれた領域を塗りつぶす色やハッチングパターンを変更する方法や、これらの組み合わせも適宜利用できる。さらに枠状に限られず、例えば四隅に×やアイコンを表示したり、枠状に移動するカーソルの軌跡で領域表示を表現することもできる。あるいは、領域表示を座標位置等の位置情報で表示させてもよい。さらに図3の下部に示すように、撮像フレームレートに応じた縦横のサイズを表示部52の画面上に表示させてもよい。 Further, the area display means 34 can limit the number of area displays displayed on one screen. In particular, when a large number of area displays are simultaneously displayed on one screen, it may be difficult to determine an area display corresponding to a desired frame rate. Therefore, by limiting the number of area displays, such a problem can be solved and the display can be easily viewed. Such area display details can also be set by the area display adjusting means 35. Also, in order to distinguish each area display, in addition to changing the color of the lines that make up the frame shape, highlighting such as line thickness, line type (solid line, broken line, wavy line, etc.), blinking / highlighting / greyout, etc. A method of changing the color or hatching pattern that fills the area surrounded by the frame shape, or a combination of these can also be used as appropriate. Further, the display is not limited to a frame shape, and for example, an x or an icon can be displayed at four corners, or a region display can be expressed by a locus of a cursor moving in a frame shape. Alternatively, the area display may be displayed with position information such as a coordinate position. Furthermore, as shown in the lower part of FIG. 3, vertical and horizontal sizes corresponding to the imaging frame rate may be displayed on the screen of the display unit 52.
さらには、画像表示を行う画像表示欄304とは別画面を設けて、この別画面中で画像表示欄304と対応させて領域表示を行うこともできる。例えば図4に示すように、画像表示欄304の右側にこれよりも小さい縮小表示欄304’を設けて、この縮小表示欄304’上で領域表示RH’を行う。この構成では、画像表示欄304で表示される被写体の表示を妨げることなく、フレームレート変更後の視野の変化を変更前に確認できる。加えて、フレームレート変更後においても、変更前の視野のどの部分を現在観察しているのかを確認できるため、視野の位置の変化の前後を理解し易い利点も得られる。特に、縮小表示欄304’の表示を、撮像領域全体を縮小表示したものに固定することで、フレームレートをどのように変更しても、撮像領域全体を絶対的な指標としてどの部分を観察しているかを把握でき、初心者にも視野の変化の変遷を理解し易くできる。
(時間差表示)
Furthermore, it is also possible to provide a separate screen from the image display column 304 for displaying an image and display the region in correspondence with the image display column 304 in this separate screen. For example, as shown in FIG. 4, a reduced display column 304 ′ smaller than this is provided on the right side of the image display column 304, and an area display RH ′ is performed on the reduced display column 304 ′. With this configuration, it is possible to confirm the change in the field of view after the frame rate change before the change without hindering the display of the subject displayed in the image display field 304. In addition, even after the frame rate is changed, it is possible to confirm which part of the field of view before the change is currently observed, so that it is possible to obtain an advantage that it is easy to understand before and after the change of the position of the field of view. In particular, by fixing the display of the reduced display field 304 ′ to a reduced display of the entire imaging area, no matter which part of the imaging area is observed as an absolute index, regardless of how the frame rate is changed. It is easy for beginners to understand the changes in the field of view.
(Time difference display)
以上の例では、予め枠状の領域表示を複数表示させた状態で、ユーザは撮像周期設定手段31でフレームレートを変更する。この構成では、ユーザはフレームレート変更後の視野の変化を把握するには、先に変更後のフレームレートを決めた上で、複数の領域表示の中から、変更後のフレームレートに対応する領域表示を探し出した後、視野を確認する作業が必要となる。特に、上述のとおり図3に示すように多数の領域表示を同時に表示させる場合は、所望のフレームレートに対応する領域表示がどれに対応するかを探し出すのが容易でないこともある。そこで、予め候補となる複数の領域表示を表示させるのでなく、ユーザが変更後のフレームレートを決定した後に、該フレームレートに対応する領域表示を表示させる構成も採用できる。 In the above example, the user changes the frame rate by the imaging cycle setting means 31 in a state where a plurality of frame-like area displays are displayed in advance. In this configuration, in order to grasp the change in the field of view after the frame rate is changed, the user first determines the frame rate after the change, and then selects an area corresponding to the frame rate after the change from the plurality of area displays. After finding out the display, it is necessary to check the field of view. In particular, as described above, when multiple area displays are displayed simultaneously as shown in FIG. 3, it may not be easy to find out which area display corresponding to a desired frame rate corresponds to. Therefore, it is possible to adopt a configuration in which, instead of displaying a plurality of candidate area displays in advance, an area display corresponding to the frame rate is displayed after the user determines the changed frame rate.
一例として、領域表示手段34が、撮像周期設定手段31でフレームレートが変更されたことを検出すると、フレームレートを変更する前に、変更後のフレームレートに対応した読出領域を示す領域表示RHを、一旦表示部52に表示させる。そしてその後に、所定のタイミングでフレームレートを変更した動画像に表示部52の表示内容を更新する。これにより、変更後の領域表示RHのみを一旦表示した上で、画像表示を更新するため、ユーザは複数の領域表示RHから迷うことなく確実に変更後の読出領域の位置関係を把握できる。しかもフレームレート更新後の動画像への更新は、所定のタイミングで行われるため、突然読出領域を更新されることもなく、視野の変更にも余裕を持って十分対処できる。特に初心者ユーザにおいては、フレームレートのみを変更したいのに、突然視野までが変更されると戸惑う虞があるが、フレームレート変更に伴い視野も変化することを一旦告知された上で、該変更を行うのであれば、このような違和感も低減され、スムーズに操作を理解できることが期待される。 As an example, when the area display unit 34 detects that the frame rate has been changed by the imaging period setting unit 31, before changing the frame rate, the area display RH indicating the readout area corresponding to the changed frame rate is displayed. , Once displayed on the display unit 52. After that, the display content of the display unit 52 is updated to a moving image whose frame rate has been changed at a predetermined timing. As a result, only the area display RH after the change is displayed once, and the image display is updated. Therefore, the user can surely grasp the positional relationship of the read areas after the change without hesitation from the plurality of area displays RH. In addition, since the update to the moving image after the frame rate is updated is performed at a predetermined timing, the reading area is not suddenly updated, and the change of the field of view can be sufficiently handled with a margin. Especially for novice users, there is a risk of being confused if the field of view is suddenly changed when only the frame rate is to be changed, but once the change of the field of view has been announced as the frame rate is changed, the change is made. If performed, such a sense of incongruity is reduced, and it is expected that the operation can be understood smoothly.
ここで動画像の表示を更新する所定のタイミングとは、ユーザが表示の更新の実行を指示する変更指示手段37を操作したタイミングとしたり、ユーザが撮像フレームレートを変更したタイミングから一定時間(例えば数秒)経過後とできる。変更指示手段37の操作(例えば更新ボタンの押下)によれば、ユーザ自身のペースで更新を実行できるので、特に初心者ユーザには判りやすい。また一定時間経過後に自動的に更新する構成では、変更指示ボタンの押下といった特定の操作を不要として自動で表示を更新できるので、ユーザの操作の負担を軽減できる。これらは、ユーザの要求に応じて、適宜採用したり、あるいはこれらを切り替えて実行することができる。
(撮像フレームレートと視野範囲の調整作業)
Here, the predetermined timing for updating the display of the moving image is a timing at which the user operates the change instructing means 37 for instructing execution of the display update, or a predetermined time from the timing at which the user changes the imaging frame rate (for example, After a few seconds). According to the operation of the change instruction unit 37 (for example, pressing of the update button), the update can be executed at the user's own pace, so that it is particularly easy for a novice user to understand. Further, in the configuration in which the update is automatically performed after a certain period of time, the display can be automatically updated without requiring a specific operation such as pressing the change instruction button, so that the burden on the user's operation can be reduced. These can be adopted as appropriate according to the user's request, or can be switched and executed.
(Adjustment of imaging frame rate and field of view)
以上の領域表示手段34を用いて、撮像フレームレートとこれに応じた視野範囲を調整する手順を、図31のフローチャートに基づいて説明する。まず、ステップS’1で変更したい撮像フレームレートを指定する。フレームレートの変更は、後述する図17等に示す撮像周期設定手段の一形態である「フレームレートに応じた視野範囲を表示」欄382から行う。この段階では、撮像フレームレートの変更処理そのものは未だ実行されない。次にステップS’2で、撮像フレームレート変更後の領域を表示させる。図17の例では、「フレームレートに応じた視野範囲を表示」欄382のフレームレートを変更すると、表示部の画像表示欄304に、指定されたフレームレートに対応する視野範囲を示す領域表示RHが重畳表示される。次にステップS’3として、被写体が領域内に含まれているかどうかを判定する。ここではユーザが、画像表示欄304の領域表示RHに、被写体の所望の部位が適切に含まれているかどうかを確認し、適切に含まれている場合はステップS’5にジャンプし、不適切な場合はステップS’4で、被写体が領域内に含まれるようにカメラの位置や倍率などを調整した後、ステップS’5に進む。ステップS’5では、撮像フレームレートの変更を実行する。ここでは、撮像フレームレート変更後の視野範囲を表示部の画像表示欄304に表示するよう、表示内容を更新する。このようにして、ユーザは領域表示手段34を利用することで、所望の撮像フレームレートに調整しつつ、変更後の視野範囲も適切に指定できる。
(仮撮像)
A procedure for adjusting the imaging frame rate and the field-of-view range according to the above using the region display unit 34 will be described with reference to the flowchart of FIG. First, in step S′1, an imaging frame rate to be changed is designated. The change of the frame rate is performed from the “display field-of-view range corresponding to the frame rate” column 382, which is one form of the imaging cycle setting means shown in FIG. At this stage, the imaging frame rate changing process itself is not yet executed. Next, in step S′2, the area after changing the imaging frame rate is displayed. In the example of FIG. 17, when the frame rate in the “display visual field range according to frame rate” field 382 is changed, the region display RH indicating the visual field range corresponding to the designated frame rate is displayed in the image display field 304 of the display unit. Is superimposed. Next, in step S′3, it is determined whether or not the subject is included in the area. Here, the user confirms whether or not the desired region of the subject is properly included in the region display RH in the image display field 304. If it is included appropriately, the user jumps to step S'5 and is inappropriate. If not, in step S′4, the camera position, magnification, etc. are adjusted so that the subject is included in the area, and the process proceeds to step S′5. In step S′5, the imaging frame rate is changed. Here, the display content is updated so that the field-of-view range after changing the imaging frame rate is displayed in the image display field 304 of the display unit. In this way, the user can appropriately specify the changed visual field range by using the area display means 34 while adjusting to a desired imaging frame rate.
(Tentative imaging)
動画像撮像装置100は、動画像の撮像、保存前に、設定された条件で表示部52にライブ画像を表示する。また、設定された条件で仮撮影を行なった動画像データを表示部52に表示することもできる。このような仮撮像機能を備える動画像撮像装置100のブロック図を、図5に示す。この図に示す動画像撮像装置100は、図2と同じく撮像部10と、撮像制御部13と、表示部52とを備えており、外部入力機器GNから操作される。また撮像制御部13は、撮像部10で撮像した動画像データを、仮設定されたフレームレートで表示部52にリアルタイム表示させるためのライブ処理部82と、仮設定で撮像した動画像データを確認しながら調整された撮像条件で動画像を取得し、データを保存するための録画再生部83とを備えている。 The moving image capturing apparatus 100 displays a live image on the display unit 52 under the set conditions before capturing and storing a moving image. In addition, moving image data that has been temporarily shot under the set conditions can be displayed on the display unit 52. FIG. 5 shows a block diagram of the moving image imaging apparatus 100 having such a provisional imaging function. The moving image imaging apparatus 100 shown in this figure includes an imaging unit 10, an imaging control unit 13, and a display unit 52, as in FIG. 2, and is operated from an external input device GN. In addition, the imaging control unit 13 confirms the moving image data captured by the imaging unit 10 and the live processing unit 82 for displaying the moving image data captured by the imaging unit 10 in real time on the display unit 52 at the temporarily set frame rate. A recording / playback unit 83 is provided for acquiring a moving image under the adjusted imaging conditions and storing the data.
外部入力機器GNとしては、マウスなどの操作部55が利用できる。ユーザは操作部55を操作して、撮像周期設定手段31でフレームレートを設定、変更できる。撮像部10は、設定されたフレームレートに従い、被写体の動画像を撮像する。一方で、外部入力機器GNで処理選択部84を操作し、動画像データの送り先として録画再生部83とライブ処理部82とを切り替える。この切り替え先に従い、撮像部10の撮像素子12から読み出された動画像データは、データ切換部89により切り替えられた側の録画再生部83又はライブ処理部82に送出される。なお、図5の例では操作部55を接続しているが、外部入力機器GNとして外部トリガを発生させる機器を利用することもでき、より多様な利用が可能となる。
(ライブ処理部82)
An operation unit 55 such as a mouse can be used as the external input device GN. The user can set and change the frame rate with the imaging period setting means 31 by operating the operation unit 55. The imaging unit 10 captures a moving image of the subject according to the set frame rate. On the other hand, the processing selection unit 84 is operated by the external input device GN, and the recording / playback unit 83 and the live processing unit 82 are switched as moving image data destinations. In accordance with this switching destination, the moving image data read from the image sensor 12 of the imaging unit 10 is sent to the recording / playback unit 83 or live processing unit 82 on the side switched by the data switching unit 89. Note that although the operation unit 55 is connected in the example of FIG. 5, a device that generates an external trigger can be used as the external input device GN, and more various uses are possible.
(Live processing unit 82)
ライブ処理部82は、連続画像抽出部85と、画像出力部86とを備える。連続画像抽出部85では、撮像部10で得られた画像データを表示フレームレートで表示できるように、一定周期で間引きながら抽出する。抽出された画像データはライブ画像として、画像出力部86から表示部52に表示フレームレートで出力されて、表示される。これにより、高いフレームレートで撮影したリアルタイムの画像データを、低いフレームレートのライブ画像として表示でき、ライブ観察を行える。
(録画再生部83)
The live processing unit 82 includes a continuous image extraction unit 85 and an image output unit 86. The continuous image extraction unit 85 extracts the image data obtained by the imaging unit 10 while thinning out at a constant cycle so that the image data can be displayed at the display frame rate. The extracted image data is output as a live image from the image output unit 86 to the display unit 52 at the display frame rate and displayed. Thereby, real-time image data captured at a high frame rate can be displayed as a live image at a low frame rate, and live observation can be performed.
(Recording / playback unit 83)
録画再生部83では、ライブ処理部82でのリアルタイム表示を参照しながら決定された本設定の撮像条件等に従って、実際に動画像データを取得、保存する。この録画再生部83は、トリガ処理部87と、画像書き込み部88と、画像記憶部58と、画像読出部86’とを備える。トリガ処理部87は、外部入力部から指定されたタイミングあるいは所定のトリガに従って、撮像開始を画像書き込み部88に指示する。画像書き込み部88は、トリガ処理部87からのトリガに従い、動画像データを取り込み、メモリ部53の画像記憶部58に保存する。保存された動画像データは、画像読出部86’で読み出されて表示部52に表示される。 The recording / playback unit 83 actually acquires and stores moving image data in accordance with the imaging conditions of this setting determined with reference to the real-time display in the live processing unit 82. The recording / playback unit 83 includes a trigger processing unit 87, an image writing unit 88, an image storage unit 58, and an image reading unit 86 '. The trigger processing unit 87 instructs the image writing unit 88 to start imaging according to a timing designated by the external input unit or a predetermined trigger. The image writing unit 88 takes in moving image data in accordance with the trigger from the trigger processing unit 87 and stores it in the image storage unit 58 of the memory unit 53. The stored moving image data is read by the image reading unit 86 ′ and displayed on the display unit 52.
最終的に決定される本撮像条件も、操作部55などで撮像周期設定手段31やシャッタースピード設定手段38、トリガ設定手段39等を操作して行われる。例えば撮像周期設定手段31で設定された撮像フレームレートに従い、撮像部10で画像データを連続して撮像し、撮像された所定枚数の画像データを画像書き込み部88が画像記憶部58に記録する。 The final imaging condition finally determined is also performed by operating the imaging cycle setting unit 31, the shutter speed setting unit 38, the trigger setting unit 39, and the like with the operation unit 55 and the like. For example, according to the imaging frame rate set by the imaging cycle setting means 31, image data is continuously captured by the imaging unit 10, and a predetermined number of image data captured is recorded in the image storage unit 58 by the image writing unit 88.
画像読出部86’は、記録された所定枚数の画像データを、撮像された順番に、表示フレームレートで表示部52に再生する。表示フレームレートを撮像フレームレートよりも遅い周期に設定することで、スロー再生が実現される。
(動画像の撮像)
The image reading unit 86 ′ reproduces a predetermined number of recorded image data on the display unit 52 at a display frame rate in the order of image capturing. Slow reproduction is realized by setting the display frame rate to a cycle slower than the imaging frame rate.
(Moving images)
次に、動画像の撮像時の設定手順を説明する。図1に示すように、動画像撮像装置100のヘッド部15として、カラー撮像用若しくはモノクロ撮像用の撮像素子12を内蔵する撮像モジュール16を選択し、撮像モジュール16の先端にレンズモジュール20を装着する。このとき、撮像モジュール16に内蔵される撮像素子12の光軸と、レンズモジュール20の光軸が一致するよう、光学的に接合される。さらに照明手段60として照明ユニット66を、撮像モジュール16若しくはレンズモジュール20に装着している。このように、照明ユニット66をレンズモジュール20と別部材としつつ、ヘッド部15に装着可能とすることで、従来別体で設置が面倒であった高速度観察用の照明設備を容易に準備でき、さらに調整作業も、照明ユニット傾斜角調整手段により簡素化される。図1の例では、照明ユニット66をレンズモジュール20に対して脱着可能としている。ただ、照明ユニットをレンズモジュールに予め一体的に固定したタイプを使用すれば、レンズモジュールのみをヘッド部に装着して取り扱いを容易にできる。
(動画像撮像装置の設定プログラム)
Next, a setting procedure when capturing a moving image will be described. As shown in FIG. 1, as the head unit 15 of the moving image imaging apparatus 100, an imaging module 16 that incorporates an imaging element 12 for color imaging or monochrome imaging is selected, and the lens module 20 is attached to the tip of the imaging module 16. To do. At this time, the optical axis of the image pickup device 12 built in the image pickup module 16 and the optical axis of the lens module 20 are optically joined so as to coincide with each other. Further, an illumination unit 66 is attached to the imaging module 16 or the lens module 20 as the illumination means 60. In this way, by making the illumination unit 66 a separate member from the lens module 20 and enabling it to be mounted on the head unit 15, it is possible to easily prepare illumination equipment for high-speed observation that has been troublesome to install separately in the past. Furthermore, the adjustment work is also simplified by the illumination unit tilt angle adjusting means. In the example of FIG. 1, the illumination unit 66 can be attached to and detached from the lens module 20. However, if a type in which the illumination unit is integrally fixed to the lens module in advance is used, only the lens module can be attached to the head portion to facilitate handling.
(Setting program for moving image capturing device)
ここで、動画像撮像装置100を設定、操作する動画像撮像装置の設定プログラムのユーザインターフェース画面300の一例を、図6〜図7に示す。ここで図6は高速度撮像、すなわち動画像の録画を行う録画モード画面300A、図7は録画した高速度撮像データ(動画像データ)を再生するプレビューモード画面300Bを、それぞれ示している。このプログラムにおいては、録画モード画面300Aで高速度撮像した動画像データを、プレビューモード画面300Bで表示させる。これら録画モード画面300Aとプレビューモード画面300Bの切替は、画面右上に設けられた画面切替手段302である「録画モード」、「プレビューモード」切替ボタンをそれぞれ選択することで行える。 Here, an example of the user interface screen 300 of the setting program of the moving image capturing apparatus for setting and operating the moving image capturing apparatus 100 is shown in FIGS. 6 shows a recording mode screen 300A for performing high-speed imaging, that is, recording a moving image, and FIG. 7 shows a preview mode screen 300B for reproducing recorded high-speed imaging data (moving image data). In this program, moving image data captured at a high speed on the recording mode screen 300A is displayed on the preview mode screen 300B. Switching between the recording mode screen 300A and the preview mode screen 300B can be performed by selecting the “recording mode” and “preview mode” switching buttons, which are the screen switching means 302 provided at the upper right of the screen.
これら図6、図7はすべての設定項目を直接操作可能な通常録画モードの設定画面である。また各画面の基本構成は共通としており、中央に画像を表示する画像表示欄304、その上段に各種設定を行う画面に切り替えるためのツールボタン類を配置したツールバー320が配置される。またツールバー320の下で、画像表示欄304の右側には画面を切り替える画面切替手段302、その下には各メニューにおける具体的な設定項目の項目設定欄310、さらに画像表示欄304の下段にはプログレスバー306A、306Bやトリガ設定、開始、停止ボタンなどを備える動作設定欄306が、それぞれ設けられている。 6 and 7 are normal recording mode setting screens in which all the setting items can be directly operated. The basic configuration of each screen is common, and an image display field 304 for displaying an image at the center, and a tool bar 320 on which tool buttons for switching to a screen for performing various settings are arranged at the top. Also, below the toolbar 320, the screen switching means 302 for switching the screen is on the right side of the image display column 304, below that is the item setting column 310 of specific setting items in each menu, and further below the image display column 304 is below. An operation setting column 306 including progress bars 306A and 306B, trigger setting, start and stop buttons, and the like is provided.
なお、これらのプログラムの画面例において各入力欄や各ボタン等の配置、形状、表示の仕方、サイズ、配色、模様等は適宜変更できることはいうまでもない。デザインの変更によってより見やすく、評価や判断が容易な表示としたり操作しやすいレイアウトとすることもできる。例えば図6の例では画像表示欄304と項目設定欄310を同一画面に表示させているが、これらのいずれかを各々別ウィンドウで表示させてもよいことはいうまでもない。 Needless to say, in the screen examples of these programs, the arrangement, shape, display method, size, color scheme, pattern, etc. of each input field and button can be changed as appropriate. By changing the design, the layout can be made easier to display, easier to evaluate and judge, and easy to operate. For example, in the example of FIG. 6, the image display field 304 and the item setting field 310 are displayed on the same screen, but it goes without saying that any of these may be displayed in separate windows.
またこれらのプログラムのユーザインターフェース画面において、仮想的に設けられたボタン類や入力欄に対するON/OFF操作、数値や命令入力等の指定は、動画像撮像装置の設定プログラムを組み込んだ動画像撮像装置あるいは動画像撮像装置の設定プログラムをインストールしたコンピュータに接続された操作部55で行う。本明細書において「押下する」とは、ボタン類に物理的に触れて操作する他、操作部55によりクリックあるいは選択して擬似的に押下することを含む。 In addition, on the user interface screens of these programs, ON / OFF operations for numerically provided buttons and input fields, designation of numerical values and command inputs, etc. are specified by a moving image pickup apparatus incorporating a setting program for the moving image pickup apparatus. Alternatively, the operation is performed by the operation unit 55 connected to the computer in which the setting program for the moving image capturing apparatus is installed. In this specification, “pressing” includes not only physically touching buttons and operating them, but also clicking or selecting with the operation unit 55 and pressing them in a pseudo manner.
また操作部自体として、動画像撮像装置に接続されたコンピュータも利用できる。このコンピュータで動画像撮像装置の設定支援プログラムを実行させることで、操作部を動画像撮像装置の設定支援装置として機能させることができる。もちろん、動画像撮像装置の本体部自体に、このような動画像撮像装置の設定支援装置や設定支援プログラムを内蔵させることも可能であることはいうまでもない。さらに、操作部として外部入力機器を用い、外部入力機器とデータ通信を行ったり、あるいは外部トリガを入力するなどして、操作を行うこともできる。
(録画モード画面300A)
A computer connected to the moving image capturing apparatus can also be used as the operation unit itself. By causing the computer to execute a setting support program for the moving image capturing apparatus, the operation unit can function as a setting support apparatus for the moving image capturing apparatus. Of course, it goes without saying that such a setting support device or setting support program for the moving image capturing apparatus can be incorporated in the main body of the moving image capturing apparatus itself. Furthermore, an external input device can be used as the operation unit, and data can be communicated with the external input device or an external trigger can be input to perform an operation.
(Recording mode screen 300A)
まず、図6に示す録画モード画面300Aについて説明する。録画モード画面300Aにおいては、項目設定欄310に、明るさを設定する明るさ設定欄311、フレームレートを設定する撮像フレームレート設定欄315、及び各種操作を実行する操作ボタン類316が配置される。明るさ設定欄311においては、撮像部10のシャッタースピードを設定するためのシャッタースピード設定欄312、ゲインを設定するためのゲイン設定欄314が設けられる。またその下には撮像時のフレームレートを設定するための撮像フレームレート設定欄315、スロー観察を行うためのスロー観察ボタン316B、録画を開始するための録画ボタン318が設けられる。シャッタースピード設定欄312、ゲイン設定欄314では、それぞれ右側に設けられたドロップボタンを押下すれば、予め設定された数値がドロップダウンメニューあるいはプルダウンメニューで選択肢として提示される。また、数値を直接入力可能としてもよい。
(シャッタースピード設定欄312)
First, the recording mode screen 300A shown in FIG. 6 will be described. In the recording mode screen 300A, the item setting field 310 includes a brightness setting field 311 for setting brightness, an imaging frame rate setting field 315 for setting a frame rate, and operation buttons 316 for performing various operations. . In the brightness setting column 311, a shutter speed setting column 312 for setting the shutter speed of the imaging unit 10 and a gain setting column 314 for setting a gain are provided. Below that, an imaging frame rate setting field 315 for setting a frame rate at the time of imaging, a slow observation button 316B for performing slow observation, and a recording button 318 for starting recording are provided. In the shutter speed setting field 312 and the gain setting field 314, if a drop button provided on the right side is pressed, a preset numerical value is presented as an option in a drop-down menu or a pull-down menu. Further, it is possible to directly input a numerical value.
(Shutter speed setting field 312)
シャッタースピード設定欄312はシャッタースピード設定手段38の一形態として、カメラのシャッタースピードすなわち露光時間を設定する。ここでシャッタースピードは、動画像を撮像する撮像フレームレートの逆数よりも速くすることはできない。例えば撮像フレームレートが1000fpsのときは、シャッタースピードは1/100000〜1/1000秒までしか設定できないことになる。この例では、シャッタースピードを1/100000〜1/30秒の範囲で設定可能としている。
(ゲイン設定欄314)
The shutter speed setting field 312 sets the shutter speed of the camera, that is, the exposure time, as one form of the shutter speed setting means 38. Here, the shutter speed cannot be faster than the reciprocal of the imaging frame rate for capturing a moving image. For example, when the imaging frame rate is 1000 fps, the shutter speed can be set only from 1/100000 to 1/1000 seconds. In this example, the shutter speed can be set in the range of 1/100000 to 1/30 seconds.
(Gain setting field 314)
ゲイン設定欄314では、カメラのゲインを設定する。ここでは、×1(0dB)、×2(+6.0dB)、×3(9.5dB)の3段階で調整可能としている。
(仮撮像開始ボタン317)
In the gain setting field 314, the gain of the camera is set. Here, adjustment is possible in three stages of x1 (0 dB), x2 (+6.0 dB), and x3 (9.5 dB).
(Temporary imaging start button 317)
またゲイン設定欄314の下には、仮撮像を実行するための仮撮像開始ボタン317と、一時停止ボタン317’が設けられている。仮撮像開始ボタン317を押下すると、現在設定中の撮像条件にて仮撮像が実行され、直ちに画像表示欄304に表示される。ただし、仮撮像されたデータはメモリ部53で一時的に展開されるのみで、保存はされない。
(撮像フレームレート設定欄315)
Under the gain setting field 314, a temporary imaging start button 317 and a temporary stop button 317 ′ for executing temporary imaging are provided. When the provisional imaging start button 317 is pressed, provisional imaging is executed under the imaging conditions that are currently set, and immediately displayed in the image display field 304. However, the temporarily captured data is only temporarily expanded in the memory unit 53 and is not saved.
(Imaging frame rate setting field 315)
撮像フレームレート設定欄315では、カメラの撮像時のフレームレートを数値で設定する。また撮像フレームレート設定欄315の右側に設けられたスピンボタンを押下して、数値を増減させることもできる。 In the imaging frame rate setting column 315, the frame rate at the time of imaging by the camera is set as a numerical value. In addition, a numerical value can be increased or decreased by pressing a spin button provided on the right side of the imaging frame rate setting field 315.
撮像フレームレートが遅い状態では、撮像領域のすべてを使った静止画像データを毎回取得することができる。しかし撮像フレームレートが速くなると、撮像素子からの読み出し速度が間に合わなくなるため、読出領域が制限される。この例では、撮像フレームレートが30、60、125、250fpsの間は、読出領域は最大の画面サイズである640×480ピクセルでの撮像が可能である。これ以上の撮像フレームレートでは画面サイズは制限され、例えば500fpsのとき640×240ピクセル、1000fpsのとき256×256ピクセル、2000fpsのとき256×128ピクセル、4000fpsのとき128×120ピクセル、8000fpsのとき128×60ピクセル、16000fpsのとき64×50ピクセル、24000fpsのとき64×32ピクセルに、それぞれ制限される。
(スロー観察ボタン316B)
In a state where the imaging frame rate is low, still image data using the entire imaging area can be acquired each time. However, when the imaging frame rate is increased, the readout speed from the imaging device is not in time, so that the readout area is limited. In this example, when the imaging frame rate is 30, 60, 125, or 250 fps, the readout area can be imaged at 640 × 480 pixels, which is the maximum screen size. The screen size is limited at higher imaging frame rates, for example, 640 × 240 pixels at 500 fps, 256 × 256 pixels at 1000 fps, 256 × 128 pixels at 2000 fps, 128 × 120 pixels at 4000 fps, and 128 at 8000 fps. It is limited to 64 × 50 pixels at × 60 pixels, 16000 fps, and 64 × 32 pixels at 24000 fps, respectively.
(Slow observation button 316B)
さらにスロー観察ボタン316Bを押下すると、スロー観察が実行される。このスロー観察では、指定された撮像フレームレートで得た静止画中から連続した一定枚数(例えば10〜30枚)を抽出し、抽出した静止画を表示部52上で指定された再生フレームレートで再生する動作を繰り返す表示を行う。これによって、一定時間内での連続した変化状態すなわち映像の滑らかさを確認できる。ここでは、あくまで仮のフレームレートやシャッタースピードといった仮撮像条件で得られた動画像データのイメージを、ユーザが実際に確認するために表示部52に表示させるものである。ユーザは、仮撮像条件を種々調整しながら、どのような撮像条件に設定すれば所望の動画像が撮像されるか、試行錯誤しながら確認することができる。このため仮設定により得られた動画像データの保存は行わない。 When the slow observation button 316B is further pressed, slow observation is executed. In this slow observation, a fixed number of continuous images (for example, 10 to 30 images) are extracted from still images obtained at a designated imaging frame rate, and the extracted still images are reproduced at a reproduction frame rate designated on the display unit 52. The display to repeat the playback operation is performed. Thereby, it is possible to confirm a continuous change state within a certain time, that is, smoothness of the image. Here, the image of the moving image data obtained under the provisional imaging conditions such as the provisional frame rate and shutter speed is displayed on the display unit 52 for the user to actually confirm. The user can confirm, by trial and error, what kind of imaging conditions should be set to capture a desired moving image while variously adjusting the provisional imaging conditions. For this reason, the moving image data obtained by the temporary setting is not saved.
仮撮像条件は、操作部55などの外部入力機器GNで撮像周期設定手段31やシャッタースピード設定手段38、トリガ設定手段39等を調整して行われる。例えば撮像周期設定手段31で仮設定された仮撮像フレームレートに従い、撮像部10で画像データを連続して撮像し、撮像した所定枚数の画像データを抽出して保持する。そして仮撮像フレームレートよりも遅い表示フレームレートとして、表示部52に表示させる。同様にシャッタースピードも、シャッタースピード設定手段38で仮設定して、この仮シャッタースピードで撮像された画像データを表示部52で再生させる。このような仮設定にしたがって得られた動画像を実際に表示部52で確認しながら、所望の設定値に調整していく。また表示部52での表示の更新速度を遅くすれば、いわゆる像ぶれを確認することもできる。 The temporary imaging condition is performed by adjusting the imaging cycle setting unit 31, the shutter speed setting unit 38, the trigger setting unit 39, and the like with an external input device GN such as the operation unit 55. For example, in accordance with the provisional imaging frame rate temporarily set by the imaging cycle setting unit 31, the imaging unit 10 continuously captures image data, and extracts and holds a predetermined number of captured image data. Then, the display unit 52 displays the display frame rate slower than the provisional imaging frame rate. Similarly, the shutter speed is also temporarily set by the shutter speed setting means 38, and the image data captured at this temporary shutter speed is reproduced on the display unit 52. While actually confirming the moving image obtained according to such temporary setting on the display unit 52, the moving image is adjusted to a desired setting value. Further, if the display update speed on the display unit 52 is slowed, so-called image blur can be confirmed.
ユーザは、このようにして仮撮像された動画像を確認しながら撮像条件を調整でき、最終的な撮像条件が決定された後、録画ボタン318を押下して本撮像を開始する。すなわち録画ボタン318を押下したタイミングで、図5のブロック図における処理選択部84による録画再生部83からライブ処理部82への切り替え処理が実行され、動画像データが画像記憶部58に記録される。なお録画ボタン318は、撮像前は「録画準備」、撮像中は「録画中」とボタンの文字表示が変化し、現在の状態を判別し易くできる。 The user can adjust the imaging condition while confirming the moving image temporarily captured as described above, and after the final imaging condition is determined, the user presses the recording button 318 to start the main imaging. That is, at the timing when the recording button 318 is pressed, the switching process from the recording / playback unit 83 to the live processing unit 82 by the processing selection unit 84 in the block diagram of FIG. 5 is executed, and moving image data is recorded in the image storage unit 58. . Note that the video button 318 changes the character display of the button to “recording preparation” before imaging and “recording” during imaging, so that the current state can be easily identified.
また、被写体に対し周期的に強い照明光を照射し、これに同期させて撮像を行うためのストロボスコープを行うためのボタン類を設けてもよい。
(トリガ設定手段)
Further, buttons for performing a stroboscope for irradiating a subject with strong illumination light periodically and performing imaging in synchronization therewith may be provided.
(Trigger setting means)
動作設定欄306には、左側にプログレスバー306Aと、一時保存された動画像データをメモリ番号で呼び出すためのメモリ番号選択欄307、動画像データの開始、終了のタイミングを指定するトリガの詳細を設定するためのトリガ設定ボタン308を備える。トリガ設定ボタン308はトリガの設定を行うトリガ設定手段39の一形態であり、このボタンを押下すると、図8に示すトリガ設定画面308’のダイヤログが表示される。この画面から、「録画時間」タブ308aを選択し、トリガの種別や撮像フレームレート、静止画の撮像枚数などを設定する。トリガの種別はトリガタイプ選択欄308bから選択でき、ここではプルダウンメニューでスタートトリガ、センタートリガ、エンドトリガ、カスタムトリガのいずれかを選択する。スタートトリガでは、撮像開始を、エンドトリガでは撮像終了を、それぞれトリガとして指示する。またセンタートリガでは、プレトリガで画像を連続撮像中にトリガが入力されると、トリガのタイミングが中心となるように撮像を継続し、自動的に終了する。さらにマニュアルトリガでは、手動で撮像の開始、終了タイミングを指定する。トリガタイプ選択欄で選択されたトリガ種別に応じて、トリガ設定欄308cが表示され、トリガ前、トリガ後等の録画時間の設定が可能となる。図8の例ではトリガ種別としてスタートトリガを選択しており、トリガ入力後の動作をトリガ設定欄308cで設定している。ここでは、録画時間として撮像フレームレートと、撮像枚数を数値で入力する。また、トリガ設定欄308cでの設定内容に応じて、撮像される録画時間が演算されて表示される。さらに、図6のプログレスバー306Aの下部には、録画可能な撮像可能時間も表示される。また、録画中には残り時間を表示させてもよい。
(録画ボタン318)
The operation setting field 306 includes a progress bar 306A on the left side, a memory number selection field 307 for calling the temporarily stored moving image data by a memory number, and details of a trigger for specifying the start and end timing of the moving image data. A trigger setting button 308 for setting is provided. The trigger setting button 308 is one form of trigger setting means 39 for setting a trigger, and when this button is pressed, a dialog of a trigger setting screen 308 ′ shown in FIG. 8 is displayed. From this screen, a “recording time” tab 308a is selected, and a trigger type, an imaging frame rate, the number of still images to be captured, and the like are set. The trigger type can be selected from the trigger type selection field 308b, and here, a start trigger, a center trigger, an end trigger, or a custom trigger is selected from a pull-down menu. The start trigger instructs to start imaging, and the end trigger instructs to end imaging. In the center trigger, when a trigger is input during continuous imaging of images with a pre-trigger, imaging is continued so that the trigger timing is at the center, and the processing is automatically terminated. Further, in the manual trigger, the start and end timing of imaging is manually specified. The trigger setting field 308c is displayed according to the trigger type selected in the trigger type selection field, and the recording time can be set before triggering or after triggering. In the example of FIG. 8, the start trigger is selected as the trigger type, and the operation after trigger input is set in the trigger setting field 308c. Here, the imaging frame rate and the number of images to be captured are input as numerical values as the recording time. Further, the recording time for imaging is calculated and displayed according to the setting content in the trigger setting field 308c. Further, the recordable time that can be recorded is also displayed below the progress bar 306A in FIG. Further, the remaining time may be displayed during recording.
(Record button 318)
図6の画面から上述した録画ボタン318を押下すると、このタイミングで撮像開始のトリガが入力され、撮像が開始される。撮像中は、プログレスバー306Aに進捗状況が表示される。プログレスバー306Aは、左端をトリガ位置として、撮像のタスクがどの程度の割合まで完了したかを棒グラフ状に示す。またプログレスバー306Aの下には、撮影可能時間が表示されており、図6の例ではトリガ開始後6.5秒間の撮影が可能なことが示されている。撮像された動画像データは、メモリ番号を付されて、メモリ部53の画像記憶部58に一時的に保存される。また複数の動画像データを一時保存することもでき、各動画像データはメモリ番号で区別される。 When the recording button 318 described above is pressed from the screen in FIG. 6, a trigger for starting imaging is input at this timing, and imaging is started. During imaging, the progress status is displayed on the progress bar 306A. The progress bar 306A indicates in a bar graph the extent to which the imaging task has been completed with the left end as the trigger position. In addition, a shootable time is displayed below the progress bar 306A. In the example of FIG. 6, it is shown that shooting can be performed for 6.5 seconds after the trigger is started. The captured moving image data is given a memory number and temporarily stored in the image storage unit 58 of the memory unit 53. Also, a plurality of moving image data can be temporarily stored, and each moving image data is distinguished by a memory number.
またツールバー320には、主に録画の撮像条件を設定する録画設定ボタン320B、撮像に使用するレンズモジュール20の設定を行うレンズボタン320D、撮像された画像上で、面積や距離測定等各種の計測を行うための計測ボタン320C、画像の印刷を行うための印刷ボタン320E、画像に対してユーザが任意のコメントを付加するためのコメント入力ボタン320F、画像の表示設定を行う表示ボタン320G、撮像素子12や撮像される画像の設定を行うカメラ・画像ボタン320H、ヘルプを呼び出すためのヘルプボタン320A、撮像済みの画像の整理や閲覧を行うためのアルバムボタン320I、動画像撮像装置の設定プログラムの起動時に表示される初期メニュー(後述する図10)を呼び出す初期メニューボタン320J、及び動画像撮像装置の電源をON/OFFするための電源ボタン320Kが、それぞれ表示されている。
(画面切替手段302)
The tool bar 320 includes a recording setting button 320B for mainly setting imaging conditions for recording, a lens button 320D for setting the lens module 20 used for imaging, and various measurements such as area and distance measurement on the captured image. A measurement button 320C for performing an image, a print button 320E for printing an image, a comment input button 320F for a user to add an arbitrary comment to the image, a display button 320G for performing image display settings, and an image sensor 12, a camera / image button 320H for setting an image to be captured, a help button 320A for calling up help, an album button 320I for organizing and browsing captured images, and starting a setting program for the moving image capturing apparatus An initial menu button for calling an initial menu (FIG. 10 to be described later) displayed at the time 20 J, and a power button 320K for ON / OFF the power of the moving picture imaging apparatus, are displayed.
(Screen switching means 302)
図6に示す録画モード画面300Aの画面切替手段302では、録画モードボタンが押下されて選択されている。ここでは録画モードボタンをハイライト表示すると共に、プレビューモードボタンがグレーアウトされており、現在選択されているモードが録画モードであることを示している。このように画面切替手段302は、選択中のモードを示すモード表示欄としても機能する。 In the screen switching means 302 of the recording mode screen 300A shown in FIG. 6, the recording mode button is pressed and selected. Here, the recording mode button is highlighted and the preview mode button is grayed out, indicating that the currently selected mode is the recording mode. As described above, the screen switching unit 302 also functions as a mode display field indicating the mode being selected.
さらに、画面切替手段302の右側で画像表示領域の右上には、現在の動作状態を表示する動作状態表示欄302Bが設けられている。図6の例では「観察中」、図7の例では「再生中」と表示されており、操作に応じて「×10巻戻し中」等と表示させることもできる。
(プレビューモード画面300B)
Further, an operation state display field 302B for displaying the current operation state is provided on the right side of the screen switching unit 302 and in the upper right of the image display area. In the example of FIG. 6, “observing” is displayed, and in the example of FIG. 7, “reproducing” is displayed, and “× 10 rewinding” or the like can be displayed according to the operation.
(Preview mode screen 300B)
以上のように録画モード画面300Aで各種設定を行った後、高速度撮像を行い、得られた動画像データを、プレビューモード画面300Bで表示する。図6の画面から画面切替手段302のプレビューモードボタンを押下することで、図7に示すプレビューモード画面300Bに切り替えられる。次にプレビューモード画面300Bについて図7に基づいて説明する。この画面においても、基本的な配置は図6とほぼ同様であり、画像表示欄304、項目設定欄310、ツールバー320、画面切替手段302、動作設定欄306が設けられている。このツールバー320の内容は、図6と同様である。 After performing various settings on the recording mode screen 300A as described above, high-speed imaging is performed, and the obtained moving image data is displayed on the preview mode screen 300B. By pressing the preview mode button of the screen switching means 302 from the screen of FIG. 6, the screen is switched to the preview mode screen 300B shown in FIG. Next, the preview mode screen 300B will be described with reference to FIG. Also on this screen, the basic arrangement is almost the same as in FIG. 6, and an image display field 304, an item setting field 310, a toolbar 320, a screen switching unit 302, and an operation setting field 306 are provided. The contents of the toolbar 320 are the same as those in FIG.
プレビューモード画面300Bでは、撮像済みの動画像データから、保存したい部分を指定してデータ保存することができる。この画面の右側に設けられた項目設定欄310には、画像表示欄304で表示される動画像データのフレームレートを表示するフレームレート表示欄336、動画像データの再生範囲、保存範囲を指定する再生/保存範囲設定欄338、静止画を撮像するための静止画撮影ボタン316D、データ保存を実行するためのデータ保存ボタン339が設けられる。さらに下段の動作設定欄306には、動画像データの再生の進捗を示すプログレスバー306B、画像表示欄304に表示したい動画像データのメモリ番号を選択するためのメモリ番号選択欄307’、動画像データの再生速度を指定するための再生基準表示欄301、トリガを操作するトリガ操作ボタン309、及び録画された動画像を再生する再生/一時停止ボタン331、繰り返し再生ボタン334、早送りボタン333、巻戻しボタン332などの再生操作ボタン330を備えている。トリガ操作ボタン309は、トリガの種別(例えば開始トリガ、終了トリガ等)を設定できる。メモリ番号選択欄307’で動画像データを選択し、再生/一時停止ボタン331を押下すると、撮像済みの動画像データの再生が開始される。この際も、プログレスバー306Bで再生の進捗状況が表示される。プログレスバー306Bの下段には、撮像された動画像データの、何枚目(フレームの枚数)を現在画像表示欄304に表示しているかを、フレームの総数と共に表示し、併せて経過時間も示される。また繰り返し再生ボタン334を押すと、撮像された動画像がループ再生される。 In the preview mode screen 300B, data to be saved can be specified by specifying a portion to be saved from the captured moving image data. In the item setting column 310 provided on the right side of this screen, a frame rate display column 336 for displaying the frame rate of moving image data displayed in the image display column 304, a reproduction range and a storage range of moving image data are designated. A reproduction / storage range setting field 338, a still image shooting button 316D for capturing a still image, and a data storage button 339 for executing data storage are provided. Further, in the operation setting field 306 at the lower stage, a progress bar 306B indicating the progress of reproduction of moving image data, a memory number selection field 307 ′ for selecting a memory number of moving image data to be displayed in the image display field 304, a moving image A playback reference display field 301 for designating a data playback speed, a trigger operation button 309 for operating a trigger, a playback / pause button 331 for playing back a recorded moving image, a repeat playback button 334, a fast forward button 333, a volume A playback operation button 330 such as a return button 332 is provided. The trigger operation button 309 can set the type of trigger (for example, start trigger, end trigger, etc.). When moving image data is selected in the memory number selection field 307 ′ and the playback / pause button 331 is pressed, playback of the captured moving image data is started. Also at this time, the progress of playback is displayed by the progress bar 306B. In the lower part of the progress bar 306B, the number of frames (number of frames) of the captured moving image data currently displayed in the image display field 304 is displayed together with the total number of frames, and the elapsed time is also shown. It is. When the replay button 334 is pressed, the captured moving image is loop-reproduced.
フレームレート表示欄336では、現在表示中の動画像データを撮像した際の録画フレームレート(撮像周期)、及び現在表示中の再生フレームレート(表示周期)が表示されている。再生フレームレートは、再生基準表示欄301からプルダウンメニューにより変更できる。ここでは、1000fpsで撮像した動画像データを5fpsでスロー再生している。このように、再生時のフレームレートは撮像時と変更させることが可能である。 In the frame rate display column 336, a recording frame rate (imaging cycle) when moving image data currently being displayed is captured and a playback frame rate (display cycle) currently being displayed are displayed. The playback frame rate can be changed from the playback reference display field 301 using a pull-down menu. Here, moving image data captured at 1000 fps is played back slowly at 5 fps. As described above, the frame rate at the time of reproduction can be changed from that at the time of imaging.
また再生/保存範囲設定欄338では、動画像データから、保存したい部分を始点、終点で指定する。ここでは動画像データを静止画の連続として捉えた場合に先頭から何枚目に相当するかでタイミングを指定しており、例えば始点を1枚目、終点を6520枚目としている。なお、静止画の順番で指定する方法に限られず、経過時間や、全撮像時間を100とした場合の割合など、他の指標を用いることもできる。始点及び/又は終点の指定は、プログレスバー306B上からスライダで指定することにより視覚的に行える。またプログレスバー306B上から所望の範囲をトリムすることもできる。 In the reproduction / storage range setting field 338, a part to be stored is designated by a start point and an end point from the moving image data. In this case, when moving image data is regarded as a sequence of still images, the timing is specified according to the number of images from the top, for example, the first point is the first and the end point is the 6,520th. Note that the method is not limited to the method of designating in the order of still images, and other indicators such as an elapsed time or a ratio when the total imaging time is set to 100 can be used. Designation of the start point and / or end point can be visually performed by designating from the progress bar 306B with a slider. Further, a desired range can be trimmed from the progress bar 306B.
位置が指定されると、対応する数値が再生/保存範囲設定欄338に自動的に入力される。この状態でセットボタンを押下すると、現在表示中の位置が設定される。また始点/終点リセットボタンを押下すれば、設定をリセットできる。このようにして始点と終点が指定された状態でデータ保存ボタン339を押下すると、指定した範囲の動画像データが保存される。また静止画撮影ボタン316Dでは、画像表示欄304で表示中の動画像あるいは静止画像を、静止画として保存できる。 When the position is designated, the corresponding numerical value is automatically input to the reproduction / storage range setting field 338. When the set button is pressed in this state, the currently displayed position is set. If the start / end point reset button is pressed, the setting can be reset. When the data save button 339 is pressed in a state where the start point and the end point are specified in this way, moving image data in the specified range is saved. The still image shooting button 316D can save the moving image or still image being displayed in the image display field 304 as a still image.
この例では、録画モード画面300Aで録画された動画像データは、一時的に保持され、ユーザはプレビューモード画面300Bで確認し、さらに保存範囲を指定して、データ保存するかどうかを判断できる。保存しない場合は、再度録画モード画面300Aに戻って新たに動画像データを取得できる。データ保存ボタン339を押下すると、動画像データを保存するダイヤログが表示され、ユーザは所定のフォルダに名前を付けて保存できる。
(動画像撮像装置の設定支援機能)
In this example, the moving image data recorded on the recording mode screen 300A is temporarily stored, and the user can check on the preview mode screen 300B and specify a storage range to determine whether to save the data. When not saving, the moving image data can be newly acquired by returning to the recording mode screen 300A again. When the data save button 339 is pressed, a dialog for saving moving image data is displayed, and the user can name and save a predetermined folder.
(Setting support function of moving image pickup device)
以上の設定は、動画像撮像装置の操作に慣れたユーザであれば可能である。一方で、動画像撮像装置は設定項目が多岐に渡るため、操作に不慣れな初心者や、フレームレートとシャッタースピードの関係といった他の設定に影響を及ぼす項目同士の関係が理解できていない場合は、設定に戸惑うことがある。特に、シャッタースピードが決まると、この条件で設定可能なフレームレートの上限が決まってしまうため、高速撮像が可能な動画撮像装置の性能を生かし切ることができないという問題が生じる。また、設定したい値が、既に設定した項目の範囲と合致しないため、先の設定を再設定しなければならないといった手戻りが生じ得る。 The above setting can be performed by a user who is used to operating the moving image capturing apparatus. On the other hand, since the moving image imaging device has a wide variety of setting items, if you are a beginner who is not familiar with the operation, or you do not understand the relationship between items that affect other settings such as the relationship between frame rate and shutter speed, May be confused about the setting. In particular, when the shutter speed is determined, the upper limit of the frame rate that can be set under this condition is determined, so that there is a problem that the performance of the moving image imaging apparatus capable of high-speed imaging cannot be fully utilized. In addition, since the value to be set does not match the range of the item that has already been set, there is a rework that the previous setting must be reset.
そこで、動画像撮像装置の操作に関する知識を必要とせずとも効率よく設定作業を進めることができるよう、設定作業を支援するガイダンス機能を備えた設定支援装置を構成する。一例として、各設定項目をウィザード形式で入力させるようにすれば、ユーザは質問に答えていくだけで必要な設定ができるようになり、必要な項目を無駄なく正確に設定するよう誘導できる。このようなガイダンス機能による設定の手順を、図9のフローチャートに示す。設定の大まかな手順としては、初期セッティング、録画設定、プレビュー保存の順となる。また設定の具体的な手順としては、まずステップS1で録画手順の一連の流れを確認し、次に初期セッティングとして、ステップS2でレンズを選択し、ステップS3で初期設定を行う。さらに録画設定として、ステップS4で視野範囲を調整し、ステップS5で照明を調整し、ステップS6でフレームレートを調整し、ステップS7で像ぶれを確認し、ステップS8でトリガ設定と録画を行う。最後にプレビュー保存として、ステップS9でプレビューとデータの保存を行う。この手順に従って、ユーザに対して設定画面を順次提示して設定を促すと共に、必要に応じて設定内容や設定、調整に当たってのアドバイス等を説明して設定作業を補助する。各設定画面や設定内容説明は、図2に示す設定画面記憶手段57に保存されており、誘導手段が設定画面記憶手段57から必要な設定画面を呼び出して、表示部52に表示させてユーザの設定を促す。また以下の例では、必要な操作の説明を、設定画面上に文字情報や図形、写真を表示させて行っている。このようにテキスト情報とイメージ情報を組み合わせてユーザに対する操作の説明を行う構成の他、動画像や音声ガイダンスなどを併用したり、逆にテキスト情報のみとすることもできる。
(動画像撮像装置の設定支援プログラム)
Therefore, a setting support apparatus having a guidance function for supporting the setting work is configured so that the setting work can be efficiently advanced without requiring knowledge about the operation of the moving image capturing apparatus. As an example, if each setting item is input in a wizard format, the user can make necessary settings simply by answering the questions, and can guide the user to set necessary items accurately without waste. The setting procedure by such a guidance function is shown in the flowchart of FIG. The general procedure for setting is the initial setting, recording setting, and preview saving. As a specific procedure for setting, first, a series of steps of the recording procedure is confirmed in step S1, then, as an initial setting, a lens is selected in step S2, and an initial setting is performed in step S3. Further, as the recording setting, the visual field range is adjusted in step S4, the illumination is adjusted in step S5, the frame rate is adjusted in step S6, the image blur is confirmed in step S7, and the trigger setting and recording are performed in step S8. Finally, as a preview save, a preview and data are saved in step S9. In accordance with this procedure, the setting screen is sequentially presented to the user to prompt the setting, and the setting content, setting, adjustment advice, etc. are explained as needed to assist the setting work. Each setting screen and description of the setting contents are stored in the setting screen storage unit 57 shown in FIG. 2, and the guiding unit calls the necessary setting screen from the setting screen storage unit 57 and displays it on the display unit 52 to display the user's screen. Prompt for setting. In the following example, necessary operations are explained by displaying character information, figures, and photographs on the setting screen. As described above, in addition to the configuration in which the text information and the image information are combined to explain the operation to the user, a moving image, voice guidance, or the like can be used together, or conversely, only the text information can be used.
(Setting support program for moving image pickup device)
次に、各ステップにおける具体的な作業手順を順次説明する。まず動画像撮像装置の設定支援プログラムを起動すると、図10に示す初期メニュー画面340が表示される。ユーザはこの画面から簡単録画ボタン341を押下すると、設定支援機能が実行されて簡単録画モードに移行し、図11の画面に遷移する。また図10の画面から通常録画ボタン342を押下すると、通常録画モードに移行し、図6に示す録画モード画面300Aに遷移する。したがってユーザは、自身の習熟度や観察目的などに応じて、ガイダンス機能に従った撮像条件の設定を行ったり、あるいはすべてのパラメータを直接操作可能な通常録画モードを選択することができる。また図10の画面ではこの他、静止画を撮影する静止画通常撮影ボタン343や、撮像した動画像データを編集するためのアルバムボタン344を選択でき、さらにはセキュリティ設定や通信設定、オプション設定なども行える。
(ステップS1 一連の作業の確認)
Next, specific work procedures in each step will be sequentially described. First, when the setting support program of the moving image capturing apparatus is activated, an initial menu screen 340 shown in FIG. 10 is displayed. When the user presses the simple recording button 341 from this screen, the setting support function is executed, the mode is shifted to the simple recording mode, and the screen is changed to the screen of FIG. When the normal recording button 342 is pressed from the screen of FIG. 10, the normal recording mode is entered and the recording mode screen 300A shown in FIG. 6 is entered. Therefore, the user can set the imaging condition according to the guidance function or select the normal recording mode in which all parameters can be directly operated according to his / her proficiency level and observation purpose. In addition to the above, in the screen of FIG. 10, a still image normal shooting button 343 for shooting a still image and an album button 344 for editing the captured moving image data can be selected, and further, security setting, communication setting, option setting, etc. Can also be done.
(Step S1 Confirmation of a series of operations)
図10の画面から簡単録画ボタン341を押下すると、ステップS1として図11の手順確認画面350に移行する。ここでは録画手順の確認として、これから行う操作手順の概要が表示される。すなわち、(1)初期セッティング、(2)録画設定、(3)プレビュー保存までの一連の作業の流れを、ユーザに告知する。ユーザが確認後、「次へ」ボタン351を押下することで、設定作業が開始され、(1)初期セッティングとして図12の画面に移行する。
(初期セッティング)
(ステップS2 レンズ選択)
When the simple recording button 341 is pressed from the screen of FIG. 10, the procedure shifts to the procedure confirmation screen 350 of FIG. 11 as step S1. Here, an outline of the operation procedure to be performed is displayed as confirmation of the recording procedure. That is, the user is notified of a series of work flow from (1) initial setting, (2) recording setting, and (3) preview saving. After the user confirms, the “Next” button 351 is pressed to start the setting operation. (1) The screen shifts to the screen shown in FIG. 12 as an initial setting.
(Initial setting)
(Step S2 Lens selection)
図12の画面は、ステップS2のレンズ選択画面360を示している。ここではまず使用するレンズをユーザに選択させる。すなわち、図1においてヘッド部15の撮像モジュール16に装着するレンズモジュール20として、どのようなレンズを選択するか、観察目的に応じてユーザに選択させる。動画像撮像装置に装着されるレンズモジュール20としては、マクロレンズユニット、マイクロスコープレンズユニット、その他のレンズの候補が挙げられる。レンズ選択画面360には各レンズに対応するレンズボタンとしてマクロズームレンズボタン361、マイクロスコープレンズボタン362、その他のレンズボタン363が設けられ、さらにレンズボタン361、362、363の下には各レンズの特徴の説明が表示される。ユーザは、これらの選択肢からいずれかのレンズボタン361、362、363を押下することで、「次へ」ボタン364が押下可能となる。逆に、いずれかのレンズボタン361、362、363を選択しない限り、「次へ」ボタン364を選択できないように構成し、設定漏れや設定忘れを回避できる。また、選択したレンズボタン361、362、363の種別に応じて、以降の設定項目を変化させるよう構成している。 The screen in FIG. 12 shows the lens selection screen 360 in step S2. Here, the user first selects a lens to be used. That is, in FIG. 1, the lens is selected as the lens module 20 to be mounted on the imaging module 16 of the head unit 15 according to the observation purpose. Examples of the lens module 20 mounted on the moving image capturing apparatus include macro lens units, microscope lens units, and other lens candidates. On the lens selection screen 360, a macro zoom lens button 361, a microscope lens button 362, and other lens buttons 363 are provided as lens buttons corresponding to the respective lenses. Further, below the lens buttons 361, 362, and 363, each lens is provided. A description of the feature is displayed. The user can press the “Next” button 364 by pressing one of the lens buttons 361, 362, 363 from these options. On the other hand, unless one of the lens buttons 361, 362, 363 is selected, the “next” button 364 is configured so that it is not possible to avoid omission of settings or forgetting to set. Further, the subsequent setting items are changed according to the type of the selected lens button 361, 362, 363.
なお、各設定画面には「次へ」ボタン364の他、「戻る」ボタン365も設けられており、ユーザはいつでも直前の操作画面に戻って設定し直すことができる。あるいは、上段に設けられたタブ型の画面ボタン366を押下することで、直接その画面に移行するよう構成してもよい。画面ボタン366は、現在選択中の画面をハイライト表示して、現在表示している画面での設定項目をユーザが判別できると共に、現在の設定画面が全体の設定作業のどの位置にあるかも把握できる。
(ステップS3 初期設定)
Each setting screen is provided with a “return” button 365 in addition to a “next” button 364, and the user can return to the previous operation screen and set again at any time. Alternatively, it may be configured to shift directly to the screen by pressing a tab-type screen button 366 provided in the upper stage. The screen button 366 highlights the currently selected screen so that the user can determine the setting items on the currently displayed screen and also knows where the current setting screen is in the overall setting work. it can.
(Step S3 initial setting)
図12の画面から「次へ」ボタン364を押下すると、ステップS3に移行し、図13の初期設定画面370となる。ここでは、1.カメラの固定と、2.初期設定をユーザに対し行うよう促す。まずは観察の前段階としてカメラを固定する必要があるため、具体的な手順として観察対象物の動きを止めること、カメラを三脚などでしっかり固定すること、カメラと被写体とのワーキングディスタンス(WD)や視野サイズに応じてクローズアップレンズを交換すること、及びレンズ先端から被写体までの距離を調整することを、文章で説明する。加えて、よく判らない場合に選択すべきデフォルトの設定についても、クローズアップレンズの種類とWDの設定を具体的に提示している。さらに初期設定として、レンズや照明を初期化するよう促す。これは、レンズや照明が前回使用時の状態のまま使えるとは限らないため、一旦初期化しておくためである。
(ヒント画面)
When the “next” button 364 is pressed from the screen of FIG. 12, the process proceeds to step S3 and the initial setting screen 370 of FIG. 13 is displayed. Here, 1. 1. fixing the camera; Encourage users to make initial settings. First of all, it is necessary to fix the camera as a pre-observation step. Therefore, as a specific procedure, stop the movement of the observation object, firmly fix the camera with a tripod, etc., working distance (WD) between the camera and subject, Replacing the close-up lens according to the field size and adjusting the distance from the lens tip to the subject will be described in text. In addition, regarding the default settings that should be selected if they are not well understood, the types of close-up lenses and WD settings are specifically presented. Further, as an initial setting, the user is prompted to initialize the lens and illumination. This is because the lens and the illumination are not always used as they were in the previous use, and thus are initialized once.
(Hint screen)
ここで、WDや視野サイズ、装着するクローズアップレンズの関係等、判り難い項目については、ヒント画面を別途用意する。ユーザは、このようなヒント画面を必要に応じて参照することができる。図13の例ではヒントボタンを複数設けており、各ヒントボタンを押下するとヒント画面が表示されるので、各項目に応じたヒントを参照できる。ヒント画面は、ヘルプ画面等と類似した別画面で構成できる。ここでは、「フリーアングルスタンドの使い方」ヒントボタン371、「三脚の使い方」ヒントボタン372、「WDと視野サイズ」ヒントボタン373、「見やすいデータを録画するためには」ヒントボタン374、「カメラの用語」ヒントボタン375が用意されている。例えば「三脚の使い方」ヒントボタン372を押すと、図14に示す「三脚の使い方」ヒント画面372aが表示され、三脚の使い方のポイントが箇条書きで表示される。同様に「見やすいデータを録画するためには」ヒントボタン374を押下すると図15の「見やすいデータを録画するためには」ヒント画面374aが、「カメラの用語」ヒントボタン375を押下すると図16の「カメラの用語」ヒント画面375aが、「WDと視野サイズ」ヒントボタン373を押すと図22に示す「WDと視野サイズ」ヒント画面373aが、それぞれ表示される。このようにしてユーザは、詳細を知りたい項目についてヒント画面を参照することで、設定に詳しくない初心者でもポイントを抑えた設定が可能となる。ヒント画面を閉じるには、各々のヒント画面に設けられた「閉じる」ボタンを押下する。
(録画設定)
(ステップS4 視野範囲の調整)
Here, a separate hint screen is prepared for items that are difficult to understand, such as the relationship between the WD, the field size, and the close-up lens to be attached. The user can refer to such a hint screen as necessary. In the example of FIG. 13, a plurality of hint buttons are provided, and a hint screen is displayed when each hint button is pressed, so that a hint corresponding to each item can be referred to. The hint screen can be composed of another screen similar to the help screen. Here, “how to use free angle stand” hint button 371, “how to use tripod” hint button 372, “WD and field size” hint button 373, “to record easy-to-read data” hint button 374, “camera A “term” hint button 375 is provided. For example, when a “tripod usage” hint button 372 is pressed, a “tripod usage” hint screen 372a shown in FIG. 14 is displayed, and the usage points of the tripod are displayed in bullets. Similarly, when the “To record easy-to-view data” hint button 374 is pressed, the “To record easy-to-view data” hint screen 374a in FIG. 15 is displayed. When the “Camera term” hint button 375 is pressed, FIG. When the “camera term” hint screen 375a is pressed and the “WD and field size” hint button 373 is pressed, a “WD and field size” hint screen 373a shown in FIG. 22 is displayed. In this way, the user can make a setting with reduced points even by a beginner who is not familiar with the setting by referring to the hint screen for an item for which details are desired. To close the hint screen, a “close” button provided on each hint screen is pressed.
(Recording settings)
(Step S4 Adjusting the field of view)
このようにして初期セッティングを終えると、図13の初期設定画面370から「次へ」ボタン376を押下して、ステップS4の録画設定に移行する。まずは図17に示す視野範囲調整画面380で、倍率及び位置を調整する。具体的には、撮像部10であるカメラのピント、倍率、撮像位置等を調整して、撮像したい領域を設定する。図17の画像表示欄304には、設定内容を反映した被写体のライブ画像が表示される。ユーザはライブ画像を参照しながらカメラを操作し、カメラの向き、WD、レンズの倍率、ピント、絞りを調整する。また、各設定項目についてはヒントボタンとして「三脚の使い方」ヒントボタン372’、「WDと視野サイズ」ヒントボタン373’、「レンズの調整」ヒントボタン381が用意されている。例えば、「レンズの調整」ヒントボタン381を押下すると、図18の「レンズの調整」ヒント画面381aが表示され、(1)倍率調整、(2)絞り調整、(3)ピント調整の各項目についての説明が表示される。またレンズモジュール20が図示されると共に、上記番号と対応させて調整すべきレンズのダイヤルにも番号が表示されており、ユーザはどの項目の調整をどのダイヤルで行うか、迷うことなく選択でき、正しい設定を行うための作業を確実に誘導することができる。さらに、絞りと光量、被写界深度の関係や、絞りはできるだけ開いて光量を多くすべきこと、これによりシャッタースピードを短くでき、像ぶれし難くなること等も説明される。 When the initial setting is completed in this way, the “next” button 376 is pressed from the initial setting screen 370 in FIG. 13 to shift to the recording setting in step S4. First, the magnification and position are adjusted on the visual field range adjustment screen 380 shown in FIG. Specifically, an area to be imaged is set by adjusting the focus, magnification, imaging position, and the like of the camera that is the imaging unit 10. In the image display field 304 of FIG. 17, a live image of the subject reflecting the setting contents is displayed. The user operates the camera while referring to the live image, and adjusts the camera direction, WD, lens magnification, focus, and aperture. For each setting item, a “tripod usage” hint button 372 ′, a “WD and field size” hint button 373 ′, and a “lens adjustment” hint button 381 are prepared as hint buttons. For example, when the “lens adjustment” hint button 381 is pressed, the “lens adjustment” hint screen 381a of FIG. 18 is displayed, and (1) magnification adjustment, (2) aperture adjustment, and (3) focus adjustment items. Is displayed. In addition, the lens module 20 is illustrated, and a number is also displayed on the dial of the lens to be adjusted in correspondence with the above number, and the user can select which item is adjusted with which dial without hesitation, The work for performing the correct setting can be reliably guided. Furthermore, the relationship between the aperture, the light amount, the depth of field, the fact that the aperture should be opened as much as possible to increase the light amount, the shutter speed can be shortened, and the image blurring becomes difficult are explained.
このように、ユーザは画像表示欄304に表示されるライブ画像を見ながら、また必要に応じてヒント画面を参照しながら、カメラのピント、倍率調整と位置調整を行なう。位置合わせは広視野で行う方が容易であるため、最大視野範囲(この例では画像表示欄304に表示可能な最大範囲である640×480ピクセル)で表示する。このため、撮像フレームレートは低めに設定する。図17の例では、画像表示欄304に表示されるライブ画像は30fpsで撮像された動画像を表示している。 In this way, the user adjusts the camera focus, magnification, and position while viewing the live image displayed in the image display field 304 and referring to the hint screen as necessary. Since it is easier to perform alignment with a wide field of view, the image is displayed in the maximum field of view (in this example, the maximum range that can be displayed in the image display field 304 is 640 × 480 pixels). For this reason, the imaging frame rate is set low. In the example of FIG. 17, the live image displayed in the image display field 304 displays a moving image captured at 30 fps.
また内容説明として、「可能であれば観察対象物の動きを止めて下さい。」と表示して、被写体の動きを止めることを促す。これによって、撮像の失敗の要因であるピンボケ、深度不足を解消できるからである。さらに被写体が画面範囲内に入るように、カメラの向き、WD、レンズの倍率、ピント、絞りを調整させる。レンズ調整やカメラの向き調整などの段階では、シャッタースピードは大きく変化できる方が都合がよいため、この例ではデフォルトのカメラの撮像フレームレートを30fpsとしており、シャッタースピードは1/100000〜1/30秒まで調整可能としている。 In addition, as a content explanation, “Please stop the movement of the object to be observed if possible” is displayed to prompt the user to stop the movement of the subject. This is because it is possible to eliminate out-of-focus and insufficient depth, which are causes of imaging failure. Further, the camera orientation, WD, lens magnification, focus, and aperture are adjusted so that the subject falls within the screen range. At the stage of lens adjustment or camera orientation adjustment, it is convenient that the shutter speed can be changed greatly. Therefore, in this example, the imaging frame rate of the default camera is set to 30 fps, and the shutter speed is 1 / 100,000 to 1/30. It can be adjusted up to seconds.
さらにこの画面で、撮像フレームレートを変更すると視野範囲が変わることを明示するための領域表示RHを表示させることもできる。変更したい撮像フレームレートは、「フレームレートに応じた視野範囲を表示」欄382で設定される。図17の例では、30fpsで撮像されたライブ画像に重ねて、「フレームレートに応じた視野範囲を表示」欄382でフレームレートを1000fpsに設定した場合の読出領域に対応する領域表示RHを、赤枠で表示している。ユーザは撮影したい撮像フレームレートに応じた領域表示RH内に被写体を含むよう、倍率等を調整する。このようにして、シャッタースピードの調整範囲を広く取りながら、見かけ上の撮像フレームレートを設定することができる。 Further, on this screen, an area display RH can be displayed for clearly indicating that the field-of-view range changes when the imaging frame rate is changed. The imaging frame rate to be changed is set in the “display field-of-view range according to frame rate” field 382. In the example of FIG. 17, an area display RH corresponding to the readout area when the frame rate is set to 1000 fps in the “display field-of-view range according to frame rate” column 382 is superimposed on the live image captured at 30 fps. Displayed in red frame. The user adjusts the magnification and the like so that the subject is included in the area display RH corresponding to the imaging frame rate to be photographed. In this way, the apparent imaging frame rate can be set while taking a wide adjustment range of the shutter speed.
さらに、「実際の拡大率で表示」ボタン383を押下すると、領域表示RHが画像表示欄304の全体で表示されるよう、拡大表示される(後述する図20又は図28と図30を参照)。「実際の拡大率で表示」ボタン383はトグルボタンになっており、押下する毎に通常表示と拡大表示(ROI(region of interest)表示)が切り替わる。
(明るさ設定欄311)
Further, when the “display with actual magnification” button 383 is pressed, the area display RH is enlarged and displayed so as to be displayed in the entire image display field 304 (see FIG. 20 or FIG. 28 and FIG. 30 described later). . The “display with actual enlargement ratio” button 383 is a toggle button, and switches between normal display and enlarged display (ROI (region of interest) display) each time the button is pressed.
(Brightness setting field 311)
また図17の画面右下には、明るさ設定欄311’が設けられている。ここでは、明るさの自動調整又手動調整を切り替え可能としている。具体的には、明るさ設定欄311’でオートを選択すると、自動調整される。またはマニュアルを選択すると、その上部に設けられたスライドバー311aを操作することにより、明るさが手動で調整可能となる。画面の明るさの調整は、実際にはカメラのシャッタースピードやゲインで決定される。この画面では、このような項目を表示せず、明るさが連続的に変化するように、自動的にシャッタースピード及び/又はゲインを調整している。図17の例では、スライドバー311aで明るさを0〜255まで連続的に調整可能としており、画像の輝度分布の平均値がスライドバーで設定された値となるように自動的にシャッタースピードを、ハードウェアもしくはソフトウェアで逐次調整している。
(ステップS5 照明調整)
In addition, a brightness setting field 311 ′ is provided at the lower right of the screen in FIG. Here, automatic adjustment or manual adjustment of brightness can be switched. Specifically, when auto is selected in the brightness setting field 311 ′, automatic adjustment is performed. Alternatively, when the manual is selected, the brightness can be manually adjusted by operating the slide bar 311a provided on the upper part. The adjustment of the screen brightness is actually determined by the shutter speed and gain of the camera. On this screen, such items are not displayed, and the shutter speed and / or gain are automatically adjusted so that the brightness changes continuously. In the example of FIG. 17, the brightness can be continuously adjusted from 0 to 255 with the slide bar 311a, and the shutter speed is automatically adjusted so that the average value of the luminance distribution of the image becomes the value set with the slide bar. , Adjust sequentially with hardware or software.
(Step S5 Lighting adjustment)
このようにして図17の視野範囲調整画面380での設定を終えた後、「次へ」ボタン384を押下すると、ステップS5として図19に示す照明調整画面390に移行し、照明の調整作業を行う。照明する範囲は前段で設定した視野範囲よりも少し広い範囲で調整する必要があるため、カメラのレンズ等を調整して視野範囲が決定された後に照明調整を行うことで、効率よく作業を進めることができる。具体的には、照明の照射角度と照明ズームを調整して、視野範囲の少し外側まで照明されるように、照明の照射角度と照明ズームを調整する。照明ズームは、ロックを解除した後、左右の角度調整や上下の角度調整を行う。これらの調整作業を判りやすく示すよう、図19の例では照明手段60の斜視図を示すと共に、調整すべきつまみ類と操作方向を矢印で示している。このような図示は、調整のために操作すべき部位が視覚的に表現できるので、ユーザの理解に極めて有効である。なお視野範囲ぎりぎりに照明を調整してしまうと、画面の中心が明るく画面端が暗い照明むらが目立ってしまう。また照明を視野範囲よりも広くしすぎると、視野範囲内の照明光量が少なくなり、後段で設定する撮像フレームレートを上げることができなくなってしまう。したがって、所望の撮像フレームレートで得られる読出領域の大きさよりも若干はみ出す程度まで照明が行き渡る程度に設定することが好ましい。なお照明により画面の明るさが急激に変化しても、明るさを自動調整、すなわちオートシャッタースピードに設定しておれば、ユーザはシャッタースピードを調整する必要はない。
(ステップS6 フレームレート調整)
After the setting on the visual field range adjustment screen 380 in FIG. 17 is completed in this way, when the “Next” button 384 is pressed, the process proceeds to the illumination adjustment screen 390 shown in FIG. Do. Since it is necessary to adjust the illumination range in a slightly wider range than the visual field range set in the previous stage, the work can be carried out efficiently by adjusting the illumination after the visual field range is determined by adjusting the camera lens etc. be able to. Specifically, the illumination angle and illumination zoom are adjusted so that the illumination angle and illumination zoom are adjusted so that the illumination is performed slightly outside the field of view. In the illumination zoom, after the lock is released, the left and right angles and the up and down angles are adjusted. In order to show these adjustment operations in an easy-to-understand manner, in the example of FIG. 19, a perspective view of the illumination means 60 is shown, and knobs to be adjusted and an operation direction are indicated by arrows. Such an illustration is very effective for the user's understanding because the part to be operated for adjustment can be visually expressed. Note that if the lighting is adjusted to the limit of the visual field range, uneven lighting is conspicuous where the center of the screen is bright and the screen edge is dark. Further, if the illumination is made wider than the visual field range, the amount of illumination light in the visual field range decreases, and the imaging frame rate set in the subsequent stage cannot be increased. Therefore, it is preferable to set the illumination area so that it extends slightly beyond the size of the readout area obtained at the desired imaging frame rate. Even if the brightness of the screen changes suddenly due to lighting, if the brightness is automatically adjusted, that is, set to the auto shutter speed, the user does not need to adjust the shutter speed.
(Step S6 frame rate adjustment)
図19の照明調整画面390で設定終了後「次へ」ボタン391を押下すると、ステップS6として図20のフレームレート調整画面400に移行して、撮像フレームレートを設定する。ここでは、ユーザは被写体を動かした状態として、フレームレート設定欄315’に所望のフレームレートの値を入力する。図20の例では、撮像フレームレートを設定する。ただし、ライブ画像ではフレームレートが適正かどうか判断ができない。そのため、録画と再生を自動的に繰り返すスロー観察を実行し、映像の滑らかさを確認しながら映像の滑らかさが足りない場合は撮像フレームレートを上げるように調整する。図20の例では、スロー観察を実行するための「スロー観察」チェックボックス316bを設けており、この欄をチェックするとスロー観察が行われ、チェックを外すと通常のライブ観察が行われる。このように「スロー観察」チェックボックスは、スロー観察とライブ観察を切り替える切替手段として機能する。 When the “Next” button 391 is pressed after completing the setting on the illumination adjustment screen 390 in FIG. 19, the process proceeds to the frame rate adjustment screen 400 in FIG. 20 to set the imaging frame rate in step S6. Here, the user inputs a desired frame rate value in the frame rate setting field 315 ′ with the subject moved. In the example of FIG. 20, the imaging frame rate is set. However, it cannot be determined whether the frame rate is appropriate for a live image. Therefore, slow observation that automatically repeats recording and playback is executed, and when the smoothness of the video is insufficient while adjusting the smoothness of the video, an adjustment is made to increase the imaging frame rate. In the example of FIG. 20, a “slow observation” check box 316b for performing slow observation is provided. When this column is checked, slow observation is performed, and when the check is removed, normal live observation is performed. As described above, the “slow observation” check box functions as a switching unit that switches between the slow observation and the live observation.
撮像フレームレートを変更すると、画像サイズも変わる。本実施の形態では、撮像フレームレートが250fps以上になると、画像サイズが640×480ドットよりも小さくなる。またシャッタースピードは、前段で自動調整されていた値に近い値となっているため、明るさが急激に変わることはない。シャッタースピードは撮像フレームレートにより制限を受ける。例えば撮像フレームレートが1000fpsの場合は、シャッタースピードの最大値は1/1000秒に制限される。多くの場合は、シャッタースピードの逆数よりも撮像フレームレートが小さいので問題はない。ただ、撮像フレームレートの変更時には、シャッタースピードが上記制限内にあることを確認する必要がある。上述のとおりシャッタースピードは、前段の照明調整画面390で、明るさに応じて自動で設定されている。もし図19の照明調整画面390で「次へ」ボタン391を押下したときに設定されていたシャッタースピードの値が、ここで設定される撮像フレームレートの逆数よりも大きい場合は、シャッタースピードを撮像フレームレートの逆数に変更する。例えばシャッタースピードが1/500秒に設定されており、撮像フレームレートが1000fpsに設定された場合は、シャッタースピードを1/1000秒に変更する。この変更は、シャッタースピード設定手段38で行われる。同時に、明るさの変化を抑えるようにゲインを上げるよう調整してもよい。 Changing the imaging frame rate also changes the image size. In the present embodiment, the image size becomes smaller than 640 × 480 dots when the imaging frame rate is 250 fps or more. Further, since the shutter speed is close to the value automatically adjusted in the previous stage, the brightness does not change abruptly. The shutter speed is limited by the imaging frame rate. For example, when the imaging frame rate is 1000 fps, the maximum value of the shutter speed is limited to 1/1000 second. In many cases, there is no problem because the imaging frame rate is smaller than the reciprocal of the shutter speed. However, when changing the imaging frame rate, it is necessary to confirm that the shutter speed is within the above limit. As described above, the shutter speed is automatically set according to the brightness on the illumination adjustment screen 390 in the previous stage. If the shutter speed value set when the “Next” button 391 is pressed on the illumination adjustment screen 390 in FIG. 19 is larger than the reciprocal of the imaging frame rate set here, the shutter speed is imaged. Change to the inverse of the frame rate. For example, when the shutter speed is set to 1/500 seconds and the imaging frame rate is set to 1000 fps, the shutter speed is changed to 1/1000 seconds. This change is performed by the shutter speed setting means 38. At the same time, the gain may be adjusted to increase so as to suppress the change in brightness.
なお、撮像フレームレートを変更した結果、視野範囲が変わってしまった等の理由で、視野を合わせ直したい場合は、トラブルQ&A欄に設けられた「視野を合わせ直したい」ヒントボタン401を押下する。これにより、図21に示す「視野を合わせ直したい」ヒント画面401aが表示され、視野合わせの再設定のための手順が表示される。また図21の画面から、「レンズの調整」ヒントボタン381’を押下すると、上述した図18の「レンズの調整」ヒント画面381aが表示されるよう設定されている。さらに「WDと視野サイズ」ヒントボタン373”を押下すると、図22の「WDと視野サイズ設定画面」ヒント画面373aが表示される。ここで倍率、ピント調整等をやり直したが、被写体が動いているので調整しきれないような場合は、「初期セッティングからやり直す」ボタン402を押下すると、ステップS3に戻って図13の画面に移行でき、これによって初期設定画面370でピント、倍率調整等の作業をやり直すことができる。このように、再設定が必要な場合も、必要な設定画面が直ちに呼び出せるようにリンクが設定されているため、ユーザは設定のやり直しに際してもスムーズに移行でき、使い勝手に優れた設定支援が実現される。
(ステップS7 像ぶれの確認)
If you want to reset the field of view because the field of view range has changed as a result of changing the imaging frame rate, press the "I want to reset the field of view" hint button 401 provided in the trouble Q & A column. . Accordingly, a hint screen 401a “I want to adjust the field of view” shown in FIG. 21 is displayed, and a procedure for resetting the field of view is displayed. When the “lens adjustment” hint button 381 ′ is pressed from the screen of FIG. 21, the “lens adjustment” hint screen 381a of FIG. 18 described above is displayed. When the “WD and visual field size” hint button 373 ”is further pressed, the“ WD and visual field size setting screen ”hint screen 373a of FIG. 22 is displayed. Here, the magnification, focus adjustment, etc. have been redone, but if the subject cannot be adjusted because the subject is moving, pressing the “Redo from initial setting” button 402 will return to step S3 and shift to the screen of FIG. In this way, operations such as focus and magnification adjustment can be redone on the initial setting screen 370. In this way, even if re-setting is necessary, the link is set so that the necessary setting screen can be called immediately, so that the user can move smoothly even when redoing the setting, thus realizing setting support with excellent usability. The
(Step S7: Check for image blur)
図20のフレームレート調整画面400の設定が終了後、「次へ」ボタン403を押下すると、ステップS7として、図23の像ぶれ確認画面410に移行して、像ぶれの発生が無いことを確認する。像ぶれ又は被写体ぶれとは、撮像素子に光(被写体の像)を蓄積している時間内に、被写体が移動してしまうことが原因で発生する。像ぶれの確認は、被写体が動いている状態で一時停止すると、容易に判別できる。このため、ゲイン設定欄314’(後述)の下方には、一時停止ボタン411が設けられている。 When the “Next” button 403 is pressed after the setting of the frame rate adjustment screen 400 in FIG. 20 is completed, the process moves to the image blur confirmation screen 410 in FIG. 23 to confirm that there is no image blur in step S7. To do. Image blur or subject blur occurs because the subject moves within the time when light (image of the subject) is accumulated in the image sensor. Confirmation of image blur can be easily determined by temporarily stopping the moving subject. For this reason, a pause button 411 is provided below the gain setting field 314 '(described later).
ただ、手動で一時停止と再生再開を操作することは面倒なので、表示している動画像の更新速度を遅くする機能を設けることで、像ぶれが簡単に確認できるようにしている。図23の例では、「更新速度を遅くする」欄412のチェックボックスをONすることで、表示フレームレートが15fpsから2fpsに変更され、静止画の視認が容易になるので、面倒な操作を省きつつ、像ぶれの発生を確認できる。 However, since it is troublesome to manually operate pause and playback restart, a function for slowing the update speed of the displayed moving image is provided so that image blur can be easily confirmed. In the example of FIG. 23, the display frame rate is changed from 15 fps to 2 fps by turning on the check box in the “slow update speed” column 412, and it becomes easy to visually recognize a still image. Meanwhile, occurrence of image blur can be confirmed.
像ぶれが発生している場合は、シャッタースピードが遅すぎるため、速くする方向に調整し直す。すなわち、撮像フレームレートの設定を終えたこの段階で、シャッタースピードの最終調整を行う。シャッタースピードは、シャッタースピード設定手段38であるシャッタースピード設定欄312’で調整できる。ここではプルダウンメニュー形式で規定の選択肢から選択する他、スライダによりユーザが手動で連続的に調整する構成としてもよい。上述のとおり、シャッタースピードは撮像フレームレートにより制限を受けるので、シャッタースピードの値が、撮像フレームレートの逆数を超えないように制限される。 If image blurring occurs, the shutter speed is too slow. That is, the final adjustment of the shutter speed is performed at this stage after setting the imaging frame rate. The shutter speed can be adjusted in the shutter speed setting field 312 ′ which is the shutter speed setting means 38. Here, in addition to selecting from a predetermined option in a pull-down menu format, a configuration in which the user manually adjusts continuously by a slider may be adopted. As described above, since the shutter speed is limited by the imaging frame rate, the shutter speed value is limited so as not to exceed the reciprocal of the imaging frame rate.
さらに、シャッタースピードと共にカメラのゲインの調整も行える。ゲインの調整は、ゲイン設定欄314’からプルダウンメニューで選択して行う。ゲインを上げると画面が明るくなるので、撮像シャッタースピードが遅い場合などはゲインで明るさを調整できる。 In addition, the camera gain can be adjusted along with the shutter speed. The gain adjustment is performed by selecting from the pull-down menu from the gain setting field 314 '. When the gain is increased, the screen becomes brighter, so the brightness can be adjusted with the gain when the imaging shutter speed is slow.
なお、画像の明るさ調整については、トラブルQ&A欄に設けられた「画像を明るくしたい」ヒントボタン413を押下すると、図24に示す「画像を明るくしたい」ヒント画面413aが表示され、画像を明るくするための手順が表示される。ここでは、照明手段60の出力が最大になっているかを確認し、カメラのゲインを上げ、レンズモジュール20の絞りを開ける(数値を小さくするよう操作する。この場合は被写界深度が浅くなるので、奥行き方向のピンぼけが大きくなる)手順を説明する。図24の画面においても、「レンズの調整」ヒントボタン381”を押下すると、上述した図18の「レンズの調整」ヒント画面381aが表示されるよう設定されている。もし像ぶれが生じないように録画するためゲインを上げ絞りを開放しても、依然として光量が不足するのであれば、外部照明を使って照明光量を増やす。さらにピント調整などの作業からやり直したいのであれば、「初期セッティングからやり直す」ボタン402’を押下すると、図21と同様に図13の画面に移行できる。
(ステップS8 トリガ設定/録画)
As for the image brightness adjustment, when the “I want to brighten an image” hint button 413 provided in the trouble Q & A column is pressed, a “I want to brighten an image” hint screen 413a shown in FIG. The procedure to do is displayed. Here, it is confirmed whether the output of the illumination means 60 is maximized, the gain of the camera is increased, and the aperture of the lens module 20 is opened (the operation is performed to reduce the numerical value. In this case, the depth of field becomes shallow). (So, the defocus in the depth direction will increase). Also in the screen of FIG. 24, the “lens adjustment” hint screen 381a of FIG. 18 described above is displayed when the “lens adjustment” hint button 381 ”is pressed. If the amount of light is still insufficient even if the gain is increased and the aperture is opened to record so as not to cause image blurring, the amount of illumination light is increased using external illumination. If the user wants to redo the work such as the focus adjustment, the user can move to the screen of FIG. 13 as in FIG. 21 by pressing the “Redo from initial setting” button 402 ′.
(Step S8 trigger setting / recording)
図23の像ぶれ確認画面410の設定終了後、「次へ」ボタン414を押下すると、ステップS8として図25のトリガ設定/録画画面420に移行して、トリガの設定と録画の実行を行う。トリガ設定/録画画面420も、トリガ設定手段39の一形態を構成する。具体的には、トリガの種別として、録画ボタン318’を押下すると録画を開始するスタートトリガか、録画ボタン318’を押すと録画を終了するエンドトリガかを、ラジオボタンで選択する。エンドトリガの場合は、録画ボタン318’の表示が「録画準備」に変化し、押下すると録画が介されると共に録画ボタン318’の表示が「録画中」に変化し、録画を終了したいタイミングで録画ボタン318’を押下すると、表示が「停止」に変化する。このように録画ボタン318’は、動作状態を表示する機能も果たすことができる。 When the “Next” button 414 is pressed after the setting of the image blur confirmation screen 410 in FIG. 23 is completed, the process proceeds to the trigger setting / recording screen 420 in FIG. 25 as step S8, and trigger setting and recording are performed. The trigger setting / recording screen 420 also constitutes one form of the trigger setting means 39. Specifically, as a trigger type, a radio button is used to select a start trigger that starts recording when the recording button 318 'is pressed or an end trigger that ends recording when the recording button 318' is pressed. In the case of an end trigger, the display of the recording button 318 ′ changes to “recording preparation”, and when pressed, the recording is performed and the display of the recording button 318 ′ changes to “recording”. When the button 318 ′ is pressed, the display changes to “stop”. Thus, the recording button 318 'can also fulfill the function of displaying the operating state.
また画像表示欄304の下段には、プログレスバー306A’が設けられており、トリガの設定に応じて、トリガ位置を示す三角形状マーク421の位置が変化する。またプログレスバー306A’の下部には録画可能時間が表示され、さらに右側には録画枚数設定欄422が設けられる。録画枚数は2以上設定でき、最大枚数は撮像フレームレートに応じて変化する。また設定された録画枚数に応じて録画時間表示も変化する。さらに録画中は、プログレスバー306A’で進捗状況が示される。録画が終了すると、自動的にスロー再生が実行される。以上のようにして録画設定が終了すると、「次へ」ボタン423を押下してプレビュー保存画面430に移行する。
(ステップS9 プレビュー保存)
A progress bar 306A ′ is provided in the lower part of the image display column 304, and the position of the triangular mark 421 indicating the trigger position changes according to the trigger setting. Further, a recordable time is displayed at the lower part of the progress bar 306A ′, and a recording number setting field 422 is provided on the right side. The number of recorded images can be set to 2 or more, and the maximum number varies depending on the imaging frame rate. The recording time display also changes according to the set number of recordings. Further, during the recording, a progress bar 306A ′ indicates the progress status. When recording ends, slow playback is automatically executed. When the recording setting is completed as described above, the “next” button 423 is pressed to move to the preview storage screen 430.
(Step S9 Save preview)
ステップS9として、図26のプレビュー保存画面430では、録画されたデータすなわち動画像データの表示と保存を行う。録画終了後自動的に再生されるスロー再生画像の撮像フレームレート及び再生フレームレートは、フレームレート表示欄336’に表示される。ユーザはスロー再生画像を見ながら、メモリ部53のデータ保存領域にデータを保存する際の、始点と終点を指定する。保存範囲の指定は、再生/保存範囲設定欄338’から行う。ここでは静止画として換算した場合に何枚目に当たるかで、始点と終点を設定する。始点、終点は、それぞれのセットボタン431、432を押すことで確定されると共に、プログレスバー306B’に設定された始点、終点の位置が表示される。また始点・終点リセットボタン433を押下すれば、これらの指定がリセットされる。 As step S9, on the preview saving screen 430 of FIG. 26, recorded data, that is, moving image data is displayed and saved. The captured frame rate and playback frame rate of the slow playback image that is automatically played back after the recording is finished are displayed in the frame rate display field 336 '. The user designates a start point and an end point when data is stored in the data storage area of the memory unit 53 while viewing the slow playback image. The storage range is designated from the reproduction / storage range setting field 338 '. Here, the start point and the end point are set depending on the number of the shot when converted as a still image. The start point and end point are determined by pressing the set buttons 431 and 432, and the start point and end point positions set in the progress bar 306B 'are displayed. If the start / end point reset button 433 is pressed, these designations are reset.
一方、プログレスバー306B’にはトリガ位置が三角形状マーク421’で示されると共に、現在再生中の位置がスライダ434で表示される。またプログレスバー306B’の右側には再生基準指定欄435が設けられており、ここからスロー再生の再生速度が指定できる。またその右側に設けられたトリガジャンプボタン436を押下すれば、トリガ位置にジャンプすることができ、画像表示欄304の表示がトリガ位置からの再生に切り替わると共に、プログレスバー306B’のスライダ434の位置もトリガ位置にジャンプする。さらにその右の繰り返し再生ボタン334’を押下することで、設定中の範囲でスロー再生が繰り返される。 On the other hand, the progress bar 306 </ b> B ′ has a trigger position indicated by a triangular mark 421 ′ and a current playback position indicated by a slider 434. In addition, a reproduction reference designation field 435 is provided on the right side of the progress bar 306B ', from which a reproduction speed for slow reproduction can be designated. If the trigger jump button 436 provided on the right side of the button is pressed, jump to the trigger position can be made, the display of the image display field 304 is switched to the reproduction from the trigger position, and the position of the slider 434 of the progress bar 306B ′. Also jumps to the trigger position. Further, by pressing the right repeat playback button 334 ', the slow playback is repeated within the set range.
このようにして保存範囲が決定されると、「データ保存」ボタン437を押下して、動画像データがメモリ部53のハードディスクドライブに保存される。さらにデータ保存が実行されると、終了ボタン438が押下できるようになる。終了ボタン438を押下すると、図10の初期メニュー画面340に戻る。あるいは、画面右上に配置された電源OFFボタン439を押下して終了する。 When the storage range is determined in this manner, the “data storage” button 437 is pressed, and the moving image data is stored in the hard disk drive of the memory unit 53. When data storage is further executed, the end button 438 can be pressed. When the end button 438 is pressed, the screen returns to the initial menu screen 340 of FIG. Alternatively, the power-off button 439 arranged at the upper right of the screen is pressed to end.
一方、録画データが滑らかでなかったので撮像フレームレートの調整をやり直したい場合等は、「フレームレートの再調整」ボタン440を押すと、図20に示すステップS6に戻ることができる。またデータ保存後に再度データを取り直したい場合や、録画タイミングが悪かったので録画をやり直したい場合等は、「録画をやり直す」ボタン441を押下すると、前段のステップS8(図25)に戻ることができる。 On the other hand, if it is desired to redo the adjustment of the imaging frame rate because the recorded data was not smooth, the user can return to step S6 shown in FIG. 20 by pressing the “re-adjustment of frame rate” button 440. If the user wants to re-acquire the data after saving, or if he / she wants to re-record since the recording timing is bad, the user can return to the previous step S8 (FIG. 25) by pressing the “Re-record” button 441. .
このようにして、動画像の撮像に必要な条件を順次設定することができ、ユーザは必要な設定を適切に行った上で動画像を観察することが可能となる。 In this way, conditions necessary for capturing a moving image can be sequentially set, and the user can observe the moving image after making necessary settings appropriately.
本発明の動画像撮像装置、動画像表示方法は、FAラインの異常原因究明や、材料の引張試験時に材料が破断する様子を観察する等の材料破壊、内燃機関の高速度燃焼撮像、スポーツの運動挙動、衝突、放電等の高速度の現象を短時間で連続的に撮像するハイスピードカメラ、高速度ビデオカメラ等として、好適に利用できる。 Moving picture imaging apparatus, the moving image display how the present invention, the abnormality cause investigation and the FA line, material failure, high-speed combustion imaging of an internal combustion engine such as that material during tensile testing of the material to observe the state of fracture, Sports It can be suitably used as a high-speed camera, a high-speed video camera, or the like that continuously images high-speed phenomena such as motion behavior, collision, and discharge in a short time.
100…動画像撮像装置
10…撮像部;12…撮像素子;13…撮像制御部;15…ヘッド部
16…撮像モジュール
20…レンズモジュール;24…ケーブル部
31…撮像周期設定手段;32…読出領域決定手段;33…表示更新手段
34…領域表示手段;35…領域表示調整手段;36…領域位置指定手段
37…変更指示手段;38…シャッタースピード設定手段;39…トリガ設定手段
50…本体部;51…制御部;52…表示部;53…メモリ部
54…インターフェイス部;55…操作部
56…対応関係記憶手段;57…設定画面記憶手段;58…画像記憶部
60…照明手段;64…照明用光源;66…照明モジュール
81…画像処理部;82…ライブ処理部;83…録画再生部;84…処理選択部
85…連続画像抽出部;86…画像出力部;86’…画像読出部
87…トリガ処理部;88…画像書き込み部;89…データ切換部
300…動画像撮像装置の設定プログラムのユーザインターフェース画面
300A…録画モード画面;300B…プレビューモード画面
301…再生基準表示欄
302…画面切替手段;302B…動作状態表示欄
304…画像表示欄;304’…縮小表示欄
306…動作設定欄;306A、306B、306A’、306B’…プログレスバー
307、307’…メモリ番号選択欄
308…トリガ設定ボタン;308’…トリガ設定画面
308a…「録画時間」タブ;308b…トリガタイプ選択欄;308c…トリガ設定欄
309…トリガ操作ボタン
310…項目設定欄;311、311’…明るさ設定欄;311a…スライドバー;
312、312’…シャッタースピード設定欄;314、314’…ゲイン設定欄
315、315’…撮像フレームレート設定欄
316…操作ボタン類
316B…スロー観察ボタン;316b…「スロー観察」チェックボックス
316D…静止画撮影ボタン
317…仮撮像開始ボタン;317’…一時停止ボタン
318、318’…録画ボタン
320…ツールバー
320A…ヘルプボタン;320B…録画設定ボタン;320C…計測ボタン
320D…レンズボタン;320E…印刷ボタン;320F…コメント入力ボタン
320G…表示ボタン;320H…カメラ・画像ボタン;320I…アルバムボタン
320J…初期メニューボタン;320K…電源ボタン
330…再生操作ボタン;331…再生/一時停止ボタン
332…巻戻しボタン;333…早送りボタン
334、334’…繰り返し再生ボタン;336、336’…フレームレート表示欄
338、338’…再生/保存範囲設定欄;339…データ保存ボタン
340…初期メニュー画面;341…簡単録画ボタン;342…通常録画ボタン
343…静止画通常撮影ボタン;344…アルバムボタン;350…手順確認画面
351…「次へ」ボタン
360…レンズ選択画面;361…マクロズームレンズボタン
362…マイクロスコープレンズボタン;363…その他のレンズボタン
364…「次へ」ボタン;365…「戻る」ボタン;366…画面ボタン
370…初期設定画面;371…「フリーアングルスタンドの使い方」ヒントボタン
372、372’…「三脚の使い方」ヒントボタン
372a…「三脚の使い方」ヒント画面
373、373’、373”…「WDと視野サイズ」ヒントボタン
373a…「WDと視野サイズ」ヒントボタン
374…「見やすいデータを録画するためには」ヒントボタン
374a…「見やすいデータを録画するためには」ヒント画面
375…「カメラの用語」ヒントボタン;375a…「カメラの用語」ヒント画面
376…「次へ」ボタン
380…視野範囲調整画面
381、381’、381”…「レンズの調整」ヒントボタン
381a…「レンズの調整」ヒント画面
382…「フレームレートに応じた視野範囲を表示」欄
383…「実際の拡大率で表示」ボタン;384…「次へ」ボタン
390…照明調整画面;391…「次へ」ボタン
400…フレームレート調整画面;401…「視野を合わせ直したい」ヒントボタン
401a…「視野を合わせ直したい」ヒント画面
402、402’…「初期セッティングからやり直す」ボタン
403…「次へ」ボタン
410…像ぶれ確認画面;411…一時停止ボタン;412…「更新速度を遅くする」欄
413…「画像を明るくしたい」ヒントボタン
413a…「画像を明るくしたい」ヒント画面;414…「次へ」ボタン
420…トリガ設定/録画画面;421、421’…三角形状マーク
422…録画枚数設定欄;423…「次へ」ボタン
430…プレビュー保存画面;431…セットボタン;432…セットボタン
433…始点・終点リセットボタン;434…スライダ;435…再生基準指定欄
436…トリガジャンプボタン;437…「データ保存」ボタン;438…終了ボタン
439…電源OFFボタン
440…「フレームレートの再調整」ボタン;441…「録画をやり直す」ボタン
S…被写体
WD…ワーキングディスタンス
RH、RH’…領域表示
GN…外部入力機器
DESCRIPTION OF SYMBOLS 100 ... Moving image imaging device 10 ... Imaging part; 12 ... Imaging element; 13 ... Imaging control part; 15 ... Head part 16 ... Imaging module 20 ... Lens module; 24 ... Cable part 31 ... Imaging period setting means; Determination means; 33 ... Display update means 34 ... Area display means; 35 ... Area display adjustment means; 36 ... Area position designation means 37 ... Change instruction means; 38 ... Shutter speed setting means; 39 ... Trigger setting means 50 ... Body part; DESCRIPTION OF SYMBOLS 51 ... Control part; 52 ... Display part; 53 ... Memory part 54 ... Interface part; 55 ... Operation part 56 ... Correspondence relation storage means; 57 ... Setting screen storage means; 58 ... Image storage part 60 ... Illumination means; Light source for use; 66 ... Illumination module 81 ... Image processing unit; 82 ... Live processing unit; 83 ... Recording / playback unit; 84 ... Process selection unit 85 ... Continuous image extraction unit; 86 '... image reading unit 87 ... trigger processing unit; 88 ... image writing unit; 89 ... data switching unit 300 ... user interface screen 300A of the setting program of the moving image pickup device ... recording mode screen; 300B ... preview mode screen 301 ... Playback reference display field 302 ... Screen switching means; 302B ... Operation status display field 304 ... Image display field; 304 '... Reduced display field 306 ... Operation setting field; 306A, 306B, 306A', 306B '... Progress bar 307, 307 '... memory number selection field 308 ... trigger setting button; 308' ... trigger setting screen 308a ... "recording time"tab; 308b ... trigger type selection field; 308c ... trigger setting field 309 ... trigger operation button 310 ... item setting field; 311 311 ′: Brightness setting field; 311a: Slide bar;
312, 312 '... Shutter speed setting field; 314, 314' ... Gain setting field 315, 315 '... Imaging frame rate setting field 316 ... Operation buttons 316B ... Slow observation button; 316b ... "Slow observation" check box 316D ... Still Image capturing button 317 ... Temporary imaging start button; 317 '... Pause button 318, 318' ... Recording button 320 ... Toolbar 320A ... Help button; 320B ... Recording setting button; 320C ... Measurement button 320D ... Lens button; 320F ... comment input button 320G ... display button; 320H ... camera / image button; 320I ... album button 320J ... initial menu button; 320K ... power button 330 ... playback operation button; 331 ... play / pause button 332 ... rewind button ; 3 3 ... Fast forward button 334, 334 '... Repeat playback button; 336, 336' ... Frame rate display column 338, 338 '... Playback / storage range setting column; 339 ... Data storage button 340 ... Initial menu screen; 341 ... Simple recording button 342 ... Normal recording button 343 ... Still image normal shooting button; 344 ... Album button; 350 ... Procedure confirmation screen 351 ... "Next" button 360 ... Lens selection screen; 361 ... Macro zoom lens button 362 ... Microscope lens button; 363 ... Other lens buttons 364 ... "Next"button; 365 ... "Back"button; 366 ... Screen button 370 ... Initial setting screen; 371 ... "How to use the free angle stand" hint buttons 372, 372 '... "Tripod "How to use" hint button 372a ... "How to use a tripod" hint screen 73, 373 ', 373 "..." WD and field size "hint button 373a ..." WD and field size "hint button 374 ..." To record easy-to-read data "hint button 374a ..." To record easy-to-view data ""Hint screen 375 ..." Camera term "hint button; 375a ..." Camera term "hint screen 376 ..." Next "button 380 ... View range adjustment screen 381, 381 ', 381" ... "Lens adjustment" hint Button 381a ... "Lens adjustment" hint screen 382 ... "Display field of view according to frame rate" field 383 ... "Display at actual magnification"button; 384 ... "Next" button 390 ... Lighting adjustment screen; 391 ... "Next" button 400 ... Frame rate adjustment screen; 401 ... "I want to adjust the field of view" hint button 401a ... "Hint screens 402, 402 '..." Redo from initial settings "button 403 ..." Next "button 410 ... Image blur confirmation screen; 411 ... Pause button; 412 ..." Delay update speed "column 413 ... "I want to brighten an image" hint button 413a ... "I want to brighten an image" hint screen; 414 ... "Next" button 420 ... Trigger setting / recording screen; 421, 421 '... Triangular mark 422 ... Recording number setting field; 423 ... "Next" button 430 ... Preview save screen; 431 ... Set button; 432 ... Set button 433 ... Start point / end point reset button; 434 ... Slider; 435 ... Playback criteria designation field 436 ... Trigger jump button; Save button; 438 ... End button 439 ... Power OFF button 440 ... Frame Button 441 ... "Redo recording" button S ... Subject WD ... Working distance RH, RH '... Area display GN ... External input device
Claims (11)
2次元状に配置された撮像素子を備え、該撮像素子を配置した撮像領域における少なくとも一部の領域に対して、撮像した画像データを読み出し可能な撮像手段と、
前記撮像手段にて被写体を撮像する際の撮像周期を、異なる撮像周期に変更して設定可能な撮像周期設定手段と、
前記撮像周期設定手段により設定される撮像周期に基づいて、該撮像周期と同等の周期で前記撮像手段の撮像領域から画像データの読み出しが可能な範囲を読出領域として、該読出領域の大きさ及び/又は位置を決定するための読出領域決定手段と、
前記撮像手段で撮像された一連の画像データを、該画像データを撮像した撮像周期よりも遅い表示周期で動画像として表示可能な表示手段と、
前記撮像周期設定手段で撮像周期が変更されたことを検出して、前記読出領域決定手段で決定され、該変更後の撮像周期に対応した読出領域の大きさ及び/又は位置を示す領域表示を、前記表示手段において動画像として表示されている撮像周期変更前の画像データに重ねて表示可能な領域表示手段と、
前記表示手段に動画像を表示させ、かつ前記領域表示手段で領域表示を重畳表示させた状態で、前記撮像手段による撮像条件を設定可能な撮像制御部と、
前記撮像周期設定手段により変更された撮像周期への変更の実行を指示するための変更指示手段と、
前記変更指示手段が操作されたことを検出して、前記読出領域決定手段で決定される該変更後の撮像周期に対応した読出領域の大きさ及び/又は位置に応じて、変更後の撮像周期で撮像された一連の画像データを該変更後の読出領域から読み出して、所定の表示周期で前記表示手段に表示させるよう、前記表示手段の画像表示を更新するための表示更新手段と、
を備えることを特徴とする動画像撮像装置。 A moving image imaging device for capturing a moving image of a subject to be imaged,
An image pickup means including an image pickup device arranged in a two-dimensional manner, and capable of reading out image data taken for at least a part of the image pickup region in which the image pickup device is arranged;
An imaging cycle setting unit that can be set by changing an imaging cycle when imaging a subject by the imaging unit to a different imaging cycle;
Based on the imaging cycle set by the imaging cycle setting means, a range in which image data can be read from the imaging area of the imaging means at a period equivalent to the imaging period is set as a readout area, and the size of the readout area and Reading area determining means for determining the position;
Display means capable of displaying a series of image data captured by the imaging means as a moving image at a display cycle slower than an imaging cycle in which the image data is captured;
An area display indicating the size and / or position of the readout area corresponding to the imaging period after the change is detected by the readout area determining means by detecting that the imaging period is changed by the imaging period setting means. , Area display means that can be displayed superimposed on the image data before the imaging cycle change displayed as a moving image in the display means;
An imaging control unit capable of setting an imaging condition by the imaging unit in a state in which a moving image is displayed on the display unit and an area display is superimposed on the area display unit;
A change instruction unit for instructing execution of a change to the imaging cycle changed by the imaging cycle setting unit;
An imaging cycle after the change is detected in accordance with the size and / or position of the readout area corresponding to the imaging cycle after the change determined by the readout area determination unit by detecting that the change instruction unit is operated. Display update means for updating the image display of the display means so as to read the series of image data imaged in the reading area from the changed read area and display the data on the display means at a predetermined display cycle;
A moving image imaging apparatus comprising:
前記領域表示手段は、前記撮像周期設定手段により撮像周期が変更される前の撮像周期で撮像された画像データを縮小表示するとともに、該縮小表示された画像データに前記領域表示を重ねて表示することを特徴とする動画像撮像装置。 The area display means reduces and displays the image data captured in the imaging period before the imaging period is changed by the imaging period setting means, and displays the area display so as to be superimposed on the reduced image data. A moving image imaging apparatus characterized by the above.
前記領域表示手段が、複数の撮像周期に対応した複数の読出領域を、複数の領域表示として前記表示手段において重ねて表示可能としたことを特徴とする動画像撮像装置。 In the moving image imaging device according to claim 1 or 2 ,
The moving image imaging apparatus characterized in that the area display means can display a plurality of readout areas corresponding to a plurality of imaging cycles in a superimposed manner on the display means as a plurality of area displays.
2次元状に配置された撮像素子を備え、該撮像素子を配置した撮像領域における少なくとも一部の領域に対して、撮像した画像データを読み出し可能な撮像手段と、
前記撮像手段にて被写体を撮像する際の撮像周期を、異なる撮像周期に変更して設定可能な撮像周期設定手段と、
前記撮像周期設定手段により設定される撮像周期に基づいて、該撮像周期と同等の周期で前記撮像手段の撮像領域から画像データの読み出しが可能な範囲を読出領域として、該読出領域の大きさ及び/又は位置を決定するための読出領域決定手段と、
前記撮像手段で撮像された画像データを、該画像データを撮像した撮像周期よりも遅い表示周期で表示可能な表示手段と、
前記表示手段に表示された、第1の撮像周期で撮像された第1の画像データにおける、該第1の撮像周期に基づいて前記読出領域決定手段で決定された第1の読出領域の大きさ及び/又は位置を記憶するための第1読出領域記憶手段と、
前記撮像周期設定手段により前記第1の撮像周期と異なる第2の撮像周期に設定された際に、該第2の撮像周期に基づいて前記読出領域決定手段で決定された第2の読出領域の大きさ及び/又は位置を認識するための第2読出領域認識手段と、
前記第1読出領域記憶手段に記憶された前記第1の読出領域と、前記第2読出領域認識手段により認識された前記第2の読出領域との相対的な大きさ及び/又は位置を求めるための読出領域決定手段と、
前記画像データを表示する前記表示手段に対して、前記読出領域決定手段により求められた相対的な大きさ及び/又は位置に基づいて、前記第2の読出領域を示す領域表示を、前記第1の画像データ上に重畳表示可能な領域表示手段と、
前記表示手段に画像データを表示させ、かつ前記領域表示手段で領域表示を重畳表示させた状態で、前記撮像手段による撮像条件を設定可能な撮像制御部と、
前記撮像周期設定手段により変更された撮像周期への変更の実行を指示するための変更指示手段と、
前記変更指示手段が操作されたことを検出して、前記読出領域決定手段で決定される該変更後の撮像周期に対応した読出領域の大きさ及び/又は位置に応じて、変更後の撮像周期で撮像された一連の画像データを該変更後の読出領域から読み出して、所定の表示周期で前記表示手段に表示させるよう、前記表示手段の画像表示を更新するための表示更新手段と、
を備えることを特徴とする動画像撮像装置。 A moving image imaging device for imaging a subject to be imaged,
An image pickup means including an image pickup device arranged in a two-dimensional manner, and capable of reading out image data taken for at least a part of the image pickup region in which the image pickup device is arranged;
An imaging cycle setting unit that can be set by changing an imaging cycle when imaging a subject by the imaging unit to a different imaging cycle;
Based on the imaging cycle set by the imaging cycle setting means, a range in which image data can be read from the imaging area of the imaging means at a period equivalent to the imaging period is set as a readout area, and the size of the readout area and Reading area determining means for determining the position;
Display means capable of displaying the image data picked up by the image pickup means at a display cycle slower than the image pickup cycle of picking up the image data;
The size of the first readout area determined by the readout area determination means based on the first imaging period in the first image data captured in the first imaging period displayed on the display means. And / or first read area storage means for storing the position;
When the imaging period setting means sets the second imaging period that is different from the first imaging period, the second readout area determined by the readout area determination means based on the second imaging period Second read area recognition means for recognizing size and / or position;
In order to obtain a relative size and / or position between the first read area stored in the first read area storage means and the second read area recognized by the second read area recognition means. Reading area determining means,
An area display indicating the second readout area is displayed on the display means for displaying the image data based on the relative size and / or position obtained by the readout area determination means. Area display means that can be superimposed on the image data of
An imaging control unit capable of setting imaging conditions by the imaging unit in a state where image data is displayed on the display unit and an area display is superimposed on the area display unit;
A change instruction unit for instructing execution of a change to the imaging cycle changed by the imaging cycle setting unit;
An imaging cycle after the change is detected in accordance with the size and / or position of the readout area corresponding to the imaging cycle after the change determined by the readout area determination unit by detecting that the change instruction unit is operated. Display update means for updating the image display of the display means so as to read the series of image data imaged in the reading area from the changed read area and display the data on the display means at a predetermined display cycle;
A moving image imaging apparatus comprising:
前記領域表示手段で表示される読出領域の位置を指定するための領域位置指定手段を備えることを特徴とする動画像撮像装置。 In the moving image imaging device according to any one of claims 1 to 4 , further,
A moving image capturing apparatus comprising: an area position designating unit for designating a position of a readout area displayed by the area display unit.
撮像周期に対応する読出領域に関する情報を、設定可能な撮像周期毎に記録した対応テーブルを記憶する対応関係記憶手段を備えており、
前記読出領域決定手段が、前記対応関係記憶手段に記憶された対応テーブルに従い、読出領域を決定することを特徴とする動画像撮像装置。 In the moving image imaging device according to any one of claims 1 to 5 ,
Correspondence storage means for storing a correspondence table in which information relating to the readout region corresponding to the imaging cycle is recorded for each settable imaging cycle is provided,
The moving image capturing apparatus according to claim 1, wherein the reading area determining means determines a reading area according to a correspondence table stored in the correspondence relation storing means.
前記読出領域決定手段は、前記撮像周期設定手段により設定される撮像周期に基づいて、読出領域を演算して求めることを特徴とする動画像撮像装置。 In the moving image imaging device according to any one of claims 1 to 5 ,
The moving image imaging apparatus according to claim 1, wherein the readout area determining means calculates and obtains the readout area based on the imaging period set by the imaging period setting means.
前記領域表示手段で画像データ上に重ねて表示される領域表示の大きさ及び/又は位置を、該画像データ上で調整するための領域表示調整手段を備えることを特徴とする動画像撮像装置。 The moving image capturing apparatus according to any one of claims 1 7, further
A moving image imaging apparatus comprising: a region display adjusting unit for adjusting a size and / or position of a region display displayed on the image data by the region display unit.
前記領域表示手段が、領域表示に加えて、該領域表示が示す撮像周期を表示可能に構成してなることを特徴とする動画像撮像装置。 In the moving image imaging device according to any one of claims 1 to 8 ,
The moving image imaging apparatus, wherein the area display means is configured to display an imaging cycle indicated by the area display in addition to the area display.
前記領域表示手段が、領域表示を枠状に表示可能としたことを特徴とする動画像撮像装置。 In the moving image imaging device according to any one of claims 1 to 9 ,
The moving image imaging apparatus characterized in that the area display means can display the area display in a frame shape.
前記撮像手段にて被写体を撮像する際の撮像周期を、異なる撮像周期に撮像周期設定手段で設定するステップと、
撮像周期に基づいて、予め前記撮像手段の撮像領域から画像データの読み出しが可能な範囲を読出領域として、該読出領域の大きさ及び/又は位置を決定するステップと、
前記撮像手段で撮像された画像データを表示可能な表示手段において、表示中の画像データを撮像した撮像周期と異なる撮像周期に対応する、前記決定された読出領域の大きさ及び/又は位置を示す領域表示を画像データに重ねて表示するステップと、
前記表示手段に領域表示を重畳表示させて画像データを表示させた状態で、前記撮像手段による撮像条件を撮像制御部で調整するステップと、
前記撮像周期設定手段により変更された撮像周期への変更の実行を、変更指示手段で指示するステップと、
前記表示手段上において表示される画像データを撮像した撮像周期と異なる撮像周期に変更されたことを検出して、該変更後の撮像周期に対応した読出領域の大きさ及び/又は位置に応じて、変更後の撮像周期で撮像された一連の画像データを該変更後の読出領域から読み出して、所定の表示周期で前記表示手段に表示させるよう、前記表示手段の画像表示を更新するステップと、
を含むことを特徴とする動画像表示方法。 After the image data of the subject to be imaged is imaged by an imaging means capable of reading out image data captured at least in a part of the imaging area in which the imaging elements are two-dimensionally arranged at a constant imaging cycle, A moving image display method for displaying this on the display means at a display cycle slower than the imaging cycle,
Setting an imaging cycle when imaging the subject by the imaging unit to a different imaging cycle by an imaging cycle setting unit;
Determining a size and / or position of the readout area based on an imaging cycle, with a range in which image data can be read out from the imaging area of the imaging means in advance as a readout area;
In the display means capable of displaying the image data picked up by the image pickup means, the size and / or position of the determined readout area corresponding to an image pickup period different from the image pickup period in which the image data being displayed is picked up are indicated. Displaying the area display overlaid on the image data;
Adjusting an imaging condition by the imaging means with an imaging control unit in a state where image data is displayed by superimposing an area display on the display means;
Instructing the execution of the change to the imaging cycle changed by the imaging cycle setting means with the change instruction means;
Detecting that the image data displayed on the display means has been changed to an imaging cycle different from the imaging cycle, and depending on the size and / or position of the readout area corresponding to the changed imaging cycle Reading out a series of image data captured in the changed imaging cycle from the read-out area after the change and updating the image display of the display means so as to be displayed on the display means in a predetermined display cycle;
A moving image display method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007316419A JP5072563B2 (en) | 2007-12-06 | 2007-12-06 | Moving image imaging apparatus and moving image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007316419A JP5072563B2 (en) | 2007-12-06 | 2007-12-06 | Moving image imaging apparatus and moving image display method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009141710A JP2009141710A (en) | 2009-06-25 |
JP2009141710A5 JP2009141710A5 (en) | 2011-01-06 |
JP5072563B2 true JP5072563B2 (en) | 2012-11-14 |
Family
ID=40871874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007316419A Expired - Fee Related JP5072563B2 (en) | 2007-12-06 | 2007-12-06 | Moving image imaging apparatus and moving image display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5072563B2 (en) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8305477B2 (en) | 2009-09-11 | 2012-11-06 | Canon Kabushiki Kaisha | Image pickup apparatus, control method thereof, and program |
JP5178669B2 (en) * | 2009-09-11 | 2013-04-10 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
JP5159746B2 (en) * | 2009-11-05 | 2013-03-13 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
JP5714298B2 (en) | 2010-10-29 | 2015-05-07 | 株式会社キーエンス | Image processing apparatus, image processing method, and image processing program |
US9046757B2 (en) | 2010-10-29 | 2015-06-02 | Keyence Corporation | Moving image pickup apparatus, method for observing moving image, moving image observing program, and computer-readable recording medium |
JP5714297B2 (en) | 2010-10-29 | 2015-05-07 | 株式会社キーエンス | Image processing apparatus, image processing method, and image processing program |
JP5501194B2 (en) | 2010-10-29 | 2014-05-21 | 株式会社キーエンス | Image measuring apparatus, image measuring method, and computer program |
JP5902928B2 (en) * | 2011-11-25 | 2016-04-13 | キヤノン株式会社 | Playback device, control method thereof, and program |
JP6004693B2 (en) * | 2012-03-23 | 2016-10-12 | キヤノン株式会社 | Display control apparatus and control method thereof |
JP6212257B2 (en) * | 2012-12-26 | 2017-10-11 | Hoya株式会社 | Electronic endoscope system |
JP6033098B2 (en) * | 2013-01-18 | 2016-11-30 | キヤノン株式会社 | Image processing apparatus, control method therefor, and program |
JP6399276B2 (en) * | 2013-02-28 | 2018-10-03 | ナビコムアビエーション株式会社 | Aircraft disaster information transmission system |
JP6671323B2 (en) * | 2017-08-24 | 2020-03-25 | 株式会社ニコン | Imaging device |
JP7277894B2 (en) * | 2018-01-22 | 2023-05-19 | 株式会社ユピテル | System, control method, program, etc. |
JP2019154070A (en) * | 2019-06-11 | 2019-09-12 | 株式会社ニコン | Display device |
CN112866778B (en) * | 2019-11-27 | 2023-03-14 | 北京嗨动视觉科技有限公司 | Streaming media display method and device and streaming media display system |
JP7444431B2 (en) * | 2019-12-16 | 2024-03-06 | i-PRO株式会社 | Parameter setting support system, parameter setting support method, and parameter setting support program |
CN117751582A (en) * | 2021-05-31 | 2024-03-22 | 株式会社尼康 | Image pickup apparatus and image processing apparatus |
CN114422692B (en) * | 2022-01-12 | 2023-12-08 | 西安维沃软件技术有限公司 | Video recording method and device and electronic equipment |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003018434A (en) * | 2001-06-28 | 2003-01-17 | Olympus Optical Co Ltd | Imaging apparatus |
JP2003324644A (en) * | 2002-05-07 | 2003-11-14 | Canon Inc | Video signal processing apparatus, image display control method, storage medium and program |
JP2005318177A (en) * | 2004-04-28 | 2005-11-10 | Elmo Co Ltd | Material presentation apparatus |
-
2007
- 2007-12-06 JP JP2007316419A patent/JP5072563B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009141710A (en) | 2009-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5072563B2 (en) | Moving image imaging apparatus and moving image display method | |
JP4915420B2 (en) | Electronic camera | |
JP4783065B2 (en) | Magnification observation apparatus, operation method of magnification observation apparatus, magnification observation apparatus operation program, and computer-readable recording medium | |
JP2007173888A (en) | Imaging apparatus | |
JP5072562B2 (en) | Moving image imaging apparatus, setting support apparatus for moving image imaging apparatus, and setting method for moving image imaging apparatus | |
JP2013009189A (en) | Imaging device and imaging method | |
JP2011060111A (en) | Display device | |
JP2013021548A (en) | Image pickup device, image reproduction device, and program | |
WO2021010070A1 (en) | Imaging device, imaging method, and program | |
JP2009111635A (en) | Electronic imaging device | |
JPH11341331A (en) | Electronic image-pickup device | |
KR20100101390A (en) | A digital photographing device, a controlling method thereof, and a computer-readable storage medium | |
JP2008263486A (en) | Imaging apparatus | |
JP2006166358A (en) | Imaging apparatus and imaging system | |
JP2011110074A (en) | Animation replaying device and program | |
JP6627534B2 (en) | Imaging device | |
JP4853447B2 (en) | Digital camera, focus control system thereof, focus control method, focus control program | |
JP4274547B2 (en) | Electronic device setting screen display method and electronic device | |
JP4513491B2 (en) | Electronic camera | |
JP6806222B2 (en) | Imaging device | |
JP4507433B2 (en) | White balance setting method | |
JP4073090B2 (en) | Electronic camera | |
JP6045223B2 (en) | Photography equipment | |
JP5135985B2 (en) | Imaging device, processing execution method and program for imaging device | |
US20230097922A1 (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101112 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120814 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120821 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150831 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |