JP6399745B2 - Video processing apparatus and program - Google Patents
Video processing apparatus and program Download PDFInfo
- Publication number
- JP6399745B2 JP6399745B2 JP2013252708A JP2013252708A JP6399745B2 JP 6399745 B2 JP6399745 B2 JP 6399745B2 JP 2013252708 A JP2013252708 A JP 2013252708A JP 2013252708 A JP2013252708 A JP 2013252708A JP 6399745 B2 JP6399745 B2 JP 6399745B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- speed
- video data
- foreground
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Digital Computer Display Output (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Description
本発明は、映像処理技術に関する。 The present invention relates to a video processing technique.
バスや列車などの移動体で、防音壁等によって車窓風景が見えない場合に、あらかじめ取得しておいた実写映像や案内情報を車窓上に表示する技術が開示されている（例えば、特許文献１）。
この技術では移動体にＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの位置を特定する装置と、映像を記録する装置とを備え、移動体の走行時に位置情報と映像情報とを関連付けて記憶させる。
そして、このデータ（位置情報と映像情報）を別の移動体の記憶媒体に蓄積し、別の移動体の位置に応じて、蓄積された映像から一番近い映像を取得して表示している。
A technique is disclosed in which a moving image such as a bus or a train displays a live-action image or guidance information acquired in advance on a vehicle window when the vehicle window scenery cannot be seen due to a soundproof wall or the like (for example, Patent Document 1). ).
In this technique, a moving body is provided with a device for specifying a position such as GPS (Global Positioning System) and a device for recording video, and the positional information and video information are stored in association with each other when the moving body travels.
Then, this data (position information and video information) is stored in a storage medium of another mobile body, and the closest video is acquired and displayed according to the position of another mobile body. .
特許文献１では、走行中に映像を表示する際に、撮影済みの画像を利用するため、撮影時の走行速度と現在の走行速度とに差がある場合に、表示画像に違和感があるという課題があった。
例えば、バスの場合、側面の窓からは風景が見えなくても前方の窓（運転席の窓）からは風景が見える。
このため、撮影時の走行速度（映像における走行速度）と現在の走行速度とに差がある場合は、前方の窓の風景と側面の窓に表示された風景映像との不整合が生じ、乗客は違和感を持つことになる。
In Patent Document 1, since a captured image is used when an image is displayed during traveling, there is a problem that the displayed image is uncomfortable when there is a difference between the traveling speed at the time of photographing and the current traveling speed. was there.
For example, in the case of a bus, the scenery can be seen from the front window (driver's seat window) even if the scenery is not visible from the side window.
For this reason, when there is a difference between the traveling speed at the time of shooting (the traveling speed in the image) and the current traveling speed, the scenery of the front window and the scenery image displayed on the side window are inconsistent, and passengers Will feel uncomfortable.
この発明は、上記のような課題を解決することを主な目的としており、映像における走行速度と移動体の現在の走行速度とに速度差があってもスムースかつ高精細な風景映像を提供することを主な目的とする。 The main object of the present invention is to solve the above-described problems, and to provide a smooth and high-definition landscape image even if there is a speed difference between the traveling speed in the image and the current traveling speed of the moving object. The main purpose.
本発明に係る映像処理装置は、
走行ルートを走行する移動体に搭載される映像処理装置であって、
前記走行ルートの走行によって前記走行ルートの周囲の風景が移動していく状況が表される映像の映像データを記憶する映像データ記憶部と、
前記映像を解析して前記映像における走行速度を映像走行速度として算出し、算出した映像走行速度と前記移動体の現在の走行速度とに基づき、前記映像データのデコード速度を指定するデコード速度指定部と、
前記デコード速度指定部により指定されたデコード速度にて前記映像データのデコードを行うデコード処理部とを有することを特徴とする。
The video processing apparatus according to the present invention is
A video processing device mounted on a moving body that travels along a travel route,
A video data storage unit that stores video data of a video representing a situation in which a landscape around the travel route is moved by traveling of the travel route;
A decoding speed designating unit for analyzing the video, calculating a traveling speed in the video as a video traveling speed, and designating a decoding speed of the video data based on the calculated video traveling speed and a current traveling speed of the moving body When,
A decoding processing unit that decodes the video data at a decoding speed specified by the decoding speed specifying unit.
本発明では、映像における走行速度である映像走行速度を算出し、算出した映像走行速度と移動体の現在の走行速度とに基づき、映像データのデコード速度を指定し、指定したデコード速度にて映像データのデコードを行う。
このため、映像における走行速度と移動体の現在の走行速度とに速度差があってもスムースかつ高精細な風景映像を提供することができる。
In the present invention, the video traveling speed, which is the traveling speed in the video, is calculated, the decoding speed of the video data is designated based on the calculated video traveling speed and the current traveling speed of the moving object, and the video is reproduced at the designated decoding speed. Decode data.
Therefore, a smooth and high-definition landscape image can be provided even if there is a speed difference between the traveling speed in the image and the current traveling speed of the moving object.
実施の形態１．
本実施の形態では、移動体において視界が遮られている場合に、撮影時と速度差があってもスムースかつ高精細な風景映像を提供する映像処理装置を説明する。
Embodiment 1 FIG.
In the present embodiment, a video processing apparatus that provides a smooth and high-definition landscape image even when there is a speed difference from the time of shooting when the field of view is blocked by the moving body will be described.
図１は、本実施の形態に係る映像処理装置１００の構成例を示す。
映像処理装置１００は、移動体に搭載されている。
映像処理装置１００が搭載されている移動体は、例えば、規定の走行ルートを走行する車両（バス、タクシー、ハイヤー、列車等）である。
また、移動体は、既定のルートを航行する船舶や航空機であってもよい。
本明細書では、「走行」には、船舶や航空機による航行も含まれる。
FIG. 1 shows a configuration example of a
The
The moving body on which the
The moving body may be a ship or an aircraft that navigates a predetermined route.
In this specification, “running” includes navigation by a ship or an aircraft.
図１において、映像データ記憶部１０１は、位置に対応づいた映像を蓄積する。
映像データ記憶部１０１は、例えばバスの側面の車窓から見える風景映像の映像データを位置情報とともに記憶する。
In FIG. 1, a video
The video
位置情報取得部１０２は、移動体に設置されたＧＰＳなどのセンサから得られる位置情報を取得する。
The position
速度度情報取得部１０３は、移動体に設置された速度センサなどから得られる速度情報を取得する。
The speed
映像デコーダ１０４は、映像データ記憶部１０１に記憶されている映像データを、位置情報取得部１０２と速度情報取得部１０３から得られる位置情報と速度情報を利用して処理速度を変化させて映像データのデコードを行う。
より具体的には、映像デコーダ１０４は、風景映像を解析して風景映像における走行速度を映像走行速度として算出し、算出した映像走行速度と移動体の現在の走行速度とに基づき、映像データのデコード速度を指定する。
そして、映像デコーダ１０４は、指定したデコード速度にて映像データのデコードを行う。
映像デコーダ１０４は、デコード速度指定部及びデコード処理部の例に相当する。
The
More specifically, the
Then, the
The
画像バッファ１０５は、映像デコーダ１０４から出力されるデコード結果の画像を所定のフレーム数分、一時的に記憶する。
The
画像選択部１０６は、画像バッファ１０５に記憶されている画像から表示対象とする画像を、位置情報取得部１０２と速度情報取得部１０３から得られる位置・速度情報を利用して決定する。
The
表示部１０７は、画像選択部１０６により選択された画像の表示を行う。
The
次に、本実施の形態に係る映像処理装置１００の動作を説明する。
Next, the operation of the
映像データ記憶部１０１には、あらかじめ取得された位置に対応づいた映像を蓄積する。
ここで、映像データ記憶部１０１に蓄積可能な映像データは、例えば実際に走行ルートを走行しながら、走行ルートの周囲の風景を撮影した実写映像の映像データである。
実写映像に代えて、また、実写映像とともに、コンピュータグラフィックス技術を用いて作成した風景映像の映像データであってもよい。
また、映像データ記憶部１０１は、映像データとともに、映像データ上の各フレームに対応した位置情報も同時に蓄積する。
この際に位置情報は緯度・経度で示される地理座標を用いることができるが、移動体の出発基点からの距離により示される情報を利用してもよい。
また、映像データ記憶部１０１は、風景映像の映像データとともに、航空写真や衛星写真から作成した連続俯瞰画像を記憶していてもよい。
The video
Here, the video data that can be stored in the video
Instead of the live-action video, it may also be video data of a landscape video created by using computer graphics technology together with the live-action video.
In addition, the video
At this time, geographical coordinates indicated by latitude and longitude can be used as the position information, but information indicated by the distance from the starting base point of the moving body may be used.
The video
移動体が走行すると、映像デコーダ１０４が図４に示す動作を行う。
When the mobile object travels, the
具体的には、映像デコーダ１０４は、位置情報取得部１０２から位置情報を入力する（Ｓ４０１）。
そして、映像デコーダ１０４は、位置情報取得部１０２から得られた位置情報を初期条件として映像データの頭出しを行う（Ｓ４０２）。
また、映像デコーダ１０４は、速度情報取得部１０３から速度情報を入力する（Ｓ４０３）。
そして、映像デコーダ１０４は、速度情報取得部１０３から得られた速度を利用して単位時間当たりのデコードフレーム数（デコード速度）を決定する。
以下では、単純に速度を利用する場合を説明する。
Specifically, the
Then, the
In addition, the
Then, the
Hereinafter, a case where the speed is simply used will be described.
映像デコーダ１０４は、Ｓ４０２で頭出しの対象とした映像データに対して、当該映像データと対応づけて記録されている位置情報から、連続する二地点の移動速度を求めることで、撮影時の走行速度を算出する（Ｓ４０４）。
すなわち、映像データでは、走行ルートの走行によって走行ルートの風景が移動していく状況が表されるが、映像デコーダ１０４は、連続する二地点の間の移動速度を算出することで、映像における走行速度（映像走行速度）を算出することができる。
The
That is, the video data represents a situation in which the scenery of the travel route moves according to the travel of the travel route, but the
次に、映像デコーダ１０４は、Ｓ４０４で算出した撮影時の走行速度と、Ｓ４０３で入力した速度情報に示される移動体の現在の走行速度とから、単位時間当たりのデコードフレーム数（デコード速度）を決定する。
例えば、撮影時の走行速度よりも現在の走行速度が遅ければ、映像撮影時のフレームレート未満のデコード速度を決定する。
逆に、撮影時の走行速度よりも現在の走行速度が速い場合は、映像撮影時のフレームレートよりも速いデコード速度を決定する。
また、撮影時の走行速度と現在の走行速度が同じである場合は、映像撮影時のフレームレートに一致するデコード速度を決定する。
より具体的には、映像デコーダ１０４は、移動体の現在の走行速度を撮影時の走行速度で除算して得られる除算値を、映像データのフレームレートに乗算して得られるデコード速度を指定する。
例えば、撮影時の走行速度が６０Ｋｍ／ｈであり、現在の走行速度が５０Ｋｍ／ｈである場合は、５０／６０＝約０．８３となるので、映像記録時のフレームレートの０．８３倍の速度でデコードするようにする。
また、例えば、撮影時の速度が時速６０Ｋｍ／ｈであり、現在の速度が７０Ｋｍ／ｈである場合は７０／６０＝約１．１７となるので、最低でも映像記録時のフレームレートの１．１７倍の速度でデコードするようにする。
Next, the
For example, if the current travel speed is slower than the travel speed at the time of shooting, a decoding speed lower than the frame rate at the time of video shooting is determined.
Conversely, when the current traveling speed is faster than the traveling speed at the time of shooting, a decoding speed that is faster than the frame rate at the time of shooting the video is determined.
If the traveling speed at the time of shooting is the same as the current traveling speed, a decoding speed that matches the frame rate at the time of shooting the video is determined.
More specifically, the
For example, when the traveling speed at the time of shooting is 60 km / h and the current traveling speed is 50 km / h, 50/60 = approximately 0.83, so that the frame rate at the time of video recording is 0.83 times the frame rate. To decode at the speed of.
Further, for example, when the speed at the time of shooting is 60 km / h and the current speed is 70 km / h, 70/60 = 1.17, so that the frame rate at the time of video recording is 1. Decode at 17 times the speed.
撮影時の速度以上の速度で走行している際に、映像記録時のフレームレートでデコードした場合は、実際の風景よりも遅れた映像が表示されることになり、適切な映像を提供することができない。
しかしながら、本実施の形態では、上述のように現在の走行速度に合わせてデコード速度を調整するため、撮影時の走行速度と現在の走行速度とに速度差異がある場合でも、適切な風景映像の提示を継続することができる。
When driving at a speed higher than the shooting speed and decoding at the frame rate at the time of video recording, video that is delayed from the actual landscape will be displayed, and provide appropriate video I can't.
However, in the present embodiment, as described above, the decoding speed is adjusted in accordance with the current traveling speed. Therefore, even when there is a speed difference between the traveling speed at the time of shooting and the current traveling speed, an appropriate landscape image is displayed. The presentation can be continued.
また、撮影時の走行速度と現在の走行速度との速度差ではなく加速度を利用することで、今後のデコード速度を予測させることも可能である。
さらに、移動体が鉄道車両の場合は、走行ルートについてランカーブ（走行曲線）と呼ばれる基本運行速度を示す情報を映像データ記憶部１０１にあらかじめ持たせておくことで、予測精度を高めることも可能である。
また、物理的な限界速度を設定して、あらかじめ映像デコーダ処理速度を、限界速度を基準に設定することも可能である。
但し、この場合は、渋滞や運行障害時に速度差が大きくなりすぎるため、画像バッファ１０５が不足することも考えられる。
このため、物理的な限界速度に基づく本手法は、走行区間のすべてのデコードデータを保持できるほどの画像バッファ１０５を確保できるような場合（短区間走行するような移動体への適用や、未来に開発されうる大容量メモリを実装した装置を利用する場合）に、有効である。
It is also possible to predict the future decoding speed by using acceleration instead of the speed difference between the traveling speed at the time of shooting and the current traveling speed.
Furthermore, when the moving body is a railway vehicle, it is possible to improve the prediction accuracy by providing the video
It is also possible to set a physical limit speed and set the video decoder processing speed in advance with reference to the limit speed.
However, in this case, it is conceivable that the
For this reason, the present method based on the physical limit speed can be applied to a moving body that travels in a short section or in the future when the
映像デコーダ１０４は、Ｓ４０６で決定したデコード速度で映像データのデコードを行い（Ｓ４０６）、デコード後のデータを画像バッファ１０５に格納する（Ｓ４０７）。
以降は、映像デコーダ１０４は、Ｓ４０２以降の動作を繰り返す。
The
Thereafter, the
画像バッファ１０５は、映像デコーダ１０４でデコードされた映像データを一時的に記憶する。
この時にバッファ内では映像データのみならず、各画像の位置情報も合わせて保持するようにする。
画像バッファ１０５で必要とするメモリ量は、撮影時の走行速度の何倍で走行する可能性があるかを想定移動体の走行特性や速度特性の条件から求め、撮影時のフレームレートに求めた倍数を乗じた程度の量とすることができる。
このようにすることで、バッファが不足することなく処理することが可能となる。
The
At this time, not only video data but also positional information of each image is held in the buffer.
The amount of memory required by the
In this way, processing can be performed without running out of buffers.
画像選択部１０６は、位置情報取得部１０２と速度情報取得部１０３からの位置情報と速度情報を入力とし、画像バッファ１０５から表示対象とする画像を選択して表示部１０７にて表示する。
このとき、表示対象とする画像を選択するために以下のような方法を用いる。
まず、画像選択部１０６は、現在表示している画像の位置情報を把握しておくとともに、速度情報取得部１０３から得られた現在の走行速度を把握する。
さらに、画像選択部１０６は、直前に表示していた画像の位置とその時の走行速度を記憶しておく。
速度情報取得部１０３から得られた現在の走行速度と直前の走行速度を用いて加速度を算出する。
加速度と現在の走行速度から次に必要となる画像の位置を予測して該当位置に最も近い画像を取得する。
これは移動体の走行状態に応じて、表示するフレームを間引いたり、補間して表示することができることを示している。
前述のようにランカーブ情報があれば間引きするフレームをあらかじめ予測することも可能となる。
撮影時より現在の走行速度が遅い場合は一番近いフレームの位置がずれる場合も考えられる。
この場合は、現在地に一番近い画像と二番目に近い画像から、両者に共通した被写体を検出して、これらの間での対応点を求めたうえで現在地の視点に応じた画像を生成することもできる。
これは現在の三次元コンピュータ解析技術を利用すれば計算して求めることができるため、本明細書では処理の詳細は割愛する。
The
At this time, the following method is used to select an image to be displayed.
First, the
Furthermore, the
The acceleration is calculated using the current travel speed obtained from the speed
The next required image position is predicted from the acceleration and the current traveling speed, and an image closest to the corresponding position is acquired.
This indicates that the frame to be displayed can be thinned out or interpolated according to the traveling state of the moving body.
As described above, if there is run curve information, the frame to be thinned out can be predicted in advance.
If the current traveling speed is slower than the time of shooting, the closest frame position may be shifted.
In this case, a common object is detected from the image closest to the current location and the image closest to the second location, and a corresponding point between them is obtained, and an image corresponding to the viewpoint of the current location is generated. You can also.
Since this can be calculated by using the current three-dimensional computer analysis technology, details of the processing are omitted in this specification.
なお、本実施の形態では映像処理装置１００を示したが、図１に記載の各処理部をソフトウェアとして実装したコンピュータプログラムによっても実現可能である。
Although the
また、前述のように実写映像のみではなく、コンピュータグラフィックスによる仮想的な風景を地形情報とともにモデル生成し、走行経路上、視界が遮られている部分のデータを透過させてあたかも外が透けて見えるかのようにした映像を作成してこれを用いることや、航空写真や衛星写真を拡大した上空からの俯瞰図を映像化して利用することも可能となる。 In addition, as described above, not only live-action images but also virtual landscapes created by computer graphics are modeled together with terrain information, and the data of the part where the field of view is obstructed on the travel route is transparent. It is also possible to create and use images that appear as if they are visible, or to visualize and use a bird's-eye view of the aerial and satellite images from above.
本実施の形態よれば、上記のように構成、動作することで、映像撮影時と速度差異があっても滑らかに風景映像を提供することができる。 According to the present embodiment, by configuring and operating as described above, it is possible to smoothly provide a landscape video even if there is a speed difference from that during video shooting.
実施の形態２．
実施の形態１では、実走行と撮影時にさほど速度差異がない状態を想定しているが、本実施の形態では、撮影時にハイスピードカメラを利用して疑似的に超低速走行時の画像を生成するようにした例を示す。
なお、映像処理装置１００の構成は実施の形態１と同様である。
Embodiment 2. FIG.
In the first embodiment, it is assumed that there is not much difference in speed between actual running and shooting, but in this embodiment, a pseudo-low-speed running image is generated using a high-speed camera during shooting. An example of doing this is shown below.
The configuration of the
実施の形態１の映像処理装置１００では、撮影時程度の速度で走行している場合は良好な映像を表示可能であるが、撮影時より遅い速度で走行した場合は対応する映像フレームが遠く離れている場合が多くなり、精細な情報を提供することが不可能になる。
そこで、実施の形態１では補間画像を生成して表示する例を述べた。
しかし、より高精細な映像を表示するには、もともとの映像を低速で撮影し、これを利用した方が精細にすることが可能であるが、実際に低速走行による撮影は交通事情的に困難な場合が多い。
In the
Therefore, in the first embodiment, the example in which the interpolation image is generated and displayed has been described.
However, in order to display a higher-definition image, it is possible to capture the original image at a low speed and use this to make the image finer, but actually shooting at low speed is difficult due to traffic conditions. There are many cases.
そこで、映像データ記憶部１０１に入力する映像データを撮影する際に、ハイスピードカメラを用いるようにする。
ここで言うハイスピードカメラはたとえば秒間９００枚程度の画像を撮影できるものを想定する。
たとえば時速２１０Ｋｍ／ｈで走行している場合、通常のビデオカメラを利用すると、秒間３０枚程度の画像を取得可能である。
撮影区間を一定の速度で走行しているとすると、連続する二枚の画像における位置間隔は約１．９４ｍである。
すなわちずれは９７ｃｍ程度あることになる。
これは遠景のみを対象としている場合は大きな問題にはならないが、近景に見えるものが多い場合は違和感が大きくなる。
上記のハイスピードカメラを利用することで、１／３０の速度で走行したのと同義になる。
この例の場合は時速７Ｋｍ／ｈで走行しているものから撮影したのと同じになるので、フレーム間の距離は６ｃｍ程度となる。
なお、ここでもコンピュータグラフィックスによる映像を用いることができるが、この出力時に本実施の形態での内容を考慮して、低速走行時を模擬した映像を出力して用いることで、同様の効果が得られる。
Therefore, a high speed camera is used when shooting video data input to the video
The high-speed camera here is assumed to be capable of shooting about 900 images per second, for example.
For example, when traveling at a speed of 210 km / h, using an ordinary video camera, about 30 images can be acquired per second.
Assuming that the vehicle is traveling at a constant speed in the shooting section, the position interval between two consecutive images is about 1.94 m.
That is, the deviation is about 97 cm.
This is not a big problem when only the distant view is targeted, but the sense of discomfort increases when there are many things that look close-up.
By using the above high speed camera, it is synonymous with traveling at a speed of 1/30.
In this example, the distance between frames is about 6 cm because it is the same as when shooting from a vehicle traveling at a speed of 7 km / h.
In this case, video by computer graphics can be used here, but the same effect can be obtained by outputting and using video simulating low-speed driving in consideration of the contents in this embodiment at the time of output. can get.
このように、本実施の形態で説明したように、撮影時にハイスピードカメラを利用することで、低速での走行を模擬できるので、画像間の距離差異が短くなるので、低速走行時でも違和感のない高精細な映像を提供することができる。 Thus, as described in this embodiment, by using a high-speed camera at the time of shooting, it is possible to simulate low-speed driving, so the distance difference between images is shortened, so even when driving at low speed, there is a sense of incongruity. Can provide high-definition video.
実施の形態３．
実施の形態１及び２では、表示部１０７が表示する画像は全面分を一枚として扱っていたが、特に実施の形態２の方式を用いると必要とする記憶容量が増大する。
車窓の風景画像を見せたい場合は、遠景はあまり動きがなく、近景は動きが激しいものになっている。
実施の形態１のように、ハイスピードカメラを用いない場合は、撮影時の走行速度に比べて現在の走行速度が大幅に遅いと、近景画像が極度に荒くなるという課題がある。
そこで、実施の形態３では、映像データ記憶部に入力する映像データを遠景用、近景用に分けるようにする。
Embodiment 3 FIG.
In the first and second embodiments, the image displayed on the
If you want to show the scenery image of the train window, the distant view is not very moving, and the close view is very moving.
When the high-speed camera is not used as in the first embodiment, there is a problem that the foreground image becomes extremely rough if the current traveling speed is significantly slower than the traveling speed at the time of shooting.
Therefore, in the third embodiment, the video data input to the video data storage unit is divided into a far view and a near view.
図２は、実施の形態３に係る映像処理装置２００の構成例を示す。
FIG. 2 shows a configuration example of the
映像データ記憶部２０１は、図１の映像データ記憶部１０１と同じ機能（位置に応じた映像データを記憶する機能）を持つ。
ここで、映像データ記憶部２０１は、遠景映像の映像データと、近景映像の映像データと、それぞれの位置に対応した位置情報を持つようにする。
遠景映像の映像データは、走行ルートの走行によって走行ルートの遠景が移動していく状況が表される映像データである。
近景映像の映像データは、走行ルートの走行によって走行ルートの近景が移動していく状況が表される映像データである。
遠景映像の映像データはあまり動きがないので、低フレームレートで生成されている。
近景映像の映像データは動きが激しいため、高フレームレートで生成されている。
また、蓄積データ量を削減するために、各映像は最終出力映像のどの領域に該当するものであるかをここで決めておく。
例えば、図３に示すように１９２０ｘ１０８０画素の映像を出力する場合、左上を原点とした座標系で画像を考え、（０，０）−（１９２０，５４０）の領域を遠景画像用領域、（０，５４０）−（１９２０，１０８０）の領域を近景画像用領域とし、映像データ記憶部２０１に記憶される映像データもこれに応じたサイズの映像データを準備する。
また、遠景映像の映像データは低フレームレートの映像でも違和感はないので、たとえば１０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）程度の映像を準備するようにする。
近景映像の映像データは実施の形態２で示すような高フレームレートの映像を準備する。
このようにすることで、実施の形態２の場合に比べ、データサイズを半分以下にすることができる。
The video
Here, the video
The distant view image data is image data representing a situation in which the distant view of the travel route moves as the travel route travels.
The video data of the foreground video is video data representing a situation in which the foreground of the travel route moves as the travel route travels.
Since the video data of the distant view video does not move much, it is generated at a low frame rate.
The video data of the foreground video is generated at a high frame rate because of its intense movement.
Further, in order to reduce the amount of stored data, it is determined here which region of the final output video each video corresponds to.
For example, as shown in FIG. 3, when an image of 1920 × 1080 pixels is output, an image is considered in a coordinate system with the upper left as the origin, and an area of (0, 0) − (1920, 540) is a distant image area, (0 , 540)-(1920, 1080) is used as the foreground image area, and the video data stored in the video
Further, since the video data of the distant view video does not feel uncomfortable even with a low frame rate video, for example, a video of about 10 fps (Frames Per Second) is prepared.
As the video data of the foreground video, a high frame rate video as shown in the second embodiment is prepared.
By doing so, the data size can be reduced to half or less compared to the case of the second embodiment.
映像デコーダ２０４も図１における映像デコーダ１０４と同様の機能を持つ。
ただし、映像デコーダ２０４は遠景映像の映像データと、近景映像の映像データの両方を並列に処理するように拡張する。
The
However, the
すなわち、映像デコーダ２０４は、近景映像を解析して近景映像における走行速度を近景映像走行速度として算出し、算出した近景映像走行速度と移動体の現在の走行速度とに基づき、近景映像の映像データのデコード速度を指定する。
また、映像デコーダ２０４は、遠景映像を解析して遠景映像における走行速度を遠景映像走行速度として算出し、算出した遠景映像走行速度と移動体の現在の走行速度とに基づき、遠景映像の映像データのデコード速度を指定する。
そして、映像デコーダ２０４は、近景映像の映像データに対して指定されたデコード速度にて近景映像の映像データのデコードを行い、遠景映像の映像データに対して指定されたデコード速度にて遠景映像の映像データのデコードを行う。
なお、デコード速度の決定方法自体は、実施の形態１と同様である。
すなわち、映像デコーダ２０４は、移動体の現在の走行速度が近景映像走行速度よりも速ければ、近景映像の映像データのフレームレートよりも速いデコード速度を近景映像の映像データに対して指定する。
また、映像デコーダ２０４は、移動体の現在の走行速度が近景映像走行速度よりも遅ければ、近景映像の映像データのフレームレートよりも遅いデコード速度を近景映像の映像データに対して指定する。
また、映像デコーダ２０４は、移動体の現在の走行速度が近景映像走行速度と同じであれば、近景映像の映像データのフレームレートに一致するデコード速度を近景映像の映像データに対して指定する。
また、映像デコーダ２０４は、移動体の現在の走行速度が遠景映像走行速度よりも速ければ、遠景映像の映像データのフレームレートよりも速いデコード速度を遠景映像の映像データに対して指定する。
また、映像デコーダ２０４は、移動体の現在の走行速度が遠景映像走行速度よりも遅ければ、遠景映像の映像データのフレームレートよりも遅いデコード速度を遠景映像の映像データに対して指定する。
また、映像デコーダ２０４は、移動体の現在の走行速度が遠景映像走行速度と同じであれば、前記遠景映像の映像データのフレームレートに一致するデコード速度を遠景映像の映像データに対して指定する。
例えば、映像デコーダ２０４は、実施の形態１と同様に、移動体の現在の走行速度を近景映像走行速度又は遠景映像走行速度で除算して得られる除算値を、近景映像又は遠景映像の映像データのフレームレートに乗算して得られるデコード速度を指定する。
That is, the
The
The
Note that the decoding speed determination method itself is the same as in the first embodiment.
That is, if the current traveling speed of the moving body is faster than the foreground video traveling speed, the
Also, if the current traveling speed of the moving body is slower than the foreground video traveling speed, the
Also, if the current traveling speed of the moving body is the same as the foreground video traveling speed, the
Also, if the current traveling speed of the moving body is faster than the far-field video traveling speed, the
In addition, if the current traveling speed of the moving body is slower than the far-field video traveling speed, the
In addition, if the current traveling speed of the moving object is the same as the far-field video traveling speed, the
For example, as in the first embodiment, the
画像バッファ２０５も、機能は図１の画像バッファ１０５と同様であるが、遠景用の画像バッファと近景用の画像バッファを持つようにする。
位置情報取得部２０２は、図１の位置情報取得部１０２と同様の機能を持つ。
また、速度情報取得部２０３は、図１の速度情報取得部１０３と同様の機能を持つ。
The function of the
The position
The speed
画像選択部２０６は、近景映像の映像データの処理は実施の形態１及び２で説明した図１記載の画像選択部１０６と同様の処理を行う。
画像選択部２０６は、遠景映像の映像データの処理も並列して行うとともに、補間画像の作成を行う。
なお、画像の差異が小さい場合は補間画像は作成しなくてもよい場合もある。
The
The
Note that if the difference between the images is small, there is a case where the interpolation image need not be created.
映像合成部２０８は、画像選択部２０６で選択された遠景映像、近景映像のそれぞれを最終出力画像の形式に合成する処理を行う。
この実施の形態では遠景映像と近景映像を画像の上下半分となる領域で分割したため、単純に各領域に該当画像を張り付けるだけで最終出力画像を得ることができる。
遠景映像、近景映像は上下半分での分割のみならず、それぞれがオーバーラップするように設定し、オーバーラップする部分は遠景より近景を手前のレイヤに配置して合成する処理を行うことや、オーバーラップ領域をαブレンディングして違和感のないように表現することも可能である。
The
In this embodiment, since the distant view video and the foreground image are divided into the upper and lower halves of the image, the final output image can be obtained simply by pasting the corresponding image in each region.
Distant view and foreground images are not only divided in the upper and lower halves, but each is set to overlap, and the overlapping part is processed by combining the distant view on the previous layer from the distant view, It is also possible to express the wrap region so as not to feel strange by α blending.
表示部２０７は、図１における表示部１０７と同様の機能を持ち、映像合成部２０８で合成された最終出力画像を表示する。
The
なお、本実施の形態では実写映像同士を合成する例を示したが、どちらかをコンピュータグラフィックスで作成した映像を用いたり、遠景、近景以外に中間的なレイヤを設けたりすることも可能である。 In this embodiment, an example of synthesizing live-action images has been shown. However, it is also possible to use an image created by computer graphics, or to provide an intermediate layer in addition to a distant view or a foreground. is there.
以上のように構成することで、低速走行時でも違和感のない高精細な画像の提供を、低記憶領域で実現できるようになる。 With the configuration described above, it is possible to provide a high-definition image that does not feel uncomfortable even when traveling at a low speed in a low storage area.
最後に、実施の形態１〜３に示した映像処理装置１００、２００のハードウェア構成例を図５を参照して説明する。
映像処理装置１００、２００はコンピュータであり、映像処理装置１００、２００の各要素をプログラムで実現することができる。
映像処理装置１００、２００のハードウェア構成としては、バスに、演算装置９０１、外部記憶装置９０２、主記憶装置９０３、入出力装置９０４が接続されている。
Finally, a hardware configuration example of the
The
As a hardware configuration of the
演算装置９０１は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
外部記憶装置９０２は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスク装置である。
映像データ記憶部１０１、２０１は、例えば、外部記憶装置９０２により実現される。
主記憶装置９０３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
画像バッファ１０５、２０５は、例えば、主記憶装置９０３により実現される。
入出力装置９０４は、例えばマウス、キーボード、ディスプレイ装置等である。
The
The
The video
The
The image buffers 105 and 205 are realized by the
The input /
プログラムは、通常は外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、順次演算装置９０１に読み込まれ、実行される。
プログラムは、図１及び図２に示す「〜部」（映像データ記憶部１０１、２０１を除く、以下も同様）として説明している機能を実現するプログラムである。
更に、外部記憶装置９０２にはオペレーティングシステム（ＯＳ）も記憶されており、ＯＳの少なくとも一部が主記憶装置９０３にロードされ、演算装置９０１はＯＳを実行しながら、図１及び図２に示す「〜部」の機能を実現するプログラムを実行する。
また、実施の形態１〜３の説明において、「〜の指定」、「〜の決定」、「〜の算出」、「〜の解析」、「〜の予測」、「〜の取得」、「〜の検出」、「〜の選択」、「〜の生成」、「〜の入力」、「〜の出力」等として説明している処理の結果を示す情報やデータや信号値や変数値が主記憶装置９０３にファイルとして記憶されている。
The program is normally stored in the
The program is a program that realizes a function described as “˜unit” (excluding the video
Further, an operating system (OS) is also stored in the
In the description of the first to third embodiments, “to be specified”, “determined to”, “calculation of”, “analysis of”, “prediction of”, “acquisition of”, “to” Information, data, signal values, and variable values indicating the results of the processing described as “Detection of”, “Selection of”, “Generation of”, “Input of”, “Output of”, etc. It is stored as a file in the
なお、図５の構成は、あくまでも映像処理装置１００、２００のハードウェア構成の一例を示すものであり、映像処理装置１００、２００のハードウェア構成は図５に記載の構成に限らず、他の構成であってもよい。
Note that the configuration in FIG. 5 is merely an example of the hardware configuration of the
１００ 映像処理装置、１０１ 映像データ記憶部、１０２ 位置情報取得部、１０３ 速度情報取得部、１０４ 映像デコーダ、１０５ 画像バッファ、１０６ 画像選択部、１０７ 表示部、２００ 映像処理装置、２０１ 映像データ記憶部、２０２ 位置情報取得部、２０３ 速度情報取得部、２０４ 映像デコーダ、２０５ 画像バッファ、２０６ 画像選択部、２０７ 表示部、２０８ 映像合成部。
DESCRIPTION OF
Claims (7)
前記走行ルートの走行によって前記走行ルートの近景が移動していく状況が表される近景映像の映像データと、前記走行ルートの走行によって前記走行ルートの遠景が移動していく状況が表される遠景映像の映像データと、前記近景映像上の位置に対応した近景映像の位置情報及び前記遠景映像上の位置に対応した遠景映像の位置情報とを記憶する映像データ記憶部と、
前記近景映像の位置情報を解析して前記近景映像における走行速度を近景映像走行速度として算出し、算出した近景映像走行速度と前記移動体の現在の走行速度とに基づき、前記近景映像の映像データのデコード速度を指定し、前記遠景映像の位置情報を解析して前記遠景映像における走行速度を遠景映像走行速度として算出し、算出した遠景映像走行速度と前記移動体の現在の走行速度とに基づき、前記遠景映像の映像データのデコード速度を指定するデコード速度指定部と、
前記デコード速度指定部により前記近景映像の映像データに対して指定されたデコード速度にて前記近景映像の映像データのデコードを行い、前記デコード速度指定部により前記遠景映像の映像データに対して指定されたデコード速度にて前記遠景映像の映像データのデコードを行うデコード処理部とを有することを特徴とする映像処理装置。 A video processing device mounted on a moving body that travels along a travel route,
Video data of a foreground image representing a situation in which the foreground of the travel route is moved by the travel of the travel route, and a distant view of a situation in which the background of the travel route is moved by the travel of the travel route A video data storage unit that stores video data of the video, position information of a foreground image corresponding to a position on the foreground image, and position information of a distant view video corresponding to a position on the far view image;
The position information of the foreground image is analyzed to calculate the travel speed in the foreground image as the foreground image travel speed. Based on the calculated foreground image travel speed and the current travel speed of the moving body, the image data of the foreground image The decoding speed is specified, the position information of the distant view image is analyzed, and the traveling speed in the distant view image is calculated as the distant view image traveling speed. Based on the calculated distant view image traveling speed and the current traveling speed of the mobile object A decoding speed designating unit for designating a decoding speed of the video data of the distant view video,
The decoding speed designating unit decodes the foreground video data at the decoding speed designated for the foreground video data, and the decoding speed designating unit designates the foreground video data. And a decoding processing unit for decoding video data of the distant view video at a decoding speed.
前記移動体の現在の走行速度が前記近景映像走行速度よりも速ければ、前記近景映像の映像データのフレームレートよりも速いデコード速度を前記近景映像の映像データに対して指定し、
前記移動体の現在の走行速度が前記近景映像走行速度よりも遅ければ、前記近景映像の映像データのフレームレートよりも遅いデコード速度を前記近景映像の映像データに対して指定し、
前記移動体の現在の走行速度が前記近景映像走行速度と同じであれば、前記近景映像の映像データのフレームレートに一致するデコード速度を前記近景映像の映像データに対して指定し、
前記移動体の現在の走行速度が前記遠景映像走行速度よりも速ければ、前記遠景映像の映像データのフレームレートよりも速いデコード速度を前記遠景映像の映像データに対して指定し、
前記移動体の現在の走行速度が前記遠景映像走行速度よりも遅ければ、前記遠景映像の映像データのフレームレートよりも遅いデコード速度を前記遠景映像の映像データに対して指定し、
前記移動体の現在の走行速度が前記遠景映像走行速度と同じであれば、前記遠景映像の映像データのフレームレートに一致するデコード速度を前記遠景映像の映像データに対して指定することを特徴とする請求項１に記載の映像処理装置。 The decoding speed designation unit
If the current traveling speed of the mobile body is faster than the foreground video traveling speed, a decoding speed higher than the frame rate of the foreground video data is specified for the foreground video data,
If the current traveling speed of the moving body is slower than the foreground video traveling speed, a decoding speed slower than the frame rate of the foreground video data is designated for the foreground video data,
If the current traveling speed of the mobile body is the same as the foreground video traveling speed, a decoding speed that matches the frame rate of the foreground video data is designated for the foreground video data,
If the current traveling speed of the moving body is faster than the far-field video traveling speed, a decoding speed faster than the frame rate of the far-field video data is specified for the far-view video data,
If the current traveling speed of the mobile body is slower than the far-field video traveling speed, a decoding speed slower than the frame rate of the far-field video data is specified for the far-field video data,
If the current traveling speed of the mobile body is the same as the far-field video traveling speed, a decoding speed that matches a frame rate of the far-field video data is specified for the far-field video data. The video processing apparatus according to claim 1.
前記移動体の現在位置に対応する近景映像の位置情報を解析して前記近景映像走行速度を算出し、
前記移動体の現在位置に対応する遠景映像の位置情報を解析して前記遠景映像走行速度を算出することを特徴とする請求項１に記載の映像処理装置。 The decoding speed designation unit
Analyzing the position information of the foreground image corresponding to the current position of the mobile body to calculate the near-field image traveling speed,
The video processing apparatus according to claim 1, wherein the distant view image traveling speed is calculated by analyzing position information of the distant view image corresponding to the current position of the moving body.
前記遠景映像の映像データよりも高いフレームレートの近景映像の映像データを記憶していることを特徴とする請求項１に記載の映像処理装置。 The video data storage unit
2. The video processing apparatus according to claim 1, wherein video data of a foreground video having a frame rate higher than that of the video data of the far-view video is stored.
ハイスピードカメラで撮影された近景映像の映像データを記憶していることを特徴とする請求項１に記載の映像処理装置。 The video data storage unit
The video processing apparatus according to claim 1 , wherein video data of a foreground video photographed by a high speed camera is stored.
前記デコード処理部によりデコードされた後の近景映像と遠景映像とを合成して、前記走行ルートの周囲の風景が移動していく状況が表される映像を生成する映像合成部と、
前記映像合成部により生成された映像を表示する表示部とを有することを特徴とする請求項１に記載の映像処理装置。 The video processing device further includes:
A video synthesizing unit that synthesizes the foreground image and the distant view video that have been decoded by the decoding processing unit, and generates a video representing a situation in which a landscape around the travel route moves;
The video processing apparatus according to claim 1, further comprising: a display unit that displays the video generated by the video synthesis unit.
前記走行ルートの走行によって前記走行ルートの近景が移動していく状況が表される近景映像の映像データと、前記走行ルートの走行によって前記走行ルートの遠景が移動していく状況が表される遠景映像の映像データと、前記近景映像上の位置に対応した近景映像の位置情報及び前記遠景映像上の位置に対応した遠景映像の位置情報とを記憶しているコンピュータに、
前記近景映像の位置情報を解析して前記近景映像における走行速度を近景映像走行速度として算出し、算出した近景映像走行速度と前記移動体の現在の走行速度とに基づき、前記近景映像の映像データのデコード速度を指定し、前記遠景映像の位置情報を解析して前記遠景映像における走行速度を遠景映像走行速度として算出し、算出した遠景映像走行速度と前記移動体の現在の走行速度とに基づき、前記遠景映像の映像データのデコード速度を指定するデコード速度指定処理と、
前記デコード速度指定処理により前記近景映像の映像データに対して指定されたデコード速度にて前記近景映像の映像データのデコードを行い、前記デコード速度指定処理により前記遠景映像の映像データに対して指定されたデコード速度にて前記遠景映像の映像データのデコードを行うデコード処理とを実行させることを特徴とするプログラム。 It is mounted on a moving body that travels along the travel route,
Video data of a foreground image representing a situation in which the foreground of the travel route is moved by the travel of the travel route, and a distant view of a situation in which the background of the travel route is moved by the travel of the travel route A computer storing video data of a video, position information of a foreground image corresponding to a position on the foreground image and position information of a distant view image corresponding to a position on the distant view image,
The position information of the foreground image is analyzed to calculate the travel speed in the foreground image as the foreground image travel speed. Based on the calculated foreground image travel speed and the current travel speed of the moving body, the image data of the foreground image The decoding speed is specified, the position information of the distant view image is analyzed, and the traveling speed in the distant view image is calculated as the distant view image traveling speed. Based on the calculated distant view image traveling speed and the current traveling speed of the mobile object Decoding speed designation processing for designating the decoding speed of the video data of the distant view video;
The video data of the foreground video is decoded at the decoding speed designated for the video data of the foreground video by the decoding speed designation process, and the video data of the far view video is designated by the decoding speed designation process. And a decoding process for decoding video data of the distant view video at a decoding speed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013252708A JP6399745B2 (en) | 2013-12-06 | 2013-12-06 | Video processing apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013252708A JP6399745B2 (en) | 2013-12-06 | 2013-12-06 | Video processing apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015111178A JP2015111178A (en) | 2015-06-18 |
| JP6399745B2 true JP6399745B2 (en) | 2018-10-03 |
Family
ID=53526036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013252708A Active JP6399745B2 (en) | 2013-12-06 | 2013-12-06 | Video processing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6399745B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10257582B2 (en) * | 2017-03-17 | 2019-04-09 | Sony Corporation | Display control system and method to generate a virtual environment in a vehicle |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1083465A (en) * | 1996-09-06 | 1998-03-31 | Matsushita Electric Ind Co Ltd | Virtual space display device, virtual space compiling device and virtual space compiling/displaying device |
| JP2001054066A (en) * | 1999-08-11 | 2001-02-23 | Toshiba Corp | Decoder and image display system and method |
| JP2004020223A (en) * | 2002-06-12 | 2004-01-22 | Nippon Telegr & Teleph Corp <Ntt> | Vehicle-mounted image display apparatus and vehicle-mounted image display method |
| JP3094921U (en) * | 2002-12-26 | 2003-07-11 | 株式会社豊田中央研究所 | Driving simulator |
| JP4740689B2 (en) * | 2005-08-19 | 2011-08-03 | エイディシーテクノロジー株式会社 | In-vehicle image display device and in-vehicle device |
| JP2007221535A (en) * | 2006-02-17 | 2007-08-30 | Pioneer Electronic Corp | Data processing apparatus, system thereof, method thereof, program thereof, and recording medium for recording the program |
| JP2008128820A (en) * | 2006-11-21 | 2008-06-05 | Rohm Co Ltd | Car navigation device |
| JP2009093076A (en) * | 2007-10-11 | 2009-04-30 | Mitsubishi Electric Corp | Image display system in train |
| JP2011097988A (en) * | 2009-11-04 | 2011-05-19 | Pioneer Electronic Corp | Training support device |
| JP2013134225A (en) * | 2011-12-27 | 2013-07-08 | Nomura Research Institute Ltd | Navigation device, system, method, and computer program |
-
2013
- 2013-12-06 JP JP2013252708A patent/JP6399745B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015111178A (en) | 2015-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3244591B1 (en) | System and method for providing augmented virtual reality content in autonomous vehicles | |
| US11698268B2 (en) | Street-level guidance via route path | |
| US7612777B2 (en) | Animation generating apparatus, animation generating method, and animation generating program | |
| JP5798392B2 (en) | Parking assistance device | |
| US9508002B2 (en) | Generating cinematic flyby sequences following paths and GPS tracks | |
| US20090171581A1 (en) | Three-dimensional map display navigation device, computer-readable three-dimensional map display system, and computer readable medium storing three-dimensional map display program | |
| JP2008204304A (en) | Vehicle behavior reproduction method and system | |
| JP4669448B2 (en) | Information recording apparatus, information recording method, and program | |
| TWI676784B (en) | Method of and non-transitory machine readable medium for presenting a de-clutterred navigation presentation | |
| JP6039525B2 (en) | Head mounted display, control method therefor, computer program for controlling head mounted display, and recording medium storing computer program | |
| JPWO2007142084A1 (en) | Navigation device | |
| US11150102B2 (en) | Virtual-space-image providing device and program for providing virtual space image | |
| WO2020220199A1 (en) | Multiple sensor data storage with compressed video stream in autonomous driving vehicles | |
| JP6399745B2 (en) | Video processing apparatus and program | |
| JP4533191B2 (en) | 3D map display device and 3D map display program | |
| WO2010137104A1 (en) | Video processing device, video processing method, and video processing program | |
| JPWO2016072019A1 (en) | Display control device | |
| KR100768667B1 (en) | Method for displaying background sky in navigation system and apparatus thereof | |
| JP7268481B2 (en) | Information processing device, autonomous vehicle, information processing method and program | |
| JPWO2011121788A1 (en) | Navigation device, information display device, navigation method, navigation program, and recording medium | |
| JP6214798B1 (en) | Support image display device, support image display method, and support image display program | |
| JP2012233904A (en) | Information display device, information display method, information display program, and recording medium | |
| JP2023123642A (en) | Image control program, image control device, and image control method | |
| JP2023078020A (en) | Remote control device, remote control method, and remote control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161104 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180807 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180904 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6399745 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |