JP6431301B2 - 動画処理装置、方法、コンピュータプログラム - Google Patents

動画処理装置、方法、コンピュータプログラム Download PDF

Info

Publication number
JP6431301B2
JP6431301B2 JP2014131940A JP2014131940A JP6431301B2 JP 6431301 B2 JP6431301 B2 JP 6431301B2 JP 2014131940 A JP2014131940 A JP 2014131940A JP 2014131940 A JP2014131940 A JP 2014131940A JP 6431301 B2 JP6431301 B2 JP 6431301B2
Authority
JP
Japan
Prior art keywords
data
moving image
terminal device
frame
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014131940A
Other languages
English (en)
Other versions
JP2016010143A (ja
Inventor
山本 正男
正男 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Scalar Corp
Original Assignee
Scalar Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Scalar Corp filed Critical Scalar Corp
Priority to JP2014131940A priority Critical patent/JP6431301B2/ja
Publication of JP2016010143A publication Critical patent/JP2016010143A/ja
Application granted granted Critical
Publication of JP6431301B2 publication Critical patent/JP6431301B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本願は動画のデータである動画データを出力する機能を有する動画出力装置から端末装置に、動画データを、無線で送信する技術に関する。
動画データを出力する機能を有する装置としては、例えば、デジタルのビデオカメラがある。ビデオカメラは撮影を行うことにより動画データを生成する。大抵のビデオカメラは、それに内蔵する記録媒体に動画データを記録する。またビデオカメラは通常、有線で動画データを、撮像と同時に、或いは撮影の後の適当なときに、外部の機器に出力できるようになっている。
ところで、外部の機器がディスプレイを備えている場合には、特にビデオカメラにディスプレイがない場合においては、その外部の機器のディスプレイをビデオカメラで撮像した動画をユーザが確認するためのディスプレイ(モニタ)として利用可能である。しかも、外部の機器とビデオカメラを無線で結んだ場合には、ビデオカメラと外部の機器をケーブルで接続する手間や、ケーブルが存在すること自体による鬱陶しさや、ケーブルの長さ等に起因するビデオカメラと外部の機器との位置関係の制約がないから、便利なことこの上ない。
ビデオカメラが例えば内視鏡のカメラである場合には、内視鏡の画像を、複数の医師がそれぞれ手にした外部の機器に配信することなども可能である。
そして、今や大いに普及した携帯端末は、上述の如き外部の機器になりうる。携帯端末には、ノート型パソコン、スマートフォン、タブレット等が含まれるが、これらはディスプレイ備えており、また、無線LANの機能が実装されていることが殆どである。
動画出力装置の他の例としては、コンピュータ、例えばノート型パソコンやタブレットがある。そして、あるノート型パソコンのディスプレイに表示されている画像を、他のノート型パソコンを始めとする携帯端末のディスプレイに表示させることができれば例えば、以下の場合便利である。
会議におけるプレゼンテーションでは、古くからプロジェクタが用いられている。プレゼンテーションを行う場合、プレゼンテーターは、ノート型パソコン等と接続されたプロジェクタから所望の画像をスクリーン等に投影する。会議に出席している聴衆は、投影された画像を見ながらプレゼンテーターのプレゼンテーションを聞き、見る。ここで、プレゼンテーターが操作するノート型パソコンのディスプレイに表示されている画像を、聴衆が持つ携帯端末のディスプレイに表示させることができれば便利である。そうすれば、紙の配布資料は必要なくなるし、また、プロジェクタにより投影された画像から遠い人が、特にその画像に小さい字が含まれている場合にその画像を認識するのに苦労する、ということもなくなる。これは別にプレゼンテーションへの応用のみならず、観劇を行う、或いはコンサートを見る、或いはスポーツを観戦する来場者に、一つのノート型パソコン等から、来場者に対して所望の情報発信を行うような応用も可能である。上述のような仕組みは言ってみれば、「規模の小さな、簡易版のテレビ放送システム」のようなものであり、そのようなものが実現できれば、まったく新しい需要を喚起できる可能性がある。
同様の事情は、テレビ会議を行う場合にも存在する。テレビ会議は、複数の会議場をインターネット等のネットワークで繋ぎ、各会場でビデオカメラで撮像した画像をネットワークを介して、それぞれの会場に配置された大型のディスプレイに配信して表示させる。このとき、各会場に配置された大型のディスプレイは、それから遠い参加者や、角度が悪い参加者等には見難いことも多い。そのような場合、各人が持つ携帯端末のディスプレイに、その会議場に配置された大型のディスプレイに表示されているのと同じ画像が表示されれば(この場合には、最早大型のディスプレイは不要かもしれない。)、非常に便利である。
上述のいずれの例も、動画データを出力する機能を有する動画出力装置から、携帯端末を始めとするディスプレイを備える端末装置に、動画データを無線LANで送ることにより実現可能なシステムである。
しかし、そのようなことを実現するにも制約がある。
それは、一般的な動画データは、現存する無線LANが持つ回線速度では、送るのが難しいという点である。それを解消するには、画質を落とすことにより送信すべきデータのデータ量を減らすというアプローチや、動画のフレームレートを落とすことにより送信すべきデータのデータ量を減らすというアプローチがあり得る。これらはいずれも、動画の質を落とすことによって、動画データの送信を実現するというものであるが、動画の質を落とすことが許容されないことも多い。
動画の質を落とすことなく送信を行おうとすると問題となるのは、動画の遅延の問題である。動画の遅延時間が大きくなると内視鏡等の医療目的にはほぼ使えなくなるし、他の用途でもユーザに不快感を与えかねなくなる。
本願発明は、動画出力装置から、携帯端末を始めとするディスプレイを備える端末装置に、動画データを無線LANで送ることのできる技術であって、特に遅延時間による不具合を抑制した実用的な技術を提供することをその課題とする。
本願発明は、連続するフレームのデータであるフレームデータを多数含む動画のデータである動画データを有線で出力する動画出力装置と組合せて用いられる、動画処理装置である。
そしてこの動画処理装置は、前記動画出力装置から出力される動画データの入力を受付ける受付け手段と、前記受付け手段が受付けた動画データのうちの各フレームのデータをデジタルデータとして圧縮したものである圧縮データにする処理を実行する圧縮手段と、前記圧縮手段が生成した圧縮データを、無線LANを介しての通信により端末装置に送信する送信手段を備えた送信装置に順次出力する出力手段と、を備えている。
本願発明の動画処理装置は、連続するフレームのデータであるフレームデータを多数含む動画のデータである動画データを有線で出力する動画出力装置と組合せて用いられる。つまり、動画出力装置自体は、無線LANの出力を行える場合もあるしそうでない場合もあるが、以下に説明するような特殊な処理を行うものではないので、動画処理装置が、動画出力装置と、端末装置との間に入って、動画出力装置から、端末装置への無線LANでの通信を実現させる装置として機能する。
動画出力装置から、動画処理装置への動画データの提供が有線であるのは、動画データの転送速度を考慮したものであるとともに、動画出力装置のうち有線での動画データの出力を行えないものは大凡存在しないことを考慮したものである。
動画処理装置は、動画出力装置から出力される動画データの入力を受付ける受付け手段を備えており、また、受付け手段が受付けた動画データのうちの各フレームのデータをデジタルデータとして圧縮したものである圧縮データにする処理を実行する圧縮手段を備えている。この動画処理装置は、画質とフレームレートを落とすことなく、端末装置へ送るべきデータ量を減らすために、圧縮の技術を用いることとしており、それにより動画の遅延を抑制することにしている。
圧縮データは、無線LANを介しての通信により端末装置に送信する送信手段を備えた送信装置に、出力手段によって送られる。送信装置の送信手段は、動画処理装置から受付けた圧縮データを、端末装置に送信する。これにより、各端末装置は小さな遅延時間で、圧縮データを受取り、それを伸長することによって戻されたフレームデータに基いて、動画データに基づく動画を、それが持つディスプレイ上で再生することができる。
また、本願の動画処理装置は、前記送信手段を備えることにより、前記送信装置と一体とされていても良い。このような動画処理装置であれば、動画処理装置自体がadhoc基地局となるので、無線ルータなどの他の送信装置なしに、簡素なネットワークを実現することができる。
前記圧縮手段は、前記受付け手段が受付けた前記動画データのうちの前記フレームデータを、規格化された所定の方法で圧縮して圧縮データにするようになっていても良い。規格化された圧縮の方法を圧縮手段が用いるのであれば、特段のソフトウエアを端末装置にインストールしなくとも、端末装置が持つ規格化されたソフトウエアを用いて、端末装置は圧縮データの伸長を行える。
前記圧縮手段は、前記受付け手段が受付けた前記動画データのうちの前記フレームデータを、前記フレームのそれぞれを一枚の静止画としてそのまま圧縮して圧縮データとするようになっていても良い。例えば、MPEG4の規格では、あるフレームについてのフレームデータを圧縮するのに、その前後2フレーム分のフレームを参照する。そのような方法で圧縮を行うのであれば、圧縮手段は、あるフレームについてのフレームデータを圧縮するにあたって、そのフレームから2フレーム先のフレームデータを受取るまで、そのフレームについてのフレームデータの圧縮を開始できない。これは2フレーム分の遅延を生じる。これに対して、圧縮手段が、フレームデータを、フレームのそれぞれを一枚の静止画としてそのまま圧縮して圧縮データとするようになっているのであれば、そのような遅延の発生を生じることがない。もっとも、このような圧縮の仕方は通常、MPEG4などの動画圧縮の場合よりも圧縮レートが低いため、動画処理装置から端末装置への無線LANによる圧縮データの送信に要する時間が大きくなり、フレームの欠落などの問題が生じる可能性もある。しかしながら、端末装置が携帯端末装置(例えば、スマートフォンや、タブレット)のみなのであれば、或いはその多くが携帯端末装置であることが予定されているのであれば、或いは少なくとも携帯端末が含まれるのであれば、携帯端末装置が備えるディスプレイで動画を見るに辺って要求される画像の解像度はせいぜい4K程度か高くとも8K程度であって非常に高い解像度が要求される可能性はまずなく、また、フレームレートが60fps程度よりも小さければ、特にフレームレートが30fps程度であれば、動画処理装置から端末装置への無線LANを用いた圧縮データの送信を行うのは、当該送信が一斉送信であったとしても難しくはない。
なお、圧縮手段が、あるフレームについてのフレームデータを圧縮するにあたって、そのフレームに続く後のフレームのフレームデータをそのフレームの圧縮に用いないのであれば、他の言い方をすれば、あるフレームについてのフレームデータを圧縮するにあたって、そのフレームのフレームデータのみか、或いはそのフレームのフレームデータと、その前のフレームのフレームデータのみをそのフレームの圧縮に用いるのであれば、上述した遅延の問題は生じない。
フレームのそれぞれを一枚の静止画としてそのまま圧縮して圧縮データとする上述のような圧縮を行うのであれば、前記圧縮手段は、例えば、JPEG圧縮を行うようになっていても良い。
圧縮手段が、受付け手段が受付けた動画データのうちのフレームデータを、フレームのそれぞれを一枚の静止画としてそのまま圧縮して圧縮データとするようになっている場合、前記圧縮手段は、前記フレームデータを、前記フレームデータのうちの前記受付け手段から受け取った部分から順に複数回に分けて圧縮していくようになっていてもよい。フレームデータをすべて受付けてから圧縮手段が圧縮を開始するのであれば、圧縮手段がすべてのフレームデータを読み込むまでの時間が遅延時間となる。例えば、圧縮手段があるフレームデータを圧縮する際に、そのフレームデータを1/10読み込むたびにフレームデータを1/10ずつ、10回に分けて圧縮するのであれば、圧縮に要する時間の大小にもよるので遅延時間を1/10にはできないながらも、遅延時間を小さくすることが可能となる。圧縮手段がフレームデータを受取った分から小分けに圧縮することにより、圧縮手段が圧縮を行うときに生じる遅延時間を小さくすることができる。
前記圧縮手段は、前記受付け手段が受付けた前記動画データのうちの前記フレームデータを、圧縮の対象となる前記フレームデータの前後の少なくとも一方のフレームデータを用いて圧縮して圧縮データとするようになっていてもよい。
上述のように、圧縮手段での圧縮は、圧縮しようとするフレームデータの前の或いは後のフレームデータを用いて行うことができる。MPEG圧縮に典型的であるがそのような圧縮方法を用いれば、動画データの圧縮レートを大きくすることができる。もっとも、このような圧縮方法を用いれば、特に、圧縮の対象となるフレームデータの後のフレームデータを圧縮に用いる場合には、当該後のフレームデータの読込みに必要な時間分、データの遅延が生じてしまう。しかしあんがら、圧縮レートが大きければ、無線LANによる圧縮データの送信に要する時間を短くすることが可能となる。送信時間の短縮の効果が、フレームデータの読込に必要な時間の短縮の効果を上回るのであれば、これもデータの遅延を解消するに有用な技術となる。
圧縮手段が、受付け手段が受付けた前記動画データのうちの前記フレームデータを、圧縮の対象となるフレームデータの前後の少なくとも一方のフレームデータを用いて圧縮して圧縮データとする場合には、前記圧縮手段は、MPEG圧縮を行うようになっていても良い。
前記圧縮手段は、前記フレームデータを前記圧縮データにする処理を、前記受付け手段がそのフレームデータを受取ってから200ms経過する前に、終了するようになっていても良い。
特に、本願発明を医療の分野で用いる場合には、例えば、内視鏡で撮像した動画を、端末装置に配信して、略リアルタイムに医師等が端末装置のディスプレイに表示された動画を確認するような場合には、200ms以上の動画の遅延があると医師等は正確に診断、治療、手術等を行えなくなる。医学の分野におけるこの制限は、他の分野よりも厳しいと思われる。
圧縮手段が上述の如き時間制限の中でフレームデータを圧縮データにするのであれば、医学の分野ならずとも、端末装置を扱うユーザに、動画の遅延によるストレスを与えないで済むようになる。
前記圧縮手段は、前記フレームデータを前記圧縮データにする処理を、前記受付け手段がそのフレームデータを受取ってから100ms経過する前に、終了するようになっていても良い。
本願発明者の研究によれば、医師等が正確に診断、治療、手術等を行うには、好ましくは、動画の遅延が100ms以内であるべきである。圧縮手段が100ms以内の遅延で、フレームデータを圧縮データにするのであれば、医学の分野ならずとも、端末装置を扱うユーザに、動画の遅延によるストレスを更に与えないで済むようになる。
前記圧縮手段は、前記フレームデータを前記圧縮データにする処理を、前記受付け手段がそのフレームデータの3つ後のフレームデータの受取りを開始する前に、終了するようになっていても良い。
これも、上述の場合同様に、端末装置を扱うユーザに、動画の遅延によるストレスを与えないことに繋がる。
送信手段を備える場合、本願発明の動画処理装置の前記送信手段は、UDP(User Datagram Protocol)/IPプロトコルを用いて前記圧縮データを前記端末装置に送信するようになっていてもよい。
本願発明は、動画処理装置から端末装置に対してデータを送信するときに、UDPを用いる技術と大変親和性が高い。UDPは、それと並んでよく知られている通信のプロトコルであるTCP(Transmission Control Protocol)とは異なり、送信装置から端末装置に対して、一対一のみではなく、一対多の通信を行えるプロトコルである。プレゼンテーションを初めとする「小規模のテレビ放送」や、テレビ会議や、内視鏡の動画を複数の医師等が共有する場合等には、UDP/IPが得意とする一対多の通信が非常に役に立つ。また、このプロトコルは、送信側装置と受信側装置との間でいわゆるシェイクハンドを行わないものであり、通信速度が早いという特性を有する。これは、圧縮して容量が小さくなったとは言え圧縮データを、動画処理装置から端末装置へ送信する場合にまさに向いている。
もっとも、一対一の通信しか要求されない場合には、TCP/IPによる通信を動画処理装置の送信手段が行っても構わない。TCP/IPを用いた通信は、UDP/IPを用いた通信とは異なり、送達確認を省略しないので、データの完全性が保証される。
UDP/IPプロトコルを用いて送信手段が圧縮データの送信を行う場合には、前記送信手段は、前記端末装置の宛先IPアドレスを「255.255.255.255」と設定したものとなっていても良い。例えば、Wi−Fi(商標)の規格を利用してUDP/IPプロトコルを用いて通信を行う場合には、規格上デフォルトで、同時に、253台(識別用のデータに8ビットのデータを使用したとき)、或いは65533台(識別用のデータに16ビットのデータを使用したとき)のコンピュータと無線で通信を行える。他方、端末装置の宛先IPアドレスを上述の通りにすると、受信側の端末装置の数を無制限或いは無限大にできることを本願発明者は見出した。そのような設定を行うことで、端末装置の数についての制限をなくすことができるし、また端末装置毎にIPアドレスを設定する手間を省けるようになる。
この場合のIPアドレスは、動画処理装置の出荷時から固定されていても良いし、動画処理装置のユーザが設定できるようになっていても構わない。その場合には、動画処理装置のユーザがIPアドレスの設定を行えるようにするための入力を行うための手段が、動画処理装置に設けられていても良い。
送信手段を備える場合、本願発明の動画処理装置の前記送信手段は、前記端末装置にインストールされたどのソフトウエアで前記端末装置で受付けられた前記圧縮データを処理させるかを指定するためのポート番号を任意に設定できるようになっており、動画処理装置は、前記ポート番号を設定するための情報を入力するためのポート番号入力手段を備えており、前記送信手段において設定されたポート番号を設定した前記端末装置のみが、受信した圧縮データに基づく動画の表示を行えるようになっていても良い。
動画処理装置から端末装置に送られた圧縮データは、伸長されてフレームデータに戻され、端末装置のディスプレイにはフレームデータに基づく動画が表示される。かかる動画の表示を端末装置のディスプレイに行わせるには、端末装置において、圧縮データの伸長以降の一連の処理を行うソフトウエアを端末装置において選択させる必要がある。通常かかる選択は、圧縮データの送信がUDP/IPを用いて行われるにしても、TCP/IPを用いて行われるにしても、ポート番号と呼ばれる番号によって指定される。動画処理装置で、かかる番号を任意に設定することができれば、圧縮データの伸長以降の一連の処理を端末装置に自動的に実行させられるようになる。それと同時に、動画処理装置でポート番号の設定を行えるようにすることは、任意の端末装置にのみ、そのディスプレイに動画を表示できるようにすることも実現可能である。つまり、動画処理装置において、圧縮データの送信を行うにあたって任意のポート番号を設定し、端末装置を有する各ユーザに、例えば口頭で、或いは視覚による伝達や、電子メールの送信によってポート番号を何番に設定せよという内容を伝達し、自らの端末装置でそのポート番号を圧縮データの伸長以降の一連の処理を行うソフトウエアにユーザが設定したとすれば、かかる設定を行ったユーザの端末装置にのみ、動画処理装置から送られた圧縮データに基づく動画が表示されることになる。ポート番号の設定は、このようにセキュリティに役立たせることが可能である。特に、UDP/IPを用いて不特定多数の端末装置に圧縮データを送信するようにした場合には、動画の閲覧のできる端末装置と動画の閲覧のできない端末装置を選択できるようにするこの技術は、その有用性が高い。
前記圧縮手段は、前記圧縮データをヘッダ情報を有するものとして生成するとともに、前記ヘッダ情報の少なくとも一部を所定のアルゴリズムに従って変換することができるようになっていても良い。この場合、前記変換の逆の変換である逆変換を前記ヘッダ情報に対して行える前記端末装置のみが、受信した圧縮データに基づく動画の表示を行えるようになっていてもよい。
上述のように、ポート番号を利用して、圧縮データに基づく動画の表示をそのディスプレイで行える端末装置と、圧縮データに基づく動画の表示をそのディスプレイで行えない端末装置とを選択的に決定することが可能である。もっともかかる技術は、ユーザに自分が用いる端末装置に対してポート番号の設定を強いるものである。
他方、圧縮手段がヘッダ情報の少なくとも一部を変換するようにするとともに、逆変換をヘッダ情報に対して行える端末装置のみが受信した圧縮データに基づく動画の表示を行えるようにする上述の如き技術は、これも動画の表示を行える端末装置を選択的に決定するための技術ではあるが、逆変換を行うためのソフトウエアが、例えば圧縮データの伸長以降の一連の処理を行うソフトウエアの一部としてインストールされている端末装置でしか、圧縮データに基づく動画の表示を行えなくなる。この技術は例えば、A社が販売した動画処理装置で圧縮データの送信を行うときに、A社が配布した、圧縮データの上述の伸長以降の一連の処理を行うソフトウエア(いわゆるビューアのソフトウエアであることが多いであろう。)がインストールされた端末装置では、圧縮データに基づく動画の表示を行えるようにするとともに、B社が配布した、圧縮データの上述の伸長以降の一連の処理を行うソフトウエアがインストールされた端末装置では、圧縮データに基づく動画の表示を行えなくする、といったことができる。
本願の動画処理装置は、また、前記フレームデータによって示される画像に、所定の文字、記号、図案の少なくとも一つが重ね合わせて表示されるように前記フレームデータを変更する変更手段を備えていても良い。
上述したように、本願の動画処理装置によって送信された圧縮データに基づく動画は、場合によっては、端末装置において記録することが可能となる。そして記録された動画、或いは動画からキャプチャされた静止画は、例えばインターネットを介して配布される可能性がある。フレームデータによって示される画像に、上述の如き文字、記号、図案の少なくとも一つ、例えば、その動画或いは静止画に、所定の者の著作権が存在することを示す文字等を表示することにより、記録された動画又は静止画を不適法に配布されることを抑止できるようになる。
なお、このような文字等の追加は、必ずしも動画処理装置で行われなくともよく、端末装置の側で行われてもよい。それを可能とするためには、例えば、以下のようにすればよい。即ち、動画処理装置は、前記フレームデータによって示される画像に、所定の文字、記号、図案の少なくとも一つが重ね合わせられるように前記フレームデータを変更する処理を前記端末装置に実行させる命令である変更命令のデータである変更命令のデータを、前記送信手段から前記端末装置に送信される前記圧縮データに付加して送信させる、命令付加手段を備えていてもよい。
以下の方法によっても、本願発明の動画処理装置と同様の作用効果を得ることができる。
その方法の一例は、連続するフレームのデータであるフレームデータを多数含む動画のデータである動画データを有線で出力する動画出力装置と組合せて用いられる、コンピュータを含む動画処理装置で実行される方法である。
そしてこの方法は、前記コンピュータが実行する、前記動画出力装置から出力される動画データの入力を受付ける受付け処理と、前記受付け処理によって受付けられた動画データのうちの各フレームのデータをデジタルデータとして圧縮したものである圧縮データにする処理を実行する圧縮処理と、前記圧縮処理で生成された圧縮データを、無線LANを介しての通信により端末装置に送信する送信手段を備えた送信装置に順次出力する出力処理と、を含む。
以下のコンピュータプログラムをインストールすることによって得られるコンピュータ、例えば、汎用のコンピュータによっても、本願発明の動画処理装置と同様の作用効果を得ることができる。
そのコンピュータプログラムの一例は、コンピュータを、連続するフレームのデータであるフレームデータを多数含む動画のデータである動画データを有線で出力する動画出力装置と組合せて用いられる、動画処理装置として機能させるためのコンピュータプログラムである。
そしてこのコンピュータプログラムは、前記コンピュータに、前記動画出力装置から出力される動画データの入力を受付ける受付け処理と、前記受付け処理によって受付けられた動画データのうちの各フレームのデータをデジタルデータとして圧縮したものである圧縮データにする処理を実行する圧縮処理と、前記圧縮処理で生成された圧縮データを、無線LANを介しての通信により端末装置に送信する送信手段を備えた送信装置に順次出力する出力処理と、を実行させる。
第1実施形態の通信システムの概観を示す図。 図1に示した通信システムに含まれる動画処理装置のハードウエア構成を示す図。 図1に示した通信システムに含まれる動画処理装置の内部に形成される機能ブロックを示すブロック図。 図1に示した通信システムで実行される圧縮処理の一例を概念的に示す図。 図1に示した通信システムに含まれる端末装置のハードウエア構成を示す図。 図1に示した通信システムに含まれる端末装置の内部に形成される機能ブロックを示すブロック図。 第2実施形態の通信システムの概観を示す図。
以下、本発明の第1及び第2実施形態について説明する。
各実施形態の説明では、重複する対象には重複する符号を付すものとし、重複する説明は場合により省略するものとする。
≪第1実施形態≫
この実施形態では、動画出力装置と、本願発明による動画処理装置と、動画処理装置から後述する圧縮データを受付ける端末装置と、を含む通信システムについて説明する。図1にこの実施形態における通信システムの概要を示す。
通信システムは、動画出力装置100と、動画処理装置200と、端末装置300とを含んで構成されている。
動画出力装置100は、動画のデータである動画データを有線で出力する装置である。それが可能な限り、動画出力装置100はどのようなものであっても基本的に構わない。
動画出力装置100は、例えば、撮像した動画についての動画データを撮像と同時に出力できるようになっているビデオカメラ(例えば、テレビジョン放送用の動画を撮影するためのビデオカメラや、内視鏡に組込まれたビデオカメラがその例となる)でも良いし、或いは、テレビ会議システムにおける、他の会場からの動画データを受取り一般的には、その会議場にある大型のディスプレイにその動画データを出力する機器でも良いし、ノート型或いはデスクトップ型のコンピュータ、或いはApple Japan合同会社が販売するiPad(商標)の如きタブレット型のコンピュータであっても良い。
第1実施形態では、とりあえず、動画出力装置100はコンピュータ、それもノート型コンピュータであるものとする。また、この実施形態における通信システムは、これには限られないが、会議でのプレゼンテーションに用いられるプレゼンテーションシステムであるものとする。
動画出力装置100と動画処理装置200はプレゼンテーションを行うプレゼンテーター(或いはその補助者、以下同じ。)によって操作され、端末装置300は聴衆によって操作される。端末装置300は聴衆の私物である場合もあるし、プレゼンテーター或いはプレゼンテーターの協力者によって聴衆に配布乃至貸与されたものである場合もある。
端末装置300は、無線LANによる通信を行えるものである必要がある。端末装置300は、携帯できる大きさであるのが好ましく、また、ディスプレイを備えている。端末装置300はスマートフォン、タブレット、ノート型コンピュータであっても良い。タブレットの例は動画出力装置100で挙げた通りであり、スマートフォンは例えば、Apple Japan合同会社が製造、販売を行うiPhoneである。この実施形態では、通信システムがプレゼンテーションシステムである場合を例に取るので、端末装置300は複数台存在している。もっとも端末装置300は複数台存在する必要は必ずしも無い。
動画出力装置100の説明に戻る。
動画出力装置100は、ディスプレイ101を備えたノート型コンピュータである。そのハードウエア構成、インストールされているコンピュータプログラムはいずれも、公知のもので良い。動画出力装置100は、また、入力装置102を備えている。この実施形態の入力装置102はキーボードであるが、それに加えて、或いはそれに代えて、トラックボール、マウス、タッチパネル等の他の入力装置を動画出力装置100が備えていても構わない。動画出力装置100は、また、図示を省略の出力端子を備えている。出力端子は公知のもので良い。出力端子は、動画データを出力することができるものとなっている。
出力端子は、動画データをアナログ信号として出力するものであっても良いし、デジタル信号として出力するものであっても良い。前者の例としては、アナログRGB端子、後者の例としては、HDMI端子、サンダーボルト端子等を挙げることができる。
動画出力装置100は、公知のプレゼンテーション用のソフトウエアを搭載しておりプレゼンテーションを行うことができるようになっている。プレゼンテーション用のソフトウエアは、例えば、日本マイクロソフト株式会社製のPowerPoint(商標)である。プレゼンテーションに用いられる画像である表示画像はディスプレイ101に表示され、プレゼンテーターはそれを見ながらプレゼンテーションを行うことになる。
次に、動画処理装置200について説明する。
動画処理装置200は、動画出力装置100と接続されており、動画出力装置100から受け取った、動画データを、圧縮して、端末装置300のそれぞれへ送信する機能を有している。結果として、端末装置300のディスプレイには、後述するように、動画出力装置100のディスプレイ101に表示されている画像と略同様の画像が表示されることになる。
動画処理装置200は、コンピュータである。動画処理装置200は、また、入力装置202を備えている。この実施形態の入力装置202はテンキーであるが、キーボード、マウス、タッチパネルなどを入力装置202として用いることができる。
動画処理装置200は、図示を省略の入力端子を備えている。入力端子は、動画出力装置100の出力端子と対になるものであり、出力端子から出力された動画データを受付けるものである。入力端子は、有線で、動画出力装置100の出力端子と結ばれる。入力端子と、出力端子とを結ぶのはケーブル100Aである。
また、動画処理装置200は、無線LANの機能を実装している。無線LANの機能は、アンテナを備えた、図示を省略の無線LAN通信部によって実現される。無線LAN通信部は、後述するように、無線LAN制御部によって制御され、無線LANによる通信を端末装置300との間で行うようになっている。この実施形態の無線LAN通信部は、公知のものでよく、Wi−Fiによる通信を行えるようなものとなっている。
動画処理装置200は、図2に示したようなハードウエアを備えている。
ハードウエアには、CPU211、ROM212、RAM213、インターフェイス214が含まれており、これらはバス216によって相互に接続されている。
CPU211は、演算を行う演算装置である。CPU211は、例えば、ROM212に記録されたコンピュータプログラムを実行することにより、後述する処理を実行する。なお、ここでいうコンピュータプログラムには、本願発明の動画処理装置としてこの動画処理装置200を機能させるためのコンピュータプログラムが少なくとも含まれる。このコンピュータプログラムは、動画処理装置200にプリインストールされていたものであっても良いし、事後的にインストールされたものであっても良い。このコンピュータプログラムの動画処理装置200へのインストールは、メモリカード等の所定の記録媒体を介して行なわれても良いし、LAN或いはインターネットなどの通信回線を介して行なわれても構わない。
ROM212は、CPU211が後述する処理を実行するために必要なコンピュータプログラムやデータを記録している。
RAM213は、CPU211が処理を行うために必要なワーク領域を提供する。また、RAM213の一部が後述するフレームバッファとなっている。
インターフェイス214は、バス216で接続されたCPU211やRAM213等と外部との間でデータのやり取りを行うものである。インターフェイス214には、上述の入力装置202と、図示を省略の入力端子及び上述の無線LAN通信部とが接続されている。入力装置202からの操作内容と入力端子からの入力は、インターフェイス214からバス216に入力されるようになっているとともに、インターフェイス214から無線LAN通信部へ出力された後述する圧縮データは、無線LAN通信部から端末装置300へ出力されるようになっている。
CPU211がコンピュータプログラムを実行することにより、動画処理装置200内部には、図3で示されたような機能ブロックが生成される。なお、以下の機能ブロックは、上述のコンピュータプログラム単体の機能により生成されていても良いが、上述のコンピュータプログラムと、動画処理装置200にインストールされたOSその他のコンピュータプログラムとの協働により生成されても良い。また、以下の機能ブロックで行われる処理の少なくとも一部は、コンピュータプログラムによらず、ハードウエアによって実行されていても構わない。
動画処理装置200の内部には、操作信号解析部221、制御部222、動画データ受付部223、画像データ処理部224、圧縮部225、及び無線LAN制御部226が生成される。
操作信号解析部221は、入力装置202から入力された操作信号の内容を解析する。この実施形態では、入力装置202からは、いずれも後述するIPアドレスとポート番号を設定するための情報である数値が入力される。入力装置202からその数値に関する操作信号が入力されると、操作信号解析部221はその操作信号が指定する数値を解析する。操作信号解析部221が解析した操作内容、つまり数値は、制御部222に送られるようになっている。なお、この数値に関する情報は、入力装置202からでなく、動画出力装置100の入力装置102から入力されるようになっていても構わない。
操作信号解析部221には、また、入力装置202から、後述する文字、記号、図案の少なくとも一つ(以下、「文字等」という場合がある。)についてのデータをフレームデータに含めるか否かを決定するための、或いは文字等を後述するフレームデータに含めるのであればどのような文字等のデータをフレームデータに含めるかを決定するための情報である、文字記号情報についての操作信号が入力される。文字記号情報についての操作信号を受付けた操作信号解析部221は、その内容を解析し、その内容を制御部222に送るようになっている。
制御部222は、画像データ処理部224と、無線LAN制御部226に必要なデータを送るものである。具体的には、制御部222は、操作信号解析部221から受付けた文字記号情報によって特定された内容、即ち、文字、記号、図案の少なくとも一つをフレームデータに含めるか否かを決定するための、或いは文字、記号、図案の少なくとも一つをフレームデータに含めるのであればどのような文字、記号、図案の少なくとも一つをフレームデータに含めるかを決定するための情報を、画像データ処理部224に送るようになっている。また、制御部222は、操作信号解析部221から受付けたIPアドレスと、ポート番号とを特定するための数値を、無線LAN制御部226に送るようになっている。
なお、制御部222は、ポート番号を、入力装置202によって入力された数値そのものとしても良いし、その数値に所定の演算を行ってから決定される数値であっても良い。この実施形態では、これには限られないが、後者である。
動画データ受付部223は、入力端子によって受付けられた動画データが、インターフェイス214を介して入力される。動画データは、各フレームを特定するデータであるフレームデータが連続したものである。フレームデータは、当該動画のフレームレートが例えば60fpsであれば、毎秒60回動画データ受付部223によって受付けられる。動画データ受付部223は、フレームデータを受付けるたびに、それを画像データ処理部224に送るようになっている。
画像データ処理部224は、フレームデータに対して必要な画像処理を行うようになっている。
画像データ処理部224が行う画像処理は、以下のようなものである。
まず、画像データ処理部224は、フレームデータがアナログ信号である場合には、それをデジタル信号に変換する。
また、画像データ処理部224は、フレームデータが圧縮されたものである場合には、それを伸長する。例えば、最近のデジタルビデオカメラには、有線で圧縮済みのMPEG画像を出力できるようなものがある。動画出力装置100がそのような圧縮済みの状態のフレームデータを出力するようなものであれば、画像データ処理部224はそのフレームデータを伸長する。
画像データ処理部224は、また、制御部222から、文字記号情報についてのデータを受付け、且つそれが「XXXX(任意の文字や記号)」という文字、記号、図案の少なくとも一つをフレームデータに書き込めという内容であった場合には、それに従った処理をフレームデータに対して行う。具体的には、フレームデータ、基本的にはすべてのフレームデータに対して、当該フレームデータによるフレーム乃至画像に、「XXXX」という文字等が含まれるように処理を行う。この実施形態における文字等は静的なものであり、すべてのフレームデータにおいて共通のものである。書き込まれる文字等は、これには限られないが、この実施形態では、元々の動画データに著作権が存在することを示すものとなっている。例えば、「この動画には著作権があります」といった文字や、「著作者 山本」等の文字や、「(c) YAMAMOTO」というような文字と記号の組合せ、著作権を有する法人のロゴマークその他の図案、或いはそれら図案と法人名の文字の組合せ等とすることができる。
フレームデータに文字等を追加する処理は、例えば以下の1〜3のようにして行うことができる。
1.フレームデータは後述するように圧縮されるが、その前の状態では、RGB又はYUV等の画像メモリ(上述したRAM213の一部であっても良い。)上に展開される。画像メモリ上にフレームデータが展開される都度、そのフレームデータによるフレーム乃至画像上に、予め読み込んでおいた例えばBMP(Microsoft Windows Bitmap Image:「Microsoft」と「Windows」はいずれも商標)形式の文字等を上書きすることで、上記目的が達せられる。
2.上述の如き画像メモリに、画像メモリ上に展開されたフレーム乃至画像とは異なるレイヤーについてのアルファチャンネルが存在する場合であれば、当該アルファチャンネルに文字等を一度書き込んでおけば、画像メモリ上にフレーム乃至画像が展開されれば自動的に、当該フレーム乃至画像に、文字等が書き込まれた状態となる。
3.画像メモリの手前に、例えばFPGA(field−programmable gate array)等の製造後において購入者や設計者が構成を設定できる集積回路が存在している場合であれば、当該FPGAに文字等のデータを持たせておき、FPGAを通過するフレームデータに直接、文字等のデータを重ねることにより、上記目的が達せられる。
画像データ処理部224が画像処理を終えたら、処理の終わったフレームデータは順次、圧縮部225に送られるようになっている。
圧縮部225は、画像データ処理部224から受付けた各フレームデータを順次圧縮する。圧縮の方法は公知のもので良く、例えば、規格化されたものでよい。フレームデータが圧縮されたものが圧縮データである。
圧縮部225は、フレームのそれぞれを一枚の静止画として、フレームデータをそのまま圧縮して圧縮データとするようになっていても良い。このような圧縮の例としては、例えば、JPEG圧縮を挙げられる。
圧縮部225が、各フレームデータを、フレームのそれぞれを一枚の静止画として圧縮する場合には、圧縮部225は、フレームデータを、フレームデータのうちの画像データ処理部224から受け取った部分から順に複数回に分けて圧縮していくようになっていてもよい。フレームデータは通常、フレームの一番上の行を左から右に向けて、次いでその一行下の行を左から右に向けて、……最も下の行を左から右に向けて、という順番で順に読み込まれて行くが、例えば、図4の例で言えば、フレームFのうち、斜線を付した範囲については既にフレームデータが読み込まれている、即ち圧縮部225によってデータが受取られているとすると、フレームFを構成するゾーン(a)〜(x)のうち、ゾーン(a)〜(f)については既にフレームデータ(の正確に言うと一部)が読み込まれているので、他のゾーンに先立って圧縮を行うことができる。
圧縮部225は、また、動画データのうちのフレームデータを、圧縮の対象となるフレームデータの前後の少なくとも一方のフレームデータを用いて圧縮して圧縮データとするようになっていてもよい。このような圧縮技術には、例えば、MPEG圧縮、h.264圧縮がある。MPEG圧縮の一種であるMPEG4では、あるフレームデータを圧縮するのに、離散コサイン変換と、エントロピー符号化の技術に加えて、その前後2つずつのフレームデータを用いる動き予想フレーム間補完の技術を用いて、圧縮レートを高める。もっとも動画の遅延の問題を避けることを重視するのであれば、圧縮レートが下がるが、圧縮部225は、あるフレームデータを圧縮するのに、その前のフレームデータのみを使い、後のフレームデータを用いないようにするのが好ましい。もっとも、圧縮レートが高ければ、動画処理装置200から、端末装置300へと圧縮データを送信するのに要する時間が短くて済むことになるため、圧縮に要する時間が多少長くかかったとしても動画の遅延の問題は生じにくくなる。
この実施形態における圧縮部225は、動画データ受付部223があるフレームデータを受取ってから200ms以内に、好ましくは、100ms以内に、フレームデータを圧縮データにするようになっている。
また圧縮部225は、あるフレームデータを圧縮データにする処理を、動画データ受付部223がそのフレームデータの3つ後のフレームデータの受取りを開始する前に終了するようになっていてもいる。60fpsの動画データの場合であれば、この場合における圧縮終了までの遅延時間は、50msであり、30fpsの動画データの場合であれば、この場合における圧縮終了までの遅延時間は、100msである。
これには限られないが、この実施形態の圧縮部225は、JPEG圧縮によりフレームデータを圧縮することとしている。その圧縮レートは、MPEG圧縮よりも低いが、圧縮が終了するまでの速さは圧倒的である。本願出願人が作成した試作機においても既に、圧縮部225が、動画データ受付部223があるフレームデータを受取ってから200ms以内に、好ましくは、100ms以内に、フレームデータを圧縮データにすることも、60fpsの動画の場合に、動画データ受付部223がそのフレームデータの3つ後のフレームデータの受取りを開始する前に終了することも実現できることが確認済みである。なお、MPEG圧縮の場合には、
もっとも、出願人は、圧縮部225がMPEG圧縮を行う場合においても、圧縮部225が、動画データ受付部223があるフレームデータを受取ってから200ms以内に、好ましくは、100ms以内に、フレームデータを圧縮データにすることが可能なことも確認済みである。
圧縮部225は、また、圧縮データのヘッダに以下のような変換を加えることができる。JPEG圧縮も、MPEG圧縮も、既存の技術で圧縮が行われた後のデータには、ヘッダ情報が付される。ヘッダ情報は、圧縮の種類や、その伸長を行うときに必要となる参照用テーブルなどのデータが、規格化された規則に則り書き込まれている。したがって、圧縮データを受取った例えば端末装置300は、圧縮データの伸長を行うときにはヘッダに書き込まれたデータが必要であり、それがないと圧縮データを伸長することができない。この実施形態の圧縮部225は、必ずしもこの限りではないが、ヘッダ情報の一部を所定のアルゴリズムに従って変換するようになっている。これは、圧縮データのヘッダ情報に対してその逆の変換を行える、そういうアルゴリズムを有する端末装置300のみしか圧縮データの伸長を行えなくするためである。ヘッダ情報の変換は、例えば、ヘッダ情報を構成する文字列の順序をヘッダ情報の一部について逆転させるとか、ヘッダ情報を幾つかに分割してそのうちの幾つかの順序を入れ替える、或いはヘッダ情報のデータ量が大きくなるが、ヘッダ情報を構成する文字列の少なくとも一部に数文字おきにノイズとなる文字を追加することにより行う。この実施形態においては、圧縮部225が実行する上述のアルゴリズムは、動画処理装置200の出荷時から設定されているものとするが、入力装置202からの入力によりそれを設定することも可能である。
無線LAN制御部226は、操作信号解析部221から、IPアドレスと、ポート番号を特定するための数値を受付けるとともに、圧縮部225から圧縮データを受取る。無線LAN制御部226は、圧縮部225から次々に送られてくる圧縮データを受付け、受付けた圧縮データを、順次無線LAN通信部に送るようになっている。
他方無線LAN制御部226は、上述の如く操作信号解析部221から受付けたIPアドレスを無線LAN通信部に設定する。IPアドレスは、無線LAN通信部から圧縮データを無線で送られる端末装置300を特定するものである。IPアドレスの設定方法は公知の技術によれば良い。また、IPアドレスとして設定される数値も、公知のものとすることができる。この実施形態では、端末装置300の宛先IPアドレスを「255.255.255.255」と設定する。このように設定すると、圧縮データを受付けることのできる端末装置300の数は、事実上無限となる。
他方無線LAN制御部226は、上述の如く操作信号解析部221から受付けたポート番号を無線LAN通信部に設定する。ポート番号は、無線LAN通信部から圧縮データを無線で送られた端末装置300にインストールされたどのソフトウエアに圧縮データを扱わせるかを特定するための数値である。
無線LAN通信部は、無線LAN制御部226から受付けた圧縮データを無線LANの機能によって端末装置300へ送信する機能を有する。これには限られないが、この実施形態の無線LAN通信部は、Wi−Fiによって、圧縮データを端末装置300へ送るようになっている。このとき、端末装置300を特定するIPアドレスは、上述のように「255.255.255.255」である。
次に端末装置300について説明する。
端末装置300は、携帯型のコンピュータである。
端末装置300は、ディスプレイ301を備えている。端末装置300は、また、入力装置302を備えている。入力装置302は、図1に示したような物理キーの他、公知のように、ディスプレイ301と一体となったタッチパネルにより構成することもできる。
また、端末装置300は、無線LANの機能を実装している。無線LANの機能は、図示を省略の無線LAN通信部によって実現される。無線LANは、これには限らないがこの実施形態では、Wi−Fiである。端末装置300の無線LAN通信部は、動画処理装置200の無線LAN通信部と通信を行えるようになっている。
端末装置300は、図5に示したようなハードウエアを備えている。
ハードウエアには、CPU311、ROM312、RAM313、インターフェイス314、これらはバス315によって相互に接続されている。ハードウエアには、動画処理装置200が備えていたものと同様のハードディスクドライブが含まれていても良い。
CPU311、ROM312、RAM313、インターフェイス314、バス315の各機能は、基本的に、動画処理装置200におけるCPU211、ROM212、RAM213、インターフェイス214、バス215の機能と同様である。
ただし、ROM312には、端末装置300で実行される以下の処理を実現するために必要なコンピュータプログラムが記録されている。また、ROM312には、後述する拡大(例えば、ピンチによる)や、表示画像の記録(例えば、プリントスクリーンによる)の処理を実行するために必要なソフトウエアが記録されている。
また、端末装置300のインターフェイス314は、端末装置300に搭載された上述の無線LAN通信部と接続されており、無線LAN通信部が動画処理装置200から受け取った圧縮データの受取りを行うようになっている。また、インターフェイス314は入力装置302と接続されており、入力装置302から操作内容を受付けるようになっている。この操作内容は、少なくとも後述する指定情報を含む。インターフェイス314はまた、ディスプレイ301に接続されており、ディスプレイ301に所定の表示画像を表示するためのデータを送るようになっている。
CPU311がコンピュータプログラムを実行することにより、端末装置300内部には、図6で示されたような機能ブロックが生成される。なお、以下の機能ブロックは、上述のコンピュータプログラム単体の機能により生成されていても良いが、上述のコンピュータプログラムと、端末装置300にインストールされたOSその他のコンピュータプログラムとの協働により生成されても良い。また、以下の機能ブロックの少なくとも一部の機能は、ソフトウエアではなくハードウエアによって実現されてもよい。
端末装置300の内部には、操作信号解析部321、制御部322、ポート番号判定部323、伸長部324、及び表示画像データ生成部325が生成される。
操作信号解析部321は、入力装置302から入力された操作信号の内容を解析する。この実施形態と関連する操作信号としては、指定情報がある。指定情報は、後述するようにして端末装置300が受けとった圧縮データを、端末装置300にインストールされているどのソフトウエアで処理するかを決定するための数値であるポート番号を決定するための情報である数値を指定するものである。この数値は、制御部322に送られるようになっている。
制御部322は、操作信号解析部321からこの数値を受取ったときに、端末装置300が受けとった圧縮データを、端末装置300にインストールされているどのソフトウエアで処理するかを決定するための数値であるポート番号を決定する機能を有する。この数値は、操作信号解析部321から入力された操作内容によって示される数値そのものでも良いが、その数値に対して何らかの演算を行った結果得られる数値であっても良い。そして、この実施形態では、そのような演算の結果、端末装置300が受けとった圧縮データを、端末装置300にインストールされているどのソフトウエアで処理するかを決定するための数値が決定されるようになっている。この数値は、ポート番号判定部323に送られるようになっている。
ポート番号判定部323は、動画処理装置200の無線LAN通信部から送られてきて、端末装置300の無線LAN通信部が受取ったヘッダ、及び圧縮データのパケットを、インターフェイス314を介して、都度受取るようになっている。
ポート番号判定部323は、動画処理装置200で指定されたポート番号と、制御部322から受け取ったポート番号とを比較して、それらが一致するのであれば圧縮データの受取を行い、それらが一致しないのであれば、圧縮データの受取を行わない。上述の比較の処理は、最初の圧縮データを受取ったときのみ、或いは10分毎等の所定の時間間隔毎に行われるようになっていても構わない。この実施形態では、最初の圧縮データを受取ったときにのみ、その処理が行われるものとする。
ポート番号判定部323は、圧縮データを受取った場合には、それを伸長部324に送るようになっている。
伸長部324は、ポート番号判定部323から圧縮データを受取った場合に、その圧縮データを伸長してフレームデータに戻すものである。伸長部324は、圧縮データを伸長して得たフレームデータを、表示画像データ生成部325に送るようになっている。
この実施形態の伸長部324は、圧縮データのヘッダ情報に加えられた上述の変換を元に戻す、いわゆる逆変換を行うためのアルゴリズムを実装している。それは例えば、プレゼンテーターが指定したソフトウエアを、聴衆が、自らが持つ端末装置300にインストールしておくことで達成される。例えば、プレゼンテーターが個々にソフトウエアを指定すれば、プレゼンテーター毎に、自らが配信した動画を閲覧できる聴衆を選別できることになる。
この実施形態の伸長部324は、上述の逆変換によりヘッダ情報を元に戻した後に、そのヘッダ情報を用いて、圧縮データを伸長しフレームデータに戻す。圧縮データの伸長の仕方は、公知のもので構わない。
伸長部324は、フレームデータを、都度、表示画像データ生成部325に送る。表示画像データ生成部325は、表示画像データ生成部325は、伸長部324から受付けたフレームデータに基いて、そのフレームデータに基づく画像をディスプレイ301に表示させるものである。表示画像データ生成部325は、フレームデータを受取る度に、ディスプレイ301にそのフレームデータに基づく画像を表示させる。
次に、この通信システムの使用方法、及び動作について説明する。
この通信システムを用いるには、まず、プレゼンテーターは、動画出力装置100の出力端子と動画処理装置200の入力端子とをケーブル100Aにて接続する。この実施形態では、これには限られないが、HDMIケーブルにて、両装置の接続を行う。
次いで、上述の作業との先後を問わないが、プレゼンテーターは、動画処理装置200の入力装置202を操作して、動画処理装置200に、ポート番号を決定するための数値を入力するとともに、聴衆に、自らが持つ端末装置300に対して、端末装置300が圧縮データを受取ったときにそれを処理するソフトウエアを特定するポート番号を決定するための数値を入力させる。その数値は、例えば、口頭で或いは、電子メール等により、聴衆に伝達する。
入力装置202から動画処理装置200に入力された数値は、操作信号解析部221を経て制御部222へ送られる。この実施形態の制御部222は、上述のように、ポート番号を、入力装置202によって入力された数値に所定の演算を行ってから決定される数値として決定する。例えば、一般に、ポート番号は、8255というデフォルトの数値に対して、所定の数値を加算して、決定されるようになっている。この実施形態では、プレゼンテーターは、入力装置202を操作して、8255+所定の数値(例えば1000)+端末装置300による圧縮データの受取り及び伸長を許可するべき聴衆に入力させる数値(例えば、10)のうち、所定の数値(例えば1000)と端末装置300による圧縮データの受取り及び伸長を許可するべき聴衆に、自らが持つ端末装置300に入力させる数値(例えば、10)を合算した数値を入力する。制御部222は、これらを合算した9265という数値をポート番号として決定して、この数値を無線LAN制御部226に送る。
他方、この実施形態では、聴衆の持つ端末装置300にインストールされているコンピュータプログラムには、8255+所定の数値(例えば1000)が予め、入力されており、聴衆が、入力装置302を操作して入力された数値が、制御部322により、これに更に加えられるようになっている。そして、8255+所定の数値(例えば1000)は聴衆から見えないように設定されている。プレゼンテーターは、聴衆が入力すべき正しい数値(これは上述のように、例えば10である。)を、プレゼンテーションに参加して、圧縮データを受取り伸長して、結果的に動画を閲覧してもよい聴衆にのみ通知する。その通知を正しく知っている聴衆の端末装置300のみが、正しいポート番号を得られる。上述のように、デフォルトの8255というポート番号の数値に加えて、ユーザには見えない所定の数値(例えば1000)がポート番号の決定に用いられているので、悪意の第三者が、正しいポート番号を知ることは難しくなっている。
動画処理装置200では、決定されたポート番号は、制御部222から無線LAN制御部226に送られる。
また、端末装置300では、ポート番号は、制御部322から、ポート番号判定部323に送られる。
また、プレゼンテーターは、端末装置300のIPアドレスを指定するための数値を入力装置202から入力する。その数値は、操作信号解析部221から、制御部222を経て、無線LAN制御部226に送られる。ここで、端末装置300のIPアドレスは、「255.255.255.255」と設定したものとする。なお、かかるIPアドレスを、デフォルトとして設定しておき、プレゼンテーターによる入力を省略するようにすることもできる。
この状態で、プレゼンテーターはプレゼンテーションを開始する。
プレゼンテーターが、入力装置102を操作すると、動画出力装置100は、公知のプレゼンテーション用のソフトウエアを実行する。その実行結果に基づく画像は、動画出力装置100のディスプレイ101に表示される。この画像は、少なくとも一部の時間帯において、少なくとも画面の一部に、動画を含むものであるものとする。
ディスプレイ101に表示されている画像についてのデータである動画データは、出力端子から、ケーブル100Aを介して、動画処理装置200の入力端子に送られる。
動画処理装置200での以下の処理は基本的に自動的に行われる。
入力端子から入力された多数の連続するフレームデータを含む動画データは、画像データ処理部224に送られる。画像データ処理部224は、フレームデータに、上述した必要な処理を行い、例えば、著作権表示のデータを各フレームデータに重畳して、圧縮部225に送る。
圧縮部225は、フレームデータを受取る都度、フレームデータを圧縮し、そして、生成した圧縮データのヘッダ情報に対して上述した変換を行う。圧縮部225は、動画データ受付部223があるフレームデータを受取ってから200ms以内に、好ましくは、100ms以内に、フレームデータを圧縮データにする。或いは、圧縮部225は、あるフレームデータを圧縮データにする処理を、動画データ受付部223がそのフレームデータの3つ後のフレームデータの受取りを開始する前に終了する。
圧縮部225は、圧縮データを生成する都度、それを無線LAN制御部226に送る。
無線LAN制御部226は、圧縮データをパケットに分割し、また、それらパケットの先端にヘッダを付ける。ヘッダには、自らのIPアドレス、これから送信する圧縮データの容量を示す情報である容量情報、上述のポート番号等が書き込まれる。これらヘッダと多数の圧縮データについてのパケットは、無線LAN通信部へ送られ、無線LAN通信部から、各端末装置300へ送られることになる。
動画処理装置200自体が無線LAN通信部を備えており、adhoc基地局となるので、無線ルータなどの他の送信装置なしに、簡素なネットワークで端末装置300との通信を実現できる。
ヘッダを先頭とした圧縮データについての一連のパケットは、端末装置300の無線LAN通信部によって受取られる。IPアドレスを上述のように設定しておけば、端末装置300の数に制限はない。端末装置300によって受取られたそれらデータは、ポート番号判定部323に送られる。
ポート番号判定部323は、それらデータを受取ったときに、ヘッダに書き込まれたポート番号を読み出す。ポート番号判定部323は、圧縮データのパケットのヘッダに書き込まれていたポート番号と、制御部322から送られてきた、ポート番号とを、比較する。それら数値が一致した場合には、ポート番号判定部323は、端末装置300が受取った圧縮データのパケットを、伸長部324に送る。2つのポート番号の数値が一致しなかった場合には、その端末装置300では、以後の処理は行われない。
伸長部324は、ポート番号判定部323から圧縮データを受取ると、まずそのヘッダ情報に上述した逆変換を行い、ヘッダ情報を元に戻す。そして伸長部324は、元に戻したそのヘッダ情報を利用して圧縮データを伸長し、元のフレームデータに戻す。伸長部324は、圧縮データを伸長して得たフレームデータを、表示画像データ生成部325に送る。
表示画像データ生成部325は、伸長部324から受付けたフレームデータに基いて、そのフレームデータに基づく画像を、フレームデータを受取る都度ディスプレイ301に表示させる。それにより、ディスプレイ301には、動画出力装置100のディスプレイ101に表示されているのと事実上同じと言える動画が少ない遅延で表示されることになる。
聴衆は、端末装置300のディスプレイ301に表示された画像を見ながら、プレゼンテーターが提供するプレゼンテーションを聞くことができる。それにより、プレゼンテーション用の配布資料を紙で配布する必要がなくなる。
画像に例えば小さい文字が表示されている等の理由で画像が見難い場合には、聴衆は、端末装置300が備えているのであれば、ピンチ等の機能を使って画像を拡大することにより、小さい文字もはっきりと認識することができるし、また、表示画像のうちの自分が特に着目したい部分を拡大して見ることができる。
また、聴衆は、ディスプレイ301に表示された画像を見ながら、保存したい画像がディスプレイ301に表示されたタイミングで、端末装置300が備えているのであれば、プリントスクリーン等の画像を保存する機能によって、画像のデータの一部を端末装置300の例えばRAM313に保存することができる。それにより、配布資料を紙で配布する必要が益々なくなる。
端末装置300としても用いられることが予定されている、今時のスマートフォン等には、表示画像の拡大、表示画像の保存の機能は大抵備えられているが、それら機能の少なくとも一つを、本願発明によるコンピュータを端末装置300として機能させるためのコンピュータプログラムに持たせておいても構わない。
画像には、すべてのフレームに、その動画に著作権が存在することを意味する上述の文字等が含まれている。したがって、端末装置300に記録等されたその動画、或いは動画からキャプチャされた静止画のデータを、記録等を行った者に悪用される可能性は少ない。
なお、この実施形態では、フレームデータに文字等の画像のデータを重畳する処理は動画処理装置200によって行われた。しかしながら、かかる処理は、端末装置300で行われても良い。その場合には、フレームデータに文字等の画像のデータを重畳する処理を端末装置300に実行させるための命令についてのデータを、動画処理装置200から、端末装置300に送信する。端末装置300は、受付けたその命令についてのデータに基づく命令に従って、その処理を実行する。かかる命令のデータは、各フレームにこのような文字等を書き込めというものである。つまり、命令のデータは、基本的には、各フレームについての文字等を特定する画像情報と、その情報により特定される文字等を各フレームに書き込めという命令との組合せからなることになる。ただし、フレームデータに書き込まれる文字等が予め決まっている場合には、命令についてのデータは、その文字等が1種類である場合には、1種類のみのその文字等を各フレームに書き込めという命令のみを含めば良いし、その文字等が複数種類である場合には、複数種類の中からこの文字等を選択せよという文字等を選択するためのデータと、選択されたその文字等を各フレームに書き込めという命令との組合せからなるものとすることができる。命令についてのデータは、例えば、圧縮データの動画処理装置200から端末装置300への送信が開始されるときに、1回のみ、或いは適当なときに複数回行われてもよく、或いは圧縮データの送信が行われる都度行われても良い。上述の命令のデータは、例えば、入力装置202からの入力にしたがって制御部222で作成され、無線LAN制御部226を経て、端末装置300に送信されるようになっていても良い。なお、端末装置300が、どのようにしてフレームデータに文字等の画像のデータを重畳する処理を実行するかは自由である。動画処理装置200で実行することの可能な上述の1〜3の処理は、端末装置300のハードウエア構成にもよるが、いずれもこれに応用可能である。
≪第2実施形態≫
第2実施形態の通信システムを図7に示す。
この通信システムは、第1実施形態で説明したものと殆ど同じである。動画出力装置100と、端末装置300については、第1実施形態で説明したものと変わりがない。
第2実施形態の通信システムが第1実施形態の通信システムと異なる点は、第1実施形態では、動画処理装置200に無線LAN通信部が内蔵されていたけれども、第2実施形態では動画処理装置200には無線LAN通信部が内蔵されていないという点である。第2実施形態で無線LAN通信部に相当するのは、動画処理装置200と所定のケーブル100Bで接続される無線ルータ210である。
第2実施形態では、圧縮部225が生成した圧縮データは、ケーブル100Bを介して、無線ルータ210に順次送られるようになっている。無線ルータ210は、第1実施形態では無線LAN通信部が圧縮データを次々に端末装置300に送信したのと同様に、受取った圧縮データを次々に端末装置300に送る。
なお、第1実施形態では、機能ブロックの中に、無線LAN通信部を制御する無線LAN制御部226が存在したが、これは第2実施形態では、動画処理装置200の内部に存在しても、無線ルータ210の内部に存在しても良い。もし無線LAN制御部226が無線ルータ210の中に存在するのであれば、無線ルータ210に入力装置212を設けるとともに、操作信号解析部221と、制御部222の機能の一部をも無線ルータ210の中に設け、ポート番号を決定するための数値や、端末装置300のIPアドレスを特定する数値を、入力装置212から入力できるようにすれば良い。
100 動画出力装置
101 ディスプレイ
102 入力装置
200 動画処理装置
202 入力装置
221 操作信号解析部
222 制御部
223 動画データ受付部
224 画像データ処理部
225 圧縮部
226 無線LAN制御部
300 端末装置
301 ディスプレイ
302 入力装置
321 操作信号解析部
322 制御部
323 ポート番号判定部
324 伸長部
325 表示画像データ生成部

Claims (19)

  1. 連続するフレームのデータであるフレームデータを多数含む動画のデータである動画データを有線で出力する動画出力装置と組合せて用いられる、動画処理装置であって、
    前記動画出力装置から出力される動画データの入力を受付ける受付け手段と、
    前記受付け手段が受付けた動画データのうちの各フレームのデータをデジタルデータとして圧縮したものである圧縮データにする処理を実行する圧縮手段と、
    前記圧縮手段が生成した圧縮データを、無線LANを介しての通信により端末装置に送信する送信手段を備えた送信装置に順次出力する出力手段と、
    を備えており
    前記圧縮手段は、前記圧縮データをヘッダ情報を有するものとして生成するとともに、前記ヘッダ情報の少なくとも一部を所定のアルゴリズムに従って変換することができるようになっており、
    前記変換の逆の変換である逆変換を前記ヘッダ情報に対して行える前記端末装置のみが、受信した圧縮データに基づく動画の表示を行えるようになっている、
    動画処理装置。
  2. 連続するフレームのデータであるフレームデータを多数含む動画のデータである動画データを有線で出力する動画出力装置と組合せて用いられる、動画処理装置であって、
    前記動画出力装置から出力される動画データの入力を受付ける受付け手段と、
    前記受付け手段が受付けた動画データのうちの各フレームのデータをデジタルデータとして圧縮したものである圧縮データにする処理を実行する圧縮手段と、
    前記圧縮手段が生成した圧縮データを、無線LANを介しての通信により端末装置に送信する送信手段を備えた送信装置に順次出力する出力手段と、
    を備えており
    前記送信手段を備えることにより、前記送信装置と一体とされており
    前記フレームデータによって示される画像に、所定の文字、記号、図案の少なくとも一つが重ね合わせられるように前記フレームデータを変更する処理を前記端末装置に実行させる命令である変更命令のデータである変更命令データを、前記送信手段から前記端末装置に送信される前記圧縮データに付加して送信させる、命令付加手段を備えている、
    動画処理装置。
  3. 前記送信手段を備えることにより、前記送信装置と一体とされている、
    請求項1記載の動画処理装置。
  4. 前記圧縮手段は、前記受付け手段が受付けた前記動画データのうちの前記フレームデータを、前記フレームのそれぞれを一枚の静止画としてそのまま圧縮して圧縮データとする、
    請求項1又は2記載の動画処理装置。
  5. 前記圧縮手段は、JPEG圧縮を行う、
    請求項記載の動画処理装置。
  6. 前記圧縮手段は、前記フレームデータを、前記フレームデータのうちの前記受付け手段から受け取った部分から順に複数回に分けて圧縮していくようになっている、
    請求項記載の動画処理装置。
  7. 前記圧縮手段は、前記受付け手段が受付けた前記動画データのうちの前記フレームデータを、圧縮の対象となる前記フレームデータの前後の少なくとも一方のフレームデータを用いて圧縮して圧縮データとするようになっている、
    請求項1又は2記載の動画処理装置。
  8. 前記圧縮手段は、MPEG圧縮を行う、
    請求項記載の動画処理装置。
  9. 前記圧縮手段は、前記フレームデータを前記圧縮データにする処理を、前記受付け手段がそのフレームデータの3つ後のフレームデータの受取りを開始する前に、終了するようになっている、
    請求項又は記載の動画処理装置。
  10. 前記圧縮手段は、前記フレームデータを前記圧縮データにする処理を、前記受付け手段がそのフレームデータを受取ってから200ms経過する前に、終了するようになっている、
    請求項又は記載の動画処理装置。
  11. 前記圧縮手段は、前記フレームデータを前記圧縮データにする処理を、前記受付け手段がそのフレームデータを受取ってから100ms経過する前に、終了するようになっている、
    請求項10記載の動画処理装置。
  12. 前記送信手段は、UDP/IPプロトコルを用いて前記圧縮データを前記端末装置に送信するようになっている、
    請求項2又は3記載の動画処理装置。
  13. 前記送信手段は、前記端末装置の宛先IPアドレスを「255.255.255.255」と設定したものとなっている、
    請求項2、3又は12記載の動画処理装置。
  14. 前記送信手段は、前記端末装置にインストールされたどのソフトウエアで前記端末装置で受付けられた前記圧縮データを処理させるかを指定するためのポート番号を任意に設定できるようになっているとともに、
    前記ポート番号を設定するための情報を入力するためのポート番号入力手段を備えており、
    前記送信手段において設定されたポート番号を設定した前記端末装置のみが、受信した圧縮データに基づく動画の表示を行えるようになっている、
    請求項2、3又は12記載の動画処理装置。
  15. 前記フレームデータによって示される画像に、所定の文字、記号、図案の少なくとも一つが重ね合わせて表示されるように前記フレームデータを変更する変更手段を備えている、
    請求項記載の動画処理装置。
  16. 連続するフレームのデータであるフレームデータを多数含む動画のデータである動画データを有線で出力する動画出力装置と組合せて用いられる、コンピュータを含む動画処理装置で実行される方法であって、
    前記コンピュータが実行する、
    前記動画出力装置から出力される動画データの入力を受付ける受付け処理と、
    前記受付け処理によって受付けられた動画データのうちの各フレームのデータをデジタルデータとして圧縮したものである圧縮データにする処理を実行する圧縮処理と、
    前記圧縮処理で生成された圧縮データを、無線LANを介しての通信により端末装置に送信する送信手段を備えた送信装置に順次出力する出力処理と、
    を含
    前記圧縮処理では、前記圧縮データをヘッダ情報を有するものとして生成するとともに、前記ヘッダ情報の少なくとも一部を所定のアルゴリズムに従って変換することにより、
    前記変換の逆の変換である逆変換を前記ヘッダ情報に対して行える前記端末装置のみが、受信した圧縮データに基づく動画の表示を行えるようにする、
    動画処理方法。
  17. 連続するフレームのデータであるフレームデータを多数含む動画のデータである動画データを有線で出力する動画出力装置と組合せて用いられる、コンピュータを含む動画処理装置で実行される方法であって、
    前記コンピュータが実行する、
    前記動画出力装置から出力される動画データの入力を受付ける受付け処理と、
    前記受付け処理によって受付けられた動画データのうちの各フレームのデータをデジタルデータとして圧縮したものである圧縮データにする処理を実行する圧縮処理と、
    前記圧縮処理で生成された圧縮データを、無線LANを介しての通信により端末装置に送信する送信処理と
    前記フレームデータによって示される画像に、所定の文字、記号、図案の少なくとも一つが重ね合わせられるように前記フレームデータを変更する処理を前記端末装置に実行させる命令である変更命令のデータである変更命令データを、前記送信処理により前記端末装置に送信される前記圧縮データに付加して送信させる、命令付加処理と、
    を含む、
    動画処理方法。
  18. コンピュータを、連続するフレームのデータであるフレームデータを多数含む動画のデータである動画データを有線で出力する動画出力装置と組合せて用いられる、動画処理装置として機能させるためのコンピュータプログラムであって、
    前記コンピュータに、
    前記動画出力装置から出力される動画データの入力を受付ける受付け処理と、
    前記受付け処理によって受付けられた動画データのうちの各フレームのデータをデジタルデータとして圧縮したものである圧縮データにする処理を実行する圧縮処理と、
    前記圧縮処理で生成された圧縮データを、無線LANを介しての通信により端末装置に送信する送信手段を備えた送信装置に順次出力する出力処理と、
    を実行させるものとされ
    前記圧縮処理では、前記圧縮データをヘッダ情報を有するものとして生成するとともに、前記ヘッダ情報の少なくとも一部を所定のアルゴリズムに従って変換することにより、
    前記変換の逆の変換である逆変換を前記ヘッダ情報に対して行える前記端末装置のみが、受信した圧縮データに基づく動画の表示を行えるようにする、
    コンピュータプログラム。
  19. コンピュータを、連続するフレームのデータであるフレームデータを多数含む動画のデータである動画データを有線で出力する動画出力装置と組合せて用いられる、動画処理装置として機能させるためのコンピュータプログラムであって、
    前記コンピュータに、
    前記動画出力装置から出力される動画データの入力を受付ける受付け処理と、
    前記受付け処理によって受付けられた動画データのうちの各フレームのデータをデジタルデータとして圧縮したものである圧縮データにする処理を実行する圧縮処理と、
    前記圧縮処理で生成された圧縮データを、無線LANを介しての通信により端末装置に送信する送信処理と
    前記フレームデータによって示される画像に、所定の文字、記号、図案の少なくとも一つが重ね合わせられるように前記フレームデータを変更する処理を前記端末装置に実行させる命令である変更命令のデータである変更命令データを、前記送信処理により前記端末装置に送信される前記圧縮データに付加して送信させる、命令付加処理と、
    を実行させる、
    コンピュータプログラム。
JP2014131940A 2014-06-26 2014-06-26 動画処理装置、方法、コンピュータプログラム Active JP6431301B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014131940A JP6431301B2 (ja) 2014-06-26 2014-06-26 動画処理装置、方法、コンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014131940A JP6431301B2 (ja) 2014-06-26 2014-06-26 動画処理装置、方法、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2016010143A JP2016010143A (ja) 2016-01-18
JP6431301B2 true JP6431301B2 (ja) 2018-11-28

Family

ID=55227390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014131940A Active JP6431301B2 (ja) 2014-06-26 2014-06-26 動画処理装置、方法、コンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6431301B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295062A (ja) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 通信システム
EP2312849A1 (en) * 2009-10-01 2011-04-20 Nxp B.V. Methods, systems and devices for compression of data and transmission thereof using video transmisssion standards
JP5482629B2 (ja) * 2010-11-16 2014-05-07 株式会社Jvcケンウッド 無線装置および通信方法
JP6037435B2 (ja) * 2012-09-28 2016-12-07 Kddi株式会社 映像コンテンツ配信装置

Also Published As

Publication number Publication date
JP2016010143A (ja) 2016-01-18

Similar Documents

Publication Publication Date Title
US9665332B2 (en) Display controller, screen transfer device, and screen transfer method
JP5326234B2 (ja) 画像送信装置、画像送信方法および画像送信システム
US10257510B2 (en) Media encoding using changed regions
US20120287231A1 (en) Media sharing during a video call
KR20080082759A (ko) 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법
WO2019010827A1 (zh) 视频获取方法、装置、视频设备及存储介质
EP3253066A1 (en) Information processing device
US11223662B2 (en) Method, system, and non-transitory computer readable record medium for enhancing video quality of video call
TWI740208B (zh) 影像傳輸裝置、具有遠端畫面擷取功能的影像顯示系統及遠端畫面影像擷取方法
JP4973908B2 (ja) 通信端末およびその表示方法
JP7518195B2 (ja) テレコンファレンス及びリモートターミナル用のテレプレゼンスのための複数のオーディオミキシングゲインをシグナリングするための技術
JP6431301B2 (ja) 動画処理装置、方法、コンピュータプログラム
CN104866208B (zh) 信息处理方法和电子设备
JP6499582B2 (ja) 送信側コンピュータ、受信側コンピュータ、及びそれらにより実行される方法、並びにコンピュータプログラム
US20170374368A1 (en) Video Processor, Method, Computer Program
JP2016143954A (ja) 無線通信装置及び無線通信方法
JP6606251B2 (ja) 送信側コンピュータ、受信側コンピュータ、及びそれらにより実行される方法、並びにコンピュータプログラム
JP6485352B2 (ja) 受信装置、方法、コンピュータプログラム
WO2016163557A1 (ja) 送信装置、受信装置、及びそれらにより実行される方法、並びにコンピュータプログラム
JP6067085B2 (ja) 画面転送装置
KR20150015941A (ko) 애플리케이션의 ui를 제공하는 방법 및 장치
KR20230030435A (ko) 화상회의시 AI(artificial intelligence)를 이용한 다운스케일 및 업스케일 방법 및 장치
JP2015022722A (ja) 送信側コンピュータ、受信側コンピュータ、及びそれらにより実行される方法、並びにコンピュータプログラム
JP2010004573A (ja) 通信端末およびその表示方法
JP2014209693A (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181102

R150 Certificate of patent or registration of utility model

Ref document number: 6431301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250