JPWO2013125138A1 - 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム - Google Patents
表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム Download PDFInfo
- Publication number
- JPWO2013125138A1 JPWO2013125138A1 JP2014500879A JP2014500879A JPWO2013125138A1 JP WO2013125138 A1 JPWO2013125138 A1 JP WO2013125138A1 JP 2014500879 A JP2014500879 A JP 2014500879A JP 2014500879 A JP2014500879 A JP 2014500879A JP WO2013125138 A1 JPWO2013125138 A1 JP WO2013125138A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- unit
- pixel
- displacement vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 53
- 238000004590 computer program Methods 0.000 title claims description 12
- 238000003672 processing method Methods 0.000 title claims description 9
- 239000013598 vector Substances 0.000 claims abstract description 198
- 238000006073 displacement reaction Methods 0.000 claims abstract description 171
- 230000003287 optical effect Effects 0.000 claims abstract description 155
- 238000003702 image correction Methods 0.000 claims abstract description 61
- 238000012937 correction Methods 0.000 claims description 71
- 241000226585 Antennaria plantaginifolia Species 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 37
- 210000003128 head Anatomy 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 19
- 238000013461 design Methods 0.000 description 10
- 230000004075 alteration Effects 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000005401 electroluminescence Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/005—Adapting incoming signals to the display format of the display terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3188—Scale or resolution adjustment
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/391—Resolution modifying circuits, e.g. variable screen formats
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
表示面上に配列された複数の画素で画像を表示する画像表示部と、
前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部と、
前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部と、
を具備する表示装置である。
複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、
代表画素以外の各画素の位置における変位ベクトルを、近傍の1以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、
前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、
を具備する画像処理装置である。
複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持ステップと、
代表画素以外の各画素の位置における変位ベクトルを、近傍の1以上の代表画素の変位ベクトルに基づいて補間するベクトル補間ステップと、
前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正ステップと、
を有する画像処理方法である。
表示面上に配列された複数の画素で画像を表示する画像表示部、
前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部、
前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
(1)表示面上に配列された複数の画素で画像を表示する画像表示部と、前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部と、前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部と、を具備する表示装置。
(2)前記画像補正部は、前記代表画素の位置で前記接眼光学部により発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、代表画素以外の各画素の位置における変位ベクトルを、近傍の1以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、を備える上記(1)に記載の表示装置。
(3)前記画像表示部における表示画像が前記接眼光学部を通過した際の光線を追跡する光学シミュレーターと、前記光学シミュレーターにより得られた光線追跡データに基づいて、前記代表画素の位置における変位ベクトルを生成するベクトル生成部と、をさらに備える上記(2)に記載の表示装置。
(4)前記代表画素を発光させたときの前記接眼光学部が投影する虚像を実写して前記代表画素の位置における変位ベクトルを生成するベクトル生成部をさらに備える上記(2)に記載の表示装置。
(5)前記画像表示部は、表示画像のアスペクト比よりも縦長の前記表示面を持ち、前記接眼光学部は、おおむね糸巻き型の歪みを持ち、前記画像補正部は、水平端での画角が変化しないように表示画像を補正する、上記(1)に記載の表示装置。
(6)前記画素補正部は、垂直方向の画素補正と水平方向の画素補正を分離して各方向の画素補正処理を直列に行なう、上記(2)に記載の表示装置。
(7)前記画素補正部は、垂直ライン毎に同じライン内で画素を移動させて垂直方向の補正を行なった後、続いて水平ライン毎に同じライン内で画素を移動させて水平方向の補正を行なう、上記(2)に記載の表示装置。
(8)前記画素補正部は、水平方向の変位ベクトルを、垂直方向の変位ベクトル分だけ移動させた位置で求める、上記(7)に記載の表示装置。
(9)表示画像の位置を低周波でシフトさせる変調部をさらに備え、前記画像補正部は、前記変調部による変調処理後の表示画像に対して、画素位置と変位ベクトルの対応関係をシフトさせながら補正を行ない、前記画像表示部は、焼き付き防止のために表示位置をシフトさせる機能を備え、前記画像補正部のシフトと前記画像表示部のシフトを連動させる、上記(2)に記載の表示装置。
(10)前記画像表示部の表示面の画素数に合わせて表示画像をスケーリングするスケーリング部をさらに備え、前記画像補正部は、ライン・メモリー上で表示画像の補正を行ない、前記画像表示部は、前記ライン・メモリーのサイズを最小にするタイミングで駆動する、上記(1)に記載の表示装置。
(11)複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、代表画素以外の各画素の位置における変位ベクトルを、近傍の1以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、を具備する画像処理装置。
(12)複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持ステップと、代表画素以外の各画素の位置における変位ベクトルを、近傍の1以上の代表画素の変位ベクトルに基づいて補間するベクトル補間ステップと、前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正ステップと、を有する画像処理方法。
(13)表示面上に配列された複数の画素で画像を表示する画像表示部、前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部、前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部、としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
20…ブルーレイ・ディスク再生装置
30…ハイビジョン・ディスプレイ
40…フロント・エンド・ボックス
201…HDMI受信部
202…画像補正部
203…表示部
204…接眼光学系
1001…変位ベクトル保持部
1002…ベクトル補間部
1003…画素補正部
1401…光学シミュレーター
1402…ベクトル生成部
[0051]
[数6]
[0052]
[数7]
[0053]
[数8]
[0054]
図7には、画像補正部202による補正モデルを模式的に示している。以下では、HDMI受信部201に入力される提示画像の入力信号座標をp’(x’,y’)、表示部203の画面上の表示画像の表示画素座標をp(x,y)とする。また、表示部203の画面上でレンズを基準とした物理座標をP(X,Y)とし、表示部203の画面を接眼光学系204で投影した虚像面上でのレンズを基準とした物理座標をP’(X’,Y’)とする。
[0055]
表示部203の画面上の表示画像の表示画素座標p(x,y)と、表示部203の画面上で接眼光学系204のレンズを基準とした物理座標P(X,Y)と間には、画素ピッチの相違と、表示部202をヘッド・マウント・ユニット10内の該当部位に固定する際の画面の位置ずれが存在する。また、表示部203の画面上の物理座標P(X,Y)と、これに対応する虚像面上の物理画像P’(X’,Y’)との間には、接眼光学系204で発生した歪
曲が含まれている。
[0056]
図8には、本実施形態に係るヘッド・マウント・ディスプレイにおいて提示画像を補正する処理手順を図解している。
[0057]
HDMI受信部201は、例えば1024×576画素サイズの提示画像が、ブルーレイ・ディスク再生装置20などの画像ソースから入力される。
[0058]
提示画像の各画素が、接眼光学系204を通過することによって歪みが生じる。画像補正部202は、逆方向の歪みを提示画像の各画素に与えることによって、Motion Compensation(MC)、すなわち、歪みによって生じる各画素の変位を補償して、事前逆歪みをかけた表示画像を生成する。画素に与える逆方向の歪みのことを、以下では、変位ベクトル(Motion Vector:MV)と呼ぶ。変位ベクトルは、提示画像上の画素位置を終点とし、この終点に対応する表示画像上の画素位置を始点とする。
[0059]
事前逆歪みがかけられた表示画像は、1024×576+α画素サイズとする。そして、画像補正部202は、表示部203の画面の画素ピッチを考慮して、1024×576+α画素サイズの表示画像をサイズ変換して画面上に表示される。この表示画像は、接眼光学系204によって虚像面上に結像される。表示部203で画面表示される表示画像には事前逆歪みがかけられているので、虚像は、元の提示画像と同様に無歪みの画像となる。
[0060]
表示部203の画面上の表示光が接眼光学系204を通過して虚像面に到達するまでの光線を追跡することで、上述した変位ベクトルMVを求めることができる。
[0061]
また、提示画像と虚像は相似形である。相似係数すなわち、虚像面の画素ピッチを求めると、変位ベクトルを求めることができる。
[0062]
画像は、RGBなど複数の色信号成分からなる。画像補正部202は、提示画像の色成分で分割して、上記の事前逆歪みの処理を色成分毎に行なうことで、接眼光学系204を通過する際に生じる歪みと色収差を同時に補正することができる。
[0080]
変位ベクトル保持部1001は、表示部203の表示面上に離散的に設定された各代表画素の位置で得た変位ベクトルを保持する。代表画素の典型例は、表示部203の表示画面を粗い格子で覆ったときの各格子点である。そして、表示画面上(すなわち、接眼光学系204の入射側)の各格子点に対応する、入力信号面上(すなわち、接眼光学系の虚像側)の位置を、変位ベクトルのデータとしてテーブルに保持する。図11には、表示部203の表示画面上を覆う粗い格子の格子点毎に変位ベクトルが得られた様子を示している。
[0081]
ベクトル補間部1002は、代表画素以外の画素位置で、周辺の1以上の代表画素の変位ベクトルで補間して、変位ベクトルを算出する。例えば、図12に示すように、補間の対象となる画素の変形ベクトルを、4近傍、すなわち近隣の4つの格子点における変位ベクトルからバイリニア補間して算出する。あるいは、16近傍の格子点からキュービック・スプライン補間により、代表画素以外の画素の変位ベクトルを補間するようにしてもよい。
[0082]
そして、画素補正部1003は、各画素について、変位ベクトル保持部1001に保持された変位ベクトル、又は、ベクトル補間部1002により補間された変位ベクトルに基づいて、接眼光学系204で発生する歪みとは逆方向の歪みを与える。図13には、画素補正部1003で、変位ベクトルに基づいて画素データを補正する様子を示している。図示のように、表示部203の表示画面上で、変位ベクトルの始点に位置に表示する画素データを、信号面上の変位ベクトルの終点の位置から持ってくる。その際、参照先すなわち変位ベクトルの終点の位置が画素と画素の間に位置するときには、近傍の画素値の重み付け和で補間する。
[0083]
図14には、変位ベクトルの生成を含めた、ヘッド・マウント・ディスプレイの全体像を模式的に示している。
[0084]
接眼光学系204を構成するレンズの設計データは、レンズ設計の光学シミュレーター1401による幾度のシミュレーション結果に基づいて求めることができる。そして、得られた設計データに基づいてレンズを製造するこ
を設ける。
[0125]
また、図29中、Aで示す入力の最初のラインは、Bで示すラインを表示するまでは使用される。したがって、垂直方向にA−Bの分だけライン・メモリー1902の容量が必要である。
[0126]
また、図30に示すように、HDMI受信部201で画像信号を入力した際に、スケーリング部2801で縮小して、図30中Eで示す時刻までブランキングすると、ライン・メモリー1902の容量はE−Bの分で済む。
[0127]
さらに、図31に示すように、ライン・メモリー1902から表示部203へ画像データを読み出すタイミングを変更して、図31中Fで示す時刻から出力を始めると、ライン・メモリー1902の容量はA−Fの分で済む。
[0128]
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)表示面上に配列された複数の画素で画像を表示する画像表示部と、前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部と、前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部と、を具備する表示装置。
(2)前記画像補正部は、前記代表画素の位置で前記接眼光学部により発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、代表画素以外の各画素の位置における変位ベクトルを、近傍の1以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、を備える上記(1)に記載の表示装置。
(3)前記画像表示部における表示画像が前記接眼光学部を通過した際の光線を追跡する光学シミュレーターと、前記光学シミュレーターにより得られた光線追跡データに基づいて、前記代表画素の位置における変位ベクトルを生成するベクトル生成部と、をさらに備える上記(2)に記載の表示装置。
Claims (13)
- 表示面上に配列された複数の画素で画像を表示する画像表示部と、
前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部と、
前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部と、
を具備する表示装置。 - 前記画像補正部は、
前記代表画素の位置で前記接眼光学部により発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、
代表画素以外の各画素の位置における変位ベクトルを、近傍の1以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、
前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、
を備える請求項1に記載の表示装置。 - 前記画像表示部における表示画像が前記接眼光学部を通過した際の光線を追跡する光学シミュレーターと、
前記光学シミュレーターにより得られた光線追跡データに基づいて、前記代表画素の位置における変位ベクトルを生成するベクトル生成部と、
をさらに備える請求項2に記載の表示装置。 - 前記代表画素を発光させたときの前記接眼光学部が投影する虚像を実写して前記代表画素の位置における変位ベクトルを生成するベクトル生成部をさらに備える請求項2に記載の表示装置。
- 前記画像表示部は、表示画像のアスペクト比よりも縦長の前記表示面を持ち、
前記接眼光学部は、おおむね糸巻き型の歪みを持ち、
前記画像補正部は、水平端での画角が変化しないように表示画像を補正する、
請求項1に記載の表示装置。 - 前記画素補正部は、垂直方向の画素補正と水平方向の画素補正を分離して各方向の画素補正処理を直列に行なう、
請求項2に記載の表示装置。 - 前記画素補正部は、垂直ライン毎に同じライン内で画素を移動させて垂直方向の補正を行なった後、続いて水平ライン毎に同じライン内で画素を移動させて水平方向の補正を行なう、
請求項2に記載の表示装置。 - 前記画素補正部は、水平方向の変位ベクトルを、垂直方向の変位ベクトル分だけ移動させた位置で求める、
請求項7に記載の表示装置。 - 表示画像の位置を低周波でシフトさせる変調部をさらに備え、
前記画像補正部は、前記変調部による変調処理後の表示画像に対して、画素位置と変位ベクトルの対応関係をシフトさせながら補正を行ない、
前記画像表示部は、焼き付き防止のために表示位置をシフトさせる機能を備え、
前記画像補正部のシフトと前記画像表示部のシフトを連動させる、
請求項2に記載の表示装置。 - 前記画像表示部の表示面の画素数に合わせて表示画像をスケーリングするスケーリング部をさらに備え、
前記画像補正部は、ライン・メモリー上で表示画像の補正を行ない、
前記画像表示部は、前記ライン・メモリーのサイズを最小にするタイミングで駆動する、
請求項1に記載の表示装置。 - 複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、
代表画素以外の各画素の位置における変位ベクトルを、近傍の1以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、
前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、
を具備する画像処理装置。 - 複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持ステップと、
代表画素以外の各画素の位置における変位ベクトルを、近傍の1以上の代表画素の変位ベクトルに基づいて補間するベクトル補間ステップと、
前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正ステップと、
を有する画像処理方法。 - 表示面上に配列された複数の画素で画像を表示する画像表示部、
前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部、
前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014500879A JP6128113B2 (ja) | 2012-02-22 | 2012-12-17 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012036407 | 2012-02-22 | ||
JP2012036407 | 2012-02-22 | ||
PCT/JP2012/082620 WO2013125138A1 (ja) | 2012-02-22 | 2012-12-17 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
JP2014500879A JP6128113B2 (ja) | 2012-02-22 | 2012-12-17 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013125138A1 true JPWO2013125138A1 (ja) | 2015-07-30 |
JP6128113B2 JP6128113B2 (ja) | 2017-05-24 |
Family
ID=49005338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014500879A Active JP6128113B2 (ja) | 2012-02-22 | 2012-12-17 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
Country Status (5)
Country | Link |
---|---|
US (3) | US9628766B2 (ja) |
EP (1) | EP2819402A4 (ja) |
JP (1) | JP6128113B2 (ja) |
CN (2) | CN108364623B (ja) |
WO (1) | WO2013125138A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018523142A (ja) * | 2015-05-04 | 2018-08-16 | グーグル エルエルシー | 取込まれた像のパススルー表示 |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108364623B (zh) * | 2012-02-22 | 2021-09-07 | 索尼公司 | 信息处理设备、信息处理方法和计算机可读介质 |
US10438331B2 (en) * | 2014-06-26 | 2019-10-08 | Intel Corporation | Distortion meshes against chromatic aberrations |
EP3035664B1 (en) * | 2014-12-19 | 2017-06-21 | Axis AB | Method for processing a video stream |
US9824498B2 (en) * | 2014-12-30 | 2017-11-21 | Sony Interactive Entertainment Inc. | Scanning display system in head-mounted display for virtual reality |
JP2016197145A (ja) * | 2015-04-02 | 2016-11-24 | 株式会社東芝 | 画像処理装置および画像表示装置 |
JP2016212177A (ja) * | 2015-05-01 | 2016-12-15 | セイコーエプソン株式会社 | 透過型表示装置 |
CN107615759B (zh) * | 2015-06-10 | 2020-09-01 | 索尼互动娱乐股份有限公司 | 头戴式显示器、显示控制方法以及程序 |
CN107925792A (zh) | 2015-09-07 | 2018-04-17 | 索尼互动娱乐股份有限公司 | 信息处理***、信息处理装置、输出装置、程序和记录介质 |
CN105192982B (zh) * | 2015-09-07 | 2018-03-23 | 北京小鸟看看科技有限公司 | 可调节式虚拟现实头盔的图像矫正方法和*** |
JP6545270B2 (ja) * | 2015-09-07 | 2019-07-17 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体 |
CN105869142A (zh) * | 2015-12-21 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 虚拟现实头盔的成像畸变测试方法及装置 |
CN105455285B (zh) * | 2015-12-31 | 2019-02-12 | 北京小鸟看看科技有限公司 | 一种虚拟现实头盔适配方法 |
JP2017134327A (ja) * | 2016-01-29 | 2017-08-03 | 株式会社東芝 | 画像表示装置及び画像処理装置 |
WO2017212720A1 (ja) * | 2016-06-08 | 2017-12-14 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
US10607417B2 (en) | 2016-06-08 | 2020-03-31 | Sony Interactive Entertainment Inc. | Image generating apparatus and image generating method |
EP3500977B1 (en) * | 2016-08-22 | 2023-06-28 | Magic Leap, Inc. | Virtual, augmented, and mixed reality systems and methods |
WO2018049618A1 (zh) * | 2016-09-14 | 2018-03-22 | 深圳市柔宇科技有限公司 | 头戴式显示装置及控制方法 |
TWI663427B (zh) * | 2017-03-15 | 2019-06-21 | 宏碁股份有限公司 | 頭戴式顯示器及利用子像素位移之色差補償方法 |
US11256097B2 (en) | 2018-05-30 | 2022-02-22 | Sony Interactive Entertainment Inc. | Image generation apparatus, image display system, image generation method, and computer program |
US10991283B2 (en) * | 2018-09-04 | 2021-04-27 | Apple Inc. | Decimated burn-in compensation with pixel shifting |
CN111199518B (zh) * | 2018-11-16 | 2024-03-26 | 深圳市中兴微电子技术有限公司 | Vr设备的图像呈现方法、装置、设备和计算机存储介质 |
JP2020106981A (ja) * | 2018-12-26 | 2020-07-09 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
JP7150134B2 (ja) * | 2019-02-22 | 2022-10-07 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイおよび画像表示方法 |
US11960086B2 (en) | 2019-02-22 | 2024-04-16 | Sony Interactive Entertainment Inc. | Image generation device, head-mounted display, and image generation method |
JP7365183B2 (ja) * | 2019-03-29 | 2023-10-19 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法 |
US11126001B2 (en) | 2019-03-29 | 2021-09-21 | Sony Interactive Entertainment Inc. | Image generating apparatus, head-mounted display, content processing system and image displaying method |
JP7261642B2 (ja) | 2019-03-29 | 2023-04-20 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ |
JP7412757B2 (ja) * | 2020-03-30 | 2024-01-15 | ラピスセミコンダクタ株式会社 | 画像歪補正回路及び表示装置 |
JP2022086074A (ja) * | 2020-11-30 | 2022-06-09 | セイコーエプソン株式会社 | 虚像表示装置、光学ユニット、虚像表示装置の調整方法及び虚像表示装置の製造方法 |
CN113252309A (zh) * | 2021-04-19 | 2021-08-13 | 苏州市计量测试院 | 一种用于近眼显示设备的测试方法、测试装置及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09200770A (ja) * | 1996-01-17 | 1997-07-31 | Nec Corp | 適応動きベクトル補間による動き補償フレーム間予測方法 |
JPH1074077A (ja) * | 1996-08-30 | 1998-03-17 | Yamaha Corp | 画像の2次元空間変換方法及び装置 |
JP2001069434A (ja) * | 1999-08-27 | 2001-03-16 | Hitachi Denshi Ltd | 液晶プロジェクタの歪み補正装置 |
JP2004236191A (ja) * | 2003-01-31 | 2004-08-19 | Nikon Corp | 画像表示装置 |
JP2006074805A (ja) * | 2005-09-20 | 2006-03-16 | Hitachi Ltd | マルチプロジェクション映像表示装置 |
JP2008103978A (ja) * | 2006-10-19 | 2008-05-01 | Seiko Epson Corp | プロジェクタ、プログラムおよび情報記憶媒体 |
JP2009005235A (ja) * | 2007-06-25 | 2009-01-08 | Seiko Epson Corp | プロジェクタおよび画像処理装置 |
JP2010252290A (ja) * | 2009-03-26 | 2010-11-04 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法及び画像表示装置 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4636869A (en) * | 1983-01-18 | 1987-01-13 | Dainippon Screen Mfg. Co., Ltd. | Method and system for recording images in various magnification ratios |
JPH03212762A (ja) | 1990-01-18 | 1991-09-18 | Matsushita Electric Ind Co Ltd | かな漢字変換装置 |
JP3084866B2 (ja) | 1991-12-24 | 2000-09-04 | 松下電工株式会社 | レンズ歪み補正方式 |
US5369450A (en) * | 1993-06-01 | 1994-11-29 | The Walt Disney Company | Electronic and computational correction of chromatic aberration associated with an optical system used to view a color video display |
JP3212762B2 (ja) | 1993-06-11 | 2001-09-25 | オリンパス光学工業株式会社 | 表示装置 |
JPH08205181A (ja) | 1995-01-30 | 1996-08-09 | Matsushita Electric Ind Co Ltd | 色収差補正回路および色収差補正機能付き撮像装置 |
JPH09322199A (ja) * | 1996-05-29 | 1997-12-12 | Olympus Optical Co Ltd | 立体映像ディスプレイ装置 |
JP3387326B2 (ja) * | 1996-08-30 | 2003-03-17 | ミノルタ株式会社 | 映像観察システム |
JP3575179B2 (ja) * | 1996-08-30 | 2004-10-13 | ヤマハ株式会社 | 画像の2次元空間変換装置 |
US6188800B1 (en) | 1996-08-30 | 2001-02-13 | Yamaha Corporation | Two-dimensional spatial transformation system for video processing |
JPH10327373A (ja) * | 1997-05-26 | 1998-12-08 | Mitsubishi Electric Corp | 接眼映像表示装置 |
EP1720359A2 (en) * | 1997-05-28 | 2006-11-08 | Nippon Telegraph and Telephone Corporation | Method and apparatus for transmitting or processing images |
JP3820847B2 (ja) * | 2000-06-20 | 2006-09-13 | 株式会社日本自動車部品総合研究所 | 光学式シミュレーション方法及び光学式シミュレータ |
US6597411B1 (en) * | 2000-11-09 | 2003-07-22 | Genesis Microchip Inc. | Method and apparatus for avoiding moire in digitally resized images |
JP2002296673A (ja) * | 2001-03-29 | 2002-10-09 | Ricoh Co Ltd | 画像投影装置 |
CN100447614C (zh) * | 2002-09-24 | 2008-12-31 | 西健尔 | 图像显示装置 |
JP4477336B2 (ja) * | 2003-10-15 | 2010-06-09 | オリンパス株式会社 | ズームレンズ及びそれを用いた電子撮像装置 |
JP4504728B2 (ja) * | 2003-11-21 | 2010-07-14 | 健爾 西 | 画像表示装置及びシミュレーション装置 |
KR100657145B1 (ko) * | 2005-02-24 | 2006-12-13 | 매그나칩 반도체 유한회사 | 스케일러를 구비한 이미지센서 및 이미지센서의 이미지 스케일링 방법 |
KR100754893B1 (ko) * | 2005-03-14 | 2007-09-04 | 삼성전자주식회사 | 하나의 라인 메모리를 사용하는 영상축소장치 및영상축소방법 |
US7742046B2 (en) * | 2005-08-31 | 2010-06-22 | Kabushiki Kaisha Toshiba | Method, device, and program for producing elemental image array for three-dimensional image display |
US8130261B2 (en) | 2006-10-10 | 2012-03-06 | Exelis, Inc. | System and method for dynamically correcting parallax in head borne video systems |
US7835592B2 (en) * | 2006-10-17 | 2010-11-16 | Seiko Epson Corporation | Calibration technique for heads up display system |
JP2008258802A (ja) | 2007-04-03 | 2008-10-23 | Canon Inc | 画像表示システム |
WO2008140656A2 (en) * | 2007-04-03 | 2008-11-20 | Gary Demos | Flowfield motion compensation for video compression |
US8269692B2 (en) * | 2007-11-20 | 2012-09-18 | Panasonic Corporation | Image display apparatus, display method thereof, program, integrated circuit, goggle-type head-mounted display, vehicle, binoculars, and desktop display |
JP5094430B2 (ja) * | 2008-01-10 | 2012-12-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、システム |
JP2011114537A (ja) * | 2009-11-26 | 2011-06-09 | Toshiba Corp | 画像処理装置 |
US9052558B2 (en) * | 2009-12-24 | 2015-06-09 | Sharp Kabushiki Kaisha | Display device, method of driving display device, liquid crystal display, and television receiver |
US8525895B2 (en) * | 2010-07-29 | 2013-09-03 | Apple Inc. | Binning compensation filtering techniques for image signal processing |
JP5299383B2 (ja) * | 2010-08-20 | 2013-09-25 | 株式会社Jvcケンウッド | 画像補正装置および画像補正方法 |
JP5742179B2 (ja) * | 2010-11-05 | 2015-07-01 | ソニー株式会社 | 撮像装置、画像処理装置、および画像処理方法、並びにプログラム |
CN108364623B (zh) * | 2012-02-22 | 2021-09-07 | 索尼公司 | 信息处理设备、信息处理方法和计算机可读介质 |
US8907973B2 (en) * | 2012-10-22 | 2014-12-09 | Stmicroelectronics International N.V. | Content adaptive image restoration, scaling and enhancement for high definition display |
JP6523638B2 (ja) * | 2014-09-11 | 2019-06-05 | シナプティクス・ジャパン合同会社 | 表示パネルドライバ、表示装置、画像処理装置及び画像処理方法 |
-
2012
- 2012-12-17 CN CN201810287883.7A patent/CN108364623B/zh active Active
- 2012-12-17 EP EP12869246.4A patent/EP2819402A4/en not_active Withdrawn
- 2012-12-17 US US14/378,840 patent/US9628766B2/en active Active
- 2012-12-17 WO PCT/JP2012/082620 patent/WO2013125138A1/ja active Application Filing
- 2012-12-17 CN CN201280069909.1A patent/CN104115491A/zh active Pending
- 2012-12-17 JP JP2014500879A patent/JP6128113B2/ja active Active
-
2016
- 2016-05-10 US US15/150,924 patent/US10038881B2/en active Active
-
2018
- 2018-03-23 US US15/934,061 patent/US10356375B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09200770A (ja) * | 1996-01-17 | 1997-07-31 | Nec Corp | 適応動きベクトル補間による動き補償フレーム間予測方法 |
JPH1074077A (ja) * | 1996-08-30 | 1998-03-17 | Yamaha Corp | 画像の2次元空間変換方法及び装置 |
JP2001069434A (ja) * | 1999-08-27 | 2001-03-16 | Hitachi Denshi Ltd | 液晶プロジェクタの歪み補正装置 |
JP2004236191A (ja) * | 2003-01-31 | 2004-08-19 | Nikon Corp | 画像表示装置 |
JP2006074805A (ja) * | 2005-09-20 | 2006-03-16 | Hitachi Ltd | マルチプロジェクション映像表示装置 |
JP2008103978A (ja) * | 2006-10-19 | 2008-05-01 | Seiko Epson Corp | プロジェクタ、プログラムおよび情報記憶媒体 |
JP2009005235A (ja) * | 2007-06-25 | 2009-01-08 | Seiko Epson Corp | プロジェクタおよび画像処理装置 |
JP2010252290A (ja) * | 2009-03-26 | 2010-11-04 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法及び画像表示装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018523142A (ja) * | 2015-05-04 | 2018-08-16 | グーグル エルエルシー | 取込まれた像のパススルー表示 |
Also Published As
Publication number | Publication date |
---|---|
JP6128113B2 (ja) | 2017-05-24 |
US20180213197A1 (en) | 2018-07-26 |
US10038881B2 (en) | 2018-07-31 |
EP2819402A4 (en) | 2016-02-24 |
CN108364623B (zh) | 2021-09-07 |
US20150009416A1 (en) | 2015-01-08 |
WO2013125138A1 (ja) | 2013-08-29 |
CN108364623A (zh) | 2018-08-03 |
US9628766B2 (en) | 2017-04-18 |
EP2819402A1 (en) | 2014-12-31 |
US10356375B2 (en) | 2019-07-16 |
US20160255317A1 (en) | 2016-09-01 |
CN104115491A (zh) | 2014-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6128113B2 (ja) | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム | |
US11748857B2 (en) | Distortion meshes against chromatic aberrations | |
JP5907250B2 (ja) | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム | |
JP5388534B2 (ja) | 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体 | |
JP4777675B2 (ja) | 画像処理装置、画像表示装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体 | |
KR20210028240A (ko) | 디스플레이 처리 회로 | |
WO2009148038A1 (ja) | 立体視画像生成装置、立体視画像生成方法およびプログラム | |
JP2013192193A (ja) | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム | |
JPH10327373A (ja) | 接眼映像表示装置 | |
CN102014293B (zh) | 平面视频的立体渲染方法 | |
JP2014523660A (ja) | スケール非依存マップ | |
CN105556373A (zh) | 图像显示装置、图像处理装置和图像处理方法 | |
CN105323423A (zh) | 图像处理方法、图像处理装置及摄像装置 | |
JP2020167659A (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
KR100937768B1 (ko) | 3차원 영상 재생 장치 및 방법 | |
JP2007300461A (ja) | 画像表示装置およびその色位相ずれ補正方法 | |
JP2022113551A (ja) | 画像表示システム、表示装置、および画像表示方法 | |
JP2013090170A (ja) | 立体視映像再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170327 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6128113 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |