BRPI0809149A2

BRPI0809149A2 - Dispositivo e método de processamento de image, e dispositivo e método e exibição de imagem

Info

Publication number: BRPI0809149A2
Application number: BRPI0809149-8A
Authority: BR
Inventors: Masafumi Ueno; Kenichiroh Yamamoto; Takashi Yoshii; Hiroyuki Furukawa; Yasuhiro Yoshida; Ikuko Tsubaki
Original assignee: Sharp Kk
Priority date: 2007-04-27
Filing date: 2008-04-18
Publication date: 2014-09-16
Also published as: CN102394051B; EP2141910A4; CN101663885A; JP2009071873A; CN101663886B; JP4686594B2; EP2141910A1; JP5260769B2; JP5014497B2; CN102394051A; RU2009135233A; US20100091185A1; US8462266B2; US8319898B2; EP2141910B1; JP2008295022A; CN101663885B; RU2419243C1; EP2144434A4; JP2008295023A

Description

Relatório Descritivo da Patente de Invenção para "DISPOSITIVO E MÉTODO DE PROCESSAMENTO DE IMAGEM, E DISPOSITIVO E MÉTODO E EXIBIÇÃO DE IMAGEM".

CAMPO TÉCNICO

5 A presente invenção refere-se a um dispositivo de exibição de

imagem e a um método de exibição de imagem do dispositivo e a um dispositivo de processamento de imagem e a um método de processamento de imagem do dispositivo capaz de apresentar um vídeo exibido em alta definição mediante redução de embaralhamentos de movimento de um vídeo exi10 bido devido ao efeito de integração temporal de um sensor de imagem. ANTECEDENTES DA INVENÇÃO

Quando comparados com os tubos de raios catódicos convencionais (CRTs), usados principalmente para realizar imagens em movimento, os LCDs (Displays de Cristal Líquido) têm uma desvantagem, o assim cha15 mado embaralhamento de movimento, que é a falta de nitidez do contorno de uma porção em movimento percebida por um espectador ao exibir uma imagem com movimento. É indicado que esse embaralhamento de movimento tem como origem o próprio sistema de display LCD (vide, por exemplo, o Relatório Descritivo da Patente Japonesa N0 3295437; “Hidekazu Ishi20 guro and Taiichiro Kurita; “Consideration on Motion Picture Quality of the Hold Type Display with an octuple-rate CRT”, IEICE Technical Report, Institute of Electronics, Information and Communication Engineers, EID96-4 (1996-06), pp 19-26”).

Como o material fluorescente é varrido por um feixe de elétrons 25 para causar emissão de Iuz para exibição nos CRTs, a emissão de Iuz de cada pixel é basicamente semelhante ao impulso embora exista um ligeiro brilho posterior do material fluorescente. Isso é chamado de sistema de exibição do tipo impulso. Por outro lado, no caso dos LCDs, uma carga elétrica acumulada mediante aplicação de um campo elétrico ao cristal líquido é reti30 da em uma taxa relativamente elevada até que o próximo campo elétrico seja aplicado. Especificamente, no caso do sistema TFT, como um comutador TFT é disposto para cada ponto configurando um pixel e normalmente cada pixel é provido com uma capacidade adicional, a habilidade em reter a carga acumulada extremamente elevada. Portanto, a emissão de Iuz é continuada até que os pixels são regravados por intermédio da aplicação do campo elétrico com base na informação de imagem do próximo quadro ou 5 campo (em seguida, representado pelo quadro). Isso é denominado sistema de exibição do tipo retenção.

Como a resposta de impulso da Iuz de exibição de imagem tem uma dispersão temporal no sistema de exibição do tipo retenção, mencionado acima, as características especiais de frequência deterioram quando de10 terioram as características de frequência temporal, e ocorre o embaralhamento de movimento. Como o olho humano pode acompanhar suavemente um objeto em movimento, se o tempo de emissão de Iuz for longo, como no caso do tipo de retenção, o movimento da imagem parece irregular e nãonatural devido aos efeitos de integração temporal.

Para melhorar o embaralhamento de movimento no sistema de

exibição do tipo retenção, é conhecida uma técnica para converter uma taxa de quadros (número de quadros) mediante interpolação de uma imagem entre os quadros. Essa técnica é denominada FRC (Conversor de Taxa de Quadros) e é posta em uso prático nos dispositivos de display de cristal Iiquido, etc.

Métodos convencionalmente conhecidos de converter a taxa de quadros incluem várias técnicas tal como simplesmente repetir a leitura do mesmo quadro por diversas vezes e interpolação de quadro utilizando interpolação linear entre quadros (vide, por exemplo, Tatsuro Yamauchi, “TV 25 Standards Conversion", Journal of the Institute of Television Engineers of Japan, Vol. 45, N0 12, pg. 1534-1543 (1991)). Contudo, no caso do processamento de interpolação de quadros utilizando a interpolação linear, a falta de naturalidade do movimento (tremulação, oscilação brusca) é gerada devido à conversão de taxa de quadros, e a perturbação de embaralhamento de 30 movimento devido ao sistema de exibição do tipo retenção não pode ser suficientemente aperfeiçoada, resultando em qualidade de imagem inadequada. Para eliminar os efeitos de oscilação brusca, etc., e melhorar a qualidade das imagens em movimento, foi proposto um processamento de interpolação de quadros de movimento compensado utilizando vetores de movimento. Como uma imagem em movimento é ela própria capturada para 5 compensar o movimento de imagem nesse processo, imagens em movimento altamente naturais podem ser adquiridas sem deteriorar a resolução e gerar a oscilação brusca. Como os sinais de imagem de interpolação são gerados com compensação de movimento, a perturbação de embaralhamento de movimento devido ao sistema de exibição do tipo retenção mencionado 10 acima pode ser suficientemente aperfeiçoada.

A especificação mencionada acima, da Patente Japonesa N0 3295437 descreve uma tecnologia de geração adaptativa de movimento de quadros de interpolação para aumentar uma frequência de quadros de uma imagem exibida para aperfeiçoar a deterioração das características de fre15 quência espacial causando o embaralhamento de movimento. Nesse caso, ao menos um sinal de imagem de interpolação interpolado entre quadros de uma imagem exibida é criado adaptativamente com movimento a partir dos quadros anteriores e subsequentes, e os sinais de imagem de interpolação criados são interpolados entre os quadros e são seqüencialmente exibidos. 20 A Figura 1 é um diagrama de blocos de uma configuração es

quemática de um circuito de display de acionamento FRC em um dispositivo de display de cristal líquido convencional e, na Figura 1, o circuito de display de acionamento FRC inclui uma porção FRC 100 que converte o número de quadros do sinal de imagem de entrada mediante interpolação dos sinais de 25 imagem submetidos ao processamento de compensação de movimento entre os quadros do sinal de vídeo de entrada, um painel de display de cristal líquido de matriz ativa 203 tendo uma camada de cristal líquido e um eletrodo para aplicar o sinal de varredura e o sinal de dados à camada de cristal líquido, e uma porção de acionamento de eletrodo 204 para acionar um ele30 trodo de varredura e um eletrodo de dados do painel de display de cristal líquido 203 com base no sinal de imagem submetido à conversão de taxa de quadros pela porção FRC 100. A porção FRC 100 inclui uma porção de detecção de vetor de movimento 101 que detecta a informação de vetor de movimento a partir do sinal de imagem de entrada e uma porção geradora de quadro de interpolação 102 que gera quadros de interpolação com base na informação de vetor 5 de movimento adquirida pela porção de detecção de vetor de movimento 101.

Na configuração acima, por exemplo, a porção de detecção de vetor de movimento 101 pode obter a informação de vetor de movimento com o uso de um método de combinação de blocos, um método de gradien10 te, etc., ou se a informação do vetor de movimento for incluída no sinal de imagem de entrada de alguma forma, essa informação pode ser utilizada. Por exemplo, a compactação de dados de imagem codificada com o uso do formato MPEG inclui informação de vetor de movimento de uma imagem em movimento calculada no momento da codificação, e essa informação de ve15 tor de movimento pode ser adquirida.

A Figura 2 é um diagrama para explicar o processamento de conversão de taxa de quadros por intermédio do circuito de display de acionamento FRC convencional mostrado na Figura 1. A porção FRC 100 gera quadros de interpolação (imagem de cor cinza na Figura 2) entre os quadros 20 com o processamento de compensação de movimento utilizando a saída de informação de vetor de movimento a partir da porção de detecção de vetor de movimento 101, e emite seqüencialmente os sinais de interpolação gerados junto com os sinais de quadro de entrada para realizar processamento para converter a taxa de quadros do sinal de imagem de entrada a partir de 25 60 quadros por segundo (60 Hz) para 120 quadros por segundo (120 Hz).

A Figura 3 é um diagrama para explicar um processamento de geração de quadros de interpolação da porção de detecção de vetor de movimento 101 e da porção de geração de quadros de interpolação 102. A porção de detecção de vetor de movimento 101 utiliza o método de gradiente 30 para detectar um vetor de movimento 205, por exemplo, a partir de um quadro n°1 e um quadro n°2, mostrados na Figura 2. A porção de detecção de vetor de movimento 101 obtém o vetor de movimento 205 mediante medição de uma direção e de uma quantidade de movimento em 1/60 de segundo entre o quadro n°1 e o quadro n°2. A porção de geração de quadros de interpolação 102 utiliza então o vetor de movimento obtido 205 para alocar um vetor de interpolação 206 entre o quadro n°1 e o quadro n°2. Um quadro de 5 interpolação 207 é gerado mediante deslocamento de um objeto (nesse caso, um automóvel) a partir de uma posição do quadro n°1 para uma posição após 1/120 de segundo com base no vetor de interpolação 206.

Mediante realização do processamento de interpolação de quadros de movimento compensado com o uso da informação de vetor de mo10 vimento para aumentar uma frequência de quadros de exibição, dessa forma o estado de exibição do LCD (o sistema de display do tipo retenção) pode ser feito mais próximo do estado de exibição do CRT (o sistema de display do tipo impulso) e a deterioração da qualidade da imagem pode ser aperfeiçoada o que se deve ao embaralhamento de movimento gerado ao se exibir 15 uma imagem em movimento.

No processamento de interpolação de quadros de movimento compensado, é essencial detectar os vetores de movimento para a compensação de movimento. Por exemplo, o método de combinação de blocos e o método de gradiente são propostos como técnicas representativas para a 20 detecção de vetor de movimento. No método de gradiente, o vetor de movimento é detectado para cada pixel ou pequeno bloco entre dois quadros consecutivos para interpolar cada pixel ou pequeno bloco do quadro de interpolação entre dois quadros. Uma imagem em uma posição arbitrária entre dois quadros é interpolada em uma posição precisamente compensada para 25 converter o número de quadros.

Embora a deterioração da qualidade da imagem devido ao embaralhamento de movimento causado pelo display do tipo retenção possa ser aperfeiçoada mediante realização do processamento de interpolação de quadros de movimento compensado para aumentar a frequência de quadros 30 de exibição conforme acima, o sinal de imagem de entrada pode incluir embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem (também denominado embaralhamento de câmera), e a qualidade da imagem é deteriorada pelos embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem. Portanto, por exemplo, uma proposição foi feita na Publicação de Patente Japonesa Aberta à Inspeção Pública N0 2002-373330 para um dispositivo de proces5 sarnento de imagem removendo os embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem e aumentando a resolução de percepção sem tornar as imagens não-naturais. O dispositivo de processamento de imagem convencional descrito na Publicação de Patente Japonesa Aberta à Inspeção Pública N0 2002-373330 será descrito em 10 seguida com referência à Figura 4.

A Figura 4 é um diagrama funcional de blocos de uma configuração de um dispositivo de processamento de imagem convencional. Uma imagem de entrada fornecida ao dispositivo de processamento de imagem é fornecida a uma porção de extração de objeto 111, uma porção de identifi15 cação de área 113, uma porção de cálculo de proporção de mistura 114, e uma porção de separação de primeiro plano/segundo plano 115. A porção de extração de objeto 111 extrai aproximadamente um objeto de imagem correspondendo a um objeto de primeiro plano incluído na imagem de entrada e fornece o objeto de imagem extraído a uma porção de detecção de mo20 vimento 112. Por exemplo, a porção de extração de objeto 111 extrai aproximadamente o objeto de imagem correspondendo ao objeto de primeiro plano mediante detecção do contorno do objeto de imagem correspondendo ao objeto de primeiro plano incluído na imagem de entrada.

A porção de extração de objeto 111 extrai aproximadamente um 25 objeto de imagem correspondendo a um objeto de segundo plano incluído na imagem de entrada e fornece o objeto de imagem extraído à porção de detecção de movimento 112. Por exemplo, a porção de extração de objeto 111 extrai aproximadamente o objeto de imagem correspondendo ao objeto de segundo plano a partir de uma diferença entre a imagem de entrada e o 30 objeto de imagem correspondendo ao objeto de primeiro plano, extraído. Por exemplo, a porção de extração de objeto 111 pode extrair aproximadamente o objeto de imagem correspondendo ao objeto de primeiro plano e o objeto de imagem correspondendo ao objeto de segundo plano a partir de uma diferença entre uma imagem de segundo plano em uma memória de segundo plano disposta dentro da imagem de entrada.

A porção de detecção de movimento 112 utiliza métodos, tal como um método de combinação de blocos, um método de gradiente, um método de correlação de fases, e um método recursivo-pel para calcular um vetor de movimento do objeto de imagem aproximadamente extraído correspondendo ao objeto de primeiro plano e fornece o vetor de movimento calculado e a informação de posição do vetor de movimento (informação identificando uma posição de um pixel correspondendo ao vetor de movimento) à porção de identificação de área 113 e a uma porção de remoção de embaralhamento de movimento 116. A saída do vetor de movimento por intermédio da porção de detecção de movimento 112 inclui informação correspondendo a uma quantidade de movimento v. Por exemplo, a porção de detecção de movimento 112 pode emitir um vetor de movimento de cada um dos objetos de imagem para a porção de remoção de embaralhamento de movimento

116 junto com a informação de posição de pixel identificando os pixels para os objetos de imagem.

A quantidade de movimento v é um valor representativo de uma 20 mudança em uma posição de uma imagem correspondendo a um objeto em movimento na base de um intervalo de pixel. Por exemplo, se uma imagem de um objeto correspondendo ao primeiro plano se desloca para ser exibida em uma posição a quatro pixels de distância no próximo quadro com base em certo quadro, a quantidade de movimento v da imagem do objeto corres25 pondendo ao primeiro plano é representada por quatro.

A porção de identificação da área 113 identifica os pixels respectivos da imagem de entrada como uma área de primeiro plano, uma área de segundo plano, e uma área de mistura e fornece informação (em seguida, informação de área) indicativa de qual da área de primeiro plano, área de 30 segundo plano, ou a área de mistura a que pertence cada pixel, à porção de cálculo de proporção de mistura 114, porção de separação de primeiro plano/segundo plano 115, e à porção de remoção de embaralhamento de movimento 116.

A porção de cálculo de proporção de mistura 114 calcula uma proporção de mistura (em seguida, uma proporção de mistura a) correspondendo aos pixels incluídos na área de mistura com base na imagem de en5 trada e na informação de área fornecida a partir da porção de identificação de área 113 e fornece a proporção de mistura calculada à porção de separação de primeiro plano/segundo plano 115. A proporção de mistura α é um valor indicativo de uma taxa de um componente de imagem (em seguida, também referido como componente de segundo plano) correspondendo aos 10 objetos de segundo plano.

A porção de separação de primeiro plano/segundo plano 115 separa a imagem de entrada em uma imagem de componente de primeiro plano consistindo apenas em componentes de imagem (em seguida, também referidos como componentes de primeiro plano) correspondendo aos 15 objetos de primeiro plano e uma imagem de componente de segundo plano consistindo apenas em componentes de segundo plano com base na informação da área fornecida a partir da porção de identificação da área 113 e a proporção de mistura α fornecida a partir da porção de cálculo de proporção de mistura 114 e fornece a imagem de componente de primeiro plano à por20 ção de remoção de embaralhamento de movimento 116 e a imagem de componente de segundo plano a uma porção de correção 117.

A porção de remoção de embaralhamento de movimento 116 determina uma unidade de processamento indicativa de um ou mais pixels incluídos na imagem de componente de primeiro plano com base na quanti25 dade de movimento v conhecida a partir do vetor de movimento e da informação de área. A unidade de processamento são os dados que especificam um grupo de pixels a ser processado para ajuste da quantidade de embaralhamento de movimento. A porção de remoção de embaralhamento de movimento 116 remove o embaralhamento de movimento incluído na imagem 30 de componente de primeiro plano com base na imagem de componente de primeiro plano fornecida a partir da porção de separação de primeiro plano/segundo plano 115, o vetor de movimento e a sua informação de posição fornecidos a partir da porção de detecção de movimento 112, e a unidade de processamento e emite a imagem de componente de primeiro plano após a remoção do embaralhamento de movimento para uma porção de processamento de imagem removida de embaralhamento de movimento 118.

5 A porção de correção 117 corrige um valor de pixel de um pixel

correspondendo à área de mistura na imagem de componente de segundo plano. Um valor de pixel de um pixel correspondendo à área de mistura na imagem de componente de segundo plano é calculado mediante remoção do componente de primeiro plano a partir de um valor de pixel de um pixel da 10 área de mistura antes da separação. Portanto, um valor de pixel de um pixel correspondendo à área de mistura na imagem de componente de segundo plano é reduzido correspondentemente à proporção de mistura α quando comparada com um valor de pixel de um pixel da área de segundo plano adjacente. A porção de correção 117 corrige tal redução de ganho corres15 pondendo à proporção de mistura α de um valor de pixel de um pixel correspondendo à área de mistura na imagem de componente de segundo plano e fornece a imagem de componente de segundo plano, corrigida, à porção de processamento de imagem de embaralhamento de movimento removido 118.

A porção de processamento de imagem de embaralhamento de

movimento removido 118 aplica um processamento de otimização de borda em um nível de otimização de borda diferente a cada imagem de componente de primeiro plano após a remoção do embaralhamento de movimento e imagem de componente de segundo plano, corrigida. Para a imagem de 25 componente de segundo plano, a qual é uma imagem estática, o processamento de otimização de borda é executado para otimizar as bordas mais do que a imagem de componente de primeiro plano. Isso permite um aumento na resolução de percepção da imagem de componente de segundo plano sem gerar a deterioração de imagem não-natural no momento da aplicação 30 do processamento de otimização de borda a uma imagem incluindo ruídos.

Por outro lado, para a imagem de componente de primeiro plano, o processamento de otimização de borda é executado em um nível de otimização de borda inferior em comparação com a imagem de componente de segundo plano. Isso habilita a redução da deterioração de imagem nãonatural enquanto aperfeiçoando a resolução de percepção mesmo se a imagem de componente de primeiro plano após a remoção do embaralhamento de movimento incluir ruídos.

DESCRIÇÃO DA INVENÇÃO

PROBLEMAS A SEREM RESOLVIDOS PELA INVENÇÃO

Contudo, é problemático que o dispositivo de processamento de imagem descrito na Publicação de Patente Japonesa Aberta à Inspeção Pública N0 2002-373330 necessite da porção de remoção de embaralhamento de movimento 116 para remover os embaralhamentos de movimento incluídos na imagem de componente de primeiro plano e a porção de correção

117 que corrige os valores de pixel dos pixels correspondendo à área de mistura, resultando em um processamento/estrutura muito complicado. Em15 bora esse dispositivo de processamento de imagem seja capaz de remover embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem a partir de uma imagem tendo um objeto de primeiro plano se deslocando em relação a um segundo plano estático, o dispositivo de processamento de imagem é incapaz de remover os embaralhamentos 20 de movimento em outros casos, por exemplo, a partir de uma imagem tendo não apenas uma imagem em movimento de um objeto em primeiro plano, mas também uma imagem de segundo plano em movimento. Não é praticável se o efeito desejado for limitado e adquirido apenas a partir de certos conteúdos de imagem, conforme acima.

Também é problemático que o dispositivo de processamento de

imagem descrito na Publicação de Patente Japonesa Aberta à Inspeção Pública N0 2002-373330 seja incapaz de melhorar suficientemente a resolução de percepção da imagem de componente de primeiro plano uma vez que o nível de otimização de borda da imagem de componente de primeiro plano é 30 definido inferior porque a deterioração de imagem não-natural é causada pela elevação do nível de otimização de borda quando a imagem de componente de primeiro plano após a remoção do embaralhamento de movimento inclui ruído.

Por exemplo, a Publicação de Patente Japonesa Aberta à Inspeção Pública N0 1-215185 descreve aquele movimento de detecção de um objeto a partir de um sinal de imagem de entrada para variar uma quantidade de compensação de contorno (nível de otimização de borda) para o sinal de imagem de entrada dependendo do resultado da detecção de movimento como aqueles removendo o embaralhamento de movimento devido ao efeito de integração temporal de um sensor de imagem com uma configuração simples. Isso aparentemente reduz os embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem mediante aumento do nível de otimização de borda para o sinal de imagem de entrada na área tendo uma quantidade de movimento maior do sinal de imagem de entrada e permite o aperfeiçoamento da nitidez de uma imagem exibida e prevenção de deterioração de qualidade de imagem (aumento em ruído em uma área estática) devido à otimização de borda excessiva.

Se o processamento de conversão de taxa de quadros de movimento compensado (processamento FRC) para reduzir o embaralhamento de movimento devido ao sistema de display de tipo retenção descrita acima for combinado com o processamento de otimização de borda que reduz os 20 embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem, como a detecção do vetor de movimento do processamento FRC é executada para um sinal de imagem de borda otimizada se o processamento FRC for configurado para ser executado, por exemplo, no estágio subsequente do processamento de otimização de borda que reduz 25 os embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem, é problemático que detecção falsa do vetor de movimento seja induzida quando o cálculo de vetor é realizado com base em um gradiente suave do sinal de imagem como no método de gradiente, por exemplo.

Embora o processamento FRC seja, portanto, configurado prefe

rivelmente para ser executado no estágio precedente do processamento de otimização de borda, o problema a seguir ocorre nesse caso. O sinal de imagem de interpolação gerado pelo processamento FRC frequentemente tem deterioração de imagem (colapso de imagem) gerada devido à detecção falsa do vetor de movimento, etc., e se o processamento de otimização de borda que é idêntico ao processamento de otimização de borda para o sinal 5 de imagem de entrada for executado para o sinal de imagem de interpolação incluindo tal deterioração de imagem, a deterioração de imagem tende a ser otimizada e enfatizada.

A presente invenção foi concebida em virtude das situações acima e, portanto, o objetivo da presente invenção é o de prover um dispositi10 vo e método de exibição de imagem e um dispositivo e método de processamento de imagem, capazes de implementar um vídeo exibido em alta definição mediante redução dos embaralhamentos de movimento devido ao sistema de exibição do tipo retenção e mediante redução dos embaralhamentos de movimento de um vídeo exibido devido ao efeito de integração 15 temporal de um sensor de imagem ao mesmo tempo enquanto restringindo a deterioração de imagem.

MEIOS PARA RESOLVER OS PROBLEMAS

Uma primeira invenção do presente pedido é um dispositivo de exibição de imagem compreendendo: um meio de conversão de taxa que converte o número de quadros ou campos de um sinal de imagem de entrada mediante interpolação de um sinal de imagem de interpolação gerado pelo processamento de compensação de movimento de execução para o sinal de imagem de entrada com base na informação de vetor de movimento entre os quadros ou campos do sinal de imagem de entrada entre os quadros ou campos de um sinal de imagem de entrada, em que o sinal de imagem de entrada é submetido a processamento de otimização de borda em um primeiro nível de otimização de borda e o sinal de imagem de interpolação é submetido ao processamento de otimização de borda em um segundo nível de otimização de borda inferior ao primeiro nível de otimização de borda, ou não é submetido ao processamento de otimização de borda.

Uma segunda invenção do presente pedido é o dispositivo de exibição de imagem, em que o processamento de otimização de borda aumenta uma quantidade de otimização de um componente de alta frequência do sinal de imagem para uma área tendo uma quantidade de movimento maior do sinal de imagem de entrada.

Uma terceira invenção do presente pedido é o dispositivo de e5 xibição de imagem, em que o processamento de otimização de borda expande uma faixa de frequência do sinal de imagem otimizado para uma área tendo uma quantidade de movimento maior do sinal de imagem de entrada.

Uma quarta invenção do presente pedido é o dispositivo de exibição de imagem, em que o dispositivo de exibição de imagem varia as características de um filtro para a otimização de borda do sinal de imagem dependendo de uma direção de movimento do sinal de imagem de entrada.

Uma quinta invenção do presente pedido é o dispositivo de exibição de imagem, em que o meio de conversão de taxa inclui uma porção de detecção de vetor de movimento que detecta um vetor de movimento entre 15 quadros ou campos consecutivos incluídos no sinal de imagem de entrada, uma porção de alocação de vetor de interpolação que aloca um vetor de interpolação entre os quadros ou os campos com base no vetor de movimento detectado, uma porção de geração de imagem de interpolação que gera um sinal de imagem de interpolação com base no vetor de interpolação alocado, 20 e uma porção de interpolação de imagem que interpola o sinal de imagem de interpolação gerada entre os quadros ou os campos, e obtém uma direção de movimento/quantidade de movimento do sinal de imagem de entrada com base no vetor de movimento detectado pela porção de detecção de vetor de movimento.

Uma sexta invenção do presente pedido é o dispositivo de exibi

ção de imagem, em que é incluído um filtro passa-baixa para suavizar o vetor de movimento detectado pela porção de detecção de vetor de movimento.

Uma sétima invenção do presente pedido é o dispositivo de exibição de imagem, em que o meio de conversão de taxa inclui uma porção de detecção de movimento que detecta um vetor de movimento entre quadros ou campos consecutivos incluídos no sinal de imagem de entrada, uma porção de alocação de vetor de interpolação que aloca um vetor de interpolação entre os quadros ou os campos com base no vetor de movimento detectado, uma porção de geração de imagem de interpolação que gera um sinal de imagem de interpolação com base no vetor de interpolação alocado, e uma 5 porção de interpolação de imagem que interpola o sinal de imagem de interpolação gerado entre os quadros ou os campos, e obtém uma direção de movimento/quantidade de movimento do sinal de imagem de entrada com base no vetor de interpolação alocado pela porção de alocação de vetor de interpolação.

Uma oitava invenção do presente pedido é o dispositivo de exi

bição de imagem, em que um filtro passa-baixa para suavizar o vetor de interpolação alocado pela porção de alocação de vetor de interpolação é incluído.

Uma nona invenção do presente pedido é o dispositivo de exibi15 ção de imagem, em que o meio de conversão de taxa interpola uma pluralidade dos sinais de imagem de interpolação entre os quadros ou campos do sinal de imagem de entrada, e varia o nível de otimização de borda para cada um dos sinais de imagem de interpolação dependendo de uma distância temporal a partir do sinal de imagem de entrada.

Uma décima invenção do presente pedido é um método de exi

bição de imagem compreendendo: uma etapa de conversão de taxa para converter o número de quadros ou campos de um sinal de imagem de entrada mediante interpolação de um sinal de imagem de interpolação gerado mediante execução de processamento de compensação de movimento para 25 o sinal de imagem de entrada com base na informação de vetor de movimento entre quadros ou campos do sinal de imagem de entrada entre quadros ou campos do sinal de imagem de entrada, em que o sinal de imagem de entrada é submetido a processamento de otimização de borda em um primeiro nível de otimização de borda, e o sinal de imagem de interpolação é 30 submetido ao processamento de otimização de borda em um segundo nível de otimização de borda inferior ao primeiro nível de otimização de borda ou não é submetido ao processamento de otimização de borda. Uma décima primeira invenção do presente pedido é um dispositivo de processamento de imagem compreendendo: um meio de conversão de taxa que converte o número de quadros ou campos de um sinal de imagem de entrada mediante interpolação de um sinal de imagem de interpola5 ção gerado mediante execução de processamento de compensação de movimento para o sinal de imagem de entrada com base na informação de vetor de movimento entre os quadros ou campos do sinal de imagem de entrada entre quadros ou campos do sinal de imagem de entrada, em que o sinal de imagem de entrada é submetido ao processamento de otimização de 10 borda em um primeiro nível de otimização de borda, e o sinal de imagem de interpolação é submetido ao processamento de otimização de borda em um segundo nível de otimização de borda inferior ao primeiro nível de otimização de borda ou não é submetido ao processamento de otimização de borda.

Uma décima segunda invenção do presente pedido é um méto

do de processamento de imagem compreendendo: uma etapa de conversão de taxa para converter o número de quadros ou campos de um sinal de imagem de entrada mediante interpolação de um sinal de imagem de interpolação gerado mediante execução do processamento de compensação de mo20 vimento para o sinal de imagem de entrada com base na informação de vetor de movimento entre quadros ou campos do sinal de imagem de entrada entre quadros ou campos do sinal de imagem de entrada, em que o sinal de imagem de entrada é submetido a processamento de otimização de borda em um primeiro nível de otimização de borda, e o sinal de imagem de inter25 polação está sujeito ao processamento de otimização de borda em um segundo nível de otimização de borda inferior ao primeiro nível de otimização de borda ou não está sujeito ao processamento de otimização de borda. EFEITO DA INVENÇÃO

De acordo com a presente invenção, a nitidez das imagens exibidas pode ser aperfeiçoada sem tornar a deterioração da imagem perceptível devido ao processamento FRC mediante ação de fazer com que um nível de otimização de borda para um sinal de imagem de interpolação seja inferior a um nível de otimização de borda para um sinal de imagem de entrada. DESCRIÇÃO RESUMIDA DOS DESENHOS

A Figura 1 é um diagrama de blocos de uma configuração esquemática de um circuito de display de acionamento FRC em um dispositivo de display de cristal líquido convencional.

A Figura 2 é um diagrama para explicar o processamento de conversão de taxa de quadros por intermédio do circuito de display de acionamento FRC convencional mostrado na Figura 1.

A Figura 3 é um diagrama para explicar o processamento de geração de quadros de interpolação de uma porção de detecção de vetor de movimento e de uma porção de geração de quadros de interpolação.

A Figura 4 é um diagrama funcional de blocos de uma configuração de um dispositivo de processamento de imagem convencional.

A Figura 5 é um diagrama funcional de blocos de uma configuração esquemática de um dispositivo de processamento de imagem reduzindo embaralhamentos de movimento de imagens exibidas devido ao efeito de integração temporal de um sensor de imagem.

A Figura 6 é um diagrama de blocos de uma configuração exemplar de uma porção de otimização de borda.

A Figura 7 é um diagrama explanatório de uma operação da

configuração exemplar da porção de otimização de borda.

A Figura 8 é um diagrama de blocos de outra configuração exemplar da porção de otimização de borda.

A Figura 9 é um diagrama explanatório de uma operação de outra configuração exemplar da porção de otimização de borda.

A Figura 10 é um diagrama funcional de blocos de uma configuração esquemática de um dispositivo de processamento de imagem de acordo com uma primeira modalidade da presente invenção.

A Figura 11 é um diagrama para explicar um método de gerar um sinal de imagem de interpolação quando uma taxa de quadros é convertida por um fator de cinco.

A Figura 12 é um diagrama funcional de blocos de uma configuração esquemática de um dispositivo de processamento de imagem de acordo com uma segunda modalidade da presente invenção.

A Figura 13 é um diagrama de blocos de uma configuração exemplar de um dispositivo de processamento de imagem de acordo com uma terceira modalidade da presente invenção.

A Figura 14 é um diagrama de blocos de uma configuração exemplar de um dispositivo de processamento de imagem de acordo com uma quarta modalidade da presente invenção.

Explanações de Letras ou Numerais 1...porção de detecção de movimento; 2...porção de otimização de borda;

21...filtro passa-alta; 22...porção de ajuste de ganho; 23...porção de adição;

24...filtro; 100...porção FRC; 101...porção de vetor de movimento;

102...porção de geração de quadro de interpolação; 103...porção de alocação de vetor de interpolação; 104...porção de conversão de base de tempo;

105...armazenador de quadros (FB); 106...porção de alocação de vetor de quadros, original; 107...armazenador de quadros (FB); 111...porção de extração de objeto; 112...porção de detecção de movimento; 113...porção de identificação de área; 114...porção de cálculo de proporção de mistura;

115...porção de separação de primeiro plano/segundo plano; 116...porção de remoção de embaralhamento de movimento; 117...porção de correção;

118...porção de processamento de imagem de embaralhamento de movimento removido; 203...painel de display de cristal líquido; 204...porção de acionamento de eletrodo; 205...vetor de movimento; 206...vetor de interpolação; e 207...quadro de interpolação.

MODALIDADE PREFERIDA DA INVENÇÃO

Modalidades preferidas de um dispositivo de processamento de imagem da presente invenção serão descritas agora com referência aos desenhos anexos, e as porções que são idênticas àquelas no exemplo convencional acima recebem os mesmos numerais de referência e não serão 30 descritas. Embora a presente invenção seja aplicável ou aos sinais de campo e sinais de campo de interpolação ou sinais de quadro e sinais de quadros de interpolação, os sinais de quadros e os sinais de quadros de interpolação serão descritos como um exemplo representativo uma vez que ambos (campo e quadro) estão em uma relação similar entre si.

Uma configuração de uma porção de otimização de borda no dispositivo de processamento de imagem da presente invenção será primeiramente descrita com referência às Figuras 5 a 9. A Figura 5 é um diagrama funcional de blocos de uma configuração esquemática de um dispositivo de processamento de imagem reduzindo embaralhamento de movimento das imagens exibidas devido ao efeito de integração temporal de um sensor de imagem; a Figura 6 é um diagrama de blocos de uma configuração exemplar da porção de otimização de borda; a Figura 7 é um diagrama explanatório de uma operação da configuração exemplar da porção de otimização de borda; a Figura 8 é um diagrama de blocos de outra configuração exemplar da porção de otimização de borda; e a Figura 9 é um diagrama explanatório de uma operação de outra configuração exemplar da porção de otimização de borda.

O dispositivo de processamento de imagem reduzindo o embaralhamento de movimento das imagens exibidas devido ao efeito de integração temporal de um sensor de imagem inclui uma porção de detecção de movimento 1 que detecta uma quantidade de movimento de cada uma das 20 áreas de pixels determinados em um sinal de imagem de entrada e uma porção de otimização de borda 2 que otimiza um componente de alta frequência do sinal de imagem de entrada dependendo das quantidades de movimento do sinal de imagem de entrada detectado pela porção de detecção de movimento 1, conforme mostrado na Figura 5.

A porção de detecção de movimento 1 pode obter um vetor de

movimento para cada pixel ou bloco pequeno (por exemplo, um bloco de detecção consistindo em 8x8 pixels) entre dois quadros consecutivos do sinal de imagem de entrada com o uso de um método de combinação de blocos, um método de gradiente, etc., ou se a informação de vetor de movimen30 to for incluída no sinal de imagem de entrada de alguma forma, essa informação pode ser utilizada. Por exemplo, os dados de imagem codificados com compactação com o uso do formato MPEG incluem informação de vetor de movimento de uma imagem em movimento calculada no tempo de codificação, e essa informação de vetor de movimento pode ser adquirida.

A porção de otimização de borda 2 varia um nível e uma faixa de frequência de otimização do componente de alta frequência do sinal de imagem de entrada com base no vetor de movimento detectado pela porção de detecção de movimento 1 e a sua informação de posição para executar um processamento de otimização de borda para o sinal de imagem de entrada. A porção de otimização de borda 2 pode comutar um nível e uma faixa de frequências de otimização do componente de alta frequência do sinal de imagem de entrada dentro de uma tela dependendo da distribuição das quantidades de movimento da imagem dentro da tela do sinal de imagem de entrada. O movimento de sinal de imagem submetido adaptativamente a um processo de aguçamento por intermédio da porção de otimização de borda 2 é exibido e emitido por um dispositivo de exibição (não-mostrado) tal como um tubo de raios catódicos ou um painel de exibição de cristal líquido configurado separadamente ou integralmente.

Como é mais provável que o componente de alta frequência seja atenuado devido ao efeito de integração temporal de um sensor de imagem em uma área tendo uma quantidade de movimento maior do sinal de ima20 gem de entrada, a porção de otimização de borda 2 executa um processamento de otimização de borda apropriado para compensar o componente de alta frequência atenuado. Isso reduz os embaralhamentos de movimento aparentes e pode melhorar a nitidez das imagens exibidas.

A Figura 6 ilustra uma configuração exemplar da porção de oti25 mização de borda 2. Um sinal de imagem de entrada é introduzido em um filtro passa-alta 21 e um somador 23. O filtro passa-alta 21 extrai um componente de imagem tendo frequências superiores, isto é, remove um componente de imagem tendo frequências inferiores, a partir do sinal de imagem de entrada com base em um coeficiente de filtro de entrada para gerar um 30 sinal de imagem de borda. O coeficiente de filtro de entrada é variado escaIonadamente dependendo das quantidades de movimento detectadas pela porção de detecção de movimento 1. Quando o coeficiente de filtro é variado, o filtro passa-alta 21 muda uma frequência da imagem a ser extraída, uma frequência da imagem a ser removida, e um ganho da imagem a ser extraída.

O sinal de imagem de borda gerado pelo filtro passa-alta 21 é 5 fornecido a uma porção de ajuste de ganho 22. A porção de ajuste de ganho 22 amplifica ou atenua o sinal de imagem de borda fornecido a partir do filtro passa-alta 21 com base em um coeficiente de ajuste de ganho de entrada. O coeficiente de ajuste de ganho de entrada é variado escalonadamente dependendo das quantidades de movimento detectadas pela porção de detec10 ção de movimento 1. Quando o coeficiente de ajuste de ganho é variado, a porção de ajuste de ganho 22 muda uma taxa de amplificação (taxa de atenuação) do sinal de imagem de borda.

Por exemplo, a porção de ajuste de ganho 22 amplifica o sinal de imagem de borda quando o coeficiente de ajuste de ganho especificando 15 uma taxa de amplificação de um ou maior é introduzido e atenua o sinal de imagem de borda quando o coeficiente de ajuste de ganho especificando uma taxa de amplificação inferior a um é introduzido. O sinal de imagem de borda com o ganho ajustado pela porção de ajuste de ganho 22 é fornecido à porção de adição 23. A porção de adição 23 adiciona o sinal de imagem de 20 entrada e o sinal de imagem de borda de ganho ajustado fornecido a partir da porção de ajuste de ganho 22 para emitir um sinal de imagem adicionado.

A porção de otimização de borda 2 configurada conforme acima, não executa o processamento de otimização de borda (desabilita o processamento de otimização de borda para emitir diretamente o sinal de imagem 25 de entrada) em uma área onde a quantidade de movimento do sinal de imagem de entrada é zero, por exemplo. Para uma área tendo uma quantidade de movimento menor do sinal de imagem de entrada, a porção de otimização de borda 2 limita uma frequência da imagem extraída pelo filtro passaalta 21 às frequências superiores e restringe a taxa de amplificação do sinal 30 de imagem de borda da porção de ajuste de ganho 22 a um, conforme mostrado na Figura 7(a). Para uma área tendo uma quantidade de movimento maior do sinal de imagem de entrada, a porção de otimização de borda 2 expande a faixa de frequência da imagem extraída pelo filtro passa-alta 21 em direção ao lado inferior e faz a taxa de amplificação do sinal de imagem de borda da porção de ajuste de ganho 22 maior do que um, conforme mostrado na Figura 7(b).

5 Como provavelmente o componente de alta frequência é atenu

ado devido ao efeito de integração temporal de um sensor de imagem na área tendo uma quantidade de movimento maior do sinal de imagem de entrada, os embaralhamentos de movimento, aparentes, podem ser reduzidos para melhorar a nitidez da imagem exibida mediante aumento do nível de 10 otimização de borda para compensar o componente de alta frequência atenuado. Como o componente de alta frequência tende a ser atenuado em uma faixa mais ampla na área tendo uma quantidade de movimento maior do sinal de imagem de entrada, os embaralhamentos de movimento aparentes podem ser reduzidos para melhorar a nitidez da imagem exibida median15 te expansão da faixa de frequência otimizada do sinal de imagem de entrada.

Embora o exemplo da porção de otimização de borda 2 tenha o filtro passa-alta 21 e a porção de ajuste de ganho 22, ao menos um entre o filtro passa-alta 21 e a porção de ajuste de ganho 22 pode ser incluído. O 20 processamento de otimização de borda pode não ser executado na área onde a quantidade de movimento do sinal de imagem de entrada é zero uma vez que nenhum embaralhamento de movimento (embaralhamento de câmera) ocorre.

A Figura 8 ilustra outra configuração exemplar da porção de oti25 mização de borda 2. No exemplo mostrado na Figura 8, a porção de otimização de borda 2 é composta de um filtro 24. O filtro 24 amplifica um componente tendo frequências superiores do sinal de imagem de entrada com base em um coeficiente de filtro de entrada para gerar um sinal de imagem de borda otimizada. O coeficiente de filtro de entrada é variado escalonadamen30 te dependendo das quantidades de movimento detectadas pela porção de detecção de movimento 1. Quando o coeficiente de filtro é variado, o filtro 24 muda o ganho do componente de alta frequência do sinal de imagem de entrada.

Por exemplo, o sinal de imagem de entrada pode passar sem alteração (o processamento de otimização de borda é desabilitado) na área onde a quantidade de movimento do sinal de imagem de entrada é zero. Para a área tendo uma quantidade de movimento menor do sinal de imagem de entrada, o componente tendo frequências superiores do sinal de imagem de entrada é amplificado e dobrado e o componente tendo frequências inferiores do sinal de imagem de entrada é deixado passar sem mudança para gerar o sinal de imagem de borda otimizada, conforme mostrado na Figura 9(a). Para a área tendo uma quantidade de movimento maior do sinal de imagem de entrada, o componente tendo frequências superiores do sinal de imagem de entrada é amplificado por um fator de 2.5 e o componente tendo frequências inferiores do sinal de imagem de entrada é deixado passar sem mudança para gerar o sinal de imagem de borda otimizada, conforme mostrado na Figura 9(b).

Como provavelmente o componente de alta frequência é atenuado devido ao efeito de integração temporal de um sensor de imagem na área tendo uma quantidade de movimento maior do sinal de imagem de entrada, os embaralhamentos de movimento, aparentes, podem ser reduzidos 20 para melhorar a nitidez da imagem exibida mediante aumento do nível de otimização de borda para compensar o componente de alta frequência atenuado. Por outro lado, como o componente de alta frequência tem menos probabilidade de ser atenuado devido ao efeito de integração temporal de um sensor de imagem na área tendo uma quantidade de movimento menor 25 do sinal de imagem de entrada, a deterioração da qualidade de imagem nas porções de borda devido à otimização excessiva de borda pode ser prevenida mediante diminuição do nível de otimização de borda. Como nenhum embaralhamento de movimento (embaralhamento de câmera) ocorre na área onde a quantidade de movimento do sinal de imagem de entrada é zero, 30 o processamento de otimização de borda pode não ser executado. É desnecessário dizer que a configuração da porção de otimização de borda 2 da presente invenção não é limitada à configuração acima. Embora um método de variar o nível de otimização de borda dependendo das quantidades de movimento do sinal de imagem de entrada seja descrito com o exemplo acima do dispositivo de processamento de imagem, uma caracterizada pelo fato de que de filtro, por exemplo, um formato de derivação do filtro pode ser variado dependendo da direção de movimento do sinal de imagem de entrada em adição às quantidades de movimento do sinal de imagem de entrada. Por exemplo, como o componente de alta frequência não é atenuado devido ao efeito de integração temporal de um sensor de imagem em uma direção vertical no sinal de imagem apenas tendo movimentos horizontais, é desejável executar o processamento de filtração em uma direção horizontal e, portanto, se o vetor de movimento detectado a partir do sinal de imagem de entrada tiver apenas um componente horizontal, o formato de derivação do filtro passa-alta 21 da Figura 6 ou do filtro 24 da Figura 8 é comutado para uma derivação horizontal unidimensional.

Similarmente, se o vetor de movimento detectado a partir do sinal de imagem de entrada tiver apenas um componente vertical (se o vídeo se desloca em uma direção vertical), o filtro pode ser comutado para um filtro de formato de derivação vertical unidimensional, ou se o vetor de movimento 20 detectado a partir do sinal de imagem de entrada tiver um componente horizontal e um componente vertical (se o vídeo se desloca em uma direção oblíqua), o filtro pode ser comutado para um filtro de formato de derivação de direção oblíqua. Mediante realização de comutação para o filtro tendo um formato de derivação tal como um formato isotrópico ou anisotrópico ou um 25 formato elíptico, se torna possível um processamento de filtração mais ideal.

Se um vetor de movimento for detectado com base em um bloco de detecção de movimento consistindo, por exemplo, em 8x8 pixels do sinal de imagem de entrada, e se o processamento de otimização de borda for controlado com base nesse vetor de movimento, um processamento de oti30 mização de borda diferente é executado para cada uma das áreas de blocos de 8x8 pixels e, portanto, artefatos (deteriorações de imagem) podem ocorrer em limites de blocos. Um método para remover tal efeito prejudicial pode incluir, por exemplo, prover um filtro passa-baixa para o vetor de movimento entre a porção de detecção de movimento 1 e a porção de otimização de borda 2 para suavizar o vetor de movimento. A suavização de uma mudança no vetor de movimento dentro da tela pode impedir os artefatos nos limites 5 de blocos gerados por uma mudança súbita no processamento de otimização de borda.

Embora imagens naturais captadas por um sensor de imagem tendo o efeito de integração temporal incluam embaralhamentos de movimento (embaralhamentos de câmera) descritos acima, as imagens de ani10 mação e CG (gráficos de computador) basicamente não têm embaralhamento de movimento (embaralhamento de câmera) conforme descrito acima. Se o componente de alta frequência for excessivamente otimizado em tal imagem não incluindo embaralhamento de movimento (embaralhamento de câmera), a deterioração da imagem pode ocorrer na porção de borda. Portan15 to, se um sinal de imagem relacionado à animação ou CG for introduzido, é desejável reduzir a intensidade do processamento de redução (aguçamento) de embaralhamento de movimento mencionado acima mesmo na área tendo uma quantidade de movimento maior do sinal de imagem de entrada.

Por exemplo, um tipo de gênero relacionado ao sinal de imagem 20 de entrada pode ser determinado com base na informação de gênero incluída nos dados EPG (Guia Eletrônico de Programa) separados e extraídos a partir de dados de transmissão de televisão e, por exemplo, se for determinado que o tipo de gênero do sinal de imagem de entrada é animação, a porção de otimização de borda 2 pode reduzir o nível de otimização do com25 ponente de alta frequência ou estreitar a faixa de frequência otimizada ou o controle pode ser realizado para desabilitar o processamento de otimização de borda por intermédio da porção de otimização de borda 2 mesmo na área tendo uma quantidade de movimento maior do sinal de imagem de entrada da mesma forma como a área tendo uma quantidade de movimento menor.

Similarmente, quando uma imagem CG tal como um logotipo de

programa, caracteres como um telop, e um ícone combinado (sobreposto) com uma porção de imagem natural, for desejável para reduzir a intensidade do processamento de redução (aguçamento) de embaralhamento de movimento mencionado acima ou não executar o processamento para a área combinada com a imagem CG mesmo se a imagem natural de segundo plano tiver uma quantidade de movimento maior ou se a velocidade de movi5 mento da imagem CG for elevada.

Por exemplo, uma posição da área combinada (sobreposta) com uma imagem CG tal como um logotipo de programa, caracteres semelhantes a um telop, e um ícone for detectado a partir do sinal de imagem de entrada, e a porção de otimização de borda 2 pode reduzir o nível de otimização do 10 componente de alta frequência ou estreitar a faixa de frequência de otimização ou o controle pode ser realizado para desabilitar o processamento de otimização de borda por intermédio da porção de otimização de borda 2 para a área combinada (sobreposta) com a imagem CG da mesma forma como a área tendo uma quantidade de movimento menor ou nenhum movimento de 15 uma imagem.

Como os embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem variam dependendo de um tempo de exposição, isto é, uma velocidade de obturador de um sensor de imagem no momento de realizar um vídeo, é desejável enfraquecer a inten20 sidade do processamento de redução (aguçamento) de embaralhamento de movimento mencionado acima se a velocidade do obturador no momento de captar uma imagem do sinal de imagem de entrada for elevada, isto é, o tempo de exposição for curto, mesmo quando uma quantidade de movimento do sinal de imagem de entrada for grande, por exemplo. Portanto, por e25 xemplo, se informação relacionada a uma velocidade de obturador no momento de captar um vídeo for adicionada aos dados de transmissão de televisão, a informação relacionada à velocidade do obturador pode ser separada e adquirida a partir dos dados de transmissão de televisão para controlar variavelmente o nível de otimização do componente de alta frequência por 30 intermédio da porção de otimização de borda 2 e/ou a faixa de frequência otimizada ou não executar o processamento de otimização de borda dependendo da informação relacionada a uma velocidade de obturador. Quando um vídeo é captado, o vídeo pode ser captado mediante focalização na porção inteira dentro da tela de imagem ou focalização em apenas uma porção dentro da tela de geração de imagem de acordo com a intenção do fotógrafo. Quando focalizando em apenas uma porção dentro da 5 tela de geração de imagem, o vídeo é captado como um vídeo intencionalmente borrado em vez do objeto colocado em foco. É desejável reduzir a intensidade do processamento de redução (nitidez) de embaralhamento de movimento mencionado acima ou não executar o processamento de redução (aguçamento) de embaralhamento de movimento para tal área considerada 10 como intencionalmente borrada.

Quando um vídeo é captado com um foco em apenas uma porção dentro da tela de geração de imagem, isso geralmente é implementado mediante redução da profundidade do campo de uma câmera. A profundidade do campo é determinada por vários fatores tal como um número-F de 15 uma lente de câmera, uma distância entre uma câmera e um objeto, e condições de ajuste (diafragma, ganho, e íris elétrica) de uma câmera. Por exemplo, os fatores reduzindo a profundidade do campo incluem reduzir o número-F de uma lente de câmera, encolher a distância até o objeto, ou abrir o diafragma. Portanto, se informação relacionada a tal profundidade de 20 campo for adicionada aos dados de transmissão de televisão, por exemplo, como metadados, a informação relacionada a uma profundidade de campo é adquirida a partir dos dados de transmissão de televisão e um estado da profundidade do campo pode ser determinado para controlar variavelmente o número de otimização do componente de elevada frequência pela porção 25 de otimização de borda 2 e/ou pela faixa de frequência otimizada ou não executar o processamento de otimização de borda dependendo do resultado da determinação.

No bloco de detecção de vetor de movimento, por exemplo, uma análise de frequência tal como DCT pode ser realizada para verificar uma quantidade do componente de alta frequência para detectar uma porção sobreposta com uma imagem CG ou uma porção tendo menos embaralhamento de movimento independente do movimento rápido em uma imagem captada por uma câmera com uma velocidade elevada de obturador conforme acima. Se certo bloco de detecção de movimento tiver uma quantidade grande de movimento e um componente pequeno de alta frequência, isso é considerado como uma porção onde o movimento é rápido e um componen5 te de alta frequência é perdido pelos embaralhamentos de movimento. Em outras palavras, isso é considerado como uma porção com muitos embaralhamentos de movimento em uma imagem captada por uma câmera com uma pouca velocidade de obturador mais propriamente do que uma porção sobreposta com uma imagem CG e uma porção tendo menos embaralha10 mento de movimento em uma imagem captada por uma câmera com uma elevada velocidade de obturador. Portanto, o processamento de otimização de borda pode ser executado conforme usual.

Por outro lado, se certo bloco de detecção de movimento tiver uma quantidade de movimento e um grande componente de alta frequência, 15 uma vez que isso é considerado como indicando o movimento de uma porção sobreposta com uma imagem CG ou uma porção tendo menos embaralhamento de movimento em uma imagem captada por uma câmera com uma elevada velocidade de obturador, o nível de otimização de borda pode ser reduzido. Mediante análise do sinal de imagem e determinando-se uma 20 quantidade de movimento e uma quantidade da porção de alta frequência de uma maneira composta conforme acima, uma intensidade apropriada do processamento de redução de embaralhamento de movimento pode ser determinada.

Embora o dispositivo de processamento de imagem mencionada 25 acima seja capaz de implementar um vídeo exibido com alta definição mediante redução de embaralhamentos de movimento de um vídeo exibido devido ao efeito de integração temporal independente dos conteúdos de imagem, modalidades da presente invenção serão descritas em seguida para um dispositivo de processamento de imagem aplicável preferivelmente aos 30 dispositivos de exibição de imagem tendo as características de exibição do tipo retenção tal como displays de cristal líquido, displays orgânicos EL, e displays eletroforéticos, isto é, um dispositivo de processamento de imagem capaz de implementar um vídeo exibido de alta definição mediante redução dos embaralhamentos de movimento de um vídeo exibido devido ao efeito de integração temporal de um sensor de imagem assim como os embaralhamentos de movimento devido às características de exibição do tipo reten5 ção.

Primeira Modalidade

Um dispositivo de processamento de imagem de acordo com uma primeira modalidade da presente invenção será descrito com referência à Figura 10, e as porções idênticas as do dispositivo de processamento de 10 imagem mencionado acima recebem os mesmos numerais de referência e não serão descritas. A Figura 10 é um diagrama funcional de blocos de uma configuração esquemática do dispositivo de processamento de imagem dessa modalidade.

Conforme mostrado na Figura 10, o dispositivo de processamen15 to de imagem dessa modalidade inclui uma porção FRC 100 que converte o número de quadros do sinal de imagem de entrada mediante interpolação dos sinais de imagem sujeitos a um processamento de compensação de movimento entre quadros ou campos do sinal de vídeo de entrada e a porção de otimização de borda 2 que otimiza um componente de alta frequência 20 do sinal de imagem convertido no número de quadros pela porção FRC 100.

A porção FRC 100 inclui uma porção de detecção de vetor de movimento 101 que detecta um vetor de movimento a partir do sinal de imagem de entrada do quadro anterior e o sinal de imagem de entrada do quadro atual, uma porção de alocação de vetor de interpolação 103 que avalia 25 os vetores de movimento detectados pela porção de detecção de vetor de movimento 101 para alocar um vetor de interpolação ótimo para um bloco de interpolação entre quadros com base no resultado da avaliação, uma porção de geração de quadro de interpolação 102 que gera um quadro de interpolação com o uso do sinal de imagem de entrada do quadro anterior e o sinal 30 de imagem de entrada do quadro atual com base no vetor de interpolação introduzido a partir da porção de alocação de vetor de interpolação 103, e uma porção de conversão de base de tempo 104 que emite alternadamente os quadros de entrada e os quadros de interpolação para emitir o sinal de imagem tendo a taxa de quadros dobrada a partir do sinal de imagem de entrada original.

A porção de otimização de borda 2 varia o nível de otimização do componente de alta frequência e a faixa de frequência otimizada com base no vetor de movimento detectado pela unidade de detecção de vetor de movimento 101 da porção FRC 100 para executar o processamento de otimização de borda para o sinal de imagem. A porção de detecção do vetor de movimento 101, da modalidade, corresponde à porção de detecção de movimento 1, no dispositivo de processamento de imagem descrito com referência à Figura 5 e, como o componente de alta frequência, mais provavelmente, é atenuado devido ao efeito de integração temporal de um sensor de imagem em uma área tendo uma quantidade maior de movimento do sinal de imagem de entrada, a porção de otimização de borda 2 executa um processamento de otimização de borda apropriado para compensar o componente de alta frequência atenuado.

O movimento de sinal de imagem submetido adaptativamente ao processamento de aguçamento pela porção de otimização de borda 2 é exibido e emitido pelo dispositivo de exibição (não-mostrado) tal como um pai20 nel de vídeo de cristal líquido configurado separadamente ou integralmente. Isso permite que os embaralhamentos de movimento, aparentes, sejam reduzidos para melhorar a nitidez da imagem exibida. No caso de aplicação aos dispositivos de exibição de imagem tendo as características de exibição do tipo retenção, um vídeo exibido de alta definição pode ser implementado 25 mediante redução dos embaralhamentos de movimento de um vídeo exibido devido ao efeito de integração temporal de um sensor de imagem assim como os embaralhamentos de movimento devido às características de exibição do tipo retenção.

Embora a modalidade seja configurada com a porção de otimização de borda 2 executando o processamento de otimização de borda tanto para o sinal de imagem de entrada como para o sinal de imagem de interpolação, gerados pela porção de geração de quadro de interpolação 102 da porção FRC 100, isso não é uma limitação e o processo de otimização de borda pode ser executado apenas para o sinal de imagem de entrada. Isso permite a redução da quantidade de processamento na porção de otimização de borda 2.

5 Embora a modalidade seja configurada com a porção de otimi

zação de borda 2 executando o processamento de otimização de borda tanto para o sinal de imagem de entrada como para o sinal de imagem de interpolação, gerados pela porção de geração de quadro de interpolação 102 da porção FRC 100, o processamento de otimização de borda para o sinal de 10 imagem de entrada pode ser diferente do processamento de otimização de borda para o sinal de imagem de interpolação.

Como a deterioração da imagem (colapso de imagem) pode ocorrer no sinal de imagem de interpolação devido à detecção falsa do vetor de movimento, etc., e se o processamento de otimização de borda for executado a tal imagem de interpolação deteriorada, uma porção tendo a deterioração de imagem é submetida ao processamento de otimização de borda e a deterioração de imagem é enfatizada, os embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem podem ser aparentemente reduzidos sem fazer a deterioração de imagem perceptível devido ao processamento de conversão de taxa de quadros de movimento compensado para melhorar a nitidez da imagem exibida ao fazer o nível de otimização de borda para o sinal de imagem de interpolação inferior ao nível de otimização de borda para o sinal de imagem de entrada (sinal de imagem original) ou desabilitando apenas o processamento de otimização de borda para o sinal de imagem de interpolação.

Por exemplo, mediante redução da faixa de frequência otimizada para o sinal de imagem de interpolação de modo a ser menor do que a faixa de frequência otimizada para o sinal de imagem de entrada (sinal de imagem original), os embaralhamentos de movimento devido ao efeito de integração 30 temporal de um sensor de imagem podem ser aparentemente reduzidos sem tornar a deterioração de imagem perceptível devido ao processamento de conversão de taxa de quadros de movimento compensado para melhorar a nitidez da imagem exibida.

Embora a porção FRC 100 da modalidade seja descrita como uma porção para converter a taxa de quadros do sinal de imagem de entrada para ser dobrada, isso não é uma limitação e a porção FRC 100 pode 5 converter a taxa de quadros do sinal de imagem de entrada por um fator de 1.5 ou 3, ou se o sinal de imagem de entrada for gerado a partir de uma imagem de filme cinematográfico, por exemplo, um sinal de imagem de enfraquecimento, a porção FRC 100 pode converter a taxa de quadros para 120 Hz (cinco vezes) mediante extração de um sinal de imagem principal 10 correspondendo a 24 Hz (executando o assim chamado processamento de enfraquecimento reverso 3-2) e interpolando quatro sinais de imagem de interpolação entre os quadros.

Se vários sinais de imagem de interpolação são gerados, o processamento de otimização de borda pode ser diferenciado para cada um de 15 uma pluralidade de quadros de interpolação. Por exemplo, se quatro imagens de interpolação são geradas a partir de uma imagem original unidirecional conforme mostrado na Figura 11 (a), uma quarta imagem de interpolação temporariamente distante da imagem original tem um vetor de movimento mais longo a partir da imagem original e causa um erro de cálculo 20 maior no momento da detecção do vetor de movimento, o que pode gerar deterioração de imagem do sinal de imagem de interpolação. Em tal caso, os embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem podem ser aparentemente reduzidos sem tornar perceptível a deterioração de imagem para melhorar a nitidez da imagem exibi25 da mediante redução do nível de otimização de borda para o sinal de imagem de interpolação temporariamente distante do sinal de imagem original e aumentando o nível de otimização de borda para o sinal de imagem original ou para o sinal de imagem de interpolação temporalmente mais próximo do sinal de imagem original.

Se duas imagens de uma primeira metade das quatro imagens

de interpolação forem geradas a partir da imagem original precedente e duas imagens de uma segunda metade forem geradas a partir da imagem original subsequente conforme mostrado na Figura 11 (b), ou se as imagens de interpolação forem geradas mediante mudança de uma taxa de adição de peso ou taxa de mistura dependendo das distâncias a partir das imagens originais precedentes e subsequentes conforme mostrado na Figura 11(c), os 5 embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem podem ser aparentemente reduzidos sem tornar perceptível a deterioração de imagem para melhorar a nitidez da imagem exibida mediante redução do nível de otimização de borda para o segundo e terceiro sinal de imagem de interpolação no centro devido a ser temporalmente 10 distante dos sinais de imagem originais e mediante aumento do nível de otimização de borda para o sinal de imagem original ou para o primeiro e quarto sinais de imagem de interpolação mais próximos dos sinais de imagem originais.

Conforme descrito acima, o dispositivo de processamento de 15 imagem da modalidade é capaz de aparentemente reduzir os embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem para melhorar a nitidez da imagem exibida e impedir a deterioração de imagem devido à otimização de borda excessiva mediante controle apropriado do processamento de otimização de borda da porção de otimiza20 ção de borda 2 dependendo da quantidade de movimento do sinal de imagem de entrada adquirido pela unidade FRC 100.

Como o processamento de otimização de borda é executado em um primeiro nível de otimização de borda para o sinal de imagem de entrada e o processamento de otimização de borda é executado em um segundo 25 nível de otimização de borda inferior ao primeiro nível de otimização de borda ou nenhum processamento de otimização de borda é executado para o sinal de imagem de interpolação, mesmo se a deterioração de imagem ocorrer no sinal de imagem de interpolação, a nitidez da imagem exibida pode ser aperfeiçoada sem tornar perceptível a deterioração da imagem.

É desejável prevenir os artefatos gerados devido a uma mudan

ça súbita no processamento de otimização de borda dentro de uma tela mediante provisão de um filtro passa-baixa para o vetor de movimento entre a porção de detecção de vetor de movimento 10 e a porção de otimização de borda 2 para suavizar uma mudança no vetor de movimento dentro da tela, conforme descrito acima.

No caso dessa modalidade, como o processamento de otimiza5 ção de borda é executado após o processamento FRC1 o processamento de detecção de vetor de movimento na porção de detecção de vetor de movimento 101 da porção FRC 100 pode operar estavelmente sem ser afetado pelo processamento de otimização de borda. Como a informação de vetor de movimento gerada pela porção de detecção de vetor de movimento 101 é 10 diretamente usada, essa modalidade pode ser implementada com uma configuração simples em comparação com a terceira e quarta modalidade descritas a seguir.

Contudo, embora a imagem original e a imagem de interpolação sejam emitidas alternadamente no sinal de imagem de saída da porção FRC 100, a porção de otimização de borda 2 aplica diretamente a informação de vetor de movimento gerada pela porção FRC 100 tanto à imagem original como à imagem de interpolação e, portanto, o processamento de otimização de borda, preciso, pode não ser executado na imagem de interpolação. Como o sinal de vetor de movimento gerado pela porção FRC 100 tem uma quantidade de movimento e uma posição de acordo com o sinal de imagem de entrada e não de acordo com o sinal de imagem de interpolação, é desejável executar o processamento de otimização de borda apenas para o sinal de imagem de entrada (sinal de imagem original) se a informação de vetor de movimento gerada pela porção FRC 100 for usada. Outros métodos de aperfeiçoar o problema acima serão descritos posteriormente como a terceira e quarta modalidade.

Seaunda Modalidade

Um dispositivo de processamento de imagem de acordo com uma segunda modalidade da presente invenção será descrito com referência à Figura 12, e as porções que são idênticas àquelas no dispositivo de processamento de imagem acima recebem os mesmos numerais de referência e não serão descritos. A Figura 12 é um diagrama funcional de blocos de uma configuração esquemática do dispositivo de processamento de imagem dessa modalidade.

O dispositivo de processamento de imagem dessa modalidade, da mesma forma como a primeira modalidade, inclui a porção FRC 100 que converte o número de quadros do sinal de imagem de entrada mediante interpolação dos sinais de imagem submetidos ao processamento de compensação de movimento entre os quadros ou campos do sinal de vídeo de entrada e a porção de otimização de borda 2 que otimiza o componente de alta frequência do sinal de imagem convertido no número de quadros pela porção FRC 100. Embora o processamento de otimização de borda da porção de otimização de borda 2 seja controlado variavelmente com base no vetor de movimento detectado pela porção de detecção de vetor de movimento 101 na primeira modalidade, essa modalidade é configurada para controlar variavelmente o processamento de otimização de borda da porção de otimização de borda 2 com base em um vetor de interpolação avaliado/alocado pela porção de alocação de vetor de interpolação 103.

Um processamento de alocação de vetor de interpolação será descrito. Supõe-se que o vetor de movimento detectado pela porção de detecção de vetor de movimento 101 seja um vetor de movimento para um si20 nal de imagem de entrada n-1 do quadro anterior. Para cada um dos blocos de detecção de vetor de movimento do sinal de imagem de entrada n-1, o vetor de movimento de cada um dos blocos de detecção de vetor de movimento indica uma posição para a qual o bloco se deslocou em um sinal de imagem de entrada n do próximo quadro. Por exemplo, se uma taxa de qua25 dros for dobrada, a posição temporal do quadro de interpolação é uma posição intermediária entre o sinal de imagem de entrada n-1 e o sinal de imagem de entrada n. Portanto, processamento é executado para obter em qual bloco no quadro de interpolação cada um dos vetores de movimento do sinal de imagem de entrada n-1 adere quando os vetores de movimento são a30 vançados para a posição temporal do quadro de interpolação e para alocar os vetores de movimento aos blocos aderidos. Isso é o processamento de alocação de vetor de interpolação para o quadro de interpolação. Os blocos de interpolação alocados com vetores de interpolação apropriados pela porção de alocação de vetor de interpolação 103 são normalmente definidos por intermédio de divisão adicional do bloco de detecção de vetor de movimento para detectar o vetor de movimento com a unidade 5 de detecção de vetor de movimento 101. Por exemplo, se o bloco de detecção de vetor de movimento tem 8x8 pixels, o bloco de interpolação é ajustado para ter 2x4 pixels obtidos mediante divisão adicional do bloco de detecção de vetor de movimento em oito partes.

A porção de alocação de vetor de interpolação 103 aloca um 10 vetor de interpolação mais apropriado para o bloco de interpolação mediante cálculo de um valor de diferença (referido como DFD (Diferença de Campo Deslocado)) entre a informação de imagem de um bloco detectado e a informação de imagem de um bloco indicado pelo vetor de movimento a partir do bloco detectado para avaliar a exatidão do vetor de movimento obtido 15 pela porção de detecção de vetor de movimento 101. A DFD é um índice indicativo de um grau de exatidão de um vetor candidato e um valor DFD menor indica que um bloco detectado combina melhor com um bloco indicado por um vetor de movimento a partir do bloco detectado e que um vetor candidato correspondente é mais apropriado.

Portanto, como o nível de otimização do componente de alta fre

quência pela porção de otimização de borda 2 e a faixa de frequência otimizada é variada com base no vetor de interpolação obtido pela porção de alocação de vetor de interpolação 103 da porção FRC 100 nessa modalidade, o processamento de otimização de borda pode executado de forma mais pre25 cisa e apropriadamente ao menos para o sinal de imagem de interpolação do sinal de imagem de saída da porção FRC 100.

Embora a modalidade tenha uma configuração em que a porção de otimização de borda 2 executa o processamento de otimização de borda tanto para o sinal de imagem de entrada como para o sinal de imagem de 30 interpolação gerado pela porção de geração de quadro de interpolação 102 da porção FRC 100, isso não é uma limitação e o processamento de otimização de borda pode ser executado apenas para o sinal de imagem de entrada. Isso habilita a redução da quantidade de processamento na porção de otimização de borda 2.

Embora a modalidade tenha uma configuração em que a porção de otimização de borda 2 executa o processamento de otimização de borda 5 tanto para o sinal de imagem de entrada como para o sinal de imagem de interpolação gerado pela porção de geração de quadro de interpolação 102 da porção FRC 100, o processamento de otimização de borda para o sinal de imagem de entrada pode ser diferente do processamento de otimização de borda para o sinal de imagem de interpolação.

Como a deterioração da imagem (colapso de imagem) pode o

correr no sinal de imagem de interpolação devido à detecção falsa do vetor de movimento, etc., e se o processamento de otimização de borda for executado para tal imagem de interpolação deteriorada, uma porção tendo a deterioração de imagem é submetida ao processamento de otimização de borda 15 e a deterioração de imagem é enfatizada, os embaralhamentos de movimento devidos ao efeito de integração temporal de um sensor de imagem podem ser aparentemente reduzidos sem tornar perceptível a deterioração da imagem devido ao processamento de conversão de taxa de quadros de movimento compensado para melhorar a nitidez da imagem exibida mediante 20 ação de fazer com que o nível de otimização de borda para o sinal de imagem de interpolação seja inferior ao nível de otimização de borda para o sinal de imagem de entrada (sinal de imagem original) ou desabilitando apenas o processamento de otimização de borda para o sinal de imagem de interpolação.

Por exemplo, mediante redução da faixa de frequência a ser en

fatizada para o sinal de imagem de interpolação ser menor do que a faixa de frequência a ser enfatizada para o sinal de imagem de entrada (sinal de imagem original), os embaralhamentos de movimento; devido ao efeito de integração temporal de um sensor de imagem; aparentemente podem ser 30 reduzidos sem tornar perceptível a deterioração de imagem devido ao processamento de conversão de taxa de quadros de movimento compensado para melhorar a nitidez da imagem exibida. Embora a porção FRC 100 da modalidade seja descrita como uma porção convertendo a taxa de quadros do sinal de imagem de entrada para ser dobrada, isto não é uma limitação e a porção FRC 100 pode converter a taxa de quadros do sinal de imagem de entrada por um fator de 1.5 5 ou 3, ou se o sinal de imagem de entrada for gerado a partir de uma imagem de filme cinematográfico, por exemplo, um sinal de imagem de enfraquecimento 3-2, a porção FRC 100 pode converter a taxa de quadro de 120 Hz (cinco vezes) mediante extração de um sinal de imagem principal correspondendo a 24 Hz (executando o assim chamado processamento de enfra10 quecimento 3-2 reverso) e interpolando quatro sinais de imagem de interpolação entre os quadros.

Se vários sinais de imagem de interpolação forem gerados, o processamento de otimização de borda pode ser diferenciado para cada um de uma pluralidade de quadros de interpolação. Por exemplo, se quatro ima15 gens de interpolação forem geradas a partir de uma imagem original unidirecional, conforme mostrado na Figura 11 (a), uma quarta imagem de interpolação temporalmente distante da imagem original tem um vetor de movimento mais longo a partir da imagem original e causa um erro de cálculo maior no momento da detecção do vetor de movimento, o que pode gerar deterio20 ração da imagem do sinal de imagem de interpolação. Em tal caso, os embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem podem ser aparentemente reduzidos sem tomar perceptível a deterioração da imagem para melhorar a nitidez da imagem exibida mediante redução do nível de otimização de borda para o sinal de imagem 25 de interpolação temporalmente distante do sinal de imagem original e aumentando o nível de otimização de borda para o sinal de imagem original ou para o sinal de imagem de interpolação temporalmente mais próximo do sinal de imagem original.

Se duas imagens de uma primeira metade das quatro imagens de interpolação forem geradas a partir da imagem original precedente e duas imagens de uma segunda metade forem geradas a partir da imagem original subsequente, conforme mostrado na Figura 11(b), ou se as imagens de interpolação forem geradas mediante mudança de uma taxa de adição de peso ou taxa de mistura dependendo das distâncias a partir das imagens originais precedentes e subsequentes conforme mostrado na Figura 11(c), os embaralhamentos de movimento devidos ao efeito de integração temporal 5 de um sensor de imagem podem ser aparentemente reduzidos sem tornar perceptível a deterioração de imagem para melhorar a nitidez da imagem exibida mediante redução do nível de otimização de borda para o segundo e terceiro sinal de imagem de interpolação no centro devido ao fato de estar temporalmente distante dos sinais de imagem original e mediante aumento 10 do nível de otimização de borda para o sinal de imagem original do primeiro e quarto sinal de imagem de interpolação, mais próximos aos sinais de imagem originais.

Conforme descrito acima, o dispositivo de processamento de imagem da modalidade é capaz de reduzir aparentemente os embaralha15 mentos de movimento devido ao efeito de integração temporal de um sensor de imagem para melhorar a nitidez da imagem exibida e impedindo a deterioração de imagem devido à otimização de borda excessiva mediante controle apropriado do processamento de otimização de borda da porção de otimização de borda 2 dependendo da quantidade de movimento do sinal de i20 magem de entrada adquirido pela unidade FRC 100.

Como o processamento de otimização de borda é executado em um primeiro nível de otimização de borda para o sinal de imagem de entrada e o processamento de otimização de borda é executado em um segundo nível de otimização de borda inferior ao primeiro nível de otimização de bor25 da ou nenhum processamento de otimização de borda é executado para o sinal de imagem de interpolação, mesmo se ocorrer deterioração de imagem no sinal de imagem de interpolação, a nitidez da imagem exibida pode ser aperfeiçoada sem tornar perceptível a deterioração de imagem.

É desejável impedir os artefatos gerados devido a uma mudança súbita no processamento de otimização de borda dentro de uma tela mediante provisão de um filtro passa-baixa para o vetor de movimento entre a porção de alocação de vetor de interpolação 103 e a porção de otimização de borda 2 para suavizar uma mudança no vetor de movimento dentro da tela.

No caso dessa modalidade, o processamento de detecção de vetor de movimento na porção de detecção de motor de vetor de movimento 5 101 da porção FRC 100 pode ser executado estavelmente sem ser afetado pelo processamento de otimização de borda. Como a informação de vetor de movimento alocada pela porção de alocação de vetor de interpolação 103 da porção FRC 100 é diretamente usada, essa modalidade pode ser implementada com uma configuração simples em comparação com a terceira e quarta 10 modalidade descrita posteriormente.

Contudo, a imagem original e a imagem de interpolação sejam emitidas alternadamente no sinal de imagem de saída da porção FRC 100, a porção de otimização de borda 2 aplica diretamente a informação de vetor de interpolação gerada pela porção FRC 100 tanto à imagem original como à 15 imagem de interpolação e, portanto, o processamento de otimização de borda exato pode não ser executado para a imagem original. Métodos para aperfeiçoar o problema mencionado acima serão descritos posteriormente como a terceira e quarta modalidades.

Terceira Modalidade

Um dispositivo de processamento de imagem de acordo com a

terceira modalidade da presente invenção será descrito com referência à Figura 13, e as porções idênticas as do dispositivo de processamento de imagem acima recebem os mesmos numerais de referência e não serão descritas. A Figura 13 é um diagrama de blocos de uma configuração exempiar do dispositivo de processamento de imagem dessa modalidade.

Na Figura 13, a porção de detecção de vetor de movimento 101 obtém um vetor de movimento para cada um dos blocos de detecção de movimento a partir do sinal de imagem de entrada n-1 do quadro anterior retardado por um armazenador de quadro (FB) 105 e o sinal de imagem de en30 trada n do quadro atual. A porção de alocação de vetor de interpolação 103 utiliza o vetor de movimento detectado para alocar um vetor de alocação apropriado V a um quadro de interpolação. A porção de geração de quadro de interpolação 102 utiliza o vetor alocado V para gerar e emitir uma imagem de quadro de interpolação junto com o vetor V. Uma porção de alocação de vetor de quadro original 106 utiliza o vetor de movimento obtido pela porção de detecção de vetor de movimento 101 para alocar o vetor apropriado V 5 para o quadro original e emite o vetor alocado V.

A alocação do vetor de apropriado V para o quadro original é para executar o processamento que é idêntico ao processamento de alocação de vetor para o quadro de interpolação descrito em detalhe na segunda modalidade também para o quadro original. Embora o vetor de movimento 10 detectado pela porção de detecção de motor de movimento 101 seja originalmente um vetor de movimento para o sinal de imagem de entrada n que é o quadro original, esse é um vetor para um bloco de detecção de vetor de movimento. O processamento para realocar o vetor de movimento para o bloco de interpolação é executado. Se o bloco de interpolação tem o mesmo 15 tamanho que o bloco de detecção de vetor de movimento, o vetor de movimento pode ser usado sem mudança. Se o bloco de interpolação for menor do que o bloco de detecção de vetor de movimento, a realocação é realizada.

A porção de conversão de base de tempo 104 alternadamente 20 emite os quadros de interpolação emitidos a partir da porção gerador de quadro de interpolação 102 e os quadros originais para emitir o sinal de imagem tendo a taxa de quadros dobrada a partir do sinal de imagem original para a porção de otimização de borda 2. A porção de conversão de base de tempo 104 emite o vetor alocado V emitido a partir da porção de geração de 25 quadro de interpolação 102 ao mesmo tempo em que emite um quadro de interpolação e emite o vetor alocado V emitido a partir da porção de alocação de vetor de quadro original 106 ao mesmo tempo em que emite um quadro original.

A porção de otimização de borda 2 executa o processamento de otimização de borda para o sinal de imagem tendo a taxa de quadros convertida com base no vetor alocado V emitido a partir da porção de conversão de base de tempo 104. Quando o vetor alocado V é maior, o nível de otimização de borda é mais incrementado ou a faixa de frequência otimizada é mais expandida para compensar o componente de alta frequência atenuado devido ao efeito de integração temporal de um sensor de imagem.

Embora a modalidade tenha uma configuração em que a porção 5 de otimização de borda 2 executa o processamento de otimização de borda tanto para o sinal de imagem de interpolação como para o sinal de imagem de entrada (sinal de imagem original), isso não é uma limitação e o processamento de otimização de borda pode ser executado apenas para o sinal de imagem de entrada. Isso permite a redução da quantidade de processamen10 to da porção de otimização de borda 2.

Embora a modalidade tenha uma configuração em que a porção de otimização de borda 2 executa o processamento de otimização de borda tanto para o sinal de imagem de entrada como para o sinal de imagem de interpolação gerado pela porção de geração de quadro de interpolação 102 15 da porção FRC 100, o processamento de otimização de borda para o sinal de imagem de entrada pode ser diferente do processamento de otimização de borda para o sinal de imagem de interpolação.

Como a deterioração de imagem (colapso de imagem) pode ocorrer no sinal de imagem de interpolação devido à detecção falsa do vetor de movimento, etc., e se o processamento de otimização de borda for executado a tal imagem de interpolação deteriorada, uma porção tendo a deterioração de imagem é submetida ao processamento de otimização de borda e a deterioração de imagem se torna perceptível, os embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem podem ser aparentemente reduzido sem tornar perceptível a deterioração de imagem devido ao processamento de conversão de taxa de quadros de movimento compensado para melhorar a nitidez da imagem exibida mediante ação de fazer com que o nível de otimização de borda para o sinal de imagem de interpolação seja inferior a um nível de otimização de borda para o sinal de imagem de entrada (sinal de imagem original) ou desabilitando apenas o processamento de otimização de borda para o sinal de imagem de interpolação. Por exemplo, mediante redução da faixa de frequência a ser enfatizada para o sinal de imagem de interpolação ser menor do que a faixa de frequência a ser enfatizada para o sinal de imagem de entrada (sinal de imagem original), os embaralhamentos de movimento devidos ao efeito de 5 integração temporal de um sensor de imagem podem ser aparentemente reduzidos sem tornar perceptível a deterioração de imagem devido ao processamento de conversão de taxa de quadros de movimento compensado para melhorar a nitidez da imagem exibida.

Embora a porção FRC 100 da modalidade seja descrita como 10 uma porção convertendo a taxa de quadros do sinal de imagem de entrada para ser dobrada, isso não é uma limitação e a porção FRC 100 pode converter a taxa de quadros do sinal de imagem de entrada por um fator 1.5 ou 3, ou se o sinal de imagem de entrada for gerado a partir de uma imagem cinematográfica, por exemplo, um sinal de imagem de enfraquecimento 3-2, 15 a porção FRC 100 pode converter a taxa de quadros para 120 Hz (cinco vezes) mediante extração de um sinal de imagem principal correspondendo a

24 Hz (executando o assim chamado processamento de enfraquecimento 3- 2 reverso) e interpolando quatro sinais de imagem de interpolação entre os quadros.

Se vários sinais de imagem de interpolação forem gerados, o

processamento de otimização de borda pode ser diferenciado para cada um dos vários quadros de interpolação. Por exemplo, se quatro imagens de interpolação forem geradas a partir de uma imagem original unidirecional, conforme mostrado na Figura 11 (a), uma quarta imagem de interpolação tempo25 ralmente distante da imagem original tem um vetor de movimento mais longo a partir da imagem original e causa um erro de cálculo maior no momento da detecção do vetor de movimento, o qual pode gerar deterioração de imagem do sinal de imagem de interpolação. Em tal caso, embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem 30 podem ser aparentemente reduzidos sem tornar perceptível a deterioração de imagem para melhorar a nitidez da imagem exibida mediante redução do nível de otimização de borda para o sinal de imagem de interpolação temporalmente distante do sinal de imagem original e aumentando o nível de otimização de borda para o sinal de imagem original ou para o sinal de imagem de interpolação temporalmente mais próximo do sinal de imagem original.

Se duas imagens de uma primeira metade das quatro imagens 5 de interpolação forem geradas a partir da imagem original precedente e duas imagens de uma segunda metade forem geradas a partir da imagem original subsequente conforme mostrado na Figura 11(b), ou se as imagens de interpolação forem geradas mediante mudança de uma taxa de adição de peso ou taxa de mistura dependendo das distâncias a partir das imagens origi10 nais precedentes e subsequentes, conforme mostrado na Figura 11(c), os embaralhamentos de movimento devidos ao efeito de integração temporal de um sensor de imagem podem ser aparentemente reduzidos sem tornar perceptível a deterioração de imagem para melhorar a nitidez da imagem exibida mediante redução do nível de otimização de borda para o segundo e 15 terceiro sinal de imagem de interpolação no centro devido ao fato de estar temporalmente distante dos sinais de imagem originais e mediante aumento do nível de otimização de borda para o sinal de imagem original ou para o primeiro e quarto sinais de imagem de interpolação mais próximos dos sinais de imagem originais.

Embora a modalidade tenha uma configuração em que a porção

de detecção de vetor de movimento 101 detecta um vetor de movimento para um quadro original n, a porção de alocação de vetor de quadro original 106 aloca o vetor de movimento para o quadro original n, e a porção de conversão de base de tempo 104 alternadamente emite o quadro de interpola25 ção e o quadro original n, uma configuração em que um vetor de movimento é detectado para um quadro original n-1, a porção de alocação de vetor de quadro original 106 aloca o vetor de movimento para o quadro original n-1, e a porção de conversão de base de tempo 104 alternadamente emite o quadro original n-1 e o quadro de interpolação pode ser possivelmente empre30 gado.

Conforme descrito acima, o dispositivo de processamento de imagem da modalidade é capaz de reduzir aparentemente os embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem para aperfeiçoar a nitidez da imagem exibida e impedir a deterioração de imagem devido à otimização de borda excessiva uma vez que o processamento de otimização de borda apropriado é executado para cada 5 sinal de imagem de quadro de interpolação e sinal de imagem de quadro original dentro da unidade FRC 100 dependendo da quantidade de movimento da imagem.

Como o processamento de otimização de borda é executado em um primeiro nível de otimização de borda para o sinal de imagem de entrada 10 e o processamento de otimização de borda é executado em um segundo nível de otimização de borda inferior ao primeiro nível de otimização de borda ou nenhum processamento de otimização de borda é executado para o sinal de imagem de interpolação, mesmo se a deterioração de imagem ocorrer no sinal de imagem de interpolação, a nitidez da imagem exibida pode 15 ser aperfeiçoada sem tornar perceptível a deterioração da imagem.

No caso dessa modalidade, o processamento de detecção de vetor de movimento na porção de detecção de vetor de movimento 101 da porção FRC 100 pode ser executado estavelmente sem ser afetado pelo processamento de otimização de borda. Como o processamento de otimiza20 ção de borda é executado após a alocação de vetor, apropriada, ser realizada para cada um de quadro original e quadro de interpolação, um processamento de otimização de borda mais preciso pode ser executado em comparação com a primeira e segunda modalidades.

Quarta Modalidade

Um dispositivo de processamento de imagem de acordo com a

quarta modalidade da presente invenção será descrito com referência à Figura 14, e as porções idênticas àquelas do dispositivo de processamento de imagem mencionado acima recebem os mesmos numerais de referência e não serão descritos. A Figura 14 é um diagrama de blocos de uma configu30 ração exemplar do dispositivo de processamento de imagem dessa modalidade.

O dispositivo de processamento de imagem dessa modalidade é similar ao dispositivo de processamento de imagem da terceira modalidade mostrada na Figura 13. Diferenças a partir da terceira modalidade são que a porção de otimização de borda é provida dentro da porção FRC 100, e aumentada para duas porções de otimização de borda 2A e 2B e que a ordem 5 da porção de otimização de borda e da porção de conversão de base de tempo 104 é invertida.

A porção de otimização de borda 2A executa o processamento de otimização de borda para o sinal de imagem de quadro de interpolação com base no vetor alocado V emitido a partir da porção de geração de qua10 dro de interpolação 102. A porção de otimização de borda 2B executa o processamento de otimização de borda para o sinal de imagem de quadro original com base no vetor alocado V emitido a partir da porção de alocação de vetor de quadro original 106. Quando o vetor alocado V é maior, o nível de otimização de borda é mais aumentado ou a faixa de frequência otimizada é 15 mais expandida para compensar o componente de alta frequência atenuado devido ao efeito de integração temporal de um sensor de imagem.

A porção de conversão de base de tempo 104 alternadamente emite os quadros de interpolação emitidos a partir da porção de otimização de borda 2A e os quadros originais emitidos a partir da porção de otimização de borda 2B para emitir o sinal de imagem tendo a taxa de quadros dobrada a partir do sinal de imagem de entrada original.

Embora a modalidade tenha uma configuração em que a porção de otimização de borda 2A e a porção de otimização de borda 2B executam o processamento de otimização de borda tanto para o sinal de imagem de 25 interpolação como para o sinal de imagem de entrada (sinal de imagem original), isso não é uma limitação e o processamento de otimização de borda pode ser executado apenas para o sinal de imagem de entrada. Por exemplo, como a deterioração de imagem pode ocorrer no sinal de imagem de interpolação gerado pela porção de geração de quadro de interpolação 102 30 devido à detecção falsa do vetor de movimento, etc., a porção de otimização de borda 2A executando o processamento de otimização de borda para o sinal de imagem de interpolação pode ser omitida. A configuração pode ser simplificada mediante omissão da porção de otimização de borda 2A conforme acima.

Embora a modalidade tenha uma configuração em que a porção de otimização de borda 2A e a porção de otimização de borda 2B executam 5 o processamento de otimização de borda tanto para o sinal de imagem de entrada como para o sinal de imagem de interpolação gerado pela porção de geração de quadro de interpolação 102 da porção FRC 100, o processamento de otimização de borda para o sinal de imagem de entrada pode ser diferente do processamento de otimização de borda para o sinal de imagem de 10 interpolação.

Como a deterioração de imagem (colapso de imagem) pode ocorrer no sinal de imagem de interpolação devido à detecção falsa do vetor de movimento, etc., e se o processamento de otimização de borda for executado para tal imagem de interpolação deteriorada, uma porção tendo a dete15 rioração de imagem é submetida ao processamento de otimização de borda e a deterioração de imagem se torna perceptível, os embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem podem ser aparentemente reduzidos sem tornar perceptível a deterioração de imagem devido ao processamento de conversão de taxa de qua20 dros de movimento compensado para melhorar a nitidez da imagem exibida mediante ação de fazer o nível de otimização de borda para o sinal de imagem de interpolação inferior ao nível de otimização de borda para o sinal de imagem de entrada (sinal de imagem original) ou desabilitando apenas o processamento de otimização de borda para o sinal de imagem de interpola

ção.

Por exemplo, mediante redução da faixa de frequência a ser enfatizada para o sinal de imagem de interpolação ser menor do que a faixa de frequência a ser enfatizada para o sinal de imagem de entrada (sinal de imagem original), os embaralhamentos de movimento devido ao efeito de 30 integração temporal de um sensor de imagem podem ser aparentemente reduzidos sem tornar perceptível a deterioração de imagem devido ao processamento de conversão de taxa de quadros de movimento compensado para melhorar a nitidez da imagem exibida.

Embora a porção FRC 100 da modalidade seja descrita como uma porção convertendo a taxa de quadros do sinal de imagem de entrada para ser dobrada, isso não é uma limitação e a porção FRC 100 pode con5 verter a taxa de quadros do sinal de imagem de entrada por um fator de 1.5 ou 3, ou se o sinal de imagem de entrada for gerado a partir de uma imagem de filme cinematográfico, por exemplo, um sinal de imagem de enfraquecimento 3-2, a porção FRC 100 pode converter a taxa de quadros para 120 Hz (cinco vezes) mediante extração de um sinal de imagem principal corres10 pondendo a 24 Hz (executando o assim chamado processamento de enfraquecimento 3-2 inverso) e interpolando quatro sinais de imagem de interpolação entre os quadros.

Se vários sinais de imagem de interpolação forem gerados, o processamento de otimização de borda pode ser diferenciado para cada um 15 dos vários quadros de interpolação. Por exemplo, se quatro imagens de interpolação forem geradas a partir de uma imagem original unidirecional conforme mostrado na Figura 11(a), uma quarta imagem de interpolação temporalmente distante da imagem original tem um vetor de movimento mais longo a partir da imagem original e causa um erro de cálculo maior no momento da 20 detecção do vetor de movimento, o qual pode gerar deterioração de imagem do sinal de imagem de interpolação. Em tal caso, os embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem podem ser aparentemente reduzidos sem tornar perceptível a deterioração de imagem para melhorar a nitidez da imagem exibida mediante redu25 ção do nível de otimização de borda para o sinal de imagem de interpolação temporalmente distante do sinal de imagem original e aumentar o nível de otimização de borda para o sinal de imagem original ou para o sinal de imagem de interpolação temporalmente mais próximo do sinal de imagem original.

Se duas imagens de uma primeira metade das quatro imagens

de interpolação forem geradas a partir da imagem original precedente e duas imagens da segunda metade forem geradas a partir da imagem original subsequente, conforme mostrado na Figura 11(b), ou se as imagens de interpolação forem geradas mediante mudança de uma taxa de adição de peso ou taxa de mistura dependendo das distâncias a partir das imagens originais precedentes e subsequentes conforme mostrado na Figura 11(c), os emba5 ralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem aparentemente podem ser reduzidos sem tornar perceptível a deterioração de imagem para melhorar a nitidez da imagem exibida mediante redução do nível de otimização de imagem para o segundo e terceiro sinal de imagem de interpolação no centro devido ao fato de estarem 10 temporalmente distante dos sinais de imagem originais e mediante aumento do nível de otimização de borda para o sinal de imagem original ou para o primeiro e quarto sinais de imagem de interpolação mais próximos aos sinais de imagem originais.

Embora a modalidade tenha uma configuração em que a porção 15 de detecção de vetor de movimento 101 detecta um vetor de movimento para um quadro original n, a porção de alocação de vetor de quadro original 106 aloca o vetor de movimento para o quadro original n, e a porção de otimização de borda 2B executa o processamento de otimização de borda para o quadro original n, uma configuração em que um vetor de movimento é de20 tectado para um quadro original n-1, a porção de alocação de vetor de quadro original 106 aloca o vetor de movimento para o quadro original n-1, e a porção de otimização de borda 2B executa o processamento de otimização de borda para o quadro original n-1 pode ser possivelmente empregada.

Conforme descrito acima, o dispositivo de processamento de 25 imagem da modalidade é capaz de aparentemente reduzir os embaralhamentos de movimento devido ao efeito de integração temporal de um sensor de imagem para melhorar a nitidez da imagem exibida e prevenir a deterioração de imagem devido à otimização de borda excessiva uma vez que o processamento de otimização de borda apropriado é executado para cada 30 um do sinal de imagem de quadro de interpolação e sinal de imagem de quadro original dentro da unidade FRC 100 dependendo da quantidade de movimento da imagem. Como o processamento de otimização de borda é executado em um primeiro nível de otimização de borda para o sinal de imagem de entrada e o processamento de otimização de borda é executado em um segundo nível de otimização de borda inferior ao primeiro nível de otimização de bor5 da ou nenhum processamento de otimização de borda é executado para o sinal de imagem de interpolação, mesmo se ocorrer deterioração de imagem no sinal de imagem de interpolação, a nitidez da imagem exibida pode ser aperfeiçoada sem tornar perceptível a deterioração de imagem.

No caso dessa modalidade, o processamento de detecção de vetor de movimento na porção de detecção de vetor de movimento 101 da porção FRC 100 pode ser executado estavelmente sem ser afetado pelo processamento de otimização de borda. Como o processamento de otimização de borda é executado após a alocação de vetor, apropriada, ser realizada para cada um de quadro original e quadro de interpolação, um processamento de otimização de borda mais preciso pode ser executado em comparação com as primeira e segunda modalidades. Como duas porções de otimização de borda, isto é, a porção de otimização de borda 2A e a porção de otimização de borda 2B são incluídas, o processamento de otimização de borda de cada porção pode ser apenas metade do processamento em comparação com a terceira modalidade.

Embora as modalidades exemplares do dispositivo e método de processamento de imagem da presente invenção tenham sido descritas na descrição acima, a descrição acima proverá fácil entendimento de um programa de processamento operável para conduzir um computador a executar 25 o método de processamento de imagem e um meio de gravação de programa que é um meio de gravação legível por computador gravando o programa de processamento.

Conforme descrito acima, o dispositivo de processamento de imagem da presente invenção pode ser configurado integralmente com o dispositivo de exibição de imagem ou pode ser disposto separadamente a partir do dispositivo de exibição de imagem. Adicionalmente, é desnecessário dizer que o dispositivo de processamento de imagem pode ser disposto, por exemplo, em equipamentos de saída de vídeo tais como dispositivos de reprodução para vários meios de gravação.

Embora aqueles variando o nível de otimização para o sinal de imagem dependendo da quantidade de movimento do sinal de imagem de 5 entrada sejam descritos na modalidade acima, isso não é uma limitação da presente invenção e é óbvio que a presente invenção é aplicável àqueles executando o processamento de otimização de borda em um nível de otimização de borda predeterminado. Nesse caso, mesmo se ocorrer deterioração de imagem no sinal de imagem de interpolação, o nível de otimização de 10 borda para o sinal de imagem de interpolação pode ser feito inferior ao nível de otimização de borda para um sinal de imagem de entrada para melhorar a nitidez da imagem exibida sem tornar perceptível a deterioração de imagem.

Claims

1. Dispositivo de exibição de imagem compreendendo: um meio de conversão de taxa que converte o número de quadros ou campos de um sinal de imagem de entrada mediante interpolação de um sinal de imagem de interpolação gerado mediante execução do processamento de compensação de movimento para o sinal de imagem de entrada com base na informação de vetor de movimento entre os quadros ou campos do sinal de imagem de entrada entre os quadros ou campos de um sinal de imagem de entrada, em que o sinal de imagem de entrada é submetido ao processamento de otimização de borda em um primeiro nível de otimização de borda e o sinal de imagem de interpolação é submetido ao processamento de otimização de borda em um segundo nível de otimização de borda inferior ao primeiro nível de otimização de borda, ou não é submetido ao processamento de otimização de borda.

2. Dispositivo de exibição de imagem, de acordo com a reivindicação 1, em que o processamento de otimização de borda aumenta uma quantidade de otimização de um componente de alta frequência do sinal de imagem para uma área tendo uma quantidade de movimento maior do sinal de imagem de entrada.

3. Dispositivo de exibição de imagem, de acordo com a reivindicação 1 ou 2, em que o processamento de otimização de borda expande uma faixa de frequência do sinal de imagem otimizado para uma área tendo uma quantidade de movimento maior do sinal de imagem de entrada.

4. Dispositivo de exibição de imagem, de acordo com qualquer uma das reivindicações 1 a 3, em que o dispositivo de exibição de imagem varia características de um filtro para a otimização de borda do sinal de imagem depende de uma direção de movimento do sinal de imagem de entrada.

5. Dispositivo de exibição de imagem, de acordo com qualquer uma das reivindicações 2 a 4, em que o meio de conversão de taxa inclui uma porção de detecção de vetor de movimento que detecta um vetor de movimento entre quadros ou campos consecutivos incluídos no sinal de imagem de entrada, uma porção de alocação de vetor de interpolação que aloca um vetor de interpolação entre os quadros ou os campos com base no vetor de movimento detectado, uma porção de geração de imagem de interpolação que gera um sinal de imagem de interpolação com base no vetor de interpolação alocado, e uma porção de interpolação de imagem que interpola o sinal de imagem de interpolação gerado entre os quadros ou os campos, e obtém uma quantidade de movimento/direção de movimento do sinal de imagem de entrada com base no vetor de movimento detectado pela porção de detecção de vetor de movimento.

6. Dispositivo de exibição de imagem, de acordo com a reivindicação 5, em que um filtro passa-baixa para suavizar o vetor de movimento detectado pela porção de detecção de vetor de movimento é incluído.

7. Dispositivo de exibição de imagem, de acordo com qualquer uma das reivindicações 2 a 4, em que o meio de conversão de taxa inclui uma porção de detecção de vetor de movimento que detecta um vetor de movimento entre quadros ou campos consecutivos incluídos no sinal de imagem de entrada, uma porção de alocação de vetor de interpolação que aloca um vetor de interpolação entre os quadros ou os campos com base no vetor de movimento detectado, uma porção de geração de imagem de interpolação que gera um sinal de imagem de interpolação com base no vetor de interpolação alocado, e uma porção de interpolação de imagem que interpola o sinal de imagem de interpolação gerado entre os quadros ou os campos, e obtém uma quantidade de movimento/direção de movimento do sinal de imagem de entrada com base no vetor de interpolação alocado pela porção de alocação de vetor de alocação.

8. Dispositivo de exibição de imagem, de acordo com a reivindicação 7, em que um filtro passa-baixa para suavizar o vetor de interpolação alocado pela porção de alocação de vetor de interpolação é incluído.

9. Dispositivo de exibição de imagem, de acordo com qualquer uma das reivindicações 1 a 8, em que o meio de conversão de taxa interpola uma pluralidade de sinais de imagem de interpolação entre os quadros ou campos do sinal de imagem de entrada, e varia o nível de otimização de borda para cada um dos sinais de imagem de interpolação dependendo de uma distância temporal a partir do sinal de imagem de entrada.

10. Método de exibição de imagem compreendendo: um sinal de imagem de conversão de taxa mediante interpolação de um sinal de imagem de interpolação gerado mediante processamento de compensação de movimento de execução para o sinal de imagem de entrada com base na informação de vetor de movimento entre os quadros ou campos do sinal de imagem de entrada entre os quadros ou campos do sinal de imagem, em que o sinal de imagem de entrada é submetido ao processamento de otimização de borda em um primeiro nível de otimização de borda, e o sinal de imagem de interpolação é submetido ao processamento de otimização de borda em um segundo nível de otimização de borda inferior ao primeiro nível de otimização de borda ou não é submetido ao processamento de otimização de borda.

11. Dispositivo de processamento de imagem compreendendo: um meio de conversão de taxa que converte o número de quadros ou campos de um sinal de imagem de entrada mediante interpolação de um sinal de imagem de interpolação gerado mediante execução de processamento de compensação de movimento para o sinal de imagem de entrada com base na informação de vetor de movimento entre os quadros ou campos do sinal de imagem de entrada entre os quadros ou campos do sinal de imagem de entrada, em que o sinal de imagem de entrada é submetido ao processamento de otimização de borda em um primeiro nível de otimização de borda, e o sinal de imagem de interpolação é submetido ao processamento de otimização de borda em um segundo nível de otimização de borda inferior ao primeiro nível de otimização de borda ou não é submetido ao processamento de otimização de borda.

12. Método de processamento de imagem compreendendo: uma etapa de conversão de taxa para converter o número de quadros ou campos de um sinal de imagem de entrada mediante interpolação de um sinal de imagem de interpolação gerado mediante execução de processamento de compensação de movimento para o sinal de imagem de entrada com base na informação de vetor de movimento entre os quadros ou campos do sinal de imagem de entrada entre os quadros ou campos do sinal de imagem de entrada, em que o sinal de imagem de entrada é submetido ao processamento de otimização de borda em um primeiro nível de otimização de borda, e o sinal de imagem de interpolação é submetido ao processamento de otimização de borda em um segundo nível de otimização de borda inferior ao primeiro nível de otimização de borda ou não é submetido ao processamento de otimização de borda.