BR112014028811B1

BR112014028811B1 - sistema de imagem, método para registrar uma imagem de um objeto em uma faixa espectral de radiação de terahertz através da radiografia e visualização da imagem em luz visível, e meio de armazenamento

Info

Publication number: BR112014028811B1
Application number: BR112014028811-9A
Authority: BR
Inventors: Frederik Jan De Bruijn; Remco Theodorus Johannes Muijs; Jorrit Ernst De Vries; Bernardus Hendrikus Wilhelmus Hendriks; Drazenko Babic
Original assignee: Koninklijke Philips N.V.
Priority date: 2013-03-19
Filing date: 2014-03-12
Publication date: 2020-11-17
Also published as: CN104380066B; RU2014153621A3; US20150381908A1; EP2976609B1; WO2014147515A1; JP2015529482A; EP2976609A1; RU2655018C2; US9736402B2; RU2014153621A; CN104380066A; BR112014028811A2; JP5974174B2

Abstract

SISTEMA, MÉTODO PARA REGISTRO DE UMA IMAGEM HIPERESPECTRAL E VISUALIZAÇÃO DA IMAGEM HIPERESPECTRAL EM LUZ VISÍVEL, E PRODUTO DE PROGRAMA DE COMPUTADOR. O sistema de imagem compreende uma câmera de campo de luz (3) para registro de um campo de luz hiperespectral (CLF). O sistema também compreende um projetor de luz (4) para projeção de um campo de luz em luz visível (PLF). A câmera e o projetor compartilham um eixo óptico comum. O projetor projeta um campo de luz (PLF) baseado no campo de luz hiperespectral (CLF) capturado pela câmera de campo de luz.

Description

CAMPO DA INVENÇÃO

[001] A invenção se refere a um sistema para imagem hiperespectral que compreende uma câmera para registro de uma imagem hiperespectral de um objeto e um dispositivo de visualização para visualização do registrador de imagem hiperespectral em luz visivel, e a um método para registro de uma imagem hiperespectral e visualização da imagem hiperespectral em luz visivel.

HISTÓRICO DA INVENÇÃO

[002] A imagem hiperespectral é conhecida por revelar detalhes impossíveis ou difíceis de serem observados pelos olhos humanos, como, por exemplo, diferenças teciduais em um humano. Na imagem hiperespectral, a imagem é obtida de um objeto em uma ou mais bandas de comprimento de onda, onde pelo menos uma banda de comprimento de onda é ao menos parcialmente invisível aos olhos humanos ou ao menos muito difícil de observar. Esta imagem é então convertida em uma imagem visível, cuja imagem é provida em luz visível a um expectador. A imagem hiperespectral pode ser baseada tanto pela iluminação espectralmente seletiva (ou seja, a iluminação de um objeto com luz em uma determinada banda de comprimento de onda) quanto por filtragem espectralmente seletiva prévia (ou seja, utilizando um filtro que transmite apenas luz em uma determinada banda de comprimento de onda) para captura de imagem. Em ambos os casos, exige-se o processamento de imagem para gerar uma imagem resultante que revela o contraste de estrutura de interesse.

[003] Em tal sistema, a imagem hiperespectral (por exemplo, imagem que se estende além do espectro visivel) é convencionalmente obtida e o resultado é mostrado em uma tela de visualização. Ao sentar-se atrás da tela de visualização, o expectador, interessado nos detalhes invisíveis ou dificilmente visiveis do objeto em observação, pode estudar a imagem na tela em luz visivel, como apareceria em, por exemplo, luz UV ou em luz IR.

[004] Embora utilizar uma tela seja uma técnica muito útil, as possibilidades são limitadas. Foi proposto projetar uma imagem hiperespectral sobre um objeto estudado, por exemplo, em R.K. Miyake, H.D. Zeman, F.H. Duarte, R. Kikuchi, E. Ramacciotti, G. Lovhoiden, C. Vrancken, "Vein imaging: A new method of near infrared imaging where a processed image is projected onto the skin for the enhancement of vein treatment", Dermatologic, Surgery, vol. 32, pp. 1031-1038, 2006. A projeção é realizada com um projeto de laser.

[005] É dificil, se não quase impossível, utilizar a técnica conhecida para prover uma boa projeção nitida em que a projeção coincida com um grau relativamente elevado de alinhamento, a menos que o objeto, na técnica anterior conhecida, a pele esteja imóvel e a um grau plano elevado.

[006] É um objeto da invenção prover um sistema e um método que permitam observar diretamente os detalhes hiperespectrais de um objeto em observação e em alinhamento correto.

SUMÁRIO DA INVENÇÃO

[007] Para esta finalidade, o sistema da invenção é caracterizado pelo sistema da câmera ser uma câmera que captura o campo de luz e o dispositivo de visualização é um projetor de campo de luz, no qual a câmera e o projetor compartilham uma trajetória óptica coaxial e no qual a câmera está disposta para capturar um campo de luz hiperespectral, e compreende uma saida para envio de dados no campo de luz hiperespectral capturado para uma entrada do projetor de campo de luz, e o projetor de campo de luz está disposto para projetar um campo de luz em luz visivel sobre o objeto, com base nos dados recebidos a partir da câmera.

[008] Para esta finalidade, o método da invenção é caracterizado por um campo de luz em uma faixa de radiação hiperespectral de um objeto ser capturado por uma câmera de campo de luz, os dados sobre o campo de luz capturados pela câmera são processados para prover dados de imagem de projeção para um projetor de campo de luz, o projetor de campo de luz projetando um campo de luz, com base nos dados de imagem de projeção sobre o objeto, no qual a câmera e o projetor compartilham uma trajetória óptica coaxial e um campo de luz em luz visivel é projetado sobre o objeto pelo projetor de campo de luz.

[009] A câmera que captura o campo de luz captura um campo de luz em uma hiperfaixa do espectro, ou seja, em uma faixa de radiação espectral pelo menos parcialmente invisível aos olhos humanos, e o projetor de campo de luz projeta um campo de luz em luz visivel. O projetor de campo de luz forma um dispositivo de visualização para visualização do registrador de imagem hiperespectral em luz visivel. 0 campo de luz projetado ocasiona a visualização de uma imagem tridimensional projetada que se sobrepõe ao objeto, a dita imagem tridimensional sendo nitida por toda a ampla faixa de profundidades. Uma trajetória óptica coaxial compartilhada prevê um alinhamento relativamente fácil de campos de luz capturados e projetados. Isto permite uma projeção precisa e em tempo real pelo projetor da imagem hiperespectral em luz visivel sobre o objeto em observação, do qual a câmera capturou o campo de luz hiperespectral, também no caso do objeto em observação não ser plano, mas possuir uma forma tridimensional.

[010] Uma câmera que captura campo de luz possui, em comparação a uma câmera bidimensional ou mesmo tridimensional normal, a vantagem de que obtêm-se um campo de luz completo, com a possibilidade de se obter imagens nitidas por toda uma faixa de profundidades. Uma câmera bidimensional normal não provê uma ampla profundidade de vista e, embora a câmera tridimensional possa prover algumas informações de profundidade, nenhuma é capaz de prover uma imagem nitida por toda a faixa de profundidades. Uma câmera de campo de luz também é denominada câmera plenóptica. Uma câmera de campo de luz é uma câmera que captura informações de campo de luz sobre uma cena que utiliza imagem plenóptica. A imagem plenóptica captura um campo de luz incidente, preservando a intensidade e a direção da luz incidente. A implementação de um sistema de imagem plenóptica pode ser baseada em diversas técnicas: um conjunto de microlente, de acordo com M. Levoy et al., "Light field microscopy", ACM Trans, on Graphics, vol. 25, no. 3, pp. 924-934, July 2006; fotografia manchada com uma máscara de atenuação continuamente graduada, como em A. Veeraraghavan et al., "Dappled photography: Mask enhanced cameras for heterodyned light fields and coded aperture refocusing", ACM Trans, on Graphics (Proc. SIGGRAPH 2007), vol. 26, no. 3, July 2007; máscara de codificação de abertura, como em A. Levin et al., "Image and depth form a conventional camera with a coded aperture", ACM Trans, on Graphics (Proc. SIGGRAPH 2007), vol. 26, no. 3, July 2007; codificador de frente de onda, como em E.R. Dowski et al., "Extended depth of field through wave-front coding", Applied Optics, vol. 34, no. 11, pp. 1859-1866, Apr. 1995; imagem com foco de varredura, como em H. Nagahara et al., "Flexible Depth of Field Photography", in Proc. ECCV 2008, Oct. 2008. A imagem plenóptica armazena informações espaciais do campo de luz incidente. O campo de luz capturado, na verdade, é quadridimensional, uma vez que cada raio de luz é caracterizado por uma localização bidimensional no sensor e um ângulo de incidência horizontal e vertical, adicionando mais 2 dimensões. O campo de luz projetado cria uma imagem sobre o objeto, que é nitida em toda a ampla faixa de profundidades ópticas.

[011] Das técnicas descritas acima, prefere-se o uso de um conjunto de microlente. Em uma máscara de atenuação continuamente graduada e em uma máscara de codificação de abertura, atenua-se alguma da luz que passa pela máscara, levando a uma perda de intensidade. Em um conjunto de microlente, utiliza-se uma porcentagem mais elevada da luz disponível.

[012] Um conjunto de microlente está situado entre uma lente e um sensor de imagem da câmera plenóptica. O conjunto de microlente dá um novo foco à luz captura pela lente no sensor de imagem, criando assim muitas pequenas imagens obtidas a partir de pontos de vista discretamente diferentes. As informações tridimensionais são armazenadas nas pequenas imagens, cada uma das quais é produzida por uma microlente única. Cada uma das pequenas imagens possui uma resolução espacial relativamente baixa.

[013] Outro tipo de câmera que captura o campo de luz, que não utiliza um conjunto de microlente, é um sistema que utiliza uma assim denominada técnica de lente ou foco de varredura. Em tais câmeras, a lente de foco e/ou posição de sensor é alterada durante a captura da imagem. Esta técnica eleva-se às imagens de integração na varredura do foco (ou seja, em uma faixa particular de profundidade de campos). A imagem resultante consiste da varredura de foco de todas as informações de imagem e também captura toda luz disponível. A imagem obtida pode ser distorcida para prover imagens nitidas em diversas profundidades e reconstruir um campo de luz plenóptico projetado. Prefere-se o uso de um conjunto de microlente, uma vez que o campo de luz pode ser obtido instantaneamente. O uso de microlente é relativamente fácil para alinhar o campo de luz capturado, capturado pela câmera, e os campos de luz projetados, projetados pelo proj etor.

[014] Preferencialmente, a câmera e o projetor compartilham a cadeia comum de elementos de imagem óptica ao longo do eixo óptico coaxial compartilhado. Isto possibilita o melhor alinhamento do campo de luz capturado e o campo de luz projetado.

[015] Preferencialmente, o sistema compreende um elemento que provê uma função plenóptica sendo posicionada na trajetória óptica coaxial compartilhada.

[016] O provimento do elemento que provê uma função plenóptica na trajetória coaxial compartilhada aumenta a facilidade de alinhamento do campo de luz capturado e proj etado.

[017] Tais elementos podem ser um conjunto de microlente, uma abertura codificada, codificador de frente de onda.

[018] Destes elementos, prefere-se o conjunto de microlente.

[019] Nas realizações, o sistema compreende um divisor de feixe para divisão das trajetórias de luz de e para o eixo óptico comum para e de uma câmera de campo de luz, respectivamente, o projetor de campo de luz do divisor de feixe apresentando uma propriedade dicroica espectralmente seletiva. O divisor de feixe dicroico passa ou reflete a luz na faixa hiperespectral para a câmera, enquanto reflete ou passa a luz na faixa visivel oriunda do projetor.

[020] Em outra realização, utiliza-se uma iluminação espectralmente seletiva.

[021] Nas realizações preferidas, o sistema é um sistema móvel, preferencialmente portátil, por exemplo, um sistema de mão. Isto permite, por exemplo, que o médico visualize as veias imediatamente e no local. Quando as agulhas precisam ser inseridas em uma veia, tal inspeção no local é uma grande vantagem.

[022] Em outra realização preferida, o sistema é uma parte de um luminar cirúrgico.

[023] Em outra realização, o sistema é uma parte de um sistema mais amplo, o sistema mais amplo compreendendo ainda um sistema de imagem secundária para provimento de dados de imagem secundária em uma imagem interna do objeto em observação, em que o sistema compreende um processador para prover informações de profundidade, com base nos dados do campo de luz hiperespectral capturados e meios para formatar, com base nas informações de profundidade, os dados secundários em uma imagem projetada sobre o objeto. O sistema de imagem secundária pode ser, por exemplo, um sistema de radiografia, ressonância magnética, tomografia computadorizada, tomografia computadorizada com emissão de positrons ou sistema de ultrassonografia.

BREVE DESCRIÇÃO DOS DESENHOS

[024] Estes e outros objetos e aspectos vantajosos se tornarão aparentes a partir de realizações exemplares que serão descritas utilizando-se as Figuras a seguir.

[025] A Fig. 1 ilustra uma realização de um sistema, de acordo com a invenção;

[026] A Fig. 2 ilustra outra realização de um sistema, de acordo com a invenção;

[027] A Fig. 3 ilustra outra realização de um sistema, de acordo com a invenção;

[028] A Fig. 4 ilustra um dispositivo de mão que compreende um sistema, de acordo com a invenção;

[029] A Fig. 5 ilustra o aprimoramento de imagem de veia utilizando um sistema de mão, conforme mostrado na Fig. 4;

[030] A Fig. 6 ilustra uma lâmpada cirúrgica ou odontológica, que compreende um sistema de acordo com a invenção;

[031] As Figuras 7 e 8 ilustram um sistema de radiografia, que compreende um sistema de acordo com a invenção;

[032] A Fig. 9 ilustra o principio de utilização de microlente para captura de um campo de luz e projeção de um campo de luz;

[033] A Fig. 10 ilustra um método para correspondência de ajuste fino entre o campo de luz capturado e projetado.

[034] As figuras não estão desenhadas em escala. Geralmente, componentes idênticos são designados pelos mesmos números de referência nas figuras.

DESCRIÇÃO DETALHADA DAS REALIZAÇÕES PREFERIDAS

[035] É um objeto da invenção prover uma imagem de resultado como projeção sobre o tecido observado, ainda de tal forma que a projeção esteja sempre no foco correto sobre o tecido, independente da curvatura de superfície do tecido ou sua orientação em relação ao dispositivo de captura/projeção.

[036] A imagem hiperespectral provê contraste, por exemplo, contraste tecidual que é invisível a olho nu. O contraste melhorado pode ser, por exemplo, utilizado para revelar vasos sanguíneos e nervos durante a cirurgia ou introdução de agulhas nas veias. Também pode ser utilizado para identificar tecido maligno.

[037] A captura de imagem hiperespectral pode ser baseada em um sensor de imagem monocromático, seletivo e não espectral e o uso de filtragem espectralmente seletiva anterior ao sensor de imagem, semelhante a uma câmera RBG normal, porém, com mais canais de cor e com características de filtro diferentes. De outro modo, a captura de imagem hiperespectral também pode ser baseada em iluminação espectralmente seletiva (controlada) em combinação com um sensor de imagem não filtrada. Também é possível a combinação de 'iluminação filtrada' e 'aquisição filtrada'.

[038] As diferenças na resposta espectral entre diferentes materiais são geralmente convertidas em um contraste visivel (b/p ou pseudocor) por meio de uma combinação linear ponderada de diferentes valores de entrada espectral para o mesmo local espacial. Diversas combinações ponderadas diferentes predeterminadas levam a diferentes contrastes teciduais. Desta forma, o resultado da captura de imagem hiperespectral é geralmente uma imagem com um contraste aprimorado do material (liquido ou tecido) de interesse. Assim, por exemplo, é possivel revelar a posição de veias e artérias com base em sua resposta espectral sutil, porém, distinta em comparação a, por exemplo, à pele. A imagem de resultado correspondente retrata a estrutura do vaso sanguíneo diretamente sob a área cutânea observada. É um objeto da invenção projetar a imagem de resultado em tempo real sobre o tecido observado, em tempo real e em alinhamento correto constante com o tecido observado.

[039] No geral, a desvantagem dos sistemas atuais de imagem hiperespectral é de que os dados de resultado surgem separadamente em uma tela de exibição, de tal modo que a relação geométrica com o tecido real é facilmente perdida. Atualmente, o uso de óculos de realidade aumentada é um método popular para manter os dados de resultado, gerados nos óculos, os quais formam as telas de visualização, em alinhamento constante com um tecido que é observado pelo cirurgião. A principal desvantagem é de que isto exige um dispositivo montado na cabeça, o qual a localização e orientação são rastreadas em oposição à posição da área de trabalho, adicionado à complexidade de tais soluções. Além disso, força o especialista a usar óculos especiais. Ademais, em salas de cirurgia, estão presentes muitas pessoas; caso apenas o especialista carregue os óculos especiais, os assistentes não poderão observar o que o especialista está vendo, a menos que eles também usem óculos, e a posição e orientação dos ditos óculos também sejam rastreadas, adicionado imensa complexidade ao sistema.

[040] É um objeto da invenção prover um sistema e um método que permitem a observação direta dos detalhes hiperespectrais de um objeto em observação e em alinhamento correto sem a necessidade de rastreamento de objeto tridimensional ou uso de óculos especiais.

[041] A Fig. 1 ilustra uma realização de um sistema e método, de acordo com a invenção.

[042] No objeto 1, neste exemplo um tecido humano, a luz hiperespectral é reluzida a partir de uma fonte hiperespectral 2. A fonte de luz pode ser parte do sistema e, em realizações preferidas, é ou seria provida separadamente. A fonte hiperespectral causa o problema para formação de uma imagem hiperespectral, por exemplo, em IR ou em UV. De forma alternativa, o objeto em si, independente da presença de uma fonte de luz hiperespectral, pode prover uma imagem hiperespectral, ou seja, uma imagem em um comprimento de onda difícil ou não observado com o olho humano. Por exemplo, o objeto pode ser provido com uma substância que, após ter sido iluminada anteriormente, fosforesce em um comprimento de onda especial.

[043] De forma alternativa ou em adição, o tecido 1 pode, mesmo sem uma fonte de luz a reluzir sobre ele, prover uma imagem IR que mostra detalhes em um comprimento de onda IR que são invisíveis nos comprimentos de onda visíveis. De forma alternativa ou em adição, o objeto pode ser iluminado com uma fonte que fornece luz visível, bem como, por exemplo, luz UV e/ou IR, um elemento seletivo de comprimento de onda é provido na trajetória de luz para a câmera ou na câmera de modo que a câmera registre a imagem hiperespectral.

[044] De forma alternativa ou em adição, a câmera pode ser provida com sensor de pixels que registram eletronicamente a imagem em luz visível e sensor de pixels que registram a imagem em uma faixa de radiação hiperespectral e são utilizados os dados a partir dos pixels hiperespectrais sensíveis para o campo de luz hiperespectral.

[045] Também é possível utilizar uma câmera de campo de luz que compreende pixels sensíveis tanto à luz visível quanto a radiação hiperespectral (por exemplo, parte IR e/ou UV do espectro) e, de forma sequencial ao tempo, colocar filtros seletivos de comprimento de onda em frente a uma fonte que provê luz visível, bem como radiação hiperespectral, em que os filtros passam tanto luz visível quanto uma parte hiperespectral do espectro e sincronizam a aquisição de dados a partir da câmera de campo de luz com a iluminação sequencial ao tempo para prover os dados de campo de luz na faixa hiperespectral e possivelmente também na parte visivel do espectro.

[046] Nas realizações, a imagem hiperespectral é obtida em uma faixa UV ou IR do espectro eletromagnético. Preferem-se estas realizações.

[047] Entretanto, a imagem hiperespectral pode ser obtida em outras faixas do espectro eletromagnético, por exemplo, por meios de uma imagem por radiografia ou imagem de Terahertz.

[048] Para tais realizações, a câmera de campo de luz é um dispositivo de imagem por radiografia ou de Terahertz que provê os dados de campo de luz na parte de radiografia ou de Terahertz do espectro eletromagnético.

[049] 0 campo de luz quadridimensional provido pelo tecido é capturado pela câmera de campo de luz 3 por meio de um sistema de lente 5. 0 sistema de lente 5 compreende um divisor de feixe 6 e um conjunto de microlente 7. O campo de luz capturado é indicado por CLF na figura 1. A câmera de campo de luz compreende um sensor no qual o campo de luz é capturado. Os dados sobre o campo de luz capturado são providos por meio de um processador de imagem 8 para um projetor de campo de luz 4. A saida da câmera provê, portanto, os dados para a entrada do projetor. "Provimento de dados" não deverá, entretanto, ser interpretado como significar que os dados da câmera são diretamente fornecidos ao projetor, mas que os dados da câmera formam uma base para os dados ao projetor. O processamento de dados pode ser provido entre a saida da câmera de campo de luz 3 e a entrada do projetor de campo de luz 4. O projetor de campo de luz projeta PLF de campo de luz sobre o tecido 1 por meio do divisor de feixe 6 e conjunto de microlente 7. É preferido que a fonte de luz forme parte do sistema. Isto possibilita um controle da intensidade da luz que reluz sobre o objeto 1. A realização da figura 1 mostra um sistema em que uma imagem hiperespectral é obtida em UV ou IR. Conforme explicado acima, uma imagem pode ser obtida de diversas formas. Por motivos de simplicidade, na figura não foi mostrado nenhum elemento seletivo de comprimento de onda. Tal elemento seletivo de comprimento de onda pode ser, por exemplo, colocado em frente à fonte, ou em frente à câmera ou, caso a câmera compreenda diferentes pixels para luz visivel que para UV ou IR, os dados podem ser filtrados eletronicamente, ou seja, por meio de um filtro de dados para filtrar os dados adquiridos pela câmera de campo de luz.

[050] Devido ao comprimento focal geralmente curto da microlente no conjunto de microlente, este tende a criar um conjunto de microimagens também focadas muito estritamente atrás do conjunto de lente. O sistema de lente óptica entre o conjunto de microlente 7 e o divisor de feixe 6, e também atrás do divisor de feixe, retransmite este plano de (micro) imagem de tal modo que o plano de microimagem coincide com o plano de sensor da câmera e com o plano do elemento de geração de imagem no projetor. O elemento de geração de imagem pode ser, por exemplo, um conjunto de elementos que emitem luz, e conjunto de espelhos de comutação (tipo de um elemento DLP) , ou um conjunto de obturadores de luz LCD.

[051] O projetor 4 e a câmera 3 compartilham um eixo óptico coaxial comum. O eixo óptico comum é ilustrado na figura 1 pelo fato de que os raios de luz são paralelos. A vantagem de utilizar uma trajetória óptica comum para captura e projeção de imagem é de que a sobreposição projetada está em bom alinhamento com o tecido associado. Além de escalar as diferenças no tamanho de elemento de sensor e de projeção, não é exigido nenhum processamento tridimensional complexo.

[052] Cada microlente pode ser considerada um superpixel que não apenas armazena informações angulares em adição à intensidade da luz incidente no local deste 'superpixel'. De forma semelhante, um projetor que gera as mesmas microimagens em associação a um conjunto de microlente levará a uma projeção, na qual o plano focal coincide com o plano de superfície original, independente de sua forma curvada. O uso de uma trajetória óptica comum e alinhamento de sensor e pixels do projetor levará a uma projeção que está sempre em foco sobre a superfície que é capturada com a câmera. O uso de um conjunto de microlente é preferido, uma vez que um conjunto de microlente não atenua o campo de luz.

[053] O sistema pode ser denominado um sistema de realidade hiperespectral plenóptica aumentada que provê captura não variante de faixa e projeção.

[054] Dependendo da aplicação, o divisor de feixe 6 também pode prover seletividade espectral. Em especial, quando a captura de imagem está primariamente em um dominio de luz invisível, como IR, o divisor de feixe pode apresentar uma propriedade dicroica. Neste caso, a luz IR incidente segue uma trajetória direta em direção à câmera, e a luz visivel do projetor é refratada pelo divisor de feixe.

[055] A Figura 2 ilustra também uma realização de um sistema de acordo com a invenção. Utilizou-se um espelho para dobrar o campo de luz projetado. Isto permite, em circunstâncias, um desenho mais compacto do sistema.

[056] A Figura 3 ilustra uma realização adicional. Nesta realização, a câmera e o projetor compreendem diferentes conjuntos de microlente. Os sistemas das figuras 1 e 2 são preferidos, porém, se, por exemplo, o comprimento de onda espectral da imagem hiperespectral exigir um material especifico para a microlente que seja menos adequado para o comprimento de onda de luz visivel, pode-se utilizar conjuntos de microlente separados. Nas figuras 1 a 3, a câmera e o projetor compartilham elementos de imagem comum ao longo do eixo óptico comum.

[057] As Figuras 4 e 5 ilustram uma realização preferida do sistema. Nesta realização, o sistema é um sistema móvel, preferencialmente portátil. Nesta realização, o sistema é um sistema de mão. 0 sistema compreende uma fonte hiperespectral no interior do dispositivo de mão e da câmera e do projetor, onde o dispositivo portátil é utilizado para capturar a região tecidual e prover uma projeção de dados de outro modo invisíveis, por exemplo, sobre a posição das veias, conforme ilustrado na figura 5. Possuir uma captura adequada de imagem e imagem nitida corretamente projetada de, por exemplo, veias que utilizam um dispositivo portátil, prove grandes vantagens em situações em que é importante ou mesmo vital encontrar uma veia rapidamente. Ao inserir uma agulha em uma veia, por exemplo, uma situação emergencial, como um acidente, pode ser critico ou mesmo questão de vida ou morte agir rápido e de forma precisa e necessitar apenas de um dispositivo relativamente simples o qual pode ser facilmente operado e trazido em situações de emergência. Os sistemas existentes não provêm a possibilidade para, de forma precisa e em tempo real, e no local do acidente, prover uma imagem da posição das veias ou outros detalhes hiperespectrais. 0 sistema portátil das figuras 4 e 5 provê esta possibilidade. Neste caso, o exemplo do sistema é de mão. 0 sistema pode ser utilizado em um capacete ou sobre uma manga, de modo que as mãos estejam livres para inserir uma agulha ou realizar outros procedimentos clinicos..

[058] A Fig. 6 ilustra o uso de um sistema, de acordo com a invenção, em uma lâmpada cirúrgica ou uma lâmpada odontológica. A lâmpada pode opcionalmente prover iluminação espectralmente seletiva como parte da captura de imagem hiperespectral.

[059] Ainda em outra realização, a invenção pode ser incorporada a um sistema que compreende um sistema de imagem secundária, por exemplo, um sistema de imagem por radiografia, ou de forma mais geral, em um sistema que produz uma imagem interna do objeto em observação, por exemplo, um sistema conforme descrito no pedido de patente W02010067281.

[060] Na Figura 7a, é mostrado o desenho esquemático de um sistema para tal realização.

[061] O sistema compreende um braço C de radiografia com duas câmeras sensiveis a comprimentos de onda UV, visiveis, ou infravermelhos anexos. O sistema de radiografia com braço C ilustrado é composto de uma estrutura de base 72 móvel sobre rodas 71 e na qual um braço C 73 é instalado de tal modo que possa rodar em torno do eixo 74 (angulação) de forma que também possa ser girado em torno de um eixo 75 na direção da seta dupla 7 6 (rotação orbital) . Embora seja descrito aqui um sistema móvel, o sistema de radiografia também pode ser fixo à parede, como em um laboratório de cateterismo. Uma fonte de radiografia 77 e um detector 81, preferencialmente um detector plano retangular, que residem 180 graus opostos um ao outro, são firmados ao braço C 73 na região de suas extremidades.

[062] O braço C de radiografia é capaz de adquirir uma imagem tridimensional interna do paciente. O sistema de câmera 82 é anexo ao lado do detector 81 e é capaz de capturar imagens do campo de operação do paciente. Em uma realização particular, o sistema de câmera é capaz de realizar uma imagem tridimensional do paciente. Além disso, o sistema de imagem hiperespectral 83, de acordo com a invenção, também é anexo ao detector 81 e é capaz de produzir informações de projeção em luz visivel de volta para o paciente de tal modo que as imagens estejam em foco sobre as superficies curvadas do paciente. Por exemplo, estruturas como margens tumorais são mais bem delineadas na imagem hiperespectral e podem ser projetadas de volta ao paciente na luz visivel, de acordo com a invenção. Isto torna as margens tumorais mais visiveis ao cirurgião. Além desta projeção de retorno da imagem hiperespectral, é possivel a projeção de retorno de imagens obtidas pelo sistema de radiografia e convertidas a imagens visiveis pelo sistema 83. Por exemplo, a posição da profundidade tumoral dentro do corpo visivel com imagem por radiografia é projetada novamente no corpo do paciente. Desta forma, o cirurgião possui uma indicação muito melhor de onde o tumor está localizado. Além disso, podem ser indicadas estruturas importantes, como grandes vasos sanguíneos que encontram-se logo abaixo da superfície e não são visiveis aos olhos. Desta forma, o cirurgião sabe antecipadamente que precisa ser cuidadoso ao realizar as incisões nesta posição. Em vez de um sistema de radiografia, também pode ser aplicada uma abordagem semelhante a uma ressonância magnética, tomografia computadorizada, tomografia computadorizada com emissão de positrons ou sistema de ultrassonografia. Um sistema de imagem de Terahertz também pode ser utilizado. Todos estes sistemas provêm uma imagem interna de um objeto em observação e, em todos os casos, as fontes de dados produzem um fluxo de imagens bidimensionais que forma um conjunto de dados secundários em adição aos dados baseados nas aquisições da câmera.

[063] No sistema da figura 7, as posições relativas do sistema de imagem hiperespectral e do sistema de imagem secundária (o sistema de radiografia na figura 7) são conhecidas e fixas. Isto possibilita uma correspondência relativamente simples da imagem hiperespectral e interna.

[064] Nos sistemas em que a posição relativa do sistema de imagem hiperespectral e sistema de imagem interna secundária são meios preferencialmente variáveis de maior ou menor extensão providos para determinar as posições relativas do sistema de imagem hiperespectral e de imagem secundária. Isto pode ser realizado automaticamente, por exemplo, para prover meios eletrônicos para medir as coordenadas X, Y e Z de ambos os sistemas de imagem e preferencialmente também a orientação ou eixos do sistema de imagem, caso esta informação seja relevante. Naturalmente, isto também pode ser realizado por uma entrada manual de tais dados. De forma alternativa ou em adição, as características de imagem, tanto que ocorrem naturalmente ou especificamente inseridas na faixa das imagens respectivas apresentadas em ambas as imagens hiperespectral e secundária, podem ser utilizadas para alinhar as imagens hiperespectral e secundárias. Por exemplo, pequenos objetos de metal sobre o paciente em diversos pontos que mostrariam nas imagens hiperespectrais, bem como visiveis nas imagens de radiografia, poderiam ser utilizados para este fim.

[065] A Figura 8 ilustra o sistema da figura 7 adicionalmente. O uso de tais dados de imagem secundária oriundos, por exemplo, dos dados de radiografia exige o cálculo explicito de um mapa de profundidade d(x,y) que descreve a distância d entre a câmera plenóptica/projetor e a superfície tecidual para cada pixel (x,y) do projetor. Isto, em contraste com os dados da própria câmera plenóptica, que exige apenas uma interpolação espacial para corresponder com a grade de pixel de entrada da câmera plenóptica à grade de pixel de saida do projetor.

[066] O campo de luz capturado compreende informações de profundidade. Para recuperar o perfil de distância a partir dos dados de campo de luz capturados foram propostas diversas soluções, por exemplo, por Bishop et al. em T. Bishop, P. Favaro, "Plenoptic depth estimation from multiple aliased views", in: 2009 IEEE 12th International Conference on Computer Vision Workshops (ICCV Workshops), IEEE, pp. 1622-1629, Los Alamitos,2009 e por Wanner et al. em S. Wanner, J. Fehr, B. Jaehne, "Generation EPI representations of 4D light fields with a single lens focused plenoptics camera", in: Proc. ISVC 2011, G. Bebis et al. eds., pp. 90-101, 2011. Isto torna-se então uma tarefa extra que é realizada pelo bloco de processamento 8 na Figura 8. O mapa de profundidade recuperada d(x,y) é então utilizado na parte 9 para reformatar a imagem da fonte de dados secundários em um conjunto de microimagens. No caso de alinhamento apropriado com o conjunto de microlente, os dados secundários também projetarão então em foco apropriado sobre a superficie tecidual, independente de seu formato e orientação. Embora não mostrado, a parte 9 também pode apresentar uma entrada para dados de introdução nas posições relativas e/ou orientações do sistema de imagem hiperespectral ou de radiografia.

[067] A Fig. 9 ilustra o principio do uso de microlente para capturar um campo de luz e projetar um campo de luz. A parte superior da Fig. 9 ilustra a captura de um campo de luz. A imagem plenóptica armazena informações especiais do campo de luz incidente. No caso de um conjunto de microlente ser utilizado, as informações tridimensionais são armazenadas em pequenas microimagens, cada uma das quais é produzida por microlente única do conjunto de microlente. O campo de luz capturado é, na verdade, quadridimensional, uma vez que cada raio de luz é caracterizado por um local bidimensional sobre o sensor e um ângulo horizontal e vertical de incidência, adicionando mais 2 dimensões.

[068] Cada microlente pode ser considerada um superpixel que não apenas armazena informações angulares, mas também a intensidade da luz incidente no local deste 'superpixel'.

[069] A parte inferior da fig. 9 ilustra a projeção de um campo de luz a partir do pixel do projetor 4. Os raios de luz são revertidos. Um projetor que gera as mesmas microimagens em associação a um conjunto de microlente levará a uma projeção na qual o plano focal coincide com o plano de superfície original, independente de seu formato curvado. 0 uso de uma trajetória óptica comum e alinhamento do sensor e pixels do projetor levarão a uma projeção que está sempre em foco sobre a superfície que é capturada com a câmera. Caso todos os elementos sejam exatamente os mesmos, mesmo tamanho, mesma posição, etc., há uma relação simples de um para um entre o pixel da câmera e o pixel do projetor. Na realidade, os dois podem diferir em tamanho ou local exato. Entretanto, a relação permanece tarefa simples de transferência (T) e escala (S) . Isto é realizado no processador 8.

[070] A tarefa de transferência também poderia ser mecanicamente realizada pelo provimento do projetor ou da câmera com meios de transferência da superfície do sensor ou de projeção em uma direção x e y.

[071] Tendo elementos ópticos comuns, e em especial um elemento comum que prove a função plenóptica, na figura 9 o conjunto de microlente 7 aumenta a correspondência entre as trajetórias ópticas de registro e projeção de imagem, simplificando assim o processamento.

[072] A Figura 10 ilustra um método para encontrar a transferência e fatores de escala exigidos.

[073] Na figura 10, uma imagem de teste T é provida, esta imagem de teste T é registrada pela câmera 3, que envia os dados sobre a imagem registrada ao processador 8; o processador 8 aplica uma transformação inicial T e S, encontrada, por exemplo, por um traço de raio óptico gerado por computador que assume características conhecidas da câmera e do projetor, aos dados e a envia ao projetor 4. A imagem projetada é comparada à imagem de teste, que pode, por exemplo, ser realizada com uma câmera separada capaz de registrar a imagem hiperespectral e a imagem projetada. Caso a imagem de teste e a imagem projetada coincidam, os valores presentes para T e S são utilizados, caso negativo, os valores de T e S são variados até a imagem de teste e a imagem projetada coincidirem. Esta é uma forma de encontrar os valores T e S. Na figura 10, um método para alinhamento da câmera de campo de luz e projetor de campo de luz para um sistema, de acordo com a invenção, é mostrado pelo ajuste da transformação e fatores de escala T e S para alinhar uma imagem de teste T a uma imagem de campo de luz projetado. Este procedimento de teste e alinhamento é realizado nos métodos preferidos de acordo com a invenção anterior à aquisição de imagens de campo de luz e projeção de imagens de campo de luz.

[074] Resumindo, a invenção pode ser brevemente descrita da seguinte forma:

[075] Sistema de imagem que compreende uma câmera de campo de luz (3) para registro de um campo de luz hiperespectral (CLF). O sistema também compreende um projetor de luz (4) para projeção de um campo de luz em luz visivel (PLF) . A câmera e o projetor compartilham um eixo óptico comum. O projetor projeta um campo de luz (PLF) com base no campo de luz hiperespectral (CLF) capturado pela câmera de campo de luz.

[076] A invenção não está restrita por ou a realizações exemplares mostradas nas figuras ou descritas acima. Ficará claro a um perito na técnica que são possíveis diversas variações.

[077] O termo "que compreende" não exclui a presença de outros elementos ou etapas àquelas listadas em uma reivindicação. O uso do artigo "um" ou "uma" anterior a um elemento não exclui a presença de uma pluralidade de tais elementos.

[078] O termo "meios" compreende quaisquer meios, quer na forma de software, hardware e qualquer combinação desta para a realização da função indicada.

[079] Os diferentes elementos de um sistema podem estar, e preferencialmente estão, em um único dispositivo, mas diversos elementos podem estar em diversas posições fisicas, por exemplo, quando os dados de campo de luz são enviados da câmera de campo de luz para a parte 8 a ser processada para prover projeção de dados de campo de luz para o projetor 4. Esta parte 8 pode estar no mesmo dispositivo da câmera e do projetor, e preferencialmente está, mas também pode estar em uma CPU ou em um local na internet ou compartilhada por diversos sistemas. Os dados podem ser transmitidos da câmera 3 para a parte 8 por quaisquer meios para transmissão de dados, por fio ou sem fio. O mesmo vale para dados da parte 8 para o projetor 4.

[080] A invenção também se relaciona, para aquelas realizações nas quais a invenção é realizada por meios de software, no total ou em parte, a um produto de programa de computador que compreende meios de código de programa armazenados em um meio de leitura por computador para a realização de um método de acordo com a invenção e para um produto de programa de computador a ser carregado por uma disposição de computador, que compreende instruções para um método, de acordo com a invenção.

Claims

1. SISTEMA DE IMAGEM, caracterizado por compreender: - uma câmera de captura de campo de luz configurada para registrar uma imagem de um objeto em faixa espectral de radiação de Terahertz através da radiografia; e - um dispositivo de visualização configurado para visualização da imagem registrada em luz visivel, em que o dispositivo de visualização inclui um projetor de campo de luz, em que a câmera de captura de campo de luz e o projetor de campo de luz compartilham uma trajetória óptica coaxial e em que a câmera de captura de campo de luz compreende uma saida para envio de dados no campo de luz capturado a uma entrada do projetor de campo de luz, e o projetor de campo de luz está configurado para projetar um campo de luz em luz visivel sobre o objeto, com base nos dados recebidos a partir da câmera de captura de campo de luz; e o sistema compreendendo adicionalmente: - um sistema de imagem secundária configurado para provimento de dados de imagem secundária em uma imagem interna do objeto em observação; e um processador configurado para prover uma informações de um mapa de profundidade que descreve a distância entre um pixel do projetor de campo de luz e a superfície do objeto, com base nos dados no campo de luz capturado pela câmera de captura de campo de luz e para formatar, com base nas informações de um mapa de profundidade, os dados de imagem secundária em uma imagem projetada sobre a superfície do objeto.

2. SISTEMA, de acordo com a reivindicação 1, caracterizado pela câmera de captura de campo de luz e o projetor de campo de luz compartilharem uma cadeia comum de elementos de imagem óptica ao longo do eixo óptico coaxial.

3. SISTEMA, de acordo com a reivindicação 1, caracterizado por compreender adicionalmente um conjunto de microlente, uma abertura codificada ou um codificador de frente de onda configurado para prover uma função plenóptica, e para ser posicionado na trajetória óptica coaxial compartilhada.

4. SISTEMA, de acordo com a reivindicação 1, caracterizado por compreender adicionalmente um conjunto de microlente configurado para prover uma função plenóptica.

5. SISTEMA, de acordo com a reivindicação 4, caracterizado pelo conjunto de microlente ser um elemento comum à câmera de captura de campo de luz e ao projetor de campo de luz.

6. SISTEMA, de acordo com a reivindicação 1, caracterizado por compreender adicionalmente um divisor de feixe configurado para divisão das trajetórias de luz, o divisor de feixe apresentando uma propriedade dicroica espectralmente seletiva.

7. SISTEMA, de acordo com a reivindicação 1, caracterizado pelo sistema de imagem ser móvel e portátil.

8. SISTEMA, de acordo com a reivindicação 1, caracterizado pela câmera de captura de campo de luz registrar o campo de luz em uma parte IR ou UV do espectro eletromagnético.

9. SISTEMA, de acordo com a reivindicação 1, caracterizado pelo sistema de imagem secundária ser um sistema de imagem por radiografia, uma ressonância magnética, tomografia computadoriza, tomografia computadorizada com emissão de positrons ou sistema de imagem por ultrassonografia.

10. MÉTODO PARA REGISTRAR UMA IMAGEM DE UM OBJETO EM UMA FAIXA ESPECTRAL DE RADIAÇÃO DE TERAHERTZ ATRAVÉS DA RADIOGRAFIA E VISUALIZAÇÃO DA IMAGEM EM LUZ VISÍVEL, caracterizado por compreender: capturar um campo de luz na faixa espectral de radiação de Terahertz através da radiografia pela câmera de captura de campo de luz de forma que a imagem do objeto é obtida, processando os dados no campo de luz capturado pela câmera de captura de campo de luz de para prover projeção de dados de imagem para um projetor de campo de luz, projetando pelo projetor de campo de luz um campo de luz baseado nos dados de imagem de projeção sobre o objeto, em que a câmera de captura de campo de luz e o projetor compartilham uma trajetória óptica coaxial e um campo de luz em luz visivel ser projetada sobre o objeto pelo projetor de campo de luz, em que os dados sobre o campo de luz capturados pela câmera de captura de campo de luz é processado para prover uma informações de um mapa de profundidade descrevendo uma distância entre um pixel do projetor de campo de luz e a superficie do objeto, e em que os dados de imagem secundária é provido em uma imagem interna do objeto, e em que os ditos dados de imagem secundária é reformatado utilizando as informações de um mapa de profundidade, e os ditos dados reformatados são providos ao projetor de campo de luz para projetar na superficie do objeto.

11. MÉTODO, de acordo com a reivindicação 10, caracterizado pelo campo de luz ser capturado em uma parte IR ou UV do espectro eletromagnético.

12. MÉTODO, de acordo com a reivindicação 10, caracterizado pelos dados da imagem secundária serem providos por um sistema de imagem por radiografia, uma ressonância magnética, tomografia computadorizada, tomografia computadorizada com emissão de positrons ou sistema de ultrassonografia.

13. MEIO DE ARMAZENAMENTO, caracterizado por ser legivel por computador não transitório contendo um programa que faz com que um computador: gravar uma imagem de um objeto em uma faixa espectral de radiação de Terahertz através de radiografia e exibir a imagem em luz visivel por: capturar um campo de luz na faixa de radiação pelo menos parcialmente não visivel ao olho humano por uma câmera de captura de campo de luz, de modo que a imagem do objeto seja obtida; processar os dados no campo de luz capturado pela câmera de captura de campo de luz para fornecer dados de imagem de projeção para um projetor de campo de luz; e projetar pelo projetor de campo de luz um campo de luz baseado nos dados da imagem de projeção sobre o objeto, em que a câmera de captura de campo de luz e o projetor compartilham um caminho óptico coaxial, e um campo de luz na luz visivel é projetado no objeto pelo projetor de campo de luz; em que os dados no campo de luz capturado pela câmera de captura de campo de luz é processado para fornecer um mapa de informações de profundidade que descreve uma distância entre um pixel do projetor de campo de luz e uma superfície do objeto, e em que dados de imagem secundários são fornecidos em uma imagem interna do objeto, e em que os referidos dados de imagem secundária são reformatados usando as informações de profundidade, e os referidos dados reformatados são fornecidos ao projetor de campo de luz para projetar na superfície do objeto.