Protocolo Complementar para Melhor Resolução do Nariz em Fotogrametria 3D¶

Cicero Moraes 3D Designer, Arc-Team Brazil, Sinop-MT
Davi Sandes Sobral Cirurgião Crânio-Maxilo-Facial, Otorrinolaringologista. Hospital Irmã Dulce Salvador-BA
Daniele Walter Duarte Cirurgiã Plástica e Crânio-Maxilo-Facial, Hospital de Clínicas de Porto Alegre- RS
Gabriel Zorron Cavalcanti Cirurgião Crânio-Maxilo-Facial e Otorrinolaringologista. Hospital Instituto Paranaense de Otorrinolaringologia, Curitiba - PR
Rodrigo Salazar-Gamarra Cirurgião Dentista Reabilitador Bucomaxilofacial. Instituto Mais Identidade, São Paulo-SP
Rodrigo Dornelles Cirurgião Plástico, Núcleo de Plástica Avançada - NPA, São Paulo-SP

DOI

https://doi.org/10.6084/m9.figshare.13010300

O presente capítulo tem por objetivo analisar as limitações do protocolo de fotogrametria facial proposto na documentação oficial do add-on OrtogOnBlender, adaptando-o para uma melhor digitalização da região nasal.

Importante

Este material utiliza a seguinte licença Creative Commons: Atribuição 4.0 Internacional (CC BY 4.0).

Introdução¶

Ainda hoje, o resultado de cirurgias estéticas passa por análises subjetivas e bidimensionais. A necessidade de uma avaliação objetiva, tridimensional e precisa da face é o combustível para a criação de ferramentas de qualidade que auxiliem o cirurgião na análise, planejamento e avaliação dos resultados cirúrgicos. O uso do Blender na prática clínica teve muita força com o add-on OrtogOnBlender criado para o planejamento em cirurgias ortognáticas e mais recentemente a criação do RhinOnBlender começou a preencher lacunas ainda abertas.

Dentro do campo das cirurgias na face, a Rinoplastia é um dos procedimentos cirúrgicos mais procurados. O nível de detalhamento e exigência tanto de cirurgiões que realizam, quanto de pacientes que procuram o procedimento, é bastante elevado. Dessa forma, o alto nível de precisão na geração da malha tridimensional da face e consequentemente sua fidedignidade à face do paciente são fatores indispensáveis no sucesso da cirurgia virtual e sua real transposição a cirurgia do paciente propriamente dita.

O protocolo padrão de aquisição da fotogrametria disponível na documentação do OrtogOnBlender atende de forma satisfatória a geração de uma malha tridimensional com textura fotorrealística muito adequada ao planejamento cirúrgico virtual para ortognática. Todavia o detalhamento de uma estrutura complexa e destacada na face, como o nariz pode sofrer com perda de precisão em algumas regiões, de forma que pretendemos com esse estudo direcionar um protocolo de fotogrametria com ênfase na abordagem nasal. Por outro lado, a simplificação dos processos é condição fundamental para exequibilidade clínica na rotina regular da prática dos cirurgiões em seus consultórios.

Os cirurgiões habituados com o procedimento da rinoplastia são, em sua maioria, pouco acostumados a utilizar softwares de manipulação de imagens tridimensionais complexos. É importante que o uso seja amigável e de fácil aplicação para que possa se difundir, chegando ao maior número possível de usuários.

Limitações do Protocolo de 26 Fotos¶

O nariz está localizado no centro da face e projetado anteriormente a mesma. Apresenta forma absolutamente peculiar, com diversos acidentes anatômicos, tendo porções mais elevadas e em curva, áreas de reentrância com sombreamento, outras zonas retas e com reflexão da luz ou mesmo áreas com ausência de estruturas como a aberturas narinárias. O nariz mostra-se um desafio a sua fiel captura e reprodução da estrutura tridimensional.

O uso do protocolo proposto inicialmente com 26 fotografia se mostra suficiente para demonstrar resultados de procedimentos que não tem a preciosidade da rinoplastia, como o caso da ortognática, que tem seu foco nos ossos da face. Procedimento com exigência de maior acurácia como a rinoplastia impõe o uso de ferramentas com alto detalhamento. Diferenças, mesmo que milimétricas são de grande impacto na possibilidade do uso da ferramenta. Assim, é necessária a criação de uma ferramenta que apresente um nível de acurácia na aquisição de malha sub milimétrica.

As consequências podem se relacionar a assimetrias de lateralidade, irregularidades no dorso nasal, quebra na fluidez de zonas de transição ou mesmo obstrução nasal por estreitamento excessivo das narinas. Abaixo exemplo de 3 fotogrametrias onde houve perda do detalhamento da base nasal utilizando o protocolo padrão, inviabilizando o planejamento cirúrgico virtual dessa região.

Fotogrametrias mal-sucedidas na região do nariz.¶

Iluminação da Cena¶

É amplamente conhecido entre os “fotogrametristas” que a luz ideal para a digitalização 3D por fotografias (fotogrametria) é a “suficiente luz natural indireta”. Mas, a iluminância não vem sendo explorada em termos objetivos (medição calibrada de luz) no seu impacto com os resultados finais do processo de digitalização 3D. O excesso de luz cria sobre exposição das imagens e a insuficiência de luz requer configurações dos parâmetros da câmera que são nocivas para um resultado favorável da fotogrametria. Uma cena pouco iluminada aumenta a sensibilidade ISO da câmera, aumenta o tempo de captura e aumenta também o diâmetro do obturador. Como resultante, as fotos concentram maior ruído, pixels inconsistentes, borrados e desfocados, resultando pouca ou nula informação adequada ao software de digitalização 3D. Por outro lado, o excesso de concentração de luz sobre superfícies reflexivas como o nariz, produz brilhos desnecessários que dificultam a criação da malha. Quando há excesso de brilhos localizados que criam sobre exposição localizada, menos pontos de interseção na “nuvem dispersa de pontos” da fotogrametria são obtidos. E por outro lado, o mapa de textura (UVmap) também não registrará tantos detalhes. A anatomia nasal, embora lisa e oleosa, tem suficientes detalhes anatômicos como poros, cílios e formas únicas que, nas condições de luz adequadas, permitem reproduzir sua estrutura com muita precisão em um modelo 3D obtido por fotogrametria.

Exemplos de diferentes capturas diferentes de iluminação.¶

Esta sequência de imagens tem como objetivo mostrar diferentes iluminâncias segundo localização do operador. Foram registradas a partir de um aplicativo de celular que faz uso do sensor de luz presente na maioria dos smartphones. No caso deste capítulo, foi utilizado o app Light Meter Trajkovski Labs , em um dispositivo Android. Para o IOS há a opção do Lux Light Meter Free – Doggo Apps.

Há de que se considerar que o sensor está sempre no lado da câmera frontal (selfie). Esse sensor é responsável por desligar a tela quando o usuário aproxima o celular ao rosto durante uma ligação. Por conta desta característica ele é utilizado para localizar o melhor lugar para colocar o sujeito e o operador, segundo o cenário e momento do dia. As fotos desta figura, foram tiradas com a câmera frontal em ângulo e posição exato de onde foi realizado o registro de iluminância, medido em lux (lumens/m2). Ou seja, a luz foi medida na mesma orientação que a foto apresenta. Pode se concluir que pequenas mudanças dentro do local, ou de posição num mesmo ambiente podem criar variações significativas nos Lux. Os resultados costumam ser favoráveis quando é escolhida uma posição do sujeito que permite a captura de fotos em cena com iluminância acima de 1000 Lux sobre o rosto do paciente. Neste contexto, os mapas de textura (UVmap) resultantes são de maior qualidade e melhor representação da realidade. Por consequência as malhas geradas são superiores e mais consistentes.

Tomadas Fotográficas e Digitalizações 3D¶

Ilustração esquemática das tomadas fotográficas.¶

Para o estudo do presente capítulo foi capturado um total de 117 fotos. Sendo feitas 75 destas fotos do rosto completo em três grupos de 25 fotos em arco (Fig.3, A) em três alturas diferentes (Fig.3, B). Foram adicionados mais dois grupos de 21 fotos (Fig.3, C) em duas alturas diferentes (Fig.3, D) totalizando 42 tomadas fechadas na região do nariz.

Para simplificar o processo de digitalização os autores optaram por utilizar como base de tomadas o Protocolo de Fotogrametria da Face, disponível na documentação oficial do OrtogOnBlender [MDdR20]. A abordagem foi a mesma, mas com algumas adaptações.

Adaptação dos níveis dos arcos.¶

No protocolo padrão a captura do rosto é efetuada com um arco de fotos em 90 graus (Fig.4, A). Para este estudo o número de fotos foi quase duplicado, de 13 para 25, permitindo com o número ímpar que a foto do centro fosse a de número 13, formando um arco de 170 graus (Fig.4, B). O mesmo foi feito no nariz, mas com um número reduzido de imagens, totalizando 21 tomadas em um arco de 170 graus (Fig.4, C).

Adaptação dos níveis dos arcos.¶

O protocolo padrão propõe a captura de dois arcos de fotos em níveis distintos (Fig.5, A), com a diferença de 35 graus (Fig.5, B). Para esse material foi capturado um nível suplementar seguindo mais ou menos a mesma rotação (Fig.5, C) e no caso do nariz capturou-se apenas dois níveis (Fig.5, D).

Esquema gráfico de todos os protocolos utilizados no capítulo.¶

Para testar o nível de detalhamento as 117 fotos foram organizadas em 7 grupos (Fig.6):

1 - Protocolo Completo (Face Triplo 170º + Nariz Duplo 170 º)
- Com 117 fotos; (25 fotos/170 graus da face em 3 planos + 21 fotos/170 graus fechadas no nariz em 2 planos);
- Tempo total da captura: 126 segundos (2m06s).
2 - Protocolo Face Triplo 170º
- Com 75 fotos; (25 fotos/170 graus da face em 3 planos);
- Tempo total da captura: 81 segundos (1m21s).
3 - Protocolo Face Triplo 90º
- Com 39 fotos; (13 fotos/90 graus da face em 3 planos) seguindo o protocolo padrão, mas com a adição de um nível inferior, totalizando 39 fotos;
- Tempo total da captura: 42 segundos.
4 - Protocolo Padrão Original (Face Duplo 90º)
- Com 26 fotos; (13 fotos/90 graus da face em 2 planos) seguindo o protocolo padrão;
- Tempo total da captura: 28 segundos.
5 - Protocolo Face Duplo 90º + Nariz Duplo 170 º
- Com 68 fotos; (13 fotos/90 graus da face em 2 planos + 21 fotos/170 graus fechadas no nariz em 2 planos);
- Tempo total da captura: 73 segundos (1m13s).
6 - Protocolo Face Baixo (Face Duplo 170º Baixo + Nariz Duplo 170º)
- Com 67 fotos; (25 fotos/170 graus da face no plano baixo + 21 fotos/170 graus fechadas no nariz em 2 planos);
- Tempo total da captura: 72 segundos (1m12s).
7 - Protocolo Duplo Baixo (Face Duplo 170º Baixo + Nariz Baixo 170º)
- om 46 fotos; (25 fotos/170 graus da face no plano baixo (altura 2) + 21 fotos/170 graus fechadas no nariz em no plano mais baixo);
- Tempo total da captura: 50 segundos.

Seleção das fotos para adaptação ao protocolo padrão.¶

Como se trata de uma adaptação, foi permitido aos autores separar a sequência de fotos correspondentes ao protocolo padrão, bastando para isso selecionar as tomadas a partir da foto 13, que é o centro do arco de 170 graus (Fig.7, A). Com a foto central definida lecionou-se 6 tomadas à esquerda e seis tomadas à direita (Fig.7, B). Ao isolar as 13 fotos tem-se o arco do protocolo padrão (Fig.7, C).

Posições, rotações e alturas das tomadas fotográficas.¶

Importante

É importante salientar que a rotação para captura do nariz pode varia conforme a estrutura do mesmo.

Aviso

A cabeça precisa estar fixa em uma mesma rotação durante a tomada fotográfica. Caso haja alguma rotação, ou o algoritmo ignora a fotografia diferente ou pode gerar problema nos cálculos. Apesar de parecer que houve uma rotação do pescoço na imagem de exemplo (altura 3) a rotação manteve-se a mesma durante toda a sessão fotográfica, o aspecto de rotação é atribuído a deformação da lente da câmera que causou o efeito.

O gráfico com o esquema de fotos traz algumas capturas, ilustrando a posição da câmera nos pontos principais. É importante saber que na realidade as fotos não são feitas em um arco perfeito. Algumas podem ficar um pouco mais distantes, como as laterais e outras um pouco mais próximas como as frontais (Fig.8, A), o importante é fazer uma rotação mais harmoniosa possível, de modo que não haja muita diferença entre as fotos.

O gráfico das alturas é outro que fornece apenas uma referência e não há a necessidade de seguir perfeitamente a disposição da câmera, posto que na realidade há uma certa dificuldade de manter a mesma rotação do equipamento, sendo o mais importante capturar nos pontos mais baixos as aberturas nasais e a parte inferior do queixo e o pescoço (Fig.8, B). As capturas mais próximas do nariz costumam recortar parte do rosto, mas aqui o objetivo é justamente detalhar a região então não há grandes problemas neste recorte (Fig.8, C). Neste caso também é interessante fazer tomadas mais baixas, de modo a capturar o espaço aéreo da narina (geralmente mais escuro pela ausência de estruturas anatômicas) e parte da complexa estrutura das asas (Fig.8, D).

Resultados da Digitalização¶

Os sete grupos de fotogrametria foram digitalizados em três equipamentos com configurações distintas:

i9: Computador de mesa com processador i9-9900K 3.60GHz, 64 GB de memória RAM e sistema operacional Linux3DCS (20.04).

i7: Notebook com processador i7-8565U 1.80GHz, 20 GB de memória RAM e sistema operacional Linux3DCS (18.04).

i5: Notebook com processador i5-4200U 1.60GHz, 12 GB de memória RAM e sistema operacional Linux3DCS (18.04).

Tempo Total da Fotogrametria.¶

O tempo total da fotogrametria variou conforme o número de tomadas, sendo a mais rápida a sessão com 26 imagens (3m12s, 7m19s, 22m21s) e a mais longa a sessão com 117 imagens (14m30s, 28m, 1h15m22s), ou seja, a tomada completa foi, em geral, 3,58 vezes mais demorada do que a do protocolo padrão e isso, dependendo da máquina em questão pode significar um tempo considerável (Fig. 9).

Parte majoritária do processo de fotogrametria utiliza todas as threads do processador e isso pode implicar em uma lentidão do sistema operacional, dependendo da configuração do computador, inviabilizando a execução de outras tarefas. Por isso é importante para o usuário avaliar o tipo de abordagem pretendido com a fotogrametria. Nos experimentos efetuados para a composição deste material o uso de outros aplicativos em paralelo com a fotogrametria fez com que o tempo da mesma se estendesse mais, quando comparado com a digitalização feita sozinha, sem outros processos correndo em paralelo.

É importante lembrar que o OrtogOnBlender e demais submódulos fazem uma redução das imagens que originalmente contam com uma resolução muito alta, tornando o processo mais rápido, ou seja, se essas imagens fossem processadas em tamanho natural, o tempo de digitalização seria consideravelmente mais longo.

Fator de Tempo por Fotografia (FTF).¶

Durante a confecção deste material foi desenvolvida uma nova abordagem acerca do tempo necessário para que uma sessão de fotos seja digitalizada em 3D. Usando o tempo total de digitalização, dividido pelo número de fotografias efetivamente utilizadas para a criação da nuvem densa de pontos, chegou-se ao Fator de Tempo por Fotografia (FTF) (Fig. 10).

Com esse fator é possível avaliar, em média, quanto tempo será necessário para que uma determinada máquina converta uma série de fotos em um objeto 3D. Isso permitirá ao usuário avaliar precocemente o tempo que será demandado de processamento computacional para efetuar a tarefa.

No caso do estudo em questão os resultados foram, em média, os seguintes: i9: 7 segundos por fotografia, i7: 17 segundos por fotografia e i5: 49 segundos por fotografia. Ou seja, entre o processador mais rápido e o mais lento há uma diferença de tempo de 7 vezes, o que reforça a necessidade de uma avaliação em face da potência computacional e o tempo disponível para efetuar a tarefa.

Teste de fotogrametria - Desempenho dos processadores.¶

No intuito de melhorar as ferramentas de diagnóstico que passaram a ser desenvolvidas a partir deste capítulo, foi enviado a uma série de usuários do OrtogOnBlender um convite para testar o FTF em seus computadores de trabalho. O experimento consistia em rodar o conjunto de fotos presentes no diretório FOTOGRAMETRIA, disponível na instalação do OrtogOnBlender, estando portanto em todos os computadores com o sistema presente. Ainda que possa haver uma variação em números de fotografias e cenários diferentes, ela não se apresentou grande o suficiente para inviabilizar o uso dos resultados como referência geral.

Em relação aos sistemas operacionais, quando comparados com os mesmos processadores, o Linux costuma ser mais rápido para gerar a fotogrametria, seguido pelo Mac OSX e o Windows. No entanto, mesmo que o Windows seja em média 15% mais lento que o Linux e 10% mais lento que o Mac OSX, isso pode ser insignificante no tempo total do trabalho, caso o usuário esteja familiarizado o suficiente com o sistema operacional.

Com o gráfico gerado a partir do experimento (Fig. 11) os usuários poderão ter uma boa ideia do tempo de digitalização de um processador, condicionando o trabalho ao tempo disponível ou analisando uma opção de compra futura, frente às necessidades de produção.

Comparação de fotos utilizadas para gerar a nuvem densa de pontos.¶

Para complementar, os autores analisaram o uso de imagens para a geração de nuvem densa de pontos frente ao número total de fotos do grupo digitalizado (Fig. 12). O único computador que processou todas as fotos foi aquele contendo o processador i9, nos demais ignorou-se algumas imagens durante a digitalização. Dependendo da porcentagem de imagens ignoradas, pode ocorrer uma perda considerável da qualidade de malha podendo até inviabilizá-la para o uso em trabalhos. Não foi o caso deste estudo, até porque, o elevado número de imagens garantia a boa qualidade de malha final, ainda que uma ou outra fosse ignorada durante a digitalização.

Importante

A diferença no uso de imagens para a nuvem densa de pontos pode explicar o funcionamento bem sucedido da fotogrametria em alguns computadores e o insucesso da digitalização em outros.

Resultado das fotogrametrias.¶

Ao perfilar os resultados da fotogrametria é possível ver uma série de características bem definidas em algumas delas (Fig. 13). A face 1 é composta por 122 fotos e apresenta uma boa qualidade de digitalização desde a parte frontal da face até as orelhas. As faces 2, 3 e 4, ainda que tinham uma boa qualidade, é possível ver que não há muito detalhamento nas asa do nariz, nos lábios e toda a parte frontal do rosto.

Isso acontece porque as fotos capturadas enquadraram o rosto como um todo. Já nas faces, 1, 5, 6 e 7 que contaram com capturas mais próximas ao nariz, é possível ver um detalhamento maior.

Comparação entre os resultados visuais e o número de fotos e tempo total de digitalização.¶

Ao aumentar a região de interesse deste estudo, ou seja, o nariz e comprar o resultado visual com o número de fotos e o tempo total de digitalização 3D é possível se chegar a algumas respostas relacionadas a custo/benefício do processo como um todo (Fig. 14).

Os modelos 2, 3 e 4 claramente tem menor definição que os demais. O modelo 1 tem a melhor definição, mas também foi o que mais demorou para ser gerado. Os modelos 5, 6 e 7 são muito semelhantes ao 1 e entre eles mesmos. No entanto o modelo 7 teve um número de fotos significativamente menor que o 5 e 6 e notoriamente menor que o 1. Em relação ao tempo, de modo geral, somando-se todos os resultados dos processadores, a face 7 levou a metade do tempo da 1 para ser gerada, ou seja, o protocolo de 46 imagens é quase o meio termo entre o de 26 imagens e o de 117, com resultados semelhantes ao demais protocolos de resultados semelhantes (5 e 6), mas sem o elevado número de imagens, posto que é composto por apenas dois arcos: um baixo de 170º da face geral e outro baixo de 170º do nariz.

Comparação entre cortes na face 1 e 4 alinhadas e posteriormente entre 1, 4 e 7 alinhadas.¶

Ao se alinhar os modelos e fazer um corte na região inferior do nariz (Fig. 15, A) é possível comparar os dois protocolos: A face 1 com 117 fotos tem mais detalhes, isso é evidenciado pelas reentrâncias. Já o protocolo de 26 fotos tem as mesmas reentrâncias bastantes suavizadas, pela ausência de dados naquela região, resultando a uma diferença (na quina) de 1,75mm (Fig. 15, B). Se o protocolo de 46 imagens (face 7) for alinhado aos outros dois, ele vai se compatibilizar muito mais com a face 1 do que com a face 4, ou seja, os resultados são significativamente superiores ao protocolo padrão com um número notoriamente menor de fotos do que a face 1 (Fig. 15, C e D).

Comparação entre outros nas faces 1, 4 e 7 alinhadas.¶

Apesar da diferença não ficar muito evidente a longa distância (Fig. 16, A), quando aproximado, os diferentes níveis de detalhamento ficam claros. Na ilustração é possível ver isso na região dos lábios (Fig. 16, B), vias respiratórias (Fig. 16, C) e corte vertical em uma das vias respiratórias (Fig. 16, D).

Propostas para Melhorar a Resolução e Cobertura da Superfície¶

Pelo acima exposto, e entendendo que existem diferenças entre as necessidades no uso da fotogrametria, diferentes equipamentos para o processamento das imagens ou mesmo na captura das fotos dos pacientes, recomendamos o usuário escolher qual protocolo de aquisição de fotos irá se adequar mais ao trabalho em questão. Buscamos trazer o máximo de informações práticas, desde iluminação da cena, conceitos das câmeras de celulares, especificidades do contorno nasal, equipamentos dos computadores e malhas resultantes, dessa forma o usuário poderá com o devido entendimento do processo e individualização de cada situação, escolher a melhor abordagem para geração da fotogrametria.

Protocolo de 46 fotografias para melhor exploração do nariz.¶

Recomendamos que a maioria dos usuários usem o protocolo de 46 fotos sendo 1 plano de 25 capturas da face por um ângulo baixo e mais 1 plano de 21 tomadas fechadas (close) no nariz, também com ângulo baixo. Exceto em situações especiais essa abordagem não irá atender as demandas com malhas 3D para rinoplastia virtual (Fig. 17).

Pontos complementares para melhor digitalização da face.¶

Esse protocolo de fotos mostrou precisão da malha semelhante ao protocolo com quase o triplo de tomadas e obviamente pelo tempo gasto na aquisição das fotos e processamento das imagens, uma exeqüibilidade melhor. Outro aspecto relevante é a possibilidade de melhor comparação entre fotogrametrias que seguem um mesmo protocolo em futuros estudos, haja vista a necessidade de mais dados objetivos e com metodologia padronizada.

Conclusão¶

Conhecendo as necessidades terapêuticas, anatomia, e compreendendo as capacidades da fotografia e computação gráfica, é possível adaptar um protocolo de fotogrametria específico, como foi feito no presente capítulo para a região nasal.

Mais pesquisas precisam ser desenvolvidas para continuar explorando os limites das tecnologias aplicadas com o fim de aprimorar e otimizar os fluxos de trabalho clínico assistidos por ferramentas digitais.

MDdR20: Cicero Moraes, Rodrigo Dornelles, and Everton da Rosa. Protocolo de Fotogrametria da Face. Volume 1. Cicero André da Costa Moraes, 2020. ISBN 978-65-00-05349-4. p. 197-209. doi:10.6084/m9.figshare.12923801.v1.