Visão artificial aplicada à atividade física

Atualmente é aceite pela comunidade científica que a atividade física tem efeitos benéficos que ajudam a melhorar o nosso bem-estar em todas as fases da nossa vida e, em particular, a mitigar os sinais de envelhecimento. Por exemplo, a atividade física regular atrasa o declínio da capacidade pulmonar [Burtscher et al., 2022] e também ajuda a prevenir e até a inverter a perda de massa muscular [ABC-link]. A biomecânica do sistema locomotor é uma área do conhecimento científico que trata do estudo do movimento humano numa perspetiva interdisciplinar [Gianikellis et al., 2002]. Os seus objetivos incluem a compreensão do comportamento do aparelho locomotor humano, a prevenção de lesões, a melhoria da técnica de execução de gestos desportivos, entre outros [Gianikellis et al., 2002], e encontra aplicação em diferentes campos, tais como o trabalho, o desporto, ou a recreação.

No estudo do movimento humano, a primeira fase consiste na captação de dados através de uma grande variedade de sistemas de medição, entre os quais se destacam técnicas baseadas na análise de imagens. A área da Visão Artificial e análise de imagem sofreu uma revolução espectacular nos últimos anos, como resultado da aplicação de avanços metodológicos muito significativos que tiveram lugar no campo da Inteligência Artificial e Learning Machine [Stanford-Link]. Atualmente, estes métodos permitem conceber e construir sistemas de visão artificial capazes de resolver problemas do mundo real que, há apenas alguns anos atrás, eram inacessíveis com as técnicas existentes. Em particular, os sistemas de captura de movimento beneficiaram enormemente com esta revolução. Tanto que agora estão disponíveis sistemas de baixo custo para automatizar a captura do movimento humano [XNeck-link] através de uma câmara [Ramírez et al. 2020], um conjunto de câmaras [Nuñez et al., 2019], ou dispositivos RGBD, que capturam simultaneamente uma imagem e a profundidade em que os objetos na cena estão localizados. No grupo Advanced Computation Perception and Optimisation (CAPO) da Universidad Rey Juan Carlos (URJC) temos uma longa história de investigação em sistemas de visão por computador aplicados à captura de movimento humano e suas aplicações. Este trabalho de investigação deu frutos sob a forma de protótipos de vários tipos, aplicáveis à captura do movimento humano no domínio da atividade física. Em [Nuñez et al., 2017], é proposto um sistema de captura de movimento humano usando vários sensores do tipo RGBD. Cada um dos sensores fornece uma pose proposta sob a forma de um modelo articulado. Depois, um método de fusão de informação combina eficazmente a informação dos sensores em tempo real para propor uma pose melhorada (ver Figura 1). Em [Núñez et al., 2019] perseguimos o mesmo objetivo, mas utilizando várias câmaras como entrada para o sistema. O sistema propõe uma pose 2D para cada uma das imagens recebidas das câmaras e, subsequentemente, um sistema baseado na aprendizagem mecânica integra toda esta informação para estimar a pose 3D do sujeito ao longo do tempo (um esquema da proposta é mostrado na Figura 2).  Em [Ramírez et al., 2020] fomos um passo mais longe, abordando um problema muito complexo: estimar a pose do sujeito 3D a partir de uma única imagem 2D. Este problema é difícil porque a informação completa não está disponível, uma vez que uma única imagem fornece informação em duas dimensões e o nosso objetivo é estimar a pose em três dimensões. Para o fazer, concebemos e treinámos um sistema de learning machine e os resultados obtidos foram muito promissores (ver Figura 3).

Figura 1: Esquema do modelo de seguimento de movimento articulado com múltiplos dispositivos RGBD propostos em [Nuñez et al., 2017].

 Figura 2: Esquema do modelo de seguimento de movimento articulado multi-câmaras proposto em [Nuñez et al., 2019].

Figura 3: Resultados obtidos com o sistema de captura de movimento de câmara única proposto em [Ramírez et al., 2020]. Para cada imagem (esquerda), é mostrada a saída do nosso sistema (centro) e a pose real (direita).

Uma vez realizada a captura automática da pose do sujeito ao longo do tempo, esta informação pode ser utilizada para diferentes fins. Por exemplo, em [Núñez et al., 2018] é proposto um sistema que, a partir de uma sequência temporal de poses do sujeito, reconhece a atividade que está a ser desenvolvida. No campo específico dos sistemas de assistência aplicados à atividade física, [Rivero FJ, 2013] propôs um protótipo de um formador virtual para monitorizar a correcta execução de um determinado exercício físico. É bem conhecido que uma técnica pobre na execução de um exercício pode reduzir o benefício associado ao mesmo e levar ao aparecimento de lesões. O formador virtual protótipo utiliza um dispositivo RGBD para captar a pose de um sujeito a exercer. A partir desta pose, reconhece o exercício que está a ser realizado e monitoriza a sua correcta execução. Se detectar uma má técnica, propõe ações específicas ao utilizador para corrigir a execução (o vídeo em anexo mostra uma demonstração de como funciona o protótipo do formador virtual). Consequentemente, estes sistemas são suficientemente gerais para alargar a sua utilização a uma gama mais vasta de aplicações como, por exemplo, a supervisão automatizada num processo de reabilitação ou a avaliação do progresso de uma atividade ao longo do tempo.

Em suma, os atuais avanços tecnológicos estão a provocar uma mudança revolucionária no nosso modo de vida e na forma como interagimos com o nosso ambiente. Especificamente, no campo da atividade física, surgiram nos últimos anos uma multiplicidade de sistemas de formação que nos ajudam a planear a nossa formação de acordo com os nossos objetivos. Do ponto de vista tecnológico, estamos prontos a dar mais um salto, que consiste em desenvolver sistemas que monitorizam a correcta execução dos exercícios para maximizar o benefício, reduzindo a possibilidade de lesões.

Referências​:

[ABC-link] https://www.abc.es/salud/enfermedades/abci-si-perdida-masa-muscular-env…

[Burtscher et al., 2002] Burtscher, J., Millet, G.P., Gatterer, H. et al. “Does Regular Physical Activity Mitigate the Age-Associated Decline in Pulmonary Function?”. Sports Medicine 52, 963–970 (2022)

[Gianikellis et al., 2002] Gianikellis K, Pantrigo JJ, Bote A, Vara A. “El desarrollo del paquete BiomSoft y sus aplicaciones en el análisis biomecánico del movimiento humano”. Biomecánica, 10 (2) 38–43 (2002)

[Stanford-Link] https://www.gsb.stanford.edu/insights/andrew-ng-why-ai-new-electricity

[XNect-link] https://vcai.mpi-inf.mpg.de/projects/XNect/

[Ramírez et al. 2020] Ramírez I, Cuesta A, Schiavi E, Pantrigo JJ. "Bayesian Capsule Networks for 3D human pose estimation from single 2D images". Neurocomputing, 379:64-73 (2020)

[Nuñez et al., 2019] Nuñez JC, Cabido R, Velez, J, Montemayor AS, Pantrigo JJ. "Multiview 3D human pose estimation using improved least-squares and LSTM networks". Neurocomputing, 323:335-343 (2019).

[Nuñez et al., 2017] Nuñez JC, Cabido R, Montemayor AS, Pantrigo JJ. "Real-time human body tracking based on data fusion from multiple RGB-D sensors". Multimedia Tools and Applications 76(3): 4249–4271 (2017).

[Nuñez et al., 2018] Nuñez-Moreno JC, Cabido R, Pantrigo JJ, Montemayor AS, Vélez J. "Convolutional Neural Networks and Long Short-Term Memory for Skeleton-Based Human Activity and Hand Gesture Recognition". Pattern Recognition. 76C: 80-94 (2018).

[Rivero FJ, 2013] Reconocimiento y corrección de actividades físicas con Kinect. Trabajo de Fin de Máster del Máster Oficial en Visión Artificial de la URJC (2013)