Relatório do Estado da Arte sobre a detecção automática da actividade no domicílio de pessoas idosas para a sua assistência remota e contribuição da computação cognitiva

INTRODUÇÃO

O Projecto Securhome faz parte do INTERREG V-A Espanha-Portugal 2014-2020, que é o programa de cooperação internacional financiado pelo Fundo Europeu de Desenvolvimento Regional (FEDER) aprovado pela Comissão Europeia na sua Decisão C (2015) 893, de 12 de Fevereiro de 2015, que promove o desenvolvimento ao longo da maior fronteira da Europa com um investimento previsto de mais de 365 milhões de euros.

A tecnologia necessária para detectar remotamente e em tempo real mudanças no comportamento das pessoas atendidas no domicílio é baseada no reconhecimento de atividades a partir de informações obtidas de sensores. Sendo um estudo multidisciplinar, existem várias abordagens que poderiam encaixar com o mesmo, como a do lar inteligente, smart home, a ciber-atividade, cyber- physics, ou desde uma perspectiva mais geral, como a Inteligência Ambiental (Ambient Intelligence, AmI), que fornece a estrutura para o desenvolvimento desse reconhecimento. As aplicações relacionadas com a Securhome são a vida assistida, cuidados a idosos (Uddin, Khaksar and Torresen 2018), monitorização da saúde, reabilitação e análise comportamental.

O Centro de Innovación Experimental del Conocimiento (CEIEC) da Universidade Francisco de Vitoria (UFV) participa no Projecto Securhome através da Universidade Carlos III de Madrid (UC3M). Este projecto tem como objectivo "Detecção de mudanças comportamentais em idosos através de sistemas IoT não invasivos com IA" e a participação da UC3M centra-se na obtenção de um dispositivo sensorial para lares (DSH). A colaboração específica do CEIEC é "desenvolver algoritmos de Deep Learning que possam aproveitar os dados capturados pelo DSH e identificar situações específicas em que se encontra o portador do dispositivo".

ESTADO DA ARTE

Existem agora inúmeros estudos sobre os cuidados aos idosos, especialmente considerando que a esperança de vida da humanidade tem aumentado nos últimos anos (Relatório das Nações Unidas World Population Ageing Report 2013), provocando que a população de idosos aumente, bem como possíveis emergências de saúde presentes nas suas casas, que, sem o devido cuidado de um familiar, cuidador ou centro de saúde. A situação pode tornar-se complicada, podendo mesmo causar a morte da pessoa.

Entre os trabalhos realizados até à data, podemos encontrar aqueles que se centram em alcançar um maior bem-estar na vida quotidiana das pessoas idosas, mas que não incluem qualquer tipo de alerta quando se assiste a uma possível situação de emergência. O estudo realizado por (Pollack et al. 2003) propõe um sistema de lembretes adaptativos e personalizados que, com a ajuda de diferentes sensores colocados em pontos estratégicos da casa e através da inteligência artificial (IA), permite escolher inteligentemente se se deve ou não emitir um lembrete específico ou se deve ou não antecipar ou atrasar o tempo do lembrete (dependendo das actividades que o utilizador está ou vai realizar). A proposta cria planos que permitem saber o momento certo para transmitir mensagens, com qualquer atividade básica, BADL (Basic Activities of Daily Living), como vestir, comer, ir à casa de bahho, dormir ou higiene ou com atividades instrumentais, IADL (Instrumental Activities of Daily Living), como ver televisão, ligar para alguém ou tomar um medicamento. No entanto, embora possa ajudar a planear a rotina da pessoa idosa, não há aviso se estas actividades planeadas não forem realizadas correctamente, o que pode indicar a presença de um possível problema que necessite de atenção.

Por outro lado, o estudo realizado por Lago (Lago, Roncancio, and Jiménez-Guarín 2019) apresenta um sistema, denominado LaPlace, que gere os padrões de comportamento observados no utilizador, optimizando a sua correcta interpretação através da informação obtida pelos sensores instalados em casa, como o realizado pelo algoritmo de aprendizagem adaptativa online, TIMe. Este estudo especifica que essa aprendizagem adaptativa pode ser usada para observar mudanças no comportamento habitual da pessoa, permitindo a detecção de possíveis problemas de saúde cognitivos ou físicos. No entanto, não especifica a ação que o sistema aplicaria ao testemunhar uma mudança no comportamento habitual do utilizador, não sendo capaz de alertar membros da família quando o usuário está numa emergência. Além disso, o artigo não menciona os tipos de sensores que foram utilizados para o estudo.

Outros estudos centram-se em alertar automaticamente os familiares ou os centros de saúde próximos de emergências sofridas por estas pessoas, como uma queda ou uma mudança de comportamento que revele um problema motor ou cognitivo, para que possam ser atendidos prontamente, evitando que a sua situação vital se agrave e descarregando os serviços de urgência. Botia (Botia, Villa e Palma 2012), que segue o mesmo princípio dos dois estudos acima descritos. Botia propõe um sistema de sensores colocados em cada um dos quartos da casa do utilizador, o sistema é composto por:

- Sensores de movimento em todas as salas.

- Sensores de pressão em diferentes móveis da casa.

- Sensores em todas as portas, para detectar a sua abertura e fecho.

Além de alertar quando uma queda ou outras emergências observadas por comportamento anormal são detectadas, o sistema torna-se mais preciso, pois aprende ao longo do tempo da rotina diária, para que as falsas notificações de queda diminuam em relação aos primeiros dias. Esta solução degrada-se no caso do idoso ter um animal de estimação em casa e no momento que tenha visitas.

Outro sistema similar é proposto por (Just Checking n.d.), que oferece um serviço de monitoramento sem câmeras de vídeo ou microfones: Por meio desse sistema, são capazes de saber as atividades que o idoso está a realizar em casa através de diferentes sensores que são colocados em cada um dos quartos. Os sensores usados são:

- Sensor de movimento sem fios. Estes são colocados em diferentes pontos estratégicos da casa para saber se o utilizador executou todas as ações que precisa realizar na sua rotina diária, por exemplo, para saber se entrou na cozinha para preparar as suas refeições ou comer, ou para saber se entrou na casa de banho ou no quarto à noite para dormir. Com a ajuda desses sensores, o sistema é capaz de criar um gráfico de atividades on-line, onde o cuidador do idoso pode visualizar quais habitações o idoso visitou e por quanto tempo.

- Sensores de porta. Estes são colocados em cada uma das portas da casa do utilizador. Estes sensores têm dois componentes, o contacto e o íman, e através destes é possível saber quando uma porta foi aberta ou fechada. A funcionalidade destes sensores, juntamente com os de movimento, é poder detectar quando o utilizador recebeu uma visita e quanto tempo este visitante esteve em casa, é também possível visualizar quando o utilizador saiu de casa e durante quanto tempo a casa ficou sozinha.

Para além destes sensores, é necessário colocar em casa um dispositivo que funcione como uma base de dados temporária de toda a informação recolhida pelos sensores, que é depois carregada para os servidores Just Checking. Este sistema notifica o telemóvel do técnico de saúde quando a pessoa idosa foi para a cama, se recebeu uma visita à tarde/noite, se o utilizador deixou a porta aberta ao sair de casa (podem ser feitas notificações de porta para cada uma das habitações da casa se o técnico de saúde a configurar desta forma).

O principal problema com este sistema é que ele não é inteligente, por isso não permite que se criem padrões de atividade para detectar possíveis comportamentos estranhos por parte do utilizador, ou para saber se o utilizador caiu. A pessoa que deve estar ciente das mudanças no comportamento ou imobilidade do utilizador é o próprio cuidador, que em muitos casos é um parente próximo que num dia de trabalho duro pode esquecer-se de monitorar a pessoa e não estar ciente de qualquer emergência ou possível problema. Por outro lado, embora seja verdade que a câmara de vídeo é um dispositivo muito invasivo, o microfone pode ser usado para permitir comandos de voz, para que o utilizador tenha mais uma ferramenta à sua disposição no momento de qualquer problema, por exemplo, utilizando um comando de voz de salvamento que envia automaticamente uma notificação ao técnico de saúde ou a um centro de saúde próximo.

Outra motivação para a realização de estudos centrados na ajuda aos idosos em situações de emergência em casa é a redução do custo das grandes instalações. No entanto, até à data, alguns destes estudos já não consideram aspetos de grande importância, como a privacidade dos idosos. Quando requerem um sistema instalado em todos as habitações e em diferentes objetos da casa pode gerar angústia nos utilizadores ao sentirem-se invadidos nas suas próprias casas. Relacionado a isso, o estudo proposto por (Principi et al. 2015) possui um dispositivo com sensores de áudio que está conectado em rede local a todos os tipos de dispositivos. O sistema permite que o utilizador, através de comandos de voz, acione chamadas telefónicas automáticas como um alerta de socorro para um membro da família ou centro de saúde previamente indicado nas configurações. Este sistema tem duas modalidades que serão ativadas dependendo da situação em que se encontra a casa.

- O primeiro modo é o reconhecimento de voz, chamadas e alertas de socorro, que é ativado quando o utilizador está em casa.

- O segundo modo é activado quando o utilizador sai de casa, em que o sistema é activado para fins de vigilância, monitorizando o ambiente acústico para detectar eventos invulgares, e no caso de esta situação ser detectada, o sistema efectua uma chamada de emergência para o número indicado pelo utilizador.

O reconhecedor tem um módulo de cancelamento de ruído que é capaz de reduzir os sons produzidos pelo rádio ou televisão.

Outros trabalhos centram-se nas informações recolhidas por dispositivos wearables, que podem detectar quedas e alertar membros da família ou centros de saúde. Um desses trabalhos está descrito em (Pierleoni et al. 2014), no qual um dispositivo está desenhado para ser usado no tornozelo do utilizado. É capaz de enviar mensagens de alerta para os telefones previamente indicados quando detecta que a pessoa idosa sofreu uma queda potencial. Por outro lado, se a pessoa não se levantar por um período de tempo,  é enviada uma segunda mensagem de alerta de queda crítica. Para a detecção, o dispositivo tem informações de três medições, combina as informações de um acelerômetro triaxial, um giroscópio triaxial e um magnetômetro triaxial usando um algoritmo de fusão de dados conhecido como filtro de orientação. O dispositivo detecta a orientação em tempo real do utilizador.

Por outro lado, o trabalho descrito em (Chernbumroong et al. 2013) desenha um sistema que consiste em três sensores: um acelerômetro, um sensor de temperatura e um altímetro, pois o estudo afirma que com esses três sensores é possível classificar a maioria das atividades que são realizadas por idosos. O sistema vem num relógio desportivo comum, para que os utilizadores não sintam diferença entre usar este dispositivo e um acessório normal para ver as horas. Os dados obtidos são processados para criar padrões de comportamento, sendo capaz de classificar os movimentos realizados pelo utilizador em 9 atividades diferentes da vida diária da pessoa. Utilizaram redes neurais para a classificação e reconhecimento de atividades. O método pode detectar várias atividades diárias, incluindo BADLs, como comer, lavar os dentes, ir para a cama e IADLs, como lavar a loiça, passar a ferro, varrer o chão e ver televisão. No entanto, o estudo apenas reconhece atividades, sem detectar quedas ou outras emergências. Por outro lado, estes estudos concebem dispositivos wearables, que devem ser usados permanentemente, pelo que não são operativos se não forem usados. Além disso, as pessoas não querem sentir-se identificadas como dependentes quando descem a rua, além do fato de que podem sentir-se desconfortáveis porque não estão acostumadas a usá-los. Na verdade, existem dispositivos e sistemas domésticos no mercado, mas a sua aceitação vem com a percepção de serem considerados invasivos. Outra desvantagem é que são esquecidos ou não usados porque são dispositivos removíveis.

Outro produto que se encontra actualmente no mercado é o ENEST (Nestwork n.d.), que é um sistema de segurança que vai numa bracelete, o que permite:

- Falar e ouvir: Ao pressionar um botão é possível comunicar rapidamente com um familiar ou cuidador.

- Estabelecer zonas de geo-segurança: O dispositivo pode ser configurado para delimitar a área geográfica segura para o utilizador, de modo que o parente ou cuidador receba um alerta quando este tiver a atravessar essa área, o que é de grande importância se, por exemplo, o utilizador sofrer algum problema cognitivo.

- Detectar quedas: É enviado um alerta ao membro da família ou cuidador se o utilizador tiver recebido um impacto ou queda acidental.

- Determinar o limite de tempo de inatividade: Um determinado período de tempo pode ser configurado como o limite máximo de tempo de inatividade, para que o dispositivo envie um alerta quando esse tempo for ultrapassado, o que é útil para saber se a queda da pessoa foi crítica, já que ela não conseguiu se levantar, também é útil no caso de a pessoa idosa ter desmaiado, entre muitas outras emergências.

- Determinar a velocidade máxima: Pode definir a velocidade máxima em que o utilizador pode se mover, isso é importante se, por exemplo, o utilizador não pode conduzir devido a algum tipo de condição presente no momento. Quando este limite de velocidade é ultrapassado, é enviado um alerta ou notificação ao familiar ou cuidador do idoso.

O principal problema com esta ferramenta é que se trata de um dispositivo wearable, o que significa que a pessoa deve usá-lo todos os dias como acessório, e esta acção pode ser esquecida, por outro lado, se não estiver habituada a utilizar estes acessórios, pode tornar-se desconfortável ou, se forem pessoas habituadas a utilizar pulseiras ou relógios, pode não querer utilizá-los todos os dias porque também quer utilizar os seus próprios acessórios. Por outro lado, este dispositivo não é capaz de perceber se o utilizador mudou a sua rotina diária ou se ele tem um comportamento incomum na sua própria casa, que, na maioria dos casos, é o ambiente habitual dos idosos. Além disso, a funcionalidade "limite de tempo de inatividade" fornece muitas informações se um alerta de queda também foi recebido, no entanto, esta notificação por si só pode gerar muitos alarmes falsos, já que a pessoa pode simplesmente estar a ver televisão em casa. O DSH é capaz de combinar essa informação com a obtida pelos diferentes sensores integrados, o que permite ao dispositivo optimizar o padrão de comportamento do utilizador.

O estudo descrito por (Joshi e Nalbalwar 2017), apresenta um sistema constituído por uma única câmara que é responsável pela recolha de informação sobre a vida do utilizador, este sistema, tal como o assistente doméstico DSH, destina-se a ser colocado na habitação de maior utilização pelo utilizador. O sistema possui um processo que analisa as informações obtidas pela câmera, que é responsável por observar se o utilizador idoso sofreu uma queda. Faz isso detectando quatro características: a razão de aspecto, o ângulo de orientação, o centro das massas, as invariantes momentâneas das imagens de Hu. Se o sistema considerar que o utilizador sofreu uma queda, notifica através de um e-mail as pessoas previamente indicadas, para quem parte do vídeo gravado e das capturas de ecrã são enviadas como anexo. Além disso, é possível observar uma transmissão directa a partir da sala de estar. Este estudo permite que os cuidadores de uma pessoa idosa sejam alertados quando esta sofre uma queda. No entanto, não é capaz de observar emergências fora da área visualizada, pois o sistema não considera o tempo em que o usuário não está no seu campo de visão. Por outro lado, ao usar uma câmera de vídeo, este sistema não terá a aceitação desejada, considerando que muitos dos utilizadores pensam que a câmera é um dispositivo muito invasivo.

A solução proposta neste estudo, DSH, é um dispositivo que é projetado para ser um sistema que esteticamente se parece com um simples objeto decorativo da casa e que internamente tem todos os sensores necessários para realizar o reconhecimento dos padrões de vida diária do utilizador. A inteligência artificial será capaz de realizar treinos, melhorando continuamente a identificação dos padrões de vida armazenados. Este dispositivo deve ser colocado na sala onde o utilizador realiza mais actividades ou passa mais tempo. Em princípio, pensou-se que o assistente DSH deveria ser colocado na sala, uma vez que muitos destes idosos passam muito do seu tempo a ver televisão naquele local.

O assistente para o lar DSH, por outro lado, será um dispositivo altamente configurável, uma vez que irá diferenciar a presença de um animal de estimação, bem como as visitas familiares planeadas. Também será possível estabelecer dias de ausência por parte do utilizador idoso, o tipo de notificação preferido por membros da família, contatos da família ou do centro de saúde para contato em situações de emergência. Outro problema discutido acima são as dimensões dos sistemas propostos nos estudos mencionados, uma vez que eles podem exigir um grande número de sensores, o que se torna muito caro e requer um tempo de instalação maior, sendo desconfortável para os idosos. O DSH, por outro lado, pretende ser um dispositivo único que esteticamente não se destaca no ambiente doméstico e só precisa ser conectado à corrente, sendo assim mais barato e menos invasivo.

O assistente DSH não inclui uma câmera de vídeo, uma vez que os sensores que possui integrados são suficientes para identificar padrões de rotina do utilizador, o que permite inferir quando a pessoa tem um problema ao apresentar variações estranhas nas ações realizadas ao longo do dia, mesmo que tenha tido um problema em outra habitação, o sistema poderia detectá-lo ao observar que o utilizador está muito tempo sem entrar na sala.

Todos esses aspectos (áudio) são considerados pelo dispositivo DSH, mas além disso, o dispositivo proposto no nosso projeto inclui outros sensores para não apenas funcionam por comandos de voz, mas também para perceber mudanças no comportamento diário da pessoa, caso ela não consiga pronunciar o comando de voz, é possível identificar a emergência por outros aspectos.

O dispositivo DSH irá incorporar: sensor de som, sensor de movimento, sensor de temperatura e sensor infravermelho para visualizar se a pessoa está a ver televisão.

Da mesma forma, terá um processo de análise de dados por inteligência artificial que permitirá criar um padrão de comportamento do utilizador, de modo que se por exemplo, o utilizador entra normalmente na sala às 10:00 da manhã, e por alguma razão é 10:30 ou 11 não o fez, é enviada uma mensagem de possível alerta; como este caso, no momento em que o dispositivo DSH testemunha qualquer mudança no seu comportamento comum, envia uma notificação aos familiares.

PROCESSAMENTO DE DADOS

Os sistemas de reconhecimento devem ser capazes de classificar as atividades humanas (básicas) na vida cotidiana (Cornacchia et al. 2017), sejam corporais, como correr, andar, sentar, ficar em pé, cair, caminhar, saltar, deitar-se ou subir escadas, ou interativas, como higiene, limpeza doméstica, fazer comida ou próprias de um escritório.

SENSORES

Para detectar estas atividades, os dados provenientes do corpo do ambiente são mostrados com sensores, normalmente entre 20Hz e 50Hz. O móveis e o corporais podem ser:

- Dispositivos móveis, que podem combinar informações contextuais de localização. Neste grupo estão A/M/G (acelerômetros, giroscópios e magnetômetros), GPS, microfone ou câmera.

- Móveis corporais wearables, comumente vistos para monitorar a atividade desportiva.

- Médicos específicos, que são colocados no corpo para medir sinais biológicos de interesse médico, como termómetros corporais, contadores de pulso, monitores de pressão arterial, oxímetros, glucómetros, eletrocardiógrafo (ECG), eletromiógrafo (EMG), eletroculógrafo (EOG) ou eletroencefalograma (EEG).

Por outro lado, os sensores ambientais estão localizados no ambiente onde a pessoa se desenvolve e a sua vantagem é que não incomodam ao não ir aplicados, mas, pelo contrário, os seus sinais são mais afetados pelo ruído. Alguns exemplos (Acampora et al. 2013):

- Termómetros

- Barómetros

- Microfones

- Câmaras dispostas de acordo com uma inteligência ambiental

- Infravermelhos passivos (PIR), que detectam movimento

- Infravermelhos activos, que também permitem a identificação - Identificadores de radiofrequência (RFID), para identificar e localizar objectos

- Sensores de pressão, que vão em cadeiras, tapetes ... - Azulejos inteligentes, que detectam a pressão sobre o pavimento - Interruptores magnéticos, que detectam a abertura e fecho de portas de armários

- Ultra-sons, que detectam movimento.

PREPROCESSMENTO DE SINAIS

Os sinais dos sensores são pré-processados para preencher os valores nulos, reduzir o ruído e obter as suas características relevantes (Nweke et al. 2019). Os métodos utilizados na limpeza de dados são:

- Imputação em árvores, i-Tree,

- Factorização multi-matricial

- k vizinhos mais próximos, k-NN

- Eliminar instâncias.

As técnicas também são usadas para reduzir o ruído de sinal com transformação de domínio de frequência ou transformação de wavelet empírica, para filtrar passagens altas ou baixas, ou para aplicar filtros eficientes como Laplace, Kalman ou Gauss.

O pré-processamento também emprega técnicas de segmentação de tempo que, juntamente com a seleção da largura da janela, permitem a extração de recursos interessantes, como janelas deslizantes, baseadas em eventos ou baseadas em energia.

Para finalizar o tratamento é necessário tornar os dados gerenciáveis, portanto é necessário reduzir a sua dimensionalidade para obter subconjuntos de variáveis que, além disso, aumentam a precisão da classificação (Nweke et al. 2019). Os métodos normalmente utilizados são:

- Análise de Componentes Principais (PCA)

- Função de Distribuição Cumulativa (ECDF)

- Análise de Independência de Componentes (ICA)

- Análise Discriminante Linear (LDA)

CARACTERIZAÇÃO RELEVANTE DE DADOS

Uma vez pré-processados os sinais, as suas características são extraídas, utilizando métodos tradicionais, artesanais ou de aprendizagem profunda, que permitem tratar grandes quantidades de dados e melhorar a precisão. Os tradicionais analisam o sinal através de :

- Domínio do Tempo

- Domínio da Frequência

- Hilbert-Huang Domínio (HHT)

Por outro lado, o deep learning reduz o tempo e a dependência dos métodos tradicionais. Ele usa as suas múltiplas camadas para diferenciar entre atividades elementares e de alto nível. O reconhecimento da actividade com aprendizagem profunda pode ser generativo (não supervisionado) ou discriminativo (supervisionado). Entre os generativos utilizam-se:

- Máquina Boltzman Restrita (RBM), que dá uma representação robusta das características mas é computacionalmente complexa, o que dificulta a otimização.

- Autocodificador profundo (Wang et al. 2016), reduz a dimensionalidade de forma robusta e invariável antes de alterações nas distribuições de dados, mas não é muito escalável, exigindo muitas etapas de amostragem, sendo difícil de otimizar e não funcionando bem com recursos não lineares.

- Sparse Coding, reduz bem a dimensionalidade e extrai características robustas, mas difícil de implementar correctamente.

E como discriminativos são usados:

- Rede neural convolucional (CNN), que dá jogo na extração de características (Ignatov 2018), mas requer um alto ajuste de hiperparâmetros e um grande número de amostras para minimizar o seu excesso de ajuste.

- Rede neural recorrente (RNN), muito comum para modelagem temporal e sequências de sensores, mas difícil de lidar e pode precisar de muitos parâmetros para atualizar. Um exemplo particular é a rede de Memória de Longo/Curto Prazo (LSTM), que pode melhorar o desempenho entre 4% e 9%, embora o desempenho se deteriore à medida que os gradientes desaparecem ou ficam sobrecarregados (Ordóñez et al. 2016).

CLASSIFICAÇÃO DAS ACTIVIDADES

Finalmente, os sinais são classificados usando técnicas de autoaprendizagem:

- Support Vector Machines (SVM)

- Árvores de decisão ou combinando-as com random forest

- Agrupando os vizinhos mais próximos (k-NN) ou com K-means

- Modelos ocultos de Markov (HMM) - Modelos de mistura de componentes gaussianos (GMM)

- Mapas auto-organizadores ou redes Kohonen (SOM)

- Modelos neurais de Deep Learning  o Redes Neurais Convolucionais (CNN) ou Redes Recorrentes (RNN) o LSTM (Long-short term memory) o Autoencoders

FERRAMENTAS TÉCNICAS

As ferramentas comumente usadas para construir modelos são (Nweke et al. 2019):

- Microsoft Cognitive Toolkit

- Deeplearning4J, para Java

- Matlab

- Bibliotecas Python: TensorFlow, Theano, Keras, Torch ou Pytorch.

TÉCNICAS COMBINADAS (FUSÃO)

O reconhecimento da atividade melhorou naturalmente com a combinação de informações, produzindo maior robustez, generalização, precisão, diferenciação, menor ruído e complementaridade (Onofri et al. 2016). Isto leva a uma maior fiabilidade e menor incerteza na monitorização da saúde e na identificação das atividades quotidianas (Nweke et al. 2019). A fusão pode ocorrer em três níveis: combinando sensores, recombinando intuitivamente características de dados aplicando transformações a outros domínios ou através de técnicas de aprendizagem profunda e combinando classificadores.

COMBINAÇÃO DE SENSORES E APLICAÇÃO DE VÁRIAS TÉCNICAS DE PRÉ-PROCESSAMENTO

Normalmente usado para aumentar a confiabilidade e reduzir o ruído no monitoramento de saúde ou ADL. Por um lado, é possível obter dados simultâneos de diferentes tipos de sensores ou limpar os registros que chegam para obter dados de qualidade.

COMBINAÇÃO DE TIPOS DIFERENTES DE SENSORES

A um nível baixo, sinais da mesma natureza, homogêneos ou de diferentes tipos de sensores, heterogêneos, podem ser combinados em tempo real, utilizando métodos probabilísticos que refinam os resultados. Os sensores podem ser combinados fisicamente de acordo com a sua modalidade ou podem ser aplicados métodos de fusão. Os sensores básicos que normalmente se fundem são os inercializados, tais como A/M/G (acelerômetro, magnetômetro, giroscópio), multimodais, tais como sinais biológicos, ambiente, objetos, visão e localização. A tendência atual é combinar vários sensores inerciais com vários multimodais (Nweke et al. 2019):

Além de combinar as informações do sensor, são utilizadas as seguintes combinações de métodos de limpeza:

- Aplicação da média ponderada e dos mínimos quadrados, permitindo corrigir uma potencial colocação ou orientação inadequada dos dispositivos.

- Utilização de um filtro Kalman, para corrigir o sinal com os valores temporários anteriores, embora seja apenas para valores lineares ou normais. Kalman é bom para fundir dados de acelerômetros e giroscópios e são usadas modificações como Extended Kalman, que é muito eficiente, Extended Kalman por quaternions, ou o Rao-blackwellization sem essência

- Rao-blackwellization unscented.

- Teoria Dempster-Shaffer, que caracteriza as imperfeições e desvios dos sensores antes de interpretar os seus dados.

- Encaminhamento de epidemias, que reduz o consumo de energia (vital neste contexto) e atrasa  de transmissão.

- Teoria dos gráficos, que combina com a atividade em redes sociais ou com informações provenientes de correlação canônica profunda, que aprende transformações não-lineares complexas de dados heterogéneos, obtendo correlações praticamente lineares.

São combinadas as fontes de dados de diferentes sensores usando machine learning suportado por técnicas tradicionais, handcrafed feature ou com deep learning.

EXTRACÇÃO DE CARACTERÍSTICAS COM TÉCNICAS TRADICIONAIS

A extracção de características relevantes é essencial para o reconhecimento da actividade humana. Juntamente com a redução da dimensionalidade, minimizam o erro de classificação e identificam o conjunto de variáveis que melhor discrimina a atividade:

- Devido ao tipo de transformação da variável, no domínio do tempo (valores estatísticos centrais e de dispersão) e no domínio da frequência (energia espectral com transformada de Fourier (FFT) ou Coseno, ambos bons em problemas lineares. Hilbert-Huang melhor para não-linear.

- Por seleção de variáveis, por meio de filtros, algoritmos envolventes, wrappers, que dependem dos seus classificadores ou inserções, embedded. Utilizam-se métodos discriminantes como Kernel-Fisher, Mínimo redundância-Máximo relevância, Correlação ou ReliefF, ou mais recentes como os diversified forward-backward com regressão logística, power-aware,  elitist binary Wolf search algorithm (EBWSA)

- Aplicando machine learning. SVM, k-NN, ANN, árvores de decisão, random forest, HMM, Bayes- Naïve, aprendizagem multikernel, kernel gaussiano, classificador discriminante linear, clustering K- means. HMM e árvores para reconhecimento hierárquico de atividades (baixo e alto nível). K- mens é usado para agrupar actividades semelhantes antes da sua integração em actividades de alto nível.

EXTRACÇÃO DE CARACTERÍSTICAS COM APRENDIZAGEM A combinação mais comum é a da CNN com:

- RNN, para estabelecer dependências entre espaço e tempo através da combinação de sensores, ou para extrair características invariantes do deslocamento

- LSTM, para reconhecimento de diversas atividades simultâneas, mas consome muitos recursos o que dificulta aplicações em tempo real

- LSTM bidirecional com sensores multimodais para monitoramento médico

- Autoencoder, utilizado para detecção de quedas usando sensores corporais - RBM, para extrair características invariantes quando o indivíduo se move e reduzir o tamanho dos exemplos, mas os escassos conjuntos de dados e usar um único sensor, mas reduz a generalização

- Deep belief network, que é usado para pré-diagnóstico médico e corretamente para teleasistência

- Gated RNN (GRU), para análise de sensores e monitoramento de atividade, mas consome muitos recursos, por isso não é aconselhável em tempo real. O deep learning também é utilizado com o apoio de técnicas tradicionais, o que reduz a carga computacional, embora não sejam eficientes na extração de características temporais:

- CNN, para reconhecimento de atividade com sensores móveis

- LSTN e rede de densidade de mistura (MDN), que resolvem o problema de ter poucos exemplos para treinar, pois geram um conjunto de dados sintéticos, que, para distingui-lo do real, usam médias heurísticas

- Rede convolucional de código disperso, codificação esparsa, com dispersão de camadas completamente conectadas, reduzindo o kernel, para descarregar a memória de trabalho, embora seja muito difícil usar código disperso

- Deep belief combinada com código disperso tem aplicações médicas em pessoas idosas e tem o mesmo comportamento que o anterior.

A aprendizagem por transferência é usada para encurtar o treino e reduzir a dependência de como os sensores são colocados.

CLASSIFICADORES ELEMENTARES

Os classificadores elementares que são normalmente utilizados para a sua montagem são: Árvores de decisão, SVM, HMM, ANN e LDA, que são combinadas de acordo com os seguintes métodos de concepção

- Diversificação de modelos, alcança grande diferenciação, aumenta a confiabilidade do predição e generalização. O único problema está na decisão do classificador

- Manipulação de características de entrada, garante dependências entre os classificadores utilizados e mais rápido, reduzindo o espaço de entrada, mas corre o risco de incluir características irrelevantes e sofre o problema da fragmentação, especialmente se forem poucas instâncias

- Inicialização aleatória, fornece diferenciação numa distribuição espacial não-linear, mas partilha de dados com bagging, boosting ou cross validation, o que, através da aplicação de diferentes hipóteses, permite uma maior diferenciação e consistência e menos incerteza. Inadequado para muitas dimensões ou para ser usado isoladamente.

E isso é feito de acordo com os seguintes critérios de montagem:

- Unindo a classe do dataset por consenso ou por consenso ponderado. Amplamente utilizado, embora não tenha mais garantias do que se usar apenas um classificador - fusão treinável, com teoria Dempster-Shafer, soma ponderada, modelo localizado ou por comitê aleatório. A otimização melhora a precisão e reduz as incertezas, mas as saídas podem ser confundidas

- Fusão com função de suporte, por probabilidades a posteriori, Naïve-Bayes, Agregação de meios, seleção de preferenciais, por espaço de conhecimento comportamental. Eficaz e preciso, mas impõe condições muito restritivas aos classificadores, o que dificulta a sua aplicação na prática.

INTELIGÊNCIA AMBIENTAL

Por outro lado, a Inteligência Ambiental (IA) é um novo paradigma que melhora as possibilidades das pessoas através de "ambientes digitais" que percebem, adaptam e respondem às suas necessidades, hábitos, gestos ou emoções. A AmI tira partido da informação contextual, é personalizada para cada indivíduo, antecipa, adapta-se às necessidades, está localizada em todo o lado e não é invasiva ao nível do corpo.

Normalmente, são fornecidos dois tipos de infraestrutura de comunicação para sensores de AmI ao construir um ambiente inteligente (Acampora et al. 2013):

- Rede de Área Corporal (BAN, em analogia com LAN), composta por sensores na roupa ou pele. Os sinais vitais são monitorizados e utilizados para melhorar a saúde e a qualidade de vida. A comunicação é estabelecida em 3 camadas: intra-sensores, para distâncias em torno de 2 metros, inter-sensores, que se comunicam com pontos de acesso e além da BAN, sendo capaz de se conectar em qualquer ponto da área metropolitana com um dispositivo que atua como gateway

- Wireless Dense/Mesh Sensor Networks (WMSN), composto por sensores localizados em objetos e locais da vida cotidiana, como roupas, móveis, etc. Os sensores também podem atuar como relés para outros sensores e são conectados através de gateways, pontos de acesso ou nós móveis ou estacionários.

Recentemente estão a ser desenvolvidas estruturas para sistemas de sensores mais convenientes, como sensores epidérmicos e microsensores eletromecânicos (MEMS) do tipo A/G/M, detector de CO2, sensor gás ou médico.

DESAFIOS PARA O RECONHECIMENTO DA ATIVIDADE NOS LARES PARA O TELEASSISTÊNCIA

A Securhome procura uma diferenciação tecnológica que proporcione uma solução robusta e fiável. Para o fazer, tem de enfrentar os seguintes desafios comuns à investigação neste domínio:

- É necessário aumentar a robustez, generalização e confiabilidade da corrente, bem como reduzir a incerteza e aumentar a precisão das técnicas de classificação.

- A coleta massiva de dados e o tedioso processo de anotação tornam necessário automação para alcançar esses objetivos. - Reduzir a sobrecarga invasiva dos dispositivos de monitoramento corporal.

- Os sensores de vídeo e ambientais funcionam em ambientes fixos, o que não os torna adequados para reconhecimento de atividade.

- O vídeo também invade a privacidade, localiza pessoas e captura informações colaterais, tornando-os indesejáveis. - Os sensores ambientais são muito afetados pelo ruído e isso deve ser resolvido.

- Possível exposição excessiva à radiação de alguns dispositivos por parte das pessoas monitorizadas.

- É necessário aprofundar o estudo da fusão entre sensores multimodais com outros contextos, tais como redes sociais ou com detalhes de alto nível de abstração.

No que diz respeito aos desafios que devem assumir deep learning concretamente encontram-se:

- O uso de deep learning online pode trazer grandes beneficios en la mejora de la detección. No entanto, os sensores, especialmente os móveis, apenas utilizam modelos que já foram treinados offline, pelo que a comunicação com o servidor e a computação local no dispositivo foi reduzida ao mínimo para poupar energia.

- O deep learning requer maior precisão para reconhecer a atividade, portanto, o seu treino precisa de grandes quantidades de dados.

A generalização da implantação destas aplicações com infraestruturas do tipo sensor grid ou Internet das Coisas (IoT) facilita o uso de crowdsourcing, facilitando a captura massiva de dados de vários indivíduos para treinar melhor o modelo. Da mesma forma, a interconexão facilita a transferência de informação entre diferentes domínios automaticamente, deep transfer learning.

- É necessário obter modelos mais flexíveis para reconhecer atividades de alto nível, tais como a combinação de sensores ou fundir a informação com o contexto.

- Há uma nova linha de investigação chamada aprendizagem profundo ligeiro que combina deep learning com técnicas tradicionais ou redes neurais padrão.

REFERÊNCIAS

Acampora, Giovanni, Diane J. Cook, Parisa Rashidi, and Athanasios V. Vasilakos. 2013. “A Survey on Ambient Intelligence in Healthcare.” Proceedings of the IEEE 101(12):2470–94. Retrieved February 8, 2019 (http://ieeexplore.ieee.org/document/6579688/). 

Botia, Juan A., Ana Villa, and Jose Palma. 2012. “Ambient Assisted Living System for In-Home Monitoring of Healthy Independent Elders.” Expert Systems with Applications 39(9):8136–48. Retrieved February 8, 2019 (https://linkinghub.elsevier.com/retrieve/pii/S095741741200173X). 

Chernbumroong, Saisakul, Shuang Cang, Anthony Atkins, and Hongnian Yu. 2013. “Elderly Activities Recognition and Classification for Applications in Assisted Living.” Expert Systems with Applications 40(5):1662–74. Retrieved February 8, 2019 (https://linkinghub.elsevier.com/retrieve/pii/S0957417412010585). 

Cornacchia, Maria, Koray Ozcan, Yu Zheng, and Senem Velipasalar. 2017. “A Survey on Activity Detection and Classification Using Wearable Sensors.” IEEE Sensors Journal 17(2):386–403. Retrieved February 8, 2019 (http://ieeexplore.ieee.org/document/7742959/). 

Ignatov, Andrey. 2018. “Real-Time Human Activity Recognition from Accelerometer Data Using Convolutional Neural Networks.” Applied Soft Computing 62:915–22. Retrieved February 8, 2019 (https://www.sciencedirect.com/science/article/pii/S1568494617305665). 

Joshi, Nirmala B. and S. L. Nalbalwar. 2017. “A Fall Detection and Alert System for an Elderly Using Computer Vision and Internet of Things.” Pp. 1276–81 in 2017 2nd IEEE International Conference on Recent Trends in Electronics, Information & Communication Technology (RTEICT). IEEE. Retrieved February 8, 2019 (http://ieeexplore.ieee.org/document/8256804/). 

Just Checking. n.d. “Hello, We’re Just Checking.” Retrieved February 8, 2019 (https://justchecking.co.uk/about-us). 

Lago, Paula, Claudia Roncancio, and Claudia Jiménez-Guarín. 2019. “Learning and Managing Context Enriched Behavior Patterns in Smart Homes.” Future Generation Computer Systems 91:191–205. Retrieved February 8, 2019 (https://www.sciencedirect.com/science/article/pii/S0167739X18307180). 

Nestwork. n.d. “Solución Personal Móvil de Localización y Emisión de Alertas.” Retrieved February 8, 2019 (http://www.nestwork.eu/que-es-enest/). 

Nweke, Henry Friday, Ying Wah Teh, Ghulam Mujtaba, and Mohammed Ali Al-garadi. 2019. “Data Fusion and Multiple Classifier Systems for Human Activity Detection and Health Monitoring: Review and Open Research Directions.” Information Fusion 46:147–70. Retrieved February 8, 2019 (https://www.sciencedirect.com/science/article/pii/S1566253518304135). 

Onofri, Leonardo, Paolo Soda, Mykola Pechenizkiy, and Giulio Iannello. 2016. “A Survey on Using Domain and Contextual Knowledge for Human Activity Recognition in Video Streams.” Expert Systems with Applications 63:97–111. Retrieved February 8, 2019 (https://www.sciencedirect.com/science/article/pii/S0957417416302913). 

Ordóñez, Francisco, Daniel Roggen, Francisco Javier Ordóñez, and Daniel Roggen. 2016. “Deep Convolutional and LSTM Recurrent Neural Networks for Multimodal Wearable Activity Recognition.” Sensors 16(1):115. Retrieved February 8, 2019 (http://www.mdpi.com/14248220/16/1/115). 

Pierleoni, Paola, Alberto Belli, Lorenzo Palma, Luca Pernini, and Simone Valenti. 2014. “A Versatile Ankle-Mounted Fall Detection Device Based on Attitude Heading Systems.” Pp. 153–56 in 2014 IEEE

Biomedical Circuits and Systems Conference (BioCAS) Proceedings. IEEE. Retrieved February 8, 2019 (http://ieeexplore.ieee.org/document/6981668/). 

Pollack, Martha E. et al. 2003. “Autominder: An Intelligent Cognitive Orthotic System for People with Memory Impairment.” Robotics and Autonomous Systems 44(3–4):273–82. Retrieved February 8, 2019 (https://www.sciencedirect.com/science/article/pii/S0921889003000770). 

Principi, Emanuele, Stefano Squartini, Roberto Bonfigli, Giacomo Ferroni, and Francesco Piazza. 2015. “An Integrated System for Voice Command Recognition and Emergency Detection Based on Audio Signals.” Expert Systems with Applications 42(13):5668–83. Retrieved February 8, 2019 (https://www.sciencedirect.com/science/article/pii/S0957417415001438). 

Uddin, Md Zia, Weria Khaksar, and Jim Torresen. 2018. “Ambient Sensors for Elderly Care and Independent Living: A Survey.” Sensors (Basel, Switzerland) 18(7). Retrieved February 8, 2019 (http://www.ncbi.nlm.nih.gov/pubmed/29941804). 

Wang, Aiguo, Guilin Chen, Cuijuan Shang, Miaofei Zhang, and Li Liu. 2016. “Human Activity Recognition in a Smart Home Environment with Stacked Denoising Autoencoders.” Pp. 29–40 in. Springer, Cham. Retrieved February 8, 2019 (http://link.springer.com/10.1007/978-3-319-47121-1_3).