9/29/21 · News

Improving language disorders with technology

This coming 30 September, Spanish-speaking countries are celebrating International Developmental Language Disorder (DLD) Awareness Day. DLDs are oral language development disorders affecting expression and comprehension that cause problems in social development and school learning
ehealthcenter

L'eHealth Center, el centre en recerca de salut digital de la UOC, impulsa la recerca sobre aquest trastorn amb eines tecnològiques.

Millorar la detecció, l'avaluació i la intervenció dels infants amb trastorns del llenguatge amb l'impuls de la tecnologia és l'objectiu principal del Grup de Recerca en Cognició i Llenguatge GRECIL), adscrit a l'eHealth Center, de la Universitat Oberta de Catalunya (UOC), i encapçalat per l'investigador Llorenç Andreu, catedràtic dels Estudis de Psicologia i Ciències de l'Educació de la UOC.

Andreu lidera el NeuroDevelop eHealth Lab, que forma part de l'eHealth Center i disposa de la col·laboració d'un grup de professionals de la neuropsicologia de l'Hospital Sant Joan de Déu. L'equip treballa en l'avaluació i la intervenció de les habilitats comunicatives d'infants amb trastorns del neurodesenvolupament, com ara el mateix trastorn específic del llenguatge (TEL), la dislèxia, la disgrafia, la discapacitat intel·lectual o el trastorn de l'espectre de l'autisme (TEA).

El grup d'Andreu utilitza principalment dos tipus de dispositius: els Kinect, que registren els moviments corporals i la veu i permeten al pacient interactuar amb l'ordinador, i els eye trackers, que permeten registrar la mirada dels pacients. "Aquests dispositius obren grans possibilitats als professionals de la logopèdia, que poden usar els senyals obtinguts i també dissenyar aplicacions per intervenir en els problemes de la parla i del llenguatge", explica l'investigador.

Azure Kinect, un gran potencial en salut

En la seva recerca, el NeuroDevelop eHealth Lab utilitza l'Azure Kinect, que va ser llançat per Microsoft el 2019 i que té "un gran potencial en el camp de la salut", explica Andreu. Aquesta eina, equipada amb dues càmeres, un micròfon i un sensor, permet reconèixer objectes, moviments i sons i registra dades com ara el temps i la precisió en la pronúncia; per exemple, si es completen les paraules, la precisió de cada síl·laba, etc. A més de registrar aquestes dades, el dispositiu permet dissenyar aplicacions amb ludificació per a un aprenentatge lúdic i intensiu adreçat a infants amb trastorns del neurodesenvolupament.

"El dispositiu permet reconèixer la veu dels pacients, els seus moviments corporals i els gestos de les mans. Això obre un gran ventall de possibilitats per crear programes d'intervenció que combinin el treball de les habilitats comunicatives amb activitats motrius i poder fer exercicis tant de comprensió com de producció", assegura Andreu.

Els dispositius Kinect també s'utilitzen en la recuperació de pacients que fan rehabilitació motora; per exemple, els que han tingut un ictus. Per a l'investigador, un dels principals obstacles en la implantació clínica dels dispositius és "la manca d'aplicacions enfocades als usuaris". Un altre obstacle, explica, és que tant el Kinect com els sistemes d'eye tracking "són aparells que requereixen coneixements informàtics avançats per poder-los programar i analitzar-ne els resultats. Per tant, el que calen són solucions digitals integrals que permetin als professionals crear activitats i exercicis de manera senzilla i interpretar-ne els resultats. Si s'aconsegueix això, l'ús d'aquests instruments es podrà generalitzar fàcilment".

La importància de la mirada en la comprensió

Els dispositius eye trackers funcionen amb uns raigs infrarojos de baixa freqüència que generen dos reflexos en la còrnia, i això permet detectar en quin punt de la pantalla està enfocant la mirada el pacient. Tenint en compte que les persones mirem els referents visuals de les coses que són nomenades o esmentades, un eye tracker es pot utilitzar per avaluar la comprensió d'una persona mentre escolta una narració alhora que se li mostren imatges associades. Aquests dispositius també poden ser una eina útil per a persones amb mobilitat reduïda per tal que puguin moure el cursor d'un ordinador amb els ulls i, d'aquesta manera, es puguin comunicar.

Andreu pensa que els eye trackers "no tenen tanta aplicació en la pràctica clínica com els Kinect. Es perfilen més aviat com una eina de diagnòstic de trastorns del llenguatge, i no pas com a possible intervenció terapèutica". I, de nou, el principal obstacle per implantar-los a gran escala és la manca d'aplicacions que en facilitin l'ús als professionals.

Finançament del Ministeri de Ciència i Innovació

El projecte del NeuroDevelop eHealth Lab, liderat per Llorenç Andreu, ha rebut finançament del Programa de finançament de projectes d'R+D+I 2020 del Ministeri de Ciència i Innovació. L'estudi d'Andreu és un dels nou projectes de recerca de la UOC que el Ministeri finançarà amb la seva convocatòria recent.

L’eHealth Center

L'eHealth Center té la missió de fomentar la recerca en salut digital de manera transversal a la UOC per esdevenir un agent de canvi social que impulsi una transformació del sistema de salut. 

The eHealth Center, the UOC’s e-health research centre, promotes research into this disorder with technological tools.

Harnessing technology to improve detection, assessment and intervention in children with language disorders is the main goal of GRECIL, the Cognition and Language Research Group affiliated to the Universitat Oberta de Catalunya's (UOC) Llorenç Andreu.

Andreu leads the NeuroDevelop eHealth Lab, which forms part of the eHealth Center, with the collaboration of a group of neuropsychology professionals from Sant Joan de Déu Barcelona Hospital. The team works on the assessment and treatment of the communication skills of children with neurodevelopmental disorders, such as developmental language disorder (DLD) itself, dyslexia, dysgraphia, intellectual disability and autism spectrum disorder (ASD).

Andreu's group uses primarily two types of device: Kinect, which records the patient's body movements and voice and enables them to interact with a computer, and eye trackers, which record what patients are looking at. "These devices open up huge possibilities for speech therapists, enabling them to use the signals gathered and design applications to treat speech and language issues," explained the researcher.

Azure Kinect, a tool with great health potential

The NeuroDevelop eHealth Lab usesAzure Kinect in its research. According to Andreu, this tool, which was released by Microsoft in 2019, has "great potential in the field of health". Fitted with two cameras, a microphone and a sensor, it can recognize objects, movements and sounds. It also records information such as pronunciation time and accuracy, for example whether words are pronounced in full or the accuracy of each syllable. In addition to recording this information, the device allows you to design gamified applications for intensive play-based learning to help children with neurodevelopmental disorders.

Andreu said: "The device allows you to recognize the patient's voice, body movements and hand gestures. This opens up a whole host of possibilities for thecreation of treatment programmes combining working on communication skills with motor activities and the ability to do both comprehension and production exercises."

Kinect devices are also used for recovering patients who are undergoing motor rehabilitation, such as those who have suffered a stroke. In the researcher's opinion, one of the main factors hindering the clinical implementation of these devices is "a lack of user-centred applications." According to him, another obstacle is the fact that both Kinect and eye tracking systems "require advanced computer skills in order to program them and analyse their results. We therefore need comprehensive digital solutions that enable professionals to easily create activities and exercises and analyse their results. Achieving this could easily lead to the widespread use of these tools."

The significance of eye gaze in comprehension

Eye trackers use low-frequency infrared rays that create two reflections in the cornea. This enables them to detect where on the screen the patient's eyes are focusing. Since people look at the visual references of any items being named or mentioned, eye trackers can be used to assess a person's comprehension by showing them related images while they're listening to something being narrated. These devices can also provide a useful tool for people with reduced mobility, enabling them to communicate by moving the cursor on a computer with their eyes.

Andreu believes that eye trackers "don't have as much potential for application in clinical practice as Kinect devices. Their function appears to be more that of a language disorder diagnosis tool than a potential tool for therapy". And the main obstacle hindering their large-scale implementation is, once again, the lack of applications making them easier to use by professionals.

Funding from the Spanish Ministry of Science and Innovation

The NeuroDevelop eHealth Lab project, led by Llorenç Andreu, has received funding from the Spanish Ministry of Science and Innovation I+D+i 2020 grants programme. Andreu's study is one of nine UOC research projects to receive funding from the Ministry's recent call for proposals.

The eHealth Center

The eHealth Center's mission is to foster e-health research across all disciplines in the UOC in order to become an agent of social change that will drive the transformation of the health system. 

Press contact

Contacte

Uneix-te a nosaltres i fem possible el canvi.

Contacta

Other news

Show more

Contact us

*Mandatory questions