Comprendre la situation dans son ensemble : le groupe informatique d’images et de vidéos

Les recherches du professeur adjoint Danna Gurari portent sur l’utilisation d’ordinateurs pour analyser des images et des vidéos. Une grande partie de ses travaux récents portent sur l’amélioration de la confidentialité numérique des personnes aveugles ou malvoyantes (BLV) ainsi que sur l’analyse des images médicales.

Lorsqu’on lui a demandé ce qui motive ses recherches, Gurari a répondu qu’elle était motivée par le désir d’avoir un impact sur la vie des gens.

« J’essaie de trouver des problèmes basés sur des données du monde réel dans des applications du monde réel. Ce type de données est difficile à obtenir, mais c’est ce qui me passionne vraiment. Cela et le mentorat des étudiants », a déclaré Gurari.

Apprenons-en davantage sur les recherches que mènent les membres de son laboratoire :

Atharva Peshkar, doctorante en deuxième année

Atharva Peshkar améliore la radiothérapie des patients atteints de cancer en créant un avatar personnalisé qui modélise le corps et les habitudes respiratoires de chaque patient.

Les petits mouvements du corps du patient sont utilisés pour ajuster minutieusement la position du pistolet à rayonnement en temps réel. Cela garantit que le flux de rayonnement se déplace avec le corps et reste dirigé sur la tumeur, au lieu de cibler les tissus environnants.

Cette innovation a été récemment reconnue par l’Association américaine des physiciens en médecine comme un résumé « meilleur en physique », un honneur reçu par moins de 1 % des soumissions.

Lorsqu’on lui a demandé pourquoi il avait choisi Gurari comme conseiller, Peshkar a répondu qu’il avait parlé aux membres du laboratoire avant de le rejoindre.

« Ils ont dit qu’elle me soutenait vraiment et j’ai pensé que je devrais aller dans son laboratoire parce qu’un doctorat va prendre cinq ans et j’ai besoin d’un conseiller qui comprend mes objectifs », a déclaré Peshkar.

Il a déclaré que Gurari avait été un excellent guide, tout comme ses camarades de groupe, comme Myers-Dean, qui l’a aidé avec l’infrastructure informatique de CU à son arrivée.

Everley Tseng, doctorant en troisième année

Les recherches d’Everley Tseng se concentrent en grande partie sur la préservation de la confidentialité visuelle des personnes malvoyantes et aveugles grâce à l’IA.

Un projet auquel elle a contribué implique un ensemble de données artificielles de contenu privé. L’équipe, composée de chercheurs de l’Université du Colorado à Boulder, de l’Université de l’Illinois et de l’Université de Washington, a créé de faux objets « privés », comme des tests de grossesse, des contenants de pilules sur ordonnance et des factures que les gens de BLV ont pris en photo.

Cet ensemble de données est utile pour la recherche visant à préserver le droit à la vie privée des personnes aveugles et malvoyantes.

« Il est important pour moi de poursuivre cette recherche car nous construisons des systèmes d’assistance qui, selon les commentaires des utilisateurs, peuvent leur être très utiles dans leur vie quotidienne », a déclaré Tseng.

Tseng travaille également à l’amélioration des algorithmes de pointe pour des tâches spécifiques qui aident les personnes aveugles ou malvoyantes.

L’un d’entre eux est un algorithme à quelques prises de vue, un algorithme qui n’a besoin que de quelques exemples d’un type de contenu pour identifier et potentiellement masquer les parties intimes des images, comme un flacon de pilules sur ordonnance ou un test de grossesse.

Ce travail permettra aux personnes BLV qui montrent des images à d’autres de choisir quelles informations privées les autres peuvent voir.

Tseng a déclaré qu’elle appréciait de travailler avec Gurari. « Elle est excellente pour nous guider dans la découverte de ce qui nous passionne, quels sont nos objectifs de recherche et comment élaborer un bon plan pour l’ensemble du doctorat », a-t-elle déclaré.

Jarek Reynolds, doctorant en première année

Les recherches de Jarek Reynolds consistent à développer des ensembles de données et des algorithmes qui aident les personnes BLV à mieux naviguer dans leur environnement dans leur vie quotidienne, ainsi qu’à protéger leur vie privée numérique.

Reynolds a commencé par créer un ensemble de données « d’objets saillants », qui trouve les objets les plus importants dans les images prises par les photographes BLV. Il travaille actuellement sur un ensemble de données sur la confidentialité, similaire à celui de Tseng, mais en travaillant sur des vidéos plutôt que sur des images.

« Non seulement vous aidez un groupe démographique de personnes souvent marginalisées, mais les ensembles de données et les algorithmes proviennent de cas d’utilisation authentiques, ce qui rend les problèmes encore plus intéressants », a-t-il déclaré.

Reynolds a déclaré qu’il appréciait le génie et la collaboration du groupe.

« Le Dr Gurari comprend très bien chacune de nos forces et nos faiblesses et sait comment nous pouvons nous compléter », a-t-il déclaré.

Reynolds a déclaré que pour réussir un doctorat, les candidats doivent se préparer à être humbles et prendre le temps d’apprécier le voyage.

« S’il y a quelque chose que vous considéreriez autrement comme mauvais ou comme un revers, ce n’est pas toujours le cas. Chaque problème est une opportunité déguisée », a-t-il déclaré.

Josh Myers-Dean, doctorant de troisième année

Josh Myers-Dean facilite l’utilisation des outils d’édition d’images en améliorant la segmentation des images, qui consiste à diviser une image en parties distinctes.

« Je ne travaille pas sur la génération d’images fantaisistes, mais, disons, si vous souhaitez sélectionner un chien sur une photo, je veux rendre cela aussi simple que possible », a-t-il déclaré.

Myers-Dean travaille spécifiquement sur la segmentation interactive, qui permet à un modèle de déterminer si un utilisateur souhaite segmenter un seul objet en ses sous-parties, comme segmenter une chaise en un dossier, un siège et des pieds, ou trouver la partie étiquette d’un conteneur. de pilules sur ordonnance. Cela pourrait être utile pour la confidentialité numérique, l’accessibilité visuelle, ainsi que pour les applications créatives telles que l’édition d’images.

Myers-Dean a reçu une bourse de recherche de la National Science Foundation, qui, selon lui, a été un avantage incroyable pour son parcours de doctorat en lui permettant de se concentrer sur ses recherches.

« Danna est géniale », a déclaré Myers-Dean. « Elle me soutient énormément. Elle m’aide à garder les pieds sur terre et à filtrer le signal du bruit. C’est aussi une personne très gentille, et elle a fait de moi un meilleur écrivain. »

Myers-Dean recommande à toute personne souhaitant préparer un doctorat d’essayer de se concentrer sur la résolution du problème A avant de s’enthousiasmer à l’idée de travailler sur le problème B.

« Essayez de ne pas trop penser à l’horizon. Avancez étape par étape », a-t-il déclaré.

Neelima Prasad, doctorante en première année

Neelima Prasad étudie comment suivre des objets en mouvement rapide dans des séquences vidéo. Cela implique un apprentissage automatique auto-supervisé, qui apprend à donner un sens aux données elles-mêmes, plutôt que de disposer de données déjà étiquetées.

« C’est en fait un problème assez difficile », a expliqué Prasad. « Disons que nous avons un joueur de football. D’une image à l’autre d’une vidéo, il peut se trouver dans un endroit très différent, ou il peut se placer derrière un gardien de but ou un caméraman. Comment pouvons-nous le suivre de manière cohérente au fil du temps ? « 

Ce problème a des applications dans de nombreux domaines, notamment le sport, la conduite autonome et l’étude des phénomènes naturels, depuis les mouvements des abeilles jusqu’à la vie marine.

Prasad a dit que c’était merveilleux de faire partie du groupe.

« Tout le monde a été très inclusif et solidaire », a-t-elle déclaré. « Nous travaillons tous sur différents aspects de la vision par ordinateur. C’est comme si nous regardions tous différentes parties du même éléphant. Je peux parler à n’importe qui de ce sur quoi je travaille, et ils sont capables de m’aider. »

Lorsqu’on lui a demandé ce qu’il fallait prendre en compte lorsqu’on envisageait un doctorat, Prasad a répondu qu’il fallait avoir de la passion et une certaine idée de l’endroit où l’on voulait aboutir.

« Si vous avez envie d’explorer quelque chose de plus profond, un doctorat est une excellente façon d’y parvenir », a-t-elle déclaré.

Nick Cooper, doctorant en première année

Nick Cooper travaille à démêler et démystifier les classificateurs d’apprentissage profond.

« Nous envoyons ces réseaux de neurones sur le terrain et quand ils reviennent, ils peuvent faire des choses incroyables, mais qu’ont-ils appris exactement ? Comment font-ils ? » il a dit.

Les réseaux neuronaux profonds, bien que capables d’accomplir des prouesses très impressionnantes, sont souvent encombrants et nécessitent d’énormes quantités d’électricité et de temps. En effet, pour « apprendre » quelque chose, ils doivent faire de nombreux mauvais choix.

Comme métaphore, imaginez passer un test à choix multiples sans aucune connaissance préalable. Vous pouvez passer le test autant de fois que vous le souhaitez et serez noté à chaque fois. Finalement, vous pouvez obtenir un excellent score par essais et erreurs, mais cela prend beaucoup plus de temps et d’énergie que si vous parveniez à obtenir la bonne réponse du premier coup.

Les recherches de Cooper visent à prendre ces modèles volumineux et fastidieux qui finissent par apprendre à fournir des réponses correctes, et à les rationaliser en modèles plus compressés que les gens peuvent facilement comprendre.