Cloud Exchange 2024 : Adrienne Simonson et Patrick Keown de la NOAA parlent du partage d’énormes ensembles de données avec le public

La National Oceanic and Atmospheric Administration collecte chaque jour des dizaines de téraoctets de données provenant de satellites, de radars, de navires, de modèles météorologiques et bien plus encore.

Toutes ces données s’additionnent. La NOAA détient actuellement environ 56 pétaoctets de données réparties sur des centaines d’ensembles de données.

La mission de l’agence consiste à recueillir et à partager des informations sur tout, de la surface du soleil au fond de l’océan, et un large éventail d’industries s’appuient sur ses ensembles de données pour faire des affaires.

C’est pourquoi elle a créé le programme NOAA Open Data Dissemination (NODD), qui fournit un accès public aux données ouvertes de l’agence grâce à un partenariat avec les principales plateformes cloud commerciales.

Le NODD met gratuitement à la disposition du public les ressources de la NOAA. Nous publions les ressources de données lisibles par machine. Nous maintenons l’inventaire des données. Nous collaborons avec le public sur l’utilisation des données afin d’élargir leur utilisation. Et nous offrons au public la possibilité de demander les ensembles de données qu’il souhaite, a déclaré Adrienne Simonson, directrice du NODD, lors de la conférenceÉchange de Cloud sur les réseaux d’information fédéraux 2024Les utilisateurs peuvent nous écrire et nous parler de leurs défis, et nous allons répondre à leurs questions.

Les consommateurs de données de la NOAA incluent des chercheurs et des scientifiques, qui s’appuient sur ces données pour analyser le changement climatique et la reprise après catastrophe, par exemple.

« Nous avons reçu un soutien extrêmement positif pour la diffusion des données que nous effectuons, les données qui sont dans le cloud et l’accès que nous fournissons. Cela est dû au fait que nous nous engageons profondément auprès de ces utilisateurs », a déclaré Patrick Keown, responsable du programme NODD.

« Il est vrai que stocker le volume de données est un véritable défi », a-t-il ajouté. « L’un de nos plus gros problèmes est que les choses évoluent rapidement et que nous ne connaissons pas les volumes de données à venir. C’est l’un de nos plus grands défis. »

Simonson a déclaré que les secteurs de l’agriculture, des assurances, des énergies renouvelables, de la vente au détail et des transports s’appuient tous sur les données de la NOAA.

Ces personnes utilisent les données pour des tâches telles que la planification opérationnelle stratégique. Elles les utilisent également pour la gestion des risques et de la chaîne d’approvisionnement, ainsi que pour créer des produits innovants pour leurs propres clients, a-t-elle déclaré. L’évolutivité et l’accès permettent donc réellement à la NOAA de soutenir l’économie et de stimuler l’innovation.

Le programme NODD répond aux besoins en données d’un large éventail d’entreprises.

« Nous avons entendu de nombreuses startups dire qu’elles n’auraient pas pu démarrer leur entreprise autrement, si les données n’avaient pas été gratuites. Nous entendons également parler d’entreprises du Fortune 500, donc nous avons un large éventail de témoignages », a déclaré Simonson.

La diversité des utilisations des données est souvent stupéfiante, a ajouté Keown, qui a raconté avoir participé à un panel où un représentant d’un grand fabricant d’appareils électroménagers a discuté de l’importance de l’accès public aux données de la NOAA. Le membre du panel a souligné que les données NODD l’aident à garantir que ses réfrigérateurs fonctionnent à la bonne température.

Le paneliste a déclaré à Keown : « La seule façon pour nous de le faire efficacement et de réduire nos émissions de gaz à effet de serre, et toutes ces autres choses, est de comprendre à quoi ressemblera le temps qu’il fera. Et nous ne pouvons y parvenir que si les données sont libres de toute entrave. »

Comment NODD rend possible la démocratisation des données

NODD a débuté en 2015 en tant que projet Big Data de l’agence, avec des accords avec Amazon Web Services, Google, IBM, Microsoft et une organisation à but non lucratif appelée Open Commons Consortium.

En 2021, le projet a été rebaptisé NODD car il a commencé à se concentrer sur la fourniture au public d’un accès gratuit et facile aux données via le cloud.

Keown a déclaré que la NOAA améliore continuellement le NODD en fonction des commentaires de ses utilisateurs et répond aux préoccupations concernant l’accès et la recherche.

Certains utilisateurs ont vraiment apprécié ce type d’interface utilisateur, car ils avaient le sentiment de pouvoir trouver ce dont ils avaient besoin. Mais d’autres, en particulier les grandes entreprises privées et les grandes entreprises de recherche, avaient besoin d’un accès totalement ouvert. Et ce sont eux qui nous ont fait part très tôt de leurs commentaires extrêmement positifs, a-t-il déclaré.

NODD en est à sa cinquième année d’un contrat de 10 ans. Le contrat est un contrat de base de deux ans, avec quatre périodes optionnelles de deux ans chacune.

Nous cherchons à prendre en charge davantage de jeux de données. Nous souhaitons également continuer à collaborer avec nos utilisateurs pour nous assurer qu’ils comprennent comment utiliser les données. Pendant que nous parlons, cependant, des équipes au sein de la NOAA travaillent entre elles et avec les fournisseurs de services cloud pour développer la future diffusion des données, a déclaré Simonson.

Parmi les objectifs du programme, Simonson a déclaré que le NODD soutient la démocratisation des données.

La NOAA souhaite continuer à élargir l’accès aux données à davantage de personnes, a-t-elle déclaré.

L’une des raisons pour lesquelles cela a commencé au départ, c’est que la NOAA dispose déjà de beaucoup de données auxquelles les gens avaient du mal à accéder, et nous assistions à une augmentation exponentielle des volumes de données, a-t-elle déclaré.

L’infrastructure cloud de la NOAA évolue

Keown a déclaré que la NOAA avait étendu sa présence dans le cloud au cours des cinq dernières années.

« Tous les services de la NOAA et de l’organisation ont travaillé à un rythme différent, au rythme où ils pensaient pouvoir à la fois innover et soutenir les opérations. Le National Weather Service est un élément très opérationnel. Des vies et des biens sont en jeu, donc apporter des changements majeurs à l’infrastructure prend un peu plus de temps. D’autres, comme le National Ocean Science Service, qui sont souvent à l’avant-garde de la science ouverte et qui essaient de trouver de nouvelles façons innovantes de faire les choses, ont peut-être pu adopter le cloud un peu différemment », a déclaré Keown.

À mesure que NODD a évolué, l’objectif des bureaux du programme a été d’aider ces bureaux à accéder au cloud et de leur fournir cette infrastructure pour au moins dire : « Voilà, nous allons l’utiliser pour la diffusion des données jusqu’à ce que nous puissions déterminer comment peut-être le faire en interne. »

Tous les bureaux des agences sont désormais en train de se préparer à la manière de construire cette infrastructure cloud, cet environnement cloud pour répondre à leurs besoins et, en fin de compte, aux besoins des utilisateurs, dont beaucoup sont des types d’utilisateurs nouveaux et différents de ceux qu’ils avaient à l’origine, a-t-il ajouté.

Keown a déclaré que la NOAA s’assure que tous les ensembles de données du programme NODD disposent de descriptions complètes et précises et que les utilisateurs de données peuvent assurer le suivi auprès des agences composantes de la NOAA qui génèrent les données.

Cela leur donne également la possibilité de revenir au propriétaire des données. Par exemple, s’il s’agit d’un ensemble de données appartenant au National Marine Fisheries Service, il peut les relier directement à ce dernier. Il pourrait également les relier directement à l’offre cloud à laquelle ils peuvent accéder à ces données, a-t-il déclaré.

Keown a déclaré que la NOAA continue d’affiner le NODD en fonction des commentaires des utilisateurs et que l’agence cherche des moyens de rendre ses données plus accessibles et plus précieuses pour le secteur privé et le public.

« Lorsque nous commençons à parler des données dans cinq ans ou dans dix ans, nous nous adressons à tous les secteurs de l’organisation, à tous les programmes. Nous travaillons avec les propriétaires de données pour mieux comprendre quels nouveaux ensembles de données ils vont mettre en ligne », a-t-il déclaré.

Ensuite, nous devons travailler à la création de stratégies, qu’elles soient liées au cloud, aux données ou à l’IA, qui nous donneraient la capacité de prendre ces décisions à long terme pour l’organisation. Et je pense que nous devons être un peu plus flexibles que le gouvernement ne l’a probablement été par le passé. Nous avions l’habitude d’élaborer des plans sur 10 et 20 ans, et maintenant nous nous voyons élaborer des plans sur deux à cinq ans qui changent souvent en un an ou deux.

Découvrez plus d’articles et de vidéos maintenant surPage de l’événement Cloud Exchange 2024 de Federal News Networks.

Copyright © 2024 Federal News Network. Tous droits réservés. Ce site Web n’est pas destiné aux utilisateurs situés dans l’Espace économique européen.