Stockage d’objets Seagate utilisé dans les projets informatiques exascale – Blocs et fichiers

Le stockage d’objets Seagates CORTX a été utilisé pour des projets de recherche hautes performances dans le cadre de l’initiative informatique SAGE Exascale de l’Union européenne.

SAGE, lancé en 2015, est l’un de ces acronymes inventés étranges et signifie apparemment Percipient StorAGe pour ECalcul centré sur les données xascale. PSEDCC n’a pas la même sonnerie mémorable. Quoi qu’il en soit, le système SAGE, qui visait à fusionner l’analyse du Big Data et le HPC, avait une approche centrée sur le stockage en ce sens qu’il était destiné au stockage et au traitement de gros volumes de données à l’échelle exascale.

Selon un résumé de document ACM, le système de stockage SAGE se compose de plusieurs types de technologies de périphériques de stockage dans une hiérarchie d’E / S à plusieurs niveaux, y compris les technologies de mémoire flash, de disque et de mémoire non volatile. Le principal composant logiciel SAGE est le Seagate Mero Object Storage qui est accessible via l’API Clovis et des interfaces de niveau supérieur. [Mero was a prior name for what became CORTX.]

Un premier prototype du système SAGE a été mis en œuvre et installé au Jlich Supercomputing Center en Allemagne. Un projet SAGE 2 a été mis en place en 2018 pour valider un système de stockage de nouvelle génération basé sur SAGE pour les flux de travail scientifiques de calcul à grande échelle et l’IA/l’apprentissage en profondeur. Il fournit un système de stockage à plusieurs niveaux hautement performant et résilient, compatible QoS, avec des dispositions de données à travers les niveaux gérés par Mero Object Store, qui est capable de gérer le traitement en transit/in situ des données dans le système de stockage, accessible via l’API Clovis.

SAGE et SAGE 2 ont donné lieu à des travaux de recherche, comme la thèse de doctorat de Wei Der Chien, étudiant à l’université KTH Royal Institute of Technology de Stockholm, intitulé Large-scale I/O Models for Traditional and Emerging HPC Workloads on Next-Generation HPC Storage Systems. Cela a porté sur l’utilisation d’un magasin d’objets pour les applications HPC. Chien a développé une interface de programmation qui peut être utilisée pour exploiter le magasin d’objets Motr de Seagate.

Motr

Motr, selon la documentation Github, est un système de stockage distribué d’objets et de valeurs clés qui se trouve au cœur du magasin d’objets Seagates CORTX et utilise des disques haute capacité. Sa conception a été influencée par le système de fichiers distribué et parallèle Lustre, NFS v4.0 et la technologie de base de données. Motr interagit directement avec les périphériques de bloc et n’est pas superposé à un système de fichiers local. Il fournit une interface de système de fichiers mais n’est pas, en soi, un système de fichiers.

Motr contrôle un cluster de nœuds de stockage en réseau qui peuvent être basés sur disque ou sur semi-conducteurs, ce qui signifie flash, flash PCIe plus rapide, mémoire sauvegardée par batterie et mémoire à changement de phase. Chaque nœud Motr met en cache une partie de l’état du système. Ce cache est constitué de méta-données (informations sur les répertoires, les fichiers, leurs attributs) et de données (contenu des fichiers, généralement sous forme de pages). Le cache peut être stocké dans une mémoire volatile ou sur un magasin persistant.

Les activités d’E/S entraînent des mises à jour de l’état du système qui peuvent se produire sur plusieurs nœuds. Les mises à jour d’état sont progressivement déplacées vers des magasins plus persistants. Par exemple, une mise à jour d’un cache de page en mémoire peut être propagée à un cache stocké sur un lecteur flash et ultérieurement à un cache stocké sur un lecteur de disque.

Un porte-parole de Seagate nous a dit que la plate-forme SAGE de Jlich Supercomputing exécutait CORTX Motr, avec 22 nœuds : 8 clients et 14 nœuds de stockage. Les nœuds de stockage avaient plusieurs niveaux : NVRAM, SSD et HDD – servis par différents pools Motr. Ils forment un cluster Motr unique avec ces multiples niveaux de performances.

Les utilisateurs spécifient le pool à utiliser et il existe un outil de gestion du stockage hiérarchique (HSM) dirigé par l’utilisateur pour déplacer les données entre les pools. Cela se connecte à un libmotr interface, tout comme les applications HPC. On a dit que le libmotr L’interface est plus conviviale pour le HPC et l’IA que celle d’Amazon S3. Libmot dispose d’options hautes performances, telles que le scatter-gather et les connexions directes via MPI-IO.

Certains membres de la communauté HPC préfèrent éviter les interfaces de haut niveau comme S3, optant plutôt pour des interfaces de bas niveau, comme libmotret des API qui offrent un meilleur contrôle.

NoaSci

Ce mois-ci, Wei et d’autres ont rédigé un article de suivi intitulé NoaSci : une bibliothèque de tableaux d’objets numériques pour les E/S d’applications scientifiques sur le stockage d’objets. Nous n’avons pas vu l’intégralité du document, mais son résumé indique : Alors que le modèle d’E/S basé sur POSIX domine l’infrastructure de stockage HPC moderne, la technologie émergente de stockage d’objets peut potentiellement améliorer les performances d’E/S en éliminant ces goulots d’étranglement. Les chercheurs ont conçu NoaSci, une bibliothèque Numerical Object Array pour les applications scientifiques, qui prend en charge différents formats de données (par exemple HDF5, binaire) et se concentre sur la prise en charge des tampons de rafale et des magasins d’objets locaux aux nœuds.

Ils ont ensuite montré comment les applications scientifiques peuvent effectuer des E/S parallèles sur le magasin d’objets Seagates Motr via NoaSci.

Le personnel technique de Seagate opérant dans l’équipe commerciale système du vice-président senior Ken Claffeys a été impliqué dans cette recherche dans les projets SAGE et SAGE 2, qui à leur tour ont éclairé la recherche de Wei.

L’API objet de bas niveau Motr a été co-conçue par Seagate avec ses partenaires EU HPC, dont le professeur Stefano Markidis de KTH. Wei est un étudiant de Markidis. Sa page Google Scholar montre que son 6^e La publication la plus citée est le travail original de SAGE sur lequel Sai Narasimhamurthy, un directeur de l’ingénierie basé au Royaume-Uni chez Seagate, était co-auteur.

Un autre article cité, MPI windows on storage for HPC applications, a été co-écrit par Markidis, Narasimhamurthy et d’autres

Seagate nous a dit : Nous avons été honorés que CORTX Motr était le système de stockage d’objets choisi pour ces projets et a grandement bénéficié de ces relations qui ont conduit le CORTX Motr interface pour être ce qu’elle est aujourd’hui et reste l’interface préférée pour beaucoup au sein de cette communauté.

Il a ajouté une interface S3 pour les utilisateurs d’entreprise et de cloud qui préfèrent une interface de niveau supérieur et ne sont généralement pas disposés à réécrire leurs applications pour atteindre des performances très élevées.

Les projets SAGE et SAGE2 sont terminés mais Seagate poursuit sa collaboration avec KTH et d’autres dans les projets IO-SEA et https://www.esiwace.eu/.

Commenter

MinIO a tiré le meilleur parti de l’exécution perçue en positionnant le stockage d’objets en tant que magasin de données principal pour les applications nécessitant un accès rapide à de grandes quantités de données. Nous constatons maintenant que, niché dans la recherche universitaire européenne sur le HPC, le logiciel de stockage d’objets Seagates CORTX dispose d’une interface de bas niveau avec son système principal Motr, permettant aux utilisateurs HPC de bénéficier également d’un accès rapide aux données d’objet.

Mais, pour profiter de la grande vitesse, CORTX doit être utilisé avec le libmotr Interface API, ce qui signifie que des modifications du logiciel d’application sont nécessaires. Il serait fascinant de voir si CORTX, via libmotrest aussi rapide ou même plus rapide que MinIO, et si CORTX pourrait avoir un avenir dans la sphère commerciale pour le stockage d’objets à accès rapide.