Qu'est-ce qu'un Data Engineer ?

En raison de l’extension toujours croissante de la transformation numérique, le phénomène data bouleverse, sans possibilité de retour en arrière, les organisations et les process métiers.

Comme le montre la figure, cela se traduit, notamment, par l’explosion du volume de données créées chaque année. De plus, ces données riches en informations signifiantes sont de nature de plus en plus variée. D’une part, il y a exigence toujours plus forte d’exploiter l’ensemble de ces données de plus en plus vite.

D’autre part, celles-ci sont maintenant considérées comme de véritables actifs, au même titre que les actifs physiques ou financiers, et les valoriser concourt à la stratégie de développement des organisations et à la différenciation des entreprises par rapport à leurs concurrents. De ce fait, les métiers relatifs au traitement et à l’analyse des données se sont largement répandus et diversifiés.

Le rôle endossé par le Data Engineer et ses principales missions

Le Data ingénieur (Data Engineer), parfois aussi appelé ingénieur Big Data, définit, met en place et maintient les outils et infrastructures nécessaires à l’analyse des données par les équipes de Data Scientists. En amont, il met en place l’architecture des données et crée les entrepôts de données. En aval, il met en œuvre les solutions logicielles adéquates (optimisation des modèles, mise en production...). Et, tout au long de la chaîne de traitement, il garantit la sécurité des données. De fait, il est garant du cycle de vie complet des algorithmes produits. Même s’il travaille quotidiennement en étroite collaboration avec les Data Analysts et Data Scientists, le Data Engineer a un rôle significativement différent. La mission principale du Data Analyst est d'extraire des informations à partir des données, celle du Data Scientist de mettre en œuvre des algorithmes à même de valoriser les données. Le Data Engineer, par son action, donne à ses collègues les moyens de travailler dans des conditions optimales. Le Data Engineer peut travailler dans des sociétés de toute taille et de tout secteur. Mais son périmètre d’activité sera différent selon qu’il évolue au sein d’un grand groupe ou dans une startup. Dans cette dernière, il arrive qu’une même personne occupe, par exemple, à la fois des fonctions de Data Engineer et Data Scientist.

Les compétences et qualités du métier

Pour mener à bien sa mission, le Data Engineer doit posséder un large éventail de compétences, notamment la connaissance des systèmes de gestion de bases de données SQL et NoSQL, de la programmation (C/C++, Java, Python...), d’Hadoop / Hive / Spark en local et en environnement Cloud. Souvent, il utilise également des outils de modélisation, de gestion des flux, de gestion du cycle de vie applicatif et une solution de manipulation de données (ETL). De plus, la compréhension des algorithmes est requise même s’il n’a pas besoin d’être un spécialiste. Outre ces compétences techniques il doit être rigoureux, organisé et réactif, et savoir communiquer efficacement. Enfin, compte tenu de la rapidité des évolutions technologiques, il se tient constamment au courant des nouveautés, auxquelles il s’adapte rapidement, afin de pouvoir travailler avec de nouveaux outils.