Je suis Iliyan

Mon premier projet concerne une société de logiciels fournissant des services de distribution mondiale aux compagnies aériennes dans le secteur du voyage.

Au sein du département de réservation de billets, j'occupe le poste d'ingénieur plateforme. Mon rôle consiste à assurer la maintenance,

l'exploitation et le développement du pipeline de traitement de données. Ce pipeline est chargé

d'ingérer les données brutes provenant du système de distribution mondial,

de les traiter à travers plusieurs couches, puis de les transmettre au client via divers protocoles de transfert (FTP ou S3).

Parmi mes réalisations durant cette expérience, on peut citer :

• la migration de scripts Groovy hérités (legacy) vers un framework interne (« workflow ») gérant l'intégralité du cycle de vie : construction, test et publication d'une application
• la réécriture d'un framework de livraison de flux — initialement constitué d'un unique script Bash — en un ensemble de scripts Python propres et modulaires, améliorant considérablement la fiabilité et la maintenabilité du système
• le refactoring d'un script Python chargé de compresser et d'envoyer les données clients (du bucket S3 « brut » vers le bucket « source »), permettant ainsi d'étendre ses fonctionnalités selon les besoins de la direction et de mieux tester le code avant chaque nouvelle mise en production
• l'amélioration significative de la documentation interne par sa modernisation en fonction de nos besoins actuels en matière de connaissances, ainsi que la suppression des pages obsolètes
• le pilotage de la migration de nos dépôts internes et de ceux des développeurs de Bitbucket vers GitHub
• la conception d'une stratégie globale pour effectuer les mises en production « dans les règles de l'art », améliorant ainsi le processus de retour en arrière (rollback) et renforçant la confiance du comité de validation des changements (CAB).

Mon premier projet portait sur le développement de systèmes avancés d'aide à la conduite (ADAS) pour une entreprise automobile multinationale.

Dans le cadre de ce projet, j'occupais le poste d'ingénieur DevOps et j'étais responsable de la gestion de l'infrastructure cloud AWS.

Nous étions chargés de la maintenance de l'ensemble de la plateforme cloud, y compris du déploiement des

produits clients à l'aide du framework AWS ADF, d'AWS Account-Vending-Machine et de l'API REST personnalisée d'AWS Control Tower.

Nous étions également responsables de la gouvernance de la plateforme cloud à l'aide de modèles de politiques AWS CloudFormation et de toutes les ressources essentielles.

L'automatisation de ces processus a été réalisée grâce à l'utilisation d'AWS CDK Infrastructure as Code (IaaC).

Dans le cadre de mes contributions aux services clients, j'ai mis en œuvre les solutions suivantes :

• Alertes de dépassement de budget sur l'ensemble de la plateforme, avec un pourcentage prédéfini de dépassement de budget déclenchant l'envoi de courriels aux responsables
• Création de points d'accès API REST supplémentaires pour Control Tower afin de spécifier à quel VPC appartiennent les comptes AWS nouvellement créés.

  J'ai également développé la logique permettant à une fonction Lambda de vérifier le type de compte et, en fonction du modèle VPC auquel il appartient, de déployer le StackSet AWS CloudFormation sur le compte

• Création d'une architecture de haut niveau du flux et de la réplication des données pour l'ensemble de la plateforme de données.

Mon deuxième projet consistait à fournir des informations précieuses pour améliorer

l'expérience d'achat des clients et à mettre en place des programmes de fidélisation pour une chaîne de magasins Whole Foods renommée.

J'occupais le poste d'ingénieur de données sur la plateforme Azure et j'étais chargé d'assurer l'intégrité et la validation des données sur les couches « Raw », « Source » et « Prepared ». Pour les processus de validation des données, nous avons développé un framework d'automatisation des tests basé sur le framework pytest. Le flux de données se déroule comme suit :

1. Un fichier de données de test (.avro) et un fichier de configuration sont copiés depuis la couche de données brutes (raw layer) du stockage Blob.

2. La copie du fichier de configuration déclenche un pipeline Azure Data Factory (ADF), qui analyse ensuite ces données de test et les transmet à un cluster Azure Databricks.

3. Ce cluster est chargé d'effectuer des transformations mineures sur les données, telles que la conversion du format de données d'Avro en Parquet, la modification des noms de colonnes à des fins de compatibilité, etc.

4. Une fois les transformations effectuées, les données de test transformées sont copiées vers la couche source (source layer) du stockage Blob.

5. Le framework de test, via le SDK Azure, valide les données des couches brutes et source, par exemple : vérification du schéma, vérification des données, vérification des doublons, vérification des colonnes.

6. Une fois tous les tests exécutés, pytest crée un fichier de résultats d'exécution des tests (junitxml_report.xml), nécessaire aux outils de reporting pour visualiser les résultats.

Nous proposons deux outils de reporting différents : l'API REST Zephyr Scale et Allure.

Le stage consistait à assurer la maintenance d'un ancien système bancaire destiné à des clients des Balkans.

Ce système était composé d'une application de bureau compatible avec Windows XP, écrite en langage de programmation CAVO (Visual Objects).