Découvrir le cloud avec AWS en développant un data pipeline – Partie 5

Nous arrivons à la dernière partie de ce tutoriel. Nous avons commencé par définir ce qu’est le cloud computing et ce qu’il peut apporter d’intéressant à nos projets. Nous avons ensuite découvert plusieurs services comme Amazon S3, AWS IAM ou AWS Glue autour de la mise en place d’un data pipeline. Ces services sont généralement...

Découvrir le cloud avec AWS en développant un data pipeline – Partie 4

Dans la précédente partie de ce tutoriel, nous avons développé ce qui constitue le cœur de notre data pipeline, le job de transformation et d’ingestion de données. Nous avons également découvert une fonctionnalité intéressante d’AWS Glue qui nous permet d’analyser nos fichiers de données afin d’en générer des tables, exposées via un catalogue de données....

Evitez le remote state Terraform entre modules

Dans tout projet non trivial utilisant Terraform, il va être nécessaire de créer des modules et d’être capable de relier ces modules ensemble. Assez rapidement, une data source de type remote state va sans doute être utilisée. Mais bien que simple d’utilisation, cela a des implications sur la sécurité. C’est ce que nous allons voir...

Découvrir le cloud avec AWS en développant un data pipeline – Partie 3

Dans la précédente partie de ce tutoriel, nous avons construit la première étape de notre data pipeline : son déclenchement à l’arrivée des fichiers de données, ainsi qu’un prétraitement des données. Cette étape a été l’occasion pour nous de découvrir AWS Lambda qui nous permet d’exécuter notre code sans se soucier de l’infrastructure à déployer...

Découvrir le cloud avec AWS en développant un data pipeline – Partie 2

Dans la première partie de ce tutoriel, nous avons présenté brièvement les principes d’un service de cloud computing comme AWS et certains de ses avantages puis avons fait nos premiers pas dans la console. Nous avons ensuite découvert l’un des services les plus emblématiques d’AWS, Amazon S3, service de stockage orienté objet, à travers la...

Découvrir le cloud avec AWS en développant un data pipeline – Partie 1

Vous souhaitez découvrir le cloud mais ne savez pas par où commencer : les concepts et façons de travailler diffèrent de ceux dont vous avez l’habitude; les sites d’AWS (Amazon Web Services), GCP (Google Cloud Platform) ou encore Microsoft Azure présentent une longue liste de produits aux noms pas toujours parlants; vous craignez que votre...

Le Paris Container Day revient le 3 juin prochain !

Le Paris Container Day est de retour pour une nouvelle édition le jeudi 3 juin 2021 ! PRENEZ DÈS MAINTENANT VOTRE BILLET !  Le thème de cette année, revenir à la base : les conteneurs ! Cette édition s’articulera autour de 2 thèmes : un dédié au Build d’images de conteneurs, et l’autre à la partie...

Docteur, j’ai commité 8 Go dans mon Git. C’est grave ?

Dans cet article, nous allons voir les conséquences de commiter de trop gros fichiers sur un dépôt Git et surtout une solution pour y remédier. Histoire Derrière ce titre délibérément provocateur se cache une situation réelle que nous avons vécue sur un projet de développement d’une Plateforme Data Science pour une grande entreprise pharmaceutique française....

AWS – Comment sécuriser ses accès aux instances EC2

Introduction Lorsque l’on utilise des fournisseurs de cloud, il n’est pas si courant que tout puisse être exécuté sur des services managés ou en serverless et on en vient immanquablement à utiliser des machines virtuelles qui vont héberger nos différents composants applicatifs. Sur AWS, ces machines virtuelles sont nommées EC2 (Elastic Cloud Compute) et ressemblent...

Terraform sur Google Cloud Platform

On ne remet plus en question aujourd’hui la nécessité de déployer son infrastructure de manière automatisée. Sur Google Cloud Platform plusieurs solutions sont possibles : Le client en ligne de commande gcloud, mais déployer toute son infrastructure en shell n’est clairement pas une solution Deployment Manager, le service fourni sur GCP pour faire de l’infra as code...

Comment empêcher unittest.mock de se moquer de vous

Cet article fournit un guide d’introduction simple à la bibliothèque unittest.mock et illustre quelques cas d’utilisation de base avec du code ainsi que quelques règles importantes sur l’utilisation des “mocks“ dans les tests unitaires. Commençons par quelques définitions basiques : Qu’est-ce qu’un mock et à quoi peut-il servir ? Un mock (un mot anglais qui...

KubeCon + CloudNativeCon EU 2020 – Day 2

Ces derniers jours, nous vous présentions sur ce blog les retours sur la KubeCon + CloudNativeCon EU 2020, et plus précisément sur le « Jour 0 » ainsi que la première réelle demie-journée de conférence. Il est désormais l’heure de vous parler de la deuxième après-midi de cette KubeCon + CloudNativeCon, toujours sous la formule « keynotes pertinentes + 4 talks + take...

KubeCon + CloudNativeCon EU 2020 – Day 1

Nous vous présentions hier le « Day 0 » de cette KubeCon + CloudNativeCon EU 2020, c’est donc désormais logiquement le tour du Day 1 ! Petite nouveauté cette année : l’événement n’étant pas en présentiel, les keynotes n’ont pas lieu le matin et en fin d’après-midi comme d’habitude, mais en plein milieu de l’après-midi ! De quoi...

KubeCon + CloudNativeCon EU 2020 depuis nos canapés

Lors des deux précédentes éditions, en 2018 et 2019, nous vous avions partagé l’expérience qu’a été chaque KubeCon + CloudNativeCon Europe sur ce même blog : KCCNC EU 2018 @ Copenhague KubeCon + CloudNativeCon EU 2018 – Day 0 KubeCon + CloudNativeCon EU 2018 – Day 1 KubeCon + CloudNativeCon EU 2018 – Day 2 KubeCon...

Pourquoi et comment développer sa plateforme IoT avec l’approche Cloud Native ?

Une plateforme IoT est caractérisée par des problématiques de gestion d’équipements hétérogènes, de traitements et de stockage de grandes masses de données. Par conséquent, il est nécessaire de concevoir une plateforme à partir d’une architecture évolutive et flexible. Certaines entreprises optent pour une architecture monolithique qui n’est pas adaptée aux problématiques précédentes. Cet article vous...

Les fondamentaux de Kubernetes en 5 minutes

Kubernetes est une des technologies les plus en vogue en ce moment. À l‘origine projet Open Source de Google, son succès est tel qu’il est désormais proposé en tant que service par tous les fournisseurs de cloud. Même s’il y a une pléthore d’articles et de vidéos sur ce sujet, il n’est pas simple de...

Utiliser Terraform pour configurer l’accès de GKE à Cloud SQL

Nous avons comme bonne pratique d’utiliser de l’infra-as-code, notamment via Terraform lorsqu’il s’agit de GCP. Via une seule commande l’infrastructure complète du projet est créée, détruite ou mise à jour. Voyons dans cet article comment créer un cluster GKE, une base de données Cloud SQL Postgres et comment sécuriser l’accès de nos applications à l’instance...

Comment garder son projet à jour quand le dépôt Git est inaccessible

Introduction C’est notre projet La solution magique Mettre à jour son dépôt local Pousser une branche de feature sur le dépôt distant Travailler de manière collaborative Conclusion Introduction En ces jours de confinement, la majorité des développeurs a recours au télétravail. Fort heureusement, de nombreuses solutions en ligne existent pour versionner, construire et déployer les...