Bonjour Will, merci pour ta video, elle est vraiment concise neanmois j'ai quelques questions. 1-- Puisque tu utilises S3 comme source de stockage, n'est-il pas adequat de construire un data lake avec pour stockage S3 ?? je pense à un combo AWS Lake Formation + S3 ou alors AWS EMR + (Spark + Flink + Trino) + iceberg. Qu'en penses-tu ?? 2-- Comment transmets tu les données de S3 vers Snowflake ? (à l'aide de kafka) ? 3-- N'est-il pas interessant de diposé d'une BD analytics et orienté colonne telle que Druid ?? 4-- Data quality -- as-tu eu à tester great expectations ?? 5 -- N'aurait-il pas de place pour du sematic layer dans cette architecture ?? Donnes moi ton avis sur ces diffents points stp
J'arrive à Ottawa dans une semaine et je dois trouver un poste de dev sur les technos JAVA. J'ai postulé je ne sais combien de fois mais je n'ai encore aucune piste
Encore une excellente vidéo. Willis je pense que dans le modeling tu devrais ajouter le DataVault car peu d’ingénieur de données savent de quoi il s’agit.
Salut willis tout d’abord merci pour tes videos que je suis depuis maintenant deux / trois ans presque. Je t’ecris pour avoir un peu un retour / un avis de la part de toi-meme voir de ta propre communauté. J’ai obtenu un diplome de master en ingénierie informatique spécialisé en data engineering il y a un an exactement. Cela m’a permis de pouvoir apprendre et comprendre pas mal de concepts / technos tels que : -le clustering avec hadoop / cloudera, -l’analyse de donnees avec ELK / logstash, tableau -la mise en place de pipeline des donnees avec KAFKA -le cloud avec l’utilisation principalement de Azure (un peu de AWS) -le SQL / noSQL J’ai acquis jusqu’à maintenant de l’expérience via mes stages / mon alternance durant mes années d’études supérieures. Notamment ma dernière alternance avec laquelle j’ai pas mal travaillé sur du cloud Azure pour un outil interne a mon entreprise, sur du java / angular. J’ai aussi pas mal travaillé avec la technologie docker. En parallèle de tout cela j’ai aussi acquis deux certifications azure (Az-900) ainsi que dp-900 pour les bases de la data dans l’environnement azure J’ai continué avec cette meme entreprise pour continuer ma mission en CDI. Je vous consulte donc pour savoir quels seraient vos conseils pour pouvoir évoluer afin d’orienter ma carrière plus vers un poste de data engineer car j’ai peur d’être au point mort… J’ai conscience actuellement que mon poste est plutot celui d’un développeur fullstack puisque je developpe principalement une plateforme de recup de donnees (destinee a fournir des analyses). J’ai des proches dans mon entourage que j’ai consulté et qui me conseillent de rester un voir deux ans max pour solidifier mes compétences avant de commencer réellement a m’aventurer dans le domaine du data engineering. Mais j’ai peur aujourd’hui de ne pas avoir ma place et d’etre accroché a cette image de simple développeur si je souhaite pretendre de devenir data engineer. Aussi si des personnes de la communauté ont deja eues ce genre de problèmatique via leur parcours. je serais ravis d’avoir un retour d’expérience la dessus. Merci par avance et désolé pour le gros pavé… j’ai essayé de grossierement citer mon parcours sans rentrer dans tous les details
Merci Willis, je sais que la vidéo date un petit peu maintenant, meme si je pense que le contenu est toujours excellent. J'avais une question, est ce que tu penses que la faciliter de demander à ChatGPT quand on bloque sur un problème est un frein dans l'apprentissage ? Devrais je quitter chatGPT pour mieux apprendre ?
