Qu’est-ce que la plateforme Cloudera ? : une synthèse pour vous aider à y voir clair
Cloudera est une société Américaine qui fournit des outils et une solution complète autour du Big Data, du traitement et de l’analyse de la donnée…
Cas d’usage Nifi : pagination REST, Jolt et monitoring
Contexte Chez Cyrès, nous gérons la saisie des temps via un outil pratique et puissant : Toggl. Dans le cadre de l’amélioration du reporting, m’est venu l’idée d’intégrer les rapports CSV de cet outil, au sein de notre plateforme interne Cloudera. L’objectif de ce cas d’usage Nifi étant de pouvoir faire gagner du temps aux …
Continuer la lecture de « Cas d’usage Nifi : pagination REST, Jolt et monitoring »
Monitoring Nifi via streaming de bulletin dans Hive 3
Contexte Dans le cadre du suivi de production et le monitoring Nifi, je vais vous présenter un moyen que nous utilisons pour sauvegarder l’ensemble des évènements « bulletin » au sein d’un cluster Nifi. Après avoir évoqué les enjeux, je vous présenterai l’implémentation technique ainsi qu’une alternative avec Impala. Composants utilisés CDP Private Cloud 7.1.2 …
Continuer la lecture de « Monitoring Nifi via streaming de bulletin dans Hive 3 »
La Cloudera Data Platform va plaire, mais à quel prix ?
Cloudera a depuis quelques mois sorti sa nouvelle plateforme Cloud native : Cloudera Data Platform. Elle se décline en plusieurs parties : de la gouvernance via SDX, une partie Cloud, piloté par Cloudera et déployable sur AWS et Azure (bientôt GCP) et enfin une partie hébergeable sur des serveurs chez soi avec une possibilité d’hybridation, possédant des capacités de déport de calcul dans un environnement conteneurisé Openshift.
Attention ! Les conteneurs sont à l’honneur pour ces offres attractives mais attention aux coûts cachés. Passons en revue ces différentes offres pour y voir plus clair
Python 3.9, tour d’horizon et nouveautés
Python 3.9, tour d’horizon Python 3.9 vient d’être annoncé le 6 Octobre 2020. Cette version amène plusieurs fonctionnalités très prometteuses. Corrige des bugs et se positionne par rapport à l’avenir du langage. A Cyrès, nous constatons une augmentation des développements Python, que ce soit dans le domaine du Big Data, des containeurs ou DevOps, Des …
Continuer la lecture de « Python 3.9, tour d’horizon et nouveautés »
Comment migrer vers le Cloud AWS des clusters Hadoop en 5 étapes
Migrer une infrastructure composée de plusieurs dizaines de serveurs vers des environnements cloud comme ceux proposés par AWS implique de se fixer des objectifs clairs, de recenser précisément l’infrastructure existante et de concevoir une méthodologie pour mettre en place un processus de migration efficace.
L’industrialisation du cloud au service de l’architecture Big Data
A l’air du Big Data et de la Fast Data, les enjeux de rapidité et d’efficacité sont majeurs. Le cloud ayant pris place dans les infrastructures IT, il est difficile de ne pas être tenté d’associer les deux.
Hadoop et Ansible – épisode 3 : Hive/Impala
A l’ère du tout automatique, penchons-nous sur une méthode qui fait ses preuves chez nos clients : incorporer Ansible dans les déploiements Big Data. Pour clore cette série d’articles, nous allons voir comment gérer automatiquement les structures des tables Impala et Hive avec Ansible. Episode 3 – Impala / Hive Dans certains projets clients on …
Continuer la lecture de « Hadoop et Ansible – épisode 3 : Hive/Impala »
Temps réel ou streaming de données : préparation et optimisation
Derrière le buzz word « IOT » (Internet Of Things) se trouve la notion de temps réel. Celle-ci permet par exemple de récupérer des données de téléphones, de géolocalisation (etc.) en continu et de les stocker dans un Datalake à des fins d’analyse. Ces systèmes sont de plus en plus utilisés pour gérer les événements des différents systèmes …
Continuer la lecture de « Temps réel ou streaming de données : préparation et optimisation »
Conteneurs et automatisation, rassembler pour mieux régner
Les conteneurs sont devenus en quelques années, un enjeu de taille ! A droite, à gauche, il y en a partout. Mais comment s’y retrouver ? Continuons de creuser l’automatisation (des conteneurs) avec différents articles qui ont retenu notre attention en Mai. « One product to rule them all » Distelli est un ensemble de 4 produits …
Continuer la lecture de « Conteneurs et automatisation, rassembler pour mieux régner »
Page Linkedin Cyrès
