Transformez & Modélisez

Construisez vos pipelines de données rapidement avec le module Data Flow ou avec Python et SQL pour des transformations et calculs plus avancés.

L'outil idéal pour vos pipelines de données

Le module Data Flow vous donne une vue claire et interactive de vos pipelines. Prévisualisez plusieurs nodes, suivez les révisions, ajoutez des annotations, regroupez les opérations, alignez la grille, zoomez, naviguez avec la mini-carte et gardez le contrôle, même sur les flux complexes.

Plus de 35 nodes pour toutes vos transformations de données

Nous proposons plus de 35 nodes de traitement de données, et nous en ajoutons régulièrement de nouveaux à chaque version. Chacun offre des fonctions spécifiques pour transformer, nettoyer, enrichir ou analyser vos données. Filtres, agrégats, data cleansing, scripts Python, analyses avancées : tout est là pour construire des pipelines puissants et adaptés à vos besoins.

Tables

Utilisez ce node pour démarrer votre pipeline dans Data Flow. Vous pouvez avoir plusieurs tables en input.

Générez une table de sortie finale ou intermédiaire à n'importe quelle étape dans votre Data Flow.

Reliez vos tables via un éditeur de diagrammes relationnels complet.

Combinez plusieurs tables ayant un schéma identique ou similaire.

Filtres & Regroupements

La façon la plus simple de filtrer vos données.

Filtrez selon vos conditions et avec des requêtes SQL.

Pivotez vos données en lignes et en colonnes avec plusieurs agrégations.

Dépivotez vos données arrivant sous forme de tableaux croisés dynamiques.

La fonction de regroupement la plus simple avec plusieurs agrégats.

Calculs & Lookup

Utilisez n'importe quelle fonction SQL pour créer votre colonne calculée.

Générez des agrégats en croisant la ligne actuelle avec les données d’autres tables.

Interrogez n'importe quelle autre table de votre data warehouse.

Réunissez deux branches Data Flow en une seule.

Fusionnez deux ou plusieurs branches de votre Data Flow.

Nettoyage

Nettoyez rapidement selon des règles simples avec le node Find & Replace.

Nettoyez rapidement les données mal renseignées : date et heure, nombres, texte et bien d'autres.

Homogénéisez vos données pour générer des regroupements et visualisations propres.

Eliminez les données dupliquées dans vos tables en quelques clics.

Appliquez des transformations avec REGEX ou SQL grâce à une bibliothèque complète de fonctions intégrées.

Adaptez le type d’une colonne si les données ne correspondent pas au format attendu.

Gardez l’essentiel. Travaillez avec un sous-ensemble de colonnes pour optimiser vos flux.

IA & Processing

Demandez à l’IA d’analyser vos données et stockez sa réponse dans une colonne dédiée.

Complétez des adresses ou données géographiques avec une latitude et une longitude.

Traduisez du texte, peu importe la langue
翻訳 - Übersetzen - Μεταφράζω - Tradurre

Explorez vos données textuelles pour détecter les sentiments, au niveau global ou par thématique.

Transformez les données d'adresse IP en latitude et longitude avec ISP et plus encore.

Générez un résumé de n'importe quel texte long dans une nouvelle colonne.

Identifiez la langue du texte pour le post-traitement.

Parsing & Découpage

Parsez une colonne de texte en plusieurs colonnes.

Transformez les valeurs d’une colonne en lignes distinctes.

Parsez du JSON pour aplatir les données imbriquées en colonnes.

Aplatissez des structures JSON en plusieurs lignes.

Designer & Annotations

Ajoutez des labels pour documenter les étapes de transformation dans votre Data Flow.

Ajoutez des backgrounds pour regrouper les nodes en opérations ou blocs logiques.

Vous préférez coder ?
Utilisez Data Scripts

Le module Data Scripts va plus loin que les statistiques avancées. Nettoyez, modélisez, filtrez ou enrichissez vos données avec du code SQL ou Python. Intégrez vos scripts dans des Data Flows personnalisés, adaptés à vos cas d’usage.

Exploitez n'importe quel package Python disponible sur PyPI, y compris NumPy, Pandas, TensorFlow, et bien d'autres encore. Votre code s'exécute dans un environnement intégré et évolutif où vous ne payez que pour ce que vous utilisez.

En savoir plus sur Data Scripts

Questions?

Maybe the answer is here and if not then simply reach out to us.

Are there limits to the type of Data Flows I can create?

Our Data Flows give you a lot of power to process your data. Ensuring a proper and efficient Data Flow is critical and for the most part there are no limits to what you can do with the Data Flows.

You can have as many as you want and there is no limit to the number of nodes you can put into one Data Flow.

Some operations are quite costly and may take longer if you do not plan and modularize your Data Flows but don’t worry, we can help you optimize them.

Can I configure where the Python scripts I write are executed?

Our Data Script module is available on our Dedicated Plans only and there is a good reason for that. It is because we also give you a dedicated environment to run your Python and SQL scripts. You can configure the number of CPUs and size of this environment. Soon you will be able to also add environments based on GPU with up to 160 GB of memory.

Can I use AI?

Absolutely.

Our Data Flow comes with some ready to use OpenAI nodes that can help you get more out of your data. Additionally, we are adding some more advanced nodes every few releases such as advanced predictive modes, segmentation and more.

With Data Scripts you can even write your own AI using your own AI LLMs.

Can I automate my Data Flows and Data Scripts?

Yes.

Our Schedule module enables you to execute Data Flows and Data Scripts at any point in your planned tasks. Additionally, you can also trigger their execution using Alerts, Data Hooks and our API.

Data Integration. Automation. Analytics.

Made for data people by data people.

Get started for free