https://www.frett27.net/tags/analytics/Recent content in Analytics on Frett27 Consulting - Software CraftsmanshipHugofrMon, 01 Jul 2024 00:00:00 +0000https://www.frett27.net/projects/rustiq_iot/Mon, 01 Jul 2024 00:00:00 +0000https://www.frett27.net/projects/rustiq_iot/<p>Travaux réalisés sur une base de projet epaper, (écran larges 25 pouces).</p> <h2 id="phase-analyse---prototypage">Phase Analyse - Prototypage</h2> <p>Mise en place d&rsquo;une 1ere version sur base RPI, pour évaluer les différentes fonctionnalités, enrollments et chaine de construction.</p> <p>Développement et Validation par de multiples prototypes, notamment de la capacité à avoir un fonctionnement sur 5 ans, sur batterie de 20Ah.</p> <h2 id="validation--réalisation-carte-éléctronique-pour-validation">Validation / Réalisation carte éléctronique pour validation</h2> <p>Validation et ajustement des parties :</p> <ul> <li>electronique</li> <li>logiciel et logique associée</li> </ul> <h2 id="mise-en-place-système-autonome-de-collecte-supervision-et-administration">Mise en place système autonome de collecte, supervision et administration</h2> <p>Associé au fonctionnement de la plateforme et l&rsquo;implémentation du stack technique Mise en place d&rsquo;une plateforme de supervision et administration (Fle.T, permettant la supervision et administration de la plateforme).</p>https://www.frett27.net/open-source/superset-datafusion/Thu, 14 Mar 2024 00:00:00 +0000https://www.frett27.net/open-source/superset-datafusion/<h1 id="superset-datafusion">Superset DataFusion</h1> <p>Implémentation d&rsquo;un driver implémentant DataFusion dans les drivers Python utilisés par Superset. Cette intégration permet l&rsquo;utilisation de fichiers .parquet dans Superset pour l&rsquo;analyse de données.</p> <h2 id="vue-densemble">Vue d&rsquo;ensemble</h2> <p>Ce projet fournit une intégration entre Apache Superset et Apache DataFusion, permettant d&rsquo;analyser des données stockées dans des formats Parquet, notamment sur S3. Le driver permet à Superset d&rsquo;utiliser DataFusion comme moteur d&rsquo;exécution de requêtes SQL.</p> <h2 id="fonctionnalités-principales">Fonctionnalités principales</h2> <ul> <li><strong>Support Parquet</strong> : Analyse de fichiers Parquet directement depuis Superset</li> <li><strong>Intégration S3</strong> : Accès aux données stockées sur S3</li> <li><strong>Moteur SQL</strong> : Utilisation de DataFusion comme moteur d&rsquo;exécution de requêtes</li> <li><strong>Driver Python</strong> : Implémentation comme driver Python pour Superset</li> </ul> <h2 id="références">Références</h2> <ul> <li><strong>Apache DataFusion</strong> : <a href="https://github.com/apache/datafusion">github.com/apache/datafusion</a> - Moteur d&rsquo;exécution de requêtes SQL écrit en Rust, optimisé pour l&rsquo;analyse de données à grande échelle</li> <li><strong>Apache Superset</strong> : Plateforme d&rsquo;exploration et de visualisation de données</li> </ul> <h2 id="cas-dusage">Cas d&rsquo;usage</h2> <ul> <li>Analyse de données volumineuses stockées en Parquet</li> <li>Intégration avec des données sur S3</li> <li>Requêtes SQL performantes sur données columnaires</li> <li>Tableaux de bord et visualisations de données</li> </ul> <h2 id="technologies">Technologies</h2> <ul> <li><strong>Python</strong> : Langage d&rsquo;implémentation du driver</li> <li><strong>DataFusion</strong> : Moteur de requêtes SQL en Rust</li> <li><strong>Superset</strong> : Plateforme de BI et visualisation</li> <li><strong>Parquet</strong> : Format de stockage columnaire</li> </ul> <h2 id="contributions">Contributions</h2> <p>Le projet est ouvert aux contributions. Les améliorations du driver, le support de nouvelles fonctionnalités DataFusion et les optimisations de performance sont les bienvenues.</p>