Polars peut remplacer Pandas et Spark. Dans mon équipe on l'utilise pour des volumétries de données au format parquet allant jusqu'à 30 Gb et je pense que l'on peut encore augmenter la quantité de données traitée. Un de ses grands avantages est le similarité de syntaxe avec Spark qui facilite l'adoption.
Penses-tu que Polars est interessant également sur des petits datasets ou Pandas reste plus interessant dans ce cas ? (A part pour tester Polars bien entendu)
Spark fonctionne très bien en mono machine et multi-coeur(local[*]) est disponible sur vscode / notebook et offre un SQL complet. Ja JVM est une bête de course. Je n’ai pas compris l’argument polars à part la hype
J'adore Spark, et effectivement, Spark fonctionne en local/monomachine, mais ça embarque une bonne complexité qu'il ne faut pas négliger (les systèmes distribués sont complexes par nature, même si tu le local en mono). Polars permet de t'abstraire de cette complexité (comme le fait Pandas) tout en te donner une bonne puissance de calcul.
