Avec l'augmentation de la quantité de données, on arrive aux limites du serveur.
Une solution simple serait que le flow prefect se déroule dans un serveur invoqué ponctuellement, de 64GB RAM pour être à l'aise. Le prefect "principal" resterait sur le serveur actuellement, mais la configuration de déploiement pointerait vers un serveur ponctuel.
Problèmes à résoudre :
- le cache nous permet d'économiser du temps de traitement, donc il faudrait sauvegarder le cache en fin de run et l'importer en début de run (depuis S3) ?
Avec l'augmentation de la quantité de données, on arrive aux limites du serveur.
Une solution simple serait que le flow prefect se déroule dans un serveur invoqué ponctuellement, de 64GB RAM pour être à l'aise. Le prefect "principal" resterait sur le serveur actuellement, mais la configuration de déploiement pointerait vers un serveur ponctuel.
Problèmes à résoudre :