AWS Glue 6.0 : L'arrivée de Spark 4.1 et Iceberg v3, et la baisse de 30% du coût par unité

La sortie de AWS Glue 6.0 marque un tournant stratégique pour les architectes de données et les consultants IT : c'est la première version majeure à s'appuyer sur Apache Spark 4.1, Python 3.12 et Scala 2.13, tout en réduisant le coût des unités de calcul de 30 %. Cette modernisation du runtime n'est pas qu'une simple mise à jour de version ; elle impose une nouvelle approche de la gestion des données avec le support natif complet d'Apache Iceberg v3, redéfinissant les standards de performance et d'économique sur le cloud AWS.

En bref

• Runtime modernisé : Passage à Spark 4.1, Python 3.12 et Scala 2.13, offrant de meilleures performances mémoire et de compilation.
• Réduction des coûts : Baisse de 30 % du prix par unité de Glue (DPU) par rapport aux versions 5.x et antérieures.
• Support Iceberg v3 : Intégration complète des dernières fonctionnalités de l'open table format, notamment le variant type et les améliorations de la compaction.
• Brisure de rétrocompatibilité : Les jobs écrits en Python 3.9 ou utilisant des bibliothèques spécifiques à Spark 3.x nécessitent une migration et des tests rigoureux.
• Nouvelle architecture de déploiement : Meilleure gestion des dépendances et des environnements isolés grâce à la modernisation du conteneur sous-jacent.

Anatomie du nouveau runtime : Spark 4.1 et ses implications

Le cœur de l'innovation d'AWS Glue 6.0 réside dans la transition vers Apache Spark 4.1. Pour un consultant en systèmes et data engineering, cela signifie que le moteur d'exécution a été profondément refondu. Spark 4.x apporte des optimisations significatives dans le planificateur de requêtes (Query Planner) et une gestion plus efficace de la mémoire, ce qui se traduit par une latence réduite sur les requêtes analytiques complexes.

Cependant, cette montée de version s'accompagne de changements API notables. De nombreuses méthodes dépréciées dans Spark 3.x ont été supprimées. Par exemple, l'accès direct aux classes internes de l'API Java/Scala via des bridges Python est désormais strictement contrôlé. Les développeurs doivent s'assurer que leurs scripts utilisent les interfaces publiques stables.

De plus, la version de Python passe de 3.9 à 3.12. Cette mise à jour est cruciale pour la sécurité et la performance, intégrant des améliorations du Global Interpreter Lock (GIL) et une gestion native de l'async/await plus performante. Les bibliothèques tierces installées dans l'environnement Glue (via des requirements.txt ou des paquets S3) doivent être compatibles avec Python 3.12. Il est fortement recommandé de reconstruire les environnements virtuels et de tester la résolution des dépendances avant le basculement en production.

# Exemple de vérification de compatibilité dans un script Glue 6.0
import sys
import pyspark

print(f"Spark Version: {pyspark.__version__}")
print(f"Python Version: {sys.version}")

# Vérification de la présence des nouvelles fonctionnalités Spark 4.x
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

# Spark 4.x introduit des améliorations dans le moteur de vectorization
try:
    # Test d'une fonctionnalité spécifique ou d'une API nouvelle
    df = spark.range(10).select("id")
    # Exemple : utilisation de la nouvelle syntaxe si disponible
    print("Spark 4.1 Runtime actif.")
except Exception as e:
    print(f"Erreur de compatibilité détectée: {e}")

Apache Iceberg v3 : Le standard de la data lake moderne

L'autre pilier d'AWS Glue 6.0 est le support complet d'Apache Iceberg v3. Si vos équipes utilisent des tables Glue classiques ou des formats Delta Lake, la migration vers Iceberg devient plus attractive grâce à cette intégration native. Iceberg v3 apporte des fonctionnalités clés telles que le variant type, qui permet de stocker des données semi-structurées (JSON, Avro) de manière plus efficace que des colonnes de chaîne de caractères brutes.

Pour les consultants en sécurité et en gouvernance, ce changement est majeur. Iceberg offre un contrôle fin sur les schémas et les historiques, facilitant l'audit des modifications de données. En utilisant Glue 6.0, les opérations de compaction et de snapshots sont gérées de manière plus transparente, réduisant la charge sur le stockage S3 et améliorant les temps de lecture.

La configuration des catalogues Iceberg dans Glue 6.0 reste similaire, mais il est recommandé de vérifier les paramètres de write.format et les options de commit.retry pour exploiter au mieux la robustesse du nouveau runtime.

{
  "JobName": "etl_job_iceberg_v3",
  "Command": {
    "Name": "glueetl",
    "PythonVersion": "3.12",
    "RuntimeVersion": "6.0",
    "Arguments": [
      "--temp-dir",
      "s3://my-bucket/temp/",
      "--job-bookmark-option",
      "2",
      "--extra-py-files",
      "s3://my-bucket/libs/iceberg_custom_libs.zip"
    ]
  },
  "ExecutionProperty": {
    "MaxConcurrentRunners": 10,
    "MaxRetries": 3
  },
  "DefaultArtifact": {
    "Type": "JOB",
    "Name": "etl_job_iceberg_v3"
  }
}

Optimisation des coûts et performance

La réduction de 30 % du prix par unité de Glue (DPU) est un argument financier décisif. Cependant, pour maximiser cet avantage, il faut revoir la configuration des runners. Avec Spark 4.1, l'efficacité par noyau a augmenté. Il est possible, dans de nombreux cas, de réduire le nombre de DPU allouées tout en maintenant le même débit de traitement.

Les consultants doivent analyser les métriques CloudWatch des anciens jobs (version 5.x) pour identifier les goulots d'étranglement. Si les anciens jobs souffraient de shuffling excessif ou de mémoire insuffisante, Spark 4.1 corrige souvent ces problèmes via une meilleure gestion des exécutables.

Il est crucial de surveiller les métriques suivantes après le passage en 6.0 :

1. Durée de vie des exécutants : Une diminution signifie une meilleure parallélisation.
2. Usage de la mémoire : Vérifier si le heap est mieux exploité.
3. Temps d'I/O S3 : Avec Iceberg v3, les lectures doivent être plus ciblées, réduisant le volume de données transférées.

Migration et gestion des dépendances

La migration vers Glue 6.0 ne doit pas être un "big bang". La stratégie recommandée pour les consultants IT est la suivante :

1. Audit des bibliothèques : Identifier toutes les dépendances Python et Java dans les requirements.txt et les archives S3. Vérifier leur compatibilité avec Python 3.12 et Spark 4.1. Des paquets comme pandas ou numpy doivent être à leur dernière version stable compatible.
2. Isolation des environnements : Utiliser des VPC endpoints et des rôles IAM stricts pour isoler les jobs de test. Glue 6.0 s'intègre mieux avec les Security Groups récents.
3. Tests de charge : Exécuter les jobs critiques sur un jeu de données de production en mode "dry-run" ou sur un sous-ensemble de données pour valider les performances.
4. Mise à jour des catalogues : Si vous migrez vers Iceberg, planifiez la conversion des tables Glue en tables Iceberg. Utilisez les utilitaires de migration fournis par AWS ou des scripts PyIceberg pour automatiser ce processus.

# Exemple de script bash pour vérifier la compatibilité des paquets Python
# À exécuter localement ou dans un environnement CI/CD avant le déploiement Glue
pip list --format=freeze | grep -E "pandas|numpy|pyarrow"

# Vérification de la version de PyArrow (cruciale pour Iceberg)
python -c "import pyarrow; print(pyarrow.__version__)"

Bonnes pratiques pour consultants IT

• Ne négligez pas la version de Scala : La migration vers Scala 2.13 peut impacter les UDF (User Defined Functions) écrites en Scala. Assurez-vous que les bibliothèques Scala utilisées sont compilées pour 2.13.
• Exploitez le Variant Type d'Iceberg : Remplacez les colonnes JSON string par le type variant dans vos schémas Iceberg v3. Cela réduit la taille des données et accélère les requêtes de filtrage.
• Surveillez les logs de déploiement : Glue 6.0 génère des logs plus détaillés sur l'initialisation du runtime. En cas d'échec de démarrage, ces logs indiquent souvent des conflits de classes ou de versions de bibliothèques.
• Mettez à jour vos templates Terraform/CloudFormation : Les paramètres de configuration des jobs ont changé. Les clés RuntimeVersion et PythonVersion doivent être explicitement définies sur 6.0 et 3.12.
• Validez la sérialisation : Si vos jobs utilisent la sérialisation Java native (rare mais possible dans des UDF complexes), vérifiez la compatibilité avec le nouveau classloader de Spark 4.1.

Points clés

AWS Glue 6.0 n'est pas seulement une mise à jour de version ; c'est une refonte de la plateforme de traitement des données sur AWS. En combinant Spark 4.1, Python 3.12 et Iceberg v3, AWS offre une stack plus performante, plus sécurisée et significativement moins chère. Pour les consultants IT, la clé du succès réside dans une migration méthodique : audit des dépendances, tests rigoureux des UDF, et exploitation des nouvelles fonctionnalités d'Iceberg pour optimiser l'architecture de la data lake. L'adoption de cette version est désormais un impératif pour rester compétitif en termes de coûts et de performance, mais elle exige une vigilance accrue sur la rétrocompatibilité du code existant.

Source : AWS News