plpv.org

Les algorithmes d’un VPN : chiffrer, authentifier, échanger les clés

Un VPN n’invente aucun algorithme. Il en assemble quatre ou cinq, et c’est dans l’assemblage que se jouent presque toutes les failles.

Pair A Réseau observé Pair B valeur publique éphémère de A valeur publique éphémère de B secret hors de portée secret commun secret commun HKDF : clés de session HKDF : clés de session données en AES-GCM ou ChaCha20-Poly1305
L’observateur voit passer les deux valeurs publiques, mais ne peut pas en déduire le secret commun.

Pour développer un VPN, la cryptographie fait peur, à tort et à raison. À tort, parce qu’il n’est pas question d’inventer quoi que ce soit : les bons algorithmes existent, sont normalisés et disponibles dans des bibliothèques éprouvées. À raison, parce qu’il suffit d’un nonce réutilisé, d’une clé dérivée de travers ou d’un paquet lu avant d’être authentifié pour que tout s’effondre. Voici les briques, ce qu’elles garantissent et ce qu’elles ne garantissent pas.

Trois besoins, trois familles d’outils

Un tunnel doit garantir trois choses. La confidentialité : personne ne lit le contenu. L’intégrité et l’authenticité : personne ne modifie un paquet ni n’en fabrique un faux. L’accord sur les clés et l’authentification des pairs : les deux extrémités savent à qui elles parlent et partagent des clés que personne d’autre ne connaît. Les deux premières reposent sur la cryptographie symétrique, rapide, qui traite chaque paquet. La troisième repose sur la cryptographie asymétrique, plus lente, utilisée seulement pendant la poignée de main.

Le chiffrement authentifié : AES-GCM et ChaCha20-Poly1305

Les VPN modernes utilisent un chiffrement authentifié, qui chiffre et produit une étiquette d’intégrité en une seule opération. Deux constructions dominent. AES-GCM tire parti des instructions AES intégrées à la plupart des processeurs de bureau et de serveur, et atteint des débits de plusieurs gigaoctets par seconde. ChaCha20-Poly1305, décrit par la RFC 8439, n’utilise que des opérations simples : il est rapide en logiciel, résiste naturellement aux attaques par mesure de temps, et brille sur les appareils sans accélération AES.

Leur point faible commun est le nonce. Avec AES-GCM, chiffrer deux messages avec la même clé et le même nonce révèle la combinaison des deux textes et permet de forger des étiquettes valides. Les protocoles VPN l’évitent en utilisant un compteur de paquets comme nonce : le numéro de séquence d’ESP, le compteur de 64 bits de WireGuard. La règle à graver : un compteur ne recule jamais, et la clé change avant qu’il ne déborde.

L’échange de clés Diffie-Hellman

Publié en 1976, l’échange Diffie-Hellman permet à deux pairs de calculer un secret commun en n’échangeant que des valeurs publiques. Un observateur qui voit passer ces valeurs ne peut pas en déduire le secret, tant que le problème mathématique sous-jacent reste difficile. Aujourd’hui, on utilise surtout sa version sur courbe elliptique, X25519 (RFC 7748), rapide et compacte.

La version classique, sur les entiers, reste répandue dans IPsec. Elle exige des tailles suffisantes : en 2015, les travaux sur Logjam ont montré que les groupes de 512 bits étaient cassables en pratique, et que ceux de 1 024 bits étaient à la portée d’un État. Un minimum de 2 048 bits s’impose, et les courbes elliptiques sont préférables.

La confidentialité persistante

Si les clés de session découlaient directement de la clé privée à long terme d’un serveur, le vol de cette clé permettrait de déchiffrer tout le trafic enregistré depuis des années. La confidentialité persistante l’empêche : chaque session utilise des clés Diffie-Hellman éphémères, détruites après usage. Voler la clé à long terme permet de se faire passer pour le serveur à l’avenir, pas de lire le passé.

Le renouvellement régulier des clés réduit encore l’exposition. WireGuard renouvelle les siennes toutes les deux minutes, OpenVPN toutes les heures par défaut, IPsec selon les durées de vie configurées dans IKE.

Authentifier les pairs

L’échange Diffie-Hellman seul ne dit pas avec qui l’on parle : un attaquant placé au milieu pourrait mener un échange avec chaque côté. Il faut donc authentifier les pairs. Trois approches existent : les signatures numériques (RSA, ECDSA, Ed25519) adossées à des certificats, comme dans IKEv2 et OpenVPN ; une clé partagée à l’avance ; ou, comme WireGuard, des clés publiques statiques connues de chaque côté et mêlées à l’échange.

Le vrai problème est moins mathématique qu’organisationnel : distribuer les clés, les renouveler, révoquer celle d’un appareil perdu. Une autorité de certification facilite la révocation ; une simple liste de clés publiques est plus simple, mais chaque changement doit être reporté sur le serveur.

Dériver les clés

Le secret issu de Diffie-Hellman n’est jamais utilisé tel quel. Une fonction de dérivation, comme HKDF (RFC 5869) ou la fonction prf+ d’IKEv2, en tire autant de clés indépendantes qu’il en faut : une par sens, une pour chiffrer, une pour authentifier. Utiliser la même clé dans les deux sens ou pour deux usages ouvre la porte à des attaques par réflexion, où un paquet est renvoyé à son propre émetteur.

Ce qu’il faut bannir

Certains algorithmes traînent encore dans de vieilles configurations et de vieux tutoriels :

  • DES, avec sa clé de 56 bits, a été cassé par force brute en 1998 par une machine dédiée de l’EFF, en 56 heures ;
  • 3DES et Blowfish chiffrent par blocs de 64 bits, trop petits : l’attaque Sweet32, en 2016, l’a démontré sur HTTPS et sur OpenVPN ;
  • MD5 et SHA-1 ne doivent plus servir à signer : des collisions ont été produites, pour SHA-1 en 2017 ;
  • PPTP, le plus ancien protocole VPN de Windows, repose sur MS-CHAPv2, dont la sécurité a été ramenée en 2012 à celle d’une seule clé DES.

Pour IPsec, les recommandations de l’IETF (RFC 8221 pour ESP, RFC 8247 pour IKEv2) écartent DES et déconseillent 3DES. Le reste du protocole est détaillé dans la page sur IKEv2.

Préparer l’après-quantique

Un ordinateur quantique de taille suffisante casserait Diffie-Hellman, RSA et les courbes elliptiques. Il n’existe pas encore, mais un trafic enregistré aujourd’hui pourrait être déchiffré demain. La parade consiste à combiner un échange classique et un mécanisme post-quantique, comme ML-KEM, normalisé par le NIST en 2024 : le secret reste sûr tant que l’un des deux tient. IKEv2 le permet avec la RFC 9370, WireGuard offre une clé prépartagée qui joue ce rôle, et les bibliothèques TLS récentes, donc OpenVPN, commencent à proposer des échanges hybrides. Les chiffrements symétriques comme AES-256 restent, eux, considérés comme sûrs.

La règle d’or : ne rien écrire soi-même

Utilisez une bibliothèque reconnue : libsodium, OpenSSL ou BoringSSL, les paquets cryptographiques de Go, RustCrypto ou ring en Rust. Comparez les étiquettes en temps constant, vérifiez vos appels avec les vecteurs de test publiés dans les RFC, et ne journalisez jamais une clé. Pour voir ces briques assemblées dans un vrai protocole, le plus court chemin passe par la conception de WireGuard, dont la cryptographie tient en une ligne ; pour les placer dans votre propre code, par le squelette d’un programme VPN. OpenVPN, qui délègue tout à TLS, en offre le contre-modèle : voir ses deux canaux.