OpenVPN : un canal TLS pour les clés, un canal de données pour le trafic
OpenVPN n’est ni dans le noyau ni normalisé par l’IETF : c’est un programme ordinaire, qui a bâti son propre protocole autour de TLS. Voici comment il s’organise.
Pour qui veut programmer un VPN, OpenVPN est un modèle instructif, parce qu’il montre ce qu’on peut faire sans toucher au noyau. Créé par James Yonan en 2001, publié sous licence GPL, il tourne comme n’importe quel programme, lit et écrit des paquets sur une interface virtuelle, et délègue toute la cryptographie de session à une bibliothèque TLS, OpenSSL le plus souvent. Son port par défaut, 1194, est enregistré auprès de l’IANA.
Un seul port, deux canaux
Tous les paquets d’OpenVPN commencent par un octet qui combine un code d’opération sur 5 bits et un identifiant de clé sur 3 bits. Le code dit à quel canal appartient le paquet. Le canal de contrôle transporte la poignée de main TLS et les messages de gestion ; le canal de données transporte le trafic de l’utilisateur, chiffré avec des clés dérivées de la session TLS.
Un problème se pose aussitôt : TLS a besoin d’un transport fiable, alors qu’OpenVPN fonctionne d’ordinaire sur UDP, qui perd et désordonne les paquets. OpenVPN ajoute donc au canal de contrôle sa propre couche de fiabilité, avec numéros de paquets, accusés de réception et retransmissions. Le canal de données, lui, n’en a pas besoin : un paquet perdu dans le tunnel sera retransmis par la connexion TCP qu’il transportait, s’il y a lieu.
L’identifiant de clé permet de faire coexister deux jeux de clés pendant un renouvellement. Les paquets de données de la version 2, P_DATA_V2, portent en outre un identifiant de pair sur 24 bits, qui permet au serveur de retrouver un client même si son adresse a changé.
La poignée de main, étape par étape
Le client ouvre la session par un paquet de réinitialisation, auquel le serveur répond. La poignée de main TLS se déroule ensuite, découpée dans des paquets du canal de contrôle. Dans la configuration habituelle, l’authentification est mutuelle : le client vérifie le certificat du serveur, et le serveur celui du client, ou à défaut un identifiant et un mot de passe transmis dans le canal chiffré.
Une fois TLS établi, les deux pairs se mettent d’accord sur les clés du canal de données. Historiquement, ils échangeaient pour cela du matériel aléatoire à l’intérieur du canal TLS ; les versions récentes peuvent dériver ces clés directement de la session grâce à l’exportateur de clés de TLS (RFC 5705). Le client envoie enfin une demande d’options, et le serveur lui « pousse » sa configuration : adresse dans le tunnel, routes, serveurs DNS, chiffrement retenu.
Protéger le canal de contrôle : tls-auth, tls-crypt, tls-crypt-v2
Sans précaution, n’importe qui peut envoyer un paquet de réinitialisation et pousser le serveur à démarrer une coûteuse poignée de main TLS. OpenVPN propose trois protections, fondées sur une clé partagée en plus des certificats :
- tls-auth ajoute un code d’authentification à chaque paquet de contrôle : le serveur jette sans réponse tout ce qui ne le porte pas, et devient invisible aux balayages de ports ;
- tls-crypt chiffre en plus le canal de contrôle, ce qui masque les certificats échangés pendant la poignée de main ;
- tls-crypt-v2 donne à chaque client sa propre clé, pour qu’une clé volée sur un poste ne compromette pas les autres.
Le canal de données
Client et serveur négocient le chiffrement du canal de données dans une liste commune ; les versions récentes retiennent par défaut AES-GCM ou ChaCha20-Poly1305. Chaque paquet porte un identifiant croissant, contrôlé par une fenêtre anti-rejeu. Les clés sont renouvelées par une nouvelle poignée de main TLS, toutes les heures par défaut.
L’histoire a laissé une leçon. Pendant des années, le chiffrement par défaut d’OpenVPN était Blowfish en mode CBC, dont les blocs ne font que 64 bits. En 2016, l’attaque Sweet32 a montré qu’au-delà de quelques dizaines de gigaoctets sous la même clé, des collisions de blocs laissent fuiter des données. Le défaut a changé ; les raisons en sont expliquées dans la page sur les algorithmes à bannir et à préférer.
TUN ou TAP, UDP ou TCP
OpenVPN sait travailler à deux niveaux. En mode TUN, il transporte des paquets IP et route le trafic : c’est le cas courant, et le seul possible sur Android et iOS. En mode TAP, il transporte des trames Ethernet entières, diffusions comprises, ce qui permet de relier deux réseaux locaux comme s’ils n’en faisaient qu’un, au prix d’un trafic plus lourd. Le fonctionnement de ces interfaces est détaillé dans la page sur TUN et TAP.
Il sait aussi fonctionner sur TCP, ce qui lui permet de passer par le port 443 sur les réseaux qui bloquent tout le reste. C’est un dernier recours : faire passer des connexions TCP dans un tunnel TCP superpose deux mécanismes de retransmission. Au moindre paquet perdu, les deux couches retransmettent et ralentissent en même temps, et le débit s’effondre.
Les limites : performances et DCO
Parce qu’il vit en espace utilisateur, OpenVPN fait faire à chaque paquet un aller-retour entre le noyau et le programme. Sur une liaison rapide, ces copies plafonnent le débit bien avant le processeur. La version 2.6, sortie en 2023, a introduit un module noyau optionnel, DCO, qui prend en charge le canal de données ; le programme ne garde que le contrôle. C’est la même séparation qu’IPsec, entre un démon qui négocie et un noyau qui chiffre.
Ce qu’un observateur voit d’OpenVPN
Le premier octet de chaque paquet, avec son code d’opération, circule en clair, tout comme la taille fixe des paquets de réinitialisation et la cadence des accusés de réception. Ces régularités suffisent à reconnaître le protocole. En 2022, une équipe de chercheurs a montré au symposium USENIX Security qu’un opérateur réseau pouvait identifier la grande majorité des connexions OpenVPN, y compris une partie de celles que des services présentaient comme masquées. OpenVPN protège efficacement le contenu ; il ne cache pas le fait qu’on l’utilise. Dans les pays qui filtrent les VPN, il faut l’envelopper dans une autre couche de dissimulation.
Ce que le programmeur peut en tirer
Le code d’OpenVPN, en C, est volumineux mais commenté, et sa documentation officielle, publiée sur le site d’OpenVPN, décrit chaque option du protocole. On y apprend comment greffer un transport fiable sur UDP, gérer des milliers de clients dans un seul processus et faire évoluer un protocole sans casser les anciens clients. Pour comparer avec l’approche opposée, une cryptographie fixe et un code minimal, voir le fonctionnement de WireGuard ; pour replacer OpenVPN dans le circuit d’un paquet côté serveur, le trajet d’un paquet dans un serveur VPN.