plpv.org

Comment fonctionne un serveur VPN : le trajet d’un paquet

Un serveur VPN reçoit des datagrammes illisibles et renvoie sur Internet des paquets ordinaires. Entre les deux, cinq opérations, toujours dans le même ordre.

Client VPN Programme serveur Noyau du serveur Internet datagramme UDP chiffré authentifie, déchiffre paquet d’origine (tun0) routage + NAT source : IP du serveur réponse NAT inversé, vers tun0 réponse chiffrée
Le programme VPN ne fait que chiffrer et déchiffrer. Le routage et la traduction d’adresses sont l’affaire du noyau.

Pour qui veut écrire son propre programme VPN, le serveur est souvent la partie sous-estimée. On l’imagine comme un relais qui reçoit et renvoie. En réalité, il doit reconnaître chaque client sans se fier à son adresse, rejeter en silence tout ce qui n’est pas authentifié, vérifier qu’un client n’usurpe pas l’adresse d’un autre, puis confier le paquet au système qui le fera sortir sur Internet. Chaque étape a ses pièges, et la plupart des failles des VPN faits maison se logent dans leur ordre.

1. Recevoir le datagramme et reconnaître le pair

Le programme serveur écoute sur un port UDP : 51820 par convention pour WireGuard, 1194 pour OpenVPN, 500 puis 4500 pour IKE, le protocole de clés d’IPsec. ESP, qui transporte le trafic IPsec, fait exception : ce n’est pas un protocole de transport à ports, mais un protocole IP à part entière, le numéro 50, traité directement par le noyau.

Premier réflexe à prendre : ne jamais identifier un client par son adresse IP et son port. Un routeur domestique les réécrit, un téléphone en change en passant du Wi-Fi à la 4G. Chaque protocole place donc dans ses paquets un identifiant de session : le SPI de 32 bits pour ESP, l’index du destinataire pour WireGuard, le peer-id de 24 bits dans les paquets de données d’OpenVPN. C’est ce champ qui désigne la clé à utiliser.

2. Authentifier, vérifier le rejeu, puis déchiffrer

Un paquet qui arrive n’est qu’une suite d’octets envoyée par n’importe qui. Le serveur commence par une vérification bon marché : le compteur du paquet entre-t-il dans la fenêtre anti-rejeu, c’est-à-dire n’a-t-il ni déjà été vu ni trop de retard ? Il vérifie ensuite l’étiquette d’authentification du chiffrement, et ne déchiffre qu’ensuite, ce que les chiffrements authentifiés comme AES-GCM font d’ailleurs en une seule opération.

Un détail sépare un serveur correct d’un serveur fragile : la fenêtre anti-rejeu ne doit être mise à jour qu’après le succès de l’authentification. Sinon, un attaquant peut envoyer des paquets forgés avec des compteurs très élevés, faire avancer la fenêtre et rendre inutilisables tous les paquets légitimes. La norme d’ESP, la RFC 4303, l’écrit noir sur blanc. Et en cas d’échec, le serveur ne répond rien : toute réponse à un paquet non authentifié est une information offerte à l’attaquant, voire un outil d’amplification.

3. Contrôler l’adresse intérieure

Une fois déchiffré, le paquet révèle son en-tête d’origine. Le serveur doit vérifier que l’adresse source intérieure appartient bien au client qui l’a envoyé. Sans ce contrôle, un client authentifié pourrait se faire passer pour un autre client du même serveur. WireGuard le fait par construction avec ses AllowedIPs, IPsec avec ses sélecteurs de trafic négociés par IKE, OpenVPN avec la table d’adresses qu’il attribue à chaque client.

C’est aussi à cette étape que se décide l’isolement des clients entre eux. Sur un VPN d’entreprise, deux postes nomades peuvent avoir besoin de se joindre ; sur un service grand public, c’est un risque, et une règle de pare-feu doit l’interdire.

4. Remettre le paquet au système : routage et NAT

Le programme écrit le paquet déchiffré sur l’interface virtuelle, tun0 ou wg0. À partir de là, il ne s’en occupe plus : c’est le noyau qui décide de la suite. Encore faut-il qu’il accepte de transférer des paquets d’une interface à l’autre, ce qui est désactivé par défaut sur un système Linux.

sysctl -w net.ipv4.ip_forward=1
sysctl -w net.ipv6.conf.all.forwarding=1

Le client utilise une adresse privée, par exemple 10.66.0.2, qui ne peut pas circuler sur Internet. Le serveur la remplace donc par sa propre adresse publique : c’est la traduction d’adresses, ou NAT, assurée sous Linux par nftables. Le noyau note chaque traduction dans sa table de suivi des connexions, ce qui lui permettra de faire l’opération inverse au retour.

IPv6 est l’oubli le plus fréquent. Si le serveur ne route que l’IPv4 alors que le client dispose d’une connexion IPv6, une partie du trafic du client contourne le tunnel. Il faut soit transporter l’IPv6, soit le bloquer explicitement côté client.

5. Le chemin du retour

La réponse du site arrive sur l’adresse publique du serveur. Le noyau retrouve la connexion dans sa table, remet l’adresse privée du client en destination, consulte sa table de routage et dirige le paquet vers l’interface virtuelle. Le programme VPN le lit, cherche à quel pair appartient cette adresse de destination, chiffre le paquet avec la clé d’envoi de ce pair et l’expédie à la dernière adresse connue du client.

Cette « dernière adresse connue » est mise à jour à chaque paquet authentifié reçu. C’est ce qui permet à une session de survivre à un changement de réseau, et c’est aussi pourquoi il ne faut jamais la mettre à jour sur un paquet qui n’a pas passé l’authentification.

Ce que le serveur voit, et ce qu’il garde

Le serveur connaît l’adresse IP réelle de chaque client, les adresses des sites contactés, les volumes et les horaires. Il ne voit pas le contenu des connexions chiffrées de bout en bout, comme HTTPS, mais il voit les requêtes DNS s’il fait aussi office de résolveur. Tout cela peut être journalisé, ou non : c’est un choix de configuration, pas une propriété du protocole. WireGuard garde en mémoire la dernière adresse de chaque pair ; OpenVPN peut écrire la liste des clients connectés dans un fichier d’état. Une promesse « sans journaux » ne se vérifie que par un audit indépendant, et c’est ce qui sépare les fournisseurs sérieux des autres. Le détail de ce que voit chaque acteur figure dans les usages et les limites d’un VPN.

Dans le noyau ou en espace utilisateur

Chaque paquet qui passe du noyau à un programme ordinaire, puis revient, coûte des copies et des changements de contexte. Les trois grands protocoles ont fait des choix différents.

ProtocoleTrafic chiffréNégociation des clés
IPsecdans le noyau (ESP)programme séparé, par exemple strongSwan pour IKE
WireGuarddans le noyau Linux depuis la version 5.6 (2020), ou en espace utilisateur avec wireguard-godans le même module
OpenVPNen espace utilisateur ; module noyau optionnel (DCO) depuis la version 2.6 (2023)dans le programme, via TLS

Pour comprendre chacun, le plus simple est de commencer par le format des paquets : ESP et ses deux modes, puis le modèle de WireGuard et les deux canaux d’OpenVPN. Pour voir ces étapes se dérouler sous vos yeux, rien ne vaut un serveur de test observé avec tcpdump, et pour les écrire, le squelette d’un programme VPN reprend la boucle entrante pas à pas.