Abstrait
À mesure que l’intelligence artificielle (IA) progresse rapidement, les réseaux de centres de données traditionnels sont confrontés à des défis majeurs lorsqu’il s’agit de transporter le trafic d’IA. Une utilisation élevée de la bande passante et un petit nombre de flux éléphants peuvent rendre l'équilibrage de charge classique par flux -inefficace, entraînant une congestion et une perte de paquets qui augmentent considérablement la formation des modèles d'IA et les délais d'exécution des tâches. Ce livre blanc examine une technologie de routage intelligent dynamique qui combine -connaissance en temps réel et prise de décision intelligente-. Il utilise la mesure de la qualité des chemins-, la synchronisation des attributs étendue-BGP, les trajets multiples à coût pondéré dynamique-(WCMP), la suppression anormale des-chemins et
Équilibrage de charge automatique (ALB) au niveau du Flowlet- pour améliorer la planification du trafic dans les environnements d'IA. La conception utilise également la virtualisation pour fournir une isolation multi-et propose des scénarios d'application et des conseils de planification pour des réseaux de centres de données d'IA efficaces, stables et intelligents.
Introduction : évolution du réseau dans l'IA Ère
Pourquoi les réseaux traditionnels ont du mal avec l'IA Trafic
Dans les réseaux de centres de données traditionnels, un grand nombre de petits flux permettent un-équilibrage de charge par flux afin d'obtenir une distribution acceptable et d'éviter les encombrements, même sans-connaissance en temps réel des conditions du réseau. Le trafic de l’IA est très différent : l’utilisation de la bande passante est extrêmement élevée et le trafic est souvent dominé par quelques flux éléphants seulement. Les collisions de hachage peuvent donc placer plusieurs flux importants sur le même chemin tandis que d’autres chemins restent sous-utilisés. Une fois la perte de paquets survenue, le temps d’exécution de l’ensemble de la charge de travail d’IA peut augmenter considérablement. Pour cette raison, le secteur se concentre de plus en plus sur des algorithmes d'équilibrage de charge optimisés-pour les structures d'IA afin que le trafic soit réparti plus uniformément sur plusieurs chemins.
Figure 1. Comparaison du trafic de flux-d'éléphant IA et du trafic traditionnel à petit-flux.
Combiner sensibilisation dynamique et prise de décision intelligente-
Le routage intelligent dynamique est une technologie d'équilibrage de charge-basée sur la connaissance-. Il utilise la qualité du chemin détectée par les commutateurs de la structure pour ajuster la sélection du chemin local et prend en charge l'équilibrage de charge pondéré dynamiquement. Construite sur BGP, la technologie définit un nouvel attribut de communauté -étendue.
Des mesures multi-dimensionnelles et de haute-précision sont utilisées pour évaluer la qualité du chemin, et le résultat est propagé via BGP pour guider le transfert ultérieur du trafic. Cela améliore la répartition de la charge à l'échelle du réseau-et réduit le temps de réponse des applications [1].
Figure 2. Flux de travail dynamique de sensibilisation, de décision et d'exécution.
Technologies de base : planification intelligente du trafic
Les approches classiques d'équilibrage de charge du réseau- incluent :
- ECMP par-flux : l'approche la plus courante, basée sur un hachage de cinq-tuples. Cela fonctionne bien lorsqu'il y a de nombreux flux et préserve l'ordre des paquets, mais les collisions de hachage peuvent produire un mauvais équilibrage lorsque le nombre de flux est faible, comme dans l'entraînement de l'IA [1].
- Équilibrage basé sur le flowlet- : dépend de la configuration correcte de l'écart entre-flowlet. Une configuration précise est difficile lorsque la latence au niveau du chemin global-est inconnue [1].
- ECMP par-paquet : fournit un excellent équilibre théorique mais peut créer une réorganisation importante des paquets au niveau du récepteur [1].
L'approche de routage intelligent dynamique utilisée par les commutateurs XingRongyuan CX-N Series RoCE (basés sur SONiC-) combine un équilibrage basé sur-ECMP de flux et Flowlet-. Il introduit le WCMP dynamique (Weighted Cost Multipath) et l'ALB (Auto Load Balancing) basé sur Flowlet- [1].
Mesure de la qualité du chemin
Le système évalue la qualité du chemin réseau à l'aide de facteurs qui affectent fortement les structures de cluster IA, notamment l'utilisation de la bande passante, l'utilisation de la file d'attente et la latence de transfert.
Compteurs statistiques
L'utilisation de la bande passante et de la file d'attente est mesurée via des compteurs matériels ASIC avec une précision de l'ordre de la centaine de-millisecondes. L'ASIC enregistre les compteurs de transfert de port-et de transfert de file d'attente-en temps réel. Le plan de contrôle SONiC lit les compteurs via l'interface SAI avec une précision inférieure à -seconde et les stocke dans Redis. Le processus de contrôle de routage-évalue la qualité de l'interface à l'aide de ces compteurs et annonce le résultat via BGP. Pour limiter la charge du plan de contrôle-, les publicités sont actuellement envoyées à des intervalles de deuxième-niveau, avec une moyenne pondérée appliquée à plusieurs échantillons ; les échantillons plus récents reçoivent un poids plus élevé.
Télémétrie en-bande
La mesure du délai de transfert-est basée sur l'INT (In-Télémétrie réseau en bande) et peut atteindre une précision de l'ordre de la nanoseconde-. HDC (High Delay Capture) capture les paquets qui subissent une latence élevée à l'intérieur de l'ASIC. Lorsqu'un paquet dépasse un seuil de délai défini par l'utilisateur-, le commutateur envoie les 150 premiers octets du paquet d'origine ainsi que les métadonnées, y compris le port d'entrée, le port de sortie et la latence, à un collecteur. Dans cette conception, le processeur agit comme un collecteur et un analyseur HDC, permettant des mesures de retard de transfert de haute -précision-et une évaluation plus précise de la qualité du chemin-.
Figure 3. Propagation de la qualité du chemin-et installation de WCMP.
La technologie utilise un nouvel attribut de communauté-étendue BGP, la communauté étendue de bande passante de chemin, pour indiquer la qualité globale d'un chemin vers une destination. L'octet de poids fort-du champ de type étendu-est 0x00 et l'octet de poids-de poids faible est 0x05. Dans le champ de valeur, le sous-champ Administrateur global représente le numéro AS. La qualité du chemin est codée sur quatre octets au format à virgule flottante IEEE-et exprimée en Go/s.
Lorsque NIC1 communique avec NIC2, NIC2 annonce d'abord son adresse IP à Leaf2. Leaf2 annonce l'adresse vers le Spine avec la valeur de qualité du lien-vers NIC2 multipliée par le poids de la liaison descendante Leaf2. Le Spine ajoute sa propre qualité de lien pondérée et transmet la valeur accumulée à Leaf1. Leaf1 résume la qualité du chemin et installe des itinéraires qui guident le transfert. Dans une structure Leaf-Spine à deux niveaux, les ports sont classés en liaisons montantes Leaf, liaisons descendantes Leaf et ports Spine, avec des coefficients de calcul configurables pour chaque classe.
WCMP dynamique
L'équilibrage de charge répartit le trafic sur plusieurs liens. Dans les environnements d’IA, cela est essentiel pour créer une structure Ethernet sans perte avec une perte de paquets, une latence et une dégradation du débit minimes. ECMP est le mécanisme conventionnel dans les centres de données. WCMP étend ECMP en distribuant
trafic proportionnellement sur les liens. Dans le routage intelligent dynamique, les poids WCMP sont ajustés en temps réel en fonction de la qualité du chemin. Par exemple, s'il existe deux chemins entre NIC1 et NIC2, le système peut calculer un rapport de 3:7. À mesure que le trafic change, les informations mises à jour sur la qualité du chemin sont propagées via BGP à chaque commutateur Leaf, où des routes WCMP dynamiques sont générées pour guider le transfert.
Suppression des chemins anormaux
Lorsque la qualité globale d'un chemin tombe en dessous d'un seuil convenu, le chemin est considéré comme inutilisable pour la charge de travail d'IA et est supprimé du transfert. Les chemins restants continuent d’acheminer le trafic via WCMP dynamique. Une fois que le chemin revient à la normale, il est restauré. Bien que cela puisse temporairement laisser une certaine capacité inutilisée, cela évite une congestion et une perte de paquets plus graves [1].
Équilibrage de charge intelligent (ALB)
ALB fournit une distribution de charge basée sur Flowlet-. L'ASIC mesure la charge et la latence sur différents ports en temps réel et dirige chaque Flowlet vers le lien ayant une charge ou un délai inférieur. Cela ajoute une planification-plus fine en plus de l'ECMP traditionnel. ALB prend également en charge le basculement de port et redistribue automatiquement le trafic lorsqu'un lien de sortie échoue [1].
Virtualisation
Les réseaux-frontaux nécessitent souvent une prise en charge multi-locataire afin que différentes ressources GPU puissent être allouées à différents utilisateurs. La solution utilise VRF (Virtual Routing and Forwarding) pour isoler les locataires, avec un VRF attribué à chaque utilisateur. Les sous-réseaux liés au GPU-sont placés dans le VRF de l'utilisateur, et les ACL PRE dans l'ASIC classent le trafic entrant afin que le trafic de chaque utilisateur soit transféré uniquement dans le VRF correspondant [1].
Scénarios d'application
1.Comment le WCMP dynamique absorbe les augmentations de trafic
Pour une structure dotée de 256 ports GPU 400 G, une architecture Clos à deux -niveaux peut être conçue avec un rapport de convergence de liaison descendante-à-de liaison montante de 1 : 1 pour maintenir un débit élevé, une bande passante élevée et une capacité symétrique. Les modèles de produits appropriés incluent le XingRongyuan CX864E-N ou CX732Q-N [1]. Dans le cadre d'ECMP conventionnel, un petit nombre de flux d'éléphants d'IA peuvent être hachés vers le même spine, provoquant une congestion de la liaison montante ou une perte de paquets. Dynamic WCMP ajuste en permanence la répartition du trafic en fonction de la qualité du chemin en temps réel -, réduisant ainsi les pics de trafic et évitant les embouteillages [1].
2.Flowlet-Équilibrage de charge au niveau
Dans la même structure GPU 256 x 400G, tous les appareils ou charges de travail ne sont pas mieux servis par WCMP dynamique. Le commutateur peut sélectionner dynamiquement l'ALB basé sur Flowlet-. ALB mesure la charge et la latence des liens dans le groupe ECMP et envoie des Flowlets aux liens avec une utilisation ou un délai inférieur. Si une interface devient surchargée ou si son délai de transmission augmente, l'ASIC évite automatiquement cette sortie jusqu'à ce que les conditions reviennent à la normale [1].
Planification et conception du réseau IA
Les services d'IA comprennent généralement trois étapes : la collecte et le prétraitement des données, la formation du modèle et l'inférence de l'IA. Chaque étape impose des exigences différentes au réseau.
1.Collecte et prétraitement des données
Un réseau mondial de collecte de données et de prétraitement de-données de formation doit fournir-des ressources IP publiques et de bande passante élastiques et à grande échelle afin que des ensembles de données brutes massifs puissent être collectés efficacement à partir de l'Internet mondial. La conception doit garantir une transmission sécurisée et stable tout en améliorant les performances d’agrégation des données et de prétraitement [2].
1.1 Segmentation des VPC
La conception d'un VPC pour la collecte de données-basée sur le cloud doit suivre les principes du moindre-privilège, de l'isolation en couches, du contrôle de sécurité et de l'évolutivité élastique. Plusieurs VPC ou plusieurs sous-réseaux à l'intérieur d'un seul VPC peuvent être utilisés [2].
- Segmentez par étape de service : déployez la collecte, le prétraitement, le stockage, la formation et l'inférence de données dans des sous-réseaux ou VPC distincts. Placez les points d'entrée de collecte dans un VPC DMZ ou un sous-réseau public ; placer le prétraitement et les données temporaires dans un VPC de traitement dédié ; placez les données brutes sensibles et la formation de l'IA dans un VPC de haute-sécurité sans accès public direct.
- Isoler par niveau de sécurité : créez des VPC ou des sous-réseaux à sécurité élevée-, moyenne- et faible-, et utilisez des groupes de sécurité, des listes de contrôle d'accès réseau et une connectivité privée pour contrôler le trafic entre-VPC et-sous-réseaux.
- Isoler par locataire ou projet : attribuez des VPC distincts à différents locataires ou projets pour isoler les ressources, les réseaux et les données.
1.2 Réseau de sortie de collecte de données
Passerelle NAT : utilisez un pool d'EIP et de SNAT via une passerelle NAT, permettant aux programmes de collecte d'accéder à Internet à partir d'adresses IP publiques sélectionnées au hasard.
Proxy-auto-construit : déployez des serveurs proxy qui maintiennent les mappages entre les processus de collecte et les adresses IP publiques, et distribuez une seule requête de collecte sur plusieurs proxys.
Fournisseur de services IP : connectez-vous à un fournisseur de services IP via le réseau privé cloud pour bénéficier d'un coût réduit, d'une sécurité contrôlée et d'une qualité stable [2].
1.3 Agrégation et prétraitement des données inter-régionales
Sélectionnez la région OSS en fonction du plan de cluster de prétraitement-et créez un VPC-d'agrégation de données dans la même région. Créez un routeur de transit (TR) dans chaque région, connectez les VPC locaux et interconnectez les TR afin que les VPC de collecte régionaux puissent accéder directement à l'OSS central. Des services tels que PAI-iTAG, MaxCompute et Flink peuvent ensuite effectuer l'étiquetage et le prétraitement des données dans la région OSS [2].
2. Modèle de réseau de formation
Le réseau de formation de modèles{{0}est étroitement intégré au réseau de collecte et de prétraitement pour former une structure mondiale qui connecte les centres de données cloud, les nœuds périphériques et les-IDC sur site.
L'interconnexion à haut-vitesse permet un mouvement de données à faible-latence et-haut débit, tandis que la bande passante, les politiques de sécurité, les contrôles d'accès et la reprise après sinistre doivent être conçus de bout en bout [2].
- Dans un pool de calcul de cluster-interrégional- : un routeur de transit connecte plusieurs VPC dans la même région. Les ENI du serveur se connectent aux commutateurs VPC et peuvent être configurés pour le débit et le RDMA requis.
- Pool de calcul inter-cloud : des circuits dédiés connectent un IDC ou un autre cloud à un VPC de la même-région. Les VBR Alibaba Cloud se connectent au niveau 3 au périphérique homologue, avec BGP, BFD et un basculement rapide pour une convergence rapide.
Pool de calcul mondial : les liaisons inter-régionales entre les TR sont fournies en fonction du trafic inter-de pointe, avec une QoS inter-facultative pour créer un pool de calcul unifié entre les régions [2].
3. Réseau de services d'inférence globale-
Un réseau d'inférence mondial sélectionne les modèles de déploiement en fonction des ressources et des services cloud disponibles dans chaque région et fournit une distribution et un accès efficaces aux services [2].
- Déploiement de modèle ou d'agent : utilisez le déploiement Model Studio MaaS, le déploiement PAI-EAS ou Function Compute PaaS, ou le déploiement IaaS sur une infrastructure nue EGS, ACK, ACS ou Lingjun-au sein du VPC client.
- Distribution de services : créez un VPC de distribution-d'inférence et connectez des réseaux privés à l'aide de l'appairage de VPC, des VPC de service-cloud associés ou de PrivateLink. Déployez ALB ou ALB amélioré en tant que point d'accès et requêtes proxy vers différents modèles ou agents.
- Accès au service : les utilisateurs Internet locaux peuvent accéder directement à l'ALB amélioré ; les utilisateurs distants peuvent utiliser Global Accelerator (GA) ; Les utilisateurs d'entreprise Alibaba Cloud internes ou externes peuvent se connecter en privé via PrivateLink.
Conclusion et perspectives
Ce livre blanc explique les défis auxquels sont confrontés les réseaux IDC à l'ère de l'IA et comment le routage intelligent dynamique peut les relever. La connaissance dynamique, la prise de décision intelligente-la virtualisation WCMP, ALB et VRF améliorent-l'efficacité de l'équilibrage de charge, réduisent la congestion et la perte de paquets, et accélèrent la formation et l'inférence de l'IA. La section de planification met l'accent sur la segmentation VPC, la conception de sortie de collection-, l'agrégation et le prétraitement inter-régionaux, la formation de modèles et la livraison d'inférences globales. À mesure que l’IA continue d’évoluer, les réseaux des centres de données seront confrontés à des exigences plus strictes. Le routage intelligent dynamique continuera de s’améliorer pour l’IA de pointe, l’apprentissage fédéré et d’autres scénarios complexes. Les futurs réseaux IDC mettront davantage l'accent sur la convergence des réseaux de calcul, l'efficacité énergétique et les opérations automatisées, créant ainsi une base plus intelligente, efficace et fiable pour l'économie numérique.
Références
L'utilisateur-a fourni un document source technique.
Livre blanc sur le réseau Alibaba Cloud AI. Consulté le 27 mai 2026.
https://help.aliyun.com/zh/cloud-réseau-bien-architecte-design/alibaba-cloud-ai-réseau-livre blanc-