Atterrissage de fusée à petite échelle : une politique de guidage apprise peut-elle surpasser une approche classique en simulation ?

Le guidage de descente propulsée pour une fusée, qu'elle soit à grande échelle ou à petite échelle, est un problème de contrôle dans lequel un véhicule doit atteindre une position et une vitesse cibles tout en brûlant le moins de propergol possible, sous réserve de limites physiques. Deux grandes familles de méthodes existent pour le résoudre : l'optimisation classique de trajectoire, le plus souvent l'optimisation convexe, et les politiques apprises entraînées par apprentissage par renforcement (RL). La question de recherche demande si une politique de guidage par réseau de neurones entraîné peut égaler ou surpasser une loi de guidage classique par optimisation convexe telle que la convexification sans perte (LCvx) sur une fusée réutilisable à petite échelle, en termes de précision d'atterrissage et d'efficacité énergétique.

Les affirmations rassemblées ici décrivent des systèmes de guidage RL et des systèmes de guidage par optimisation convexe, mais aucune ne met les deux côte à côte sur le même véhicule, le même ensemble de scénarios et la même métrique de précision ou de carburant. Certaines affirmations décrivent les performances du RL sur un atterrisseur planétaire 6-DOF [1], d'autres décrivent des gains de temps et de satisfaction de contraintes pour des démarrages à chaud appris de solveurs convexes [4][11], et d'autres décrivent l'optimisation convexe utilisée seule [14][10]. Ce sont des systèmes différents, testés dans des conditions différentes, donc leurs chiffres ne peuvent pas être placés sur une échelle commune.

Cela importe pour un constructeur car les deux familles résolvent le problème de guidage différemment. Les méthodes d'optimisation convexe, lorsqu'elles sont applicables, offrent des garanties : comportement déterministe, optimalité globale et certificats de convergence ou d'infaisabilité [14]. Les politiques RL ne portent pas ces garanties par construction, mais elles sont rapportées comme produisant des trajectoires précises et économes en carburant en simulation, et comme étant robustes au bruit et à l'incertitude des paramètres [1]. Savoir si cette robustesse et cette précision équivalent à des performances comparables ou supérieures à une loi convexe spécifique comme LCvx, sur un petit véhicule spécifique, est exactement le test de comparaison directe qui manque.

L'échelle du véhicule importe également, et aucune des affirmations n'est énoncée pour une fusée de 10 kg et 100 m d'apogée spécifiquement. Les résultats RL ci-dessous proviennent d'un atterrisseur planétaire 6-DOF [1], d'un modèle de fusée haute fidélité [6], de scénarios lunaires et d'astéroïdes [3][8]. Les résultats d'optimisation convexe proviennent de formulations d'atterrissage propulsé sur Mars [14][4] et d'un problème d'atterrissage propulsé de fusée avec une contrainte d'angle d'attaque [10]. Appliquer l'un de ces chiffres à un véhicule à petite échelle sans nouveau test serait une extrapolation que les sources ne soutiennent pas.

Le reste de cette note expose ce que chaque famille de méthodes fait réellement, ce qui a été mesuré pour chacune, et ce qu'une équipe de deux personnes devrait construire pour répondre directement à la question originale, puisque la littérature n'y répond pas encore.

Une politique de guidage RL pour l'atterrissage de fusée est un réseau de neurones entraîné à produire des commandes de poussée directement à partir de l'état estimé du véhicule. Dans une approche, l'optimisation de politique proximale (PPO) est utilisée pour apprendre une politique qui mappe l'état estimé de l'atterrisseur directement à une poussée commandée pour chaque moteur [1]. L'entraînement a utilisé un environnement de simulation 6-DOF pour la tâche de descente et d'atterrissage, et la politique résultante a produit des trajectoires décrites comme précises et économes en carburant [1]. Le système a également montré une robustesse au bruit et à l'incertitude des paramètres du système [1].

Un détail de réglage spécifique rapporté pour ce système est que l'utilisation de taux d'actualisation différents pour les récompenses terminales et de façonnage améliore significativement les performances d'optimisation [1]. Ceci est énoncé comme une amélioration générale de la procédure d'entraînement, liée à la conception de récompense de façonnage utilisée dans cette étude particulière d'atterrisseur 6-DOF, plutôt que comme un résultat isolé. Un constructeur adoptant une structure de récompense similaire, avec à la fois une récompense terminale pour atteindre la cible et une récompense de façonnage qui guide le comportement intermédiaire, devrait s'attendre à devoir régler ces deux taux d'actualisation séparément plutôt que de partager une seule valeur entre eux.

D'autres travaux de guidage RL ciblent des problèmes connexes mais distincts en utilisant le même algorithme sous-jacent. Une implémentation open source de l'algorithme de pointe Proximal Policy Optimization est adoptée pour mener le processus d'entraînement d'un réseau de neurones profond pour la conception de trajectoire de missions interplanétaires [7]. Dans ce même travail, le problème de contrôle optimal stochastique est reformulé comme un processus de décision markovien à temps discret, pour se conformer à la formulation standard requise par l'apprentissage par renforcement [7]. Cette étape de reformulation, qui transforme un problème de contrôle optimal en temps continu en une séquence de décisions discrètes avec des états, des actions et des récompenses, est un prérequis général pour appliquer des algorithmes RL à tout problème de guidage, pas seulement le cas interplanétaire où elle est décrite.

Les approches basées sur l'image étendent le guidage RL aux cas où la politique doit agir sur une entrée visuelle plutôt que sur une estimation d'état propre. Le méta-apprentissage profond par renforcement basé sur l'image a produit une politique de guidage en boucle fermée qui atteint des erreurs de l'ordre du mètre dans différents scénarios, y compris lorsque l'environnement n'est que partiellement observé, pour l'atterrissage lunaire autonome [3]. Un système de guidage par méta-apprentissage par renforcement basé sur l'image connexe, appliqué au problème différent de guider un impacteur d'astéroïde, a correctement dirigé le vaisseau spatial vers le point d'impact final dans plus de 98 % des 500 scénarios de test [8]. Les deux résultats décrivent un comportement de guidage en boucle fermée sous incertitude quant à l'état réel, ce qui est directement pertinent pour une fusée à petite échelle qui doit également compter sur une estimation d'état imparfaite, bien qu'aucune des deux affirmations ne concerne l'atterrissage d'une fusée sur une rampe de lancement ou une barge.

Les algorithmes RL standard ne sont pas automatiquement fiables pour cette classe de tâche d'atterrissage orientée vers un objectif, et c'est une mise en garde importante pour quiconque suppose qu'un algorithme RL fonctionnera simplement sans ajustement. PPO, SAC et DSAC sont rapportés comme échouant dans les scénarios d'atterrissage de fusée orientés vers un objectif car ils reposent sur une exploration extensive, et la probabilité d'atteindre aléatoirement l'objectif diminue exponentiellement avec le temps [6]. Ce mode de défaillance est la raison pour laquelle des schémas d'entraînement spécialisés, décrits dans la section suivante, ont été proposés spécifiquement pour le contrôle d'atterrissage de fusée, plutôt que de se fier uniquement à l'entraînement PPO, SAC ou DSAC standard.

Random Annealing Jump Start (RAJS) est une méthode d'entraînement conçue pour surmonter l'échec d'exploration des algorithmes RL standard dans l'atterrissage de fusée orienté vers un objectif. Dans RAJS, une politique guide navigue dans l'environnement pendant un horizon guide, puis une politique d'exploration prend le relais pour terminer les étapes restantes [6]. L'horizon guide est échantillonné à partir d'une distribution uniforme dont la borne supérieure diminue jusqu'à zéro en fonction des métriques de performance [6]. Cette conception permet à la politique d'exploration de commencer de plus en plus près de l'objectif à mesure que l'entraînement progresse, car au début de l'entraînement, la politique guide couvre la majeure partie de la trajectoire, et à mesure que les performances s'améliorent, la part de la politique guide dans chaque épisode diminue jusqu'à disparaître, confiant progressivement davantage de la tâche à la politique d'exploration en cours d'entraînement.

Le mécanisme cible directement le problème d'exploration exponentielle décrit pour PPO, SAC et DSAC standard. Au lieu de demander à la politique d'exploration de tomber sur un état objectif rare à partir d'un départ complètement aléatoire, RAJS lui donne un départ lancé à partir d'un état atteint par une politique guide compétente, et ne retire progressivement cette avance que lentement. Ce choix de conception est une réponse directe à la cause déclarée de l'échec des algorithmes RL standard, à savoir que la probabilité d'atteindre aléatoirement l'objectif diminue exponentiellement avec le temps [6].

Sur un modèle de fusée haute fidélité, RAJS a augmenté le taux de réussite du contrôle d'atterrissage de fusée de 8 % avec un contrôleur de base à 97 % [6]. Il s'agit d'une amélioration importante, mais elle est rapportée pour le modèle de fusée haute fidélité spécifique utilisé dans cette étude, pas pour un véhicule à petite échelle de 10 kg et 100 m d'apogée. Un constructeur ciblant une fusée à petite échelle devrait traiter ce chiffre comme une preuve que le schéma d'entraînement fonctionne sur la classe de véhicule sur laquelle il a été testé, et ne devrait pas supposer que le même saut de 8 % à 97 % se produirait sur un véhicule différent sans refaire l'expérience.

La méthode RAJS a également été validée par une évaluation extensive et des tests Hardware-in-the-Loop, qui ont affirmé l'efficacité, la faisabilité en temps réel et la fluidité du contrôleur proposé [6]. Les tests Hardware-in-the-Loop sont une étape significative vers un déploiement réel car ils exercent le contrôleur face à des contraintes de temps et d'interface réelles, pas seulement une horloge simulée. Cependant, cette validation a été effectuée sur le modèle de fusée haute fidélité utilisé dans cet article ; l'affirmation ne précise pas que ce résultat Hardware-in-the-Loop a été obtenu sur, ou est transférable à, un véhicule à petite échelle de 10 kg. Un constructeur considérant RAJS comme un contrôleur de secours pour une fusée à petite échelle devrait noter explicitement ce décalage d'échelle et de fidélité du véhicule plutôt que de supposer que le résultat de temps réel et de fluidité se transpose.

Pris ensemble, RAJS est mieux interprété comme une solution à un échec connu spécifique de l'entraînement RL standard dans ce domaine, évalué sur un modèle de véhicule, plutôt que comme une garantie générale de performance à travers les échelles de fusée. C'est une correction au moment de l'entraînement, pas un changement de loi de guidage, et elle peut en principe être associée à n'importe laquelle des idées de façonnage de récompense ou de réglage de taux d'actualisation rapportées ailleurs pour le guidage RL.

L'optimisation convexe est l'approche classique établie pour le guidage de descente propulsée. La convexification sans perte des contraintes non convexes de coût, de dynamique et de contrôle est souvent appliquée au problème de guidage de descente propulsée 3-DoF [4]. L'optimisation convexe a été considérée comme un candidat de premier plan pour les applications de guidage autonome embarqué en raison de son comportement déterministe, de ses garanties d'optimalité globale, de sa capacité à fournir des certificats de convergence et d'infaisabilité, et de la disponibilité d'algorithmes efficaces de point intérieur (IPM) [14].

Ces propriétés, le déterminisme, les garanties d'optimalité et les certificats de convergence, sont exactement ce qu'une politique RL n'offre pas par construction, car un réseau de neurones entraîné ne fournit aucune garantie formelle que sa sortie est optimale ou même réalisable pour un nouveau scénario non vu. Il s'agit d'une différence structurelle entre les deux familles plutôt que d'une comparaison mesurée, et il vaut la peine de l'énoncer clairement pour un constructeur qui décide à quelle famille faire confiance pour une phase d'atterrissage critique pour la sécurité.

La version 6-DoF du problème de descente propulsée est plus difficile que la version 3-DoF. Il est connu qu'il est difficile à résoudre rapidement et de manière fiable car le problème est non linéaire et non convexe, le schéma de discrétisation influence fortement la validité de la solution, et l'initialisation de la trajectoire de référence détermine si l'algorithme converge ou diverge [4]. Un article antérieur décrivant la convexification successive pour l'atterrissage propulsé de fusée sur Mars 6-DoF avec temps final libre énonce les trois mêmes difficultés en termes quasi identiques : résoudre le problème rapidement et de manière fiable est difficile car il est non linéaire et non convexe, car la validité de la solution dépend fortement de la précision du schéma de discrétisation, et car il peut être difficile de sélectionner une trajectoire de référence appropriée pour initialiser un processus de solution itératif [14].

Ce travail de convexification successive rapporte également que, grâce à l'utilisation de solveurs de méthode de point intérieur (IPM), cette séquence de sous-problèmes convexes peut être résolue rapidement et de manière fiable, permettant ainsi un guidage en temps réel de plus haute fidélité pour les atterrissages propulsés de fusée sur Mars [14]. Il s'agit d'un résultat positif spécifique au cadre d'atterrissage propulsé sur Mars et aux solveurs basés sur IPM, et il doit être interprété comme une preuve que l'approche de convexification successive, lorsqu'elle est associée à des solveurs IPM, répond à une exigence de temps réel dans ce cadre, et non comme une garantie de vitesse générale indépendante du choix du solveur.

Séparément, une méthode de programmation convexe pour l'atterrissage propulsé de fusée avec une contrainte d'angle d'attaque a montré, dans des simulations numériques, qu'elle peut trouver une trajectoire d'atterrissage réalisable où la contrainte d'angle d'attaque est satisfaite, avec de meilleures performances de convergence par rapport à une méthode de linéarisation traditionnelle [10]. Il s'agit d'une comparaison par rapport à une référence de linéarisation au sein de la famille de l'optimisation convexe, et non par rapport à une politique RL, et elle démontre que les méthodes convexes elles-mêmes continuent d'être affinées par rapport aux techniques convexes ou linéarisées antérieures.

L'atterrissage de précision sous perturbations réelles ajoute une difficulté supplémentaire au-delà des défis algorithmiques ci-dessus. L'atterrissage endoatmosphérique est soumis à des conditions perturbatrices incluant la fluctuation de la poussée du moteur, l'incertitude des coefficients aérodynamiques, la perturbation de la densité atmosphérique et la perturbation du vent [5]. C'est le contexte dans lequel toute loi de guidage, apprise ou classique, doit être jugée si elle est destinée à une véritable fusée volante à petite échelle plutôt qu'à une simple simulation propre, car un véhicule petit et léger est susceptible d'être plus sensible au vent et à la variation de poussée qu'un grand lanceur, même si aucune affirmation ne le dit directement.

Une ligne de travail distincte n'oppose pas le RL à l'optimisation convexe mais utilise plutôt l'apprentissage pour rendre l'optimisation convexe plus rapide ou plus fiable. T-PDG améliore les temps de solution jusqu'à un ordre de grandeur par rapport à la convexification sans perte (LCvx) pour le problème de guidage de descente propulsée à carburant minimum 3-DoF [4]. Il s'agit d'une comparaison de temps entre une méthode augmentée par l'apprentissage et une référence classique, sur une formulation de problème 3-DoF spécifique, et non d'une comparaison précision-contre-précision d'une politique RL par rapport à LCvx.

Le mécanisme derrière cette accélération est la prédiction des contraintes qui seront actives à la solution optimale. T-SCvx apprend à prédire l'ensemble des contraintes serrées ou actives à la solution du problème de contrôle optimal, créant un problème de taille réduite minimale initialisé uniquement avec les contraintes serrées, puis utilise la solution pour démarrer à chaud le solveur d'optimisation directe [4]. Le démarrage à chaud signifie que le solveur commence plus près de la réponse, ce qui explique la baisse des temps de résolution ; la taille réduite du problème, contenant uniquement les contraintes serrées prédites au lieu de l'ensemble complet des contraintes, est ce qui permet au solveur de converger plus rapidement qu'il ne le ferait sur la formulation complète de convexification sans perte.

Une méthode connexe, TOAST, suit une philosophie de démarrage à chaud similaire mais est évaluée sur des problèmes différents. Grâce à des expériences numériques sur un problème de rover lunaire et un problème de guidage de descente propulsée sur Mars à 3 degrés de liberté, TOAST surpasse les approches de référence en termes de temps de calcul et de satisfaction des contraintes de prédiction du réseau [11]. Encore une fois, il s'agit d'une comparaison par rapport à des approches de référence de démarrage à chaud ou d'optimisation, et non par rapport à une politique de guidage RL pure de bout en bout, et les deux problèmes de test, un rover lunaire et un cas de descente propulsée sur Mars 3-DoF, sont distincts à la fois de l'atterrisseur planétaire 6-DOF utilisé pour la politique de guidage RL dans [1] et de toute fusée à petite échelle.

Pour un constructeur, la leçon pratique de cette famille de méthodes est que l'apprentissage et l'optimisation convexe ne sont pas mutuellement exclusifs. Un système peut utiliser un réseau appris uniquement pour accélérer ou stabiliser la convergence d'un solveur convexe, en conservant les garanties du solveur, plutôt que de remplacer la prise de décision du solveur par un réseau de bout en bout comme dans les politiques de guidage RL décrites précédemment. Cette voie hybride mérite d'être considérée comme une troisième option aux côtés du RL pur et de l'optimisation convexe pure lors de la conception de l'expérience de comparaison dont il est finalement question dans cette note.

La précision et la robustesse à la dispersion sont des exigences centrales pour toute fusée réutilisable à petite échelle, car le matériel réel ne se comporte jamais exactement comme son modèle de simulation. Une approche proposée est une nouvelle méthode de contrôle de dispersion de trajectoire en ligne basée sur une loi de guidage de rétroaction optimale paramétrée (POFGL) [5]. Il s'agit d'une loi de guidage visant spécifiquement à contrôler la dispersion de la trajectoire réelle d'une fusée par rapport à sa trajectoire planifiée sous perturbation, plutôt qu'un optimiseur général ou une politique apprise, et elle est présentée comme une méthode en ligne, ce qui signifie qu'elle est destinée à fonctionner en continu pendant le vol plutôt que d'être résolue une fois avant le lancement.

Une limitation connue des lois de guidage de rétroaction de ce type est le comportement près de la fin de la descente. À mesure que le temps restant tend vers zéro, la sensibilité des trajectoires de commande générées augmentera significativement et tendra inévitablement vers l'infini [5]. Il s'agit d'une propriété structurelle de la loi de guidage près du toucher, et toute implémentation doit la gérer explicitement, par exemple en changeant de mode de guidage ou en plafonnant la sensibilité commandée à mesure que le temps restant approche de zéro, bien que l'affirmation elle-même ne prescrive pas quelle atténuation spécifique utiliser.

Ce problème de dispersion est énoncé dans le contexte des perturbations déjà notées pour l'atterrissage endoatmosphérique : fluctuation de la poussée du moteur, incertitude des coefficients aérodynamiques, perturbation de la densité atmosphérique et perturbation du vent [5]. Ce sont exactement les types de perturbations qu'une fusée à petite échelle, qui est plus légère et plus sensible au vent et à la variation de poussée qu'un grand lanceur, rencontrerait lors d'un test en extérieur, même si aucune affirmation ne fait cette comparaison d'échelle directement.

Aucune des affirmations de cet ensemble ne rapporte un chiffre de précision d'atterrissage ou de consommation de carburant pour POFGL qui pourrait être placé à côté du chiffre d'une politique RL dans les mêmes conditions de test. La valeur de cette section pour un constructeur est le rappel que les lois de guidage, quelle que soit leur famille, doivent être vérifiées spécifiquement pour leur comportement à mesure que le temps restant approche de zéro et sous des modèles de perturbation réalistes, et pas seulement dans un scénario nominal sans perturbation, car une loi de guidage qui fonctionne bien dans une simulation propre peut encore échouer près du toucher ou sous des perturbations de vent et de poussée qui n'ont pas été modélisées.

Pour que cette note soit honnête, voici chaque résultat quantitatif ou comparatif dans l'ensemble d'affirmations, énoncé avec sa propre référence et ses propres conditions, sans fusionner les résultats de différents articles.

• RAJS a augmenté le taux de réussite du contrôle d'atterrissage de fusée de 8 % avec un contrôleur de base à 97 %, sur un modèle de fusée haute fidélité, en utilisant RL [6].
• T-PDG améliore les temps de solution jusqu'à un ordre de grandeur par rapport à LCvx, pour le problème de guidage de descente propulsée à carburant minimum 3-DoF [4].
• TOAST surpasse les approches de référence en temps de calcul et en satisfaction des contraintes de prédiction du réseau, sur un problème de rover lunaire et un problème de guidage de descente propulsée sur Mars 3-DoF [11].
• La méthode de programmation convexe avec contrainte d'angle d'attaque a de meilleures performances de convergence qu'une méthode de linéarisation traditionnelle, dans des simulations numériques, et trouve une trajectoire d'atterrissage réalisable satisfaisant cette contrainte [10].
• Un système de guidage par méta-apprentissage par renforcement basé sur l'image a correctement dirigé le vaisseau spatial vers le point d'impact final dans plus de 98 % des 500 scénarios de test, pour un problème d'impacteur d'astéroïde [8].
• Une politique de méta-apprentissage profond par renforcement basé sur l'image a atteint des erreurs de l'ordre du mètre dans différents scénarios, y compris en observabilité partielle, pour l'atterrissage lunaire [3].
• Le modèle RAQResNet a atteint une perte de validation environ 300 fois inférieure à celle d'une architecture standard avec un nombre égal de paramètres entraînables, et 50 fois inférieure à celle d'une architecture standard avec deux fois le nombre de paramètres entraînables [2].

Aucun de ces résultats ne compare une politique de guidage RL et une loi de guidage convexe classique sur le même véhicule et la même métrique de précision ou de carburant. Chaque chiffre appartient à sa propre référence, taille d'échantillon et cadre, et les mélanger en un seul classement serait une mauvaise représentation des preuves. Un constructeur devrait traiter chacun de ces chiffres strictement comme un rapport sur la méthode, le véhicule et le scénario de test spécifiques nommés à côté, et ne devrait pas les moyenner ou les combiner entre articles pour produire un classement revendiqué entre le guidage RL et le guidage par optimisation convexe en général.

Deux éléments d'infrastructure, bien que n'étant pas des méthodes de guidage elles-mêmes, constituent un contexte pertinent pour une équipe construisant et testant des politiques de guidage RL. L'Open Ant est une variante physique de l'environnement Gymnasium Ant couramment utilisé, accompagnée d'une simulation [15]. Le corps du robot Open Ant est conçu pour ressembler à l'environnement Gymnasium Ant largement utilisé [15], et il est conçu pour être construit et entretenu par des chercheurs en IA sans formation en ingénierie robotique [15]. Ce deuxième point importe pour une petite équipe de guidage de fusée : une plateforme explicitement conçue pour les chercheurs non roboticiens abaisse la barrière technique pour mener des expériences RL physiques, ce qui est directement pertinent si une équipe sans expérience approfondie en matériel aérospatial souhaite tester une politique de guidage sur du matériel réel plutôt que seulement en simulation.

Mécaniquement, l'Open Ant utilise une webcam aérienne pour suivre des marqueurs fiduciaires afin de calculer les signaux de récompense et le vecteur de direction de la fourmi [15]. Le robot est connecté par des câbles à l'alimentation secteur et à un ordinateur externe où l'agent s'exécute [15]. Cela signifie que le calcul de la récompense et la prise de décision de l'agent se font tous deux hors-bord, en s'appuyant sur une détection et un calcul externes plutôt que sur des systèmes embarqués entièrement autonomes, ce qui simplifie le matériel qu'une équipe de recherche doit construire par rapport à un robot entièrement autonome.

Du côté de l'apprentissage, des politiques de marche compétentes peuvent être apprises à partir de zéro en environ une heure directement à partir de l'expérience du robot physique, pour SARSA(λ) et Soft Actor-Critic (SAC) [15]. Séparément, l'Open Ant est livré avec une simulation MuJoCo, qui peut être utilisée pour apprendre des politiques compétentes [15], et les politiques apprises en simulation se transfèrent à la réalité pour la plateforme Open Ant [15]. Ensemble, ces deux résultats décrivent deux voies indépendantes pour obtenir une politique fonctionnelle sur cette plateforme : l'entraînement directement sur le robot physique en environ une heure, ou l'entraînement dans la simulation MuJoCo et le transfert du résultat au robot réel. Aucun de ces résultats ne concerne les fusées ou le guidage, mais le modèle, une paire simulation-matériel appariée avec un transfert sim-to-réel démontré, est exactement ce dont une équipe construisant un banc d'essai de fusée à petite échelle pour répondre à la question RL contre optimisation convexe aurait besoin.

Séparément, Gym-μRTS est décrit comme un environnement RL à exécution rapide pour la recherche en stratégie en temps réel sur jeu complet [17]. Cela n'a aucun rapport avec le guidage de fusée en termes de domaine, mais c'est une preuve que des environnements RL rapides et spécialisés sont valorisés dans la communauté de recherche RL en général comme un moyen de rendre l'itération peu coûteuse, ce qui est une considération pour toute équipe concevant un environnement d'entraînement de guidage de fusée à partir de zéro. Ni l'Open Ant ni Gym-μRTS ne répondent à quoi que ce soit sur la précision d'atterrissage ou l'efficacité énergétique ; ils sont inclus ici parce qu'ils montrent à quoi ressemblent une infrastructure simulation-matériel appariée et des boucles d'entraînement rapides dans d'autres domaines, ce qui est exactement le type d'infrastructure qu'un projet de comparaison de guidage de fusée devrait construire pour lui-même.

Quelques affirmations supplémentaires décrivent le RL appliqué à des problèmes adjacents au guidage d'atterrissage de fusée, utiles pour un constructeur décidant quelles techniques RL emprunter. Dans le contrôle transitoire d'un moteur-fusée liquide, un contrôleur par apprentissage par renforcement profond a atteint les performances les plus élevées par rapport à des séquences en boucle ouverte soigneusement réglées et à des contrôleurs PID [13]. La même étude a montré que la politique apprise peut atteindre différents points de fonctionnement en régime permanent et s'adapter de manière convaincante à des paramètres système changeants [13]. Il s'agit d'un problème de contrôle différent, le contrôle transitoire de moteur plutôt que le guidage de descente, mais c'est une preuve issue de la même littérature large sur le RL pour les systèmes de fusée qu'un contrôleur appris peut battre des références classiques en boucle ouverte et PID dans au moins un sous-système de fusée, et cela montre un contrôleur RL s'adaptant en ligne à des paramètres système changeants, une propriété distincte mais liée en esprit à la robustesse au bruit et à l'incertitude des paramètres rapportée pour la politique de guidage de descente 6-DOF.

Du côté de la conception d'algorithmes RL, les approches existantes de sélection de curriculum ou de tâche en RL approximativent généralement les différences de tâches en utilisant des signaux centrés sur l'agent tels que le regret ou le désaccord de valeur, mais ces signaux sont intrinsèquement dépendants de la politique et sensibles au bruit [12]. CP-DRL (Causal-Paced Deep Reinforcement Learning) est proposé comme un cadre qui répond à cette limitation en approximant la différence de modèle causal structurel (SCM) entre les tâches en utilisant uniquement des données d'interaction [12]. Il s'agit d'une méthodologie RL générale, non spécifique au guidage de fusée, mais elle est pertinente si un constructeur prévoit d'entraîner une politique de guidage à travers un curriculum de scénarios d'atterrissage de difficulté croissante, par exemple des dispersions initiales ou des perturbations de vent progressivement plus grandes, et souhaite une manière fondée et robuste au bruit de choisir sur quel scénario s'entraîner ensuite plutôt que de se fier à des signaux de regret ou de désaccord de valeur que l'affirmation déclare sensibles au bruit.

Enfin, sur le problème de récupération dans le monde réel dont il est finalement question dans cette note, un article de conception sur l'atterrissage vertical rétropropulsif d'un étage de fusée réutilisable déclare clairement que l'un des défis réside dans la stratégie et les algorithmes de guidage, navigation et contrôle (GNC) de récupération, en particulier ceux de la phase d'atterrissage propulsé, qui doivent permettre un atterrissage précis avec de faibles marges de carburant et des dispersions significatives [9]. Il s'agit d'une formulation de la difficulté du problème, et non d'une solution ou d'un chiffre, et elle s'applique à la récupération de fusée réutilisable à grande échelle. Elle est énoncée ici comme contexte pour expliquer pourquoi la question du guidage importe, indépendamment de l'échelle : la tension entre précision, faibles marges de carburant et dispersions significatives est la même tension que toute expérience de comparaison RL contre convexe à petite échelle doit être conçue pour sonder.

Aucune de ces trois affirmations ne porte directement sur la comparaison RL contre convexe à petite échelle, mais chacune précise ce à quoi un constructeur devrait s'attendre à emprunter, et d'où : techniques de contrôle et preuves d'adaptation en ligne issues du travail sur les transitoires de moteur, méthodes de curriculum issues de CP-DRL, et formulation du problème issues de la conception GNC de récupération.

La limitation centrale est directe : cet ensemble de preuves ne contient aucune expérience dans laquelle une politique de guidage RL et une loi de guidage classique par optimisation convexe sont exécutées sur la même fusée à petite échelle, dans les mêmes scénarios de test, et notées sur les mêmes métriques de précision et de carburant. Chaque résultat quantitatif ci-dessus appartient à son propre modèle de véhicule, référence et base de comparaison, et les chiffres ne peuvent pas être combinés en un classement entre les deux familles de méthodes sans aller au-delà de ce qu'une seule affirmation énonce.

Une deuxième limitation est le décalage d'échelle. Les résultats RL rapportés ici proviennent d'une simulation d'atterrisseur planétaire 6-DOF [1], d'un modèle de fusée haute fidélité [6], de scénarios d'impacteur d'astéroïde et d'atterrissage lunaire [8][3], dont aucun n'est déclaré être une fusée à petite échelle de 10 kg et 100 m d'apogée. De même, les résultats d'optimisation convexe proviennent d'atterrissage propulsé sur Mars et de formulations 3-DoF ou 6-DoF [14][4][10], et non d'un véhicule à petite échelle. Appliquer les chiffres rapportés de l'une ou l'autre famille à une fusée à petite échelle est une extrapolation que les affirmations ne soutiennent pas, et un constructeur doit refaire les expériences pertinentes sur le véhicule réel d'intérêt avant de tirer des conclusions.

Une troisième limitation concerne la fiabilité de l'entraînement. Les algorithmes RL standard, y compris PPO, SAC et DSAC, sont rapportés comme échouant dans les scénarios d'atterrissage de fusée orientés vers un objectif en raison de leur dépendance à une exploration extensive [6]. Cela signifie qu'un constructeur ne peut pas simplement appliquer une implémentation PPO standard, comme utilisée ailleurs pour la conception de trajectoire interplanétaire [7], et s'attendre à ce qu'elle réussisse l'atterrissage sans un schéma d'entraînement spécialisé tel que RAJS, ou des choix de façonnage de récompense tels que le réglage du taux d'actualisation rapporté pour l'atterrisseur planétaire 6-DOF [1].

Une quatrième limitation concerne les affirmations de robustesse qui sont spécifiques au scénario. Les tests Hardware-in-the-Loop pour RAJS ont affirmé la faisabilité en temps réel et la fluidité sur le modèle de fusée haute fidélité testé [6], et cela ne doit pas être interprété comme une preuve pour un véhicule d'échelle ou de fidélité différente. De même, le problème de sensibilité structurelle à mesure que le temps restant approche de zéro, rapporté pour POFGL [5], et la liste des perturbations endoatmosphériques [5], s'appliquent tous deux à la loi de guidage et au régime de vol spécifiques discutés, et un constructeur doit revérifier ces comportements pour toute nouvelle loi de guidage et tout nouveau véhicule plutôt que de supposer qu'ils se transfèrent.

Une cinquième limitation, plus générale, est que les garanties de l'optimisation convexe et les rapports de performance RL ne sont pas mesurés en termes comparables, même en principe, dans cet ensemble de preuves. Les avantages de l'optimisation convexe sont décrits comme un comportement déterministe, des garanties d'optimalité globale et des certificats de convergence ou d'infaisabilité [14], qui sont des propriétés de la structure de l'algorithme, et non des chiffres mesurés sur un ensemble de test. Les avantages rapportés du RL, précision, efficacité énergétique et robustesse au bruit [1], ou taux de réussite sur un véhicule spécifique [6], sont des chiffres empiriques provenant de scénarios de test spécifiques. Une comparaison équitable nécessiterait de mesurer les deux familles sur le même terrain empirique, par exemple l'erreur d'atterrissage et le carburant consommé sur un ensemble de scénarios identique, ce qu'aucune affirmation ici ne fournit.

La procédure suivante est destinée à une équipe qui souhaite réellement produire la comparaison directe manquante pour une fusée à petite échelle, en utilisant les méthodes décrites dans les affirmations ci-dessus comme éléments de base. Chaque choix de conception ci-dessous au-delà de ce que les affirmations énoncent (valeurs de paramètres spécifiques, types d'intégrateur) est uniquement illustratif, choisi pour rendre la procédure concrète, et n'est pas présenté comme provenant d'une source citée.

1. Définir le véhicule et l'ensemble de scénarios. Fixer le véhicule : 10 kg de masse à sec, 100 m d'apogée, avec des propriétés de masse, poussée et aérodynamiques spécifiées. Définir un ensemble fixe de conditions initiales (dispersions de position, vitesse, attitude) que les deux méthodes de guidage seront testées, car aucun des articles cités ne partage une référence commune que vous puissiez réutiliser directement.
2. Construire la simulation. Implémenter la dynamique du corps rigide pour le véhicule, en 3-DoF ou 6-DoF selon la formulation que vous choisissez pour la référence classique. Aucune affirmation citée ne spécifie d'intégrateur ou de logiciel de simulation ; choisissez-en un approprié à vos besoins de précision et de vitesse et documentez-le explicitement pour la reproductibilité.
3. Implémenter d'abord la référence classique. Implémenter la convexification sans perte (LCvx), souvent appliquée au problème de guidage de descente propulsée 3-DoF [4]. Si vous avez besoin de 6-DoF, sachez qu'il est rapporté comme plus difficile à résoudre rapidement et de manière fiable, en raison de la nature non linéaire et non convexe du problème, de l'influence du schéma de discrétisation sur la validité de la solution et du rôle de la trajectoire de référence dans la détermination de la convergence ou de la divergence [4][14].
4. Vérifier la référence par rapport aux difficultés connues. Tester la sensibilité du solveur convexe au schéma de discrétisation et à l'initialisation de la trajectoire de référence, car les deux sont nommés comme causes de convergence ou de divergence [4][14]. Si vous utilisez un solveur de méthode de point intérieur, vérifiez s'il respecte un budget de temps de résolution en temps réel, comme rapporté pour l'approche de convexification successive sur l'atterrissage propulsé sur Mars [14]. Enregistrez le temps de résolution et le taux de réussite sur votre ensemble de scénarios avant de toucher à une méthode apprise.
5. Choisir un algorithme RL et formuler le MDP. Reformuler le problème de guidage comme un processus de décision markovien à temps discret, en suivant la même reformulation effectuée pour un problème de contrôle optimal stochastique connexe [7]. Utiliser Proximal Policy Optimization (PPO) comme premier algorithme, suivant son utilisation pour le mappage état-poussée dans la descente et l'atterrissage planétaires propulsés 6-DOF [1] ; soyez prêt à ce qu'il échoue seul dans une tâche d'atterrissage strictement orientée vers un objectif, car les algorithmes RL standard, y compris PPO, sont rapportés comme échouant ici en raison de la difficulté d'exploration [6].
6. Si PPO seul échoue, ajouter un schéma d'entraînement à exploration guidée. Implémenter un schéma d'entraînement dans l'esprit de Random Annealing Jump Start : une politique guide qui navigue dans l'environnement pendant un horizon guide échantillonné, passant le relais à une politique d'exploration pour le reste de l'épisode, avec la borne supérieure de l'horizon diminuant jusqu'à zéro à mesure que les performances s'améliorent [6]. C'est la méthode rapportée pour augmenter le taux de réussite de 8 % à 97 % sur un modèle de fusée haute fidélité [6] ; traitez ce chiffre comme une preuve que la technique fonctionne sur ce véhicule, pas comme une garantie pour le vôtre.
7. Régler la structure de récompense. Envisager d'utiliser des taux d'actualisation différents pour la récompense terminale et la récompense de façonnage, car cela est rapporté comme améliorant les performances d'optimisation pour un atterrisseur planétaire 6-DOF [1]. Validez ce choix indépendamment pour votre propre formulation de récompense, car l'affirmation le rapporte pour la conception de récompense d'une étude spécifique.
8. Ajouter des tests de robustesse au bruit et à l'incertitude des paramètres. Exécuter à la fois la politique RL entraînée et la référence convexe contre du bruit de capteur injecté et des paramètres de véhicule perturbés, car la robustesse au bruit et à l'incertitude des paramètres est une propriété rapportée pour le système de guidage RL 6-DOF [1]. Rapporter le taux de réussite et l'erreur d'atterrissage pour chaque niveau de perturbation pour les deux méthodes, sur le même ensemble de perturbations, afin que la comparaison soit équitable.
9. Mesurer la précision d'atterrissage et la consommation de carburant pour les deux méthodes, côte à côte. Pour chacun des scénarios fixes de l'étape 1, enregistrer l'erreur de position et de vitesse finale et le propergol total consommé, pour la politique RL et la référence convexe. C'est l'expérience centrale que la littérature examinée ne fournit pas, alors concevez-la soigneusement : mêmes scénarios, mêmes modèles de perturbation, mêmes métriques, même véhicule.
10. Envisager une approche hybride de démarrage à chaud comme troisième condition. Optionnellement, implémenter un démarrage à chaud appris pour le solveur convexe, dans l'esprit de T-PDG ou T-SCvx, qui apprennent à prédire l'ensemble des contraintes serrées ou actives à la solution optimale et utilisent cette prédiction pour construire un problème de taille réduite qui démarre à chaud le solveur [4]. Comparez son temps de résolution par rapport à LCvx simple, car T-PDG est rapporté comme améliorant les temps de solution jusqu'à un ordre de grandeur par rapport à LCvx pour le problème à carburant minimum 3-DoF [4], et incluez cet hybride comme troisième condition aux côtés du RL pur et de l'optimisation convexe pure.
11. Tester sous contrainte près du toucher. Si vous utilisez une loi de guidage de type rétroaction, vérifiez le comportement à mesure que le temps restant approche de zéro, car la sensibilité des trajectoires commandées est rapportée comme augmentant fortement et tendant vers l'infini dans ce régime pour une telle loi [5]. Plafonnez ou changez de mode de guidage près du toucher si nécessaire, et documentez le changement explicitement car il n'est pas lui-même validé dans l'affirmation citée.
12. Rapporter les résultats honnêtement. Indiquez le véhicule, l'ensemble de scénarios et les métriques utilisés, et n'extrapolez pas vos résultats à petite échelle aux fusées à grande échelle ou vice versa, car aucun des résultats cités n'a été obtenu sur un véhicule de 10 kg et 100 m d'apogée. Si votre politique RL nécessite des tests Hardware-in-the-Loop avant le vol, notez que de tels tests ont été utilisés ailleurs pour vérifier la faisabilité en temps réel et la fluidité pour un modèle de fusée différent et de plus haute fidélité [6], et traitez tout transfert de ce résultat à votre véhicule plus petit comme non vérifié jusqu'à ce que vous l'exécutiez vous-même.

function pipeline():
    baseline_result = run_LCvx(vehicle, scenarios)            # selon [4]
    rl_policy = train_PPO(vehicle_MDP)                          # selon [1],[7]
    if rl_policy.success_rate is low:
        rl_policy = train_with_guided_exploration(vehicle_MDP)  # selon [6]
    rl_result = evaluate(rl_policy, scenarios)
    hybrid_result = run_warm_started_solver(vehicle, scenarios) # selon [4], optionnel
    compare(baseline_result, rl_result, hybrid_result)
    # cette comparaison à trois voies est la preuve manquante, non trouvée dans aucune affirmation citée