Quatorze contrôles répartis en cinq catégories

La couche de validation comprend quatorze tests regroupés autour de cinq questions : l'intégrité des données et des mesures, l'existence d'un écart par rapport aux références, sa conservation hors de l'échantillon utilisé pour construire la stratégie, le risque de surapprentissage et la traçabilité du processus de validation. Les tableaux reproduits dans cette note correspondent directement aux sorties de l'outil. Certains tests ne sont pas exécutés sur ce run lorsque les données ou les conditions nécessaires ne sont pas réunies. L'ordre d'exécution est également contraint : les contrôles qui peuvent être réalisés sans utiliser l'échantillon réservé sont effectués avant les tests hors échantillon.

Comparaison avec les deux références

Les deux références sont définies en tête de page. Le tableau ci-dessous les compare à la stratégie sur l'échantillon complet.

Résultat du test de baseline

Sur l'échantillon complet présenté ici, la stratégie affiche un CAGR de 1,43 %, contre 1,01 % pour le 1/N absolu et 0,61 % pour le 1/N apparié. Sa volatilité annualisée est également inférieure à celle du 1/N absolu : 8,61 % contre 12,15 %. Le drawdown maximal passe de −36,77 % pour cette référence à −20,47 % pour la stratégie. Avec un coefficient d'aversion au risque γ = 3, l'équivalent certain ressort à 0,68 % pour la stratégie, contre −0,50 % pour le 1/N absolu.

Le test de baseline classe donc l'écart comme positif sur cet échantillon. Il ne s'agit cependant pas d'un test statistique : la baseline étant déterministe, aucun niveau de significativité n'est associé à cette comparaison.

absolu      : reserve_cash_pct et fixed_cash_reserve retirés · conserve coûts
              d'exécution, frais de gestion, surperformance et devises
apparié     : toute la machinerie est conservée, seule la règle de pondération change
porteur     : portfolio_equity(nav-borrowed) · base D

VERDICT   APPORTE_DE_LA_VALEUR · équivalent certain supérieur de +1,17 %/an à γ=3
pas de p-value : la baseline d'allocation est déterministe. Il s'agit d'un écart,
pas d'un test statistique.

Graphique · validation_baseline

Le graphique reprend les trois séries de NAV et leurs drawdowns respectifs. Sur cette période, le drawdown de la stratégie reste inférieur à celui du 1/N absolu, avec un point bas à −20,47 % contre −36,77 %.

Décomposition de l'écart

L'objectif utilisé par la règle d'allocation est le ratio de Sharpe. Les différences observées ne portent cependant pas uniquement sur la volatilité. Par rapport au 1/N absolu, la volatilité passe de 12,15 % à 8,61 %, tandis que le drawdown maximal passe de −36,77 % à −20,47 %. Le CAGR augmente de 0,42 point. Par rapport au 1/N apparié, qui conserve la même politique de trésorerie, l'écart de CAGR atteint 0,82 point.

Effet de la politique de trésorerie

La comparaison entre les deux versions du 1/N permet d'observer l'effet de la machinerie de portefeuille indépendamment de la règle d'optimisation. Le CAGR du 1/N passe de 1,01 % dans sa version absolue à 0,61 % lorsque la politique de trésorerie est ajoutée, soit un écart de −0,40 point. Sur la stratégie, le même mécanisme représente un écart de −0,98 point entre la version avec et sans cette machinerie.

Effet propre de la règle de pondération

Une seconde comparaison retire la politique de trésorerie des deux portefeuilles. Dans cette configuration, la stratégie pleinement investie affiche un CAGR de 2,41 %, contre 1,01 % pour l'équipondération pleinement investie, soit un écart de +1,41 point. Lorsque la machinerie est active, cet écart est ramené à +0,82 point. La différence entre ces deux écarts correspond à l'interaction entre la règle de pondération et le fonctionnement de la trésorerie.

Utilisation de la trésorerie disponible

La réserve dynamique peut être mobilisée au cours du run, mais son utilisation ne coïncide que partiellement avec les périodes de forte baisse du benchmark. Sur 16 épisodes au cours desquels le panier perd plus de 10 %, un déploiement de trésorerie est observé dans 4 cas. Au total, 24 épisodes de déploiement sont enregistrés sur la période. La trésorerie déployable représente en moyenne 19,3 % de la NAV. Le test validation_purchasing_power classe donc le mécanisme comme partiel : la réserve est effectivement utilisée, mais elle n'est pas systématiquement mobilisée pendant les épisodes de drawdown identifiés par le test.

trésorerie déployable = cash_value - cash_fixed_reserve - cash_vault
épisodes de drawdown du benchmark sous -10 %       16
épisodes avec déploiement de trésorerie             4  (25 %)
épisodes de déploiement                            24
part moyenne de trésorerie dans la NAV             19,3 %
indifférence de Merton γ à ce niveau de cash       n/d · le benchmark n'a pas
                                                   battu le cash sur cet échantillon

VERDICT   PARTIEL · déploiement dans seulement 4 des 16 épisodes de drawdown (25 %)
          · l'option est exercée de manière intermittente

Graphique · validation_purchasing_power

La trésorerie déployable médiane représente 19,7 % de la NAV et atteint 27,3 % au point de drawdown maximal du panier. Le graphique permet de comparer directement les épisodes de baisse du benchmark et les mouvements de la réserve dynamique.

Résultats sur la période réservée

Les mêmes comparaisons sont ensuite répétées sur les 1 126 barres mises de côté pendant la construction de la stratégie. Cette période présente une dynamique différente : le panier équipondéré progresse davantage que sur l'échantillon précédent.

Sur cette période, la stratégie affiche un CAGR de 1,58 %, contre 4,02 % pour le 1/N absolu et 2,08 % pour le 1/N apparié. La volatilité reste inférieure à celle du 1/N absolu, avec 10,40 % contre 13,35 %, mais l'écart de rendement devient négatif. L'équivalent certain à γ = 3 s'établit à 0,48 % pour la stratégie, contre 2,17 % pour le 1/N absolu. Le test de baseline ne conserve donc pas l'écart positif observé en échantillon. L'écart entre la stratégie et le 1/N apparié passe de +0,82 point en échantillon à −0,50 point hors échantillon.

La politique de trésorerie joue également un rôle plus important sur cette période. L'écart entre les deux versions du 1/N atteint 1,93 point, contre 0,40 point précédemment. Sur une période davantage orientée à la hausse, conserver une fraction importante du portefeuille en trésorerie réduit mécaniquement la participation à cette hausse. Cette décomposition montre que la différence hors échantillon ne provient pas uniquement de la règle de pondération.

VERDICT   N'APPORTE_RIEN · équivalent certain inférieur de -1,69 %/an à γ=3
          · le 1/N absolu fait mieux pour un investisseur averse au risque
pas de p-value : la baseline d'allocation est déterministe. Il s'agit d'un écart,
pas d'un test statistique.

Graphique · validation_baseline (oos)

Le graphique présente les trois NAV sur la période réservée. Le 1/N absolu termine avec le CAGR le plus élevé des trois séries, tandis que les positions relatives évoluent au cours de la période.

Sortie · validation_oos_retention

Le test de rétention compare les écarts mesurés en échantillon et hors échantillon pour chaque métrique. Lorsqu'un écart change de signe, aucun ratio de rétention n'est calculé, puisqu'un tel ratio n'aurait pas d'interprétation stable.

Une réduction du risque par simple désinvestissement produit-elle le même résultat ?

Une stratégie peut afficher simultanément un rendement inférieur à son benchmark et une volatilité plus faible. Dans ce cas, il faut déterminer si cette réduction du risque provient réellement de la règle d'allocation ou si un résultat comparable aurait pu être obtenu simplement en détenant une fraction du benchmark et le reste en liquidités. Le test construit donc plusieurs combinaisons entre le panier équipondéré et le cash, puis compare la stratégie à ces portefeuilles pour un même niveau de volatilité ou de drawdown. Le taux sans risque est testé sur plusieurs valeurs plutôt que fixé à une hypothèse unique.

À volatilité équivalente, la fraction du panier nécessaire est de 70,8 %. Avec un taux sans risque de 0 %, le CAGR du portefeuille mixte est de 0,87 %, soit 0,56 point de moins que la stratégie. À 1 %, l'écart est encore de +0,27 point en faveur de la stratégie. Autour de 2 %, les deux résultats deviennent pratiquement équivalents, puis la combinaison panier-cash affiche un rendement supérieur lorsque le taux sans risque augmente davantage. Le résultat dépend donc directement de l'hypothèse retenue pour la rémunération du cash. Sur cet échantillon, le point d'équilibre se situe légèrement en dessous de 2 %.

taux sans risque   w (vol appariée)   CAGR mélange   CAGR stratégie   écart à vol égale
          0,00 %             0,708          0,87 %           1,43 %          +0,56 pt
          1,00 %             0,708          1,16 %           1,43 %          +0,27 pt
          2,00 %             0,708          1,45 %           1,43 %          -0,02 pt
          4,00 %             0,708          2,03 %           1,43 %          -0,60 pt

Graphique · validation_null_leverage

Le graphique représente, pour chaque hypothèse de taux sans risque, la droite reliant le cash au panier et la position de la stratégie par rapport à cette combinaison.

Comportement de la même configuration sur des paniers non utilisés auparavant

Le test précédent reste limité à un univers de cinq actifs. validation_cross_asset conserve la configuration enregistrée et l'applique sans modification à 80 nouveaux paniers de cinq actifs, tirés dans un pool qui n'a pas servi au développement initial. Le test est réalisé sur la période hors échantillon. Les actifs et la période sont donc tous deux distincts de ceux utilisés pour construire la stratégie. Dix-neuf actifs du pool disposent de données couvrant toute la fenêtre. Un vingtième est exclu en raison d'une discontinuité dans son historique.

La distribution des 80 univers présente un écart médian de CAGR de +2,34 % par an par rapport au 1/N absolu. Le premier quartile se situe à +0,04 %, tandis que le cinquième percentile atteint −3,62 %. L'univers utilisé dans le test initial présente un écart de −2,44 %. Il se situe au 11ᵉ percentile de la distribution obtenue sur les 80 univers. Dans 75 % des univers tirés, l'écart de CAGR est positif. Le résultat hors échantillon négatif de l'univers d'origine apparaît donc dans la partie basse de la distribution obtenue avec la même règle appliquée aux autres paniers. Ce test ne permet pas d'attribuer définitivement cette différence à une cause unique, mais il montre que le résultat observé sur les cinq actifs d'origine n'est pas représentatif de la médiane des univers testés.

pool admissible    19 actifs couvrent la fenêtre ; 1 exclu (lacune dans la fenêtre)
tirages            80 univers de 5 actifs, uniformes (non stratifiés), graine 0
phase              oos · DOUBLE OOS : actifs inédits x période inédite
campagnes lancées  3 (enregistrées comme diagnostic dans le registre de gel)

univers initial    écart de CAGR -2,44 %  →  rang 10 sur 80 (11e percentile)
part des univers avec un écart positif   75 %

VERDICT   GÉNÉRALISE · l'écart médian sur 80 univers inédits atteint +2,34 %/an
Ce profil n'est pas celui d'un panier sélectionné pour son résultat.

Graphique · validation_cross_asset

La distribution permet de situer directement l'univers d'origine par rapport aux 80 tirages. Sa position au 11ᵉ percentile signifie que la majorité des univers testés produisent un écart relatif supérieur avec exactement la même configuration.

Trois campagnes de tirage ont été exécutées et sont enregistrées dans le registre. Cette information permet de conserver la trace du nombre de fois où le test cross-asset a été relancé.

Tests non conclusifs ou non applicables

Tous les contrôles ne produisent pas nécessairement une mesure exploitable. La couche de validation distingue un résultat négatif d'un résultat qui ne peut pas être interprété avec les données disponibles. Dans ce second cas, la sortie indique explicitement la raison pour laquelle aucune conclusion n'est produite.

Monte-Carlo

Le test Monte-Carlo utilise un bootstrap par blocs appliqué aux 22 périodes de décision et génère 10 000 chemins. L'écart de CAGR réalisé est de +0,44 %. La médiane de la distribution rééchantillonnée est également de +0,44 %, ce qui indique que le bootstrap reproduit correctement le centre de la série observée. La dispersion reste cependant importante : l'intervalle central à 90 % s'étend de −2,59 % à +3,51 %, et la probabilité d'obtenir un écart positif dans le rééchantillonnage est de 59,6 %. Avec seulement 22 périodes de décision, le test ne permet donc pas de distinguer clairement l'écart observé de la variabilité compatible avec cet échantillon.

centrage de référence   VALIDÉ · médiane bootstrap +0,44 % contre +0,44 % réalisé,
                       écart +0,00 % pour une tolérance déclarée de 0,07 %

CAGR relatif           réalisé +0,44 %   5 % -2,59 %   50 % +0,44 %   95 % +3,51 %
P(écart > 0)           59,6 %

AVERTISSEMENT   PEU DE BLOCS · seulement 22 périodes de décision observées.
VERDICT   NON CONCLUANT · l'intervalle central à 90 % du rééchantillonnage traverse zéro

Graphique · validation_mc

L'écart réalisé se situe pratiquement au centre de sa propre distribution bootstrap, autour du 50ᵉ percentile.

Concentration de l'écart

Ce contrôle cherche à déterminer si l'écart cumulé repose principalement sur un petit nombre de fenêtres. Avant de calculer cette concentration, l'outil vérifie que l'écart total est suffisamment éloigné de zéro pour qu'une décomposition en parts ait un sens. Ici, l'écart logarithmique cumulé atteint +0,0378, pour un seuil requis de +0,0389. La différence est faible mais place le résultat juste sous le niveau minimal prévu par le test. La mesure de concentration n'est donc pas publiée.

VERDICT   NON APPLICABLE · l'écart cumulé n'est pas suffisamment positif,
          sa répartition en parts n'aurait donc pas de sens.
Écart logarithmique cumulé +0,0378 pour un seuil requis de +0,0389
(0,25 sigma de l'enveloppe à un sigma de 0,1557 d'une marche sans dérive avec
la même dispersion par période). Les parts d'un total proche de zéro explosent,
et celles d'un total négatif changent de signe ; aucune n'est publiée.

Sharpe déflaté

Le Sharpe déflaté vise à corriger le ratio de Sharpe observé pour tenir compte du nombre de configurations essayées sur les mêmes données. Le registre contient ici quatre configurations distinctes. Ce nombre est insuffisant pour estimer de manière stable la dispersion des ratios de Sharpe entre les essais. L'outil exige au minimum dix observations pour effectuer cette correction et classe donc le Sharpe déflaté comme indisponible.

essais comptés     4 configurations distinctes = 4 essais
essais effectifs   1,6 (mesurés sur 4 séries de décisions)
Sharpe déflaté     INDISPONIBLE
raison             seuls 4 essais disposent d'un Sharpe sur ce jeu de données ;
                   le Sharpe déflaté exige la DISPERSION entre les essais et 10
                   constitue le minimum avant que cette variance ne soit exploitable.
transparence       Les runs exécutés avant la création du compteur ne sont pas comptés :
                   toute déflation constitue une BORNE INFÉRIEURE de la correction.

Le compteur estime par ailleurs que les quatre configurations correspondent à environ 1,6 essai indépendant. Cette valeur tient compte de la corrélation entre les séries de décisions produites par les différentes configurations : plusieurs variantes proches ne sont donc pas assimilées à autant de recherches entièrement indépendantes.

Sortie · trial_history

L'historique enregistre les différences détectées entre les essais successifs, notamment les modifications de réserve de trésorerie et les changements de fonction de décision.

Préinscription

Le système de gel de configuration enregistre une version immuable de la configuration, accompagnée des empreintes de la configuration et des données. Il conserve également la trace des accès à l'échantillon réservé. Dans le cas de cette note, la configuration n'avait pas été gelée avant le premier accès au holdout. Le registre classe donc les résultats hors échantillon comme obtenus après accès à la période réservée, et non comme une validation préinscrite. Cette distinction ne modifie pas les valeurs calculées, mais elle modifie leur statut méthodologique : elles peuvent être utilisées comme diagnostics, pas comme confirmation scellée d'une hypothèse préalablement enregistrée.

Sortie · freeze_configuration

La déclaration de gel reprend l'identité du run, sa filiation ainsi que les empreintes utilisées pour identifier la configuration.

Sortie · frozen_configuration_status

Le statut indique ensuite que la fenêtre réservée a été consommée et conserve le numéro et la date des accès.

Reproductibilité des mesures

Série utilisée

Les mesures de performance et de risque sont calculées sur une série commune : l'equity du portefeuille nette de la dette, en fréquence journalière. Cette convention permet de tenir compte simultanément de la taille des positions, des positions ouvertes au même moment, du cash et de l'évolution globale du capital. Les rendements de trades pris individuellement ne constituent donc pas la série de référence pour les mesures de risque du mode allocation.

Construction des baselines

Les baselines sont exécutées dans le moteur comme des portefeuilles complets. Elles utilisent les mêmes mécanismes comptables, les mêmes devises et les mêmes coûts que la stratégie. Dans le cas du 1/N apparié, seule la règle de pondération est remplacée. Cette méthode évite d'attribuer à la règle d'allocation un écart qui proviendrait simplement de différences de frais, de traitement du cash ou de conventions comptables entre les deux séries.

Historique des essais

Les configurations testées ainsi que les accès au holdout sont inscrits dans des registres append-only. Le compteur est associé aux données utilisées. Plusieurs configurations essayées sur le même jeu de données contribuent donc au même historique d'essais, même si elles correspondent à des variantes ou à des stratégies portant des noms différents. L'objectif est de conserver une mesure du nombre de recherches effectuées sur un même échantillon avant de retenir un résultat.

Limites et portée des résultats

Nombre de décisions

Le run contient 2 298 barres mais seulement 22 décisions de rebalancement. Pour les tests portant sur le comportement de la règle d'allocation, la taille d'échantillon pertinente est donc beaucoup plus proche de 22 que de 2 298. Cette taille limite fortement la précision avec laquelle un écart annuel de quelques points peut être estimé. Le bootstrap de la section précédente en donne une illustration directe.

Niveau de performance absolue

Le CAGR du portefeuille testé est de 1,43 % sur l'ensemble de la période, avec un drawdown maximal de −20,47 %. Ces valeurs doivent être distinguées de la comparaison relative avec le 1/N. Une règle peut améliorer certaines caractéristiques par rapport à une référence sans que le portefeuille obtenu présente pour autant un couple rendement-risque attractif en valeur absolue. Sur cet échantillon, le benchmark lui-même affiche une performance faible par rapport au cash selon les hypothèses utilisées dans certains tests.

Dépendance au régime de marché

La période étudiée n'est pas homogène. Entre 2014 et 2021, le panier passe une part importante du temps en drawdown et présente relativement peu de tendance nette. La période hors échantillon est davantage orientée à la hausse. La stratégie et le 1/N sont soumis aux mêmes régimes, ce qui permet leur comparaison sur chaque période. En revanche, les écarts observés ici ne peuvent pas être transposés directement à d'autres régimes de marché. La différence entre les résultats en échantillon et hors échantillon montre notamment que l'effet de la réserve de trésorerie dépend fortement de la trajectoire du panier.

Composition du pool cross-asset

Le pool utilisé pour le test cross-asset est déséquilibré : quatorze des vingt actifs éligibles sont des cryptomonnaies. Cette composition provient principalement des contraintes de disponibilité des historiques sur l'ensemble de la fenêtre. La médiane obtenue sur les 80 univers doit donc être interprétée comme un résultat sur ce pool particulier, caractérisé par une dispersion et une volatilité élevées. L'écart d'équivalent certain, notamment, est fortement influencé par la réduction de volatilité obtenue sur les paniers contenant des cryptomonnaies. Il ne peut pas être directement extrapolé à un univers multi-actifs plus conventionnel.

Coûts d'exécution sur les univers tirés

Pour les univers cross-asset, les coûts spécifiques définis pour les cinq actifs d'origine ne peuvent pas être réutilisés. Les actifs tirés utilisent donc les coûts génériques correspondant à leur place de cotation. La stratégie et sa référence 1/N sont soumises au même traitement, ce qui limite l'effet de cette approximation dans la comparaison de premier ordre. Elle peut toutefois modifier l'écart relatif lorsque les deux règles présentent des turnovers différents. Une sous-estimation des coûts favorise davantage la règle qui effectue le plus de transactions.

Biais de survie

La couche de validation utilise l'univers d'actifs qui lui est fourni. Elle ne vérifie pas automatiquement si cet univers contient uniquement des actifs encore cotés aujourd'hui ou s'il reproduit fidèlement l'univers disponible à chaque date historique. Un biais de survie peut donc subsister dans le pool utilisé pour les tirages cross-asset. Il affecterait aussi bien la stratégie que les baselines exécutées sur ces mêmes actifs.

Décalage de la fenêtre de décision

Le run présenté utilise une fenêtre d'estimation arrêtée une barre avant la limite déjà imposée par le délai d'exécution. Sans cette marge supplémentaire, l'écart de CAGR en échantillon est de +0,46 point au lieu de +0,42 point. La différence entre les deux configurations est donc de 0,04 point sur cet échantillon. Le résultat observé ne dépend pas uniquement de l'information contenue dans la dernière barre disponible.

Relation avec la première note de validation

La première note et celle-ci portent sur deux règles différentes. La première étudiait une optimisation liée à la durée du drawdown ; celle-ci utilise une optimisation du ratio de Sharpe. Les univers testés diffèrent également. Les deux expériences indiquent surtout que l'écart entre une allocation optimisée et une équipondération varie avec les caractéristiques de l'univers et le régime de marché. Cette sensibilité rejoint le problème général étudié dans la littérature sur la comparaison entre allocations optimisées et règles simples d'équipondération. Les expériences présentées ici ne constituent toutefois pas une réplication de ces travaux.