Posts

contrôle et prédiction

  • Mots-clés : qualité, apprentissage, validation, domaine de validité, analyse de sensibilité, incertitude, propagation d’erreur, agrégation, désagrégation, valeurs extrêmes, événements rares, prescription, gouvernance, réflexivité, viabilité, non-linéarités, prédiction en probabilité, recommandation, incertitudes, aide à la décision, machine learning, IA, retroactions (positives/négative), ingénierie sociale

Prédiction des dynamiques multi-échelles

Les prédictions des modèles de dynamiques multi-échelles peuvent être multiples, quantitatives, qualitatives, probabilistes…selon l’objectif assigné au modèle. Quel que soit le type de prédiction il est indispensable de qualifier cette prédiction. L’évaluation des poids respectifs des différentes sources d’erreur et d’incertitudes identifiées dans la qualité de prédiction est un préalable à l’utilisation pertinente du modèle. Dans la conception des modèles, des hypothèses parfois fortes sont faites pour passer d’une échelle à l’autre (agrégation / désagrégation). Elles ont des répercussions sur les prédictions, et notamment sur les changements de régime (bifurcation) et les événements rares ou extrêmes. Inversement, la détection à partir des valeurs prédites des changements de régimes et de leurs transitions, qu’ils soient attendus ou non, est un autre défi.
In fine, l’usage qui est fait des prédictions peut, en particulier dans les modèles sociaux, avoir une influence sur le domaine de validité des prédictions. La question de savoir s’il faut revenir sur la conception du modèle dynamique ou bien élaborer séparément un modèle d’usage renvoie à l’étude des relations entre prédictions, prescription, gouvernance et coûts.

  • Mots-clés : qualité, apprentissage, validation, domaine de validité, analyse de sensibilité, incertitude, propagation d’erreur, agrégation, désagrégation, valeurs extrêmes, événements rares, prescription, gouvernance, réflexivité

 

  • Les grands défis :
    • Propagation des erreurs et des incertitudes au sein d’un modèle multi-échelles
    • Effets d’agrégation-désagrégation entre sous-modèles, et ses répercussions sur les prédictions, en particulier sur les changements de régime, les valeurs extrêmes ou rares.
    • Détecter l’apparition des différents « régimes » et leurs transitions (qu’ils soient attendus ou non), et sa répercussion sa répercussion sur les événements rares ou extrêmes.
    • Quelles relations entre prédiction, prescription, gouvernance et coûts ?

Grands Défis

  • Propagation des erreurs et des incertitudes au sein d’un modèle multi-échelles
  • Effets d’agrégation-désagrégation entre sous-modèles, et ses répercussions sur les prédictions, en particulier sur les changements de régime, les valeurs
  • Détecter l’apparition des différents ” régimes ” et leurs transitions (qu’ils soient attendus ou non), et sa répercussion sur les événements rares ou extr
  • Quelles relations entre prédiction, prescription, gouvernance et coûts?

1. Propagation des erreurs et des incertitudes au sein d’un modèle multi-échelles

L’expérience montre que si les biologistes / modélisateurs consacrent beaucoup de temps et d’énergie à l’écriture conceptuelle et informatique de leurs modèles, ils en réservent trop peu à l’analyse de leurs propriétés. Dans le cas de modèles multi-échelles, on s’attaque à des processus pour lesquels l’étude analytique de leurs propriétés est de plus en plus délicate voire impossible à réaliser. Cependant, il est nécessaire d’évaluer la qualité de prédiction de ces modèles ou au moins de caractériser la précision de leurs prédictions. L’étude de la sensibilité du modèle aux différentes sources de variation, souvent corrélées, et de leur contribution sur la qualité de la prédiction est un défi en soi.

Un corollaire de la complexité croissante de ces modèles est que leurs sorties sont elles-mêmes plus complexes. Là où un modèle calculait quelques variables d’état à valeurs scalaires dans le temps, il produit aujourd’hui communément des variables d’état plus nombreuses, et de plus en plus souvent sous forme de vecteurs ou de matrices multidimensionnelles mélangeant variables qualitatives et quantitatives. Résumer les énormes quantités de données produites par les modèles actuels, et traiter des données non scalaires, en entrée comme en sortie des modèles doit donc également faire partie d’une telle analyse.

Cependant, comme il est souvent impossible de pouvoir disposer de toutes les données nécessaires à l’évaluation propre de la qualité de prédiction du modèle, une stratégie est souvent d’utiliser des scénarios sur lesquels la prédiction est faite et d’en déduire par exemple des intervalles de confiance. Or, dans les systèmes complexes ces scénarios sont souvent établis sur un corpus d’hypothèses souvent non disjoint de celui du modèle. Par exemple, les recherches sur les modes économiques permettant de réduire les quantités de CO2 émises dans l’atmosphère afin de réduire leur impact sur les changements climatiques sont faites sur la base des séquences climatiques fournies par les modèles de changements globaux établis eux-mêmes à partir de scénarios économiques.

Dans ce contexte de modèles multi-échelles (spatiales et/ou temporelles et/ou niveaux d’organisation ; où il existe un opérateur d’agrégation ou moyennage), l’analyse des incertitudes du modèle peut se décliner par l’analyse du conditionnement du modèle d’une boite (d’un niveau d’organisation ou d’échelle) par rapport à la boite d’un niveau supérieur (utilisation de variables exogènes ; forçage ; scénario), et ensuite par l évaluation de la qualité de la prédiction notamment en conditionnant l’erreur d’une boite par rapport à l’erreur d’une boite d’un autre niveau (analyse et propagation d’erreur, incertitude, prise en compte du caractère stochastique).


2. Effets d’agrégation-désagrégation entre sous-modèles, et ses répercussions sur les prédictions, en particulier sur les changements de régime, les valeurs extrêmes ou rares.

Dans les systèmes multi-échelles, il existe souvent des ” effets de transition ” brutaux, qui peuvent aussi être le phénomène que l’on souhaite prédire. La prédiction de ces phénomènes rend la modélisation d’autant plus difficile qu’il y a superposition et interaction de dynamiques à des échelles spatiales ou temporelles et des niveaux d’organisation différents.
La communication entre ces différents niveaux ou échelles se fait souvent par le biais de processus d’agrégation et de désagrégation et des hypothèses sont souvent faites pour procéder à ces changements d’échelle ou faire communiquer les différents niveaux d’organisation. Cependant leur aptitude à pouvoir rendre compte d’événements rares ou extrêmes est souvent négligée au profit de l’aptitude du modèle à prédire les comportements globaux.

Le défi est donc d’analyser les répercussions des hypothèses formulées pour faire communiquer les différents niveaux d’organisation ou réaliser les changements d’échelle sur les prédictions.

Exemple : vagues déferlantes gommées au profit d’une dissipation moyenne.


3. Détecter l’apparition des différents ” régimes ” et leurs transitions (qu’ils soient attendus ou non), et sa répercussion sur les événements rares ou extrêmes.

Les phénomènes multi-échelles sont caractérisés par la superposition de dynamiques multiples. Cette caractérisation des régimes et de leur causalité étant essentielle à la prédiction, il est nécessaire de pouvoir identifier les dynamiques lentes pour anticiper les changements de régimes (bifurcation), décorréler les phénomènes à dynamiques rapides des transitions et analyser l’impact des changements de régime sur l’apparition d’événements extrêmes.

Exemple : inversion du champ magnétique, tsunami, émergence d’algues toxiques


4. Quelles relations entre prédiction, prescription, gouvernance et coûts ?

Dans le contexte multi-échelles et plus particulièrement dès lors que des acteurs peuvent intervenir sur le système, il est très difficile de pouvoir évaluer la qualité de prédiction des modèles. D’autant plus que bien souvent, plusieurs modèles sont en jeu, développés souvent indépendamment, à des échelles différentes avec des finalités parfois contradictoires.
Sur la base de sa finalité (ou des finalités du niveau supérieur), chaque échelle émet une prescription (stratégie optimale sur la base du modèle pour atteindre la finalité) en fonction des coûts donnés (coûts d’événements, couts d’action et coûts d’erreur de prédiction).
Comment l’anticipation par chaque échelle de l’interprétation de sa prescription par les autres échelles, doit-elle infléchir sa prescription ? Egalement, la connaissance par les acteurs des prédictions d’un modèle modifie son comportement ce qui induit un changement des conditions de validité des prédictions : l’observateur modifie le système observé. Quelle doit être la bonne prescription et que doit-on évaluer sachant qu’une prescription peut être interpréter de manière très variée ?

Exemple : comment valider les prédictions de Bison futé
Exemple : comment le scientifique doit parler au politique sachant que le politique a parfois des objectifs antagonistes

 

 

 

Prédiction des dynamiques multi-échelles (2008)

Prédiction des dynamiques multi-échelles

Les prédictions des modèles de dynamiques multi-échelles peuvent être multiples, quantitatives, qualitatives, probabilistes…selon l’objectif assigné au modèle. Quel que soit le type de prédiction il est indispensable de qualifier cette prédiction. L’évaluation des poids respectifs des différentes sources d’erreur et d’incertitudes identifiées dans la qualité de prédiction est un préalable à l’utilisation pertinente du modèle. Dans la conception des modèles, des hypothèses parfois fortes sont faites pour passer d’une échelle à l’autre (agrégation / désagrégation). Elles ont des répercussions sur les prédictions, et notamment sur les changements de régime (bifurcation) et les événements rares ou extrêmes. Inversement, la détection à partir des valeurs prédites des changements de régimes et de leurs transitions, qu’ils soient attendus ou non, est un autre défi.
In fine, l’usage qui est fait des prédictions peut, en particulier dans les modèles sociaux, avoir une influence sur le domaine de validité des prédictions. La question de savoir s’il faut revenir sur la conception du modèle dynamique ou bien élaborer séparément un modèle d’usage renvoie à l’étude des relations entre prédictions, prescription, gouvernance et coûts.

  • Mots-clés : qualité, apprentissage, validation, domaine de validité, analyse de sensibilité, incertitude, propagation d’erreur, agrégation, désagrégation, valeurs extrêmes, événements rares, prescription, gouvernance, réflexivité

 

  • Les grands défis :
    • Propagation des erreurs et des incertitudes au sein d’un modèle multi-échelles
    • Effets d’agrégation-désagrégation entre sous-modèles, et ses répercussions sur les prédictions, en particulier sur les changements de régime, les valeurs extrêmes ou rares.
    • Détecter l’apparition des différents « régimes » et leurs transitions (qu’ils soient attendus ou non), et sa répercussion sa répercussion sur les événements rares ou extrêmes.
    • Quelles relations entre prédiction, prescription, gouvernance et coûts ?

Grands Défis

  • Propagation des erreurs et des incertitudes au sein d’un modèle multi-échelles
  • Effets d’agrégation-désagrégation entre sous-modèles, et ses répercussions sur les prédictions, en particulier sur les changements de régime, les valeurs
  • Détecter l’apparition des différents ” régimes ” et leurs transitions (qu’ils soient attendus ou non), et sa répercussion sur les événements rares ou extr
  • Quelles relations entre prédiction, prescription, gouvernance et coûts?

1. Propagation des erreurs et des incertitudes au sein d’un modèle multi-échelles

L’expérience montre que si les biologistes / modélisateurs consacrent beaucoup de temps et d’énergie à l’écriture conceptuelle et informatique de leurs modèles, ils en réservent trop peu à l’analyse de leurs propriétés. Dans le cas de modèles multi-échelles, on s’attaque à des processus pour lesquels l’étude analytique de leurs propriétés est de plus en plus délicate voire impossible à réaliser. Cependant, il est nécessaire d’évaluer la qualité de prédiction de ces modèles ou au moins de caractériser la précision de leurs prédictions. L’étude de la sensibilité du modèle aux différentes sources de variation, souvent corrélées, et de leur contribution sur la qualité de la prédiction est un défi en soi.

Un corollaire de la complexité croissante de ces modèles est que leurs sorties sont elles-mêmes plus complexes. Là où un modèle calculait quelques variables d’état à valeurs scalaires dans le temps, il produit aujourd’hui communément des variables d’état plus nombreuses, et de plus en plus souvent sous forme de vecteurs ou de matrices multidimensionnelles mélangeant variables qualitatives et quantitatives. Résumer les énormes quantités de données produites par les modèles actuels, et traiter des données non scalaires, en entrée comme en sortie des modèles doit donc également faire partie d’une telle analyse.

Cependant, comme il est souvent impossible de pouvoir disposer de toutes les données nécessaires à l’évaluation propre de la qualité de prédiction du modèle, une stratégie est souvent d’utiliser des scénarios sur lesquels la prédiction est faite et d’en déduire par exemple des intervalles de confiance. Or, dans les systèmes complexes ces scénarios sont souvent établis sur un corpus d’hypothèses souvent non disjoint de celui du modèle. Par exemple, les recherches sur les modes économiques permettant de réduire les quantités de CO2 émises dans l’atmosphère afin de réduire leur impact sur les changements climatiques sont faites sur la base des séquences climatiques fournies par les modèles de changements globaux établis eux-mêmes à partir de scénarios économiques.

Dans ce contexte de modèles multi-échelles (spatiales et/ou temporelles et/ou niveaux d’organisation ; où il existe un opérateur d’agrégation ou moyennage), l’analyse des incertitudes du modèle peut se décliner par l’analyse du conditionnement du modèle d’une boite (d’un niveau d’organisation ou d’échelle) par rapport à la boite d’un niveau supérieur (utilisation de variables exogènes ; forçage ; scénario), et ensuite par l évaluation de la qualité de la prédiction notamment en conditionnant l’erreur d’une boite par rapport à l’erreur d’une boite d’un autre niveau (analyse et propagation d’erreur, incertitude, prise en compte du caractère stochastique).


2. Effets d’agrégation-désagrégation entre sous-modèles, et ses répercussions sur les prédictions, en particulier sur les changements de régime, les valeurs extrêmes ou rares.

Dans les systèmes multi-échelles, il existe souvent des ” effets de transition ” brutaux, qui peuvent aussi être le phénomène que l’on souhaite prédire. La prédiction de ces phénomènes rend la modélisation d’autant plus difficile qu’il y a superposition et interaction de dynamiques à des échelles spatiales ou temporelles et des niveaux d’organisation différents.
La communication entre ces différents niveaux ou échelles se fait souvent par le biais de processus d’agrégation et de désagrégation et des hypothèses sont souvent faites pour procéder à ces changements d’échelle ou faire communiquer les différents niveaux d’organisation. Cependant leur aptitude à pouvoir rendre compte d’événements rares ou extrêmes est souvent négligée au profit de l’aptitude du modèle à prédire les comportements globaux.

Le défi est donc d’analyser les répercussions des hypothèses formulées pour faire communiquer les différents niveaux d’organisation ou réaliser les changements d’échelle sur les prédictions.

Exemple : vagues déferlantes gommées au profit d’une dissipation moyenne.


3. Détecter l’apparition des différents ” régimes ” et leurs transitions (qu’ils soient attendus ou non), et sa répercussion sur les événements rares ou extrêmes.

Les phénomènes multi-échelles sont caractérisés par la superposition de dynamiques multiples. Cette caractérisation des régimes et de leur causalité étant essentielle à la prédiction, il est nécessaire de pouvoir identifier les dynamiques lentes pour anticiper les changements de régimes (bifurcation), décorréler les phénomènes à dynamiques rapides des transitions et analyser l’impact des changements de régime sur l’apparition d’événements extrêmes.

Exemple : inversion du champ magnétique, tsunami, émergence d’algues toxiques


4. Quelles relations entre prédiction, prescription, gouvernance et coûts ?

Dans le contexte multi-échelles et plus particulièrement dès lors que des acteurs peuvent intervenir sur le système, il est très difficile de pouvoir évaluer la qualité de prédiction des modèles. D’autant plus que bien souvent, plusieurs modèles sont en jeu, développés souvent indépendamment, à des échelles différentes avec des finalités parfois contradictoires.
Sur la base de sa finalité (ou des finalités du niveau supérieur), chaque échelle émet une prescription (stratégie optimale sur la base du modèle pour atteindre la finalité) en fonction des coûts donnés (coûts d’événements, couts d’action et coûts d’erreur de prédiction).
Comment l’anticipation par chaque échelle de l’interprétation de sa prescription par les autres échelles, doit-elle infléchir sa prescription ? Egalement, la connaissance par les acteurs des prédictions d’un modèle modifie son comportement ce qui induit un changement des conditions de validité des prédictions : l’observateur modifie le système observé. Quelle doit être la bonne prescription et que doit-on évaluer sachant qu’une prescription peut être interpréter de manière très variée ?

Exemple : comment valider les prédictions de Bison futé
Exemple : comment le scientifique doit parler au politique sachant que le politique a parfois des objectifs antagonistes