FORUM

Commentaires sur l'article " Robustness Analysis " par J. Rosenhead

by

Bernard Roy
LAMSADE
Université Paris-Dauphine
E-mail: roy@lamsade.dauphine.fr

(English version below)

Dans le bulletin n° 6 de l'automne 2002, Jonathan Rosenhead terminait un très intéressant article par un paragraphe intitulé " Robustness analysis after Roy ". Dans ce même numéro, j'avais signé une " Opinion Makers Section " intitulée " Robustesse de quoi et vis-à-vis de quoi mais aussi robustesse pourquoi en aide à la décision ? ". Parlions-nous de la même chose ? Je pense que oui … et je pense que non !


Je pense que oui car, pour l'un comme pour l'autre, la recherche de robustesse vise à prendre en compte, de façon aussi rationnelle que possible, le caractère imparfait de certaines connaissances (concernant notamment l'avenir) qui affecte la façon dont on peut éclairer certaines décisions. Je pense que non car Rosenhead et son équipe ont travaillé sur ce sujet d'une part depuis beaucoup plus longtemps que moi et, d'autre part, avec une approche fortement conditionnée par le type de contexte décisionnel auquel ils se sont intéressés (cf. le forum cité plus haut dont sont extraites les citations qui suivent).


Deux traits caractéristiques conditionnent leur approche. Tout d'abord, la connaissance imparfaite concerne avant tout (et peut-être même exclusivement) l'avenir : " Robustness Analysis is the way of supporting decision making when there is radical uncertainty about the future " (première phrase de l'article). Ce point est rappelé en haut de la page 8 comme constituant la première condition pour pouvoir appliquer l'analyse de robustesse. Il est suivi d'une seconde " decisions must be or can be staged - that is, the commitments made at the first point of decision do not necessarily define completely the future state of the system ". Ainsi restreinte par ces deux conditions, la recherche de robustesse peut être prise en compte au travers de la plus ou moins grande variété des possibilités d'avenir qui se trouveront préservées par la décision mise en œuvre dans un premier temps. Ceci justifie en particulier la façon suivante d'appréhender un critère de robustesse : " A simple statement of the robustness criterion is that, other things being equal, an initial commitment should be preferred if the proportion of desirable future situations that can still be reached once that decision has been implemented is high". Ce qui est appréhendé ainsi est essentiellement une notion de flexibilité (Rosenhead utilise d'ailleurs ce terme à plusieurs reprises).


La robustesse, telle que l'appréhende Rosenhead, est, selon moi, une acception assez particulière (compte tenu des deux conditions rappelées ci-dessus) d'une notion et d'une préoccupation qui me paraissent être beaucoup plus générales en aide à la décision et recherche opérationnelle. Dans l'opinion maker section citée plus haut, j'ai pris appui sur des travaux d'auteurs variés (y compris ceux de Rosenhead) qui traitent de robustesse en recherche opérationnelle et aide à la décision (mais en laissant volontairement de côté les travaux relevant d'autres disciplines, telle la statistique, où le mot robustesse figure) pour analyser la polysémie de ce terme en vue de découvrir et de mettre en évidence ce que ces diverses acceptions avaient en commun (et qui se retrouvent aussi dans l'usage qu'en fait Rosenhead). En posant des questions, j'ai souhaité ouvrir des pistes de réflexion. Je crains de l'avoir fait de façon un peu maladroite, ne particulier en utilisant un vocabulaire parfois mal adapté à l'ouverture que je recherchai.


Le schéma conceptuel sur lequel Rosenhead prend appui pour asseoir sa méthodologie d'analyse de robustesse ne repose pas sur un formalisme destiné à déboucher normalement sur des procédures complètement formalisées et informatisables. Je comprends qu'il ait pu croire que tel était la perspective dans laquelle je me situais et pensé que je ne m'intéressais à la robustesse que dans l'optique suivante : " As with sensitivity analysis this approach seeks to incorporate the real world experience of uncertainty into the understanding of mathematically derived results (…). Uncertainty, however, remains attached to parameter values, rather than to the swathe of intangible uncertainties that may be resistant to credible quantification. And as with sensitivity analysis, the idea of exploiting sequentiality to achieve flexibility is absent". Non ; ceci est tout à fait inexact. Sans doute l'usage de termes tels que " instanciation ", " instruction " ainsi que la façon dont j'avais cherché à positionner la recherche de conclusions robustes par rapport à l'analyse de sensibilité dans un article de 1998 (cité en référence dans l'opinion maker section) sont-ils à l'origine de cette incompréhension. Dans cet article, j'avais employé "jeux de données" ou encore "scénarios" à la place d'"instanciation". Chacun de ces termes me paraît trop réducteur car trop particulier, trop connoté. L'opinion maker section citée plus haut devant être révisée en vue de publication , j'ai choisi de les englober sous celui de version du problème d'aide à la décision. J'espère que cette nouvelle expression n'entraînera pas d'autres incompréhensions. En outre, je me suis efforcé de mieux m'expliquer quant à la façon dont une même préoccupation de recherche de robustesse pouvait, dans des contextes très variés et avec des approches différentes, jouer un rôle crucial en aide à la décision.

***

ENGLISH VERSION

Comments on the article " Robustness Analysis " by J. Rosenhead


Yes, I think we were talking about the same thing because for each of us robustness analysis attempts to take into account, in as rational a fashion as possible, the imperfect nature of certain knowledge (in particular, concerning the future) which will affect the way in which we might shed light on certain decisions. But I think we are not talking about the same thing inasmuch as Rosenhead and his research group have been working on this subject, first of all, for a much longer period than I have and, secondly, they have been working on it from an approach strongly influenced by the type of decision-making context they have explored (cf. the forum cited above, from which the quotations below have been taken).


Two characteristics have conditioned their approach. First, imperfect knowledge is concerned above all (and even perhaps exclusively) with the future: "Robustness Analysis is a way of supporting decision making when there is radical uncertainty about the future" (first sentence from Rosenhead's article). This point is repeated at the top of page 8 as comprising the first condition for applying robustness analysis. It is followed by a second point, "decisions must be or can be staged - that is, the commitments made at the first point of decision do not necessarily define completely the future state of the system". Thus restricted by these two conditions, robustness analysis can be taken into account in terms of the number of possibilities the initial decision implemented leaves open for the future. In particular, this justifies the following way of grounding a robustness criterion: "A simple statement of the robustness criterion is that, other things being equal, an initial commitment should be preferred if the proportion of desirable future situations that can still be reached once that decision has been implemented is high". What is meant here is essentially a notion of flexibility (Rosenhead himself uses this term several times).


In my view (in light of the two conditions quoted above), robustness, as tackled by Rosenhead, corresponds to a rather restricted use of a notion and a concern which seem to me to be much broader in decision aiding and operational research. The ideas I expressed in the Opinion Maker section referred to above were supported by the use of this term in the work of a variety of authors, including Rosenhead, who deal with robustness in decision aiding and operational research (intentionally leaving aside work from other disciplines, such as statistics, where the word "robustness" is also used) in other to analyse the multiple meanings of this term with a view to discovering and making clear what these various meanings have in common (and which would also be found in Rosenhead's use of the term). B asking these questions, I had hoped to open up new avenues of thought. I fear that my way of doing this may have been a bit maladroit, particularly the use of vocabulary which was not always in keeping with the broad-minded approach I was seeking.


The conceptual scheme Rosenhead uses as support to establish his methodology of robustness analysis does not rest on formalism designed to lead naturally to completely formalized and computerized procedures. I understand that he might have believed that such was the perspective I was working in and thought that I was interested in robustness only within the following framework: "As with sensitivity analysis this approach seeks to incorporate the real world experience of uncertainty into the understanding of mathematically derived results (…). Uncertainty, however, remains attached to parameter values, rather than to the swathe of intangible uncertainties that may be resistant to credible quantification. And as with sensitivity analysis, the idea of exploiting sequentiality to achieve flexibility is absent".


No; this is completely inaccurate. No doubt the use of such terms as instanciation and instruction, as well as the way in which I sought to position seeking robust conclusions with reference to sensitivity analysis in an article published in 1998 (cited in the Opinion Makers section) are responsible for this misunderstanding. In this article I used the terms jeux de données and scénarios instead of instanciation. Each of these terms seemed to me too simplistic, because they were too narrow or too specific to certain fields. As the Opinion Maker section mentioned above was due to be revised for publication, I chose to envelope these terms in the expression version du problème d'aide à la décision. I hope that this new expression will not result in other misunderstandings. In this new publication I have endeavoured to express myself more clearly on how the same concern with robustness analysis can play a crucial role in decision aiding in a variety of diverse contexts and within the framework of a number of different approaches.

 

EWG-MCDA Newsletter, Series 3, No.8, Fall 2003



[HOME - EWG MCDA]    [Newsletter articles of the EWG - MCDA]