@Entry[1]
Chaînes avec coûts associés
(tous les états persistants et apériodiques)
Coût moyen d'une transition: de l'état i:
|
Tendance vers la moyenne:
Le coût moyen par transition tend vers g où g est le coût moyen d'une transition dans la distribution limite Π
Calcul de g
|
Différences entre les états:
pour tout i on sait que la limite de
cout des t premieres transitions/t est g mais tous les états
ne sont pas égaux; pour un état i on a que la limite de
cout des t premieres transitions-tg existe, δi;
comment calculer les δi pour savoir quels sont les bons états?
δi = ai + ∑j=1n Pi,jδj -g
mais cela ne suffit pas pour déterminer les δ;
on ajoute ∑i=1N Πi δi = 0
on peut calculer l'espérance du coût d'une transition:
|
Décider la meilleur politique
Le nombre de politiques possibles peut être trop grand pour
permettre de calculer le g de chacune
et peut-être ce n'est pas la politique possédant le plus petit g
qu'il convient de choisir...
Actualisation: Un euro aujourd'hui est plus utile qu'un euro l'année prochaine;
Un coût d'un euro aujourd'hui est plus grave qu'un pareil coût l'année prochaine;
On veut calculer les coûts sur la supposition qu'un euro au temps t+1 vaut ρ euros au temps t; 0 < ρ < 1.
Rapport avec le taux d'intérêt: si le taux réel d'intérêt (payé ou reçu) est τ,
on a
ρ = 1/(1+τ).
|
Système non singulier: on peut calculer les vi de ces équations parce que ρ < 1.
Optimisation des coûts Selon notre point de vue nous voulons choisir une politique de façon à minimiser
Existence d'algorithmes assez efficaces qui convergent sur une politique optimale.
Dans les deux cas l'algorithme consiste à commencer avec une politique arbitraire et de l'améliorer tant que l'amélioration est non nulle.
Principe d'amélioration
Calculer les valeurs rélatives des états
(différences entre les états de l'espérance de la somme de tous les
coûts de transition jusqu'à l'infini, actualisée ou non;
c'est-à-dire les δi ou les vi);
décider une nouvelle politique basée sur le coût de la première
transition plus la valeur de l'etat après cette transition
(actualisée le cas échéant.)
Calcul d'une politique optimale avec actualisation
Terminaison de l'algorithme
Le cas sans actualisation
Ce cas est plus compliqué parce que les équations:
|
Rappel : on a δi = ai - g + ∑j=1N Pi,jδj
On essaie d'optimiser la politique en utilisant la même idée que dans le cas avec actualisation:
L'algorithme
Un exemple: assurance d'un véhicule
Le coût de l'assurance d'un véhicule est 100, 200, 400 ou
600.
Après un an sans aucun accident déclaré, le prix est réduit
au niveau inférieur
Après un an avec un accident déclaré, le prix est augmenté
au niveau supérieur
La probabilité d'un accident grave est 5% par an
La probabilité d'un accident mineur est 15% par an et le
coût de sa réparation est 500
Devrait-on déclarer un accident mineur ou payer la réparation?
(nous prenons ρ = 0.9 et supposons les coûts actualisés au
début
de l'année)
Calcul de la politique optimale
|
Faire le même calcul pour la nouvelle politique
et v=[1304,1472,1839,2347]
Maintenant on voit qu'une meilleur politique à v2
est de déclarer l'accident
v1
=
100 + 0.9(.8v1+.2v2)
v2
=
275 + 0.9(.95v1+.05v3)
v3
=
475 + 0.9(.95v2+.05v4)
v4
=
600 + 0.9(.8v3+.2v4)
(parce que maintenant
200 + 0.9(.8v1+.2v3)
< 275 + 0.9(.95v1+.05v3))
Donc, une troisième politique:
et v=[1299,1465,1833,2341].
v1
=
100 + 0.9(.8v1+.2v2)
v2
=
200 + 0.9(.8v1+.2v3)
v3
=
475 + 0.9(.95v2+.05v4)
v4
=
600 + 0.9(.8v3+.2v4)
On a trouvé la solution
optimale!
Le modèle n'est pas très réaliste (tous les accidents mineurs n'ont pas le même coût) mais ce calcul peut aider à prendre de bonnes décisions, par exemple en l'état 2 déclarer un sinistre si le coût est supérieur à ρ×(1833-1299).