Module C1.7 : Processus stochastique et simulation
Processus de naissance et de mort
Processus de Markov

Définition et caractérisation
Processus de naissance et de mort
Diagramme de transition et interprétation intuitive
Exemple
Exercices


Auteur(s) : Nasser Saheb - IUP Miage Bordeaux
Date de dernière modification : 06 octobre 2004

Définition et caractérisation

Les processus de Poisson ne connaissent que des incrémentations avec un taux constant. Dans la suite, nous introduirons des processus sans mémoire qui admettent des incrémentations et des décrémentations avec des taux variables, dépendants de l'état actuel du processus. Ces processus, intervenant dans la modélisation de larges classes de phénomènes d'attente, sont appelés processus de naissance et de mort. Ils sont à leur tour des cas particuliers des processus de Markov homogènes dans le temps continu, que nous allons présenter très sommairement ci-dessous.

Définition

Un processus stochastique  , avec    v.a. discrète, est un processus de Markov (ou une chaîne de Markov dans le temps continu), s'il vérifie la propriété sans mémoire :

Pour toute suite d'instants  , on a :

 

Cette propriété peut être interprétée par le fait que la probabilité du passage d'un état  in  à un état  j, lors de transition effectuée entre les instants tn  et  tn + 1, ne dépend pas de ce qui s'est passé avant l'instant tn, autrement dit l'état présent du système contient toute information sur son évolution (aléatoire) future.

Caractérisation des processus de Markov

Dans le cas des chaînes de Markov (temps discret), les transitions ont lieu aux instants 0, 1, 2,... On pourra alors les présenter à l'aide des probabilités de transition. Ne disposant pas d'un concept « top-horloge » pour les processus de Markov, nous avons à considérer les taux de probabilités de transition pour les couples d'états.

Désignons par E  l'ensemble des états du processus de Markov. Soient s et t deux instants, avec s < t, et soit u un instant intermédiaire (s < u < t). Pour i, j éléments de E, soit pij(s, t) la probabilité conditionnelle pour que le système à l'instant t soit dans l'état j, sachant qu'il a été dans l'état i à l'instant s. On a :

 

On peut représenter ce système d'équations de façon matricielle :

H(s, t) = H(s, u) H(u, t)         (Equation de Chapman - Kolmogorov)

avec  . Cette matrice est appelée matrice de probabilités de transition.

Un processus de Markov est dit homogène, si la matrice de probabilités de transition ne dépend que de t - s, c'est-à-dire la longueur de l'intervalle d'observation de transition.

Posons par ailleurs  . Lorsque    tend vers la matrice unité I. Par conséquent, si l'on souhaite trouver un taux, on doit retrancher la matrice untité I de   avant de la diviser par  . Posons donc :

 

Q(t) est appelée générateur infinitésimal (ou matrice de taux de transition). On a :

 

On en déduit, pour  . Pour un processus de Markov donné par son état initial et son générateur infinitésimal, on peut, en principe, trouver la probabilité pour qu'il soit dans un état j à un instant donné t. Toutefois ce calcul est très difficile en pratique et, sauf dans des cas très simples, aucune méthode connue n'aboutit à une expression explicite pour ces probabilités.

Si le processus de Markov est homogène, la matrice Q(t) est constante et ne dépend pas de t.

 

 

Processus de naissance et de mort

Une classe importante de processus de Markov, qui intervient dans l'étude des phénomènes d'attente, est celle des processus de naissance et de mort. Soit   un processus de Markov homogène. Nous identifions les états du processus avec  . Le processus   est un processus de naissance et de mort, si les seules transitions directes possibles à partir de  sont :

Un processus de naissance et de mort est de générateur infinitésimal suivant :

 

Lorsque le système à un instant donné t  est dans l'état Ek, on dit que la population à l'instant t  est de taille k. On pose alors indifféremment soit Z(t) = Ek soit Z(t) = k. Une autre façon équivalente de définir le processus est d'introduire les événements et leurs probabilités de façon suivante :

   est le taux de naissance pour une population de taille k,

   est le taux de mort pour une population de taille k (on pose  ).

Plus intuitivement, on peut énoncer la propriété caractéristique suivante :

Supposons que l'on observe l'évolution d'un processus de naissance et de mort de taille k à l'instant t, en considérant un intervalle de temps de durée  , avec   assez petit. Alors, pendant l'intervalle  , il peut survenir une naissance avec une probabilité proportionnelle à   ou une mort avec une probabilité proportionnelle à  , les coefficients de proportionnalité étant respectivement de   et de   (dépendants donc de la taille).

Notons que ces probabilités ne sont pas affectées quelque soit l'instant t (propriété d'homogénéité) et quelques fussent les événements qui ont mené le processus dans son état actuel (propriété sans mémoire).

Soit    la probabilité pour que la population soit de taille k à l'instant t :

 

Dans un premier temps, nous cherchons à déterminer  .

Proposition 6

Soit   un processus de naissance et de mort avec le taux de naissance   et le taux de mort  . On a :

 

Démonstration.  Considérons deux instants t  et     et calculons la probabilité pour que le processus soit de taille k (état Ek) à l'instant   en fonction de son état à l'instant t.

 

Passage de l'état de l'instant t à l'instant  

Nous avons pour k > 0 :

 

Les probabilités associées aux événements  , permettent d'écrire :

 

En regroupant les termes et en divisant les membres par  , il vient :

 

Sachant que  , on obtient :

 

Cette relation, pour k = 0, n'est correcte que si l'on pose  . Par ailleurs, la somme des probabilités vaut 1 et, donc,  . D'où la proposition.

On peut donner une version matricielle pour cette proposition, qui ressemble à l'équation matricielle pour les chaînes de Markov.

Désignons par deux vecteurs lignes 

 

constitués respectivement des probabilités et de leurs dérivées. Le système d'équations différentielles de la proposition 1 s'écrit alors :

 

Q est le générateur infinitésimal du processus de naissance et de mort.

 

 

Diagramme de transition et interprétation intuitive

On associe à un processus de naissance et de mort un graphe fini ou infini (suivant la finitude ou l'infinitude du processus), valué de la façon suivante :

 

Taux de flux de probabilité entrant en  .

Taux de flux de probabilité sortant en  .

On en déduit le taux de variation de probabilité :


 

 

 

Exemple

Devant une cabine téléphonique, les usagers arrivent un par un pour téléphoner. Si elle est libre, le premier occupe la cabine, sinon il s'en va définitivement.

On suppose que, dans l'intervalle de temps   la probabilité pour qu'un usager arrive est   et que, dans le même intervalle de temps, la probabilité pour qu'une conversation téléphonique engagée prenne fin est   ; et ceci indépendamment des événements qui précèdent l'instant t.

Le système est modélisé par un processus de naissance et de mort à deux états : libre   et occupé  . On a :

 .

Rappelons en effet que  est le taux de naissance pour une population de taille k et vaut 0 pour   dans cet exemple. De même,   n'existe pas pour k > 1, puisque la population ne peut pas dépasser 1.

Par conséquent, le processus admet le diagramme de transition suivant :

 

Les équations de la proposition 6 deviennent :

 

Portons la valeur   dans la première équation ; il vient :  

C'est une équation différentielle linéaire avec second membre. La solution de l'équation sans second membre associée est  . On pose donc  .

Portant cette valeur dans l'équation avec second membre, après les simplifications nécessaires, on aura :   Donc :  

On en déduit :  

Nous aurons finalement :

 .

Si l'on impose la condition initiale que la cabine est libre à l'instant t = 0, on aura  .

Nous aurons alors des expressions explicites et simples pour la probabilité pour que la cabine soit libre et la probabilité pour qu'elle soit occupée. On a :

 

et

 .

Si  , nous aurons :

 

et

 .

 

 


 

Exercices

2 exercices

Questionnaire de compréhension immédiate

Questionnaire à choix multiple