La modélisation et l'analyse des systèmes - qu'ils soient biologiques, physiques, informatiques ou économiques - supposent la prise en compte de deux paramètres essentiels : le temps et l'incertain. La distinction du passé (connu) et du futur (à estimer) est à la base de la théorie des processus de Markov et des martingales.Ce livre est une introduction à ces théories. Il est issu du cours de probabilités enseigné par les auteurs en seconde année à l'École Polytechnique et est destiné aux étudiants des écoles d'ingénieurs ou de second et troisième cycle universitaire (Mastères). Les connaissances requises pour sa lecture ont été réduites au minimum et bien qu'une certaine familiarité avec le vocabulaire probabiliste (variables aléatoires, espérance, etc.) soit supposée, le seul concept dont il vraiment fait usage est celui d'indépendance.La première partie du livre traite des chaînes de Markov et de leurs applications à la simulation (algorithme de Métropolis, Propp-Wilson, Recuit simulé). La notion d'espérance conditionnelle n'apparaît que dans la seconde partie où elle est appliquée à l'étude des martingales à temps discret et aux problèmes d'arrêt optimal. Les applications du théorème de convergence des martingales qui sont proposées couvrent des domaines très larges, comme la dynamique de population avec les processus de branchement, l'économie avec les problèmes de standardisation, l'algorithmique avec les algorithmes stochastiques. La finance des produits dérivés, qui a connu un grand essor ces quinze dernières années fait un large usage des outils introduits dans ce livre, comme le montre le chapitre introductif qui lui est consacré. La troisième partie est un "appendice" où sont rappelés avec des démonstrations les principaux résultats de la théorie de la mesure et les notions de base du calcul des probabilités. Elle peut servir de support à un cours sur ces sujets.Sur chacun des thèmes retenus, une rubrique "pour en savoir plus" propose un exposé de développements récents sur le sujet.