Probabilistic graphical model-based security for SCADA critical infrastructures

Supervision: Christophe Gonzales

In this thesis two new Bayesian-Network-based models are proposed: conditional truncated densities Bayesian networks (ctdBN) and conditional densities Bayesian networks (cdBN). They model joint probability distributions of systems combining discrete and continuous random variables. We analyze the complexity of exact inference for the proposed models, concluding that they are in the same order of the one for the classical Bayesian Network model. We also analyze the challenge of learning cdBNs, proposing a score function based in the BD score as well as a whole learning algorithm based on the structural EM algorithm, assuming the existence of discrete latent variables corresponding to each continuous variable. In addition, we proof theoretically that the cdBN and ctdBN models can approximate well any Lipschitz joint probability distribution, which shows the expressiveness of these models. Within the framework of the European project SCISSOR, whose goal is cyber-security, we use the cdBN model to describe the dynamics of a SCADA system and to diagnose anomalies in observations taken in real time, interpreting an anomaly as a potential threat to the integrity of the system.

PhD thesis

Uncertain Reasoning for Business Rules

Supervision: Pierre-Henri Wuillemin, Philippe Bonnard, Christian De Sainte Marie & Christophe Gonzales

In this thesis, we address the issue of uncertainty in Object-Oriented Business Rules Management Systems (OO-BRMSs). To achieve this aim, we rely on Probabilistic Relational Models (PRMs). These are an object-oriented extension of Bayesian Networks that can be exploited to efficiently model probability distributions in OO-BRMSs. It turns out that queries in OO-BRMS are numerous and we need to request the PRM very frequently. The PRM should then provide a rapid answer. For this reason, we propose, in the first part of this thesis, a new algorithm that respects two specificities of OO-BRMSs and optimizes the probabilistic inference accordingly. First, OO-BRMSs queries affect only a subset of their base, hence, the probabilities of interest concern only a subset of the PRM random variables. Second, successive requests differ only slightly from each other. We prove theoretically the correctness of the proposed algorithm and we highlight its efficiency through experimental tests. During the second part, we establish general principles for probabilistic OO-BRMSs and we describe an approach to couple them with PRMs. Then, we apply the approach to IBM Operational Decision Manager (ODM), one of the state-of-the-art OO-BRMSs, and we provide an overview of the resulted prototype. Finally, we discuss advanced techniques to compile elements of ODM technical language into instructions that are exploitable by the PRM probabilistic engine.

PhD thesis

Développement d'outils d'aide au diagnostic en contexte incertain

Supervision: Karine Chevalier-Jabet & Christophe Gonzales

Le diagnostic des scénarios d'accidents nucléaires graves représente un enjeu majeur pour la sûreté nucléaire et la gestion de crise. Le problème est complexe à cause de la complexité des phénomènes physiques et chimiques sous-jacents des accidents graves, la difficulté de la compréhension des différentes corrélations entre ces derniers, et de surcroît la rareté des base de données descriptives. Ainsi, ce travail de thèse vise à proposer un outil dédié à la modélisation et au diagnostic des scénarios d'accident à base de réseaux bayésiens. L'usage des réseaux bayésiens reposera sur l'apprentissage à partir de bases de données de calculs créés avec le logiciel de calcul d'accident grave ASTEC. Dans ce contexte, l'utilisation des réseaux bayésiens a été, tout au long de ce travail doctoral, sujet à de nombreuses difficultés, notamment l'apprentissage de ces derniers à partir des données accidentelles qui, suite à de nombreuses études menées, ne se sont avérées pas tout à fait pertinentes pour mener à bien cette tâche. Ces difficultés proviennent principalement du fait que les données utilisées sont d'un coté de nature continue et de l'autre côté reliées à la fois par des relations déterministes et probabilistes. Ces deux contraintes posent un sérieux problème pour les algorithmes de construction des réseaux bayésiens qui supposent à la fois que toutes les relations entre variables sont de nature probabiliste et l'ensemble des variables utilisées sont de nature factorielle (ou discrète). Concernant le premier point, nous avons proposé un nouvel algorithme d'apprentissage de structure utilisant un ensemble de nouvelles règles (dont l'efficacité a été prouvée théoriquement et expérimentalement). Concernant l'étape de discrétisation, nous avons proposé une approche multivariée, qui d'après une étude expérimentale détaillée, nous a permis de pallier les inconvénients des algorithmes de l'état de l'art tout en minimisant la perte de l'information lors de la transformation des données.

PhD thesis

Exploitation de réseaux bayésiens dynamiques et du filtre particulaire pour le suivi d'objets articulés

Supervision: Séverine Dubuisson & Christophe Gonzales

Le problème de grande dimension de l'espace d'état ou d'observation est difficile à résoudre pour la communauté du suivi d'objet dans les séquences vidéo. Plusieurs approches ont été proposées pour résoudre ce problème. Très souvent, ces approches visent à faire des hypothèses a priori sur les mouvements, le type de l'objet, ou encore sur le contexte du suivi,... de manière à simplier le problème, réduire la dimension des espaces de travail et ainsi rendre ces approches appliquables dans les problèmes réels de suivi d'objets complexes (par exemple des objets articulés ou un ensemble d'objets), ou la dimension de l'espace d'état peut être très grande.

Le filtrage particulaire offre un formalisme probabiliste assez souple pour suivre des objets dans des séquences vidéo. Son principe est d'estimer la distribution de probabilité sur l'état de l'objet à suivre grâce à un échantillon pondéré dont les éléments, réalisations possibles de cet état, sont appelés particules. Il permet le suivi d'objets dans des situations complexes ou les distributions de probabilité à estimer ne sont ni gaussiennes ni même monomodales.

Malheureusement, dans les problèmes où les espaces d'état et d'observation de l'objet sont de grandes tailles, comme c'est le cas pour le suivi d'objets articulés, le nombre de particules nécessaires à une bonne approximation de la densité à estimer peut être prohibitif. Des solutions à ce problème ont toutefois été apportées dans la littérature, en particulier l'utilisation de décompositions des espaces d'état et d'observation permettant de travailler sur des espaces de plus petites tailles.

L'objectif de cette thèse est de proposer des méthodes pour traiter le problème de grande dimensions de l'espace d'état dans le suivi d'objets articulés, et pour cela nous proposons d'exploiter et de faire interagir entre elles des approches récentes et complementaires dans le contexte du suivi vidéo avec des situations complexes : filtrage particulaire pour modéliser le problème de suivi, réseaux bayésiens pour la mise à jour et l'inference des états du systeme.

PhD thesis

Ordonnancement avec dates de livraison et gains cumulatifs

Supervision: Safia Kedad-Sidhoum & Christophe Gonzales

Starting from a real world digitization workflow issue, we identified a scheduling problem with a new criterion involving common delivery dates for the jobs. In order to focus on this new criterion and on the jobs' release dates, we mainly worked on a single machine problem. We delimited the complexity classes of the problem, and provided a Branch and Bound algorithm for the general problem, based on dedicated bounds and dominance rules. We also considered the weakly NP-hard problem with two delivery dates, for which we designed a pseudopolynomial dynamic programming algorithm and an approximation algorithm with an absolute performance guarantee of 1. Finally, in order to consider a problem more closely related to the industrial issue, we studied a permutation flowshop problem with the same criterion. For this problem, we proposed several heuristic methods: constructive algorithms, local search, and a GRASP algorithm. All the algorithms were implemented. In particular the Branch and Bound method for the single machine problem and the local search algorithms for the flowshop provide good solutions in a reasonable time.

PhD thesis

Inférence probabiliste structurée dans les modèles graphiques probabilistes orientés-objet

Supervision: Pierre-Henri Wuillemin & Christophe Gonzales

Les modèles graphiques probabilistes (MGP) sont particulièrement utilisés dans les domaines du diagnostique automatique, de la sûreté de fonctionnement et de la maitrise des risques. Pour ces applications, les réseaux bayésiens (RB) sont parmi les MGP les plus populaires, car ils offrent un cadre efficace pour la représentation des connaissances et le raisonnement probabiliste. Toutefois, la modélisation des systèmes complexes avec des RB soulèvent des difficultés, les principaux étant l'impossibilité de réutiliser l'existant et la difficulté pour modéliser des systèmes de grandes tailles. Vers la fin des années 1990, plusieurs extensions des RB allaient lancer le développement des modèles probabilistes du premier ordre (MPPO). Alors que la communauté des chercheurs en IA se concentra sur la fusion de la logique du premier ordre avec les MGP, les difficultés pour modéliser des systèmes complexes à l'aide de RB furent laissées de côtés. Néanmoins, il y a encore de nombreux manques dans les extensions orientés-objet des RB: pouvons nous mieux définir l'héritage ? Comment représenter des concepts tels que le polymorphisme, le prototypage ou encore l'abstraction ? Quelles sont les différences entre les MPPO et les MGP orientés-objet ?

Lorsque les connaissances d'experts sont utilisées pour modéliser un système, l'inférence probabiliste est une des principales applications des RB. Il existe une grande variété d'approches, chacune exploitant un aspect particulier des RB (conditionnement, arbre de jonction, CNF, etc.). Mais, lorsque nous considérons les extensions des RB, il y a peu d'algorithmes dédiés. En effet, la plupart des extensions utilisent l'inférence "groundée", ie. que le modèle est transformé en RB pour y appliquer des algorithmes d'inférence classiques. Parmi les algorithmes dédiés, Structured Variable Elimination (SVE, Pfeffer 1999) exploite les modèles orientés-objet. Il réduit le nombre de calcul en utilisant la répétition structurelle caractéristique des modèles orientés-objet. Toutefois, SVE a des défauts qui empêchent son utilisation sur des systèmes conçus par des experts dans lesquels il n'y a pas d'incertitude structurelle, ie. dans des mondes fermés.

L'objectif de cette thèse est de développer une modélisation orienté-objet pour les MGP et de généraliser l'inférence structurée. Après une analyse de l'état de l'art, nous proposons une comparaison des différents paradigmes de représentation (orienté-objet, entité relation, premier ordre). Puis nous présentons notre première contribution: une formalisation complète du paradigme orienté-objet pour les MGP. Nous utilisons les modèles probabilistes relationnels (MPR) comme base que nous étendons pour inclure des concepts tel que l'héritage multiple, l'abstraction, le polymorphisme et l'héritage de type.

La deuxième contribution de cette thèse est l'étude et la généralisation de l'algorithme SVE. SVE exploite l'information structurelle représentée par les classes et réduit les calculs redondants. Nous proposons une reformulation de SVE et analysons ses principaux défauts. Puis nous généralisons SVE en étendant la notion d'inférence structurée à notre formalisme. Ceci donne une nouvelle forme d'inférence appelée Inférence Probabiliste Structurée (IPS). Finalement, nous montrons comment l'analyse en d-séparation et l'inférence structurée peuvent être utilisées conjointement pour améliorer les performances de IPS.

La troisième contribution de cette thèse repousse un peu plus loin le concept de l'inférence structurée. Nous exploitons un algorithme de recherche de sous graphes pour détecter une répétition de motifs dans un système. Ces motifs définissent une répétition de structure de haut niveau, appelée classe dynamique, qui peut être exploitée pour améliorer IPS. Nous proposons une analyse de la complexité du problème et un algorithme approché pour trouver de "bonnes" classes dynamiques. Nous fournissons des résultats expérimentaux étayant notre approche.

PhD thesis

Prise de décision multiattribut avec le modèle GAI

Supervision: Patrice Perny & Christophe Gonzales

GAI networks are a graphical model, both compact and expressive, for representing the preferences of a Decision Maker in the context of Multiattribute Decision Making, i.e., in situations where the set of alternatives among which the Decision Maker has to make decisions are described as a set of attributes (or features). GAI network's graphical structures are exploited to develop efficient elicitation procedures (determination of the Decision Maker's preferences using questionnaires) as well as effective Decision Making algorithms (e.g., computing the preferred alternative or the k-best alternatives).

The goal of this PhD thesis is twofold. First, it extends the aforementioned state-of-the-art Decision Making algorithms to be able to cope with dense GAI networks, i.e., with situations where the GAI network's treewidth is too high for these algorithms to complete in a reasonable amount of time. For this purpose, a new triangulation method has been developed which produces approximated GAI networks on which tailored inference mechanisms determine the alternatives that are actually optimal for the original GAI network. Second, we have proposed new inference algorithms for Multicriteria Decision Making. More precisely, new approaches for determining Pareto-optimal sets (exact and approximate with performance guarantee) and Lorenz-optimal sets have been developed. In addition, we have also proposed new algorithms for computing the optimal solutions in situations where criteria are aggregated using various operators like OWA (Ordered Weighted Average), Choquet integrals and Tchebycheff's norm.

PhD thesis

An exact method of propagation in Bayesian Network: Unification of Local Conditioning and triangulation in Pearl's Scheme

Supervision: Khaled Mellouli & Christophe Gonzales

PhD thesis