In this paper, we describe the partially observable Markov decision process (pomdp) approach to finding optimal or near-optimal control strategies for partially observable stochastic environments, given a complete model of the environment. The pomdp approach was originally developed in the operations research community and provides a formal basis for planning problems that have been of interest to the AI community. We found the existing algorithms for computing optimal control strategies to be highly computationally inefficient and have developed a new algorithm that is empirically more efficient. We sketch this algorithm and present preliminary results on several small problems that illustrate important properties of the pomdp approach.

To build effective planning systems, it is crucial to find the right level of representation: too impoverished, and important actions and goals are impossible to express; too expressive, and planning becomes intractable.

ion : : : : : : : : : : : : : : : : : : : : : : : : : : 21 2.3.7 Learning : : : : : : : : : : : : : : : : : : : : : : : : : : : : 21 2.3.8 Policy improvement : : : : : : : : : : : : : : : : : : : : : : 22 3 Plexus 24 3.1 Overview : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 24 3.2 Example domain : : : : : : : : : : : : : : : : : : : : : : : : : : : 25 3.3 Definitions : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 26 3.3.1 Envelope : : : : : : : : : : : : : : : : : : : : : : : : : : : : 26 3.3.2 State Communication : : : : : : : : : : : : : : : : : : : : : 26 3.3.3 Fringes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 27 3.3.4 Phase : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 31 3.3.5 Phase-cycle planner : : : : : : : : : : : : : : : : : : : : : : 31 3.3.6 Fallout probability and number of passages : : : : : : : : : 34 iv 3.4 Strengthen : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 35 3.4.1 Description : : :...

This thesis studies the problem of planning and problem solving in an unpredictable environment by adapting previous experiences. We construct a single agent planning system CADDY and operate it in a simple golf world testbed. The study of CADDY combines the studies of probabilistic, spatial, and temporal reasoning, adapting and reusing plans, and the tradeoff between gains and costs based on various considerations. The CADDY planning system operates in an uncertain and unpredictable environment. Despite limited perception, incomplete knowledge, and imperfect motion control, CADDY achieves its goal efficiently by finding a plan that is already known to work well in a similar situation and applying repair heuristics to improve it. The capability of adapting experiences makes CADDY a planning system with learning capability. In this thesis, we discuss the structure of the CADDY planning system and the results of experimental tests of CADDY when we applied to a simulated golf world. We ...

Abstract not found