A robust, cross-validation classification method (RCM) for improved mapping accuracy and confidence metrics

Abstract

AbstractA modified approach to existing classification procedures, the Robust Classification Method (RCM), is introduced in this study. This algorithm is based on a randomized and repeated sampling of a training dataset in concert with traditional cross-validation of the classification results. A series of predictions (classified maps) and associated uncertainty maps and statistics are produced. The algorithm and associated outputs are discussed and a case study dealing with the classification of surficial materials in an area in Nunavut, Canada (NTS mapsheet 66A) using RCM is presented. The RCM was especially useful for assessing the effects of spectral and spatial variability in the classification process. Specifically, this method provided a majority classification and variability map and confusion statistics to bracket uncertainty in the classification process with respect to statistical (spectral) variability in the training dataset used to perform the classification as well as identifying areas that show spatial variability in classification.On présente une approche modifiée par rapport aux procédures de classification existantes, la méthode RCM (Robust Classification Method). Cet algorithme est basé sur l'échantillonnage aléatoire et répétitif d'un ensemble de données d'entraînement en combinaison avec la validation croisée traditionnelle des résultats de classification. Une série de prédictions (cartes classifiées) et de cartes d'incertitude ainsi que des statistiques associées sont produites. On discute de l'algorithme et des sorties associées et on présente une étude de cas traitant de la classification des matériaux de surface à l'aide de la méthode RCM pour une région au Nunavut, Canada (feuillet SNRC 66A). La méthode RCM est particulièrement utile pour évaluer les effets de la variabilité spectrale et spatiale dans la procédure de classification. Spécifiquement, cette méthode fournit une carte de classification par vote majoritaire et de variabilité ainsi que des statistiques de confusion pour encadrer l'incertitude dans la procédure de classification par rapport à la variabilité statistique (spectrale) dans l'ensemble des données d'entraînement utilisé pour réaliser la classification de même que pour l'identification des zones exhibant une variabilité spatiale dans la classification. AcknowledgementsThis represents Geological Survey of Canada (GSC) contribution number 20110011. This work was funded under the Geomapping and Energy (GEMS) project of Natural Resources Canada (NRCAN). Reviews by four external and anonymous reviewers contributed to a much improved manuscript.Notes 1For this case study, which comprised a 6-band LANDSAT TM 7 dataset of 3332 lines by 3827 30 m pixels, approximately 1 minute for 1 repetition of RCM was required using a relatively fast PC with 8 mb of RAM. Thus the time for 90 repetitions required approximately 1.5 h plus another 0.5 h to calculate the various images and statistics.