Suite

Image hyperspectrale + données de champ


Il existe de nombreux ensembles de données de télédétection, mais je n'ai pas pu en trouver un avec les données de terrain. En particulier, je recherche des images hyperspectrales aéroportées qui ont des données de terrain identifiant les espèces végétales ainsi que leurs coordonnées dans l'image.

Même si un ensemble de données provient d'une organisation et une image d'une autre, cela fonctionne aussi.


le lien http://dataservices.gfz-potsdam.de/portal/ vous donne un aperçu de certains ensembles de données disponibles auprès d'instituts de recherche. Utilisez le filtre de centre de données "EnMap" (qui est une mission satellitaire allemande) pour ne voir que les données des campagnes de vols hyperspectraux. Vous devrez peut-être vous inscrire pour recevoir certaines données en fonction de l'institution qui les fournit.

Vous n'obtiendrez probablement pas de données de terrain pour les données raster respectives, mais vous devriez essayer de les créer vous-même avec des données auxiliaires telles que GoogleEarth, OpenStreetMap ou Survey Data d'une institution gouvernementale.


IMAGE DU JOUR

Image satellite Pléiades Neo de la pyramide de Khéops au Caire, en Égypte (30 cm) est la plus ancienne pyramide des pyramides de Gizeh et est l'une des sept merveilles du monde. Le satellite Pleiades Neo fournira aux clients des images satellites panchromatiques de 30 cm et multispectrales de 1,2 m avec six bandes et offrira des images mono, stéréo et tri-stéréo pour diverses applications de cartographie. Voir la galerie d'images satellites Pleiades Neo supplémentaires.

Pétrole et gaz

Avec plus de quatre décennies d'expérience, nous utilisons notre compréhension unique de l'industrie pétrolière pour vous aider à évaluer les risques et à réduire les dépenses. En utilisant des données d'images satellitaires multispectrales anciennes et actuelles, une analyse spectrale et une classification sous-pixel, les anciens emplacements de puits peuvent être récupérés et les coordonnées ajustées pour améliorer l'interprétation géophysique et géologique. "avant" des puits supplémentaires sont forés dans la même zone. Cela augmente considérablement le taux de réussite, en particulier lorsque certains des anciens emplacements de puits ont des problèmes de coordonnées dépassant 1 km. Les services spécialisés comprennent la récupération et les ajustements de coordonnées d'anciens puits, ainsi que des études sismiques dans la jungle dense et les terrains désertiques.

Exploitation minière

L'imagerie multispectrale (VNIR), l'infrarouge à ondes courtes WorldView-3 (SWIR) et la cartographie thématique des minéraux permettent aux chercheurs de collecter des données de réflectance et les propriétés d'absorption des sols, des roches et de la végétation. En tirant parti des longueurs d'onde et des données de réflectance spectrale, des signatures spectrales, invisibles à l'œil humain, peuvent être établies pour les traces minérales situées à la surface. Notre technologie d'imagerie par satellite peut fournir des informations inégalées sur la composition des surfaces terrestres, ce qui aide grandement les géologues, les scientifiques et les chercheurs. Ces données pourraient être utilisées par des photogéologues qualifiés pour interpréter les lithologies de surface, identifier les argiles, les oxydes, les types de sols et identifier les emplacements potentiels des minéraux, à partir d'images satellites à haute et moyenne résolution.

Systèmes d'information géographique

Société d'imagerie par satellite (SIC) a développé une politique et des procédures complètes pour inclure l'AQ et le CQ dans la phase de planification de chaque projet impliquant l'utilisation de données de télédétection satellite, aérienne et UAV pour la cartographie SIG. En utilisant notre vaste gamme de capteurs satellites avancés pour acquérir de nouvelles images ou utiliser des images d'UAV fournies par le client, nous pouvons vous fournir une qualité et une précision géospatiale inégalées pour prendre en charge vos applications cartographiques SIG 2D ou 3D telles que la cartographie agricole de précision, les classifications de la couverture terrestre, détection des changements à partir d'images satellite détaillées VNIR, SWIR, analyse hyperspectrale et développement/utilisation de techniques d'apprentissage en profondeur telles que l'analyse d'images (semi) automatisée basée sur les objets (OBIA) et les algorithmes de réseau neuronal convolutif (CNN).

Énergie et infrastructures

Atténuez les risques commerciaux, accélérez la planification des pipelines, découvrez la composition de la surface et prédisez l'impact environnemental en utilisant les solutions que nous avons conçues pour améliorer les projets miniers et énergétiques.

Ingénierie et construction

De la sélection et l'évaluation du site de construction à l'évaluation des structures existantes, nous avons des solutions conçues pour faciliter chaque étape de votre projet.

Défense et renseignement

Les agences de défense, les entrepreneurs militaires et les forces de l'ordre sont continuellement confrontés à de nouveaux défis. Nous offrons un avantage inégalé lors de la planification d'opérations stratégiques et tactiques, de la réalisation de missions de combat et du développement de simulations.

Conservation et recherche

Identifiez les sites archéologiques, visualisez les effets du changement climatique et surveillez les efforts de conservation de la faune avec notre technologie de télédétection avancée, y compris le traitement du réseau de neurones artificiels (ANN).

Technologie géospatiale

Tirez parti de nos solutions technologiques de système d'information géographique (SIG) pour cartographier les données de manière visuellement concise et facilement utilisable.

Réponse désastreuse

Lorsque la rapidité d'exécution compte, fiez-vous à nos données d'images satellite - collectées avant et après une catastrophe naturelle ou d'origine humaine - pour fournir des informations cruciales pour les efforts d'intervention en cas de catastrophe et les opérations d'assurance.

Ressources naturelles

Le monde est toujours en mouvement. Utilisez nos méthodes éprouvées pour garder un œil sur l'environnement, améliorer les efforts de gestion du littoral, évaluer les forêts et faciliter le développement des ressources agricoles. L'utilisation de nos services rentables de télédétection par satellite et UAV, y compris le traitement de réseau de neurones artificiels, peut améliorer la qualité des résultats obtenus, à un coût inférieur à l'utilisation d'algorithmes de télédétection standard.

Médias et divertissement

Obtenez les perspectives visuelles époustouflantes dont vous avez besoin pour captiver le public de votre prochain journal télévisé, programme scientifique ou blockbuster hollywoodien.


La télédétection de l'écologie, de la biodiversité et de la conservation : une revue du point de vue des spécialistes de la télédétection

La télédétection, la science de l'obtention d'informations via l'enregistrement sans contact, a balayé les domaines de l'écologie, de la biodiversité et de la conservation (EBC). Plusieurs articles d'examen de la qualité ont contribué à ce domaine. Cependant, ces articles abordent souvent les questions du point de vue d'un écologiste ou d'un spécialiste de la biodiversité. Cette revue se concentre sur la télédétection spatiale d'EBC du point de vue des spécialistes de la télédétection, c'est-à-dire qu'elle est organisée dans le contexte de la technologie de télédétection de pointe, y compris les instruments et les techniques. Ici, les instruments à discuter se composent de capteurs à haute résolution spatiale, hyperspectraux, infrarouges thermiques, constellation de petits satellites et LIDAR et les techniques font référence à la classification d'images, à l'indice de végétation (VI), à l'algorithme d'inversion, à la fusion de données et à l'intégration de télédétection (RS) et système d'information géographique (SIG).

Mots clés: EBC (écologie, biodiversité et conservation) LIDAR fusion de données classification d'images intégration de la télédétection (RS) et du système d'information géographique (SIG) télédétection constellation de petits satellites infrarouge thermique.


Considérations relatives à la collecte, au traitement et à l'analyse de données hyperspectrales à haute résolution spatiale pour les enquêtes environnementales

Cet article décrit brièvement les méthodes disponibles pour la collecte, la correction atmosphérique et géométrique et le traitement de l'imagerie hyperspectrale. La discussion sur la saisie des données se concentre sur la logistique de l'intégration de l'acquisition d'images à la collecte de données sur le terrain. Une correction atmosphérique est nécessaire pour utiliser l'imagerie avec des spectres de référence provenant de capteurs de terrain et de laboratoire. Diverses méthodes de correction atmosphérique sont décrites. Une correction géométrique est requise pour l'intégration des données d'image et des produits dérivés avec d'autres informations géographiques. Une description des méthodes d'identification de caractéristiques uniques et multiples est fournie. Ceux-ci se concentrent tous sur l'analyse de la description spectrale des matériaux de surface fournie par les méthodes d'imagerie hyperspectrale pour l'identification de caractéristiques multiples, tirant parti de la dimensionnalité spectrale élevée de l'imagerie pour identifier les composants sous-pixellisés. Un rôle pour l'analyse spatiale combinée à l'analyse spectrale dans l'interprétation des caractéristiques environnementales est identifié.

Ceci est un aperçu du contenu de l'abonnement, accessible via votre institution.


Image Hyperspectrale + Données de Terrain - Systèmes d'Information Géographique

Professeur Bobby Shackouls

____________________________________________________________________________________

Informations biographiques

Le Dr Qian (Jenny) Du a obtenu des diplômes de B. S. et de M. S. de l'Institut de technologie de Beijing, et des diplômes de M. S. et de Ph. D. de l'Université du Maryland dans le comté de Baltimore en 1998 et 2000, respectivement, tous en génie électrique. Elle a été professeure adjointe au département de génie électrique et d'informatique de la Texas A&M University-Kingsville de 2000 à 2004. Elle a rejoint le département de génie électrique et informatique de la Mississippi State University (MSU) à l'automne 2004, où elle est actuellement professeure Bobby Shackouls.

Le domaine de recherche du Dr Du est le traitement d'images numériques et son application aux problèmes de télédétection avec une expertise sur l'exploitation d'images hyperspectrales. Les recherches qu'elle a menées couvrent presque tous les sujets du traitement et de l'analyse des images de télédétection, tels que la détection de cibles, la détection d'anomalies, la détection de changements, la classification supervisée/non supervisée/semi-supervisée, le démixage spectral, l'extraction de membres d'extrémité, la réduction de dimensionnalité, la sélection de bande fusion de données/caractéristiques/décision multisource, traitement en temps réel, calcul parallèle, compression de données, recalage et mosaïquage, affinage, visualisation, etc. Ses intérêts de recherche incluent également la super-résolution d'images et les réseaux de neurones.

Le Dr Du est membre de SPIE et de l'IEEE.

Elle a été rédactrice en chef adjointe de plusieurs revues :

- IEEE J-STARS (2011�)

- Lettres de traitement du signal IEEE (2012�)

- Journal de télédétection appliquée (2014�)

Elle est également rédactrice en chef invitée pour plusieurs numéros spéciaux :

- Démixage spectral des données de télédétection (Transactions IEEE sur les géosciences et la télédétection, vol. 49, non. 11, 2011)

Le Dr Du est le président général du 4e IEEE GRSS Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing (WHIPERS) à Shanghai, Chine, en 2012, le 7e IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS) à Tsukuba Science City, Japon, en 2012, et le 8e atelier IAPR PRRS à Stockholm, Suède, en 2014. Elle est la coprésidente générale du 10e atelier international sur l'analyse des images de télédétection multitemporelles à Shanghai, Chine, en 2019. Elle est également la coprésidente technique de la 8e conférence internationale sur l'agro-géoinformatique à Istanbul, en Turquie, en 2019.

- Automne 2021 : ECE3443 Signaux et systèmes

Texte : Kamen et Heck, Principes fondamentaux des signaux et des systèmes, 3e édition, Pearson, 2007 (ISBN : 978-0131687370)

- Je suis toujours à la recherche d'étudiants très motivés pour la recherche. Prière de me contacter pour plus d'informations.

En général, je n'envisagerai pas de recruter un étudiant tant que je n'aurai pas vu sa performance dans ma (mes) classe(s).


Un nouveau cadre pour la visualisation et l'analyse interactives des données d'images hyperspectrales

Les images multispectrales et hyperspectrales sont bien établies dans divers domaines d'application comme la télédétection, l'astronomie et la spectroscopie microscopique. Ces dernières années, la disponibilité de nouvelles conceptions de capteurs, de processeurs plus puissants et de stockage haute capacité a encore ouvert cette modalité d'imagerie à un plus large éventail d'applications telles que le diagnostic médical, l'agriculture et le patrimoine culturel. Cela nécessite de nouveaux outils qui permettent une analyse générale des données d'image et sont intuitifs pour les utilisateurs novices en imagerie hyperspectrale. Nous introduisons un nouveau cadre qui regroupe de nouvelles techniques de visualisation interactive avec des algorithmes puissants et est accessible via une interface utilisateur graphique efficace et intuitive. Nous visualisons la distribution spectrale d'une image via des coordonnées parallèles avec un lien étroit avec les techniques de visualisation traditionnelles, permettant de nouveaux paradigmes dans l'analyse d'images hyperspectrales qui se concentrent sur l'exploration interactive de données brutes. Nous combinons de nouvelles méthodes de segmentation supervisée, de regroupement global et de codage non linéaire en fausses couleurs pour faciliter l'inspection visuelle. Notre framework inventé Gerbil est open source et hautement modulaire, s'appuyant sur des méthodes établies et étant facilement extensible pour les besoins spécifiques aux applications. Il répond au besoin d'un cadre logiciel général et cohérent qui intègre étroitement des algorithmes d'analyse avec une interface intuitive et moderne pour les données d'images brutes et les résultats algorithmiques. Gerbil trouve son utilisation mondiale dans les universités et l'industrie avec plusieurs milliers de téléchargements provenant de 45 pays.

1. Introduction

L'imagerie multispectrale permet de capturer des informations de réflectance riches qui ne sont pas disponibles avec les caméras RVB traditionnelles. Il joue un rôle clé dans le domaine de la télédétection depuis des décennies, depuis que les avions et les satellites sont équipés de systèmes de capteurs hyperspectraux. Un exemple notable est le spectromètre d'imagerie visible/infrarouge aéroporté (AVIRIS) [1]. Les capteurs hyperspectraux sont moins largement utilisés « sur le terrain », bien qu'ils deviennent de plus en plus populaires dans des domaines tels que l'astronomie, le patrimoine culturel, l'agriculture et l'imagerie médicale.

Dans une image multispectrale, chaque pixel est un vecteur de valeurs d'intensité, où chaque valeur correspond à la radiance de la scène sur une petite plage de longueurs d'onde. Les vecteurs résultants ont généralement des longueurs comprises entre 31 et 200. La nature hautement dimensionnelle des données et ses fortes corrélations interbandes posent des défis aux algorithmes de vision par ordinateur. Des adaptations sont nécessaires pour exposer et exploiter les informations contenues dans les données. Un problème similaire se pose lorsque l'on essaie de traiter manuellement de telles données de grande dimension. Il y a un manque d'intuition qui exige une présentation qui guide l'utilisateur lors de l'exploration des données. En effet, il faut deux composants : la visualisation simultanée de différents aspects de l'information et une forte interaction avec l'utilisateur.

À mesure que la popularité des capteurs multispectraux augmente, le besoin d'analyses interactives assistées par ordinateur augmente également. Par exemple, l'un des premiers cadres d'analyse populaires pour fournir une interface graphique pour l'inspection était le système de traitement d'images spectrales qui a été introduit en 1992 [2]. Cependant, presque tous les logiciels d'analyse multispectrale disponibles sont adaptés à des applications spécifiques. Comme prévu, la plupart des logiciels disponibles se concentrent sur la télédétection et sont conçus pour favoriser un flux de travail spécifique à ce domaine.

Ces dernières années, la disponibilité de caméras multispectrales moins chères et plus faciles à utiliser a ouvert davantage cette modalité à de nouvelles applications. Divers dispositifs basés sur des filtres accordables électroniquement [3] ou des spectromètres d'imagerie [4] sont disponibles dans le commerce auprès de plusieurs fournisseurs. Un exemple de capteur ciblant les applications émergentes est MuSIS [5], qui est actuellement utilisé dans plusieurs musées et bibliothèques. Cependant, les utilisateurs de ces capteurs ne disposent pas d'une solution logicielle leur permettant d'explorer les données de manière interactive et intuitive.

Pour remédier à cette limitation, nous avons développé la plate-forme logicielle Gerbil qui intègre des concepts de visualisation interactive établis pour fournir une nouvelle présentation des images spectrales ainsi qu'un nouveau flux de travail pour les inspecter. La figure 1 représente une capture d'écran de Gerbille utilisée pour inspecter une image multispectrale. Gerbil est développé par un projet de logiciel open source dans la tradition des frameworks de logiciels libres dans la communauté de recherche en traitement du signal comme OpenCV [8] ou Weka [9]. Dans cet article, nous fournissons une référence scientifique pour Gerbille et décrivons les méthodologies de base qu'elle englobe. Nous fournissons également une présentation détaillée de la faisabilité et des performances des algorithmes dans Gerbil et montrons comment notre nouvelle approche est une amélioration significative par rapport à la pratique établie.

L'article regroupe et développe les contributions suivantes : (i) Visualisation interactive des distributions spectrales basée sur des coordonnées parallèles efficaces [6] (ii) Segmentation supervisée des données hyperspectrales [10] (iii) Regroupement global rapide avec support de superpixels [11] ( iv) Visualisation rapide non linéaire en fausses couleurs [12]

Ces méthodes ont été dérivées en adaptant des algorithmes établis pour des données hyperspectrales et des contraintes de temps interactives. Ils nous permettent d'introduire de nouveaux paradigmes dans l'analyse d'images hyperspectrales qui se concentrent sur l'exploration interactive de données brutes, construits sur l'intégration étroite des techniques susmentionnées dans un cadre logiciel open source complet. Le logiciel est accessible au public sur http://gerbilvis.org/ sous une licence de logiciel libre.

2. Travail précédent

L'un des premiers progiciels largement reconnus pour l'analyse multispectrale, LARSYS, est devenu disponible dans les années 1960. Il était exploité via un terminal texte. Plusieurs cadres d'analyse de données graphiques, interactives multispectrales ou hyperspectrales qui ont encore une large influence aujourd'hui remontent au début des années 1990. Les cadres antérieurs se concentrent sur une application spécifique, principalement dans le domaine de la télédétection. Boardman et al. [13] ont fourni un aperçu de l'histoire des systèmes logiciels établis pour les données hyperspectrales de télédétection. Biehl [14] a créé une liste mise à jour sur le Web en 2007. Dans cette section, nous donnons d'abord un bref aperçu des progiciels spécifiques à un domaine avant de passer en revue les logiciels plus largement applicables. Nous nous concentrons sur l'inspection interactive des images.

2.1. Télédétection

Le système de traitement d'images spectrales (SIPS) a été présenté par Kruse et al. [2] en 1993. Il a introduit le Spectral Angle Mapper (SAM), un outil de comparaison de spectre toujours populaire dans le domaine de l'appariement spectral [15]. Les données ont été présentées soit sous forme de bandes uniques, soit dans un composite en fausses couleurs de trois bandes sélectionnables par l'utilisateur. L'utilisateur peut également visualiser le spectre d'un pixel sélectionné. Des spectres empilés codés par couleur ont été fournis pour une tranche sélectionnée (un balayage de ligne vertical ou horizontal ou un chemin arbitraire dans l'image). Cet ensemble de formulaires de visualisation est encore typique des logiciels populaires de capture ou d'analyse hyperspectrale.

Le package gratuit MultiSpec de Biehl et Landgrebe [16] peut analyser des images multispectrales provenant de diverses sources, en utilisant la puissante bibliothèque GDAL [17] pour les E/S de données. L'objectif de ce logiciel est la classification. Le public cible est la communauté des sciences de la Terre en général. En plus de fournir toutes les visualisations courantes déjà mentionnées, il peut générer des biplots qui relient des régions sélectionnées dans une paire de bandes et un affichage d'image statistique, qui décrit la corrélation entre ces bandes.

Un logiciel commercial largement utilisé est ENVI [18], initialement développé par Boardman et al. [13]. Plusieurs innovations dans l'analyse hyperspectrale ont été introduites dans ENVI, dont, par exemple, le Pixel Purity Index (PPI) [19]. PPI trouve les pixels les plus purs spectralement dans une image. Ces pixels correspondent typiquement à des endmembers (spectres constitutifs d'une image). Une innovation notable dans la visualisation est la

-Visualiseur dimensionnel, qui utilise PPI comme entrée. Il s'agit d'une méthode de visualisation de données interactive qui permet la rotation en temps réel des nuages ​​de points en dimensions. La présentation des nuages ​​de points en 2D peut être quelque peu peu intuitive. Pourtant, l'outil est précieux pour les experts pour l'identification des endmembers sur la base des nuages ​​de points représentés.

Deux autres logiciels remarquables pour l'analyse des données de télédétection hyperspectrale sont HyperCube [23] et Opticks [24]. HyperCube est publié par l'US Army Corps of Engineers et contient des fonctions pour filtrer, déformer (enregistrer deux images), calibrer et déformer, projeter photométriquement et manipuler arithmétiquement les données. Opticks comprend également de nombreux outils courants tels que les annotations SIG, les fausses couleurs et les histogrammes. De plus, des tiers peuvent fournir des fonctionnalités via un module externe, ajoutant des capacités supplémentaires au logiciel. Par exemple, Spectral Processing Extension [25] inclut des outils typiques pour l'analyse de données hyperspectrales.

Dans le contexte de la télédétection, de nombreux travaux existent sur la visualisation d'une image multispectrale en utilisant la réduction de dimensionnalité. Le but est de présenter l'image en fausses couleurs RVB en réduisant la dimensionnalité des vecteurs spectraux de longueur

valeurs. Sur la base des couleurs de pixels résultantes, l'utilisateur doit être capable de discriminer les régions de l'image en fonction de ses intérêts spécifiques. Les méthodes pour y parvenir comprennent des variantes de l'analyse en composantes principales (ACP), de l'analyse en composantes indépendantes (ICA) et des méthodes non linéaires. Certaines variantes intègrent également des résultats de classification. Une approche récente de Cui et al. [26] se concentre sur l'adaptation interactive d'une telle visualisation. Cependant, il utilise toujours la représentation de carte de pixels commune de l'image.

2.2. Astronomie

Un domaine avec une longue histoire de l'imagerie hyperspectrale est l'astronomie. Le cadre logiciel le plus remarquable dans ce domaine est ds9 [27], disponible auprès du Smithsonian Astrophysical Observatory. Ce logiciel est très puissant dans la représentation spatiale de l'imagerie astronomique. Cependant, il fournit une visualisation 3D limitée du cube de données qui est rarement viable pour les données non astronomiques.

Récemment, Li et al. [28] ont explicitement abordé la question de savoir comment présenter les données multibandes. Ils dessinent des bandes d'images en 3D soit sous forme de pile d'images, soit sous forme de modèle rendu en volume, par exemple un fer à cheval. Leur rendu de volume résout le problème évident de l'encombrement en appliquant une transparence à des points de données individuels en fonction de leur intensité ou d'un masque ajusté par l'utilisateur. Cependant, on ne peut généralement pas supposer que de grandes régions d'image peuvent être estompées pour afficher toujours sans obstruction des données plus pertinentes.

2.3. Autres domaines d'application

L'imagerie multispectrale est devenue de plus en plus populaire dans la préservation et l'analyse d'œuvres d'art ainsi que de documents historiques. Colantoni et al. [29] ont analysé des images multispectrales de peintures du point de vue de la perception humaine des couleurs. A partir des données d'images, une représentation dans le CIE

l'espace colorimétrique [30] est calculé sous un éclairage virtuel contrôlé. Plusieurs outils peuvent alors être appliqués pour la visualisation des données trichromatiques. Les spectres originaux ne sont pas pris en compte dans l'analyse.

En 2010, Kim et al. [31] ont présenté une solution de visualisation interactive de documents historiques. Ils ont fourni un outil d'analyse autonome bien conçu et ont incorporé des innovations dans la façon dont les données sont présentées. Certains sont spécifiques à l'analyse de documents, traitant par exemple des artefacts liés au vieillissement, tandis que d'autres sont plus généraux. Le lentille spectrale fonction, par exemple, présente les données de deux bandes spectrales dans un seul affichage. Les cartes de similarité peuvent être calculées sur la base de la

norme entre la valeur spectrale moyenne d'une région sélectionnée et tous les pixels de l'image. Cependant, des mesures de similarité comme SAM [15] seraient mieux adaptées à la comparaison de spectres. Un tracé d'histogramme 3D est utilisé pour comparer deux spectres.

Le National ICT Australia (NICTA) offre gratuitement le logiciel Scyven qui comprend le pipeline de récupération de réflectance et de classification des matériaux développé au NICTA [7, 32]. Sa visualisation comprend une fausse coloration et une adaptation de la visualisation des coordonnées parallèles introduite dans Gerbille (voir Section 3.2).

Labitzke et al. [33] ont introduit un cadre interactif pour le démixage spectral linéaire d'ensembles de données multispectrales. Le démixage spectral est particulièrement populaire en télédétection, où la résolution spatiale est souvent faible. De nombreux algorithmes existent pour trouver des endmembers et effectuer un démixage spectral [34]. Labitzke et al. introduit une méthode incrémentale qui peut trouver semi-automatiquement les endmembers. Ensuite, un retour visuel est fourni par leur visualisation complémentaire qui reflète la qualité de l'ensemble de caractérisation. Cet ensemble peut être modifié de manière interactive afin d'améliorer le démixage. Les auteurs ont explicitement différencié leur approche de Gerbil [33]. Le démixage spectral fait partie intégrante de leur approche de visualisation interactive, tandis que dans nos méthodes, nous visualisons les données brutes. L'algorithme et le workflow proposés par Labitzke et al. ne s'opposent pas à notre approche, mais complètent bien les capacités de visualisation de Gerbille.

3. Inspection visuelle

En général, les approches existantes partagent le même ensemble de base de représentations de données et d'interactions utilisateur, tandis que les extensions individuelles suivent généralement un scénario d'application spécifique. Cependant, la plus large gamme d'applications de l'imagerie multispectrale nécessite un cadre de visualisation interactif qui est à la fois suffisamment général pour une plus large gamme d'applications et plus polyvalent que les représentations de base existantes. Dans notre cadre, Gerbil, nous suivons un nouveau concept qui permet un tout nouveau flux de travail dans l'exploration d'une image multispectrale. Il s'articule autour de la présentation et de l'exploration qui rendent les données d'image plus apparentes pour l'utilisateur, permettant ainsi une interprétation plus directe des données. L'utilisateur ne s'appuie pas sur, mais est simplement guidé par un traitement automatique.

3.1. Concept principal

La figure 2 donne un aperçu des principales caractéristiques qui constituent Gerbille. Afin de disposer d'un cadre adapté à une utilisation dans une grande variété d'applications, nous incorporons plusieurs outils d'analyse hyperspectrale bien compris dans Gerbil, tout en ajoutant des concepts issus des communautés de visualisation de données et de vision par ordinateur. La valeur de notre approche réside dans l'utilisation de ces fonctionnalités d'une manière qui enrichit l'expérience utilisateur tout en étudiant une image multispectrale. Un tel exemple est l'incorporation de coordonnées parallèles, une technique d'affichage de données de grande dimension. Les coordonnées parallèles sont utilisées pour visualiser les distributions spectrales. La visualisation est très dynamique et interagit avec les représentations topologiques de l'image (par exemple, une représentation en niveaux de gris d'une seule bande d'image). Un autre facteur contributif est l'accent mis sur la gradient spectral descripteur [35]. Sa distribution est affichée à côté de la distribution spectrale. Le gradient spectral est un descripteur multispectral qui se concentre sur les aspects des données, qui sont directement liés aux propriétés du matériau et de la réflectance.

La figure 1 décrit les trois principaux composants de l'interface utilisateur graphique : la visualisation des spectres d'origine (figure 1(a)) et les spectres de gradient spectral (figure 1(b)) à la fois via des coordonnées parallèles et la vue de l'image spatiale (figure 1( c)). L'interaction entre ces éléments, comme cela est expliqué en détail dans la section 3.3, est renforcée par des outils qui donnent des conseils supplémentaires à l'utilisateur. Un tel exemple est la réduction de dimensionnalité via l'ACP ou des méthodes non linéaires, comme discuté dans la section 5. Un autre outil est le regroupement de données dans l'espace de caractéristiques, décrit dans la section 4.2. La segmentation supervisée est particulièrement importante dans notre flux de travail, où l'utilisateur fournit des informations en fonction de l'objectif de son enquête ou de ses connaissances préalables. Dans la section 4.1, nous décrivons comment nous utilisons un algorithme de segmentation basé sur des graphes pour cette tâche.

3.2. Vue de distribution spectrale

Les approches existantes sur la représentation d'une image multispectrale dans son intégralité sont limitées par la disposition spatiale de l'image. Les données d'image sont vues comme un cube, avec le

-axe correspondant aux bandes spectrales, qui sont empilées les unes sur les autres. L'utilisation de techniques modernes de rendu de volume peut rendre cette représentation utile dans certains scénarios [28]. Cependant, dans la plupart des cas, lorsqu'il n'y a pas de rareté des pixels d'intérêt, une vue très encombrée est obtenue qui révèle les lacunes d'un simple agencement 3D. D'autres méthodes, telles que les nuages ​​de points ou la fausse coloration, reposent sur la réduction de la dimensionnalité. Bien que la visualisation de données réduites soit utile dans de nombreuses applications, il est difficile de préserver les détails subtils. En revanche, une bonne visualisation des données d'origine aide l'observateur à évaluer dans quelle mesure une méthode de réduction de dimensionnalité s'adapte à une application spécifique.

Une façon d'aborder cette question est de s'éloigner des relations topologiques dans l'image, pour l'instant, et de se concentrer plutôt sur une représentation saisissable de la distribution spectrale. Pour ce faire efficacement, nous utilisons la méthode des coordonnées parallèles [36] comme expliqué ci-dessous. Il s'agit d'une technique bien établie pour visualiser une géométrie de grande dimension et analyser des données multivariées. Il a été largement utilisé, par exemple, dans les applications financières et les systèmes d'information géographique. On peut voir la visualisation spectrale traditionnelle comme une instanciation spécifique de la visualisation des coordonnées parallèles. En nous appuyant sur le concept plus général, nous pouvons incorporer des outils de la communauté de visualisation pour la présentation de données de grande dimension.

Selon le concept de coordonnées parallèles, un espace de caractéristiques -dimensionnel (résultant de bandes spectrales) est projeté sur une vue bidimensionnelle comme suit. des lignes verticales parallèles désignent les axes, c'est-à-dire les bandes spectrales. Le

le e axe correspond à la valeur d'un spectre à la bande . Pour afficher le vecteur spectral d'un pixel, une polyligne est dessinée avec ses sommets situés sur les axes verticaux correspondants. L'affichage qui en résulte suit la disposition d'un tracé où le

-axis dénoterait la longueur d'onde et l'axe dénote l'intensité.

3.2.1. Coordonnées parallèles optimisées

Dessiner une polyligne pour chaque vecteur multispectral présente plusieurs inconvénients : cela prend du temps et l'affichage peut facilement être encombré, auquel cas des polylignes uniques peuvent ne pas bien se séparer du reste des données. Une solution aux problèmes d'encombrement et de vitesse consiste à dessiner moins de polylignes, où une polyligne peut représenter un ensemble de pixels. Avec cette distinction, les polylignes qui représentent plus de pixels apparaissent plus fortes.

Nous réalisons cette représentation en introduisant un histogramme dans l'espace des caractéristiques avec

bacs uniformément répartis dans chaque dimension. est réglable par l'utilisateur entre 2 et la plage dynamique des données capturées (généralement

). Par exemple, l'histogramme d'une image multispectrale à 31 bandes avec

bacs. Construire un histogramme dense de cette taille n'est pas faisable, mais un histogramme clairsemé peut être créé en utilisant un algorithme de hachage ordinaire. L'idée clé ici est que la quantité de cases occupées est liée à la résolution spatiale de l'image d'entrée. Par exemple, une résolution spatiale de

ne laisse que des valeurs distinctes possibles, donnant effectivement une limite supérieure à la quantité de cases remplies dans un histogramme clairsemé, ou la quantité de clés de hachage nécessaires.

Pour chaque casier rempli, une polyligne est dessinée dans la visualisation des coordonnées parallèles. La force de la polyligne est manipulée en lui attribuant une opacité

. est déterminé par la relation entre le nombre de pixels représentés par le bac,

, et le nombre total de pixels traités,

où est un facteur réglable par l'utilisateur et

est une fonction logarithmique. Le logarithme met l'accent sur les bacs avec moins de pixels. L'idée est que même un seul pixel doit être perceptible. Le logarithme garantit également que la plage dynamique résultante des valeurs alpha peut être raisonnablement bien représentée avec un canal alpha de 8 bits. De nos jours, Gerbil surmonte cette limitation en s'appuyant sur un framebuffer à virgule flottante et l'utilisateur peut choisir d'être linéaire.

3.2.2. Raffinements de dessin

The newer design of Gerbil includes several measures to further enhance the visual quality and accuracy of the spectral distribution display. By dividing the feature space into a fixed number of equally spaced bins, the histogram applies a nonadaptive quantization of a spectral vector X. A possible strategy to reduce the introduced quantization error is to employ a binning that is adapted to the observed data. A straight-forward method is to perform a separate histogram equalization in each dimension , which enforces a uniform PDF of the mapped vector values

[37]. While it works well for big clusters of similar pixels, spectra that are sparsely represented in the image will suffer from such an operation. It may increase the average accuracy at a great expense in the precision of single pixel representations, which is not desirable.

We employ an alternative strategy by adjusting how a bin is drawn. Our method achieves an improved general accuracy without a significant expense in the accuracy for any single pixel. When drawing a bin, we draw the mean vector of its contents instead of its midrange values. This can be computed on the fly while adding new vectors, with a final normalization based on the already stored number of entries. Figure 3 shows an example of the visual quality gain. A broad description of the spectral distribution is already possible with a low .

Another hindrance in visual quality is the mutual obstruction of pixel representations. In many use-cases, pixels are color coded (see Section 3.3). This involves effectively drawing several distributions on top of each other. In highly populated intensity ranges this can lead to extensive occlusions. There exists work on clutter reduction in parallel coordinate plots that tackles this problem [38]. The key idea is to only render a randomly sampled subset of the data points. Instead, we significantly reduce clutter by drawing data in a randomly shuffled order, without dismissing any information.

3.2.3. Évaluation

The error introduced by the histogram-based quantization can be measured by the average root mean squared error (RMSE) as well as the maximum absolute deviation (MAD), between original vectors

and their quantized counterparts

. This gives us the measure

where is the sample maximum.

The number of bins per dimension is a crucial parameter. It lets the user choose between drawing speed, viewing quality, and accuracy. Even a considerably low should provide acceptable accuracy, and the speed-up by lowering should be effective. We evaluate RMSE and MAD for both the previously published [6] and the newly proposed drawing methods on several datasets from different application domains. Table 1 provides statistics on the datasets. The CAVE dataset consists of objects in a laboratory settings, while Foster captured natural (outdoor) scenes. Indian Pines and D.C. Mall are widely used remote sensing images.

We use a desktop machine equipped with a quad-core Intel Core i7 CPU running at 2.80 GHz and a GeForce GTX 550 Ti consumer graphics card for testing the computational performance. We measure the time needed for drawing operations via GL _ TIMESTAMP and draw in WUXGA resolution.

In Figure 4 we plot running times against accuracy for varying . Bin Center describes the originally published drawing method, while Mean denotes our refined drawing method. We can observe that the average RMSE becomes negligible with higher for both methods. However, our method achieves low RMSE values for considerably lower settings of . Due to outliers present in some of the histogram bins, the MAD for the refined method is somewhat higher than the original MAD.

The time needed to build the histogram is denoted as binning and is not determined by . The time needed for preparing the geometry and loading it on the GPU (Loading) slowly grows with . In contrast, plays an important role for the time needed for the drawing operation (Drawing). For higher values, the time needed for drawing grows to multiples of the time needed for preparation. Hence the histogramming plays an important role in achieving interactivity.

In Table 2 the running times and accuracy measures for the refined drawing method are listed on all datasets except Indian Pines, where, due to the very low resolution of the image, running times are negligible. The times shown for preparation are the combined histogram building and geometry loading times. As in Figure 4, it is observed that a low can already achieve a small quantization error. Réglage

is a reasonable compromise between speed and accuracy on the tested datasets. It provides an effective speed-up in comparison to a high histogram resolution without a perceivable loss in drawing accuracy.

It can be seen in Table 2 that on our test machine, even with a moderate setting, drawing the spectra from a large image may still take several seconds. Typically it is impractical to work on a high-resolution image without a region of interest. Yet, we alleviate longer drawing times by incrementally drawing the data (disabled in the benchmarking) in order to provide direct visual feedback in the form of a rough approximation of the full data (as pixels are drawn in a random order).

3.3. Interactive Inspection

An important aspect of today’s visualization approaches for multivariate data is interactive manipulation of the presentation. A single view most often cannot provide the full understanding that may be gained by a series of user-controlled depictions. User input is vital to parallel coordinates in particular. We provide several mechanisms for both transient (cursor highlights) and persistent (color labels) interactive viewing.

In the parallel coordinate plots, the user can dynamically highlight specific data points, that is, spectral vectors that represent pixels. These are displayed in yellow and with full opacity as an overlay over nonhighlighted spectra. We realize this in OpenGL with layered frame buffers. Updates to the highlight only need to redraw highlighted spectra. While the highlight constantly follows the keyboard and/or mouse input the corresponding pixels are instantly highlighted in the spatial view. While scrolling through the spectra, the topological view always reveals which pixels contribute to the highlighted spectra.

Two modes of operation exist for highlighting in the spectral distribution: single-band limited and multiband limited. The single-band limited highlight is formed by all spectral vectors falling into bins that share a specific intensity range in one band (see Figure 5(a)). The coarseness of this selection is therefore directly related to the binning parameter. The user selects the band and intensity range via mouse click or cursor keys. The multiband limited highlight provides a higher level of control in exchange for more detailed user input. Here, in each band, separate lower and upper intensity bounds can be set (see Figure 5(b)).

Another method of highlighting exists in the topological view. Here, the user can direct a cursor over individual pixels in the spatial view. In the corresponding viewports, the spectrum, and spectral gradient data of the pixel under the cursor are presented as a yellow overlay.

While highlights give instant feedback, they constantly change as the user investigates the data. It is often desired to keep a selection of pixels distinguished from the rest of the data, for example, for comparison purposes. We call this pixel set a label each pixel can be part of at most one label. A label can be seen as a permanent highlight. For each label, a distinct sparse histogram is created as described in Section 3.2.1. It is then drawn in the label color. When a histogram bin is part of the current transient highlight, the color is significantly shifted towards yellow.

When the user has selected pixels within the transient highlight, they may add this set of pixels to a label or delete their label association. By doing so, they can iteratively refine the labeling of the data to concentrate on specific details. Another way to alter the labeling is to use a “label” brush in the topological view or to use automated segmentation methods as discussed in Section 4. Labelings can also be stored for later use.

Labels are important because they serve as a memory in the connection between different representations of the multispectral image such as between a single band and the spectral distribution. A selection, or temporary highlight in one representation, is instantly propagated to the others. By labeling this highlight, it becomes permanent. The user can then continue his investigation within another representation, for example, the spectral gradient view, that may reveal new insights within this labeling. For example, a user may start by hand-labeling parts of a scene in the topological view. Then, they may restrict the spectral distribution view to this label. The parallel coordinates visualization could reveal a certain variance within the labeled pixels. By using selection tools inside this viewport, the user could separate parts of the pixels and assign them to a second label. The topological view instantly reveals which parts of the object contribute to which portion of the distinguished spectra. Next, the user may initialize a multiband limited highlight based on this second label. This reveals other regions in the scene that share spectral characteristics with the labeled pixels.

As a result, we facilitate a workflow of inspecting an image that is not possible with a traditional hyperspectral analysis framework. It is based on concurrent, concerted work with both topological and spectral views and allows a smooth and instantaneous switch in attention between them. Such a step-by-step exploration enables the user to quickly discover and grasp underlying information. In the visualization domain this procedure is considered a valuable tool for understanding complex data [39]. A narrated video demonstration of this workflow can be accessed at http://video.gerbilvis.org/.

4. Segmentation and Labeling

An interactive interface to the multispectral data is no replacement for automatic processing. In fact, the two approaches together form a powerful combination. Within our framework, it is easy to interpret and assess the results of algorithms used in automated analysis. These results can be a good starting point for further interactive analysis. Gerbil is equipped with two powerful methods that segment the data either according to spectral characteristics on a global level or based on topological relation and local similarity. In the latter case we bring supervised segmentation to the multispectral domain especially for the purpose of interactive inspection.

4.1. User-Guided Segmentation

Supervised segmentation incorporates user-provided prior knowledge. A user specifies a set of background and foreground pixels. All other pixels are then determined as belonging to either the background or the foreground. We make this concept a powerful tool within our interactive workflow.

The early version of Gerbil [6] included a rudimentary version of supervised segmentation. We have now adapted an existing algorithm family specifically to the multispectral domain [10].

4.1.1. Graph-Based Supervised Segmentation

In recent years, graph-based algorithms have dominated supervised segmentation on both grayscale and RGB images. In 2011, Couprie et al. introduced a framework for supervised segmentation that incorporates several key methods based on graph theory [40]. Their power watersheds integrate graph cuts, random walker, and watersheds algorithms in a single mathematical framework.

For this algorithm family, the input consists of two sets of pixels, the foreground seeds

, as well as the pixel values , which are strictly used in a differential manner. The topological relation of pixels is reflected in a graph structure. Each pixel corresponds to a vertex

. A neighboring pixel with corresponding is connected to via an edge

of an edge is a function of the similarity between and . We compute an -element vector


Hyperspectral Image + Field Data - Geographic Information Systems

Imaging spectroscopy has been used in the laboratory by physicists and chemists for over 100 years for identification of materials and their composition. Spectroscopy can be used to detect individual absorption features due to specific chemical bonds in a solid, liquid, or gas. Recently, with advancing technology, imaging spectroscopy has begun to focus on the Earth. The concept of hyperspectral remote sensing began in the mid-80's and to this point has been used most widely by geologists for the mapping of minerals. Actual detection of materials is dependent on the spectral coverage, spectral resolution, and signal-to-noise of the spectrometer, the abundance of the material and the strength of absorption features for that material in the wavelength region measured.

Hyperspectral remote sensing combines imaging and spectroscopy in a single system which often includes large data sets and require new processing methods. Hyperspectral data sets are generally composed of about 100 to 200 spectral bands of relatively narrow bandwidths (5-10 nm), whereas, multispectral data sets are usually composed of about 5 to 10 bands of relatively large bandwidths (70-400 nm).

Hyperspectral imagery is typically collected (and represented) as a data cube with spatial information collected in the X-Y plane, and spectral information represented in the Z-direction.


Use of Airborne Hyperspectral Imagery to Map Soil Properties in Tilled Agricultural Fields

) were analyzed for carbon content, particle size distribution, and 15 agronomically important elements (Mehlich-III extraction). When partial least squares (PLS) regression of imagery-derived reflectance spectra was used to predict analyte concentrations, 13 of the 19 analytes were predicted with

, including carbon (0.65), aluminum (0.76), iron (0.75), and silt content (0.79). Comparison of 15 spectral math preprocessing treatments showed that a simple first derivative worked well for nearly all analytes. The resulting PLS factors were exported as a vector of coefficients and used to calculate predicted maps of soil properties for each field. Image smoothing with a

low-pass filter prior to spectral data extraction improved prediction accuracy. The resulting raster maps showed variation associated with topographic factors, indicating the effect of soil redistribution and moisture regime on in-field spatial variability. High-resolution maps of soil analyte concentrations can be used to improve precision environmental management of farmlands.

1. Introduction

Spatial assessment of soil properties is important for understanding the dynamics of agricultural ecosystems. Site specific data can provide information that is critical to maintaining healthy soils and adequate nutrient supply for crop production, preventing losses of nutrients and sediments to the environment, and evaluating the transfer of elements such as carbon between land and atmosphere. Research has demonstrated that soil properties such as carbon content are correlated with field topography, soil texture, electrical conductivity, and soil reflectance [1–4]. A study by Venteris et al. [5] documented accumulation of carbon in low areas of fields following soil translocation from higher areas, with resulting carbon loss and soil degradation in elevated areas, and Thompson et al. [6] used soil-landscape modeling techniques to evaluate topographic distribution of soil texture and carbon content. These geographic approaches accounted for 28% to 68% of variation in measured carbon and demonstrated the complexity of environmental and management practices that affect soil characteristics. Recent research into soil health and sustainable cropping systems has demonstrated the potential of improved systems management based on knowledge of distributed soil properties [7]. Contemporary farm management relies on moderate resolution soil maps derived from photo and topographic interpretation. Accurate mapping of soil properties is made difficult due to high spatial variability observed within agricultural fields, errors in spatial assessment of soil properties can result from inadequate or biased sampling of the landscape, and the high cost associated with collecting and analyzing soil samples often limits the amount information available to farmers and land managers. However, advances in remote sensing technology are now providing tools to support geospatial mapping of soil properties, with applications in agricultural and environmental management.

Diffuse reflectance spectroscopy offers a rapid and nondestructive means for measurement of soil properties based on the reflectance spectra of illuminated soil [8–10]. A growing body of literature supports the use of spectral reflectance to determine soil properties, mostly using laboratory instrumentation to measure soil reflectance in the visible (400–700 nm) near infrared (700–2500 nm) and mid-infrared (2500–25,000 nm) wavelengths. Partial least squares (PLS) regression has emerged as a successful chemometric method for extracting predictive information from spectral reflectance datasets [10–12]. The PLS method, characterizes high leverage orthogonal factors within observed spectral variance and matches them to similar factors that describe observed variance within measurements of a corresponding dependant variable. It has been successfully used to predict the results of soil laboratory analysis for carbon content [13, 14], particle size distribution [13, 15, 16] and elemental nutrient content [14, 17, 18], with results sometimes approaching the analytical accuracy of laboratory tests [12, 19]. A review of 44 studies [20] documented associated with prediction of soil carbon that ranged from 0.45 to 0.98, with a median of 0.86. Prediction accuracy depends on the signal : noise associated with the spectral data, and, like most analytical calibrations, is also highly influenced by the distribution of values in the measured dataset. The PLS-derived predictive equations, like most analytical calibrations, are most effective when the unknowns fall with the range of observations used to create the predictive equation, and the best success is obtained when an adequate number of locally obtained samples are included in the calibration data set [12, 21].

Advances in sensor technology have enabled satellite and airborne collection of hyperspectral imagery, allowing the acquisition of spectrally detailed geospatial reflectance data at field and landscape scales. By combining PLS regression of soil properties with reflectance data derived from airborne imagery, high-resolution maps of soil properties can be developed, thus overcoming the inaccuracies associated with geospatial interpolation of soil test data. Reports in the literature, for example, [16, 19, 22], indicate great potential for remote sensing approaches to map surface soil properties. However, additional research is needed to optimize data analysis procedures and improve prediction ability [19]. Separation of signal from noise is an important part of spectral data processing. Geometric and atmospheric adjustments are first required to derive a geospatially representative map of soil reflectance spectra. The imagery can then be smoothed spatially by averaging adjacent pixels, for example using a low-pass filter. This can reduce the noise that results from random signal variability within the detector array while increasing the signal associated with number of observations. It is also common to smooth the spectra in various ways, often by averaging adjacent wavebands or by calculation of first and second derivatives. Numerous math pretreatments have been evaluated for application of PLS to spectral reflectance data obtained from agricultural soils [8, 14, 23, 24].

In this paper, we have three objectives: (1) to evaluate 30 combinations of spectral math pretreatments and imagery smoothing techniques to identify most effective methods of preparing remote sensing data for partial least squares (PLS) analysis of soil properties (2) to develop and validate PLS predictions of soil concentrations for 19 laboratory analytes based on data extracted from airborne hyperspectral imagery and (3) to export resulting PLS vectors to geospatial imagery processing software and calculate high-resolution raster maps of predicted soil characteristics. Six recently tilled agricultural fields were intensively sampled to provide the calibration data set.

2. Materials and Methods

2.1. Field Sampling

On 10 April, 2007, we collected 315 soil samples from six fields (Figure 1) located on working grain farms on the Eastern Shore of the Chesapeake Bay (Delmarva Peninsula, near Easton, MD). Each of the fields (Temple 1S, 7.3 ha Temple 1N, 7.1 ha Temple 2, 8.9 ha Temple 3, 18.1 ha Mason, 14.6 ha Schrader 9.8 ha) was chosen to provide uniform, smooth, bare-soil conditions, had been recently tilled (moldboard plow, field cultivator, and disk), and had little to no vegetation or plant residue. Soil conditions were moderately dry at the time of sampling, with six days of warm spring weather since the previous substantial rainfall (25 mm on 04 April, 2007). All fields were relatively flat (0% to 5% slope). Soil types included moderately well-drained silt loams (Pineyneck PiA, Mattapex-Butlertown MtA), poorly drained silt loams (Othello Ot), and well-drained sandy loams (Indleside IgB). Although the majority of Eastern Shore farms are managed using no-till practices, the tilled fields were otherwise typical of regional cash grain crop management strategies.


(a)
(b)
(c)
(ré)

Hyperspectral Image + Field Data - Geographic Information Systems

You have requested a machine translation of selected content from our databases. This functionality is provided solely for your convenience and is in no way intended to replace human translation. Neither SPIE nor the owners and publishers of the content make, and they explicitly disclaim, any express or implied representations or warranties of any kind, including, without limitation, representations and warranties as to the functionality of the translation feature or the accuracy or completeness of the translations.

Translations are not retained in our system. Your use of this feature and the translations is subject to all use restrictions contained in the Terms and Conditions of Use of the SPIE website.

Three-dimensional densely connected convolutional network for hyperspectral remote sensing image classification

Chunju Zhang, 1 Guandong Li, 1 Shihong Du, 2 Wuzhou Tan, 3 Fei Gao 1

1 Hefei Univ. of Technology (China)
2 Institute of Remote Sensing and Geographical Information Systems, Peking Univ. (China)
3 Anhui Bureau of Surveying and Mapping (China)

SUBSCRIBE TO DIGITAL LIBRARY

50 downloads per 1-year subscription

25 downloads per 1 - year subscription

Includes PDF, HTML & Video, when available

Hyperspectral remote sensing images (HSIs) are rich in spatial and spectral information, thus they help to enhance the ability to distinguish geographic objects. In recent years, great progress have been made in image classification using deep learning (such as 2D-CNN and 3D-CNN). Compared with traditional machine learning methods, deep learning methods can automatically extract the abstract features from low to high levels and convert the images into more easily recognizable features. Most HSI classification tasks focus on spectral information but often ignore the rich spatial structures in HSIs, leading to a low classification accuracy. Moreover, most supervised learning methods use shallow structures in HSI classifications and hence exhibit weak performance in finding sparse geographic objects. We proposed to use the three-dimensional (3-D) structure to extract spectral–spatial information to build a deep neural network for HSI classifications. Based on DenseNet, the 3D densely connected convolutional network was improved to learn spectral-spatial features of HSIs. The densely connected structure can enhance feature transmission, support feature reuse, improve information flow in the network, and make deeper networks easier to train. The 3D-DenseNet has a deeper structure than 3D-CNN, thus it can learn more robust spectral–spatial features from HSIs. In fact, the deeper network structure has a regularized effect, which can effectively reduce overfitting on small sample datasets. The network uses HSIs instead of feature engineering as input data and is trained in an end-to-end manner. The experimental results of this model on the Indian Pines datasets and the Pavia University datasets show that deeper neural networks further improve the classification of complex objects, especially in the areas where geographic objects are sparse. It effectively improves the classification accuracy of HSIs.

© 2019 Society of Photo-Optical Instrumentation Engineers (SPIE) 1931-3195/2019/$25.00 © 2019 SPIE

Chunju Zhang , Guandong Li , Shihong Du , Wuzhou Tan , and Fei Gao "Three-dimensional densely connected convolutional network for hyperspectral remote sensing image classification," Journal of Applied Remote Sensing 13(1), 016519 (23 February 2019). https://doi.org/10.1117/1.JRS.13.016519

Received: 12 July 2018 Accepted: 22 December 2018 Published: 23 February 2019