Suite

Comment importer et afficher un réseau routier en XML vers ArcGis ?


J'essaie de convertir des données XML en entités de fichiers de formes à l'aide d'ArcGis 10.1.

J'utilise le logiciel de simulation de trafic open source SUMO. Une partie du processus de modélisation consiste à convertir les données du réseau routier OpenStreetMap en un format XML lisible.

Le format xml décrit les "voies" entre les nœuds du réseau. L'exemple ci-dessous concerne une route/une lisière horizontale droite avec 2 voies entre les nœuds « A » et « B ». La longueur est en mètres, et la "forme" donne les coordonnées X et Y de début/fin sur une grille XY de base.

   

Idéalement, je serais capable de générer des fonctionnalités de fichier de formes pour chaque voie du réseau. De plus, l'exemple ci-dessus concerne un test que je mène et n'est pas référencé spatialement, pour le réseau final, j'utiliserai WGS 84.


  1. Assurez-vous qu'un système de coordonnées est affecté à votre dessin. Si aucun système de coordonnées n'est spécifié pour le dessin, vous serez invité à en attribuer un après avoir sélectionné la commande Publier sur ArcGIS.

La boîte de dialogue de connexion s'affiche.

La page Sélection de la boîte de dialogue Publier dans ArcGIS s'affiche.

La page Zone d'intérêt s'affiche.

Cette page montre la zone sur la carte où les objets sélectionnés seront publiés. Il s'agit d'une vue en lecture seule qui s'affiche afin que vous puissiez vérifier que les objets publiés seront publiés à l'emplacement correct.

La page Définition de la couche s'affiche.

  • La catégorie ArcGIS spécifie si les objets seront représentés sous forme de points, de lignes ou de polygones dans ArcGIS.
  • Les couches sont utilisées dans ArcGIS pour organiser le contenu.

La page Paramètres de l'élément s'affiche.

  • Un nom de service unique est requis. Le nom du service est utilisé pour identifier le jeu de données dans ArcGIS et sera affiché dans votre liste Mon contenu dans ArcGIS.
  • Un résumé est facultatif.
  • Au moins une étiquette est nécessaire. Vous pouvez utiliser des balises pour rechercher et filtrer du contenu dans ArcGIS. Après avoir spécifié une balise et publié sur ArcGIS, la balise est disponible la prochaine fois que vous utilisez la commande Publier sur ArcGIS et vous pouvez cliquer sur un nom de balise pour l'ajouter à la tâche de publication en cours.

Vous pouvez spécifier si le contenu sera modifiable et dans quelle mesure.

Vous pouvez partager le contenu avec tout le monde, votre organisation ou des groupes spécifiques.

La page Emplacement de publication s'affiche.

Une fois le contenu publié, une boîte de dialogue de message s'affiche avec un lien vers le site Web d'ArcGIS.


Validation des documents de métadonnées ISO

Malheureusement, la simple existence d'une spécification d'implémentation en tant que norme ne signifie pas qu'il est simple de valider des documents XML qui correspondent à ces spécifications. Cette section examine une partie de l'anatomie d'un document XML, comment valider un fichier XML, comment les schémas XML sont publiés et ce que signifie valider des documents XML de métadonnées ISO.

Présentation XML

Le langage de balisage extensible (XML) a été conçu pour être un mécanisme flexible de stockage et de transport de données. En revanche, HTML a été conçu pour afficher des données. Ni XML ni HTML ne font quoi que ce soit. XML enveloppe simplement les données dans des balises. HTML enveloppe les données dans un ensemble de balises prédéfinies que les navigateurs savent afficher. Une feuille de style XSLT (Extensible Stylesheet Language Transformations) fournit des instructions pour transformer les données d'un document XML en quelque chose d'autre, tel qu'un document HTML pouvant être affiché par un navigateur.

Tous les documents XML doivent suivre un ensemble de règles de base : ils doivent être bien formés. Un document XML bien formé a une syntaxe XML correcte. Par exemple, un document XML doit avoir un élément racine, les balises doivent être fermées et correctement imbriquées et les valeurs d'attribut doivent être entre guillemets.

Un document XML peut éventuellement être valide. Un document XML valide est un document XML bien formé qui se conforme également aux règles d'un schéma. Un schéma définit la structure d'un document XML. Par exemple, il peut spécifier quels éléments sont autorisés à exister dans le document, quels éléments peuvent contenir quels autres éléments, quels éléments contiennent quel type de données, quels éléments sont obligatoires et l'ordre dans lequel les éléments doivent apparaître. Un schéma XML peut être une définition de type de document XML (DTD) ou un schéma XML (XSD). Une spécification d'implémentation de métadonnées ISO fournit un ensemble de documents XML Schema (XSD).

Certains caractères ont une signification particulière dans un document XML. Par exemple, les caractères supérieur à (>) et inférieur à (<) sont utilisés pour placer des balises autour d'un texte et créer un élément XML. Si le texte d'un élément inclut le caractère supérieur à, cela provoque une erreur car cela est interprété comme le début d'une nouvelle balise d'élément XML. La présence d'une esperluette (&) dans le texte d'un élément provoque également une erreur car l'esperluette est utilisée pour désigner des références de caractères spéciaux. Tous les caractères spéciaux décrits ici, y compris l'apostrophe (') et les guillemets ("), doivent être remplacés par la référence d'entité appropriée : &gt pour supérieur à, &lt pour inférieur à, &amp pour une esperluette, &apos pour une apostrophe et &quot pour un guillemet. Notez que de nombreuses références d'entités prises en charge dans les documents HTML ne le sont pas dans les documents XML.

Un document XML peut avoir une déclaration XML dans la première ligne qui définit la version de XML et le codage utilisé dans le document. Si une déclaration n'est pas présente, la version XML par défaut est 1.0. Si un codage n'est pas spécifié, il est supposé être UTF-8 ou UTF-16 tel que déterminé par la marque d'ordre des octets du document XML. L'éditeur de métadonnées d'ArcGIS Desktop et les outils de géotraitement des métadonnées produisent toujours un document XML codé en UTF-8.

Pour en savoir plus sur XML et la syntaxe d'un document XML, consultez https://www.w3schools.com/xml.

Espaces de noms XML

Deux schémas XML peuvent définir des éléments avec le même nom mais une signification différente. Les espaces de noms XML sont utilisés pour éviter les conflits de noms d'éléments lorsque des éléments de différents schémas XML apparaissent dans le même document XML, où un espace de noms différent est associé à chaque schéma XML.

Un espace de noms est un préfixe du nom d'un élément XML, séparé du nom par deux points tels que <prefix:name>. Un espace de noms est défini en fournissant un attribut xmlns et en associant un identificateur de ressource uniforme (URI) à une chaîne qui sera utilisée comme préfixe telle que xmlns:prefix=URI. Les espaces de noms doivent être déclarés dans la balise d'ouverture d'un élément XML où le préfixe sera utilisé. Cependant, tous les espaces de noms utilisés dans un document sont généralement déclarés dans la balise d'ouverture de l'élément racine du document. Dans l'exemple suivant, deux espaces de noms, a et b, sont définis pour faire la distinction entre les informations internes et externes :

L'URI d'un espace de noms n'est pas censé être un emplacement Internet valide. Même si un URI ressemble à un localisateur de ressources uniforme (URL), son seul but est d'identifier un ensemble de noms d'éléments XML.

Si un espace de noms est utilisé plus que d'autres, vous pouvez spécifier un espace de noms par défaut pour un document XML tel que xmlns=URI. La spécification d'une valeur par défaut vous évite d'avoir à fournir le même préfixe pour tous les éléments associés à cet espace de noms. Tout élément XML dans le document qui n'a pas de préfixe est membre de l'espace de noms par défaut. L'exemple précédent est répété ci-dessous, mais cette fois avec l'URI pour l'espace de noms "a" assigné comme espace de noms par défaut :

Dans les deux exemples, le coût de l'élément XML est associé à l'URI de l'espace de noms http://store.com/inventory. Si vous avez une feuille de style XSLT qui transforme les commandes spécifiées dans ce format en un document pouvant être imprimé, le même XSLT traiterait les deux exemples ci-dessus de la même manière et produirait le même résultat. Si les schémas XML qui définissent les deux ensembles d'éléments sont identifiés, les exemples de documents XML ci-dessus pourraient être validés — les deux exemples ci-dessus seraient considérés comme valides.

Dans les spécifications d'implémentation des métadonnées ISO, chaque ensemble de schémas XML est associé à une chaîne de trois lettres et à un URI d'espace de noms spécifique. Par convention, la chaîne de trois lettres est toujours utilisée comme préfixe pour les éléments XML définis dans les schémas XML associés. Par exemple, la plupart des éléments de métadonnées définis dans ISO 19115 sont associés à l'URI d'espace de noms http://www.isotc211.org/2005/gmd, comme spécifié dans le document ISO 19139, ces éléments utiliseraient le préfixe gmd si un espace de noms par défaut n'est pas spécifié dans un document XML pour cet URI.

Les spécifications d'implémentation des métadonnées ISO fournissent de nombreux schémas XML et, par conséquent, définissent de nombreux espaces de noms et préfixes pouvant être utilisés dans un document XML. Il est uniquement nécessaire d'inclure des déclarations d'espace de noms et de préfixe pour les éléments qui apparaissent réellement dans un document XML.

Valider un document XML

Un document XML doit être bien formé. Un document XML peut éventuellement être valide. Un document XML valide est un document XML bien formé qui se conforme également aux règles d'un schéma. Une référence de schéma doit être ajoutée à un document XML pour le valider.

Une référence à une DTD XML peut être ajoutée à la suite de la déclaration XML comme illustré ci-dessous :

L'élément racine du document XML est déclaré, suivi de l'emplacement où la DTD est stockée.

Une référence XML Schema est ajoutée à l'aide d'attributs dans la balise d'ouverture de l'élément racine du document, comme illustré ci-dessous :

Tout d'abord, l'espace de noms d'instance XMLSchema est déclaré. Ensuite, l'attribut schemaLocation spécifie où le schéma XML est stocké.

Divers outils logiciels sont nécessaires pour traiter les documents XML. Un moteur ou un processeur XSLT est requis pour effectuer la transformation définie dans une feuille de style XSLT. Un analyseur XML est utilisé pour ajouter, supprimer, lire des éléments et des attributs et leurs valeurs, et effectuer diverses autres opérations sur la structure d'un document XML. Un analyseur XML non validant peut vérifier qu'un document XML est bien formé. En plus des autres opérations, un analyseur XML de validation peut également utiliser un schéma XML référencé pour déterminer si le document XML est valide selon les règles spécifiées dans ce schéma.

Une fois qu'une référence de schéma XML a été incluse dans un document XML, un analyseur XML de validation peut vérifier si le document est valide.

Les schémas XML peuvent être écrits pour prendre en compte la majorité des règles définies dans les normes de contenu de métadonnées. Cependant, ils ne sont pas capables d'évaluer toutes les règles définies dans les modèles UML de la norme de contenu de métadonnées ISO. Par exemple, avec un schéma XML, la valeur d'un élément ne peut pas être contrôlée par la valeur d'un élément frère.

Schematron est un langage basé sur des règles qui peut être utilisé pour évaluer un document XML à l'aide de requêtes XPath et présenter des erreurs en langage clair si des problèmes sont détectés. Schematron peut être utilisé pour compléter la validation de schéma XML afin de déterminer si les règles définies dans une norme de contenu, mais ne pouvant pas être évaluées par le schéma, ont été suivies dans un document XML. Étant donné que les schémas sont des documents XML, ils sont généralement transformés en une transformation XSLT, le XSLT résultant peut ensuite être utilisé pour valider un document XML à l'aide d'un processeur XSLT. ISO 19115-3 fournira des schémas et des schémas XML pour validation.

ArcGIS Desktop utilise l'analyseur syntaxique Microsoft .NET Framework XML et le processeur XSLT pour gérer les métadonnées. Cette technologie prend exclusivement en charge XSLT 1.0. Par conséquent, seules les feuilles de style XSLT basées sur XSLT 1.0 peuvent être exécutées à l'aide du logiciel ArcGIS Desktop. Les schémas créés sur la base de XSLT 2.0 ne peuvent pas être transformés en une feuille de style XSLT qui s'exécutera dans ArcGIS Desktop .

Validation des métadonnées à l'aide d'ArcGIS Desktop

L'éditeur de métadonnées ArcGIS Desktop valide les métadonnées en interne en testant le contenu des métadonnées géré par une page spécifique. Les tests sont basés sur les règles spécifiées par la norme de contenu et la spécification d'implémentation associée au style de métadonnées ArcGIS actuel. Toutes les règles de la norme de contenu sont prises en compte, même les règles au-delà de celles qui peuvent être testées dans le schéma XML de la spécification d'implémentation. La table des matières de l'éditeur de métadonnées illustre rapidement les pages dont le contenu serait considéré comme non valide pour le style de métadonnées.

Il faut du temps pour créer un bon contenu de métadonnées. L'éditeur de métadonnées ArcGIS vous permet d'enregistrer votre contenu tel quel et de revenir plus tard pour le terminer, même si vos métadonnées sont considérées comme non valides au moment où vous devez arrêter de travailler dessus.

ArcGIS Desktop prend en charge un large éventail de clients avec des exigences différentes. La plupart des organisations préfèrent créer des métadonnées selon une norme communautaire. Cependant, certaines organisations ont des exigences internes différentes. et leurs documents de métadonnées seraient considérés comme invalides selon le schéma XML d'une norme de métadonnées. ArcGIS permet à ces organisations de produire des métadonnées selon leurs propres besoins. Par conséquent, lorsque le contenu des métadonnées d'un élément est exporté au format XML d'une norme, le fichier XML produit n'inclura pas de référence de schéma XML.

Lorsque le contenu des métadonnées d'un élément est complet, vous pouvez éventuellement tester pour voir s'il est valide selon le schéma XML pour la norme de métadonnées associée au style de métadonnées. Cela peut être accompli à l'aide du bouton Valider de l'onglet Description, qui exécute l'outil de géotraitement Valider les métadonnées. Les paramètres de l'outil sont définis de manière appropriée pour le style de métadonnées actuel lorsque sa boîte de dialogue s'ouvre. Les paramètres associés au style de métadonnées ISO 19139 sont illustrés dans la capture d'écran suivante :

Cet outil exporte d'abord le contenu des métadonnées ArcGIS de l'élément au format XML d'une norme de métadonnées, dans cet exemple, le format XML ISO 19139. Ensuite, une référence de schéma XML est insérée dans le document XML exporté en fonction des informations fournies dans les paramètres de l'outil. L'exemple suivant montre comment l'attribut xsi:schemaLocation est généré en fonction des informations fournies dans l'exemple précédent :

Le cas échéant, l'espace de noms cible doit être déclaré dans l'attribut xsi:schemaLocation pour correspondre à l'espace de noms cible du schéma XML. L'espace de noms cible indique quels éléments du document XML sont conformes au schéma XML spécifié et seront validés. D'autres schémas XML, tels que le FGDC CSDGM schémas, peut ne pas nécessiter la spécification d'un espace de noms cible.

Enfin, le fichier XML exporté avec l'attribut xsi:schemaLocation est validé à l'aide de l'analyseur XML .NET Framework. Tous les messages d'avertissement ou d'erreur fournis par le .NET Framework sont signalés dans les messages de l'outil. ArcGIS Desktop signale les messages d'erreur exactement tels qu'ils sont générés.

Dépôts de schémas XML de métadonnées ISO

Il existe de nombreux emplacements ou référentiels officiels où différents schémas XML de spécification d'implémentation de métadonnées ISO ont été publiés. Toutes les spécifications n'ont pas été publiées partout. Cela rend difficile la détermination des schémas à utiliser pour valider un document XML réputé conforme à une norme spécifique. Ce dilemme est décrit dans le document Règles de mise en œuvre des métadonnées INSPIRE v1.2 dans la section 2.1.2, « Emplacement des schémas ISO ».

Au cours de la période au cours de laquelle différentes spécifications de mise en œuvre ont été développées, GML a évolué d'une norme OGC à une norme ISO. Le contenu GML n'est utilisé que dans les documents XML de métadonnées ISO pour enregistrer les heures et les formes géométriques selon les besoins. L'ancienne version de GML était à l'origine utilisée dans les schémas XML de métadonnées ISO, et un espace de noms a été utilisé dans les schémas XML de métadonnées GML et ISO pour cette version. La nouvelle version de GML a un espace de noms différent.

Alors que les modifications apportées à la norme GML font peu ou pas de différence dans les documents XML de métadonnées produits selon les normes de contenu de métadonnées ISO, la modification de l'espace de noms GML complique la manière dont ces documents XML sont validés. Un schéma XML spécifie les espaces de noms cibles qui seront validés. Si un document XML utilise l'espace de noms G1 et qu'un schéma XML cible l'espace de noms G1 pour la validation, le document validera si son contenu et sa structure sont corrects. Si le document XML utilise l'espace de noms G1 et qu'un schéma XML cible l'espace de noms G2, le document ne sera pas validé même si le contenu et la structure du document sont corrects. En règle générale, si l'espace de noms du document XML est modifié de G1 à G2, le document sera alors validé avec succès tant qu'il utilise un contenu qui est le même dans G1 et G2.

Les différents schémas XML de métadonnées ISO publiés à différents endroits font tous référence à des versions différentes des schémas XML GML et, par conséquent, ciblent différents espaces de noms GML. Lors de l'examen des schémas XML à utiliser pour la validation, un facteur important est l'espace de noms GML ciblé par le schéma XML. Ce qui suit est une liste des différents référentiels où les schémas XML de métadonnées ISO peuvent être trouvés, l'espace de noms GML qu'ils utilisent est également indiqué.

Il s'agit de l'emplacement du schéma fourni dans le document standard ISO 19139:2007 en tant qu'ensemble officiel de schémas XML. Ces schémas ont été mis à jour pour utiliser le nouvel espace de noms GML 3.2.1 : http://www.opengis.net/gml/3.2.

Cet emplacement n'inclut pas les schémas XML pour d'autres normes de métadonnées ISO publiées telles que ISO 19119, ISO 19110 ou ISO 19139-2. Les seuls autres schémas XML TC 211 publiés à cet emplacement sont pour ISO 19135-2 Information géographique - Procédures d'enregistrement des articles -- Mise en œuvre du schéma XML de la partie 2. Seuls les documents XML de métadonnées géospatiales basés sur ISO 19115:2003 qui utilisent le nouvel espace de noms GML peuvent être validés avec ces schémas XML.

https://standards.iso.org/ittf/PubliclyAvailableStandards/est un référentiel ISO officiel pour les normes accessibles au public. Bien que les schémas XML ISO 19135-2, ISO 19136 et ISO 19139 soient toujours disponibles à cet emplacement, ils n'apparaissent plus dans la liste des normes fournies par ce référentiel.

C'est l'un des emplacements où les schémas ISO 19139 sont disponibles à partir du référentiel officiel OGC Schema. Ceux-ci ont été mis à jour pour utiliser le nouvel espace de noms GML 3.2.1. Ce sont les mêmes schémas XML qui sont publiés dans le référentiel n°1 cependant, ils font directement référence aux schémas GML 3.2.1 disponibles à partir de ce même référentiel de schémas OGC au lieu de ceux disponibles à partir du référentiel n°1.

Cet emplacement n'inclut pas les schémas XML pour les autres normes de métadonnées ISO publiées telles que ISO 19119, ISO 19110 ou ISO 19139-2. Par conséquent, seul un document XML qui inclut le contenu des métadonnées ISO 19115 et utilise le nouvel espace de noms GML peut être validé avec ces schémas XML.

Il s'agit d'un autre emplacement où les schémas ISO 19139 sont disponibles à partir du référentiel officiel OGC Schema. Ces schémas utilisent l'ancien espace de noms GML 3.2.0 : http://www.opengis.net/gml. Ce sont les mêmes schémas XML publiés dans les référentiels #4 et #5. Ces schémas font référence à une copie des anciens schémas XML GML qui sont fournis dans ce même emplacement.

Cet emplacement inclut également les schémas XML pour ISO 19119. Par conséquent, les documents XML contenant du contenu de métadonnées ISO 19115 et ISO 19119 qui utilisent l'ancien espace de noms GML peuvent être validés avec ces schémas XML.

Il s'agit de l'emplacement d'origine où les schémas XML ISO 19139 ont été publiés avant d'être disponibles à partir du référentiel ISO officiel décrit dans #1. La page HTML fournie à cet emplacement contient des liens vers les schémas XML de métadonnées ISO qui vous amènent au référentiel n° 5 même si les schémas XML sont disponibles à ce même emplacement.

Même si vous ne voyez pas de répertoire de schémas XML à cet emplacement, les schémas XML d'origine fournis ici restent disponibles si vous fournissez le chemin d'accès complet aux fichiers de schéma XML. Ces schémas utilisent l'ancien espace de noms GML 3.2.0. Ce sont les mêmes schémas ISO 19139 publiés dans les référentiels #3 et #5. Ces schémas font référence à une copie des anciens schémas XML GML fournis à ce même emplacement.

Cet emplacement n'inclut pas les schémas XML pour les autres normes de métadonnées ISO publiées telles que ISO 19119, ISO 19110 ou ISO 19139-2. Par conséquent, seul un document XML qui inclut le contenu des métadonnées ISO 19115 et utilise l'ancien espace de noms GML peut être validé avec ces schémas XML.

Il s'agit d'un autre emplacement où les schémas XML de métadonnées ISO sont disponibles auprès des comités TC 211. Alors que le référentiel n°1 est le référentiel officiel, la page HTML disponible à partir de l'URL associée au référentiel n°4 dirige plutôt les utilisateurs vers cet emplacement.

Les schémas XML ISO 19139 ont été publiés à cet emplacement alors qu'il était considéré comme une bonne idée de rendre les schémas disponibles à l'URL associée aux URI de l'espace de noms. Les schémas XML ISO 19139 disponibles ici utilisent l'ancien espace de noms GML 3.2.0. Ce sont les mêmes schémas ISO 19139 publiés dans les référentiels #3 et #4. Ces schémas font référence à une copie des anciens schémas XML GML fournis à ce même emplacement.

Cet emplacement a été utilisé comme référentiel pour les schémas XML qui étaient des travaux en cours pour diverses spécifications d'implémentation. Par conséquent, il fournit des schémas XML pour d'autres normes de métadonnées ISO, notamment : deux versions différentes des schémas XML ISO 19110 et des schémas XML pour ISO 19135-2, ISO 19139-2 et ISO 19145 Information géographique -- Registre des représentations de l'emplacement des points géographiques. Les schémas XML pour prendre en charge ISO 19119 ne sont pas fournis.

Certains des schémas XML de cet emplacement, comme ISO 19110, utilisent l'ancien espace de noms GML et référencent les schémas GML de cet emplacement. D'autres, comme ISO 19139-2, font référence à la version des schémas XML ISO 19139 publiés dans le référentiel n°1 et utilisent à la place le nouvel espace de noms GML 3.2.1.

Il s'agit du nouveau référentiel pour les schémas XML qui sont en cours de réalisation pour différentes spécifications de mise en œuvre du TC 211.

Il s'agit d'un nouveau référentiel ISO officiel pour les normes accessibles au public. Plusieurs spécifications d'implémentation TC 211 sont disponibles à cet emplacement, y compris ISO 19110, ISO 19136 et ISO 19139 Les schémas XML pour ISO 19119 ne sont pas disponibles. Cependant, à l'heure actuelle, il existe des difficultés techniques qui empêchent d'utiliser au moins certains des schémas XML ISO 19139, et peut-être d'autres également.

Héritage:

Les schémas XML ISO 19139 étaient disponibles à un moment donné à partir du référentiel associé à la spécification OGC Catalog Service for the Web (CSW), qui fournit un mécanisme pour interroger et fournir des documents de métadonnées ISO : http://schemas.opengis.net/csw /2.0.2/profiles/apiso/. Ces schémas ne sont plus disponibles à cet emplacement. Les schémas XML fournis ici font désormais directement référence aux schémas ISO 19139 fournis dans le référentiel n°3. Tout catalogue de métadonnées qui implémente le protocole CSW basé sur les schémas XML disponibles ici doit utiliser l'ancien espace de noms GML 3.2.0.

Compte tenu de la grande variété de choix, il est loin d'être clair quel ensemble officiel de schémas XML doit être utilisé pour valider les métadonnées.

De nombreux profils de métadonnées ISO internationaux associent leur contenu aux différents référentiels répertoriés ci-dessus. La seule vraie différence entre eux est la version de l'espace de noms GML qu'ils utilisent. Le contenu réel des schémas est identique à tous autres égards. Le document INSPIRE vous suggère de valider vos métadonnées à l'aide de l'ensemble de schémas basés sur la version spécifique de GML appropriée à votre situation. Cette approche holistique de la validation des métadonnées a beaucoup de sens.

Un comité de gestion XML du TC 211 a tenté de résoudre les problèmes de cohérence avec les différents référentiels de schémas XML décrits ci-dessus. Espérons que le nouveau référentiel, #7, fournira avec succès un ensemble cohérent de schémas XML officiels pour toutes les normes ISO TC 211 à l'avenir.

Schémas XML et ArcGIS Desktop

Le système de métadonnées d'ArcGIS Desktop a été conçu pour valider les métadonnées à l'aide de schémas officiels hébergés sur le Web par des organismes de normalisation, car ce sont les schémas officiels. Les schémas ne sont pas intégrés et distribués avec le logiciel car ils ne seraient pas les schémas officiels.

Lorsque le style de métadonnées ISO 19139 Metadata Implementation Specification est utilisé, ArcGIS Desktop utilise les schémas XML du référentiel n° 4 pour valider les documents de métadonnées ISO 19139. Ce référentiel a été sélectionné car il a été le premier à fournir un accès à un ensemble stable de schémas XML officiels, il est antérieur au référentiel décrit au n° 1, et parce que ces schémas sont associés à la norme CSW. Étant donné qu'ArcGIS Desktop a utilisé les schémas XML du référentiel n° 4 pour valider les métadonnées, les clients d'ArcGIS Desktop ont pu créer des métadonnées conformes à la norme ISO 19139 dans un environnement stable. Les métadonnées exportées avec ce style utilisent l'ancien espace de noms GML 3.2.0—http://www.opengis.net/gml—et seront validées avec succès à l'aide de l'un des schémas XML ISO 19139 qui utilisent l'espace de noms GML 3.2.0 (#3, #4 et #5).

Lorsque le style de métadonnées GML 3.2 de la spécification d'implémentation des métadonnées ISO 19139 est utilisé, les schémas XML du référentiel n°1 sont utilisés pour valider les documents de métadonnées ISO 19139. Utilisez plutôt ce style de métadonnées s'il est important d'exporter des métadonnées qui utilisent l'espace de noms GML 3.2 et de valider les métadonnées à l'aide de cet autre ensemble de schémas XML. Les métadonnées exportées avec ce style utilisent le plus récent espace de noms GML 3.2.1—http://www.opengis.net/gml/3.2—et seront validées avec succès à l'aide de l'un des schémas XML ISO 19139 qui utilisent l'espace de noms GML 3.2.1 (# 1 et #2 et, espérons-le, #7 à l'avenir).

Lorsque la boîte de dialogue de l'outil Valider les métadonnées s'ouvre, vous pouvez modifier les paramètres qu'il utilise pour valider les métadonnées d'un élément et utiliser un ensemble différent de schémas XML au lieu des schémas associés au style de métadonnées actuel. Vous pouvez également rendre ce changement permanent en créant un style de métadonnées personnalisé qui utilise toujours vos paramètres préférés. Par exemple, vous pouvez valider les métadonnées à l'aide d'un ensemble de schémas XML disponibles sur le réseau interne de votre organisation au lieu des schémas fournis sur Internet par le comité TC 211. Des informations sur la création d'un style de métadonnées personnalisé sont fournies avec ArcGIS Metadata Toolkit, qui peut être téléchargé à partir du site d'assistance d'Esri.

Si vous choisissez de valider les documents XML exportés par ArcGIS Desktop à l'aide du mauvais ensemble de schémas XML ISO 19139, la validation échouera. Si vous modifiez la déclaration d'espace de noms GML dans les documents XML exportés en ajoutant ou en supprimant /3.2 à ou à partir de la fin de la déclaration, les fichiers seront validés avec succès avec l'autre ensemble de schémas XML.

ArcGIS Desktop sera mis à jour pour exporter et valider les documents XML ISO 19139 pour un référentiel différent de schémas XML lorsque le comité de gestion XML TC 211 créera un nouveau référentiel stable.

Un dernier mot sur XLinks

XLink est une recommandation du W3C qui prend en charge l'interrogation et le référencement de parties d'un document XML. Les schémas XML XLink ont ​​été intégrés aux normes ISO TC 211. Cependant, ils n'ont jamais été largement adoptés par la communauté du logiciel dans son ensemble. Les applications de navigation Internet ne les supportent pas nativement. Aucun logiciel XML produit par Microsoft ne les prend en charge, sauf de la manière dont il prend en charge tout schéma XML.

Bien que les XLinks soient autorisés par les schémas XML ISO 19139, ils sont entièrement facultatifs. Par conséquent, il n'est pas nécessaire d'utiliser XLinks dans un fichier XML conforme à la norme ISO 19139.

Les XLinks sont utiles lorsque les gens interagissent avec un document XML car il est facile pour les gens d'interpréter et de comprendre la signification d'une association entre deux sections d'un document XML. Si vous créez des documents XML à partir de zéro en saisissant des données XML, XLinks peut être très utile pour gagner du temps, améliorer les coûts de maintenance et éviter les erreurs de saisie de données de base.

ArcGIS Desktop utilise une méthode différente pour résoudre ces mêmes problèmes de maintenance des métadonnées. Les sections d'un document de métadonnées qui sont réutilisées plusieurs fois sont enregistrées dans un fichier XML distinct. Ces fragments XML peuvent être chargés dans les métadonnées d'un élément ultérieurement lorsqu'ils sont nécessaires. Cette capacité offre effectivement le même avantage que XLinks, mais d'une manière différente.

Lorsque les métadonnées sont exportées au format ISO 19139, un document ISO 19139 complet est toujours généré. Ce résultat est de conception : il garantit qu'un document de métadonnées complet est disponible et peut être lu et validé sans ambiguïté en dehors de l'organisation sans recourir à un logiciel spécialisé. Les fichiers XML de métadonnées ISO 19139 exportés depuis ArcGIS Desktop utilisent XLinks avec parcimonie, uniquement lorsque cela est nécessaire et lorsqu'il s'agit de la meilleure méthode de gestion du contenu.


Formats de fichier de jeu de données raster pris en charge

Dans ArcGIS, il existe trois manières de travailler avec des données raster : en tant que jeu de données raster, en tant que produit raster et en tant que type raster. Un jeu de données raster définit la manière dont les pixels sont stockés, comme le nombre de lignes et de colonnes, le nombre de canaux, les valeurs de pixels réelles et d'autres paramètres spécifiques au format raster. Les produits raster apparaîtront dans le catalogue à la place des fichiers de métadonnées associés à des produits de fournisseurs spécifiques, car ce sont les informations du fichier de métadonnées qui sont utilisées pour les générer, telles que les images satellite telles que Landsat 7 ou QuickBird. Ils sont conçus pour vous aider à afficher et à utiliser vos images rapidement et facilement dans ArcMap . Chaque produit raster applique des améliorations, des combinaisons de bandes et des fonctions pour améliorer l'affichage de l'image en fonction des paramètres du logiciel. Un type raster est similaire à un produit raster, mais est spécifiquement conçu pour ajouter des données à la mosaïque.

Pour déterminer si vos données sont prises en charge en tant que produit raster, jeu de données raster ou type raster, consultez Liste des jeux de données raster et prise en charge des types.

La géodatabase est le modèle de données natif dans ArcGIS pour le stockage des informations géographiques, y compris les jeux de données raster, les mosaïques et les catalogues d'images. Cependant, il existe de nombreux formats de fichiers avec lesquels vous pouvez travailler et qui sont conservés en dehors d'une géodatabase. Le tableau suivant donne une description des formats raster pris en charge (jeux de données raster) et de leurs extensions et indique s'ils sont en lecture seule ou s'ils peuvent également être écrits par ArcGIS.

Vous pouvez spécifier les produits que vous souhaitez qu'ArcGIS reconnaisse ( Personnaliser > Options ArcMap > Raster > Formats de fichier ) désactiver les produits que vous n'utilisez pas peut améliorer les performances. Il vous permet également de filtrer les données au moment du chargement des données. Pour plus d'informations, voir Affichage de formats raster spécifiques.

Radar aéroporté à synthèse d'ouverture (AIRSAR) Polarimétrique

AIRSAR est un instrument conçu et géré par le Jet Propulsion Laboratory (JPL) de la NASA. ArcGIS prend en charge les données polarimétriques AIRSAR (POLSAR).

Plusieurs fichiers avec un L, C ou P dans le nom du fichier suivi de .dat. Par exemple : mission_l.dat (L-Band) et mission_c.dat (C-Band).

Graphiques raster numérisés ARC (ADRG)

Distribué sur CD-ROM par la National Geospatial-Intelligence Agency (NGA). L'ADRG est référencé géographiquement à l'aide du système de carte/carte raster (ARC) égal à la seconde d'arc dans lequel le globe est divisé en 18 bandes ou zones latitudinales. Les données sont constituées d'images raster et d'autres graphiques générés par la numérisation de documents source.


Pour importer des fichiers SHP

Par:

Les fichiers ESRI SHP stockent à la fois la géométrie et les attributs (données) des entités. Une même forme peut contenir jusqu'à cinq fichiers physiques avec le même nom de fichier, mais des extensions de fichier différentes.

  1. Cliquez sur l'onglet Insertion le groupe de fonctions Importer Importation de carte .
  2. Dans la boîte de dialogue Emplacement d'importation, sous Fichiers de type , sélectionnez shp.
  3. Sélectionnez le fichier ou le dossier à importer. Cliquez sur OK .
  4. For formats with additional options, in the Import dialog box, click Driver Options .
  5. In the Import Dialog Box, under Spatial Filter , specify whether to limit the area where data will be imported:
    • None — Place no area limits on the incoming file.
    • Current Display — Limit the import to the current drawing area.
    • Define Window — Limit the import to an area you define. To use this option, click Select . Respond to the prompts to define the area.
  6. Specify the import settings for each input layer (see the Import dialog box for details).
    • Drawing Layer— Select a target layer for each layer in the incoming file.
    • Object Class— Assign incoming objects to an existing object class and map incoming attribute data to the data fields in the object class. The Object Class fields are available only if you have object classes defined in your map.
    • Input Coordinate System— Specify the coordinate system of the incoming file. If the drawing has a coordinate system assigned to it, incoming objects are converted to the coordinate system of the drawing.
    • Data— For each layer, specify how to import data.
    • Points— For each layer, specify how to treat incoming point objects.
  7. By default, polygons are imported as polygon objects. To import them as closed polylines, select Import Polygons As Closed Polylines .
  8. Click OK to begin the import process.

OSM Create Network Dataset: Populating Turn Features from OSM Relations The row contains a bad value. [RestrictionType] #192

Dear all,
I am trying to execute "Create OSM Network Dataset" in ArcGIS 10.5. Most steps Succeeded until "Populating Turn Features from OSM Relations". It would be highly appreciated if any help is provided. I am attaching the processing information as follows:

Executing: OSMGPCreateNetworkDataset "C:UserschennnOneDriveResearchGreen UmbrellaGISOSM.gdbOSM_OKI2" "C:Program Files (x86)ArcGISDesktop10.5ArcToolboxToolboxesND_ConfigFilesCycleGeneric.xml" "C:UserschennnOneDriveResearchGreen UmbrellaGISOSM.gdbOSM_OKI2OSM_OKI2_nd"
Start Time: Mon Apr 16 14:33:35 2018
Extracting Edge Features
Select_analysis
Executing: Select "C:UserschennnOneDriveResearchGreen UmbrellaGISOSM.gdbOSM_OKI2OSM_OKI2_osm_ln" "C:UserschennnOneDriveResearchGreen UmbrellaGISOSM.gdbOSM_OKI2OSM_OKI2_nd_roads" "(highway IS NOT NULL) AND (LOWER(highway) in ('primary', 'primary_link', 'secondary', 'secondary_link', 'tertiary', 'tertiary_link', 'unclassified', 'residential', 'living_street', 'service', 'track', 'cycleway', 'footway', 'bridleway', 'pedestrian', 'path'))"
Start Time: Mon Apr 16 14:33:36 2018
Succeeded at Mon Apr 16 14:35:05 2018 (Elapsed Time: 1 minutes 28 seconds)
Extracting Junction Features
Select_analysis
Executing: Select "C:UserschennnOneDriveResearchGreen UmbrellaGISOSM.gdbOSM_OKI2OSM_OKI2_osm_pt" "C:UserschennnOneDriveResearchGreen UmbrellaGISOSM.gdbOSM_OKI2OSM_OKI2_nd_barriers" "(barrier IS NOT NULL) AND (LOWER(barrier) in ('block','bollard','chain','debris','jersey_barrier','lift_gate','log','spikes','swing_gate'))"
Start Time: Mon Apr 16 14:35:05 2018
Succeeded at Mon Apr 16 14:39:32 2018 (Elapsed Time: 4 minutes 27 seconds)
Assigning Network Connectivity Groups
Extracting Turn Restrictions
CreateTurnFeatureClass_na
Executing: CreateTurnFeatureClass "C:UserschennnOneDriveResearchGreen UmbrellaGISOSM.gdbOSM_OKI2" OSM_OKI2_nd_turns 2 # # # # 0 0 0 DISABLED
Start Time: Mon Apr 16 14:44:44 2018
Succeeded at Mon Apr 16 14:44:45 2018 (Elapsed Time: 0.58 seconds)
AddField_management
Executing: AddField "C:UserschennnOneDriveResearchGreen UmbrellaGISOSM.gdbOSM_OKI2OSM_OKI2_nd_turns" RestrictionType TEXT # # 30 # NULLABLE NON_REQUIRED #
Start Time: Mon Apr 16 14:44:45 2018
Adding RestrictionType to C:UserschennnOneDriveResearchGreen UmbrellaGISOSM.gdbOSM_OKI2OSM_OKI2_nd_turns.
Succeeded at Mon Apr 16 14:44:45 2018 (Elapsed Time: 0.19 seconds)
Populating Turn Features from OSM Relations
The row contains a bad value. [RestrictionType]
at ESRI.ArcGIS.Geodatabase.IFeature.Store()
at ESRI.ArcGIS.OSM.GeoProcessing.NetworkTurns.CreateTurnFeature_NO(TurnFeatureClassWrapper turnFCW, OSMTurnInfo osmTurn)
at ESRI.ArcGIS.OSM.GeoProcessing.NetworkTurns.PopulateTurnsFromRelations()
at ESRI.ArcGIS.OSM.GeoProcessing.RunTaskManager.ExecuteTask(String messageName, Action task)
at ESRI.ArcGIS.OSM.GeoProcessing.NetworkTurns.ExtractTurnRestrictions()
at ESRI.ArcGIS.OSM.GeoProcessing.NetworkDataset.ExtractTurnRestrictions()
at ESRI.ArcGIS.OSM.GeoProcessing.RunTaskManager.ExecuteTask(String messageName, Action task)
at ESRI.ArcGIS.OSM.GeoProcessing.NetworkDataset.CreateNetworkDataset()
at ESRI.ArcGIS.OSM.GeoProcessing.OSMGPCreateNetworkDataset.Execute(IArray paramvalues, ITrackCancel TrackCancel, IGPEnvironmentManager envMgr, IGPMessages message)
Failed to execute (OSMGPCreateNetworkDataset).
Failed at Mon Apr 16 15:48:47 2018 (Elapsed Time: 1 hours 15 minutes 11 seconds)

I tried to delete this relation table, but still could not solve the issue.
Thank you so much for your attention!


And of course, you can easily do an

to insert that data into a relational table.

Update: assuming you have your XML in files - you can use this code to load the XML file into an XML variable in SQL Server:

and then use the above code snippet to parse the XML.

Update #2: if you need the parameters, too - use this XQuery statement:

You do it by creating a destination table, then a schema mapping file that maps the xml elements to table columns.

Yours might look a bit like this:

Then you can load your XML into your table using the XML bulk loader.

If you need to do it without XML variable (from string in table-valued function)

So you can have a function like

If you're trying to import your XML as a "pure" XML field you should create a table like this (obviously with many other fields as you want):

Then you can easily insert your XML as a string:

If you prefer store it as string use a varchar(max) in place of [XML] column type and the same insert. But if you like to query easily I suggest [XML] type. With the flat string approach you need a lot of work unless you will implement some application code to parse it and store in a flat table. A good approach could be an XML storage in a "compress" TABLE and a VIEW for data retrieve with the flat field disposition.


Using GIS-Based Tools for the Optimization of Solid Waste Collection and Transport: Case Study of Sfax City, Tunisia

Expenditure for waste collection and transport in Tunisia constitutes 75–100% of the total solid waste management budget. In this study, optimized scenarios were developed using ArcGIS Network Analyst tool in order to improve the efficiency of waste collection and transportation in the district Cité El Habib of Sfax city, Tunisia. Geographic Information System (GIS) was created based on data collection and GPS tracking (collection route/bins position). The actual state (Scenario S0) was evaluated, and by modifying its particular parameters, other scenarios were generated and analyzed to identify optimal routes: S1, route optimized with the same working resources (change of stops sequencing only) S2, route optimized with change of vehicles and S3, route optimized with change of collection method (vehicles and reallocation of bins). The results showed that the three scenarios guarantee savings compared to S0 in terms of collection time (14%, 57%, and 57% for S1, S2, and S3, resp.) and distance (13.5%, 13.5%, and 40.5% for S1, S2, and S3, resp.). Thus, a direct impact on fuel consumption can be expected with savings of 16%, 20%, and 48% for S1, S2, and S3, respectively, without mentioning the additional benefits related to CO2 emissions, hours of work, vehicles wear/maintenance, and so forth.

1. Introduction

Technological development, globalization, and population growth have accelerated the dynamics of urbanization processes in developing countries, which contributed to the generation of increasingly large quantities of solid waste (SW) in more or less concentrated areas. Therefore, problems related to solid waste management (SWM) remain at the forefront of the global environmental policy for sustainable development. Indeed, an effective SWM system is necessary to ensure better health and human security.

The process of SWM is very complex as it involves many technologies and disciplines associated with the control of generation, handling, storage, collection, transfer, transportation, processing, and disposal of SW [1]. SWM practices vary with the economical/social conditions and with the regulatory framework.

The collection/transport component is the showcase for any SWM system whose implications are straightforward to evaluate the success of the system and its costs. The operation involves the removal and transfer of waste from production or assembly points to transfer station or from transfer station to processing or to final landfill site. It is therefore the most influential and most costly component as it absorbs the biggest fraction of the budget allocated by municipalities for SWM in detriment of other operations in the waste management system [2, 3]. The challenge is therefore to achieve optimal waste collection and transport operation (hauling, equipment, manipulation, etc.). However, the development of an optimal collection/transportation system for SW involves the determination of a number of selection criteria, which is a very complicated task for a planner to do manually. The use of Geographic Information System (GIS) is recognized as one of the most promising approaches to analyze complex spatial phenomena. GIS has been successfully employed for a wide range of applications, such as geology, protection and management of natural resources, risk management, urban planning, transportation, and various modeling aspects of the environment [4, 5].

Nowadays, integrated GIS technology provides an advanced modeling framework for decision makers to analyze and simulate various problems related to SWM. Indeed, the GIS tool has been used to model various applications in waste management such as siting of transfer stations and landfill, optimizing the collection and transportation, and local forecasting of waste [7–9].

The use of spatial modeling tools and GIS for collection and transportation optimization can provide economic and environmental gains by reducing travel time, distance, fuel consumption, and pollutant emissions [10].

Several models for the collection and transport of SW have been developed based on appropriate software for route optimization. A 3D GIS modeling was used by Tavares et al. [11] in Cape Verde and helped to achieve up to 8–12% of fuel savings even by traveling a longer distance compared to the shortest path. An application on MapInfo software with the use of “test and adjustment” method for optimizing the route in the city of Can Tho, Vietnam, showed that distance and travel time can be reduced by 19% and 12%, respectively, and could save 20% of fuel consumption [12]. Furthermore, the traveled distance has been reduced by 12 to 20% and the working time by 8% using the software RouteSmart TM for the case of Northamptonshire, UK [13]. A 10% reduction in the number of SW collection trips was achieved by Sahoo et al. [14] using the WasteRoute software in the area of Elgin, Illinois, USA. Using the software TransCAD®, Moustafa et al. [15] developed the best solutions to the problem of collection/transport of SW in Alexandria, Egypt. Apaydin and Gonullu [16] used RouteViewPro for the city of Trabzon, Turkey, showing that 24.7% benefits in the total expenses could be granted. On the other hand, the ArcGIS Network Analyst application was used by several authors to optimize the collection and transportation of waste: Ghose et al. [17] who developed a GIS model for calculating optimal route in the state of West Bengal, India, and have shown that its application would allow colossal savings over a period of 15 years Chalkias and Lasaridi [10] proposed various scenarios developed upon field real situation in the municipality of Nikea, Greece, allowing reductions of up to 17% for working time and 12.5% for the distance traveled.

In Tunisia, collection and transportation expenses currently amount for up to 75% of SWM total costs, most of which are spent on salaries and fuel. However, the results on the field are in most cases unsatisfactory and are the object of multiple complaints from citizens. Indeed, the choices are often taken empirically and irrationally under the effects of communal pressure and/or personal interests of decision makers. Thus, in the present work, an optimization was developed using the ArcGIS Network Analyst tool in order to improve the efficiency of the collection and transportation of waste in Cité El Habib district of Sfax city, Tunisia, by means of waste bins reallocation and optimization of vehicle routing in terms of traveled distance and operating time while taking into consideration all the required settings parameters, that is, population density, waste generation rate, bins locations, road network and traffic/circulation, collection vehicles capacity, and so forth.

2. Background of SWM in Sfax City

The case study in this work relates to a district in the Sfax city, which is the economic heart and the second largest city of Tunisia. It has a very disperse agglomeration with 300,000 inhabitants resulting in a density of 48 persons per hectare. The town of Sfax is divided into 7 districts: El Medina, El Boustane, Sidi Mansour, Sfax Nord, Errbadh, Merkez Chaker, and Cité El Habib (Figure 1). Each of these districts involves one or more municipal communities.

The amount of municipal SW collected by the municipality of Sfax was 74501 t in 2010, but it decreased to 53455 t in 2013 due to the social and political events in the country during the last five years. Based on 2010 data, the corresponding average of collected waste is 0.68 kg/capita/day (projected average being 0.71 kg/capita/day). It should be pointed out that the municipal SW is characterized by a high level of organic matter (68%) and thus a high rate of water content ranging between 65% and 70%. Besides individual citizens, potential producers of waste are schools, kinder gardens (227) hospitals, clinics, drugstores, and fuel stations (118) touristic areas (4) cafes, restaurants, bakeries, and other businesses (3934) and hotels (18) and shopping centers (24).

Citizens dispose off their waste in plastic bags, plastic/metal dustbins (buckets and half steel drums), or polyethylene or metal containers of different capacity or simply in bulk left on ground (Figure 2).

The municipality of Sfax makes 400 metal waste bins of 770-liter capacity available in some areas.

Waste collection is carried out manually and/or mechanically. The vehicles available in the municipality for the collection are 4 packer trucks of 12 m 3 capacity, 14 rear-end loaded compaction trucks of 16 m 3 capacity, 10 dump trucks of 7 t capacity, 13 tractors of 5 m 3 capacity, 2 pickup trucks of 3 m 3 , and 3 mini tractors. Multidump trucks (30 m 3 ) are also available to evacuate the anarchic dumps and ensure transfer of waste to the municipal landfill.

The communal area is swept by a total of 44 circuits, including 19 circuits of collection operated by rear-end loaded compaction trucks, 15 by dump trucks, and 10 by tractors [6]. Besides, laborers carrying hand cart ensure the collection of waste from hardly accessible places and unload it into trucks at certain predefined gathering places (Figure 2(d)).

The staff ratio is about one collection agent per 600 inhabitants in the district of El Medina to reach up to one per 2200 inhabitants in the district of Merkez Chaker, knowing that the crew of each collection vehicle consists of a driver and two workers. The collected waste is split between two transfer stations before being transferred to the municipal landfill site in the absence of any source separation process or sorting at transfer stations.

Multiple expenditures (direct and indirect expenses) are required to handle one ton of waste from collection until landfilling operations. These expenses are as shown in Figure 3(a) where it is noted that the sum of salaries and equipment costs exceeds 70%. In Figure 3(b) is presented the cost of collection and transport of one ton of waste (based on 2012 data in [6]) for the districts of Sfax city. The average is 76 TND/t (therefore an annual allowance per capita of around 19 TND/cap/year) showing huge gaps between different districts. On the other hand, the costs are nearly 45% lower for the districts whose collection is ensured by private companies than by municipal service, as the case of El Boustane and Sfax Nord whose costs are 41 and 51 TND/t, respectively. In comparison to the national average (53–73 TND/t) these values are excessively high and suggest that an exceptional quality of service is offered!


GIS File Formats

The field of GIS includes a large number of file formats and not all software packages are compatible with each file format. Below is a list of common GIS file formats and the software(s) they are compatible with. The GIS workstations on the first floor of the library have the software packages listed below each file format: ArcGIS Desktop, AutoCAD Map 3D, QGIS, Global Mapper, and Google Earth Pro. If you are a current Carleton student you can obain your own student edition of ArcGIS from us and load it in your own computer if you are interested, and QGIS is open source and freely available.

It is worth noting that the library GIS workstations also have FME Desktop, which is a software that can convert a file from one format to many others (e.g.: shapefile to AutoCAD Drawing and back again). If you require this kind of file conversion, please email us at [email protected]

**All software mentioned below is available on the GIS workstations in the library, unless otherwise noted.


Tutorial: Using NDFD gridded data in a GIS Environment (Shapefiles and Floating Point Grids)

Why bring NDFD grids into a GIS?

One of the most attractive components of the National Digital Forecast Database is the geospatial nature of the data. The database is based on a 5km national grid that covers the Continental U.S. and separate grids that cover Hawaii, Alaska, the U.S. Virgin Islands, and Puerto Rico. Each 5km grid cell has forecast information so that a point specific forecast can be generated for any cell based on geographic coordinate location. Besides being able to just view the grids using algorithms to create graphics of the gridded information, more advanced users may want to perform analysis with gridded data to answer some real-world problems. Bringing the NDFD gridded files into a GIS enables the user to not only display the forecast elements with other georectified datasets such as satellite imagery, aerial photographs, and planimetric layers such as political boundaries, road networks, buildings, etc&hellip, but also to query the data and use it for geospatial analysis. The result is essentially a real-time and forecast decision support tool for making critical decisions based on various weather elements. This is the case for marine interests as well, as the NDFD grid extend offshore several miles and deliver wave and wind information. Using the NDFD data in a GIS gives the flexibility to deal with either Raster versions of the NDFD grids (floating point grids), or vector versions (ESRI shapefiles) as well as other formats that are just recently becoming importable into GIS like NetCDF files and GRADS. The best way to illustrate the power of using NDFD grids in a GIS can best be presented via a use case scenario given below.

Using NDFD grids for pre-Hurricane landfall decision making

During the 2004 hurricane season NDFD forecast elements were used to display experimental forecast elements such as wind speed, wave heights, and quantitative precipitation forecasts along with hurricane forecast tracks in a map format that was used by DHS/FEMA for risk analysis at the FEMA Region IV Regional Operation Center and Disaster Field Office. For hurricanes Charley, Frances, Ivan, and Jeanne maps were created showing NDFD forecast elements overlaid on relevant political boundaries, roads, shoreline, and major population centers. The elements gave DHD/FEMA risk analysts an idea of the spatial coverage and intensity of forecast winds and wave heights. These maps were used to create the Presidential Briefing Package in which DHS/FEMA briefs the executive branch on potential damages that will be incurred from the approaching storm so as to pre-secure federal resources for response and aid through a presidential disaster declaration. This is an example of how having the NDFD grids converted to GIS significantly benefited the decision making process for weather driven natural disasters such as hurricanes. See Figure 1 and 2 below.


Figure 1: Forecast wave height along the shore of the Gulf of Mexico during Hurricane Ivan.


Figure 2: Forecast wind speed along the shore of the Gulf of Mexico during Hurricane Ivan.

Download the data

1. Instructions for downloading the data

  1. In the graphical user interface (GUI) tkdegrib, click on the Télécharger tab.
  2. Expand the NDFD data set folder.
  3. Choose the sector (or region) of interest and expand the file. Data for each weather element can be downloaded by highlighting the sector file, or individual weather elements can be downloaded by holding down the Contrôler key on the keyboard and highlighting one or more elements.
  4. After all the selected data are highlighted, click on either the Download by ftp button or the Download by http button (either will work) at the bottom of the window (Figure 3). Once the downloading begins, there will be an indication in the Message Window that it is working. Also, after the download button is clicked, the progress bar (the light blue bar near the bottom of the window) will start at 0 percent and show progression as the data download. Note: The progress bar will say 100 percent before any downloading has taken place.


Figure 3: In this example, the user needs data from specific weather elements within the Pacific Northwest sector. Only the needed weather elements are highlighted, rather than the entire sector, and the user is about to click on the Download by http bouton.

2. Convert the data to an ESRI shapefile

  1. When the data are finished downloading, click on the GIS tab.
  2. Browse through the sectors for the downloaded data in the top left corner of the window.
  3. Double-click on a specific weather element in the top right corner, and it should fill out the inventory chart below.
  4. Select the data set in the inventory chart to be converted to a shapefile (Figure 4).

Note: For more information on the inventory chart, see the Degrib: Man Pages and Full Tutorial. A similar document is also available in a portable document format. NDFD Tkdegrib and GRIB2 Data Download Tutorial (PDF).


Figure 4: In this example pacwest (Pacific Northwest) sector is expanded. The temp (temperature) file has been expanded and a data set is highlighted in the inventory chart. The shapefile this user wants to create is the temperature of the Pacific Northwest on 5/27/2005 at 12:00 a.m., which is 8 hours from the time the weather was forecasted.

e. Clique sur le Choose File Type menu at the bottom left corner of the window and choose SHP (Figure 5).

Figure 5: Choose SHP du Choose File Type menu déroulant.

F. Manually type the output file name into the OUTPUT Filename dialog box or click the Recommander button to have tkdegrib choose one (Figure 6).


Figure 6: When tkdegrib recommends a file it stores it on the local drive in the ndfd/degrib16/output folder. Inside that folder is a folder for each of the sectors. The generated shapefile will be in the corresponding sector folder. In the example above the temperature data (_t) is from the Pacific Northwest sector (pacnwest). The data are for 05/27/2005 at 12:00 a.m.

g. Now choose the Type of .shp file (Point, Small Polygon, or Large Polygon).

Note: For more information on types of shapefiles download the NDFD Tkdegrib and GRIB2 Data Download Tutorial (PDF).

h. Check the box for Verbose .shp file if the values for latitude, longitude, and X and Y are needed. A non-verbose shapefile will generate point identification and data, but not the latitude, longitude, and X and Y (Figure 7).

UNE. B.
Figure 7: A verbose .shp file imports the point identification (POINTID) and data (T, or temperature), as well as the X and Y and latitude (LAT) and longitude (LON) (A). A non-verbose .shp file only imports the point identification and data (B).

je. The default values for the box in the bottom right corner for Round data to will default to a number when Recommander pour Output File is clicked. Most weather elements will have a default of 0. The default for Units (when possible) can be accepted or changed, depending on personal preferences. The values for both Force Major Earth Axis and Force Minor Earth Axis are more advanced options and should be left as 0 for general purposes (Figure 8).

Noter la Round data to value will show its default when the Recommander button is complete. Most of the weather elements will default as 0 the exceptions are snow and waveh, which will default as 1, and qpf, which will default as 2.

Figure 8: Depending on preference, the default values can be accepted for Round data to et Unités. le Earth Axis options are for more advanced options.

j. Cliquez ensuite sur le Generate .shp file button at the bottom center of the window.

3. Import an ESRI shapefile into ArcGIS:

  1. Open a new window in ArcMap.
  2. Clique sur le Ajouter des données button and navigate to the previously selected location of generated .shp file.
  3. Highlight the file and click the ADD button (Figure 9).

d.The shapefile will now appear in the Display view on the left side of the window, and the Map view will appear in the right side of the window. Both the Display tab or Table of Contents and the Map view tab should already be selected (Figure 10).


Figure 10: In this example, a large polygon shapefile was added into ArcMap. The data represent the temperature (_t) of the Pacific Northwest (pacnwest) sector for 05/27/2005 at 12:00 a.m. When a shapefile is imported into ArcMap, the symbology is defaulted as one symbol and one color.

4. Load Legends into ArcMap to view GRIB2-derived shapefiles:

  1. Double-click on the shapefile in the Display view (or right-click and scroll down to Propriétés) of ArcMap.
  2. In the Layer Properties dialog, click on the Symbology tab.
  3. Clique sur le Importer button in the top left corner (Figure 11).


Figure 11: In the example above, the Symbology tab is selected and the user is going to import a standard legend into ArcMap.

ré. In the Import Symbology dialog box, select Import symbology definition from an ArcView 3 legend file (*.avl) and click the browse button (Figure 12).

Figure 12: After selecting Import symbology definition from an ArcView 3 legend file, browse to the folder where they are located.

e. Navigate to the /ndfd/degrib16/arcview/ dossier.

F. Select the /point_legend or /poly_legend, depending on which type of shapefile was generated, and highlight the individual weather element that the shapefile addresses.

g. Clique le Ouvert button (Figure 13).

Figure 13: In the previous examples, the weather element data that were downloaded were for temperature, and the type of shapefile generated was a large polygon. In this example, the corresponding .avl file is needed. In the poly_legend folder (since a polygon shapefile was generated) select the temperature (t) .avl.

h. In the Import Symbology dialog box, under What do you want to import? sélectionner Complete symbology definition et cliquez d'accord (Figure 14).

Figure 14: Notice in this example that the Legend file is a poly_legend .avl, since that is the type of .shp file generated in previous steps. After selecting the legend file, select Complete symbology definition et cliquez d'accord.

je. Accept the Value Field default value in the Import Symbology Matching Dialog box and click d'accord (Figure 15).

Figure 15: In this example, the value field is T, since the shapefile generated is for temperature and the legend file is for temperature. This value will be a default, according to which .avl file is imported into ArcMap.

j. In the Layer Properties dialog, there should be different colors for the Symbol and different numbers for the Value. Cliquez sur d'accord (Figure 16)


Figure 16: The ArcView standard symbology is now imported into ArcMap and applied to the shapefile.

k. Notice the symbology is now applied to the shapefile in both the Display view and the Map view (Figure 17).


Figure 17: Notice the difference between the symbology in this example and the example in Figure 8. The ArcView standard symbology has been imported into ArcMap and applied to this example.

5. Convert a message to ESRI Spatial Analyst or GrADS file format:

  1. In the GUI tkdegrib, click on the GIS tab.
  2. Browse for the downloaded file in the upper left corner of the window.
  3. Double-click on a specific weather element in the top right corner of the window, and it should fill out the inventory chart in the mid-section of the window.
  4. Click the desired message in the inventory chart (Figure 18).


Figure 18: In the example above, Pacific Northwest is expanded. The temperature weather element has been double-clicked to expand its data set. The user wants to generate a file of the temperature of the Pacific Northwest on 5/27/2005 at 12:00 a.m, which is 8 hours from the time the weather was forecasted.

e. Cliquer sur Choose File Type in the lower left section of the window and choose FLT from the drop-down menu (Figure 19).

Figure 19: Choose FLT du Choose File Type drop-down menu to generate a float file.

F. In the Grid drop-down menu, choose one of the three options: Projected: Original GRIB Coverage: Nearest Point or Coverage: Bi-Linear.

Note: For more information see full tutorial (LINK).

g. To create the GrADS .ctl file, check the box for Create GrADS .ctl file (Figure 20).

Figure 20: Choose a type of grid to fit preferences from the Grid drop-down menu. Sélectionner Create GrADS .ctl file.

h. The other three options (Start at Upper Left, use NDFD Weather code, and M.S.B. First) are more advanced options and do not need to be selected for general purposes.

je. Dans le OUTPUT Filename dialog box, type the output file name or click Recommander to have tkdegrib choose one (Figure 21).


Figure 21: When tkdegrib recommends a file, it stores it on the local drive in the ndfd/degrib16/output folder. Inside that folder is a folder for each of the sectors. The generated .flt will be in the corresponding sector folder. In the example above, the temperature data (_t) is from the Pacific Northwest sector (pacnwest). The data are for 05/27/2005 at 12:00 a.m.

j. The default values for the box in the bottom right corner for Round data to et Unités (when possible) can be accepted or changed, depending on personal preferences. The values for both Force Major Earth Axis et Force Minor Earth Axis are more advanced options and should be left as 0 for general purposes (Figure 22).

Noter: The Round data to value will show its default when the Recommander button is complete. Most of the weather elements will default as 0 the exceptions are snow and waveh, which will default as 1, and qpf, which will default as 2.

Figure 22: Depending on preference, the default values can be accepted for Round data to et Unités. le Earth Axis options are for more advanced options.

k. Clique le Generate .flt file button at the bottom of the window.

6. Open an FLT file in ArcGIS:

une. Open a new window in ArcMap and click on the ArcToolbox icon . This will open the ArcToolbox window (Figure 23).


Figure 23: Click on the ArcToolbox icon to open ArcToolbox. In Arc 9, ArcToolbox will open within the ArcMap window.

b. Expand the Conversion Tools option in the Favorites window.

c. Expand the To Raster option. Then double-click on the Float to Raster selection (Figure 24).

Figure 24: In the ArcToolbox menu, expand Conversion Tools, and then expand To Raster. Double-cliquez Float to Raster.

ré. In the Float to Raster window, click on the browse button next to Input floating point raster file (Figure 25).

Figure 25: Click on the browse button to locate the .flt file to be converted to raster.

e. Find the .flt file which was generated from the NDFD DataDownload tool and open it so that it appears under Input floating point raster file (Figure 26).

Figure 26: Locate the .flt file to be converted to raster. It will be found where the OUTPUT file was saved in step 5i. Highlight it and click Ouvert.

F. The program should create an Output Raster location. Cliquez sur d'accord (Figure 27).

Figure 27: The program will suggest an output location, which will probably be in the same location as the original .flt file. Cliquez sur d'accord.

g. There will be an indication that the conversion is taking place and when it is finished. Cliquez sur Fermer when it says "Completed" in the upper left corner (Figure 28).

Figure 28: This window will give an indication that the program has successfully converted the float file to a raster. Cliquez sur Fermer when it says "Completed" in the upper left corner.

h. The new Float to Raster file is now a binary raster file that has been converted to a floating point grid and can be used for raster analysis in ArcGIS (Figure 29).


Figure 29: The .flt file of the Pacific Northwest was converted to a raster file so that it could used for raster analysis in ArcGIS.

Note: To print this page, choose the landscape orientation in the printer dialog box.


Voir la vidéo: comment exporter un carte avec arcgis (Octobre 2021).